 案 ( No.1 ) |
- 日時： 2008/08/25 13:11
- 名前： IG使用者
- たとえば、メモリ改善の余地として、完了したURLは、そのURLからリンクされてる画像のアドレスをメモリから削除して、変わりに完了マークのついたURLだけを残すと言う手があります。
しかしこの方法だと、複数のURLからリンクされてる画像は再度取得する可能性もあります。（ファイルが同じ名前ならあまり問題ない。）
あとは、同じサーバーにおいてある画像のURL表記は、サーバーは一回だけ記述し、そのあとに連続して以降のURLだけを記述する方法。
スラッシュ以降の文字列もこの方法で記述すれば大分メモリ容量を圧縮できるはずですが、メモリに書き込まれたURLの解釈ロジックを考えなければいけないのですね・・・
ただ、メモリ内URLの圧縮をしたところで、どのくらいのメモリが確保できるかは不明ですね。
40000URLほど取得した起動時点での消費メモリは800MB超なのに対して、GetFileListの容量は3MB足らずでした。
なのでどこでどのくらいメモリが消費されてるかがよく分からないですね・・・
追記：テキストで保存されたgetfilelist.dat内には、URL以外の情報、たとえばファイルサイズや取得日時などの情報が記述されてました。
これらの情報はファイルを取得した後は、必要の無い情報ですので（少なくとも自分はそう思う）、こういった必要の無い情報から削除していくとメモリが有効に活用できるのではと思います。
|
| Re: 改善余地ｗｗｗ ( No.2 ) |
- 日時： 2008/08/27 00:32
- 名前： Toki◆pRU.c9X.EOI
- 貴重なご意見ありがとうございます
リンク追跡形のダウンローダーは設定によってはどうしても拡散傾向になるのが宿命だと思っています。
ImageGeterはファイルの取得情報意外に、取得したファイルのリンク元URLも記録するため、
さらにメモリを消費してしまいます。
次回バージョンアップではメモリの使用量を改善するために、
必要最小限の情報のみをメモリ中に残しメモリの消費量削減をしようと思います。
．．．約束はできませんが
|
| Re: 改善余地ｗｗｗ ( No.3 ) |
- 日時： 2008/08/31 17:11
- 名前： IG最高ｗｗ
- 返信ありがとうございます。
自分自身がプログラマーでは無いので、自分勝手な意見すみません（え
メモリをどうしても食ってしまうのならば、一定量を過ぎたらHDDに保存するって方法も使えるかもしれません。
この場合、効率は少々悪くなるかもしれませんがメモリの所為で応答なし、は避けられるかもしれません・・・
どうも、身勝手な一般人でしたｗｗ
|
| 上手くカスタマイズ ( No.4 ) |
- 日時： 2008/09/17 07:35
- 名前： IG使用者
- ユーザー側で出来るメモリ低減法として、広告の先やスタートページの普段使わない機能の先のURLを追跡禁止ワードとして登録するといいと思います。
そこを追跡しても満足な結果を得られない所か、メモリを無駄に消費し、また意味の無いダウンロードをする可能性もあったりしますので…
一番上のフォルダで指定して、後は全部「このページの設定を親フォルダから引き継ぐ」で一括して適用してます。
たとえばgoogleのサイト検索から開始する場合は
images.google
groups.google
news.google
maps.google
q=cache
q=related
などのワードがお勧めです。
上から順に、イメージ検索、グループ検索、ニュース検索、地図検索、googleキャッシュ、関連ページです。
目的によって、大手インターネットショップや、ニュース投稿サイトの大元のアドレスなどを登録するのがいいです。
HPやblogサービスを展開してる所もあるので、大雑把に登録するとやっぱり満足な結果は得られないですので、一般的な単語は避けるべきでしょう。
|
| Re: 改善余地ｗｗｗ ( No.5 ) |
- 日時： 2009/04/02 18:53
- 名前： みなみ
- 最近Vista64に移行して2.0.9を稼動させています。物理メモリ８Gで結構快適ではありますが
それでもいつかはメモリ足りなくなるには間違いないのは宿命ですね（＾－＾；
最近では自作で簡単なプログラム組んで、物理メモリが一定以下に空きがなくなったら、imagegeterを強制終了させて再起動させるものを動かしてます。
あとはサイト設定で自動実行とURL初期化チェックをはずすことでぐるぐるループ巡回環境です。
二重取得を大量にやらかしますがなにせほっときゃいいので手間をかけたくない人にはそういったやい方もアリかと。
|
| Re: 改善余地ｗｗｗ ( No.6 ) |
- 日時： 2009/04/04 00:45
- 名前： Toki◆pRU.c9X.EOI
- ImageGeterの際と追跡機能は、設定によってどうしても拡散しメモリを大量消費してしまいます。
強制再起動が必要なのか検討してみます。
|
| Re: 改善余地ｗｗｗ ( No.7 ) |
- 日時： 2009/06/02 17:42
- 名前： Blucky
- 今日、初めて使わせてもらいました。ベリグッ♪
内部処理を理解できるほど使ってませんのでトンチンカンな事言うかもしれませんが許してください。
巡回中にメモリを食うという話ですけど、メモリの代わりにデータベースを使用してはどうでしょう？
１ファイルタイプのデータベースのSQLiteとか使えばメモリに関しては改善できると思いまする。
①ファイル・フォルダのツリー構造
②メモリ
③データベース
メモリ使用量：①＜③＜[越えられない壁]＜②
検索速度：①＜③＜②
ディスク使用量：③＜①≒②
これぐらいにはなるかと。
参考ワード「ADO.NET SQLITE」
|
| Re: 改善余地ｗｗｗ ( No.8 ) |
- 日時： 2009/06/03 15:17
- 名前： みなみ
- 私もシェアウエア時代に同じようなことを提案してみたことはあるんですが、配布形態やインストールがややこしくなるからちょっとなあ・・というお話でした。
いまならどうかなあ？
まあ、無制限にリンクをたどれば、何を使ったにせよ拡散方向なのは間違いないですしねー。
スレ主さんのおっしゃるとおり、関連キーワードを含まないページにはリンク手繰らないとか、リンク先に飛ばない仕組みにインテリジェンスを持たせる方向とかも良い案だと思います。
|
| Re: 改善余地ｗｗｗ ( No.9 ) |
- 日時： 2009/07/12 13:53
- 名前： alpha
- あの、ひとつ気になったのですが・・・
リンクの実効数が増えると、遅くなりますよね？
つまり、リンクの追跡よりも画像のダウンロードを優先処理にすれば、多少は軽くなるんじゃないんですか？（つまり、画像のリンクを見つけしだい、片っぱしから落とすと）
参考になるかどうかわかりませんが、ただの意見です^^;
追記・imagegeterはとても便利です。製作者様ありがとうございます(_ _)
|
| Re: 改善余地ｗｗｗ ( No.10 ) |
- 日時： 2009/07/17 22:40
- 名前： Toki◆pRU.c9X.EOI
- >つまり、リンクの追跡よりも画像のダウンロードを優先処理にすれば、多少は軽くなるんじゃないんですか？（つまり、画像のリンクを見つけしだい、片っぱしから落とすと）
プログラム設定の「パフォーマンス」に
「データのダウンロード優先に移行する待ちURLの数」というものが存在します。
この数値を低くすることで、ご意見のような動作にはなると思いますが、
複数ホストへの分散処理が行われなくなるので、ダウンロード速度は低下すると思います。
|
改善余地ｗｗｗ