The project of U-WA-
http://uwa.potetihouse.com/
トップページ > 過去ログ > 記事閲覧
アイコン [要望]ImageGeterのメモリ開放機能実装
日時: 2010/07/26 02:14
名前:

OS:WindowsXP SP3
メモリは2G、現時点ではお手頃な程度のスペックです。
ImageGeterとの出会いは感動すら覚えました。

しかし・・・
2008/07/13 10:07に立てられたスレッド(in過去ログ)にもありますように
実行待ちURLが5桁、取得済み画像が4桁に達する程多い場合、メモリを無尽蔵に食います。
(開始→メモリ1.5G越え→停止→終了→開始→最初から…遅々として進みません)

是非メモリの開放機能を実装して頂けないでしょうか。
よろしくお願い致します。

Page: 1 |

ファイル Re: [要望]ImageGeterのメモリ開放機能実装 ( No.1 )
日時: 2010/07/27 22:48
名前: Toki◆pRU.c9X.EOI

>実行待ちURLが5桁、取得済み画像が4桁に達する程多い場合、メモリを無尽蔵に食います。

追跡範囲が広域過ぎるために起こる問題です。
出来る限りメモリの開放は行っていますが、
追跡の履歴と個々のファイル間のリンクは重複取得を回避するために必要なので限界があります。


ファイル Re: [要望]ImageGeterのメモリ開放機能実装 ( No.2 )
日時: 2010/07/28 06:50
名前:

GetFileListは4M程度であるのに対し、実際のメモリ使用量が1.7Gを超えるということは
GetFileListを最大限活用しない仕様ということでしょうか
(一切無更新と断定する設定があれば…通常は実用的ではありませんが…)

また、サムネイルを一切読み込まない等の軽量化設定の実装は出来ませんでしょうか?
よろしくお願い致します
ファイル 参考になれば・・・ ( No.3 )
日時: 2010/08/25 13:24
名前: ねこ

OS: WindowsXP
CPU: Pentium4 2.8GHz 相当
実装物理メモリ: 1.5GB にて使用中です。

私もImageGeterとの出会いは目から鱗でした。
ImageGeter いつも愛用させていただいております。

実は私も最近まで同様の症状にて悩んでおりました。(今も・・・ですが(笑)。)
アプリ開始後メモリ使用量とCPU占有率が徐々に増え、15〜30分ほどで
最大メモリ使用量が1.2GB程度、CPU率80〜90%位になったところで
アプリが通常終了できなくなり、タスクマネージャにて強制終了させておりました。

で、結論からいいますと現状、私はかなりの制限をかけて使用しています。
確かにImageGeterはインストール直後の状態では青天井にリソースを
食いますので・・・・


[Menu]-[オプション]-[設定]-[データ処理]-[パフォーマンス]にて
「接続待ちURLをリストに表示しない」をチェックする。
(サムネイルの表示も消しておく。)

[サイト一覧]-[デフォルト]-[設定]-[リンク]-[追跡条件]にて
「リンクを参照する回数(0で無制限)」欄を”0”から”2〜3”程度に変える。
(欲しい画像群が指定したURLからどの程度離れた場所にあるのか?を
 的確に把握しておけば、実際結構沢山の画像が落とせるように思います。)

最大コネクション数を適宜減らす。

ダウンロードは”全部開始”ではなく、サイト毎に開始し
タスクマネージャのモニタ値(CPU率、メモリ使用量)を確認しながら行う。

タスクマネージャにて優先度を"通常以下"に設定する。


と、こんな感じで使っています。上記のどれが効いているのかはっきりとは判りませんが
PCが固まるのもだいぶ減らせたように思います。

メモリの開放機能の実装は悲願であり、お願いできるなら本当にうれしいのですが
Toki◆pRU.c9X.EOIさんにしてみれば、アルゴリズムの大幅な見直しをしている間に
PCはどんどん高スペック化(CPU、メモリ)していく訳で、難しいところだと思います。

とりあえず、現状使っていく上で参考になればと思い、投書させていただきました。
ファイル 参考になれば・・・ ( No.4 )
日時: 2010/11/27 03:05
名前: ねこ

前回いろいろ工夫した裏技(?)を紹介させていただいた「ねこ」です。
4ヶ月ぶりですが再度投稿させていただきます。

ImameGeterなんとか工夫して使わせていただいていたのですが・・・
最近はソフトだけでなく、PC自体が動かなくなってしまい
PCの再起動が必要になってしまっています。
起動しているほかのソフトが死んでしまうので
ソフトの再起動だけで済まないのは、正直言って、かなりきびしいです。
画像集めはやめられそうにないので、実は他のソフト(画像ダウンローダー)も
探しはじめてしまいました。

最大コネクション数を1にして使ってみたのですが、それでもダメですね。
徐々にではありますがCPUとメモリを食いつぶしきってしまいます。

CPUとメモリ使用量の件ですが
ImageGeter機能要望のアンケートを見ると、約1/3の方が悩んでいるようです。
http://uwa.potetihouse.com/enq/imagegeter/enq.cgi

1 ダウンロード中に、メモリー不足になってしまう。
定期的にメモリを開放するようにして欲しい。 145票 16.6%
2 ダウンロード数が増えるとサムネイルの画像処理で
メモリを食って重くなるのでサムネイルの非表示設定と、
一定数の画像量によって新規フォルダを作る機能 117票 13.4%

どなたか「私は問題なく使っている」という方、いらっしゃいましたら
恐れ入りますが参考にさせて貰いたいので
PCのスペックと、もしコツがあれば教えてもらえないでしょうか?
どうかよろしくおねがいします。
ファイル 参考になれば・・・ ( No.5 )
日時: 2010/12/22 23:20
名前: ねこ

すみません m(_ _)m
ImageGeterには約1年ほど、本当にお世話になりました。
以前に書き込んだように一生懸命工夫して使わせていただきながら
前回の書き込み(青天井を使いこなすコツ)にレスを待っていましたが
誰からも反応が無かったのがとても残念です。

実は今回、image.cgiが読めないのと、メモリ爆発にPC(私?)が
耐え切れず、非常に残念ではありますが、
最近登場した海外製某シェアウェアの日本語版というのを試用してみて、
そちらに切り替えさせていただくことに決めました。

結局のところ、バックグラウンドでフリーズせずに安定して
動いていてくれていればコネクション数は10回線もあれば、
結局そっちの方が速いんだということにやっと気付くことができました。
返す返すも本当に残念です・・・
今後の参考になればと思い、1ユーザーの苦言をお伝えさせていただきました。
では・・・。
ファイル Re: [要望]ImageGeterのメモリ開放機能実装 ( No.6 )
日時: 2011/06/13 19:43
名前: まるお

技術的にはメモリ消費量を大幅に低下させることは可能だと思います。いろいろ試しすぎてどのソフトがどうだったか忘れていますが、遥かに深く探索し膨大の画像をダウンロードできたソフトでもメモリが問題になることはありませんでした。ImageGeterはメモリ消費量ただ1つの問題のために極端に有用性が変化していると思われます。これが解決すれば一気に使い勝手は良くなるかと思います
ファイル Re: [要望]ImageGeterのメモリ開放機能実装 ( No.7 )
日時: 2011/06/20 05:52
名前: みなみ

imagegeterはダウンロードした画像すべてをサムネイル表示するためにオンメモリに保持しているように見えます。
ページ切り替えのたびにそのスコープだけ表示するのではなく、すべてを保持しているのでそういったところでもリッチにメモリを使用するようです。

検索で発散傾向になれば、結局はメモリ不足になるでしょうが、ほかのツールに比べてリッチな作りになっているようには見えますね。
たぶん、コアなロジック部分でそういう作りになっていて、おいそれと直せないのだと思われます。
そのあたりはシェアウエア時代から変わってませんし。
私は自作プログラムとの組み合わせでメモリ食い過ぎたら強制終了させて再起動させることで運用しているのでなんとか実用運用してますが、2Gメモリでは3万枚くらいが限界です。(もちろん探索条件次第ではありますが)
開発ペースも止まったみたいですし、対応は難しいでしょうね。
完全新バージョンが開発されていることを期待(^−^;

ファイル Re: [要望]ImageGeterのメモリ開放機能実装 ( No.8 )
日時: 2011/07/02 08:28
名前: みなみ

ちなみに今よく使ってる環境ではWindows2003SVR、メモリ4Gで実行待ち7万枚くらいまでは動きます。
メモリののこりが800M切ったらimagegeterを強制終了して再起動するようにしてほっとくと、遅いですが実用にはなります。
ファイル Re: [要望]ImageGeterのメモリ開放機能実装 ( No.9 )
日時: 2012/02/26 18:10
名前: Joanne
参照: https://plus.google.com/105244517816728957074/posts

上記No.8の自動化に関して

プロセス管理ツール上から、imagegeterを操作すればよいのではないですか?
私は、Process Lassoというプロセス管理ツールを使い、
みなみさんと同様のことを自動化しています。

製作者が、速度重視とうたっている以上、
本件の問題は、思想の違いだと思います。

スペックとの協調がさせたいのならば、
新たに開発するか、imagegeter自身を制御することになるでしょう。
ファイル Re: [要望]ImageGeterのメモリ開放機能実装 ( No.10 )
日時: 2012/02/26 18:12
名前: Joanne

申し訳ありません。

上記URLは、私のgoogle+へのリンクです。
Process Lassoへのリンクではありません。
ご了承ください。

Page: 1 |