2008年08月21日

環境壊れた

VMWareのイメージが壊れたよ。
これはNICOM@S STYLEとタグ検索結果を取得するプログラムが動いてたのですが、ディスク内のファイルがあちこちアクセスできなくなった。
週マスの取得用は別マシンで動作しているのだが、新着一覧はこっちのマシンでテスト中、ならびにDBが必要なのでちょっとピンチ。

今回は実験で使ってたWindows上の仮想マシンのディスクイメージがいかれたようです。
ディスク自体が物理的に壊れてなければいいが....

他のサーバーにDBを設定中。
とりあえずテーブル定義だけ移動できれば、動作はするようになるだろうし。今晩中には何とかなるか。

あと、以前から環境をAmazon EC2に構築中。
こっちも取得することはできるようにしたが、DBをどうしようか検討してます。データ揮発するしなぁ。
Large Instanceを選択するから高くつくんだけど毎日2時間動作で済むなら、それでもいいかな。
インメモリDBにぶち込んで終了時に書きだしするように考えていますが、データ取得時間がかかりすぎて。
最近KeepAliveを利用して高速化しようとしたけど効果確認する前にマシンの調子おかしくなったし。
アクセスの並列化かな?負荷かけることになるけど。
この収集プログラムもともと1000件程度を取得する構想で作ってるから、全件取得とかするとメモリを馬鹿喰いするのだよね。
で、作り直しをしようと思ってる。
どういう構想でいるかは、また今度。
posted by てんじゃ at 15:58 | Comment(0) | TrackBack(0) | ニコニコ動画アイマス情報取得
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
この記事へのトラックバックURL
http://blog.seesaa.jp/tb/105106115
※ブログオーナーが承認したトラックバックのみ表示されます。

この記事へのトラックバック
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。