2008年08月09日

週マスへの新しい提供データ

アイマス全件取得
とある時間にタグ検索のページの結果をダウンロードしてます。1時間30分くらいかかります。
その後、ダウンロードした内容から必要な項目を抽出してDBに登録しています。
さらに、今度は検索結果からわからないタグ情報などを取得してDBを更新します。こちらは4時間くらいかかります。
2月末からのデータを取得開始して、6月中旬から7月中旬まで停止してましたが、現在、420万レコードで3.5GBのデータサイズがあります。

新しい週マス用のプログラムは、その日取得したデータから、今週の投稿動画で、特定のポイントを超えたものを一覧化して、送付しています。
週マスでは、日々のランキングデータの他に、確認する動画一覧を登録してもらい、その動画の詳細データを送付してます。

動画の詳細情報取得を週マス用のプログラムの為に時間ずらしたら、7:00位にgetthumbinfoがエラーを返して停止するようになってしまいました。
動いてないのを確認したら手動で起動してたのですが、もう少し調整が要りますね。
今週の新着動画ポイント計算はタグ検索の結果のページのデータから確認できるので、詳細情報を取得する前にデータ生成して送付するよう調整します。
今週はまだランキングが変わって時間がないので、万全じゃないです。

このプログラム自体はだいぶ前に作ってありました。
ニコニコランキングに頼らないアイドルマスターランキングの作成と、除外の事前判定用に最終集計前にランキング圏内の動画を事前報告するために用意したものです。
posted by てんじゃ at 20:00 | Comment(0) | TrackBack(0) | ニコニコ動画アイマス情報取得
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。

この記事へのトラックバック
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。