2007年09月04日

またかYO

いやーん、ランキングページのデザイン変わってるぅうううう。
今朝のデータ取得失敗。
ページは取得したがパースに失敗してる。
キャッシュしたページがあるので、パタンマッチ変更して、リカバリーするか。

本日登録数と本日再生数のランキングの自動取得の実験を始めました。
4:15くらいから取得して、結果を、ExcelとHTMLメールにして送信するようになってます。
でも、サムネイルを1000件表示するメール内容は問題あるか?
posted by てんじゃ at 14:29 | Comment(2) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月25日

おまえもか

ニコニコ動画の動画ページhttp://www.nicovideo.jp/watch/xxxxxを短時間に連続でアクセスすると、「混雑中です」と表示されます。
お ま え も か
ロックの閾値はタグ一覧のときと同じようです。
ログインしてないときは影響ないみたい。
posted by てんじゃ at 15:39 | Comment(1) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月22日

か、変わってやがる!!

もう、ニコニコ動画ですが、パスワード変更のためアクセス集中してログインできなくなってる。

集計の実験のために複数IDを取ったのでパスワード変更がめんどくさい。

ログイン規制しててログインできないよ。今日の開発は無理か?

たまたま、ログインできたので見ていたら、
タグ検索の仕様がいろいろ変わってる!!
検索用のパラメータ指定が違う。
そして、タグを複数指定して絞込み検索が出来るようになってる。

てってってーP、また修正ですよ。

動画の画面も少しデザインが変わってるよ。
posted by てんじゃ at 20:11 | Comment(1) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月21日

クイズの答えと自動マスクに挑戦

観月PのブログでニセPが紹介してた動画






PhotoShopのマクロ機能でキャラの切り抜きをやってる動画なのですが、
それPlaっ!!
って別にPlaggerでやる必要ない。
コマンド形式の動画変換ソフトと画像変換ソフトがあればバッチでできない?
FFmpegとImageMagickで全自動でできない?マスクの出来具合はどうなるかわからないけど。

というわけでやってみった。

って、AM3:00を過ぎましたよ思ったより苦戦した。
エッジ抽出の結果がPhotoshopと違う。Photoshopは綺麗に抽出するな。どうしても背景が選択される。
いろいろ情報探して調整してたが、うまくいかない。
というか、真のPVを変換してたのだけど、衣装を黒いの選んじまったから上手くいかないみたい。
なので、明るい色の美希を選択、てってってーPが実験でアップしてた動画がデスクトップにあったので使わせてもらう。
いろいろ数値を調整。

その結果、マスクがこれ。
マスク画像
それから元画像と合成何だけど、ImageMagickの合成の使い方がなかなか理解できなくて苦戦した。

合成

バッチで自動処理だ。
FFmpegで画像に変換するとき45秒分にしようとして、45分にしてしまいましたよ。
結果、全フレーム出力、4098枚になりました。次回、結果動画をアップします。



集計プログラムですが、PlaggerがRSSの項目以外渡せないようなことを書きましたが、渡せました。
既存のプラグインはこの項目を見に行かないだけでした。チェックするようにプログラムすれば使えます。
Filterプラグインに書き換えなきゃ。その方が使い勝手がよくて、プラグインの組み換えで出力先をRSSだったり
Excel、データベースを変更できたり、同時に行なった出来ますから。

出来るだけログインしないで情報を取る方針でやってます。
分散させて、同時アクセスとかも視野に。

ページの項目取得は自分で作りました。
WWW:NicoVideoではHTML::TokeParserを使ってますが、処理が先頭から3つ目のPタグの中のAタグの中身を取得というような処理なので、デザイン変更されてAタグの前にPタグを挿入されて、取得できなくなるのがいやなので。
私の取得方法は単なるパターンマッチングですが。


それでは、クイズ「このPは誰でしょう」の回答です。
桃月Pはさすがですねー。さすが集計してるだけありますね。
1問目はきゃのんP、2問目はRidgerPです。
これって楽しめる?どうしよう、動画にしてみるかなぁ。


ブログのデザインを変えました。すごくダサいです。その上領域が狭いです。
3段組みのテンプレートによいのがないのよ。
Plaggerで取得した情報を表示する場所が欲しくて。
そのうち修正します。
posted by てんじゃ at 04:10 | Comment(2) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月20日

やっとPlaを使えました

Plaggerを使って、実験と称して勝手にアイマス動画Pの作品情報をさらしちゃうコーナーですよ。

動画id:1185784876
タイトル:アイドルマスター 「ハヤテのごとく」 KOTOKO×美希・雪歩・春香
時間:1:26
投稿日時:07/07/30 17:41
タグ:アイドルマスター,雪歩,美希,春香,im@sコラボPV,ぴぴるP,ハヤテのごとく!,友情出演:ニセP,畑先生ホイホイ,ワルクロトリオ
コメント(短):■素材はhttp://stage6.divx.com/user/kataokaからお借りしましたm__m■使用ソフ...
再生数:13557
コメント数:279

動画id:1185467408
タイトル:アイドルマスター 公共広告機構CM×Perfume×im@s 画質UPver
時間:0:30
投稿日時:07/07/27 01:30
タグ:ぴぴるP,アイドルマスター,アイマスCM,MADアイマスPV,CM,雪歩,Perfume,中田ヤスタカ,PerfumeM@ster
コメント(短):■素材はStage6から■使用ソフト「PremierePro1.5,PhotoshopCS2」■元ネタsm5459...
再生数:3330
コメント数:26

動画id:1185122210
タイトル:アイドルマスター 公共広告機構CM×Perfume×im@s
時間:0:30
投稿日時:07/07/23 01:36
タグ:ぴぴるP,アイドルマスター,CM,MADアイマスPV,公共広告機構,アイマスCM,Perfume,PerfumeM@ster
コメント(短):■ニセP氏のCM集に影響されて一時間くらいで作った。■素材はSta...
再生数:3768
コメント数:34

動画id:1184590658
タイトル:アイドルマスター 「撲殺閣下ハルカちゃん」 天海春香×ドクロちゃん
時間:1:37
投稿日時:07/07/16 21:57
タグ:撲殺天使ドクロちゃん,iM@SコラボPV,アイドルマスター,春香,ぴぴるP,黒春香,愚民ホイホイ,MADアイマスPV,邪道魔法アイドルリンク,愛なら仕方ない
コメント(短):■アイマスMAD三作目。今回の主役は春香!■素材はhttp://stage6.divx.com/u...
再生数:83509
コメント数:2907

動画id:1183726695
タイトル:アイドルマスター 「ツンデレのうたver2」 水瀬伊織×小宮真央
時間:3:23
投稿日時:07/07/06 21:58
タグ:アイドルマスター,MADアイマスPV,伊織,小宮真央,ツンデレ,iM@SコラボPV,ニヤニヤ動画,ツンデレのうた!,ぴぴるP
コメント(短):■アイマスMAD二作目。今回の主役は伊織ん!■素材はstage6のChocolateblo...
再生数:4075
コメント数:82

動画id:1183383827
タイトル:アイドルマスター 「律子コール」 魔法をかけて×capsule
時間:2:55
投稿日時:07/07/02 22:43
タグ:アイドルマスター,律子,capsulem@ster,ゲーム,アイマスMAD処女作,iM@SコラボPV,ぴぴるP,亜美,MADアイマスPV,capsule
コメント(短):■画質あげてみた
■動画はstage6から勝手に拝借...
再生数:2708
コメント数:123

マイリストのRSSを取ってきて動画IDから動画の情報を取ってきています。
あるPの自作品のマイリストを使ってみた。誰かはタグ見りゃわかります。え、作品名見りゃわかる?そうですか。

動画IDを何とかしたいな。smxxxxxx形式に取得しなおすようにしないと。
コメントフルと、あと、削除チェックもしたいな。他にはサムネイル画像URLとかか?


クイズ「このPは誰でしょう」のコーナーがやってきました。
とあるPのすべての作品に付いているタグから、製作者のPを当ててください。
P名のタグは除いています。

第1問
アイドルマスター,MADアイマスPV,真ソロ,超神ネイガー,水木一郎,ゲーム,ご当地アイマス,真,アイマス×特撮,Herewego!!,iM@sノーマルPV,サマーデイズスクール,GOMYWAY!!,魔法をかけて!,MASTERARTIST,迷走Mind,8月29日は真の生誕祭,太陽のジェラシー,私はアイドル,おはよう!!朝ご飯,FirstStage,IDOLM@STER(主題歌),9:02pm,思い出をありがとう,脇チラ,蒼い鳥,白のハイソックス,唯一J氏に対抗できるキャラ,ポジティブ!,まっすぐ,エージェント夜を往く,俺の嫁,relations,MyBestFriend,音ゲーMAD@アイマス,B4U,DDR,iM@sコラボPV,音ゲーMAD@アイマス,im@s洋楽コラボPV,アイマスネタ,上級者向け,真チア,チアガール,76573,荒らし注意コメ非表示推奨,まこぴーダンス,グラビアミズギ,iM@s水着PV,iM@S水着PV,simon,iM@SノーマルPV,im@sコラボPV,仮面ライダー龍騎,松本梨香,仮面ライダーカブト,NEXTLEVEL,ハイパーゼクターはsm431286,窃盗罪,レースクイーン,バックスクリーンに注目,千人斬り,六千人斬り,ニヤニヤ動画,真制服,BGM推奨,メドレー,アイマスメドレー,ゴシプリ,ジャージ,私服ライブ,ぬこと,アイマスソロ,絶対領域,制服,七分丈,ごまえー,まっこまこにしてやんよ,ブルマ,ぶるまこ,ナイスブルマ!,おはよう!!朝ご飯,ヘッドフォン推奨,アイブルマスター,入れる派,てー,平田宏美,みんなのうた,真誕生祭PV,HereWeGo!!,ID:29140

第2問
MADアイマスPV,アイドルマスター,神さまのBirthday,千早,美希,MASTERWORK,春香,ゲーム,アイマスMAD処女作,乙女はお姉さまに恋してる,雪歩,あずさ,神MAD,PV,LovePower,真,阿修羅姫,iM@SコラボPV,黒春香,コマンドred推奨,かっかいい,ALIPROJECT,ヤンデレ,MADアイマスPV,亡國覚醒カタルシス,コメ色赤or黒推奨,im@sコラボPV,あると,橋本みゆき,才能の無駄遣い,島谷ひとみ,あずさソロ,千早修正に愛を感じる動画,Destiny-太陽の花-,ブラックジャック,暁の車,南里侑香,梶浦由記,新ジャンル「鳥になった」

さぁ、答えをどうぞ。


しかし、P名のタグのPが全角と半角が混じってるのですけど。タグ一覧ではどっちも表示してくれるみたい。
posted by てんじゃ at 02:00 | Comment(2) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月19日

うーん、どうするべか。

昨日からPerlのコードとにらめっこ。

集計用のPlaggerプラグインだけど、Plaggerの仕様で重要な点が頭に入ってなかった。
PlaggerってFeedアグリケーターなんですよね。Feedというところが重要。
プラグイン間のデータのやり取りはFeed(RSS or Atom)の項目のみ、みたいなんですよ。
で、集計用の項目はどうするべ?どこに格納すればいいの?
RSSで読むだけなら、RSSの Body項目に整形して入れりゃいいのですけど、そうすると集計しづらい。
Publishプラグインにして書き出すときに、集計項目付加して書き出すことにするか。
でもそれってPlaggerでやる意味なくね。


ニコニコ動画の仕様で、タグ検索の画面で連続アクセスすると「やさしくしてください
」と表示されます。
いろいろアクセステストしてみたところ

やさしく〜になったら、そのログインIDに対してタグの検索を一定時間できなくする。ほかのページは表示可能。
条件は(ページ取得間隔秒×4)ページ数取得するとやさしく〜にロック。

つまり、

3秒間隔でタグ検索の画面をアクセスすると、12ページ目を見たところでやさしく〜と表示
1秒間隔でタグ検索の画面をアクセスすると、4ページ目を見たところでやさしく〜と表示

見たいですね。
これは手でアクセスしててもなりますよ。


ニコニコ動画で動画へアクセスするURLが2種類ある。
http://www.nicovideo.jp/watch/sm871051
http://www.nicovideo.jp/watch/1187463241
上が通常、下がマイリストで表示されるもの。何で?

削除された動画ってどうやって判断すればいい?
ブログ張る為のURLだと削除されたって出るな。
でもそこから情報取れなくなるのか、これログインしなくても情報取れて良さそうなのに。
コメント一覧のXMLに再生数とコメント数がの項目を発見、これでイケる?
posted by てんじゃ at 18:40 | Comment(1) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月18日

WWW::NicoVideoへの修正

WWW::NicoVideoが動かないという話を聞いたので、調べてみた。
私の環境ではentry()とtag()がうまく動かなかった。
entry()はデータが取れなくて、tag()はtype => 'view'としたときにエラーでとまる。

entry()は200行目をコメントアウトすれば動いた。

tag()は理由がわからないので、ニコニコの新しくなったタグの検索機能を追加した。

64行目以降に下記の64-67を挿入してください。

typeにfile_new,file_old,veiw_many,veiw_fewを指定できるようにしました。
投稿日時が新しい、投稿日時が古い、再生数が多い、再生数が少ないに対応してます。


64: $self->{'tag'}->{file_new} = '/f/d/';
65: $self->{'tag'}->{file_old} = '/f/a/';
66: $self->{'tag'}->{veiw_many} = '/v/d/';
67: $self->{'tag'}->{veiw_few} = '/v/a/';

200: return undef unless $res->as_string =~ /<strong>動画再生プレイヤー/;
posted by てんじゃ at 19:26 | Comment(1) | TrackBack(0) | ニコニコ動画アイマス情報取得

よし、開始。

Plaggerを入れ終わったぜ。なかなか手ごわいあってだった。
自動インストールがインストール済みなのを認識しないよきあるし。何個かテストで言うこと聞かなくて。

で、取得テスト。
動画IDを渡すと動画の情報を取得する関数を作成。
結果はこんな感じ。

取得開始:2007/08/18 13:31:38
取得終了:2007/08/18 13:31:40

動画ID:sm860106
タイトル:週刊アイドルマスターランキング 8月第2週
動画時間:19:40
投稿時間:07/08/17 16:09
タグ:週刊アイドルマスターランキング アイドルマスター 桃月P 音無小鳥 iM@Sランク 7:65は夢の時間 今週はショック中毒警報 とかち大量発生
説明概要:◆獲得ポイント(pts)=[マイリスト登録数]+[再生数]/20 ◆集計期間:8/10...
再生数:15620
コメント数:12403
テストにはこちらを使いました。毎度ご苦労様です。



これで結構話が先に進むはず。
それにしても週刊アイマスランキングのコメ率はすごいですね。


質問ですが、投稿した動画で後から変更できるのは、タイトル、説明、タグのみですか?


もっとアイマスゲームに詳しくなろうと思ってググってたら見つけた。
アンサイクロペディア THE IDOLM@STERの項目
ちげーよ、あってるけど、ちげーよwww

似たような感じの動画



posted by てんじゃ at 14:15 | Comment(1) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月15日

おわんねー

会社でネットワーク経由でplaggerをインストールしてたけど時間かかりすぎだよ、終わらないよ。
どれだけモジュールの依存関係があるのよ。
オプションでいろいろ選択しすぎたかもしれないが。
帰るに帰れなくなったじゃないか。
しょうがないから途中できったよ。
posted by てんじゃ at 23:35 | Comment(0) | TrackBack(0) | ニコニコ動画アイマス情報取得

2007年08月14日

今考えてること

ニコニコ動画の週刊アイドルマスターランキングを毎週楽しく見てるのですが、集計大変じゃね?ということで、桃月P支援プログラム開発でも始めてみようかと、がんばらない程度に。

で、計画はですね。
plaggerを使用してみようかと。
ホームページやRSSのデータを収集、返還して、RSSやメールで出力できるソフトです。
といっても、簡単ではなくてプログラマじゃないとわかんないよな設定、ルールを書かなきゃならないのですが。
しかし、搭載している機能は豊富で、大体やりたいことは出来るんじゃないかなと思ってます。
Mixiにログインして日記を収集したり、Plaggerでニコニコ動画のFLVとコメントを一括ダウンロード!と云う例もあって、良さそうなんです。

このPlaggerはperlという言語で出来ているのですが、Windowsにperlを入れるのが結構トラブルのでWindowsはなしと。あと、Webから条件入れたり、結果見れたらいいし、タイマーで起動して欲しいので、自宅の公開サーバに設置してみます。

最初の段階は、用意した動画のIDリストからそれぞれの再生数やコメント数、投稿時間などを取得するのを考えてる。
各情報はhttp://www.nicovideo.jp/thumb/smxxxxxxから取れるのだけど、どうしても登録タグリストが取れない、登録タグリストを取得するにはhttp://www.nicovideo.jp/watch/smxxxxxxを見に行かなきゃならん、しかしこちは、再生数がFlash上に表示されるので取得できない。何とか、1回で取る方法はないものか?

取得した情報は最終的にはExcelで書き出したい。Plaggerにそういうプラグインがあるようだ。
google Spreadsheetsに送信するのはどうだろう。共有とか公開とか出来るからな。

という感じだ。Plaggerとニコニコ動画のURLとか情報参照機能とか詳しい人がいたら情報を支援してください。

まずは、環境作らなきゃな。
posted by てんじゃ at 17:44 | Comment(2) | TrackBack(1) | ニコニコ動画アイマス情報取得
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。