(57)【要約】  ウェブページ内メディアコンテンツの再生兼再生制御方法及び装置を提案する。その一実施形態は、メディアプレイヤ及びメディアコンテンツを使用するウェブページをロードし、そのウェブページの画像を処理することでそのメディアプレイヤに付随する操作子を識別し、その操作子を利用しメディアコンテンツを提示するウェブページ内メディアコンテンツ提示方法である。
2011520324.tif 000002
【特許請求の範囲】
【請求項１】
メディアプレイヤ及びメディアコンテンツを使用するウェブページをロードするステップと、
上記ウェブページの画像を処理することで上記メディアプレイヤに付随する操作子を識別するステップと、
上記操作子を利用し上記メディアコンテンツを提示するステップと、
を有するウェブページ内メディアコンテンツ提示方法。
【請求項２】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記画像を処理することで上記ウェブページにおける上記メディアコンテンツの位置を識別するステップを有するウェブページ内メディアコンテンツ提示方法。
【請求項３】
請求項２ウェブページ内メディアコンテンツ提示記載の方法であって、上記位置に従い上記メディアコンテンツを提示させるウェブページ内メディアコンテンツ提示方法。
【請求項４】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記画像を処理することで上記メディアプレイヤの状態を判別するステップを有するウェブページ内メディアコンテンツ提示方法。
【請求項５】
請求項４記載のウェブページ内メディアコンテンツ提示方法であって、上記状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中であるウェブページ内メディアコンテンツ提示方法。
【請求項６】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記メディアコンテンツを処理することでそのメディアコンテンツ向けにディジタル署名を生成するステップを有するウェブページ内メディアコンテンツ提示方法。
【請求項７】
請求項６記載のウェブページ内メディアコンテンツ提示方法であって、上記メディアコンテンツに対する上掲の処理が、そのメディアコンテンツを構成する画像のうち１枚又は複数枚に対する処理を含むウェブページ内メディアコンテンツ提示方法。
【請求項８】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記操作子を利用した上掲のメディアコンテンツ提示が、その操作子の状態に応じた提示を含むウェブページ内メディアコンテンツ提示方法。
【請求項９】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記ウェブページの画像を１枚又は複数枚生成するステップを有するウェブページ内メディアコンテンツ提示方法。
【請求項１０】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記画像に対する上掲の処理がエッジ検出を含むウェブページ内メディアコンテンツ提示方法。
【請求項１１】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子であるウェブページ内メディアコンテンツ提示方法。
【請求項１２】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記メディアコンテンツの再生を開始させるステップを有するウェブページ内メディアコンテンツ提示方法。
【請求項１３】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記メディアコンテンツが音声、動画又はその双方を含むウェブページ内メディアコンテンツ提示方法。
【請求項１４】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、ディジタル署名に基づき上記メディアコンテンツを識別するステップを有するウェブページ内メディアコンテンツ提示方法。
【請求項１５】
請求項１記載のウェブページ内メディアコンテンツ提示方法であって、上記メディアコンテンツの再生が始まっているか否かを上記ウェブページの画像を処理することで判別するステップを有するウェブページ内メディアコンテンツ提示方法。
【請求項１６】
メディアコンテンツを使用するウェブページをもとに画像を生成する画像ジェネレータと、
上記画像に基づきメディアプレイヤ及びそれに付随する操作子を識別し、更にその操作子を利用し上記メディアコンテンツを提示するのに必要な情報を提供する画像アナライザと、
を備えるウェブページ内メディアコンテンツ提示装置。
【請求項１７】
請求項１６記載のウェブページ内メディアコンテンツ提示装置であって、上記ウェブページをロードするウェブブラウザを備えるウェブページ内メディアコンテンツ提示装置。
【請求項１８】
請求項１７記載のウェブページ内メディアコンテンツ提示装置であって、上記操作子が作動したとの指令を上記ウェブブラウザに送るメディアプレイヤコントローラを備えるウェブページ内メディアコンテンツ提示装置。
【請求項１９】
請求項１６記載のウェブページ内メディアコンテンツ提示装置であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子であるウェブページ内メディアコンテンツ提示装置。
【請求項２０】
請求項１６記載のウェブページ内メディアコンテンツ提示装置であって、上記画像アナライザが、上記メディアコンテンツに係る上記メディアプレイヤの状態を識別するウェブページ内メディアコンテンツ提示装置。
【請求項２１】
請求項１６記載のウェブページ内メディアコンテンツ提示装置であって、上記メディアコンテンツに基づきディジタル署名を生成する署名ジェネレータを備えるウェブページ内メディアコンテンツ提示装置。
【請求項２２】
メディアプレイヤ及びメディアコンテンツを使用するウェブページをロードするステップと、
上記ウェブページの画像を処理することで上記メディアプレイヤに付随する操作子を識別するステップと、
上記操作子を利用し上記メディアコンテンツを提示するステップと、
を機械に実行させる機械可読命令群がその製造時に保存されている媒体。
【請求項２３】
請求項２２記載の媒体であって、上記機械可読命令群が、上記機械に、上記画像を処理することで上記ウェブページにおける上記メディアコンテンツの位置を識別させるものである媒体。
【請求項２４】
請求項２２記載の媒体であって、上記機械可読命令群が、上記機械に、上記メディアコンテンツを処理することでそのメディアコンテンツ向けにディジタル署名を生成させるものである媒体。
【請求項２５】
請求項２２記載の媒体であって、上記機械可読命令群が、上記機械に、上記ウェブページの画像を処理することで上記メディアプレイヤの状態を判別させるものである媒体。
【請求項２６】
請求項２５記載の媒体であって、上記状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中である媒体。
【請求項２７】
請求項２２記載の媒体であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子である媒体。
【請求項２８】
請求項２２記載の媒体であって、上記機械可読命令群が、上記機械に、上記メディアコンテンツの再生を開始させるものである媒体。
【請求項２９】
請求項２２記載の媒体であって、上記メディアコンテンツが音声、動画又はその双方を含む媒体。
【請求項３０】
請求項２２記載の媒体であって、上記機械可読命令群が、上記機械に、ディジタル署名に基づき上記メディアコンテンツを識別させるものである媒体。
【請求項３１】
請求項２２記載の媒体であって、上記機械可読命令群が、上記機械に、上記メディアコンテンツの再生が始まっているか否かを上記ウェブページの画像を処理することで判別させるものである媒体。
【請求項３２】
メディアプレイヤを使用するウェブページをロードするステップと、
上記ウェブページの画像を処理することで上記メディアプレイヤに付随する操作子を検出するステップと、
上記画像を処理することで上記メディアプレイヤの状態を検出するステップと、
上記操作子、上記状態又はその双方の検出結果に基づき上記メディアプレイヤによる上記メディアコンテンツの再生を開始させるステップと、
を有するウェブページ内メディアコンテンツ再生方法。
【請求項３３】
請求項３２記載のウェブページ内メディアコンテンツ再生方法であって、上記操作子に基づき上記状態を検出するウェブページ内メディアコンテンツ再生方法。
【請求項３４】
請求項３２記載のウェブページ内メディアコンテンツ再生方法であって、上記ウェブページで使用されるメディアプレイヤの種類を検出するステップを有するウェブページ内メディアコンテンツ再生方法。
【請求項３５】
請求項３２記載のウェブページ内メディアコンテンツ再生方法であって、上記メディアコンテンツに基づきディジタル署名を生成するステップを有するウェブページ内メディアコンテンツ再生方法。
【請求項３６】
請求項３２記載のウェブページ内メディアコンテンツ再生方法であって、上記メディアコンテンツの再生が始まっているか否かを判別するステップを有するウェブページ内メディアコンテンツ再生方法。
【請求項３７】
請求項３２記載のウェブページ内メディアコンテンツ再生方法であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子であるウェブページ内メディアコンテンツ再生方法。
【請求項３８】
請求項３２記載のウェブページ内メディアコンテンツ再生方法であって、上記状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中であるウェブページ内メディアコンテンツ再生方法。
【請求項３９】
請求項３２記載のウェブページ内メディアコンテンツ再生方法であって、上記メディアコンテンツが音声、動画又はその双方を含むウェブページ内メディアコンテンツ再生方法。
【請求項４０】
ウェブページをロードしそのウェブページで使用するメディアプレイヤを作動させるウェブブラウザと、
上記ウェブページの画像を生成する画像ジェネレータと、
上記画像に基づき上記メディアプレイヤ並びにそのメディアコンテンツ表示エリア及び操作子を識別する画像アナライザと、
を備えるウェブページ内メディアコンテンツ再生兼再生制御装置。
【請求項４１】
請求項４０記載のウェブページ内メディアコンテンツ再生兼再生制御装置であって、上記操作子に係る指令をウェブブラウザに送るメディアプレイヤコントローラを備えるウェブページ内メディアコンテンツ再生兼再生制御装置。
【請求項４２】
請求項４０記載のウェブページ内メディアコンテンツ再生兼再生制御装置であって、上記操作子に係る情報に従い上記メディアプレイヤを制御するメディアプレイヤコントローラを備えるウェブページ内メディアコンテンツ再生兼再生制御装置。
【請求項４３】
請求項４０記載のウェブページ内メディアコンテンツ再生兼再生制御装置であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子であるウェブページ内メディアコンテンツ再生兼再生制御装置。
【請求項４４】
請求項４０記載のウェブページ内メディアコンテンツ再生兼再生制御装置であって、上記画像アナライザが、上記メディアコンテンツに係る上記メディアプレイヤの状態を識別するウェブページ内メディアコンテンツ再生兼再生制御装置。
【請求項４５】
請求項４４記載のウェブページ内メディアコンテンツ再生兼再生制御装置であって、上記メディアプレイヤの状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中であるウェブページ内メディアコンテンツ再生兼再生制御装置。
【請求項４６】
ウェブページをロードするステップと、
上記ウェブページで使用されるメディアプレイヤの種類を検出するステップと、
上記メディアプレイヤに付随する操作子を１個又は複数個検出するステップと、
上記メディアプレイヤによるメディアコンテンツの再生を開始させるステップと、
上記メディアコンテンツの再生中に上記メディアプレイヤの状態を検出するステップと、
を機械に実行させる機械可読命令群がその製造時に保存されている媒体。
【請求項４７】
請求項４６記載の媒体であって、上記機械可読命令群が、上記機械に、上記メディアコンテンツに基づきディジタル署名を生成させるものである媒体。
【請求項４８】
請求項４６記載の媒体であって、上記機械可読命令群が、上記機械に、上記メディアコンテンツの再生が始まっているか否かを判別させるものである媒体。
【請求項４９】
請求項４６記載の媒体であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子である媒体。
【請求項５０】
請求項４９記載の媒体であって、上記メディアプレイヤの状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中である媒体。
【請求項５１】
請求項４６記載の媒体であって、上記メディアコンテンツが音声、動画又はその双方を含む媒体。
【請求項５２】
それぞれメディアコンテンツに関連付けられている複数のメディアプレイヤを制御する方法であって、
ウェブページの画像を生成するステップと、
上記画像を処理することで第１及び第２メディアプレイヤ並びに第１及び第２メディアコンテンツを検出するステップと、
上記画像を処理することで上記第１及び第２メディアプレイヤそれぞれに付随する操作子を各少なくとも１個検出するステップと、
上記第１メディアコンテンツを再生させるステップと、
上記第２メディアコンテンツを再生させるステップと、
を有する方法。
【請求項５３】
請求項５２記載の方法であって、上記第１及び第２メディアコンテンツを同時に再生させない方法。
【請求項５４】
請求項５２記載の方法であって、上記第１メディアコンテンツに従い上記第２メディアコンテンツの再生を停止させるステップを有する方法。
【請求項５５】
請求項５２記載の方法であって、上記第１又は第２メディアコンテンツに基づきディジタル署名を生成するステップを有する方法。
【請求項５６】
請求項５２記載の方法であって、上記ウェブページをロードするステップを有する方法。
【請求項５７】
請求項５２記載の方法であって、上記第１及び第２メディアプレイヤが上記ウェブページに関連付けられている方法。
【請求項５８】
請求項５２記載の方法であって、上記画像を解析することで上記第１又は第２メディアプレイヤの状態を検出するステップを有する方法。
【請求項５９】
請求項５８記載の方法であって、上記状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中である方法。
【請求項６０】
請求項５２記載の方法であって、上記メディアコンテンツが音声、動画又はその双方を含む方法。
【請求項６１】
請求項５２記載の方法であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子である方法。
【請求項６２】
ウェブページの画像を生成するステップと、
上記画像を解析することで第１及び第２メディアプレイヤ並びに第１及び第２メディアコンテンツを検出するステップと、
上記画像を解析することで上記第１及び第２メディアプレイヤそれぞれに付随する操作子を各少なくとも１個検出するステップと、
上記第１メディアコンテンツを再生させるステップと、
上記第２メディアコンテンツを再生させるステップと、
を実行することで、それぞれメディアコンテンツに関連付けられている複数のメディアプレイヤを制御するよう製造された媒体。
【請求項６３】
請求項６２記載の媒体であって、上記第１及び第２メディアコンテンツを同時に再生させない媒体。
【請求項６４】
請求項６２記載の媒体であって、上記機械可読命令群が、上記機械に、上記第２メディアコンテンツの再生を停止させるものである媒体。
【請求項６５】
請求項６２記載の媒体であって、上記機械可読命令群が、上記機械に、上記第１又は第２メディアコンテンツに基づきディジタル署名を生成させるものである媒体。
【請求項６６】
請求項６２記載の媒体であって、上記機械可読命令群が、上記機械に、上記ウェブページをロードさせるものである媒体。
【請求項６７】
請求項６２記載の媒体であって、上記第１及び第２メディアプレイヤが上記ウェブページに関連付けたものである媒体。
【請求項６８】
請求項６２記載の媒体であって、上記機械可読命令群が、上記機械に、上記画像を解析することで上記第１又は第２メディアプレイヤの状態を検出させるものである媒体。
【請求項６９】
請求項６８記載の媒体であって、上記状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中である媒体。
【請求項７０】
請求項６２記載の媒体であって、上記メディアコンテンツが音声、動画又はその双方を含む媒体。
【請求項７１】
請求項６２記載の媒体であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子である媒体。
【請求項７２】
それぞれメディアコンテンツに関連付けられている複数のメディアプレイヤを制御する装置であって、
ウェブページの画像を生成する画像ジェネレータと、
上記画像を解析することで、第１及び第２メディアプレイヤ並びに第１及び第２メディアコンテンツを検出し、当該第１及び第２メディアプレイヤそれぞれに付随する操作子を各少なくとも１個検出する画像アナライザと、
上記第１及び第２メディアコンテンツを再生させるメディアプレイヤコントローラと、
を備える装置。
【請求項７３】
請求項７２記載の装置であって、上記第１及び第２メディアコンテンツを同時に再生させない装置。
【請求項７４】
請求項７２記載の装置であって、上記メディアプレイヤコントローラが上記第２メディアコンテンツの再生を停止させる装置。
【請求項７５】
請求項７２記載の装置であって、上記第１又は第２メディアコンテンツに基づきディジタル署名を生成する署名ジェネレータを備える装置。
【請求項７６】
請求項７２記載の装置であって、上記ウェブページをロードするウェブブラウザを備える装置。
【請求項７７】
請求項７２記載の装置であって、上記第１及び第２メディアプレイヤが上記ウェブページに関連付けられている装置。
【請求項７８】
請求項７２記載の装置であって、上記画像アナライザが、上記画像を解析することで上記第１又は第２メディアプレイヤの状態を検出する装置。
【請求項７９】
請求項７８記載の装置であって、上記状態のうち一種類が、メディアコンテンツ再生中、メディアコンテンツ再生一時停止中、メディアコンテンツ再生停止中、メディアコンテンツ再生終了、メディアコンテンツデータバッファリング中又はメディアプレイヤエラー発生中である装置。
【請求項８０】
請求項７２記載の装置であって、上記メディアコンテンツが音声、動画又はその双方を含む装置。
【請求項８１】
請求項７２記載の装置であって、上記操作子のうち一種類が、再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子又は経過時間／合計時間指示子である装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はウェブクローリングに関し、より詳細にはウェブページ内メディアコンテンツ再生兼再生制御方法及び装置に関する。
【背景技術】
【０００２】
ＷＷＷ(World Wide Web)の普及や公衆向け帯域幅の拡大が進むにつれ、ウェブページを用いたメディアコンテンツの配信も増加している。ウェブページ閲覧者に提供されるメディアコンテンツ、例えば音声や動画は様々なフォーマット、様々なメディアプレイヤでウェブページ閲覧者に提供されている。現在使用されているメディアプレイヤの例としては、Ｗｉｎｄｏｗｓ（登録商標）ＭｅｄｉａＰｌａｙｅｒ（商標）、Ｑｕｉｃｋｔｉｍｅ（登録商標）、ＲｅａｌＰｌａｙｅｒ（登録商標）、ＦｌａｓｈＰｌａｙｅｒ（登録商標）等がある。これらのメディアプレイヤでは、ウェブページ閲覧者が動画再生を操作できるよう様々な種類の操作子(control)が提供されている。なかには、ウェブブラウザアプリケーションの種類毎に別バージョンが提供されているメディアプレイヤもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６３５３９２９号明細書
【特許文献２】米国特許第６５１９６４８号明細書
【特許文献３】米国特許第６５３５８８０号明細書
【特許文献４】米国特許第６７１４９３３号明細書
【特許文献５】米国特許第６７２１７４１号明細書
【特許文献６】米国特許第６７２５２２２号明細書
【特許文献７】米国特許第６７２５２７５号明細書
【特許文献８】米国特許第７０８２４２６号明細書
【特許文献９】米国特許第７１６２６９６号明細書
【特許文献１０】米国特許第７２００８０１号明細書
【特許文献１１】米国特許第７２８１０３４号明細書
【特許文献１２】米国特許出願公開第２００２／００５６０８９号明細書
【特許文献１３】米国特許出願公開第２００２／００９１７６４号明細書
【特許文献１４】米国特許出願公開第２００３／００６６０７０号明細書
【特許文献１５】米国特許出願公開第２００４／０００３１０２号明細書
【特許文献１６】米国特許出願公開第２００４／０１７７０９６号明細書
【特許文献１７】米国特許出願公開第２００４／０２５４９５６号明細書
【特許文献１８】米国特許出願公開第２００４／０２５４９５８号明細書
【特許文献１９】米国特許出願公開第２００４／０２６７８１２号明細書
【特許文献２０】米国特許出願公開第２００６／００２６１６２号明細書
【特許文献２１】米国特許出願公開第２００６／００４１５８９号明細書
【特許文献２２】米国特許出願公開第２００６／０２４２１９２号明細書
【特許文献２３】米国特許出願公開第２００６／０２７１９７７号明細書
【特許文献２４】米国特許出願公開第２００７／００７３７５８号明細書
【特許文献２５】米国特許出願公開第２００７／０１２４１１０号明細書
【特許文献２６】米国特許出願公開第２００７／０１５０６１２号明細書
【特許文献２７】米国特許出願公開第２００７／０１６８５４３号明細書
【特許文献２８】米国特許出願公開第２００７／０２７７０８８号明細書
【特許文献２９】米国特許出願公開第２００７／０２９４２５２号明細書
【特許文献３０】米国特許出願公開第２００８／００４６５６２号明細書
【特許文献３１】米国特許出願公開第２００８／００４６７３８号明細書
【特許文献３２】米国特許出願公開第２００８／０１２０４２０号明細書
【特許文献３３】米国特許出願公開第２００８／０１４０７１２号明細書
【特許文献３４】米国特許出願公開第２００８／０１４１１６２号明細書
【特許文献３５】国際公開第ＷＯ２００６／０５８０７５号パンフレット
【特許文献３６】国際公開第ＷＯ２００８／０２１４５９号パンフレット
【特許文献３７】国際公開第ＷＯ９８／２７４９７号パンフレット
【非特許文献】
【０００４】
【非特許文献１】BUSHER et al., "Generating and Using Gaze-Based Document Annotations," CHI 2008 Proceedings-Works in Progress, April 5-10, 2008, Florence, Italy, pages 3045-3050.
【非特許文献２】FU et al., "Detecting Phishing Web Pages with Visual Similarity Assessment Based on Earth Mover's Distance (EMD)," IEEE Transactions on Dependable and Secure Computing, Vol.3, No.4, October-December 2006, 11 pages.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、ウェブページ内メディアコンテンツ再生兼再生監視方法及び装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、ウェブブラウザ、画像ジェネレータ、画像アナライザ、メディアプレイヤコントローラ及び署名ジェネレータを備えるウェブページ内メディアコンテンツ再生兼再生制御用のウェブクローラである。
【０００７】
本実施形態では、まず、ウェブブラウザが、メディアプレイヤを使用するウェブページをロードし、そのページのレイアウトを示す情報を画像ジェネレータに送る。画像ジェネレータはウェブページ画像、即ちそのウェブページをモニタの画面等に表示させた場合に現れるであろう画像を生成する。画像ジェネレータは、画像処理技術を用いそのウェブページ画像を解析することで、使用するメディアプレイヤ及びそのメディアプレイヤで再生すべきメディアコンテンツを識別する。このプレイヤ識別の際、画像アナライザは、そのメディアプレイヤに付随する操作子、即ちウェブページ閲覧者にとりメディアコンテンツ再生を制御する手段となる再生ボタン等の操作子も識別する。画像アナライザは、更に、メディアコンテンツ表示エリア及びメディアプレイヤ状態を識別する。メディアプレイヤがとりうる状態は多様である。ここでは、メディアコンテンツ再生中か、メディアコンテンツデータバッファリング中か等を識別する。
【０００８】
メディアプレイヤコントローラは、メディアプレイヤ操作子やメディアプレイヤ状態を表す情報をウェブブラウザに送り、そこで稼働しているメディアプレイヤを制御する。例えば、再生コマンドをウェブブラウザに与えることで、ウェブページ閲覧者が再生ボタンをクリックしたときのそれと同じ動作をそのメディアプレイヤに実行させる。そして、署名ジェネレータは、メディア情報を用いそのメディアコンテンツ向けにディジタル署名を生成する。メディアコンテンツアイデンティファイアは、ディジタル署名と既知メディアコンテンツとを対応付けるデータベースを、生成されたディジタル署名を用い参照することで、何個かの又は全てのウェブページ内メディアコンテンツを識別する。
【０００９】
本発明の他の実施形態は、上述の実施形態に係るウェブクローラ等を用い実行されるウェブページ内メディアコンテンツ再生兼再生監視方法である。本方法では、そのウェブクローラが、一種類又は複数種類のメディアプレイヤ及びメディアコンテンツを使用するウェブページをロードし、そのウェブページの画像を生成し、更にその画像を解析することで、メディアコンテンツ及びユーザ向けメディアプレイヤ操作子の位置及び機能を識別する。メディアプレイヤ、メディアコンテンツ及びユーザ向け操作子の識別が済むと、ウェブクローラは、（自動再生されていない場合はまずそのメディアコンテンツの再生を開始させた上で）そのメディアコンテンツ向けにディジタル署名を生成する。ウェブクローラは、メディアコンテンツ再生中にメディアプレイヤ状態の監視も行う。監視されうるメディアプレイヤ状態は、「メディアコンテンツ再生中」「メディアコンテンツ再生一時停止中」「メディアコンテンツ再生停止中」「メディアコンテンツ再生終了」「メディアコンテンツデータバッファリング中」「メディアプレイヤエラー発生中」等多様である。
【図面の簡単な説明】
【００１０】
【図１Ａ】メディアコンテンツ及びメディアプレイヤを使用するウェブページの例を示す図である。
【図１Ｂ】メディアコンテンツ及びメディアプレイヤを使用するウェブページの別例を示す図である。
【図２】図１Ａ中のメディアプレイヤ及びメディアコンテンツを詳示する図である。
【図３】ウェブページ内メディアコンテンツの再生及び再生監視に使用されるウェブクローラの一例を示すブロック図である。
【図４】メディアコンテンツ再生待ち時のメディアプレイヤを示す図である。
【図５】メディアコンテンツ再生中のメディアプレイヤを示す図である。
【図６】メディアコンテンツ再生終了後のメディアプレイヤを示す図である。
【図７】メディアコンテンツデータバッファリング中のメディアプレイヤを示す図である。
【図８】ウェブページ内メディアコンテンツ再生兼再生監視手順の例を示すフローチャートである。
【図９】本明細書で例示した方法及び装置を実現可能な処理システムの例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態に係るシステムについて説明する。この説明では、構成部材のうち幾つかをソフトウェアで実現し、そのソフトウェアを相応のハードウェア上で実行する構成を採り上げるが、そうした装置構成はあくまで例であり、本発明はそれ以外の形態でも実施することができる。例えば、ハードウェア又はソフトウェアとして説明されている部材の一部或いは全てを、専用のハードウェアのみ、専用のソフトウェアのみ、或いは専用のファームウェアのみで実現することも、ハードウェア、ファームウェア及びソフトウェアの選択的組合せで実現することも可能である。
【００１２】
また、本明細書では、再生されるメディアコンテンツ及びその状態が監視されるメディアプレイヤが１個の例を用い、実施形態に係る方法及び装置を説明している。しかし、複数のメディアプレイヤ及びメディアコンテンツを使用するウェブページに対しても、それらの方法及び装置を適用することができるので、その点に留意されたい。
【００１３】
図１Ａに、一例として、メディアプレイヤ１０２及びメディアコンテンツ１０４を使用するウェブページ１００を示す。このページ１００が表示されるのは、ユーザがＵＲＬ（uniform resource locator）等を辿って来訪したウェブサイトから、コンピュータ例えば図９に示す処理システムへとそのページ１００がダウンロードされたときである。通常、こうしたページ１００の記述にはＨＴＭＬ(hypertext mark-up language)、ＸＭＬ(extensible mark-up language)等のコンピュータ言語が使用されており、そのダウンロード及び表示にはウェブブラウザが使用されている。既知のウェブブラウザとしては、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒ（登録商標）、Ｍｏｚｉｌｌａ（登録商標）Ｆｉｒｅｆｏｘ（登録商標）、Ａｐｐｌｅ（登録商標）Ｓａｆａｒｉ（登録商標）等がある。
【００１４】
メディアコンテンツ１０４は、例えば、こうしたウェブページ１００に関する記述中にそのコンテンツ１０４を表す記述として含めることができる。この場合、コンテンツ１０４は、そのページ１００を構成する他のコンテンツと共にダウンロードされ、ウェブブラウザによって表示される。また、ページ１００に関する記述中にコンテンツ１０４の所在を記述してもよい。この場合、コンテンツ１０４は、そのページ１００とは別の場所からダウンロードされる。更に、メディアプレイヤ１０２も、ページ１００からダウンロードして使用することができる。しかし、通常は、そのコンピュータ上に搭載済のメディアプレイヤのうち相応しいものを、プレイヤ１０２として使用する。例えば、相応しいブラウザプラグインをウェブブラウザで呼び出して使用する。そうしたプレイヤ１０２で再生できるメディアコンテンツの種類は、通常、ある特定の種類のデータフォーマットに則り作成されたものに限られている。即ち、多数の又はあらゆるデータフォーマットのメディアコンテンツを再生可能なメディアプレイヤも作成できないではないが、再生可能なメディアコンテンツデータフォーマットは、通常、メディアプレイヤの種類毎に異なっている。使用されるメディアプレイヤの種類は一般にウェブサイト毎、ウェブページ毎に異なるので、そのサイト乃至ページでどのような種類のメディアプレイヤが使用されるかにより、そのサイト乃至ページでサポートされるデータフォーマットや、そのサイト乃至ページ上で個々のメディアプレイヤに付随し表示されるユーザ（例えばウェブ閲覧者）向けメディアプレイヤ操作子の種類も異なるものである。更に、ウェブページのなかには、ユーザとのやりとりやユーザからの指示がなくとも、ウェブページがロードされるとメディアコンテンツの再生が始まるものもある。
【００１５】
図１Ｂに、別例として、メディアプレイヤ１０８及びメディアコンテンツ１１０を使用するウェブページ１０６を示す。図中のプレイヤ１０８はメディアプレイヤ１０２とは別種のもの、コンテンツ１１０のデータフォーマットはメディアコンテンツ１０４のそれと同種、類似又は別種のものである。プレイヤ１０２・１０８間の違いはとりわけその操作子に現れている。例えば、プレイヤ１０８で提供されているユーザ向けメディアプレイヤ操作子のうち、幾つかはプレイヤ１０２用の操作子と機能的に類似しているものであるが、他の幾つかはプレイヤ１０２では提供されていないものである。総じて言えば、本発明の諸実施形態に係る方法及び装置は、ページ１００，１０６で使用中の一種類又は複数種類のプレイヤ１０２，１０８で提供されるユーザ向け操作子を識別し、識別した操作子を利用し個々のプレイヤ１０２，１０８に係るコンテンツ１０４，１１０の再生を制御する、というものである。
【００１６】
図２に、図１Ａに示したウェブページ１００で使用されるメディアプレイヤ１０２及びメディアコンテンツ１０４の詳細を示す。このプレイヤ１０２では、コンテンツ１０４のうち動画等が表示されるメディアコンテンツ表示エリア２０２に加え、再生ボタン２０４や再生／一時停止ボタン２０６も提供されている。再生ボタン２０４はコンテンツ１０４の再生を開始させうるとき（再生開始前）に表示され、コンテンツ１０４が再生されているときには表示されない。再生／一時停止ボタン２０６には、コンテンツ１０４が再生されていないとき（その再生が一時停止中又は停止中のとき）に再生シンボルが表示され、コンテンツ１０４が再生中又はバッファリング中のときには図示しない一時停止シンボルが表示される。
【００１７】
このメディアプレイヤ１０２では更にプログレスバー２０８が提供されている。このバー２０８はコンテンツ再生の進捗状況をユーザに知らせるためのバーであり、メディアコンテンツ１０４の始まり（バー２０８の左端）や終わり（バー２０８の右端）を基準にした時刻、フレーム数等を、その上のプログレスバー指示子２１０で指し示すように構成されている。また、この例では、コンテンツ１０４を所期速度で再生したときの残り再生時間を表示するカウントダウンタイマ２１２も使用されている。こうした残り時間指示子に代え、又はこれと共に、その始まりや終わりを基準にコンテンツ１０４の再生時間を表示するカウントアップタイマを使用することもできる。更に、このプレイヤ１０２ではボリューム操作子２１４が提供されているので、音声を含むコンテンツ１０４を再生する際に、その音声出力レベルを調整することができる。
【００１８】
そして、このメディアプレイヤ１０２ではその操作子として再生／一時停止ボタン２０４、再生ボタン２０６、プログレスバー２０８、プログレスバー指示子２１０、カウントダウンタイマ２１２及びボリューム操作子２１４のみが提供されているが、これとは異なる個数、異なる種類のメディアプレイヤ操作子を提供し、メディアコンテンツ１０４の再生制御に利用可能とすることもできる。例えば、一時停止専用のボタン、停止ボタン、再生／停止ボタン、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子、経過時間／合計時間指示子等を、上掲の操作子２０４〜２１４と共に或いはそれに代えて使用することができる。
【００１９】
図３に、ウェブページ内メディアコンテンツ再生兼再生監視用のウェブクローラの一例ブロック構成３００を示す。このウェブクローラ３００は、ウェブブラウザ３０２、画像ジェネレータ３０４、画像アナライザ３０６、メディアプレイヤコントローラ３０８及び署名ジェネレータ３１０を内包しており、様々なウェブサイトからウェブページを受信できるようインターネット上のＷＷＷ３１２に接続されている。例えば、ある種の処理プラットフォーム（図９に示した処理システム等）で実行されるソフトウェアモジュール、といった形態で、こうしたクローラ３００を実現することができる。
【００２０】
ウェブページ上でのメディアコンテンツ再生、例えば図１に示したウェブページ１００上でのメディアコンテンツ１０４の再生を実行・監視するため、ウェブブラウザ３０２は、そのページ１００を記述しているウェブページ情報をＷＷＷ３１２経由で受信、ロードする。ロードされるウェブページ情報は、ＨＴＭＬコード、ＸＭＬコード、ＪａｖａＳｃｒｉｐｔ（登録商標）コード等のコード乃至コンピュータ言語を用い、そのページ１００を記述したものである。ブラウザ３０２としては、ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒ（登録商標）等、そのウェブページ情報に基づく表示を実行可能な商用版乃至カスタム版のウェブブラウザソフトウェアを使用することができる。
【００２１】
メディアコンテンツ１０４を含むウェブページ１００を表示する場合、ウェブブラウザ３０２は、そのページ１００でそのコンテンツ１０４に関連付けられているメディアプレイヤ、例えば図１に示したメディアプレイヤ１０２を実行、作動させる。コンテンツ１０４を再生（プレイヤ１０２を作動）させる動作は、ブラウザ３０２自体の動作、ブラウザプラグイン（ホストアプリケーションとやりとりして特定の機能を司るプログラム）、或いはそれらの併用で実現することができる。ブラウザ３０２は、更に、ウェブページ情報を画像ジェネレータ３０４及び画像アナライザ３０６に供給し、メディアプレイヤ情報、メディアコンテンツ情報又はその双方をジェネレータ３０４に供給する。ＷＷＷ３１２からのウェブページ情報をブラウザ３０２とアナライザ３０６が同時並行的に受け取る構成にすることもできる。
【００２２】
画像ジェネレータ３０４は、ウェブブラウザ３０２から送られてきたウェブページ情報を用いウェブページ画像、即ちそのウェブページをモニタ上に表示させたときにユーザの目に映るであろう画像を生成する。画像ジェネレータ３０４は、そうしたウェブページ画像を、コンピュータ用モニタ、テレビジョン受像機等を初めとするメディア再生装置用ディスプレイのリフレッシュレートに相当する枚数に亘り生成する。画像の生成枚数乃至生成速度を適宜設定することで、画像アナライザ３０６におけるメディアコンテンツ及び操作子の検出や、署名ジェネレータ３１０におけるディジタル署名の生成を、好適に行えるようにすることができる。
【００２３】
画像アナライザ３０６は、画像ジェネレータ３０４にて生成されたウェブページ画像を受け取り画像処理技術を用いて解析することによって、そのウェブページ１００についての情報、特にそのページ１００で使用しているメディアプレイヤ１０２についての情報を取得する（議論の単純化のためある一種類のプレイヤ１０２をメディアコンテンツ１０４の再生に使用するページ１００を例にするが、本明細書の他の個所でも述べているように、本発明の諸実施形態の方法及び装置はプレイヤ１０２を複数使用するウェブページにも適用することができる）。具体的には、アナライザ３０６は、ウェブブラウザ３０２によってロードされたページ１００の初期状態を示すウェブページ画像を解析し、それによってプレイヤ１０２の存否及び位置を判別する。その判別のため、アナライザ３０６は、メディアコンテンツ表示エリア２０２の識別を試みると共に、プレイヤ１０２に係る操作子、例えば再生ボタン、一時停止ボタン、停止ボタン、再生／停止ボタン、再生／一時停止ボタン、ボリューム操作子、プログレスバー、メディア表示サイズ操作子、早送りボタン、巻き戻しボタン、経過時間指示子、カウントダウン指示子、経過時間／合計時間指示子等の識別を試みる。ここで例示した操作子全てを識別対象としてもよいし、ある特定の操作子（群）、例えば再生／一時停止ボタン２０６、停止ボタン、経過時間／合計時間指示子等だけを識別対象としてもよい。
【００２４】
画像アナライザ３０６では、その画像処理技術として、ヒントとの画像マッチングやエッジ検出を使用している。画像マッチングの目的はメディアプレイヤ１０２及びメディアコンテンツ表示エリア２０２の識別、エッジ検出の目的はメディアプレイヤ操作子の識別である。ヒントとしては、アナライザ３０６によるプレイヤ１０２やエリア２０２の識別に役立つものなら、どのような情報でも使用することができる。例えば、受け取ったウェブページ情報に含まれているＨＴＭＬ等のコード、既知の座標値、相連続する画像同士の比較結果、関連するネットワークトラフィック等からヒントを導出すればよい。関連するネットワークトラフィックの例としては、ウェブブラウザ３０２によるプラグイン呼出の際に発生するトラフィックがある（「Rectangle 20,20,100,100」等）。
【００２５】
ヒントを使用するのは、メディアプレイヤ１０２及びメディアコンテンツ表示エリア２０２を識別するとき、狙いとするエリア例えば２０２に焦点を合わせるためである。そのアルゴリズムの例を次の式
【数１】
2011520324.tif 000003
に示す。この式（Ｅｑ．１）中、Ｉはウェブページ画像、Ｔはテンプレート、Ｒは結果を表しており、総和の範囲はｘ’＝０，…，ｗ−１及びｙ’＝０，…，ｈ−１の範囲、即ちテンプレート及び画像パッチの全幅ｗ及び全高ｈに亘る範囲とされている。こうした画像処理を実行できるソフトウェアはＯｐｅｎＣＶライブラリから入手することができる。なお、ここで述べた手法に代え又はそれと共に、それ以外の画像処理技術、手法乃至アルゴリズムを用いることもできる。
【００２６】
画像アナライザ３０６は、メディアプレイヤ１０２の位置、メディアコンテンツ表示エリア２０２の位置、並びにメディアプレイヤ操作子の位置及び機能を識別するだけでなく、そのプレイヤ１０２の状態も識別する。例えば、「メディアコンテンツ再生中」「メディアコンテンツ再生一時停止中」「メディアコンテンツ再生停止中」「メディアコンテンツ再生終了」「メディアコンテンツデータバッファリング中」「メディアプレイヤエラー発生中」等といったメディアプレイヤ状態を識別する。
【００２７】
それらのうち「メディアコンテンツ再生一時停止中」なるメディアプレイヤ状態は、そのメディアプレイヤ１０２がメディアコンテンツ１０４を能動的に再生していない状態のうち、その状態を解消するとコンテンツ再生中断個所（一時停止ボタンが押されたところ）とほぼ同じところからそのコンテンツ１０４の再生が再開される状態のことである。
【００２８】
「メディアコンテンツ再生停止中」なるメディアプレイヤ状態は、そのメディアプレイヤ１０２がメディアコンテンツ１０４を能動的に再生していない状態のうち、その状態を解消するとその始まりからコンテンツ１０４の再生が再開される状態のことである。
【００２９】
「メディアコンテンツ再生終了」なるメディアプレイヤ状態は、そのメディアプレイヤ１０２がメディアコンテンツ１０４を能動的に再生していない状態のうち、そのコンテンツ１０４の終わりで停止している状態のことである。
【００３０】
画像アナライザ３０６にこうした機能があるため、ウェブクローラ３００では、メディアコンテンツ１０４が再生中か否かを判定することや、そのコンテンツ１０４の再生を開始又は停止させることや、そのコンテンツ１０４の再生が終了若しくは一時停止していること又はそのデータをバッファリング中であることを検出することや、そのコンテンツ１０４の再生中に生じた問題乃至エラーを検出することができる。
【００３１】
メディアプレイヤコントローラ３０８は、その画像アナライザ３０６から、メディアプレイヤ１０２に係るユーザ向け操作子情報を受け取る。そのユーザ向け操作子情報には、例えば、操作子の機能（再生／一時停止等）、ウェブページ内位置（ｘ，ｙ座標値等）、各種使用条件（プレイヤ１０２によるメディアコンテンツ１０４の再生を開始するタイミング等）といったものが含まれている。プレイヤ１０２を制御するため、コントローラ３０８はコマンド、例えば特定位置でのマウスクリック、特定キーの押下等のユーザ入力を模したコマンドをウェブブラウザ３０２に与える。ブラウザ３０２は、そのコマンドをユーザ入力と見なして実行する。従って、コントローラ３０８は、そうしたコマンド例えばマウスクリックコマンドによりブラウザ３０２に指令することで、アナライザ３０６によって再生ボタン２０６と識別されたエリア内がクリックされたと認識させることができ、ひいてはプレイヤ１０２にコンテンツ１０４の再生を開始させることができる。なお、これ以外のユーザ入力、ジェスチャ乃至コマンドも、コントローラ３０８にて擬似的に発生させることやブラウザ３０２に実行させることができる。
【００３２】
署名ジェネレータ３１０は、メディア情報を受け取り、再生中のメディアコンテンツ１０４向けにディジタル署名を生成する。このディジタル署名生成は、例えば、そのコンテンツ１０４を識別可能な一種類又は複数種類の数値を、そのコンテンツ１０４に含まれる音声、動画又はその双方に基づき発生させるものであれば、任意のアルゴリズムで実行することができる。メディアコンテンツアイデンティファイア３１４は、そうして生成されたディジタル署名に基づきコンテンツ１０４を識別する。この識別は、例えば、基準ディジタル署名を基準メディアコンテンツのライブラリに関連付けるデータベースを、受け取ったディジタル署名の少なくとも一部分で参照することによって実行する。即ち、アイデンティファイア３１４は、受け取ったディジタル署名と基準ディジタル署名を比較することで類似度を求める。求めた類似度のなかに所定のしきい値を上回っているものがある場合、そのコンテンツ１０４に関する類似度が最高であると識別される。
【００３３】
また、メディアプレイヤを使用するウェブページのなかには、そのページがウェブブラウザに全て又は一部ロードされた段階でそのプレイヤによるメディアコンテンツの再生が始まるもの（プレイヤがそのように設定されているもの）もある。画像アナライザ３０６は、メディアコンテンツ１０４の再生が始まっていることを、例えば、メディアコンテンツ表示エリア２０２内モーションを検出する、音声を検出する、再生／一時停止ボタン２０４が一時停止ポジションであることを検出する、そのページ１００がコンテンツ１０４の再生を自動的に開始させるページであるとの予備知識を利用する、等といった手法で検出する。エリア２０２内モーションの検出は、例えば、複数枚のウェブページ画像を解析しエリア２０２内の変化を検出することで行う。音声の検出は、例えば、ウェブクローラ３００がウェブブラウザ３０２から図示しないオーディオデバイス（バーチャルなものでもリアルなものでもよい）への音声フォーマット出力を検出することで行う。再生／一時停止ボタン２０４が一時停止ポジションであることの検出は、例えば、それまで
【数２】
2011520324.tif 000004
等の再生シンボルが表示されていたエリアに今では
【数３】
2011520324.tif 000005
等の一時停止シンボルが表示されているか否かをアナライザ３０６で判別することで行う。そして、コンテンツ１０４の再生が自動的に開始されることの検出は、ユーザその他の情報源からクローラ３００への入力に基づく推定で行う。
【００３４】
逆に、メディアコンテンツ１０４の再生が自動的に始まらない場合等、その再生が停止又は一時停止しているときには、ウェブクローラ３００は、そのコンテンツ１０４を再生するための諸ステップを実行する。具体的には、メディアプレイヤ１０２の操作子が識別された後、メディアプレイヤ操作子情報及び再生情報を画像アナライザ３０６からメディアプレイヤコントローラ３０８へと送り、それらの情報に基づくコマンドをコントローラ３０８からウェブブラウザ３０２へと送ることで、そのコンテンツ１０４の再生を開始させる。
【００３５】
このメディアコンテンツ再生はいずれ終了する。画像アナライザ３０６は、再生が終了したことを、再生／一時停止ボタン２０４に再生シンボルが表示されている、再生ボタン２０６が可視状態である、プログレスバー指示子２１０がプログレスバー２０８の端（例えば右端）にある、所定時間に亘り音声を検出できていない、カウントダウンタイマ２１２が０：００になっている、経過時間指示子と合計時間指示子が同じ値である、メディアコンテンツ表示エリア２０２内モーションが見られない、といった条件のうち１個又は複数個を判別することで検出する。アナライザ３０６は、再生が終了したことを検出したら、そのことを示す信号を署名ジェネレータ３１０に送る。ジェネレータ３１０は、それを受けて、そのメディアコンテンツ１０４向けにディジタル署名を生成するための諸ステップの実行を全て終了する。
【００３６】
メディアコンテンツ再生は一時停止されることもある。一時停止されるのは、メディアプレイヤコントローラ３０８からその旨のコマンドが発せられたときだけである。ウェブクローラ３００では、そのため、コントローラ３０８からのコマンドでメディアコンテンツ１０４の再生が一時停止されたとき、並びにその一時停止が解除されたときにその値が変化するようポーズ変数を定義しておき、監視に当たってはその値を参照する。なお、コントローラ３０８からのコマンドでコンテンツ１０４の再生が一時停止されるのは、例えば、署名ジェネレータ３１０ではメディアコンテンツ向けの署名をいちどきに１個ずつしか生成できないのに、ウェブページ１００上に複数のメディアプレイヤ１０２，１０６がある場合である。
【００３７】
メディアコンテンツ再生は、更に、そのメディアコンテンツ１０４についてのデータバッファリングが一段落するまで中断されることもある。データがバッファリングされるのは、ストリーミングメディアの再生に中断が生じないようにするためである。メディアプレイヤにおけるバッファリングは、通常、接続速度、総再生時間、残り再生時間等を勘案して実行される。バッファリングする長さは、ダウンロード済データに再生終了分が追いつかないうちにメディアを再生し終えるのに、どの程度まで先取りすればよいかを推定することで定められる。例えば、再生したいメディアコンテンツ１０４が６０秒のメディアクリップであり、そのコンテンツ１０４の後寄り５５秒分をそのメディアプレイヤ１０２で５５秒以内にダウンロードできそうなら、再生開始前にそのプレイヤ１０２でバッファリングされる長さを５秒とすればよい。しかし、コンテンツ１０４を得るためのデータ接続には遅延が生じることもある。そうした場合、そのコンテンツ１０４の終わりに辿り着く前に、そのプレイヤ１０２の許にあるデータが皆再生されてしまうこととなろう。この場合、プレイヤ１０２は、コンテンツ１０４のデータをある程度バッファリングしてからでないと、そのコンテンツ１０４の再生を再開することができない。プレイヤ１０２は、メディアコンテンツ表示エリア２０２内に「Ｂｕｆｆｅｒｉｎｇ」（バッファリング中）なる語を表示させることで、自分がそうした状態にあることをユーザに通知する（後掲の図７を参照）。
【００３８】
画像アナライザ３０６は、メディアコンテンツ表示エリア２０２か操作子エリアに「Ｂｕｆｆｅｒｉｎｇ」なる語が表示されていること、音声の中断が所定時間以上続いていること、プログレスバー２０８の端部に達しているわけでもないのにプログレスバー指示子２１０が所定時間以上動いていないこと、データのバッファリングが進行中であることが例えばポップアップウィンドウを用いそのウェブサイトにて表示されたこと等のうち、一種類又は複数種類を検出することによって、そのメディアコンテンツ１０４に係るデータのバッファリングが進行中であることを検出する。
【００３９】
なお、データのバッファリングが進行中でメディアコンテンツ１０４が再生されていないときには、そのコンテンツ１０４を構成している音声も再生されないので、そのウェブクローラ３００内でウェブブラウザ３０２の音声出力を監視することにより、メディアプレイヤ１０２の状態についての追加情報を取得し、そのコンテンツ１０４に係るデータのバッファリングが進行中か否かを調べることができる。同様に、画像ジェネレータ３０４から（概ね）連続的に送られてくる複数枚のウェブページ画像を画像アナライザ３０６にて相互比較することで、プログレスバー指示子２１０を監視し、その動きを検出することができる。更に、ウェブページ１００上やプレイヤ１０２上でなされている表示のうち、そのコンテンツ１０４に係るデータのバッファリングが進行中であることを示す一種類又は複数種類の表示、例えばポップアップウィンドウによる表示を調べることでも、再生中にコンテンツ１０４のデータバッファリング状態を判別することができる。
【００４０】
メディアコンテンツ再生は停止されることもある。ウェブクローラ３００は、そのことを、メディアプレイヤコントローラ３０８から停止ボタン押下とのコマンドが発せられたこと、プログレスバー指示子２１０が所定時間以上に亘り動いていないこと、プログレスバー指示子２１０がプログレスバー２０８の端にあること、ウェブブラウザ３０２の音声出力が所定時間以上に亘り途絶えていること等のうち、１個又は複数個を検出することで検出する。
【００４１】
そして、ウェブクローラ３００は、例えば、メディアコンテンツ１０４の再生が成功裏に開始されたのにその再生が所期時間を経過しても終了していないことを検出することで、その再生に障害が生じていることを検出する。
【００４２】
なお、図３に示したのはあくまで一例である。本件技術分野で習熟を積まれた方々（いわゆる当業者）には、それ以外の構成にすることが可能且つ有益であることをご理解頂けよう。例えば、メディアリサーチパネリストが所有するパーソナルコンピュータ（ＰＣ）上で、ウェブページ上のメディアコンテンツを識別・監視可能なソフトウェアアプリケーションを実行する、といった形態で、本発明を実施することができる。この形態では、そのＰＣを使用している一人又は複数人のパネリストが、そのソフトウェアによる識別・監視の結果を参照することができる。
【００４３】
図４に、メディアコンテンツ４０２の再生開始を待っているメディアプレイヤ４００の例を示す。図中のコンテンツ４０２は、音声を伴う２分（２：００）長のビデオクリップである。プレイヤ４００にはユーザ向け操作子として再生／一時停止ボタン４０４、停止ボタン４０６、ボリューム操作子４０８、巻き戻しボタン４１０、早送りボタン４１２、経過時間指示子４１４、合計時間指示子４１６、プログレスバー４１８及びプログレスバー指示子４２０が設けられている。これ以外の構成、例えば経過時間指示子４１４及び合計時間指示子４１６を図２中の残り時間指示子２１２に置き換えた構成でも、本発明を実施することができる。
【００４４】
前述の通り、画像アナライザ３０６は、メディアコンテンツ４０２の再生が開始されていないことを、再生／一時停止ボタン４０４、経過時間指示子４１４及びプログレスバー指示子４２０に対する監視で検出する。この図では再生／一時停止ボタン４０４に再生シンボルが表示されており、経過時間指示子４１４による表示が「０：００」、即ちコンテンツ４０２の（ほぼ）始まりであることを示す表示となっており、そしてプログレスバー指示子４２０がプログレスバー４１８の始まり（左端）に位置している。
【００４５】
図５に、メディアコンテンツ４０２を再生しているメディアプレイヤ４００の例を示す。図中のプレイヤ４００はコンテンツ４０２を再生できるよう構成されており、図４のそれと同様の操作子４０４〜４２０を伴っている。図示例では、コンテンツ４０２の再生が進行中で、その開始から１分（１：００）が経過している。画像アナライザ３０６は、コンテンツ４０２がプレイヤ４００で再生されていることを、コンテンツ４０２を構成する画像間の差異を検出する、再生／一時停止ボタン４０４に一時停止シンボルが表示されていることを検出する、経過時間指示子４１４に表示されている時間が０：００ではなく合計再生時間とも等しくないことを検出する、プログレスバー指示子４２０の位置変化を検出する、それらの任意の組合せを実行する、等の手法で検出する。こうした操作子利用型再生状態検出手法のうち一種類又は複数種類と併せ、コンテンツ４０２に係る音声出力を検出する手法を使用してもかまわない。
【００４６】
図６に、メディアコンテンツ４００の再生を終了したメディアプレイヤ４００の例を示す。このプレイヤ４００にはコンテンツ４０２が関連付けられており、且つ図４に示したものと同様のユーザ向け操作子４０４〜４２０が付随している。画像アナライザ３０６は、プレイヤ４００によるコンテンツ４０２の再生が終了していることを、コンテンツ４０２、プログレスバー指示子又はその双方に画像間変化が見られないことを検出する、再生／一時停止ボタン４０４に再生シンボルが表示されていることを検出する、経過時間指示子４１４と合計時間指示子４１６が同じ時間を表示していることを検出する、所定時間に亘り音声出力が途絶えていることを検出する、それらの任意の組合せを実行する等、個々の又は一連のウェブページ画像に対する解析を通じて検出する。
【００４７】
図７に、メディアコンテンツ４０２に係るデータをバッファリング中のメディアプレイヤ４００の例を示す。このプレイヤ４００にはコンテンツ４０２が関連付けられており、且つユーザ向け操作子４０４〜４２０が付随している。コンテンツ４０２に係るデータ又はその一部のバッファリングが進行中であるため、プレイヤ４００は、バッファリング中であることを示す語「Ｂｕｆｆｅｒｉｎｇ」を含むアラート４２２を表示している。表示する個所は、プレイヤ４００又はその一部の上でもよいし、そのウェブページ１００内の別の場所でもよい。図示の如く、このアラート４２２にはバッファリング進行度が付加されているので、ユーザは、その進行度表示を見ることで、プレイヤ４００によるデータのバッファリングが一段落しコンテンツ４０２の再生を開始乃至再開できる状態になるまでのおおよその時間を知ることができる。画像アナライザ３０６は、プレイヤ４００がコンテンツ４０２についてのデータバッファリングを進めていることを、語「Ｂｕｆｆｅｒｉｎｇ」又はそれに類するアラート４２２をプレイヤ４００又はウェブページ１００から検出する、所定時間に亘り音声出力が途絶えていることを検出する、所定時間に亘りプログレスバー指示子４２０の位置が変化していないことを検出する、プレイヤ４００によるデータバッファリングが進行中であることを示すその他の徴候をそのウェブサイトから検出する、それらの任意の組合せを実行する等の手法で検出する。
【００４８】
図８に、ウェブページ１００で参照しているメディアコンテンツ１０４を再生及び再生監視する手順のフロー例８００を示す。この図の手順８００は様々な種類のプロセッサ、コントローラ乃至処理デバイスで実現可能である。例えば、この図の手順８００を一群の命令コードで記述し、そのコード群をフラッシュメモリ等の有形媒体やＲＡＭ(random access memory)に保存・ロードし、対応するプロセッサ、例えば図９を参照して後述するプロセッサシステム９００内のプロセッサ９１２で実行させることができる。また、この図の手順８００は、ＡＳＩＣ、ＰＬＤ(programmable logic device)、ＦＰＬＤ(field programmable logic device)、ディスクリート論理回路、ハードウェア、ファームウェア、手動操作、それらの任意の組合せ等の形態（例えばファームウェア、ソフトウェア、ハードウェア又はその組合せ）で実現することができる。そして、以下の説明ではこの図の手順８００を参照するが、図３に示したウェブクローラ３００を実現可能な手順はほかにも色々と提案することができる。例えば、諸ステップの実行順序を変えたものや、諸ステップに内容変更、削除、分割乃至結合を施したものや、それらを任意に組み合わせたものである。加えて、この図の手順を、複数の処理スレッド、プロセッサ、デバイス、回路等を使用し、パラレルに実行することもシーケンシャルに実行することもできる。
【００４９】
この手順８００では、まず、ウェブクローラ３００が、ウェブページリストに登録されている１個又は複数個のウェブページのうち１個をロードする（ステップ８０２）。このリストは、それぞれ一種類又は複数種類のメディアプレイヤ及び識別対象となるメディアコンテンツを指定乃至参照しているウェブページのリストである。ロードされるのは、そうしたウェブページのうちいずれか、例えば図１Ａ、図１Ｂ及び図２に示す如くメディアプレイヤ１０２又は１０８及びメディアコンテンツ１０４又は１１０を指定乃至参照しているウェブページ１００である。クローラ３００は、その一部たる画像ジェネレータ３０４を使用しウェブページ画像、即ちそのウェブページ１００を表示装置等でユーザ向けに表示したときに現れるであろう画像を生成する（ステップ８０４）。
【００５０】
画像アナライザ３０６は、その画像に基づきウェブページ１００を解析することで、図２中にメディアコンテンツ表示エリア２０２として例示したメディアエリアや、それに付随する全てのユーザ向け操作子を識別する（ステップ８０６）。画像アナライザ３０６は、ユーザ向け操作子として周知のシンボルにマッチするパターンをエッジ検出アルゴリズムに則り検出することで、そうしたユーザ向け操作子、例えば再生
【数４】
2011520324.tif 000006
、一時停止
【数５】
2011520324.tif 000007
、停止
【数６】
2011520324.tif 000008
、早送り
【数７】
2011520324.tif 000009
、巻き戻し
【数８】
2011520324.tif 000010
、ボリューム
【数９】
2011520324.tif 000011
、プログレスバー、プログレスバー指示子、再生タイマ等のシンボルを識別する。アナライザ３０６は、更に、それら操作子の付近にある画像エリアをサーチすることでそのメディアエリアを識別する。これに代え又はこれと共に、ウェブクローラ３００の指示でメディアを再生させ、それにより得られる複数枚のウェブページ画像をアナライザ３０６で相互比較することで、画像のうち変化が生じているエリアを検出する、という手法を使用してもよい。本発明は、本明細書で例示する画像処理技術に限らず、他の画像処理技術乃至手法又はそれに従い修正した画像処理技術乃至手法で実施することもできる。
【００５１】
また、あるウェブページ１００上で複数個のメディアプレイヤが使用されており、個々のプレイヤに互いに別の識別対象メディアコンテンツが関連付けられている場合、画像アナライザ３０６は、それら複数種類のプレイヤそれぞれのメディアコンテンツ表示エリア２０２及び操作子を識別する。署名ジェネレータがそれらのプレイヤのディジタル署名を生成しているときに抵触乃至競合が生じるのを避けるため、メディアプレイヤコントローラ３０８は、それらのプレイヤのうち１個又は複数個を停止させるようウェブブラウザに対し指令を与える。
【００５２】
メディアコンテンツ表示エリア２０２やユーザ向け操作子の識別が済んだら（ステップ８０６）、画像アナライザ３０６は、そのメディアコンテンツ１０４の再生が既に開始されているか否かを判別する（ステップ８０８）。例えば、前述の如くウェブクローラ３００の指示でコンテンツ１０４の再生が開始されている場合、アナライザ３０６は再生開始済と判別する。逆に、コンテンツ１０４を再生せよとの指示、即ち再生ボタン押下を装う指示がクローラ３００から発せられていない場合、アナライザ３０６は、コンテンツ１０４の再生が始まっているか否かを、エリア２０２内モーションを探すこと、音声を検出すること、再生／一時停止ボタン２０４が一時停止ポジションか否かを調べること、或いはそのウェブページ１００が前述の如くコンテンツ１０４を自動再生するページであるか否かに関する予備知識を利用することで判別する。判別の結果、メディアプレイヤ１０２によるコンテンツ１０２の再生が開始されていないとされた場合、クローラ３００は、内蔵するメディアプレイヤコントローラ３０８を用いウェブブラウザ３０２に指令を与えてコンテンツ１０４の再生を開始させる（ステップ８１０）。
【００５３】
メディアコンテンツ１０４の再生が既に始まっている場合、画像アナライザ３０６は、一連のウェブページ画像を解析しメディア情報を署名ジェネレータ３１０に供給する。ジェネレータ３１０は、受け取ったメディア情報に基づきそのコンテンツ１０４向けのディジタル署名を生成する（ステップ８１２）。例えばそのコンテンツ１０４が音声と動画から構成されている場合、生成されるディジタル署名はそれら音声及び動画の一方又は双方に基づくものとなる。
【００５４】
画像アナライザ３０６は、一連のウェブページ画像を解析してメディア情報を署名ジェネレータ３１０に供給するのと並行し、使用するメディアプレイヤ１０２の諸状態を監視する。アナライザ３０６は、その監視の結果に基づき、まずメディアコンテンツ１０４の再生が停止しているか否かを判別する（ステップ８１４）。例えば、語「Ｂｕｆｆｅｒｉｎｇ」がメディアコンテンツ表示エリア２０２か操作子エリアに表示されていること、音声が所定時間に亘り中断していること、プログレスバー指示子２１０が所定時間に亘り動いていないこと、再生／一時停止ボタン２０４に再生シンボルが表示されていること、再生ボタン２０６が可視状態であること、プログレスバー指示子２１０がプログレスバー２０８の端部例えば右端にあること、カウントダウンタイマ２１２に０：００と表示されていること、経過時間指示子４１４と合計時間指示子４１６が同じ値を示していること、エリア２０２内モーションが見られないこと、コンテンツ１０４の再生が止まっていることを示すその他の徴候がそのウェブサイトから提供されていること等を検出したとき、そのコンテンツ１０４の再生が止まっているものと判別する。逆に、コンテンツ１０４の再生が止まっていない場合は、翻ってステップ８１２に示す処理が実行される。即ち、アナライザ３０６によるウェブページ画像解析やジェネレータ３１０に対するメディア情報供給が再実行される。
【００５５】
メディアコンテンツ１０４の再生が止まっている場合、画像アナライザ３０６は、そのコンテンツ１０４について、メディアプレイヤ１０２によるデータバッファリングが進行中であるか否かを監視結果に基づき判別する（ステップ８１６）。例えば、語「Ｂｕｆｆｅｒｉｎｇ」がメディアコンテンツ表示エリア２０２又は操作子エリアに表示されていること、所定時間に亘り音声が途絶えていること、プログレスバー指示子２１０がプログレスバー２０８の端部以外の位置で所定時間に亘り静止していること、データバッファリングが進行中であることを示すその他の徴候がそのウェブサイトから示されていること、その任意の組合せ等を検出することでその判別を実行する。コンテンツ１０４についてプレイヤ１０２によるデータバッファリングが進行中である、とアナライザ３０６が判別した場合、アナライザ３０６の動作はステップ８１２に戻り、コンテンツ１０４に係るデータのバッファリングが進行中であるか否かの判別が再実行される。
【００５６】
逆に、メディアプレイヤ１０２によるデータバッファリングが進行中でない、或いはメディアコンテンツ１０４に係るデータのバッファリングが終了している、と判別した場合、画像アナライザ３０６は、プレイヤ１０２によるコンテンツ１０４の再生が終了したか否かを判別する（ステップ８１８）。プレイヤ１０２によるコンテンツ１０４の再生が未終了の場合はステップ８１６に戻り、コンテンツ１０４向けにディジタル署名を生成する処理が再実行される。
【００５７】
メディアコンテンツ１０４の再生が終了したら、ウェブクローラ３００は、そのコンテンツ１０４のディジタル署名でディジタル署名データベースを参照することでそのコンテンツ１０４を識別する（ステップ８２０）。これに代え、後刻の参照に備えウェブクローラ内にそのディジタル署名を保存しておく、そのディジタル署名を外部に送信して識別させる、その組合せ等の手法を使用してもよい。図示例のウェブクローラ３００では、図３に示したメディアコンテンツアイデンティファイア３１６にメディアコンテンツ１０４の識別を行わせている。
【００５８】
ウェブクローラ３００は、更に、そのウェブページ１００でほかにもメディアプレイヤが使用されているか否かを判別する（ステップ８２２）。ディジタル署名未生成のメディアコンテンツに係るメディアプレイヤが残っている場合は、ステップ８０８に戻り、そのメディアプレイヤ１０２によるメディアコンテンツの再生が既に開始されているか否かを判別する。そうしたメディアコンテンツに係るメディアプレイヤが残っていない場合は、ステップ８２４に進み、ウェブページリスト上にウェブページが残っていないか否かを判別する。ウェブページが残っている場合、ウェブクローラ３００は、そのリストから次のウェブページを選出した後（ステップ８２６）ステップ８０２に戻ってそのウェブページをロードする。ウェブページリスト上にウェブページが残っていない場合（ステップ８２４）処理を終了する。
【００５９】
図９に、図３に示したウェブクローラ３００を実現すること及び図８に示した手順８００を実行することが可能な処理システムの例９００を示す。この処理システム９００は、ＲＡＭ９０４、ＲＯＭ(read only memory)９０６、フラッシュメモリ９０８等のメモリが接続されているプロセッサ９０２をバス９１２等のインタフェースに接続し、そのバス９１２に更にほかの部材を接続した構成を有している。図中、バス９１２に接続されているのは、入力装置９１４、表示装置９１６、大容量記憶装置９１８、リムーバブル記憶装置ドライブ９２０、ネットワークアダプタ９２２といった部材である。ドライブ９２０では、磁気記録媒体、光記録媒体等のうちそのドライブ９２０に相応しいリムーバブル記憶媒体９２４が使用されている。ネットワークアダプタ９２２はこのシステム９００を外部ネットワーク９２６に接続している。
【００６０】
こうした処理システム９００は、例えば、既存のデスクトップＰＣ、ノートＰＣ、ワークステーションといった情報処理装置で実現することができる。そのプロセッサ９０２としては、Ｉｎｔｅｌ（登録商標）Ｐｅｎｔｉｕｍ（登録商標）ファミリ、Ｉｎｔｅｌ（登録商標）Ｉｔａｎｉｕｍ（登録商標）ファミリ、Ｉｎｔｅｌ（登録商標）ＸＳｃａｌｅ（商標）ファミリ等に代表されるマイクロプロセッサを初め、様々な種類の処理ユニットを使用することができる。そのプロセッサ９０２に接続されるメモリ９０４、９０６及び９０８としては、そのシステム９００に求められる記憶性能に見合った記憶容量のものである限り、あらゆる種類のメモリデバイスを使用することができる。例えば、フラッシュメモリ９０８として使用する不揮発性メモリは、ブロック単位でアクセス及び消去することが可能なタイプのものにするとよい。
【００６１】
入力装置９１４としては、キーボード、マウス、タッチスクリーン、トラックパッド、バーコードスキャナ等を使用することができる。ユーザからプロセッサ９０２への情報供給に使用可能であればこれ以外も使用できる。
【００６２】
表示装置９１６としては、ＬＣＤ(Liquid Crystal Display)モニタ、ＣＲＴ(Cathode Ray Tube)モニタ等を使用することができる。プロセッサ９０２・ユーザ間インタフェースとして機能させうる装置ならこれ以外の装置でもよい。図中の表示装置９１６には、表示画面・プロセッサ９０２間連携に必要な様々なハードウェアも備わっている。
【００６３】
大容量記憶装置９１８としては、従来からあるハードディスクドライブ等、プロセッサ９０２にとって可読な磁気記録媒体、光記録媒体、固体記憶媒体等を使用することができる。
【００６４】
リムーバブル記憶装置ドライブ９２０としては、例えば、ＣＤ−Ｒ(compact disk-recordable)ドライブ、ＣＤ−ＲＷ(compact disk-rewritable)ドライブ、ＤＶＤ(digital versatile disk)ドライブ等の光学ドライブを使用することができる。これに代え他種ドライブ、例えば磁気媒体ドライブ、固体ＵＳＢ(universal serial bus)メモリドライブ等も使用することができる。リムーバブル記憶媒体９２４としてはそのドライブ９２０と対をなすもの、即ちそのドライブ９２０で使用できるものを選択する。例えば、ドライブ９２０が光学ドライブならば、媒体９２４として使用されるのはＣＤ−Ｒディスク、ＣＤ−ＲＷディスク、ＤＶＤディスク等といった光ディスクのうち相応のものである。逆に、ドライブ９２０が磁気媒体ドライブならば、媒体９２４として使用されるのはディスケット等の磁気記録媒体のうち相応のものである。
【００６５】
ネットワークアダプタ９２２としては、例えばＥｔｈｅｒｎｅｔ（登録商標）アダプタ、無線ＬＡＮ(local area network)アダプタ、電話モデム等を使用する。この処理システム９００と他の処理システムとの間でネットワーク経由の通信を行えるようにする装置であれば、どのような他種装置でも使用することができる。外部ネットワーク９２６とは、例えばＬＡＮ、ＷＡＮ(wide area network)、無線通信網等、処理システム９００との通信が可能な様々なネットワークのことである。その例としては、インターネット、イントラネット、アドホックネットワーク等がある。
【００６６】
以上、ソフトウェア乃至ファームウェア及びそれを実行するハードウェアを備えるシステムを例に本発明を説明してきたが、この構成は一例に過ぎないので、本発明をそうした構成のシステムに限定して捉えることのないよう留意して頂きたい。例えば、上述したハードウェアコンポーネント及びソフトウェアコンポーネントの一部又は全てを、専らハードウェアで実現することも、専らソフトウェアで実現することも、専らファームウェアで実現することも、ハードウェア、ファームウェア及びソフトウェアの任意の組合せで実現することもできる。即ち、いわゆる当業者であれば直ちに理解できるように、本願明細書で例示したシステム、方法及び媒体は、本発明のシステム、方法及び媒体を実現できる唯一の形態ではない。従って、本発明の技術的範囲は、本願にて例示した方法、装置及び媒体に限定されるものではなく、別紙特許請求の範囲における定義に文理的又は均等論的に該当する全ての方法、装置及び媒体に及ぶものである。
【図１Ａ】
2011520324.tif 000012
【図１Ｂ】
2011520324.tif 000013
【図２】
2011520324.tif 000014
【図３】
2011520324.tif 000015
【図４】
2011520324.tif 000016
【図５】
2011520324.tif 000017
【図６】
2011520324.tif 000018
【図７】
2011520324.tif 000019
【図８】
2011520324.tif 000020
【図９】
2011520324.tif 000021
【国際調査報告】
2011520324.tif 000022
2011520324.tif 000023
2011520324.tif 000024