【手続補正書】
【提出日】平成26年5月26日(2014.5.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画に登場する各対象物の登場区間を示した区間メタデータを取得するメタ取得部と、
前記区間メタデータを利用し、前記動画を構成する全区間の中で各対象物が登場する区間を視覚的に表現した区間情報を表示する区間情報表示部と、
ある対象物に関する区間情報として表示された区間の中から１つの区間がユーザにより選択された場合に、選択された区間の動画フレームを再生させる再生制御部と、
を備える、
情報処理装置。
【請求項２】
前記区間情報表示部は、前記区間情報と共に、当該区間情報に対応する対象物の画像を表示し、
前記再生制御部は、ある対象物に関する区間情報と共に表示された対象物の画像がユーザにより選択された場合に、当該区間情報として表示された全ての区間の動画フレームを再生させる、
請求項１に記載の情報処理装置。
【請求項３】
前記区間メタデータを利用して、再生されている動画フレームに含まれる全ての対象物を認識し、認識した各対象物の画像を並べて表示する画像表示部をさらに備え、
前記再生制御部は、ある対象物の画像がユーザにより選択された場合に、選択された画像に対応する対象物が登場する区間の動画フレームを再生させる、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記メタ取得部は、動画を構成する各動画フレームに含まれる各対象物の位置又は当該各対象物を含む領域の情報を動画フレーム毎に記述した領域メタデータを取得し、
前記情報処理装置は、
前記領域メタデータを利用して、再生されている動画フレーム内でユーザが指定した位置に存在する対象物を認識する領域認識部と、
前記領域認識部により対象物の存在が認識された場合に、当該対象物に関連する関連情報を表示する関連情報表示部と、
をさらに備える、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記メタ取得部は、動画を構成する各動画フレームに含まれる各対象物の位置又は当該各対象物を含む領域の情報を動画フレーム毎に記述した領域メタデータを取得し、
前記情報処理装置は、前記領域メタデータを利用して、再生されている動画フレーム内でユーザが指定した位置に存在する対象物を認識する領域認識部をさらに備え、
前記再生制御部は、前記領域認識部により対象物の存在が認識された場合に、前記区間メタデータを利用して、当該対象物が登場する区間の動画フレームを再生する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項６】
前記メタ取得部は、動画を構成する各動画フレームに含まれる各対象物の位置又は当該各対象物を含む領域の情報を動画フレーム毎に記述した領域メタデータを取得し、
前記情報処理装置は、前記区間メタデータを利用して、再生されている動画フレームに含まれる全ての対象物を認識し、認識した各対象物に関連する関連情報を表示する関連情報表示部をさらに備え、
前記関連情報表示部は、前記領域メタデータを利用し、前記動画フレームに含まれる各対象物の位置又は当該各対象物を含む領域から吹き出しを表示し、当該吹き出しの中に当該各対象物に関連する関連情報を表示する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項７】
前記区間情報表示部は、対象物が登場する区間と、各区間に登場する全ての対象物とを対応付けたリストを表示する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項８】
前記区間情報表示部は、前記動画の全区間をバーで表示し、当該バーにおいてユーザにより選択された対象物が登場する区間を強調表示する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項９】
前記区間情報表示部は、ユーザにより選択された対象物が登場する各区間について、当該各区間を代表する画像を並べて表示し、
前記再生制御部は、前記各区間を代表する画像の１つがユーザにより選択された場合に、当該画像に対応する区間の動画フレームを再生させる、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、前記区間メタデータを利用して、再生されている動画フレームに含まれる全ての対象物を認識し、認識した各対象物の情報を端末装置に送信する情報送信部をさらに備え、
前記端末装置は、撮像デバイス及び表示デバイスを搭載しており、前記撮像デバイスにより前記再生されている動画フレームを撮像し、前記表示デバイスにより当該動画フレームを表示し、前記情報処理装置から受信した各対象物の情報に基づいて当該各対象物の関連情報を当該動画フレームに重ねて表示する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項１１】
前記端末装置は、
前記撮像デバイスの撮像範囲に前記動画フレームの表示領域が含まれる場合には前記表示デバイスに前記動画フレームと前記関連情報とを表示し、
前記撮像デバイスの撮像範囲に前記動画フレームの表示領域が含まれない場合には前記表示デバイスに前記関連情報だけを表示する、
請求項１０に記載の情報処理装置。
【請求項１２】
動画に登場する各対象物の登場区間を示した区間メタデータを取得するステップと、
前記区間メタデータを利用し、前記動画を構成する全区間の中で各対象物が登場する区間を視覚的に表現した区間情報を表示するステップと、
ある対象物に関する区間情報として表示された区間の中から１つの区間がユーザにより選択された場合に、選択された区間の動画フレームを再生させるステップと、
を含む、
情報処理方法。
【請求項１３】
動画に登場する各対象物の登場区間を示した区間メタデータを利用し、前記動画を構成する全区間の中で各対象物が登場する区間を視覚的に表現した区間情報を表示する区間情報表示機能をコンピュータに実現させるためのプログラムであり、
ある対象物に関する区間情報として表示された区間の中から１つの区間がユーザにより選択された場合に、選択された区間の動画フレームが再生される、
プログラム。
【請求項１４】
動画に登場する各対象物の登場区間を示した区間メタデータを取得するメタ取得部と、
前記区間メタデータを利用し、再生されている動画フレームに含まれる全ての対象物の画像又は関連情報を表示する情報表示部と、
前記対象物の画像又は関連情報がユーザにより選択された場合に、前記区間メタデータを利用して、選択された画像又は関連情報に対応する対象物の登場区間を特定し、当該登場区間に含まれる動画フレームを再生させる再生制御部と、
を備える、
情報処理装置。
【請求項１５】
動画に登場する各対象物の登場区間を示した区間メタデータと、動画を構成する各動画フレームに含まれる各対象物の位置又は当該各対象物を含む領域の情報を動画フレーム毎に記述した領域メタデータと、を取得するメタ取得部と、
前記領域メタデータを利用して、再生されている動画フレーム内でユーザが指定した位置に存在する対象物を認識する領域認識部と、
前記領域認識部により対象物の存在が認識された場合に、前記区間メタデータを利用して、存在が認識された対象物の登場区間を特定し、当該登場区間に含まれる動画フレームを再生させる再生制御部と、
を備える、
情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、複数の動画に関する区間メタデータを利用すると、図５に示すようなハイパーリンク型のビデオブラウジングが可能になる。ここで言うハイパーリンク型のビデオブラウジングとは、動画に登場する対象物をキー情報にして動画を切り替えながら視聴する操作手法のことを意味する。例えば、図５の例では、動画＃１の１シーンに登場する人物を選択すると、その人物が登場する動画＃２の再生が開始され、動画＃２の１シーンに登場する物品を選択すると、その物品が登場する動画＃４の再生が開始される。このように、ユーザは、動画を視聴しながら、気になる対象物を選択することで、その対象物が登場する動画を自由に切り替えて視聴することが可能になる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
［２−４：メタデータ管理システム２０の構成］
次に、図３６及び図３７を参照しながら、メタデータ管理システム２０の構成について説明する。図３６及び図３７は、メタデータ管理システム２０の構成について説明するための説明図である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
また、領域メタデータ統合部２０３は、図４０に示すように、対象領域を各座標ヒートマップで表現し、このヒートマップを信頼性分布として利用してもよい。さらに、領域メタデータ統合部２０３は、ＬＳＳの高いユーザによりラベリングされた領域メタデータを重視するようにＬＳＳに応じた重みを付けて領域メタデータを統合してもよい。また、領域メタデータ統合部２０３は、各ユーザの傾向を考慮して領域メタデータの統合処理を実行してもよい。例えば、領域メタデータ統合部２０３は、領域を小さめに設定する傾向がユーザＡにある場合、ユーザＡが設定した領域を少し大きめに修正した上で、他のユーザが設定した領域と統合するようにしてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
ＴＭＳを算出した区間メタデータ統合部２０４は、ＴＭＳが所定の閾値Ｔｈ以上となる区間を対象物の出現区間に設定し、統合後の区間メタデータを生成する。なお、区間メタデータ統合部２０４は、各ユーザの傾向を区間メタデータの統合処理に反映させてもよい。例えば、ユーザＡは領域を選択するタイミングが遅れる傾向にあるとする。この場合、区間メタデータ統合部２０４は、タイミングが遅れる分の時間だけ対象物の出現開始及び出現終了タイミングを早めるようにユーザＡの区間メタデータを修正した上でＴＭＳを算出し、そのＴＭＳに基づいて統合後の区間メタデータを生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
一方、関連情報提示部３０６は、領域メタデータを利用し、現在表示されている画像に含まれる各対象物の関連情報を表示部３０５に表示する。例えば、図１に示すように、現在表示されている画像に人物Ａ及び人物Ｂが含まれる場合、関連情報提示部３０６は、人物Ａ及び人物Ｂの関連情報を画面上に表示する。また、図２に示すように、現在表示されている画像に物品及び場所が含まれる場合、関連情報提示部３０６は、物品及び場所の関連情報を画面上に表示する。また、関連情報提示部３０６は、図３に示すように、現在表示されている画像に出現する対象物が選択された場合に、選択された対象物の関連情報を表示するように構成されていてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
［２−７：動画タイムラインメタデータのデータ構造］
次に、図５３〜図５９を参照しながら、動画タイムラインメタデータのデータ構造について説明する。図５３〜図５９は、動画タイムラインメタデータのデータ構造について説明するための説明図である。なお、動画タイムラインメタデータの構成例（対象物が顔の場合）は、図４６に示した通りである。図４６の例では、領域メタデータは顔枠の位置及び範囲を含み、区間メタデータは顔の出現区間を含み、オブジェクトメタデータは人物ＩＤ、顔プロパティ及び顔のサムネイル画像を含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
また、図５６に示すように、分割されたボックスを連結することもできる。分割されたボックスの連結は、Ｂｏｘ  Ｃｌａｓｓ  ＩＤに基づいて行う。このＢｏｘ  Ｃｌａｓｓ  ＩＤは、ボックスを識別するために予め規定されるＩＤである。例えば、動画解析エンジンＡの解析結果を格納するＦａｃｅ  ＢｏｘのＢｏｘ  Ｃｌａｓｓ  ＩＤが１、動画解析エンジンＢの解析結果を格納するＦａｃｅ  ＢｏｘのＢｏｘ  Ｃｌａｓｓ  ＩＤが１０などと規定される。分割されたボックスを連結する場合、同じＢｏｘ  Ｃｌａｓｓ  ＩＤのボックスを検出して１つのボックスに連結する。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2012249156.tif 000001
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図３２
【補正方法】変更
【補正の内容】
【図３２】
2012249156.tif 000002
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図４５
【補正方法】変更
【補正の内容】
【図４５】
2012249156.tif 000003
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図４６
【補正方法】変更
【補正の内容】
【図４６】
2012249156.tif 000004
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図４８
【補正方法】変更
【補正の内容】
【図４８】
2012249156.tif 000005