(57)【要約】【課題】動画の検索を迅速に行う。【解決手段】データベース１４０は、動画において抽出されたチェンジ点間隔を時系列で動画毎に記憶する。特徴量抽出部２００は、動画入力部１１０から入力された動画からチェンジ点を検出してチェンジ点間隔を算出する。特徴量照合部１５０は、特徴量抽出部２００により抽出されたチェンジ点間隔と、データベース１４０に記憶されているチェンジ点間隔とを比較することにより互いに一致するチェンジ点間隔を検出して、この一致するチェンジ点間隔の隣のチェンジ点間隔、または、この隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致するか否かの一致判定処理を所定回数繰り返した結果に基づいて、動画入力部１１０から入力された動画が、データベース１４０に記憶されているチェンジ点間隔に対応する動画に一致するか否かを判定する。【選択図】図１
2010011501.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置に関する特徴量である時間的特徴量を時系列で動画毎に記憶する時間的特徴量記憶手段と、
判定の対象となる動画を入力する動画入力手段と、
前記入力された動画において前記時間的特徴量を抽出する時間的特徴量抽出手段と、
前記抽出された時間的特徴量と前記時間的特徴量記憶手段に記憶されている時間的特徴量とを比較して当該比較結果に基づいて前記入力された動画が前記時間的特徴量記憶手段に記憶されている時間的特徴量に対応する動画と一致するか否かを判定する判定手段と
を具備する情報処理装置。
【請求項２】
前記時間軸における位置は動画におけるチェンジ点であり、前記時間的特徴量は前記チェンジ点間の間隔を示すチェンジ点間隔であり、
前記時間的特徴量抽出手段は、前記入力された動画において前記チェンジ点を検出するチェンジ点検出手段と、前記検出されたチェンジ点に基づいて前記チェンジ点間隔を算出するチェンジ点間隔算出手段とを含む
請求項１記載の情報処理装置。
【請求項３】
前記判定手段は、前記算出されたチェンジ点間隔と前記時間的特徴量記憶手段に記憶されているチェンジ点間隔との間で一致するチェンジ点間隔を検出して当該一致するチェンジ点間隔から所定の範囲内のチェンジ点間隔を比較することにより前記入力された動画が前記時間的特徴量記憶手段に記憶されているチェンジ点間隔に対応する動画と一致するか否かを判定する
請求項２記載の情報処理装置。
【請求項４】
前記判定手段は、前記一致するチェンジ点間隔の隣のチェンジ点間隔または当該隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致するか否かに基づいて前記入力された動画が前記時間的特徴量記憶手段に記憶されているチェンジ点間隔に対応する動画と一致するか否かを判定する
請求項３記載の情報処理装置。
【請求項５】
前記判定手段は、前記隣のチェンジ点間隔または当該隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致した際における前記一致するチェンジ点間隔から最も離れている比較対象となっているチェンジ点間隔を基準チェンジ点間隔として当該基準チェンジ点間隔の隣のチェンジ点間隔または当該隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致するか否かの一致判定処理を所定回数繰り返した結果に基づいて前記入力された動画が前記時間的特徴量記憶手段に記憶されているチェンジ点間隔に対応する動画と一致するか否かを判定する
請求項４記載の情報処理装置。
【請求項６】
前記時間的特徴量記憶手段には、前記チェンジ点間隔のうちの連続する所定の値以下のチェンジ点間隔が加算されて記憶され、
前記チェンジ点間隔算出手段は、前記算出された前記チェンジ点間隔のうちで所定の値以下であるチェンジ点間隔が連続している場合には当該連続する所定の値以下のチェンジ点間隔を加算する
請求項２記載の情報処理装置。
【請求項７】
前記時間的特徴量記憶手段には、動画において抽出された特徴量であって前記チェンジ点間隔以外の特徴量である第２の特徴量が前記チェンジ点間隔に時系列で関連付けられて動画毎に記憶され、
前記入力された動画において前記第２の特徴量を抽出する第２の特徴量抽出手段と、
前記判定手段により一致すると判定された動画に対応して前記時間的特徴量記憶手段に記憶されている第２の特徴量と前記入力された動画において抽出された第２の特徴量とを比較して当該比較結果に基づいて前記チェンジ点検出手段による前記チェンジ点の検出に用いられる閾値を算出するチェンジ点比較手段と、
前記チェンジ点検出手段による前記チェンジ点の検出に用いられる閾値を前記算出された閾値に更新する閾値更新手段とをさらに具備する
請求項２記載の情報処理装置。
【請求項８】
動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置に関する特徴量である時間的特徴量を時系列で動画毎に記憶する時間的特徴量記憶手段を備える情報処理装置における画像処理方法であって、
判定の対象となる動画を入力する動画入力手順と、
前記入力された動画において前記時間的特徴量を抽出する時間的特徴量抽出手順と、
前記抽出された時間的特徴量と前記時間的特徴量記憶手段に記憶されている時間的特徴量とを比較して当該比較結果に基づいて前記入力された動画が前記時間的特徴量記憶手段に記憶されている時間的特徴量に対応する動画と一致するか否かを判定する判定手順と
を含む情報処理方法。
【請求項９】
動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置に関する特徴量である時間的特徴量を時系列で動画毎に記憶する時間的特徴量記憶手段を備える情報処理装置において、
判定の対象となる動画を入力する動画入力手順と、
前記入力された動画において前記時間的特徴量を抽出する時間的特徴量抽出手順と、
前記抽出された時間的特徴量と前記時間的特徴量記憶手段に記憶されている時間的特徴量とを比較して当該比較結果に基づいて前記入力された動画が前記時間的特徴量記憶手段に記憶されている時間的特徴量に対応する動画と一致するか否かを判定する判定手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関し、特に、動画を検索することが可能な情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、インターネット等のネットワーク技術が向上し、各情報を高速で通信することが可能になるとともに、この通信についての信頼性が向上している。また、インターネットに接続されている動画管理サーバに動画をアップロードしておき、インターネットに接続されている複数のパソコン（パーソナルコンピュータ）間で動画を共有して閲覧することが可能な動画共有システムが普及している。
【０００３】
例えば、インターネットを介して自宅のパソコンと動画管理サーバとを接続し、自宅のパソコンから動画管理サーバに動画をアップロードしておき、この動画を他のパソコンから閲覧することが可能なオンラインサービスが普及している。
【０００４】
このような動画共有システムにおいては、アップロードされた動画が、ユーザにより自ら作成されたものである場合があるとともに、他人の著作権を侵害している動画である場合も考えられる。このように他人の著作権を侵害している動画がアップロードされた場合には、その動画をアップロード禁止にする等により他人に閲覧できないようにすることが重要である。そこで、他人の著作権を侵害しているか否かを判断する場合には、動画管理サーバの管理者がアップロードされた各動画を見て、他人の著作権を侵害しているか否かを判断することが広く行われている。しかしながら、アップロードされる動画の数が多い場合には、全ての動画を管理者が見ることは困難である。
【０００５】
そこで、例えば、特定画像との一致判定や類似判定を行い、ＪＰＥＧ２０００方式等に従って圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と一致する画像を検索する画像検索装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２８５６１５号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の従来技術によれば、特定画像と一致する画像を迅速に検索することができる。
【０００８】
しかしながら、ネットワーク上にアップロードされる動画の数は非常に多く、また、他人の著作権を侵害する可能性のある動画の数も非常に多い。このため、動画の検索を特定の動画に関する特徴量等に基づいて迅速に行うためには、検索する側で格納しておくべき情報量と、検索に係る処理量とを削減して迅速に動画を検索することが重要である。
【０００９】
そこで、本発明は、動画の検索を迅速に行うことを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置に関する特徴量である時間的特徴量を時系列で動画毎に記憶する時間的特徴量記憶手段と、判定の対象となる動画を入力する動画入力手段と、上記入力された動画において上記時間的特徴量を抽出する時間的特徴量抽出手段と、上記抽出された時間的特徴量と上記時間的特徴量記憶手段に記憶されている時間的特徴量とを比較して当該比較結果に基づいて上記入力された動画が上記時間的特徴量記憶手段に記憶されている時間的特徴量に対応する動画と一致するか否かを判定する判定手段とを具備する情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、判定の対象となる動画を入力すると、この動画において時間的特徴量を抽出して、この抽出された時間的特徴量と、時間的特徴量記憶手段に記憶されている時間的特徴量とを比較して、この比較結果に基づいて、判定の対象となる動画が、時間的特徴量記憶手段に記憶されている時間的特徴量に対応する動画と一致するか否かを判定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記時間軸における位置は動画におけるチェンジ点であり、上記時間的特徴量は上記チェンジ点間の間隔を示すチェンジ点間隔であり、上記時間的特徴量抽出手段は、上記入力された動画において上記チェンジ点を検出するチェンジ点検出手段と、上記検出されたチェンジ点に基づいて上記チェンジ点間隔を算出するチェンジ点間隔算出手段とを含むことができる。これにより、判定の対象となる動画を入力すると、この動画においてチェンジ点を検出して、この検出されたチェンジ点に基づいてチェンジ点間隔を算出するという作用をもたらす。
【００１２】
また、この第１の側面において、上記判定手段は、上記算出されたチェンジ点間隔と上記時間的特徴量記憶手段に記憶されているチェンジ点間隔との間で一致するチェンジ点間隔を検出して当該一致するチェンジ点間隔から所定の範囲内のチェンジ点間隔を比較することにより上記入力された動画が上記時間的特徴量記憶手段に記憶されているチェンジ点間隔に対応する動画と一致するか否かを判定することができる。これにより、算出されたチェンジ点間隔と、時間的特徴量記憶手段に記憶されているチェンジ点間隔との間で一致するチェンジ点間隔を検出して、この一致するチェンジ点間隔から所定の範囲内のチェンジ点間隔を比較することにより、動画の一致判定を行うという作用をもたらす。
【００１３】
また、この第１の側面において、上記判定手段は、上記一致するチェンジ点間隔の隣のチェンジ点間隔または当該隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致するか否かに基づいて上記入力された動画が上記時間的特徴量記憶手段に記憶されているチェンジ点間隔に対応する動画と一致するか否かを判定することができる。これにより、一致するチェンジ点間隔の隣のチェンジ点間隔、または、この隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致するか否かに基づいて、動画の一致判定を行うという作用をもたらす。
【００１４】
また、この第１の側面において、上記判定手段は、上記隣のチェンジ点間隔または当該隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致した際における上記一致するチェンジ点間隔から最も離れている比較対象となっているチェンジ点間隔を基準チェンジ点間隔として当該基準チェンジ点間隔の隣のチェンジ点間隔または当該隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致するか否かの一致判定処理を所定回数繰り返した結果に基づいて上記入力された動画が上記時間的特徴量記憶手段に記憶されているチェンジ点間隔に対応する動画と一致するか否かを判定することができる。これにより、最初に一致したチェンジ点間隔の隣のチェンジ点間隔、または、この隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致した際における最初に一致したチェンジ点間隔から最も離れている比較対象となっているチェンジ点間隔を基準チェンジ点間隔として、この基準チェンジ点間隔の隣のチェンジ点間隔、または、この隣のチェンジ点間隔から所定の範囲内で連続するチェンジ点間隔を加算した値が一致するか否かの一致判定処理を所定回数繰り返した結果に基づいて、動画の一致判定を行うという作用をもたらす。
【００１５】
また、この第１の側面において、上記時間的特徴量記憶手段には、上記チェンジ点間隔のうちの連続する所定の値以下のチェンジ点間隔が加算されて記憶され、上記チェンジ点間隔算出手段は、上記算出された上記チェンジ点間隔のうちで所定の値以下であるチェンジ点間隔が連続している場合には当該連続する所定の値以下のチェンジ点間隔を加算することができる。これにより、チェンジ点間隔のうちの連続する所定の値以下のチェンジ点間隔が加算された値を用いて、動画の一致判定を行うという作用をもたらす。
【００１６】
また、この第１の側面において、上記時間的特徴量記憶手段には、動画において抽出された特徴量であって上記チェンジ点間隔以外の特徴量である第２の特徴量が上記チェンジ点間隔に時系列で関連付けられて動画毎に記憶され、上記入力された動画において上記第２の特徴量を抽出する第２の特徴量抽出手段と、上記判定手段により一致すると判定された動画に対応して上記時間的特徴量記憶手段に記憶されている第２の特徴量と上記入力された動画において抽出された第２の特徴量とを比較して当該比較結果に基づいて上記チェンジ点検出手段による上記チェンジ点の検出に用いられる閾値を算出するチェンジ点比較手段と、上記チェンジ点検出手段による上記チェンジ点の検出に用いられる閾値を上記算出された閾値に更新する閾値更新手段とをさらに具備することができる。これにより、判定の対象となる動画において第２の特徴量を抽出し、この抽出された第２の特徴量と、一致すると判定された動画に対応して時間的特徴量記憶手段に記憶されている第２の特徴量とを比較して、この比較結果に基づいて、チェンジ点検出手段によるチェンジ点の検出に用いられる閾値を算出して更新するという作用をもたらす。
【発明の効果】
【００１７】
本発明によれば、動画の検索を迅速に行うことができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】情報処理装置１００の機能構成例を示すブロック図である。
【図２】特徴量抽出部２００の機能構成例を示すブロック図である。
【図３】フレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号（赤）Ｃｒのカラーヒストグラムの一例を示す図である。
【図４】動画を構成する各フレームに対応する画像を時系列に並べられた場合を概念的に示す図である。
【図５】データベース１４０に格納されているカットチェンジ点間隔リストの概略を示す図である。
【図６】カットチェンジ点間隔リスト４００およびカットチェンジ点間隔リスト４２０を示す図である。
【図７】カットチェンジ点間隔リスト４００とカットチェンジ点間隔リスト４２０との比較により動画が一致するか否かを判定する判定方法の一例を概略的に示す図である。
【図８】情報処理装置１００による動画一致検索処理の処理手順を示すフローチャートである。
【図９】情報処理装置１００による動画一致検索処理の処理手順のうちの一致判定処理手順を示すフローチャートである。
【図１０】カットチェンジ点間隔リスト４８０および４９０を示す図である。
【図１１】情報処理装置１０１の構成例を示すブロック図である。
【図１２】特徴量抽出部２０１の機能構成例を示すブロック図である。
【図１３】データベース１４１に格納されている特徴量リストの概略を示す図である。
【図１４】特徴量リスト４６０および特徴量リスト４７０を示す図である。
【図１５】特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を表す折線グラフを示す図である。
【図１６】特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を表す折線グラフを示す図である。
【図１７】情報処理装置１００による閾値変更処理の処理手順を示すフローチャートである。
【図１８】動画の特徴に基づいて動画を分類する場合を示す図である。
【図１９】特徴量抽出部２０２の機能構成例を示すブロック図である。
【図２０】動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。
【図２１】情報処理装置１０２の構成例を示すブロック図である。
【図２２】特徴量抽出部２０３の機能構成例を示すブロック図である。
【図２３】データベース１４２に格納されている特徴量リストの概略を示す図である。
【図２４】情報処理装置１０３の構成例を示すブロック図である。
【図２５】特徴量抽出部２０４の機能構成例を示すブロック図である。
【図２６】特徴量照合部１５２の機能構成例を示すブロック図である。
【図２７】照合方法決定部１５３が照合方法を決定する場合における決定方法の概略を示す図である。
【図２８】情報処理システム８００を示すシステム構成図である。
【発明を実施するための形態】
【００１９】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。この情報処理装置１００は、動画入力部１１０と、ビデオ・オーディオデマルチプレクサ１２０と、ビデオデコード部１３０と、データベース１４０と、特徴量照合部１５０と、判定結果出力部１６０と、特徴量抽出部２００とを備える。なお、この情報処理装置１００は、例えば、デジタルビデオカメラ等の撮像装置で撮影された動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。
【００２１】
動画入力部１１０は、動画を入力する動画入力部であり、入力された動画をビデオ・オーディオデマルチプレクサ１２０に出力する。動画入力部１１０に入力される動画としては、例えば、撮像装置で撮影された動画やテレビジョン放送で受信された動画等が考えられる。
【００２２】
ビデオ・オーディオデマルチプレクサ１２０は、動画入力部１１０から出力された動画について、ビデオデータ（信号）とオーディオデータ（信号）とに分離するものであり、分離されたビデオデータをビデオデコード部１３０に出力する。なお、分離されたオーディオデータは、本発明の実施の形態においては特に利用されない。
【００２３】
ビデオデコード部１３０は、ビデオ・オーディオデマルチプレクサ１２０から出力されたビデオデータをデコードしてベースバンドデータを生成するものであり、生成されたベースバンドデータを特徴量抽出部２００に出力する。
【００２４】
特徴量抽出部２００は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて特徴量を抽出するものであり、抽出された特徴量をデータベース１４０および特徴量照合部１５０に出力する。本発明の実施の形態では、特徴量抽出部２００が抽出する特徴量として、動画におけるチェンジ点の間隔と、動画を構成するフレーム間のヒストグラム差分値と、チェンジ点間に含まれるフレームのうちの少なくとも１つのフレームのヒストグラムである代表ヒストグラムとを例にして説明する。なお、チェンジ点は、例えば、動画において撮影場面が瞬間的に変化する場合におけるその境界点を示すカットチェンジ点や、動画において撮影場面が比較的大きく変化する場合におけるその境界点を示すクロスフェード点等を含むものであり、チェンジ点の間隔は、連続するチェンジ点間の区間における時間やフレーム数等の間隔を示すものである。この例では、チェンジ点として、カットチェンジ点を用いる場合について説明し、他の特徴量については、図１７等を参照して詳細に説明する。また、特徴量抽出部２００については、図２を参照して詳細に説明する。さらに、カットチェンジ点の間隔については、図４を参照して詳細に説明する。
【００２５】
この特徴量抽出部２００によって抽出されたチェンジ点間隔は、これらを時系列に並べたリストであるカットチェンジ点間隔リストとしてデータベース１４０および特徴量照合部１５０に供給される。なお、カットチェンジ点間隔リストについては、図５、図６等を参照して詳細に説明する。
【００２６】
データベース１４０は、特徴量抽出部２００から出力されたカットチェンジ点の間隔に対応するカットチェンジ点間隔リストを動画毎に格納するデータベースであり、格納されているカットチェンジ点間隔リストを動画毎に特徴量照合部１５０に出力する。
【００２７】
特徴量照合部１５０は、特徴量抽出部２００から出力されたカットチェンジ点の間隔と、データベース１４０に格納されている各カットチェンジ点間隔リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４０に格納されているカットチェンジ点間隔リストに対応する動画とを照合して、両者が一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５０は、動画入力部１１０に入力された動画と一致する動画に対応するカットチェンジ点間隔リストを、データベース１４０に格納されているカットチェンジ点間隔リストの中から検索する。
【００２８】
判定結果出力部１６０は、特徴量照合部１５０から出力された一致リストを出力するものである。例えば、特徴量照合部１５０から出力された一致リストを表示して出力することができる。
【００２９】
図２は、特徴量抽出部２００の機能構成例を示すブロック図である。特徴量抽出部２００は、カラーヒストグラム抽出部２１０と、連続フレーム間ヒストグラム差分算出部２２０と、閾値保持部２３０と、カットチェンジ点判別部２４０と、チェンジ点間隔算出部２５０とを備える。
【００３０】
図３（ａ）および（ｂ）は、ビデオデコード部１３０から出力されたベースバンドデータからフレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号（赤）Ｃｒのカラーヒストグラムの一例を示す図である。図３（ａ）および（ｂ）に示すグラフにおいて、横軸は階調を示し、縦軸は頻度を示す。図３（ｃ）は、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分を示す図である。図３（ｃ）において、斜線で示す領域が、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分値に相当する領域である。なお、図３については、図２を参照して詳細に説明する。
【００３１】
図４は、動画を構成する各フレームに対応する画像を時系列に並べられた場合を概念的に示す図である。なお、図４については、図２を参照して詳細に説明する。
【００３２】
カラーヒストグラム抽出部２１０は、ビデオデコード部１３０から出力されたベースバンドデータをバッファに保持して、このバッファに保持されたベースバンドデータから画面全体のＹ、ＣｂおよびＣｒのカラーヒストグラムをサンプリングし、このサンプリングされたカラーヒストグラムについて、階調をＮ段階（例えば、Ｎ＝１６）に分け、各階調における頻度の和が一定になるように正規化を行うものである。そして、正規化が施されたＹ、ＣｂおよびＣｒのヒストグラムを連続フレーム間ヒストグラム差分算出部２２０に出力するものである。例えば、動画を構成する１つのフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ａ）に示し、図３（ａ）に示すヒストグラムに対応するフレームの次のフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ｂ）に示す。このように、動画入力部１１０に入力された動画を構成する各フレームについて、Ｙ、ＣｂおよびＣｒのヒストグラムが抽出される。
【００３３】
連続フレーム間ヒストグラム差分算出部２２０は、カラーヒストグラム抽出部２１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続する２フレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をカットチェンジ点判別部２４０に出力するものである。例えば、連続する２フレームに対応する図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分値として、図３（ｃ）に斜線で示す領域の面積の値が算出される。
【００３４】
閾値保持部２３０は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部２４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をカットチェンジ点判別部２４０に出力する。
【００３５】
カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えたか否かに基づいて、連続する２フレーム間がカットチェンジ点であるか否かを判別するものである。すなわち、カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、チェンジ点間隔算出部２５０に出力する。一方、カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点ではないと判別する。このようにカットチェンジ点ではないと判別された場合には、チェンジ点間隔算出部２５０には時刻が出力されない。
【００３６】
図４には、撮像装置により撮影された動画３００を構成する各フレームに対応する画像３０１乃至３０９を概略的に示す。画像３０１乃至３０９は、１つの動画３００に含まれる画像ではあるものの、撮影された時刻および場所が異なる４つのシーンが含まれているため、これらのシーンが切り換わるフレームでは被写体の構図や色等が瞬間的に変化する。このため、これらのシーンが切り換わる際の連続する２フレーム間におけるヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えて、その連続する２フレーム間がカットチェンジ点であると判別される。
【００３７】
例えば、画像３０１乃至３０３は、街中を歩いている人物を撮影したものであり、人物が移動しているため、人物の位置が多少異なるものの、画像全体では類似している印象となる。このため、画像３０１乃至３０３に関する連続する２フレーム間におけるヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えず、その連続する２フレーム間はカットチェンジ点ではないと判別される。
【００３８】
また、画像３０４または３０５は、山の前の家並みを撮影したものであり、撮像装置を水平方向に移動させて撮影しているため、被写体の位置が水平方向に移動して多少異なるものの、画像全体では類似している印象となる。しかしながら、画像３０３と画像３０４とを比較した場合には、撮影された時刻および場所が異なるシーンの切り換え部分に該当するため、画像全体が大きく異なっている。このため、画像３０３と画像３０４との境界がカットチェンジ点とされ、このカットチェンジ点に対応する時刻（開始時刻ｔ１からの時間）ｔ２がチェンジ点間隔算出部２５０に出力される。
【００３９】
また、画像３０５と画像３０６との境界、および、画像３０７と画像３０８との境界についても、同様に、カットチェンジ点として検出され、このカットチェンジ点に対応する時刻ｔ３およびｔ４がチェンジ点間隔算出部２５０に出力される。
【００４０】
チェンジ点間隔算出部２５０は、カットチェンジ点判別部２４０から出力されたカットチェンジ点の時刻に基づいて、隣接する２つのカットチェンジ点間の時間間隔を算出するものであり、算出されたカットチェンジ点の間隔をデータベース１４０および特徴量照合部１５０に出力する。すなわち、チェンジ点間隔算出部２５０は、カットチェンジ点判別部２４０からカットチェンジ点の時刻が出力された場合には、この時刻と、この時刻の直前に出力された時刻との差の値を算出して、隣接する２つのカットチェンジ点間の時間間隔を算出する。なお、隣接する２つのカットチェンジ点間の間隔として、このカットチェンジ点間に含まれるフレームの数を算出し、この算出されたフレーム数をカットチェンジ点の間隔とするようにしてもよい。
【００４１】
次に、特徴量抽出部２００により抽出されたカットチェンジ点間隔に基づいて作成されるカットチェンジ点間隔リストについて、図面を参照して詳細に説明する。
【００４２】
図５は、データベース１４０に格納されているカットチェンジ点間隔リストの概略を示す図である。データベース１４０には、１または複数のカットチェンジ点間隔リストが格納されている。例えば、データベース１４０には、カットチェンジ点間隔リスト４００、４０５、４０６が格納されている。なお、データベース１４０に格納されるカットチェンジ点間隔リストは、特徴量抽出部２００から出力されたカットチェンジ点の間隔を順次格納して作成するようにしてもよく、他の情報処理装置において抽出されたカットチェンジ点の間隔を順次格納して作成するようにしてもよい。
【００４３】
カットチェンジ点間隔リスト４００には、カットチェンジ点間隔４０３が時系列に記録されている。これらは、対応する動画を識別するためのコンテンツＩＤに関連付けられている。コンテンツＩＤは、情報処理装置１００の内部または外部に備えられている動画データベースに格納されている動画を検索するために用いることができるＩＤであり、例えば、カットチェンジ点間隔リスト４００に対応するコンテンツＩＤとして、「＃１２３」が付与されているものとする。また、図５においては、対応する動画において抽出されたカットチェンジ点間隔の識別番号としてノードＩＤ４０２を付して説明する。
【００４４】
カットチェンジ点間隔４０３は、対応する動画において抽出されたカットチェンジ点間隔を時間で示すものであり、時刻の早い順序で記録される。
【００４５】
このように、１または複数のカットチェンジ点間隔リストが格納されているデータベース１４０を用いて、動画入力部１１０から入力された動画について一致検索をする場合には、データベース１４０に格納されているカットチェンジ点間隔リストを１つずつ読み出して、次に示すように検索処理を実行する。
【００４６】
図６は、データベース１４０から取り出されたカットチェンジ点間隔リスト４００と、検索対象として動画入力部１１０から入力された動画において抽出されたカットチェンジ点間隔に対応するカットチェンジ点間隔リスト４２０とを示す図である。ここでは、カットチェンジ点間隔リスト４００とカットチェンジ点間隔リスト４２０とを比較して、これらのリストに対応する動画が一致するか否かを判定する場合について図７を参照して説明する。
【００４７】
図７は、カットチェンジ点間隔リスト４００とカットチェンジ点間隔リスト４２０とを比較して、これらのリストに対応する動画が一致するか否かを判定する場合における判定方法の一例を概略的に示す図である。
【００４８】
最初に、カットチェンジ点間隔リスト４２０の比較対象となるカットチェンジ点間隔リストがデータベース１４０から取り出される。例えば、カットチェンジ点間隔リスト４００が取り出される。続いて、カットチェンジ点間隔リスト４００のカットチェンジ点間隔４０３の値と、カットチェンジ点間隔リスト４２０のカットチェンジ点間隔４２３の値とをノードＩＤの順番で順次比較して、一致する値が検出される。例えば、カットチェンジ点間隔リスト４００におけるノードＩＤ４０２の「１１」に対応するカットチェンジ点間隔４０３の値「０：００：０５．６０５」と、カットチェンジ点間隔リスト４２０におけるノードＩＤ４２２の「２１」に対応するカットチェンジ点間隔４２３の値「０：００：０５．６０５」とが、矢印４３１で示すように一致する（４４１）。なお、図７では、図６に示すカットチェンジ点間隔の各値の前半部分を省略して示す。
【００４９】
このように、２つのカットチェンジ点間隔リストにおいて、一致するカットチェンジ点間隔の値が検出された場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出される。例えば、カットチェンジ点間隔リスト４００におけるノードＩＤ４０２のノードＩＤ４０２の「１２」に対応するカットチェンジ点間隔４０３の値「０：００：０３．６０３」と、カットチェンジ点間隔リスト４２０におけるノードＩＤ４２２の「２２」に対応するカットチェンジ点間隔４２３の値「０：００：０３．５７０」とが取り出される。そして、取り出された２つの値が一致するか否かが判断される（４４２）。ここで、一致した場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出され、一致するか否かが判断される。
【００５０】
一方、図６および図７に示すように、取り出された２つの値が一致しない場合には（４４２）、比較対象となっている２つの値のうちの小さい値が取り出されたカットチェンジ点間隔リストから、この値の次のノードＩＤに対応するカットチェンジ点間隔の値が取り出され、取り出された値と、比較対象となっている値とが加算される。例えば、カットチェンジ点間隔４０３の値「０：００：０３．６０３」とカットチェンジ点間隔４２３の値「０：００：０３．５７０」とを比較した場合には、カットチェンジ点間隔４２３の値「０：００：０３．５７０」が小さい。このため、カットチェンジ点間隔リスト４２０におけるノードＩＤ４２２の「２３」に対応するカットチェンジ点間隔４２３の値「０：００：０１．６３４」が取り出され、カットチェンジ点間隔４２３の値「０：００：０３．５７０」と加算される（４４３）。
【００５１】
続いて、加算された加算値と、加算の対象となっていない値とが一致するか否かが判断される（４４４）。ここで、一致した場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出され、一致するか否かが判断される。このように、最初の一致した値から所定の範囲内の値を順次加算して、２つのカットチェンジ点間隔リストの値が一致するか否かが判断される。所定の範囲として、例えば、ノードＩＤが３つの範囲とすることができる。例えば、図６に示す矢印４３１で結ばれる最初に一致した値から、ノードＩＤが３つの範囲４３２内において、加算処理（４４３、４４５、４４７）が行われるとともに、比較処理が行われる（４４２、４４４、４４６、４４８）。そして、ノードＩＤが３つの範囲４３２内において、矢印４３３で示す位置で比較対象となっている２つの値が一致する（４４８）。
【００５２】
このように、最初に一致した値から所定の範囲内において、２つのカットチェンジ点間隔リストの値が一致した場合には、同様に、この一致した各値から所定の範囲内の値を順次加算して、２つのカットチェンジ点間隔リストの値が一致するか否かが判断される。ここでの所定の範囲として、例えば、最初の範囲と同様に、ノードＩＤが３つの範囲とするようにしてもよく、異なる値とするようにしてもよい。
【００５３】
例えば、図６に示す矢印４３３で結ばれる一致した値から、カットチェンジ点間隔リスト４００におけるノードＩＤが３つの範囲４３５内、および、カットチェンジ点間隔リスト４２０におけるノードＩＤが３つの範囲４３４内において、加算処理（４５０、４５２）が行われるとともに、比較処理が行われる（４４９、４５１、４５３）。そして、ノードＩＤが３つの範囲４３４または４３５内において、矢印４３６で示す位置で比較対象となっている２つの値が一致する（４５３）。
【００５４】
なお、最初に一致した値または２回目以降に一致した値を基準として取り出された２つの値のうちの少なくとも１つが加算前に一致した場合には、その１つの値については加算処理をせずに、この一致した値を基準として次の比較処理を行う。また、所定の範囲内で加算値が一致しない場合には、２つのリストにおいて、一致する値の検出を再度繰り返す。
【００５５】
次に、本発明の実施の形態における情報処理装置１００の動作について図面を参照して説明する。
【００５６】
図８は、情報処理装置１００による動画一致検索処理の処理手順を示すフローチャートである。ここでは、１または複数のカットチェンジ点間隔リストがデータベース１４０に格納されている場合において、動画入力部１１０に入力された動画に一致する動画に対応するカットチェンジ点間隔リストを、データベース１４０に格納されているカットチェンジ点間隔リストの中から検索する例について説明する。
【００５７】
最初に、動画入力部１１０に動画が入力される（ステップＳ９０１）。続いて、ビデオ・オーディオデマルチプレクサ１２０が、入力された動画をビデオデータとオーディオデータとに分離する（ステップＳ９０２）。続いて、ビデオデコード部１３０が、入力された動画から分離されたビデオデータをデコードしてベースバンドデータを生成する（ステップＳ９０３）。続いて、特徴量抽出部２００が、生成されたベースバンドデータに基づいてカットチェンジ点を抽出し（ステップＳ９０４）、抽出されたカットチェンジ点の間隔を算出する（ステップＳ９０５）。
【００５８】
続いて、特徴量抽出部２００により算出されたカットチェンジ点の間隔に基づいて、特徴量照合部１５０が、カットチェンジ点の間隔を時系列に並べたリストであるカットチェンジ点間隔リストを作成する（ステップＳ９０６）。
【００５９】
続いて、特徴量照合部１５０が、データベース１４０に格納されているカットチェンジ点間隔リストの中から１つのカットチェンジ点間隔リストを取得する（ステップＳ９０７）。例えば、図６に示すように、カットチェンジ点間隔リスト４２０が作成されるとともに、データベース１４０からカットチェンジ点間隔リスト４００が取り出される。
【００６０】
続いて、ステップＳ９０６で作成されたカットチェンジ点間隔リストと、データベース１４０から取得されたカットチェンジ点間隔リストとについて、特徴量照合部１５０が一致判定処理を実行する（ステップＳ９２０）。なお、この一致判定処理については、図９を参照して詳細に説明する。
【００６１】
続いて、データベース１４０に格納されているカットチェンジ点間隔リストの中で、一致処理判定がされていないカットチェンジ点間隔リストが存在するか否かが判断される（ステップＳ９０８）。一致処理判定がされていないカットチェンジ点間隔リストがデータベース１４０に存在する場合には（ステップＳ９０８）、ステップＳ９０７に戻り、特徴量照合部１５０が、データベース１４０に格納されているカットチェンジ点間隔リストの中から、一致判定処理がされていないカットチェンジ点間隔リストを取得する。
【００６２】
一方、一致判定処理がされていないカットチェンジ点間隔リストがデータベース１４０に存在しない場合には（ステップＳ９０８）、判定結果出力部１６０が、一致判定処理により一致すると判定された判定結果を示す一致リストを出力する（ステップＳ９０９）。
【００６３】
図９は、情報処理装置１００による動画一致検索処理の処理手順のうちの一致判定処理手順（図８に示すステップＳ９２０の処理手順）を示すフローチャートである。
【００６４】
最初に、変数ｍ、ｎが「１」に初期化されるとともに、変数ｉが「０」に初期化される（ステップＳ９２１）。続いて、ステップＳ９０６で作成されたカットチェンジ点間隔リストのｍ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２２）。続いて、データベース１４０から取得されたカットチェンジ点間隔リストのｎ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２３）。
【００６５】
続いて、ステップＳ９２２およびステップＳ９２３で最後に取得された２つの値を比較して一致するか否かが判断される（ステップＳ９２４）。ステップＳ９２２およびステップＳ９２３で最後に取得された２つの値が一致していなければ（ステップＳ９２４）、変数ｎに「１」が加算され（ステップＳ９３５）、変数ｎが、データベース１４０から取得されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きいか否かが判断される（ステップＳ９３６）。変数ｎが、データベース１４０から取得されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きくない場合には（ステップＳ９３６）、ステップＳ９２３に戻り、データベース１４０から取得されたカットチェンジ点間隔リストのｎ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２３）。
【００６６】
一方、変数ｎが、データベース１４０から取得されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きい場合には（ステップＳ９３６）、変数ｍに「１」が加算され（ステップＳ９３７）、変数ｍが、ステップＳ９０６で作成されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きいか否かが判断される（ステップＳ９３８）。変数ｍが、ステップＳ９０６で作成されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きくない場合には（ステップＳ９３６）、データベース１４０の先頭からカットチェンジ点間隔の値を取得するために変数ｎが「１」に初期化され（ステップＳ９３９）、ステップＳ９２２に戻り、ステップＳ９０６で作成されたカットチェンジ点間隔リストのｍ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２２）。このように、２つのカットチェンジ点間隔リストのカットチェンジ点間隔の各値が比較されるように、カットチェンジ点間隔の各値が時系列に順次取得される。
【００６７】
また、ステップＳ９２２およびステップＳ９２３で最後に取得された２つの値が一致する場合には（ステップＳ９２４）、ステップＳ９２２およびステップＳ９２３で取得されて一致した値の次の値が、２つのカットチェンジ点間隔リストのそれぞれから取得される（ステップＳ９２５）。例えば、ステップＳ９０６で作成されたカットチェンジ点間隔リストについては、ｍ＋１番目のカットチェンジ点間隔の値が取得され、データベース１４０から取得されたカットチェンジ点間隔リストについては、ｎ＋１番目のカットチェンジ点間隔の値が取得される（ステップＳ９２５）。
【００６８】
続いて、ステップＳ９２５で取得された２つの値が一致するか否かが判断される（ステップＳ９２６）。ステップＳ９２５で取得された２つの値が一致する場合には（ステップＳ９２６）、ステップＳ９３２に進み、変数ｉに「１」が加算される（ステップＳ９３２）。一方、ステップＳ９２５で取得された２つの値が一致しない場合には（ステップＳ９２６）、比較対象となっている２つの値について、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも大きいか否かが判断される（ステップＳ９２７）。
【００６９】
ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも大きい場合には（ステップＳ９２７）、データベース１４０から取得されたカットチェンジ点間隔リストから次の値が取得され、取得された値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値に加算される（ステップＳ９２８）。例えば、データベース１４０から取得されたカットチェンジ点間隔リストについて、ｎ＋１番目のカットチェンジ点間隔の値が比較対象となっている場合には、ｎ＋２番目のカットチェンジ点間隔の値が取得され、ｎ＋１番目のカットチェンジ点間隔の値と、ｎ＋２番目のカットチェンジ点間隔の値とが加算されて、比較対象の値となる。
【００７０】
一方、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも小さい場合には（ステップＳ９２７）、ステップＳ９０６で作成されたカットチェンジ点間隔リストから次の値が取得され、この取得された値が、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値に加算される（ステップＳ９２９）。例えば、ステップＳ９０６で作成されたカットチェンジ点間隔リストについて、ｍ＋１番目とｍ＋２番目とのカットチェンジ点間隔の値の合計値が比較対象となっている場合には、ｍ＋３番目のカットチェンジ点間隔の値が取得され、ｍ＋１番目とｍ＋２番目とのカットチェンジ点間隔の値の合計値と、ｍ＋３番目のカットチェンジ点間隔の値とが加算されて、比較対象の値となる。
【００７１】
続いて、ステップＳ９２８またはステップＳ９２９において少なくとも一方に加算処理がされた２つの値が一致するか否かが判断される（ステップＳ９３０）。ステップＳ９２８またはステップＳ９２９において少なくとも一方に加算処理がされた２つの値が一致する場合には（ステップＳ９３０）、ステップＳ９３２に進み、変数ｉに「１」が加算される（ステップＳ９３２）。一方、ステップＳ９２８またはステップＳ９２９において少なくとも一方に加算処理がされた２つの値が一致しない場合には（ステップＳ９３０）、ステップＳ９２４またはステップＳ９２６で一致した２つの値を基準値として、この２つの値以降に何れかのカットチェンジ点間隔リストから取得された値が、基準値の次の値からＮ番目の値であるか否かが判断される（ステップＳ９３１）。例えば、ステップＳ９２４で一致した２つの値を基準値とする場合において、ステップＳ９０６で作成されたカットチェンジ点間隔リストについては、ｍ＋Ｎ番目のカットチェンジ点間隔の値が取得されたか否かが判断され、データベース１４０から取得されたカットチェンジ点間隔リストについては、ｎ＋Ｎ番目のカットチェンジ点間隔の値が取得されたか否かが判断される。
【００７２】
ステップＳ９２４またはステップＳ９２６で一致した２つの値以降に何れかのカットチェンジ点間隔リストから取得された値が、基準値の次の値からＮ番目の値である場合には（ステップＳ９３１）、ステップＳ９３５に戻り、変数ｎに「１」が加算される（ステップＳ９３５）。一方、ステップＳ９２４またはステップＳ９２６で一致した２つの値以降に何れかのカットチェンジ点間隔リストから取得された値が、基準値の次の値からＮ番目の値ではない場合には（ステップＳ９３１）、ステップＳ９２７に戻り、比較対象となっている２つの値について、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも大きいか否かが判断される（ステップＳ９２７）。
【００７３】
変数ｉに「１」が加算されると（ステップＳ９３２）、変数ｉが定数Ａに等しいが否かが判断される（ステップＳ９３３）。すなわち、ステップＳ９２６またはステップＳ９３０で一致した回数が、Ａ回に達したか否かが判断される。変数ｉが定数Ａに等しい場合には（ステップＳ９３３）、判定の対象となっている値が取得されたカットチェンジ点間隔リストが一致リストに追加される（ステップＳ９３４）。ここで、定数Ａとしては、例えば、「２」または「３」とすることができる。また、定数Ｎとしては、例えば「３」乃至「６」とすることができる。すなわち、最初に一致した値を最初の基準値とし、最初の基準値の次の値からＮの範囲内で加算比較処理を行い、一致するか否かを判別する。そして、Ｎの範囲内で一致した場合において最後に取得された値を２個目の基準値として、２個目の基準値の次の値からＮの範囲内でさらに加算比較処理を行い、一致するか否かを判別する。これらの加算比較処理を繰り返し、連続してＡ回一致したか否かに応じて、目的の動画と一致しているか否かを判別することができる。
【００７４】
一方、変数ｉが定数Ａよりも小さい場合には（ステップＳ９３３）、ステップＳ９２５に戻り、ステップＳ９２６またはステップＳ９３０で一致した場合において最後に取得された値の次の値が、２つのカットチェンジ点間隔リストのそれぞれから取得される（ステップＳ９２５）。
【００７５】
以上で示したように、ステップＳ９２４で２つの値が一致した場合には、一致した値の次の値を順次取得して比較する例について説明した。しかしながら、少なくとも１つのリストの後端において、ステップＳ９２４で２つの値が一致した場合には、一致した値の次の値である比較対象となるカットチェンジ点間隔が存在しないため、一致した値の次の値を順次取得して比較することができない。このため、このような場合でも、一致判定処理を行うことが重要となる。そこで、例えば、カットチェンジ点間隔リストを前半部分と、中央部分と、後半部分とに分けて、ステップＳ９２４で２つの値が一致した位置に応じて比較加算処理を変更することができる。具体的には、前半部分において、ステップＳ９２４で２つの値が一致した場合には、図７および図９に示すように、一致した値の後の値を順次取得して比較する。また、後半部分において、ステップＳ９２４で２つの値が一致した場合には、一致した値の前の値を順次取得して比較する。中央部分において、ステップＳ９２４で２つの値が一致した場合には、一致した値の前後の何れか一方向の値を順次取得して比較する。また、比較対象となる２つのリストのうちの何れかを基準にして、上述した比較加算処理の変更をするようにしてもよく、この２つのリストのうちで、ステップＳ９２４で２つの値が一致した２つの位置に応じて比較加算処理の変更をするようにしてもよい。
【００７６】
次に、連続して短いカットチェンジ点間隔が抽出された場合について図面を参照して詳細に説明する。
【００７７】
図１０は、カットチェンジ点間隔リスト４８０および４９０を示す図である。図１０（ａ）には、比較的短いカットチェンジ点間隔が連続して含まれるカットチェンジ点間隔リスト４８０を示し、図１０（ｂ）には、連続して含まれる比較的短いカットチェンジ点間隔を加算したカットチェンジ点間隔リスト４９０を示す。
【００７８】
図１０（ａ）に示すように、１乃至２フィールド程度の比較的短いカットチェンジ点間隔が抽出されることが考えられる。このような連続する比較的短いカットチェンジ点間隔（例えば、「１」）を多数含むカットチェンジ点間隔リストを用いて、一致判定処理を行うと、ステップＳ９２４で２つの値が一致した後に、ステップＳ９２５およびステップＳ９２６で次の値およびその次の値が一致する可能性が高い。この場合には、本来一致すべきでない他の動画と一致してしまう可能性も考えられる。そこで、チェンジ点間隔算出部２５０において、短いカットチェンジ点間隔が連続して抽出された場合には、図１０（ｂ）に示すように、これらの連続する比較的短いカットチェンジ点間隔を加算し、加算された値を一致判定処理に用いるようにする。
【００７９】
図１０（ｂ）に示すカットチェンジ点間隔リスト４９０では、図１０（ａ）に示すカットチェンジ点間隔リスト４８０に含まれるカットチェンジ点間隔のうちの１０以下のカットチェンジ点間隔が連続する場合に、これらのカットチェンジ点間隔を加算する例を示す。なお、図１０では、加算前のカットチェンジ点間隔と、加算後のカットチェンジ点間隔との関係を矢印４８１乃至４８９で示す。
【００８０】
図１０（ａ）に示すように、連続する１０以下のカットチェンジ点間隔を加算する前のカットチェンジ点間隔の数が４５個である。これに対して、図１０（ｂ）に示すように、連続する１０以下のカットチェンジ点間隔を加算した後のカットチェンジ点間隔の数が３２個である。これにより、データベース１４０に格納するデータ量を削減させることができるとともに、他の動画との誤一致の可能性を低減させることができる。なお、図１０に示す加算処理を行う場合には、データベース１４０に格納されるカットチェンジ点間隔リストおよび一致判定処理の対象となる動画に対応するカットチェンジ点間隔リストの双方に対して行うようにする。
【００８１】
次に、特徴量照合部１５０により判定された判定結果に基づいて、特徴量抽出部２００が用いる閾値を変更する例について説明する。
【００８２】
上述したように、特徴量照合部１５０による一致判定処理は、特徴量抽出部２００により抽出されるカットチェンジ点が大きく影響する。しかしながら、データベース１４０に格納されているカットチェンジ点間隔リストに対応する動画と、動画入力部１１０に入力された動画とが同一の動画であっても、この２つの動画の画質や画枠サイズ等が異なる場合には、一方の動画に係るフレーム箇所がカットチェンジ点として抽出されても、他方の動画に係る同じフレーム箇所がカットチェンジ点として抽出されないことも考えられる。このように、同一の動画であっても、画質や画枠サイズ等が異なる場合には、同一のカットチェンジ点が抽出されない場合も考えられる。この場合には、特徴量照合部１５０による一致判定処理の精度が低下することになる。そこで、特徴量照合部１５０による一致判定処理の精度を高めるためには、動画に対するカットチェンジ点の抽出精度が重要となる。
【００８３】
図１１は、図１に示す情報処理装置１００の一部を変形した情報処理装置１０１の構成例を示すブロック図である。情報処理装置１０１は、図１に示す情報処理装置１００において、データベース１４０および特徴量抽出部２００の代わりに、データベース１４１および特徴量抽出部２０１を設けるとともに、特徴量保持部７１０と、チェンジ点比較部７２０と、閾値更新部７３０とをさらに備える情報処理装置である。なお、データベース１４１、特徴量抽出部２０１、特徴量保持部７１０、チェンジ点比較部７２０および閾値更新部７３０以外の構成は、図１に示す情報処理装置１００と同様であるため、これらの以外の構成についての説明は省略する。なお、特徴量照合部１５０は、一致判定処理において、リスト毎に一致判定処理に係る最初に一致した値の位置を一致リストに記録するものとする。
【００８４】
特徴量抽出部２０１は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて、動画を構成する連続するフレーム間のヒストグラム差分値およびカットチェンジ点の間隔を抽出するものであり、抽出されたカットチェンジ点の間隔を特徴量照合部１５０に出力するとともに、抽出されたヒストグラム差分値およびカットチェンジ点の間隔をデータベース１４１および特徴量保持部７１０に出力する。なお、特徴量抽出部２０１については、図１２を参照して詳細に説明する。
【００８５】
データベース１４１は、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点に対応する特徴量リストを動画毎に格納するデータベースであり、格納されている特徴量リストを動画毎に特徴量照合部１５０に出力する。なお、特徴量リストについては、図１２、図１３等を参照して詳細に説明する。
【００８６】
特徴量照合部１５０は、特徴量抽出部２０１から出力されたカットチェンジ点の間隔と、データベース１４１に格納されている各特徴量リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４０に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５０は、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４０に格納されている特徴量リストの中から検索する。
【００８７】
特徴量保持部７１０は、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点間隔に基づいて、ヒストグラム差分値およびカットチェンジ点間隔を時系列に並べたリストである特徴量リストを作成して保持するものであり、保持されている特徴量リストをチェンジ点比較部７２０に出力する。
【００８８】
チェンジ点比較部７２０は、特徴量照合部１５０から出力された一致リストに含まれる特徴量リストをデータベース１４１から取得して、この取得された特徴量リストと、特徴量保持部７１０から出力された特徴量リストとについて、互いに一致していないチェンジ点を検出して、この検出されたチェンジ点におけるヒストグラム差分値を比較するものである。そして、この比較結果に基づいて閾値を算出し、算出された閾値を閾値更新部７３０に出力する。
【００８９】
閾値更新部７３０は、チェンジ点比較部７２０から出力された閾値に基づいて、特徴量抽出部２０１がカットチェンジ点を抽出する場合に用いられる閾値を更新するものである。なお、閾値の更新については、図１５、図１６等を参照して詳細に説明する。
【００９０】
図１２は、特徴量抽出部２０１の機能構成例を示すブロック図である。特徴量抽出部２０１は、図２に示す特徴量抽出部２００において、閾値保持部２３０の代わりに、閾値保持部２３１を設けるとともに、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値をデータベース１４１および特徴量保持部７１０に出力し、チェンジ点間隔算出部２５０から出力されたカットチェンジ点の間隔をデータベース１４１、特徴量照合部１５０および特徴量保持部７１０に出力するものである。なお、閾値保持部２３１以外の構成は、図２に示す特徴量抽出部２００と同様であるため、閾値保持部２３１以外の構成についての説明は省略する。
【００９１】
閾値保持部２３１は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部２４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値を閾値更新部７３０からの更新情報に基づいて更新する。また、閾値保持部２３１は、保持されている閾値をカットチェンジ点判別部２４０に出力する。
【００９２】
次に、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点に基づいて作成される特徴量リストについて、図面を参照して詳細に説明する。
【００９３】
図１３は、データベース１４１に格納されている特徴量リストの概略を示す図である。データベース１４１には、１または複数の特徴量リストが格納されている。例えば、データベース１４１には、特徴量リスト４６０、４６５、４６６が格納されている。なお、データベース１４１に格納される特徴量リストは、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点により作成される特徴量リストを順次格納するようにしてもよく、他の情報処理装置において作成された特徴量リストを格納するようにしてもよい。
【００９４】
特徴量リスト４６０には、カットチェンジ点間隔４６３と、連続フレームヒストグラム差分値４６４とが時系列に関連付けて記録されている。これらは、対応する動画を識別するためのコンテンツＩＤ（例えば、「＃２２３」）に関連付けられている。また、図１３においては、対応する動画において抽出されたカットチェンジ点間隔の識別番号としてノードＩＤ４６２を付して説明する。カットチェンジ点間隔４６３は、図５に示すカットチェンジ点間隔４０３と同様であるため、ここでの説明を省略する。
【００９５】
連続フレームヒストグラム差分値４６４は、特徴量抽出部２０１の連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値を示すものであり、フレーム毎に時刻の早い順序で記録される。ここで、カットチェンジ点間隔４６３は、連続フレーム間ヒストグラム差分算出部２２０により算出されたヒストグラム差分値のうちで、閾値保持部２３１に保持されている閾値を超えたヒストグラム差分値に対応する２つの連続するフレームについて記録される。これに対して、連続フレームヒストグラム差分値４６４は、連続フレーム間ヒストグラム差分算出部２２０により算出されたヒストグラム差分値の全ての値が記録される。
【００９６】
上述したように、特徴量照合部１５０による一致判定処理は、特徴量リスト４６０のカットチェンジ点間隔４６３を用いて行われる。このため、特徴量照合部１５０による一致判定処理についての説明は省略する。
【００９７】
次に、特徴量リストに格納されている連続フレームヒストグラム差分値に基づいて閾値を変更する閾値変更方法について図面を参照して詳細に説明する。
【００９８】
図１４は、データベース１４１から取得された特徴量リスト４６０と、特徴量保持部７１０から取得された特徴量リスト４７０とを示す図である。ここでは、特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を比較して、閾値を変更する場合について図１５および図１６を参照して説明する。
【００９９】
図１５および図１６は、特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を表す折線グラフを示す図である。ここで、折線４８１は、特徴量リスト４６０の連続フレームヒストグラム差分値４６４を表す折線であり、折線４８２は、特徴量リスト４７０の連続フレームヒストグラム差分値４７４を表す折線である。また、図１５では、閾値４８３として「２５０」が設定され、図１６では、閾値４８３の「２５０」から閾値４８４の「２３０」に変更されているものとする。この例では、データベース１４１から取得された特徴量リスト４６０に対応する動画は高画質の動画であるのに対して、特徴量保持部７１０から取得された特徴量リスト４７０に対応する動画は低画質の動画であるものとする。すなわち、比較対象となる２つの動画は同一の動画であるものの、この２つの動画は画質が異なるものである。
【０１００】
図１５に示すように、２つのリストの連続フレームヒストグラム差分値は、時刻ｔ１１乃至ｔ１３で大きく変化する。この場合に、閾値４８３が「２５０」に設定されているため、時刻ｔ１１では、高画質および低画質の動画ともカットチェンジ点として抽出されている。これに対して、ｔ１２においては、高画質では閾値を越えているため、カットチェンジ点として抽出されているものの、低画質では閾値以下であるため、カットチェンジ点として抽出されていない。また、ｔ１３おいては、低画質では閾値を越えているため、カットチェンジ点として抽出されているものの、高画質では閾値以下であるため、カットチェンジ点として抽出されていない。このように、２つの同一の動画であっても、画質や画枠サイズ等が異なる場合には、抽出されるカットチェンジ点の位置が異なる場合がある。
【０１０１】
ここで、高画質の動画の場合は、オリジナル映像に近く、カットチェンジ点の抽出精度も高いと考えられる。そこで、２つの同一の動画ついて抽出されるカットチェンジ点の位置が異なる場合には、高画質の動画の連続フレームヒストグラム差分値を信頼して閾値を変更する。すなわち、高画質では閾値を越えているものの、低画質では閾値以下である点が存在する場合には、その点において低画質でもカットチェンジ点として抽出されるようにするため、閾値を変更する。例えば、このような点では、低画質の連続フレームヒストグラム差分値を閾値として設定する。例えば、図１５においては、閾値４８３として設定されている「２５０」を、図１６に示すように、低画質に対応する折線４８２における時刻ｔ１２の値である「２３０」に変更する。これにより、この変更後に、入力される動画について、低画質であっても、さらに適切なカットチェンジ点を抽出することができる。
【０１０２】
一方、ｔ１３では低画質のみが閾値を超えている。しかしながら、低画質の場合には、カットチェンジ点の抽出精度も低いと考えられる。このため、低画質のみが閾値を超えている点の場合には、その点は誤差と考え、ｔ１２で行った閾値の変更を行わない。また、高画質では閾値を越えているものの、低画質では閾値以下である点が複数存在する場合には、これらの各点において最も小さい値の連続フレームヒストグラム差分値を閾値として設定するようにすることができる。
【０１０３】
図１７は、情報処理装置１００による閾値変更処理の処理手順を示すフローチャートである。ここでは、高画質の動画に対応する特徴量リストをデータベース１４１に格納しておき、検索対象として入力された動画が低画質の動画である場合を例にして説明する。
【０１０４】
最初に、特徴量照合部１５０により作成された一致リストがチェンジ点比較部７２０に入力される（ステップＳ９４１）。続いて、入力された一致リストに、一致すると判定された特徴量リストが存在するか否かをチェンジ点比較部７２０が判断し（ステップＳ９４２）、一致すると判定された特徴量リストが存在しない場合には、閾値変更処理の動作を終了する。
【０１０５】
一方、一致すると判定された特徴量リストが一致リストに存在する場合には（ステップＳ９４２）、チェンジ点比較部７２０が、一致リストに含まれる特徴量リストをデータベース１４１から取得するとともに、特徴量保持部７１０に保持されている特徴量リストを取得する（ステップＳ９４３）。
【０１０６】
続いて、チェンジ点比較部７２０が、データベース１４１から取得された特徴量リストと、特徴量保持部７１０から取得された特徴量リストとのカットチェンジ点を比較して、データベース１４１から取得された特徴量リスト（高画質の動画に係る特徴量リスト）に含まれるものの、特徴量保持部７１０から取得された特徴量リスト（低画質の動画に係る特徴量リスト）に含まれない点を検出する（ステップＳ９４４）。すなわち、低画質の動画に係る特徴量リストにおけるカットチェンジ点の抜けを検出する。そして、高画質の動画に係る特徴量リストに含まれるものの、低画質の動画に係る特徴量リストに含まれない点が存在しない場合には（ステップＳ９４５）、閾値変更処理の動作を終了する。
【０１０７】
一方、高画質の動画に係る特徴量リストに含まれるものの、低画質の動画に係る特徴量リストに含まれない点が存在する場合には（ステップＳ９４５）、チェンジ点比較部７２０が、ステップＳ９４４で検出された点における連続フレームヒストグラム差分値を、特徴量保持部７１０から取得された特徴量リストから取得する（ステップＳ９４６）。なお、ステップＳ９４４で検出された点が複数存在する場合には、複数の点に対応する連続フレームヒストグラム差分値が取得される。
【０１０８】
続いて、チェンジ点比較部７２０が、ステップＳ９４４で検出された点が複数であるか否かを判断する（ステップＳ９４７）。ステップＳ９４４で検出された点が１つである場合には（ステップＳ９４７）、チェンジ点比較部７２０が、特徴量保持部７１０から取得された特徴量リストから取得された、この１つの点における連続フレームヒストグラム差分値を閾値として設定する（ステップＳ９４８）。
【０１０９】
一方、ステップＳ９４４で検出された点が複数である場合には（ステップＳ９４７）、チェンジ点比較部７２０が、特徴量保持部７１０から取得された特徴量リストから取得された、ステップＳ９４４で検出された各点における連続フレームヒストグラム差分値のうちで最も小さい値を閾値として設定する（ステップＳ９４８）。
【０１１０】
以上では、高画質の動画に対応する特徴量リストをデータベース１４１に格納しておき、検索対象として入力された動画が低画質の動画である場合について説明した。しかしながら、比較対象となる２つの特徴量リストに対応する動画について高画質または低画質を特徴量照合部１５０による一致判定処理の前に予め判定し、この判定結果に基づいて、上述した閾値変更処理を行うようにしてもよい。この高画質または低画質の判定として、例えば、動画の圧縮ストリームのヘッダ情報から圧縮レートや画枠サイズ等を抽出し、この抽出された圧縮レートや画枠サイズ等に基づいて高画質または低画質を判定することができる。また、動画一致検索を行う前に、テストデータとして複数の動画を情報処理装置１０１に入力し、閾値変更処理を行うようにしてもよい。すなわち、高画質の動画に対応する特徴量リストと低画質の動画に対応する特徴量リストとのチェンジ点を比較し、高画質の動画においてチェンジ点と判別されているものの、低画質の動画においてチェンジ点と判別されていない点が存在する場合には、この点が低画質の動画においてもチェンジ点と判別されるように閾値を調整する。これにより、特徴量照合部１５０による一致判定処理の精度をさらに高めることができる。また、上述した閾値変更処理により、動画の画質と閾値との関係を予め求めておき、検索対象として入力された動画の画質に応じて閾値を変更するようにしてもよい。
【０１１１】
次に、連続するフレーム間のカラーヒストグラムの変化量が瞬間的には大きくならないものの、複数のフレーム間のカラーヒストグラムの変化量が比較的大きい位置をチェンジ点として抽出する例について説明する。
【０１１２】
上述したように、特徴量抽出部２００は、連続するフレーム間のカラーヒストグラムの変化量が瞬間的に大きくなるカットチェンジ点を抽出する。しかしながら、複数のフレーム間のカラーヒストグラムの変化量が比較的大きい位置についても、チェンジ点として抽出することができれば、さらに検索精度を向上させることができると考えられる。
【０１１３】
図１８は、動画の特徴に基づいて動画を分類する場合を示す図である。ここでは、動画の特徴として、動画を構成するフレーム間のカラーヒストグラムの変化量を用いてチェンジ点を抽出し、このチェンジ点の有無により動画を分類する例について説明する。
【０１１４】
例えば、時間軸情報５０１として、カットの変わり目が存在するか否かに基づいて動画を分類することができる。カットの変わり目とは、例えば、動画において撮影場面が変化する場合におけるその境界点を示すものである。また、カットの変わり目が存在する場合においては、画面情報５０２として、連続する２フレーム間で瞬間的に切り替わる点を示すカットチェンジ点と、所定数のフレーム間に亘って比較的短い時間で切り替わる点を示すクロスフェード点とに分類することができる。これは、フレーム間のカラーヒストグラムの変化量５０３が、瞬間的に大きくなるか、瞬間的に大きくはないものの比較的短い時間で大きくなるかに応じて分類することができる。
【０１１５】
また、カットの変わり目が存在しない場合においては、画面情報５０２として、画面内の被写体の動き（画面内の動き）に基づいて、動画を分類することができる。画面内の動きとして、例えば、「被写体の速い動き」、「被写体の遅い動き」、「静止した被写体」の３つに分類することができる。そして、このような画面内の動きは、チェンジ点の場合と同様に、フレーム間のカラーヒストグラムの変化量５０３を用いて、分類することができる。すなわち、所定数のフレーム間におけるカラーヒストグラムの変化量が比較的大きい場合には、「被写体の速い動き」に分類し、所定数のフレーム間におけるカラーヒストグラムの変化量が比較的小さい場合には、「被写体の遅い動き」に分類し、所定数のフレーム間におけるカラーヒストグラムの変化量がほとんどない場合には、「静止した被写体」に分類することができる。このように分類する場合において、所定数のフレーム間におけるカラーヒストグラムの変化量が比較的大きく「被写体の速い動き」に分類される場合には、クロスフェード点と同様に、チェンジ点に含めて分類することができる。
【０１１６】
図１８に示すように、「カットチェンジ点」と「クロスフェード点」と「被写体の速い動き」との少なくとも１つを含む動画をチェンジ点ありの動画に分類する。一方、「カットチェンジ点」と「クロスフェード点」と「被写体の速い動き」との何れも含まず、「被写体の遅い動き」または「静止した被写体」を含む動画をチェンジ点なしの動画に分類することができる。そこで、「クロスフェード点」と「被写体の速い動き」とを含めたチェンジ点を用いて動画一致検索処理を行う場合について説明する。
【０１１７】
図１９は、特徴量抽出部２０２の機能構成例を示すブロック図である。特徴量抽出部２０２は、図２に示す特徴量抽出部２００において、チェンジ点間隔算出部２５０の代わりに、チェンジ点間隔算出部２５１を設けるとともに、Ｎフレーム間ヒストグラム差分算出部２６０と、閾値保持部２７０と、Ｎフレームチェンジ点判別部２８０とをさらに設けたものである。なお、チェンジ点間隔算出部２５１、Ｎフレーム間ヒストグラム差分算出部２６０、閾値保持部２７０およびＮフレームチェンジ点判別部２８０以外の構成は、図２に示す特徴量抽出部２００と同様であるため、これら以外の構成についての説明は省略する。
【０１１８】
図２０は、動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。なお、図２０については、図１９を参照して詳細に説明する。
【０１１９】
Ｎフレーム間ヒストグラム差分算出部２６０は、カラーヒストグラム抽出部２１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続するＮフレームにおける最初のフレームおよび最後のフレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をＮフレームチェンジ点判別部２８０に出力するものである。
【０１２０】
閾値保持部２７０は、連続するＮフレーム間がチェンジ点であるか否かをＮフレームチェンジ点判別部２８０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をＮフレームチェンジ点判別部２８０に出力する。
【０１２１】
Ｎフレームチェンジ点判別部２８０は、Ｎフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えたか否かに基づいて、連続するＮフレーム間がチェンジ点であるか否かを判別するものである。すなわち、Ｎフレームチェンジ点判別部２８０は、Ｎフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、チェンジ点間隔算出部２５１に出力する。一方、Ｎフレームチェンジ点判別部２８０は、Ｎフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点ではないと判別する。このようにチェンジ点ではないと判別された場合には、チェンジ点間隔算出部２５１には時刻が出力されない。
【０１２２】
図２０には、撮像装置により撮影された動画３４０を構成するフレーム３４１乃至３５０を概略的に示す。フレーム３４１乃至３５０は、１つの動画３４０に含まれるフレームであり、フレーム３４１乃至３４５とフレーム３４６乃至３５０とが連続するフレームであるものとする。また、フレーム３４１およびフレーム３４６と、フレーム３４２およびフレーム３４７と、フレーム３４３およびフレーム３４８と、フレーム３４４およびフレーム３４９と、フレーム３４５およびフレーム３５０とは、連続するＮフレームにおける最初のフレームおよび最後のフレームであるものとする。例えば、３０ｆｐｓ（フレーム／秒）を想定して１秒間に相当するＮ＝３０とすることができる。
【０１２３】
ここで、例えば、フレーム３４２およびフレーム３４７と、フレーム３４３およびフレーム３４８と、フレーム３４４およびフレーム３４９との各フレーム間におけるヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えて、これらの連続するＮフレーム間がチェンジ点として判別されるための条件を満たすものとする。図２０では、チェンジ点であると判別された連続するＮフレームのうちの最後のフレームを斜線で示す。このように、チェンジ点として判別されるための条件を満たす点が連続する場合には、この連続する各フレーム間のうちの最初のフレーム間に対応する点のみをチェンジ点としてＮフレームチェンジ点判別部２８０が検出する。すなわち、チェンジ点として判別されるための条件を満たすフレーム３４２およびフレーム３４７と、フレーム３４３およびフレーム３４８と、フレーム３４４およびフレーム３４９とのうちで、最初のフレーム間であるフレーム３４２およびフレーム３４７がチェンジ点として判別される。
【０１２４】
チェンジ点間隔算出部２５１は、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０から出力されたチェンジ点（以下では、カットチェンジ点およびチェンジ点を含むものとする）の時刻に基づいて、隣接する２つのチェンジ点間の時間間隔を算出するものであり、算出されたチェンジ点の間隔をデータベース１４０および特徴量照合部１５０に出力する。すなわち、チェンジ点間隔算出部２５１は、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０からチェンジ点の時刻が出力された場合には、この時刻と、この時刻の直前に出力された時刻との差の値を算出して、隣接する２つのチェンジ点間の時間間隔を算出する。なお、隣接する２つのチェンジ点間の間隔として、このチェンジ点間に含まれるフレームの数を算出し、この算出されたフレーム数をチェンジ点の間隔とするようにしてもよい。
【０１２５】
次に、特徴量照合部１５０により判定された判定結果に基づいて、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０が用いる閾値を変更する例について説明する。ここでは、図１１乃至図１７に示す情報処理装置１０１の閾値保持部の閾値を更新する場合における変形例を示す。図１１乃至図１７に示した構成のうちで、異なる部分について説明し、同じ部分についての説明を省略する。
【０１２６】
図２１は、図１１に示す情報処理装置１０１の一部を変形した情報処理装置１０２の構成例を示すブロック図である。情報処理装置１０２は、図１１に示す情報処理装置１０１において、データベース１４１、特徴量照合部１５０、特徴量抽出部２０１、特徴量保持部７１０、チェンジ点比較部７２０および閾値更新部７３０の代わりに、データベース１４２、特徴量照合部１５１、特徴量抽出部２０３、特徴量保持部７１１、チェンジ点比較部７２１および閾値更新部７３１を設けた情報処理装置である。なお、これら以外の構成は、図１１に示す情報処理装置１０１と同様であるため、これら以外の構成についての説明は省略する。
【０１２７】
特徴量抽出部２０３は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて、動画を構成する連続する２フレーム間のヒストグラム差分値およびカットチェンジ点の間隔と、動画を構成する連続するＮフレーム間のヒストグラム差分値およびチェンジ点の間隔とを抽出するものであり、抽出されたカットチェンジ点の間隔およびチェンジ点の間隔を特徴量照合部１５１に出力するとともに、抽出された各ヒストグラム差分値と、カットチェンジ点の間隔と、チェンジ点の間隔とをデータベース１４２および特徴量保持部７１１に出力する。なお、特徴量抽出部２０３については、図２２を参照して詳細に説明する。
【０１２８】
データベース１４２は、特徴量抽出部２０３から出力された各ヒストグラム差分値と、カットチェンジ点の間隔と、チェンジ点の間隔とに対応する特徴量リストを動画毎に格納するデータベースであり、格納されている特徴量リストを動画毎に特徴量照合部１５１に出力する。なお、特徴量リストについては、図２３等を参照して詳細に説明する。
【０１２９】
特徴量照合部１５１は、特徴量抽出部２０１から出力されたカットチェンジ点およびチェンジ点の間隔と、データベース１４２に格納されている各特徴量リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４２に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５１は、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４２に格納されている特徴量リストの中から検索する。
【０１３０】
特徴量保持部７１１は、特徴量抽出部２０３から出力されたヒストグラム差分値、カットチェンジ点およびチェンジ点間隔に基づいて、ヒストグラム差分値、カットチェンジ点およびチェンジ点間隔を時系列に並べたリストである特徴量リストを作成して保持するものであり、保持されている特徴量リストをチェンジ点比較部７２１に出力する。
【０１３１】
チェンジ点比較部７２１は、特徴量照合部１５１から出力された一致リストに含まれる特徴量リストをデータベース１４２から取得して、この取得された特徴量リストと、特徴量保持部７１１から出力された特徴量リストとについて、互いに一致していないチェンジ点を検出して、この検出されたチェンジ点における連続する２フレーム間のヒストグラム差分値を比較するとともに、連続するＮフレーム間のヒストグラム差分値を比較するものである。すなわち、チェンジ点比較部７２１は、２つの特徴量リストにおいて互いに一致していないチェンジ点における連続する２フレーム間のヒストグラム差分値を比較した結果に基づいて、カットチェンジ点判別部２４０が判定に用いる閾値を算出する。また、チェンジ点比較部７２１は、２つの特徴量リストにおいて互いに一致していないチェンジ点における連続するＮフレーム間のヒストグラム差分値を比較した結果に基づいて、Ｎフレームチェンジ点判別部２８０が判定に用いる閾値を算出する。そして、算出された各閾値を閾値更新部７３１に出力する。
【０１３２】
閾値更新部７３１は、チェンジ点比較部７２１から出力された閾値に基づいて、特徴量抽出部２０３がカットチェンジ点またはチェンジ点を抽出する場合に用いられる閾値を更新するものである。なお、連続する２フレーム間のヒストグラム差分値に対応する閾値と、連続するＮフレーム間のヒストグラム差分値に対応する閾値との更新については、図１４、図１５等を参照して説明した更新方法と同様である。
【０１３３】
図２２は、特徴量抽出部２０３の機能構成例を示すブロック図である。特徴量抽出部２０３は、図１９に示す特徴量抽出部２０２において、閾値保持部２３０および閾値保持部２７０の代わりに、閾値保持部２３１および閾値保持部２７１を設けるとともに、連続フレーム間ヒストグラム差分算出部２２０およびＮフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値をデータベース１４２および特徴量保持部７１１に出力し、チェンジ点間隔算出部２５１から出力されたチェンジ点の間隔をデータベース１４２、特徴量照合部１５１および特徴量保持部７１１に出力するものである。なお、閾値保持部２３１および閾値保持部２７１以外の構成は、図１９に示す特徴量抽出部２０２と同様であるため、閾値保持部２３１および閾値保持部２７１以外の構成についての説明は省略する。
【０１３４】
閾値保持部２３１は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部２４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値を閾値更新部７３１からの更新情報に基づいて更新する。また、閾値保持部２３１は、保持されている閾値をカットチェンジ点判別部２４０に出力する。
【０１３５】
閾値保持部２７１は、連続するＮフレーム間がチェンジ点であるか否かをＮフレームチェンジ点判別部２８０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値を閾値更新部７３１からの更新情報に基づいて更新する。また、閾値保持部２７１は、保持されている閾値をＮフレームチェンジ点判別部２８０に出力する。
【０１３６】
次に、特徴量抽出部２０３から出力されたヒストグラム差分値およびチェンジ点に基づいて作成される特徴量リストについて、図面を参照して詳細に説明する。
【０１３７】
図２３は、データベース１４２に格納されている特徴量リストの概略を示す図である。データベース１４２には、１または複数の特徴量リストが格納されている。例えば、データベース１４２には、特徴量リスト４７０、４７６、４７７が格納されている。なお、データベース１４２に格納される特徴量リストは、特徴量抽出部２０３から出力されたヒストグラム差分値およびチェンジ点により作成される特徴量リストを順次格納するようにしてもよく、他の情報処理装置において作成された特徴量リストを格納するようにしてもよい。
【０１３８】
特徴量リスト４７０には、カットチェンジ点間隔４７３と、連続フレームヒストグラム差分値４７４と、Ｎフレーム間ヒストグラム差分値４７５とが時系列に関連付けて記録されている。これらは、対応する動画を識別するためのコンテンツＩＤ（例えば、「＃３２３」）に関連付けられている。また、図２３においては、対応する動画において抽出されたカットチェンジ点間隔の識別番号としてノードＩＤ４７２を付して説明する。カットチェンジ点間隔４７３および連続フレームヒストグラム差分値４７４は、図１３に示すカットチェンジ点間隔４６３および連続フレームヒストグラム差分値４６４と同様であるため、ここでの説明を省略する。
【０１３９】
Ｎフレーム間ヒストグラム差分値４７５は、特徴量抽出部２０３のＮフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値を示すものであり、フレーム毎に時刻の早い順序で記録される。ここで、カットチェンジ点間隔４７３は、連続フレーム間ヒストグラム差分算出部２２０またはＮフレーム間ヒストグラム差分算出部２６０により算出されたヒストグラム差分値のうちで、対応する閾値保持部２３１または２７１に保持されている閾値を超えたヒストグラム差分値に対応するフレーム間について記録される。これに対して、Ｎフレーム間ヒストグラム差分値４７５は、連続フレーム間ヒストグラム差分算出部２２０またはＮフレーム間ヒストグラム差分算出部２６０により算出されたヒストグラム差分値の全ての値が記録される。
【０１４０】
また、Ｎフレームチェンジ点判別部２８０が判定に用いる閾値の更新については、図１５、図１６等を参照して説明した更新方法と同様に、Ｎフレーム間ヒストグラム差分値４７５を用いて行われる。
【０１４１】
次に、チェンジ点間隔を抽出することができない動画について動画一致検索を行う場合について図面を参照して詳細に説明する
【０１４２】
図１８に示すように、動画については、チェンジ点を含む動画とチェンジ点を含まない動画とに分類することができる。ここで、上述した動画の一致判定処理を行う場合には、チェンジ点間隔を用いるため、比較対象の動画には少なくとも２つのチェンジ点が含まれる必要がある。しかしながら、被写体の動きが遅い場面が撮影された動画等については、図１８に示すように、チェンジ点を含まない場合も考えられる。そこで、チェンジ点間隔の有無に応じて一致判定処理を変更して行うようにする。すなわち、チェンジ点間隔を抽出することができない動画については、チェンジ点間隔以外の特徴量を用いて、動画一致検索を行う。
【０１４３】
図２４は、図１に示す情報処理装置１００の一部を変形した情報処理装置１０３の構成例を示すブロック図である。情報処理装置１０３は、図１に示す情報処理装置１００において、データベース１４０、特徴量照合部１５０および特徴量抽出部２００の代わりに、データベース１４３、特徴量照合部１５２および特徴量抽出部２０４を設けた情報処理装置である。なお、データベース１４３、特徴量照合部１５２および特徴量抽出部２０４以外の構成は、図１に示す情報処理装置１００と同様であるため、これらの以外の構成についての説明は省略する。
【０１４４】
特徴量抽出部２０４は、ビデオデコード部１３０から出力されたベースバンドデータに基づいてチェンジ点の間隔、および、チェンジ点間における代表ヒストグラムを抽出するものであり、抽出されたチェンジ点の間隔および代表ヒストグラムをデータベース１４３および特徴量照合部１５２に出力する。なお、特徴量抽出部２０４については、図２５を参照して詳細に説明する。
【０１４５】
データベース１４３は、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストを動画毎に格納するデータベースであり、格納されている特徴量リストを動画毎に特徴量照合部１５２に出力する。
【０１４６】
特徴量照合部１５２は、特徴量抽出部２０４から出力されたチェンジ点間隔または代表ヒストグラムと、データベース１４３に格納されている各特徴量リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５２は、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４３に格納されている特徴量リストの中から検索する。なお、特徴量照合部１５２については、図２６を参照して詳細に説明する。
【０１４７】
図２５は、特徴量抽出部２０４の機能構成例を示すブロック図である。特徴量抽出部２０４は、図１９に示す特徴量抽出部２０２において、代表ヒストグラムサンプリング部２９０をさらに設けたものである。なお、代表ヒストグラムサンプリング部２９０以外の構成は、図１９に示す特徴量抽出部２０２と同様であるため、代表ヒストグラムサンプリング部２９０以外の構成についての説明は省略する。
【０１４８】
代表ヒストグラムサンプリング部２９０は、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０から出力されたチェンジ点の時刻に基づいて、隣接する２つのチェンジ点間に含まれるフレームから少なくとも１つのフレームをサンプリングして、このサンプリングされたフレームに対応してカラーヒストグラム抽出部２１０から出力されたヒストグラムを選択するものであり、選択されたヒストグラムを代表ヒストグラムとしてデータベース１４３および特徴量照合部１５２に出力する。すなわち、代表ヒストグラムサンプリング部２９０は、同一カット内における代表ヒストグラムをサンプリングする。なお、動画入力部１１０に入力された１つの動画について、カットチェンジ点判別部２４０またはＮフレームチェンジ点判別部２８０からチェンジ点の時刻が１つも出力されない場合には、代表ヒストグラムサンプリング部２９０は、この入力された１つの動画を構成するフレームから少なくとも１つのフレームをサンプリングして、この選択されたフレームに対応してカラーヒストグラム抽出部２１０から出力されたヒストグラムを代表ヒストグラムとして出力する。
【０１４９】
図２６は、特徴量照合部１５２の機能構成例を示すブロック図である。特徴量照合部１５２は、照合方法決定部１５３と、チェンジ点間隔照合部１５４と、カラーヒストグラム照合部１５５とを備える。
【０１５０】
図２７は、照合方法決定部１５３が照合方法を決定する場合における決定方法の概略を示す図である。本発明の実施の形態では、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストと、データベース１４３に格納されている各特徴量リストとにチェンジ点間隔が存在するか否かに基づいて、照合方法が決定される。具体的には、図２７に示すように、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストにチェンジ点間隔が存在するとともに（入力動画のチェンジ点間隔５１１が「有」の場合）、データベース１４３に格納されている特徴量リストにチェンジ点間隔が存在する場合（ＤＢ動画のチェンジ点間隔５１２が「有」の場合）には、照合方法としてチェンジ点間隔を用いた照合方法が決定される。一方、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストにチェンジ点間隔が存在しない場合（入力動画のチェンジ点間隔５１１が「無」の場合）、または、データベース１４３に格納されている特徴量リストにチェンジ点間隔が存在しない場合（ＤＢ動画のチェンジ点間隔５１２が「無」の場合）には、照合方法としてカラーヒストグラムを用いた照合方法が決定される。
【０１５１】
照合方法決定部１５３は、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストと、データベース１４３に格納されている各特徴量リストとに基づいて、これらのリストにチェンジ点間隔が含まれているか否かに応じて、図２７に示すように、照合方法を決定するものであり、決定された照合方法に応じて、チェンジ点間隔照合部１５４またはカラーヒストグラム照合部１５５に照合指示信号を出力する。すなわち、照合方法決定部１５３は、照合方法としてチェンジ点間隔を用いた照合方法が決定された場合には、チェンジ点間隔照合部１５４に照合指示信号を出力し、照合方法としてカラーヒストグラムを用いた照合方法が決定された場合には、カラーヒストグラム照合部１５５に照合指示信号を出力する。
【０１５２】
チェンジ点間隔照合部１５４は、照合方法決定部１５３からの照合指示信号を入力すると、特徴量抽出部２０４から出力されたチェンジ点間隔と、データベース１４３に格納されている特徴量リストに含まれるチェンジ点間隔とを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、上述した特徴量照合部１５０と同様に、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４３に格納されている特徴量リストの中から検索する。
【０１５３】
カラーヒストグラム照合部１５５は、照合方法決定部１５３からの照合指示信号を入力すると、特徴量抽出部２０４から出力された代表ヒストグラムと、データベース１４３に格納されている特徴量リストに含まれる代表ヒストグラムとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、カラーヒストグラム照合部１５５は、照合方法決定部１５３からの照合指示信号を入力すると、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストに含まれる代表ヒストグラムと、データベース１４３に格納されている特徴量リストに含まれる代表ヒストグラムとを比較してヒストグラム差分値を算出し、この算出されたヒストグラム差分値が閾値以下となった場合に、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致すると判別する。
【０１５４】
このように、チェンジ点が抽出された動画およびチェンジ点が抽出されなかった動画の双方について動画一致検索を行うことができる。
【０１５５】
例えば、映画、テレビ番組等のように編集された動画コンテンツについては、チェンジ点があると想定される。この場合には、チェンジ点間隔を用いて動画一致検索を迅速に行うことができる。また、入力動画の代表ヒストグラムとデータベースに格納されている代表ヒストグラムとを照合するカラーヒストグラム照合は、動画一致検索以外にも、動画類似検索を行うことが可能である。なお、チェンジ点が存在しない動画コンテンツについては、カラーヒストグラムの変化量が小さいか、カラーヒストグラムの変化がない動画であるため、カラーヒストグラムをサンプリングすべき画像を少なくすることができる。このため、情報量を削減することができる。
【０１５６】
次に、本発明の実施の形態における情報処理装置を用いた情報処理システムについて図面を参照して詳細に説明する。
【０１５７】
図２８は、本発明の実施の形態における情報処理システム８００を示すシステム構成図である。情報処理システム８００は、１または複数のコンテンツ提供会社（映画会社やテレビ局等）に設置されている情報処理装置と、各コンテンツを閲覧または提供するユーザ端末（パーソナルコンピュータやテレビジョン等）とが、動画共有サイトに接続されている情報処理システムである。この例では、コンテンツ提供会社を、映画会社８２０および８３０、テレビ局８４０とし、ユーザ端末をＰＣ（パーソナルコンピュータ）８５０とした場合に、映画会社８２０および８３０、テレビ局８４０に設置されている情報処理装置８２１、８３１および８４１と、ＰＣ８５０とが、動画共有サイト８１０の情報処理装置８１１に接続されている場合について説明する。なお、情報処理装置８１１、８２１、８３１および８４１、ＰＣ８５０のそれぞれは、インターネット等の通信網であるネットワーク８６０を介して接続され、各種情報のやりとりを行うことができる。
【０１５８】
情報処理装置８１１、８２１、８３１および８４１は、本発明の実施の形態における情報処理装置と同様の構成を備えるとともに、動画を管理する動画データベース８１２、８２２、８３２および８４２を備える。また、情報処理装置８２１、８３１および８４１とＰＣ８５０とは、何らかの条件の下で、動画共有サイト８１０に動画をアップロードすることができる。ここで、動画をアップロードするための条件として、例えば、５分以下の動画または低解像度の動画等のように様々な条件を設定することができる。また、ＰＣ８５０のユーザ８５１は、ＰＣ８５０を用いて、動画共有サイト８１０にアップロードされている比較的短い動画や低解像度の動画を自由に見ることができる。そして、動画共有サイト８１０にアップロードされている動画の全編または高画質のバージョンを見たい場合には、その動画をアップロードしたコンテンツ提供会社からその動画の全編または高画質のバージョンを購入等して見ることができる。
【０１５９】
ここで、情報処理システム８００における動画検索方法について説明する。最初に、ユーザ８５１が、ＰＣ８５０を用いて、動画共有サイト８１０にアップロードされている比較的短い動画や低解像度の動画を見る。そして、ユーザ８５１が、アップロードされている動画の全編または高画質のバージョンを見たい場合には、ＰＣ８５０を用いて、動画共有サイト８１０に検索指示を通知する。
【０１６０】
ＰＣ８５０から検索指示通知を受けた情報処理装置８１１は、この検索指示に係る動画のチェンジ点間隔を抽出して特徴量リストを作成し、この特徴量リストを情報処理装置８２１、８３１および８４１に送信する。そして、この特徴量リストを受信した情報処理装置８２１、８３１および８４１は、受信された特徴量リストに含まれるチェンジ点間隔と、内蔵データベースに格納されているチェンジ点間隔とを照合し、一致する動画を検索する。そして、情報処理装置８２１、８３１および８４１は、検索結果を情報処理装置８１１に送信する。検索結果を受信した情報処理装置８１１は、受信された検索結果を集計し、集計された検索結果をＰＣ８５０に送信する。この検索結果を受け取ったユーザ８５１は、検索結果を見て、全編または高画質のバージョンを見たい動画を所有するコンテンツ提供会社に、ＰＣ８５０を用いてアクセスし、その動画を購買するか否か決定することができる。この例では、動画の検索がコンテンツ提供会社において行われる例について説明したが、アップロードされた動画に対応する特徴量リストを情報処理装置８１１が保持して、動画の検索を動画共有サイト８１０において行うようにしてもよい。
【０１６１】
また、情報処理システム８００においては、上述したように、ユーザ８５１が、ＰＣ８５０を用いて、比較的短い動画や低解像度の動画を動画共有サイト８１０にアップロードすることができる。また、ユーザ８５１により動画共有サイト８１０にアップロードされた動画を、他のユーザがユーザ端末等から自由に見ることができる。しかしながら、ユーザ８５１により動画共有サイト８１０にアップロードされた動画が、他人の著作権に係る動画である可能性も考えられる。このように、他人の著作権に係る動画が動画共有サイト８１０にアップロードされた場合には、著作権侵害を阻止するため、動画共有サイトにおいて適切にフィルタリングすることが重要である。
【０１６２】
そこで、例えば、特徴量リストを格納する情報処理装置８１１のデータベースに、コンテンツ毎に、著作権に係る動画であるか否かを示すＮＧタグを関連付けて格納し、このＮＧタグに基づいて、アップロードされた動画が著作権に係る動画であるか否かを判断して、フィルタリングすることができる。
【０１６３】
ここで、動画共有サイトには、音声が加工されている動画がアップロードされることも考えられる。しかしながら、本発明の実施の形態における動画一致検索では、音声に関する特徴量を使用しないため、音声がない動画や音声が編集されている動画についても、適切に動画検索を行うことができる。また、動画共有サイトには、編集された動画がアップロードされることも考えられる。しかしながら、本発明の実施の形態における動画一致検索では、カットチェンジ点間隔が一部分一致していれば、同一動画であると判定することができるため、検索対象の動画が、ある動画の一部分である場合でも、適切に検索を行うことができる。同様に、検索対象の動画が、複数の動画を繋ぎ合わせた動画であっても、適切に検索を行うことができる。これらにより、著作権を侵害する可能性のある動画を適切に迅速にフィルタリングすることが可能である。
【０１６４】
また、著作権に係る動画以外の動画についても、動画の公開を許可する否かの判断にＮＧタグを用いることができる。
【０１６５】
さらに、動画コンテンツの類似映像を排除する場合、動画共有サイトの管理者に対して、同一動画や類似動画を検出または提示することによって、保存する必要のない動画コンテンツを排除する場合等に本発明の実施の形態を適用することができる。
【０１６６】
以上で示したように、本発明の実施の形態における動画一致検索では、音声がない動画、音声が編集されている動画、編集されている動画等についても、適切に動画検索を行うことができる。また、特徴量として、カットチェンジ点間隔のみを用いて動画一致検索をすることができるため、動画一致検索をするためのデータベース量を節約することができる。さらに、チェンジ点間隔を用いて動画一致検索を行うため、ビットレートや画枠が異なる動画についても適切な検索を行うことができる。すなわち、本発明の実施の形態によれば、動画の検索のために保持すべき情報量を削減することができるとともに、適切な動画の検索を迅速に行うことができる。
【０１６７】
また、本発明の実施の形態では、情報処理装置に入力される動画について一致検索をする場合について説明したが、例えば、インターネット上に流通する動画コンテンツの検索、コンテンツホルダ内（映画会社、テレビ局、ＣＭコンテンツホルダ）での一致検索、テレビ番組等をユーザが携帯電話でキャプチャしてサーバ側に送信し、同一のコンテンツを紹介または配信するシステム、動画コンテンツの分類、動画共有サイトでの動画コンテンツ分類等に本発明の実施の形態を適用することができる。
【０１６８】
なお、本発明の実施の形態では、情報処理装置を例にして説明したが、動画を検索することができる携帯端末装置等の画像検索装置に本発明の実施の形態を適用することができる。
【０１６９】
また、本発明の実施の形態では、特徴量抽出部と、特徴量照合部と、データベースとを同一の装置内に備える情報処理装置について説明したが、動画コンテンツから特徴量を抽出する特徴量抽出サーバと、動画コンテンツから抽出された特徴量を格納する特徴量データベースと、入力動画の特徴量と特徴量データベースの特徴量と照合し、この照合結果に基づいて入力動画の一致検索を行う特徴量照合サーバとにより構成される情報処理システムに本発明の実施の形態を適用することができる。
【０１７０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１７１】
すなわち、請求項１乃至７において、情報処理装置は、例えば、情報処理装置１００乃至１０３に対応する。
【０１７２】
また、請求項１において、時間的特徴量記憶手段は、例えば、データベース１４０乃至１４３に対応する。また、動画入力手段は、例えば、動画入力部１１０に対応する。また、時間的特徴量抽出手段は、例えば、特徴量抽出部２００乃至２０４に対応する。また、判定手段は、例えば、特徴量照合部１５０乃至１５２に対応する。
【０１７３】
また、請求項２において、チェンジ点検出手段は、カットチェンジ点判別部２４０またはＮフレームチェンジ点判別部２８０に対応する。また、チェンジ点間隔算出手段は、例えば、チェンジ点間隔算出部２５０または２５１に対応する。
【０１７４】
また、請求項７において、第２の特徴量抽出手段は、例えば、カラーヒストグラム抽出部２１０に対応する。また、チェンジ点比較手段は、例えば、チェンジ点比較部７２１に対応する。また、閾値更新手段は、例えば、閾値更新部７３１に対応する。
【０１７５】
また、請求項８または９において、動画入力手順は、例えば、ステップＳ９０１に対応する。また、時間的特徴量抽出手順は、例えば、ステップＳ９０４およびステップＳ９０５に対応する。また、判定手順は、例えば、ステップＳ９２０に対応する。
【０１７６】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【符号の説明】
【０１７７】
１００乃至１０３  情報処理装置
１１０  動画入力部
１２０  ビデオ・オーディオデマルチプレクサ
１３０  ビデオデコード部
１４０乃至１４３  データベース
１５０、１５１  特徴量照合部
１５３  照合方法決定部
１５４  チェンジ点間隔照合部
１５５  カラーヒストグラム照合部
１６０  判定結果出力部
２００乃至２０４  特徴量抽出部
２１０  カラーヒストグラム抽出部
２２０  連続フレーム間ヒストグラム差分算出部
２３０、２３１  閾値保持部
２４０  カットチェンジ点判別部
２５０、２５１  チェンジ点間隔算出部
２６０  Ｎフレーム間ヒストグラム差分算出部
２７０、２７１  閾値保持部
２８０  Ｎフレームチェンジ点判別部
２９０  代表ヒストグラムサンプリング部
７１０、７１１  特徴量保持部
７２０、７２１  チェンジ点比較部
７３０、７３１  閾値更新部
８００  情報処理システム
８１０  動画共有サイト
８１１、８２１、８３１、８４１  情報処理装置
８１２、８２２、８３２、８４２  動画データベース
８２０、８３０  映画会社
８４０  テレビ局
８５０  ＰＣ
８５１  ユーザ
８６０  ネットワーク
【図１】
2010011501.tif 000003
【図２】
2010011501.tif 000004
【図３】
2010011501.tif 000005
【図４】
2010011501.tif 000006
【図５】
2010011501.tif 000007
【図６】
2010011501.tif 000008
【図７】
2010011501.tif 000009
【図８】
2010011501.tif 000010
【図９】
2010011501.tif 000011
【図１０】
2010011501.tif 000012
【図１１】
2010011501.tif 000013
【図１２】
2010011501.tif 000014
【図１３】
2010011501.tif 000015
【図１４】
2010011501.tif 000016
【図１５】
2010011501.tif 000017
【図１６】
2010011501.tif 000018
【図１７】
2010011501.tif 000019
【図１８】
2010011501.tif 000020
【図１９】
2010011501.tif 000021
【図２０】
2010011501.tif 000022
【図２１】
2010011501.tif 000023
【図２２】
2010011501.tif 000024
【図２３】
2010011501.tif 000025
【図２４】
2010011501.tif 000026
【図２５】
2010011501.tif 000027
【図２６】
2010011501.tif 000028
【図２７】
2010011501.tif 000029
【図２８】
2010011501.tif 000030
【手続補正書】
【提出日】平成21年10月26日(2009.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像におけるチェンジ点間隔を記憶する記憶手段と、
入力された動画像からチェンジ点間隔を算出する算出手段と、
前記記憶手段に記憶されているチェンジ点間隔と、前記算出手段により算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手段と、
前記チェンジ点間隔検出手段により検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手段により検出された、前記算出手段により算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手段と、
前記加算手段により求めた加算値と、前記加算手段による加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手段と、
前記加算値判定手段により判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手段により算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手段と
を有する情報処理装置。
【請求項２】
前記加算値判定手段は、判定結果が一致判定でない場合は、前記加算手段により求めた加算値と、前記加算手段による加算の対象となっていないチェンジ点間隔との間でより小さい値と、当該小さい値に係るチェンジ点間隔の次のチェンジ点間隔とを加算し、当該加算した値と当該加算の対象となっていない値とが一致するかを判定する請求項１記載の情報処理装置。
【請求項３】
前記記憶手段は、前記動画像から抽出された特徴量と所定の閾値とを比較することにより求めた前記チェンジ点間隔を、前記特徴量と時系列で関連付けて記憶し、
前記算出手段は、前記入力された動画像から抽出された特徴量と前記閾値とを比較することにより、前記チェンジ点間隔を算出し、
前記動画像判定手段により一致すると判定された、前記記憶手段に記憶されている動画像から抽出された特徴量に対応するチェンジ点と、前記算出手段により算出された動画像から抽出された特徴量に対応するチェンジ点との間で、画質がより高い動画像に係る特徴量には存在し、画質がより低い動画像に係る特徴量には存在しないチェンジ点を検出するチェンジ点検出手段と、
前記チェンジ点検出手段により検出されたチェンジ点の時間軸における位置に対応する、前記画質がより低い動画像に係る特徴量の値を前記閾値とする閾値更新手段と
をさらに有する請求項１記載の情報処理装置。
【請求項４】
前記閾値更新手段は、前記チェンジ点検出手段により検出されたチェンジ点が複数ある場合は、前記複数のチェンジ点に対応する特徴量の中で最も小さい値を閾値とする請求項３記載の情報処理装置。
【請求項５】
前記チェンジ点は、前記動画像から抽出された特徴量の値が前記閾値を超える点である請求項３記載の情報処理装置。
【請求項６】
前記チェンジ点間隔は、連続する前記チェンジ点間における時間又はフレーム数を示す値である請求項３記載の情報処理装置。
【請求項７】
前記算出手段は、前記入力された動画像における所定数のフレームを単位として前記動画像から抽出された特徴量と、所定の閾値とを比較することにより、前記チェンジ点間隔を算出する請求項１記載の情報処理装置。
【請求項８】
動画像におけるチェンジ点間隔を記憶する記憶手段と、
入力された動画像からチェンジ点間隔を算出する算出手段と、
前記記憶手段に記憶されている所定の範囲内のチェンジ点間隔を加算した値と、前記算出手段により算出された所定の範囲内のチェンジ点間隔を加算した値とが一致するかを判定する加算値判定手段と、
前記加算値判定手段により判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手段により算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手段と
を有する情報処理装置。
【請求項９】
入力された動画像からチェンジ点間隔を算出する算出手順と、
記憶手段に記憶されている動画像におけるチェンジ点間隔と、前記算出手順で算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手順と、
前記チェンジ点間隔検出手順で検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手順で検出された、前記算出手順で算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手順と、
前記加算手順で求めた加算値と、前記加算手順で加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手順と、
前記加算値判定手順で判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手順で算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手順と
を有する情報処理方法。
【請求項１０】
入力された動画像からチェンジ点間隔を算出する算出手順と、
記憶手段に記憶されている動画像におけるチェンジ点間隔と、前記算出手順で算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手順と、
前記チェンジ点間隔検出手順で検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手順で検出された、前記算出手順で算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手順と、
前記加算手順で求めた加算値と、前記加算手順で加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手順と、
前記加算値判定手順で判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手順で算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手順と
をコンピュータに実行させるプログラム。
【請求項１１】
入力された動画像からチェンジ点間隔を算出する算出手順と、
記憶手段に記憶されている動画像におけるチェンジ点間隔と、前記算出手順で算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手順と、
前記チェンジ点間隔検出手順で検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手順で検出された、前記算出手順で算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手順と、
前記加算手順で求めた加算値と、前記加算手順で加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手順と、
前記加算値判定手順で判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手順で算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手順と
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
入力された動画像からチェンジ点間隔を算出する算出手順と、
記憶手段に記憶されている動画像におけるチェンジ点間隔のうち所定の範囲内のチェンジ点間隔を加算した値と、前記算出手順で算出された所定の範囲内のチェンジ点間隔を加算した値とが一致するかを判定する加算値判定手順と、
前記加算値判定手順で判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手順で算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手順と
を有する情報処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１７１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１７３
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１７４
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１７５
【補正方法】削除
【補正の内容】