(57)【要約】【課題】多くの類似シーンを検索することができるようにする。【解決手段】画像処理装置の評価部は、類似シーンを検索したいシーンが含まれる映像コンテンツのシーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、検索パターンと検索対象パターンとの類似度を算出し、算出された類似度に基づいて類似シーンを判定する。本技術は、例えば、映像コンテンツの類似シーンを検索する画像処理装置等に適用できる。【選択図】図１
2014067333.tif 000002
【特許請求の範囲】
【請求項１】
類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する評価部を備える
画像処理装置。
【請求項２】
前記シーンが含まれる映像コンテンツの静止画を所定の時間間隔で抽出した静止画時系列データから得られる人物の登場パターンを圧縮処理することにより、前記検索パターンを生成する検索パターン生成部と、
前記類似シーンの検索対象となる映像コンテンツの静止画を所定の時間間隔で抽出した静止画時系列データから得られる人物の登場パターンを圧縮処理することにより、前記検索対象パターンを生成する検索対象パターン生成部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記圧縮処理は、前記人物の登場パターンを構成する所定の要素値が、その前の要素値と同じ値である場合に、前記所定の要素値を削除する処理である
請求項２に記載の画像処理装置。
【請求項４】
前記圧縮処理は、シーンチェンジ点情報に基づくシーン単位で行われる
請求項２に記載の画像処理装置。
【請求項５】
前記圧縮処理により各登場人物の登場パターンの要素数が一致しない場合、各登場人物の登場パターンの要素数が、要素数の一番多い登場人物の登場パターンの要素数に合わせられる
請求項２に記載の画像処理装置。
【請求項６】
前記検索パターン生成部および前記検索対象パターン生成部は、前記圧縮処理の前に、前記登場パターンのノイズ除去処理を行う
請求項２に記載の画像処理装置。
【請求項７】
前記検索対象パターン生成部は、前記類似シーンの検索対象となり得る映像コンテンツの登場人物統計情報を取得し、取得した前記登場人物統計情報に基づいて、前記類似シーンの検索対象となる映像コンテンツを選択する
請求項２に記載の画像処理装置。
【請求項８】
前記検索パターン生成部は、複数の映像コンテンツの前記登場パターンを混合して前記検索パターンを生成する
請求項２に記載の画像処理装置。
【請求項９】
前記検索対象パターン生成部は、複数の映像コンテンツの前記登場パターンを混合して前記検索対象パターンを生成する
請求項８に記載の画像処理装置。
【請求項１０】
映像コンテンツの静止画を所定の時間間隔で抽出した静止画時系列データから、人物を識別して、識別した人物の登場パターンを生成するメタデータ生成部と、
前記メタデータ生成部により生成された前記登場パターンを記憶する記憶部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項１１】
前記メタデータ生成部は、前記静止画時系列データにおける人物登場比率と、登場人物ごとの登場比率も算出し、
前記記憶部は、前記人物登場比率と、前記登場人物ごとの登場比率を、登場人物統計情報として記憶する
請求項１０に記載の画像処理装置。
【請求項１２】
前記メタデータ生成部は、前記静止画時系列データにおけるシーンチェンジ点も検出し、
前記記憶部は、前記シーンチェンジ点の情報であるシーンチェンジ点情報も記憶する
請求項１０に記載の画像処理装置。
【請求項１３】
前記メタデータ生成部は、生成した前記人物の登場パターンを、さらに圧縮処理する
請求項１０に記載の画像処理装置。
【請求項１４】
前記メタデータ生成部は、生成した前記人物の登場パターンを、さらにノイズ除去処理する
請求項１０に記載の画像処理装置。
【請求項１５】
類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する
ステップを含む画像処理方法。
【請求項１６】
コンピュータを、
類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する評価部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、多くの類似シーンを検索することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
多数の映像コンテンツを記憶したデータベースのなかから、あるシーンに類似する類似シーンを検索する技術が多数提案されている。
【０００３】
類似シーンの検索は、通常、検索したいシーン（検索シーン）の特徴量を抽出して、データベースに記憶されている映像コンテンツのなかで、検索シーンと同様の特徴量を有するシーンを、類似シーンとして検出するものである。
【０００４】
抽出される特徴量としては、例えば、動画像を構成する画像（静止画）の空間的な情報、例えば、色空間情報のヒストグラムやエッジのヒストグラムなどを用いたものがある（例えば、特許文献１参照）。
【０００５】
しかし、このような特徴量は、計算負荷が重く、それだけ時間を必要とする。また、データサイズも大きくなる。
【０００６】
また、特徴量として、時間的な情報を用いたものもある。例えば、動画からシーンチェンジ点を検出し、その時間間隔を算出し、それ自体を特徴量としたものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−９７２４６号公報
【特許文献２】特開２００９−４９６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２のように、シーンチェンジ点間隔を特徴量とすると、カット編集などによるシーンの入れ替わりや尺（コンテンツ長さ）が調整されると、うまく検索できないおそれがある。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、多くの類似シーンを検索することができる検索手法を提案するものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する評価部を備える。
【００１１】
本技術の一側面の画像処理方法は、類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定するステップを含む。
【００１２】
本技術の一側面のプログラムは、コンピュータを、類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する評価部として機能させるためのものである。
【００１３】
本技術の一側面においては、類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンとが取得されて、前記検索パターンと前記検索対象パターンとの類似度が算出され、算出された前記類似度に基づいて類似シーンが判定される。
【００１４】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１５】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１６】
本技術の一側面によれば、多くの類似シーンを検索することができる。
【図面の簡単な説明】
【００１７】
【図１】本技術が適用された画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】メタデータ生成部の詳細構成例を示すブロック図である。
【図３】映像コンテンツ１の登場パターンの例を示す図である。
【図４】映像コンテンツ２の登場パターンの例を示す図である。
【図５】映像コンテンツ１と映像コンテンツ２の類似度算出を説明する図である。
【図６】圧縮処理後の映像コンテンツ１の登場パターンの例を示す図である。
【図７】圧縮処理後の映像コンテンツ２の登場パターンの例を示す図である。
【図８】映像コンテンツ１と映像コンテンツ２の類似度算出を説明する図である。
【図９】シーン単位に区切らず圧縮処理した映像コンテンツ１の登場パターンの例を示す図である。
【図１０】シーン単位に区切らず圧縮処理した映像コンテンツ２の登場パターンの例を示す図である。
【図１１】映像コンテンツ１と映像コンテンツ２の類似度算出を説明する図である。
【図１２】ノイズ除去処理の例を示す図である。
【図１３】ノイズ除去処理の例を示す図である。
【図１４】メタデータ生成処理を説明するフローチャートである。
【図１５】メタデータの例を示す図である。
【図１６】類似シーン検索処理を説明するフローチャートである。
【図１７】検索パターン生成処理の詳細を説明するフローチャートである。
【図１８】検索シーン指定画面の例を示す図である。
【図１９】検索したいシーンの指定方法を説明する図である。
【図２０】圧縮処理の詳細を説明するフローチャートである。
【図２１】検索対象パターン生成処理の詳細を説明するフローチャートである。
【図２２】通常の検索方法を説明する概念図である。
【図２３】応用の検索方法を説明する概念図である。
【図２４】第１の混合比較方法を説明する図である。
【図２５】第２の混合比較方法を説明する図である。
【図２６】第３の混合比較方法を説明する図である。
【図２７】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
［画像処理装置の構成例］
図１は、本技術が適用された画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１９】
図１の画像処理装置１は、入力されてきた映像コンテンツ（動画像コンテンツ）を蓄積するとともに、ユーザによって指定された映像コンテンツのシーンに類似する類似シーンを、蓄積されている映像コンテンツのなかから検索する検索処理を実行する装置である。
【００２０】
なお、本実施の形態において、シーンとは、映像コンテンツ中のある時刻からある時刻までの任意の時間帯の部分的な映像コンテンツを表し、後述するシーンチェンジ点により区切られたシーン単位の映像コンテンツのみを意味するものではない。
【００２１】
画像処理装置１は、画像取得部１１、メタデータ生成部１２、記憶部１３、検索処理部１４、表示部１５、および操作部１６により構成される。
【００２２】
画像取得部１１は、他の装置から供給された映像コンテンツのコンテンツデータを取得し、メタデータ生成部１２と記憶部１３に供給する。
【００２３】
メタデータ生成部１２は、画像取得部１１から供給される映像コンテンツ（のコンテンツデータ）のメタデータを生成し、記憶部１３に供給する。
【００２４】
ここで、図２を参照して、メタデータ生成部１２の詳細について説明する。図２は、メタデータ生成部１２の詳細構成を示している。
【００２５】
メタデータ生成部１２は、静止画抽出部４１、シーンチェンジ点検出部４２、特徴量抽出部４３、および統計情報算出部４４により構成される。
【００２６】
静止画抽出部４１は、映像コンテンツを構成する複数の静止画のなかから、例えば、１秒ごとなどの一定の時間間隔で静止画を抽出し、映像コンテンツを要約した複数枚の静止画からなる時系列データを生成する。ここで、抽出された複数枚の静止画の時系列データを、以下では、静止画時系列データという。
【００２７】
シーンチェンジ点検出部４２は、静止画時系列データからシーンチェンジ点を検出する。シーンチェンジ点は、連続する静止画のなかで、場面が変わるポイントであり、ポイントの前後の静止画では輝度値の差異（変化）が大きいので、その輝度値の差異などを検出することによりシーンチェンジ点を検出することができる。例えば、番組の本編からコマーシャルに切り替わるポイントや、夜の場面から昼間の場面に切り替わるポイントが、シーンチェンジ点として検出される。シーンチェンジは、映像コンテンツの内容に依存するため、映像コンテンツ毎に、シーンチェンジが検出される間隔などは異なる。なお、シーンチェンジ点の検出には、既知の任意のシーンチェンジ点検出技術を採用することができる。
【００２８】
シーンチェンジ点検出部４２は、検出されたシーンチェンジ点を示すシーンチェンジ点情報を生成し、記憶部１３に供給して記憶させる。
【００２９】
特徴量抽出部４３は、静止画時系列データにおける人物の登場を示す時系列パターン（以下、登場パターンという。）を、映像コンテンツの特徴量として抽出する。特徴量抽出部４３は、その内部に、画像中の顔画像を認識して人物（個人）を識別する顔画像識別部４３Aを有しており、特徴量抽出部４３では、静止画に登場する人物ごとに、登場パターンが生成される。
【００３０】
例えば、映像コンテンツ１（Content1）の静止画時系列データが５枚の画像からなり、最初の２枚にはAさんが映っておらず、後半の３枚にAさんが映っているような場合、Aさんが映っているときを“1”、映っていないときを“0”で表し、A of Content1＝｛0,0,1,1,1｝のように、Aさんの登場パターンが生成される。
【００３１】
顔画像識別部４３Aには、個人を特定するための顔画像が予め登録されている。
【００３２】
統計情報算出部４４は、特徴量抽出部４３により抽出された登場パターンに基づいて、登場人物統計情報を生成し、記憶部１３に供給する。具体的には、統計情報算出部４４は、映像コンテンツの静止画時系列データにおいて人物が登場する割合である人物登場比率と、登場人物ごとの登場比率（登場頻度）を算出し、登場人物統計情報として、記憶部１３に供給して記憶させる。例えば、ある６０枚の静止画時系列データにおいて、Aさんが１５枚の静止画に登場し、Bさんが５枚の静止画に登場している場合、人物登場比率は、２０／６０＝３３％であり、Aさんの登場比率は１５／２０＝７５％、Bさんの登場比率は５／２０＝１５％となる。
【００３３】
以上のように、メタデータ生成部１２では、シーンチェンジ点情報、登場パターン、及び、登場人物統計情報が、映像コンテンツのメタデータとして生成され、記憶部１３に供給される。
【００３４】
図１に戻り、記憶部１３は、多数の映像コンテンツのコンテンツデータを記憶するコンテンツDB１３Aと、各映像コンテンツのメタデータを記憶するメタデータDB１３Bとを有する。すなわち、画像取得部１１から供給された映像コンテンツのコンテンツデータがコンテンツDB１３Aに記憶され、そのコンテンツデータに対応するメタデータが、メタデータ生成部１２から供給され、メタデータDB１３Bに記憶される。なお、本実施の形態では、コンテンツDB１３AとメタデータDB１３Bが分けられているが、必ずしも分けられている必要はなく、コンテンツデータとメタデータが対応付けられて記憶されていればよい。
【００３５】
検索処理部１４は、検索パターン生成部２１、検索対象パターン生成部２２、評価部２３、および表示制御部２４を有する。
【００３６】
検索パターン生成部２１は、ユーザが操作部１６で指定した検索したい映像コンテンツのシーンに対応する登場パターンを検索パターンとして生成し、評価部２３に供給する。
【００３７】
例えば、ユーザが検索したい映像コンテンツのシーンが、上述した映像コンテンツ１の５枚の静止画からなる部分であるとすると、検索パターン生成部２１は、検索パターンとして、A of Content1＝｛0,0,1,1,1｝を生成する。
【００３８】
検索対象パターン生成部２２は、ユーザが検索したいシーンに類似する映像コンテンツの類似シーンを検索するために、検索対象の映像コンテンツの登場パターンを、検索対象パターンとして生成し、評価部２３に供給する。
【００３９】
例えば、上述した映像コンテンツ１と同様の要領で、Aさんが登場する映像コンテンツ２の登場パターンである、A of Content2＝｛0,1,0,1,0｝と、Aさんが登場する映像コンテンツ３の登場パターンである、A of Content3＝｛0,0,1,1,1｝が、検索対象パターンとして生成される。
【００４０】
なお、検索対象は、ユーザが検索したいシーンを指定した映像コンテンツと異なる映像コンテンツに限らず、同一の映像コンテンツの場合もあり、映像コンテンツの日時などによって検索範囲をユーザに絞り込ませてもよい。また、検索パターンと検索対象パターンは、検索パターン生成部２１と検索対象パターン生成部２２の機能を有する一つのパターン生成部が生成するのでもよい。
【００４１】
評価部２３は、検索対象パターン生成部２２で生成された複数の検索対象パターンのそれぞれについて、検索パターン生成部２１で生成された検索パターンとの類似度を算出する。そして、評価部２３は、算出された類似度に基づいて、その映像コンテンツのシーンが類似シーンであるか否かを判定する。具体的には、評価部２３は、算出された類似度が予め定めた所定の閾値以上である場合、その検索対象パターンに対応する映像コンテンツのシーンを、類似シーンと判定する。
【００４２】
例えば、上述した５枚の静止画時系列データで構成される映像コンテンツ１と映像コンテンツ２の類似度は、以下のように算出することができる。
Comp(Content1,Comtent2)＝｛｛0,0,1,1,1｝，｛0,1,0,1,0｝｝
＝｛○,×,×,○,×｝＝  (2/5)×100＝40%
【００４３】
また、上述した映像コンテンツ１と映像コンテンツ３の類似度は、以下のように算出することができる。
Comp(Content1,Comtent3)＝｛｛0,0,1,1,1｝，｛0,0,1,1,1｝｝
＝｛○,○,○,○,○｝＝  (5/5)×100＝100%
【００４４】
すなわち、登場パターンの類似度を算出する関数Comp(X,Y)は、対応する時刻（タイミング）で登場の有無が一致している場合には丸（○）、一致していない場合にはバツ（×）として、丸の比率を類似度として算出する。
【００４５】
以上のように類似度が算出され、例えば、閾値が８０％に設定されているとすると、評価部２３は、上述の映像コンテンツ１と映像コンテンツ２は類似しないが、映像コンテンツ１と映像コンテンツ３は類似すると判定する。
【００４６】
表示制御部２４は、評価部２３で類似すると判定された類似コンテンツまたは類似シーンを表示部１５に表示させる制御を行う。また、表示制御部２４は、類似コンテンツまたは類似シーンの検索指示の入力画面なども表示部１５に表示させる。
【００４７】
表示部１５は、表示制御部２４の制御にしたがい、検索指示の入力画面や、検索結果表示画面を表示する。表示部１５は、類似度の最も大きい映像コンテンツ（類似シーン）を表示してもよいし、閾値以上の類似度を有する映像コンテンツ（類似シーン）が複数検出された場合には、検出された複数の映像コンテンツ（類似シーン）を、類似度の大きい順にリスト表示してもよい。
【００４８】
操作部１６は、ユーザの操作を受け付け、受け付けられた操作に対応する制御情報を検索処理部１４等に供給する。例えば、操作部１６は、ユーザが検索したい映像コンテンツのシーンを指定する操作を受け付け、指定された映像コンテンツのシーンを示す情報を、検索パターン生成部２１に供給する。
【００４９】
以上のように画像処理装置１が構成される。
【００５０】
なお、上述した画像処理装置１の機能は、携帯端末とサーバ装置（クラウドサーバ）などの２以上の装置で分担されて実現されるものでもよい。画像処理装置１の機能が２以上の装置で分担されて実現される場合の各装置の機能分担は任意に決定することができる。
【００５１】
以下、図面を参照して、類似度判定の詳細について説明する。
【００５２】
［基本の検索方法］
図３は、ある映像コンテンツ１の登場パターンの例を示している。
【００５３】
映像コンテンツ１の静止画時系列データは、図３に示されるように、シーン１，２，３の３つのシーン単位で構成される。より具体的には、７枚の静止画で構成される映像コンテンツ１の静止画時系列データのうち、最初の３枚がシーン１に属し、次の３枚がシーン２に属し、最後の（７枚目の）静止画のみがシーン３に属する。
【００５４】
そして、映像コンテンツ１の静止画時系列データには、Aさん、Bさん、Cさんの３人の人物が登場する。より具体的には、最初の２枚の静止画にはAさんが登場し、３枚目の静止画にはBさんが登場し、４枚目の静止画にはCさんが登場し、５乃至７枚目の静止画には、AさんとBさんの２人が登場する。
【００５５】
このような映像コンテンツ１の静止画時系列データに対し、メタデータ生成部１２の特徴量抽出部４３は、図３に示されるような、Aさんの登場パターンA0 of Content1 =｛1,1,0,0,1,1,1｝、Bさんの登場パターンB0 of Content1 =｛0,0,1,0,1,1,1｝、Cさんの登場パターンC0 of Content1 =｛0,0,0,1,0,0,0｝を生成する。
【００５６】
図４は、ある映像コンテンツ２の登場パターンの例を示している。
【００５７】
映像コンテンツ２の静止画時系列データは、シーン１０，１１，１２の３つのシーン単位で構成される。より具体的には、７枚の静止画で構成される映像コンテンツ２の静止画時系列データのうち、最初の２枚の静止画がシーン１０に属し、次の４枚がシーン１１に属し、最後の７枚目の静止画がシーン１２に属する。
【００５８】
そして、映像コンテンツ２の静止画時系列データには、Aさん、Bさん、Cさんの３人の人物が登場する。より具体的には、最初の静止画にはAさんが登場し、次の２枚の静止画にはBさんが登場し、さらに次の２枚の静止画にはCさんが登場し、最後の２枚の静止画には、AさんとBさんの２人が登場する。
【００５９】
このような映像コンテンツ２の静止画時系列データに対し、メタデータ生成部１２の特徴量抽出部４３は、図４に示されるような、Aさんの登場パターンA0 of Content2=｛1,0,0,0,0,1,1｝、Bさんの登場パターンB0 of Content2=｛0,1,1,0,0,1,1｝、Cさんの登場パターンC0 of Content2=｛0,0,0,1,1,0,0｝を生成する。
【００６０】
以上のような映像コンテンツ１と映像コンテンツ２において、映像コンテンツ２のシーン１０と類似のシーンを検索する場合の登場パターンの比較方法について説明する。
【００６１】
図４に示される登場パターンで明らかなように、映像コンテンツ２のシーン１０では、AさんとBさんが登場する。そこで、検索処理部１４は、AさんとBさんの２人の登場パターンを使って、類似のシーンを検索する。この場合、AさんまたはBさんだけの１人の登場パターンのみを使って、類似のシーンを検索するよりも、適合率（最適率）を上げることができる。
【００６２】
図５は、映像コンテンツ１のAさんとBさんの登場パターンと、映像コンテンツ２のAさんとBさんの登場パターンをまとめて示したものである。
【００６３】
映像コンテンツ２のシーン１０は、図５の区間ｆに相当する。映像コンテンツ２のシーン１０の類似シーンを、映像コンテンツ１のなかから、シーン単位間をまたがない範囲で検出しようとする場合、図５に示される区間ａ乃至ｅが、類似シーンの候補として挙げられる。また、映像コンテンツ１のシーン３の区間ｅは、１枚の静止画のみで構成されるので、検索処理部１４は、シーン１０の区間ｆを、データ数を区間ｅに合わせるように区間ｇと区間ｈに分解し、区間eと比較する。
【００６４】
検索パターン生成部２１は、映像コンテンツ２のシーン１０に相当する区間ｆ、区間ｇ、区間ｈの検索パターンを以下のように生成して、評価部２３に出力する。
ｆ＝{｛A0｝，｛B0｝｝＝{{1,0｝，｛0,1｝｝
ｇ＝{｛A0｝，｛B0｝｝＝{{1｝，｛0｝｝
ｅ＝{｛A0｝，｛B0｝｝＝{{0｝，｛1｝｝
【００６５】
このように、検索区間に複数の登場人物が存在する場合には、各登場人物の登場パターンを所定の順番で羅列したパターンが、検索パターンとなる。ｎ人の登場人物が存在する検索区間の登場パターンは、ｎ行の登場パターンの行列として考えることができる。
【００６６】
同様に、検索対象パターン生成部２２は、映像コンテンツ１の区間ａ乃至ｅの検索対象パターンを、以下のように生成して、評価部２３に出力する。
ａ＝{｛A0｝，｛B0｝｝＝{{1,1｝，｛0,0｝｝
ｂ＝{｛A0｝，｛B0｝｝＝{{1,0｝，｛0,1｝｝
ｃ＝{｛A0｝，｛B0｝｝＝{{0,1｝，｛0,1｝｝
ｄ＝{｛A0｝，｛B0｝｝＝{{1,1｝，｛1,1｝｝
ｅ＝{｛A0｝，｛B0｝｝＝{{1｝，｛1｝｝
【００６７】
評価部２３は、検索対象パターン生成部２２で生成された複数の検索対象パターンのそれぞれについて、検索パターン生成部２１で生成された検索パターンとの類似度を算出する。
【００６８】
区間ｆと区間ａとの類似度は、登場パターンの対応する要素どうしが一致する場合には丸（○）、一致しない場合にはバツ（×）として、以下のように算出される。
Comp(f,a)＝｛{{1,0｝，｛0,1｝｝，{{1,1｝，｛0,0｝｝｝
＝｛○,×,,○,×｝＝  (2/4)×100＝50%
【００６９】
区間ｆと、その他の区間ｂ乃至ｅとの類似度も同様に算出される。
Comp(f,b)＝100%
Comp(f,c)＝50%
Comp(f,d)＝50%
Comp(g,e)＝50%
Comp(h,e)＝50%
【００７０】
以上の結果より、評価部２３は、シーン１０（区間ｆ）と類似する類似シーンとして、区間ｂを含む映像コンテンツ１のシーン１を決定することができる。
【００７１】
［基本検索方法の変形例］
次に、上述した基本の検索方法に、所定の処理を追加した変形例について説明する。
【００７２】
登場パターンのデータ数（要素数）が多いと再現率が低下する恐れがあるので、ある程度の柔軟性を持たせる必要がある。そこで、検索処理部１４は、登場パターンを圧縮処理することにより、登場パターンのデータ数を減らしてから類似度を算出する。これにより、登場パターンの余計なノイズや多少の差異を吸収し、再現率を向上させることができる。
【００７３】
図６は、図３に示した映像コンテンツ１の登場パターンA0およびB0に対して、シーン単位に区切って圧縮処理を施した登場パターンA1およびB1を示している。
【００７４】
圧縮処理では、登場パターンにおいて同一の値が続いている場合、２番目以降の値が削除される。ただし、シーン単位に区切って圧縮処理するので、同じ値が続いている場合でも、シーン単位が変わったときの値は削除されない。
【００７５】
従って、映像コンテンツ１の登場パターンA0およびB0を圧縮処理した登場パターンA1およびB1は、以下のようになる。
A1 of Content1 =｛1,0,0,1,1｝
B1 of Content1 =｛0,1,0,1,1｝
【００７６】
図７は、図４に示した映像コンテンツ２の登場パターンA0およびB0に対して、シーン単位に区切って圧縮処理を施した登場パターンA1およびB1を示している。
【００７７】
映像コンテンツ２の登場パターンA0およびB0を圧縮処理した登場パターンA1およびB1は、以下のようになる。
A1 of Content2 =｛1,0,0,1,1｝
B1 of Content2 =｛0,1,1,0,1,1｝
【００７８】
圧縮処理を施した映像コンテンツ１の登場パターンA1およびB1と、圧縮処理を施した映像コンテンツ２の登場パターンA1およびB1を用いて、基本の検索方法と同様に、映像コンテンツ２のシーン１０の類似シーンを検索する場合について説明する。
【００７９】
図８は、図６の映像コンテンツ１の登場パターンA1およびB1と、図７の映像コンテンツ２の登場パターンA1およびB1をまとめて示したものである。
【００８０】
映像コンテンツ２のシーン１０の圧縮処理後の登場パターンは、圧縮処理しない場合と変更がない。したがって、区間ｆ、区間ｇ、区間ｈの検索パターンは、上述した基本検索方法における場合と同様である。
【００８１】
圧縮処理後の映像コンテンツ１の登場パターンにおいて、シーン単位間をまたがない範囲で検出しようとする場合、図８に示されるように、区間ｊ、区間ｋ、および区間ｅが、類似シーンの候補として挙げられる。区間ｊ、区間ｋ、および区間ｅの検索対象パターンは次のようになる。
ｊ＝{｛A1｝，｛B1｝｝＝{{1,0｝，｛0,1｝｝
ｋ＝{｛A1｝，｛B1｝｝＝{{0,1｝，｛0,1｝｝
ｅ＝{｛A1｝，｛B1｝｝＝{{1｝，｛1｝｝
【００８２】
したがって、圧縮処理後の登場パターンを用いた複数の検索対象パターンのそれぞれと、検索パターンとの類似度は、以下の通りとなる。
Comp(f,j)＝100%
Comp(f,k)＝50%
Comp(g,e)＝50%
Comp(h,e)＝50%
【００８３】
以上の結果より、評価部２３は、シーン１０（区間ｆ）の類似シーンとして、区間jを含む映像コンテンツ１のシーン１を決定することができる。
【００８４】
次に、映像コンテンツ２のシーン１０乃至１２の３シーン全体に類似するシーンを、映像コンテンツ１から検索する場合について説明する。
【００８５】
図９は、図３に示した映像コンテンツ１の登場パターンA0およびB0に対して、シーン単位に区切らず圧縮処理した登場パターンA2およびB2を示している。映像コンテンツ１の登場パターンA2およびB2は、以下のようになる。
A2 of Content1 =｛1,0,1｝
B2 of Content1 =｛0,1,0,1｝
【００８６】
ここで、圧縮処理後の映像コンテンツ１の登場パターンA2と登場パターンB2は、データ数が異なるため、検索対象パターン生成部２２は、データ数の少ない登場パターンA2の要素数を、データ数の多い登場パターンB2の要素数に合わせた登場パターンA2’を生成する。具体的には、検索パターン生成部２１は、図９において破線で示されるように、登場パターンB2に対して欠けている登場パターンA2の要素の箇所に、圧縮処理前の値（“0”）を挿入することで、登場パターンA2’を生成する。
A2’ of Content1 =｛1,0,0,1｝
【００８７】
図１０は、図４に示した映像コンテンツ２の登場パターンA0およびB0に対して、シーン単位に区切らず圧縮処理した登場パターンA2およびB2を示している。映像コンテンツ２の登場パターンA2およびB2は、以下のようになる。
A2 of Content2 =｛1,0,1｝
B2 of Content2 =｛0,1,0,1｝
【００８８】
映像コンテンツ２の登場パターンA2も、登場パターンB2よりもデータ数が少ないので、検索パターン生成部２１は、同様に、登場パターンB2にデータ数を合わせた登場パターンA2’を生成する。
A2’ of Content2 =｛1,0,0,1｝
【００８９】
図１１は、データ数調整後の映像コンテンツ１の登場パターンA2’およびB2と、データ数調整後の映像コンテンツ２の登場パターンA2’およびB2をまとめて示したものである。
【００９０】
検索パターンとしての、映像コンテンツ２のシーン１０乃至１２の３シーン全体の登場パターンは、次のようになる。
A2’and B2 of Content2 ={｛1,0,0,1｝,｛0,1,0,1｝}
【００９１】
検索対象パターンとしての、映像コンテンツ１のシーン１乃至３の３シーン全体の登場パターンは、次のようになる。
A2’and B2 of Content1 ={｛1,0,0,1｝,｛0,1,0,1｝}
【００９２】
したがって、
Comp(A2’and B2 of Content1,A2’and B2 of Content2)＝100%
となり、評価部２３は、映像コンテンツ２のシーン１０乃至１２の３シーン全体に類似のシーンとして、映像コンテンツ１のシーン１乃至３の３シーン全体を決定することができる。
【００９３】
以上のように、画像処理装置１は、映像コンテンツの時間的な情報である登場人物の登場パターンを特徴量として利用して、類似のシーンまたは映像コンテンツを検索する。画像処理装置１によれば、特徴量として画像の色空間情報を用いる従来の類似シーン検出と比較して、特徴量のデータサイズの縮小と計算負荷の低減を実現できる。
【００９４】
また、登場パターンを生成する元となる静止画時系列データの静止画の抽出間隔は、任意に設定することができるので、映像コンテンツの特徴量を任意の粒度でまとめることができ、データアクセスの効率化に寄与する。
【００９５】
［ノイズ除去処理］
映像コンテンツのシーンが目まぐるしく変化すれば、登場パターンも細かく変化する。そのような微細な変化は、シーンが異なる（類似シーンではない）と判断される要素となり得るため、時として類似シーン検索にとってはノイズとなる。そこで、ノイズ除去処理を付加することにより、検索精度を向上させることができる。
【００９６】
図１２は、画像処理装置１が行うノイズ除去処理の例を示している。図１２上側は、ノイズ除去処理前の映像コンテンツの静止画時系列データとその登場パターンを示し、図１２下側は、ノイズ除去処理後の映像コンテンツの静止画時系列データとその登場パターンを示している。
【００９７】
例えば、ノイズ除去処理前の映像コンテンツのシーン１は、「前半はAさんから始まり、２秒後と８秒後にAさんが一瞬消える。後半で登場人物がAさんからBさんに交代し、Bさん登場から１秒後にBさんが一瞬消える」ことを表している。
【００９８】
ノイズ除去処理後の映像コンテンツのシーン１は、「前半にAさんが登場し、後半にBさんが登場する」ことを表し、シーン１が要約されている。このように、映像コンテンツの登場パターンの微細な変化を省略し、おおまかに表現して映像コンテンツを要約することにより、より多くの類似シーンを検出することができるようになる。
【００９９】
図１３は、ノイズ除去処理の具体的処理方法を示している。
【０１００】
ノイズ除去処理には、平滑化フィルタを用いることができる。図１３では、ある映像コンテンツのシーン１の登場パターンA0に対して、フィルタタップ数を「３」とした場合のノイズ除去処理例が示されている。
【０１０１】
登場パターンA0に対して、フィルタタップ数「３」の平滑化フィルタ処理を行い、フィルタ処理後のデータを四捨五入することで、ノイズ除去処理後の登場パターンA3が得られる。
【０１０２】
［メタデータ生成処理の処理フロー］
次に、図１４のフローチャートを参照して、画像処理装置１に映像コンテンツが入力された場合に実行される、映像コンテンツのメタデータを生成するメタデータ生成処理について説明する。
【０１０３】
初めに、ステップＳ１において、画像取得部１１は、映像コンテンツのコンテンツデータを取得し、取得した映像コンテンツのコンテンツデータを、記憶部１３のコンテンツDB１３Aに記憶させるとともに、メタデータ生成部１２にも供給する。
【０１０４】
ステップＳ２において、メタデータ生成部１２の静止画抽出部４１は、映像コンテンツのコンテンツデータから、一定の時間間隔で静止画を抽出し、映像コンテンツを要約した複数枚の静止画で構成される静止画時系列データを生成する。
【０１０５】
ステップＳ３において、シーンチェンジ点検出部４２は、静止画時系列データに対してシーンチェンジ点を検出して、シーンチェンジ点情報を生成し、記憶部１３のメタデータDB１３Bに供給して記憶させる。
【０１０６】
ステップＳ４において、特徴量抽出部４３は、映像コンテンツの特徴量を抽出する。具体的には、特徴量抽出部４３は、静止画時系列データにおける人物の登場を示す時系列データである登場パターンを登場人物ごとに生成し、記憶部１３のメタデータDB１３Bに供給して記憶させる。
【０１０７】
なお、ステップＳ４における登場パターンの生成においては、上述した登場パターンの圧縮処理やノイズ除去処理を、必要に応じて行うことができる。例えば、表示部１５に表示した設定画面において、圧縮処理を行うか、ノイズ除去処理を行うか、シーン単位で処理を行うか、ノイズ除去処理のフィルタタップ数、などを指定できるようにして、指定された条件に基づいて、圧縮処理やノイズ除去処理を行うようにすることができる。
【０１０８】
あるいは、圧縮率が高いとノイズが少なく、圧縮率が低いとノイズが多いと考えられるため、圧縮率が高い場合にはフィルタタップ数を減らして、圧縮率が低い場合にはフィルタタップ数を増やすなどのように特徴量抽出部４３が自動で制御するようにしてもよい。
【０１０９】
なお、圧縮処理やノイズ除去処理を行った場合であっても、処理前の登場パターンをメタデータDB１３Bに保存しておくことが望ましい。これにより、類似シーン検索時などに、圧縮処理やノイズ除去処理を必要に応じて行うようにさせることができる。
【０１１０】
ステップＳ５において、統計情報算出部４４は、特徴量抽出部４３により抽出された登場パターンに基づいて、登場人物統計情報、すなわち、人物登場比率と各登場人物の登場比率を算出する。そして、統計情報算出部４４は、算出した登場人物統計情報を、記憶部１３のメタデータDB１３Bに供給して記憶させる。
【０１１１】
以上により、メタデータ生成処理が終了する。
【０１１２】
図１５は、図３に示した映像コンテンツ１に対して、メタデータ生成処理により生成されるメタデータを示した図である。
【０１１３】
図１５に示される映像コンテンツ１の例では、７枚の静止画時系列データのうちの７枚全てに人物が登場しているので、人物登場比率は、７／７＝１００％となる。
【０１１４】
各登場人物の登場比率については、人物が登場する７枚の静止画のうち、５枚にAさんが登場しているので、Aさんの登場比率は、５／７＝７１％となる。また、Bさんは４枚の静止画に登場しているので、Bさんの登場比率は、４／７＝５７％となる。Cさんは１枚の静止画に登場しているので、Cさんの登場比率は、１／７＝１４％となる。
【０１１５】
［類似シーン検索処理の処理フロー］
次に、図１６のフローチャートを参照して、コンテンツDB１３Aに記憶されている映像コンテンツの所定のシーンに類似する他の映像コンテンツの類似シーンを検索する類似シーン検索処理を説明する。
【０１１６】
初めに、ステップＳ２１において、検索処理部１４は、ユーザによって指定された検索したいシーンの登場パターンを生成する検索パターン生成処理を実行する。検索パターン生成処理の詳細は、図１７を参照して後述する。
【０１１７】
ステップＳ２２において、検索処理部１４は、検索対象となる映像コンテンツの登場パターンである検索対象パターンを生成する検索対象パターン生成処理を実行する。検索対象パターン生成処理の詳細は、図２１を参照して後述する。
【０１１８】
ステップＳ２３において、検索処理部１４の評価部２３は、検索パターンと検索対象パターンの類似度を算出し、予め設定した閾値に基づいて、類似シーンを決定する。検索対象パターンは複数生成されるので、評価部２３は、複数の検索対象パターンそれぞれについて、検索パターンとの類似度を算出する。
【０１１９】
ステップＳ２４において、表示制御部２４は、評価部２３で決定された類似シーンを表示部１５に表示させる。
【０１２０】
［検索パターン生成処理の処理フロー］
図１７は、図１６のステップＳ２１として実行される検索パターン生成処理の詳細を示すフローチャートである。
【０１２１】
ステップＳ４１において、表示制御部２４は、検索したいシーンをユーザに指定させるための検索シーン指定画面を表示部１５に表示させる。
【０１２２】
図１８は、表示部１５に表示される検索シーン指定画面の例を示している。
【０１２３】
検索シーン指定画面では、メタデータDB１３Bに記憶されている各映像コンテンツのメタデータに基づいて、コンテンツDB１３Aに記憶されている映像コンテンツごとに、メタデータの各項目が表示される。具体的には、コンテンツ名６１、人物登場比率６２、各登場人物の登場比率６３、シーンチェンジ点情報に基づくシーン構成情報６４、および各登場人物の登場パターン６５が、映像コンテンツごとに表示される。図１８の各項目の符号の右下には、映像コンテンツに対応する添え字が付されている。
【０１２４】
表示部１５に表示された検索シーン指定画面を見たユーザは、操作部１６を操作して、検索したいシーンが含まれる映像コンテンツを選択する。
【０１２５】
ステップＳ４２において、検索パターン生成部２１は、操作部１６を介して、ユーザによって指定された、検索したいシーンが含まれる映像コンテンツを特定する。
【０１２６】
次に、ユーザは、操作部１６を操作して、選択した映像コンテンツのなかの検索したいシーンを指定する。検索したいシーンは、図１９Aに示されるように、シーン単位で指定することもできるし、図１９Bに示されるように、開始点と終了点を指定することでシーン単位に関係なく指定することもできる。
【０１２７】
そして、ステップＳ４３において、検索パターン生成部２１は、検索したいシーンがシーン単位で指定されたか否かを判定する。
【０１２８】
ステップＳ４３で、シーン単位で指定されたと判定された場合、処理はステップＳ４４に進み、検索パターン生成部２１は、ユーザによって指定されたシーン（シーン単位の区間）を特定する。
【０１２９】
一方、ステップＳ４３で、シーン単位で指定されていないと判定された場合、処理はステップＳ４５に進み、検索パターン生成部２１は、ユーザによって指定された開始点と終了点とで決定される区間（シーン）を特定する。
【０１３０】
そして、ステップＳ４６において、検索パターン生成部２１は、指定された映像コンテンツの指定されたシーン（区間）に含まれる登場人物の登場パターンのうち、検索パターンを生成する人物を特定する。
【０１３１】
例えば、図１９Aに示されるように、検索したいシーンとしてシーン２が指定されたとすると、シーン２には、CさんとDさんの二人の登場人物が存在する。この場合、CさんまたはDさんのみの登場パターンを検索パターンとすることもできるし、CさんとDさんの二人の登場パターンを検索パターンとすることもできるので、検索パターン生成部２１は、ユーザに人物を選択させる。ただし、上述したように、一人よりも二人の登場パターンを使った方が、類似シーンの適合率を上げることができる。
【０１３２】
一方、図１９Bに示されるように、検索したいシーンとして一人の人物（Cさん）だけが登場するシーンが指定された場合には、検索パターン生成部２１は、その人物を、検索パターンを生成する人物として特定する。
【０１３３】
ステップＳ４７において、検索パターン生成部２１は、ステップＳ４２乃至Ｓ４６で特定された検索したいシーンの人物の登場パターンを、メタデータDB１３Bから取得し、圧縮処理を行う。圧縮処理後の登場パターンは、検索パターンとして評価部２３に供給され、検索パターン生成処理が終了する。そして、処理が図１６に戻される。
【０１３４】
なお、ステップＳ４６とステップＳ４７の処理の間で、上述したノイズ除去処理を実行してもよい。
【０１３５】
［圧縮処理の処理フロー］
次に、図２０のフローチャートを参照して、図１７のステップＳ４７における圧縮処理の詳細について説明する。
【０１３６】
初めに、ステップＳ６１において、検索パターン生成部２１は、ユーザによって指定された検索したいシーンの登場パターンの１番目の要素値（０または１）を圧縮後の登場パターンの要素として記録する。登場人物が複数存在する場合には、そのうちの一人の登場人物に対して実行される。
【０１３７】
そして、ステップＳ６２において、検索パターン生成部２１は、次の要素値に注目し、ステップＳ６３において、注目した次の要素値が、その前の要素値と同じ値であるかを判定する。
【０１３８】
ステップＳ６３で、次の要素値が、その前の要素値と同じ値ではないと判定された場合、すなわち、次の要素値が「０」のときはその前の要素値が「１」、または、次の要素値が「１」のときはその前の要素値が「０」である場合、処理はステップＳ６４に進み、検索パターン生成部２１は、次の要素値を、圧縮後の登場パターンの要素として記録する。
【０１３９】
一方、ステップＳ６３で、次の要素値が、その前の要素値と同じであると判定された場合、処理はステップＳ６５に進み、検索パターン生成部２１は、シーン単位の探索であるか、すなわち、検索したいシーンがシーン単位で指定されているかを判定する。
【０１４０】
ステップＳ６５で、シーン単位の探索であると判定された場合、処理はステップＳ６６に進み、検索パターン生成部２１は、次の要素値とその前の要素値との区切りがシーンチェンジ点であるかを判定する。
【０１４１】
ステップＳ６６で、次の要素値とその前の要素値との区切りがシーンチェンジ点であると判定された場合、処理は上述したステップＳ６４に進む。したがって、シーン単位の探索である場合には、シーンの変わり目の要素値は、同じ要素値が連続するときでも記録される。
【０１４２】
一方、ステップＳ６６で、次の要素値とその前の要素値との区切りがシーンチェンジ点ではないと判定された場合、処理はステップＳ６７に進む。また、ステップＳ６５で、シーン単位の探索ではないと判定された場合も、処理はステップＳ６７に進む。
【０１４３】
そして、ステップＳ６７において、検索パターン生成部２１は、次の要素値を、圧縮後の登場パターンの要素から削除する。
【０１４４】
続いて、ステップＳ６８において、検索パターン生成部２１は、いま注目していた要素値が登場パターンの最後の要素値であるかを判定する。
【０１４５】
ステップＳ６８で、いま注目していた要素値が登場パターンの最後の要素値ではないと判定された場合、処理はステップＳ６２に戻る。その結果、次の要素値が注目され、上述した同様の処理が再度実行される。
【０１４６】
一方、ステップＳ６８で、いま注目していた要素値が登場パターンの最後の要素値であると判定された場合、処理はステップＳ６９に進み、検索パターン生成部２１は、ユーザによって指定された登場人物のなかで、まだ圧縮処理していないその他の登場人物がいるかを判定する。
【０１４７】
ステップＳ６９で、まだ圧縮処理していないその他の登場人物がいると判定された場合、処理はステップＳ７０に進み、検索パターン生成部２１は、次の登場人物に注目して、処理をステップＳ６１に戻す。これにより、次の登場人物の登場パターンに対して、上述したステップＳ６１乃至Ｓ６９の処理が実行される。
【０１４８】
一方、ステップＳ６９で、圧縮処理していないその他の登場人物がいないと判定された場合、処理はステップＳ７１に進み、検索パターン生成部２１は、圧縮後の要素数が各登場人物で一致しているかを判定する。
【０１４９】
ステップＳ７１で、圧縮後の要素数が各登場人物で一致していると判定された場合、処理は図１７に戻る。なお、登場人物が一人の場合も一致していると判定される。
【０１５０】
一方、ステップＳ７１で、圧縮後の要素数が各登場人物で一致していないと判定された場合、処理はステップＳ７２に進み、検索パターン生成部２１は、図９および図１０を参照して説明したように、要素数を多い方に合わせる処理を実行し、処理を図１７に戻す。
【０１５１】
以上の検索パターン生成処理により、ユーザによって指定された検索したいシーンの登場パターンである検索パターンが生成される。
【０１５２】
［検索対象パターン生成処理の処理フロー］
次に、図２１のフローチャートを参照して、図１６のステップＳ２２における検索対象パターン生成処理の詳細について説明する。
【０１５３】
初めに、ステップＳ８１において、検索対象パターン生成部２２は、検索パターン生成処理で生成された検索パターンと同じ登場人物が出現する映像コンテンツを、メタデータDB１３Bの登場人物統計情報に基づいて検索し、検出された一つの映像コンテンツを選択する。この処理は、検索パターンがAさんとBさんの登場パターンで構成されるとき、AさんとBさん以外の人物が登場する映像コンテンツを、検索対象から除外するものである。これにより、同じ登場人物が出現する映像コンテンツに探索範囲を絞り込むことができ、検索を効率的に行うことができる。
【０１５４】
ステップＳ８２において、検索対象パターン生成部２２は、ステップＳ８１で選択された映像コンテンツの登場パターンをメタデータDB１３Bから取得する。
【０１５５】
ステップＳ８３において、検索対象パターン生成部２２は、取得した映像コンテンツの登場パターンの圧縮処理を行う。この圧縮処理は、図２０を参照して説明した処理と同様である。
【０１５６】
ステップＳ８４において、検索対象パターン生成部２２は、検索パターンと同じ登場人物が出現する映像コンテンツがまだあるか否かを、メタデータDB１３Bの登場人物統計情報に基づいて判定し、まだあると判定した場合、処理をステップＳ８１に戻す。これにより、ステップＳ８１以降において、検索パターンと同じ登場人物が出現する次の映像コンテンツが選択され、選択された映像コンテンツに対する検索対象パターンが生成される。
【０１５７】
一方、ステップＳ８４で、検索パターンと同じ登場人物が出現する映像コンテンツがないと判定された場合、検索対象パターン生成処理が終了し、処理が図１６に戻される。
【０１５８】
図２１の検索対象パターン生成処理は、ユーザが検索したいシーンを指定した映像コンテンツと異なる全ての映像コンテンツのコンテンツ全体を探索範囲とする場合の処理例であるが、映像コンテンツの一部分を探索範囲として指定することも可能である。その場合、図１７のステップＳ４３乃至Ｓ４５のような、探索範囲の指定を受け付ける処理がステップＳ８２とステップＳ８３の間に追加される。
【０１５９】
また、ステップＳ８２とステップＳ８３の間で、上述したノイズ除去処理を行ってもよい。
【０１６０】
上述した例では、ステップＳ８１の処理により、同じ登場人物が出現する映像コンテンツに探索範囲を絞り込むことで、類似シーンの探索を効率的に行うようにした。
【０１６１】
しかしながら、ステップＳ８１の処理を省略する方法もある。この場合、他の登場人物の登場パターンが類似するシーンを、類似シーンとして検出することができる。また、顔画像認識により同一人物を異なる人物と認識している場合にも、登場パターンが類似していれば、類似シーンとして検出することができる。
【０１６２】
［検索方法の応用例］
次に、検索方法の応用例について説明する。
【０１６３】
上述した例では、画像処理装置１は、図２２に示すように、一つの映像コンテンツ（例えば、映像コンテンツ１）に含まれる１以上の登場人物の登場パターンでなる検索パターンを生成し、他の映像コンテンツの検索対象パターンと類似度を比較した。
【０１６４】
画像処理装置１は、このような検索方法の他、異なるコンテンツおよびシーンの登場人物の登場パターンを混合させた混合検索パターンを生成し、他の映像コンテンツの検索対象パターンとの類似度を比較することができる。例えば、図２３に示すように、映像コンテンツ１のシーン１１のAさんの検索パターンと、映像コンテンツ２のシーン１のBさんの検索パターンを混合したAさんとBさんの混合検索パターンを生成し、他の映像コンテンツの検索対象パターンとの類似度を比較することができる。
【０１６５】
このような検索方法によれば、単一の映像コンテンツのみでは生まれない新たな登場パターンを生成することができるので、未知のシーンを探し出すことができる。また、顔画像識別部４３Aによる登場人物の識別において、映像コンテンツの画質や登録顔画像の画質、顔向きなどの影響により、実際には同一の人物が、異なる人物として認識された場合に、類似のシーンとして検出できる場合がある。
【０１６６】
なお、図２３に示した概念図は、検索パターンのみを混合させて、検索対象パターンについては、上述の例と同様に、映像コンテンツ単位で生成するものである。しかし、検索対象パターンについても、複数映像コンテンツの登場パターンを混合した混合検索対象パターンを生成し、混合検索パターンと比較することができる。
【０１６７】
そこで、次に、複数の映像コンテンツの登場パターンを混合して生成した混合検索パターンと、検索対象の複数の映像コンテンツの登場パターンを混合して生成した混合検索対象パターンとの類似度を比較する方法について説明する。
【０１６８】
［第１の混合比較方法］
図２４は、第１の混合比較方法を示している。
【０１６９】
第１の混合比較方法は、混合検索パターンおよび混合検索対象パターンを、複数の映像コンテンツそれぞれから取り出した登場パターンの論理積（AND演算）により生成し、比較する方法である。
【０１７０】
映像コンテンツ１のあるシーンのAさんの登場パターンA(1)と、映像コンテンツ２のあるシーンのBさんの登場パターンB(2)を混合させることにより、混合検索パターンAB(1,2)が生成されている。
【０１７１】
登場パターンA(1)は、A1(0),A1(1)，・・・，A1(t-1)であり、登場パターンB(2)は、B2(0),B2(1),・・・，B2(t-1)である。そして、混合検索パターンAB(1,2)は、登場パターンA(1)と登場パターンB(2)の対応する時刻どうしの論理積をとることにより、AB(1,2)＝s(0),s(1),・・・，s(t-1)とされる。すなわち、s(0)＝A1(0) AND B2(0),s(1)＝A1(1) AND B2(1),・・・，s(t-1)＝A1(t-1) AND B2(t-1)である。
【０１７２】
また、映像コンテンツ８のあるシーンのAさんの登場パターンA(8)と、映像コンテンツ９のあるシーンのBさんの登場パターンB(9)を混合させることにより、混合検索対象パターンAB(8,9)が生成されている。
【０１７３】
登場パターンA(8)は、A8(0),A8(1)，・・・，A8(t-1)であり、登場パターンB(9)は、B9(0),B9(1),・・・，B9(t-1)である。そして、混合検索パターンAB(8,9)は、登場パターンA(8)と登場パターンB(9)の対応する時刻どうしの論理積をとることにより、AB(8,9)＝t(0),t(1),・・・，t(t-1)とされる。すなわち、t(0)＝A8(0) AND B9(0),t(1)＝A8(1) AND B9(1),・・・，t(t-1)＝A8(t-1) AND B9(t-1)である。
【０１７４】
そして、評価部２３では、混合検索パターンAB(1,2)と混合検索対象パターンAB(8,9)の類似度を、以下のように算出することができる。
Comp(AB(1,2),AB(8,9))＝｛｛s(0),s(1),・・・，s(t-1)｝，｛t(0),t(1),・・・，t(t-1)｝｝
＝｛j(0),j(1),・・・，j(t-1)｝
＝(j(0)+j(1)+  ・・・・+j(t-1))×100/t
＝z
ここで、s(t)=t(t)である場合j(t)=1、s(t)=t(t)でない場合j(t)=0
【０１７５】
［第２の混合比較方法］
図２５は、第２の混合比較方法を示している。
【０１７６】
第２の混合比較方法は、複数の映像コンテンツそれぞれから取り出した各登場人物の登場パターンを、１つの映像コンテンツから取り出したものと考えて、図５で説明した基本の検索方法と同様に、比較する方法である。
【０１７７】
すなわち、混合検索パターンAB(1,2)と混合検索対象パターンAB(8,9)は、以下のように、それぞれ２行ｔ列の登場パターンとして生成される。
AB(1,2)  =  {｛A(1)｝，｛B(2)｝｝
={{A1(0),A1(1)，・・・，A1(t-1)｝，｛B2(0),B2(1),・・・，B2(t-1)｝｝
AB(8,9)  =  {｛A(8)｝，｛B(9)｝｝
={{A8(0),A8(1)，・・・，A8(t-1)｝，｛B9(0),B9(1),・・・，B9(t-1)｝｝
【０１７８】
混合検索パターンAB(1,2)と混合検索対象パターンAB(8,9)との類似度の算出方法は、基本の検索方法と同様である。
【０１７９】
［第３の混合比較方法］
図２６は、第３の混合比較方法を示している。
【０１８０】
第３の混合比較方法は、混合検索パターンおよび混合検索対象パターンを生成するものではないが、検索したい登場パターンと、検索対象の登場パターンとを個別に比較したあと、それらの比較結果を統合することにより、混合パターンとしての類似度を比較する方法である。
【０１８１】
すなわち、図２６に示されるように、まず、映像コンテンツ１の登場パターンA(1)と、映像コンテンツ８の登場パターンA(8)の類似度Comp(A(1),A(8))が算出される。また、映像コンテンツ２の登場パターンB(2)と、映像コンテンツ９の登場パターンB(9)の類似度Comp(B(2),B(9))が算出される。そして、これらの算出結果は、Comp(A(1),A(8))=α％、Comp(B(2),B(9))=β％であるとする。
【０１８２】
評価部２３は、以下の式により、混合後の類似度を算出する。RateαとRateβは、算出されたそれぞれの類似度を統合する場合の統合比率であり、任意の値に設定可能である。
Z=func{Comp(A(1),A(8)),Comp(B(2),B(9))}
=（α×Rateα  ＋  β×Rateβ）／２（人数）
【０１８３】
以上のような３つの混合比較方法を用いて、複数の映像コンテンツの登場パターンを混合した類似シーンの検索を行うことができる。
【０１８４】
なお、検索パターンのみを混合させるやり方は、上述した第１乃至第３の混合比較方法において、映像コンテンツ８の登場パターンA(8)と映像コンテンツ９の登場パターンB(9)を同一の映像コンテンツのものと考えればよい。
【０１８５】
以上説明したように、本技術を適用した画像処理装置１では、映像コンテンツの時間的な情報である登場人物の登場パターンを特徴量として利用することで、多くの類似シーンをもれなく検索することができる。本技術の類似シーン検出は、情報検索システムの検索性能として一般的に言われる再現率（recall）と適合率（precision）のうち、再現率を重要視するものであるが、上述したように登場人物統計情報を用いて探索範囲を絞り込んだり、ノイズ除去処理により登場パターンを加工するなどして、適合率も向上させることができる。
【０１８６】
上述した実施の形態では、検索したいシーンの映像コンテンツと異なる映像コンテンツから、類似シーンを検索する例について説明したが、検索したいシーンの映像コンテンツと同一コンテンツから、類似シーンを探すことも勿論可能である。
【０１８７】
上述した例では、人物の識別を顔画像認識により行ったが、登場パターンを生成するための人物を特定する方法には、顔画像認識以外の他の技術、例えば、話者認識技術などを用いることができる。
【０１８８】
［コンピュータ適用例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８９】
図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１９０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１９１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１９２】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１９３】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９４】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１９５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９７】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【０１９８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２００】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０１】
なお、本技術は以下のような構成も取ることができる。
（１）
類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する評価部を備える
画像処理装置。
（２）
前記シーンが含まれる映像コンテンツの静止画を所定の時間間隔で抽出した静止画時系列データから得られる人物の登場パターンを圧縮処理することにより、前記検索パターンを生成する検索パターン生成部と、
前記類似シーンの検索対象となる映像コンテンツの静止画を所定の時間間隔で抽出した静止画時系列データから得られる人物の登場パターンを圧縮処理することにより、前記検索対象パターンを生成する検索対象パターン生成部と
をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記圧縮処理は、前記人物の登場パターンを構成する所定の要素値が、その前の要素値と同じ値である場合に、前記所定の要素値を削除する処理である
前記（２）に記載の画像処理装置。
（４）
前記圧縮処理は、シーンチェンジ点情報に基づくシーン単位で行われる
前記（２）または（３）のいずれかに記載の画像処理装置。
（５）
前記圧縮処理により各登場人物の登場パターンの要素数が一致しない場合、各登場人物の登場パターンの要素数が、要素数の一番多い登場人物の登場パターンの要素数に合わせられる
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記検索パターン生成部および前記検索対象パターン生成部は、前記圧縮処理の前に、前記登場パターンのノイズ除去処理を行う
前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記検索対象パターン生成部は、前記類似シーンの検索対象となり得る映像コンテンツの登場人物統計情報を取得し、取得した前記登場人物統計情報に基づいて、前記類似シーンの検索対象となる映像コンテンツを選択する
前記（２）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記検索パターン生成部は、複数の映像コンテンツの前記登場パターンを混合して前記検索パターンを生成する
前記（２）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記検索対象パターン生成部は、複数の映像コンテンツの前記登場パターンを混合して前記検索対象パターンを生成する
前記（８）に記載の画像処理装置。
（１０）
映像コンテンツの静止画を所定の時間間隔で抽出した静止画時系列データから、人物を識別して、識別した人物の登場パターンを生成するメタデータ生成部と、
前記メタデータ生成部により生成された前記登場パターンを記憶する記憶部と
をさらに備える
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記メタデータ生成部は、前記静止画時系列データにおける人物登場比率と、登場人物ごとの登場比率も算出し、
前記記憶部は、前記人物登場比率と、前記登場人物ごとの登場比率を、登場人物統計情報として記憶する
前記（１０）に記載の画像処理装置。
（１２）
前記メタデータ生成部は、前記静止画時系列データにおけるシーンチェンジ点も検出し、
前記記憶部は、前記シーンチェンジ点の情報であるシーンチェンジ点情報も記憶する
前記（１０）または（１１）に記載の画像処理装置。
（１３）
前記メタデータ生成部は、生成した前記人物の登場パターンを、さらに圧縮処理する
前記（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記メタデータ生成部は、生成した前記人物の登場パターンを、さらにノイズ除去処理する
前記（１０）乃至（１４）のいずれかに記載の画像処理装置。
（１５）
類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する
ステップを含む画像処理方法。
（１６）
コンピュータを、
類似シーンを検索したいシーンが含まれる映像コンテンツの前記シーンの人物の登場パターンである検索パターンと、類似シーンの検索対象となる映像コンテンツの人物の登場パターンである検索対象パターンを取得して、前記検索パターンと前記検索対象パターンとの類似度を算出し、算出された前記類似度に基づいて類似シーンを判定する評価部
として機能させるためのプログラム。
【符号の説明】
【０２０２】
１  画像処理装置，  １２  メタデータ生成部，  １３  記憶部，  １４  検索処理部，  １５  表示部，  ２１  検索パターン生成部，  ２２  検索対象パターン生成部，  ２３  評価部，  ２４  表示制御部，  ４１  静止画抽出部，  ４２  シーンチェンジ点検出部，  ４３  特徴量抽出部，  ４４  統計情報算出部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ
【図１】
2014067333.tif 000003
【図２】
2014067333.tif 000004
【図３】
2014067333.tif 000005
【図４】
2014067333.tif 000006
【図５】
2014067333.tif 000007
【図６】
2014067333.tif 000008
【図７】
2014067333.tif 000009
【図８】
2014067333.tif 000010
【図９】
2014067333.tif 000011
【図１０】
2014067333.tif 000012
【図１１】
2014067333.tif 000013
【図１２】
2014067333.tif 000014
【図１３】
2014067333.tif 000015
【図１４】
2014067333.tif 000016
【図１５】
2014067333.tif 000017
【図１６】
2014067333.tif 000018
【図１７】
2014067333.tif 000019
【図１８】
2014067333.tif 000020
【図１９】
2014067333.tif 000021
【図２０】
2014067333.tif 000022
【図２１】
2014067333.tif 000023
【図２２】
2014067333.tif 000024
【図２３】
2014067333.tif 000025
【図２４】
2014067333.tif 000026
【図２５】
2014067333.tif 000027
【図２６】
2014067333.tif 000028
【図２７】
2014067333.tif 000029