(57)【特許請求の範囲】
【請求項１】
映像に含まれる複数の音響区間を任意の動作条件に基づいて少なくとも１つの音響クラスタへと分類することで、音響区間分類結果を生成する音響区間分類部と、
前記映像に含まれる複数の画像区間を任意の動作条件に基づいて少なくとも１つの画像クラスタへと分類することで、画像区間分類結果を生成する画像区間分類部と、
前記音響区間分類部および前記画像区間分類部の少なくとも一方に対して異なる複数の動作条件を適用することにより、複数の音響区間分類結果および複数の画像区間分類結果の少なくとも一方を生成する分類結果複数生成部と、
前記分類結果複数生成部で得られた前記複数の音響区間分類結果と前記複数の画像区間分類結果に基づいて、１つの音響区間分類結果と１つの画像区間分類結果とから構成される分類結果ペアを複数生成する分類結果ペア生成部と、
前記分類結果ペアごとに、当該分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の適合性を表す分類結果間スコアを計算する分類結果間スコア計算部と、
前記分類結果間スコアに基づいて前記適合性の高い分類結果ペアを選択し、当該分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する分類結果出力部と
を備えることを特徴とする音響画像区間分類装置。
【請求項２】
請求項１に記載の音響画像区間分類装置において、
前記分類結果間スコア計算部は、
前記分類結果ペアの音響区間分類結果と画像区間分類結果に含まれる音響クラスタと画像クラスタとの組み合わせごとに、前記音響クラスタと前記画像クラスタとの間の適合性を表すクラスタ間スコアを計算するクラスタ間スコア計算部と、
前記分類結果ペアの音響区間分類結果と画像区間分類結果に含まれる音響クラスタと画像クラスタを１対１で対応付けて、これら対応する音響クラスタと画像クラスタとの間の前記クラスタ間スコアを用いて前記分類結果間スコアを計算するクラスタ間対応付け部と
を含むことを特徴とする音響画像区間分類装置。
【請求項３】
請求項２に記載の音響画像区間分類装置において、
前記クラスタ間スコア計算部は、前記音響クラスタが表す対象物と前記画像クラスタが表す対象物との同一性に基づいて前記クラスタ間スコアを計算することを特徴とする音響画像区間分類装置。
【請求項４】
請求項３に記載の音響画像区間分類装置において、
前記クラスタ間スコア計算部は、前記音響クラスタに含まれる音響区間と前記画像クラスタに含まれる画像区間との間の時系列パターンの類似度を計算し、前記類似度を前記クラスタ間スコアとすることを特徴とする音響画像区間分類装置。
【請求項５】
請求項４に記載の音響画像区間分類装置において、
前記クラスタ間スコア計算部は、前記音響区間の有無および前記画像区間の有無に応じた重み付けをすることで、前記時系列パターンの類似度を計算することを特徴とする音響画像区間分類装置。
【請求項６】
請求項５に記載の音響画像区間分類装置において、
前記クラスタ間スコア計算部は、前記画像区間と同時に前記音響区間が存在する区間に対して大きな類似度のスコアを与え、前記画像区間が存在しないときに前記音響区間が存在する区間に対して小さな類似度のスコアを与えることを特徴とする音響画像区間分類装置。
【請求項７】
請求項２に記載の音響画像区間分類装置において、
前記クラスタ間対応付け部は、前記音響クラスタと前記画像クラスタとの間で取り得るすべての対応付けパターンごとに前記クラスタ間スコアを用いて仮の分類結果間スコアを計算し、これら仮の分類結果間スコアのうちの最大値を前記分類結果間スコアとして出力することを特徴とする音響画像区間分類装置。
【請求項８】
請求項２に記載の音響画像区間分類装置において、
前記クラスタ間対応付け部は、前記音響クラスタと前記画像クラスタの組み合わせのうち、前記クラスタ間スコアにより前記適合性の高い順に選択した組み合わせに基づいて、前記音響クラスタと前記画像クラスタとを対応付けることを特徴とする音響画像区間分類装置。
【請求項９】
請求項２に記載の音響画像区間分類装置において、
前記クラスタ間対応付け部は、対応する前記音響クラスタと前記画像クラスタとの間の前記クラスタ間スコアの和を前記分類結果間スコアとして出力することを特徴とする音響画像区間分類装置。
【請求項１０】
請求項１に記載の音響画像区間分類装置において、
前記分類結果ペア生成部は、前記複数の音響区間分類結果と前記複数の画像区間分類結果との間で取り得るすべての分類結果ペアを生成することを特徴とする音響画像区間分類装置。
【請求項１１】
請求項１に記載の音響画像区間分類装置において、
前記分類結果ペア生成部は、前記複数の音響区間分類結果と前記複数の画像区間分類結果とから生成した複数の分類結果ペアのうち、前記分類結果間スコア計算部で得られた分類結果間スコアが最大の分類結果ペアを選択し、この分類結果ペアを構成する音響区間分類結果と画像区間分類結果を生成した動作条件に近い動作条件によって生成された音響区間分類結果と画像区間分類結果とから構成されている分類結果ペアを優先して生成することを特徴とする音響画像区間分類装置。
【請求項１２】
請求項１に記載の音響画像区間分類装置において、
前記分類結果複数生成部は、分類結果として得られるクラスタの数が変化するような異なる前記複数の動作条件を、前記音響区間分類部と前記画像区間分類部の少なくともいずれか一方に適用することで、前記複数の音響区間分類結果および前記複数の画像区間分類結果の少なくとも一方を生成することを特徴とする音響画像区間分類装置。
【請求項１３】
請求項１〜請求項１２のいずれか１つに記載の音響画像区間分類装置において、
前記音響区間は、前記映像において人物の声が存在する区間であり、
前記音響区間分類部は、声の同一人物らしさに基づいて、前記複数の音響区間を複数の音響区間グループへと分類する
ことを特徴とする音響画像区間分類装置。
【請求項１４】
請求項１〜請求項１２に記載の音響画像区間分類装置において、
前記画像区間は、前記映像において人物の顔が存在する区間であり、
前記画像区間分類部は、顔の同一人物らしさに基づいて、前記複数の画像区間を複数の画像区間グループへと分類する
ことを特徴とする音響画像区間分類装置。
【請求項１５】
請求項２に記載の音響画像区間分類装置において、
前記分類結果出力部は、前記選択された分類結果ペアに対する前記分類結果間スコアを前記クラスタ間対応付け部が計算したときの、前記音響クラスタと前記画像クラスタとの対応付けパターンをさらに出力することを特徴とする音響画像区間分類装置。
【請求項１６】
音響区間分類部が、映像に含まれる複数の音響区間を任意の動作条件に基づいて少なくとも１つの音響クラスタへと分類することで、音響区間分類結果を生成する音響区間分類ステップと、
画像区間分類部が、前記映像に含まれる複数の画像区間を任意の動作条件に基づいて少なくとも１つの画像クラスタへと分類することで、画像区間分類結果を生成する画像区間分類ステップと、
分類結果複数生成部が、前記音響区間分類ステップおよび前記画像区間分類ステップに対して前記動作条件を適用して、前記音響区間分類結果および前記画像区間分類結果を生成する際、前記音響区間分類ステップまたは前記画像区間分類ステップの少なくとも一方に対して異なる複数の動作条件を適用することにより、複数の音響区間分類結果および複数の画像区間分類結果の少なくとも一方を生成する分類結果複数生成ステップと、
分類結果ペア生成部が、前記分類結果複数生成ステップで得られた前記複数の音響区間分類結果と前記複数の画像区間分類結果に基づいて、１つの音響区間分類結果と１つの画像区間分類結果とから構成される分類結果ペアを複数生成する分類結果ペア生成ステップと、
分類結果間スコア計算部が、前記分類結果ペアごとに、当該分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の適合性を表す分類結果間スコアを計算する分類結果間スコア計算ステップと、
分類結果出力部が、前記分類結果間スコアに基づいて前記適合性の高い分類結果ペアを選択し、当該分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する分類結果出力ステップと
を備えることを特徴とする音響画像区間分類方法。
【請求項１７】
コンピュータに、
映像に含まれる複数の音響区間を任意の動作条件に基づいて少なくとも１つの音響クラスタへと分類することで、音響区間分類結果を生成する音響区間分類ステップと、
前記映像に含まれる複数の画像区間を任意の動作条件に基づいて少なくとも１つの画像クラスタへと分類することで、画像区間分類結果を生成する画像区間分類ステップと、
前記音響区間分類ステップおよび前記画像区間分類ステップに対して前記動作条件を適用して、前記音響区間分類結果および前記画像区間分類結果を生成する際、前記音響区間分類ステップまたは前記画像区間分類ステップの少なくとも一方に対して異なる複数の動作条件を適用することにより、複数の音響区間分類結果および複数の画像区間分類結果の少なくとも一方を生成する分類結果複数生成ステップと、
前記分類結果複数生成ステップで得られた前記複数の音響区間分類結果と前記複数の画像区間分類結果に基づいて、１つの音響区間分類結果と１つの画像区間分類結果とから構成される分類結果ペアを複数生成する分類結果ペア生成ステップと、
前記分類結果ペアごとに、当該分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の適合性を表す分類結果間スコアを計算する分類結果間スコア計算ステップと、
前記分類結果間スコアに基づいて前記適合性の高い分類結果ペアを選択し、当該分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する分類結果出力ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響画像処理技術に関し、特に映像に含まれる複数の音響区間および複数の画像区間を対象物ごとに分類する音響画像区間分類技術に関する。
【背景技術】
【０００２】
複数の話者の音声により構成される複数の音響区間を、話者ごとに分類する技術の一例が、非特許文献１に記載されている。非特許文献１では、まず、全ての音響区間を異なるクラスタとし、その後、類似する２つのクラスタ対のマージを逐次的に繰り返すことで、音響区間をクラスタリングする。２つのクラスタをマージするかどうかは、２つのクラスタをマージする前後をそれぞれモデル化し、両モデルのベイズ情報量基準（ＢＩＣ：Bayesian information criterion）を比較することで判定する。非特許文献１では、それぞれのクラスタに含まれるサンプルの特徴量が単一ガウス分布に従うと仮定したモデルを用いている。特徴量としては、例えば、音声認識でよく用いられるメル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficient）を用いれば良い。このとき、あるクラスタリング結果（ｃ1，ｃ2，…，ｃK）に対するＢＩＣは、次の式（１）で表される。【０００３】
【数１】
0005626221.tif 000002
【０００４】
ここで、Ｋはクラスタ数、Ｐ（Ｘk｜μk，Σk）はｋ番目のクラスタに含まれるサンプルの尤度、λはペナルティ係数で通常は１、ｄは特徴量の次元数、Ｎはサンプル総数である。第１項は、モデルに対するサンプルの当てはまりの良さを表す。第２項は、モデルの複雑さに対するペナルティを表し、クラスタ数が増加するとともにペナルティが増加する。ＢＩＣの値が小さいほど好ましいモデルである。一般に、モデルの複雑さを増せばサンプルの当てはまり（尤度）は良くなるが、ＢＩＣではモデルの複雑さに対してペナルティを与えているため、適切な複雑さのモデルを選択することができる。【０００５】
そこで、２つのクラスタをマージしたときのＢＩＣの変化量ΔＢＩＣがΔＢＩＣ＜０となるときに２つのクラスタをマージすることを繰り返して、クラスタリングを進める。クラスタｃ1に含まれるサンプルの集合をＸ1、クラスタｃ2に含まれるサンプルの集合をＸ2としたときに、両クラスタをマージしたときのＢＩＣの変化量ΔＢＩＣは、次の式（２）で表される。【０００６】
【数２】
0005626221.tif 000003
【０００７】
ここで、Ｐ（Ｘ1｜μ1，Σ1）とＰ（Ｘ2｜μ2，Σ2）はクラスタｃ1に含まれるサンプルの尤度とクラスタｃ2に含まれるサンプルの尤度、Ｐ（Ｘ1，Ｘ2｜μ，Σ）は２つのクラスタをマージしたときのサンプルの尤度である。
このように逐次的にクラスタのマージを繰り返し、どのようなクラスタ対をマージしてもΔＢＩＣ≧０となったとき、クラスタのマージを終了する。これにより、クラスタ数も自動的に決定される。【０００８】
また、入力映像を分析して画像区間と音響区間とをそれぞれ分類し、これら区間の類似性に基づいて、同一対象を含む画像区間と音響区間との対応付けを行う技術が、特許文献１に記載されている。特許文献１では、入力映像の画像区間および音響区間ごとに特徴量をそれぞれ算出して画像区間同士および音響区間同士でグループ化し、得られた画像区間グループおよび音響区間グループの時間的同時性に基づいて、両者の対応付けを行う。その結果として、対象物ごとに分類された音響区間および画像区間のグループが得られる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開ＷＯ２００８−１４６６１６号パンフレット
【非特許文献】
【００１０】
【非特許文献１】S.S. Chen, E. Eide, M.J.F. Gales, R.A. Gopinath, D. Kanvesky, P. Olsen, "Automatic transcription of Broadcast News," Speech Communication, Vol.37, pp.69-87, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記非特許文献１の技術は、真の話者数と同じクラスタ数を推定するためには問題ごとにペナルティ係数λの調整をする必要がある、という課題を有する。推定されたクラスタ数が真の話者数よりも多い場合、同一話者の音声が複数のクラスタに分かれてしまう。また、推定されたクラスタ数が真の話者数よりも少ない場合、異なる話者の音声が同一のクラスタに含まれてしまう。したがって、いずれの場合も、複数の音響区間を話者ごとに分類した結果として好ましい結果とは言えない。【００１２】
上記の課題が生ずる理由は、仮定したモデルが話者性を適切に表現しきれていないためである。そのため、ＢＩＣを最小化するモデルを選択しても、真の話者数とは異なるクラスタ数が最適なモデルと判定されてしまう。上記の技術では、一人の話者をＭＦＣＣの単一ガウス分布で表したことに問題があると考えられるが、これに代わる他の適切なモデルを考案することは容易ではない。【００１３】
そのため、上記非特許文献１の技術を実際の問題に適用する際には、問題と同じドメインの開発用データを用いて事前にペナルティ係数λを適切に調整する必要がある。ペナルティ係数を大きくすると推定されるクラスタ数は少なくなり、ペナルティ係数を小さくすると推定されるクラスタ数は多くなる。しかし、一般に適切なλの値は問題ごとに異なるため、問題ごとに開発用データを用意する必要がある。また、問題が変われば正しいクラスタ数の推定は困難になる。【００１４】
また、上記特許文献１の技術は、対象となる入力映像に対する画像区間と音響区間の分類精度の良し悪しが事前に分かっていることを前提としている。このため、画像区間と音響区間の分類精度が不明である場合には、対象となる入力映像において、画像区間と音響区間を精度よく対応付けたり、分類したりすることはできないという問題点があった。この理由は、入力映像について画像区間と音響区間とを対応付けるときに、事前に想定した画像区間と音響区間の分類精度に応じて、対応付けの方式を選択する必要があるからである。しかしながら、どのような内容の入力映像に対して、どの対応付けの方式を用いれば対応付けおよび分類を精度良く行えるかは明らかでなく、選択は難しい。【００１５】
本発明の目的は、事前にパラメータを調整することなく、映像に含まれる複数の音響区間と複数の画像区間を、対象物ごとに精度良く分類することができる音響画像区間分類技術を提供することにある。
【課題を解決するための手段】
【００１６】
このような目的を達成するために、本発明にかかる音響画像区間分類装置は、映像に含まれる複数の音響区間を任意の動作条件に基づいて少なくとも１つの音響クラスタへと分類することで、音響区間分類結果を生成する音響区間分類部と、映像に含まれる複数の画像区間を任意の動作条件に基づいて少なくとも１つの画像クラスタへと分類することで、画像区間分類結果を生成する画像区間分類部と、音響区間分類部および画像区間分類部の少なくとも一方に対して異なる複数の動作条件を適用することにより、複数の音響区間分類結果および複数の画像区間分類結果の少なくとも一方を生成する分類結果複数生成部と、分類結果複数生成部で得られた複数の音響区間分類結果と複数の画像区間分類結果に基づいて、１つの音響区間分類結果と１つの画像区間分類結果とから構成される分類結果ペアを複数生成する分類結果ペア生成部と、分類結果ペアごとに、当該分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の適合性を表す分類結果間スコアを計算する分類結果間スコア計算部と、分類結果間スコアに基づいて適合性の高い分類結果ペアを選択し、当該分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する分類結果出力部とを備えている。【００１７】
また、本発明にかかる音響画像区間分類方法は、映像に含まれる複数の音響区間を任意の動作条件に基づいて少なくとも１つの音響クラスタへと分類することで、音響区間分類結果を生成する音響区間分類ステップと、映像に含まれる複数の画像区間を任意の動作条件に基づいて少なくとも１つの画像クラスタへと分類することで、画像区間分類結果を生成する画像区間分類ステップと、音響区間分類ステップおよび画像区間分類ステップに対して動作条件を適用して、音響区間分類結果および画像区間分類結果を生成する際、音響区間分類ステップまたは画像区間分類ステップの少なくとも一方に対して異なる複数の動作条件を適用することにより、複数の音響区間分類結果および複数の画像区間分類結果の少なくとも一方を生成する分類結果複数生成ステップと、分類結果複数生成ステップで得られた複数の音響区間分類結果と複数の画像区間分類結果に基づいて、１つの音響区間分類結果と１つの画像区間分類結果とから構成される分類結果ペアを複数生成する分類結果ペア生成ステップと、分類結果ペアごとに、当該分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の適合性を表す分類結果間スコアを計算する分類結果間スコア計算ステップと、分類結果間スコアに基づいて適合性の高い分類結果ペアを選択し、当該分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する分類結果出力ステップとを備えている。
【発明の効果】
【００１８】
本発明によれば、事前にパラメータ調整することなく、映像に含まれる複数の音響区間と複数の画像区間を、対象物ごとに精度良く分類することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、第１の実施形態にかかる音響画像区間分類装置の構成を示すブロック図である。
【図２】図２は、第１の実施形態における音響画像区間分類装置の動作を示すフローチャートである。
【図３】図３は、第２の実施形態にかかる音響画像区間分類装置の構成を示すブロック図である。
【図４】図４は、第２の実施形態における音響画像区間分類装置の動作を示すフローチャートである。
【図５】図５は、音響区間の分類結果生成例である。
【図６】図６は、画像区間の分類結果生成例である。
【図７】図７は、分類結果間スコア計算部の構成例を示すブロック図である
【図８】図８は、類似度を計算する場合の各条件に対する重み付けの一例である。
【図９Ａ】図９Ａは、分類結果ペアに関するクラスタ間スコアの計算結果例である。
【図９Ｂ】図９Ｂは、他の分類結果ペアに関するクラスタ間スコアの計算結果例である。
【図９Ｃ】図９Ｃは、他の分類結果ペアに関するクラスタ間スコアの計算結果例である。
【図９Ｄ】図９Ｄは、他の分類結果ペアに関するクラスタ間スコアの計算結果例である。
【図９Ｅ】図９Ｅは、他の分類結果ペアに関するクラスタ間スコアの計算結果例である。
【図９Ｆ】図９Ｆは、他の分類結果ペアに関するクラスタ間スコアの計算結果例である。
【図１０】図１０は、分類結果ペア生成部の動作の具体例を示す説明図である。
【図１１】図１１は、分類結果ペア生成部の動作の他の具体例を示す説明図である。
【図１２】図１２は、第３の実施形態にかかる音響画像区間分類装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
次に、本発明の実施形態について図面を参照して説明する。
【００２１】
［第１の実施形態］
まず、図１を参照して、本発明の第１の実施形態にかかる音響画像区間分類装置の構成について説明する。
【００２２】
図１に示すように、本実施形態における音響画像区間分類装置１００は、音響区間分類部１０３と、画像区間分類部１０４と、分類結果複数生成部１０５と、分類結果ペア生成部１０６と、分類結果間スコア計算部１０７と、分類結果出力部１０８とから構成される。
【００２３】
音響区間分類部１０３は、映像に含まれる複数の音響区間を入力として、任意の動作条件に基づいて、これらの音響区間を１つまたは複数の音響クラスタへと分類する。
【００２４】
画像区間分類部１０４は、映像に含まれる複数の画像区間を入力として、任意の動作条件に基づいて、これらの画像区間を１つまたは複数の画像クラスタへと分類する。
【００２５】
分類結果複数生成部１０５は、音響区間分類部１０３と画像区間分類部１０４に対して任意の動作条件を適用して動作させ、得られた音響区間分類結果と画像分類結果とを分類結果ペア生成部１０６に出力する。このとき、音響区間分類部１０３と画像区間分類部１０４の少なくともいずれか一方については異なる複数の動作条件を適用して動作させることで、複数の音響区間分類結果または／および複数の画像区間分類結果を生成して出力する。
【００２６】
分類結果ペア生成部１０６は、分類結果複数生成部１０５から入力された音響区間分類結果と画像区間分類結果に基づいて、１つの音響区間分類結果と１つの画像区間分類結果とから構成される分類結果ペアを、映像に対する最適な区間分類結果の候補として複数生成し、分類結果間スコア計算部１０７に出力する。
【００２７】
分類結果間スコア計算部１０７は、分類結果ペア生成部１０６から入力された分類結果ペアごとに、当該分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の対応の良さ、すなわち適合性を表す分類結果間スコアを計算し、分類結果出力部１０８に出力する。
【００２８】
分類結果出力部１０８は、分類結果間スコア計算部１０７から入力された各分類結果ペアの分類結果間スコアを比較して、分類結果間スコアの大きい分類結果ペア、すなわち音響区間分類結果と画像区間分類結果の適合性が高い分類結果ペアを選択し、選択した分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する。
【００２９】
［第１の実施形態の動作］
次に、図１および図２を参照して、本実施形態にかかる音響画像区間分類装置の動作について説明する。
【００３０】
図２に示すように、まず、映像に含まれる複数の音響区間が音響区間分類部１０３に入力される（ステップＳ１１）。続いて、映像に含まれる複数の画像区間が画像区間分類部１０４に入力される（ステップＳ１２）。
【００３１】
次に、分類結果複数生成部１０５は、音響区間分類部１０３を動作させることで、入力された音響区間を１つまたは複数の音響クラスタへと分類する。このとき、分類結果複数生成部１０５は、音響区間分類部１０３に複数の動作条件を適用して動作させることで、複数の音響区間分類結果を生成して出力する（ステップＳ１３）。
【００３２】
さらに、分類結果複数生成部１０５は、画像区間分類部１０４を動作させることで、入力された画像区間を１つまたは複数の画像クラスタへと分類する。このとき、分類結果複数生成部１０５は、画像区間分類部１０４に複数の動作条件を適用して動作させることで、複数の画像区間分類結果を生成して出力する（ステップＳ１４）。
【００３３】
ただし、分類結果複数生成部１０５は、ステップＳ１３とステップＳ１４において、音響区間分類部１０３と画像区間分類部１０４のいずれか一方のみに複数の動作条件を適用して動作させることで、音響区間分類結果と画像区間分類結果のいずれか一方のみについて複数の分類結果を生成して出力し、他方については単一の動作条件を適用して単一の分類結果を生成して出力しても良い。なお、動作条件については、音響区間分類部１０３や画像区間分類部１０４で用いるそれぞれの区間分類アルゴリズムに応じて、予め設定されているものとする。
【００３４】
次に、分類結果ペア生成部１０６は、分類結果複数生成部１０５が出力した音響区間分類結果のいずれか１つと画像区間分類結果のいずれか１つとから構成される分類結果ペアを複数生成する（ステップＳ１５）。
【００３５】
次に、分類結果間スコア計算部１０７は、それぞれの分類結果ペアに対して、分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の適合性を表す分類結果間スコアを計算する（ステップＳ１６）。
【００３６】
最後に、分類結果出力部１０８は、それぞれの分類結果間スコアを比較して、分類結果間スコアの大きな分類結果ペアを選択し、選択された分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する（ステップＳ１７）。これら音響区間分類結果および画像区間分類結果は、例えば、記憶部（図示せず）に保存出力され、画面表示部（図示せず）に画面表示され、あるいは外部装置（図示せず）へ送信される。
【００３７】
［第１の実施形態の効果］
このように、本実施形態の音響画像区間分類装置１００は、音響区間分類部１０３で映像の音響区間を分類するとともに、画像区間分類部１０４で映像の画像区分を分類することにより、分類結果複数生成部１０５で、複数の音響区間分類結果または／および複数の画像区間分類結果を生成し、分類結果ペア生成部１０６で、これら分類結果の分類結果ペアを、映像に対する最適な区間分類結果の候補として複数生成し、分類結果間スコア計算部１０７で計算した各分類結果ペアの分類結果間スコアを分類結果出力部１０８で比較することにより、音響区間分類結果と画像区間分類結果との間で良い対応がとれるような音響区間分類結果と画像区間分類結果とを出力する。
【００３８】
したがって、本実施形態によれば、事前にパラメータを調整することなく、映像に含まれる複数の音響区間と複数の画像区間を、対象物ごとに精度良く分類した分類結果を得ることができる。
【００３９】
［第２の実施形態］
次に、図３を参照して、本発明の第２の実施形態にかかる音響画像区間分類装置について説明する。
【００４０】
第１の実施形態では、映像データから検出された複数の音響区間および複数の画像区間を、対象物ごとに分類して出力する場合を例として説明した。本実施形態では、音響画像区間分類装置１００において、分類されたそれぞれの音響クラスタと画像クラスタとを対応付けた結果もさらに出力する場合について説明する。
【００４１】
図３に示すように、本実施形態における音響画像区間分類装置１００は、第１の実施形態で述べたように、音響区間分類部１０３と、画像区間分類部１０４と、分類結果複数生成部１０５と、分類結果ペア生成部１０６と、分類結果間スコア計算部１０７とから構成される。さらに、本実施形態は、音響区間入力部１０１と、画像区間入力部１０２と、映像データ記憶部１１１と音響区間分類結果記憶部１１２と画像区間分類結果記憶部１１３とクラスタ間対応付け結果記憶部１１４とを備えている。
【００４２】
映像データ記憶部１１１は、処理対象となる映像データを記憶している。映像データとしては、会議映像、放送映像、講義映像、インターネットで配信されている映像などの様々な映像が考えられる。これらの映像データは、予め用意されたアーカイブデータであっても、ビデオカメラやＷｅｂカメラ等からリアルタイムに入力されるデータであっても構わない。
【００４３】
音響区間分類部１０１は、映像データ記憶部１１１が記憶する映像データに含まれる音声データを読み込み、音声データの中から複数の音響区間を検出する。本実施形態では、音響区間として人物の声が存在する区間を検出する。
【００４４】
音声データから人物の声が存在する区間を検出するには、音声のパワーが大きくなる区間を検出するパワーベースの手法や、メル周波数ケプストラム（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficient）などを特徴量として音声と非音声のモデルを作成し、音声モデルの尤度が非音声モデルの尤度よりも大きくなる区間を検出するモデルベースの手法などを用いれば良い。また、人物の声の検出手法としては、他の手法を用いても構わない。
【００４５】
なお、同時に複数の話者が発声している場合のように、音響区間同士で時間的な重なりがあっても良い。また、音響区間は人物の声に限られるものではなく、例えば、動物の鳴き声の区間、車のエンジン音の区間、或いは、一つのＢＧＭの区間、などの様々な対象物に関する音の区間を音響区間としても良い。
【００４６】
画像区間入力部１０２は、映像データ記憶部１１１が記憶する映像データに含まれる画像データを読み込み、画像データの中から複数の画像区間を検出する。本実施形態では、画像区間として人物の顔が存在する区間を検出する。
【００４７】
画像データから人物の顔が存在する区間を検出するには、色情報やエッジの方向などを特徴量として顔のモデルを作成し、画像データ中のそれぞれの画像フレームからモデルに類似した領域を検出する手法などを用いれば良い。また、人物の顔の検出手法としては、他の手法を用いても構わない。
【００４８】
なお、同時に複数の人物が映っている場合のように、画像区間同士で時間的な重なりがあっても良い。また、画像区間は人物の顔に限られるものではなく、例えば、動物が映っている区間、車が映っている区間、或いは、一つの撮影シーンの区間、などの様々な対象物に関する画像の区間を画像区間としても良い。
【００４９】
なお、音響区間と画像区間とが表す対象物の種類は同一であることが望ましい。すなわち、音響区間として人物の声を検出する場合、画像区間としては人物の顔を検出することが望ましい。また、音響区間として動物の鳴き声を検出する場合、画像区間としては動物が映っている区間を検出することが望ましい。
【００５０】
以下では、このように映像データの中から何らかの対象物に注目して検出された音の区間および画像の区間を、それぞれ「音響区間」「画像区間」と呼ぶ。なお、音響区間および画像区間は、それぞれの区間の映像データ内における開始時刻と終了時刻との対のデータで表せば良い。
【００５１】
［第２の実施形態の動作］
次に、図３および図４を参照して、本実施形態にかかる音響画像区間分類装置の動作について説明する。
【００５２】
音響区間分類部１０１によって検出された複数の音響区間は、音響区間分類部１０３に入力される（ステップＳ１１）。また、画像区間入力部１０２によって検出された複数の画像区間は、画像区間分類部１０４に入力される（ステップＳ１２）。
【００５３】
音響区間分類部１０３は、入力された複数の音響区間を対象物ごとに分類する機能を有する。本実施形態では音響区間は人物の声であるため、音響区間分類部１０３は、入力された音響区間の声を人物ごとに分類し、同じ人物の声と判定した複数の音響区間をまとめあげる。以下では、同じ対象物を表す音響現象と判定した複数の音響区間のまとまりを「音響クラスタ」と呼ぶ。
【００５４】
複数の音響区間を人物ごとに分類するには、例えば、非特許文献１に記載の技術を用いればよい。すなわち、まず、全ての音響区間を異なるクラスタとし、その後、類似する２つのクラスタ対のマージを逐次的に繰り返すことで音響区間をクラスタリングする。２つのクラスタをマージするかどうかは、２つのクラスタをマージする前後をそれぞれモデル化し、両モデルのベイズ情報量基準（ＢＩＣ：Bayesian information criterion）を比較することで判定する。モデルとしては、それぞれのクラスタに含まれるサンプルのＭＦＣＣなどの特徴量が単一ガウス分布に従うと仮定したモデルなどを用いれば良い。このとき、あるクラスタリング結果（ｃ1，ｃ2，…，ｃK）に対するＢＩＣは前述した式（１）で表される。２つのクラスタをマージしたときにＢＩＣが小さくなる場合に両クラスタをマージし、どのようなクラスタ対をマージしてもＢＩＣが小さくならなくなった時点でクラスタのマージを終了する。
【００５５】
また、複数の音響区間を人物ごとに分類する手法として、ｋ−ｍｅａｎｓ法を用いても良い。ｋ−ｍｅａｎｓ法を用いて、複数の音響区間をＫ個のクラスタに分類する場合の手順は次の通りである。まず、それぞれの音響区間に含まれるサンプルのＭＦＣＣなどの特徴量の平均を計算し、音響区間を代表する特徴量とする。次に、（１）ランダムに選んだＫ個の音響区間をＫ個のクラスタの代表点に定める。（２）すべての音響区間を、それぞれ最も近い代表点に割り当てる。すなわち、特徴量が最も類似する代表点に割り当てる。（３）クラスタごとに音響区間の重心を計算してクラスタの新たな代表点とする。（２）と（３）を繰り返し、それぞれのクラスタに割り当てられる音響区間が変化しなくなったらクラスタリングを終了する。
【００５６】
なお、音響区間を人物ごとに分類する手法としては、他の手法を用いても構わない。また、音響区間が動物の鳴き声や１つのＢＧＭの区間などの場合でも、類似の手法により音響区間を動物ごとやＢＧＭの種類ごとに分類することができる。
【００５７】
画像区間分類部１０４は、入力された複数の画像区間を対象物ごとに分類する機能を有する。本実施形態では画像区間は人物の顔であるため、画像区間分類部１０４は、入力された画像区間の顔を人物ごとに分類し、同じ人物の顔と判定した複数の画像区間をまとめあげる。以下では、同じ対象物を表す画像現象と判定した複数の画像区間のまとまりを「画像クラスタ」と呼ぶ。
【００５８】
複数の画像区間を人物ごとに分類するには、音響区間を分類するときと同様に、情報量基準に基づく手法や、ｋ−ｍｅａｎｓ法などを用いれば良い。分類に用いる特徴量としては、目・鼻・口の形状や位置関係などを記述した特徴ベクトルや、各画素の濃淡値の２次元配列を表す特徴ベクトルなどを用いれば良い。
【００５９】
なお、画像区間を人物ごとに分類する手法としては、他の手法を用いても構わない。また、画像区間が動物の映っている区間や一つの撮影シーンの区間などの場合でも、類似の手法により画像区間を動物ごとや撮影シーンの種類ごとに分類することができる。
【００６０】
分類結果複数生成部１０５は、音響区間分類部１０３を複数の動作条件で動作させることで、音響区間の分類結果を複数生成する（ステップＳ１３）。本実施形態では、分類結果として得られるクラスタの数が変化するような複数の動作条件によって音響区間分類部１０３を動作させる。
【００６１】
分類結果として得られるクラスタの数を変化させるには、分類手法として非特許文献１に記載の方法を用いる場合は、前述した式（１）のペナルティ係数λの値を変化させれば良い。λを大きくするとモデルの複雑さが増すことに対するペナルティが大きくなるので、クラスタ数は少なくなる。逆に、λを小さくするとクラスタ数は多くなる。また、分類手法としてｋ−ｍｅａｎｓ法を用いる場合は、分類するクラスタの数Ｋの値を変化させれば良い。他の分類手法を用いる場合も同様に、音響区間分類部１０３においてクラスタ数を制御するパラメータを変化させて動作させることで、複数の分類結果を得れば良い。
【００６２】
図５では、図５下部に示した映像ショットから構成される映像データについて分析した結果が示されている。この映像は、Ｘ・Ｙ・Ｚの３名の人物が登場し、人物Ｘと人物Ｙの２名が会話をしている映像である。図中の吹き出しは、その人物が発話していることを示している。
【００６３】
図５は、音響区間分類部１０３を３種類の条件で動作させ、クラスタ数が１つである音響区間分類結果Ａ１と、クラスタ数が２つである音響区間分類結果Ａ２と、クラスタ数が３つである音響区間分類結果Ａ３とが得られた場合を表している。分類結果Ａ１は、入力された音響区間がすべて１名の声であると分類された結果である。その結果、全ての音響区間からなる音響クラスタＡ１−１が生成されている。分類結果Ａ２は、入力された音響区間が２名の声であると分類された結果である。その結果、時刻０秒〜５秒・時刻１０秒〜１５秒・時刻２０秒〜３０秒・時刻４０秒〜５０秒・時刻５０秒〜６０秒の音響区間からなる音響クラスタＡ２−１と、時刻５秒〜１０秒・時刻１５秒〜２０秒・時刻３０秒〜４０秒の音響区間からなる音響クラスタＡ２−２とが生成されている。分類結果Ａ３は入力された音響区間が３名の声であると分類されて、音響クラスタＡ３−１、音響クラスタＡ３−２および音響クラスタＡ３−３とが生成された結果である。
【００６４】
これら３つの分類結果Ａ１〜Ａ３のうち、音響区間を正しく人物ごとに分類できているのは分類結果Ａ２である。すなわち、音響クラスタＡ２−１が人物Ｘの声に対応し、音響クラスタＡ２−２が人物Ｙの声に対応している。分類結果Ａ１は、人物Ｘの声と人物Ｙの声とが同じ音響クラスタＡ１−１に分類されてしまっている（分割不足）。一方、分割結果Ａ３は、人物Ｘの声が音響クラスタＡ３−１と音響クラスタＡ３−３の２つのクラスタに分かれてしまっている（過分割）。
【００６５】
次に、分類結果複数生成部１０５は、画像区間分類部１０４を複数の動作条件で動作させることで、画像区間の分類結果を複数生成する（ステップＳ１４）。本実施形態では、分類結果として得られるクラスタの数が変化するような複数の動作条件によって画像区間分類部１０４を動作させる。
【００６６】
分類結果として得られるクラスタの数を変化させるには、音響区間を分類するときと同様に、画像区間分類部１０４においてクラスタ数を制御するパラメータを変化させれば良い。
【００６７】
図６では、前述した図５と同じ映像データについて分析した結果が示されている。
図６は、画像区間分類部１０４を２種類の条件で動作させ、クラスタ数が３つである画像区間分類結果Ｂ１と、クラスタ数が４つである画像区間分類結果Ｂ２とが得られた場合を現している。分類結果Ｂ１は、入力された画像区間が３名の顔であると分類されて、画像クラスタＢ１−１、画像クラスタＢ１−２および画像クラスタＢ１−３とが生成された結果である。分類結果Ｂ２は、入力された画像区間が４名の顔であると分類されて、画像クラスタＢ２−１、画像クラスタＢ２−２、画像クラスタＢ２−３および画像クラスタＢ２−４とが生成された結果である。
【００６８】
これら２つの分類結果Ｂ１，Ｂ２のうち、画像区間を正しく人物ごとに分類できているのは分類結果Ｂ１である。すなわち、画像クラスタＢ１−１が人物Ｘの顔に対応し、画像クラスタＢ１−２が人物Ｙの顔に対応し、画像クラスタＢ１−３が人物Ｚの顔に対応している。一方、分類結果Ｂ２は、人物Ｘの顔が画像クラスタＢ２−１と画像クラスタＢ２−４の２つのクラスタに分かれてしまっている（過分割）。
【００６９】
以下では、音響区間分類部１０３をある１つの動作条件によって動作させた結果得られた音響クラスタの集合を「音響区間分類結果」と呼ぶ。同様に、画像区間分類部１０４をある１つの動作条件によって動作させた結果得られた画像クラスタの集合を「画像区間分類結果」と呼ぶ。また、これらを区別なく「分類結果」と呼ぶこともある。
【００７０】
次に、分類結果ペア生成部１０６は、分類結果複数生成部１０５により生成された音響区間分類結果のいずれか１つと画像区間分類結果のいずれか１つとから構成される分類結果ペアを複数生成する（ステップＳ１５）。
【００７１】
本実施形態では、３種類の音響区間分類結果（Ａ１，Ａ２、Ａ３）と２種類の画像区間分類結果（Ｂ１、Ｂ２）とが生成されている。そこで、本実施形態では、分類結果ペアとして（Ａ１−Ｂ１）、（Ａ１−Ｂ２）、（Ａ２−Ｂ１）、（Ａ２−Ｂ２）、（Ａ３−Ｂ１）、（Ａ３−Ｂ２）の６通りを生成する。一般に、Ｍ通りの音響区間分類結果とＮ通りの画像区間分類結果がある場合、分類結果ペアとして最大でＭ×Ｎ通りを生成することができる。
【００７２】
次に、分類結果間スコア計算部１０７は、生成されたそれぞれの分類結果ペアに対して、分類結果ペアを構成する音響区間分類結果と画像区間分類結果との間の対応の良さを表す分類結果間スコアを計算する（ステップＳ１６）。以下では、分類結果ペア（Ａ２−Ｂ１）に対する分類結果間スコアを計算する場合を例にして、分類結果間スコア計算部１０７の動作を説明する。
【００７３】
図７を参照すると、分類結果間スコア計算部１０７は、クラスタ間スコア計算部１０７１とクラスタ間対応付け部１０７２とを含む。
【００７４】
まず、クラスタ間スコア計算部１０７１が、分類結果ペアに含まれる音響クラスタと画像クラスタとの組み合わせのそれぞれに対して、音響クラスタと画像クラスタとの間の対応の良さ、すなわち適合性を表すクラスタ間スコアを計算する（ステップＳ１６１）。本実施形態における分類結果ペア（Ａ２−Ｂ１）には、音響クラスタＡ２−１、音響クラスタＡ２−２、および、画像クラスタＢ１−１、画像クラスタＢ１−２、画像クラスタＢ１−３が含まれる。したがって、音響クラスタと画像クラスタとの組み合わせは、（Ａ２−１、Ｂ１−１）、（Ａ２−１、Ｂ１−２）、（Ａ２−１、Ｂ１−３）、（Ａ２−２、Ｂ１−１）、（Ａ２−２、Ｂ１−２）、（Ａ２−２、Ｂ１−３）の６通りがある。
【００７５】
クラスタ間スコア計算部１０７１は、音響クラスタが表す対象物と画像クラスタが表す対象物との同一性を判定し、両者が同じ対象物を表している可能性が高いほど両クラスタ間に大きなクラスタ間スコアを与えるように動作する。例えば、本実施形態における対象物は人物であるため、音響クラスタに含まれる声と画像クラスタに含まれる顔とが同一人物の声と顔であるかどうかを判定し、同一人物である可能性が高いほど両クラスタ間に大きなクラスタ間スコアを与えるように動作する。
【００７６】
音響クラスタと画像クラスタとが同一の対象を表しているかどうかを判定する方法としては、例えば、音響クラスタに含まれる音響区間と画像クラスタに含まれる画像区間との間で、出現の時系列パターンの類似度を計算すれば良い。何故ならば、同一の対象物に関する音響現象と画像現象とは同じタイミングで出現することが多いと考えられるため、出現の時系列パターンが類似している音響クラスタと画像クラスタほど同一の対象物を表している可能性が高いと考えられるからである。
【００７７】
複数の音響区間と複数の画像区間との間で、出現の時系列パターンの類似度を計算する方法としては、例えば、音響区間と画像区間とが同時に存在する区間の長さを類似度とすることができる。さらに、画像区間が存在しないのに音響区間が存在する区間の長さをペナルティとして類似度から減じても良い。これは、本実施形態においては、声と顔が同時に存在するときに類似度を大きくし、顔が存在しないのに声だけ存在するときには類似度を小さくすることに相当する。例えば、対談やバラエティ番組などの映像データでは、ある人物の声が存在するときには同時にその人物の顔が映っていることが多いため、このように時系列パターンの類似度を計算することで、音響区間の声と画像区間の顔とが同一人物を表しているかどうかを判定することができる。
【００７８】
ここでは、図８に示すように、類似度を計算する場合の各条件に対する重み付けを用いる。各条件を満たす区間の長さに対してこれらの重みを乗じた値を時系列パターンの類似度と考え、クラスタ間スコアとして出力する。
【００７９】
例えば、音響クラスタＡ２−１と画像クラスタＢ１−１との間のクラスタ間スコアを図８の重みに従って計算する場合は次のように計算する。時刻０秒〜５秒・時刻１０秒〜１５秒・時刻２０秒〜３０秒・時刻４０秒〜６０秒の計４０秒間は、音響区間と画像区間とが同時に存在するので、図８を参照して重み１を乗じてスコア４０となる。また、時刻５秒〜１０秒・時刻１５秒〜２０秒の計１０秒間は、音響区間が存在せず画像区間が存在するので、図８を参照して重み０を乗じてスコア０となる。また、時刻３０秒〜時刻４０秒の計１０秒間は、音響区間も画像区間も存在しないので、図８を参照して重み０を乗じてスコア０となる。音響クラスタＡ２−１と画像クラスタＢ１−１との間のクラスタ間スコアは、これらのスコアの和をとることで、４０＋０＋０＝４０と求めることができる。
【００８０】
同様に、音響クラスタＡ２−２と画像クラスタＢ１−１との間のクラスタ間スコアを計算すると、時刻５秒〜１０秒・時刻１５秒〜２０秒の計１０秒間は、音響区間と画像区間とが同時に存在するので、重み１を乗じてスコア１０となる。また、時刻０秒〜５秒・時刻１０秒〜１５秒・時刻２０秒〜３０秒・時刻４０秒〜６０秒の計４０秒間は、音響区間が存在せず画像区間が存在するので、重み０を乗じてスコア０となる。一方、時刻３０秒〜４０秒の計１０秒間は、画像区間が存在しないのに音響区間が存在するので、図８を参照して重み−１を乗じてスコア−１０となる。したがって、音響クラスタＡ２−２と画像クラスタＢ１−１との間のクラスタ間スコアは、１０＋０−１０＝０と求めることができる。
【００８１】
図９Ｂには、分類結果ペア（Ａ２−Ｂ１）におけるクラスタ間スコアが示されている。図９Ａ〜図９Ｆを参照すると、このようにクラスタ間スコアを計算することで、音響クラスタに含まれる音響区間と画像クラスタに含まれる画像区間との間の時系列パターンが類似しているほど、大きなクラスタ間スコアを与えることができることが分かる。
【００８２】
なお、図８では、音響区間が存在しないのに画像区間が存在する場合には、ペナルティを与えず重み０としている。これは、本実施形態においては、音響区間は人物の声の区間であり、画像区間は人物の顔の区間であるためである。すなわち、ある人物の顔が映っているが発話してはいないというシーンはよくあるので重みを０としている。また、映像内の大部分の時間に登場しない人物（本実施形態においては人物Ｃが該当）がいることを想定して、音響区間も画像区間も存在しない区間についても重みを与えず、重み０としている。
【００８３】
ただし、重みの与え方は図８に限られるものではない。例えば、対象物が画像として映っていれば、ほぼ確実にその対象物に関する音も存在するような対象物を扱っている場合には、音響区間が存在せずに画像区間だけ存在する区間にもペナルティを与えて、重み−１としても良い。また、重みの大きさも適宜変更して良い。
【００８４】
また、音響区間と画像区間との間の時系列パターンの類似度を計算する方法は、これまで述べた方法に限られるものではない。例えば、映像データを映像ショットや一定時間の区間などで区切り、音響区間と画像区間とが同時に出現した区間の数をカウントする方法などでも良い。また、時系列パターンの類似度を計算する他の方法によっても良い。
【００８５】
さらに、音響クラスタと画像クラスタとが同一の対象を表しているかどうかを判定する方法は、音響区間と画像区間との間の時系列パターンの類似度を求める方法に限られるものではない。映像データの内容や分類したい対象物に応じて、対象物の同一性を判定するための適切な手法を用いて良い。
【００８６】
以上述べたように、クラスタ間スコア計算部１０７１によって、分類結果ペアに含まれる音響クラスタと画像クラスタとの組み合わせのそれぞれに対して、音響クラスタと画像クラスタとの間の対応の良さを表すクラスタ間スコアが計算される。
【００８７】
次に、クラスタ間対応付け部１０７２が、分類結果ペアに含まれる音響クラスタと画像クラスタとを、異なるクラスタには異なるクラスタが対応付くように対応付けて（ステップＳ１６２）、対応付けた音響クラスタと画像クラスタとの間のクラスタ間スコアを用いて分類結果ペアの分類結果間スコアを計算する（ステップＳ１６３）。言い換えれば、分類結果ペアに含まれる音響クラスタと画像クラスタとを１対１の関係で対応付ける。このとき、同一の対象物を表している可能性が高いクラスタ同士を対応付けることが望ましい。
【００８８】
このような対応付けを行う方法としては、例えば、クラスタ間スコア、すなわち適合度の高い音響クラスタと画像クラスタの組み合わせから順に音響クラスタと画像クラスタとを対応付ければ良い。
【００８９】
例えば、図９Ｂを参照すると、分類結果ペア（Ａ２−Ｂ１）に含まれる音響クラスタと画像クラスタとの組み合わせの中で最もクラスタ間スコアの大きな組み合わせは、スコアが４０の（Ａ２−１、Ｂ１−１）である。そこで、まず、音響クラスタＡ２−１と画像クラスタＢ１−１とはそれぞれ同一の対象物を表している可能性が最も高いと考え、両クラスタを対応付ける。
【００９０】
次に、対応付けが終了した音響クラスタＡ２−１と画像クラスタＢ１−１とを除いた上で、次にクラスタ間スコアの大きな組み合わせは、スコアが２０の（Ａ２−２、Ｂ１−２）である。そこで、音響クラスタＡ２−２と画像クラスタＢ１−２とを対応付ける。この時点で、すべての音響クラスタを対応付けたので、対応付け処理を終了する。このとき、画像クラスタＢ１−３は、どの音響クラスタとも対応付けられていない。これは、画像クラスタＢ１−３が表す人物は映像内で発話していないことに対応する。図９Ａ〜図９Ｆでは、このように対応付けられた音響クラスタと画像クラスタとの組み合わせに対するクラスタ間スコアに丸印を付与している。
【００９１】
このように音響クラスタと画像クラスタとを対応付けることで、少ない計算量で同じ対象物を表している可能性が高い音響クラスタと画像クラスタとを対応付けることができ、適切な分類結果間スコアを計算することが出来る。なお、音響クラスタと画像クラスタとを１対１で対応付ける理由は、ある音響クラスタと別の音響クラスタとは異なる対象物を表していると考え、また、ある画像クラスタと別の画像クラスタとは異なる対象物を表していると考えているためである。
【００９２】
以上により、分類結果ペア（Ａ２−Ｂ１）では、（Ａ２−１、Ｂ１−１）と（Ａ２−２、Ｂ１−２）とが対応付けられたので、分類結果間スコアは両組み合わせのクラスタ間スコアの和を計算して、４０＋２０＝６０となる。このスコアは、音響区間分類結果Ａ２と画像区間分類結果Ｂ１とが、どれだけ良く対応付いているかを表している。言い換えれば、このスコアは、分類結果として音響区間分類結果Ａ２と画像区間分類結果Ｂ１とを同時に選択したときに、それぞれの分類結果がどれだけ尤もらしいかどうかを表している。また、分類結果ペア（Ａ２−Ｂ１）では、音響クラスタＡ２−１と画像クラスタＢ１−１、および、音響クラスタＡ２−２と画像クラスタＢ１−２、がそれぞれ同一人物を表している可能性が最も高いということも分かる。
【００９３】
なお、分類結果ペアに含まれる音響クラスタと画像クラスタとを対応付ける方法としては、音響クラスタと画像クラスタとの間で取りうるすべての対応付けパターンに対して仮の分類結果間スコアを計算し、分類結果間スコアが最大となる対応付けパターンを採用しても良い。例えば、分類結果ペア（Ａ２−Ｂ１）で取りうる対応付けパターンとしては、「（Ａ２−１、Ｂ１−１）と（Ａ２−２、Ｂ１−２）」、「（Ａ２−１、Ｂ１−１）と（Ａ２−２、Ｂ１−３）」、「（Ａ２−１、Ｂ１−２）と（Ａ２−２、Ｂ１−１）」「（Ａ２−１、Ｂ１−２）と（Ａ２−２、Ｂ１−３）」「（Ａ２−１、Ｂ１−３）と（Ａ２−２、Ｂ１−１）」「（Ａ２−１、Ｂ１−３）と（Ａ２−２、Ｂ１−２）」の６通りが存在する。これらそれぞれの対応付けパターンに対して仮の分類結果間スコアを計算すると、６０、３０、０、−１０、−３０、−１０となる。したがって、スコアが最大の６０となる対応付けパターン「（Ａ２−１、Ｂ１−１）と（Ａ２−２、Ｂ１−２）」を採用し、分類結果間スコアは６０となる。
【００９４】
このように音響クラスタと画像クラスタとを対応付けることで、分類結果ペアにおいて考えられるすべてのクラスタ間の対応付けパターンを漏らさず検証できるので、最適な分類結果間スコアを計算することができる。
【００９５】
以上述べた方法により、分類結果間スコア計算部１０７は、分類結果ペア生成部によって生成されたそれぞれの分類結果ペアに対して、分類結果間の対応付けの良さを表す分類結果間スコアを計算することができる。図９Ａ〜図９Ｆを参照すると、分類結果ペア（Ａ１−Ｂ１）の分類結果間スコアは４０、分類結果ペア（Ａ２−Ｂ１）の分類結果間スコアは４０＋２０＝６０、分類結果ペア（Ａ３−Ｂ１）の分類結果間スコアは２０＋２０−１０＝３０、分類結果ペア（Ａ１−Ｂ２）の分類結果間スコアは２０、分類結果ペア（Ａ２−Ｂ２）の分類結果間スコアは０＋２０＝２０、分類結果ペア（Ａ３−Ｂ２）の分類結果間スコアは０＋２０＋０＝２０、となる。
【００９６】
最後に、分類結果出力部１０８は、分類結果間スコア計算部１０７によって計算されたそれぞれの分類結果間スコアを比較して、分類結果間スコアの大きな分類結果ペアを選択し、選択された分類結果ペアを構成する音響区間分類結果および画像区間分類結果を出力する（ステップＳ１７）。これら音響区間分類結果および画像区間分類結果は、例えば、記憶部（図示せず）に保存出力され、画面表示部（図示せず）に画面表示され、あるいは外部装置（図示せず）へ送信される。
【００９７】
本実施形態においては、分類結果間スコアが最も大きな６０である分類結果ペア（Ａ２−Ｂ１）を選択し、この分類結果ペアを構成する音響区間分類結果Ａ２を音響区間分類結果記憶部１１２に出力し、画像区間分類結果Ｂ１を画像区間分類結果記憶部１１３に出力する。すなわち、最終的には、音響区間分類結果として音響クラスタＡ２−１，Ａ２−２が得られ、画像区間分類結果として画像クラスタＢ１−１、Ｂ１−２、Ｂ１−３が得られる。これらの分類結果は、本実施形態における映像データに登場する人物Ｘ、Ｙ、Ｚの３名に正しく対応付いており、分割不足も過分割も起こしていない。
【００９８】
本実施形態において、このように真の人物数と同じクラスタ数の分類結果を正しく得られる理由は、真の人物数と同じクラスタ数である分類結果を選択したときに、音響クラスタと画像クラスタとの間のそれぞれのクラスタ間スコアが最も大きくなり、その結果、分類結果間スコアが大きくなるためである。
【００９９】
例えば、本実施形態においては、音響区間分類結果Ａ３では、人物Ｘに対応する声が音響クラスタＡ３−１とＡ３−３の２つのクラスタに過分割されてしまっている。すると、いずれの音響クラスタも人物Ｘに対応する画像クラスタＢ１−１とのクラスタ間スコアは小さくなってしまう。クラスタ間対応付け部１０７２では、音響クラスタと画像クラスタとの対応付けパターンとして１対１の対応しか許していないため、このように同一人物が過分割されてしまった分類結果はスコアが小さくなり、選択されない。
【０１００】
また、本実施形態における音響区間分類結果Ａ１では、人物Ｘと人物Ｙに対応する声が音響クラスタＡ１−１の１つのクラスタに混在してしまっている。したがって、音響クラスタＡ１−１は、人物Ｘに対応する画像クラスタＢ１−１とも人物Ｙに対応する画像クラスタＢ１−２ともクラスタ間スコアが小さくなってしまうため、やはりこのような分類結果は選択されない。
【０１０１】
また、音響区間の分類と画像区間の分類とは、それぞれ性質の異なる特徴量を用いて行っているため、両者の過分割および分割不足の傾向は一般に異なると考えられる。例えば、本実施形態においては、音響区間分類結果Ａ３の音響クラスタＡ３−１とＡ３−３は人物Ｘの声が過分割された結果である。一方、画像区間分類結果Ｂ２の画像クラスタＢ２−１とＢ２−４は同じ人物Ｘの顔が過分割された結果である。しかし、両者が、全く同じように過分割されることは考えにくく、図５と図６に示したように、それぞれ異なる過分割結果となることがほとんどである。したがって、過分割された音響クラスタと画像クラスタ同士が組み合わさることで良いクラスタ間スコアが得られることはほとんどなく、このような組み合わせが選択されることもない。
【０１０２】
以上の理由により、事前にパラメータ調整をすることなく、映像データに含まれる複数の音響区間と複数の画像区間を、対象物ごとに精度良く分類することが可能である。本実施形態においては、映像データに含まれる人物の声の区間と人物の顔の区間とを、人物ごとに分類することができた。
【０１０３】
なお、分類結果出力部１０８は、最終的に選択された分類結果ペアに対する分類結果スコアを分類結果間スコア計算部１０７が計算したときの、音響クラスタと画像クラスタとの対応付けパターンを、クラスタ間対応付け結果記憶部１１４に出力しても良い。本実施形態においては、選択された分類結果ペア（Ａ２−Ｂ１）に対する分類結果スコアは、音響クラスタと画像クラスタとを「（Ａ２−１、Ｂ１−１）と（Ａ２−２、Ｂ１−２）」と対応付けたときに得られているため、音響クラスタＡ２−１と画像クラスタＢ１−１は同一人物の声と顔を表しており、また、音響クラスタＡ２−２と画像クラスタＢ１−２は別の同一人物の声と顔を表していることを出力すれば良い。
【０１０４】
［第２の実施形態の効果］
このように、本実施形態の音響画像区間分類装置１００は、映像データに含まれる声の区間の分類結果の候補および顔の区間の分類結果の候補をそれぞれ複数生成し、それら分類結果の候補の中から、声の分類結果と顔の分類結果との間で最も良い対応がとれるような声の分類結果と顔の分類結果とを出力する。
【０１０５】
したがって、本実施形態によれば、事前にパラメータ調整することなく、映像データに含まれる複数の声の区間と複数の顔の区間を、人物ごとに精度良く分類した分類結果を得ることができる。
【０１０６】
なお、本実施形態においては、分類結果複数生成部１０５は、音響区間分類部１０３と画像区間分類部１０４の両方を複数の動作条件で動作させて、複数の音響区間分類結果および複数の画像区間分類結果を生成した。しかし、分類結果複数生成部１０５は、音響区間分類部１０３と画像区間分類部１０４のどちらか一方のみを複数の動作条件で動作させても良い。
【０１０７】
例えば、音響区間分類結果を複数生成し、画像区間分類結果は１つのみ生成しても良い。これは、画像区間分類部１０４の精度が高いときに有効である。例えば、映像データ内に登場する人物の顔データが予め収集可能で、事前に人物ごとに顔のモデルを作成しておくことで、画像区間分類部１０４は高精度な顔照合により実現される場合などである。このようなときは、画像区間分類結果として高精度な１つの結果を出力し、音響区間分類結果を複数出力した上で、分類結果ペア生成部１０６以降の同様の処理を行えば良い。このようにすることで、音響区間分類結果のみを選択すれば良くなるため、高精度な音響区間分類結果を得ることができる。また、これとは逆に、高精度な音響区間分類結果を１つ出力し、画像区間分類結果を複数出力しても良いことはもちろんである。
【０１０８】
また、本実施形態においては、分類結果ペア生成部１０６は、複数の音響区間分類結果（Ａ１，Ａ２，Ａ３）と複数の画像区間分類結果（Ｂ１，Ｂ２）との間で考えられるすべてのペアを生成した。これに対して、分類結果ペア生成部１０６で、まず、動作条件が大きく異なる分類結果を用いて分類結果ペアをいくつか生成し、次に、それらの分類結果ペアに対して分類結果間スコア計算部１０７が分類結果間スコアを計算し、再び、分類結果ペア生成部１０６は、分類結果間スコアの大きな分類結果ペアを構成する音響区間分類結果と画像区間分類結果を生成した動作条件に近い動作条件によって生成された音響区間分類結果と画像区間分類結果とから構成される分類結果ペアを優先して生成する、ということを繰り返しても良い。
【０１０９】
この処理を図１０と図１１を用いて説明する。
ここでは、音響区間分類部１０３と画像区間分類部１０４の動作条件を変更することで、クラスタ数が変化するものとする。音響区間分類結果として音響クラスタ数が１個〜Ｍ個までの分類結果が得られ、画像区間分類結果として画像クラスタ数が１個〜Ｎ個までの分類結果が得られるものとする。
【０１１０】
このとき、分類結果ペア生成部１０６は、まず、動作条件が大きく異なる分類結果として、音響クラスタ数がＭ×１／４およびＭ×３／４の分類結果と、画像クラスタ数がＮ×１／４およびＮ×３／４の分類結果とを組み合わせて分類結果ペアを生成する。これらの分類結果ペアに対する分類結果間スコアを計算した結果、図１０に示すように、音響クラスタ数Ｍ×１／４の分類結果と画像クラスタ数がＮ×３／４の分類結果とから構成される分類結果ペアが最大のスコア３０であったとする。このとき、分類結果ペア生成部１０６は、図１１に示すように、この分類結果ペアと動作条件が近い分類結果ペアを生成し、再び分類結果間スコアを計算する。すなわち、クラスタ数が近い分類結果同士を組み合わせる。
【０１１１】
このような処理を繰り返すことで、すべての分類結果ペアに対して分類結果間スコアを計算することなく、最終的に適切な分類結果ペアを選択することができる。したがって、大幅な計算量の削減が可能となる。なお、分類結果複数生成部１０５も同様に、最初から全ての分類結果を生成せずに、動作条件が大きく異なるような分類結果のみを生成し、繰り返し分類結果を生成しても良い。これにより、さらに計算量を削減することが可能となる。
【０１１２】
また、本実施形態においては、分類結果複数生成部１０５は、分類結果として得られるクラスタの数が変化するような複数の動作条件によって、音響区間分類部１０３と画像区間分類部１０４とを動作させた。しかし、分類結果複数生成部１０５は、複数の異なるクラスタリング手法を用いて音響区間分類部１０３、或いは、画像区間分類部１０４を動作させても良い。複数のクラスタリング手法としては、例えば、非特許文献１に記載の手法やｋ−ｍｅａｎｓ法などが考えられる。このようにすることで、複数のクラスタリング手法による分類結果の中から、最適な分類結果を選択することが可能となる。
【０１１３】
［第３の実施形態］
次に、図１２を参照して、本発明の第３の実施形態にかかる音響画像区間分類装置について説明する。
【０１１４】
本実施形態は、第１の実施形態をプログラムにより構成した場合に、そのプログラムにより動作するコンピュータとして実現される。
図１２を参照すると、本実施形態にかかる音響画像区間分類装置１００は、ＣＰＵ等を含んで構成されるデータ処理装置２２０と、磁気ディスクや半導体メモリ等で構成される記憶装置２３０と、音響画像区間分類用プログラム２１０とから構成される。
【０１１５】
記憶装置２３０は、映像データ記憶部２３１、音響区間分類結果記憶部２３２、画像区間分類結果記憶部２３３、クラスタ間対応付け結果記憶部２３４などとして使用される。
【０１１６】
音響画像区間分類用プログラム２１０は、データ処理装置２２０に読み込まれ、データ処理装置２２０の動作を制御することにより、データ処理装置２２０上に第１の実施形態にかかる音響画像区間分類装置１００の機能を実現する。すなわち、データ処理装置２２０は、音響画像区間分類用プログラム２１０の制御によって、前述した音響区間分類部１０３、画像区間分類部１０４、分類結果複数生成部１０５、分類結果ペア生成部１０６、分類結果間スコア計算部１０７、分類結果出力部１０８などの処理を実行する。
【０１１７】
この出願は、２００９年１１月１９日に出願された日本出願特願２００９−２６４１０７を基礎とする優先権を主張し、その開示を全てここに取り込む。
【０１１８】
［実施形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【産業上の利用可能性】
【０１１９】
本発明は、会議映像、放送映像、講義映像などの様々な映像における音響区間と画像区間とを対象物ごとに分類することで、映像に含まれる対象物を容易に把握、検索、閲覧できる映像検索閲覧システムや、映像検索閲覧システムをコンピュータに実現するためのプログラムといった用途に適用できる。また、これらの映像に登場する人物の一覧を作成したり、人物の登場するシーンを検索、閲覧したりできる人物検索閲覧システムといった用途にも適用可能である。
【符号の説明】
【０１２０】
１００…音響画像区間分類装置、１０１…音響区間分類部、１０２…画像区間入力部、１０３…音響区間分類部、１０４…画像区間分類部、１０５…分類結果複数生成部、１０６…分類結果ペア生成部、１０７…分類結果間スコア計算部、１０７１…クラスタ間スコア計算部、１０７２…クラスタ間対応付け部、１０８…分類結果出力部、１１１…映像データ記憶部、１１２…音響区間分類結果記憶部、１１３…画像区間分類結果記憶部、１１４…クラスタ間対応付け結果記憶部、２１０…音響画像区間分類用プログラム、２２０…データ処理装置、２３０…記憶装置、２３１…映像データ記憶部、２３２…音響区間分類結果記憶部、２３３…画像区間分類結果記憶部、２３４…クラスタ間対応付け結果記憶部。
【図１】
0005626221.tif 000004
【図２】
0005626221.tif 000005
【図３】
0005626221.tif 000006
【図４】
0005626221.tif 000007
【図５】
0005626221.tif 000008
【図６】
0005626221.tif 000009
【図７】
0005626221.tif 000010
【図８】
0005626221.tif 000011
【図９Ａ】
0005626221.tif 000012
【図９Ｂ】
0005626221.tif 000013
【図９Ｃ】
0005626221.tif 000014
【図９Ｄ】
0005626221.tif 000015
【図９Ｅ】
0005626221.tif 000016
【図９Ｆ】
0005626221.tif 000017
【図１０】
0005626221.tif 000018
【図１１】
0005626221.tif 000019
【図１２】
0005626221.tif 000020