(57)【要約】【課題】ある一人の人物の辞書を作成するときに、顔の向きや表情などが変動しても作成できる画像処理装置の提供する。【解決手段】動画像の各フレームの画像から、顔領域をそれぞれ検出する顔検出部１４と、顔の向きによって変化する顔状態を、顔領域から識別する顔状態識別部１６と、顔領域を顔状態毎に分類する顔分類部２０と、隣接するフレーム間で顔領域の移動距離が閾値以内という条件を具備するときに、各フレームの顔領域を、一つのシーケンスとして関連付けるシーケンス作成部１８と、状態毎に分類された顔領域を、シーケンス毎に格納する辞書をそれぞれ作成する顔画像辞書作成部２２と、異なるシーケンスの辞書にそれぞれ格納された同じ状態の顔領域同士の類似度を計算し、前記類似度が高いシーケンス同士を結合し、結合した複数のシーケンスに属する顔領域を同一人物の顔であると判定する顔クラスタリング部２６とを有する。【選択図】      図１
2009042876.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力する動画像入力部と、
前記動画像の各フレームの画像から、顔領域をそれぞれ検出する顔検出部と、
顔の向き、顔の表情、または、顔への光の当たり具合によって変化する顔状態を、前記顔領域の画像から識別する顔状態識別部と、
前記顔領域を前記顔状態毎に分類する顔分類部と、
隣接する前記フレーム間で前記顔領域の移動距離が閾値以内という条件を具備するときに、前記各フレームの前記顔領域を、一つのシーケンスとして関連付けるシーケンス作成部と、
前記状態毎に分類された前記顔領域の画像パターンを用いて、前記シーケンス毎に辞書を作成する辞書作成部と、
異なる前記シーケンスの前記顔領域の画像パターンを用いて作成された辞書同士の類似度を前記状態毎に計算し、前記類似度が高いシーケンス同士を結合する結合部と、
前記結合した複数のシーケンスに属する前記顔領域を同一人物の顔であると判定する判定部と、
を有する画像処理装置。
【請求項２】
前記顔状態識別部は、
前記顔領域中から唇を抽出し、前記唇の開閉状態を認識し、前記開閉状態に基づいて前記顔の表情を識別する、
請求項１記載の画像処理装置。
【請求項３】
前記シーケンス作成部は、
前記条件に加えて、前記各フレームの前記顔領域のサイズの相違が、所定の範囲内であるという条件を具備したときに、前記各フレームの前記顔領域を、前記一つのシーケンスとして関連付ける、
請求項２記載の画像処理装置。
【請求項４】
前記シーケンス作成部は、
前記条件に加えて、前記フレーム間においてシーンの切り替わりがないという条件を具備したときに、前記各フレームの前記顔領域を、前記一つのシーケンスとして関連付ける、
請求項２記載の画像処理装置。
【請求項５】
動画像を入力する動画像入力ステップと、
前記動画像の各フレームの画像から、顔領域をそれぞれ検出する顔検出ステップと、
顔の向き、顔の表情、または、顔への光の当たり具合によって変化する顔状態を、前記顔領域の画像から識別する顔状態識別ステップと、
前記顔領域を前記顔状態毎に分類する顔分類ステップと、
隣接する前記フレーム間で前記顔領域の移動距離が閾値以内という条件を具備するときに、前記各フレームの前記顔領域を、一つのシーケンスとして関連付けるシーケンス作成ステップと、
前記状態毎に分類された前記顔領域の画像パターンを用いて、前記シーケンス毎に辞書を作成する辞書作成ステップと、
異なる前記シーケンスの前記顔領域の画像パターンを用いて作成された辞書同士の類似度を前記状態毎に計算し、前記類似度が高いシーケンス同士を結合する結合ステップと、
前記結合した複数のシーケンスに属する前記顔領域を同一人物の顔であると判定する判定ステップと、
を有する画像処理方法。
【請求項６】
動画像を入力する動画像入力機能と、
前記動画像の各フレームの画像から、顔領域をそれぞれ検出する顔検出機能と、
顔の向き、顔の表情、または、顔への光の当たり具合によって変化する顔状態を、前記顔領域の画像から識別する顔状態識別機能と、
前記顔領域を前記顔状態毎に分類する顔分類機能と、
隣接する前記フレーム間で前記顔領域の移動距離が閾値以内という条件を具備するときに、前記各フレームの前記顔領域を、一つのシーケンスとして関連付けるシーケンス作成機能と、
前記状態毎に分類された前記顔領域の画像パターンを用いて、前記シーケンス毎に辞書を作成する辞書作成機能と、
異なる前記シーケンスの前記顔領域の画像パターンを用いて作成された辞書同士の類似度を前記状態毎に計算し、前記類似度が高いシーケンス同士を結合する結合機能と、
前記結合した複数のシーケンスに属する前記顔領域を同一人物の顔であると判定する判定機能と、
をコンピュータによって実現する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を各出演者毎の出演シーンに分類する技術において、出演者の顔の状態を識別し、状態毎に顔の類似度を計算することにより、顔向きや表情などの変動による識別性能の低下を防ぐことができる画像処理装置及びその方法に関する。
【背景技術】
【０００２】
テレビ番組などの映像（動画像）コンテンツを効率よく視聴するための方法として、映像中の顔を検出し、同一人物の顔同士をマッチングすることにより、各シーンを登場人物毎に分類する方法が考えられる。
【０００３】
例えば、多数の歌手が出演する歌番組の場合、番組全体が各歌手の出演シーンに分類されていれば、視聴者は各歌手の出演シーンを次々と頭出しすることにより、自分の好きな歌手だけを効率よく視聴することが可能となる。
【０００４】
ところで、映像中の人物は様々な顔向きや表情をしているため、それらの変動により、異なるシーンにおける同一人物の顔類似度が大きく低下するという問題点がある。この問題点を解決するため、顔の向きや表情を認識し、斜め向きの顔や笑っている顔を用いないで辞書を作成する方法などが提案されている（例えば、特許文献１参照）。しかしながら、この方法では斜め向きや笑っている顔だけで構成されるシーンは全て排除することになる。
【０００５】
映像インデキシングのユーザがある人物のシーンだけを視聴しようとしているとき、正面向きの顔だけで十分であるとは考えにくい。従って斜め向きの顔を排除する方法ではユーザの要求を十分に満たすことはできない。また、斜め向きの顔を正面向きに補正する方法なども提案されている（例えば、特許文献２参照）。しかし、斜め向きの顔は顔特徴点の安定な検出が困難であるなどの理由により、有効性は十分ではない。
【特許文献１】特開２００１−１６７１１０公報
【特許文献２】特開２００５−２２７９５７公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように、従来技術を用いる場合、ユーザが指定した人物のシーンに斜め向きや笑っている顔が含まれないという問題点があった。
【０００７】
そこで本発明は、上記問題点を解決するためになされたものであり、ある一人の人物の辞書を作成するときに、顔の向きや表情などが変動しても作成できる画像処理装置の実現を目的とする。
【課題を解決するための手段】
【０００８】
本発明は、動画像を入力する動画像入力部と、前記動画像の各フレームの画像から、顔領域をそれぞれ検出する顔検出部と、顔の向き、顔の表情、または、顔への光の当たり具合によって変化する顔状態を、前記顔領域の画像から識別する顔状態識別部と、
前記顔領域を前記顔状態毎に分類する顔分類部と、隣接する前記フレーム間で前記顔領域の移動距離が閾値以内という条件を具備するときに、前記各フレームの前記顔領域を、一つのシーケンスとして関連付けるシーケンス作成部と、前記状態毎に分類された前記顔領域の画像パターンを用いて、前記シーケンス毎に辞書を作成する辞書作成部と、異なる前記シーケンスの前記顔領域の画像パターンを用いて作成された辞書同士の類似度を前記状態毎に計算し、前記類似度が高いシーケンス同士を結合する結合部と、前記結合した複数のシーケンスに属する前記顔領域を同一人物の顔であると判定する判定部と、を有する画像処理装置。
【発明の効果】
【０００９】
本発明により、例えば正面向きや斜め向きの顔が混在しているシーンと斜め向きの顔だけで構成されるシーンのマッチングが可能となり、これにより各登場人物の斜め向きの顔が映っているシーンを「見落とす」ことを防ぐことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態の画像処理装置である映像インデキシング装置１０について図面に基づいて説明する。
【００１１】
（第１の実施形態）
第１の実施形態の映像インデキシング装置１０について図１〜図１０に基づいて説明する。
【００１２】
（１）映像インデキシング装置１０の構成
図１は、本実施形態に係わる映像インデキシング装置１０を示すブロック図である。
【００１３】
映像インデキシング装置１０は、動画像を入力する動画像入力部１２と、動画像の各フレームから顔を検出する顔検出部１４と、検出された顔の状態を識別する顔状態識別部１６と、検出された全ての顔の中から時間的及び位置的に連続する一連の顔を用いてシーケンスを作成するシーケンス作成部１８と、得られた顔状態情報に基づいて各フレーム中の顔を状態毎に分類する顔分類部２０と、各シーケンスについて状態毎の顔画像辞書を作成する顔画像辞書作成部２２と、作成された辞書を用いて状態毎に顔画像類似度を計算する顔類似度計算部２４と、顔画像辞書同士の類似度を用いて動画像中の各シーンをグルーピングする顔クラスタリング部２６を備えている。
【００１４】
上記各部１２〜２６の機能は、コンピュータに格納されたプログラムによっても実現できる。
【００１５】
以下では図１及び図２を用いて、映像インデキシング装置１０の動作について説明する。図２は、映像インデキシング装置１０の動作を示すフローチャートである。
【００１６】
（２）動画像入力部１２
動画像入力部１２は、ＭＰＥＧ形式のファイルから読み込むなどの方法によって動画像を入力し（ステップ１）、フレーム毎の画像を取り出して顔検出部１４へ送信する（ステップ２）。
【００１７】
（３）顔検出部１４
顔検出部１４は、画像中から顔領域を検出し（ステップ３）、画像と顔位置の情報を顔状態識別部１６へ送信する。
【００１８】
（４）顔状態識別部１６
顔状態識別部１６は、顔検出部１４で検出された全ての顔の状態を識別し（ステップ４）、各顔に状態ラベルを付与する。
【００１９】
なお、本実施形態では「顔の状態」の一例として顔の向きを用いる。顔向きのラベルは、正面を含めた９つの方向（正面、上、下、左、右、左上、左下、右上、右下）を用いるものとする。
【００２０】
まず、顔の特徴点として両目、両鼻孔、両口端の６点を検出し、それらの位置関係から因子分解法を用いて９つの顔向きのいずれに該当するかを決定する。
【００２１】
顔特徴点の位置関係から顔の向きを決定する方法については、非特許文献１などを参考にされたい。非特許文献１とは、山田貢己、中島朗子、福井和広「因子分解法と部分空間法による顔向き推定」電子情報通信学会技術研究報告 PRMU2001-194,pp.1-8，2002.である。すなわち、顔向きを識別する方法として、予め様々な向きの顔画像を用いて複数の顔向きのテンプレートを作成しておき、それらの顔向きテンプレートの中から最も類似度の高いテンプレートを求めることによって顔向きを判定する、
このようにして顔状態識別部１６において識別された各顔の顔向きラベルは、顔向き情報として顔分類部２０へ送信される。
【００２２】
ステップ１〜４の処理は、入力した映像コンテンツの最後のフレームに到達するまで繰り返し実行される。
【００２３】
（５）シーケンス作成部１８
シーケンス作成部１８は、検出された全ての顔を各シーケンスに分類する（ステップ５）。
【００２４】
（５−１）シーケンスの定義
まず、本実施形態では、時間的及び位置的な連続性の条件を以下の（ａ）〜（ｃ）のように定義し、これら３つの条件を全て満たす一連の顔を１つの「シーケンス」とする。
【００２５】
（ａ）現在のフレームの顔領域が、１つ前のフレームにおける顔領域との中心間距離が十分に近い、すなわち、基準距離以下である、
（ｂ）現在のフレームの顔領域が、１つ前のフレームにおける顔領域とのサイズが十分に近い、すなわち、所定の範囲内である、
（ｃ）現在のフレームの顔領域と、１つ前のフレームにおける顔領域との間にシーン切り替わり（カット）がない。なお、ここで、連続する２枚のフレーム画像同士の類似度が閾値以下である場合、その２枚のフレームの間をシーンの切り替わり（カット）とする。
【００２６】
連続性条件に条件（ｃ）を加えたのは、次の理由による。テレビ番組や映画などの映像コンテンツでは、ある人物が出演しているシーンが切り替わった直後に、殆ど同じ場所に異なる人物が出演している場合がある。その場合、シーンの切り替わりを挟んだ２人の人物は同一人物とみなされる。この問題を解決するため、シーンの切り替わりを検出し、シーンの切り替わりを挟むシーケンスは必ずそこで分割するためである。
【００２７】
（５−２）シーケンスの具体例
図３に示す顔検出結果の一例を説明する。
【００２８】
連続する４枚のフレームにおいて順番に２個、２個、２個、１個の顔が検出された場合を表している。顔ｆ１、ｆ３、ｆ５、ｆ７は上記の連続性条件を満たすので、１つのシーケンスとする。
【００２９】
また、顔ｆ２、ｆ４、ｆ６も同様に連続性条件を満たすので、１つのシーケンスとする。
【００３０】
次に、図４に示す２人の人物Ｐ１，Ｐ２が登場するシーンにおける時刻Ｔ１〜Ｔ６のシーケンスの一例を説明する。なお、この時点では人物は特定されていないが、説明を簡単にするために、人物Ｐ１、Ｐ２で説明する。
【００３１】
まず、人物Ｐ１が登場する（時刻Ｔ１）。
【００３２】
その直後に人物Ｐ２が登場する（時刻Ｔ２）。
【００３３】
しばらく後に、人物Ｐ１が後ろを向いたため顔が検出されなくなる（時刻Ｔ３）。この時点で人物Ｐ１のシーケンスＳ１の範囲（時刻Ｔ１〜Ｔ３）が確定する。
【００３４】
その後、すぐに人物Ｐ１は元の正面向きに戻る（時刻Ｔ４）。
【００３５】
しかし、しばらくして今度は人物Ｐ２が画面中からいなくなる（時刻Ｔ５）。この時点で人物Ｐ２のシーケンスＳ２が確定する。
【００３６】
最後に、人物Ｐ１も画面からいなくなり（時刻Ｔ６）、シーケンスＳ３が確定する。
【００３７】
現在のコンピュータビジョン技術を用いて異なる向きの顔が同一人物であるかを判断することは困難であるが、本実施形態のようにトラッキングを用いれば、異なる向きの顔が同一人物であるかどうかを比較的容易に判定することができる。
【００３８】
シーケンス作成部１８は、顔検出部１４から送信された顔位置情報に基づいて上記のようなシーケンス作成処理を映像コンテンツ全体に対して行い、作成した各シーケンスの範囲を表すシーケンス範囲情報を顔分類部２０に送信する。
【００３９】
（６）顔分類部２０
顔分類部２０は、顔状態識別部１６から送信された顔向き情報とシーケンス作成部１８から送信されたシーケンス範囲情報に基づき、各シーケンスにおいて検出された顔から正規化した顔画像を作成し、９つの顔向きのいずれかに分類する（ステップ６）。
【００４０】
図５は、ある人物Ｐ３が登場するシーケンスを表している。人物Ｐ３の顔は時刻Ｔ１に検出され、その後、時刻Ｔ４まで連続的に検出され続ける。その間、時刻Ｔ２で一度左側を向き、時刻Ｔ３に再び正面向きに戻っている。
【００４１】
この場合に、顔分類部２０は、まず時刻Ｔ１〜Ｔ２までの正面向き顔画像を、９つの顔向きに対応する顔画像フォルダのうち正面顔フォルダに格納する。
【００４２】
次に、時刻Ｔ２〜Ｔ３までの左向き顔画像を左向き顔フォルダに格納する。
【００４３】
最後に、時刻Ｔ３〜Ｔ４までの正面向き顔画像を、正面顔フォルダに格納する。
【００４４】
このようにして、顔分類部２０においてシーケンス毎にフォルダに格納された顔顔画像は、顔辞書作成部２２に送信される。なお、このフォルダは、シーケンス毎に、かつ、顔毎に生成される。すなわち、シーケンスＳ１のあるフレームにおいて、正面向きの顔が２つ存在していれば、２つの正面顔フォルダが生成される。
【００４５】
（７）顔辞書作成部２２
顔辞書作成部２２は、顔分類部２０から送信された顔画像を用いて、各シーケンスにおいて９つの顔向き毎に顔画像辞書を作成する（ステップ７）。
【００４６】
以下では図６を参照しながら、ｍ番目のシーケンスに関する顔画像辞書を作成する方法について説明する。
【００４７】
図６におけるシーケンスｍは図５における人物Ｐ３のシーケンスと同一であることを想定しており、９つの各顔向きに対応するフォルダのうち、正面顔フォルダと左向き顔フォルダだけに顔画像が格納されているものとする。また、図６は、正面向き顔画像の枚数がＮｆ以上であり、左向き顔画像の枚数が１以上Ｎｆ未満、他の７つの顔向きについては０枚である場合を表している。
【００４８】
第１に、正面顔フォルダに格納されている顔画像の数をカウントする。
【００４９】
第２に、正面向き顔画像の枚数が、Ｎｆ以上であるので、フォルダに格納されている顔画像を主成分分析することによって、部分空間辞書Ｄｓ（ｍ，正面）を作成する。このときに、正面顔フォルダに格納されている全て正面顔画像を用いても良いし、フォルダに含まれる正面顔画像の一部を用いても良い。但し、Ｎｆ枚以上は必ず確保する。このとき作成される部分空間辞書の次元数はＮｆである。
【００５０】
第３に、左向き顔フォルダに格納されている顔画像の数をカウントする。
【００５１】
第４に、左向き顔画像の枚数が１枚以上、かつ、Ｎｆ枚未満であるので、フォルダに格納されている左向き顔画像の平均ベクトルを、平均ベクトル辞書Ｄｖ（ｍ，左）とする。
【００５２】
２種類の辞書を用いる理由は、部分空間辞書は顔画像枚数が少ないと結果が不安定になる傾向があるためである。Ｎｆは映像インデキシング装置１０の設計者が適当に決めることができるパラメータである。
【００５３】
なお、顔画像の主成分分析や平均ベクトル化の前に、照明変動を抑制するフィルタなどで前処理を行うことも可能である。
【００５４】
このようにして顔辞書作成部２２が作成した全ての顔画像辞書は、顔類似度計算部２４へ送信される。
【００５５】
（８）顔類似度計算部２４
顔類似度計算部２４は、顔辞書作成部２２から送信された顔画像辞書同士の類似度を計算する（ステップ８）。
【００５６】
類似度の計算は、全てのシーケンスについて総当りで行う。ｍ番目とｎ番目のシーケンスの類似度Ｓｉｍ（ｍ，ｎ）は、両シーケンスの９つの顔向きに関する類似度Ｓｉｍ（ｍ，ｎ，ｆ）の最大値として下記の式（１）で定義される。
【００５７】
Ｓｉｍ（ｍ，ｎ）＝Ｍａｘ（Ｓｉｍ（ｍ，ｎ，ｆ））    ・・・（１）
ここでｆは９つの顔向きのいずれかを表す。
【００５８】
なお、ｍ番目とｎ番目のシーケンスのどちらか一方が顔向きｆの辞書を有していない場合、Ｓｉｍ（ｍ，ｎ，ｆ）は、０とする。
【００５９】
（８−１）全てのシーケンスが正面向きの顔だけで構成された場合
以下ではまず簡単のため、全てのシーケンスが正面向きの顔だけで構成されている場合の３つのパターンについて説明する。
【００６０】
図７は、２つの辞書の類似度を計算する場合の３つのパターンを表している。
【００６１】
第１のパターンは、２つの辞書が共に部分空間である場合である。この場合には、類似度は相互部分空間法（下記の非特許文献２参照）によって計算する。ここで、Ｄｓ（ｍ，正面）は、ｍ番目のシーケンスの正面向き顔画像の部分空間辞書を表す。
【００６２】
第２のパターンは、２つの辞書が共に平均ベクトルの場合である。この場合には、ベクトル同士の内積を類似度とする。ここで、Ｄｖ（ｍ，正面）は、ｍ番目のシーケンスの正面向き顔画像の平均ベクトル辞書を表す。
【００６３】
第３のパターンは、部分空間と平均ベクトルの場合である。この場合には、部分空間法（下記の非特許文献３参照）によって類似度を計算することができる（パターン３）。
【００６４】
非特許文献２とは、山口 修、福井 和広、前田 賢一「動画像を用いた顔認識システム」電子情報通信学会技術研究報告 PRMU97-50,pp.17-24，(1997).である。
【００６５】
非特許文献３とは、エルッキ・オヤ「パターン認識と部分空間法」産業図書（１９８６）である。
【００６６】
なお、ここまでの説明では、顔画像数がＮｆ未満の場合は平均ベクトル辞書を作成するとしてきたが、顔画像数がＮｆ未満の場合でも部分空間辞書を作成し、平均ベクトルを用いない方法も考えられる。
【００６７】
（８−２）各シーケンスが正面向き以外の顔も含む場合
次に、各シーケンスが正面向き以外の顔も含む場合について説明する。
【００６８】
図８は、それぞれ正面向きのみ、正面向きと左向き、左向きのみによって構成される３つの異なるシーケンスＳ１、Ｓ２、Ｓ３を表している。
【００６９】
図９は、図８の３つのシーケンスの類似度を計算する際の計算方法を示している。
【００７０】
シーケンスＳ１とシーケンスＳ２の類似度Ｓｉｍ（ｓ１，ｓ２）は、それぞれ正面向きの部分空間辞書Ｄｓ（ｓ１，正面）及びＤｓ（ｓ２，正面） を有しているため、それら部分空間同士の類似度として相互部分空間法を用いて計算することができる。
【００７１】
シーケンスＳ２は、平均ベクトルＤｖ（ｓ２，左）も有しているが、シーケンスＳ１の部分空間辞書Ｄｓ（ｓ１，正面）と顔の向きが異なるため、類似度の計算は行わない。
【００７２】
シーケンスＳ２とシーケンスＳ３の類似度Ｓｉｍ（ｓ２，ｓ３）は、共に左向き顔の辞書を有しているため、Ｄｖ（ｓ２，左）とＤｓ（ｓ３，左）の類似度として部分空間法を用いて計算することができる。
【００７３】
シーケンスＳ２の部分空間辞書Ｄｓ（ｓ２，正面）とシーケンスＳ３の平均ベクトルＤｖ（ｓ３，左）は、顔の向きが異なるため類似度の計算は行わない。
【００７４】
最後に、シーケンスＳ１とシーケンスＳ３の類似度Ｓｉｍ（ｓ１，ｓ３）は、シーケンスＳ１とシーケンスＳ３が同じ顔向きの辞書を持たないため０となる。
【００７５】
従来法では、１つのシーケンスから一つの辞書を作成するため、シーケンスＳ２の辞書は正面向きと左向きが混在した顔画像から作成される。従って、もしもシーケンスＳ１とシーケンスＳ２が同一人物であったとしても、正面向きの顔だけで構成されるシーケンスＳ１とシーケンスＳ２の類似度は、正面向き同士の場合と比較して低くなる。その結果、同一人物のシーケンスであるにもかかわらずシーケンスＳ１とシーケンスＳ２は他人とみなされる可能性が高くなり、場合によっては３つのシーケンスは全て他人のものであると判断されることも十分に考えられる。
【００７６】
一方、本実施形態によれば、シーケンスＳ１とシーケンスＳ２の類似度は、正面向きの顔だけを用いて計算し、またシーケンスＳ２とシーケンスＳ３の類似度は、左向きの顔だけを用いて計算するため、上記のような異なる顔向きの混在による識別性能低下の問題は生じない。
【００７７】
（８−３）２つのシーケンスが両方とも複数の顔向きで構成される場合
最後に、２つのシーケンスが両方とも複数の顔向きで構成される場合の類似度の計算法について説明する。
【００７８】
図１０はそれぞれ、上向きと正面向きと左向きで構成されるシーケンスＳ１と、正面向きと左向きで構成されるシーケンスＳ２の辞書を表している。
【００７９】
シーケンスＳ１は３つの顔向き辞書、シーケンスＳ２は２つの顔向き辞書を有するが、共有する顔向きは正面と左向きの２種類だけなので、式（１）によってシーケンスＳ１とシーケンスＳ２の類似度Ｓｉｍ（ｓ１，ｓ２）は、Ｓｉｍ（ｓ１，ｓ２，正面）とＳｉｍ（ｓ１，ｓ２，左）の大きい方の値として計算される。
【００８０】
このようにして顔類似度計算部２４において、全てのシーケンスについて総当りで計算された類似度は、顔クラスタリング部２６へ送信される。
【００８１】
（９）顔クラスタリング部２６
顔クラスタリング部２６は、顔類似度計算部２４で算出されたシーケンス間の類似度を受信し、その情報に基づいてシーケンスの結合を行う（ステップ９）。
【００８２】
シーケンス作成部１８においてＮｓ個のシーケンスが作成されたとすると、Ｋ＝Ｎｓ（Ｎｓ−１）／２通りの組み合わせについて以下の処理を行う。
【００８３】
すなわち、Ｓｉｍ（ｍ，ｎ）＝＞Ｓｔｈのときは、ｍ番目とｎ番目のシーケンスを結合する。
【００８４】
ここでｍ、ｎはシーケンスの番号（１＜＝ｍ，ｎ＜＝Ｎｓ）、Ｓｔｈは閾値である。この処理をＫ通りの組み合わせについて行うことにより、同一人物のシーケンスは結合される。
【００８５】
（１０）適用例
映像インデキシングをアプリケーションとして実行する場合について説明する。
【００８６】
まず、対象となる映像コンテンツに対して本実施形態で説明した処理を行い、出演時間の多い順に上位Ｐ人の登場人物リストをサムネイル顔画像で表示し、あるサムネイル顔画像をクリックすると対応する人物の出演シーンだけを視聴できるなどの形態が考えられる。
【００８７】
このとき、各人物の出演シーン（シーケンス）がなるべく一つにまとまっていることがユーザにとって望ましい。上記のように、従来法は異なる顔向きが混在する場合に同一人物の類似度が低下するため、各人物の出演シーンが複数のグループに分割されたままとなる。この場合、上位Ｐ人のリストに同じ人物が複数含まれ、更にリストの下位の登場人物がリストから漏れ易いという問題が生じる。一方。本実施形態によれば、顔向きの混在による本人類似度の低下を防げるため、そのような問題は生じにくい。
【００８８】
（第２の実施形態）
次に、第２の実施形態の映像インデキシング装置１０について図１１、図１２に基づいて説明する。
【００８９】
（１）映像インデキシング装置１０の概要
第１の実施形態では、顔の状態として顔向きを用いる場合について説明した。本実施形態では、顔状態を複数種類用いる場合について説明する。具体的には、複数種類の顔状態として、顔向きと表情を用いることにする。
【００９０】
図１１は、本実施形態に係わる映像インデキシング装置１０を示すブロック図である。第１の実施形態との違いは、顔状態識別部１６が、顔向き識別部１６１と表情識別部１６２の２つから構成されていることである。
【００９１】
なお、本実施形態における処理の流れの概略は第１の実施形態と同じであるため、本実施形態に関するフローチャートは省略する。
【００９２】
以下では図１１及び図１２を用いて、本実施形態に係わる映像インデキシング装置１０の動作について説明する。
【００９３】
本実施形態における多くの処理は第１の実施形態と重複するため、以下の説明では第１の実施形態との差分に重点を置いて説明する。
【００９４】
（２）動画像入力部１２
動画像入力部１２は、ＭＰＥＧ形式のファイルから読み込むなどの方法によって動画像を入力し（ステップ１）、各フレーム毎の画像を取り出して顔検出部１４へ送信する（ステップ２）。
【００９５】
（３）顔検出部１４
顔検出部１４は、画像中から顔領域を検出し（ステップ３）、画像と顔位置の情報を顔状態識別部１６とシーケンス作成部１８へ送信する。
【００９６】
（４）顔状態識別部１６
顔状態識別部１６は、顔検出部１４で検出された全ての顔の状態（顔向き、表情）を識別し（ステップ４）、各顔に顔向きと表情の状態ラベルを付与する。
【００９７】
顔向きのラベルは、第１の実施形態と同様に、正面を含めた９つの方向（正面、上、下、左、右、左上、左下、右上、右下）を用いるものとする。顔向きの識別方法については第１の実施形態において既に述べたのでここでは割愛する。
【００９８】
表情のラベルは、「平常」と「非平常」の２種類を用いる。非平常は笑いなどで表情が無表情と大きく異なる状態を表すラベルであり、平常はそれ以外の状態を表す。具体的には、唇の開閉状態を画像処理によって認識し、唇が一定時間以上長く空いている場合を非平常状態とし、それ以外の場合を平常状態とする。
【００９９】
このようにして顔状態識別部１６において、識別された各顔の顔向きラベル及び表情ラベルは、顔状態情報として顔分類部２０へ送信される。
【０１００】
ステップ１〜４の処理は、入力した映像コンテンツの最後のフレームに到達するまで繰り返し実行される。
【０１０１】
（５）シーケンス作成部１８
本実施形態でも第１の実施形態と同様に、時間的及び空間的に連続する一連の顔を１つのシーケンスとして扱う。
【０１０２】
シーケンス作成部１８は、検出された全ての顔を各シーケンスに分類する（ステップ５）。シーケンス作成方法の詳細については第１の実施形態において説明したので、ここでは割愛する。映像コンテンツ全体から作成された各シーケンスの範囲を表す情報は、顔分類部２０に送信される。
【０１０３】
（６）顔分類部２０
顔分類部２０は、顔状態識別部１６から送信された顔向き情報とシーケンス作成部１８から送信されたシーケンス範囲情報に基づき、各シーケンスにおいて検出された顔から正規化した顔画像を作成し、９種（顔向き）×２種（表情）＝１８種の状態のいずれかに分類する（ステップ６）。
【０１０４】
図１２は、１８種類の状態ラベルに対応する画像フォルダを表している。各シーケンスはそれぞれ、これら１８種類のフォルダを有している。
【０１０５】
シーケンス毎に１８種類のフォルダに格納された顔正規化画像は、顔辞書作成部２２に送られる。
【０１０６】
（７）顔辞書作成部２２
顔辞書作成部２２は、顔分類部２０から送信された顔正規化画像を用いて、各シーケンスにおいて１８種類の顔状態毎に顔画像辞書を作成する（ステップ７）。
【０１０７】
ｍ番目のシーケンスにおける状態ｔの顔正規化画像の枚数をＮ（ｍ，ｔ）とする。もしＮ（ｍ，ｔ）がＮｆ枚以上であれば、フォルダに格納されている顔画像を主成分分析することによって、部分空間辞書Ｄｓ（ｍ，ｔ）を作成する。このときに、正面顔フォルダに格納されている全ての顔画像を用いても良いし、Ｎｆ枚以上であればフォルダに含まれる顔画像の一部を用いても良い。
【０１０８】
もし、ｍ番目のシーケンスにおける状態ｔの顔正規化画像の枚数が１枚以上、かつ、Ｎｆ枚未満であれば、フォルダに格納されている顔画像の平均ベクトルを平均ベクトル辞書Ｄｖ（ｍ，ｔ）とする。
【０１０９】
作成された全ての顔画像辞書は、顔類似度計算部２４へ送信される。
【０１１０】
（８）顔類似度計算部２４
顔類似度計算部２４は、顔辞書作成部２２から送信された顔画像辞書同士の類似度を計算する（ステップ８）。
【０１１１】
類似度の計算は、全てのシーケンスについて総当りで行う。ｍ番目とｎ番目のシーケンスの類似度Ｓｉｍ（ｍ，ｎ）は、両シーケンスの１８種類の状態に関する類似度Ｓｉｍ（ｍ，ｎ，ｔ）の最大値として下記の式（２）で定義される。
【０１１２】
Ｓｉｍ（ｍ，ｎ）＝Ｍａｘ（Ｓｉｍ（ｍ，ｎ，ｔ））    ・・・（２）
ここでｔは１８種類の状態のいずれかを表す。
【０１１３】
もし、ｍ番目とｎ番目のシーケンスのどちらか一方が状態ｔの辞書を有していない場合、Ｓｉｍ（ｍ，ｎ，ｔ）は０とする。
【０１１４】
顔類似度計算部２４において全てのシーケンスについて総当りで計算された類似度は、顔クラスタリング部２６へ送信される。
【０１１５】
（９）顔類似度計算部２４
顔クラスタリング部２６は、顔類似度計算部２４で算出されたシーケンス間の類似度を受信し、その情報に基づいてシーケンスの結合を行う（ステップ９）。
【０１１６】
シーケンス作成部１８においてＮｓ個のシーケンスが作成されたとすると、Ｋ＝Ｎｓ（Ｎｓ−１）／２通りの組み合わせについて以下の処理を行う。
【０１１７】
すなわち、Ｓｉｍ（ｍ，ｎ）＝＞Ｓｔｈのときは、ｍ番目とｎ番目のシーケンスを結合する。
【０１１８】
ここで、ｍ、ｎはシーケンスの番号（１＜＝ｍ，ｎ＜＝Ｎｓ）、Ｓｔｈは閾値である。
【０１１９】
この処理をＫ通りの組み合わせについて行うことにより、同一人物のシーケンスは結合される。
【０１２０】
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【０１２１】
上記実施形態では、顔の状態として顔向き、表情を用いたが、顔への光（例えば、照明）の当たり具合など、他の顔状態を用いて実施することも可能である。
【０１２２】
また、シーケンス作成部１８において、シーケンスを作成するためのトラッキングの方法としては、上記３つの条件以外に、出演者の服装を用いたマッチングや、オプティカルフローなどのモーション情報などを用いてトラッキングすることも可能である。
【０１２３】
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【０１２４】
【図１】本発明の第１の実施形態に係わる映像インデキシング装置の構成を示すブロック図である。
【図２】動作を示すフローチャートである。
【図３】シーケンスの説明図である。
【図４】２人の人物が登場するシーンにおけるシーケンスの一例の図である。
【図５】複数の顔向きを含むシーケンスの一例の図である。
【図６】部分空間辞書と平均ベクトル辞書の概念図である。
【図７】２つの辞書の類似度を計算する３つの方法を表す図である。
【図８】顔向きの構成が異なる３つのシーケンスの一例の図である。
【図９】図７における３つのシーケンスの類似度を計算する際の計算方法を示す図である。
【図１０】複数の顔向き辞書で構成されるシーケンス同士の類似度計算方法を示す図である。
【図１１】第２の実施形態に係わる映像インデキシング装置の構成を示すブロック図である。
【図１２】顔向きと表情によってラベリングされた１８種類の顔画像フォルダを示す図である。
【符号の説明】
【０１２５】
１０    映像インデキシング装置
１２    動画像入力部
１４    顔検出部
１６    顔状態識別部
１８    シーケンス作成部
２０    顔分類部
２２    顔画像辞書作成部
２４    顔類似度計算部
２６    顔クラスタリング部
【図１】
2009042876.tif 000003
【図２】
2009042876.tif 000004
【図３】
2009042876.tif 000005
【図４】
2009042876.tif 000006
【図５】
2009042876.tif 000007
【図６】
2009042876.tif 000008
【図７】
2009042876.tif 000009
【図８】
2009042876.tif 000010
【図９】
2009042876.tif 000011
【図１０】
2009042876.tif 000012
【図１１】
2009042876.tif 000013
【図１２】
2009042876.tif 000014