(57)【要約】【課題】  映像から感性的なキーフレームを所定の数のみ抽出し、効果的に表示する。【解決手段】  本発明は、映像入力手段から入力された入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納し、顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納し、スコア記憶手段から感性的表情スコアを取得して、該感性的表情スコアに基づいて顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力する。【選択図】  図１
2010224836.tif 000002
【特許請求の範囲】
【請求項１】
映像からキーフレームを抽出する映像処理方法であって、
顔画像判定手段が、映像入力手段から入力された入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納する顔画像判定ステップと、
感性的表示スコア算出手段が、前記顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納する感性的表示スコア算出ステップと、
キーフレーム選出・出力手段が、前記スコア記憶手段から前記感性的表情スコアを取得して、該感性的表情スコアに基づいて前記顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力ステップと、
を行うことを特徴とする映像処理方法。
【請求項２】
映像からキーフレームを抽出する映像処理方法であって、
顔画像判定手段が、映像入力手段から入力された入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納する顔画像判定ステップと、
感性的表示スコア算出手段が、前記顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納する感性的表示スコア算出ステップと、
キーフレーム選出・出力手段が、前記スコア記憶手段から前記感性的表情スコアを取得して、該感性的表情スコアに基づいて前記顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力ステップと、
表示制御手段が、前記顔画像が存在するフレームおける顔画像領域面積、位置と前記感性的表情スコアから出力した静止画を表示する表示ステップと、
を行うことを特徴とする映像処理方法。
【請求項３】
前記感性的表情スコア算出ステップにおいて、
楽しい、泣く、驚く、怒り、悲しみ、嫌悪、平静、の何れか１つ以上の感性的表情スコアを算出する
請求項１または２記載の映像処理方法。
【請求項４】
映像からキーフレームを抽出する映像処理装置であって、
映像を入力する映像入力手段と、
入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納する顔画像判定手段と、
前記顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納する感性的表示スコア算出手段と、
前記スコア記憶手段から前記感性的表情スコアを取得して、該感性的表情スコアに基づいて前記顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力手段と、
を有することを特徴とする映像処理装置。
【請求項５】
映像からキーフレームを抽出する映像処理装置であって、
映像を入力する映像入力手段と、
入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納する顔画像判定手段と、
前記顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納する感性的表示スコア算出手段と、
前記スコア記憶手段から前記感性的表情スコアを取得して、該感性的表情スコアに基づいて前記顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力手段と、
前記顔画像が存在するフレームにおける顔画像領域面積、位置と前記感性的表情スコアから出力した静止画を表示する表示手段と、
を有することを特徴とする映像処理装置。
【請求項６】
前記感性的表情スコア算出手段は、
楽しい、泣く、驚く、怒り、悲しみ、嫌悪、平静、の何れか１つ以上の感性的表情スコアを算出する手段を含む
請求項４または５記載の映像処理装置。
【請求項７】
請求項４乃至６記載の映像処理装置を構成する各手段としてコンピュータを機能させるための映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理方法及び装置及びプログラムに係り、特に、映像から感性的な人間の表情を有するキーフレームを抽出するための映像処理方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
映像からキーフレームを抽出する手法として、動物体が大きく写っているフレームをキーフレームとして抽出する方法がある（例えば、特許文献１参照）。
【０００３】
また、複数の画像データからカット点を検出する手法（例えば、特許文献２参照）、カメラワークを検出する手法（例えば、特許文献３参照）、映像からパノラマ画像を合成する手法（例えば、特許文献４参照）をキーフレーム抽出に適用することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２４４０７４号公報
【特許文献２】特許第２８３９１３２号公報
【特許文献３】特許第３４０８１１７号公報
【特許文献４】特許第３３２５８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来提案されている方法は、キーフレームを抽出できる利便性があるものの、それが感性的な人間の表情を有するフレームであるとの保証はなく、また、キーフレームが多数抽出されてしまい、例えば、キーフレームを視聴するにも長時間必要となる問題がある。
【０００６】
本発明は、上記の点に鑑みなされたもので、映像から感性的なキーフレームを所定の数のみ抽出し、効果的に表示することが可能な映像処理方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理を説明するための図である。
【０００８】
請求項１に係る発明は、映像からキーフレームを抽出する映像処理方法であって、
顔画像判定手段が、映像入力手段から入力された入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納する顔画像判定ステップ（ステップ１）と、
感性的表示スコア算出手段が、顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納する感性的表示スコア算出ステップ（ステップ２）と、
キーフレーム選出・出力手段が、スコア記憶手段から感性的表情スコアを取得して、該感性的表情スコアに基づいて顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力ステップ（ステップ３）と、を行う。
【０００９】
請求項２に係る発明は、映像からキーフレームを抽出する映像処理方法であって、
顔画像判定手段が、映像入力手段から入力された入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納する顔画像判定ステップと、
感性的表示スコア算出手段が、顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納する感性的表示スコア算出ステップと、
キーフレーム選出・出力手段が、スコア記憶手段から感性的表情スコアを取得して、該感性的表情スコアに基づいて顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力ステップと、
表示制御手段が、顔画像が存在するフレームおける顔画像領域面積、位置と感性的表情スコアから出力した静止画を表示する表示ステップと、を行う。
【００１０】
また、請求項３に係る発明は、請求項１または２の映像処理方法の感性的表情スコア算出ステップにおいて、
楽しい、泣く、驚く、怒り、悲しみ、嫌悪、平静、の何れか１つ以上の感性的表情スコアを算出する。
【００１１】
図２は、本発明の原理構成図である。
【００１２】
請求項４に係る発明は、映像からキーフレームを抽出する映像処理装置であって、
映像を入力する映像入力手段１０と、
入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段６０に格納する顔画像判定手段２０と、
顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段７０に格納する感性的表示スコア算出手段３０と、
スコア記憶手段７０から感性的表情スコアを取得して、該感性的表情スコアに基づいて顔画像記憶手段６０から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力手段５０と、を有する。
【００１３】
請求項５に係る発明は、映像からキーフレームを抽出する映像処理装置であって、
映像を入力する映像入力手段と、
入力映像をフレーム毎に分析して、顔画像が存在するか否かを判定し、顔画像が存在するフレームを顔画像記憶手段に格納する顔画像判定手段と、
顔画像を有するフレームの感性的表情スコアを算出してスコア記憶手段に格納する感性的表示スコア算出手段と、
スコア記憶手段から感性的表情スコアを取得して、該感性的表情スコアに基づいて顔画像記憶手段から上位フレームを取得して、所定のフレーム数に縮退してキーフレームとして出力するキーフレーム選出・出力手段と、
顔画像が存在するフレームおける顔画像領域面積、位置と感性的表情スコアから出力した静止画を表示する表示手段と、を有する。
【００１４】
また、請求項６に係る発明は、請求項４または５の映像処理装置の感性的表情スコア算出手段が、楽しい、泣く、驚く、怒り、悲しみ、嫌悪、平静、の何れか１つ以上の感性的表情スコアを算出する手段を含む。
【００１５】
請求項７に係る発明は、請求項４乃至６記載の映像処理装置を構成する各手段としてコンピュータを機能させるための映像処理プログラムである。
【発明の効果】
【００１６】
請求項１，４，７の発明によれば、映像から所定の数のキーフレームを出力することが可能となる。
【００１７】
また、請求項２，５，７の発明によれば、映像から所定の数のキーフレームを出力し、効果的に表示することが可能となる。
【００１８】
また、請求項３，６，７の発明によれば、より楽しい、より泣く、より驚く、より悲しむ、より嫌悪する、より普通でいる表情となるフレームをキーフレームとして抽出することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における映像処理装置の構成図である。
【図４】本発明の第１の実施の形態における概要動作のフローチャートである。
【図５】本発明の第１の実施の形態における特徴点抽出の事前準備として抽出した特徴点の例である。
【図６】本発明の第１の実施の形態における特徴点の例である。
【図７】本発明の第１の実施の形態における特徴量の例１である。
【図８】本発明の第１の実施の形態における笑い状態を３状態に分割した模式図である。
【図９】本発明の第１の実施の形態における笑い状態を３状態に分割する方法を示した模式図である。
【図１０】本発明の第１の実施の形態における左右対称性を考慮して笑い状態を抽出するために用いる特徴量である。
【図１１】本発明の第１の実施の形態におけるキーフレーム選択部の動作のフローチャートである。
【図１２】本発明の第２の実施の形態における映像処理装置の構成図である。
【図１３】本発明の第２の実施の形態における映像処理装置の動作のフローチャートである。
【図１４】本発明の第２の実施の形態における表示制御部の動作を示す図（その１）である。
【図１５】本発明の第２の実施の形態における表示制御部の動作を示す図（その２）である。
【図１６】本発明の第２の実施の形態における表示制御部の動作を示す図（その３）である。
【発明を実施するための形態】
【００２０】
以下、図面と共に本発明の実施の形態を説明する。
【００２１】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における映像処理装置の構成を示す。
【００２２】
同図に示す映像処理装置は、映像入力部１０、顔画像判定部２０、感情的表情スコア算出部３０、キーフレーム選択部４０、キーフレーム出力部５０、顔画像記憶部６０、スコア記憶部７０、選択キーフレーム記憶部８０から構成される。
【００２３】
映像入力部１０に映像が入力されると、顔画像判定部２０において当該映像に顔画像が存在するか否かを判定し、存在する場合には、顔画像のフレームを顔画像記憶部６０に格納する。感情的表情スコア算出部３０は、顔画像記憶部６０から顔画像が存在するフレームを読み出して、当該フレームの感性的表情スコアを算出し、スコア記憶部７０に格納する。キーフレーム選択部４０は、スコア記憶部７０から読み出した感性的表示スコアの上位ｎ個のフレームを選択し、選択キーフレーム記憶部８０に格納する。キーフレーム出力部５０は選択キーフレーム記憶部８０から選択されているキーフレームを取得して表示装置に出力する。
【００２４】
図４は、本発明の第１の実施の形態における概要動作のフローチャートである。
【００２５】
ステップ１００）  映像入力部１０に入力される映像は、１枚以上の画像データが時系列に格納されていればよく、音響データはなくてもよい。また、フォーマットを限定するものでもない。
【００２６】
ステップ２００）  顔画像判定部２０は、画像データから顔画像領域を抽出し、そのフレームを顔画像記憶部６０に格納する。顔画像領域の抽出には、Adaboost学習による、Haa-like特徴を用いた識別器を用いる。ここで、多数の弱識別器をカスケード型とし、該カスケード型識別器を識別対象の大きさ、位置を変化させて適用し、顔画像領域を特定する。これについては、「Paul Viola, Michael J. Jones. Robust Real-Time Face Detection.  International Journal of Computer Vision.  Vol. 57, No.2 pp.137-154 (2004)」等に記載されている。
【００２７】
ステップ３００）  感情的表情スコア算出部３０は、顔画像記憶部６０から顔画像があると判定されたフレームを読み出して、当該フレームを対象に、表情があるか否かを求める。そのための方法として以下の（１）〜（２）に示すような方法がある。
【００２８】
（１）まず、顔画像領域から鼻の先端、口角の左右の位置を特徴点として抽出し、メモリ（図示せず）に格納する。特徴点抽出処理を行う際に、事前処理として、図５に示す黒抜き丸で示す２５点の特徴点を抽出している。特徴点は、輪郭、目玉、眉毛、鼻、口に関連して割り振っている。この特徴点の抽出方法としては、例えば、文献「Lades M., Vorbruggen J., Buhmann J., Lange J., Konen W., von der Malsburg C., Wurtz R. Distortion Invariant Object Recognition in the Dynamic Link Architecture. IEEE Trans. Computers, Vol. 42, No. 3 pp.300-311(1993)」、「Wiskott L., Fellous J.-M., Kruger N., von der Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19. Issue 7, pp. 775-779 (1997)」等の公知の方法を用いるものとする。これらの公知技術を参照することにより、例えば、人物が顔を動かすなどの行為を行ったとしても安定して、図５に示す２５点の特徴を抽出可能である。この２５点の特徴のうち、図６に示す二重丸の３点（ｈ，ｉ，ｊ）のみを抽出し、残りの点は必要としない。これらは、鼻の先端、口角の左右の位置に相当する点である。また、２５点の特徴を抽出することなく、必要な３点のみを直接抽出してもよい。このような方法により、不要な点の抽出処理を省くことができる。
【００２９】
次に、鼻の先端を基準としたときの口角の左右位置との角度を計測して特徴とする。図７の例では、鼻の先端ｈを基準としたときの左右の口角の位置ｉ，ｊの角度αを計測し、特徴量とし、メモリ（図示せず）に格納する。
【００３０】
次に、メモリ（図示せず）から特徴量（角度α）を読み出して、角度αの時間変化を求め、時間変化から「平衡状態からの立ち上がり状態」、「最大角度状態」、「平衡状態への立ち下がり状態」の３状態に分割し、笑い状態の開始から終了までの連続的な変化を捉える。具体的には、角度の特徴量をαとしたときのその時間履歴を図８のように計測する。更に、αの時間履歴から、同図に示すように、「平衡状態からの立ち上がり状態」、「最大角度状態」、「平衡状態への立下り状態」の３状態に分割する。実際には、人間が平衡状態にあるときに必ずしも口の形状が閉まっている状態ではないことが想定される。また、通常会話しているときも口の形状は開閉状態となる。このような場合においても、笑っているか否かを判断するためには、例えば、特徴量αの時間変化を観測すればよい。具体的には、図９に示すように、特徴量の時間微分ｄα／ｄｔと、２つの閾値を用いる。２つの閾値については、高閾値「thupper」と低閾値「thlower」と呼ぶこととする。この閾値は静的に設定されるものでもよく、後述する方法により動的に設定されるものであってもよい。
【００３１】
以下に、上記の３状態に分割する方法について説明する。
【００３２】
「平衡状態からの立ち上がり状態」については、その開始時刻を時間微分ｄα／ｄｔが高閾値thupperを超えた時刻の時間微分ｄα／ｄｔから時間的に前方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ０とする。一方、終了時刻は、時間微分ｄα／ｄｔが高閾値thupper越えた時刻の時間微分ｄα／ｄｔから時間的に後ろ方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ１とする。この時刻ｔ１は最大角度状態の開始時刻にも相当する。
【００３３】
「平衡状態への立下り状態」については、最大角度状態以降で、低閾値thlowerを下回った時刻の時間微分ｄα／ｄｔから時間的に前方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ２を開始時刻とする。この時刻ｔ２は、最大角度状態の終了時刻にも相当する。一方、開始時刻は、時間微分ｄα／ｄｔが低閾値thlowerを下回った時刻の時間微分ｄα／ｄｔから時間的に後ろ方向を観測し、最短時間でｄα／ｄｔ＝０となる時刻ｔ３とする。
【００３４】
前述のように、立上がり状態の開始時刻から平衡状態への立下り終了時刻までが一連の笑い状態として判別される。
【００３５】
次に、前述の高閾値thupperと低閾値thlowerを動的に設定する方法について述べる。
【００３６】
例えば、高閾値と低閾値の標準偏差と平均値をそれぞれσupperとμupper、σlowerとμlowerとした場合、
thupper＝ａ・σupper＋ｂ・μupper          式（１）
thlower＝ｃ・σlower＋ｄ・μlower           式（２）
としてもよい。ここで、ａ，ｂ，ｃ，ｄは、係数で任意の値とし、例えば、予め、試験用動画像を用意し、統計的な学習工程を経て設定するものであってもよい。具体的には、人手により本手法による笑い状態の上記の３状態の開始時刻と終了時刻の正解集合を設定し、これと上記の処理によって抽出された上記の３状態の開始時刻と終了時刻との時間差を最小限とするようにａ，ｂ，ｃ，ｄを設定してもよい。
【００３７】
人間は、発話を一切していない状態においても口の形状が微小に変化していることが想定される。例えば、唇を噛みしめたり、つばを飲み込む動作を考えるだけでもこれらは容易に想像できる。これらの微小な変化が、角度αに影響する。また、笑いを含む発声行為についても、人間は規則的に口を開閉するものではなく、ある程度の不規則さを伴って開閉することが想定される。いわゆるこのようなノイズの影響を軽減させるために、例えば、検出した角度にメディアンフィルタを適用する対策を施してもよい。
【００３８】
また、上記の時間微分ｄα／ｄｔでは、笑い状態と、一般の発声と区別が付かない場合も想定される。例えば、『illegal』と発声した場合、"ille"の部分でｄα／ｄtが増加し、"gal"の部分でｄα／ｄｔが減少するため、笑い状態と似ている挙動となる可能性がある。そのような場合には、例えば、最大角度状態の時間に着目し、t2−t1＞ttimeなどの時間的な閾値ttimeを設定することで問題を回避可能となる。
【００３９】
上記の処理により、時間、角度α、時間微分ｄα／ｄｔからなる情報、または、３状態に分割された時刻の情報を出力する。
【００４０】
これまで、基本的な例を述べてきたが、例えば、角度αのみに着目している場合、例えば、引きつった笑いや、いやみを発言するときなどに頻出する。鼻の稜線を基準線としたときの左右非対称の状態においても笑い状態と判別する可能性がある。このような問題に対しては、図１０に示すように、口角の左右の位置ｉ，ｊを結ぶ線分の中心と、鼻の先端ｈとを結ぶ線分を基準線とし、基準線に対する左右の口角位置との角度をそれぞれ、α１、α２としてこれらの値の差を考慮することで対象であるか否かを判定すればよい。
【００４１】
例えば、それぞれの時間微分ｄα１／ｄｔ、ｄα２／ｄｔの時間履歴を測定し、これらの相関係数を求め、例えば、０．５以上であるときに対象としてもよい。また、それぞれの時間微分がｄα１／ｄｔ＞０、ｄα２／ｄｔ＞０となる時刻をｔｓ１、ｔｓ２としたときの│ｔｓ１−ｔｓ２│に閾値を設定するなどしてもよい。
【００４２】
（２）  Kotsia Pitas I.: Facial I.: Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vetor Machines. IEEE Transactions on Image Processing, Vol. 16, No.1, pp.172-187 (2007)
上記の手法により表情が検出されたら以下の手法で感性を抽出する。
【００４３】
まず、
（Ａ）ユーザが指定する感性をキーフレーム対象とする；
（Ｂ）各感性を統計的に処理してキーフレーム対象とする；
の何れかを行う。
【００４４】
（Ｂ）場合、映像中の全フレームから、
（i）「楽しい」＝笑い顔
（ii）「泣く」＝泣き顔
（iii）「驚く」＝驚き顔
（iv）「悲しみ顔」＝悲しい顔
（v）「嫌悪」＝嫌悪な顔
（vi）「平静」＝通常の顔
となるフレームの合計を計測する。例えば、笑い顔、泣き顔、驚き顔、悲しい顔、嫌悪な顔、通常の顔のフレームの合計数を、それぞれＳ＿ｌａｕ，Ｓ＿ｃｒｙ，Ｓ＿ｓｕｐ，Ｓ＿ｈａｔｅ，Ｓ＿ｎｒｍとして計測する。
【００４５】
上記の（Ａ）（Ｂ）のいずれの場合も、上記の（１）、（２）によって、上記（i）〜（vi）の感性を抽出するために、笑い顔となる確率を算出しておき、これに閾値th1以上のものを感性フレームとしてもよい。例えば、笑い顔となる確率がth1=0.6以上となる場合を笑い顔を有する「楽しい」フレームであるとしてもよい。
【００４６】
次に、顔画像記憶部６０から取得した全フレーム数をＮとしたとき、Ｎとの割合Ｓ＿ｌａｕ／Ｎ，Ｓ＿ｃｒｙ／Ｎ，Ｓ＿ｓｕｐ／Ｎ，Ｓ＿ｈａｔｅ／Ｎ，Ｓ＿ｎｒｍ／Ｎを求める。ここで、通常の顔の割合以外で最高値となる感性を、当該映像の"代表感性"とする。例えば、笑い顔の割合Ｓ＿ｌａｕ／Ｎが最高値である場合は、当該映像の代表感性は「楽しい」となる。
【００４７】
これにより、「楽しい」が代表感性となる映像について、感性的表情スコア算出部３０では、次式で示されるように、フレーム毎に感性的表情スコアを計算する。
【００４８】
【数１】
2010224836.tif 000003
ここで、"expr"は「楽しい」の感性における当該フレームの感性的表情スコアである。当該フレームには"Nexpr"人が笑っている被写体として存在している場合、感性的表情スコアは被写体毎の感性的表情スコアの加算値で表現される。"Fiexpr"は、被写体ｉのフレーム中の面積を意味する。顔画像判定部２０において、顔画像領域を矩形領域として検出すれば、"Fiexpr"を求めることができる。"Ａ"はフレーム全体の面積、Ｌは被写体の数である。感情的表情スコア算出部３０では、求められたスコアをフレーム番号と共にスコア記憶部７０に格納する。
【００４９】
ステップ４００）  キーフレーム選択部４０は、例えば、「楽しい」と判定されたフレーム数を縮退することにより、適切なフレーム数のみを出力することを目的とする。図１１にキーフレーム選択部４０の動作を示す。
【００５０】
ステップ４０１）  キーフレーム選択部４０は、スコア記憶部７０にスコアと共に格納されている感性と判定されたフレーム番号に基づいて、顔画像記憶部６０からフレームを取得し、画像特徴を抽出する。
【００５１】
ここでは、フレーム中を等面積に分割した各領域における一つ以上の色成分（カラーチャネル）のガボールウェーブレット係数を用いればよい。例えば、９分割された領域の場合、ガボールウェーブレット係数は９次元の特徴量ベクトルとなる。そのために、ガボールフィルターが各領域に適用される。このフィルタは、サイズを可変させ、回転させることによって利用する。
【００５２】
ここで、異なるサイズのフィルタを用いる代わりに、同一サイズのフィルタをピラミッドイメージ表現に提要する方法を用いてもよい。ピラミッドイメージ表現は、リスケールされたイメージ情報によって抽出可能である。
【００５３】
ステップ４０２）  次に、キーフレーム選択部４０は、類似度計算を行う。類似度計算では、特徴量ベクトルの類似度を計測する。
【００５４】
ステップ４０３）  次に、類似度に基づいて、予め設定されている閾値ｔｈ２以上のフレームと同じグループとして分類する。その結果ＮＣ個のグループに分類される。
【００５５】
ステップ４０４）  スコア記憶部７０から取得した感性的表情スコアの降順に上位となるフレームと、分類されたグループと、選択されるか否かについて以下の表に示す。
【００５６】
【表１】
2010224836.tif 000004
この例では、フレーム５、１０１３，５９，３２０の４つのフレームが選択され、選択キーフレーム記憶部８０に格納される。キーフレーム出力部５０は、キーフレーム記憶部８０から「選択」となっているキーフレームを取得して表示装置に出力する。表１において、上位４位のフレーム３は「非選択」となっているが、同じ「○グループ」の上位１のフレーム５が選択されているため、当該フレーム３は非選択となる。このように、類似フレームに分類することにより、似通ったフレームをキーフレームとして抽出することを避ける効果がある。
【００５７】
上記では代表感性を指定してキーフレームを抽出する方法を述べてきたが、特に代表感性に限らず、感性的表情スコアを単純に比較し、上位のフレームによって、表１と同様の処理を行ってもよい。代表感性に限定する場合は、例えば、「楽しい」キーフレームとなるが、代表感性に限定しない場合は、「楽しい」「驚く」「泣く」といった喜怒哀楽的なキーフレームを抽出できる。なお、この場合においても、「平静」を除外しておく方が望ましい。一方、「平静」は証明写真的なキーフレームを所望する場合に有効である。
【００５８】
［第２の実施の形態］
図１２は、本発明の第２の実施の形態における映像処理装置の構成を示す。同図に示す映像処理装置は、図３の構成に、キーフレーム出力部５０から出力されたフレームを表示する手法を変化させる表示制御部９０を付加したものである。
【００５９】
図１３は、本発明の第２の実施の形態における映像処理装置の動作のフローチャートである。
【００６０】
同図に示す動作は、図４の処理に表示処理（ステップ５００）を付加したものであり、それ以外の処理については第１の実施の形態と同様である。
【００６１】
ステップ５００において、表示制御部９０は、ステップ４００で出力されたキーフレームに対して、
・図１４に示すように、の顔領域ａに向かってズームする：
・図１５に示すように、開始領域ｂから終了領域ｃに向かってパンする：
・図１６に示すように、顔画像領域の付近にテクスチャｄを合成する：
等の処理を施す。
【００６２】
図１５に示す処理については、下部からパンするなど予め設定してもよく、背景と前景が分離されれば、前景領域を中心に終了領域に向かってパンするものでもよい。
【００６３】
上記の実施の形態における映像処理装置の各構成要素の動作をプログラムとして構築し、映像処理装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００６４】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００６５】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００６６】
１０  映像入力手段、映像入力部
２０  顔画像判定手段、顔画像判定部
３０  感性的表示スコア算出手段、感性的表示スコア算出部
４０  キーフレーム選出部
５０  キーフレーム選出・出力手段、キーフレーム出力部
６０  顔画像記憶手段、顔画像記憶部
７０  スコア記憶手段、スコア記憶部
８０  選択キーフレーム記憶部
９０  表示制御部
【図１】
2010224836.tif 000005
【図２】
2010224836.tif 000006
【図３】
2010224836.tif 000007
【図４】
2010224836.tif 000008
【図５】
2010224836.tif 000009
【図６】
2010224836.tif 000010
【図７】
2010224836.tif 000011
【図８】
2010224836.tif 000012
【図９】
2010224836.tif 000013
【図１０】
2010224836.tif 000014
【図１１】
2010224836.tif 000015
【図１２】
2010224836.tif 000016
【図１３】
2010224836.tif 000017
【図１４】
2010224836.tif 000018
【図１５】
2010224836.tif 000019
【図１６】
2010224836.tif 000020