(57)【要約】【課題】  動画像から、顔の画像を検出することができない静止画像を顔の画像を検出することができる静止画像とともに抽出することができる画像抽出装置、表示装置、画像抽出方法、プログラムおよび記録媒体を提供する。【解決手段】  顔方向判別手段１７は、画像蓄積手段１５に記憶される静止画像のうち、最も直前に顔方向が判別された静止画像の顔方向を利用して、たとえば第１の顔方向判別処理または第２の顔方向判別処理によって、ターゲット画像の顔方向を判別する。そして、顔方向判定結果をそのターゲット画像に関連付けて画像蓄積手段１５に記憶し蓄積する。顔方向遷移判定手段１８は、画像蓄積手段１５に記憶される顔方向判定結果のＮ個の顔方向の遷移が、第１顔方向遷移フォーマットおよび第２顔方向遷移フォーマットＦ２のうちのいずれかに一致すると、画像蓄積手段１５に記憶されるＮ個の静止画像を抽出する。【選択図】      図１
2010277284.tif 000002
【特許請求の範囲】
【請求項１】
複数の静止画像から構成される動画像を入力する入力手段と、
入力手段によって入力される動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶する記憶手段と、
記憶手段に記憶される静止画像から顔の特徴部分によって特定される顔領域を検出する顔領域検出手段と、
顔領域検出手段によって検出される顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて記憶手段に記憶する顔方向判別手段と、
記憶手段に記憶される静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する顔方向遷移判定手段と、
顔方向遷移判定手段によって顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶手段に記憶される静止画像から予め定める特徴の遷移と一致する静止画像を抽出する抽出手段とを含むことを特徴とする画像抽出装置。
【請求項２】
前記予め定める特徴は、顔方向の遷移が、前向き、右向き、左向き、そして前向きの順に遷移するという特徴、または顔方向の遷移が、前向き、左向き、右向き、そして前向きの順に遷移するという特徴であることを特徴とする請求項１に記載の画像抽出装置。
【請求項３】
前記顔領域は、顔の特徴部分に外接する矩形内の領域であり、
前記顔領域検出手段は、肌色の画像の領域に外接する矩形内の領域である肌色領域をさらに検出し、
前記顔方向判別手段は、前記顔領域検出手段によって検出される顔領域と肌色領域との位置関係に基づいて顔方向を判別することを特徴とする請求項１または２に記載の画像抽出装置。
【請求項４】
前記顔方向判別手段は、
注目する静止画像について前記顔領域検出手段によって顔領域が検出される場合は、前記顔領域検出手段によって検出された顔領域の画像に基づいて顔方向を判別し、
注目する静止画像について前記顔領域検出手段によって顔領域が検出されない場合は、注目する静止画像の前の静止画像で検出された顔領域を含み、その顔領域の大きさを予め定める倍率で拡張した顔方向判別領域を前の静止画像について生成し、生成した顔方向判別領域の画像と、注目する静止画像のうちその顔方向判別領域と同じ位置の領域にある画像とを予め定める画素数からなるメッシュに分割し、分割した同じ位置にある各メッシュの画素の色またはテクスチャを比較し、各メッシュに含まれる異なる色の画素数または一致するテクスチャの画素数の変化に基づいて、注目する静止画像の顔方向を判別することを特徴とする請求項１または２に記載の画像抽出装置。
【請求項５】
請求項１〜４のいずれか１つに記載の画像抽出装置と、
前記入力手段によって入力された動画像、または静止画像を表示する表示手段と、
前記抽出手段によって静止画像が抽出されたとき、表示手段に表示する情報を、前記入力手段によって入力された動画像から、前記抽出手段によって抽出された静止画像に切り換える表示切換手段とを含むことを特徴とする表示装置。
【請求項６】
動画像から静止画像を抽出する画像抽出装置で処理される画像抽出方法であって、
複数の静止画像から構成される動画像を入力する入力ステップと、
入力ステップで入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶手段に記憶する記憶ステップと、
記憶ステップで記憶された静止画像から顔の特徴部分によって特定される顔領域を検出する顔領域検出ステップと、
顔領域検出ステップで検出された顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて記憶手段に記憶する顔方向判別ステップと、
記憶ステップで記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する顔方向遷移判定ステップと、
顔方向遷移判定ステップで顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶ステップで記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出する抽出ステップとを含むことを特徴とする画像抽出方法。
【請求項７】
コンピュータに、
複数の静止画像から構成される動画像を入力する入力ステップと、
入力ステップで入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶手段に記憶する記憶ステップと、
記憶ステップで記憶された静止画像から顔の特徴部分によって特定される顔領域を検出する顔領域検出ステップと、
顔領域検出ステップで検出された顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて記憶手段に記憶する顔方向判別ステップと、
記憶ステップで記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する顔方向遷移判定ステップと、
顔方向遷移判定ステップで顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶ステップで記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出する抽出ステップとを実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の中から特定の画像を抽出する画像抽出装置、表示装置、画像抽出方法、プログラムおよび記録媒体に関し、特に、動画像から顔領域を検出し、検出された顔領域の顔方向を判別し、顔方向の遷移によって顔方向が回転したと判定した場合に、遷移の状態ごとに動画像から静止画像を抽出する画像抽出装置、表示装置、画像抽出方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
デジタルカメラは、人物の撮影を行う場合、撮影した画像から人物の顔を検出し、検出した人物の顔が笑顔の場合に撮影を行う技術を採用するものがある。デジタルカメラは、内蔵する中央処理装置の処理速度の向上および技術の向上によって、画像から人物の顔を検出する処理を高速に行うことが可能になっている。
【０００３】
また、パーソナルコンピュータ（以下「ＰＣ」という）を用いるＰＣ会議システムあるいはテレビジョン電話機などでは、ＰＣ等にＣＣＤ（Charge Coupled Device）カメラなどを接続し、ＣＣＤカメラで撮影された操作者の顔画像をＰＣの表示装置に表示することが行われている。さらに、カメラを搭載している携帯電話機は、搭載しているカメラで使用者の顔を撮影し、撮影した顔を携帯電話機のモニタに表示し、鏡のように用いることを可能としている。
【０００４】
特許文献１に記載される顔画像検出装置は、肌色領域に囲まれた非肌色領域を顔の特徴に対応する領域候補として検出し、領域候補の重心位置を頂点とする図形の面積比で顔の特徴の候補の組、たとえば目および口の候補の組を選別することによって、写っている顔の方向に関係なく、目および口の領域を検出することができる。
【０００５】
非特許文献１には、両目および口の３個の特徴点から構成される三角形の座標情報によって顔の向きを判別する技術が開示されている。
【０００６】
図１５は、従来の技術による画像表示装置９の構成を示すブロック図である。画像表示装置９は、たとえば非特許文献２に記載される抽出方法を適用した装置であり、中央処理装置（以下「ＣＰＵ」という）９０、メモリ９１、画像入力手段９２、指示手段９３、表示手段９４、画像蓄積手段９５、顔領域検出手段９６および顔方向判別手段９７から構成される。カメラなどの画像入力手段９２によって画像を入力し、画像入力手段９２によって入力された画像から、顔領域検出手段９６によって顔領域が検出された場合、顔領域であることを示すマークを、画像の顔領域に重畳させて、表示手段９４に表示する。また、マークが重畳された画像を画像蓄積手段９５に蓄積する。
【０００７】
図１６は、従来の技術による顔方向判別の対象となる静止画像の例を示す図である。図１６（ａ）は、正面を向いた顔の画像である第１フレーム８１に肌色領域Ｈ８１および顔領域Ｋ８１を示した図であり、図１６（ａ）は、斜め右を向いた顔の画像である第２フレーム８２に肌色領域Ｈ８２および顔領域Ｋ８２を示した図である。肌色領域Ｈ８１，Ｈ８２は、肌色の画像の領域に外接する矩形内の領域であり、顔領域Ｋ８１，Ｋ８２は、目、鼻および口を含む最小の面積の矩形内の領域である。
【０００８】
図１７は、従来の技術による顔方向判別処理の処理手順を示すフローチャートである。ステップＦ１では、顔領域検出手段９６は、画像入力手段９２によって入力された画像と、検出した顔領域の座標とを顔方向判別手段９７に入力する。ステップＦ２では、顔領域検出手段９６は、肌色領域を抽出し、抽出した肌色領域を顔方向判別手段９７に入力する。ステップＦ３では、顔方向判別手段９７は、肌色領域に対する顔領域の相対位置の計算を、肌色領域の重心と顔領域の重心とのずれＲを次式の計算式によって算出する。
Ｒ＝｜Ｗ１−Ｗ２｜／（Ｓ１の平方根）
【０００９】
ここに、Ｗ１は、肌色領域の重心の位置であり、Ｗ２は、顔領域の重心の位置であり、Ｓ１は、肌色領域の面積である。
【００１０】
ステップＦ４では、顔方向判別手段９７は、ずれＲが所定の閾値以下の場合、顔が正面を向いていると判定し、ずれＲが所定の閾値よりも大きい場合、肌色領域の重心から顔領域の重心に向かう方向を顔方向と判別する。顔方向判別手段９７は、顔方向判別結果を画像蓄積手段９５に蓄積する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１−３１４３８５号公報
【非特許文献】
【００１２】
【非特許文献１】大村和典  他２名著、「単眼視画像による顔の向き検出法の指示入力への応用」、電子情報通信学会論文誌Ｄ−ＩＩ、１９８９年９月、Ｖｏｌ.Ｊ７２−Ｄ−ＩＩ、Ｎｏ.９、ｐ.１４４１−１４４７
【非特許文献２】島田聡  他１名著、「Ｄ−５９６特定方向を向く人物像の実時間抽出」、１９９１年電子情報通信学会春季全国大会、ｐ．７−３０８
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述した従来の技術は、いずれも顔の特徴部分、たとえば目、鼻および口などの特徴部分を抽出することによって、顔領域を検出するものであり、目および口などが写っていない頭部、たとえば後ろ向きの頭部を検出することはできない。
【００１４】
携帯電話機は、搭載されるカメラおよびモニタによって鏡のように用いることはできるが、自分の後ろ姿をみることはできない。カメラとモニタとが同じ方向に配置されている場合、自分の後ろ姿をカメラで撮影して録画装置に録画した後、巻き戻して再生することによって自分の後ろ姿を映像として見ることができる。しかしながら、録画した動画像の中から後ろ姿の画像を探し出すのは、録画装置を操作する人であり、人が録画装置を操作しないと後ろ姿の画像を探し出すことができない。
【００１５】
本発明の目的は、動画像から、顔の画像を検出することができない静止画像を顔の画像を検出することができる静止画像とともに抽出することができる画像抽出装置、表示装置、画像抽出方法、プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【００１６】
本発明は、複数の静止画像から構成される動画像を入力する入力手段と、
入力手段によって入力される動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶する記憶手段と、
記憶手段に記憶される静止画像から顔の特徴部分によって特定される顔領域を検出する顔領域検出手段と、
顔領域検出手段によって検出される顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて記憶手段に記憶する顔方向判別手段と、
記憶手段に記憶される静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する顔方向遷移判定手段と、
顔方向遷移判定手段によって顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶手段に記憶される静止画像から予め定める特徴の遷移と一致する静止画像を抽出する抽出手段とを含むことを特徴とする画像抽出装置である。
【００１７】
また本発明は、前記予め定める特徴は、顔方向の遷移が、前向き、右向き、左向き、そして前向きの順に遷移するという特徴、または顔方向の遷移が、前向き、左向き、右向き、そして前向きの順に遷移するという特徴であることを特徴とする。
【００１８】
また本発明は、前記顔領域は、顔の特徴部分に外接する矩形内の領域であり、
前記顔領域検出手段は、肌色の画像の領域に外接する矩形内の領域である肌色領域をさらに検出し、
前記顔方向判別手段は、前記顔領域検出手段によって検出される顔領域と肌色領域との位置関係に基づいて顔方向を判別することを特徴とする。
【００１９】
また本発明は、前記顔方向判別手段は、
注目する静止画像について前記顔領域検出手段によって顔領域が検出される場合は、前記顔領域検出手段によって検出された顔領域の画像に基づいて顔方向を判別し、
注目する静止画像について前記顔領域検出手段によって顔領域が検出されない場合は、注目する静止画像の前の静止画像で検出された顔領域を含み、その顔領域の大きさを予め定める倍率で拡張した顔方向判別領域を前の静止画像について生成し、生成した顔方向判別領域の画像と、注目する静止画像のうちその顔方向判別領域と同じ位置の領域にある画像とを予め定める画素数からなるメッシュに分割し、分割した同じ位置にある各メッシュの画素の色またはテクスチャを比較し、各メッシュに含まれる異なる色の画素数または一致するテクスチャの画素数の変化に基づいて、注目する静止画像の顔方向を判別することを特徴とする。
【００２０】
また本発明は、前記画像抽出装置と、
前記入力手段によって入力された動画像、または静止画像を表示する表示手段と、
前記抽出手段によって静止画像が抽出されたとき、表示手段に表示する情報を、前記入力手段によって入力された動画像から、前記抽出手段によって抽出された静止画像に切り換える表示切換手段とを含むことを特徴とする表示装置である。
【００２１】
また本発明は、動画像から静止画像を抽出する画像抽出装置で処理される画像抽出方法であって、
複数の静止画像から構成される動画像を入力する入力ステップと、
入力ステップで入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶手段に記憶する記憶ステップと、
記憶ステップで記憶された静止画像から顔の特徴部分によって特定される顔領域を検出する顔領域検出ステップと、
顔領域検出ステップで検出された顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて記憶手段に記憶する顔方向判別ステップと、
記憶ステップで記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する顔方向遷移判定ステップと、
顔方向遷移判定ステップで顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶ステップで記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出する抽出ステップとを含むことを特徴とする画像抽出方法である。
【００２２】
また本発明は、コンピュータに、
複数の静止画像から構成される動画像を入力する入力ステップと、
入力ステップで入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶手段に記憶する記憶ステップと、
記憶ステップで記憶された静止画像から顔の特徴部分によって特定される顔領域を検出する顔領域検出ステップと、
顔領域検出ステップで検出された顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて記憶手段に記憶する顔方向判別ステップと、
記憶ステップで記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する顔方向遷移判定ステップと、
顔方向遷移判定ステップで顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶ステップで記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出する抽出ステップとを実行させるためのプログラムである。
【００２３】
また本発明は、前記プログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００２４】
本発明によれば、入力手段によって、複数の静止画像から構成される動画像が入力され、記憶手段によって、入力手段によって入力される動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像が取り出され、取り出された静止画像が時系列に記憶される。顔領域検出手段によって、記憶手段に記憶される静止画像から顔の特徴部分によって特定される顔領域が検出され、顔方向判別手段によって、顔領域検出手段によって検出される顔領域の画像に基づいて、顔が向いている顔方向が各静止画像について判別され、判別された顔方向を表す顔方向情報が、顔方向が判別された静止画像と関連付けて記憶手段に記憶され、顔方向遷移判定手段によって、記憶手段に記憶される静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かが判定される。そして、抽出手段によって、顔方向遷移判定手段によって顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶手段に記憶される静止画像から予め定める特徴の遷移と一致する静止画像が抽出される。したがって、顔の画像が後ろ向きの頭部である場合などの顔の画像が検出されない静止画像が含まれていても、予め定める特徴の遷移と一致する静止画像を抽出することができる。すなわち、動画像から、顔の画像を検出することができない静止画像を顔の画像を検出することができる静止画像とともに抽出することができる。
【００２５】
また本発明によれば、前記予め定める特徴は、顔方向の遷移が、前向き、右向き、左向き、そして前向きの順に遷移するという特徴、または顔方向の遷移が、前向き、左向き、右向き、そして前向きの順に遷移するという特徴であるので、右回り、または左回りで回転する顔の画像を抽出することができる。
【００２６】
また本発明によれば、前記顔領域は、顔の特徴部分に外接する矩形内の領域であり、前記顔領域検出手段によって、肌色の画像の領域に外接する矩形内の領域である肌色領域がさらに検出され、前記顔方向判別手段によって、前記顔領域検出手段によって検出される顔領域と肌色領域との位置関係に基づいて顔方向が判別される。したがって、肌色の画像と、顔の特徴部分とを特定することによって顔の方向を判別することができる。
【００２７】
また本発明によれば、前記顔方向判別手段によって、注目する静止画像について前記顔領域検出手段によって顔領域が検出される場合は、前記顔領域検出手段によって検出された顔領域の画像に基づいて顔方向が判別され、注目する静止画像について前記顔領域検出手段によって顔領域が検出されない場合は、注目する静止画像の前の静止画像で検出された顔領域を含み、その顔領域の大きさを予め定める倍率で拡張した顔方向判別領域が前の静止画像について生成され、生成された顔方向判別領域の画像と、注目する静止画像のうちその顔方向判別領域と同じ位置の領域にある画像とを予め定める画素数からなるメッシュに分割し、分割した同じ位置にある各メッシュの画素の色またはテクスチャを比較し、各メッシュに含まれる異なる色の画素数または一致するテクスチャの画素数の変化に基づいて、注目する静止画像の顔方向が判別される。したがって、顔領域が検出されない静止画像であっても、前後の静止画像の顔の方向との関係に基づいて顔が映っていない頭部を認識することができる。
【００２８】
また本発明によれば、前記画像抽出装置、表示手段および表示切換手段を含み、表示手段によって、前記入力手段によって入力された動画像、または静止画像が表示され、表示切換手段によって、前記抽出手段によって静止画像が抽出されたとき、表示手段に表示する情報が、前記入力手段によって入力された動画像から、前記抽出手段によって抽出された静止画像に切り換えられる。したがって、動画像の中から後ろ向きの頭部が映っている抽出された静止画像を表示することができる。
【００２９】
また本発明によれば、動画像から静止画像を抽出するにあたって、入力ステップでは、複数の静止画像から構成される動画像を入力する。記憶ステップでは、入力ステップで入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶手段に記憶する。顔領域検出ステップでは、記憶ステップで記憶された静止画像から顔の特徴部分によって特定される顔領域を検出する。顔方向判別ステップでは、顔領域検出ステップで検出された顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて記憶手段に記憶する。顔方向遷移判定ステップでは、記憶ステップで記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する。そして、抽出ステップでは、顔方向遷移判定ステップで顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶ステップで記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出する。したがって、顔の画像が後ろ向きの頭部である場合などの顔の画像が検出されない静止画像が含まれていても、予め定める特徴の遷移と一致する静止画像を抽出することができる。すなわち、動画像から、顔の画像を検出することができない静止画像を顔の画像を検出することができる静止画像とともに抽出することができる。
【００３０】
また本発明によれば、コンピュータに、複数の静止画像から構成される動画像を入力する入力ステップと、入力ステップで入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶手段に記憶する記憶ステップと、記憶ステップで記憶された静止画像から顔の特徴部分によって特定される顔領域を検出する顔領域検出ステップと、顔領域検出ステップで検出された顔領域の画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像関連付けて記憶手段に記憶する顔方向判別ステップと、記憶ステップで記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する顔方向遷移判定ステップと、顔方向遷移判定ステップで顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、記憶ステップで記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出する抽出ステップとを実行させるためのプログラムである。したがって、コンピュータに前記画像抽出方法の各ステップを実行させるためのプログラムとして提供することができる。
【００３１】
また本発明によれば、前記プログラムを記録したコンピュータ読取り可能な記録媒体である。したがって、前記プログラムを記録媒体として提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態である画像表示装置１の構成を模式的に示すブロック図である。
【図２】顔領域検出手段１６によって抽出される顔領域Ｋを説明するための図である。
【図３】顔方向を説明するための図である。
【図４】顔方向判別手段１７が用いる顔方向判別領域Ｊを説明するための図である。
【図５】メッシュ分割後顔方向判別領域Ｍを説明するための図である。
【図６】顔領域を抽出することができない場合の顔方向判別の処理例１を示す図である。
【図７】画像蓄積手段１５に記憶される情報を説明するための図である。
【図８】顔方向遷移フォーマットの例を示す図である。
【図９】画像抽出装置２が処理する画像抽出処理の処理手順を示すフローチャートである。
【図１０】顔方向判別手段１７によって実行される第１の顔方向判別処理の処理手順を示すフローチャートである。
【図１１】顔方向遷移判定手段１８によって実行される顔方向遷移判定処理の処理手順を示すフローチャートである。
【図１２】顔領域を抽出することができない場合の顔方向判別の処理例２を示す図である。
【図１３】顔方向判別手段１７によって実行される第２の顔方向判別処理の処理手順を示すフローチャートである。
【図１４】画像表示装置１が処理する画像抽出表示処理の処理手順を示すフローチャートである。
【図１５】従来の技術による画像表示装置９の構成を示すブロック図である。
【図１６】従来の技術による顔方向判別の対象となる静止画像の例を示す図である。
【図１７】従来の技術による顔方向判別処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３３】
図１は、本発明の一実施形態である画像表示装置１の構成を模式的に示すブロック図である。画像表示装置１は、画像抽出装置２、表示手段１４および表示切換手段１９を含んで構成される。画像抽出装置２は、中央処理装置（以下「ＣＰＵ」という）１０、メモリ１１、画像入力手段１２、指示手段１３、画像蓄積手段１５、顔領域検出手段１６、顔方向判別手段１７および顔方向遷移判定手段１８を含んで構成される。本発明に係る画像抽出方法は、画像抽出装置２によって処理される。
【００３４】
ＣＰＵ１０は、メモリ１１に記憶されるプログラムを実行することによって、画像入力手段１２、指示手段１３、表示手段１４および画像蓄積手段１５を制御し、顔領域検出手段１６、顔方向判別手段１７、顔方向遷移判定手段１８および表示切換手段１９の機能を実現する。メモリ１１は、たとえば半導体メモリなどの記憶装置によって構成され、ＣＰＵ１０によって実行されるプログラム、およびＣＰＵ１０が処理する情報が記憶される。
【００３５】
入力手段である画像入力手段１２は、たとえばカメラなどの撮影装置によって構成され、撮影した動画像を表示手段１４および画像蓄積手段１５に送る。指示手段１３は、たとえばオン／オフを切り換えるためのスイッチなどによって構成され、画像の取り込みの開始または終了をＣＰＵ１０に指示する。
【００３６】
表示手段１４は、たとえば液晶ディスプレイなどの表示装置によって構成され、画像入力手段１２から受け取る動画像、または後述する画像抽出処理によって抽出されたフレーム画像を表示する。フレーム画像は、表示画面の１フレームに表示される画像であり、動画像は、複数のフレーム画像から構成される。以下、フレーム画像を静止画像という。記憶手段である画像蓄積手段１５は、たとえばフラッシュメモリなどの記憶装置によって構成され、画像入力手段１２から受け取る動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶し蓄積する。予め定める時間は、たとえば１秒でもよいし、０．１秒でもよい。回転する対象を撮影する場合、予め定める時間は短いほど、素早い回転動作を検出することができる。
【００３７】
顔領域検出手段１６は、各静止画像の中に顔領域があるか否かの判定を行い、顔領域があると判定したとき、顔領域の範囲の検出を行う。顔領域は、目および口などの顔の特徴部分によって特定される領域である。顔方向判別手段１７は、各静止画像について、顔の画像として映し出されている顔が向いている方向（以下「顔方向」という）を判別する。顔方向遷移判定手段１８は、時系列の静止画像について、顔方向判別手段１７によって判別された顔方向の遷移が、予め定める特徴の遷移に一致するか否かを判定する。表示切換手段１９は、表示手段１４に表示する画像を、画像入力手段１２から受け取る動画像にするか、後述する画像抽出処理によって抽出された静止画像にするかを切り換える制御を行う。
【００３８】
図２は、顔領域検出手段１６によって抽出される顔領域Ｋを説明するための図である。図２（ａ）に示す静止画像３１ａは、顔領域検出手段１６が画像蓄積手段１５から読み出した静止画像の一例である。図２（ｂ）は、顔領域Ｋの一例を示す図である。
【００３９】
顔領域検出手段１６は、従来の技術、たとえば特開平１−３１４３８５号公報に記載される技術のように、静止画像３１ａの中で肌色の画素からなる肌色画像ｈの領域に囲まれる肌色画像でない画像の領域を、顔の特徴を表す領域、たとえば目の領域である目領域、および口の領域である口領域などとして抽出する。そして、抽出した顔の特徴を表す領域を含み、かつ抽出した顔の特徴を表す領域に外接する矩形内の領域を顔領域Ｋとして検出する。図２（ｂ）に示した例では、顔領域Ｋの四辺は、それぞれ静止画像３１ａの四辺に平行である。顔の特徴を表す領域は、顔の特徴部分である。
【００４０】
図３は、顔方向を説明するための図である。図３は、頭部４０を頭部４０の上方から見た図であり、画像入力手段１２は、図３の下方に置かれている。図３は、頭部４０が正面、つまり画像入力手段１２の方向を向いた状態を示している。目４１および鼻４２は、画像入力手段１２の方向を向いて示されている。すなわち、図３の下方が頭部４０の前であり、図３の上方が頭部４０の後である。
【００４１】
顔方向は、水平面上の方向を８等分する８つの方向によって、画像入力手段１２に対する方向として定義する。頭部４０の前の方向つまり図３の下方向を、正面向きＤ１と定義し、頭部４０からみて右の方向つまり図３の左方向を、右横向きＤ３と定義し、頭部４０からみて左の方向つまり図３の右方向を、左横向きＤ５と定義し、正面向きＤ１の方向と右横向きＤ３の方向との中間の方向を、斜め右向きＤ２と定義し、正面向きＤ１の方向と左横向きＤ５の方向との中間の方向を、斜め左向きＤ６と定義し、頭部４０の後ろの方向つまり図３の上方向、斜め右向きＤ２と反対の方向、および斜め左向きＤ６と反対の方向は、後ろ向きＤ４と定義する。正面向きＤ１は前向きに対応し、右横向きＤ３は右向きに対応し、左横向きＤ５は左向きに対応する。
【００４２】
後ろ向きＤ４の静止画像は、顔の画像を含まない。したがって、顔領域検出手段１６は、顔の特徴を表す領域を検出することができず、顔領域を検出することができない。また、右横向きＤ３および左横向きＤ５の静止画像は、２つの目領域のうち１つの目領域しか含まない。したがって、顔領域検出手段１６は、顔領域を検出することができない。
【００４３】
図４は、顔方向判別手段１７が用いる顔方向判別領域Ｊを説明するための図である。顔方向判別手段１７は、顔領域検出手段１６によって検出された顔領域Ｋに基づいて顔方向判別領域Ｊを生成する。
【００４４】
顔方向判別領域Ｊは、顔領域Ｋの大きさを予め定める倍率で拡張した領域である。たとえば、顔方向判別領域Ｊは、顔領域Ｋと相似形であり、縦横の長さがいずれも顔領域Ｋの縦横の長さの２倍で、顔領域Ｋを含む領域である。図４に示した例は、縦横比を２倍としているが、顔領域Ｋの周辺部にある人間の特徴となる頭髪、首、あるいは肩などの特徴を含み、かつ人間以外の背景ができるだけ少なくなる領域とすればよい。したがって、縦横比は、２倍に限定されるものではなく、２．５倍でもよいし、任意に設定可能である。また、顔領域の大きさあるいは画像の明暗などの撮影条件によって、縦横比を変化させてもよい。
【００４５】
図５は、メッシュ分割後顔方向判別領域Ｍを説明するための図である。図５（ａ）は、顔方向が斜め右向きＤ１である静止画像３２ａの一例であり、図５（ｂ）は、顔方向が右横向きＤ３である静止画像３３ａの一例である。図５（ｃ）は、図５（ａ）に示した静止画像３２ａの顔方向判別領域Ｊ１をメッシュに分割したメッシュ分割後顔方向判別領域Ｍ１の一例を示す図であり、図５（ｄ）は、図５（ｂ）に示した静止画像３３ａの顔方向判別領域Ｊ２をメッシュに分割したメッシュ分割後顔方向判別領域Ｍ２の一例を示す図である。
【００４６】
顔領域検出手段１６は、図５（ａ）に示した静止画像３２ａについては、顔の特徴を表す領域を検出することができるので、顔領域Ｋ１を検出しているが、図５（ｂ）に示した静止画像３３ａについては、２つの目領域のうち１つの目領域しか検出することができず、顔領域Ｋを検出することができない。
【００４７】
顔方向判別手段１７は、静止画像３２ａについて、顔領域検出手段１６によって検出された顔領域Ｋ１に基づいて、顔方向判別領域Ｊ１を生成する。顔領域Ｋが検出されない静止画像３３ａについては、顔方向判別手段１７は、静止画像３２ａについて生成した顔方向判別領域Ｊ１の位置と同じ位置に顔方向判別領域Ｊ２を生成する。
【００４８】
顔方向判別手段１７は、生成した顔方向判別領域Ｊ１内の画像を２値化し、２値化した画像を、縦横それぞれＬ個のメッシュに分割し、メッシュ分割後顔方向判別領域Ｍ１とする。また、顔領域検出手段１６は、顔方向判別領域Ｊ２内の画像を２値化し、２値化した画像を、縦横それぞれＬ個のメッシュに分割し、メッシュ分割後顔方向判別領域Ｍ２とする。予め定める画素数である１つのメッシュの画素数は、たとえば２０〜５０ドットの範囲内の画素数であり、その画素数によってメッシュの縦横の個数Ｌを決める。
【００４９】
図６は、顔領域を抽出することができない場合の顔方向判別の処理例１を示す図である。図６（ａ）は、図５（ｃ）に示した静止画像３２ｂと同じ静止画像である。図６（ｂ）は、図６（ａ）と比較した時に、黒画素数が減少した黒画素減少領域Ｂ１および黒画素が増加した黒画素増加領域Ｂ２を示す図であり、図６（ｃ）は、黒画素数減少領域Ｂ１の重心の位置Ｃ１および黒画素増加領域Ｂ２の重心の位置Ｃ２を示す図である。
【００５０】
顔方向判別手段１７は、メッシュ分割後顔方向判別領域Ｍ１とメッシュ分割後顔方向判別領域Ｍ２とを、同じ位置にある各メッシュについて、各メッシュに含まれる黒画素の画素数を比較する。以下、黒画素の画素数を「黒画素数」という。顔方向判別手段１７は、メッシュ分割後顔方向判別領域Ｍ１の黒画素数よりもメッシュ分割後顔方向判別領域Ｍ２の黒画素数が少ないメッシュから成る黒画素減少領域Ｂ１と、メッシュ分割後顔方向判別領域Ｍ１の黒画素数よりもメッシュ分割後顔方向判別領域Ｍ２の黒画素数が多いメッシュから成る黒画素増加領域Ｂ２とを生成する。黒画素減少領域Ｂ１は、目および鼻の領域があったメッシュが、頬の領域に変化したメッシュからなる領域であり、黒画素増加領域Ｂ２は、頬の領域があったメッシュが、頭髪または耳の領域に変化したメッシュからなる領域である。
【００５１】
次に、顔方向判別手段１７は、黒画素減少領域Ｂ１の重心の位置Ｃ１、および黒画素増加領域Ｂ２の重心の位置Ｃ２を算出し、黒画素減少領域Ｂ１の重心の位置Ｃ１、および黒画素増加領域Ｂ２の重心の位置Ｃ２によって、静止画像３３ｃの顔方向を判断する。図６に示した例では、１つ前の画像である静止画像３２ｂの顔方向が斜め右向きＤ２であり、位置Ｃ２が位置Ｃ１の右側にあるので、すなわち、黒画素増加領域Ｂ２が、メッシュ分割後顔方向判別領域Ｍ２内の右側にあるので、静止画像３２ｂから静止画像３３ｃへの顔方向の回転方向は、右回りになる。
【００５２】
したがって、顔方向判別手段１７は、図６（ｂ）に示した静止画像３３ｃの顔方向が、前の画像である図６（ａ）に示した静止画像３２ｂの顔方向である斜め右向きＤ２を右回りに回転させた右横向きＤ３であると判定する。黒画素減少領域Ｂ１は、口あるいは目が他のメッシュに移動したメッシュの領域と考えて、方向判定に用いることも可能である。同様に判別することによって、後ろ向きＤ４、左向きＤ５を判別することができる。
【００５３】
図７は、画像蓄積手段１５に記憶される情報を説明するための図である。画像蓄積手段１５は、画像入力手段１２から受け取る動画像に含まれる静止画像から、予め定める時間間隔で２つの静止画像を取り出し、取り出した静止画像を、時系列にフレーム単位に記憶し蓄積する。フレームは、動画像を構成する静止画像の１つ１つを管理する単位である。
【００５４】
図７に示した例では、画像蓄積手段１５は、時系列に第１フレームから第Ｎフレームまでの静止画像を、顔領域検出手段１６によって検出された顔領域検出結果と、顔方向判別手段１７によって判別された顔方向判別結果とを、関連付けて記憶している。顔方向検出結果は、「○」が顔方向を検出することができたことを示し、「×」が顔方向を検出することができなかったことを示す。顔方向検出結果が「○」のときは、顔領域の範囲が、ＸＹ座標の座標系の位置で示される。図７に示した例では、静止画像の左上の位置を原点とし、右横方向をＸ軸、下方をＹ軸とするＸＹ座標で表している。顔方向判別結果は、顔方向の定義で示されるＤ１〜Ｄ６のいずれかの符号によって示される。顔方向検出結果は、顔方向を表す顔方向情報である。
【００５５】
たとえば、第１フレームは、正面向きＤ１の静止画像であり、顔方向検出結果が「○」、顔領域が（５７０，８３３），（１３５９，１６３３）であり、顔方向判別結果が「Ｄ１」である。第２フレームは、斜め右向きＤ２の静止画像であり、顔方向検出結果が「○」、顔領域が（４２２，９２６），（１０４１，１６５６）であり、顔方向判別結果が「Ｄ２」である。第３フレームは、右横向きＤ３の静止画像であり、顔方向検出結果が「×」であり、顔方向判別結果が「Ｄ３」である。第４フレームは、後ろ向きＤ４の静止画像であり、顔方向検出結果が「×」であり、顔方向判別結果が「Ｄ４」である。第５フレームは、左横向きＤ５の静止画像であり、顔方向検出結果が「×」であり、顔方向判別結果が「Ｄ５」である。第６フレームは、斜め左向きＤ６の静止画像であり、顔方向検出結果が「○」、顔領域が（１０２２，８４４），（１４４８，１５５９）であり、顔方向判別結果が「Ｄ６」である。第Ｎフレームは、正面向きＤ１の静止画像であり、顔方向検出結果が「○」、顔領域が（６７４，８５２），（１２７４，１６２２）であり、顔方向判別結果が「Ｄ１」である。
【００５６】
図８は、顔方向遷移フォーマットの例を示す図である。第１顔方向遷移フォーマットＦ１は、｛１，２，３，４，５，６，１｝で表わされ、第２顔方向遷移フォーマットＦ２は、｛１，６，５，４，３，２，１｝で表わされる。かっこ内の数字は、「１」が正面向きＤ１を表し、「２」が斜め右向きＤ２を表し、「３」が右横向きＤ３を表し、「４」が後ろ向きＤ４を表し、「５」が左横向きＤ５を表し、「６」が斜め左向きＤ６を表している。
【００５７】
したがって、第１顔方向遷移フォーマットＦ１は、顔方向が、正面向きＤ１から、斜め右向きＤ２、右横向きＤ３、後ろ向きＤ４、左横向きＤ５、斜め左向きＤ６および正面向きＤ１に右回りの順で回転することを示している。第２顔方向遷移フォーマットＦ２は、顔方向が、正面向きＤ１から、斜め左向きＤ６、左横向きＤ５、後ろ向きＤ４、右横向きＤ３、斜め右向きＤ２および正面向きＤ１に左回りの順で回転することを示している。
【００５８】
顔方向遷移判定手段１８は、ターゲット画像が顔方向判別手段１７によって正面向きＤ１の静止画像であると判別されたとき、画像蓄積手段１５に記憶される時系列の静止画像の顔方向判定結果の遷移が、第１顔方向遷移フォーマットＦ１および第２顔方向遷移フォーマットＦ２のうちのいずれかに一致するかを判定する。注目する静止画像であるターゲット画像は、処理対象の静止画像である。顔方向遷移判定手段１８は、顔方向遷移判定手段および抽出手段である。第１顔方向遷移フォーマットＦ１および第２顔方向遷移フォーマットＦ２のうちのいずれかは、予め定める特徴の遷移である。
【００５９】
表示切換手段１９は、顔方向遷移判定手段１８によって、画像蓄積手段１５に記憶される時系列の静止画像の顔方向判定結果の遷移が、第１顔方向遷移フォーマットＦ１および第２顔方向遷移フォーマットＦ２のうちのいずれかに一致すると判定されると、画像蓄積手段１５に記憶される時系列の静止画像を抽出し、抽出した静止画像を表示手段１４に表示するように切り換える。
【００６０】
図９は、画像抽出装置２が処理する画像抽出処理の処理手順を示すフローチャートである。たとえば、指示手段１３によって、画像の取り込みの開始が指示されると、ステップＡ１に移る。
【００６１】
ステップＡ１では、画像入力を継続するか否かを判定する。ＣＰＵ１０は、指示手段１３によって、画像の取り込みの開始が継続して指示されるか否かを判定する。画像の取り込みの開始が継続して指示されていると、ステップＡ２に進み、画像の取り込みの開始が継続して指示されていないと、つまり画像の取り込みの停止が指示されていると、画像抽出処理を終了する。入力ステップであるステップＡ２では、表示切換手段１９は、画像入力手段によって入力される動画像を表示手段１４に送り、表示させる。
【００６２】
記憶ステップであるステップＡ３では、画像蓄積手段１５は、画像入力手段１２から受け取る動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に記憶し蓄積する。第１フレームから第ＮフレームまでＮ個の静止画像を撮影時刻順に順番に記憶する。画像蓄積手段１５は、Ｎ個のフレームを記憶した後新たな静止画像を記憶するときは、蓄積バッファつまり画像蓄積手段１５の先頭画像を破棄、すなわち最も古い静止画像を破棄し、破棄した記憶場所に新たな静止画像を記憶する。したがって、画像蓄積手段１５には、Ｎ個の静止画像が蓄積される。
【００６３】
ステップＡ４では、顔領域検出手段１６は、ターゲット画像に顔領域があるか否かを、上述した従来の技術を用いて判定する。ターゲット画像に顔領域があると判定すると、顔領域検出手段１６は、顔領域の範囲を検出する。顔領域の範囲は、上述したＸＹ座標で表される範囲である。ステップＡ５では、顔領域検出手段１６は、顔領域検出結果、つまり顔領域の有無、および顔領域の範囲を、そのターゲット画像に関連付けて画像蓄積手段１５に記憶し蓄積する。ステップＡ４およびステップＡ５は、顔領域検出ステップである。
【００６４】
ステップＡ６では、顔方向判別手段１７は、画像蓄積手段１５に記憶される顔領域検出結果に基づいて、ターゲット画像に顔領域があるか否かを判定する。ターゲット画像に顔領域があると判定すると、ステップＡ７に進み、ターゲット画像に顔領域がないと判定すると、ステップＡ１２に進む。ステップＡ７では、顔方向判別手段１７は、図１６および図１７に示した従来の技術による顔方向判別を行う。ステップＡ８では、顔方向判別手段１７は、顔方向判定結果をそのターゲット画像に関連付けて画像蓄積手段１５に記憶し蓄積する。
【００６５】
ステップＡ９では、顔方向遷移判定手段１８は、画像蓄積手段１５に記憶される顔方向判定結果に基づいて、ターゲット画像の顔方向が正面向きＤ１であるか否かを判定する。ターゲット画像の顔方向が正面向きＤ１であると判定すると、ステップＡ１０に進み、ターゲット画像の顔方向が正面向きＤ１でないと判定すると、ステップＡ１に戻る。
【００６６】
ステップＡ１０では、顔方向遷移判定手段１８は、画像蓄積手段１５に記憶される顔方向判定結果のＮ個の顔方向の遷移が第１顔方向遷移フォーマットおよび第２顔方向遷移フォーマットＦ２のうちのいずれかに一致するか否かを、図１１に示す顔方向遷移判定処理によって判定する。顔方向の遷移が第１顔方向遷移フォーマットおよび第２顔方向遷移フォーマットＦ２のうちのいずれかに一致すると、ステップＡ１１に進み、顔方向の遷移が第１顔方向遷移フォーマットおよび第２顔方向遷移フォーマットＦ２のうちのいずれかに一致しないと、ステップＡ１に戻る。ステップＡ９およびステップＡ１０は、顔方向遷移判定ステップである。
【００６７】
抽出ステップであるステップＡ１１では、顔方向遷移判定手段１８は、画像蓄積手段１５に記憶されるＮ個の静止画像を抽出し、ステップＡ１に戻る。ステップＡ１２では、顔方向判別手段１７は、画像蓄積手段１５に記憶される静止画像のうち、最も直前に顔方向が判別された静止画像の顔方向を利用して、たとえば図１０に示す第１の顔方向判別処理または図１３に示す第２の顔方向判別処理によって、ターゲット画像の顔方向を判別し、ステップＡ８に進む。ステップＡ７、ステップＡ８およびステップＡ１２は、顔方向判別ステップである。
【００６８】
図１０は、顔方向判別手段１７によって実行される第１の顔方向判別処理の処理手順を示すフローチャートである。図９に示したフローチャートのステップＡ１２が実行されると、ステップＢ１に移る。
【００６９】
ステップＢ１では、顔方向判別手段１７は、画像蓄積手段１５に記憶される静止画像の中から、ターゲット画像、および最も直前に顔領域が検出された静止画像（以下「前の画像」という）、ならびに前の画像の顔領域を読み出す。ステップＢ２では、顔方向判別手段１７は、前の画像に、前の画像の顔領域Ｋの縦横が２倍の顔方向判別領域Ｊ１を生成し、ターゲット画像に、生成した顔方向判別領域Ｊ１と同じ位置に顔方向判別領域Ｊ２を生成する。顔方向判別領域Ｊ１の座標と顔方向判別領域Ｊ２の座標とは同じである。図１０および図１３では、顔方向判別領域のことを単に「領域」という。
【００７０】
ステップＢ３では、顔方向判別手段１７は、顔方向判別領域Ｊ１内の画像および顔方向判別領域Ｊ２の画像を２値化する。ステップＢ４では、顔方向判別手段１７は、前の画像の顔方向判別領域Ｊ１をメッシュに分割し、メッシュ分割後顔方向判別領域Ｍ１とし、ターゲット画像の顔方向判別領域Ｊ２をメッシュに分割し、メッシュ分割後顔方向判別領域Ｍ２とする。図１０および図１３では、メッシュ分割後顔方向判別領域のことを単に「メッシュ領域」という。
【００７１】
ステップＢ５では、顔方向判別手段１７は、メッシュ分割後顔方向判別領域Ｍ１およびメッシュ分割後顔方向判別領域Ｍ２の同じ位置にある各メッシュの黒画素数を比較する。ステップＢ６では、顔方向判別手段１７は、メッシュ分割後顔方向判別領域Ｍ１の黒画素数とメッシュ分割後顔方向判別領域Ｍ２の黒画素数との変化の特徴によって、たとえば図６に示したように黒画素数の増減によって、ターゲット画像の顔方向を判別する。ステップＢ７では、顔方向判別手段１７は、顔方向判別結果を画像蓄積手段１５に記憶して蓄積し、第１の顔方向判別処理を終了する。
【００７２】
図１１は、顔方向遷移判定手段１８によって実行される顔方向遷移判定処理の処理手順を示すフローチャートである。図９に示したフローチャートのステップＡ１０が実行されると、ステップＣ１に移る。
【００７３】
ステップＣ１では、顔方向遷移判定手段１８は、画像蓄積手段１５に記憶されるＮフレーム分の顔方向判定結果を読み出す。ステップＣ２では、顔方向遷移判定手段１８は、読み出したＮフレーム分の顔方向判定結果について、ターゲット画像から遡って、顔方向が正面向きＤ１であるフレームまでの顔方向判別結果を抽出する。ステップＣ３では、顔方向遷移判定手段１８は、同じ顔方向の顔方向判別結果が隣接するときは、１つの顔方向判別結果を残し、他の顔方向判別結果を、抽出した顔方向判別結果から除去する。
【００７４】
ステップＣ４では、顔方向遷移判定手段１８は、重複する顔方向判別結果を除去した顔方向判別結果が示す顔方向の遷移が、顔方向遷移の特定特徴、つまり第１顔方向遷移フォーマットＦ１および第２顔方向遷移フォーマットＦ２のうちのいずれかに一致するか否かを判定する。重複する顔方向判別結果を除去した顔方向判別結果が示す顔方向の遷移が、顔方向遷移の特定特徴に一致すると、ステップＣ５に進み、重複する顔方向判別結果を除去した顔方向判別結果が示す顔方向の遷移が、顔方向遷移の特定特徴に一致しないと、ステップＣ６に進む。
【００７５】
ステップＣ５では、顔方向遷移判定手段１８は、顔方向遷移一致、つまり重複する顔方向判別結果を除去した顔方向判別結果が示す顔方向の遷移が、顔方向遷移の特定特徴に一致することを、表示切換手段１９に出力し、顔方向遷移判定処理を終了する。ステップＣ６では、顔方向遷移判定手段１８は、顔方向遷移不一致、つまり重複する顔方向判別結果を除去した顔方向判別結果が示す顔方向の遷移が、顔方向遷移の特定特徴に一致しないことを、表示切換手段１９に出力し、顔方向遷移判定処理を終了する。
【００７６】
たとえば、画像蓄積手段１５に記憶されるＮフレーム分の顔方向判定結果Ｒ１が、時系列に｛１，１，１，１，１，２，２，３，３，３，３，３，４，４，４，４，４，５，５，６，６，６，６，１｝である場合、顔方向遷移判定手段１８は、ステップＣ２で、最後の正面向きＤ１である「１」から遡り、最初に正面向きＤ１である「１」を検出するまでの顔方向判定結果Ｒ２＝｛１，２，２，３，３，３，３，３，４，４，４，４，４，５，５，６，６，６，６，１｝を抽出する。次に、ステップＣ３で、重複する顔方向判別結果を除去した顔方向判別結果Ｒ３＝｛１，２，３，４，５，６，１｝を得る。ステップＣ４で、顔方向遷移の特定特徴に一致するか否かを判定するが、顔方向判別結果Ｒ３は、第１顔方向遷移フォーマットＦ１に一致するので、顔方向遷移判定手段１８は、ステップＣ５で、顔方向遷移一致を表示切換手段１９に出力する。
【００７７】
上述した実施形態では、顔方向遷移判定手段１８は、顔方向遷移の特定特徴に一致するか否かを判定するとき、重複する顔方向判別結果を除去した顔方向判別結果が、第１顔方向遷移フォーマットＦ１および第２顔方向遷移フォーマットＦ２のうちのいずれかに一致するか否かで判定しているが、一部不一致を許すようにしてもよい。たとえば、重複する顔方向判別結果を除去した顔方向判別結果Ｒ３＝｛１，２，３，４，５，６，１｝が、一部歯抜けで、Ｒ３ａ＝｛１，２，４，５，６，１｝、Ｒ３ｂ＝｛１，２，３，５，６，１｝、またはＲ３ｃ＝｛１，３，５，６，１｝などであっても、一致と判定するようにしてもよい。
【００７８】
図１１に示した実施形態では、顔方向遷移判定手段１８は、顔方向遷移一致または顔方向遷移不一致を表示切換手段１９に出力したが、画像表示装置１の外部の装置、たとえば顔方向遷移一致が知らされたことによって、次のアクションを取るアプリケーションプログラムが実行されるコンピュータに出力してもよい。カメラの前で人の顔が３６０度回転したときに音楽を出力する装置など、人のジェスチャを入力として利用することができる。
【００７９】
図１２は、顔領域を抽出することができない場合の顔方向判別の処理例２を示す図である。図１２（ａ）は、図５（ｃ）に示した静止画像３２ｂと同じ静止画像である。図１２（ｂ）は、テクスチャ指数閾値以下領域Ｔ１を示す図であり、図１２（ｃ）は、各メッシュの共通のテクスチャ指数、およびテクスチャ指数閾値以下領域Ｔ１の重心の位置Ｃ３を示す図である。テクスチャは、物体の表面の質感を表現するために貼り付ける画像である。
【００８０】
顔方向判別手段１７は、図１２（ａ）に示したメッシュ分割後顔方向判別領域Ｍ１と図１２（ｂ）に示したメッシュ分割後顔方向判別領域Ｍ２とを、同じ位置にある各メッシュについて、共通のテクスチャ、つまり同じテクスチャの画素数を検出する。
【００８１】
共通のテクスチャであるか否かの判定は、たとえば画像を表すテクスチャとして、頭髪などの黒色、肌などの肌色、および黒色および肌色以外の色の３種類の色をテクスチャとするとき、各色をコード化し、各画素がそのいずれの色であるかをそのコードで表わしておき、各画素のコードを比較し、同じコードであるとき、共通のテクスチャと判定する。
【００８２】
顔方向判別手段１７は、検出した共通のテクスチャの画素数を、「０」〜「５」にマッピング、すなわち正規化し、共通のテクスチャ指数とする。「０」は、１つのメッシュに、一致するテクスチャが全くないメッシュあるいは非常に少ないメッシュであることを示し、「５」は、一致するテクスチャが非常に多いメッシュあるいは完全に一致するメッシュであることを示している。正規化することによって、メッシュのサイズが異なってもいても比較可能とすることができる。共通のテクスチャ指数は、単に共通のテクスチャ数でもよい。
【００８３】
顔方向判別手段１７は、共通のテクスチャ指数が予め定める閾値以下のメッシュからなる領域をテクスチャ指数閾値以下領域Ｔ１として生成する。図１２（ｂ）では、予め定める閾値が「０」であり、共通のテクスチャ指数が「０」の隣接するメッシュからなる領域がテクスチャ指数閾値以下領域Ｔ１として生成されている。図１２（ｂ）に示した例では、処理を高速化するために、共通のテクスチャ指数が「０」で隣接するメッシュに共通のテクスチャ指数が「０」である孤立したメッシュについては、テクスチャ指数閾値以下領域Ｔ１に含めていないが、テクスチャ指数閾値以下領域Ｔ１に含めて処理することも可能である。
【００８４】
図１２（ｂ）に示したテクスチャ指数閾値以下領域Ｔ１は、頬の領域があったメッシュが、頭髪または耳の領域に変化したメッシュからなる領域である。
【００８５】
顔方向判別手段１７は、テクスチャ指数閾値以下領域Ｔ１の重心の位置Ｃ３と、メッシュ分割後顔方向判別領域Ｍ２の重心の位置Ｃ４とを算出し、位置Ｃ３に対する位置Ｃ４の位置によって、顔方向を判定する。図１２に示した例では、前の画像が斜め右向きＤ２であり、位置Ｃ３が位置Ｃ４の右側にあるので、すなわちテクスチャ指数閾値以下領域Ｔ１がメッシュ分割後顔方向判別領域Ｍ２内の右側にあるので、静止画像３２ｂから静止画像３３ｄへの顔方向の回転方向は、右回りである。
【００８６】
したがって、顔方向判別手段１７は、図１２（ｂ）に示した静止画像３３ｄの顔方向が、前の画像である図１２（ａ）に示した静止画像３２ｂの顔方向である斜め右向きＤ２を右回りに回転させた右横向きＤ３であると判別する。同様に判別することによって、後ろ向きＤ４、左向きＤ５を判別することができる。
【００８７】
図１３は、顔方向判別手段１７によって実行される第２の顔方向判別処理の処理手順を示すフローチャートである。第２の顔方向判別処理は、図１０に示した第１の顔方向判別処理に代えて実行される処理である。図９に示したフローチャートのステップＡ１２が実行されると、ステップＤ１に移る。ステップＤ１，Ｄ２，Ｄ６は、図１０に示したフローチャートのステップＢ１，Ｂ２，Ｂ７と同じであり、重複を避けるために説明は省略する。
【００８８】
ステップＤ３では、顔方向判別手段１７は、前の画像の顔方向判別領域Ｊ１をメッシュに分割し、メッシュ分割後顔方向判別領域Ｍ１とし、ターゲット画像の顔方向判別領域Ｊ２をメッシュに分割し、メッシュ分割後顔方向判別領域Ｍ２とする。ステップＤ４では、顔方向判別手段１７は、メッシュ分割後顔方向判別領域Ｍ１とメッシュ分割後顔方向判別領域Ｍ２とを、同じ位置にある各メッシュについて、共通のテクスチャ、つまり同じテクスチャの画素数を検出し、検出した同じテクスチャの画素数を、共通のテクスチャ指数に指数化する。指数化は、上述したマッピングあるいは正規化と同義である。
【００８９】
ステップＤ５では、顔方向判別手段１７は、メッシュ分割後顔方向判別領域Ｍ１からメッシュ分割後顔方向判別領域Ｍ２へのテクスチャの変化パターン、つまりテクスチャの変化の特徴を抽出し、抽出したテクスチャの変化パターンに基づいて、ターゲット画像の顔方向を判別する。テクスチャの変化パターンは、たとえば図１２に示したテクスチャ指数閾値以下領域Ｔ１の位置が示すテクスチャの変化パターンである。
【００９０】
上述した実施形態では、顔方向判別領域Ｊをメッシュに分割し、黒画素数の増減によって、または共通のテクスチャ指数によって、顔方向を判別したが、メッシュに分割することなく、１つ１つの画素について、画素の変化を比較して、顔方向を判別することも可能である。
【００９１】
図１４は、画像表示装置１が処理する画像抽出表示処理の処理手順を示すフローチャートである。たとえば、指示手段１３によって、画像の取り込みの開始が指示されると、ステップＥ１に移る。ステップＥ１〜Ｅ１１，Ｅ１５は、図９に示したフローチャートのステップＡ１〜Ａ１２と同じであり、重複を避けるために説明は省略する。
【００９２】
ステップＥ１２では、表示切換手段１９は、画像入力手段１２からの動画像を表示手段１４に表示することを中止し、静止画像を表示する状態に切り換える。ステップＥ１３では、表示切換手段１９は、顔方向遷移判定手段１８によって、画像蓄積手段１５に記憶される静止画像から抽出されたＮ個の静止画像の中から、表示する静止画像を選択する。表示する静止画像は、顔方向遷移判定手段１８が、図８に示した顔方向遷移フォーマットと照らし合わせて判定するのに用いた静止画像である。つまり、顔方向遷移判定手段１８が、図８に示した第１顔方向遷移フォーマットＦ１に合致すると判定した場合は、図３に示したＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ１の方向を向いた顔の静止画像が表示されることになる。ステップＥ１３では、表示切換手段１９は、選択した静止画像を並べて表示手段１４に表示し、ステップＥ１に戻る。
【００９３】
上述した実施の形態では、ＣＰＵ１０で実行されるプログラムは、メモリ１１に記憶されているが、メモリ１１のような記憶装置に限定されるものではなく、ＣＰＵ１０などのコンピュータで読取り可能な記録媒体に記録されていてもよい。記録媒体は、たとえば図示しない外部記憶装置としてプログラム読取装置を設け、そこに記録媒体を挿入することによって読取り可能な記録媒体であってもよいし、あるいは他の装置の記憶装置であってもよい。
【００９４】
いずれの記録媒体であっても、記憶されているプログラムがコンピュータからアクセスされて実行される構成であればよい。あるいはいずれの記録媒体であっても、プログラムが読み出され、読み出されたプログラムが、記憶装置のプログラム記憶エリアに記憶されて、そのプログラムが実行される構成であってもよい。さらに通信ネットワークを介して他の装置からダウンロードされてプログラム記憶エリアに記憶させてもよい。ダウンロード用のプログラムは、予めコンピュータの記憶装置に記憶しておくか、あるいは別な記録媒体からプログラム記憶エリアにインストールしておく。
【００９５】
本体と分離可能に構成される記録媒体は、たとえば磁気テープ／カセットテープなどのテープ系の記録媒体、フレキシブルディスク／ハードディスクなどの磁気ディスクもしくはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）／ＭＯ（Magneto Optical disk）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）などの光ディスクのディスク系の記録媒体、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系の記録媒体、またはマスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read Only Memory）／ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only 
Memory）／フラッシュＲＯＭなどの半導体メモリを含む固定的にプログラムを担持する記録媒体であってもよい。したがって、本発明は、コンピュータに画像抽出方法の各ステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。
【００９６】
このように、画像入力手段１２によって、複数の静止画像から構成される動画像が入力され、画像蓄積手段１５によって、画像入力手段１２によって入力される動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像が取り出され、取り出された静止画像が時系列に記憶される。顔領域検出手段１６によって、画像蓄積手段１５に記憶される静止画像から顔の特徴部分によって特定される顔領域Ｋが検出され、顔方向判別手段１７によって、顔領域検出手段１６によって検出される顔領域Ｋの画像に基づいて、顔が向いている顔方向が各静止画像について判別され、判別された顔方向を表す顔方向情報が、顔方向が判別された静止画像と関連付けて画像蓄積手段１５に記憶され、顔方向遷移判定手段１８によって、画像蓄積手段１５に記憶される静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かが判定される。そして、顔方向遷移判定手段１８によって、顔方向遷移判定手段１８によって顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、画像蓄積手段１５に記憶される静止画像から予め定める特徴の遷移と一致する静止画像が抽出される。したがって、画像抽出装置２は、顔の画像が後ろ向きの頭部である場合などの顔の画像が検出されない静止画像が含まれていても、予め定める特徴の遷移と一致する静止画像を抽出することができる。すなわち、動画像から、顔の画像を検出することができない静止画像を顔の画像を検出することができる静止画像とともに抽出することができる。
【００９７】
さらに、前記予め定める特徴は、顔方向の遷移が、正面向きＤ１、右横向きＤ３、左横向きＤ５、そして正面向きＤ１の順に遷移するという特徴、または顔方向の遷移が、正面向きＤ１、左横向きＤ５、右横向きＤ３、そして正面向きＤ１の順に遷移するという特徴であるので、画像抽出装置２は、右回り、または左回りで回転する顔の画像を抽出することができる。
【００９８】
さらに、顔領域Ｋは、顔の特徴部分に外接する矩形内の領域であり、顔領域検出手段１６によって、肌色の画像の領域に外接する矩形内の領域である肌色領域がさらに検出され、顔方向判別手段１７によって、顔領域検出手段１６によって検出される顔領域Ｋと肌色領域との位置関係に基づいて顔方向が判別される。したがって、画像抽出装置２は、肌色の画像と、顔の特徴部分とを特定することによって顔の方向を判別することができる。
【００９９】
さらに、顔方向判別手段１７によって、ターゲット画像について顔領域検出手段１６によって顔領域Ｋが検出される場合は、顔領域検出手段１６によって検出された顔領域Ｋの画像に基づいて顔方向が判別され、ターゲット画像について顔領域検出手段１６によって顔領域Ｋが検出されない場合は、ターゲット画像の前の静止画像で検出された顔領域Ｋを含み、その顔領域Ｋの大きさを予め定める倍率で拡張した顔方向判別領域が前の静止画像について生成され、生成された顔方向判別領域の画像と、ターゲット画像のうちその顔方向判別領域と同じ位置の領域にある画像とを予め定める画素数からなるメッシュに分割し、分割した同じ位置にある各メッシュの画素の色またはテクスチャを比較し、各メッシュに含まれる異なる色の画素数または一致するテクスチャの画素数の変化に基づいて、ターゲット画像の顔方向が判別される。したがって、画像抽出装置２は、顔領域が検出されない静止画像であっても、前後の静止画像の顔の方向との関係に基づいて顔が映っていない頭部を認識することができる。
【０１００】
さらに、前記画像抽出装置、表示手段１４および表示切換手段１９を含み、表示手段１４によって、画像入力手段１２によって入力された動画像、または静止画像が表示され、表示切換手段１９によって、顔方向遷移判定手段１８によって静止画像が抽出されたとき、表示手段１４に表示する情報が、画像入力手段１２によって入力された動画像から、顔方向遷移判定手段１８によって抽出された静止画像に切り換えられる。したがって、画像表示装置１は、動画像の中から後ろ向きの頭部が映っている抽出された静止画像を表示することができる。
【０１０１】
さらに、動画像から静止画像を抽出するにあたって、ステップＡ２では、複数の静止画像から構成される動画像を入力する。ステップＡ３では、ステップＡ２で入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に画像蓄積手段１５に記憶する。ステップＡ４およびステップＡ５では、ステップＡ３で記憶された静止画像から顔の特徴部分によって特定される顔領域Ｋを検出する。ステップＡ７、ステップＡ８およびステップＡ１２では、ステップＡ４およびステップＡ５で検出された顔領域Ｋの画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて画像蓄積手段１５に記憶する。ステップＡ９およびステップＡ１０では、ステップＡ３で記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定する。そして、ステップＡ１１では、ステップＡ９およびステップＡ１０で顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、ステップＡ３で記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出する。したがって、画像抽出方法は、顔の画像が後ろ向きの頭部である場合などの顔の画像が検出されない静止画像が含まれていても、予め定める特徴の遷移と一致する静止画像を抽出することができる。すなわち、動画像から、顔の画像を検出することができない静止画像を顔の画像を検出することができる静止画像とともに抽出することができる。
【０１０２】
さらに、コンピュータに、複数の静止画像から構成される動画像を入力するステップＡ２と、ステップＡ２で入力された動画像に含まれる静止画像から予め定める時間間隔で１つの静止画像を取り出し、取り出した静止画像を時系列に画像蓄積手段１５に記憶するステップＡ３と、ステップＡ３で記憶された静止画像から顔の特徴部分によって特定される顔領域Ｋを検出するステップＡ４およびステップＡ５と、ステップＡ４およびステップＡ５で検出された顔領域Ｋの画像に基づいて、顔が向いている顔方向を各静止画像について判別し、判別した顔方向を表す顔方向情報を、顔方向が判別された静止画像と関連付けて画像蓄積手段１５に記憶するステップＡ７、ステップＡ８およびステップＡ１２と、ステップＡ３で記憶された静止画像に関連付けられた顔方向情報が示す顔方向の遷移が予め定める特徴の遷移と一致するか否かを判定するステップＡ９およびステップＡ１０と、ステップＡ９およびステップＡ１０で顔方向の遷移が予め定める特徴の遷移と一致すると判定されたとき、ステップＡ３で記憶された静止画像から予め定める特徴の遷移と一致する静止画像を抽出するステップＡ１１とを実行させるためのプログラムである。したがって、コンピュータに前記画像抽出方法の各ステップを実行させるためのプログラムとして提供することができる。
【０１０３】
さらに、前記プログラムを記録したコンピュータ読取り可能な記録媒体である。したがって、前記プログラムを記録媒体として提供することができる。
【符号の説明】
【０１０４】
１，９  画像表示装置
２  画像抽出装置
１０，９０  ＣＰＵ
１１，９１  メモリ
１２，９２  画像入力手段
１３，９３  指示手段
１４，９４  表示手段
１５，９５  画像蓄積手段
１６，９６  顔領域検出手段
１７，９７  顔方向判別手段
１８  顔方向遷移判定手段
１９  表示切換手段
３１ａ〜３１ｃ，３２ａ，３２ｂ，３３ａ〜３３ｄ  静止画像
９１，９２  フレーム
４０  顔
４１  目
４２  鼻
４３  口
Ｂ１  黒画素減少領域
Ｂ２  黒画素増加領域
Ｃ１〜Ｃ４  位置
Ｄ１〜Ｄ６  顔方向
Ｆ１，Ｆ２  顔方向遷移フォーマット
ｈ  肌色画像
Ｈ１〜Ｈ８１，Ｈ８２  肌色領域
Ｊ，Ｊ１  顔方向判別領域
Ｋ，Ｋ１〜Ｋ８１，Ｋ８２  顔領域
Ｍ，Ｍ１，Ｍ２  メッシュ分割後顔方向判別領域
Ｔ１  テクスチャ指数閾値以下領域
【図１】
2010277284.tif 000003
【図８】
2010277284.tif 000004
【図９】
2010277284.tif 000005
【図１０】
2010277284.tif 000006
【図１１】
2010277284.tif 000007
【図１３】
2010277284.tif 000008
【図１４】
2010277284.tif 000009
【図１５】
2010277284.tif 000010
【図１７】
2010277284.tif 000011
【図２】
2010277284.tif 000012
【図３】
2010277284.tif 000013
【図４】
2010277284.tif 000014
【図５】
2010277284.tif 000015
【図６】
2010277284.tif 000016
【図７】
2010277284.tif 000017
【図１２】
2010277284.tif 000018
【図１６】
2010277284.tif 000019