(57)【要約】【課題】特定のポーズを取った被写体を、より確実に且つより簡単に撮影する。【解決手段】撮像部３１は、被写体を撮像し、人物領域抽出部５３は、撮像部３１によって被写体が撮像された撮像画像から人物を抽出し、姿勢推定部５４は、人物領域抽出部５３によって抽出された人物の姿勢を推定し、ポーズ分類部５５は、姿勢推定部５４によって推定された人物の姿勢を、予め用意されたポーズに分類し、記録制御部３５は、ポーズ分類部５５によって人物の姿勢が分類されたポーズに基づいて、撮像画像の記録を制御する。本発明は、デジタルカメラに適用することができる。【選択図】図１
2011211438.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段によって前記被写体が撮像された撮像画像から、人物を抽出する抽出手段と、
前記抽出手段によって抽出された前記人物の姿勢を推定する推定手段と、
前記推定手段によって推定された前記人物の前記姿勢を、予め用意されたポーズに分類する分類手段と、
前記分類手段によって前記人物の前記姿勢が分類された前記ポーズに基づいて、前記撮像画像の記録を制御する記録制御手段と
を備える情報処理装置。
【請求項２】
前記記録制御手段は、前記分類手段によって前記人物の前記姿勢が分類された前記ポーズが、予め決められた、前記撮像画像を記録するための記録用ポーズである場合、前記撮像画像の記録を制御する
請求項１に記載の情報処理装置。
【請求項３】
前記記録制御手段は、前記抽出手段によって、複数の人物が抽出された場合、前記分類手段によって前記複数の人物の前記姿勢が分類された前記ポーズの一部または全部が、同一の前記記録用ポーズである場合、前記撮像画像の記録を制御する
請求項２に記載の情報処理装置。
【請求項４】
前記分類手段によって前記人物の前記姿勢が分類された前記ポーズに応じて、撮像モードを設定するモード設定手段をさらに備え、
前記記録制御手段は、前記ポーズが前記記録用ポーズである場合、前記モード設定手段によって設定された前記撮像モードで、前記撮像画像の記録を制御する
請求項２に記載の情報処理装置。
【請求項５】
前記推定手段によって推定された前記人物の前記姿勢を、フレーム間で比較する比較手段と、
前記比較手段によって比較された、フレーム間の前記人物の前記姿勢の変化に応じて、前記撮像手段の撮像におけるシャッタスピードを設定するシャッタスピード設定手段とをさらに備える
請求項２に記載の情報処理装置。
【請求項６】
被写体を撮像する撮像手段を備える情報処理装置の撮像方法において、
前記撮像手段によって前記被写体が撮像された撮像画像から、人物を抽出する抽出ステップと、
前記抽出ステップの処理によって抽出された前記人物の姿勢を推定する推定ステップと、
前記推定ステップの処理によって推定された前記人物の前記姿勢を、予め用意されたポーズに分類する分類ステップと、
前記分類ステップの処理によって前記人物の前記姿勢が分類された前記ポーズに基づいて、前記撮像画像の記録を制御する記録制御ステップと
を含む情報処理方法。
【請求項７】
被写体を撮像する撮像手段を備える情報処理装置の撮像処理をコンピュータに実行させるプログラムにおいて、
前記撮像手段によって前記被写体が撮像された撮像画像から、人物を抽出する抽出ステップと、
前記抽出ステップの処理によって抽出された前記人物の姿勢を推定する推定ステップと、
前記推定ステップの処理によって推定された前記人物の前記姿勢を、予め用意されたポーズに分類する分類ステップと、
前記分類ステップの処理によって前記人物の前記姿勢が分類された前記ポーズに基づいて、前記撮像画像の記録を制御する記録制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、特定のポーズを取った被写体を、より確実に且つより簡単に撮影することができるようにする情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラや携帯電話機等の撮像機能を有する電子機器によって人物を撮像しているときに、被写体となる人物のポーズに応じて、被写体の画像を自動的に記録することが検討されている。
【０００３】
例えば、撮影された画像から抽出した肌色領域の特徴点と、予め設定されているポーズ画像の特徴点とを比較し、それぞれの特徴点が一致または近似した場合に、画像を記録するようにしたものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６３４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法では、肌色領域の特徴点から、Ｖサイン等の手の形を認識して撮影することはできても、体全体について肌色領域を抽出することができない場合、体全体のポーズを認識して撮影することはできなかった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、特定のポーズを取った被写体を、より確実に且つより簡単に撮影することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の情報処理装置は、被写体を撮像する撮像手段と、前記撮像手段によって前記被写体が撮像された撮像画像から、人物を抽出する抽出手段と、前記抽出手段によって抽出された前記人物の姿勢を推定する推定手段と、前記推定手段によって推定された前記人物の前記姿勢を、予め用意されたポーズに分類する分類手段と、前記分類手段によって前記人物の前記姿勢が分類された前記ポーズに基づいて、前記撮像画像の記録を制御する記録制御手段とを備える。
【０００８】
前記記録制御手段には、前記分類手段によって前記人物の前記姿勢が分類された前記ポーズが、予め決められた、前記撮像画像を記録するための記録用ポーズである場合、前記撮像画像の記録を制御させることができる。
【０００９】
前記記録制御手段には、前記抽出手段によって、複数の人物が抽出された場合、前記分類手段によって前記複数の人物の前記姿勢が分類された前記ポーズの一部または全部が、同一の前記記録用ポーズである場合、前記撮像画像の記録を制御させることができる。
【００１０】
前記情報処理装置には、前記分類手段によって前記人物の前記姿勢が分類された前記ポーズに応じて、撮像モードを設定するモード設定手段をさらに設け、前記記録制御手段には、前記ポーズが前記記録用ポーズである場合、前記モード設定手段によって設定された前記撮像モードで、前記撮像画像の記録を制御させることができる。
【００１１】
前記情報処理装置には、前記推定手段によって推定された前記人物の前記姿勢を、フレーム間で比較する比較手段と、前記比較手段によって比較された、フレーム間の前記人物の前記姿勢の変化に応じて、前記撮像手段の撮像におけるシャッタスピードを設定するシャッタスピード設定手段とをさらに設けることができる。
【００１２】
本発明の一側面の情報処理方法は、被写体を撮像する撮像手段を備える情報処理装置の撮像方法であって、前記撮像手段によって前記被写体が撮像された撮像画像から、人物を抽出する抽出ステップと、前記抽出ステップの処理によって抽出された前記人物の姿勢を推定する推定ステップと、前記推定ステップの処理によって推定された前記人物の前記姿勢を、予め用意されたポーズに分類する分類ステップと、前記分類ステップの処理によって前記人物の前記姿勢が分類された前記ポーズに基づいて、前記撮像画像の記録を制御する記録制御ステップとを含む。
【００１３】
本発明の一側面のプログラムは、被写体を撮像する撮像手段を備える情報処理装置の撮像処理をコンピュータに実行させるプログラムであって、前記撮像手段によって前記被写体が撮像された撮像画像から、人物を抽出する抽出ステップと、前記抽出ステップの処理によって抽出された前記人物の姿勢を推定する推定ステップと、前記推定ステップの処理によって推定された前記人物の前記姿勢を、予め用意されたポーズに分類する分類ステップと、前記分類ステップの処理によって前記人物の前記姿勢が分類された前記ポーズに基づいて、前記撮像画像の記録を制御する記録制御ステップとを含む処理をコンピュータに実行させる。
【００１４】
本発明の一側面においては、被写体が撮像された撮像画像から、人物が抽出され、抽出された人物の姿勢が推定され、推定された人物の姿勢が、予め用意されたポーズに分類され、人物の姿勢が分類されたポーズに基づいて、撮像画像の記録が制御される。
【発明の効果】
【００１５】
本発明の一側面によれば、特定のポーズを取った被写体を、より確実に且つより簡単に撮影することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した情報処理装置の一実施の形態としての撮像装置の機能構成例を示すブロック図である。
【図２】撮像処理について説明するフローチャートである。
【図３】人物領域の例について説明する図である。
【図４】姿勢推定について説明する図である。
【図５】学習辞書について説明する図である。
【図６】撮像装置の他の機能構成例を示すブロック図である。
【図７】図６の撮像装置の撮像処理について説明するフローチャートである。
【図８】撮像装置のさらに他の機能構成例を示すブロック図である。
【図９】図９の撮像装置の撮像処理について説明するフローチャートである。
【図１０】撮像装置のさらに他の機能構成例を示すブロック図である。
【図１１】図１１の撮像装置の撮像処理について説明するフローチャートである。
【図１２】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（被写体が１人である場合の例）
２．第２の実施の形態（被写体が複数人である場合の例）
３．第３の実施の形態（ポーズに応じて撮像モードを設定する例）
４．第４の実施の形態（被写体の動きに応じてシャッタスピードを設定する例）
【００１８】
＜１．第１の実施の形態＞
［撮像装置の機能構成例について］
図１は、本発明を適用した情報処理装置の一実施の形態としての撮像装置の機能構成例を示している。
【００１９】
図１の撮像装置１１は、デジタルカメラや、撮像機能を有する携帯電話機などとして構成される。
【００２０】
図１の撮像装置１１は、光学部３１、撮像部３２、画像処理部３３、撮像制御部３４、記録制御部３５、記録部３６、表示制御部３７、および表示部３８から構成される。
【００２１】
光学部３１は、例えばレンズ、絞り、およびメカシャッタ等の光学素子よりなり、焦点位置や露出の調整を行う。光学部３１は、撮像時において、撮像装置１１の外部より入射された光を透過し、撮像部３２に供給する。
【００２２】
撮像部３２は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）センサ等の光電素子を有する。撮像部３２は、その光電素子により、光学部３１を介して供給された入射光（撮像画像）を電子データ化し、撮像画像の画像データを生成する。撮像部３２は、生成した画像データを画像処理部３３に供給する。
【００２３】
画像処理部３３は、撮像部３２からの画像データに対して所定の画像処理を施し、処理後の画像データを、記録制御部３５を介して、記録部３６に供給して記憶させたり、表示制御部３７を介して、表示部３８に供給してその画像を表示させる。また、画像処理部３３は、画像処理の結果得られた、撮像装置１１において撮像を制御するための情報を撮像制御部３４に供給する。
【００２４】
画像処理部３３は、信号処理部５１、顔検出部５２、人物領域抽出部５３、姿勢推定部５４、ポーズ分類部５５、およびポーズ判定部５６を備えている。
【００２５】
信号処理部５１は、撮像部３２からの画像データに対して、ホワイトバランス調整処理、デモザイク処理、階調補正処理、ガンマ補正処理、およびＹＣ変換処理などの画像処理を施す。信号処理部５１は、処理後の画像データ（以下、撮像画像という）を、顔検出部５２、人物領域抽出部５３、記録制御部３５、および表示制御部３７に供給する。
【００２６】
顔検出部５２は、信号処理部５１からの画像データ（撮像画像）から顔を検出し、検出された顔の位置を表す位置情報を、人物領域抽出部５３に供給する。
【００２７】
人物領域抽出部５３は、顔検出部５２からの位置情報に基づいて、撮像画像における人物の領域である人物領域を抽出し、姿勢推定部５４に供給する。
【００２８】
姿勢推定部５４は、人物領域抽出部５３からの人物領域の人物の姿勢を推定し、その姿勢を表す姿勢情報を、ポーズ分類部５５に供給する。
【００２９】
ポーズ分類部５５は、姿勢推定部５４からの姿勢情報に基づいて、撮像画像における人物の姿勢を、予め用意されているポーズのいずれかに分類する。ポーズ分類部５５は、撮像画像における人物の姿勢が分類されたポーズを表すポーズ情報を、ポーズ判定部５６に供給する。
【００３０】
ポーズ判定部５６は、ポーズ分類部５５からのポーズ情報で表わされるポーズが、予め決められている、撮像画像を記録するためのシャッタポーズであるか否かを判定する。ポーズ分類部５５からのポーズ情報で表わされるポーズが、シャッタポーズである場合、ポーズ判定部５６は、撮像画像の記録を指示する情報を、撮像制御部３４に供給する。
【００３１】
撮像制御部３４は、光学部３１、撮像部３２、記録制御部３５、および信号処理部５１を制御することで、撮像装置１１における撮像の機能を実現する。撮像制御部３４は、ポーズ判定部５６からの情報に基づいて、記録制御部３５を介して、記録部３６への撮像画像の記録を制御する。
【００３２】
記録制御部３５は、撮像制御部３４の制御に基づいて、記録部３６の記録を制御し、信号処理部５１からの撮像画像を、記録部３６に記録させる。
【００３３】
表示制御部３７は、表示部３８の表示を制御し、信号処理部５１からの撮像画像を、表示部３８に表示させる。
【００３４】
［撮像装置の撮像処理について］
次に、図２のフローチャートを参照して、図１の撮像装置１１の撮像処理について説明する。図２の撮像処理は、信号処理部５１において、撮像部３２からの画像データに対する画像処理がフレーム単位で施される毎に実行される。
【００３５】
ステップＳ１１において、顔検出部５２は、信号処理部５１からの撮像画像（画像データ）の所定のフレームから、人物の顔を検出する。例えば、顔検出部５２は、様々な方向を向いている顔の顔画像を学習しておくことで、撮像画像から人物の顔を検出する。
【００３６】
ステップＳ１２において、顔検出部５２は、顔が検出されたか否かを判定する。ステップＳ１２において、顔が検出されなかったと判定された場合、処理はステップＳ１１に戻り、顔検出部５２は、信号処理部５１から、顔が１つ検出されるフレームが供給されるまで、ステップＳ１１およびＳ１２の処理を繰り返す。
【００３７】
一方、ステップＳ１２において、顔が検出されたと判定された場合、顔検出部５２は、検出された顔の位置を表す位置情報を、人物領域抽出部５３に供給する。ここで、位置情報は、例えば、顔の領域として検出された矩形領域の、左上および右下の頂点の座標などとされる。なお、位置情報は、撮像画像における顔の位置を、撮像画像のフレーム間で特定できるものであればよい。
【００３８】
ステップＳ１３において、人物領域抽出部５３は、顔検出部５２からの位置情報に基づいて、撮像画像の所定のフレームにおいて、人物の領域である人物領域を抽出し、姿勢推定部５４に供給する。具体的には、人物領域抽出部５３は、顔検出部５２からの位置情報で表わされる顔の位置から、人物の上半身の位置を推定し、撮像画像における顔および推定された上半身の領域を、人物領域として抽出する。
【００３９】
ステップＳ１４において、姿勢推定部５４は、人物領域抽出部５３からの人物領域の人物の姿勢を推定する。
【００４０】
ここで、図３，４を参照して、姿勢推定部５４の姿勢推定について説明する。
【００４１】
図３は、撮像画像の所定のフレームから抽出された人物領域を示している。図３においては、ガッツポーズを取っている人物の顔および上半身の領域が、人物領域として抽出されている。
【００４２】
一般的に、人体は、複数の関節を有し様々な形に変形する多関節物体であるが、関節同士を連結している体節部分は剛体とみなすことができる。したがって、体節を関節によって互いに接続させたモデルにおいて、１関節に接続されている２体節のなす角度（以下、間接角という）を決定することで、人体を表現することができる。
【００４３】
そこで、図３で示される人物領域が抽出された場合、姿勢推定部５４は、ガッツポーズを取っている人物の上半身における各関節を特定し、それぞれの関節についての関節角を求めることで、図４に示されるような人体３次元モデルを生成し、人物の上半身の姿勢を推定する。
【００４４】
図４に示される人体３次元モデルは、頭Ｈ、関節J1乃至J10、および各関節を連結している体節によって表わされている。図３で示される人物の上半身に対応して、図４においては、関節J1は首、関節J2は右肩、関節J3は右肘、関節J4は右手首、関節J5は左肩、関節J6は左肘、関節J7は左手首、関節J8は腰、関節J9は右脚付け根、関節J10は左脚付け根をそれぞれ表している。
【００４５】
そして、姿勢推定部５４は、このようにして生成した人体３次元モデルにおける各関節の３次元空間上の座標（以下、関節座標という）を、人物の上半身の姿勢を表す姿勢情報として、ポーズ分類部５５に供給する。
【００４６】
図２のフローチャートに戻り、ステップＳ１５において、ポーズ分類部５５は、姿勢推定部５４からの姿勢情報に基づいて、撮像画像における人物の姿勢が、内部に保持されている学習辞書に登録されているポーズのいずれに当てはまるかを判定することで、推定された姿勢を分類する。
【００４７】
具体的には、図５に示されるように、ポーズ分類部５５の内部に保持されている学習辞書においては、ガッツポーズ、万歳のポーズ、片手上げのポーズ、直立の姿勢などのポーズが、上述した関節J1乃至J10それぞれの関節座標に対応付けられて保持されている。
【００４８】
図５によれば、例えば、ガッツポーズは、関節J1乃至J10がそれぞれ、３次元空間（xyz空間）上の座標（xa1,ya1,za1），（xa2,ya2,za2），・・・，（xa1,ya10,za10）の位置にある姿勢であると言える。また、例えば、万歳のポーズは、関節J1乃至J10がそれぞれ、３次元空間（xyz空間）上の座標（xb1,yb1,zb1），（xb2,yb2,zb2），・・・，（xb1,yb10,zb10）の位置にある姿勢であると言える。
【００４９】
ステップＳ１６において、ポーズ分類部５５は、姿勢推定部５４に推定された姿勢が分類可能な姿勢であるか否かを判定する。具体的には、ポーズ分類部５５は、図５で示された学習辞書において、姿勢推定部５４からの姿勢情報としての各関節座標に近い関節座標が登録されているか否かを判定する。
【００５０】
ステップＳ１６において、姿勢推定部５４に推定された姿勢が分類可能な姿勢でないと判定された場合、すなわち、姿勢推定部５４からの姿勢情報としての各関節座標に近い関節座標が登録されていない場合、処理はステップＳ１１に戻り、次のフレームについての処理が実行される。なお、このとき、ポーズ分類部５５は、推定された姿勢が分類不能である旨の情報を表示制御部３７に供給するようにしてもよい。この場合、表示制御部３７は、表示部３８に、推定された姿勢が分類不能である旨の表示をさせる。
【００５１】
一方、ステップＳ１６において、姿勢推定部５４に推定された姿勢が分類可能な姿勢であると判定された場合、すなわち、学習辞書において、姿勢推定部５４からの姿勢情報としての各関節座標に近い関節座標が登録されている場合、ポーズ分類部５５は、その関節座標に対応付けられているポーズを表すポーズ情報をポーズ判定部５６に供給する。
【００５２】
ステップＳ１７において、ポーズ判定部５６は、ポーズ分類部５５からのポーズ情報で表わされるポーズが、シャッタポーズであるか否かを判定する。
【００５３】
シャッタポーズは、例えば、ポーズ分類部５５に保持されている学習辞書に登録されているポーズのうちの、ユーザによって予め設定されたポーズとされる。
【００５４】
ステップＳ１７において、ポーズ分類部５５からのポーズ情報で表わされるポーズが、シャッタポーズでないと判定された場合、処理はステップＳ１１に戻り、次のフレームについての処理が実行される。
【００５５】
一方、ステップＳ１７において、ポーズ分類部５５からのポーズ情報で表わされるポーズが、シャッタポーズであると判定された場合、ポーズ判定部５６は、撮像画像の記録を指示する記録指示情報を、シャッタポーズを表すシャッタポーズ情報とともに、撮像制御部３４に供給する。
【００５６】
ステップＳ１８において、撮像制御部３４は、ポーズ判定部５６からの記録指示情報に基づいて、記録制御部３５に、記録部３６への撮像画像の記録を制御させる。このとき、撮像制御部３４は、撮像画像を、ポーズ判定部５６からのシャッタポーズ情報とともに、記録部３６に記録させる。
【００５７】
以上の処理によれば、被写体である人物の姿勢を推定し、推定した姿勢が所定のポーズに分類された場合、かつ、所定のポーズがシャッタポーズであった場合、撮像画像を記録することができる。すなわち、被写体の取ったポーズが、学習辞書に登録されており、さらに、そのポーズがシャッタポーズとして設定されている場合に、撮像画像が記録されるので、撮影者は、被写体が取るポーズを意識することなく、特定のポーズを取った被写体を、より確実に且つより簡単に撮影することが可能となる。
【００５８】
また、撮像画像とともに、シャッタポーズを表すシャッタポーズ情報を記録させるようにしたので、ユーザは、記録部３６に記録された複数の撮像画像を整理するときに、シャッタポーズ情報によって、撮像画像を分類したり、検索することが可能となる。
【００５９】
以上においては、被写体である人物が１人である場合の撮像処理について説明してきたが、以下では、被写体である人物が複数である場合の撮像処理について説明する。
【００６０】
＜２．第２の実施の形態＞
［撮像装置の他の機能構成例について］
図６は、本発明を適用した撮像装置の他の機能構成例を示している。
【００６１】
図６の撮像装置１１１は、光学部３１、撮像部３２、画像処理部３３、撮像制御部３４、記録制御部３５、記録部３６、表示制御部３７、および表示部３８から構成される。また、図６の画像処理部３３は、信号処理部５１、人物領域抽出部５３、姿勢推定部５４、顔検出部１５１、ポーズ分類部１５２、およびポーズ判定部１５３を備えている。
【００６２】
なお、図６の撮像装置１１１において、図１の撮像装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００６３】
すなわち、図６の撮像装置１１１において、図１の撮像装置１１と異なるのは、画像処理部３３において、顔検出部５２、ポーズ分類部５５、およびポーズ判定部５６のそれぞれに代わり、顔検出部１５１、ポーズ分類部１５２、およびポーズ判定部１５３を設けた点である。
【００６４】
顔検出部１５１は、信号処理部５１からの画像データ（撮像画像）から、複数の顔を検出し、検出された顔の位置を表す位置情報を、人物領域抽出部５３に供給する。また、顔検出部１５１は、検出された顔の数を表す情報を、ポーズ分類部１５２に供給する。
【００６５】
ポーズ分類部１５２は、姿勢推定部５４からの姿勢情報に基づいて、撮像画像における複数の人物の姿勢を、予め用意されているポーズのいずれかに分類する。ポーズ分類部１５２は、撮像画像における複数の人物の姿勢が分類されたポーズを表すポーズ情報を、ポーズ判定部１５３に供給する。
【００６６】
ポーズ判定部１５３は、ポーズ分類部１５２からのポーズ情報で表わされる複数のポーズが、同一のシャッタポーズであるか否かを判定する。ポーズ分類部１５２からのポーズ情報で表わされる複数のポーズが、同一のシャッタポーズである場合、ポーズ判定部１５３は、撮像画像の記録を指示する情報を、撮像制御部３４に供給する。
【００６７】
［撮像装置の撮像処理について］
次に、図７のフローチャートを参照して、図６の撮像装置１１１の撮像処理について説明する。図７の撮像処理は、信号処理部５１において、撮像部３２からの画像データに対する画像処理がフレーム単位で施される毎に実行される。
【００６８】
ステップＳ１１１において、顔検出部１５１は、信号処理部５１からの撮像画像（画像データ）の所定のフレームから、複数の人物の顔を検出する。
【００６９】
ステップＳ１１２において、顔検出部１５１は、顔が検出されたか否かを判定する。ステップＳ１１２において、顔が全く検出されなかったと判定された場合、処理はステップＳ１１１に戻り、顔検出部１５１は、信号処理部５１から、顔が検出されるフレームが供給されるまで、ステップＳ１１１およびＳ１１２の処理を繰り返す。
【００７０】
一方、ステップＳ１１２において、顔が検出されたと判定された場合、顔検出部１５１は、検出された１以上の顔の位置を表す位置情報を、人物領域抽出部５３に供給する。また、顔検出部１５１は、検出された顔の数を表す情報を、ポーズ分類部１５２に供給する。
【００７１】
ステップＳ１１３において、人物領域抽出部５３は、顔検出部５２からの位置情報に基づいて、撮像画像の所定のフレームにおいて、人物の領域である人物領域を抽出し、姿勢推定部５４に供給する。人物領域は、検出された顔の数だけ抽出される。
【００７２】
ステップＳ１１４において、姿勢推定部５４は、図３，４を参照して説明したように、人物領域抽出部５３からの人物領域の人物の姿勢を推定し、推定された姿勢を表す姿勢情報を、顔検出部１５１により検出された顔の数だけ、ポーズ分類部５５に供給する。
【００７３】
ステップＳ１１５において、ポーズ分類部１５２は、姿勢推定部５４からの姿勢情報に基づいて、撮像画像における複数の人物の姿勢のそれぞれが、内部に保持されている学習辞書に登録されているポーズのいずれに当てはまるかを判定することで、複数の人物について推定された姿勢を分類する。
【００７４】
ステップＳ１１６において、ポーズ分類部１５２は、顔検出部１５１からの顔の数を表す情報に基づいて、複数の人物について姿勢推定部５４に推定された姿勢が全て分類可能な姿勢であるか否かを判定する。
【００７５】
ステップＳ１１６において、複数の人物について姿勢推定部５４に推定された姿勢のいくつかが、分類可能な姿勢でないと判定された場合、すなわち、分類可能な姿勢の数が、顔検出部１５１からの情報で表わされる顔の数より少ない場合、処理はステップＳ１１１に戻り、次のフレームについての処理が実行される。なお、このとき、ポーズ分類部１５２は、複数の人物について推定された姿勢のいくつかが分類不能である旨の情報を表示制御部３７に供給するようにしてもよい。この場合、表示制御部３７は、表示部３８に、推定された姿勢のいくつかが分類不能である旨の表示をさせる。
【００７６】
一方、ステップＳ１１６において、姿勢推定部５４に推定された姿勢が全て分類可能な姿勢であると判定された場合、すなわち、分類可能な姿勢の数が、顔検出部１５１からの情報で表わされる顔の数と一致する場合、ポーズ分類部１５２は、それぞれの姿勢が分類されたポーズを表すポーズ情報をポーズ判定部１５３に供給する。
【００７７】
ステップＳ１１７において、ポーズ判定部１５３は、ポーズ分類部１５２からのポーズ情報で表わされる複数のポーズが、同一のシャッタポーズであるか否かを判定する。
【００７８】
ステップＳ１１７において、ポーズ分類部１５２からのポーズ情報で表わされる複数のポーズが、全て同一のシャッタポーズでないと判定された場合、すなわち、複数のポーズのいずれかが、他と異なるシャッタポーズであったり、設定されたシャッタポーズでないと判定された場合、処理はステップＳ１１に戻り、次のフレームについての処理が実行される。
【００７９】
一方、ステップＳ１１７において、ポーズ分類部１５２からのポーズ情報で表わされる複数のポーズが、全て同一のシャッタポーズであると判定された場合、ポーズ判定部１５３は、撮像画像の記録を指示する記録指示情報を、シャッタポーズを表すシャッタポーズ情報とともに、撮像制御部３４に供給する。
【００８０】
ステップＳ１１８において、撮像制御部３４は、ポーズ判定部１５３からの記録指示情報に基づいて、記録制御部３５に、記録部３６への撮像画像の記録を制御させる。このとき、撮像制御部３４は、撮像画像を、ポーズ判定部５６からのシャッタポーズ情報とともに、記録部３６に記録させる。
【００８１】
以上の処理によれば、被写体である複数の人物の姿勢を推定し、複数の人物について推定した姿勢が所定のポーズに分類された場合、かつ、全てのポーズが同一のシャッタポーズであった場合、撮像画像を記録することができる。すなわち、複数の被写体の取ったポーズが、学習辞書に登録されており、さらに、そのポーズがシャッタポーズとして設定されている場合、かつ、複数の被写体の取ったポーズが全て同一である場合に、撮像画像が記録されるので、撮影者は、複数の被写体が取るポーズを意識することなく、複数の被写体が取るポーズが揃ったときに、そのポーズを取った複数の被写体を、より確実に且つより簡単に撮影することが可能となる。
【００８２】
また、撮像画像とともに、シャッタポーズを表すシャッタポーズ情報を記録させるようにしたので、ユーザは、記録部３６に記録された複数の撮像画像を整理するときに、シャッタポーズ情報によって、撮像画像を分類したり、検索することが可能となる。
【００８３】
なお、上述した説明では、ステップＳ１１６において、ポーズ分類部１５２は、分類可能な姿勢の数が、検出された顔の数と一致する場合に、ポーズ情報をポーズ判定部１５３に供給するようにしたが、例えば、分類可能な姿勢の数が、検出された顔の数から２や３等の所定の数を減じた数と一致する場合に、ポーズ情報をポーズ判定部１５３に供給するようにしてもよい。
【００８４】
また、ステップＳ１１７において、ポーズ判定部１５３は、複数のポーズが、全て同一のシャッタポーズである場合に、記録指示情報を撮像制御部３４に供給するようにしたが、例えば、複数のポーズのうちの８割が、同一のシャッタポーズであると判定された場合に、記録指示情報を撮像制御部３４に供給するようにしてもよい。
【００８５】
これにより、複数の被写体の取ったポーズが全て同一でなくても、複数の被写体が取るポーズがある程度揃ったときに、その被写体の撮像画像を記録することができるようになる。
【００８６】
以上においては、被写体の取ったポーズに応じて、被写体の撮像画像を記録する処理について説明してきたが、被写体の取ったポーズに応じて、撮像モードを設定した上で、被写体の撮像画像を記録するようにすることもできる。
【００８７】
＜３．第３の実施の形態＞
［撮像装置の他の機能構成例について］
図８は、被写体の取ったポーズに応じて、撮像モードを設定した上で、被写体の撮像画像を記録するようにした撮像装置の機能構成例を示している。
【００８８】
図８の撮像装置２１１は、光学部３１、撮像部３２、画像処理部３３、記録制御部３５、記録部３６、表示制御部３７、表示部３８、および撮像制御部２３１から構成される。
【００８９】
なお、図８の撮像装置２１１において、図１の撮像装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００９０】
すなわち、図８の撮像装置２１１において、図１の撮像装置１１と異なるのは、撮像制御部３４に代わり、撮像制御部２３１を設けた点である。
【００９１】
なお、図８のポーズ分類部５５は、撮像画像における人物の姿勢が分類されたポーズを表すポーズ情報を、ポーズ判定部５６および撮像制御部２３１に供給する。
【００９２】
撮像制御部２３１は、図１の撮像制御部３４と同様の機能を有する他、撮像モード設定部２３１ａを備えている。撮像モード設定部２３１ａは、ポーズ分類部５５からのポーズ情報に基づいて撮像モードを設定し、設定した撮像モードを表す情報を、光学部３１、撮像部３２、および信号処理部５１に供給する。
【００９３】
［撮像装置の撮像処理について］
次に、図９のフローチャートを参照して、図８の撮像装置２１１の撮像処理について説明する。なお、図９のフローチャートにおけるステップＳ２１１乃至Ｓ２１６，Ｓ２１８，Ｓ２１９の処理は、図２のフローチャートを参照して説明したステップＳ１１乃至１８の処理と同様であるので、その説明は省略するものとする。
【００９４】
なお、ステップＳ２１６において、姿勢推定部５４によって推定された姿勢が分類可能な姿勢であると判定された場合、ポーズ分類部５５は、その姿勢が分類されたポーズを表すポーズ情報をポーズ判定部５６および撮像制御部２３１に供給する。
【００９５】
ステップＳ２１７において、撮像制御部２３１の撮像モード設定部２３１ａは、ポーズ分類部５５からのポーズ情報に基づいて、そのポーズ情報で表わされるポーズに対応する撮像モードを設定する。
【００９６】
撮像モード設定部２３１ａには、各種のポーズと、撮像モードとしての、被写体の存在する環境に応じた撮像を行うためのシーンモードとが対応付けられている対応情報が保持されている。シーンモードには、例えば、人物を引き立てて肌色が美しく写るようにする人物モード、動きの速いものを撮像するスポーツモード、ピントを遠くに合わせ画像全体がシャープに写るようにする風景モード、手ぶれ補正して肌色が美しく写るようにする自分撮りモードなどがある。
【００９７】
そして、対応情報においては、例えば、ガッツポーズとスポーツモード、万歳のポーズと風景モードなどのように、ポーズとシーンモードとが対応付けられている。
【００９８】
撮像モード設定部２３１ａは、対応情報に基づいて、ポーズ分類部５５からのポーズ情報で表わされるポーズに対応付けられているシーンモードを表すモード情報を、光学部３１、撮像部３２、および信号処理部５１に供給する。
【００９９】
これにより、モード情報で表わされるシーンモードに応じた撮像画像が得られるように、光学部３１および撮像部３２においては撮像パラメータが調整され、信号処理部５１においては所定の画像処理が施される。
【０１００】
例えば、撮像装置２１１に対して右手を伸ばすポーズが、学習辞書に登録され、そのポーズがシャッタポーズとして設定されている場合、そのポーズと自分撮りモードとが対応付けられている対応情報を予め用意しておくことで、シャッタタイミングを遅延させるようにすることもできる。
【０１０１】
以上の処理によれば、被写体である人物の姿勢を推定し、その人物について推定した姿勢が所定のポーズに分類された場合、そのポーズに応じた撮像モード（シーンモード）で撮像画像を記録することができる。すなわち、被写体の取ったポーズが、学習辞書に登録されており、さらに、そのポーズがシャッタポーズとして設定されている場合に、そのポーズに応じたシーンモードで撮像画像が記録されるので、撮影者は、被写体が取るポーズを意識することなく、また、通常、ダイヤル操作などによりマニュアルで設定するシーンモードを設定する必要なく、そのポーズを取った被写体を、より確実に且つより簡単に撮影することが可能となる。
【０１０２】
以上においては、被写体の取ったポーズに応じて、撮像モードを設定した上で、被写体の撮像画像を記録する処理について説明してきたが、推定された姿勢の変化に基づいてシャッタスピードを設定した上で、被写体の取ったポーズに応じて、被写体の撮像画像を記録するようにすることもできる。
【０１０３】
＜４．第４の実施の形態＞
［撮像装置の他の機能構成例について］
図１０は、推定された姿勢の変化に基づいてシャッタスピードを設定した上で、被写体の取ったポーズに応じて、被写体の撮像画像を記録するようにした撮像装置の機能構成例を示している。
【０１０４】
図１０の撮像装置３１１は、光学部３１、撮像部３２、画像処理部３３、記録制御部３５、記録部３６、表示制御部３７、表示部３８、および撮像制御部３３１から構成される。また、また、図１０の画像処理部３３は、信号処理部５１、顔検出部５２、人物領域抽出部５３、姿勢推定部５４、ポーズ分類部５５、ポーズ判定部５６、姿勢情報保持部３５１、および姿勢情報比較部３５２を備えている。
【０１０５】
なお、図１０の撮像装置３１１において、図１の撮像装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１０６】
すなわち、図１０の撮像装置３１１において、図１の撮像装置１１と異なるのは、撮像制御部３４に代わり、撮像制御部３３１を設け、画像処理部３３において、姿勢情報保持部３５１および姿勢情報比較部３５２を新たに設けた点である。
【０１０７】
なお、図１０の姿勢推定部５４は、人物領域抽出部５３からの人物領域の人物の姿勢を推定し、その姿勢を表す姿勢情報を、ポーズ分類部５５、姿勢情報保持部３５１、および姿勢情報比較部３５２に供給する。
【０１０８】
姿勢情報保持部３５１は、姿勢推定部５４からの姿勢情報を１フレーム分だけ保持（記憶）し、１フレーム分遅延させた姿勢情報を、姿勢情報比較部３５２に供給する。
【０１０９】
姿勢情報比較部３５２は、姿勢推定部５４からの姿勢情報と、姿勢情報保持部３５１からの１フレーム前の姿勢情報とを比較し、その比較の結果を撮像制御部３３１に供給する。
【０１１０】
撮像制御部３３１は、図１の撮像制御部３４と同様の機能を有する他、シャッタスピード設定部３３１ａを備えている。シャッタスピード設定部３３１ａは、姿勢情報比較部３５２からの、フレーム間の姿勢情報の比較結果に基づいてシャッタスピードを設定し、設定したシャッタスピードを表す情報を、光学部３１に供給する。
【０１１１】
［撮像装置の撮像処理について］
次に、図１１のフローチャートを参照して、図１０の撮像装置３１１の撮像処理について説明する。なお、図１１のフローチャートにおけるステップＳ３１１乃至Ｓ３１４，Ｓ３１８乃至Ｓ３２１の処理は、図２のフローチャートを参照して説明したステップＳ１１乃至１８の処理と同様であるので、その説明は省略するものとする。
【０１１２】
なお、ステップＳ３１４において、姿勢推定部５４は、人物領域抽出部５３からの人物領域の人物の姿勢を推定し、推定された姿勢を表す姿勢情報を、ポーズ分類部５５、姿勢情報保持部３５１、および姿勢情報比較部３５２に供給する。
【０１１３】
ステップＳ３１５において、姿勢情報保持部３５１は、姿勢推定部５４からの姿勢情報を１フレーム分だけ記憶し、記憶していた１フレーム前の姿勢情報を、姿勢情報比較部３５２に供給する。
【０１１４】
ステップＳ３１６において、姿勢情報比較部３５２は、姿勢推定部５４からの姿勢情報と、姿勢情報保持部３５１からの１フレーム前の姿勢情報とを比較する。具体的には、姿勢情報比較部３５２は、現フレームの姿勢情報としての関節座標と、１フレーム前の姿勢情報としての関節座標とを比較し、対応する各関節の、例えばフレーム間での移動量の平均値を算出し、撮像制御部３３１に供給する。
【０１１５】
ステップＳ３１７において、撮像制御部３３１のシャッタスピード設定部３３１ａは、姿勢情報比較部３５２からの、フレーム間の姿勢情報の比較結果に基づいてシャッタスピードを設定する。具体的には、シャッタスピード設定部３３１ａは、姿勢情報比較部３５２からの、各関節のフレーム間での移動量の平均値、すなわち、人物の姿勢の変化の速さに応じて、シャッタスピードを設定する。すなわち、シャッタスピード設定部３３１ａは、各関節のフレーム間での移動量の平均値が大きい場合にはシャッタスピードを上げ、各関節のフレーム間での移動量の平均値が小さい場合にはシャッタスピードを下げるようにする。設定されたシャッタスピードを表すシャッタスピード情報は、光学部３１に供給される。
【０１１６】
これにより、人物の姿勢の変化の速さに応じた撮像画像が得られるように、光学部３１においては露出時間が調整される。
【０１１７】
以上の処理によれば、被写体である人物の姿勢を推定し、その人物について推定した姿勢が所定のポーズに分類された場合、推定された姿勢の変化に応じたシャッタスピードで撮像画像を記録することができる。すなわち、被写体の取ったポーズが、学習辞書に登録されており、さらに、そのポーズがシャッタポーズとして設定されている場合、そのポーズを取るまでの被写体の動きに応じたシャッタスピードで、撮像画像が記録されるので、撮影者は、被写体が取るポーズを意識することなく、また、それまでの被写体の動きを意識することなく、そのポーズを取った被写体を、より確実に且つより簡単に撮影することが可能となる。
【０１１８】
なお、図９および図１１のフローチャートでは、被写体である人物が１人である場合の撮像処理について説明したが、撮像装置２１１（図８）および撮像装置３１１（図１０）と、図６の撮像装置１１１とを組み合わせることで、被写体が複数である場合の撮像処理を実現することもできる。
【０１１９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１２０】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２１】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１２２】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１２３】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２４】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１２５】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１２６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２８】
１１  撮像装置，  ３１  光学部，  ３２  撮像部，  ３３  画像処理部，  ３４  撮像制御部，  ３５  記録制御部，  ３６  記録部，  ３７  表示制御部，  ３８  表示部，  ５１  信号処理部，  ５２  顔検出部，  ５３  人物領域検出部，  ５４  姿勢推定部，  ５５  ポーズ分類部，  ５６  ポーズ判定部，  １１１  撮像装置，  １５１  顔検出部，  １５２  ポーズ分類部，  １５３  ポーズ判定部，  ２１１  撮像装置，  ２３１  撮像制御部，  ２３１ａ  撮像モード設定部，  ３１１  撮像装置，  ３３１  撮像制御部，  ３３１ａ  シャッタスピード設定部，  ３５１  姿勢情報保持部，  ３５２  姿勢情報比較部
【図１】
2011211438.tif 000003
【図２】
2011211438.tif 000004
【図３】
2011211438.tif 000005
【図４】
2011211438.tif 000006
【図５】
2011211438.tif 000007
【図６】
2011211438.tif 000008
【図７】
2011211438.tif 000009
【図８】
2011211438.tif 000010
【図９】
2011211438.tif 000011
【図１０】
2011211438.tif 000012
【図１１】
2011211438.tif 000013
【図１２】
2011211438.tif 000014