(57)【要約】【課題】静止画あるいは動画を撮影する際に、以前に撮影された静止画あるいは動画の画角や構図をユーザが認識できるようにする。【解決手段】表示ユニット１１１は、撮影された第１の画像データに基づく画像とともに、顔検出ユニット１０６により前記第１の画像データから検出された顔領域の情報と、ＮＶＲＡＭ１０９に保持されている、前記第１の画像データよりも前に撮影された画像データの顔領域の情報とを重畳してディスプレイ１１３に表示するようにして、構図を調整して構図が類似した映像を容易に撮影することができるようにする。【選択図】図１
2011066828.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データに基づく画像を表示部に表示する表示手段と、
前記撮像手段により生成された画像データから被写体領域を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体領域の情報を保持する保持手段とを備え、
前記表示手段は、前記撮像手段により生成された第１の画像データに基づく画像とともに、前記被写体検出手段により前記第１の画像データから検出された被写体領域の情報と、前記保持手段に保持されている、前記第１の画像データよりも前に前記撮像手段により生成された第２の画像データの被写体領域の情報とを前記表示部に表示することを特徴とする撮像装置。
【請求項２】
前記被写体検出手段は、前記被写体領域として人物の顔領域を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体検出手段は、前記被写体領域のサイズ及び位置を検出することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記表示手段は、前記第１の画像データの被写体領域の情報と、前記第２の画像データの被写体領域の情報とを互いに異なる表示態様により表示することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記第１の画像データの被写体領域と、前記第２の画像データの被写体領域とを比較する比較手段をさらに備え、
前記表示手段は、前記比較手段による比較の結果、前記被写体領域のサイズ及び位置の差が所定値以下である場合に、被写体領域が一致している旨を通知することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記表示手段は、前記比較手段による比較の結果、前記被写体領域のサイズ及び位置の差が所定値以下である場合に、前記第１の画像データの被写体領域の情報と、前記第２の画像データの被写体領域の情報とを１つの表示態様で表示することにより、被写体領域が一致している旨を通知することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記比較手段による比較の結果、前記被写体領域のサイズが所定値を超えた場合に、前記第１の画像データの被写体領域のサイズが前記第２の画像データの被写体領域のサイズになるように前記撮像手段のズーム倍率を制御する制御手段をさらに備えることを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記第２の画像データは、前記第１の画像データよりも前に前記被写体検出手段により最後に被写体領域が検出された画像データであることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
前記保持手段に保持されている被写体領域の情報の中から、前記第２の画像データの被写体領域の情報として表示するための被写体領域の情報を選択する選択手段をさらに備え、
前記表示手段は、前記第１の画像データに基づく画像とともに、前記第１の画像データの被写体領域の情報と、前記選択手段によって選択された被写体領域の情報とを前記表示部に表示することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項１０】
前記第２の画像データは静止画データであることを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
【請求項１１】
前記第２の画像データは動画データであり、前記選択手段は、前記保持手段に保持されている前記動画データの先頭のフレーム、前記被写体検出手段により被写体領域が検出されたフレーム、及び最後のフレームの被写体領域の情報の中から選択することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記保持手段は、前記撮像手段により生成された第２の画像データをも保持し、
前記保持手段が前記第２の画像データの被写体領域の情報を保持していない場合、前記被写体検出手段は、前記被写体領域を検出する基準となる閾値を変更して前記保持手段に保持されている第２の画像データから被写体領域を検出することを特徴とする請求項１〜１１の何れか１項に記載の撮像装置。
【請求項１３】
前記表示手段は、前記第１の画像データの被写体領域の情報と、前記第２の画像データの被写体領域の情報とを矩形図形により表示することを特徴とする請求項１〜１２の何れか１項に記載の撮像装置。
【請求項１４】
前記撮像手段により生成された画像データを記録媒体に記録する記録手段をさらに備えることを特徴とする請求項１〜１３の何れか１項に記載の撮像装置。
【請求項１５】
被写体を撮像して画像データを生成する撮像工程と、
前記撮像工程において生成された画像データに基づく画像を表示部に表示する表示工程と、
前記撮像工程において生成された画像データから被写体領域を検出する被写体検出工程と、
前記被写体検出工程において検出された被写体領域の情報を保持手段に保持する保持工程とを備え、
前記表示工程においては、前記撮像工程において生成された第１の画像データに基づく画像とともに、前記被写体検出工程において前記第１の画像データから検出された被写体領域の情報と、前記保持手段に保持されている、前記第１の画像データよりも前に前記撮像工程において生成された第２の画像データの被写体領域の情報とを前記表示部に表示することを特徴とする撮像方法。
【請求項１６】
被写体を撮像して画像データを生成する撮像工程と、
前記撮像工程において生成された画像データに基づく画像を表示部に表示する表示工程と、
前記撮像工程において生成された画像データから被写体領域を検出する被写体検出工程と、
前記被写体検出工程において検出された被写体領域の情報を保持手段に保持する保持工程とをコンピュータに実行させ、
前記表示工程においては、前記撮像工程において生成された第１の画像データに基づく画像とともに、前記被写体検出工程において前記第１の画像データから検出された被写体領域の情報と、前記保持手段に保持されている、前記第１の画像データよりも前に前記撮像工程において生成された第２の画像データの被写体領域の情報とを前記表示部に表示するようコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、撮像方法、及びプログラムに関し、特に、間欠的に映像を撮影するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等の撮像装置において、間欠的に映像の撮影を行うと映像間の画角や構図が異なってしまうことがある。例えば、インタビュー等を行うために複数の人を一人ずつ同じような構図で動画や静止画を順次撮影したいという要望がある。このような場合において、被写体と撮像装置との位置関係が固定されていない場合には、映像間において画角や構図は異なってしまう。
【０００３】
また、動画撮影機能と静止画撮影機能とを備え、動画撮影モードと静止画撮影モードとを切り替えることが可能なデジタルビデオカメラも存在する。このようなデジタルビデオカメラを用いて動画の撮影中に静止画の撮影を行うと、動画の撮影中における画角や構図と、静止画の撮影中における画角や構図とが異なることがある。このような場合には、静止画の撮影を行う前後で動画の画角や構図にずれが生じ、動画を連続再生した時に静止画の撮影を行う前の動画と静止画の撮影を行った直後の動画との間でそのずれにより違和感が生じる。
【０００４】
そこで、例えば特許文献１には、このような課題を解決した、動画撮影機能と静止画撮影機能とを備えた撮像装置が開示されている。この撮像装置によれば、動画の撮影中に静止画を撮影する場合に、動画撮影モードから静止画撮影モードに変更された時点の画像データを保持する。そして、動画の撮影を再開する場合に保持している画像データを半透過画像として撮像装置のディスプレイに表示している。これにより、動画の撮影を再開した時に透過された画像を参考にして画角及び構図を調整し、静止画の撮影を行う前後で動画の画角や構図のずれを少なくしようとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１２９４２４号公報
【特許文献２】特開平１０−２３２９３４号公報
【特許文献３】特開２０００−４８１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術には次のような課題があった。すなわち、最後に撮影した映像を半透明化あるいは輪郭抽出し、撮影しようとする映像に重畳して表示するため、連続再生した場合に本来の撮影したい映像が全画面にわたりぼやける等の影響を受けてしまう。したがって、半透明化あるいは輪郭抽出を行う映像と、とりたい映像とが類似している場合は影響が小さいが、前述したようにインタビュー等を行う場合においては、以下のような問題点がある。すなわち、複数の人を一人ずつ同じような構図で撮影すると、他人の顔同士を重畳してしまい、本来の映像が得られないという問題点がある。
【０００７】
本発明は前述の問題点に鑑み、静止画あるいは動画を撮影する際に、以前に撮影された静止画あるいは動画の画角や構図をユーザが認識できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段により生成された画像データに基づく画像を表示部に表示する表示手段と、前記撮像手段により生成された画像データから被写体領域を検出する被写体検出手段と、前記被写体検出手段により検出された被写体領域の情報を保持する保持手段とを備え、前記表示手段は、前記撮像手段により生成された第１の画像データに基づく画像とともに、前記被写体検出手段により前記第１の画像データから検出された被写体領域の情報と、前記保持手段に保持されている、前記第１の画像データよりも前に前記撮像手段により生成された第２の画像データの被写体領域の情報とを前記表示部に表示することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザは以前に撮影された静止画あるいは動画の画角や構図とのズレを認識することができる。これにより、静止画あるいは動画の画角や構図を調整することによって画角や構図を一致させて撮影することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における撮像装置の構成例を示すブロック図である。
【図２】顔検出ユニットから出力される顔情報の一例を示す図である。
【図３】映像を撮影する場合の処理手順の一例を示すフローチャートである。
【図４】顔領域の検出の概要を示す図である。
【図５】矩形図形が重畳されてディスプレイに表示された映像を示す図である。
【図６】撮影アシスト機能の処理手順の一例を示すフローチャートである。
【図７】顔領域の検出の概要を示す図である。
【図８】撮影アシスト機能を用いて表示する矩形図形の一例を示す図である。
【図９】撮影アシスト機能を用いて表示する矩形図形の一例を示す図である。
【図１０】映像を撮影する場合の処理手順の一例を示すフローチャートである。
【図１１】顔領域の検出の概要を示す図である。
【図１２】矩形図形が重畳されてディスプレイに表示された映像を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の好適な実施形態を説明する。
（第１の実施形態）
図１は、本実施形態における撮像装置１０の構成例を示すブロック図である。
図１において、本実施形態の撮像装置１０は、コンパクト型のデジタルカメラであり、電子シャッター方式のデジタルスチルカメラである。システム制御コントローラ１００は、本実施形態の撮像装置１０全体の制御を司り、後述する各ユニットを制御して、ユーザの設定と操作とに応じて画像データを記録する。
【００１２】
光学レンズユニット１０１は、絞り、ズーム、及びフォーカス機能を備えたユニットである。光学制御ユニット１０２は、システム制御コントローラ１００からの指示に従い、光学レンズユニット１０１を制御するためのものである。具体的には、光学レンズユニット１０１の絞り、ズーム、及びフォーカスを変更する制御を行う。
【００１３】
撮像素子１０３は、光学レンズユニット１０１を経て導入された光（映像）を電気信号に変換するためのものである。具体的には、ＣＣＤを利用したＣＣＤ撮像素子（ＣＣＤイメージセンサー）か、ＣＭＯＳを利用したＣＭＯＳ撮像素子（ＣＭＯＳイメージセンサー）が利用される。本実施形態の撮像装置１０では、横３０７２画素、縦２３０４画素の撮像素子を用いるものとする。撮像制御ユニット１０４は、システム制御コントローラ１００からの指示に従い、撮像素子１０３を制御するためのものである。具体的には、撮像素子１０３の感度調整（ゲインコントロール）や、シャッター時間に従って撮像素子１０３からデータを読み取る動作などを行う。
【００１４】
記録媒体制御ユニット１０５は記録手段として機能し、システム制御コントローラ１００からの指示に従い、記録媒体１１２にデータを記録するためのものである。記録媒体１１２の具体的な例としては、ＳＤメモリカードコンパクトフラッシュ（登録商標）カード、メモリスティックなどのカード型の取り外し可能なメモリを用いるが、記録可能なものであれば特に何でもよい。また、記録媒体１１２には、撮像制御ユニット１０４から出力される画像データ（ＲＡＷデータ）や、その画像データからシステム制御コントローラ１００により符号化された画像データ（ＪＰＥＧデータ又はＥＸＩＦデータ）が記録される。
【００１５】
顔検出ユニット１０６は被写体検出手段として機能し、システム制御コントローラ１００からの指示に従い、画像データから顔領域情報を検出するためのものである。顔検出ユニット１０６は、撮像制御ユニット１０４から出力される画像データ、またはシステム制御コントローラ１００により符号化した画像データを入力する。そして、その画像データに含まれる顔の位置及びサイズの情報をシステム制御コントローラ１００に出力する。なお、本実施形態では被写体として人物の顔を検出する例について説明するが、人物以外に動物等を検出するようにしてもよい。
【００１６】
本実施形態において顔検出ユニット１０６は、画像に含まれる特徴部分として人物の顔領域を検出するものとする。ここで、被写体領域である顔領域を検出する技術としては様々な手法が知られている。例えば、ニューラルネットワークやサポートベクターマシンに代表される学習を用いた方法や、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングして抽出する手法などがある。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法などもある（例えば、特許文献２または特許文献３参照）。
【００１７】
図２は、顔検出ユニット１０６から出力される顔領域情報の一例を示す図である。図２に示す例では、顔検出ユニット１０６は１つの映像から顔ごとの位置及びサイズの情報を出力している。
【００１８】
図１の説明に戻り、ＲＯＭ１０７は、本実施形態の撮像装置１０を制御するプログラムとプログラムが使用するデータとを格納するためのメモリである。撮像装置１０に電源が投入されると、システム制御コントローラ１００はＲＯＭ１０７からプログラムを読み出し、撮像装置１０の制御を開始する。ＲＡＭ１０８は、本実施形態の撮像装置１０を制御するプログラムを作業領域として使用するための書き換え可能なメモリである。また、撮像制御ユニット１０４から出力される画像データを一時的に保存するバッファとしても使用される。
【００１９】
ＮＶＲＡＭ１０９は保持手段として機能し、後述するＵＩユニット１１０でユーザにより指定された設定値や、本実施形態の撮像装置１０がパワーサイクルを超えて保持する必要があるパラメータを保持するための書き換え可能な不揮発性メモリである。本実施形態の撮像装置１０では、顔検出ユニット１０６で検出された顔領域の情報を少なくても１個保持する。ＵＩユニット１１０は、ユーザの指示を本実施形態の撮像装置１０に伝えるためのものである。ＵＩユニット１１０には、表示ユニット１１１にメニューを表示するよう指示するためのメニューボタンや、メニューを操作するためのボタンが備えられている。さらに、本実施形態においては、撮影時に表示ユニット１１１のディスプレイ１１３に撮影を補助する画像を重畳表示するため撮影アシスト機能を有効にするための補助ボタンが備えられている。この撮影アシスト機能については後述する。また、撮像装置１０には、撮影を指示する不図示の撮影ボタン等も備えられている。
【００２０】
表示ユニット１１１は表示手段として機能し、システム制御コントローラ１００からの指示に従い、画像を表示するためのユニットである。表示ユニット１１１は、表示部である液晶表示装置（ＬＣＤ）のような薄型のディスプレイ１１３とそのディスプレイ１１３をコントロールするディスプレイドライバユニットとで構成されている。本実施形態の撮像装置１０では、横３２０画素、縦２４０画素の液晶表示装置を用いるものとする。
【００２１】
表示ユニット１１１は、本実施形態の撮像装置１０の各種設定を行うためのメニュー画面や、撮像制御ユニット１０４から出力される画像データに基づく画像を表示する。このように表示ユニット１１１は、構図決定用のファインダとしての利用されるものである。また、表示ユニット１１１は、撮影画像を確認するために撮影した画像を表示したり、記録媒体１１２に格納された画像データに基づく画像をも表示したりする。このように表示ユニット１１１は、画像ビューアとしても利用されるものである。また、それぞれの画像には任意のグラフィクス画像を重畳して表示することが可能である。本実施形態の撮像装置１０では、重畳するグラフィクス画像の画素数は、表示ユニット１１１の画素数と同じものとする。
【００２２】
次に、本実施形態における撮影動作について、図３及び図６のフローチャートを参照しながら説明する。図３は、本実施形態において、映像を撮影する場合の処理手順の一例を示すフローチャートである。なお、図３に示す各処理は、システム制御コントローラ１００の制御により行われる。
【００２３】
まず、ステップＳ３０１において、光学レンズユニット１０１から入力された映像を撮像素子１０３で電気信号に変換し、撮像制御ユニット１０４は、この電気信号をシステム制御コントローラ１００に画像データとして出力する。次に、ステップＳ３０２において、システム制御コントローラ１００は、ステップＳ３０１で取得した画像データを表示ユニット１１１に出力し、表示ユニット１１１は、ディスプレイ１１３に構図決定用（プレビュー用）の映像として表示する。例えば、ステップＳ３０１で撮像制御ユニット１０４から図４（ａ）に示すような画像データが出力された場合は、表示ユニット１１１の解像度（３２０×２４０）に調整してその映像を表示することになる。
【００２４】
次に、ステップＳ３０３において、顔検出ユニット１０６は、ステップＳ３０１において取得した画像データに顔が含まれているかどうかを判定する。この判定の結果、顔が含まれていない場合は、次のステップＳ３０４の処理は行わず、ステップＳ３０５へ進む。
【００２５】
一方、ステップＳ３０３の判定の結果、顔が含まれている場合は、ステップＳ３０４において、顔検出ユニット１０６は、図２で示したような形式で顔領域情報をシステム制御コントローラ１００に通知する。例えば、図４（ａ）に示す画像データに対しては、図４（ｂ）に示すように、検出した顔領域４０１に対する顔領域情報４０２を出力する。そして、表示ユニット１１１は、取得した顔領域情報をステップＳ３０２で表示した映像に重畳する。
【００２６】
本実施形態では、顔の領域を表す矩形図形（顔枠）を緑色で表す。例えば、図４（ａ）に示した画像データに対して、図４（ｂ）に示す顔領域情報４０２を取得した場合は、表示ユニット１１１は、図５に示すように、顔領域の位置及びサイズを表示ユニット１１１の解像度に合わせて変換する。そして、図５に示すような矩形図形５０１を作成し、作成した矩形図形５０１を画像データに重畳して表示ユニット１１１のディスプレイ１１３に表示する。
【００２７】
次に、ステップＳ３０５において、システム制御コントローラ１００は、撮影アシスト機能が有効になっているかどうかを判定する。本実施形態では、ユーザによりＵＩユニット１１０の補助ボタンが押下されるか、メニューボタンで表示されるメニューで撮影アシスト機能が選択されることにより撮影アシスト機能を有効にすることができる。この判定の結果、撮影アシスト機能が無効である場合は、ステップＳ３０６をスキップしてステップＳ３０７へ進む。
【００２８】
一方、ステップＳ３０５の判定の結果、撮影アシスト機能が有効である場合は、ステップＳ３０６において、表示ユニット１１１は、撮影アシスト用の情報を表示ユニット１１１のディスプレイ１１３に表示する。なお、ステップＳ３０５の処理の詳細については、図６のフローチャートの説明において後述する。
【００２９】
次に、ステップＳ３０７において、システム制御コントローラ１００は、撮影指示の有無を確認する。具体的には、ユーザにより不図示の撮影ボタンが押下されたか否か、あるいは、セルフタイマーが完了して撮影指示がなされたか否かを判定する。この判定の結果、撮影指示がなされた場合は、ステップＳ３０８に進み、撮影指示がなされていない場合は、ステップＳ３０１に戻り、構図決定用（プレビュー）の映像を更新する。
【００３０】
次に、ステップＳ３０８において、システム制御コントローラ１００は、撮像制御ユニット１０４を介して取得した撮影指示時の画像データをＥＸＩＦファイル形式に変換する。そして、記録媒体制御ユニット１０５は、ＥＸＩＦファイル形式の画像データを記録媒体１１２に記録する。
【００３１】
次に、ステップＳ３０９において、顔検出ユニット１０６は、ステップＳ３０３で顔が含まれていると判定したかどうかを判定する。この判定の結果、ステップＳ３０３で顔を検出していない場合は、次のステップＳ３１０の処理は行わず、そのまま処理を終了する。一方、ステップＳ３０９の判定の結果、ステップＳ３０３で顔を検出していた場合は、ステップＳ３１０において、システム制御コントローラ１００は、図４（ｂ）に示した顔領域情報４０２をＮＶＲＡＭ１０９に記録する。このように、ＮＶＲＡＭ１０９には、撮影された映像から検出された顔領域情報のうち、少なくとも最新の顔領域情報は保持されることになる。
【００３２】
次に、図６のフローチャートを参照しながら図３のステップＳ３０６の処理を詳細に説明する。図６は、図３のステップＳ３０６における撮影アシスト機能により顔枠表示を行う処理手順の一例を示すフローチャートである。なお、図６のフローチャートは図３のフローチャートの一部を構成するため、随時図３の各ステップを参照しながら説明する。また、図６の説明において、例えば直前の撮影処理で図７（ａ）に示す映像が予め撮影されたものとする。そして、これに伴い、顔を検出した場合は、図７（ｂ）に示すように、検出した顔領域７０１に対する顔領域情報７０２がＮＶＲＡＭ１０９に記録されているものとする。
【００３３】
まず、ステップＳ６０１において、システム制御コントローラ１００は、ＮＶＲＡＭ１０９に記録されている顔領域情報を取得し、ステップＳ６０２において、顔領域情報が取得できたか否かを判定する。この判定の結果、ＮＶＲＡＭ１０９に顔情報が記録されておらず、顔領域情報を取得できなかった場合は、そのまま処理を終了する。一方、ステップＳ６０２の判定の結果、顔領域情報を取得できた場合は、ステップＳ６０３に進む。なお、ＮＶＲＡＭ１０９に複数の顔領域情報が記録されている場合は、その中で最新の顔領域情報（以降、過去の顔領域情報と記す）を取得する。例えば、過去の顔情報として図７（ｂ）に示す顔領域情報７０２がＮＶＲＡＭ１０９に記録されている場合は、この顔領域情報を取得し、ステップＳ６０３へ進む。また、複数の顔領域情報がＮＶＲＡＭ１０９に記録されている場合には、システム制御コントローラ１００が選択手段として機能することにより、どの顔領域情報を取得するかをユーザの操作に応じて選択してもよい。
【００３４】
以降のステップＳ６０３〜Ｓ６０５においては、図３のステップＳ３０３で検出した第１の画像データの現在の顔領域情報と、ステップＳ６０１で取得した第２の画像データの過去の顔領域情報との関係から、アシスト用の顔枠処理を決定する。
【００３５】
まず、ステップＳ６０３において、システム制御コントローラ１００は、図３のステップＳ３０３で顔検出に成功したか否かを判定する。すなわち、撮像制御ユニット１０４からシステム制御コントローラ１００に出力された画像データに顔領域情報（現在の顔領域情報）が含まれるか否かを判定する。この判定の結果、現在の顔領域情報が含まれていない場合は、ステップＳ６０６へ進み、アシスト用の顔枠処理を行う。なお、この処理の詳細については後述する。
【００３６】
一方、ステップＳ６０３の判定の結果、現在の顔領域情報が含まれている場合は、ステップＳ６０４に進む。そして、システム制御コントローラ１００は比較手段として機能し、過去の顔領域情報における顔サイズと現在の顔領域情報における顔サイズとを比較し、以下の数１に示す式を用いて顔サイズが近似しているか否かを判定する。
【００３７】
【数１】
2011066828.tif 000003
【００３８】
本実施形態では、数１に示すようにまず顔サイズを画像サイズで正規化し、正規化後の顔サイズの幅及び高さのそれぞれの差が、ともに所定値以下（±１０％以下）である場合に、近似していると判定する。ステップＳ６０４の判定の結果、顔サイズが近似していない場合は、ステップＳ６０７へ進み、アシスト用の顔枠処理を行う。なお、この処理の詳細については後述する。
【００３９】
一方、ステップＳ６０４の判定の結果、顔サイズが近似している場合は、ステップＳ６０５において、過去の顔領域情報における顔の位置と現在の顔領域情報における顔の位置とを比較し、以下の数２に示す式を用いて顔の位置が近接しているか否かを判定する。
【００４０】
【数２】
2011066828.tif 000004
【００４１】
本実施形態では、数２に示すようにまず顔の位置を画像サイズで正規化し、正規化後の顔の縦位置及び横位置のそれぞれの差が、ともに所定値以下（±５％以下）である場合に、近接していると判定する。ステップＳ６０５の判定の結果、顔の位置が近接していない場合はステップＳ６０８へ進み、顔の位置が近接している場合はステップＳ６０９へ進む。
【００４２】
ステップＳ６０６は、過去の顔領域情報のみが存在し、現在の顔領域情報が存在しない場合のアシスト用顔枠表示処理である。この処理では、表示ユニット１１１は、過去の顔領域情報のみをステップＳ３０２で表示した映像に重畳する。このとき、ステップＳ３０４とは異なる形式で過去の顔領域情報を重畳することにより、このステップＳ６０６で重畳した映像がアシスト用の情報であることをユーザに認知させる。本実施形態では、顔の領域を表す矩形図形を灰色で重畳する。
【００４３】
例えば、過去の顔領域情報として、図７（ａ）に示した画像データに対して図７（ｂ）に示す顔領域情報７０２を取得した場合は、表示ユニット１１１は、図８に示すように、顔領域の位置及びサイズを重畳するグラフィクス画像上の位置及びサイズに変換する。そして、図８に示すような矩形図形８０１を作成し、画像データに重畳して表示ユニット１１１のディスプレイ１１３に表示する。
【００４４】
一方、ステップＳ６０７は、過去の顔領域情報における顔のサイズと現在の顔領域情報における顔のサイズとが近似していない場合のアシスト用顔枠表示更新処理である。この処理では、ステップＳ３０４で重畳した映像を更新し、現在の顔領域情報に加えて、過去の顔領域情報もステップＳ３０２の映像に重畳する。このとき、ステップＳ３０４と異なる形式で過去の顔領域情報を重畳することにより、このステップＳ６０７で重畳した映像がアシスト用の情報であることをユーザに認知させる。本実施形態では、過去の顔領域情報の顔領域を表す矩形図形を灰色で重畳する。
【００４５】
例えば、現在の顔情報として図４（ｂ）に示す顔領域情報４０２を取得し、過去の顔情報として図７（ｂ）に示す顔領域情報７０２を取得した場合は、表示ユニット１１１はそれぞれの顔領域の位置及びサイズを表示ユニット１１１の解像度に合わせて変換する。さらに、図９（ａ）に示すように、現在の顔領域情報を緑色の矩形図形９０１として表示し、過去の顔領域情報を灰色の矩形図形９０２として作成し、互いに表示態様が異なるようにする。そして、作成した灰色の矩形図形９０２を画像データに重畳して表示ユニット１１１のディスプレイ１１３に表示する。
【００４６】
また、ステップＳ６０８は、過去の顔領域情報における顔のサイズと現在の顔領域情報における顔のサイズとが近似しているが、互いに近接していない場合のアシスト用顔枠表示更新処理である。この処理では、ステップＳ３０４で重畳した映像を更新し、現在の顔領域情報に加えて、過去の顔領域情報もステップＳ３０２の映像に重畳する。このとき、ステップＳ３０４と異なる形式で過去の顔領域情報を重畳することにより、このステップＳ６０８で重畳した映像がアシスト用の情報であることをユーザに認知させる。また、現在の顔枠（矩形図形）をステップＳ３０４と異なる形式に更新することにより、顔のサイズが近似していることをユーザに通知する。本実施形態では、過去の顔領域情報の顔領域を表す矩形図形を灰色で表示し、現在の顔領域情報の顔領域を表す矩形図形を緑色で点滅させて表示するようにする。
【００４７】
例えば、図４（ａ）に示す映像を撮影しようとしていたユーザが、ズームボタンを押下して過去の顔領域情報における顔のサイズと現在の顔領域情報における顔のサイズとが近似するまでズームを行ったものとする。この場合は、表示ユニット１１１はそれぞれの顔領域の位置及びサイズを表示ユニット１１１の解像度に合わせて変換する。そして、図９（ｂ）に示すように、緑色の点滅する矩形図形９０３と灰色の矩形図形９０４とを作成し、画像データに重畳して表示ユニット１１１のディスプレイ１１３に表示する。
【００４８】
さらに、ステップＳ６０９は、過去の顔領域情報における顔のサイズと現在の顔領域情報における顔のサイズとが近似し、かつ、互いに近接している場合のアシスト用顔枠処理である。この処理では、ステップＳ３０４で重畳した映像を更新し、現在の顔枠をステップＳ３０４及びＳ６０８と異なる形式に更新する。これにより、過去の顔枠と現在の顔枠とでサイズが近似し、かつ、接近していることをユーザは認識することができる。本実施形態では、現在の顔領域情報の顔領域を表す矩形図形を赤色で点滅するように重畳する。このとき、過去の顔領域情報の顔領域を表す矩形図形は、位置が近接しているとともにサイズも近似しているため重畳しないようにする。
【００４９】
例えば、図４（ａ）に示す映像を撮影しようとしていたユーザが、ズームボタンを押下してズームや構図を変更したことにより、過去の顔領域情報における顔領域の位置及びサイズと近い値になるようにしたものとする。この場合は、表示ユニット１１１は、現在の顔領域情報の顔領域の位置及びサイズを表示ユニット１１１の解像度に合わせて変換する。そして、図９（ｃ）に示すように、赤色の点滅する矩形図形９０５を作成し、作成した赤色の点滅する矩形図形９０５を画像データに重畳して表示ユニット１１１のディスプレイ１１３に表示する。
【００５０】
図４に示すように、ステップＳ３０１〜Ｓ３０７の処理及び図６の処理は、ユーザが撮影指示を行うまで繰り返し行われる。すなわち、表示ユニット１１１のディスプレイ１１３に表示される映像は随時更新される。したがって、ステップＳ６０６〜Ｓ６０９の処理により、ユーザはディスプレイ１１３を見ながら過去の顔領域情報と現在の顔領域情報とを比較して構図を調整することができる。これにより例えば、図９（ａ）に示すような構図から、図９（ｃ）に示すような構図に調整することができるので、構図が類似した映像を容易に撮影することができる。
【００５１】
（第２の実施形態）
本実施形態では、撮像装置として動画及び静止画の撮影が可能なデジタルビデオカメラを例に説明し、第１の実施形態との違いに着目して説明する。なお、本実施形態に係る撮像装置の内部構成については図１と基本的に同様であるため、異なる点のみ説明する。本実施形態では、システム制御コントローラ１００は、撮像制御ユニット１０４から出力される画像データをＪＰＥＧデータあるいはＥＸＩＦデータといった静止画データに変換する点では同じである。ところが本実施形態ではさらに、連続する画像データをＭＰＥＧ２データや、ＭｏｔｉｏｎＪＰＥＧデータ、Ｈ．２６４データといった動画データに変換する。そして、記録媒体制御ユニット１０５は、これらの静止画データや動画データを記録媒体１１２に記録する。また、撮像装置１０には、動画の撮影処理の開始または停止を指示する不図示の動画撮影開始・停止ボタン、静止画の撮影を指示する撮影ボタン等が備えられている。
【００５２】
また、本実施形態では、ＮＶＲＡＭ１０９には、顔検出ユニット１０６において検出された顔領域情報が少なくとも３個記録されている。ここで少なくとも３個というのは、一連の動画（１テイク）に対して、先頭フレーム、最終フレーム及び最後に顔を検出したフレームの３フレーム分の顔領域情報を保持する必要があるからである。これにより、現在撮影中の動画と、以前に撮影した少なくとも１つの動画に対して顔領域情報を保持することができる。なお、本実施形態における撮像素子１０３の解像度は横１９２０画素、縦１０８０画素とし、同様に表示ユニット１１１では、横４８０画素、縦２７０画素の液晶表示装置を用いるものとする。
【００５３】
次に、本実施形態における撮影動作について図１０のフローチャートを参照しながら説明する。図１０は、本実施形態において、映像を撮影する場合の処理手順の一例を示すフローチャートである。ここで、図１０に示す各処理は、システム制御コントローラ１００の制御により行われる。なお、ステップＳ１００１〜Ｓ１００６は、図３のステップＳ３０１〜Ｓ３０６と同様の処理であるため、説明は省略する。また、ステップＳ１００６の処理の詳細については後述する。本実施形態では、撮像制御ユニット１０４から図１１（ａ）に示すような画像データが出力された場合に、図１１（ｂ）に示すような、検出した顔領域１１０１に対する顔領域情報１１０２を取得する例について説明する。これにより、図１２に示すように画像に矩形図形１２０１を重畳して表示するものとする。
【００５４】
次に、ステップＳ１００７において、システム制御コントローラ１００は、現在の撮影状況を判定する。具体的には、本実施形態の撮像装置１０の動作状況とＵＩユニット１１０の動画撮影開始・停止ボタンの操作状況とから、停止中、撮影開始直後、撮影中、撮影停止直後の４つの状態のいずれかを判定する。この判定の結果、停止中である場合はステップＳ１００１に戻り、撮影開始直後である場合はステップＳ１００８に進む。また、撮影中（記録中）である場合はステップＳ１０１０に進み、撮影停止直後である場合はステップＳ１００９に進む。
【００５５】
ステップＳ１００８においては、システム制御コントローラ１００は、ステップＳ１００１で取得した画像データから検出された顔の顔領域情報を、現在撮影中の動画の先頭フレームの顔領域情報としてＮＶＲＡＭ１０９に記録する。なお、画像データから顔が検出されなかった場合は、現在撮影中の動画の先頭フレームには顔が含まれない旨の情報を、ＮＶＲＡＭ１０９に記録する。そして、ステップＳ１０１０に進む。
【００５６】
一方、ステップＳ１００９においては、ステップＳ１００８と同様であるが、ステップＳ１００１で取得した画像データから検出された顔の顔領域情報を、現在撮影中の動画の最終フレームの顔領域情報としてＮＶＲＡＭ１０９に記録する。なお、画像データから顔が検出されなかった場合は、現在撮影中の動画の最終フレームには顔が含まれない旨の情報を、ＮＶＲＡＭ１０９に記録する。そして、ステップＳ１０１０に進む。
【００５７】
次に、ステップＳ１０１０において、顔検出ユニット１０６は、ステップＳ１００３で顔が含まれていると判定したかどうかを判定する。この判定の結果、ステップＳ１００３で顔を検出していない場合は、ステップＳ１０１１をスキップしてステップＳ１０１２に進む。一方、ステップＳ１０１０の判定の結果、ステップＳ１００３で顔を検出した場合は、ステップＳ１０１１において、システム制御コントローラ１００は、その顔領域情報を最終検出フレームの顔領域情報としてＮＶＲＡＭ１０９に記録する。
【００５８】
次に、ステップＳ１０１２において、システム制御コントローラ１００は、撮像制御ユニット１０４を介して取得した画像データを所定のファイル形式に変換し、記録媒体制御ユニット１０５は、その変換した画像データを記録媒体１１２に記録する。なお、ＭＰＥＧ２やＨ．２６４などのファイル形式では、複数のフレームを参照して動画のファイルを生成する。このようなファイル形式の場合は、取得した画像データをＲＡＭ１０８に一時的に格納し、所望のファイル形式データが構成される毎に記録媒体１１２に記録する。そして、ステップＳ１００１に戻る。
【００５９】
次に、図１０のステップＳ１００６の処理について詳細に説明する。前述したように図１０のステップＳ１００６は、図６に示したフローチャートに従って処理が行われる。本実施形態では、第１の実施形態と異なる点について説明する。
【００６０】
ステップＳ６０１では、ＮＶＲＡＭ１０９に記録されている顔領域情報を取得する。前述したように、ＮＶＲＡＭ１０９には、以前に撮影した少なくとも１つの動画に対して、先頭フレーム、最終フレーム、及び最後に顔を検出したフレームの顔領域情報が記録されている。なお、撮影した動画によっては、顔領域情報が無効として保持されている場合もある。
【００６１】
本実施形態では、メニューによってユーザに撮影アシスト用の顔領域情報を先頭フレーム、最終フレーム、あるいは最後に顔を検出したフレームから予め選択できるようにしておく。これによりステップＳ６０１では、ユーザの選択に応じて顔領域情報の取得を行う。そして、ステップＳ６０２で、顔領域情報が取得できたと判定した場合はステップＳ６０３に進み、顔領域情報が無効として保持されていた場合は、図６のフローチャートにおける処理を終了する。なお、ステップＳ６０３〜Ｓ６０９の処理は、第１の実施形態と同様である。
【００６２】
図１０に示すように、ステップＳ１００１〜Ｓ１００７の処理及び図６の処理は、撮影状態にかかわらず繰り返される。すなわち、表示ユニット１１１のディスプレイ１１３に表示される映像は随時更新される。したがって、ステップＳ６０６〜Ｓ６０９の処理により、ユーザはディスプレイ１１３を見ながら過去の顔領域情報と現在の顔領域情報とを比較して構図を調整することができる。構図が類似した映像を容易に撮影することができる。
【００６３】
例えば、動画撮影を行っている途中で撮影を一度停止し、静止画を撮影した後に動画撮影を再開する場合、静止画と動画とでは撮影目的が異なるため構図が異なることがある。特に、動画のアスペクト比が１６：９であるのに対し、静止画のアスペクト比が４：３である場合には構図が異なる可能性が高い。
【００６４】
従来は、このように静止画撮影前の動画（第１の動画）と静止画撮影後の動画（第２の動画）との間で構図が変更した場合、第１の動画の最終フレームと第２の動画の先頭フレームとで構図が異なってしまう。このため、連続して再生すると不自然に不連続なものとなってしまう。ところが、本実施形態では、第２の動画の構図を決める際に、ステップＳ６０１で第１の動画の最終フレームを選択することにより、ユーザは、動画の撮影を再開する際に第１の動画の最終フレームとの構図の違いを認識することができる。これにより、第１の動画との不連続さを解消し、違和感のないように構図をあわせて第２の動画の撮影を開始することができる。
【００６５】
（本発明に係る他の実施形態）
前述した実施形態では、顔領域情報を矩形図形（顔枠）として重畳表示したが、本発明はこれに限定されるわけではなく、テキスト、アイコン、他の図形などを用いて顔領域情報をユーザに認知させるようにしてもよい。また、前述の実施形態では、過去の顔領域情報における顔サイズと現在の顔領域情報における顔サイズとが近似していない場合に、重畳する矩形図形の色を変更して重畳したが、本発明はこれに限定されるわけではない。テキスト、アイコン、他の図形などを用いてユーザに認知させるようにしてもよい。さらには、過去の顔情報における顔サイズと現在の顔情報における顔サイズとが近似している場合に、矩形図形を点滅するようにしたが、本発明はこれに限定されるわけではない。テキスト、アイコン、他の図形などを用いてユーザに認知できるようにしてもよい。
【００６６】
また、第１の実施形態では、ステップＳ３１０で顔領域情報をＮＶＲＡＭ１０９に記録したが、代わりに画像データ自身をＮＶＲＡＭ１０９に記録してもよい。この場合は、図６のステップＳ６０１では、この記録した画像データから顔検出ユニット１０６により顔領域情報を取得し、以降の処理を行う。なお、画像データの代わりにファイル名などの画像データを特定する情報をＮＶＲＡＭ１０９に保存してもよい。この場合は、図６のステップＳ６０１ではこの情報に基づき画像データを記録媒体１１２から取得し、その画像データから顔検出ユニット１０６により顔領域情報を取得し、以降の処理を行う。
【００６７】
また、第２の実施形態では、ステップＳ１００８、Ｓ１００９及びＳ１０１１で顔領域情報をＮＶＲＡＭ１０９に記録したが、顔領域情報の代わりに映像の対象フレームをＪＰＥＧファイル等の画像データとして記録してもよい。この場合は、図６のステップＳ６０１ではこの記録した画像データから顔検出ユニット１０６により顔領域情報を取得し、以降の処理を行う。なお、画像データの代わりにフレーム番号やタイムコードなどの対象フレームを特定する情報をＮＶＲＡＭ１０９に記録してもよい。この場合は、図６のステップＳ６０１ではこの情報に基づきフレームの画像データを記録媒体１１２から取得し、その画像データから顔検出ユニット１０６により顔領域情報を取得し、以降の処理を行う。
【００６８】
さらに、前述のように、図６のステップＳ６０１で画像データを取得し、その画像データから顔領域情報を取得する場合に、顔検出ユニット１０６に対して顔領域を判定するための基準となる閾値を設定可能なようにしてもよい。この場合に、図６のステップＳ６０１で顔検出ユニット１０６が顔領域の取得に失敗した場合は、前記閾値の値を変更し、再度顔領域を検出して取得するようにしてもよい。
【００６９】
また、前述した実施形態では、図６のステップＳ６０４で顔サイズが近似していない場合は、矩形図形（顔枠）を異なる色で表示したが、光学制御ユニット１０２によりズーム倍率を変更し、顔サイズを自動的に一致させるようにしてもよい。この場合、顔サイズの一致に成功した場合はステップＳ６０５に進み、失敗した場合はＳ６０７に進む。
【００７０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７１】
１００  システム制御コントローラ、１０６  顔検出ユニット、１０９  ＮＶＲＡＭ、１１１  表示ユニット、１１３  ディスプレイ
【図１】
2011066828.tif 000005
【図２】
2011066828.tif 000006
【図３】
2011066828.tif 000007
【図４】
2011066828.tif 000008
【図５】
2011066828.tif 000009
【図６】
2011066828.tif 000010
【図７】
2011066828.tif 000011
【図８】
2011066828.tif 000012
【図９】
2011066828.tif 000013
【図１０】
2011066828.tif 000014
【図１１】
2011066828.tif 000015
【図１２】
2011066828.tif 000016