(57)【要約】【構成】イメージセンサ１６によって捉えられた被写界を表す画像データは、メモリ制御回路２４によってＳＤＲＡＭ２６に取り込まれる。ＣＰＵ４２は、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作をタッチセンサ３６を通して受け付け、選択操作によって選択されたグラフィック画像の画像データをＳＤＲＡＭ２６に取り込まれた画像データに合成ないし多重する。ＣＰＵ４２はまた、ＳＤＲＡＭ２６に取り込まれた画像データから指定物体を表す物体像を探索する処理をグラフィック画像の合成処理と並列して繰り返し実行し、探索処理によって発見された物体像の属性つまりサイズ，姿勢および位置に応じて異なるようにグラフィック画像の合成態様を制御する。【効果】再現画像の多様性を高めることができる。【選択図】図２
2012080479.tif 000002
【特許請求の範囲】
【請求項１】
被写界像を繰り返し取り込む取り込み手段、
複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付け手段、
前記選択操作によって選択されたグラフィック画像を前記取り込み手段によって取り込まれた被写界像に合成する合成手段、
前記取り込み手段によって取り込まれた被写界像から指定物体を表す物体像を探索する処理を前記合成手段の合成処理と並列して繰り返し実行する探索手段、および
前記探索手段によって発見された物体像の属性に応じて異なるように前記合成手段の合成態様を制御する制御手段を備える、画像処理装置。
【請求項２】
前記制御手段は前記物体像の移動履歴を参照して前記グラフィック画像の姿勢を調整する姿勢調整手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記指定物体の周辺に特定物体が存在するか否かを判別する判別手段、
前記判別手段の判別結果が肯定的であるとき前記特定物体に対応して調整エリアを被写界に割り当てる第１割り当て手段、
前記判別手段の判別結果が否定的であるとき前記指定物体に対応して前記調整エリアを前記被写界に割り当てる第２割り当て手段、および
前記取り込み手段によって取り込まれた被写界像の品質を前記調整エリアに属する部分画像を参照して調整する調整手段をさらに備える、請求項１または２記載の画像処理装置。
【請求項４】
前記特定物体は人物の顔部に相当する、請求項３記載の画像処理装置。
【請求項５】
前記取り込み手段によって取り込まれた被写界像をモニタ画面に再現する再現手段、および
前記指定物体を表す物体像を指定する指定操作を前記モニタ画面上で受け付ける受け付け手段をさらに備え、
前記探索手段は前記指定操作に応答して処理を開始する、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
画像処理装置のプロセッサに、
被写界像を繰り返し取り込む取り込みステップ、
複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ、
前記選択操作によって選択されたグラフィック画像を前記取り込みステップによって取り込まれた被写界像に合成する合成ステップ、
前記取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を前記合成ステップの合成処理と並列して繰り返し実行する探索ステップ、および
前記探索ステップによって発見された物体像の属性に応じて異なるように前記合成ステップの合成態様を制御する制御ステップを実行させるための、画像処理プログラム。
【請求項７】
画像処理装置によって実行される画像処理方法であって、
被写界像を繰り返し取り込む取り込みステップ、
複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ、
前記選択操作によって選択されたグラフィック画像を前記取り込みステップによって取り込まれた被写界像に合成する合成ステップ、
前記取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を前記合成ステップの合成処理と並列して繰り返し実行する探索ステップ、および
前記探索ステップによって発見された物体像の属性に応じて異なるように前記合成ステップの合成態様を制御する制御ステップを備える、画像処理方法。
【請求項８】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
被写界像を繰り返し取り込む取り込みステップ、
複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ、
前記選択操作によって選択されたグラフィック画像を前記取り込みステップによって取り込まれた被写界像に合成する合成ステップ、
前記取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を前記合成ステップの合成処理と並列して繰り返し実行する探索ステップ、および
前記探索ステップによって発見された物体像の属性に応じて異なるように前記合成ステップの合成態様を制御する制御ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項９】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
被写界像を繰り返し取り込む取り込みステップ、
複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ、
前記選択操作によって選択されたグラフィック画像を前記取り込みステップによって取り込まれた被写界像に合成する合成ステップ、
前記取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を前記合成ステップの合成処理と並列して繰り返し実行する探索ステップ、および
前記探索ステップによって発見された物体像の属性に応じて異なるように前記合成ステップの合成態様を制御する制御ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、コンテンツ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特にディジタルビデオカメラに適用され、被写界を表す画像データから指定物体を表す物体像を繰り返し探索する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像方向は、撮像した映像における撮像対象物の検出結果に従って制御される。これによって、撮像対象物の自動追尾が実現される。また、追尾状況は、発光デバイスによって提示される。ユーザは、撮像装置から離れた場所でも、追尾状況を容易に把握することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４９２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、撮像対象物を表す画像にグラフィック画像が合成されることはなく、追尾状況に応じて合成態様が変化することもない。このため、背景技術では、被写界を表す再現画像の多様性に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、再現画像の多様性を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、被写界像を繰り返し取り込む取り込み手段(S1)、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付け手段(S15)、選択操作によって選択されたグラフィック画像を取り込み手段によって取り込まれた被写界像に合成する合成手段(S99)、取り込み手段によって取り込まれた被写界像から指定物体を表す物体像を探索する処理を合成手段の合成処理と並列して繰り返し実行する探索手段(S65, S71~S77)、および探索手段によって発見された物体像の属性に応じて異なるように合成手段の合成態様を制御する制御手段(S93~S97)を備える。
【０００７】
好ましくは、制御手段は物体像の移動履歴を参照してグラフィック画像の姿勢を調整する姿勢調整手段(S97)を含む。
【０００８】
好ましくは、指定物体の周辺に特定物体が存在するか否かを判別する判別手段(S55~S57)、判別手段の判別結果が肯定的であるとき特定物体に対応して調整エリアを被写界に割り当てる第１割り当て手段(S61, S79~S85, S109)、判別手段の判別結果が否定的であるとき指定物体に対応して調整エリアを被写界に割り当てる第２割り当て手段(S63, S73~S77, S109)、および取り込み手段によって取り込まれた被写界像の品質を調整エリアに属する部分画像を参照して調整する調整手段(S111~S115)がさらに備えられる。
【０００９】
さらに好ましくは、特定物体は人物の顔部に相当する。
【００１０】
好ましくは、取り込み手段によって取り込まれた被写界像をモニタ画面に再現する再現手段(32)、および指定物体を表す物体像を指定する指定操作をモニタ画面上で受け付ける受け付け手段(S43)がさらに備えられ、探索手段は指定操作に応答して処理を開始する。
【００１１】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(42)に、被写界像を繰り返し取り込む取り込みステップ(S1)、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ(S15)、選択操作によって選択されたグラフィック画像を取り込みステップによって取り込まれた被写界像に合成する合成ステップ(S99)、取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を合成ステップの合成処理と並列して繰り返し実行する探索ステップ(S65, S71~S77)、および探索ステップによって発見された物体像の属性に応じて異なるように合成ステップの合成態様を制御する制御ステップ(S93~S97)を実行させるための、画像処理プログラムである。
【００１２】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、被写界像を繰り返し取り込む取り込みステップ(S1)、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ(S15)、選択操作によって選択されたグラフィック画像を取り込みステップによって取り込まれた被写界像に合成する合成ステップ(S99)、取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を合成ステップの合成処理と並列して繰り返し実行する探索ステップ(S65, S71~S77)、および探索ステップによって発見された物体像の属性に応じて異なるように合成ステップの合成態様を制御する制御ステップ(S93~S97)を備える。
【００１３】
この発明に従う外部制御プログラムは、メモリ(46)に保存された内部制御プログラムに従う処理を実行するプロセッサ(42)を備える画像処理装置(10)に供給される外部制御プログラムであって、被写界像を繰り返し取り込む取り込みステップ(S1)、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ(S15)、選択操作によって選択されたグラフィック画像を取り込みステップによって取り込まれた被写界像に合成する合成ステップ(S99)、取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を合成ステップの合成処理と並列して繰り返し実行する探索ステップ(S65, S71~S77)、および探索ステップによって発見された物体像の属性に応じて異なるように合成ステップの合成態様を制御する制御ステップ(S93~S97)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１４】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(48)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(46)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(42)を備える画像処理装置(10)であって、外部制御プログラムは、被写界像を繰り返し取り込む取り込みステップ(S1)、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける受け付けステップ(S15)、選択操作によって選択されたグラフィック画像を取り込みステップによって取り込まれた被写界像に合成する合成ステップ(S99)、取り込みステップによって取り込まれた被写界像から指定物体を表す物体像を探索する処理を合成ステップの合成処理と並列して繰り返し実行する探索ステップ(S65, S71~S77)、および探索ステップによって発見された物体像の属性に応じて異なるように合成ステップの合成態様を制御する制御ステップ(S93~S97)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１５】
この発明によれば、選択操作によって選択されたグラフィック画像は、繰り返し取り込まれる被写界像に合成される。また、指定物体を表す物体像を探索する処理はこのような合成処理と並列して繰り返し実行され、グラフィック画像の合成態様は探索処理によって発見された物体像の属性に応じて異なるように制御される。したがって、物体像の属性が変化すれば、グラフィック画像も合成態様もまた変化する。この結果、グラフィック画像の任意性と相俟って、再現画像の多様性を高めることができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】（Ａ）はグラフィック画像の一例を示す図解図であり、（Ｂ）はグラフィック画像の他の一例を示す図解図である。
【図４】被写界の一例を示す図解図である。
【図５】被写界の他の一例を示す図解図である。
【図６】（Ａ）は合成画像の一例を示す図解図であり、（Ｂ）は合成画像の他の一例を示す図解図である。
【図７】（Ａ）は合成画像のその一例を示す図解図であり、（Ｂ）は合成画像のさらにその他の一例を示す図解図である。
【図８】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図９】（Ａ）は調整エリアの割り当て状態の一例を示す図解図であり、（Ｂ）は調整エリアの割り当て状態の他の一例を示す図解図である。
【図１０】（Ａ）は調整エリアの割り当て状態のその他の一例を示す図解図であり、（Ｂ）は調整エリアの割り当て状態のさらにその他の一例を示す図解図である。
【図１１】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１８】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取り込み手段１は、被写界像を繰り返し取り込む。受け付け手段２は、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作を受け付ける。合成手段３は、選択操作によって選択されたグラフィック画像を取り込み手段１によって取り込まれた被写界像に合成する。探索手段４は、取り込み手段１によって取り込まれた被写界像から指定物体を表す物体像を探索する処理を合成手段３の合成処理と並列して繰り返し実行する。制御手段５は、探索手段４によって発見された物体像の属性に応じて異なるように合成手段３の合成態様を制御する。
【００２０】
選択操作によって選択されたグラフィック画像は、繰り返し取り込まれる被写界像に合成される。また、指定物体を表す物体像を探索する処理はこのような合成処理と並列して繰り返し実行され、グラフィック画像の合成態様は探索処理によって発見された物体像の属性に応じて異なるように制御される。したがって、物体像の属性が変化すれば、グラフィック画像も合成態様もまた変化する。この結果、グラフィック画像の任意性と相俟って、再現画像の多様性を高めることができる。
［実施例］
【００２１】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａ，１８ｂおよび１８ｃによってそれぞれ駆動されるズームレンズ１２，フォーカスレンズ１４および絞りユニット１６を含む。被写界の光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。
【００２２】
電源が投入されると、ＣＰＵ４２は、撮像制御タスクの下で動作モードを通常モードに初期設定する。ＣＰＵ４２はまた、動画取り込み処理を実行するべく、対応する命令をドライバ１８ｃおよびＬＣＤドライバ３２に与える。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、これによって生成された電荷をラスタ走査態様で撮像面から読み出す。この結果、被写界を表す生画像データが、６０ｆｐｓのフレームレートでイメージセンサ１６から出力される。
【００２３】
前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路２４を通してＳＤＲＡＭ２６の生画像エリア２６ａに書き込まれる。
【００２４】
後処理回路２８は、メモリ制御回路２４を通して生画像エリア２６ａにアクセスし、生画像データを１／６０秒毎に読み出す。読み出された生画像データは色分離，白バランス調整，ＹＵＶ変換などの処理を施され、これによってＹＵＶ形式の画像データが作成される。作成された画像データは、メモリ制御回路２４を通してＳＤＲＡＭ２６のＹＵＶ画像エリア２６ｂに書き込まれる。
【００２５】
ＬＣＤドライバ３２は、ＹＵＶ画像エリア２６ｂに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３４を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２６】
キー入力装置４４に向けてモード切換操作が行われると、動作モードは通常モードおよびグラフィック画像多重モードの間で切換えられる。グラフィック画像多重モードが選択されると、ＣＰＵ４２は、撮像制御タスクの下で、グラフィック画像メニューの表示をグラフィックジェネレータ３０およびＬＣＤドライバ３２に要求する。グラフィックジェネレータ３０は、対応するグラフィックデータを作成し、作成されたグラフィックデータをＳＤＲＡＭ２６のグラフィック画像エリア２６ｃに書き込む。
【００２７】
ＬＣＤドライバ３２は、ＹＵＶ画像エリア２６ｂに格納された画像データに代えてグラフィック画像エリア２６ｃに格納されたグラフィックデータを繰り返し読み出し、読み出されたグラフィックデータに基づいてＬＣＤモニタ３４を駆動する。
【００２８】
この結果、スルー画像の代わりにグラフィック画像メニューがＬＣＤモニタ３４に表示される。グラフィック画像メニューは、図３（Ａ）に示すグラフィック画像ＧＬ１と図３（Ｂ）に示すグラフィック画像ＧＬ２とによって形成される。
【００２９】
グラフィック画像メニューに現れたグラフィック画像ＧＬ１およびＧＬ２のいずれか１つをタッチするタッチ操作がタッチセンサ３６によって検知されると、ＣＰＵ４２は、タッチ操作によって選択されたグラフィック画像を有効グラフィック画像として決定し、その後にグラフィック画像メニューの非表示をＬＣＤドライバ３２に要求する。
【００３０】
ＬＣＤドライバ３２は、グラフィック画像エリア２６ｃに格納されたグラフィックデータに代えてＹＵＶ画像エリア２６ｂに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３４を駆動する。この結果、スルー画像の表示が再開される。
【００３１】
ＬＣＤモニタ３４に表示されたスルー画像上の所望の位置をタッチする操作がタッチセンサ３６によって検知されると、追尾エリア設定タスクの下で以下の処理が実行される。
【００３２】
まず、タッチ位置に表示された部分画像の色が基本色として設定され、タッチ位置から連続的に基本色を示すエリアが基本色エリアとして定義される。定義された基本色エリアは、現時点の動作モードが通常モードであるとき、ＡＥ／ＡＦ用追尾エリアとして設定される。
【００３３】
これに対して、現時点の動作モードがグラフィック画像多重モードであれば、定義された基本色エリアの周辺から人物の顔画像が探索される。探索処理によって顔画像が発見されなければ、上述と同様、基本色エリアがＡＥ／ＡＦ用追尾エリアとして設定される。一方、探索処理によって顔画像が発見されると、発見された顔画像上の肌色のエリアが追加色エリアとして定義され、定義された追加色エリアがＡＥ／ＡＦ用追尾エリアとして設定される。グラフィック画像多重モードにおいては、基本色エリアは多重用追尾エリアとしても設定される。
【００３４】
したがって、赤色の風船ＢＬが現れたスルー画像が図４に示す要領でＬＣＤモニタ３４に表示されている状態で、風船ＢＬを表す画像がタッチされると、風船ＢＬの色である赤が基本色として設定され、タッチ位置から連続的に赤色を示すエリアが基本色エリアとして設定される。この結果、通常モードでは、赤色のエリアがＡＥ／ＡＦ用追尾エリアとして設定される。また、図４に示すスルー画像は人物の顔画像を有さないため、グラフィック画像多重モードでは、赤色のエリアがＡＥ／ＡＦ用追尾エリアおよび多重用追尾エリアとして設定される。
【００３５】
また、グレーのグローブＧＢを右手に着けた少年ＢＹが現れたスルー画像が図５に示す要領でＬＣＤモニタ３４に表示されている状態で、グローブＧＢを表す画像がタッチされると、グローブＧＢの色であるグレーが基本色として設定され、タッチ位置から連続的にグレーを示すエリアが基本色エリアとして設定される。この結果、通常モードでは、グレーのエリアがＡＥ／ＡＦ用追尾エリアとして設定される。また、図５に示すスルー画像は人物の顔画像を有するため、グラフィック画像多重モードでは、顔画像上の肌色のエリアがＡＥ／ＡＦ用追尾エリアとして設定され、グレーのエリアが多重用追尾エリアとして設定される。
【００３６】
ＡＥ／ＡＦ用追尾エリアおよび／または多重用追尾エリアがこうして設定されると、追尾タスクの下で次の処理が繰り返し実行される。まず、従前の基本色エリアの近傍から基本色を有するエリアが探索される。基本色を有するエリアが発見されると、基本色エリアの定義が更新される。追加色エリアが設定済みであれば、従前の追加色エリアの近傍から追加色を有するエリアが探索される。追加色を有するエリアが発見されると、追加色エリアの定義が更新される。基本色エリアおよび追加色エリアは、こうして被写界像上を移動する。
【００３７】
撮像制御タスクの下で決定された有効グラフィック画像を被写界像に多重する処理は、多重制御タスクの下で、次のようにして実行される。
【００３８】
まず、多重用追尾エリアの位置を参照して有効グラフィック画像の多重位置が調整され、多重用追尾エリアのサイズを参照して有効グラフィック画像のサイズが調整され、そして多重用追尾エリアの移動履歴を参照して有効グラフィック画像の姿勢が調整される。
【００３９】
続いて、調整された位置，サイズおよび姿勢（＝属性）に対応する命令が、グラフィックジェネレータ３０およびＬＣＤドライバ３２に与えられる。グラフィックジェネレータ３０は、多重グラフィック画像に相当するグラフィックデータを調整されたサイズおよび姿勢に従って作成し、作成されたグラフィックデータを調整された多重位置に対応してグラフィック画像エリア２６ｃに書き込む。
【００４０】
ＬＣＤドライバ３２は、ＹＵＶ画像エリア２６ｂに格納された画像データとグラフィック画像エリア２６ｃに格納されたグラフィックデータとを選択的に読み出し、読み出されたデータに基づいてＬＣＤモニタ３４を駆動する。この結果、グラフィック画像がスルー画像に多重された態様でスルー画像およびグラフィック画像がＬＣＤモニタ３４に表示される。
【００４１】
したがって、図３（Ａ）に示すグラフィック画像ＧＬ１が有効グラフィック画像として選択された状態で、図４に示すスルー画像上で風船ＢＬを表す画像がタッチされると、グラフィック画像ＧＬ１の位置，サイズおよび姿勢は風船ＢＬの移動に伴って図６（Ａ）〜図６（Ｂ）に示す要領で変化する。
【００４２】
また、図３（Ｂ）に示すグラフィック画像ＧＬ２が有効グラフィック画像として選択された状態で、図５に示すスルー画像上でグローブＧＢを表す画像がタッチされると、グラフィック画像ＧＬ２の位置，サイズおよび姿勢はグローブＧＢの移動に伴って図７（Ａ）〜図７（Ｂ）に示す要領で変化する。
【００４３】
図８を参照して、撮像面には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、合計２５６個の分割エリアが撮像面にマトリクス状に配置される。前処理回路２０は、評価エリアＥＶＡに属する一部の生画像データを簡易的にＹデータに変換し、変換されたＹデータをＡＥ／ＡＦ評価回路２２に与える。
【００４４】
ＡＥ／ＡＦ評価回路２２は、与えられたＹデータを分割エリア毎に積分し、合計２５６個の積分値を輝度評価値として作成する。ＡＥ／ＡＦ評価回路２２はまた、与えられたＹデータの高周波成分を分割エリア毎に積分し、合計２５６個の積分値をＡＦ評価値として作成する。これらの積分処理は、垂直同期信号Ｖｓｙｎｃが発生する毎に繰り返し実行される。この結果、２５６個の輝度評価値および２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ評価回路２２から出力される。
【００４５】
このような輝度評価値およびＡＦ評価値を参照した撮像条件の調整処理は、撮像条件調整タスクの下で以下の要領で実行される。
【００４６】
ＡＥ／ＡＦ用追尾エリアが設定されていなければ、評価リアＥＶＡ上で既定された一部の分割エリアが調整エリアＡＤＪとして設定される。これに対して、ＡＥ／ＡＦ用追尾エリアが設定されていれば、ＡＥ／ＡＦ用追尾エリアを覆う一部の分割エリアが調整エリアＡＤＪとして設定される。
【００４７】
調整エリアＡＤＪの設定が完了すると、調整エリアＡＤＪに属する一部の輝度評価値を参照したＡＥ処理によって、適正ＥＶ値が算出される。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、これによって調整エリアＡＤＪに属する物体像の明るさが適度に調整される。
【００４８】
調整エリアＡＤＪに属する一部のＡＦ評価値を参照したＡＦ処理は、ＡＦ起動条件が満足されるときに実行される。フォーカスレンズ１２はＡＦ処理によって発見された合焦点に配置され、これによって調整エリアＡＤＪに属する物体像の鮮鋭度が向上する。
【００４９】
したがって、図４に示すスルー画像上で風船ＢＬを表す画像がタッチされたときは、有効グラフィック画像の選択／非選択に関係なく、風船ＢＬの画像を覆う一部の分割エリアが調整エリアＡＤＪとして設定される（図９（Ａ）〜図９（Ｂ）参照）。これによって、露光量およびフォーカスは、風船ＢＬの画像に適するように調整される。
【００５０】
一方、図５に示すスルー画像上でグローブＧＢを表す画像がタッチされたときは、有効グラフィック画像の選択／非選択に応じて異なる態様で、調整エリアＡＤＪが設定される。つまり、有効グラフィック画像が選択されなかったときは、グローブＧＢの画像を覆う一部の分割エリアが調整エリアＡＤＪとして設定される（図１０（Ａ）参照）。この結果、露光量およびフォーカスは、グローブＧＢの画像に適するように調整される。これに対して、有効グラフィック画像が選択されたときは、顔画像を覆う一部の分割エリアが調整エリアＡＤＪとして設定される（図１０（Ｂ）参照）。この結果、露光量およびフォーカスは、顔画像に適するように調整される。
【００５１】
キー入力装置４４に向けて記録開始操作が行われると、ＣＰＵ４２は、多重用追尾エリアの設定状態を撮像制御タスクの下で判別し、判別結果に応じて異なる処理を実行する。具体的には、多重用追尾エリアが未設定であれば、通常記録処理の開始をメモリＩ／Ｆ３８に要求する。これに対して、多重用追尾エリアが設定済みであれば、多重記録処理の開始をメモリＩ／Ｆ３８に要求する。
【００５２】
通常記録処理では、メモリＩ／Ｆ３８は、ＹＵＶ画像エリア２６ｂに格納された画像データを一律的に読み出し、読み出された画像データをファイル形式で記録媒体４０に記録する。一方、多重記録処理では、メモリＩ／Ｆ３８は、ＹＵＶ画像エリア２６ｂに格納された画像データおよびグラフィック画像エリア２６ｃに格納されたグラフィックデータを有効グラフィック画像が被写界像に多重される態様で読み出し、読み出されたデータをファイル形式で記録媒体４０に記録する。実行中の記録処理は、キー入力装置４４に向けて記録終了操作が行われたとき、ＣＰＵ４２によって終了される。
【００５３】
ＣＰＵ４２は、図１１〜図１２に示す撮像制御タスク，図１３〜図１４に示す追尾エリア設定タスク，図１５に示す追尾タスク，図１６に示す多重制御タスク，および図１７に示す撮像条件調整タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。
【００５４】
図１１を参照して、ステップＳ１では動作モードを通常モードに初期設定し、ステップＳ３では動画取り込み処理を実行する。これによって、スルー画像がＬＣＤモニタ３４に表示される。ステップＳ５ではモード切換操作が行われたか否かを判別し、ステップＳ２１では記録開始操作が行われたか否かを判別する。ステップＳ５の判別結果がＹＥＳであればステップＳ７〜Ｓ１９の処理を経てステップＳ５に戻り、ステップＳ２１の判別結果がＹＥＳであればステップＳ２３〜Ｓ３１の処理を経てステップＳ５に戻る。
【００５５】
ステップＳ７では、現時点の動作モードが通常モードおよびグラフィック画像多重モードのいずれであるかを判別する。現時点の動作モードがグラフィック画像多重モードであれば、ステップＳ９で動作モードを通常モードに変更し、その後にステップＳ５に戻る。現時点の動作モードが通常モードであれば、ステップＳ１１で動作モードをグラフィック画像多重モードに変更し、その後にステップＳ１３に進む。
【００５６】
ステップＳ１３では、グラフィック画像メニューの表示をグラフィックジェネレータ３０およびＬＣＤドライバ３２に要求する。この結果、図３（Ａ）に示すグラフィック画像ＧＬ１と図３（Ｂ）に示すグラフィック画像ＧＬ２とを有するグラフィック画像メニューが、スルー画像の代わりにＬＣＤモニタ３４に表示される。
【００５７】
ステップＳ１５では、グラフィック画像メニューに現れたグラフィック画像ＧＬ１およびＧＬ２のいずれか１つをタッチするタッチ操作が行われたか否かをタッチセンサ３６の出力に基づいて判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ１７に進み、タッチ操作によって選択されたグラフィック画像を有効グラフィック画像として決定する。ステップＳ１９では、グラフィック画像メニューの非表示をＬＣＤドライバ３２に要求する。この結果、スルー画像の表示が再開される。
【００５８】
ステップＳ２３では多重用追尾エリアが設定済みであるか否かを判別し、判別結果がＮＯであればステップＳ２５で通常記録処理を開始する一方、判別結果がＹＥＳであればステップＳ２７で多重記録処理を開始する。ステップＳ２９では記録終了操作が行われたか否かを判別し、判別結果がＮＯからＹＥＳに更新されると実行中の記録処理を終了する。
【００５９】
図１３を参照して、ステップＳ４１では現時点でＬＣＤモニタ３４に表示されている画像がスルー画像であるか否かを判別し、ステップＳ４３ではＬＣＤモニタ３４をタッチする操作が行われたか否かをタッチセンサ３６の出力に基づいて判別する。ステップＳ４１の判別結果およびステップＳ４３の判別結果の少なくとも一方がＮＯであれば、ステップＳ４１に戻る。ステップＳ４１の判別結果およびステップＳ４３の判別結果のいずれもがＹＥＳであれば、ステップＳ４５に進む。
【００６０】
ステップＳ４５ではタッチ位置に表示された部分画像の色を基本色として設定し、ステップＳ４７ではタッチ位置から連続的に基本色を示すエリアを基本色エリアとして設定する。ステップＳ４９では、現時点の動作モードが通常モードおよびグラフィック画像多重モードのいずれであるかを判別する。
【００６１】
現時点の動作モードが通常モードであればステップＳ５１に進み、基本色エリアをＡＥ／ＡＦ用追尾エリアとして設定する。設定が完了すると、ステップＳ５３で追尾タスクを起動し、その後に処理を終了する。
【００６２】
現時点の動作モードがグラフィック画像多重モードであれば、ステップＳ５５で基本色エリアの周辺から顔画像を探索する。ステップＳ５７では探索処理によって顔画像が発見されたか否かを判別し、ＹＥＳの判別結果に対応してステップＳ５９〜Ｓ６１の処理を実行する一方、ＮＯの判別結果に対応してステップＳ６３の処理を実行する。ステップＳ５９では発見された顔画像上の肌色のエリアを追加色エリアとして定義し、ステップＳ６１では定義された追加色エリアをＡＥ／ＡＦ用追尾エリアとして設定する。
【００６３】
ステップＳ６３では、基本色エリアをＡＥ／ＡＦ用追尾エリアとして設定する。ステップＳ６５では、基本色エリアを多重用追尾エリアとして設定する。基本色エリアの設定が完了すると、ステップＳ６７で追尾タスクを起動し、ステップＳ６９で多重制御タスクを起動し、その後に処理を終了する。
【００６４】
図１５を参照して、ステップＳ７１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ７３に進み、従前の基本色エリアの近傍から基本色を有するエリアを探索する。ステップＳ７５では基本色を有するエリアが発見されたか否かを判別し、判別結果がＮＯであればそのままステップＳ７９に進む一方、判別結果がＹＥＳであればステップＳ７７で基本色エリアの定義を更新してからステップＳ７９に進む。
【００６５】
ステップＳ７９では、追加色エリアが設定済みであるか否かを判別する。判別結果がＮＯであればそのままステップＳ７１に戻り、判別結果がＹＥＳであればステップＳ８１〜Ｓ８５の処理を経てステップＳ７１に戻る。
【００６６】
ステップＳ８１では、従前の追加色エリアの近傍から追加色を有するエリアを探索する。ステップＳ８３では追加色を有するエリアが発見されたか否かを判別し、判別結果がＮＯであればそのままステップＳ７１に戻る一方、判別結果がＹＥＳであればステップＳ８５で追加色エリアの定義を更新してからステップＳ７１に戻る。
【００６７】
図１６を参照して、ステップＳ９１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新される毎にステップＳ９３〜Ｓ９９の処理を実行する。ステップＳ９３では、多重用追尾エリアの位置を参照して有効グラフィック画像の多重位置を調整する。ステップＳ９５では、多重用追尾エリアのサイズを参照して有効グラフィック画像のサイズを調整する。ステップＳ９７では、多重用追尾エリアの移動履歴を参照して有効グラフィック画像の姿勢を調整する。
【００６８】
ステップＳ９９では、ステップＳ９５によって調整されたサイズとステップＳ９７によって調整された姿勢とを有する有効グラフィック画像をステップＳ９３によって調整された多重位置に対応してスルー画像に多重するべく、対応する命令をグラフィックジェネレータ３０およびＬＣＤドライバ３２に与える。この結果、有効グラフィック画像がスルー画像に多重された態様で、スルー画像および有効グラフィック画像がＬＣＤモニタ３４に表示される。
【００６９】
図１７を参照して、ステップＳ１０１ではフォーカス，絞り量および露光時間を初期化する。ステップＳ１０３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとＡＥ／ＡＦ用追尾エリアが設定済みであるか否かをステップＳ１０５で判別する。ＡＥ／ＡＦ用追尾エリアが未設定であればステップＳ１０７に進み、評価リアＥＶＡ上で既定された一部の分割エリアを調整エリアＡＤＪとして設定する。判別結果がＹＥＳであればステップＳ１０９に進み、ＡＥ／ＡＦ用追尾エリアを覆う一部の分割エリアを調整エリアＡＤＪとして設定する。
【００７０】
ステップＳ１０７またはＳ１０９の処理が完了すると、調整エリアＡＤＪに属する一部の輝度評価値を参照したＡＥ処理をステップＳ１１１で実行する。これによって、調整エリアＡＤＪに属する物体像の明るさが適度に調整される。ステップＳ１１３ではＡＦ起動条件を満足するか否かを判別し、判別結果がＮＯであればそのままステップＳ１０３に戻る一方、判別結果がＹＥＳであればステップＳ１１５に進む。
【００７１】
ステップＳ１１５では、調整エリアＡＤＪに属する一部のＡＦ評価値を参照したＡＦ処理を実行する。ＡＦ処理の結果、フォーカスレンズ１２は合焦点に配置され、これによって調整エリアＡＤＪに属する物体像の鮮鋭度が向上する。ステップＳ１１５の処理が完了すると、ステップＳ１０３に戻る。
【００７２】
以上の説明から分かるように、イメージセンサ１６によって捉えられた被写界を表す画像データは、メモリ制御回路２４によってＳＤＲＡＭ２６に取り込まれる。ＣＰＵ４２は、複数のグラフィック画像の中から所望のグラフィック画像を選択する選択操作をタッチセンサ３６を通して受け付け(S15)、選択操作によって選択されたグラフィック画像の画像データをＳＤＲＡＭ２６に取り込まれた画像データに合成ないし多重する(S99)。ＣＰＵ４２はまた、ＳＤＲＡＭ２６に取り込まれた画像データから指定物体を表す物体像を探索する処理をグラフィック画像の合成処理と並列して繰り返し実行し(S65, S71~S77)、探索処理によって発見された物体像の属性つまりサイズ，姿勢および位置に応じて異なるようにグラフィック画像の合成態様を制御する(S93~S97)。
【００７３】
このように、選択操作によって選択されたグラフィック画像は、繰り返し取り込まれる被写界像に合成される。また、指定物体を表す物体像を探索する処理はこのような合成処理と並列して繰り返し実行され、グラフィック画像の合成態様は探索処理によって発見された物体像の属性に応じて異なるように制御される。したがって、物体像の属性が変化すれば、グラフィック画像も合成態様もまた変化する。この結果、グラフィック画像の任意性と相俟って、再現画像の多様性を高めることができる。
【００７４】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４６に予め記憶される。しかし、図１８に示すように通信Ｉ／Ｆ４８をディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４６に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７５】
また、この実施例では、ＣＰＵ４２によって実行される処理を図１１〜図１２に示す撮像制御タスク，図１３〜図１４に示す追尾エリア設定タスク，図１５に示す追尾タスク，図１６に示す多重制御タスク，および図１７に示す撮像条件調整タスクを含む複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００７６】
１０  …ディジタルビデオカメラ
１８  …イメージセンサ
２８  …後処理回路
３０  …グラフィックジェネレータ
４０  …記録媒体
４２  …ＣＰＵ
【図１】
2012080479.tif 000003
【図２】
2012080479.tif 000004
【図３】
2012080479.tif 000005
【図４】
2012080479.tif 000006
【図５】
2012080479.tif 000007
【図６】
2012080479.tif 000008
【図７】
2012080479.tif 000009
【図８】
2012080479.tif 000010
【図９】
2012080479.tif 000011
【図１０】
2012080479.tif 000012
【図１１】
2012080479.tif 000013
【図１２】
2012080479.tif 000014
【図１３】
2012080479.tif 000015
【図１４】
2012080479.tif 000016
【図１５】
2012080479.tif 000017
【図１６】
2012080479.tif 000018
【図１７】
2012080479.tif 000019
【図１８】
2012080479.tif 000020