(57)【要約】【構成】撮像系ＩＭ１はメインシーンを表すメイン画像データを繰り返し出力し、撮像系ＩＭ２はサブシーンを表すサブ画像データを繰り返し出力する。後処理回路３６に設けられた画像合成回路は、撮像系ＩＭ２から出力されたサブ画像データを撮像系ＩＭ１から出力されたメイン画像データに合成して合成画像データを作成する。ＣＰＵ２８は、サブシーンにおける有意な変化を撮像系ＩＭ２の処理と並列して探索し、画像合成回路によって注目されるサブ画像データへの強調処理を有意な変化の探知に応答して実行する。【効果】合成画像の視認性が向上する。【選択図】図２
2014107773.tif 000002
【特許請求の範囲】
【請求項１】
第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段、
第２シーンを表す第２電子画像を前記第１撮像手段の処理と並列して繰り返し出力する第２撮像手段、
前記第２撮像手段から出力された第２電子画像を前記第１撮像手段から出力された第１電子画像に合成する合成手段、
前記第２シーンに関連する音声を前記第２撮像手段の処理と並列して取得する音声取得手段、
前記第２撮像手段から出力された第２電子画像および／または前記音声取得手段によって取得された音声に基づいて前記第２シーンにおける有意な変化を検知する検知手段、および
前記合成手段によって合成される第２電子画像に前記検知手段の検知に応答して強調処理を施す処理手段を備える、電子カメラ。
【請求項２】
前記合成手段は、前記第１電子画像のサイズを既定サイズに調整する第１サイズ調整手段、前記第２電子画像のサイズを前記既定サイズを下回るサイズに調整する第２サイズ調整手段、および前記第２サイズ調整手段によって調整されたサイズを有する第２電子画像を前記第１調整手段によって調整されたサイズを有する第１電子画像に多重する多重手段を含む、請求項１記載の電子カメラ。
【請求項３】
前記処理手段は前記第２サイズ調整手段によって調整されるサイズを前記検知手段の検知に応答して増大させる増大手段を含む、請求項２記載の電子カメラ。
【請求項４】
前記処理手段は前記増大手段によって増大されたサイズを前記検知手段の非検知に応答して低減する低減手段をさらに含む、請求項３記載の電子カメラ。
【請求項５】
前記検知手段は前記有意な変化を繰り返し検知し、
前記処理手段は前記第２サイズ調整手段によって調整されるサイズが変更される毎に前記検知手段の処理を一時的に制限する制限手段をさらに含む、請求項３または４記載の電子カメラ。
【請求項６】
前記第２シーンの属性を判別する判別手段、および
前記判別手段の判別結果に応じて異なる態様での検知処理を前記検知手段に要求する要求手段をさらに備える、請求項１ないし５のいずれかに記載の電子カメラ。
【請求項７】
前記検知手段は、前記第２シーンから顔を探索する顔探索手段、前記第２シーンからジェスチャを探索するジェスチャ探索手段、および前記第２シーンから音声レベルの変動を探索する音声変動探索手段を含み、
前記要求手段は前記顔探索手段、前記ジェスチャ探索手段および前記音声変動探索手段の少なくとも１つを起動する、請求項６記載の電子カメラ。
【請求項８】
第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段、
第２シーンを表す第２電子画像を前記第１撮像手段の処理と並列して繰り返し出力する第２撮像手段、
前記第２撮像手段から出力された第２電子画像を前記第１撮像手段から出力された第１電子画像に合成する合成手段、および
前記第２シーンに関連する音声を前記第２撮像手段の処理と並列して取得する音声取得手段を備える電子カメラのプロセッサに、
前記第２撮像手段から出力された第２電子画像および／または前記音声取得手段によって取得された音声に基づいて前記第２シーンにおける有意な変化を検知する検知ステップ、および
前記合成手段によって合成される第２電子画像に前記検知ステップの検知に応答して強調処理を施す処理手段を実行させるための、撮像制御プログラム。
【請求項９】
第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段、
第２シーンを表す第２電子画像を前記第１撮像手段の処理と並列して繰り返し出力する第２撮像手段、
前記第２撮像手段から出力された第２電子画像を前記第１撮像手段から出力された第１電子画像に合成する合成手段、および
前記第２シーンに関連する音声を前記第２撮像手段の処理と並列して取得する音声取得手段を備える電子カメラによって実行される撮像制御方法であって、
前記第２撮像手段から出力された第２電子画像および／または前記音声取得手段によって取得された音声に基づいて前記第２シーンにおける有意な変化を検知する検知ステップ、および
前記合成手段によって合成される第２電子画像に前記検知ステップの検知に応答して強調処理を施す処理手段を備える、撮像制御方法。
【請求項１０】
第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段、
第２シーンを表す第２電子画像を前記第１撮像手段の処理と並列して繰り返し出力する第２撮像手段、
前記第２撮像手段から出力された第２電子画像を前記第１撮像手段から出力された第１電子画像に合成する合成手段、
前記第２シーンに関連する音声を前記第２撮像手段の処理と並列して取得する音声取得手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記第２撮像手段から出力された第２電子画像および／または前記音声取得手段によって取得された音声に基づいて前記第２シーンにおける有意な変化を検知する検知ステップ、および
前記合成手段によって合成される第２電子画像に前記検知ステップの検知に応答して強調処理を施す処理手段を前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１１】
第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段、
第２シーンを表す第２電子画像を前記第１撮像手段の処理と並列して繰り返し出力する第２撮像手段、
前記第２撮像手段から出力された第２電子画像を前記第１撮像手段から出力された第１電子画像に合成する合成手段、
前記第２シーンに関連する音声を前記第２撮像手段の処理と並列して取得する音声取得手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記第２撮像手段から出力された第２電子画像および／または前記音声取得手段によって取得された音声に基づいて前記第２シーンにおける有意な変化を検知する検知ステップ、および
前記合成手段によって合成される第２電子画像に前記検知ステップの検知に応答して強調処理を施す処理手段を前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に複数のシーンをそれぞれ捉える複数の撮像装置を備える、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、前方のシーンがメインカメラによって捉えられる一方、後方のシーンがサブカメラによって捉えられる。後方つまり撮影者側の音声がサブマイクによって検知されると、サブカメラによって捉えられた映像をメインカメラで捉えられた映像に合成する処理が開始される。これによって作成された合成画像は、表示部に表示されるとともに、メモリカードに記録される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２５０３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、撮影者側の音声が検知されない限り、サブカメラによって捉えられた映像が表示部に表示されることもメモリカードに記録されることもない。このため、背景技術では合成画像の視認性に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、合成画像の視認性を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段(IM1)、第２シーンを表す第２電子画像を第１撮像手段の処理と並列して繰り返し出力する第２撮像手段(IM2)、第２撮像手段から出力された第２電子画像を第１撮像手段から出力された第１電子画像に合成する合成手段(36)、第２シーンに関連する音声を第２撮像手段の処理と並列して取得する音声取得手段(42~44)、第２撮像手段から出力された第２電子画像および／または音声取得手段によって取得された音声に基づいて第２シーンにおける有意な変化を検知する検知手段(S37~S47, S55)、および合成手段によって合成される第２電子画像に検知手段の検知に応答して強調処理を施す処理手段(S57~S65)を備える。
【０００７】
好ましくは、合成手段は、第１電子画像のサイズを既定サイズに調整する第１サイズ調整手段(64)、第２電子画像のサイズを既定サイズを下回るサイズに調整する第２サイズ調整手段(70)、および第２サイズ調整手段によって調整されたサイズを有する第２電子画像を第１調整手段によって調整されたサイズを有する第１電子画像に多重する多重手段(72)を含む。
【０００８】
或る局面では、処理手段は第２サイズ調整手段によって調整されるサイズを検知手段の検知に応答して増大させる増大手段(S59)を含む。
【０００９】
また、処理手段は増大手段によって増大されたサイズを検知手段の非検知に応答して低減する低減手段(S63)をさらに含む。
【００１０】
他の局面では、検知手段は有意な変化を繰り返し検知し、処理手段は第２サイズ調整手段によって調整されるサイズが変更される毎に検知手段の処理を一時的に制限する制限手段(S65)をさらに含む。
【００１１】
好ましくは、第２シーンの属性を判別する判別手段(S31)、および判別手段の判別結果に応じて異なる態様での検知処理を検知手段に要求する要求手段(S33~S35)がさらに備えられる。
【００１２】
さらに好ましくは、検知手段は、第２シーンから顔を探索する顔探索手段(S41)、サブシーンからジェスチャを探索するジェスチャ探索手段(S43)、および第２シーンから音声レベルの変動を探索する音声変動探索手段(S37)を含み、要求手段は顔探索手段、ジェスチャ探索手段および音声変動探索手段の少なくとも１つを起動する。
【００１３】
この発明に従う撮像制御プログラムは、第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段(IM1)、第２シーンを表す第２電子画像を第１撮像手段の処理と並列して繰り返し出力する第２撮像手段(IM2)、第２撮像手段から出力された第２電子画像を第１撮像手段から出力された第１電子画像に合成する合成手段(36)、および第２シーンに関連する音声を第２撮像手段の処理と並列して取得する音声取得手段(42~44)を備える電子カメラ(10)のプロセッサ(28)に、第２撮像手段から出力された第２電子画像および／または音声取得手段によって取得された音声に基づいて第２シーンにおける有意な変化を検知する検知ステップ(S37~S47, S55)、および合成手段によって合成される第２電子画像に検知ステップの検知に応答して強調処理を施す処理手段(S57~S65)を実行させるための、撮像制御プログラムである。
【００１４】
この発明に従う撮像制御方法は、第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段(IM1)、第２シーンを表す第２電子画像を第１撮像手段の処理と並列して繰り返し出力する第２撮像手段(IM2)、第２撮像手段から出力された第２電子画像を第１撮像手段から出力された第１電子画像に合成する合成手段(36) 、および第２シーンに関連する音声を第２撮像手段の処理と並列して取得する音声取得手段(42~44)を備える電子カメラ(10)によって実行される撮像制御方法であって、第２撮像手段から出力された第２電子画像および／または音声取得手段によって取得された音声に基づいて第２シーンにおける有意な変化を検知する検知ステップ(S37~S47, S55)、および合成手段によって合成される第２電子画像に検知ステップの検知に応答して強調処理を施す処理手段(S57~S65)を備える。
【００１５】
この発明に従う外部制御プログラムは、第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段(IM1)、第２シーンを表す第２電子画像を第１撮像手段の処理と並列して繰り返し出力する第２撮像手段(IM2)、第２撮像手段から出力された第２電子画像を第１撮像手段から出力された第１電子画像に合成する合成手段(36)、第２シーンに関連する音声を第２撮像手段の処理と並列して取得する音声取得手段(42~44)、およびメモリ(50)に保存された内部制御プログラムに従う処理を実行するプロセッサ(28)を備える電子カメラ(10)に供給される外部制御プログラムであって、第２撮像手段から出力された第２電子画像および／または音声取得手段によって取得された音声に基づいて第２シーンにおける有意な変化を検知する検知ステップ(S37~S47, S55)、および合成手段によって合成される第２電子画像に検知ステップの検知に応答して強調処理を施す処理手段(S57~S65)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１６】
この発明に従う電子カメラ(10)は、第１シーンを表す第１電子画像を繰り返し出力する第１撮像手段(IM1)、第２シーンを表す第２電子画像を第１撮像手段の処理と並列して繰り返し出力する第２撮像手段(IM2)、第２撮像手段から出力された第２電子画像を第１撮像手段から出力された第１電子画像に合成する合成手段(36)、第２シーンに関連する音声を第２撮像手段の処理と並列して取得する音声取得手段(42~44)、外部制御プログラムを取り込む取り込み手段(80)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(50)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(28)を備える電子カメラであって、外部制御プログラムは、第２撮像手段から出力された第２電子画像および／または音声取得手段によって取得された音声に基づいて第２シーンにおける有意な変化を検知する検知ステップ(S37~S47, S55)、および合成手段によって合成される第２電子画像に検知ステップの検知に応答して強調処理を施す処理手段(S57~S65)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１７】
第２シーンは、合成画像の一部をなす第２電子画像によって継続的に再現される。第２シーンに有意な変化が生じると、第２電子画像に対して強調処理が行われる。観者は強調処理によって第２シーンへの注意を喚起され、これによって合成画像の視認性が向上する。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】図２実施例に適用される後処理回路の構成の一例を示すブロック図である。
【図６】（Ａ）はズーム処理を施されたメイン画像データの一例を示す図解図であり、（Ｂ）はズーム処理を施されたサブ画像データの一例を示す図解図であり、（Ｃ）は合成画像データの一例を示す図解図である。
【図７】常時合成モードにおける図２実施例の動作の一部を示すタイミング図である。
【図８】合成画像データに現れたサブ画像データのズーム倍率の変化の一例を示す図解図である。
【図９】一時合成モードにおける図２実施例の動作の一部を示すタイミング図である。
【図１０】一時合成モードにおける図２実施例の動作の他の一部を示すタイミング図である。
【図１１】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１５】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２１】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。第１撮像手段１は、第１シーンを表す第１電子画像を繰り返し出力する。第２撮像手段２は、第２シーンを表す第２電子画像を第１撮像手段１の処理と並列して繰り返し出力する。合成手段３は、第２撮像手段２から出力された第２電子画像を第１撮像手段１から出力された第１電子画像に合成する。音声取得手段４は、第２シーンに関連する音声を第２撮像手段２の処理と並列して取得する。検知手段５は、第２撮像手段２から出力された第２電子画像および／または音声取得手段４によって取得された音声に基づいて第２シーンにおける有意な変化を検知する。処理手段６は、合成手段３によって合成される第２電子画像に検知手段５の検知に応答して強調処理を施す。
【００２２】
第２シーンは、合成画像の一部をなす第２電子画像によって継続的に再現される。第２シーンに有意な変化が生じると、第２電子画像に対して強調処理が行われる。観者は強調処理によって第２シーンへの注意を喚起され、これによって合成画像の視認性が向上する。
［実施例］
【００２３】
図２を参照して、この実施例のディジタルカメラ１０は、カメラ筐体の前方のシーンを捉える撮像系ＩＭ１と、カメラ筐体の後方のシーンを捉える撮像系ＩＭ２とを含む。ここで、カメラ筐体の前方のシーンがメインシーンに相当し、カメラ筐体の後方のシーンがサブシーンに相当する。
【００２４】
撮像系ＩＭ１は、レンズドライバ１８ｍ，絞りドライバ２０ｍおよびセンサドライバ２２ｍによってそれぞれ駆動されるフォーカスレンズ１２ｍ，絞りユニット１４ｍおよび撮像装置１６ｍを有する。フォーカスレンズ１２ｍおよび絞りユニット１４ｍを経た光学像は撮像装置１６ｍに設けられた撮像面に照射され、照射された光学像に対応する電荷が光電変換によって生成される。
【００２５】
撮像系ＩＭ２は、レンズドライバ１８ｓ，絞りドライバ２０ｓおよびセンサドライバ２２ｓによってそれぞれ駆動されるフォーカスレンズ１２ｓ，絞りユニット１４ｓおよび撮像装置１６ｓを有する。フォーカスレンズ１２ｓおよび絞りユニット１４ｓを経た光学像は撮像装置１６ｓに設けられた撮像面に照射され、照射された光学像に対応する電荷が光電変換によって生成される。
【００２６】
電源が投入されると、ＣＰＵ２８は、撮像タスクの下で動画取り込みおよび動画表示を開始するべく、撮像系ＩＭ１およびＩＭ２を起動しかつ後処理回路３６およびＬＣＤドライバ３８を起動する。撮像系ＩＭ１およびＩＭ２は動画取り込みのために起動され、後処理回路３６およびＬＣＤドライバ３８は動画表示のために起動される。
【００２７】
撮像系ＩＭ１のセンサドライバ２２ｍは、図示しないＳＧ(Signal Generator)から１／３０秒毎に発生する垂直同期信号Ｖｓｙｎｃ１に応答して、撮像装置１６ｍの撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。撮像装置１６ｍからは、読み出された電荷に基づく生画像データが３０ｆｐｓのフレームレートで出力される。
【００２８】
前処理回路２４ｍは、撮像装置１６ｍから出力された生画像データに色分離，白バランス調整およびＹＵＶ変換の一連の処理を施し、これによって生成されたＹＵＶ形式の画像データつまりメイン画像データをメモリ制御回路３２を通してＳＤＲＡＭ３４のメイン画像エリア３４ａ（図３参照）に書き込む。
【００２９】
一方、撮像系ＩＭ２のセンサドライバ２２ｓは、図示しない別のＳＧから１／３０秒毎に発生する垂直同期信号Ｖｓｙｎｃ２に応答して、撮像装置１６ｓの撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。撮像装置１６ｓからは、読み出された電荷に基づく生画像データが３０ｆｐｓのフレームレートで出力される。
【００３０】
前処理回路２４ｓは、撮像装置１６ｓから出力された生画像データに色分離，白バンランス調整およびＹＵＶ変換の一連の処理を施し、これによって生成されたＹＵＶ形式の画像データつまりサブ画像データをメモリ制御回路３２を通してＳＤＲＡＭ３４のサブ画像エリア３４ｂ（図３参照）に書き込む。
【００３１】
マイクロフォン４２は、指向性を有するマイクロフォンであり、サブシーンで発生した音声信号を限定的に取り込む。取り込まれた音声信号は音声処理回路４４によって音声データに変換され、変換された音声データはメモリ制御回路３２を通してＳＤＲＡＭ３４の音声エリア３４ｄに書き込まれる。
【００３２】
後処理回路３６は、メイン画像エリア３４ａおよびサブ画像エリア３４ｂにそれぞれ格納されたメイン画像データおよびサブ画像データを並列的に読み出し、読み出されたメイン画像データおよびサブ画像データの各々に電子ズームや画像合成などの処理（画像合成は必要に応じて実行）を施して処理画像データを作成する。作成された処理画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４の処理画像エリア３４ｃ（図３参照）に書き込まれる。
【００３３】
ＬＣＤドライバ３８は、こうして得られた処理画像データをメモリ制御回路３２を通して処理画像エリア３４ｃから読み出し、読み出された処理画像データに基づいてＬＣＤモニタ４０を駆動する。この結果、対応する動画像がＬＣＤモニタ４０に表示される。
【００３４】
図４を参照して、撮像装置１８ｍおよび１８ｓの各々に設けられた撮像面の中央には、評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２４ｍおよび２４ｓの各々は、上述した処理に加えて、生画像データを簡易的にＹデータに変換する簡易Ｙ変換処理を実行する。
【００３５】
ＡＥ／ＡＦ評価回路２６ｍは、前処理回路２４ｍによって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃ１が発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃ１に応答してＡＥ／ＡＦ評価回路２６ｍから出力される。
【００３６】
ＡＥ／ＡＦ評価回路２６ｍはまた、前処理回路２４ｍによって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータの高周波成分を、垂直同期信号Ｖｓｙｎｃ１が発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃ１に応答してＡＥ／ＡＦ評価回路２６ｍから出力される。
【００３７】
同様に、ＡＥ／ＡＦ評価回路２６ｓは、前処理回路２４ｓによって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃ２が発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃ２に応答してＡＥ／ＡＦ評価回路２６ｓから出力される。
【００３８】
ＡＥ／ＡＦ評価回路２６ｓはまた、前処理回路２４ｓによって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータの高周波成分を、垂直同期信号Ｖｓｙｎｃ２が発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃ２に応答してＡＥ／ＡＦ評価回路２６ｓから出力される。
【００３９】
ＣＰＵ２８は、ＡＥ／ＡＦ評価回路２６ｍから出力された２５６個のＡＥ評価値に基づいてメインＡＥ処理を実行し、メイン適正ＥＶ値を算出する。算出されたメイン適正ＥＶ値を定義する絞り量および露光時間は絞りドライバ２０ｍおよびセンサドライバ２２ｍに設定され、これによってメイン画像データの輝度が調整される。
【００４０】
ＣＰＵ２８はまた、ＡＥ／ＡＦ評価回路２６ｍから出力された２５６個のＡＦ評価値に基づいてメインＡＦ処理を実行する。フォーカスレンズ１２ｍは、合焦点の探索のためにレンズドライバ１８ｍによって光軸方向に移動し、合焦点の近傍を継続的に移動する。この結果、メイン画像データの鮮鋭度が継続的に向上する。
【００４１】
同様に、ＣＰＵ２８は、ＡＥ／ＡＦ評価回路２６ｓから出力された２５６個のＡＥ評価値に基づいてサブＡＥ処理を実行し、サブ適正ＥＶ値を算出する。算出されたサブ適正ＥＶ値を定義する絞り量および露光時間は絞りドライバ２０ｓおよびセンサドライバ２２ｓに設定され、これによってサブ画像データの輝度が調整される。
【００４２】
ＣＰＵ２８はまた、ＡＥ／ＡＦ評価回路２６ｓから出力された２５６個のＡＦ評価値に基づいてサブＡＦ処理を実行する。フォーカスレンズ１２ｓは、合焦点の探索のためにレンズドライバ１８ｓによって光軸方向に移動し、合焦点の近傍を継続的に移動する。この結果、サブ画像データの鮮鋭度が継続的に向上する。
【００４３】
キー入力装置３０に設けられたムービーボタン３０ｍｖが操作されると、ＣＰＵ２８は、メモリＩ／Ｆ４６に動画記録の開始を命令する。メモリＩ／Ｆ４６は、処理画像エリア３４ｃに格納された処理画像データをメモリ制御回路３２を通して読み出し、読み出された処理画像データを記録媒体４８に準備された動画ファイルに書き込む。
【００４４】
ムービーボタン３０ｍｖが再度操作されると、ＣＰＵ２８は、動画記録の終了をメモリＩ／Ｆ４６に命令する。メモリＩ／Ｆ４６は処理画像エリア３２ｃに残存する合成画像データが動画ファイルに書き込まれた後に動画記録を終了する。
【００４５】
後処理回路３６は、図５に示すように構成される。コントローラ６０は、ＳＲＡＭ６２に格納されたデータ量が閾値を下回る毎に、メイン画像エリア３２ａからのメイン画像データの読み出しを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２は、要求信号を承認したとき、承認信号を要求元に返送するとともに、要求信号に従う処理を実行する。したがって、コントローラ６０からの要求信号が承認されると、メイン画像エリア３２ａに格納されたメイン画像データの一部がメモリ制御回路３２を介してＳＲＡＭ６２に書き込まれる。
【００４６】
コントローラ６６は、ＳＲＡＭ６８に格納されたデータ量が閾値を下回る毎に、サブ画像エリア３２ｂからのサブ画像データの読み出しを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２は、要求信号を承認したとき、承認信号を要求元に返送するとともに、要求信号に従う処理を実行する。したがって、コントローラ６６からの要求信号が承認されると、サブ画像エリア３２ｂに格納されたサブ画像データの一部がメモリ制御回路３２を介してＳＲＡＭ６８に書き込まれる。
【００４７】
ズーム回路６４は、ＳＲＡＭ６２に格納されたメイン画像データにズーム倍率ＺＭｍａｉｎを参照したズーム処理を施す。また、ズーム回路７０は、ＳＲＡＭ６８に格納されたサブ画像データにズーム倍率ＺＭｓｕｂを参照したズーム処理を施す。メイン画像データのサイズ（画素数）はズーム倍率ＺＭｍａｉｎに対応するサイズに調整され、サブ画像データのサイズもまたズーム倍率ＺＭｓｕｂに対応するサイズに調整される。
【００４８】
ここで、ズーム倍率ＺＭｍａｉｎおよびＺＭｓｕｂの値は、ズーム処理後のサブ画像データのサイズがズーム処理後のメイン画像データのサイズを常に下回るように調整される。したがって、ズーム回路６４から出力されたメイン画像データが図６（Ａ）に示すサイズを示すとき、ズーム回路７０から出力されたサブ画像データはたとえば図６（Ｂ）に示すサイズを示す。
【００４９】
画像合成回路７２は、ズーム回路７０から出力されたサブ画像データをズーム回路７０から出力されたメイン画像データに多重し、合成画像データを作成する。合成画像データは図６（Ｃ）に示す要領で作成され、セレクタ７４に与えられる。セレクタ７４は、後述する合成制御タスクの下でＣＰＵ２８から発行された命令に従って、ズーム回路６４から出力されたメイン画像データおよび画像合成回路７２から出力された合成画像データのいずれか一方を選択する。選択された画像データは、処理画像データとしてＳＲＡＭ７８に書き込まれる。
【００５０】
コントローラ７６は、ＳＲＡＭ７８に格納されたデータ量が閾値に達する毎に、処理画像エリア３４ｃへの処理画像データの書き込みを要求する要求信号をメモリ制御回路３２に与える。メモリ制御回路３２から承認信号が返送されると、コントローラ７６は、既定量の処理画像データをＳＲＡＭ７８から読み出し、読み出された処理画像データをメモリ制御回路３２に与える。処理画像データは、メモリ制御回路３２によって処理画像エリア３４ｃに書き込まれる。
【００５１】
ＣＰＵ２８はまた、撮像タスクと並列する警告制御タスクの下で、サブ画像エリア３４ｂおよび音声エリア３４ｄにそれぞれ格納されたサブ画像データおよび音声データに基づいてサブシーンの属性を判別し、判別結果に応じて異なる態様でサブシーンにおける有意な変化を探索する。
【００５２】
サブシーンが静寂シーンであれば、サブシーンにおける音声レベルの異常変動が音声エリア３４ｄに格納された音声データに基づいて探索される。また、サブシーンが画角固定シーン（ディジタルカメラ１０が三脚などによって固定され、画角が静止しているシーン）であれば、サブ画像データに基づいて一般顔画像（特定の人物に限られない一般的な顔画像）が探索される。
【００５３】
サブシーンが静寂シーンおよび画角固定シーンのいずれでもなければ、登録顔画像（事前に登録された特定の人物の顔画像）および既定のジェスチャ（身振り、手振りあるいは一般顔画像の表情の変化）がサブ画像データに基づいて探索される。このような探索処理によってサブシーンから有意な変化が探知されると、合成制御タスクに向けて警告が発行される。
【００５４】
この実施例では、画像合成モードとして常時合成モードおよび一時合成モードが準備され、合成制御タスクとしても常時合成モード用のタスクと一時合成モード用のタスクが準備される。常時合成モード用のタスクおよび一時合成モード用のタスクは、モード切換スイッチ３０ｍｄによって択一的に起動される。
【００５５】
常時合成モード用の合成制御タスクが起動されると、ＣＰＵ２８は、ズーム倍率ＺＭｍａｉｎおよびＺＭｓｕｂを初期化し、図５に示すセレクタ７４に画像合成回路７２の選択を命令する。この結果、後処理回路３６からは、合成画像データが処理画像データとして出力される。
【００５６】
警告制御タスクから警告が発行されると、ズーム倍率ＺＭｓｕｂが既定量だけ増大される。警告の発行が継続すると、ズーム倍率ＺＭｓｕｂは、既定時間（＝１秒）が経過する毎に“ΔＺＭ”だけ増大される。ズーム倍率ＺＭｓｕｂはまた、警告の中断が継続するとき、既定時間が経過する毎に“ΔＺＭ”だけ低減される。ただし、ズーム倍率ＺＭｓｕｂの上限は“ＺＭｍａｘ”に設定され、ズーム倍率ＺＭｓｕｂが上限値ＺＭｍａｘに達した後は、警告の発行に関わらず上限値ＺＭｍａｘが維持される。同様に、ズーム倍率ＺＭｓｕｂの下限は“ＺＭｉｎｉｔ”（＝初期値）に設定され、ズーム倍率ＺＭｓｕｂが下限値ＺＭｉｎｉｔに達した後は、警告の発行に関わらず下限値ＺＭｉｎｉｔが維持される。
【００５７】
したがって、ズーム倍率Ｚｓｕｂは、サブシーンにおける有意な変化の探知／非探知に対応して図７に示す要領で更新される。また、合成画像データを形成するサブ画像データのサイズは、図８に示す要領で変化する。
【００５８】
これに対して、一時合成モード用の合成制御タスクが起動されると、ＣＰＵ２８は、ズーム倍率ＺＭｍａｉｎおよびＺＭｓｕｂを初期化し、図５に示すセレクタ７４にズーム回路６４の選択を命令する。この結果、後処理回路３６からは、メイン画像データが処理画像データとして出力される。
【００５９】
警告制御タスクから警告が発行されると、ＣＰＵ２８は、後処理回路３６に設けられたセレクタ７４に画像合成回路７２の選択を命令し、タイマＴＭのリセット＆スタートを実行する。後処理回路３６から出力される処理画像データはメイン画像データから合成画像データに更新され、警告が発行されてからの経過時間はタイマＴＭによって測定される。
【００６０】
タイマＴＭにタイムアウトが生じない間は、最新の１秒間における撮像系ＩＭ１の設定の変動量（詳しくは、メイン適正ＥＶ値および／または合焦点の変動量）が繰り返し検出される。検出された変動量が閾値ＴＨを上回ると、ＣＰＵ２８は、後処理回路３６に設けられたセレクタ７４にズーム回路６４の選択を命令する。また、この命令から既定時間（＝５秒）が経過するまでは、警告は無視される。したがって、後処理回路３６からは、少なくとも５秒間にわたってメイン画像データが継続的に出力される。
【００６１】
タイマＴＭにタイムアウトが生じると、ＣＰＵ２８は、後処理回路３６に設けられたセレクタ７４にズーム回路６４の選択を命令する。画像合成回路３６からは、メイン画像データが処理画像データとして出力される。
【００６２】
したがって、撮像系ＩＭ１に設定に大きな変動が生じない場合、処理画像データは、サブシーンにおける有意な変化の探知／非探知に対応して図９に示す要領で変化する。また、タイマＴＭにタイムアウトが生じる前に撮像系ＩＭ１に設定に大きな変動が生じると、処理画像データは、サブシーンにおける有意な変化の探知／非探知に対応して図１０に示す要領で変化する。
【００６３】
ＣＰＵ２８は、図１１に示す撮像タスクおよび図１２に示す警告制御タスクをマルチタスクＯＳの制御の下で並列的に実行する。ＣＰＵ２８はさらに、常時合成モードが選択されたとき図１３に示す合成制御タスクを撮像タスクおよび警告制御タスクと並列して実行し、一時合成モードが選択されたとき図１４に示す合成制御タスクを撮像タスクおよび警告制御タスクと並列して実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ５０に記憶される。
【００６４】
図１１を参照して、ステップＳ１では動画取り込みを開始する。この結果、メイン画像データが前処理回路２４ｍから繰り返し出力され、サブ画像データが前処理回路２４ｓから繰り返し出力される。ステップＳ３では、動画表示を開始する。この結果、メイン画像データおよびサブ画像データに基づく処理画像データが後処理回路３６によって作成され、作成された処理画像データに基づく動画像がＬＣＤドライバ３８によってＬＣＤモニタ４０に表示される。
【００６５】
ステップＳ５では垂直同期信号Ｖｓｙｎｃ１が発生したか否かを判別し、ステップＳ７では垂直同期信号Ｖｓｙｎｃ２が発生したか否かを判別する。ステップＳ５の判別結果がＹＥＳであれば、ステップＳ９でメインＡＥ処理を実行し、ステップＳ１１でメインＡＦ処理を実行する。ステップＳ７の判別結果がＹＥＳであれば、ステップＳ１３でサブＡＥ処理を実行し、ステップＳ１５でサブＡＦ処理を実行する。メイン画像データの輝度および鮮鋭度はメインＡＥ処理およびメインＡＦ処理によって調整され、サブ画像データの輝度および鮮鋭度はサブＡＥ処理およびサブＡＦ処理によって調整される。
【００６６】
ステップＳ１７ではムービーボタン３０ｍｖが操作されたか否かを判別し、判別結果がＮＯであればステップＳ５に戻る一方、判別結果がＹＥＳであればステップＳ１９に進む。ステップＳ１９では動画記録が実行中であるか否かを判別し、判別結果がＹＥＳであればステップＳ２１で動画記録の開始をメモリＩ／Ｆ４６に命令する一方、判別結果がＮＯであればステップＳ２３で動画記録の終了をメモリＩ／Ｆ４６に命令する。この結果、ムービーボタン３０ｍｖの１回目の操作から２回目の操作までの期間に作成された処理画像データがファイル形式で記録媒体４８に記録される。ステップＳ２１またはＳ２３の処理が完了すると、ステップＳ５に戻る。
【００６７】
図１２を参照して、ステップＳ３１〜Ｓ３５では、サブシーンの属性をサブ画像データおよび音声データに基づいて判別する。サブシーンが静寂シーンであればステップＳ３３からステップＳ３７に進み、サブシーンが画角固定シーンであればステップＳ３９に進み、サブシーンが静寂シーンおよび画角固定シーンのいずれでもなければステップＳ４１に進む。
【００６８】
ステップＳ３７では、サブシーンにおける音声レベルの異常変動を音声データに基づいて探索する。ステップＳ３９では、サブ画像データに基づいてサブシーンから一般顔画像を探索する。ステップＳ４１ではサブ画像データに基づいてサブシーンから登録顔画像を探索し、ステップＳ４３ではサブ画像データに基づいてサブシーンから既定のジェスチャを探索する。
【００６９】
ステップＳ４５では、ステップＳ３７〜Ｓ４３の探索結果の少なくとも１つが“探知”を示すか否かを判別する。判別結果がＮＯであれば、そのままステップＳ３１に戻る。一方、判別結果がＹＥＳであれば、サブシーンに有意な変化が生じたとみなし、ステップＳ４７で合成制御タスクに対して警告を発行する。警告の発行が完了すると、ステップＳ３１に戻る。
【００７０】
図１３を参照して、ステップＳ５１ではズーム倍率ＺＭｍａｉｎおよびＺＭｓｕｂを初期化し、ステップＳ５３では後処理回路３６に設けられたセレクタ７４に画像合成回路７２の選択を命令する。後処理回路３６からは、合成画像データが処理画像データとして出力される。ステップＳ５５では警告制御タスクから警告が発行されたか否かを判別し、ステップＳ５７ではズーム倍率ＺＭｓｕｂが最大値を下回るか否かを判別し、ステップＳ６１ではズーム倍率ＺＭｓｕｂが初期値を上回るか否かを判別する。
【００７１】
ステップＳ５５の判別結果およびステップＳ５７の判別結果がいずれもＹＥＳであればステップＳ５９に進み、ズーム倍率ＺＭｓｕｂを既定量だけ増大させる。ステップＳ５５の判別結果がＮＯでかつステップＳ６１の判別結果がＹＥＳであればステップＳ６３に進み、ズーム倍率ＺＭｓｕｂを既定量だけ低減させる。ステップＳ５９またはＳ６３の処理が完了すると、ステップＳ６５で既定時間（＝１秒）だけ待機し、その後にステップＳ５５に戻る。なお、ステップＳ５７またはＳ６１の判別結果がＮＯであれば、そのままステップＳ５５に戻る。
【００７２】
図１４を参照して、ステップＳ７１ではズーム倍率ＺＭｍａｉｎおよびＺＭｓｕｂを初期化し、ステップＳ７３では後処理回路３６に設けられたセレクタ７４にズーム回路６４の選択を命令する。後処理回路３６からは、メイン画像データが処理画像データとして出力される。
【００７３】
ステップＳ７５では、警告制御タスクから警告が発行されたか否かを判別する。判別結果がＹＥＳであればステップＳ７７に進み、後処理回路３６に設けられたセレクタ７４に画像合成回路７２の選択を命令する。後処理回路３６からは合成画像データが処理画像データとして出力される。ステップＳ７７の処理が完了すると、ステップＳ７９でタイマＴＭのリセット＆スタートを実行し、その後にステップＳ７５に戻る。
【００７４】
ステップＳ７５の判別結果がＮＯであれば、タイマＴＭにタイムアウトが発生したか否かをステップＳ８１で判別する。判別結果がＹＥＳであればステップＳ８３に進み、後処理回路３６に設けられたセレクタ７４にズーム回路６４の選択を命令する。画像合成回路３６からは、メイン画像データが処理画像データとして出力される。ステップＳ８３の処理が完了すると、ステップＳ７５に戻る。
【００７５】
ステップＳ８１の判別結果がＮＯであればステップＳ８５に進み、最新の１秒間における撮像系ＩＭ１の設定の変動量（詳しくは、メイン適正ＥＶ値および／または合焦点の変動量）を検出する。ステップＳ８７では検出された変動量が閾値ＴＨを上回るか否かを判別し、判別結果がＮＯであればステップＳ７５に戻る一方、判別結果がＹＥＳであればステップＳ８９に進む。ステップＳ８９では、後処理回路３６に設けられたセレクタ７４にズーム回路６４の選択を命令する。後処理回路３６からはメイン画像データが処理画像データとして出力される。ステップＳ８９の処理が完了すると、ステップＳ９１で既定時間（＝５秒）の待機を行い、その後にステップＳ７５に戻る。
【００７６】
以上の説明から分かるように、撮像系ＩＭ１はメインシーンを表すメイン画像データを繰り返し出力し、撮像系ＩＭ２はサブシーンを表すサブ画像データを繰り返し出力する。ズーム回路６４はズーム倍率ＺＭｍａｉｎを参照したズーム処理をメイン画像データに施し、ズーム回路７０はズーム倍率ＺＭｓｕｂを参照したズーム処理をサブ画像データに施す。画像合成回路７２は、ズーム処理後のサブ画像データをズーム処理後のメイン画像データに合成して合成画像データを作成する。
【００７７】
常時合成モードでは、セレクタ７４は、合成画像データを継続的に選択する。ＣＰＵ２８は、サブシーンにおける有意な変化をズーム画像データの作成処理と並列して探索し(S31~S47, S55)、有意な変化が探知されたときにズーム倍率ＺＭｓｕｂを増大させる(S57~S65)。これによって、サブ画像データが強調される。
【００７８】
一時合成モードでは、ＣＰＵ２８は、サブシーンにおける有意な変化の非検知に対応してメイン画像データの選択をセレクタ７４に要求する一方、サブシーンにおける有意な変化の検知に対応して合成画像データの選択をセレクタ７４に要求する(S47, S75~S83)。ＣＰＵ２８はまた、メインシーンにおける有意な変化の検知に応答してメイン画像データの選択をセレクタ７４に要求し(S85~S89)、サブシーンにおける有意な変化に注目したセレクタ７４の制御を一時的に制限する(S91)。
【００７９】
このように、常時合成モードが選択されると、サブシーンにおける有意な変化の検知に応答してサブ画像データが強調処理を施される。観者は強調処理によってサブシーンへの注意を喚起され、これによって合成画像の視認性が向上する。また、一時合成モードが選択されると、メインシーンとサブシーンとの間での重要度の相違を考慮した画像選択が実現される。これによって、撮影画像の視認性が向上する。
【００８０】
なお、この実施例では、常時合成モードにおいて合成画像を形成するサブ画像を強調するために、ズーム倍率ＺＭｓｕｂを増大させるようにしている。しかし、ズーム倍率ＺＭｓｕｂの増大とともに或いはズーム倍率ＺＭｓｕｂの増大に代えて、サブ画像を囲う枠を表すキャラクタを合成画像に多重するようにしてもよい。
【００８１】
また、この実施例では、サブシーンで発生した音声を限定的に捉えるマイクロフォン４２だけが設けられているが、カメラ筐体の周辺の音声を広く捉える別のマイクロフォンを追加し、これによって捉えられた音声を動画ファイルに追加的に収めるようにしてもよい。
【００８２】
さらに、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４２に予め記憶される。しかし、図１５に示すように通信Ｉ／Ｆ８０をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ５０に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８３】
また、この実施例では、ＣＰＵ２８によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００８４】
１０  …ディジタルカメラ
１６ｍ，１６ｓ  …イメージセンサ
２４ｍ，２４ｓ  …前処理回路
２８  …ＣＰＵ
３６  …後処理回路
３８  …ＬＣＤドライバ
４４  …音声処理回路
【図１】
2014107773.tif 000003
【図２】
2014107773.tif 000004
【図３】
2014107773.tif 000005
【図４】
2014107773.tif 000006
【図５】
2014107773.tif 000007
【図６】
2014107773.tif 000008
【図７】
2014107773.tif 000009
【図８】
2014107773.tif 000010
【図９】
2014107773.tif 000011
【図１０】
2014107773.tif 000012
【図１１】
2014107773.tif 000013
【図１２】
2014107773.tif 000014
【図１３】
2014107773.tif 000015
【図１４】
2014107773.tif 000016
【図１５】
2014107773.tif 000017