(57)【要約】【構成】イメージセンサ１６は、撮像面によって捉えられたシーンを表す画像を出力する。マイクロフォン４８および音声処理回路５０は、撮像面の近傍で発生した音声を継続的に取り込む。ＣＰＵ３６は、条件調整指示を受け付けたときイメージセンサ１６から出力された画像に基づいて１または２以上のシーン候補を選択し、選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理をマイクロフォン４８および音声処理回路５０の取り込み時間に応じて異なる態様で実行する。ＣＰＵ３６はまた、確定シーンに適合する態様で撮像条件を調整する。【効果】条件調整指示に対する応答特性の向上とシーン判別精度の向上とを両立させる。【選択図】図２
2012129958.tif 000002
【特許請求の範囲】
【請求項１】
撮像面によって捉えられたシーンを表す画像を出力する撮像手段、
前記撮像面の近傍で発生した音声を継続的に取り込む取り込み手段、
条件調整指示を受け付けたとき前記撮像手段から出力された画像に基づいて１または２以上のシーン候補を選択する選択手段、
前記選択手段によって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を前記取り込み手段の取り込み時間に応じて異なる態様で実行する抽出手段、および
前記確定シーンに適合する態様で撮像条件を調整する調整手段を備える、電子カメラ。
【請求項２】
前記抽出手段は、前記取り込み時間が基準を上回るとき前記音声の特性に基づいてシーン抽出を行う第１シーン抽出手段、および前記取り込み時間が前記基準以下のとき既定要領でシーン抽出を行う第２シーン抽出手段を含む、請求項１記載の電子カメラ。
【請求項３】
前記選択手段は前記画像が表すシーンと前記１または２以上のシーン候補の各々が表すシーンとが一致する可能性に基づいて選択処理を実行し、
前記第１シーン抽出手段は、前記音声が表すシーンと前記選択手段によって選択された１または２以上のシーン候補の各々が表すシーンとが一致する可能性に基づいてシーン候補を絞り込む絞り込み手段、前記絞り込み手段の絞り込みの結果１のシーン候補に絞り込まれたとき前記１のシーン候補を前記確定シーンとする第１確定手段、および前記絞り込み手段の絞り込みの結果２以上のシーン候補に絞り込まれたとき前記選択手段の選択処理に関連した可能性および前記絞り込み手段の絞り込み処理に関連した可能性に基づいていずれか１つのシーン候補を前記確定シーンとする第２確定手段を含む、請求項２記載の電子カメラ。
【請求項４】
前記第２確定手段は前記取り込み時間に応じて異なる態様で確定処理を実行する、請求項３記載の電子カメラ。
【請求項５】
前記条件調整指示は操作者のシャッタボタン操作に関連して発行される、請求項１ないし４のいずれかに記載の電子カメラ。
【請求項６】
電子カメラのプロセッサに、
撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ、
前記撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ、
条件調整指示を受け付けたとき前記撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ、
前記選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を前記取り込みステップの取り込み時間に応じて異なる態様で実行する抽出ステップ、および
前記確定シーンに適合する態様で撮像条件を調整する調整ステップを実行させるための、撮像制御プログラム。
【請求項７】
電子カメラによって実行される撮像制御方法であって、
撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ、
前記撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ、
条件調整指示を受け付けたとき前記撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ、
前記選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を前記取り込みステップの取り込み時間に応じて異なる態様で実行する抽出ステップ、および
前記確定シーンに適合する態様で撮像条件を調整する調整ステップを備える、撮像制御方法。
【請求項８】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ、
前記撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ、
条件調整指示を受け付けたとき前記撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ、
前記選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を前記取り込みステップの取り込み時間に応じて異なる態様で実行する抽出ステップ、および
前記確定シーンに適合する態様で撮像条件を調整する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項９】
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ、
前記撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ、
条件調整指示を受け付けたとき前記撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ、
前記選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を前記取り込みステップの取り込み時間に応じて異なる態様で実行する抽出ステップ、および
前記確定シーンに適合する態様で撮像条件を調整する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に被写界のシーンを判別する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラに用いるデジタル音声信号解析方法の一例が、特許文献１に開示されている。この背景技術によれば、入力されたデジタル音声信号内に符号化された周波数領域情報が取り出される。取り出された周波数領域情報は統一の形式に変換される。変換された周波数領域情報の解析により所望のシーン情報が算出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８４２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、音声の取り込み時間が十分でない場合の処理については記載されていない。よって、音声の取り込み時間が十分でない場合は、シーン判別に使用できる程度に音声が確保されるまでシーン判別の処理が実行されず、応答特性が低下する。
【０００５】
また、背景技術では、音声に基づいてシーンを判別しているが、画像とシーン判別との関係については記載されていない。よって、音声よりも画像に特徴があるシーンを判別する場合は、シーン判別の精度が低下する。
【０００６】
それゆえに、この発明の主たる目的は、条件調整指示に対する応答特性の向上とシーン判別精度の向上とを両立することができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００７】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像面によって捉えられたシーンを表す画像を出力する撮像手段(16)、撮像面の近傍で発生した音声を継続的に取り込む取り込み手段(48, 50)、条件調整指示を受け付けたとき撮像手段から出力された画像に基づいて１または２以上のシーン候補を選択する選択手段(S3, S9, S61~S63)、選択手段によって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を取り込み手段の取り込み時間に応じて異なる態様で実行する抽出手段(S51~S55, S67, S71~S73)、および確定シーンに適合する態様で撮像条件を調整する調整手段(S11~S19)を備える。
【０００８】
好ましくは、抽出手段は、取り込み時間が基準を上回るとき音声の特性に基づいてシーン抽出を行う第１シーン抽出手段(S71)、および取り込み時間が基準以下のとき既定要領でシーン抽出を行う第２シーン抽出手段(S73)を含む。
【０００９】
さらに好ましくは、選択手段は画像が表すシーンと１または２以上のシーン候補の各々が表すシーンとが一致する可能性に基づいて選択処理を実行し、第１シーン抽出手段は、音声が表すシーンと選択手段によって選択された１または２以上のシーン候補の各々が表すシーンとが一致する可能性に基づいてシーン候補を絞り込む絞り込み手段(S81)、絞り込み手段の絞り込みの結果１のシーン候補に絞り込まれたとき１のシーン候補を確定シーンとする第１確定手段(S85)、および絞り込み手段の絞り込みの結果２以上のシーン候補に絞り込まれたとき選択手段の選択処理に関連した可能性および絞り込み手段の絞り込み処理に関連した可能性に基づいていずれか１つのシーン候補を確定シーンとする第２確定手段(S87~S95)を含む。
【００１０】
さらに好ましくは、第２確定手段は取り込み時間に応じて異なる態様で確定処理を実行する。
【００１１】
好ましくは、条件調整指示は操作者のシャッタボタン操作に関連して発行される。
【００１２】
この発明に従う撮像制御方法は、電子カメラのプロセッサ(36)に、撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ(16)、撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ(48, 50)、条件調整指示を受け付けたとき撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ(S3, S9, S61~S63)、選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を取り込み時間に応じて異なる態様で実行する抽出ステップ(S51~S55, S67, S71~S73)、および確定シーンに適合する態様で撮像条件を調整する調整ステップ(S11~S19)を実行させるための、撮像制御プログラムである。
【００１３】
この発明に従う撮像制御方法は、電子カメラ(10)によって実行される撮像制御方法であって、撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ(16)、撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ(48, 50)、条件調整指示を受け付けたとき撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ(S3, S9, S61~S63)、選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を取り込み時間に応じて異なる態様で実行する抽出ステップ(S51~S55, S67, S71~S73)、および確定シーンに適合する態様で撮像条件を調整する調整ステップ(S11~S19)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(42)に保存された内部制御プログラムに従う処理を実行するプロセッサ(36)を備える電子カメラ(10)に供給される外部制御プログラムであって、撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ(16)、撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ(48, 50)、条件調整指示を受け付けたとき撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ(S3, S9, S61~S63)、選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を取り込み時間に応じて異なる態様で実行する抽出ステップ(S51~S55, S67, S71~S73)、および確定シーンに適合する態様で撮像条件を調整する調整ステップ(S11~S19)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う電子カメラ(10)は、外部制御プログラムを受信する受信手段(52)、および受信手段によって受信された外部制御プログラムとメモリ(42)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(36)を備える電子カメラ(10)であって、外部制御プログラムは、撮像面によって捉えられたシーンを表す画像を出力する撮像ステップ(16)、撮像面の近傍で発生した音声を継続的に取り込む取り込みステップ(48, 50)、条件調整指示を受け付けたとき撮像ステップから出力された画像に基づいて１または２以上のシーン候補を選択する選択ステップ(S3, S9, S61~S63)、選択ステップによって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を取り込み時間に応じて異なる態様で実行する抽出ステップ(S51~S55, S67, S71~S73)、および確定シーンに適合する態様で撮像条件を調整する調整ステップ(S11~S19)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
取り込み手段の取り込み時間は、電源を起動してから条件調整指示を受け付けるまでの時間が長いほど長くなり、電源を起動してから条件調整指示を受け付けるまでの時間が短いほど短くなる。画像に基づいて選択された２以上のシーン候補のいずれか１つを確定シーンとして抽出する処理は、このような音声の取り込み時間に応じて異なる態様で実行される。これによって、条件調整指示に対する応答特性の向上とシーン判別精度の向上との両立が図られる。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図４】動き検出エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図５】被写界の一例を示す図解図である。
【図６】画像情報を参照して算出された可能性の一例を示す図解図である。
【図７】（Ａ）は画像情報を参照して算出された可能性の他の一例を示す図解図であり、（Ｂ）は音声データを参照して算出された可能性の一例を示す図解図である。
【図８】（Ａ）は画像情報を参照して算出された可能性のその他の一例を示す図解図であり、（Ｂ）は音声データを参照して算出された可能性の他の一例を示す図解図である。
【図９】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１５】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、撮像面によって捉えられたシーンを表す画像を出力する。取り込み手段２は、撮像面の近傍で発生した音声を継続的に取り込む。選択手段３は、条件調整指示を受け付けたとき撮像手段１から出力された画像に基づいて１または２以上のシーン候補を選択する。抽出手段４は、選択手段３によって選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を取り込み時間に応じて異なる態様で実行する。調整手段５は、確定シーンに適合する態様で撮像条件を調整する。
［実施例］
【００２１】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２２】
電源が投入されると、ＣＰＵ３６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２３】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４の生画像エリア２４ａに書き込まれる。
【００２４】
後処理回路２６は、生画像エリア２４ａに格納された生画像データをメモリ制御回路２２を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路２６はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理を実行する。この結果、ＹＵＶ形式に従う表示画像データが個別に作成される。表示画像データは、メモリ制御回路２２によってＳＤＲＡＭ２４の表示画像エリア２４ｂに書き込まれる。
【００２５】
ＬＣＤドライバ２８は、表示画像エリア２４ｂに格納された表示画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３０を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２６】
図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＹデータおよびＲＧＢデータに変換する。
【００２７】
ＡＥ／ＡＦ／ＡＷＢ評価回路３４は、垂直同期信号Ｖｓｙｎｃが発生する毎に、前処理回路２０によって生成されたＹデータのうち評価エリアに属するＹデータを分割エリア毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ／ＡＷＢ評価回路３４から出力される。
【００２８】
また、ＡＥ／ＡＦ／ＡＷＢ評価回路３４は、垂直同期信号Ｖｓｙｎｃが発生する毎に、前処理回路２０から出力されたＹデータのうち同じ評価エリアに属するＹデータの高域周波数成分を抽出し、抽出された高域周波数成分を分割エリア毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ／ＡＷＢ評価回路３４から出力される。
【００２９】
また、ＡＥ／ＡＦ／ＡＷＢ評価回路３４は、垂直同期信号Ｖｓｙｎｃが発生する毎に、前処理回路２０から出力されたＲＧＢデータのうち同じ評価エリアに属するＲＧＢデータを分割エリア毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＷＢ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ／ＡＷＢ評価回路３４から出力される。
【００３０】
顔検出回路４４は、表示画像エリア２４ｂに格納された表示画像の先頭位置から末尾位置に向けてラスタ走査態様で照合枠を移動させ、照合枠に属する一部の画像を標準顔辞書４４ｄの辞書画像と照合する。
【００３１】
照合枠の画像が辞書画像と符合すると、顔検出回路４４は、現時点の照合枠のサイズおよび位置をレジスタ４４ｅに登録する。照合枠は、末尾位置に到達する毎に縮小され、その後に先頭位置に再度設定される。これによって、互いに異なるサイズを有する照合枠が被写界像上をラスタ方向に走査される。最小サイズの照合枠が末尾位置に到達すると、探索終了通知が顔検出回路４４からＣＰＵ３６に向けて返送される。
【００３２】
ＣＰＵ３６は、顔検出回路４４から返送された探索終了通知に応答して、人物の顔の探索に成功したか否かを判別する。少なくとも１つの照合枠がレジスタ４４ｅに登録されていれば、顔画像の探索に成功したと判別される。これに対して、照合枠がレジスタ４４ｅに登録されていなければ、顔画像の探索に失敗したと判別される。
【００３３】
図４を参照して、撮像面には９つの動き検出ブロックＭＤ１〜ＭＤ９が割り当てられる。動き検出回路４６は、垂直同期信号Ｖｓｙｎｃが発生する毎に、動き検出ブロックの各々における被写界の動きを表す動きベクトルを前処理回路２０から与えられたＹデータに基づいて検出する。検出された動きベクトルは、ＣＰＵ３６に向けて出力される。
【００３４】
電源が投入されるとまた、ＣＰＵ３６は、音声取込タスクの下でＳＤＲＡＭ２４の符号化音声エリア２４ｄをクリアし、フラグＦＬＧａｄを“０”に設定する。ＣＰＵ３６はその後音声取込タスクの下で、ディジタルカメラ１０の周囲で発生した音声を取り込むべく、マイクロフォン４８によって捉えられた外部音声を表す音声データの符号化を音声処理回路５０に命令する。符号化音声データは、メモリ制御回路２２を通してＳＤＲＡＭ２４の符号化音声エリア２４ｄに書き込まれる。符号化音声エリア２４ｄには最新３０秒分の符号化音声データが格納され、書き込み後３０秒を経過したものは消去される。
【００３５】
ディジタルカメラ１０の各部がシャッタ音および合焦音などの動作音を発するとき、動作音発生予告が通知される。動作音発生予告が通知されたときは、動作音の取り込みを避けるべく、ＣＰＵ３６は音声処理回路５０の音声符号化処理を停止させる。既定の待ち時間が経過すると、ＣＰＵ３６は音声処理回路５０の音声符号化処理を再開させる。
【００３６】
ＣＰＵ３６はまた、符号化音声エリア２４ｄに格納された符号化音声データのサイズＳＺａｄ（取り込み時間）を繰り返し測定する。サイズＳＺａｄが基準値ＲＥＦ１を上回ると、ＣＰＵ３６は、被写界シーンの判別に使用できる程度に符号化音声データが確保されたことを表明するべく、フラグＦＬＧａｄを“１”に設定する。
【００３７】
キー入力装置３２に設けられたシャッタボタン３２ｓｈが押し下げされるまでは、ＣＰＵ３６は、ＡＥ／ＡＦ／ＡＷＢ評価回路３４からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。簡易ＡＥ処理は動画取り込み処理と並列して実行され、算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【００３８】
ＣＰＵ３６はまた、ＡＥ／ＡＦ／ＡＷＢ評価回路３４からの出力に基づく簡易ＡＷＢ処理を撮像タスクの下で実行し、適正白バランス調整ゲインを算出する。算出された適正白バランス調整ゲインは、後処理回路２６に設定される。後処理回路２６は、設定された適正白バランス調整ゲインに基づいて生画像データの白バランス調整を行い、この結果、モニタ画面に表示されるスルー画像は、光源が考慮された白バランスに調整される。
【００３９】
シャッタボタン３２ｓｈが半押しされると、ＣＰＵ３６は、被写界がどのようなシーンであるかを判別するべく、シーン判別要求を発行する。シーン判別要求が発行されると、音声取込タスクの下でＣＰＵ３６は、音声処理回路５０の音声符号化処理を停止させる。
【００４０】
シーン判別要求が発行されるとまた、シーン判別タスクの下でＣＰＵ３６は、画像情報に基づいてシーン候補を抽出する。シーン候補抽出に用いる画像情報は、ＡＥ／ＡＦ／ＡＷＢ評価回路３４から出力されたＡＥ評価値，ＡＦ評価値，およびＡＷＢ評価値，ならびに顔画像探索の成否を示すレジスタ４４ｅの登録状態および動き検出回路２４から出力された動きベクトルである。シーン候補の抽出は、撮像条件の調整基準の設定のために準備されている複数のシーンの各々に対して、これらの画像情報を参照して各々のシーンである可能性Ｐｉｍｇを算出することにより行う。
【００４１】
図５を参照して、例えば、人物がサッカーをしている被写界がイメージセンサ１６に捉えられたときは、スポーツシーンに対する可能性Ｐｉｍｇが高くなる。このように、各々のシーンについて可能性Ｐｉｍｇを算出し、算出された可能性Ｐｉｍｇが基準値未満のシーンを排除することによって、シーン候補を抽出する。基準値は、例えば“５０％”とする。図６を参照して、算出された可能性Ｐｉｍｇが５０％以上のシーンが“Ｂ”だけであった場合、ＣＰＵ３６は、被写界のシーンを“Ｂ”に確定する。
【００４２】
図７（Ａ）を参照して、抽出されたシーン候補が“Ａ”，“Ｂ”，および“Ｃ”のように複数であった場合、ＣＰＵ３６は、フラグＦＬＧａｄが“１”に設定されているか否かを判別する。
【００４３】
ディジタルカメラ１０の起動直後で被写界シーンの判別に使用できる程度に符号化音声データが確保されていない場合は、フラグＦＬＧａｄは“０”に設定されている。ＣＰＵ３６はこの場合、算出された可能性Ｐｉｍｇが最も高いシーン候補に被写界のシーンを確定する。図７（Ａ）に示す例によると、シーンＡの可能性Ｐｉｍｇは“７０％”であり、シーンＢの可能性Ｐｉｍｇは“８５％”であり、シーンＣの可能性Ｐｉｍｇは“８０％”であり、シーンＢの可能性Ｐｉｍｇが最も高い。よって、ＣＰＵ３６は、被写界のシーンを“Ｂ”に確定する。
【００４４】
フラグＦＬＧａｄが“１”に設定されているときは、被写界シーンの判別に使用できる程度に符号化音声データが確保されている。ＣＰＵ３６はこの場合、音声データ参照処理を実行して、被写界のシーンを確定する。
【００４５】
音声データ参照処理においては、ＣＰＵ３６はまず、符号化音声エリア２４ｄに格納された符号化音声データに基づいて、シーン候補を絞り込む。シーン候補の絞り込みは、画像情報に基づいて抽出された複数のシーン候補に対して各々のシーンである可能性Ｐｓｎｄを算出することにより行う。例えば、多数の水泡が割れる音が符号化音声データに含まれているときは、水中シーンに対する可能性Ｐｓｎｄが高くなる。このように、各々のシーンについて可能性Ｐｓｎｄを算出し、算出された可能性Ｐｓｎｄが基準値未満のシーンを排除することによって、シーン候補を絞り込む。基準値は、例えば“５０％”とする。
【００４６】
図７（Ｂ）に示す例によると、シーンＡの可能性Ｐｓｎｄは“４０％”であり、シーンＢの可能性Ｐｓｎｄは“３０％”であり、シーンＣの可能性Ｐｓｎｄは“７０％”であり、シーンＡおよびシーンＢの可能性Ｐｓｎｄは５０％未満である。よって、ＣＰＵ３６は、被写界のシーンを“Ｃ”に絞りこむ。
【００４７】
絞り込みによってシーン候補が１つとなった場合、ＣＰＵ３６は、絞り込まれたシーン候補に被写界のシーンを確定する。図７（Ａ）および図７（Ｂ）に示す例によると、シーン候補はシーンＣに絞り込まれる。よって、ＣＰＵ３６は、被写界のシーンを“Ｃ”に確定する。
【００４８】
絞り込みによってもシーン候補が１つとならなかった場合、ＣＰＵ３６は、符号化音声エリア２４ｄに格納された符号化音声データのサイズＳＺａｄが基準値ＲＥＦ２を上回るか否かを判別する。基準値ＲＥＦ２は基準値ＲＥＦ１よりも高い値である。可能性Ｐｓｎｄの高精度な算出のために必要な符号化音声データのサイズＳＺａｄは、シーンによって異なる。よって、ＣＰＵ３６は、サイズＳＺａｄが基準値ＲＥＦ２を上回る場合は係数αを“１．０”に設定するのに対して、サイズＳＺａｄが基準値ＲＥＦ２以下の場合は、被写界シーンの判別における音声データの寄与率を下げるべく係数αを“０．６”に設定する。
【００４９】
ＣＰＵ３６は次に、絞り込まれた複数のシーン候補の各々について、画像情報に基づく可能性Ｐｉｍｇおよび音声データに基づく可能性Ｐｓｎｄを考慮して、最終可能性Ｐを算出する。最終可能性Ｐは、以下の数１に示す式で求めることができる。
［数１］Ｐ＝Ｐｉｍｇ×ｋ＋Ｐｓｎｄ×（１−ｋ）×α
【００５０】
ＣＰＵ３６はこの場合、算出された最終可能性Ｐが最も高いシーン候補に被写界のシーンを確定する。
【００５１】
図８（Ａ）に示す例によると、画像情報に基づいて抽出されたシーン候補が“Ａ”，“Ｂ”，および“Ｃ”であり、シーンＡの可能性Ｐｉｍｇは“６０％”であり、シーンＢの可能性Ｐｉｍｇは“６５％”であり、シーンＣの可能性Ｐｉｍｇは“８０％”である。
【００５２】
図８（Ａ）に示す例のシーン候補を音声データに基づいて絞り込むと、図８（Ｂ）を参照して、シーンＡの可能性Ｐｓｎｄは“３０％”であり、シーンＢの可能性Ｐｓｎｄは“８０％”であり、シーンＣの可能性Ｐｓｎｄは“５０％”であり、シーンＡの可能性Ｐｓｎｄは５０％未満である。よって、ＣＰＵ３６は、被写界のシーンを“Ｂ”および“Ｃ”に絞りこむ。
【００５３】
係数ｋが“０．６”であるとして、シーンＢおよびシーンＣの各々について最終可能性Ｐを算出すると、αが“１．０”に設定されている場合は、シーンＢの最終可能性Ｐは“７１％”であり、シーンＣの最終可能性Ｐは“６８％”である。よって、ＣＰＵ３６はこの場合、最終可能性Ｐが最も高いシーン“Ｂ”に被写界のシーンを確定する。
【００５４】
αが“０．６”に設定されている場合は、シーンＢの最終可能性Ｐは“５８．２％”であり、シーンＣの最終可能性Ｐは“６０％”である。よって、ＣＰＵ３６はこの場合、最終可能性Ｐが最も高いシーン“Ｃ”に被写界のシーンを確定する。
【００５５】
被写界のシーンが確定すると、音声取り込み処理を再開するべくＣＰＵ３６は、取込開始要求を発行する。取込開始要求が発行されると、ＣＰＵ３６は音声取込タスクの下で、音声データの符号化を音声処理回路５０に命令して、音声取り込み処理を再開する。
【００５６】
被写界のシーンが確定するとまた、ＣＰＵ３６は撮像タスクの下で、撮像条件の調整基準を確定シーン用に設定する。ＣＰＵ３６は、ＡＥ／ＡＦ／ＡＷＢ評価回路３４からの出力に基づく厳格ＡＥ処理を、設定された調整基準に沿って実行する。厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。
【００５７】
厳格ＡＥ処理が完了すると、ＣＰＵ３６は、ＡＥ／ＡＦ／ＡＷＢ評価回路３４からの出力に基づく厳格ＡＷＢ処理を、設定された調整基準に沿って実行する。これによって適正白バランス調整ゲインが算出される。算出された適正白バランス調整ゲインは後処理回路２６に設定され、この結果、スルー画像の白バランスが厳格に調整される。
【００５８】
厳格ＡＷＢ処理が完了すると、ＣＰＵ３６は、ＡＥ／ＡＦ／ＡＷＢ評価回路３４からの出力に基づくＡＦ処理を、設定された調整基準に沿って実行する。この結果、合焦点にフォーカスレンズ１２が配置され、スルー画像の鮮鋭度が向上する。
【００５９】
シャッタボタン３２ｓｈが全押しされると、静止画取り込み処理および記録処理が実行される。シャッタボタン３２ｓｈが全押しされた時点の１フレームの表示画像データは、静止画取り込み処理によって静止画エリア２４ｃに取り込まれる。取り込まれた１フレームの画像データは、記録処理に関連して起動したＩ／Ｆ３８によって静止画エリア２４ｃから読み出され、ファイル形式で記録媒体４０に記録される。
【００６０】
ＣＰＵ３６は、図９〜図１０に示す撮像タスク，図１１〜図１２に示す音声取込タスク，および図１３に示すシーン判別タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。
【００６１】
図９を参照して、ステップＳ１では動画取り込み処理を開始する。ステップＳ３ではシャッタボタン３２ｓｈが半押しされたか否かを判別し、判別結果がＮＯであればステップＳ５で簡易ＡＥ処理を実行し、ステップＳ７で簡易ＡＷＢ処理を実行し、その後にステップＳ３に戻る。判別結果がＮＯからＹＥＳに更新されると、シーン判別要求をステップＳ９で発行する。
【００６２】
ステップＳ１１では被写界シーンが確定したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ１３で撮像条件の調整基準を確定シーン用に設定する。
【００６３】
ステップＳ１５では厳格ＡＥ処理を実行し、ステップＳ１７では厳格ＡＷＢ処理を実行する。ステップＳ１９ではＡＦ処理を実行する。厳格ＡＥ処理、厳格ＡＷＢ処理、およびＡＦ処理は、ステップＳ１３で設定された調整基準に沿って実行される。
【００６４】
ステップＳ２１ではシャッタボタン３２ｓｈが全押しされたか否かを判別し、判別結果がＹＥＳであればステップＳ２５に進む一方、判別結果がＮＯであればステップＳ２３でシャッタボタン３２ｓｈが解除されたか否かを判別する。ステップＳ２３の判別結果がＮＯであればステップＳ２１に戻る一方、ステップＳ２３の判別結果がＹＥＳであればステップＳ３に戻る。
【００６５】
ステップＳ２５では静止画取り込み処理を実行し、ステップＳ２７では記録処理を実行する。その後にステップＳ３に戻る。
【００６６】
図１１を参照して、ステップＳ３１では符合化音声エリア２４ｄをクリアし、ステップＳ３３ではフラグＦＬＧａｄを“０”に設定する。ステップＳ３５ではマイクロフォン４８によって捉えられた外部音声を表す音声データの符号化を音声処理回路５０に命令し、音声取り込み処理を開始する。
【００６７】
ステップＳ３７ではシーン判別要求が発行されたか否かを判別し、判別結果がＮＯであればステップＳ４３に進む一方、判別結果がＹＥＳであればステップＳ３９で音声データの符号化の停止を音声処理回路５０に命令し、音声取り込み処理を停止する。ステップＳ４１では取込開始要求が発行されたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ３５に戻る。
【００６８】
ステップＳ４３では動作音発生予告が通知されたか否かを判別し、判別結果がＮＯであればステップＳ５１に進む一方、判別結果がＹＥＳであれば動作音の取り込みを避けるべくステップＳ４５で、音声データの符号化の停止を音声処理回路５０に命令し、音声取り込み処理を停止する。
【００６９】
ステップＳ４７では既定の待ち時間が経過したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ４９で音声データの符号化を音声処理回路５０に命令し、音声取り込み処理を開始する。
【００７０】
ステップＳ５１では符号化音声エリア２４ｄに格納された符号化音声データのサイズＳＺａｄを測定し、ステップＳ５３ではサイズＳＺａｄが基準値ＲＥＦ１を上回るか否かを判別する。判別結果がＮＯであればステップＳ３７に戻る一方、判別結果がＹＥＳであれば、被写界シーンの判別に使用できる程度に符号化音声データが確保されたことを表明するべく、ステップＳ５５でフラグＦＬＧａｄを“１”に設定する。ステップＳ５５の処理の完了後、ステップＳ３７に戻る。
【００７１】
図１３を参照して、ステップＳ６１ではシーン判別要求が発行されたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ６３で画像情報に基づいてシーン候補を抽出する。ステップＳ６５ではステップＳ６３で抽出されたシーン候補の数が２以上であるか否かを判別し、判別結果がＹＥＳであればステップＳ６７に進む一方、判別結果がＮＯであればステップＳ６９で、ステップＳ６５で抽出されたシーン候補に被写界のシーンを確定する。
【００７２】
ステップＳ６７ではフラグＦＬＧａｄが“１”に設定されているか否かを判別し、判別結果がＮＯであればステップＳ７３に進む一方、判別結果がＹＥＳであれば、符号化音声データを参照して被写界のシーンを確定するべく、ステップＳ７１で音声データ参照処理を実行する。ステップＳ７３では、ステップＳ６３で算出された可能性Ｐｉｍｇが最も高いシーン候補に被写界のシーンを確定する。
【００７３】
ステップＳ７１，ステップＳ７３，またはステップＳ６９の処理が完了すると、音声取り込み処理を再開するべくステップＳ７５で取込開始要求を発行し、その後にステップＳ６１に戻る。
【００７４】
ステップＳ７１の音声データ参照処理は、図１４に示すサブルーチンに従って実行される。ステップＳ８１では、符号化音声エリア２４ｄに格納された符号化音声データに基づいて、図１３のステップＳ６３で抽出されたシーン候補を絞り込む。
【００７５】
ステップＳ８３ではステップＳ８１の絞り込みによってシーン候補が１つとなったか否かを判別し、判別結果がＮＯであればステップＳ８７に進む一方、判別結果がＹＥＳであればステップＳ８５で、ステップＳ８１で絞り込まれたシーン候補に被写界のシーンを確定する。
【００７６】
ステップＳ８７では符号化音声エリア２４ｄに格納された符号化音声データのサイズＳＺａｄが基準値ＲＥＦ２を上回るか否かを判別し、判別結果がＹＥＳであればステップＳ８９の処理を経てステップＳ９３に進む一方、判別結果がＮＯであればステップＳ９１の処理を経てステップＳ９３に進む。ステップＳ８９では係数αを“１．０”に設定し、ステップＳ９１では被写界シーンの判別における音声データの寄与率を下げるべく係数αを“０．６”に設定する。
【００７７】
ステップＳ９３では、ステップＳ８１で絞り込まれた複数のシーン候補の各々について数１に基づいて最終可能性Ｐを算出し、ステップＳ９５では、ステップＳ９３で算出された最終可能性Ｐが最も高いシーン候補に被写界のシーンを確定する。ステップＳ８５またはステップＳ９５の処理の完了後、上階層のルーチンに復帰する。
【００７８】
以上の説明から分かるように、イメージセンサ１６は、撮像面によって捉えられたシーンを表す画像を出力する。マイクロフォン４８および音声処理回路５０は、撮像面の近傍で発生した音声を継続的に取り込む。ＣＰＵ３６は、条件調整指示を受け付けたときイメージセンサ１６から出力された画像に基づいて１または２以上のシーン候補を選択し、選択されたシーン候補の数が２以上であるときいずれか１つのシーン候補を確定シーンとして抽出する処理を取り込み時間に応じて異なる態様で実行する。ＣＰＵ３６はまた、確定シーンに適合する態様で撮像条件を調整する。
【００７９】
マイクロフォン４８および音声処理回路５０の取り込み時間は、電源を起動してから条件調整指示を受け付けるまでの時間が長いほど長くなり、電源を起動してから条件調整指示を受け付けるまでの時間が短いほど短くなる。画像に基づいて選択された２以上のシーン候補のいずれか１つを確定シーンとして抽出する処理は、このような音声の取り込み時間に応じて異なる態様で実行される。これによって、条件調整指示に対する応答特性の向上とシーン判別精度の向上との両立が図られる。
【００８０】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４２に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ５２を図１５に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４２に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８１】
また、この実施例では、ＣＰＵ３６によって実行される処理を、図９〜図１０に示す撮像タスク，図１１〜図１２に示す音声取込タスクおよび図１３に示すシーン判別タスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００８２】
また、この実施例では、符号化音声データに基づく絞り込みによってもシーン候補が１つとならなかった場合、符号化音声データのサイズＳＺａｄが基準値ＲＥＦ２を上回るか否かを判別するようにした。さらに判別結果に関連して係数αを設定し、被写界シーンの判別における音声データの寄与率を調整するようにした。しかし、符号化音声データのサイズＳＺａｄを判別する基準値をＲＥＦ２以外にもＲＥＦ３，ＲＥＦ４，ＲＥＦ５，…のように複数準備して、各々の判別結果に関連して係数αを設定するようにしてもよい。
【００８３】
また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【００８４】
１０  …  ディジタルカメラ
１６  …  イメージセンサ
２０  …  前処理回路
３４  …  ＡＥ／ＡＦ／ＡＷＢ評価回路
４４  …  顔検出回路
４６  …  動き検出回路
４８  …  マイクロフォン
５０  …  音声処理回路
【図１】
2012129958.tif 000003
【図２】
2012129958.tif 000004
【図３】
2012129958.tif 000005
【図４】
2012129958.tif 000006
【図５】
2012129958.tif 000007
【図６】
2012129958.tif 000008
【図７】
2012129958.tif 000009
【図８】
2012129958.tif 000010
【図９】
2012129958.tif 000011
【図１０】
2012129958.tif 000012
【図１１】
2012129958.tif 000013
【図１２】
2012129958.tif 000014
【図１３】
2012129958.tif 000015
【図１４】
2012129958.tif 000016
【図１５】
2012129958.tif 000017