(57)【特許請求の範囲】
【請求項１】
複数の被写体の種別にそれぞれ対応する音の特徴を示す音の特徴情報を記憶した第１の記憶手段と、
音声データ及び複数の画像データを取得する取得手段と、
上記取得手段で取得した上記複数の画像データによりそれぞれ表現される画像に写る被写体の種別を認識する認識手段と、
上記認識手段で認識した被写体の種別に対応する音の特徴情報を上記第１の記憶手段から読出し、読出した音の特徴情報が示す音の特徴を設定する設定手段と、
上記取得手段で取得した音声データから再現される音声のうち、上記設定手段で設定した音の特徴に属する音声の音量が規定の音量以上であると判断した時点の画像データを取得する画像取得手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
上記認識手段で複数の被写体の種別を認識した場合に、認識した複数の被写体の種別のうちの１つを選択する選択手段をさらに具備し、
上記設定手段は、上記認識手段で認識した複数の被写体の種別のうち、上記選択手段で選択した１つの種別に対応する音の特徴情報を上記第１の記憶手段から読出し、読出した音の特徴情報が示す音の特徴を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記複数の被写体の種別にそれぞれ対応する優先順位を記憶した第２の記憶手段をさらに具備し、
上記選択手段は、上記認識手段で複数の異なる被写体の種別を認識した場合、認識した複数の異なる被写体の種別のうち、上記第２の記憶手段で記憶した優先順位で最も高い優先順位に対応する１つの種別を選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
複数の異なる被写体の種別中、任意の１つの選択を指示する指示手段をさらに具備し、
上記選択手段は、上記認識手段で複数の異なる被写体の種別を認識した場合、認識した複数の異なる被写体の種別のうち、上記指示手段で指示した任意の１つの種別を選択することを特徴とする請求項２記載の画像処理装置。
【請求項５】
上記画像取得手段の判断基準となる規定の音量を任意に決定する決定手段を具備したことを特徴とする請求項１記載の画像処理装置。
【請求項６】
上記画像取得手段は、上記設定手段で設定した音の特徴に属する音声の音量が最大である時点の画像データを取得することを特徴とする請求項１記載の画像処理装置。
【請求項７】
上記複数の被写体の種別は、男性、女性、成人、及び子供のうち少なくとも１つを含むことを特徴とする請求項１記載の画像処理装置。
【請求項８】
上記音の特徴は、被写体の種別に対応する音声周波数帯域であることを特徴とする請求項１記載の画像処理装置。
【請求項９】
上記画像取得手段が取得する画像データは、上記取得手段で取得した音声データから再現される音声のうち、上記設定手段で設定した音の特徴に属する音声の音量が規定の音量以上であると判断した音量を再現する音声データが付帯されていることを特徴とする請求項１記載の画像処理装置。
【請求項１０】
画像処理装置が内蔵するコンピュータが実行するプログラムであって、該コンピュータを、
複数の被写体の種別にそれぞれ対応する音の特徴を示す音の特徴情報を記憶する第１の記憶手段、
音声データ及び複数の画像データを取得する取得手段、
上記取得手段で取得した上記複数の画像データによりそれぞれ表現される画像に写る被写体の種別を認識する認識手段、
上記認識手段で認識した被写体の種別に対応する音の特徴情報を上記第１の記憶手段で記憶した内容から読出し、読出した音の特徴情報が示す音の特徴を設定する設定手段、及び
上記取得手段で取得した音声データから再現される音声のうち、上記設定手段で設定した音の特徴に属する音声の音量が規定の音量以上であると判断した時点の画像データを取得する画像取得手段
として機能させることを特徴とする、上記コンピュータが実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に予測不能な動きを見せる被写体を撮影するデジタルカメラなどの撮像装置に好適な画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、音声データ付きの画像を撮影しながら、所定レベル以上の音量が所定時間以上検出されたシーンをハイライトシーンであると判断する技術が提案されている。（例えば、特許文献１）
この特許文献の技術によれば、例えばスポーツ映像において観客の歓声やアナウンサの大声等を検出し、ハイライトシーンであると判断することができる。
【０００３】
また、上記特許文献には、撮影している画像に所定の音声周波数に類似する周波数が所定時間以上検出されたシーンをハイライトシーンと判断する技術も提案されている。係る技術によれば、例えば音楽映像において歌手の高音や低音等を検出し、ハイライトシーンと判断することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０２７４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献に記載された技術では、単に所定レベル以上の音量あるいは予め設定した音声周波数に類似する周波数帯域の音量が、所定レベル以上となる時間によりハイライトシーンを判断する。そのため、撮影画像中に撮影者であるユーザが望まない被写体が発する音声にも、ハイライトシーンであると判断して対応した処理を行なうことも充分あり得る。
【０００６】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮影者であるユーザの意図を反映し、連写画像中からユーザの所望する被写体のシーンを的確に判断することが可能な画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数の被写体の種別にそれぞれ対応する音の特徴を示す音の特徴情報を記憶した第１の記憶手段と、音声データ及び複数の画像データを取得する取得手段と、上記取得手段で取得した上記複数の画像データによりそれぞれ表現される画像に写る被写体の種別を認識する認識手段と、上記認識手段で認識した被写体の種別に対応する音の特徴情報を上記第１の記憶手段から読出し、読出した音の特徴情報が示す音の特徴を設定する設定手段と、上記取得手段で取得した音声データから再現される音声のうち、上記設定手段で設定した音の特徴に属する音声の音量が規定の音量以上であると判断した時点の画像データを取得する画像取得手段とを具備したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影者であるユーザの意図を反映し、連写画像中からユーザの所望する被写体のシーンを的確に判断できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係るデジタルカメラの電子回路の機能構成を示すブロック図。
【図２】同実施形態に係る一押しショット機能実行時の処理内容を示すフローチャート。
【図３】同実施形態に係る一押しショット選択のサブルーチンの処理内容を示すフローチャート。
【図４】同実施形態に係る一連の撮影画像の一部を例示する図。
【図５】同実施形態に係る一連の撮影画像の一部を例示する図。
【図６】本発明の第２の実施形態に係る一押しショット機能実行時の処理内容を示すフローチャート。
【図７】同実施形態に係る一押しショット選択のサブルーチンの処理内容を示すフローチャート。
【図８】同実施形態に係る一連の撮影画像の一部を例示する図。
【発明を実施するための形態】
【００１１】
（第１の実施形態）  
以下本発明をデジタルカメラに適用した場合の第１の実施形態について図面を参照して説明する。
【００１２】
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体前面に配設される光学レンズユニット１１により、固体撮像素子であるＣＭＯＳイメージセンサ１２の撮像面上に被写体の光像が結像される。
【００１３】
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、このＣＭＯＳイメージセンサ１２での撮像により得た画像信号を画像処理部１３に送る。
【００１４】
画像処理部１３は、画像信号に対して相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。
【００１５】
画像処理部１３はさらに、このデジタル化した信号に画素補間処理、γ補正処理を含むカラープロセス処理を施した後、システムバスＳＢを介して画像バッファ１４に一時的に保持させる。以下、この画像バッファ１４に保持した画像信号を「画像データ」と呼称する。
【００１６】
画像バッファ１４は、後述する循環記憶動作に対応するように一定時間分、例えばフレームレートが３０フレーム／秒で１０秒間分であれば計３００フレーム分の画像データを記憶可能な容量を有しているものとする。
【００１７】
画像バッファ１４に保持された画像データをシステムバスＳＢを介して画像処理部１３に読出し、再びシステムバスＳＢを介して表示部１５へ送り、スルー画像として表示させる。  
なお上記画像処理部１３は、後述する顔認識技術により画像バッファ１４に保持される画像データにより表現される画像中に含まれる顔領域を検出する。
【００１８】
また、上記光学レンズユニット１１と同じくカメラ筐体前面には、上記光学レンズユニット１１の撮影画角と略同等の音響指向性を有するマイクロホン１６が配設され、このマイクロホン１６から被写体方向の音声が入力される。マイクロホン１６は入力した音声を電気信号化し、音声処理部１７へ出力する。
【００１９】
音声処理部１７は、音声の録音時にはマイクロホン１６から入力する音声信号をデジタルデータ化する。以下、デジタル化した音声信号を「音声データ」と呼称する。音声処理部１７は、デジタル値の音声データをシステムバスＳＢを介してリングバッファで構成する音声バッファ１８に一時的に保持させる。
【００２０】
加えて音声処理部１７は、複数の周波数帯域に対応した音声フィルタ機能を有する。音声処理部１７は、例えば成人男性の音声に対応した８０［Ｈｚ］〜１５０［Ｈｚ］、成人女性の音声に対応した２００［Ｈｚ］〜３５０［Ｈｚ］、子供の音声に対応した３００［Ｈｚ］〜８００［Ｈｚ］の３つの音声フィルタ機能を有する。音声処理部１７が、音声バッファ１８に保持される音声データに対して上記音声フィルタ機能を働かせることで、成人男性、成人女性、子供に対応した周波数帯域の音声を抽出することが可能となる。
【００２１】
さらに音声処理部１７は、必要に応じて音声バッファ１８に保持する音声データを部分的に切り出し、所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ−４  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
【００２２】
加えて音声処理部１７は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ１９を駆動して、拡声放音させる。
【００２３】
以上の回路を制御部２０が統括制御する。制御部２０はＣＰＵで構成され、メインメモリ２１、プログラムメモリ２２と直接接続される。メインメモリ２１は、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）で構成され、ワークメモリとして機能する。プログラムメモリ２２は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述する撮影モード時の制御を含む動作プログラムやデータ等を固定的に記憶する。  
加えてプログラムメモリ２２は、被写体の複数の種別に応じた音声周波数帯域情報や複数の被写体の種別の優先順位を示す情報等も予め記憶している。
【００２４】
制御部２０は、プログラムメモリ２２から必要なプログラムやデータ等を読出し、メインメモリ２１に適宜一時的に展開して記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。
【００２５】
さらに上記制御部２０は、キー入力部２３から直接入力されるキー操作信号に対応して各種制御動作を実行する。制御部２０は、システムバスＳＢを介して上記画像処理部１３、画像バッファ１４、表示部１５、音声処理部１７、及び音声バッファ１８の他、さらにレンズ駆動部２４、フラッシュ駆動部２５、ＣＭＯＳ駆動部２６、圧縮伸長処理部２７、メモリカードコントローラ２８、及びＵＳＢインタフェース（Ｉ／Ｆ）２９とも接続される。
【００２６】
キー入力部２３は、例えば電源キー、シャッタキー、ズームキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、プレイバックキー等を備える。
【００２７】
レンズ駆動部２４は、制御部２０からの制御信号を受けてレンズ用ステッピングモータ（Ｍ）３０の回動を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
【００２８】
フラッシュ駆動部２５は、静止画像撮影時に制御部２０からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３１を撮影タイミングに同期して点灯駆動する。
【００２９】
ＣＭＯＳ駆動部２６は、その時点で設定されている撮影条件に応じて上記ＣＭＯＳイメージセンサ１２の走査駆動を行なう。
【００３０】
圧縮伸長処理部２７は、上記キー入力部２３のシャッタキー操作に伴う画像撮影時に、画像バッファ１４に保持される画像データを所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ２８を介してメモリカード３２に記録される。
【００３１】
また圧縮伸長処理部２７は、再生モード時にメモリカード３２からメモリカードコントローラ２８を介して読出されてくる画像データをシステムバスＳＢを介して受取り、記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して画像バッファ１４に保持させる。そして、画像バッファ１４に保持された画像データにより表示部１５で再生のための表示が実行される。  
メモリカードコントローラ２８は、カードコネクタ３３を介してメモリカード３２と接続される。メモリカード３２は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。  
ＵＳＢインタフェース２９は、ＵＳＢコネクタ３４を介してこのデジタルカメラ１０を外部機器、例えばパーソナルコンピュータと接続する際のデータの送受を司る。
【００３２】
次に上記実施形態の動作について説明する。  
なお、以下に示す動作は、撮影モード下で「一押しショット」機能による静止画像の撮影を行なう際に、制御部２０がプログラムメモリ２２に記憶されている動作プログラム及びデータを読出してメインメモリ２１に展開して記憶させた上で実行するものである。
【００３３】
ここで「一押しショット」機能とは、一連の連写画像中から最も優れているシーンをデジタルカメラ１０側で自動的に選択して記録する機能である。
【００３４】
プログラムメモリ２２に記憶されている動作プログラムや固定データ等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２２に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をユーザがパーソナルコンピュータと接続することにより、外部からＵＳＢコネクタ３４、ＵＳＢインタフェース２９を経由して新たな動作プログラム、データ等をダウンロードして記憶していたものも含む。
【００３５】
また、キー入力部２３の一部を構成するシャッタキーは、２段階の操作ストロークを有し、第１段目の操作ストローク（以下「半押し」と称する）で撮影準備状態となり、顔認識技術を用いて被写体の顔領域の検出とパスト撮影とを開始する。
【００３６】
さらにシャッタキーが第２段階の操作ストローク（以下「全押し」と称する）となってからは、当該全押し状態が解除されるまでの間、連写による本撮影を続行する。
【００３７】
ここで、上記顔認識技術を用いて画像中から顔領域を検出するについても簡単に説明しておく。  
画像中に含まれる顔領域を検出する手法としては様々な手法が知られており、本実施形態に係るデジタルカメラ１０はいずれの手法も採用可能である。  
例えば、特開２０００−１０５８１９号公報に記載された手法の如く、入力画像から肌色領域を抽出することによって顔領域を検出してもよいし、特開２００６−２１１１３９号公報または特開２００６−０７２７７０号公報に記載された手法を用いて顔領域を検出してもよい。
【００３８】
典型的には、例えば画像内に設定された着目領域の画像と所定のテンプレート顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か、換言すれば着目領域が顔領域であるか否かを検出する。  
類似度の判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行なう。該特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等を含む。
【００３９】
画像中の着目領域は、１画素ずつ左右方向または上下方向にずらされる。そして、ずらされた後の着目領域内の画像とテンプレート顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行なわれる。  
このように、着目領域は、例えば画像中の左上から右下方向に向けて１画素ずつずらされながら更新設定される。また、画像を一定の割合で縮小し、縮小後の画像に対して、同様に顔領域の検出処理を行なう。  
このような処理を繰返すことにより、画像中から任意の大きさの顔領域を検出することが可能となる。  
本実施形態のデジタルカメラ１０では、制御部２０の制御の下に画像処理部１３が画像バッファ１４に保持される画像データを用いて上記顔領域の検出処理を実行する。
【００４０】
図２は、シャッタキー操作前の画像も含めて連写を行ない、最も評価の高い静止画像を自動的に選択して記録する一押しショット機能選択時の、画像データの取扱いの処理内容を示す。
【００４１】
その当初に制御部２０は、スルー画像表示とも称されるモニタリング動作を開始し、ＣＭＯＳイメージセンサ１２で撮像した画像データを画像バッファ１４に一時保持させ、その保持した画像データに基づいて表示部１５での表示を行なわせることで、ＣＭＯＳイメージセンサ１２で撮像している内容をリアルタイムに表示部１５で表示させる（ステップＳ１０１）。
【００４２】
このスルー画像表示状態を維持しながら、制御部２０は併せてキー入力部２３のシャッタキーが半押し操作されたか否かを判断する（ステップＳ１０２）。  
ここで、シャッタキーが半押し操作されていなければ、上記ステップＳ１０１からの処理に戻り、スルー画像表示を続けながら、シャッタキーが半押し操作されるのを待機する。
【００４３】
そしてシャッタキーが半押し操作されると、制御部２０は上記ステップＳ１０２でそれを判断し、音声付きの静止画像を連続して一定時間分循環的に取得するパスト撮影を開始させる（ステップＳ１０３）。
【００４４】
このパスト撮影においては、予め設定したフレームレートと時間、例えば３０［フレーム／秒］で２秒間分、計最大６０フレーム分の画像データとそれに付帯する音声データとを随時取得し、画像バッファ１４と音声バッファ１８とで循環的に保持させることで、常に最大２秒間分の最新の音声付き画像を保持し続ける。
【００４５】
パスト撮影時には、最新の画像データに対し、その画像データにより表現される画像から、上述した如く顔認識技術により顔領域の検出が実行される。  
事前の設定によっては、表示部１５で表示する画像に重畳して、顔領域を示すフレームを表示することで、顔領域の検出結果をデジタルカメラ１０のユーザに報知させるものとしてもよい。
【００４６】
この音声付きのパスト撮影の実行と同時に、制御部２０はシャッタキーが全押し操作されたか否か（ステップＳ１０４）、シャッタキーの半押し操作が解除されたか否か（ステップＳ１０５）を連続して判断する。
【００４７】
こうしてステップＳ１０３〜Ｓ１０５の処理を繰返し実行することで、制御部２０はパスト撮影による循環記録を続行しながら、シャッタキーが全押し操作されるか、または半押し操作が解除されるのを待機する。
【００４８】
上記パスト撮影の状態でシャッタキーの半押し操作が解除された場合、制御部２０は上記ステップＳ１０５でそれを判断し、それまでのパスト撮影で画像バッファ１４に保持していた画像データ及び音声バッファ１８に保持していた音声データを一括して消去した上で（ステップＳ１０６）、上記ステップＳ１０３からの処理に戻る。
【００４９】
また、上記ステップＳ１０４でシャッタキーが全押し操作されたと判断した場合に制御部２０は、それまでのパスト撮影に引き続き、本撮影として音声付きの静止画像の取得を開始する（ステップＳ１０７）。
【００５０】
この本撮影において制御部２０は、予め設定したフレームレート、例えば３０［フレーム／秒］で画像データとそれに付帯する音声データとを随時取得し、画像バッファ１４と音声バッファ１８とに保持させる。
【００５１】
この音声付きの本撮影の実行中に、制御部２０はシャッタキーの全押し操作が解除されるか、あるいは全押し操作を開始してから一定時間、例えば８秒が経過したか、のいずれかの状態となったかどうかを判断する（ステップＳ１０８）。
【００５２】
ここで、そのいずれの状態でもないと判断した場合には、上記ステップＳ１０７の処理に戻り、音声付きの本撮影動作を実行しながら、シャッタキーの全押し操作が解除されるか、一定時間が経過するのを待機する。
【００５３】
そして、シャッタキーの全押し操作が解除されるか、一定時間が経過したと判断すると、制御部２０は上記ステップＳ１０８でそれを判断し、その時点で本撮影動作を停止する（ステップＳ１０９）。
【００５４】
次いで制御部２０は、それまでのパスト撮影及び本撮影により音声バッファ１８に保持した一連の音声データとに基づき、画像バッファ１４に保持した一連の画像データ中から、被写体の種別を認識した上で優先順位の高い種別の被写体が写り込んでいる一押しショット画像のデータを選択する（ステップＳ１１０）。
【００５５】
図３は、この被写体の種別を勘案した一押しショット画像の選択に係るサブルーチンの処理内容を示す。  
その当初には、制御部２０が画像処理部１３により、画像バッファ１４に保持されている本撮影の先頭に位置する１枚目に該当する画像データに対する顔認識処理を実行させ、画像データにより表現される画像に写り込んでいる被写体の顔の数、及び各顔毎の種別、具体的には成人男性、成人女性、及び子供の識別を行なわせる（ステップＳ３０１）。
【００５６】
画像データにより表現される画像に写り込んでいる顔領域から、その人物の性別や年齢層を識別する技術に関しては、例えば特開平１１−１７５７２４号公報に記載されている技術を含んで公知である。
【００５７】
例えば特開平１１−１７５７２４号公報では、多数の学習用顔画像を性別及び年齢層にグループ化し、このグループ化した学習用顔画像を各グループと対応させて記憶した属性記憶部と、属性毎にグループ化された学習用顔画像ベクトルの集合をグループ固有の部分空間に展開し各グループ毎の固有ベクトルを生成する部分空間生成部と、この部分空間生成部が生成した各グループ毎の固有ベクトルを未知の入力顔画像のグループ判定を行なうためのデータとして記憶する判定用記憶部とを備え、判定用記憶部のデータを参照して未知の入力顔画像と各グループとの類似度を判定すると共に、判定したグループと属性記憶部に記憶した内容から入力顔画像の属性を識別するものとしている。
【００５８】
上記ステップＳ３０１の処理結果に基づき、制御部２０はまず顔認識技術により画像処理部１３で人物の顔領域を少なくとも１つ検出できたか否かを判断する（ステップＳ３０２）。
【００５９】
ここで人物の顔領域を１つも検出することができなかった場合には、被写体の種別に応じた画像データの選択を行なうことができないため、音声バッファ１８に保持している音声データを用いることなく、画像バッファ１４に記憶している一連の画像データのみで、画像中の被写体のブレが最も少ないものを画像処理部１３により選択させ（ステップＳ３０３）、以上でこの図３のサブルーチンを一旦終了する。
【００６０】
この画像データの選択に関しては、画像処理部１３が例えば画像全体に対するエッジ成分の抽出を行なうことで画像毎の評価値を算出し、最も評価値が高かった画像がすなわちブレが最も少ない画像であるものとして、対応する画像データを選択する。
【００６１】
また、上記ステップＳ３０２で制御部２０が画像処理部１３により少なくとも１つの人物の顔部分の画像を検出することができたと判断した場合には、次いで検出できた被写体の顔の種別が複数であるか否かを判断する（ステップＳ３０４）。
【００６２】
ここで検出できた被写体の顔の種別が複数ではなく、１つであると判断した場合には、認識した、ただ１つの種別に合わせて音声周波数帯域をプログラムメモリ２２から読出して設定する（ステップＳ３０５）。
【００６３】
図４（Ａ）は、一押しショット機能の選択時に、被写体からの音声をトリガとする設定を行なう場合の表示部１５での操作画面を例示する。ここでは、被写体側からの音声をトリガとする設定に関し、  
「ＯＦＦ」（音声をトリガとしない）  
「ＯＮ」（音声をトリガとする）  
「顔認識時のみ（音声をトリガとする）」  
の３つの選択肢の中から、「顔認識時のみ（音声をトリガとする）」を選択している状態を示す。
【００６４】
上記図４（Ａ）で示した設定を行なった場合、実際の撮影時に表示部１５で表示される画像の一部を図４（Ｂ）に例示する。同図（Ｂ）では、画像中の被写体Ｔ１に対する顔認識処理を画像処理部１３で実行し、画像中に検出した顔領域ＦＡを重ねて表示することで、被写体Ｔ１の顔領域が検出されていることがこのデジタルカメラ１０のユーザに報知されている。
【００６５】
上記ステップＳ３０５で被写体の種別が例えば「子供」であると認識した場合、制御部２０は音声周波数帯域情報をプログラムメモリ２２から読出すことで、３００［Ｈｚ］〜８００［Ｈｚ］の音声周波数帯域を設定する。
【００６６】
また、上記ステップＳ３０４で検出できた被写体の顔の種別が複数あると判断した場合に制御部２０は、次いで検出できた複数の種別に対し、プログラムメモリ２２に記憶される各種別の優先順位に基づき、最も高い種別に合わせて音声周波数帯域情報をプログラムメモリ２２から読出して設定する（ステップＳ３０６）。
【００６７】
例えば、図５（Ａ）に示すように本画像１枚目の画像中から２つの被写体Ｔ２，Ｔ３を検出し、その顔認識の結果、被写体Ｔ２が種別「成人男性」、被写体Ｔ３が種別「成人女性」であったとする。
【００６８】
このデジタルカメラ１０では、プログラムメモリ２２に予め記憶している情報により、種別の優先順位が  
「子供」＞「成人女性」＞「成人男性」  
であり、種別「子供」が最も上位、種別「成人男性」が最も下位に設定されているものとする。
【００６９】
上記図５（Ａ）で示した、被写体Ｔ２，Ｔ３が写っている画像データでは、被写体Ｔ３側の種別「成人女性」がより優先順位が高いものとして制御部２０が選択する。その選択結果にしたがって上記ステップＳ３０６で制御部２０は、被写体の種別「成人女性」に合わせた音声周波数帯域情報をプログラムメモリ２２から読出し、２００［Ｈｚ］〜３５０［Ｈｚ］の音声周波数帯域を設定する。
【００７０】
上記ステップＳ３０５またはステップＳ３０６で音声周波数帯域を設定した後、設定された音声周波数帯域にしたがって、音声バッファ１８に記憶されているパスト撮影及び本撮影時の音声データを音声フィルタ処理し、処理した音声データにより再現される音声の音量レベルを検出する（ステップＳ３０８）。
【００７１】
そして、その検出の結果、最も音量レベルが高い音声データを選出し、その音声データに対応する画像データを画像バッファ１４から選択する（ステップＳ３０８）。
【００７２】
上記図５（Ａ）が本画像撮影時の１枚目となる一連の画像データに対しては、女性の音声データの音量レベルが最も高かった画像データとして図５（Ｂ）に示すような画像データを選択するものとする。  
上記画像データの選択をもって上記図３のサブルーチンを終了し、図２のメインルーチンに復帰する。
【００７３】
図２のメインルーチンでは、選択した画像データを画像バッファ１４から読出して圧縮伸長処理部２７で所定のデータファイル形式でデータ圧縮して画像データファイルを作成した後、メモリカードコントローラ２８を介して記録媒体であるメモリカード３２に記録させる（ステップＳ１１１）。  
以上で主として制御部２０による音声データに基づく一押しショット機能での撮影を完了し、次の撮影に備えて上記ステップＳ１０１からの処理に戻る。
【００７４】
以上本実施形態によれば、撮影者であるユーザの意図を反映し、連写画像中からユーザの所望する被写体のシーンを音量レベルの変位により的確に判断して記録することができる。
【００７５】
特に本実施形態によれば、被写体の複数の種別から１つを選択し、選択した種別の被写体に対応した音声周波数帯域に基づいて音量レベルを検出するものとしたので、選択していない種別の被写体に関連した音声に惑わされることなく、より的確なシーンの判断を行なうことができる。
【００７６】
その場合、本実施形態では、対象とする被写体の種別を予め設定されている優先順位にしたがって自動的に選択するものとしたので、ユーザが煩雑な操作等を行なう必要なしに、最も優先順位が高いと思われる種別の被写体を選択した上で一連の画像データ中から１つの画像データを選択する工程に移行するため、ユーザ側の手間を簡略化でき、手軽に撮影を実行できる。
【００７７】
なお、上記実施形態では説明しなかったが、あえて被写体の種別の選択をユーザがキー入力部２３の操作により手動で行ない、これを受付けた制御部２０が選択情報をプログラムメモリ２２に記憶させることができるようにしてもよい。  
その場合、制御部２０はメインメモリ２１に記憶したユーザの選択情報にしたがって被写体の種別の優先順位を判断するようになるので、ユーザの撮影意図を確実に反映して適切な画像データを選択できるようになる。
【００７８】
また、上記実施形態では、画像データに対応する音声データのうち、音声の音量レベルが最も高いものを選択して、対応する画像データを選択するものとした。これにより、画像データの選択基準をより簡略化し、装置側の負担を軽減して迅速に画像を選択できる。
【００７９】
さらに、上記実施形態では示さなかったが、画像に対応する音声データに関し、ユーザが撮影の事前にキー入力部２３の操作により任意に音量レベルを設定し、制御部２０がこの操作を受付けて設定された音量レベルをプログラムメモリ２２に記憶させておき、実際の撮影時には制御部２０がプログラムメモリ２２に記憶した音量レベル以上に達していれば対応する画像データを記録媒体であるメモリカード３２に記録するものとしてもよい。
【００８０】
このようにユーザが基準となる音量レベルを任意に設定しておくことを可能とすることにより、特に記録媒体であるメモリカード３２の空き容量に余裕がある場合など、一連の画像データ中の一枚分のみでなく、ユーザの設定に応じた音量レベルに応じて、より多くの画像データを自動的に記録して残すことができる。
【００８１】
なお、上記実施形態では、被写体の種別として成人男性、成人女性及び子供を顔認識技術により認識した上で、予め設定された優先順位にしたがって種別を選択するものとした。これら種別の優先順位に関しては、ユーザが予め撮影意図に応じて任意に設定してプログラムメモリ２２に記憶させておくことにより、撮影時に主要な被写体をユーザが選択する手間を簡略化し、よりスムーズ且つ的確に主要被写体を判断して画像データを記録させることができる。
【００８２】
（第２の実施形態）  
以下本発明をデジタルカメラに適用した場合の第２の実施形態について図面を参照して説明する。
【００８３】
なお、本実施形態に係るデジタルカメラ１０′の回路構成に関しては、上記図１に示した内容と基本的に同様であるものとして、同一部分には同一符号を用いることにしてその図示と説明とを省略する。
【００８４】
次に上記実施形態の動作について説明する。  
なお、以下に示す動作は、撮影モード下で「一押しショット」機能による静止画像の撮影を行なう際に、制御部２０がプログラムメモリ２２に記憶されている動作プログラム及びデータを読出してメインメモリ２１に展開して記憶させた上で実行するものである。
【００８５】
ここで「一押しショット」機能とは、一連の連写画像中から自動的に最も優れているシーンをデジタルカメラ１０側で選択して記録する機能である。
【００８６】
プログラムメモリ２２に記憶されている動作プログラム等は、このデジタルカメラ１０′の製造工場出荷時にプログラムメモリ２２に記憶されていたものに加え、例えばこのデジタルカメラ１０′のバージョンアップに際して、デジタルカメラ１０をユーザがパーソナルコンピュータと接続することにより、外部からＵＳＢコネクタ３４、ＵＳＢインタフェース２９を経由して新たな動作プログラム、データ等をダウンロードして記憶していたものも含む。
【００８７】
また、キー入力部２３の一部を構成するシャッタキーは、２段階の操作ストロークを有し、第１段目の操作ストローク（以下「半押し」と称する）で撮影準備状態となり、顔認識技術を用いて被写体の顔領域の検出とパスト撮影とを開始する。
【００８８】
さらにシャッタキーが第２段階の操作ストローク（以下「全押し」と称する）となってからは、当該全押し状態が解除されるまでの間、連写による本撮影を続行する。
【００８９】
ここで、上記顔認識技術を用いて画像中から顔領域を検出する技術に関しては、上記第１の実施形態と同様であるので、その説明を省略する。
【００９０】
本実施形態のデジタルカメラ１０′では、制御部２０の制御の下に画像処理部１３が画像バッファ１４に保持される画像データを用いて顔領域の検出処理を実行する。
【００９１】
図６は、シャッタキー操作前の画像も含めて連写を行ない、最も評価の高い静止画像を自動的に選択して記録する一押しショット機能選択時の、画像データの取扱いの処理内容を示す。
【００９２】
その当初には、制御部２０がスルー画像表示とも称されるモニタリング動作を開始し、ＣＭＯＳイメージセンサ１２で撮像した画像データを画像バッファ１４に一時保持させ、その保持した画像データに基づいて表示部１５での表示を行なわせることで、ＣＭＯＳイメージセンサ１２で撮像している内容をリアルタイムに表示部１５で表示させる（ステップＳ５０１）。
【００９３】
このスルー画像表示状態を続行しながら制御部２０は、併せてキー入力部２３のシャッタキーが半押し操作されたか否かを判断する（ステップＳ５０２）。  
ここで、シャッタキーが半押し操作されていなければ、制御部２０は上記ステップＳ５０１からの処理に戻り、スルー画像表示を続けながら、シャッタキーが半押し操作されるのを待機する。
【００９４】
そしてシャッタキーが半押し操作されると、上記ステップＳ５０２で制御部２０がそれを判断し、音声付きの静止画像を連続して一定時間分循環的に取得するパスト撮影を開始する（ステップＳ５０３）。
【００９５】
このパスト撮影においては、予め設定したフレームレートと時間、例えば３０［フレーム／秒］で２秒間分、計最大６０フレーム分の画像データとそれに付帯する音声データとを随時取得し、画像バッファ１４と音声バッファ１８とで循環的に保持させることで、常に最大２秒間分の最新の音声付き画像を保持し続ける。
【００９６】
パスト撮影時には、最新の画像データに対し、その画像データにより表現される画像から、上記第１の実施形態で詳述した如く顔認識技術により顔領域の検出が実行される。  
事前の設定によっては、表示部１５で表示する画像に重畳して、顔領域を示すフレームを表示することで、顔領域の検出結果をデジタルカメラ１０のユーザに報知させるものとしてもよい。
【００９７】
この音声付きのパスト撮影の実行と同時に、制御部２０はシャッタキーが全押し操作されたか否か（ステップＳ５０４）、シャッタキーの半押し操作が解除されたか否か（ステップＳ５０５）を連続して判断する。
【００９８】
こうしてステップＳ５０３〜Ｓ５０５の処理を繰返し実行することで、制御部２０はパスト撮影による循環記録を続行しながら、シャッタキーが全押し操作されるか、または半押し操作が解除されるのを待機する。
【００９９】
上記パスト撮影の状態でシャッタキーの半押し操作が解除された場合、制御部２０は上記ステップＳ５０５でそれを判断し、それまでのバスト撮影で画像バッファ１４に保持していた画像データ及び音声バッファ１８に保持していた音声データを一括して消去した上で（ステップＳ５０６）、上記ステップＳ５０３からの処理に戻る。
【０１００】
また、上記ステップＳ５０４でシャッタキーが全押し操作されたと判断した場合に制御部２０は、それまでのパスト撮影に引き続き、本撮影として音声付きの静止画像の取得を開始する（ステップＳ５０７）。
【０１０１】
この本撮影において制御部２０は、予め設定したフレームレート、例えば３０［フレーム／秒］で画像データとそれに付帯する音声データとを随時取得し、画像バッファ１４と音声バッファ１８とに保持させる。
【０１０２】
この音声付きの本撮影の実行中に、制御部２０はシャッタキーの全押し操作が解除されるか、あるいは全押し操作を開始してから一定時間、例えば８秒が経過したか、のいずれかの状態となったかどうかを判断する（ステップＳ５０８）。
【０１０３】
ここで、そのいずれの状態でもないと判断した場合には、上記ステップＳ５０７の処理に戻り、音声付きの本撮影動作を実行しながら、シャッタキーの全押し操作が解除されるか、一定時間が経過するのを待機する。
【０１０４】
そして、シャッタキーの全押し操作が解除されるか、一定時間が経過したと判断すると、制御部２０は上記ステップＳ５０８でそれを判断し、その時点で本撮影動作を停止する（ステップＳ５０９）。
【０１０５】
次いで制御部２０は、それまでのパスト撮影及び本撮影により音声バッファ１８に保持した一連の音声データとに基づき、画像バッファ１４に保持した一連の画像データ中から、被写体の表情を認識した上で一押しショット画像を選択する（ステップＳ５１０）。
【０１０６】
図７は、この被写体の表情を勘案した一押しショット画像の選択に係るサブルーチンの処理内容を示す。  
その当初には、制御部２０が画像処理部１３により、画像バッファ１４に保持されている本撮影の先頭に位置する１枚目に該当する画像データに対する顔認識処理を実行させ、画像データにより表現される画像に写り込んでいる被写体の顔の識別を行なわせる（ステップＳ７０１）。
【０１０７】
上記ステップＳ７０１の処理結果に基づき、まず顔認識技術により人物の顔部分を少なくとも１つ検出できたか否かを判断する（ステップＳ７０２）。  
なお、顔認識技術については上記第１の実施形態でも説明した如く周知の技術であるため、その具体的な内容についての説明は省略する。
【０１０８】
ここで人物の顔を１つも検出することができなかった場合には、被写体の表情に応じた画像の選択を行なうことができないため、音声バッファ１８に保持している音声データを用いることなく、画像バッファ１４に記憶している一連の画像データのみで、画像中の被写体のブレが最も少ないものを画像処理部１３により選択させ（ステップＳ７０３）、以上でこの図７のサブルーチンを一旦終了する。
【０１０９】
この画像データの選択に関しては、画像処理部１３が例えば画像全体に対するエッジ成分の抽出を行なうことで画像毎の評価値を算出し、最も評価値が高かった画像がすなわちブレが最も少ない画像であるものとして、対応する画像データを選択する。
【０１１０】
また、上記ステップＳ７０２で制御部２０が画像処理部１３により少なくとも１つの人物の顔部分の画像を検出することができたと判断した場合には、次いで検出できた被写体の顔が複数であるか否かを判断する（ステップＳ７０４）。
【０１１１】
ここで、検出できた被写体の顔が複数あると判断した場合にのみ、次いでそれら複数の顔の中から、最も顔領域が大きいものを選択する（ステップＳ７０５）。
【０１１２】
その後、この選択した顔領域に関し、一連の画像データにより表現される各画像に写り込んでいる同一顔領域毎に笑顔度を画像処理部１３で算出し、予め設定される笑顔度以上である画像データをサーチする（ステップＳ７０６）。
【０１１３】
この笑顔度を算出する方法としては各種手法が公知となっており、本実施形態に係るデジタルカメラはいずれの手法も採用可能である。  
例えば、笑顔度を算出する一手法として、特開２００４−０４６５９１号公報に記載されている手法を採用できる。この手法を採用した場合、制御部２０の制御の下に画像処理部１３は、プログラムメモリ２２に予め記憶されている笑顔評価基準テーブルを参照して顔画像を構成する眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを所定の係数により重み付けした結果を合算して、画像に写る顔画像の笑顔度とする。
【０１１４】
次いで、上記サーチの結果得られた、予め設定される笑顔度以上である各画像データに基づき、画像バッファ１４に保持している対応する各音声データにより再現される音声の音量レベルを検出する（ステップＳ７０７）。
【０１１５】
そして、その検出の結果、最も音量レベルが高い音声データを選出し、その音声データに対応する画像データを画像バッファ１４から選択する（ステップＳ７０８）。
【０１１６】
図８（Ａ）〜図８（Ｄ）は、画像バッファ１４に保持される一連の画像データ中から、上記ステップＳ７０６の処理により制御部２０の制御の下に画像処理部１３が予め設定した笑顔度以上の画像データをサーチして抽出した結果を例示する。
【０１１７】
こうしてサーチした画像データに対し、さらに最も音声データの音量レベルが高いものを検出した結果、上記図８（Ｃ）に示した画像データを図８（Ｅ）で示すように検出結果として制御部２０が得たものとする。
【０１１８】
上記画像データの選択をもって上記図７のサブルーチンを終了し、図６のメインルーチンに復帰する。  
図６のメインルーチンでは、制御部２０が選択した画像データを画像バッファ１４から読出して圧縮伸長処理部２７で所定のデータファイル形式でデータ圧縮して画像データファイルを作成した後、メモリカードコントローラ２８を介して記録媒体であるメモリカード３２に記録させる（ステップＳ５１１）。  
以上で主として制御部２０による音声データに基づく一押しショット機能での撮影を完了し、次の撮影に備えて上記ステップＳ５０１からの処理に戻る。
【０１１９】
以上本実施形態によれば、撮影者であるユーザの意図を反映し、連写画像中からユーザの所望する被写体の表情の変化に富んだシーンを音量レベルの検出と併せてより的確に判断して記録することができる。
【０１２０】
なお、上記実施形態では、顔認識技術を用い、予め設定した表情として被写体の笑顔度を検出するものとして説明したが、本発明はこれに限らず、例えば泣き顔、怒り顔の度合いを数値化して設定するものとしてもよい。
【０１２１】
このようにユーザが予め被写体の取り得る表情とその度合を選択すると、制御部２０がこれを受付け、選択された内容をプログラムメモリ２２に記憶しておくことにより、実際の撮影時に制御部２０はプログラムメモリ２２に記憶している設定情報を読出し、よりユーザの撮影意図を的確に判断して一連の画像データ中から最も適した画像を選択し、記録させることができる。
【０１２２】
なお、上記第１及び第２の実施形態はいずれも画像の撮影を行なうデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、静止画像も撮影可能なデジタルビデオムービーカメラや、カメラ機能付きの携帯電話端末その他の各種撮像機器、あるいは撮影機能を持たずに、一連の音声データ付き画像データを記録するデジタルフォトデータストレージ装置等にも同様に適用可能である。
【０１２３】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【０１２４】
１０，１０′…デジタルカメラ、１１…光学レンズユニット、１２…ＣＭＯＳイメージセンサ、１３…画像処理部、１４…画像バッファ、１５…表示部、１６…マイクロホン、１７…音声処理部、１８…音声バッファ、１９…スピーカ、２０…制御部、２１…メインメモリ、２２…プログラムメモリ、２３…キー入力部、２４…レンズ駆動部、２５…フラッシュ駆動部、２６…ＣＭＯＳ駆動部、２７…圧縮伸長処理部、２８…メモリカードコントローラ、２９…ＵＳＢインタフェース、３０…レンズ用ステッピングモータ（Ｍ）、３１…フラッシュ部、３２…メモリカード、３３…カードコネクタ、３４…ＵＳＢコネクタ、ＳＢ…システムバス。
【図１】
0005434337.tif 000002
【図２】
0005434337.tif 000003
【図３】
0005434337.tif 000004
【図４】
0005434337.tif 000005
【図５】
0005434337.tif 000006
【図６】
0005434337.tif 000007
【図７】
0005434337.tif 000008
【図８】
0005434337.tif 000009