(57)【要約】【課題】注目すべき被写体の動画像と共に、その被写体の音声を効果的に取得して記録しうる撮像装置を提供する。【解決手段】撮影レンズを介して被写体を撮影した動画像データを表示する表示部２と、音声を集音する集音部２２と、追尾対象となる被写体を示す画像情報を記憶する追尾対象記憶部５と、前記追尾対象記憶部に記憶されている前記画像情報に基づき、前記表示部に表示されている動画像データにおける前記追尾対象の被写体の表示位置を算出する追尾対象位置算出部１８と、前記追尾対象位置算出部により算出された前記表示位置に応じて、前記集音部による集音を制御する集音制御部３０と、前記動画像データと共に前記集音部により集音された音声の音声データを記録する記録部４とを備える。【選択図】図１
2010200084.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズを介して被写体を撮影した動画像データを表示する表示部と、
音声を集音する集音部と、
追尾対象となる被写体を示す画像情報を記憶する追尾対象記憶部と、
前記追尾対象記憶部に記憶されている前記画像情報に基づき、前記表示部に表示されている動画像データにおける前記追尾対象の被写体の表示位置を算出する追尾対象位置算出部と、
前記追尾対象位置算出部により算出された前記表示位置に応じて、前記集音部による集音を制御する集音制御部と、
前記動画像データと共に前記集音部により集音された音声の音声データを記録する記録部と
を備えることを特徴とする撮像装置。
【請求項２】
前記集音部は、該撮像装置の前方向より右側に指向性を有する第１マイクと、前記前方向よりも左側に指向性を有する第２マイクを少なくとも備え、
前記集音制御部は、前記表示部の中央より右側に前記表示位置が位置する場合には、前記第２マイクによる集音を停止し、前記表示部の中央より左側に前記表示位置が位置する場合には、前記第１マイクを停止することにより集音の制御を行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記集音部は、更に、前記前方向に指向性を有する第３マイクを備え、
前記集音制御部は、前記表示部の中央から左右の所定範囲に前記表示位置が位置する場合には、前記第１マイク及び前記第２マイクによる集音を停止し、前記所定範囲より右側に前記表示位置が位置する場合には、前記第２マイクによる集音を停止し、前記所定範囲より左側に前記表示位置が位置する場合には、前記第１マイクによる集音を停止することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮影レンズの焦点距離を設定する焦点距離設定部を備え、
前記集音制御部は、前記焦点距離設定部により設定された前記焦点距離に応じて前記集音部による集音を制御することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
被写体までの撮影距離の情報を取得する距離情報取得部を備え、
前記集音制御部は、前記距離情報取得部により取得された前記撮影距離の情報に応じて前記集音部による集音を制御することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項６】
前記集音部を駆動する駆動部を備え、
前記集音制御部は、前記追尾対象位置算出部により算出された前記表示位置に応じて、前記駆動部を駆動させることにより前記集音部による集音を制御することを特徴とする請求項１〜５の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した動画像と共に音声を記録可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来、風景モードやポートレートモード等の撮影モードと、カメラのズーミング位置に応じて、被写体側の前方方向に指向性を有するマイクに入力された音響レベル信号と、被写体の左右の各方向に指向性を有するマイクに入力された音響レベル信号とを変化させることにより、カメラのズーミングに合わせた音響効果を得ることができるカメラが存在する (特許文献１参照)。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３２６９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特定の被写体の動画像及び音声を記録したい場合、従来のカメラでは、その被写体の動きに関わらず音声を取得するため、注目する被写体の音声だけでなく他の音声もマイクに入力されてしまい、注目する被写体の音声を効果的に取得できない場合が生じうる。
【０００５】
本発明の目的は、注目すべき被写体の動画像と共に、その被写体の音声を効果的に取得して記録しうる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、撮影レンズを介して被写体を撮影した動画像データを表示する表示部と、音声を集音する集音部と、追尾対象となる被写体を示す画像情報を記憶する追尾対象記憶部と、前記追尾対象記憶部に記憶されている前記画像情報に基づき、前記表示部に表示されている動画像データにおける前記追尾対象の被写体の表示位置を算出する追尾対象位置算出部と、前記追尾対象位置算出部により算出された前記表示位置に応じて、前記集音部による集音を制御する集音制御部と、前記動画像データと共に前記集音部により集音された音声の音声データを記録する記録部とを備える。
【発明の効果】
【０００７】
本発明に係る撮像装置は、追尾対象の被写体の動きに合わせて集音することができ、注目すべき被写体の音声を効果的に取得して記録することができる。
【図面の簡単な説明】
【０００８】
【図１】第１及び第２の実施形態に係るカメラのシステム構成図である。
【図２】第１及び第２の実施形態におけるマイクの配置及びマイクの指向性を説明する図である。
【図３】第１及び第２の実施形態に係るカメラの全体動作を示す動作フロー図である。
【図４】第１及び第２の実施形態におけるテンプレートマッチング処理を示す動作フロー図である。
【図５】第１の実施形態における集音制御処理を示す動作フロー図である。
【図６】第１及び第２の実施形態における表示領域を示す図である。
【図７】第２の実施形態における集音制御処理を示す動作フロー図である。
【図８】第２の実施形態における集音制御処理を示す動作フロー図である。
【発明を実施するための形態】
【０００９】
以下、本発明の第１の実施形態に係るカメラについて説明する。本実施形態に係るカメラは、動画の撮影及び記録を行う際、特定の被写体の動きを追尾し、その被写体の動きに応じて音声を集音し、撮影した動画像と集音した音声を記録するものである。
【００１０】
図１は、本実施形態に係るカメラ１のシステム構成図である。同図に示すように、カメラ１は、表示部２、記憶部４、追尾対象記憶部５、操作部６、スピーカ８、撮像処理部１０、音声処理部２０、及び制御部３０を含んで構成されている。
【００１１】
表示部２は、液晶等のディスプレイで構成されており、スルー画像やメニュー画像等の画像を表示する。記憶部４は、メモリーカード等の記録媒体で構成されており、画像データや音声データ等を記憶する。また、追尾対象記憶部５は、追尾対象となる被写体の静止画像データを記憶する内蔵メモリである。操作部６は、図示しない電源スイッチ、レリーズボタン、方向キーや決定キー等を含む操作ボタンを含んで構成されており、ユーザからの操作を受付ける。スピーカ８は、記憶部４に記憶されている音声データを出力する。
【００１２】
撮像処理部１０は、撮像素子１２、Ａ／Ｄ変換部１４、画像バッファ１６、及び画像処理部１８を含んで構成されている。撮像素子１２は、ＣＣＤやＣＭＯＳで構成され、図示しない撮影レンズを介して被写体を撮像し、フレーム毎の撮像信号を所定のタイミングでＡ／Ｄ変換部１４に出力する。Ａ／Ｄ変換部１４は、撮像素子１２から出力された撮像信号をＡ／Ｄ変換し、Ａ／Ｄ変換後のフレーム毎の撮像データを画像バッファ１６送出する。画像バッファ１６は、フレーム毎の撮像データを一時記憶し、画像処理部１８は、画像バッファ内のフレーム毎の撮像データについて、ガンマ補正や色補正等の画像処理を行い、画像処理後の各画像データを所定のフレームレートで出力する。
【００１３】
また、画像処理部１８は、画像処理後のフレーム毎の画像データ(以下、「探索画像データ」と言う。)に対し、追尾する被写体の静止画像データ(以下、「追尾対象データ」と言う。)を用いてテンプレートマッチングを行い、探索画像データにおける追尾対象データと最も類似する画像データの位置情報を出力する。ここで、テンプレートマッチングは、ある画像のパターンと同じパターンが他の画像のどの部分に含まれているかを探索する処理であり、本実施形態では、追尾対象データの画素単位のパターンを探索画像データ上で移動させながら、移動した位置での探索画像データとの類似度評価値Ｒを演算し、類似度が最も高い探索画像データの位置を探索する。
【００１４】
なお、本実施形態における類似度評価値Ｒの演算は残差法を用い、１フレームの画像サイズＭ×Ｎに対し、探索画像データをＡ(ｍ，ｎ)、追尾対象データをＢ(ｍ，ｎ)、探索座標を(ｘ，ｙ)とした場合、
【数１】
2010200084.tif 000003
を演算し、類似度評価値Ｒが最も小さい探索座標、即ち類似度が最も高い探索座標を、追尾する被写体の位置情報として求める。なお、位置情報が示す座標は、追尾対象データと同じサイズの画像における左上座標であり、以下、位置情報の座標を左上座標とする追尾対象データと同じサイズの画像を「位置情報に基づく追尾画像」と呼ぶ。
【００１５】
音声処理部２０は、集音部２２、Ａ／Ｄ変換部２４、音声バッファ２６、及び音声信号処理部２８を含んで構成されている。集音部２２は、Ｒマイク２２ａ、Ｌマイク２２ｂ、及びＣマイク２２ｃを含み、各マイクにより音声を集音し、集音した音声信号をＡ／Ｄ変換部２４に送出する。図２は、各マイクの配置及び指向性を示す図である。図２に示すように、カメラ１の前方に向かってカメラ１の筐体の右側にＲマイク２２ａ、左側にＬマイク２２ｂが一定の距離を離して配置され、Ｒマイク２２ａ及びＬマイク２２ｂの中間の前部にＣマイク２２ｃが配置されている。各マイクは、単一指向性マイクであり、Ｃマイク２２ｃは前方向の指向性２０１、Ｒマイク２２ａは右方向の指向性２０２、Ｌマイク２２ｂは左方向の指向性２０３を有する。
【００１６】
図１に戻り、Ａ／Ｄ変換部２４は、各マイクによって集音されたアナログの音声信号を一定の周期毎にＡ／Ｄ変換し、音声バッファ２６にＡ／Ｄ変換後の音声データを出力する。音声バッファ２６は音声データを一時記憶し、音声信号処理部２８は、音声バッファ２６内の音声データを所定のタイミングで読み出し、上記した追尾する被写体の位置情報に応じた音声信号レベルで各音声データを混合して出力する。
【００１７】
制御部３０は、ＣＰＵと、ＲＯＭ及びＲＡＭを含んで構成されており、ＲＯＭに記憶されたプログラムを実行することによりカメラ１を構成する各部を制御する。本実施形態では、特に、撮像処理部１０からフレーム単位に出力される画像データと共に、追尾する被写体の位置情報に基づいて集音部２２の各マイクを制御し、集音された音声データを記憶部４に記録する。
【００１８】
次に、本実施形態に係るカメラ１の動作について説明する。図３は、カメラ１の全体動作を示す動作フロー図である。なお、図３の説明において、カメラ１は、ユーザにより電源がＯＮに設定されているものとして説明する。
【００１９】
制御部３０は、撮像素子１２により被写体を撮像した撮像信号をフレーム毎にＡ／Ｄ変換部１４に順次出力し、Ａ／Ｄ変換部１４によりＡ／Ｄ変換後の画像データを画像バッファ１６に送出する。そして、画像バッファ１６内の画像データについて画像処理部１８により所定の画像処理を行い、画像処理後の画像データを所定のフレームレートで出力して表示部２にスルー画像を表示する(ステップＳ１０)。
【００２０】
制御部３０は、操作部６を介して、表示部２に表示されているスルー画像の中で追尾する被写体の画像部分を選択する操作がなされた場合(ステップＳ１２：Ｙ)、選択された画像部分を所定の大きさに切り出し、追尾対象データとして追尾対象記憶部５に記憶する(ステップＳ１４)。なお、追尾する被写体の画像を選択する操作は、例えば、表示部２に追尾対象を選択するための選択枠の画像をスルー画像上に表示し、方向キーを操作してスルー画像中の追尾対象の被写体に選択枠を重ね合わせて決定キーを押下することにより行う。
【００２１】
そして、制御部３０は、ユーザにより操作部６を介して動画の撮影及び記録を指示する操作が行われた場合(ステップＳ１６：Ｙ)、画像処理部１８により、フレーム毎の画像データとステップＳ１４において記憶した追尾対象データとを用いてテンプレートマッチングを行う(ステップＳ１８)。
【００２２】
以下、図４を用いてテンプレートマッチングの処理を説明する。図４は、本実施形態におけるテンプレートマッチング処理の動作フロー図である。制御部３０は、追尾対象記憶部５から追尾対象データを読み出し(ステップＳ３０)、フレーム毎の画像データを探索対象データとして、画像処理部１８により、追尾対象データを探索座標毎に移動させながら類似度評価値Ｒを算出する(ステップＳ３２)。そして、画像処理部１８により、全ての探索座標について類似度評価値Ｒが算出された場合(ステップＳ３４：Ｙ)、算出された全ての類似度評価値Ｒのうち、類似度評価値Ｒが最も小さい探索座標を位置情報として出力する(ステップＳ３６)。なお、画像処理部１８により全ての探索座標について類似度評価値Ｒが算出されていない場合には(ステップＳ３４：Ｎ)、算出されていない探索座標について類似度評価値Ｒの算出を継続して行う。
【００２３】
制御部３０は、１フレームの画像データを表示部２に表示すると共に、ステップＳ３６において画像処理部１８により出力された位置情報の座標が追尾枠の左上座標となるように、追尾対象データの画像サイズと同じサイズの追尾枠を表示する(ステップＳ３８)。
【００２４】
図３に戻り、制御部３０は、ステップＳ３６において画像処理部１８により出力された追尾対象データの位置情報に基づいて、音声処理部２０による集音制御処理を行う(ステップＳ２０)。以下、図５及び図６を用いて集音制御処理について説明する。図５は、本実施形態に係る集音制御処理の動作フロー図であり、図６は、表示部２の表示領域を示す図である。
【００２５】
なお、図６において、中央部分が示す領域を第３領域２２３、第３領域の右側の領域を第１領域２２１、第３領域より左側の領域を第２領域２２２と呼ぶ。また、第１領域２２１において、第３領域２２３との境界から一定距離ΔＤまでの領域２２１ａを第１ａ領域、残りの領域２２１ｂを第１ｂ領域と呼ぶものとし、第２領域２２２も同様に、第３領域２２３との境界から一定距離ΔＤまでの領域２２２ａを第２ａ領域、残りの領域２２２ｂを第２ｂ領域と呼ぶものとする。
【００２６】
まず、制御部３０は、画像処理部１８により出力された位置情報に基づく追尾画像が図６の第１領域２２１に含まれるか否か判断する(ステップＳ５０)。ステップＳ５０において、制御部３０は、位置情報に基づく追尾画像の中心座標(以下、「追尾中心座標」と言う。)を求める。そして、追尾中心座標が第１領域２２１に含まれる場合には、追尾する被写体が第１領域２２１、即ち、カメラ１の右方向に位置すると判断し(ステップＳ５０：Ｙ)、Ｌマイク２２ｂによる集音を停止し、Ｒマイク２２ａとＣマイク２２ｃにより集音し、集音された各音声信号をＡ／Ｄ変換部２４によりＡ／Ｄ変換して音声バッファ２６に出力する(ステップＳ５２)。
【００２７】
制御部３０は、音声信号処理部２８により、追尾画像が第１ａ領域２２１ａに含まれるか否か判断する(ステップＳ５３)。ステップＳ５３において、制御部３０は、音声信号処理部２８により追尾中心座標が第１ａ領域２２１ａに含まれると判断された場合には(ステップＳ５３：Ｙ)、音声信号処理部２８により、音声バッファ２６内の音声データのうち、Ｃマイク２２ｃにより集音した音声データの音声信号レベルがＲマイク２２ａにより集音した音声データの音声信号レベルより大きくなるように各音声データを混合して出力する(ステップＳ５４)。
【００２８】
また、制御部３０は、音声信号処理部２８により追尾中心座標が第１ａ領域２２１ａに含まれない、即ち、第１ｂ領域２２１ｂに含まれると判断された場合には(ステップＳ５３：Ｎ)、音声バッファ２６内の音声データのうち、Ｒマイク２２ａにより集音した音声データの音声信号レベルがＣマイク２２ｃにより集音した音声データの音声信号レベルより大きくなるように各音声データを混合して出力する(ステップＳ５５)。
【００２９】
なお、追尾中心座標が、第１領域２２１及び第３領域２２３の境界に位置する場合には、Ｒマイク２２ａとＣマイク２２ｃにより集音した音声データの音声信号レベルを同じレベルにして混合する。
【００３０】
また、制御部３０は、ステップＳ５０において、追尾中心座標が第１領域２２１に含まれない場合には、追尾する被写体がカメラ１の右方向に位置しないと判断し(ステップＳ５０：Ｎ)、追尾中心座標が第２領域２２２に含まれるか否か判断する(ステップＳ５６)。制御部３０は、追尾中心座標が第２領域２２２に含まれる場合には、追尾する被写体がカメラ１の左方向に位置すると判断し(ステップＳ５６：Ｙ)、Ｒマイク２２ａによる集音を停止し、Ｌマイク２２ｂとＣマイク２２ｃにより集音し、集音した各音声信号をＡ／Ｄ変換部２４によりＡ／Ｄ変換して音声バッファ２６に出力する(ステップＳ５８)。
【００３１】
そして、制御部３０は、音声信号処理部２８により、追尾画像が第２ａ領域２２２ａに含まれるか否か判断する(ステップＳ５９)。ステップＳ５９において、制御部３０は、音声信号処理部２８により追尾中心座標が第２ａ領域２２２ａに含まれると判断された場合には(ステップＳ５９：Ｙ)、音声信号処理部２８により、音声バッファ２６内の音声データのうち、Ｃマイク２２ｃにより集音した音声データの音声信号レベルがＬマイク２２ａにより集音した音声データの音声信号レベルより大きくなるように各音声データを混合して出力する(ステップＳ６０)。
【００３２】
また、制御部３０は、音声信号処理部２８により追尾中心座標が第２ａ領域２２２ａに含まれない、即ち、第２ｂ領域２２２ｂに含まれると判断された場合には(ステップＳ５９：Ｎ)、音声バッファ２６内の音声データのうち、Ｌマイク２２ｂにより集音した音声データの音声信号レベルが、Ｃマイク２２ｃにより集音した音声データの音声信号レベルより大きくなるように、各音声データを混合して出力する(ステップＳ６１)。
【００３３】
なお、追尾中心座標が、第２領域２２２及び第３領域２２３の境界に位置する場合には、Ｌマイク２２ｂとＣマイク２２ｃにより集音した音声データを同じ音声信号レベルで混合する。
【００３４】
また、制御部３０は、ステップＳ５６において、追尾中心座標が第２領域２２２に含まれない場合には、追尾する被写体がカメラ１の左方向に位置しない、即ち、カメラ１の中央付近に位置すると判断し(ステップＳ５６：Ｎ)、Ｒマイク２２ａ及びＬマイク２２ｂによる集音を停止し、Ｃマイク２２ｃで集音する(ステップＳ６２)。そして、制御部３０は、Ｃマイク２２ｃで集音された音声信号をＡ／Ｄ変換部２４によりＡ／Ｄ変換して音声バッファ２６に出力し、音声信号処理部２８により所定の音声信号レベルで音声バッファ２６内の音声データを出力する(ステップＳ６４)。
【００３５】
図３に戻り、制御部３０は、ステップＳ１０において画像処理部１８により出力される画像データと、ステップＳ２０において音声信号処理部２８により出力される音声データについて、ＭＰＥＧ等の形式で圧縮符号化処理を行い、記憶部４に順次記録する(ステップＳ２２)。
【００３６】
なお、ステップＳ１２において、追尾対象を設定する操作がユーザにより行われなかった場合には(ステップＳ１２：Ｎ)、制御部３０は、追尾対象の設定操作がなされるまで、撮像した被写体のスルー画像の表示を継続して行う。また、ステップＳ１６において、動画撮影及び記録の指示がユーザによりなされなかった場合には(ステップＳ１６：Ｎ)、動画撮影及び記録の指示がなされるまで、スルー画像の表示を継続しつつ追尾対象データを記憶した状態で待機する。
【００３７】
上述した実施形態では、撮影中の動画像において追尾対象となる被写体の画像をフレーム単位で探索し、探索した画像の位置情報に応じて集音するマイクを制御することができるので、中心的に撮影したい被写体の動きに合わせて、その被写体の音声や被写体近辺の音声を効果的に集音することができる。また、追尾対象となる画像データの位置情報に応じて、各マイクで集音された音声データを混合する際の音声信号レベルを変えることができるので、追尾する被写体以外の音声を抑制しつつ、追尾する被写体のより明確な音声を記録することができる。
【００３８】
次に、本発明の第２の実施形態に係るカメラについて説明する。本実施形態に係るカメラは、上述した第１の実施形態に係るカメラ１と同様の構成を備えるものであるが、本実施形態では、追尾対象の画像データの位置情報だけなく、撮影時におけるカメラの焦点距離に応じて集音の制御を行う。
【００３９】
以下、本実施形態に係るカメラについて、第１の実施形態と同様の構成については第１の実施形態と同じ符号を用い、第１の実施形態と異なる部分の説明を行う。本実施形態のカメラにはズームレンズが装着され、ズームレンズを含むレンズ部とカメラ１との間は通信可能であり、カメラ本体はレンズ部に設定されている焦点距離情報を取得する。なお、本実施形態では焦点距離がｄ１以上の場合を望遠撮影、ｄ２以下の場合を広角撮影であるものとして説明する。
【００４０】
以下、図７及び図８を用いて本実施形態のカメラの動作を説明する。なお、図７及び図８は、本実施形態に係る集音制御処理の動作フロー図であり、図８の各ステップは、上述した第１の実施形態で説明した図５の各ステップと同様であるため、図５と同じステップ番号を付している。まず、図７において、制御部３０は、図示しないレンズ部から焦点距離を取得し(ステップＳ８０)、取得した焦点距離がｄ１以上であるか否か判断する(ステップＳ８２)。制御部３０は、ステップＳ８２において、焦点距離がｄ１以上ではないと判断した場合(ステップＳ８２：Ｎ)、その焦点距離がｄ２以下であるか否か判断する(ステップＳ８４)。
【００４１】
制御部３０は、ステップＳ８４において、焦点距離がｄ２以下であると判断した場合 (ステップＳ８４：Ｙ)、即ち、広角撮影であると判断した場合には、Ｒマイク２２ａ、Ｌマイク２２ｂ、及びＣマイク２２ｃにより集音し、集音された各音声信号をＡ／Ｄ変換部２４によりＡ／Ｄ変換して音声バッファ２６に出力する(ステップＳ８６)。
【００４２】
制御部３０は、画像処理部１８により出力された位置情報に基づく追尾画像の追尾中心座標が、第１領域２２１に含まれる場合には、追尾する被写体がカメラ１の右方向に位置すると判断する(ステップＳ８８：Ｙ)。制御部３０は、音声信号処理部２８により、追尾画像が第１ａ領域２２１ａに含まれるか否か判断する(ステップＳ８９)。ステップＳ８９において、制御部３０は、音声信号処理部２８により追尾中心座標が第１ａ領域２２１ａに含まれると判断された場合には(ステップＳ８９：Ｙ)、音声信号処理部２８により、音声バッファ２６内の音声データの音声信号レベルが、Ｃマイク２２ｃ＞Ｒマイク２２ａ＞Ｌマイク２２ｂとなるように音声データを混合して出力する(ステップＳ９０)。
【００４３】
また、制御部３０は、音声信号処理部２８により追尾中心座標が第１ａ領域２２１ａに含まれない、即ち、第１ｂ領域２２１ｂに含まれると判断された場合には(ステップＳ８９：Ｎ)、音声信号処理部２８により、音声バッファ２６内の音声データの音声信号レベルが、Ｒマイク２２ａ＞Ｃマイク２２ｃ＞Ｌマイク２２ｂとなるように音声データを混合して出力する(ステップＳ９１)。なお、追尾中心座標が第１領域２２１及び第３領域２２３の境界に位置する場合には、音声信号レベルが、Ｒマイク２２ａ＝Ｃマイク２２ｃ、Ｌマイク２２ｂ＜Ｒマイク２２ａとなるように音声データを混合する。
【００４４】
また、制御部３０は、ステップＳ８８において、追尾中心座標が第１領域２２１に含まれず(ステップＳ８８：Ｎ)、第２領域２２２に含まれない場合には、追尾する被写体がカメラ１の中央付近に位置すると判断する(ステップＳ９２：Ｎ)。そして、制御部３０は、追尾する被写体がカメラ１の中央付近に位置することから、音声信号レベルが、Ｒマイク２２ａ＝Ｌマイク２２ｂ、Ｃマイク２２ｃ＞Ｒマイク２２ａとなるように、音声バッファ２６内の各音声データを混合して出力する(ステップＳ９４)。
【００４５】
また、ステップＳ９２において、追尾中心座標が第２領域２２２に含まれる場合には、制御部３０は、追尾する被写体がカメラ１の左方向に位置すると判断する(ステップＳ９２：Ｙ)。制御部３０は、音声信号処理部２８により、追尾画像が第２ａ領域２２２ａに含まれるか否か判断する(ステップＳ９５)。ステップＳ９５において、制御部３０は、音声信号処理部２８により追尾中心座標が第２ａ領域２２２ａに含まれると判断された場合には(ステップＳ９５：Ｙ)、音声信号処理部２８により、音声バッファ２６内の音声データの音声信号レベルが、Ｃマイク２２ｃ＞Ｌマイク２２ｂ＞Ｒマイク２２ａとなるように音声データを混合して出力する(ステップＳ９６)。
【００４６】
また、ステップＳ９５において、音声信号処理部２８により追尾中心座標が第２ａ領域２２２ａに含まれない、即ち、第２ｂ領域２２２ｂに含まれると判断された場合には(ステップＳ９５：Ｎ)、制御部３０は、音声信号処理部２８により、音声バッファ２６内の音声データの音声信号レベルが、Ｌマイク２２ｂ＞Ｃマイク２２ｃ＞Ｒマイク２２ａとなるように音声データを混合して出力する(ステップＳ９７)。
【００４７】
なお、中心座標が第２領域２２２及び第３領域２２３の境界に位置する場合には、音声信号レベルが、Ｌマイク２２ｂ＝Ｃマイク２２ｃ、Ｒマイク２２ａ＜Ｌマイク２２ｂとなるように音声データを混合する。
【００４８】
また、ステップＳ８２において、制御部３０は、焦点距離がｄ１以上であると判断した場合(ステップＳ８２：Ｙ)、即ち、望遠撮影であると判断した場合には、追尾中心座標が第３領域２２３に含まれるか否か判断する(ステップＳ９８)。制御部３０は、ステップＳ９８において、追尾中心座標が第３領域２２３に含まれると判断した場合、即ち、追尾する被写体がカメラ１の中央付近に位置すると判断し(ステップＳ９８：Ｙ)、Ｃマイク２２ｃのみを用いて集音し(図８：ステップＳ６２)、図８のステップＳ６４の処理を行う。
【００４９】
また、ステップＳ８４において、焦点距離がｄ２以下ではないと判断した場合(ステップＳ８４：Ｎ)、及び、ステップＳ９８において、中心座標が第３領域２２３に含まれないと判断した場合、即ち、望遠撮影において追尾する被写体がカメラ１の右又は左方向に位置すると判断した場合には(ステップＳ９８：Ｎ)、制御部３０は、図８のステップＳ５０以下の処理を行う。
【００５０】
上述した本実施形態では、追尾する被写体の動きだけなく、撮影時の焦点距離に応じて変わる画角を考慮して集音を制御することができる。例えば、追尾する被写体の位置がフレーム内の同じ位置にあるとしても、望遠撮影と広角撮影の場合では画角が異なるので、追尾する被写体の位置だけで集音を制御すると、その被写体の明確な音声を記録できない場合が生じる。従って、本実施形態のように、撮影時における焦点距離を考慮することにより、追尾する被写体のより明確な音声を記録することができる。
【００５１】
なお、上述した第２の実施形態では、追尾対象の画像データのフレーム毎の位置情報と、撮影時における焦点距離に応じて集音を制御するものとして説明したが、位置情報と撮影時におけるカメラから被写体までの撮影距離情報に応じて集音を制御するようにしてもよい。この場合、カメラから被写体までの距離を測定する測距センサ等を用いて、撮影時における被写体まで撮影距離を検出し、撮影距離が第１閾値以下であれば第２の実施形態の広角撮影の場合と同様にステップＳ８４以下の処理を行い、撮影距離が第２閾値以上であれば第２の実施形態の望遠撮影の場合と同様にステップＳ９８以下の処理を行うようにする。
【００５２】
また、上述した実施形態では、３つのマイクを備えるものとして説明したが、被写体に向かって左方向に指向性を有するマイクと、右方向に指向性を有するマイクを少なくとも備えていれば３つに限らない。
【００５３】
また、上述した実施形態では、追尾対象の画像データのフレーム毎の位置情報に応じて集音するマイクを制御するものとして説明したが、カメラを固定した状態で、位置情報に応じてマイクを駆動させてマイクの向きを制御するようにしてもよい。この場合には、少なくとも１つのマイクと、マイクの向きを駆動させる駆動機構を設け、追尾する被写体の位置情報に応じた方向の音声を集音するようにマイクを駆動させるようにする。
【００５４】
また、上述した実施形態では、撮影中の探索対象データに追尾対象の画像データが含まれている場合について説明したが、撮影中の探索対象データに追尾対象データが無い場合、即ち、例えば、カメラを固定して撮影しているときに、追尾対象である被写体がカメラフレームの外に移動した場合には、集音部２２による集音を停止するようにしてもよい。
【００５５】
また、上述した実施形態では、一の被写体の画像データを追尾対象データとして設定するものとして説明したが、複数の被写体の画像データを追尾対象データとして優先順位を付けて設定するようにしてもよい。この場合、例えば、撮影中に追尾対象の被写体がカメラフレームの外に移動したときに、その被写体の次に優先順位が高い被写体を追尾対象とし、その被写体の追尾対象データを用いて撮影中の画像データに対してテンプレートマッチングを行うようにする。
【００５６】
また、上述した実施形態では、スルー画像において追尾対象データを設定するものとして説明したが、カメラ内部又は記録媒体に記憶されている画像データの中から追尾対象データを設定するようにしてもよいし、予めカメラ内部や記録媒体に追尾対象データが記憶されていてもよい。
【００５７】
また、上述した実施形態では、追尾画像の中心座標が第１領域２２１〜第３領域２２３のどの領域に含まれるかにより、追尾する被写体の位置を判断するものとして説明したが、追尾画像が複数の領域に跨る場合には、例えば、追尾画像全体の２／３以上の追尾画像データを含む領域を追尾する被写体の位置として判断するようにしてもよい。
【００５８】
また、上述した実施形態では、残差法を用いてテンプレートマッチングを行うものとして説明したが、相互相関法等の方法を用いて行うようにしてもよい。
【符号の説明】
【００５９】
１…カメラ、２…表示部、４…記憶部、５…追尾対象記憶部、６…操作部、８…スピーカ、１０…撮像処理部、１２…撮像素子、１４，２４…Ａ／Ｄ変換部、１６…画像バッファ、１８…画像処理部、２０…音声処理部、２２…集音部、２２ａ…Ｒマイク、２２ｂ…Ｌマイク、２２ｃ…Ｃマイク、２６…音声バッファ、２８…音声信号処理部、３０…制御部
【図１】
2010200084.tif 000004
【図２】
2010200084.tif 000005
【図３】
2010200084.tif 000006
【図４】
2010200084.tif 000007
【図５】
2010200084.tif 000008
【図６】
2010200084.tif 000009
【図７】
2010200084.tif 000010
【図８】
2010200084.tif 000011