(57)【要約】【課題】  複数の対象が発する音を適正に集音することができる撮像装置を提供すること。【解決手段】  画像を撮像する撮像手段（１０、１６、１８）と、前記画像内における対象の数を検出する検出手段（２２、２８）と、前記対象が発する音を集音する複数の集音手段（４４、４６、４８）と、前記対象の数が複数の場合に、前記複数の集音手段の感度を調整する感度調整手段（５０、５２、５４、６０）と、を有することを特徴とする撮像装置。【選択図】  図２
2011114769.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記画像内における対象の数を検出する検出手段と、
前記対象が発する音を集音する複数の集音手段と、
前記対象の数が複数の場合に、前記複数の集音手段の感度を調整する感度調整手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記検出手段は、前記画像内における前記対象の範囲を検出し、
前記対象の範囲に基づいて、前記複数の集音手段の少なくとも一つの指向性を調整する指向性調整手段を有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記感度調整手段は、前記対象の数が複数の場合に、前記複数の集音手段が出力する各音信号のレベルが所定の範囲内となるように前記対象に対応する前記複数の集音手段の少なくとも一つの感度を調整することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記検出手段は、前記画像内における前記対象の範囲を検出し、
前記感度調整手段は、前記対象の範囲に基づいて、前記対象に対応する前記複数の集音手段の少なくとも一つの感度を調整することを特徴とする請求項１から３のいずれか一項記載の撮像装置。
【請求項５】
前記検出手段は、前記対象との距離を検出し、
前記感度調整手段は、前記対象との距離に基づいて、前記対象に対応する前記複数の集音手段の少なくとも一つの感度を調整することを特徴とする請求項１から３のいずれか一項記載の撮像装置。
【請求項６】
前記検出手段は、前記画像内における顔を検出し、前記顔の数に基づいて、前記対象の数を検出することを特徴とする請求項１から５のいずれか一項記載の撮像装置。
【請求項７】
前記検出手段は、光学系の像面内に設定された焦点検出位置に対する前記光学系の焦点状態を検出し、前記焦点状態が合焦状態である前記焦点検出位置の数に基づいて、前記対象の数を検出することを特徴とする請求項１から５のいずれか一項記載の撮像装置。
【請求項８】
前記複数の集音手段の感度を調整するパターンを記憶する記憶手段を有し、
前記感度調整手段は、前記記憶手段が記憶するパターンに基づいて前記複数の集音手段の感度を調整することを特徴とする請求項１から７のいずれか一項記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、操作部により集音の方向の調整を可能とし、撮像被写体とは異なる集音対象に集音部の指向性を設定可能とした撮像装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２８７７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像装置との距離や方向が異なる複数の対象が存在する場合は、各対象が発する音を適正に集音することができない。
【０００５】
本発明は、上記課題に鑑みなされたものであり、複数の対象が発する音を適正に集音することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本撮像装置は、画像を撮像する撮像手段（１０、１６、１８）と、前記画像内における対象の数を検出する検出手段（２２、２８）と、前記対象が発する音を集音する複数の集音手段（４４、４６、４８）と、前記対象の数が複数の場合に、前記複数の集音手段の感度を調整する感度調整手段（５０、５２、５４、６０）と、を有する。
【０００７】
上記撮像装置において、前記検出手段は、前記画像内における前記対象の範囲を検出し、前記対象の範囲に基づいて、前記複数の集音手段の少なくとも一つの指向性を調整する指向性調整手段（５６、６０）を有してもよい。
【０００８】
上記撮像装置において、前記感度調整手段は、前記対象の数が複数の場合に、前記複数の集音手段が出力する各音信号のレベルが所定の範囲内となるように前記対象に対応する前記複数の集音手段の少なくとも一つの感度を調整してもよい。
【０００９】
上記撮像装置において、前記検出手段は、前記画像内における前記対象の範囲を検出し、前記感度調整手段は、前記対象の範囲に基づいて、前記対象に対応する前記複数の集音手段の少なくとも一つの感度を調整してもよい。
【００１０】
上記撮像装置において、前記検出手段は、前記対象との距離を検出し、前記感度調整手段は、前記対象との距離に基づいて、前記対象に対応する前記複数の集音手段の少なくとも一つの感度を調整してもよい。
【００１１】
上記撮像装置において、前記検出手段は、前記画像内における顔を検出し、前記顔の数に基づいて、前記対象の数を検出してもよい。
【００１２】
上記撮像装置において、前記検出手段は、光学系の像面内に設定された焦点検出位置に対する前記光学系の焦点状態を検出し、前記焦点状態が合焦状態である前記焦点検出位置の数に基づいて、前記対象の数を検出してもよい。
【００１３】
上記撮像装置において、前記複数の集音手段の感度を調整するパターンを記憶する記憶手段（３４）を有し、前記感度調整手段は、前記記憶手段が記憶するパターンに基づいて前記複数の集音手段の感度を調整してもよい。
【発明の効果】
【００１４】
本発明によれば、複数の対象が発する音を適正に集音することができる。
【図面の簡単な説明】
【００１５】
【図１】図１（ａ）及び図１（ｂ）は、実施例１に係る撮像装置の外観の一例を示す図である。
【図２】図２は、実施例１に係る撮像装置のブロック図である。
【図３】図３（ａ）は、実施例１に係るマイクの感度を調整して複数の対象が発する音を集音する処理のフローチャートである。図３（ｂ）は、実施例１にマイクの選択及び感度の調整を行うサブ処理のフローチャートである。
【図４】図４は、実施例１に係る表示パネルにおける対象の表示の一例を示す図である。
【図５】図５は、実施例１に係る撮像装置と対象との平面上の位置関係の一例を示す図である。
【図６】図６は、実施例１に係るマイクの感度の調整を行うサブ処理のフローチャートである。
【図７】図７は、実施例２に係るマイクの指向性及び感度を調整して複数の対象が発する音を集音する処理のフローチャートである。
【図８】図８は、実施例２に係る撮像画像における対象の顔の範囲の一例を示す図である。
【図９】図９は、実施例２に係るマイクの指向性及び感度を調整するサブ処理のフローチャートである。
【図１０】図１０は、実施例２に係る対象の範囲とマイクの指向性との関係を示す図である。
【図１１】図１１（ａ）は、実施例３に係るパターンファイルを生成する処理のフローチャートである。図１１（ｂ）は、実施例３に係るパターンに基づいて対象が発する音を集音する処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００１７】
図１（ａ）及び図１（ｂ）を参照して、実施例１に係る撮像装置の一例を説明する。図１（ａ）及び図１（ｂ）は、カメラ１００の外観の一例を示す図であって、図１（ａ）はカメラ１００の正面の斜視図、図１（ｂ）はカメラ１００の背面の斜視図である。カメラ１００は、対象の撮像及び対象が発する音の集音を行う装置である。図１（ａ）のように、カメラ１００は、シャッタスイッチ６４、光学系１０並びにマイク４４、４６及び４８を有する。図１（ｂ）のように、カメラ１００は、背面に表示パネル４０、ＲＥＣボタン６６及び操作部６８を有する。カメラ１００の各部の詳細は後述する。
【００１８】
図２を参照して、カメラ１００の構成を説明する。図２は、カメラ１００のブロック図である。図２において、図１と同一の構成については、同一の符号を付して説明を省略する。図２のように、カメラ１００は、光学系１０、通信接点１４、シャッタ幕１６、撮像素子１８、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）ユニット２２、シャッタユニット２４、画像処理部２６、顔検出部２８、メモリ３４、表示パネル４０、マイク４４、４６及び４８、ＶＣＡ（Ｖｏｌｔａｇｅ  Ｃｏｎｔｒｏｌｌｅｄ  Ａｍｐｌｉｆｉｅｒ）５０、５２及び５４、指向性制御モータ５６、ＭＴＸ（Ｍｕｌｔｉｐｌｅｘｅｒ）５８、音制御部６０、音記録部６２、シャッタスイッチ６４、ＲＥＣボタン６６、操作部６８、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０、電源部８０並びに筐体９０を備える。
【００１９】
光学系１０は、レンズ１１、通信接点１２、ＡＦモータ（不図示）及び絞り（不図示）を有する。光学系１０の通信接点１２と筐体９０の通信接点１４との接続により、光学系１０は電源部８０からの電源の供給を受け、ＣＰＵ７０と通信を行う。光学系１０はＣＰＵ７０へレンズ情報を送信する。ＣＰＵ７０はレンズ情報に基づいて光学系１０のＡＦモータ及び絞りの制御を行う。
【００２０】
シャッタユニット２４は、シャッタ幕１６を制御して露光を制御する。シャッタユニット２４は、測光センサ（不図示）を有し、ＣＰＵ７０にて演算されたシャッタ秒時に合わせてシャッタ幕１６の開閉時間を制御する。撮像素子１８への露光時間は、シャッタ幕１６の開閉時間により決定される。
【００２１】
ＡＦユニット２２は、複数の焦点検出位置を有し、光学系１０のフォーカシングを制御する。ＡＦユニット２２は、測距を行う測距センサ（不図示）を有し、光学系１０のＡＦモータを駆動させる。ＡＦユニット２２は、対象の動きに応じて光学系１０を駆動して対象を追尾する追尾機能も備える。
【００２２】
撮像素子１８は、シャッタ幕１６を通過した光学像を電気信号に変換する。撮像素子１８は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等である。
【００２３】
顔検出部２８は、撮像素子１８が撮像した画像（以下、撮像画像と記す）の特徴を調べて、撮像画像内における対象１１０の顔、顔の位置及び顔の範囲を検出する。顔検出部２８は、撮像画像における複数の対象の顔を検出する。
【００２４】
画像処理部２６は、撮像素子１８が出力する撮像画像をアナログ信号からデジタル信号へ変換する。画像処理部２６は、画像信号に対して所定の画素補間処理や色変換処理を行う。画像処理部２６は、画像信号の色情報（赤、緑及び青成分の信号）を輝度情報及び色差情報に変換して、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の所定のフォーマット形式に圧縮する。画像処理部２６は、圧縮された所定のフォーマット形式の画像信号を伸張する。
【００２５】
マイク４４、４６及び４８は、単一の指向性を有するマイク（ガンマイク）であって、対象が発する音を集音する。マイク４４、４６及び４８は、それぞれカメラ１００の右、正面及び左方向の音を集音する。ＶＣＡ５０、５２及び５４は、印加される電圧に応じて増幅率を変化させてマイク４４、４６及び４８の感度を調節し、マイク４４、４６及び４８が出力する音信号のレベルを調節する。音制御部６０は、ＶＣＡ５０、５２及び５４が出力する音信号のレベルを検出して、ＶＣＡ５０、５２及び５４に印加される電圧を調整する。音制御部６０は、指向性制御モータ５６を制御する。指向性制御モータ５６は、音制御部６０の制御に基づいて、マイク４４、４６及び４８の指向性を調整する。
【００２６】
ＭＴＸ５８は、ＶＣＡ５０、５２及び５４によりレベルが調整された各音信号に所定の重み付けをして足し合わせて、左右成分を有する音信号を生成する。音記録部６２は、ＭＴＸ５８が出力する音信号をアナログ信号からデジタル信号へ変換して、ＭＰ３（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ  Ｌａｙｅｒ  ３）等の所定のフォーマット形式の音信号に変換する。ＣＰＵ７０は、音信号と画像信号とを同期させた信号をメモリ３４に記録する。
【００２７】
メモリ３４は、画像処理部２６が出力する画像信号及び音記録部６２が出力する音信号を記憶する。メモリ３４は、マイク４４、４６及び４８の感度や指向性等を調整するパターンファイルを記憶する。パターンファイルの詳細は後述する。表示パネル４０は、画像処理部２６により伸張された画像信号や操作用のカーソル等を表示する。
【００２８】
シャッタスイッチ６４は、ユーザが静止画の撮像を行うときにオンするスイッチである。ＲＥＣボタン６６は、ユーザが動画の撮像及び集音を開始するときにオン、終了するときにオフするボタンである。操作部６８は、ユーザがカメラ１００の操作を行うためのキーやボタン等である。
【００２９】
光学系１０、シャッタ幕１６及び撮像素子１８は、画像を撮像する。顔検出部２８及びＡＦユニット２２は、撮像画像内における対象の位置、対象の範囲、対象との距離及び対象の顔を検出する。
【００３０】
図３（ａ）を参照して、実施例１に係るマイクの感度を調整して複数の対象が発する音を集音する処理を説明する。図３（ａ）は、マイクの感度を調整して対象が発する音を集音する処理のフローチャートである。
【００３１】
まず、ＣＰＵ７０はシャッタユニット２４及びＡＦユニット２２に指示して、撮像画像内における対象の位置情報を検出する（ステップＳ１０）。ＣＰＵ７０は、光学系１０の像面内に設定された焦点検出位置の焦点状態が合焦状態となる位置（以下、合焦位置と記す）又は顔検出部２８が検出する対象の顔の位置に基づいて、撮像画像内における対象の位置を検出する。ここでは、コントラスト検出ＡＦ方式により、ＣＰＵ７０が撮像画像内における合焦位置を検出して、撮像画像内における対象の位置を検出する例を説明する。まず、シャッタユニット２４が有する測光センサが、対象の色情報又は輝度情報を検知する。ＡＦユニット２２が、光学系１０を駆動しながら対象の色情報又は輝度情報を随時取得し、光学系１０の焦点状態の情報と対象の色情報又は輝度情報との関係を取得する。ＣＰＵ７０は、取得した関係から、対象の位置（距離）を検出する。なお、ＡＦユニット２２は、光学系１０を駆動しながら顔検出部２８から対象の顔の情報を随時取得し、光学系１０の焦点状態の情報と対象の顔との関係を取得するようにして、ＣＰＵ７０は、取得した関係から、対象の顔の位置を検出するようにしてもよい。また、検出した合焦位置を動画の撮像処理に用いてもよい。
【００３２】
図４は、撮像及び集音の対象を対象Ａ及びＢとして、対象Ａ及びＢを撮像するときのカメラ１００の背面図であって、表示パネル４０における対象Ａ及びＢの表示の一例である。表示パネル４０の表示は、撮像画像と一致する。図４中の枠９１及び９３は、それぞれＣＰＵ７０がステップＳ１０により検出した対象Ａ及びＢの位置を示しており、それぞれ対象Ａ及びＢの顔の位置に対応している。
【００３３】
図３（ａ）の説明に戻る。ＣＰＵ７０は、ステップＳ１０により検出した撮像画像内における対象の位置情報を、ＲＥＣ前位置情報としてメモリ３４に記憶する（ステップＳ１２）。ＣＰＵ７０は、検出した撮像画像内における対象の位置情報に基づいて、カメラ１００に対する対象の方向を認識する（ステップＳ１４）。
【００３４】
ここで、図５を参照して、ステップＳ１４について説明する。図５は、カメラ１００と対象Ａ及びＢとの平面上の位置関係を示す図であり、カメラ１００並びに対象Ａ及びＢをＸ−Ｙ平面上に配置した例である。例えば、図４のように対象Ａ及びＢが表示パネル４０に表示され、ＣＰＵ７０が対象Ａ及びＢの位置を検出する場合、ＣＰＵ７０は図５のようにカメラ１００に対する対象Ａ及びＢの方向を認識する。図５において、カメラ１００はＸ−Ｙ平面の原点に位置し、カメラ１００の左から右に向かう方向がＸ軸の正の方向及びカメラ１００の背面から前面に向かう方向がＹ軸の正の方向にそれぞれ対応する。破線で示す領域１６０、１６２及び１６４はそれぞれマイク４４、４６及び４８により集音可能な領域を示す。図５のように、ＣＰＵ７０は、対象Ａ及びＢの方向はカメラ１００に対してそれぞれ左斜め前方及び右斜め前方と認識する。対象Ａ及びＢは、それぞれ領域１６４及び１６０内に位置している。
【００３５】
図３（ａ）の説明に戻る。ＣＰＵ７０は、対象が発する音を集音するマイクを選択して、選択したマイクの感度を調整するサブ処理を行う（ステップＳ１６）。ステップＳ１６に対応するサブ処理の詳細は後述する。
【００３６】
ＣＰＵ７０は、ＲＥＣボタンがオンされているか否かを判定する（ステップＳ１８）。ＣＰＵ７０は、ＲＥＣボタンがオンされている場合にＹｅｓと判定する。ステップＳ１８がＮｏの場合、ＣＰＵ７０はステップＳ１０に戻る。ステップＳ１８がＹｅｓの場合、ＣＰＵ７０は動画の撮像を開始して、対象が発する音を集音する（ステップＳ１９）。ＣＰＵ７０は、ステップＳ１０と同様に、撮像画像内における対象の位置情報を検出する（ステップＳ２０）。ＣＰＵ７０は、検出した対象の位置情報を、ＲＥＣ後位置情報としてそれぞれメモリ３４に記憶する（ステップＳ２２）。
【００３７】
ＣＰＵ７０は、ＲＥＣ前位置情報とＲＥＣ後位置情報とが一致するか否かを判定する（ステップＳ２４）。すなわち、ＣＰＵ７０は、動画の撮像及び集音の開始後に、対象がそれぞれ移動したか否かを判定する。対象がいずれも移動しない場合、ＲＥＣ前位置情報とＲＥＣ後位置情報とが一致し、対象の少なくとも一つが移動した場合、ＲＥＣ前位置情報とＲＥＣ後位置情報とが異なる。ＣＰＵ７０は、ＲＥＣ前位置情報とＲＥＣ後位置情報とが一致する場合にＹｅｓと判定する。ＣＰＵ７０は、ステップＳ２４がＹｅｓの場合、ステップＳ３２に進む。ステップＳ２４がＮｏの場合、対象がＲＥＣ前位置情報に対応する位置から移動しているため、ＣＰＵ７０は、ＲＥＣ後位置情報に基づいてカメラ１００に対する対象の方向を認識し直す（ステップＳ２６）。ＣＰＵ７０は、対象が発する音を集音するためのマイクを選択して、選択したマイクの感度を調整するサブ処理を行う（ステップＳ２８）。ステップＳ２８に対応するサブ処理は、ステップＳ１６と同様であるため、詳細は後述する。
【００３８】
ＣＰＵ７０は、ＲＥＣ前位置情報をＲＥＣ後位置情報に更新する（ステップＳ３０）。ＣＰＵ７０は、ＲＥＣボタンがオフされているか否かを判定する（ステップＳ３２）。ＣＰＵ７０は、ＲＥＣボタンがオフされている場合にＹｅｓと判定する。ステップＳ３２がＹｅｓの場合、ＣＰＵ７０は処理を終了する。ステップＳ３２がＮｏの場合、ＣＰＵ７０はステップＳ１９に戻って処理を繰り返す。以上が図３（ａ）の説明である。
【００３９】
図３（ｂ）を参照して、図３（ａ）のステップＳ１６及びステップＳ２８に対応するマイクの選択及び感度調整を行うサブ処理を説明する。図３（ｂ）は、マイクの選択及び感度の調整を行うサブ処理のフローチャートである。
【００４０】
ＣＰＵ７０は、図３（ａ）のステップＳ１４又はステップＳ２６で認識したカメラ１００に対する対象の方向に基づいて、マイク４４、４６及び４８のいずれかを選択する（ステップＳ３４）。例えば図５のように、対象Ａ及びＢが領域１６４及び１６０内に位置する場合、ＣＰＵ７０は集音可能な領域が領域１６４であるマイク４８及び集音可能な領域が領域１６０であるマイク４４を選択する。
【００４１】
ＣＰＵ７０は、対象の数が複数であるか否かを判定する（ステップＳ３６）。例えば、ＣＰＵ７０は、コントラスト検出ＡＦ方式により検出した合焦位置や顔検出部２８が検出した顔の数から対象の数を推定して、対象の数が複数であるか否かを判定する。ＣＰＵ７０は、対象の数が複数の場合にＹｅｓと判定する。
【００４２】
ＣＰＵ７０は、ステップＳ３６がＹｅｓの場合、選択したマイクの感度を調整するサブ処理を行って（ステップＳ３８）、処理を終了する。ＣＰＵ７０は、ステップＳ３６がＮｏの場合、処理を終了する。
【００４３】
図６を参照して、図３（ｂ）のステップＳ３８に対応するマイクの感度の調整を行うサブ処理を説明する。図６は、マイクの感度の調整を行うサブ処理のフローチャートである。以下、検出した音信号のレベルを平均化する周期（単位はフレームとする）を格納するための変数をＸとする。変数Ｘは、ユーザが任意の値を設定できるようにしてもよいし、出荷時にあらかじめ設定されてもよい。
【００４４】
ＣＰＵ７０は、メモリ３４に記憶された変数Ｘを確認し、値が設定されているか否かを判定する（ステップＳ４０）。ＣＰＵ７０は、変数Ｘに値が設定されている場合にＹｅｓと判定する。
【００４５】
ＣＰＵ７０は、ステップＳ４０がＹｅｓの場合、選択した各マイクで対象が発する音を集音して、Ｘフレームの区間に１フレーム周期で検出した音信号のレベルの平均値を算出する（ステップＳ４２）。マイクごとに算出した音信号のレベルの平均値を、メモリ３４にそれぞれ記憶する。例えば、変数Ｘが９００の場合、Ｘフレームの区間とは３０秒間である。３０秒間のフレームごとに音信号を検出して総和を求め、その総和をＸで除算することにより、３０秒あたりの音信号のレベルの平均値を算出する。なお、音信号のレベルの平均値を算出する方法は、他の方法でもよい。例えば、音信号のレベルをＸフレームの区間に任意のフレーム周期で検出するようにして、音信号のレベルの平均値を算出してもよい。以下、各マイクについて記憶した音信号のレベルの平均値の一つを値Ｙとする。
【００４６】
ＣＰＵ７０は、ステップＳ４０がＮｏの場合、選択した各マイクで対象が発する音を集音して、先頭フレームにおける音信号のレベルを検出する。マイクごとに検出した音信号のレベルを、メモリ３４にそれぞれ記憶する。例えば、１秒が３０フレームである場合、２〜３０フレームに対応する音信号のレベルは検出せず、先頭フレームに対応する音信号のレベルのみを検出する。なお、先頭フレーム以外のフレームの音信号のレベルを検出してもよい。以下、各マイクについて記憶した音信号のレベルの一つを、ステップＳ４２の場合と同様に値Ｙとする。
【００４７】
ＣＰＵ７０は、メモリ３４に記憶された値Ｙが所定のレベルと等しいか否かを判定し（ステップＳ４６）、値Ｙが所定のレベルと等しい場合にＹｅｓと判定する。ここでは、一例として、所定のレベルをマイクに予め設定されている最大入力レベル（１３０ｄＢとする）の６０％に相当する７８ｄＢとしている。ＣＰＵ７０は、ステップＳ４６がＹｅｓの場合、ステップＳ５４に進む。ＣＰＵ７０は、ステップＳ４６がＮｏの場合に、値Ｙが７８ｄＢより大きいか否かを判定し（ステップＳ４８）、値Ｙが７８ｄＢより大きい場合にＹｅｓと判定する。ＣＰＵ７０は、ステップＳ４８がＹｅｓの場合に、対応するＶＣＡの制御により、マイクの感度を下げる（ステップＳ５０）。ＣＰＵ７０は、ステップＳ４８がＮｏの場合に、マイクの感度を上げる（ステップＳ５２）。ＣＰＵ７０は、選択したマイクの調整が全て終了したか否かを判定して（ステップＳ５４）、全て終了した場合Ｙｅｓと判定する。ステップＳ５４がＮｏの場合、ステップＳ４６に戻って、感度の調整が終了していない各マイクに対応する値Ｙについて、選択した各マイクの感度の調整を行う。ステップＳ５４がＹｅｓの場合、処理を終了する。以上により、選択した各マイクの感度を調整して、各マイクが出力する音信号のレベルを互いに同一とすることができる。
【００４８】
実施例１によれば、図３（ｂ）のステップＳ３６のＹｅｓのように、対象の数が複数の場合に、図６のステップＳ５０又はＳ５２のように、音制御部６０並びにＶＣＡ５０、５２及び５４がマイク４４、４６及び４８の感度を調整する。これにより、対象が複数の場合に、複数の対象が発する音を適正に集音して、明瞭な音を取得することができる。図６のステップＳ４６、４８、５０及び５２では、マイクが出力する音信号のレベルが所定のレベルと同一となるように、複数のマイクの少なくとも一つの感度を調整する例を説明した。他に例えば、複数のマイクが出力する音信号のレベルが所定の範囲内となるように、複数のマイクの少なくとも一つの感度を調整してもよい。また、選択した複数のマイクの音信号のいずれかのレベルを所定のレベルとして、ステップＳ４６、４８、５０及び５２の処理と同様の処理をしてもよい。
【００４９】
実施例１によれば、図３（ｂ）のステップＳ３６の説明のように、顔検出部２８が、撮像画像内における顔の数を検出して、顔の数から対象の数を推定して、対象の数を検出する。これにより、対象が複数の人である場合に、複数の人を認識して、複数の人が発する声を適正に集音することができる。例えば、複数の人が撮像装置の手前と奥とに配置されて会話を行う場合に、マイクの感度を調整して、会話の音信号のレベルを同一又は所定の範囲内とすることができる。よって、会話を聞き取りやすく的確に集音することができる。また、実施例１によれば、図３（ｂ）のステップＳ３６の説明のように、焦点状態が合焦状態である焦点検出位置の数に基づいて、対象の数を検出する。これにより、任意の対象について、複数の対象を認識して、複数の対象が発する音を適正に集音することができる。合焦位置を検出する例としてコントラスト検出ＡＦ方式を挙げたが、他に例えば位相差検出ＡＦ方式を用いてもよい。顔の検出と合焦位置の検出とを組み合わせて対象の数を検出するようにしてもよい。
【００５０】
実施例１によれば、図３（ａ）、図３（ｂ）及び図６に示す処理により、複数の対象が動く場合においても、マイクが出力する音信号のレベルが所定のレベルと同一となるように、複数のマイクの少なくとも一つの感度を調整して、複数の対象が発する音を適正に集音することができる。
【００５１】
実施例１において、図２を参照して、カメラ１００の構成を説明した。図２に示す画像処理部２６、顔検出部２８、音制御部６０、音記録部６２の機能をＣＰＵ７０で実行されるソフトウェアにより構成してもよい。
【実施例２】
【００５２】
図７を参照して、実施例２に係るマイクの指向性及び感度を調整して複数の対象が発する音を集音する処理を説明する。図７は、マイクの指向性及び感度を調整して複数の対象が発する音を集音する処理のフローチャートである。
【００５３】
ステップＳ６０、Ｓ６２及びＳ６４は、それぞれ図３（ａ）のステップＳ１０、Ｓ１２及びＳ１４と同様の処理であるため、説明を省略する。ＣＰＵ７０は、撮像画像内における対象の範囲を認識する（ステップＳ６６）。
【００５４】
ここで、図８を参照して、ステップＳ６６について説明する。対象の範囲を認識する一例として、対象の顔の範囲を認識する場合を説明する。図８は、撮像画像における対象の顔の範囲の一例を示す図であって、図４に示す対象Ａ及びＢの表示に顔検出部２８が検出したそれぞれの顔１５０及び１５２の範囲を示す矩形を付加した図である。ＣＰＵ７０は、図８のように対象Ａの顔１５０が縦横の画素数が６である矩形内に含まれる場合に、顔１５０の範囲を６と認識する。同様に、ＣＰＵ７０は、対象Ｂの顔１５２の範囲を４と認識する。このように、図８では一辺の画素数が同じ矩形の範囲に顔の範囲が含まれる場合に、一辺の画素数を顔の範囲と定義している。なお、顔の範囲の定義は他の方法でもよい。例えば、縦横の画素数が異なる矩形の範囲に顔の範囲が含まれる場合に、矩形内の総画素数を顔の範囲と定義してもよい。また、矩形の代わりに例えば円形として、円形の半径若しくは直径又は円形内の画素数を顔の範囲と定義してもよい。
【００５５】
図７の説明に戻る。ＣＰＵ７０は、対象が発する音を集音するマイクを選択して、選択したマイクの指向性及び感度を調整するサブ処理を行う（ステップＳ６８）。ステップＳ６８に対応するサブ処理の詳細は後述する。
【００５６】
ＣＰＵ７０は、ＲＥＣボタンがオンされているか否かを判定する（ステップＳ７０）。ＣＰＵ７０は、ＲＥＣボタンがオンされている場合にＹｅｓと判定する。ステップＳ７０がＮｏの場合、ＣＰＵ７０はステップＳ６０に戻る。ステップＳ７０がＹｅｓの場合、ＣＰＵ７０はステップＳ７１、Ｓ７２、Ｓ７４、Ｓ７６及びＳ７８の処理を行う。ステップＳ７１、Ｓ７２、Ｓ７４、Ｓ７６及びＳ７８は、それぞれ図３（ａ）のステップＳ１９、Ｓ２０、Ｓ２２、Ｓ２４及びＳ２６と同様の処理であるため、説明を省略する。
【００５７】
ＣＰＵ７０は、ステップＳ７８に続いて、対象がＲＥＣ前位置情報に対応する位置から移動しているため、ＣＰＵ７０は、ステップＳ６６と同様に、対象の範囲を認識し直す（ステップＳ８０）。ＣＰＵ７０は、認識し直した対象の方向及び範囲に基づいて、対象が発する音を集音するマイクを選択して、選択したマイクの指向性及び感度を調整するサブ処理を行う（ステップＳ８２）。ステップＳ８２に対応するサブ処理の詳細はステップＳ６８と同様のため後述する。
【００５８】
ＣＰＵ７０は、ＲＥＣ前位置情報をＲＥＣ後位置情報に更新する（ステップＳ８４）。ＣＰＵ７０は、ＲＥＣボタンがオフされているか否かを判定する（ステップＳ８６）。ＣＰＵ７０は、ＲＥＣボタンがオフされている場合にＹｅｓと判定する。ステップＳ８６がＹｅｓの場合、ＣＰＵ７０は処理を終了する。ステップＳ８６がＮｏの場合、ＣＰＵ７０はステップＳ７１に戻って処理を繰り返す。以上が図７の説明である。
【００５９】
図９を参照して、ステップＳ６８及びＳ８２に対応するマイクの指向性及び感度を調整するサブ処理を説明する。図９は、マイクの指向性及び感度を調整するサブ処理のフローチャートである。
【００６０】
ＣＰＵ７０は、図７のステップＳ６４又はステップＳ７８で認識したカメラ１００に対する対象の方向に基づいて、マイクを選択する（ステップＳ８８）。ＣＰＵ７０は、図７のステップＳ６６又はステップＳ８０で認識した対象の範囲に基づいて、選択したマイクの指向性を調整する（ステップＳ９０）。
【００６１】
ステップＳ９０について、図１０を参照して説明する。図１０は、対象の範囲とマイクの指向性との関係を示す図である。図１０は、図５と同様に、カメラ１００並びに対象Ａ及びＢをＸ−Ｙ平面上に配置した例を示しており、破線で示す領域１６０、１６２及び１６４はそれぞれマイク４４、４６及び４８により集音可能な領域を示す。角度θ１及びθ２で表される範囲は、マイク４８の指向性を模式的に示しており、指向性制御モータにより調整することができる。同様に、角度θ３及びθ４で表される範囲は、マイク４４の指向性を模式的に示している。角度θ２で表される範囲は対象Ａの範囲に比べて広いため、マイク４８は対象Ａが発する音以外に、角度θ２で表される範囲内の対象Ａの周辺の音も集音してしまう。したがって、マイク４８は対象Ａが発する音を的確に集音することができない。一方、角度θ１で表される範囲は対象Ａの範囲とほぼ一致している。よって、マイク４６の指向性の範囲を角度θ１で表される範囲に調整することにより、対象Ａが発する音を的確に集音することができる。同様に、角度θ３で表される範囲は対象Ｂの範囲とほぼ一致しているため、マイク４４の指向性の範囲を角度θ３で表される範囲に調整することにより、対象Ｂが発する音を的確に集音することができる。
【００６２】
図９の説明に戻る。ＣＰＵ７０は、図３（ａ）のステップＳ３６と同様に、対象の数が複数であるか否かを判定する（ステップＳ９４）。ＣＰＵ７０は、対象の数が複数の場合にＹｅｓと判定する。ＣＰＵ７０は、ステップＳ７１がＮｏの場合に処理を終了する。ＣＰＵ７０は、ステップＳ９４がＹｅｓの場合に、検出した対象の範囲が所定の基準値と等しいか否かを判定する（ステップＳ９６）。所定の基準値はユーザが設定してもよいし、あらかじめ設定されてもよい。ＣＰＵ７０は、検出した対象の範囲と所定の基準値とが等しい場合Ｙｅｓと判定する。ＣＰＵ７０は、ステップＳ９６がＮｏの場合、検出した対象の範囲が所定の基準値より大きいか否かを判定する（ステップＳ９８）。ＣＰＵ７０は、検出した対象の範囲が所定の基準値より大きい場合Ｙｅｓと判定する。ＣＰＵ７０は、ステップＳ９８がＹｅｓの場合、対応するＶＣＡの制御により、ステップＳ８８で選択したマイクの感度を下げる（ステップＳ１００）。ＣＰＵ７０は、ステップＳ７４がＮｏの場合、対応するＶＣＡの制御により、ステップＳ６８で選択したマイクの感度を上げる（ステップＳ１０２）。
【００６３】
ここで、図８を参照して、ステップＳ９６、Ｓ９８、Ｓ１００及びＳ１０２について説明する。例えばユーザが、対象の範囲が５である対象が発する音を適正なレベルで記録したいと考え、所定の基準値を５と設定したとする。対象Ａの範囲は所定の基準値より大きい６であるため、カメラ１００は対象Ａとの距離が近いと推定する。この場合、マイク４８の感度を下げることにより、対象Ａが発する音をより小さいレベルで集音することができる。一方、対象Ｂの範囲は所定の基準値より小さい４であるため、カメラ１００は対象Ｂとの距離が大きいと推定する。この場合、マイク４８の感度を上げることにより、対象Ｂが発する音をより大きいレベルで集音することができる。このように、集音される音信号のレベルと対象の範囲が所定の基準値である対象が発する音信号のレベルとを互いに同一とすることができる。
【００６４】
図９の説明に戻る。ＣＰＵ７０は、ステップＳ８８で選択した全てのマイクの感度の調整が終了したか否かを判定する（ステップＳ１０４）。ＣＰＵ７０は、ステップＳ８８で選択した全てのマイクの感度の調整が終了した場合Ｙｅｓと判定する。ＣＰＵ７０は、ステップＳ１０４がＮｏの場合、ステップＳ９６に戻る。ＣＰＵ７０は、ステップＳ１０４がＹｅｓの場合、処理を終了する。
【００６５】
実施例２によれば、図９のステップＳ９０及び図１０のように、対象の顔の範囲とマイクの指向性の範囲とが一致するように、音制御部６０及び指向性制御モータ５６がマイク４４、４６及び４８の少なくとも一つの指向性を調整する。これにより、対象の周辺の音が集音されることを抑制することができるため、対象が発する音を的確に集音することができる。
【００６６】
実施例２において、図９のステップＳ９４のＹｅｓのように対象の数が複数の場合に、図９のステップＳ９６、Ｓ９８、Ｓ１００及びＳ１０２のように、対象の顔の範囲に基づいて、マイクの少なくとも一つの感度を調整する例を説明した。すなわち、対象の顔の範囲が所定の範囲より大きい場合にマイクの少なくとも一つの感度を下げて、対象の顔の範囲が所定の範囲より小さい場合にマイクの少なくとも一つの感度を上げる。これにより、撮像装置が認識する複数の対象の顔の範囲が互いに異なる場合であっても、対応するマイクの感度を調整して、集音される音信号のレベルを同一とすることができる。他に例えば、対応するマイクの感度を調整して、集音される音信号のレベルが所定の範囲内となるようにしてもよい。図９のフローチャートでは、対象の範囲の値と所定の基準値とを比較して、感度を調整する例を説明した。他に例えば、対象の範囲が最も大きい対象以外の対象の音を集音可能なマイクの感度を上げて、マイクが出力する各音信号のレベルが同一又は所定の範囲内となるように調整してもよい。逆に、対象の範囲が最も小さい対象以外の対象の音を集音可能なマイクの感度を上げて、マイクが出力する各音信号のレベルが同一又は所定の範囲内となるように調整してもよい。
【００６７】
撮像装置が認識する対象の顔の範囲の大小は、撮像装置と対象との距離に反比例する。すなわち、撮像装置が認識する対象の顔の範囲が大きければ、撮像装置と対象との距離は近く、撮像装置が認識する対象の顔の範囲が小さければ、撮像装置と対象との距離は遠い。したがって、対象の顔の範囲の代わりに、対象との距離に基づいて、マイクの少なくとも一つの感度を調整するようにしてもよい。例えば、対象との距離が所定の距離より大きい場合にマイクの少なくとも一つの感度を下げて、対象との距離が所定の距離より小さい場合にマイクの少なくとも一つの感度を上げる。対象との距離は、ＡＦユニットにより検出された合焦位置から推定してもよい。
【実施例３】
【００６８】
図１１（ａ）を参照して、実施例３に係るパターンファイルを生成する処理を説明する。図１０はパターンファイルを生成する処理のフローチャートである。パターンファイルとは、記憶した対象の位置情報に基づいて、マイクの感度を調整するための制御情報のパターンを記したデータである。パターンファイルのデータの形式は、特にファイルでなくともよい。マイクの感度を調整するための制御情報とは、ＣＰＵ７０が音制御部６０へ送信するコマンド、ＶＣＡに印加する電圧値等である。
【００６９】
ＣＰＵ７０は、ＲＥＣボタンがオンであるか否かを確認する（ステップＳ１１０）。ＣＰＵ７０は、ＲＥＣボタンがオンの場合にＹｅｓと判定する。ステップＳ１１０がＮｏの場合、処理を終了する。ステップＳ１１０がＹｅｓの場合、ＣＰＵ７０は、図３（ａ）のステップＳ１０及びＳ２０並びに図７のステップＳ６０及びＳ７２と同様に、対象の位置情報を検出する（ステップＳ１１２）。ＣＰＵ７０は、メモリ３４に対象の位置情報を記憶する（ステップＳ１１４）。ＣＰＵ７０は、ＲＥＣボタンがオフであるか否かを確認する（ステップＳ１１６）。ＣＰＵ７０は、ＲＥＣボタンがオフの場合、Ｙｅｓと判定する。ステップＳ１１６がＮｏの場合、ＣＰＵ７０は、ステップＳ１１２に戻り、ＲＥＣボタンがオフになるまで、対象の位置情報の検出及び記憶を繰り返し行う。ＣＰＵ７０は、ステップＳ１１６がＹｅｓの場合、記憶した対象の位置情報に基づいて、パターンファイルを生成して（ステップＳ１１０）、処理を終了する。
【００７０】
図１１（ｂ）を参照して、実施例３に係るパターンに基づいて対象が発する音を集音する処理を説明する。図１１（ｂ）は、パターンに基づいて対象が発する音を集音する処理のフローチャートである。
【００７１】
ＣＰＵ７０は、パターンファイルを再生するか否かを判定する（ステップＳ１２０）。ＣＰＵ７０は、ユーザによるパターンファイルの再生の開始の指示がある場合にＹｅｓと判定する。ユーザによるパターンファイルの再生の開始の指示は、例えば表示パネル４０に表示される操作画面を操作部６８の操作により行う。ステップＳ１２０がＹｅｓの場合、ＣＰＵ７０は表示パネル４０にパターンを表示する（ステップＳ１２２）。ここで、表示されるパターンは、例えば図４のように、対象の位置に重ねられた枠９１及び９３である。ＣＰＵ７０は、パターンに基づいてマイクの感度を調節しながら対象が発する音の集音を行う（ステップＳ１２４）。ＣＰＵ７０は、パターンファイルの再生を終了するか否かを判定する（ステップＳ１２６）。ＣＰＵ７０は、ユーザによるパターンファイルの再生の終了の指示がある場合にＹｅｓと判定する。ＣＰＵ７０は、ステップＳ１２６がＮｏの場合に、ステップＳ１２２に戻り、パターンの表示及びパターンによる集音を継続する。ＣＰＵ７０は、ステップＳ１２６がＹｅｓの場合に処理を終了する。
【００７２】
実施例３によれば、図１１（ａ）のステップＳ１１４のように、メモリ３４がマイク４４、４６及び４８の感度を調整するパターンを記憶し、図１１（ｂ）のステップＳ１２４のように、音制御部６０及びＶＣＡ５０、５２及び５４がパターンに基づいてマイク４４、４６及び４８の感度を調整する。これにより、対象が所定の動作を行いながら音を発するシーンや複数の対象の位置関係が同じ場合のシーンの集音を繰り返し行う場合に、対象の位置検出を繰り返し行うことなく、効率よく行うことができる。
【００７３】
実施例１から３において、撮像装置の一例として、カメラを例に説明した。撮像装置は、他にビデオカメラやカメラ付き携帯電話等でもよい。
【００７４】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００７５】
１０      光学系
１８      撮像素子
２２      ＡＦユニット
２４      シャッタユニット
２６      画像処理部
２８      顔検出部
３４      メモリ
４０      表示パネル
４４、４６、４８      マイク
５０、５２、５４      ＶＣＡ
５６      指向性制御モータ
６０      音制御部
６２      音記録部
６６      ＲＥＣボタン
７０      ＣＰＵ
１００    撮像装置
【図１】
2011114769.tif 000003
【図２】
2011114769.tif 000004
【図３】
2011114769.tif 000005
【図４】
2011114769.tif 000006
【図５】
2011114769.tif 000007
【図６】
2011114769.tif 000008
【図７】
2011114769.tif 000009
【図８】
2011114769.tif 000010
【図９】
2011114769.tif 000011
【図１０】
2011114769.tif 000012
【図１１】
2011114769.tif 000013