(57)【要約】【課題】画像とともに得られる音声を、撮影者の撮影意図に応じたものにすることができる撮像装置を提供する。また、画像とともに再生する音声を、撮影者の撮影意図に応じたものにすることができる再生装置を提供する。【解決手段】撮像装置は、撮影により画像を取得する少なくとも１つの撮像部３、撮像部３の撮影と共に集音して音声を取得する少なくとも１つの集音部７、画像を表示する少なくとも１つの表示部２３、を備える。そして、表示部２３が画像を表示する方向と撮像部３が撮影する方向との相対的な関係と、画像中の特定被写体の検出結果と、に応じて集音部７により取得した音声に対して音声補正処理を施す。【選択図】図２
2011071962.tif 000002
【特許請求の範囲】
【請求項１】
撮影により画像を取得する少なくとも１つの撮像手段、
前記撮像手段の撮影と共に集音して音声を取得する少なくとも１つの集音手段、
前記画像中から特定被写体を検出する特定被写体検出手段、
前記画像を表示する少なくとも１つの表示手段、
前記表示手段が前記画像を表示する方向と、前記撮像手段が撮影する方向と、の相対的な関係を検出する方向関係検出手段、
前記特定被写体検出手段による特定被写体の検出結果と、前記方向関係検出手段によって検出される関係と、に応じて前記集音手段により取得した前記音声に対して音声補正処理を施す音声補正手段、
を備えることを特徴とする撮像装置。
【請求項２】
前記表示手段及び前記撮像手段の少なくとも１つを回動可能にする回動手段をさらに備え、
前記方向関係検出手段が、前記表示手段が前記画像を表示する方向と、前記撮像手段が撮影する方向と、が所定の程度よりも近いことを当該回動手段に基づいて検出し、且つ、前記特定被写体検出手段が、前記画像中から特定被写体を検出する場合に、
前記音声補正手段が、前記集音手段により取得した前記音声に対して前記音声補正処理を施すことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記音声補正処理の内容を通知する通知手段をさらに備え、
前記音声補正手段が、前記集音手段により取得した前記音声に対して前記音声補正処理を施すとき、当該音声補正処理の内容を前記通知手段が通知することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記音声補正手段は、前記集音手段により取得した前記音声のうち、前記特定被写体が存在する方向から到来して集音された成分を強調する処理を、前記音声補正処理の１つとして行うことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記特定被写体検出手段により、複数の特定被写体が検出された場合、当該複数の特定被写体のうち、最も大きな特定被写体を特定する特定手段をさらに備え、
前記音声補正手段は、前記集音手段により取得した前記音声のうち、前記特定手段により特定される特定被写体が存在する方向から到来して集音された成分を強調する処理を、前記音声補正処理の１つとして行うことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記特定被写体検出手段により、複数の特定被写体が検出された場合、当該複数の特定被写体の各々の特徴と、予め取得された特定被写体画像の特徴との照合を行う照合手段をさらに備え、
前記音声補正手段は、前記集音手段により取得した前記音声のうち、前記照合手段により特徴が一致するとされる特定被写体が存在する場合、当該特定被写体が存在する方向から到来する成分を強調する処理を、前記音声補正処理の１つとして行うことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項７】
前記音声補正手段は、
前記集音手段により取得した前記音声のうち、特定位置から到来して集音された成分のレベルの調整を行う信号レベル調整処理、
前記音声の特定周波数帯域のレベルの調整を行う帯域レベル調整処理、
の少なくとも１つの処理を、前記音声補正処理の１つとして行うことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
前記特定被写体が、人物の顔であることを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
【請求項９】
前記撮像手段が撮影する方向と、少なくとも２つの前記集音手段が集音するそれぞれの方向と、の相対的な関係を検出する画像音声関係検出手段をさらに備え、
前記集音手段が、異なるチャンネルに属する前記音声のそれぞれを集音するとき、
前記音声補正手段が、前記画像音声関係検出手段によって検出される関係に応じて、前記集音手段が取得した音声が属するチャンネルを補正することを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
【請求項１０】
前記撮像手段を、前記集音手段と独立して回動可能にする回動手段をさらに備え、
前記撮像手段が撮影する方向に対する少なくとも２つの前記集音手段が集音するそれぞれの方向の入れ替わりの有無を、前記画像音声関係検出手段が当該回動手段に基づいて検出し、
前記画像音声関係手段が前記入れ替わりを検出する場合、前記音声補正手段が、前記入れ替わりが検出された前記集音手段のそれぞれが取得する前記音声が属するチャンネルを入れ替えることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮影により取得された画像と、当該画像の撮影とともに集音されて取得された音声と、を再生する再生手段、
前記画像が撮影されていた方向と、撮影時に前記画像が表示されていた方向と、の相対的な関係を検出する方向関係検出手段、
前記画像中の特定被写体と、前記方向関係検出手段によって検出される関係と、に応じて前記再生手段が再生する前記音声に対して音声補正処理を施す音声補正手段、
を備えることを特徴とする再生装置。
【請求項１２】
撮影により前記画像を取得する少なくとも１つの撮像手段、
前記撮像手段の撮影と共に集音して前記音声を取得する少なくとも１つの集音手段、
前記画像を表示する少なくとも１つの表示手段、
前記表示手段及び前記撮像手段の少なくとも１つを回動可能にする回動手段、
当該回動手段の回動状態を示す回動情報を前記画像及び前記音声と共に記録する記録手段、
前記画像中から特定被写体を検出する特定被写体検出手段、をさらに備え、
前記方向関係検出手段が、前記表示手段が前記画像を表示する方向と、前記撮像手段が撮影する方向と、が所定の程度よりも近いことを、前記記録手段に記録されている前記回動情報から検出し、且つ、前記特定被写体検出手段が、前記画像中から特定被写体を検出する場合に、
前記音声補正手段が、前記再生手段が再生する前記音声に対して前記音声補正処理を施すことを特徴とする請求項１１に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
音声及び映像の記録が可能な撮像装置、並びに、音声及び映像の再生が可能な再生装置に関する。特に、撮影時の撮像装置の状態及び撮影により取得される映像に基づいて、音声を記録する撮像装置や、出力する音声を処理する再生装置に関する。
【背景技術】
【０００２】
現在、映像とともに音声の記録が可能な撮像装置としてビデオカメラが広く普及している。このようなビデオカメラには、ビデオカメラの撮像部が捉えている撮影領域（被写体）を表示するモニタを有する表示部が備えられている。撮影者はこの表示部のモニタで撮影領域を確認しながら、構図の設定、合焦制御などを行う。
【０００３】
モニタが画像を表示する方向は撮影者側、即ち、撮影方向（被写体側）とは反対側であることが一般的である。しかし近年では、表示部を回動させてモニタの表示方向を撮影方向と同一方向に向け、撮影者がモニタに表示された撮影領域を確認しながら自身を撮影する、所謂、「自分撮り」を行うことができるビデオカメラも多数ある。「自分撮り」を行う場合、撮影者は、自身または自身を含む複数の人物を中心とした動画像の撮影を行いたいと想定され、音声の集音は、撮影方向の音声を強調して集音することが望ましい。
【０００４】
例えば、特許文献１では、表示部にマイクロフォン（以下、マイクと記載する。）が装着されているカメラにおいて、マイクの向き（撮影方向か、その反対方向か）に応じてマイクが集音した音声の聴感補正を行うことで、撮影時のマイクの向きに応じて記録する音声が変動することを抑制する方法が提案されている。
【０００５】
また、特許文献２には、撮影領域内に含まれる特定物の大きさに基づき、マイクの指向性を変更し、集音した音声の特定の周波数帯域を強調する等の音声処理を行うことで、撮影者の意図に応じた音声の記録を行う方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０６−３０２１６９
【特許文献２】特開２００９−６５５８７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
「自分撮り」を行う場合、例えば、ビデオカメラを三脚に固定して撮影を行う方法や、撮影者がビデオカメラを持つとともに撮像部を自分自身に向けて撮影を行う方法等、様々な撮影方法が行われ得る。即ち、ビデオカメラに対する被写体（撮影者）の状態（例えば、ビデオカメラと被写体との距離）は、様々なものと成り得る。しかし、特許文献１に開示されている発明は、マイクが集音した音声に対して、マイクの向きのみに応じた聴感補正を施すものである。そのため、ビデオカメラに対する被写体の状態によっては、「自分撮り」を行う場合に、撮影者の意図に沿った音声が得られないことがある。
【０００８】
一方、特許文献２に開示されている発明では、撮影領域内に含まれる被写体の大きさとズーム倍率とに応じて、マイクが集音した音声を補正することが可能である。しかし、当該発明では、「自分撮り」であるか通常の撮影であるかにかかわらず、同じ音声処理を施すことになる。そのため、音声処理の内容によっては、「自分撮り」を行う場合に、撮影者の意図に沿った音声が得られないことがある。
【０００９】
本発明は、画像とともに得られる音声を、撮影者の撮影意図に応じたものにすることができる撮像装置を提供することを目的とする。また、画像とともに再生する音声を、撮影者の撮影意図に応じたものにすることができる再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、撮影により画像を取得する少なくとも１つの撮像手段、前記撮像手段の撮影と共に集音して音声を取得する少なくとも１つの集音手段、前記画像中から特定被写体を検出する特定被写体検出手段、前記画像を表示する少なくとも１つの表示手段、前記表示手段が前記画像を表示する方向と、前記撮像手段が撮影する方向と、の相対的な関係を検出する方向関係検出手段、前記特定被写体検出手段による特定被写体の検出結果と、前記方向関係検出手段によって検出される関係と、に応じて前記集音手段により取得した前記音声に対して音声補正処理を施す音声補正手段、を備えることを特徴とする。
【００１１】
以下の実施の形態では、方向関係検出手段の一例として、回動検出部、方向関係検出部またはＣＰＵを挙げて説明している。
【００１２】
また、上記構成の撮像装置において、前記表示手段及び前記撮像手段の少なくとも１つを回動可能にする回動手段をさらに備え、前記方向関係検出手段が、前記表示手段が前記画像を表示する方向と、前記撮像手段が撮影する方向と、が所定の程度よりも近いことを当該回動手段に基づいて検出し、且つ、前記特定被写体検出手段が、前記画像中から特定被写体を検出する場合に、前記音声補正手段が、前記集音手段により取得した前記音声に対して前記音声補正処理を施すこととしてもよい。
【００１３】
また、上記構成の撮像装置において、前記音声補正処理の内容を通知する通知手段をさらに備え、前記音声補正手段が、前記集音手段により取得した前記音声に対して前記音声補正処理を施すとき、当該音声補正処理の内容を前記通知手段が通知することとしてもよい。
【００１４】
このように構成すると、例えば撮影者が「自分撮り」を行う場合に、撮影者が撮影中に撮影の構図を適宜確認でき、且つ、音声補正処理の内容を確認することができる。
【００１５】
また、上記構成の撮像装置において、前記音声補正手段は、前記集音手段により取得した前記音声のうち、前記特定被写体が存在する方向から到来して集音された成分を強調する処理を、前記音声補正処理の１つとして行うこととしてもよい。
【００１６】
また、上記構成の撮像装置において、前記特定被写体検出手段により、複数の特定被写体が検出された場合、当該複数の特定被写体のうち、最も大きな特定被写体を特定する特定手段をさらに備え、前記音声補正手段は、前記集音手段により取得した前記音声のうち、前記特定手段により特定される特定被写体が存在する方向から到来して集音された成分を強調する処理を、前記音声補正処理の１つとして行うこととしてもよい。
【００１７】
また、上記構成の撮像装置において、前記特定被写体検出手段により、複数の特定被写体が検出された場合、当該複数の特定被写体の各々の特徴と、予め取得された特定被写体画像の特徴との照合を行う照合手段をさらに備え、前記音声補正手段は、前記集音手段により取得した前記音声のうち、前記照合手段により特徴が一致するとされる特定被写体が存在する場合、当該特定被写体が存在する方向から到来する成分を強調する処理を、前記音声補正処理の１つとして行うこととしてもよい。
【００１８】
また、上記構成の撮像装置において、前記音声補正手段は、前記集音手段により取得した前記音声のうち、特定位置から到来して集音された成分のレベルの調整を行う信号レベル調整処理、前記音声の特定周波数帯域のレベルの調整を行う帯域レベル調整処理、の少なくとも１つの処理を、前記音声補正処理の１つとして行うこととしてもよい。
【００１９】
また、上記構成の撮像装置において、前記特定被写体が、人物の顔であることとしてもよい。
【００２０】
また、上記構成の撮像装置において、前記撮像手段が撮影する方向と、少なくとも２つの前記集音手段が集音するそれぞれの方向と、の相対的な関係を検出する画像音声関係検出手段をさらに備え、前記集音手段が、異なるチャンネルに属する前記音声のそれぞれを集音するとき、前記音声補正手段が、前記画像音声関係検出手段によって検出される関係に応じて、前記集音手段が取得した音声が属するチャンネルを補正することとしてもよい。
【００２１】
このように構成すると、集音後に画像と音声のチャンネルとが対応するように補正することができる。なお、以下の実施の形態では、画像音声関係検出手段の一例として、回動検出部、方向関係検出部またはＣＰＵを挙げて説明している。
【００２２】
また、上記構成の撮像装置において、前記撮像手段を、前記集音手段と独立して回動可能にする回動手段をさらに備え、前記撮像手段が撮影する方向に対する少なくとも２つの前記集音手段が集音するそれぞれの方向の入れ替わりの有無を、前記画像音声関係検出手段が当該回動手段に基づいて検出し、前記画像音声関係手段が前記入れ替わりを検出する場合、前記音声補正手段が、前記入れ替わりが検出された前記集音手段のそれぞれが取得する前記音声が属するチャンネルを入れ替えることとしてもよい。
【００２３】
このように構成すると、撮像部及び表示部の回動によって、画像と音声のチャンネルとが対応しないものと成り得る構成であっても、集音後に画像と音声のチャンネルとが対応するように補正することができる。
【００２４】
また、本発明の再生装置は、撮影により取得された画像と、当該画像の撮影とともに集音されて取得された音声と、を再生する再生手段、前記画像が撮影されていた方向と、撮影時に前記画像が表示されていた方向と、の相対的な関係を検出する方向関係検出手段、前記画像中の特定被写体と、前記方向関係検出手段によって検出される関係と、に応じて前記再生手段が再生する前記音声に対して音声補正処理を施す音声補正手段、を備えることを特徴とする。
【００２５】
また、上記構成の再生装置において、撮影により前記画像を取得する少なくとも１つの撮像手段、前記撮像手段の撮影と共に集音して前記音声を取得する少なくとも１つの集音手段、前記画像を表示する少なくとも１つの表示手段、前記表示手段及び前記撮像手段の少なくとも１つを回動可能にする回動手段、当該回動手段の回動状態を示す回動情報を前記画像及び前記音声と共に記録する記録手段、前記画像中から特定被写体を検出する特定被写体検出手段、をさらに備え、前記方向関係検出手段が、前記表示手段が前記画像を表示する方向と、前記撮像手段が撮影する方向と、が所定の程度よりも近いことを、前記記録手段に記録されている前記回動情報から検出し、且つ、前記特定被写体検出手段が、前記画像中から特定被写体を検出する場合に、前記音声補正手段が、前記再生手段が再生する前記音声に対して前記音声補正処理を施すこととしてもよい。
【発明の効果】
【００２６】
表示方向及び撮影方向の関係と、画像中の特定被写体の状態と、に応じた音声補正処理を、画像とともに得られる音声に施すため、撮影者の撮影意図に応じた音声を得ることができる。
【００２７】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２８】
【図１】本発明に係る撮像装置の構成の概略を示すブロック図である。
【図２】本発明に係る撮像装置の外観の概略を示す図解図である。
【図３】本発明に係る撮像装置の動画撮影時の基本動作の概略を示すフローチャートである。
【図４】本発明に係る撮像装置の動画撮影時における動画記録処理の基本動作の概略を示すフローチャートである。
【図５】本発明に係る撮像装置の回動部２５の内部構成の概略を示すブロック図である。
【図６】顔検出装置の構成の概略を示すブロック図である。
【図７】縮小画像生成手段によって得られる階層画像の一例を示す図解図である。
【図８】顔検出処理の処理動作を示す図解図である。
【図９】本発明の実施例１に係る音声処理部１１の内部構成の概略を示すブロック図である。
【図１０】本発明の実施例１に係るステレオマイクの集音指向について示す模式図である。
【図１１】本発明に係るステレオ化処理部の内部構成の概略を示すブロック図である。
【図１２】マイクと音源の位置関係を示す模式図である。
【図１３】指向性制御部１１５の内部構成の概略を示すブロック図である。
【図１４】マイクと音源の位置関係を示す模式図である。
【図１５】本発明の実施例２に係る再生装置の内部構成を示すブロック図である。
【図１６】本発明の実施例３に係る撮像装置の構成の概略を示すブロック図である。
【図１７】本発明の実施例３に係る撮像装置の外観の概略を示す図解図である。
【図１８】本発明の実施例３に係る撮像装置の要部構成を示すブロック図である。
【図１９】本発明の実施例４に係る撮像装置の外観の概略を示す図解図である。
【図２０】本発明の実施例５に係る撮像装置の構成の概略を示すブロック図である。
【図２１】本発明の実施例５に係る撮像装置の外観の概略を示す図解図である。
【図２２】本発明の実施例６に係る撮像装置に備えられる制御切替部１１２の要部構成を示すブロック図である。
【発明を実施するための形態】
【００２９】
＜実施例１＞
本発明を音声や映像の記録、再生が可能なデジタルカメラやデジタルビデオカメラ等の撮像装置に実施した形態について、図面を参照して説明する。当該撮像装置は動画を撮影できるものであれば、静止画の撮影が可能なものであってもよい。
【００３０】
（撮像装置の構成）
図１は、本実施例に係る撮像装置の内部構成の概略を示すブロック図である。図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのイメージセンサ（固体撮像素子）１、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部３、イメージセンサ１から出力されるアナログの画像信号をデジタルの画像信号に変換するＡＦＥ（Analog Front End）５、到来する音声を独立して集音し、アナログの音声信号に変換するマイク７Ｌ及び７Ｒから構成されるステレオマイク７、ＡＦＥ５から出力されるデジタル画像信号に対して、階調補正等の各種画像処理を施す画像処理部９、ステレオマイク７から出力されるアナログ音声信号をデジタル音声信号に変換し、撮影時の状況に応じて音声補正処理などを行う音声処理部１１、静止画を撮影する場合は画像処理部９からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）など、動画を撮影する場合は画像処理部９から出力される画像信号と音声処理部１１からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）などの圧縮符号化処理を施す圧縮処理部１３、圧縮処理部１３で圧縮符号化された圧縮符号化信号をＳＤ（Secure Digital）メモリカードなどの外部メモリ４７に記録するドライバ部４９、ドライバ部４９で外部メモリ４７から読み出した圧縮符号化信号を伸長して復号する伸長処理部１７、伸長処理部１７で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１９、ビデオ出力回路部１９で変換された信号を出力するビデオ出力端子２１、ビデオ出力回路部１９からの信号に基づく画像の表示を行うＬＣＤ（Liquid Crystal Display）等のモニタを有する表示部２３、表示部２３を回動させるための回動部２５、伸長処理部１７で復号されて得られた音声信号をアナログ信号に変換する音声出力回路部２９と、音声出力回路部２９で変換された信号を出力する音声出力端子３１、音声出力回路部２９からの音声信号に基づいて音声を再生出力するスピーカ部３３、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）３５、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）３７、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ３９、録画の開始及び停止の指示を入力するためのボタンを含む撮影者からの指示が入力される操作部４１、ＣＰＵ３７と各ブロックとの間でデータのやりとりを行うためのバス回線４３、及びメモリ３９と各ブロックとの間でデータのやりとりを行うためのバス回線４５を備える。なお、ＣＰＵ３７が、画像処理部９で検出した画像信号に応じて、レンズ部３のモータを駆動して焦点、絞りの制御を行ってもよい。
【００３１】
（撮像装置の基本動作  動画撮影、再生時）
次に、この撮像装置の動画撮影時の基本動作について説明する。図２は、本実施例に係る撮像装置の外観の概略を示す図解図である。この撮像装置は、通常撮影モードと自分撮りモードの２種類の撮影モードがある。
【００３２】
通常撮影モードで動画撮影を行う場合は、図２（ａ）に示すように、表示部２３のモニタ（図２（ｂ）の灰色部分）が向いている方向（画像を表示する方向。図２（ａ）では紙面奥方向。以下、表示方向と記載する。）と、レンズ部３が向いている方向（撮影する方向。図２（ａ）では紙面手前方向。以下、撮影方向と記載する。）と、が反対方向（表示方向と撮影方向とが所定の程度（例えば角度）以上に離れた状態。以下同じ。）となる。
【００３３】
一方、自分撮りモードで動画撮影を行う場合は、図２（ｂ）に示すように、表示方向（紙面手前方向）と撮影方向（紙面手前方向）とが略同一方向（表示方向と撮影方向とが所定の程度（例えば角度）よりも近い状態。以下同じ。）となる。
【００３４】
図３及び図４はこの撮像装置の動画撮影時の基本動作の概略を示すフローチャートである。まず、撮影者が撮像装置を動画撮影用に設定して電源をＯＮにすると、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（Ｓ４００）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ５においてデジタル信号に変換されて、画像処理部９で画像処理が施され、表示部２３に表示される。
【００３５】
図５は回動部２５の内部構造を示すブロック図である。回動部２５は、表示部２３の回動を検出する回動検出部２５１及び表示部２３の回動角度に応じてモニタの表示制御を行うモニタ表示制御部２５２を備えている。回動検出部２５１は、例えば、特開平６−３０２１６９号公報に開示されているレバー式マイクロスイッチを用いることで実現できる。また、回動部２５に表示部２３の回動角を検知するためのロータリーエンコーダを備え、表示部２３の回動角を逐次検出し、当該回動角が所定値を超えた場合に表示部２３が回動されたと判断するようにしてもよい。プレビューモード時において、表示部２３が回動部２５を介して回動され、図２（ｂ）に示すようなレンズ部３が向いている方向と略同一方向に向けられる（Ｓ４０２でＹｅｓ）と、自分撮りモードが選択され（Ｓ４０４）、自分撮りモードが選択されたことを示す撮影モード情報が音声処理部１１に出力される（Ｓ４０６）。
【００３６】
自分撮りモードの場合、表示部２３のモニタは、結果的に通常撮影モード時に対して上下方向及び左右方向がそれぞれ反転した画像を表示することになる。そのため、モニタ表示制御部２５２は、プレビュー用の画像の上下方向及び左右方向がそれぞれ反転して表示部２３のモニタに表示されるように、表示部２３を制御する（Ｓ４０８）。なお、自分撮りモードが選択された場合、撮影モードが自分撮りモードに設定されたことを示す情報を表示部２３に表示すると共にステレオマイク７によって集音された音声に対して施す音声補正処理の内容を示す情報を表示する。前記情報は、例えば、ステレオ録音やモノラル録音などの録音方式を示す情報や、音声強調処理の内容を示す情報等である。これらの情報の表示は、文字で行ってもよいし、アイコンなどのオブジェクトで表示するようにしてもよい。また、自分撮りモードが選択されるのに必要な表示部２３の回動角度を撮影者が任意で設定できるようにしてもよい。表示部２３が回動されない場合（Ｓ４０２でＮｏ）は通常撮影モードが選択された（Ｓ４１０）ものとし、通常撮影モードが選択されたことを示す撮影モード情報が音声処理部１１に出力される（Ｓ４１２）。このとき、通常撮影モードに設定されたことを示す情報を表示部２３に表示するようにしてもよい。
【００３７】
続いて撮影者が、撮影の対象とする被写体（自分撮りモードの場合は撮影者自身）に対して所望の撮影領域となるように、光学ズームでのズーム倍率を設定する（Ｓ４１４）。その際、画像処理部９に入力された画像信号を基にＣＰＵ３７によってレンズ部３を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（Ｓ４１６）。
【００３８】
その後、操作部４１の録画開始ボタンが押下され、録画動作を行うことが指示されると（Ｓ４１８でＹｅｓ）、動画記録処理（Ｓ４２０）が実行される。以後、操作部４１の録画停止ボタン（録画開始ボタンと兼用でもかまわない）が押下される（Ｓ４２２でＹｅｓ）まで動画記録処理を繰り返す。
【００３９】
図４は、動画記録中の音声集音処理動作を示すフローチャートである。
【００４０】
ステレオマイク７により集音された音声（Ｓ５００）は、アナログ音声信号として音声処理部１１に出力されて、Ａ/Ｄ変換によりデジタル音声信号に変換される（Ｓ５０２）。通常撮影モードで撮影中の場合（Ｓ５０４でＮｏ）、Ａ/Ｄ変換されたデジタル音声信号は、圧縮処理部１３に出力され、圧縮符号方式（例えば、MP3：MPEG-1/2 Audio Layer-3方式等）に基づいて圧縮符号化され（Ｓ５０６）、撮影された動画像と共にドライバ部４９を介して外部メモリ４７に記録される（Ｓ５０８）。
【００４１】
自分撮りモードで撮影中の場合（Ｓ５０４でＹｅｓ）、撮影領域内に顔が検出されると（Ｓ５１０でＹｅｓ）、デジタル音声信号は、検出された顔の位置、大きさ、及びレンズ部３のズーム倍率などに応じた音声補正処理（Ｓ５１２）が施される。
【００４２】
このとき、音声補正処理を施した音声信号と共に、音声補正処理を施していない音声信号と、インデックスとして当該音声信号を取得した時点のズーム倍率情報、撮影モード情報（回動部２５の回動状態を示す情報としても解釈され得る）などを記録するようにしてもよい。また、図３に示したフローチャートでは、動画記録中は撮影モードの変更ができないものとなっているが、録画中に通常撮影モードと自分撮りモードを切り替え可能なようにしてもよい。その場合、所定時間毎（例えば、１フレーム毎）に表示部２３の回動状態を検出し、検出結果に応じて撮影モードを切り換えるようにすればよい。
【００４３】
このように撮像動作を行うとき、ＴＧ３５によって、ＡＦＥ５、画像処理部９、音声処理部１１、圧縮処理部１３、及び伸長処理部１７に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。
【００４４】
また、外部メモリ４７に記録された動画を再生することが、操作部４１を通じて指示されると、外部メモリ４７に記録された圧縮信号は、ドライバ部４９によって読み出されて伸長処理部１７に与えられる。そして、伸長処理部１７において、例えばＭＰＥＧなどの圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号が表示部２３に与えられて画像が再生されるとともに、音声信号が音声出力回路部２９を介してスピーカ部３３に与えられて音声が再生される。これにより、外部メモリ４７に記録された圧縮信号に基づく動画が音声と共に再生される。
【００４５】
（顔検出処理）
ここで、この撮像装置の顔検出処理について説明する。画像処理部９は顔検出装置９１を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置９１の構成及び動作について以下に説明する。
【００４６】
図６は、顔検出装置９１の構成の概略を示すブロック図である。顔検出装置９１は、ＡＦＥ５によって得られた画像信号に基づいて１または複数の縮小画像を生成する縮小画像生成部９１１、入力画像及びその縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定部９１２、および顔判定部９１２の検出結果を出力する検出結果出力部９１３を備えている。検出結果出力部９１３は、顔が検出された場合には、検出された顔の入力画像を基準とする大きさと位置及び顔の大きさから推定したレンズ部３から顔までの距離を出力する。
【００４７】
また、メモリ１８に記憶された重みテーブルは、撮影領域から顔を検出するのに用いる判定領域と同一の大きさの各エッジ特徴画像（例えば、水平方向エッジ画像や垂直方向エッジ画像など）の画素位置を、エッジ特徴画像の種類、エッジ特徴画像の各画素の行番号及び列番号で定義する。このような重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００４８】
なお、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００４９】
図７は、縮小画像生成部９１１によって得られる階層画像の一例を示している。階層画像とは、撮像装置が取得した画像を任意の縮小率Ｒ（０＜Ｒ＜１、理想的には０．８や０．９など１に近い値が望ましい）に従い縮小された複数の画像である。図７において、Ｐ１は入力画像を、Ｐ２〜Ｐ５はそれぞれＲ倍、Ｒ２倍、Ｒ３倍、Ｒ４倍に縮小された縮小画像を示している。Ｆ１は判定領域を示している。判定領域は、例えば、縦２４画素、横２４画素の大きさに設定される。判定領域の大きさは、入力画像及びその縮小画像においても同じである。顔検出処理は、各階層画像に設定された判定領域に対応する複数のエッジ特徴画像と重みテーブルを用いて行われる。本実施例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、画像の上方から下方に向かって行うことでパターンマッチングを行い、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像Ｐ１の他に、複数の縮小画像Ｐ２〜Ｐ５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる複数の顔を検出するためである。
【００５０】
図８は顔検出処理を説明するための図である。顔判定部９１２による顔検出処理は、各階層画像に対して行なわれるが、処理方法は同様なので、ここでは入力画像Ｐ１に対して行なわれる顔検出処理についてのみ説明する。図８には、入力画像Ｐ１と、入力画像内に設定された判定領域Ｆ１とを示している。
【００５１】
階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。そして、顔が検出されたとき、いずれの階層画像が用いられていたかによって、入力画像を基準とする顔の大きさ及びレンズ部３から顔までの距離を推定することができる。このようにして、検出された顔の位置、大きさ及びその顔を有する人物までの距離は検出結果出力部９１３によって出力される。なお、このような顔検出処理については、特開２００７−２５７３５８号公報に詳しく開示されている。
【００５２】
（音声補正処理）
次に、本実施例に係る音声補正処理について説明する。図９は本実施例の音声処理部１１の構成を示すブロック図である。
【００５３】
音声処理部１１は、図９に示すように、マイク７Ｌ及び７Ｒから出力されるアナログの音声信号である音声信号Ｌ及び音声信号Ｒをデジタルの音声信号に変換するＡ/Ｄ変換部１１０、画像処理部９からの顔検出信号及び回動検出部２５１からの撮影モード情報を受けて音声補正処理の要否や内容を決定する制御方法決定部１１１、制御方法決定部１１１から出力された音声補正処理の要否や内容を示す信号を受信し、マイク７Ｌ及び７Ｒから出力された２つの音声信号の出力先を切り替える制御切替部１１２、制御切替部１１２から出力された２つの音声信号の特定周波数帯域を強調する特定帯域強調部１１３、制御切替部１１２から出力された２つの音声信号のステレオ感を強調するステレオ感強調部１１４、制御切替部１１２から出力された２つの音声信号の内、特定の方向から到来する音声を強調する指向性制御部１１５、及びステレオ感強調部１１４、指向性制御部１１５のそれぞれで処理が施された音声信号Ｌ及びＲのそれぞれを所定の割合（例えば１：１等）で加算する音声加算部１１６を備える。
【００５４】
図１０はステレオマイク７の集音指向性についての模式図である。マイク７Ｌ及び７Ｒはそれぞれ全指向性（無指向性）のマイクである。図１０に示すＬ及びＲはそれぞれマイク７Ｌ及び７Ｒの集音指向性を模したものである。全指向性マイクは、マイクの向きや角度に関わらずマイクの周囲から到来する音声の大きさにだけ反応する性質を持つ。そのため、到来する全ての音声を、その大きさ（音量）に従って集音する。
【００５５】
音声補正処理を開始すると、制御方法決定部１１１は回動検出部２５１から出力される撮影モード情報を参照し、自分撮りモードが選択されているか否かを判別する。また、画像処理部９から顔検出信号が出力されているか否かを判別する。
【００５６】
通常撮影モードが選択されている場合、又は自分撮りモードが選択されていて、且つ画像処理部９から顔検出信号が出力されていない場合、制御方法決定部１１１は集音した音声に対して音声補正処理は行わない命令を、制御切替部１１２に出力し、制御切替部１１２は、Ａ/Ｄ変換部１１０から出力された音声信号Ｌ及びＲを圧縮処理部１３に出力する。
【００５７】
自分撮りモードが選択されていて、且つ画像処理部９から顔検出信号が出力されている場合、顔検出処理によって検出された顔の画像中における位置及び画像中に占める大きさに応じて、指向性制御の命令を出力する。
【００５８】
画像処理部９から複数の顔検出信号が出力されている（換言すると、顔検出処理によって複数の人物の顔が検出された。）場合、撮影者は人物の大きさが最も大きい人物を撮影したいと考えると想定されるため、人物の大きさが最も大きい人物が存在する方向から到来する音声を強調するように指向性制御を施す。この指向性制御については後述する。画像中に最も大きく写っている人物は、顔検出装置９１においていずれの階層画像で顔を検出したかによって求めることができる。具体的には、本実施例における顔検出手法では、上述したように各階層画像と判定領域とを用いたパターンマッチングで人物の顔を検出する。判定領域の大きさは、いずれの階層画像に対してパターンマッチングを行う場合も同一の大きさであるため、より縮小率の高い階層画像で検出された顔程、撮影画像中では大きい顔である。
【００５９】
また、予め撮影したい人物の顔を撮影して外部メモリ４７に記録しておき、撮影対象人物として登録しておくことで、顔検出処理時に当該静止画に含まれる人物と同一人物が撮影画像に含まれるか否かを照合し、一致する人物が撮影画像に含まれる場合、その人物が存在する方向から到来する音声を強調するようにしてもよい。人物の大きさが最も大きい人物が存在する方向から到来する音声に対して指向性制御を施すか、予め登録された撮影対象人物が存在する方向から到来する音声に対して指向性制御を施すかは、撮影者が撮影前及び撮影中に優先度を適宜切り替え可能である。また、両方に対して指向性制御を施すようにしてもよい。
【００６０】
顔検出処理によって検出された顔の大きさが所定の大きさ（例えば、画像中での顔の占める面積が３０％または５０％など。）以上の場合、撮影者は主に当該人物から発せられる声を集音したいと考えると想定されるため、制御方法決定部１１１は、ステレオマイク７から集音した音声の内、人間の声に相当する音声帯域（例えば、８００〜１２００Ｈｚ）の強調処理を施すと共に映像に映った人物が存在する方向から到来する音声に対して指向性制御を施す命令を制御切替部１１２に出力する。
【００６１】
制御切替部１１２は、Ａ/Ｄ変換部１１０から出力された音声信号Ｌ及びＲを特定帯域強調部１１３及び指向性制御部１１５に出力する。特定帯域強調部１１３及び指向性制御部１１５は、出力された音声信号に対してそれぞれ特定帯域強調処理及び指向性制御を施し、音声加算部１１６に出力する。音声加算部１１６は、特定帯域強調処理部１１３及び指向性制御部１１５からそれぞれ出力された音声信号を所定の割合（例えば、１：１の割合）で加算し、圧縮処理部１３に出力する。
【００６２】
また、人物の大きさが所定の大きさ未満の場合は、撮影者は人物と共に周囲の雰囲気も一緒に集音したいと考えると想定されるため、制御方法決定部１１１は、ステレオマイク７から集音した音声にステレオ感強調処理を施すと共に映像に映った人物が存在する方向から到来する音声に対して指向性制御を施す命令を制御切替部１１２に出力する。
【００６３】
制御切替部１１２は、Ａ/Ｄ変換部１１０から出力された音声信号Ｌ及びＲをステレオ感強調部１１４及び指向性制御部１１５にそれぞれ出力する。ステレオ感強調部１１４及び指向性制御部は、出力された音声信号に対してそれぞれステレオ感強調処理及び指向性制御を施し、音声加算部１１６に出力する。音声加算部１１６は、ステレオ感強調処理部１１４及び指向性制御部１１５からそれぞれ出力された音声信号を所定の割合（例えば、１：１の割合）で加算し、圧縮処理部１３に出力する。
【００６４】
なお、本実施例では、特定帯域強調部１１３、ステレオ感強調部１１４、及び指向性制御部１１５で処理を施した音声信号を音声加算部１１６で適宜加算するようにしているが、例えば、特定帯域強調部１１３で処理を施した音声信号に対して指向性制御部１１６で指向性制御を行うようにしてもよい。
【００６５】
以上のように、表示方向及び撮影方向の関係（例えば、撮影モード）と、画像中の特定被写体の状態（例えば、人物の位置及び顔の大きさ）と、に応じた音声補正処理を、画像とともに得られる音声に施すため、撮影者の撮影意図に応じた音声を得ることができる。
【００６６】
（ステレオ感強調処理について）
ここで、実施例１におけるステレオ化処理の一例について説明する。ここでは、ステレオ化処理として、加算型指向性制御を利用して左右の２方向の音を強調する処理について説明する。
【００６７】
図１１は、この場合のステレオ感強調部１１４の内部構成の概略を示すブロック図である。ステレオ感強調部１１４は、左チャンネル（Ｌｃｈ）から入力される音声信号を遅延させる遅延回路１１４Ｌと、右チャンネル（Ｒｃｈ）から入力される音声信号を遅延させる遅延回路１１４Ｒとを備え、入力されたままの右チャンネルの音声信号と遅延回路１１４Ｌで遅延させた左チャンネルの音声信号とを合成して右チャンネルの音声信号として、入力されたままの左チャンネルの音声信号と遅延回路１１４Ｒで遅延させた右チャンネルの音声信号とを合成して左チャンネルの音声信号として出力する。
【００６８】
図１２（ａ）に示すように、２個のマイク７Ｌ及び７Ｒに対して右側の音源Ａから音が到来した場合、音声が音源からマイク７Ｌ及び７Ｒにそれぞれ到達するまでは、行路差Ｄａだけずれることとなる。この場合、音源から近い方のマイク７Ｒで集音した右チャンネルの音声信号に対して、遅延回路１１４Ｒで行路差Ｄａに相当する遅延をかけ、音源から遠い方のマイク７Ｌで集音した左チャンネルの音声信号に加算すると、音源方向の音に対して同期加算することになり、音源Ａがある方向から到来する音声を強調することとなる。逆に、遅延をかけた音声信号を減算すると、音源がある方向から到来する音声を相殺することとなる。
【００６９】
なお、図１２（ｂ）に示すように、２個のマイク７Ｌ及び７Ｒに対して左側の音源Ｂから音が到来した場合、マイク７Ｌで集音した音声信号に対して、遅延回路１１４Ｌで行路差Ｄｂに相当する遅延をかけ、マイク７Ｒで集音した音声信号に加算又は減算すると、音源Ｂがある方向から到来する音声を強調又は相殺することになる。
【００７０】
（指向性制御処理について）
次に、実施例１における指向性制御の一例について説明する。指向性制御処理については様々な方法が提案されている。上記のステレオ化処理で説明した加算型、減算型といった音声信号の遅延と加算処理、減算処理からなる方法もその１つであり、その他にマイクロホンアレーを用いたビームフォーミングや２次元ファンフィルタなどがある。ここでは、２個のマイクで検出した音声信号間の位相情報をもとに特定方向から到来する音声を強調する方法について説明する。
【００７１】
図１３はこの方法に使用することができる指向性制御部１１５のブロック図である。指向性制御部１１５は、図１３に示すように、右チャンネルの音声信号及び左チャンネルの音声信号を独立して高速フーリエ変換（Fast Fourier Transform；FFT）する２個のＦＦＴ部６１Ｌ、６１Ｒと、ＦＦＴ部６１Ｌ、６１ＲでＦＦＴされた右チャンネルの音声信号及び左チャンネルの音声信号の位相差を検出する位相差検出部６２と、位相差検出部６２で検出された位相差情報から帯域別に指向性の制御量を決定する帯域別制御量決定部６３と、帯域別制御量決定部６６３で決定された制御量に基づいて、ＦＦＴされた右チャンネルの音声信号及び左チャンネルの音声信号を独立して帯域別にゲイン制御する２個の帯域別ゲイン制御部６４Ｌ、６４Ｒと、帯域別ゲイン制御部６４Ｌ、６４Ｒでゲイン制御された右チャンネルの音声信号及び左チャンネルの音声信号のそれぞれを逆高速フーリエ変換（Inverse Fourier Transform；IFFT）するＩＦＦＴ部６５Ｌ及び６５Ｒと、を備える。
【００７２】
ＦＦＴ部６１Ｌ、６１Ｒでは右チャンネルの音声信号及び左チャンネルの音声信号が入力されるとＦＦＴして周波数帯域別に位相情報を算出する。図１４に示すようにマイク７Ｌ及び７Ｒにそれぞれ音声が到達するまでには、時間差がある。位相差検出部６２では右チャンネルの音声信号及び左チャンネルの音声信号の位相情報から位相差を算出する。この位相差からマイク７Ｌ及び７Ｒにそれぞれ音声が到来するまでの時間差を導出できる。音声がマイク７Ｌ及び７Ｒにそれぞれ到達するまでの時間差は、音声の到来方向により異なるため、この時間差から音声の到来方向を特定することができる。具体的には、当該時間差から行路差ｄを導出し、この行路差ｄとマイク７Ｌ及び７Ｒの設置間隔ｗから角度θを導出する。この角度θから音の到来方向を特定できる。帯域別制御量決定部６３では、位相差検出部６２で算出した音成分の到来方向が、目的とする方向、例えば画像中の所定の被写体の方向であるかどうかを判断する。被写体の方向は、レンズ部３のレンズ角（換言すると、撮影方向に対して撮影可能な左右方向の範囲）と画像中の被写体が検出された位置から特定できる。帯域別制御量決定部６３において目的とする方向以外から来た音成分である（換言すると、音声の到来方向と画像中の被写体の位置が略一致した場合）と判断した場合は、ＦＦＴしたスペクトラムを、帯域別ゲイン制御部６４Ｌ、６４Ｒにおいて低減させ、目的とする方向から来た音成分であると判断した場合は増大させる。その後、変化させたスペクトラムをＩＦＦＴ部６５Ｌ、６５ＲでＩＦＦＴを行って時間信号に戻して出力する。
【００７３】
この方法では、２個のマイクの設置間隔ｗが半波長となる周波数を音声強調処理の上限周波数とすることにより、位相差から正確な音成分の到来方向すなわち音源方向を算出することが可能である。
【００７４】
（インデックスについて）
ズーム倍率情報を記録するインデックスは、音声信号を圧縮記録する際に、その処理単位であるフレーム毎に記録する。例えばＭＰＥＧ−ＡＡＣで４８ｋＨｚのサンプリング信号として記録する場合、処理単位である１フレームは、１０２４サンプルであり１０２４÷（４８×１０３）≒２．１３×１０−２より約２１．３ｍｓｅｃに相当する。したがって、記録開始と同期して２１．３ｍｓｅｃ毎に映像のズーム倍率情報を記録すればよい。また、ドルビーデジタル方式では１フレームが１５３６サンプルであり、４８ｋＨｚのサンプリング信号として記録する場合は、１５３６÷（４８×１０３）＝３．２×１０−２より３２ｍｓｅｃ毎に映像のズーム倍率情報を記録すればよい。
【００７５】
＜実施例２＞
実施例１において、図１に示すような構成の撮像装置を例に挙げて、本発明における音声処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどに接続したＤＶＤプレーヤやビデオデッキなどのような、音声及び映像の出力が可能な再生装置においても、本発明における音声処理方法を利用可能である。図１５に、例として本発明における音声処理方法を行う音声処理装置（「音声処理部１１」に相当）を備えた再生装置を示す。
【００７６】
図１５に示す再生装置は、図１に示す撮像装置と同様に、ドライバ部４９、伸長処理部１７、ビデオ出力回路部１９、ビデオ出力端子２１、表示部２３、音声出力回路部２９、音声出力端子３１、スピーカ部３３、ＴＧ３５、ＣＰＵ３７、メモリ３９、操作部４１、バス回線４３、バス回線４５及び外部メモリ４７を備える。そして、図１の撮像装置とは異なり、画像処理部９に代えて伸長処理部１７で取得した画像信号を処理する画像処理装置９ａを、音声処理部１１に代えて伸長処理部１７で取得した音声信号を処理する音声処理装置１１ａを、備える。画像処理装置９ａは、図６に示す顔検出装置９１を備え、音声処理装置１１ａは、図１２の音声処理部１１と同様の構成である。外部メモリ４７は、実施例１及び後述の実施例３〜５において記録された画像信号及び音声補正処理を施した音声信号だけでなく、撮影モード情報（回動部２５の回動状態を示す情報や、実施例３及び４の表示系回動部２５Ａ及び光学系回動部２５Ｂの回動状態を示す情報、実施例５の撮影を行う撮像部５１１，５１２及び表示を行う表示部２３を示す情報としても解釈され得る）及び音声補正処理を施していない音声信号とインデックスとして当該音声信号を取得した時点のズーム倍率情報なども保持することが可能である。そして、画像処理装置９ａの顔検出装置９１から出力された顔検出信号、撮影モード情報、及び外部メモリ４７から出力された音声補正処理を施していない音声信号とズーム倍率情報とから、音声処理装置１１ａにおいて本発明における音声処理方法を行うことができる。
【００７７】
なお、外部メモリ４７に記録されている画像信号及び音声信号が、実施例１及び後述の実施例３〜５以外の撮像装置で記録された動画のようにズーム倍率情報が含まれていない場合は、音声処理装置１１ａにおいて対象となる被写体の画像中での大きさに基づいて音声補正処理を施せばよい。
【００７８】
また、実施例１または後述の実施例３〜５の撮像装置で、撮影時に画像処理部９が顔検出を行い、検出結果を外部メモリ４７に記録してもよい。この場合、本実施例の再生装置は、音声処理装置１１ａが外部メモリ４７から顔検出信号を取得可能となるため、画像処理装置９ａが顔検出を行わなくても良くなる。
【００７９】
＜実施例３＞
実施例１において、表示部２３が回動可能な撮像装置に本発明を実施した例について示したが、本発明を実施可能な撮像装置の構成は、この例の限りではない。具体的に例えば、表示部２３以外の部材が回動する撮像装置に対しても、本発明を実施することができる。始めに、表示部２３と、イメージセンサ１やレンズ部３などの光学系部材（以下、撮像部５１と記載する）と、がそれぞれ回動可能な撮像装置に本発明を実施した例を、実施例３として図面を参照して説明する。
【００８０】
図１６は、本実施例に係る撮像装置の内部構成の概略を示すブロック図であり、実施例１について示した図１に相当するものである。また、図１７は、本実施例に係る撮像装置の外観の概略を示す図解図であり、実施例１について示した図２に相当するものである。なお、図１６中で図１と同様となる部分や、図１７中で図２と同様となる部分については同じ符号を付し、その詳細な説明については省略する。
【００８１】
図１６に示すように、本実施例の撮像装置は、図１に示す撮像装置と同様に、イメージセンサ１、レンズ部３、ＡＦＥ５、ステレオマイク７、画像処理部９、音声処理部１１、圧縮処理部１３、伸長処理部１７、ビデオ出力回路部１９、ビデオ出力端子２１、表示部２３、音声出力回路部２９、音声出力端子３１、スピーカ部３３、ＴＧ３５、ＣＰＵ３７、メモリ３９、操作部４１、バス回線４３、バス回線４５、外部メモリ４７及びドライバ部４９を備える。そして、図１の撮像装置とは異なり、表示部２３を回動させる表示系回動部２５Ａ、撮像部５１を回動させる光学系回動部２５Ｂ、を備える。
【００８２】
また、図１７に示すように、表示系回動部２５Ａは、上述の回動部２５（図２参照）と同様に、表示部２３を回動可能にするものである。一方、光学系回動部２５Ｂは、撮像部５１を回動可能にするものである。なお、図１７では、表示系回動部２５Ａの回動の軸Ａと、光学系回動部２５Ｂの回動の軸Ｂとを略垂直なものとして示しているが、略平行であってもそれ以外の関係としてもよい。
【００８３】
また、図１８は、本実施例に係る撮像装置の要部構成を示すブロック図であり、音声処理部１１が行い得る音声補正処理に関連する部分を示すものである。本実施例の撮像装置は、上述の表示系回動部２５Ａ及び光学系回動部２５Ｂの他に、表示部２３及び撮像部５１の相対的な関係を検出する方向関係検出部２５３、方向関係検出部２５３が検出する関係に応じてモニタの表示制御を行うモニタ表示制御部２５２、を備える。また、表示系回動部２５Ａは、上述の回動部２５と同様の方法で、表示部２３の回動（例えば、所定の角度以上の回動の有無や回動角）を検出する。また、光学系回動部２５Ｂも、上述の回動部２５と同様の方法で、撮像部５１の回動（例えば、所定の角度以上の回動の有無や回動角）を検出し、出力する。
【００８４】
方向関係検出部２５３は、表示系回動部２５Ａ及び光学系回動部２５Ｂの出力結果を参照することで、表示方向（図１７では紙面奥方向）と撮影方向（図１７では紙面手前方向）との相対的な関係を求める。
【００８５】
また、方向関係検出部２５３は、実施例１の回動検出部２５１と同様の方法で、撮影モードの選択を行ってもよい。具体的に例えば、表示方向と撮影方向とが反対方向である場合（例えば、図１７に示す状態の場合）に、通常撮影モードを選択する。一方、表示方向と撮影方向とが略同一方向である場合（例えば、図１７に示す状態から、表示部２３及び撮像部５１のいずれか一方が回動した場合）に、自分撮りモードを選択する。
【００８６】
モニタ表示制御部２５２及び音声処理部１１は、方向関係検出部２５３が選択した撮影モードに応じて、実施例１と同様の動作（例えば、表示部２３に表示するプレビュー用の画像の上下方向及び左右方向の制御や、撮影モードを示す情報の表示、音声補正処理など）を行う。また、画像処理部９も、実施例１と同様の動作（例えば、顔検出処理など）を行う。
【００８７】
以上のように、表示部２３だけでなく撮像部５１が回動可能である場合でも、表示方向及び撮影方向の関係（例えば、撮影モード）と、画像中の特定被写体の状態（例えば、人物の位置及び顔の大きさ）と、に応じた音声補正処理を、画像とともに得られる音声に施すことができる。そのため、撮影者の撮影意図に応じた音声を得ることができる。
【００８８】
なお、本実施例の方向関係検出部２５３及びモニタ表示制御部２５２を、ＣＰＵ３７の一部と解釈してもよい。
【００８９】
＜実施例４＞
次に、撮像部５１が回動可能であり（実施例３で述べた光学系回動部２５Ｂを備え）、表示部２３が回動しない（実施例１で述べた回動部２５及び実施例３で述べた表示系回動部２５Ａを備えない）撮像装置に本発明を実施した例を、実施例４として図面を参照して説明する。
【００９０】
図１９は、本実施例に係る撮像装置の外観の概略を示す図解図であり、実施例１について示した図２や実施例３について示した図１７に相当するものである。なお、図１９中で、図２や図１７と同様となる部分については同じ符号を付し、その詳細な説明については省略する。なお、本実施例の撮像装置の構成は、図１６に示す実施例３の撮像装置から表示系回動部２５Ａを除いた構成として解釈するものとし、その詳細な説明や図示については省略する。さらに、本実施例の撮像装置が備える光学系回動部２５Ｂは、実施例１について示した回動部２５（図５参照）と同様の構成として解釈するものとし、その詳細な説明や図示については省略する。
【００９１】
図１９に示すように、本実施例の撮像装置は、回動の軸Ｂがモニタ（図中の灰色部分）と略平行となる光学系回動部２５Ｂを備え、撮像部５１を回動可能にするものである。なお、図１９では、光学系回動部２５Ｂの回動の軸Ｂが、モニタの上辺及び下辺と略平行（紙面の左右方向）となる構成について例示しているが、略垂直（紙面の上下方向）であってもそれ以外の関係であってもよい。また、図１９では、撮像装置のモニタが配置される面の反対側の面に、ステレオマイク７が配置される構成について例示しているが、ステレオマイク７は撮像装置のどの面に配置してもよい。
【００９２】
例えば、光学系回動部２５Ｂの回動検出部２５１（図５参照）に相当する部分は、図１９（ａ）に示すように、表示方向（紙面手前方向）と撮影方向（紙面奥方向）とが反対方向である場合に、通常撮影モードを選択する。一方、図１９（ｂ）に示すように、表示方向（紙面手前方向）と撮影方向（紙面手前方向）とが略同一方向である場合に、自分撮りモードを選択する。
【００９３】
また、光学系駆動部２５Ｂのモニタ表示制御部２５２（図５参照）に相当する部分及び音声処理部１１は、光学系駆動部２５Ｂの回動検出部２５１（図５参照）に相当する部分が選択した撮影モードに応じて、実施例１と同様の動作（例えば、表示部２３に表示するプレビュー用の画像の上下方向及び左右方向の制御や、撮影モードを示す情報の表示、音声補正処理など）を行う。また、画像処理部９も、実施例１と同様の動作（例えば、顔検出処理など）を行う。
【００９４】
以上のように、撮像部５１が回動可能である場合でも、表示方向及び撮影方向の関係（例えば、撮影モード）と、画像中の特定被写体の状態（例えば、人物の位置及び顔の大きさ）と、に応じた音声補正処理を、画像とともに得られる音声に施すことができる。そのため、撮影者の撮影意図に応じた音声を得ることができる。
【００９５】
＜実施例５＞
次に、撮像部や表示部２３が回動せず（実施例１で述べた回動部２５や、実施例３で述べた表示系回動部２５Ａ及び光学系回動部２５Ｂを備えず）、撮影の要否を切替可能な複数の撮像部を備える撮像装置に本発明を実施した例を、実施例５として図面を参照して説明する。
【００９６】
図２０は、本実施例に係る撮像装置の内部構成の概略を示すブロック図であり、実施例１について示した図１に相当するものである。また、図２１は、本実施例に係る撮像装置の外観の概略を示す図解図であり、実施例１について示した図２に相当するものである。なお、図２０中で図１と同様となる部分や、図２１中で図２と同様となる部分については同じ符号を付し、その詳細な説明については省略する。
【００９７】
図２０に示すように、本実施例の撮像装置は、図１に示す撮像装置と同様に、ＡＦＥ５、ステレオマイク７、画像処理部９、音声処理部１１、圧縮処理部１３、伸長処理部１７、ビデオ出力回路部１９、ビデオ出力端子２１、表示部２３、音声出力回路部２９、音声出力端子３１、スピーカ部３３、ＴＧ３５、ＣＰＵ３７、メモリ３９、操作部４１、バス回線４３、バス回線４５、外部メモリ４７及びドライバ部４９を備える。そして、図１の撮像装置とは異なり、イメージセンサ１０１及びレンズ部３０１を備える第１撮像部５１１、イメージセンサ１０２及びレンズ部３０２を備える第２撮像部５１２、を備える。
【００９８】
第１撮像部５１１及び第２撮像部５１２は、例えば、操作部４１を介して入力されるユーザの指示に従って、いずれか一方が撮影を行う。具体的には、ＣＰＵ３７が、操作部４１を介して入力されるユーザの指示に基づいて、第１撮像部５１１及び第２撮像部５１２のそれぞれの撮影の要否を決定する。
【００９９】
図２１に示すように、表示部２３の表示方向（紙面手前方向）と、第１撮像部５１１の撮影方向（レンズ部３０１が向いている方向。紙面奥方向。）と、は反対方向である。即ち、第１撮像部５１１が撮影する場合が、上述の各実施例における通常撮りモードに相当する。一方、表示部２３の表示方向（紙面手前方向）と、第２撮像部５１２の撮影方向（レンズ部３０２が向いている方向。紙面手前方向。）と、は略同一方向である。即ち、第２撮像部５１２が撮影する場合が、上述の各実施例における自分撮りモードに相当する。なお、図２１では、撮像装置のモニタが配置される面の反対側の面に、ステレオマイク７が配置される構成について例示しているが、ステレオマイク７は撮像装置のどの面に配置されてもよい。
【０１００】
本実施例では、例えばＣＰＵ３７が、実施例１における回動検出部２５１及びモニタ表示制御部２５２（図５参照）と同様の動作を行う。即ち、ＣＰＵ３７は、表示部２３に表示するプレビュー用の画像の上下方向及び左右方向の制御や、撮影モードを示す情報の表示指示、音声処理部１１への撮影モードの通知などを行う。また、音声処理部１１は、例えばＣＰＵ３７から通知される撮影モードに基づいた音声補正処理などを行う。また、画像処理部９は、実施例１と同様の動作（例えば、顔検出処理など）を行う。
【０１０１】
以上のように、回動しない複数の撮像部（第１撮像部５１１及び第２撮像部５１２）の動作の要否が切替可能である場合でも、表示方向及び撮影方向の関係（例えば、撮影モード）と、画像中の特定被写体の状態（例えば、人物の位置及び顔の大きさ）と、に応じた音声補正処理を、画像とともに得られる音声に施すことができる。そのため、撮影者の撮影意図に応じた音声を得ることができる。
【０１０２】
なお、本実施例として、２つの撮像部（第１撮像部５１１及び第２撮像部５１２）を備える撮像装置に本発明を実施した例を示したが、３つ以上の撮像部を備える撮像装置についても同様に、本発明を実施することが可能である。
【０１０３】
また、本実施例は、撮影の要否を切替可能な複数の撮像部５１１，５１２を備える撮像装置に本発明を実施した例であるが、表示の要否を切替可能な複数の表示部を備える撮像装置についても、本実施例と同様に本発明を実施することが可能である。また、撮影の要否を切替可能な複数の撮像部と、表示の要否を切替可能な複数の表示部と、をそれぞれ備える撮像装置についても、本実施例と同様に本発明を実施することが可能である。これらは、表示部及び撮像部の一方または両方が回動可能である撮像装置に対して、本発明を実施することができること（実施例１、実施例３及び実施例４参照）と同様であるため、詳細な説明については省略する。
【０１０４】
また、撮像部及び表示部に限らず、集音の要否が切替可能なステレオマイクを複数備えてもよい。さらに、撮影を行う撮像部や表示を行う表示部の切替やこれらの回動に連動して、集音を行うステレオマイクを切り替えてもよい。
【０１０５】
＜実施例６＞
図１７、図１９及び図２１に示す撮像装置のように、ステレオマイク７と独立して、撮像部５１が回動したり撮影の有無が切り替えられたりする場合、撮像部５１が取得する画像と、ステレオマイク７が取得するそれぞれの音声のチャンネルとが対応しない場合が生じ得る。例えば、図１９（ａ），（ｂ）の紙面左側のマイクで集音された音声を右チャンネル、紙面右側のマイクで集音された音声を左チャンネルに属するものとする場合、図１９（ａ）に示す状態（表示方向と撮影方向とが反対方向。通常撮りモード。）では、画像と音声のチャンネルとが対応するが、図１９（ｂ）に示す状態（表示方向と撮影方向とが略同一方向。自分撮りモード。）では、対応しないものとなる。
【０１０６】
これについて具体的に説明する。上述の例で図１９（ａ）の通常撮りモードの場合、撮影方向（紙面奥方向）を向いたときに左側（紙面左側）になるマイクで集音された音声が左チャンネルになり、右側（紙面右側）になるマイクで集音された音声が右チャンネルになる。即ち、画像と音声のチャンネルとが対応したものとなる。これに対して、図１９（ｂ）の自分撮りモードの場合、撮影方向（紙面手前方向）を向いたときに右側（紙面左側）になるマイクで集音された音声が左チャンネルになり、左側（紙面右側）になるマイクで集音された音声が右チャンネルになる。即ち、画像と音声のチャンネルとが対応しないものとなる。
【０１０７】
そこで、この問題を解消する構成の例について、実施例６として図面を参照して説明する。なお、本実施例は、上述の実施例１及び実施例３〜５の変形例として解釈され得るものである。
【０１０８】
本実施例では、例えば上述の制御切替部１１２（図９参照）が、音声のチャンネルを制御する処理を行う。この制御切替部１１２の具体例について、図２２を参照して説明する。図２２は、本実施例に係る撮像装置に備えられる制御切替部１１２の要部構成を示すブロック図である。図２２に示すように、制御切替部１１２は、撮像部５１の撮影方向とステレオマイク７が集音する方向との関係を示す情報である画像音声関係情報に基づいて、入力されるそれぞれのチャンネルの音声（Ｌｃｈ入力、Ｒｃｈ入力）を出力するチャンネル（Ｌｃｈ出力、Ｒｃｈ出力）を決定する。
【０１０９】
画像音声関係情報は、例えばＣＰＵ３７が、撮影モード情報（回動部２５、表示系回動部２５Ａ及び光学系回動部２５Ｂの回動状態を示す情報、撮影を行う撮像部５１１，５１２及び表示を行う表示部２３を示す情報としても解釈され得る）や集音を行うステレオマイクの配置などに基づいて、生成することができる。なお、図１７、図１９及び図２１に示す撮像装置のように、撮影モードによって画像と音声のチャンネルとが対応するか否かが決まる場合、画像音声関係情報を撮影モード情報としてもよい。
【０１１０】
例えば、上述の例で図１９（ａ）の通常撮りモードの場合では、画像と音声のチャンネルとが対応したものとなっているため、入力チャンネルと出力チャンネルとを入れ替えることなく（Ｌｃｈ入力をＬｃｈ出力、Ｒｃｈ入力をＲｃｈ出力として）出力する。これに対して、図１９（ｂ）の自分撮りモードの場合、画像と音声のチャンネルとが対応しないものとなっているため、入力チャンネルと出力チャンネルとを入れ替えて（Ｌｃｈ入力をＲｃｈ出力、Ｒｃｈ入力をＬｃｈ出力として）出力する。
【０１１１】
以上のように、撮像部及び表示部の回動や、複数の撮像部の撮影及び複数の表示部の表示の切替によって、画像と音声のチャンネルとが対応しないものと成り得る構成であっても、集音後に画像と音声のチャンネルとが対応するように補正することができる。
【０１１２】
なお、実施例５で述べたように、集音の要否を切替可能な複数組のステレオマイクを備え、撮影モードに応じて集音するステレオマイクを切り替えることで、画像と音声のチャンネルとが対応するようにしてもよい。
【０１１３】
また、実施例１で示した撮像装置のように表示部２３のみが回動する構成や、撮像部５１とステレオマイク７とが連動して回動する構成とすることで、本実施例の適用を不要とすることができる。
【０１１４】
＜変形例＞
本発明の実施の形態における撮像装置及び再生装置について、画像処理部９や画像処理装置９ａ、音声処理部１１、音声処理装置１１ａなどの動作を、マイコンなどの制御装置が行うこととしてもよい。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、当該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１１５】
また、上述した場合に限らず、図１、図１６及び図２０に示す撮像装置や、図１、図６、図１６、図１８及び図２０に示す画像処理部９、図１、図９、図１６、図１８及び図２０に示す音声処理部１１、図１５に示す再生装置１５、画像処理装置９ａ及び音声処理装置１１ａは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置、画像処理部９、画像処理装置９ａ、音声処理部１１及び音声処理装置１１ａの一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【０１１６】
以上、本発明の一実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で変形及び変更が可能である。
【符号の説明】
【０１１７】
１，１０１，１０２  イメージセンサ
３，３０１，３０２  レンズ部
５        ＡＦＥ
７        ステレオマイク
９        画像処理部
９ａ      画像処理装置
１１      音声処理部
１１ａ    音声処理装置
１３      圧縮処理部
１７      伸長処理部
１９      ビデオ出力回路部
２１      ビデオ出力端子
２３      表示部
２５      回動部
２５Ａ    表示系回動部
２５Ｂ    光学系回動部
２９      音声出力回路部
３１      音声出力端子
３３      スピーカ部
３５      ＴＧ
３７      ＣＰＵ
３９      メモリ
４１      操作部
４３      バス回線
４５      バス回線
４７      外部メモリ
４９      ドライバ部
５１      撮像部
５１１    第１撮像部
５１２    第２撮像部
９１      顔検出処理部
１１０    Ａ/Ｄ変換部
１１１    制御方法決定部
１１２    制御切替部
１１３    特定帯域強調部
１１４    ステレオ感強調部
１１４Ｌ  遅延回路
１１４Ｒ  遅延回路
１１５    指向性制御部
１１６    音声加算部
６１Ｌ    ＦＦＴ部
６１Ｒ    ＦＦＴ部
６２      位相差算出部
６３      帯域別制御量決定部
６４Ｌ    帯域別ゲイン制御部
６４Ｒ    帯域別ゲイン制御部
６５Ｌ    ＩＦＦＴ部
６５Ｒ    ＩＦＦＴ部
９１１    縮小画像生成部
９１２    顔判定部
９１３    検出結果処理部
【図１】
2011071962.tif 000003
【図３】
2011071962.tif 000004
【図４】
2011071962.tif 000005
【図５】
2011071962.tif 000006
【図６】
2011071962.tif 000007
【図７】
2011071962.tif 000008
【図８】
2011071962.tif 000009
【図９】
2011071962.tif 000010
【図１０】
2011071962.tif 000011
【図１１】
2011071962.tif 000012
【図１２】
2011071962.tif 000013
【図１３】
2011071962.tif 000014
【図１４】
2011071962.tif 000015
【図１５】
2011071962.tif 000016
【図１６】
2011071962.tif 000017
【図１７】
2011071962.tif 000018
【図１８】
2011071962.tif 000019
【図２０】
2011071962.tif 000020
【図２２】
2011071962.tif 000021
【図２】
2011071962.tif 000022
【図１９】
2011071962.tif 000023
【図２１】
2011071962.tif 000024