(57)【要約】 【課題】撮像装置における、使用者の使用勝手の向上。【解決手段】デジタルカメラ１０は、光学ズーム倍率の変更に応じて、光学レンズを移動せしめるズーム処理を実行するのと同時に、マイクロフォン５Ｌ及び５Ｒで集音される音声に対して所定の処理、つまり電気的な指向性変更処理を施すことによって、主要被写体４の音声の指向性を強めて、かつ現在のマイクロフォン５Ｌ及び５Ｒの指向性を示す指向性マークをＬＣＤ３８に表示させることによって、使用者がマイクロフォン５Ｌ及び５Ｒの指向性の変化を認識することができ、使用者が、自身の操作による満足度をより高めることができる。【選択図】図５
2011120165.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像信号を出力する撮像手段と、
音声を複数チャネルで集音する複数のマイクロフォンと、
前記画像信号に基づいた画像を表示手段に出力させる表示制御手段と、
前記表示手段に出力される画像が拡大されて表示されるズーム処理を実行するズーム処理制御手段と、
前記ズーム処理におけるズーム倍率の変更指示を受け付けるズーム倍率変更手段と、
前記複数のマイクロフォンから得られる音声の指向性を制御する指向性制御手段と、
前記複数のマイクロフォンから得られる音声の指向性を示す指向性マークが前記表示手段の所定位置に表示されるよう、前記画像に対応する映像信号に重畳させて表示するマーク表示手段と、
前記ズーム倍率の変更指示に応じて、前記複数のマイクロフォンから得られる音声の指向性及び前記指向性マークを変更せしめる変更手段とを備える、撮像装置。
【請求項２】
前記指向性制御手段は、前記複数のマイクロフォンから集音される音声を電気的に制御することにより、前記指向性を制御することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記変更手段は、前記ズーム倍率の変更指示が拡大方向への変更である場合には、拡大される被写体の方向から得られる音声の感度を高くする一方、前記ズーム倍率の変更指示が縮小方向への変更である場合には、縮小される被写体の方向から得られる音声の感度を低くすることを特徴とする、請求項１または２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に複数のマイクロフォンを用いて集音される被写体から発せられた音声に対し、被写体を撮像する撮像態様に応じて、集音された音声に所定の処理を施す撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置において、動画像を撮像し、かつ動画像撮影時の該撮像装置の回りの音声を集音し、動画像と音声を同期させて記録する機能が搭載されたものが、賞用されている。
【特許文献１】特開平５−３３３４５２号公報  特許文献１には、撮影により得られた視覚化情報を、それに関連する音声情報に対応付けて情報の整理を容易に行うことができる録音機内蔵型撮影機器が記載されている。特に、機器本体内に録音機とカメラが内蔵されると共に、機器本体に単一指向性のマイクロフォンが設けられ、マイクロフォンは本体機器に対して傾動可能、回動可能に設けられており、ファインダーにマイクロフォンの指向方向に対応した位置にカーソルが設定され、使用者はマイクロフォン回動用のボタンを操作することにより、マイクロフォンが回動し、カーソルがマイクロフォンの回動に応じて指向性を示すため、必要とする音声情報の集音効率の向上を図ることが出来る技術が開示されている。
【０００３】
しかしながら、従来技術の録音機内蔵型撮像機器は、マイクロフォンが指向性を持っており、回動可能であるが、近年の撮像装置、特にデジタルカメラなどの使用者が持ち運ぶのに便利なコンパクトな撮像装置において、指向性を持ったマイクロフォンを回動可能にさせる構造を採用すると、コストが掛かるとともに、撮像装置が大きくなってしまい、近年の撮像装置に要求される仕様を満たさないものである。
【０００４】
そこで、複数のチャネルで集音可能な複数のマイクロフォンを採用するデジタルカメラが賞用されている。使用者の多くは、該デジタルカメラで被写体の動画像を撮像する際、該被写体に対して拡大するズーム処理を施して記録する場合も考えられる。そして、音声も同期して、該動画像及び音声が動画像ファイルとして記録される。後々、動画像ファイルを再生する場合、主要被写体は大きく表示され、主要被写体が注目されていることが一目瞭然であるにもかかわらず、同期して再生される音声は、主要被写体から発せられた音声だけでなく他の音源からの音声と混じって再生されるため、使用者は非常に違和感を覚えることとなる。
【０００５】
従って、複数チャネルで集音可能な複数のマイクロフォンを使用して、拡大するズーム処理が施された被写体の動画像を撮像する際に、ズーム処理に応じて主要被写体から発せられる音声がよく聞こえるように音声の指向性を制御することが望ましい。そして、更に、ズーム処理に応じて、現在、記録されている音声の指向性を示す情報を使用者に与えることによって、使用者自身の操作の認識度を高めて、操作による満足度を向上させることが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の問題点を解決するもので、複数チャネルで集音可能な複数のマイクロフォンを使用して、拡大するズーム処理が施された被写体の動画像を撮像する際に、ズーム処理に応じて主要被写体から発せられる音声がよく聞こえるように音声の指向性を制御し、更に、ズーム処理に応じて、現在、記録されている音声の指向性を示す情報を使用者に与えることができる撮像装置を提供するものである。
【課題を解決するための手段】
【０００７】
第１の発明の撮像装置は、被写体を撮像し、画像信号を出力する撮像手段と、音声を複数チャネルで集音する複数のマイクロフォンと、画像信号に基づいた画像を表示手段に出力させる表示制御手段と、表示手段に出力される画像が拡大されて表示されるズーム処理を実行するズーム処理制御手段と、ズーム処理におけるズーム倍率の変更指示を受け付けるズーム倍率変更手段と、複数のマイクロフォンから得られる音声の指向性を制御する指向性制御手段と、複数のマイクロフォンから得られる音声の指向性を示す指向性マークが表示手段の所定位置に表示されるよう、画像に対応する映像信号に重畳させて表示するマーク表示手段と、ズーム倍率の変更指示に応じて、複数のマイクロフォンから得られる音声の指向性及び指向性マークを変更せしめる変更手段とを備える。
【０００８】
第２の発明の撮像装置は、第１の発明に従属し、指向性制御手段は、複数のマイクロフォンから集音される音声を電気的に制御することにより、指向性を制御することを特徴とする。
【０００９】
第３の発明の撮像装置は、第１の発明又は第２の発明の撮像装置に従属し、変更手段は、ズーム倍率の変更指示が拡大方向への変更である場合には、拡大される被写体の方向から得られる音声の感度を高くする一方、ズーム倍率の変更指示が縮小方向への変更である場合には、縮小される被写体の方向から得られる音声の感度を低くすることを特徴とする。
【発明の効果】
【００１０】
本発明の撮像装置によれば、複数チャネルで集音可能な複数のマイクロフォンを使用して、拡大するズーム処理が施された被写体の動画像を撮像する際に、ズーム処理に応じて被写体から発せられる音声がよく聞こえるように音声の指向性を制御し、更に、ズーム処理に応じて、現在、記録されている音声の指向性を示す情報を使用者に与えることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施例に係るデジタルカメラ１０と音源の位置関係を示す図解図である。
【図２】本実施例に係るデジタルカメラ１０の回路構成の一部を示すブロック図である。
【図３】本実施例に係るマイクロフォン音声処理部４２の回路構成の一部を示すブロック図である。
【図４】本実施例に係る方向判定部１０２が音声の到来する方向を算出する方法を説明するための図である。
【図５】本実施例に係るＬＣＤ３８に表示される画面の一例を示す図解図である。
【図６】本実施例に係るマイクロフォン５Ｌ及び５Ｒの指向性のイメージの一例を示す図解図である。
【図７】本実施例に係るデジタルカメラ１０の動作の一部を示すフローチャートである。
【図８】本実施例に係る光学ズーム倍率とレジスタ値の関係の一例を示すルックアップテーブルである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の撮像装置の一実施例として、デジタルカメラに実施した形態につき、図面に沿って具体的に説明する。
【００１３】
図１は、本実施例のデジタルカメラ１０が主要被写体４を撮像する形態であり、かつ音源Ｐ、音源Ｑ及び音源Ｒから発生された音声を集音する形態における、夫々の位置関係を示した図解図である。
【００１４】
本実施例のデジタルカメラ１０が具備するマイクロフォン５Ｌ及び５Ｒを用いて、デジタルカメラ１０が具備する光学レンズを含むレンズ群１６の光学軸上に位置する主要被写体４から音声が発生する音源Ｐ、主要被写体４以外から音声が発生するレンズ群１６の光学軸に対して左側に位置する音源Ｑ、及び主要被写体４以外から音声が発生するレンズ群１６の光学軸に対して右側に位置する音源Ｒの、夫々からの音声を、２つのチャネル（Ｌｃｈ、Ｒｃｈ）で集音する。
【００１５】
図２は、デジタルカメラ１０のブロック図を示している。
【００１６】
デジタルカメラ１０は、光学レンズを含むレンズ群１６及び図示しない絞りを含み、主要被写体４の光学像はＣＰＵ２２による指示によって、図示しないモータ駆動部に制御されたレンズ群１６及び絞りを通して、ＣＭＯＳイメージャユニット１８に取り込まれる。なお、本実施例では、イメージセンサとしてＣＭＯＳイメージャユニット１８を採用した形態で説明するが、ＣＣＤイメージャを採用しても良い。
【００１７】
そして、ＣＰＵ２２に接続された図示しないタイミングジェネレータによって与えられる取り込みパルスによって、ＣＭＯＳイメージャユニット１８から１フレーム分のデジタル撮像信号が出力される。ここで、ＣＭＯＳイメージャユニット１８では、各画素で蓄積した電荷を増幅し、各画素から配線を使用して信号として読み出しを行い、該信号に対して、相関２重サンプリング処理、ゲイン調整、クランプ処理、Ａ／Ｄ変換処理を施す。該処理が施されたデジタル撮像信号は、画素毎にＲ、Ｇ、Ｂのいずれかの色信号を有し、ＣＰＵ２２の制御によって、バス４０を介してＳＤＲＡＭ３２に一旦格納される。
【００１８】
ＳＤＲＡＭ３２に一旦格納されたデジタル撮像信号は、ＣＰＵ２２の制御によって信号処理回路２０へ入力される。信号処理回路２０では、入力されたデジタル撮像信号に対して色分離処理を施し、更にＹＵＶ変換により、Ｙ、Ｕ、Ｖ信号に変換する。そして、信号処理回路２０で変換されたデジタル画像信号は、バス４０を介して、再びＳＤＲＡＭ３２へ格納される。本実施例においては、上述したＣＭＯＳイメージャユニット１８から出力されたデジタル撮像信号が、信号処理回路２０でデジタル画像信号に変換処理され、ＳＤＲＡＭ３２に格納されるまでの処理を、撮像処理と定義する。
【００１９】
また、ＳＤＲＡＭ３２に格納されたデジタル画像信号は、ＣＰＵ２２の制御により、必要な場合にはスーパーインボース回路４４を介して、ＬＣＤ３８へ出力される。ＬＣＤ３８は、図示しないＬＣＤドライバを含み、ＬＣＤドライバはＹ、Ｕ、Ｖ信号をＲＧＢ信号に変換して、ＬＣＤ３８にデジタル画像信号に基づく画像信号を表示させる。本実施例においては、ＳＤＲＡＭ３２に格納されたデジタル画像信号が、ＬＣＤ３８に画像信号として表示されるまでの処理を、表示処理と定義する。本実施例では、表示デバイスとしてＬＣＤ３８を採用した形態を説明するが、有機ＥＬなどの表示デバイスを採用しても良い。
【００２０】
操作部２４は、モード選択ボタン２４ａ、静止画撮像ボタン２４ｂ、動画撮像ボタン２４ｃ、メニューボタン２４ｄ、再生開始ボタン２４ｅ及びズームボタン２４ｆを備えている。ユーザによってモード選択ボタン２４ａが操作されることによって、デジタルカメラ１０が備える撮影モード及び再生モードのいずれかを選択することができる。
【００２１】
さて、ここで、モード選択ボタン２４ａが操作されることにより、撮影モードが選択されると、上述した撮影処理が所定の解像度及びフレームレートに基づいて繰り返し実行され、かつ、表示処理が順次実行されることにより、ＬＣＤ３８上にスルー画像が表示される。
【００２２】
このスルー画像が表示されている状態で、ユーザによって静止画撮像ボタン２４ｂが押下されると、上述した撮像処理が静止画撮像用の解像度に基づいて実行される。そして、上述した撮像処理が実行されることにより得られる、ＳＤＲＡＭ３２に格納されたデジタル画像信号が、ＣＰＵ２２の制御によって、圧縮・伸張処理回路２６に入力され、ＪＰＥＧ圧縮処理が施され、再び圧縮静止画像データとしてＳＤＲＡＭ３２に格納される。
【００２３】
そして、ＣＰＵ２２に制御された外部メモリカード制御回路３０は、ＳＤＲＡＭ３２に格納されている圧縮静止画像データを、外部メモリカード３６にＪＰＥＧファイル構造（スタートマーカ、エンドマーカ、ヘッダ情報（サムネイル画像データを含む）、複数のセグメント及び静止画像データを含む）の静止画像ファイルとして記録する。この静止画像ファイルを記録するための一連の撮像処理から記録動作を、静止画撮像処理と定義する。本実施例では、記録媒体として、外部メモリカード３６を採用した形態を説明するが、デジタルカメラ１０の内部に内部メモリを設けても良い。
【００２４】
また、スルー画像が表示されている状態で、ユーザによって動画像撮影ボタン２４ｃが押下されることにより、上述した撮像処理が動画撮像用の解像度及びフレームレートに基づいて繰り返し実行される。また、ＣＰＵ２２がマイクロフォン音声制御部４２を制御することにより、マイクロフォン５Ｌ及び５Ｒから出力されるアナログ音声信号に対して後述する所定の処理を施して、デジタル音声信号して圧縮信号処理２６に順次出力させる。図１を参照して説明すると、音源Ｐ、音源Ｑ及び音源Ｒからの音声が、マイクロフォン５Ｌ及び５Ｒに集音される。
【００２５】
また同時に、上述した撮像処理が実行されることにより得られる、ＳＤＲＡＭ３２に格納されたデジタル画像信号が、ＣＰＵ２２の制御によって圧縮・伸張処理回路２６に順次入力され、デジタル音声信号及びデジタル画像信号に対してＭＰＥＧ−４圧縮処理が施され、再び圧縮動画像・音声データとしてＳＤＲＡＭ３２に格納される。
【００２６】
そして、ＣＰＵ２２に制御された外部メモリカード制御回路３０は、ＳＤＲＡＭ３２に格納されている圧縮動画像・音声データを、外部メモリカード３６に順次転送することにより、ＭＰ４ファイル構造（ヘッダ情報（サムネイル画像データを含む）、圧縮動画像・音声データであるビデオデータ情報及びオーディオデータ情報を含む）の動画像ファイルとして記録する。この動画像ファイルを記録するための一連の撮像処理から記録動作を、動画像撮像処理と定義する。なお、動画像撮像処理中にも上述した表示処理が順次実行されることにより、ＬＣＤ３８上にリアルタイム記録画像が表示される。
【００２７】
なお、スルー画像が表示されている状態、またはリアルタイム記録画像が表示されている状態において、ズームボタン２４ｆが操作されることにより、ＣＰＵ２２は図示しないモータ駆動部を制御して、レンズ群１６に含まれる光学レンズを移動せしめる。
【００２８】
ズームボタン２４ｆの操作形態として、光学レンズを広角側へ移動せしめる広角操作と、光学レンズを望遠側へ移動せしめる望遠操作とが存在し、望遠操作が為されると主要被写体４の光学像に基づく画像が拡大されてＬＣＤ３８上に表示（以後、拡大処理と称す）され、広角操作が為されると主要被写体４が縮小されてＬＣＤ３８上に表示（以後、縮小処理と称す）される。広角操作は、望遠操作によって拡大された倍率から元の倍率に戻す時に、主に為される。
【００２９】
本実施例では、ズームボタン２４ｆが操作されることにより、拡大処理の倍率（以後、光学ズーム倍率と称す）を１倍〜５倍までリニアに変更可能である。望遠操作及び広角操作を光学ズーム操作と定義し、該光学ズーム操作に基づく、上述した処理を撮像ズーム処理と定義する。
【００３０】
本実施例では、動画像撮像処理が実行されている状態において、上述した望遠操作が為されると、ＣＰＵ２２は光学ズーム倍率に応じて、マイクロフォン５Ｌ及び５Ｒが集音する音源Ｐ、音源Ｑ及び音源Ｒからの音声に対して、音源Ｐから音声の感度を上昇させる処理、つまり電気的な指向性変更処理をマイクロフォン音声処理部４２で実行させ、指向性変更処理が為されたデジタル音声信号を圧縮信号処理２６に順次出力させる。そして、上述したように、デジタル画像信号と及びデジタル音声信号に基づいた動画像ファイルが、外部メモリカード３６に記録される。更に、ＣＰＵ２２は光学ズーム倍率に応じて、指向性変更処理が為されたマイクロフォン５Ｌ及び５Ｒの指向性を示す指向性マークを、デジタル画像信号に重畳してリアルタイム記録画像として、ＬＣＤ３８に表示させる。
【００３１】
また、モード選択ボタン２４ａが操作されることにより、再生モードが選択され、再生開始ボタン２４ｅが押下されると、ＣＰＵ２２は、外部メモリカード制御回路３０を制御し、外部メモリカード３６に記録されている、最新の静止画像ファイルまたは動画像ファイルのヘッダ情報を読み出して、再生可能なファイルであるか、つまりファイルが壊れていないか否か、ＪＰＥＧ形式ファイルまたはＭＰ４形式のファイルであるか否かを判断し、再生可能なファイルである場合には、該ファイルのフォーマットを解析して、圧縮静止画像データ、または圧縮動画像・音声データを、ＳＤＲＡＭ３２に一旦格納させ、圧縮・伸張処理回路２６で伸張させて、デジタル伸張画像信号に基づく画像信号をＬＣＤ３８に表示させる。動画像ファイルを再生する場合には、デジタル伸張画像信号に基づく画像信号をＬＣＤ３８に表示させると共に、デジタル伸張音声信号をＤ／Ａ変換回路４６へ出力させ、アナログ伸張音声信号へ変換させてスピーカ４８へ出力させる。
【００３２】
次に、上述した電気的な指向性変更処理を図３及び図４を用いて詳細に説明する。
【００３３】
図３は、マイクロフォン音声処理部４２の内部構成の概略を示すブロック図である。マイクロフォン音声処理部４２は、マイクロフォン５Ｌ及び５Ｒによって集音された複数の音源（図１では、音源Ｐ、音源Ｑ及び音源Ｒの３つの音源）からの音声を音源毎に分離抽出する。そして、ＣＰＵ２２から通知される現在の光学ズーム倍率を検出し、光学ズーム倍率に応じて、分離抽出された各音源からの音声に対して、音源Ｐからの音声の感度が上昇する処理を施す。かかる処理の結果、視聴者が動画像ファイルを再生して視聴すると、主要被写体４からの音声がよりクリアに聴こえることになる。
【００３４】
図３を参照して、更に詳細に説明する。図３において、ＡＤＣ６Ｌ及び６Ｒから出力されるデジタル音声信号は、時間領域上の信号であり、或る基準時刻からの経過時間をｔ（ｔは整数）とすると、当該デジタル音声信号はｔの関数として表現できる。以下、ＡＤＣ６Ｌ及び６Ｒから出力されるデジタル音声信号をそれぞれ原信号Ｌｉ（ｔ）及び原信号Ｒｉ（ｔ）と記載する。
【００３５】
ＦＦＴ（Fast Fourier Transform）部１０１Ｌ及び１０１Ｒぞれぞれは、原信号Ｌｉ（ｔ）及びＲｉ（ｔ）それぞれに対して離散フーリエ変換を施し、周波数スペクトルを生成する。ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される周波数スペクトルは、ＡＤＣ６Ｌ及び６Ｒそれぞれから時間領域上の信号として出力されるデジタル音声信号を周波数領域上の信号に変換したものである。従って、当該周波数スペクトルは、周波数ｆ（ｆは正の整数）の関数として表現できる。以下、ＦＦＴ部１０１Ｌ及び１０１Ｒから出力される周波数スペクトルを、それぞれ周波数スペクトルＬ（ｆ）及びＲ（ｆ）と記載する。
【００３６】
本実施例のデジタルカメラ１０では、ＡＤＣ６Ｌ及び６Ｒそれぞれがアナログ音声信号を、例えば、サンプリング周波数４８ｋＨｚ（キロヘルツ）でデジタル音声信号に変換する。そして、デジタルカメラ１０は、生成されたデジタル音声信号の１０２４サンプル、即ち、約２１．３ｍｓｅｃ（１０２４×１／４８ｋＨｚ）を１つのフレームとし、このフレーム単位で該デジタル音声信号に音声信号処理を施す。
【００３７】
ＦＦＴ部１０１Ｌ及び１０１Ｒは、デジタル音声信号に対し１フレーム単位で離散フーリエ変換を施す。この際、デジタル音声信号の周波数帯域をΔｆの標本間隔でＭ（Ｍは２以上の整数）個に細分化するとともに、細分化された周波数帯域毎に周波数スペクトルを算出する。以下、細分化された周波数帯域を細分化帯域と記載する。例えば、デジタル音声信号の全周波数帯域がΔＦであるとすると、細分化帯域の個数Ｍは、Ｍ＝ΔＦ／Δｆとなる。ここで、理想的には、標本間隔Δｆを狭くすることにより、細分化帯域のそれぞれが１つの音源からのデジタル音声信号の成分しか含まないようにすることができる。即ち、各細分化帯域に含まれるデジタル音声信号は、複数ある音源のうちのいずれか一つの音源から発せられた音声に基づくデジタル音声信号の成分であると考えることができる。
【００３８】
複数の細分化帯域をそれぞれ、ｆ０，ｆ１，ｆ２，・・・，ｆｍ-1（ｍは１以上の整数）とすると、周波数スペクトルＬ（ｆ）及びＲ（ｆ）は、細分化帯域ｆ０，ｆ１，ｆ２，・・・，ｆｍ-1（ｍは１以上の整数）の周波数スペクトルから構成されることになる。以下、周波数スペクトルＬ（ｆ）及びＲ（ｆ）を構成する細分化帯域の周波数スペクトルを、それぞれＬ（ｆ０），Ｌ（ｆ１），Ｌ（ｆ２），・・・Ｌ（ｆｍ-1）、及びＲ（ｆ０），Ｒ（ｆ１），Ｒ（ｆ２），・・・Ｒ（ｆｍ-1）と記載する。
【００３９】
方向判定部１０２は、ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される各細分化帯域の周波数スペクトルから、各細分化帯域に含まれるデジタル音声信号がマイクロフォン５Ｌ及び５Ｒへ到達した時の位相差を算出し、この位相差に基づいて各細分化帯域に含まれるデジタル音声信号の到来方向を判定する。
【００４０】
図４は、方向判定部１０２が音声信号の到来する方向を算出する方法を説明するための図である。今、互いに直行するＸ軸及びＹ軸を座標軸とする２次元の座標面を想定する。Ｘ軸とＹ軸は原点Ｏで直交する。原点Ｏを基準としてＸ軸正方向を右側、負方向を左側、Ｙ軸正方向を前方、負方向を後方とする。マイクロフォン５Ｌ及び５ＲがそれぞれＸ軸上の互いに異なる位置であって、Ｙ軸を基準に対称となるように配置され、２つのマイクロフォンの間隔がＤであるとする。間隔Ｄは、例えば数ｍｍ程度である。  今、例えば、ｆ０Ｈｚの細分化帯域に含まれる音声が音源Ｈから発せられたものであり、当該音声が原点Ｏへ到来する時の入射角を、原点を中心に反時計周りを正としてθ（rad）（ラジアン）であるとする。このときマイクロフォン５Ｌ及び５Ｒへの入射角もθ（rad）と近似することができる。当該音声がマイク５Ｌ及び５Ｒに到達する際の位相差をΔφ（rad）とすると、Δφは、ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される周波数スペクトルＬ（ｆ０）及びＲ（ｆ０）から算出することができる。
【００４１】
具体的には、離散フーリエ変換によって算出された周波数スペクトルＬ（ｆ０）の実部をＬ＿ｒ（ｆ０）、虚部をＬ＿ｉ（ｆ０）とするとＬ（ｆ０）の位相φｌは
【００４２】
【数１】
2011120165.tif 000003
【００４３】
と算出することができる。
【００４４】
同様に、周波数スペクトルＲ（ｆ０）の実部をＲ＿ｒ（ｆ０）、虚部をＲ＿ｉ（ｆ０）とするとＲ（ｆ０）の位相φｒは、
【００４５】
【数２】
2011120165.tif 000004
【００４６】
と算出することができる。
【００４７】
ここで、位相差Δφは、Δφ＝φr-φlと算出できるため、下記式（１）により算出することができる。
【００４８】
【数３】
2011120165.tif 000005
【００４９】
また、音速をＣ（ｍｍ／ｓｅｃ）、マイクロフォン５Ｌと５Ｒとの間隔をＤ（ｍｍ）とすると、Δφは下記式（２）からも算出することができる。  
【００５０】
【数４】
2011120165.tif 000006
【００５１】
よって、上記式（１）と（２）より入射角θは、下記式（３）から算出することができ
る。
【００５２】
【数５】
2011120165.tif 000007
【００５３】
以上より、細分化帯域ｆ０Ｈｚに含まれる音声が到来する方向である、入射角θを算出することができる。このようにして方向判定部１０２は、全ての細分化帯域に含まれる音声の入射角を算出する。以下、細分化帯域に含まれる音声の入射角を単に細分化帯域の入射角と記載する。
【００５４】
本実施例では、方向判定部１０２は、周波数スペクトルＬ（ｆ）の細分化帯域の周波数スペクトルと当該細分化帯域の入射角とを一組として全ての組をズーム倍率判定部１０３へ出力する。尚、周波数スペクトルＲ（ｆ）の細分化帯域の周波数スペクトルと当該細分化帯域の入射角とを一組として出力してもかまわない。
【００５５】
例えば、細分化帯域ｆ０、ｆ１、ｆ２、ｆ３、ｆ４、ｆ５、ｆ６、ｆ７、ｆ８、及びｆ９の入射角がそれぞれθ０、θ１、θ０、θ０、θ１、θ１、θ１、θ２、θ２、及びθ２（rad）であるとすると、方向判定部１０２は、（Ｌ（ｆ０），θ０）、（Ｌ（ｆ１），θ１）、（Ｌ（ｆ２），θ０）、（Ｌ（ｆ３），θ０）、（Ｌ（ｆ４），θ１）、（Ｌ（ｆ５），θ１）、（Ｌ（ｆ６），θ１）、（Ｌ（ｆ７），θ２）、（Ｌ（ｆ８），θ２）、（Ｌ（ｆ９），θ２）をズーム倍率判定部１０３へ出力する。
【００５６】
ズーム倍率判定部１０３は、方向判定部１０２から出力される細分化帯域の周波数スペクトルと当該細分化帯域の入射角の組から、入射角毎に細分化帯域の周波数スペクトルを抽出するとともにこれらを合成し、合成周波数スペクトルを生成する。即ち、音声の到来方向毎の合成周波数スペクトルを生成する。以下、入射角θから到来する細分化帯域の周波数スペクトルを合成して生成した合成周波数スペクトルをＬ（θ）と記載する。
【００５７】
例えば、ズーム倍率判定部１０３は、方向判定部１０２から、（Ｌ（ｆ０），θ０）、（Ｌ（ｆ１），θ１）、（Ｌ（ｆ２），θ０）、（Ｌ（ｆ３），θ０）、（Ｌ（ｆ４），θ１）、（Ｌ（ｆ５），θ１）、（Ｌ（ｆ６），θ１）、（Ｌ（ｆ７），θ２）、（Ｌ（ｆ８），θ２）、（Ｌ（ｆ９），θ２）を取得すると、入射角θ０の細分化帯域の周波数スペクトルＬ（ｆ０）、Ｌ（ｆ２）、Ｌ（ｆ３）を抽出し、これらを合成し、合成周波数スペクトルＬ（θ０）を生成する。
【００５８】
同様に、Ｌ（ｆ１）、Ｌ（ｆ４）、Ｌ（ｆ５）、Ｌ（ｆ６）を抽出して合成し、入射角θ１からの合成周波数スペクトルＬ（θ１）とする。また、Ｌ（ｆ７）、Ｌ（ｆ８）、Ｌ（ｆ９）を抽出して合成し、入射角θ２からの合成周波数スペクトルＬ（θ２）とする。
【００５９】
ここで、図１に示す音源Ｐ、音源Ｑ及び音源Ｒからの音声に基づいて、合成周波数スペクトルを上述した方法にて抽出したとする。その場合、音源Ｐからの合成周波数スペクトルをＬ（θＰ）、音源Ｑからの合成周波数スペクトルをＬ（θＱ）、音源Ｒからの合成周波数スペクトルをＬ（θＲ）とする。音源Ｐは、デジタルカメラ１０のレンズ群１６の光学軸方向に位置するため、θＰ≒９０°となる。このように、ズーム倍率判定部１０３は、音源Ｐが主要被写体４からの音源であることを認識することができる。また、ズーム倍率判定部１０３は、音源Ｑはデジタルカメラ１０のレンズ群１６の光軸方向に位置する音源Ｐから反時計回りにある角度分ずれた方向に位置すること、及び音源Ｒは音源Ｐから時計回りにある角度分ずれた方向に位置することを認識することができる。
【００６０】
ズーム倍率判定部１０３は、合成周波数スペクトルＬ（θＰ）、Ｌ（θＱ）及びＬ（θＲ）をゲイン調整部１０４へ通知する。ＣＰＵ２２は、ズーム倍率に応じてレジスタ値を決定し、ゲイン調整部１０４に通知することによってゲイン調整部１０４内に設けられたレジスタ１０４ａのレジスタ値が設定される。
【００６１】
ゲイン調整部１０４は、レジスタ１０４ａのレジスタ値に対応した、合成周波数スペクトルＬ（θＰ）に対応する周波数スペクトルＬに対して第１増幅率で増幅処理を行い、合成周波数スペクトルＬ（θＱ）に対応する周波数スペクトルＬに対して第２増幅率で増幅処理を行い、合成周波数スペクトルＬ（θＲ）に対応する周波数スペクトルＬに対して第３増幅率で増幅処理を行う。
【００６２】
図６（Ａ）〜（Ｃ）に示された、マイクロフォン５Ｌ（Ｌｃｈ）及び５Ｒ（Ｒｃｈ）の指向性のイメージ図を用いて、具体的に説明する。例えば、光学ズーム倍率が１倍以上〜２．５倍未満に該当するズーム操作が為された場合には、第１増幅率、第２増幅率及び第３増幅率は、あたかも図６（Ａ）に示すようなマイクロフォン５Ｌの指向性がデジタルカメラ１０のレンズ群１６の光軸方向を中心軸として反時計回りに略９０°、マイクロフォン５Ｒの指向性がデジタルカメラ１０のレンズ群１６の光軸方向を中心軸として時計回りに略９０°となるような増幅率に設定される。
【００６３】
光学ズーム倍率が２．５倍以上〜４倍未満に該当するズーム操作が為された場合には、第１増幅率、第２増幅率及び第３増幅率は、あたかも図６（Ｂ）に示すようなマイクロフォン５Ｌの指向性がデジタルカメラ１０のレンズ群１６の光軸方向を中心軸として反時計回りに略６０°、マイクロフォン５Ｒの指向性がデジタルカメラ１０のレンズ群１６の光軸方向を中心軸として時計回りに略６０°となるような増幅率に設定される。
【００６４】
光学ズーム倍率が４倍以上に該当するズーム操作が為された場合には、第１増幅率、第２増幅率及び第３増幅率は、あたかも図６（Ｃ）に示すようなマイクロフォン５Ｌの指向性がデジタルカメラ１０のレンズ群１６の光軸方向を中心軸として反時計回りに略３０°、マイクロフォン５Ｒの指向性がデジタルカメラ１０のレンズ群１６の光軸方向を中心軸として時計回りに略３０°となるような増幅率に設定される。
【００６５】
ＩＦＦＴ（Inverse Fast Fourier Transform）部１０５Ｌ及び１０５Ｒは、それぞれゲイン調整後の周波数スペクトルＬ（ｆ）及びＲ（ｆ）に対し逆フーリエ変換を行い、時間領域上の信号に変換し、それぞれＬｏ（ｔ）及びＲｏ（ｔ）としてバス４０に出力する。
【００６６】
以上、指向性変更処理の一例について説明したが、他の方法で指向性を変更するようにしてもかまわない。
【００６７】
また、本実施例のデジタルカメラ１０では、上述したような光学ズーム倍率の変更に応じて電気的な指向性変更処理を行った際に、使用者に対してマイクロフォン５Ｌ及び５Ｒの指向性がどのように変更されているかを、使用者に対して示すことができる。具体的には、ＣＰＵ２２がスーパーインボース回路４４を制御して、マイクロフォン５Ｌ及び５Ｒの指向性を表す指向性マークをデジタル画像信号に重畳させて、リアルタイム記録画像としてＬＣＤ３８に出力する。更に詳細に説明すると、ＣＰＵ２２は現在の光学ズーム倍率を検出すると、図８に示すような光学ズーム倍率とレジスタ値の関係を示したルックアップテーブルを参照してレジスタ値を決定し、スーパーインボース回路４４内に設けられたレジスタ４４ａにレジスタ値を設定する。スーパーインボース回路４４は、レジスタ４４ａのレジスタ値に対応した、指向性マークをデジタル画像信号に重畳させる指向性マーク重畳処理を行い、バス４０へ出力する。
【００６８】
図５（Ａ）〜（Ｃ）は、光学ズーム倍率の変更に応じて、ＬＣＤ３８に表示される、指向性を示すマークがデジタル画像信号に重畳されたリアルタイム記録画像の画面を示している。
【００６９】
図５（Ａ）は、光学ズーム倍率が１倍の時にＬＣＤ３８に表示されるリアルタイム記録画像の画面を示しており、図６（Ａ）に示すようなマイクロフォン５Ｌ及び５Ｒの指向性を、使用者に対してイメージさせるような指向性マーク２００が、デジタル画像信号に重畳されている。
【００７０】
図５（Ｂ）は、光学ズーム倍率が３倍の時にＬＣＤ３８に表示されるリアルタイム記録画像の画面を示しており、図６（Ｂ）に示すようなマイクロフォン５Ｌ及び５Ｒの指向性を、使用者に対してイメージさせるような指向性マーク３００がデジタル画像信号に重畳されている。
【００７１】
図５（Ｃ）は、光学ズーム倍率が５倍の時にＬＣＤ３８に表示されるリアルタイム記録画像の画面を示しており、図６（Ｃ）に示すようなマイクロフォン５Ｌ及び５Ｒの指向性を、使用者に対してイメージさせるような指向性マーク４００がデジタル画像信号に重畳されている。
【００７２】
図７は、指向性変更処理および指向性マーク重畳処理の流れの一例を示すフローチャートである。指向性変更処理および指向性マーク重畳処理は、ＣＰＵ２２が図示しないフラッシュメモリに格納されているプログラムを、ＣＰＵ２２が実行することにより実現される処理である。
【００７３】
まず、デジタルカメラ１０のモード選択ボタン２４ａが操作されることにより、動画像撮像モードに移行されると、ＣＰＵ２２は、ステップＳ１で光学ズーム倍率を検出する。次にステップＳ３へ進み、ステップＳ３では、図８に示すルックアップテーブルを用いて、光学ズーム倍率に対応したレジスタ値を決定する。次にステップＳ５へ進み、ステップＳ５では、マイクロフォン音声処理部４２内のゲイン調整部１０４ａに設けられたレジスタ１０４ａのレジスタ値、及びスーパーインボース回路４４に設けられたレジスタ４４ａのレジスタ値を決定された値に設定する。次にステップＳ７へ進み、ステップＳ７では、光学ズーム倍率の変更指示が有ったか否かを判別する。ＮＯと判別された場合は、ステップＳ７へ戻り、ＹＥＳと判別されるまで判別を繰り返す。ステップＳ７においてＹＥＳと判別されると、ステップＳ１へ戻り、上記処理を繰り返す。
【００７４】
以上説明したように、本実施例におけるデジタルカメラ１０は、光学ズーム倍率の変更に応じて、光学レンズを移動せしめるズーム処理を実行するのと同時に、マイクロフォン５Ｌ及び５Ｒで集音される音声に対して所定の処理、つまり電気的な指向性変更処理を施すことによって、主要被写体４の音声の指向性を強めて、かつ現在のマイクロフォン５Ｌ及び５Ｒの指向性を示す指向性マークをＬＣＤ３８に表示させることによって、使用者がマイクロフォン５Ｌ及び５Ｒの指向性の変化を認識することができ、使用者が、自身の操作による満足度をより高めることができる。
【００７５】
なお、本実施例では、ＣＰＵ２２は光学ズーム倍率の変更に応じて指向性変更処理および指向性マーク重畳処理を実行したが、電子ズーム倍率の変更に応じて該処理を実行してもよい。
【００７６】
また、本実施例では、動画像撮像処理が実行されている状態において、光学ズーム倍率の変更に応じて指向性変更処理および指向性マーク重畳処理を実行したが、スルー画像が表示されている状態において、光学ズーム倍率が変更された場合にも該処理を実行することにより、ＬＣＤ３８上に指向性マークを表示させても良い。
【符号の説明】
【００７７】
５Ｌ      ・・・    マイクロフォン
５Ｒ      ・・・    マイクロフォン
１０      ・・・    デジタルカメラ
１６      ・・・    レンズ群
１８      ・・・    ＣＭＯＳイメージャユニット
２０      ・・・    信号処理回路
２２      ・・・    ＣＰＵ
２４      ・・・    操作部
３０      ・・・    外部メモリカード制御回路
３２      ・・・    ＳＤＲＡＭ
３６      ・・・    外部メモリカード
３８      ・・・    ＬＣＤ
４２      ・・・    マイクロフォン音声処理部
４４      ・・・    スーパーインボース回路
４６      ・・・    Ｄ／Ａ変換回路
４８      ・・・    スピーカ
【図１】
2011120165.tif 000008
【図２】
2011120165.tif 000009
【図３】
2011120165.tif 000010
【図４】
2011120165.tif 000011
【図５】
2011120165.tif 000012
【図６】
2011120165.tif 000013
【図７】
2011120165.tif 000014
【図８】
2011120165.tif 000015