(57)【要約】【課題】水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれのない電子機器を提供する。【解決手段】ステレオマイク４で集音した音声信号の記録及び再生機能を有し、ステレオマイク４で集音した音声信号に対して所定の音響効果を付与する信号処理を行う音声処理部６を備え、音声処理部６が、集音した音声信号を水中モードにて記録する際において、集音した音声信号を水中モード以外のモードにて記録する場合から前記信号処理の制御パラメータを変更する電子機器。【選択図】図１
2010130423.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンで集音した音声信号の記録及び／又は再生機能を有し、
前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理を行う音声処理部を備え、
前記音声処理部が、集音した音声信号を水中モードにて記録する際、又は、記録した音声信号を水中モードにて再生する際のいずれかにおいて、集音した音声信号を水中モード以外のモードにて記録する際、又は、記録した音声信号を水中モード以外のモードにて再生する際のいずれかの場合から前記信号処理の制御パラメータを変更することを特徴とする電子機器。
【請求項２】
複数のマイクロホンで集音した音声信号の記録及び／又は再生機能を有し、
前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理を行う音声処理部を備え、
前記音声処理部が、集音した音声信号を水中モードにて記録する際、及び／又は、記録した音声信号を水中モードにて再生する際において、前記信号処理を行わないことを特徴とする電子機器。
【請求項３】
前記信号処理が、前記複数のマイクロホンで集音した音声信号の相対位相差を利用して、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する処理である請求項１又は請求項２に記載の電子機器。
【請求項４】
前記信号処理が、再生時に所定の方向に所定の音像を生成する音像制御である請求項１〜３のいずれか１項に記載の電子機器。
【請求項５】
音声信号が水中で集音されたものであるか否かを判定する集音環境判定部を備え、前記集音環境判定部の判定結果に応じて水中モードと水中モード以外のモードとを切り替える請求項１〜４のいずれか１項に記載の電子機器。
【請求項６】
映像を撮影するカメラを備える撮像装置である請求項１〜５のいずれか１項に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号の記録及び／又は再生が可能な電子機器（例えば、撮像装置やＩＣレコーダ等）及び音声信号の記録及び／又は再生の際に実施される音声信号処理方法に関する。
【背景技術】
【０００２】
近年、空気中のみならず水中においても集音することができる撮像装置やＩＣレコーダなどの電子機器が種々提案されている。これらの電子機器は、防水構造や防水ハウジングに収納可能な構造とすることで、空気中のみならず水中においても集音することを可能としている。
【０００３】
しかしながら、水中における集音特性は空気中における集音特性と大きく異なるため、電子機器を用いて水中で集音した音声信号は、空気中で集音した音声信号とは大きく異なるものとなる。そのため、水中で集音した音声信号を再生した場合に、非常に聞き取り難くなったり耳障りになったりするなど、ユーザの意図に反した音声信号となってしまうことが問題となっていた。
【０００４】
この問題に対して、集音している環境が水中か否かを判定し、その判定結果に応じて利得制御部及び可変フィルタ部を制御し、マイクロホンからの集音信号の利得及び周波数特性を変化させるビデオカメラが、特許文献１において提案されている。
【０００５】
【特許文献１】特開平７−３０７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１では、複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理については何ら言及されていない。
【０００７】
空気中と水中とでは音の伝搬特性が大きく異なっており、その１つとして音速の差異がある。空気中での音速は３４４ｍ／ｓ程度であり、水中での音速は１５００ｍ／ｓ程度であるため、水中では空気中の約５倍の速さで音が伝わる。そのため、任意の間隔で複数のマイクロホンが配置される場合、各マイクロホンで集音した音声信号の到達時間差が空気中と水中とでは異なっている。
【０００８】
このため、複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理が、集音環境が空気中であることを想定したものであるにもかかわらず、水中で集音された音声信号に対して実行された場合、所定の音響効果を付与したつもりが、所定の音響効果とは異なる音響効果すなわちユーザの意図に反する音響効果が付与されてしまうおそれがある。
【０００９】
本発明は、上記の状況に鑑み、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれのない電子機器及び音声信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る電子機器は、複数のマイクロホンで集音した音声信号の記録及び／又は再生機能を有し、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理を行う音声処理部を備え、前記音声処理部が、集音した音声信号を水中モードにて記録する際、又は、記録した音声信号を水中モードにて再生する際のいずれかにおいて、集音した音声信号を水中モード以外のモードにて記録する際、又は、記録した音声信号を水中モード以外のモードにて再生する際のいずれかの場合から前記信号処理の制御パラメータを変更する構成とする。
【００１１】
このような構成によると、水中モードのときに用いる前記信号処理の制御パラメータを水中モードに適した値に変更することにより、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなるとともに、集音された音声信号に対して集音環境にかかわらず所定の音響効果を付与することができる。
【００１２】
また、上記の目的を達成するために、本発明に係る他の電子機器は、複数のマイクロホンで集音した音声信号の記録及び／又は再生機能を有し、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理を行う音声処理部を備え、前記音声処理部が、集音した音声信号を水中モードにて記録する際、及び／又は、記録した音声信号を水中モードにて再生する際において、前記信号処理を行わない構成とする。
【００１３】
このような構成によると、水中モードのときは所定の音響効果が付与されないので、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなる。
【００１４】
また、上記各構成の電子機器において、前記信号処理が、前記複数のマイクロホンで集音した音声信号の相対位相差を利用して、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する処理であるようにしてもよい。なお、前記複数のマイクロホンで集音した音声信号の相対位相差に加えて前記複数のマイクロホンで集音した音声信号の相対振幅差も利用するようにしてもよい。
【００１５】
また、上記各構成の電子機器において、前記信号処理が、再生時に所定の方向に所定の音像を生成する音像制御（例えば、ステレオ処理、指向性処理、立体音響処理など）であるようにしてもよい。
【００１６】
また、上記各構成の電子機器において、音声信号が水中で集音されたものであるか否かを判定する集音環境判定部を備え、前記集音環境判定部の判定結果に応じて水中モードと水中モード以外のモードとを切り替えるようにしてもよい。
【００１７】
また、上記各構成の電子機器の一例としては、映像を撮影するカメラを備える撮像装置が挙げられる。
【００１８】
また、上記の目的を達成するために、本発明に係る音声信号処理方法は、水中モードに設定しているか水中モード以外のモードに設定しているかを判定するステップと、集音した音声信号を水中モードにて記録する際、又は、記録した音声信号を水中モードにて再生する際のいずれかにおいて、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理の制御パラメータを第１の設定にして前記信号処理を行うステップと、集音した音声信号を水中モード以外のモードにて記録する際、又は、記録した音声信号を水中モード以外のモードにて再生する際のいずれかにおいて、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理の制御パラメータを前記第１の設定とは異なる第２の設定にして前記信号処理を行うステップとを備えるようにする。
【００１９】
また、上記の目的を達成するために、本発明に係る他の音声信号処理方法は、水中モードに設定しているか水中モード以外のモードに設定しているかを判定するステップと、集音した音声信号を水中モード以外のモードにて記録する際、又は、記録した音声信号を水中モード以外のモードにて再生する際のいずれかにおいて、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理を行うステップとを備え、集音した音声信号を水中モードにて記録する際、及び／又は、記録した音声信号を水中モードにて再生する際において、前記複数のマイクロホンで集音した音声信号に対して所定の音響効果を付与する信号処理を行わないようにする。
【発明の効果】
【００２０】
本発明によると、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれのない電子機器及び音声信号処理方法を実現することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の実施形態について図面を参照して以下に説明する。ここでは、本発明に係る電子機器として、音声信号の記録・再生とともに画像信号の記録・再生も可能な撮像装置を例に挙げて説明する。
【００２２】
＜撮像装置の基本構成＞
まず、撮像装置の基本構成について図１を参照して説明する。図１は、本発明に係る撮像装置の一内部構成例を示すブロック図である。
【００２３】
図１に示す撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、撮像装置の前方の左右方向から入力された音声を独立して電気信号に変換するステレオマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施す画像処理部５と、ステレオマイク４からのアナログ信号である音声信号に対してデジタル信号に変換するとともに音声補正処理を施す音声処理部６と、画像処理部５から出力される画像信号及び音声処理部６から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ（Liquid Crystal Display）等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、ユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。なお、ＣＰＵ１７は、画像処理部５で検出した画像信号に応じて、レンズ部２内の各モータを駆動して焦点、絞りの制御を行う。
【００２４】
＜撮像装置の基本動作＞
次に、図１に示す撮像装置の動画撮影時の基本動作について図１を参照して説明する。まず、撮像装置は、レンズ部２より入射される光をイメージセンサ１において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ１は、タイミングジェネレータ１６から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ３に画像信号を出力する。
【００２５】
そして、ＡＦＥ３によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部５に入力される。画像処理部５は、入力される画像信号を、輝度信号と色差信号とからなる画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１８はフレームメモリとして動作し、画像処理部５が処理を行う際に画像信号を一時的に保持する。
【００２６】
また、このとき画像処理部５に入力される画像信号に基づき、レンズ部２において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
【００２７】
一方、ステレオマイク４において電気信号に変換される音声信号は、音声処理部６に入力される。音声処理部６は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの音声補正処理を施す。なお、音声処理部６の構成については後述する。
【００２８】
そして、画像処理部５から出力される画像信号と、音声処理部６から出力される音声信号とがともに圧縮処理部７に入力され、圧縮処理部７において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部８を介して外部メモリ２２に記録される。
【００２９】
また、音声のみを記録する場合であれば、音声信号が圧縮処理部７において所定の圧縮方式で圧縮され、外部メモリ２２に記録されることとなる。
【００３０】
外部メモリ２２に記録された圧縮符号化信号は、ユーザの指示に基づく操作部１９の出力信号に応じて、伸長処理部９に読み出される。伸長処理部９は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号をビデオ出力回路部１０、音声信号を音声出力回路部１３にそれぞれ出力する。そして、ビデオ出力回路部１０や音声出力回路部１３において、画像信号及び音声信号がディスプレイ部１２やスピーカ部１５において再生可能な形式に変換されて出力される。
【００３１】
また、画像信号の記録を行わずにディスプレイ部１２に表示される画像をユーザが確認する、所謂プレビューモードである場合に、圧縮処理部７が圧縮処理を行わないようにし、画像処理部５が圧縮処理部７ではなくビデオ出力回路部１０に画像信号を出力するようにしてもよい。また、画像信号を記録する際に、ドライバ部８を介して外部メモリ２２に記録する動作と並行して、ビデオ出力回路１０を介してディスプレイ部１２に画像信号を出力するようにしても構わない。
【００３２】
なお、図１に示す構成では、ディスプレイ部１２やスピーカ部１５が撮像装置に搭載されているが、ディスプレイ部１２やスピーカ部１５を撮像装置と別体とし、撮像装置に設けられる端子（ビデオ出力端子１１、音声出力端子１４）とケーブル等を用いて接続されるような構成であっても構わない。
【００３３】
＜ステレオマイクの配置＞
次に、図１に示す撮像装置が備えるステレオマイク４の配置例について図面を参照して説明する。図２は、図１に示す撮像装置を装置上面から見た概略外観図である。モニタユニット２３に、ディスプレイ部１２と、ステレオマイク４を構成している右側マイク４Ｒ及び左側マイク４Ｌとが設けられ、本体部分の前面にレンズ部２が設けられている。右側マイク４Ｒ及び左側マイク４Ｌは、ディスプレイ部１２の背面にマイク間隔約２ｃｍで設けられている。
【００３４】
＜音声処理部の第１実施例＞
音を収録する装置において、音源の位置を再現して記録再生するシステム、或いは、意図的に音源の位置を移動させて新たな音像を生成する記録再生システムが、様々な手法で実現されている。これらのシステムで共通しているのは、複数のマイクロホンに到達する音の遅延による位相差及び振幅差を利用し、再生時に意図した音像が目的とする位置に生成されるよう、マイクロホンで検出した信号を再合成することである。これらの再合成手法として、ＦＩＲ（Finite Impulse Response）フィルタを用いた手法が良く知られている。
【００３５】
そこで、音声処理部６の第１実施例では、ＦＩＲフィルタを用いマイクロホンで検出した信号を再合成するようにする。音声処理部６の第１実施例について図３〜図８を参照して説明する。図３は、音声処理部６の第１実施例を採用した場合の音声処理部６の構成を示すブロック図である。音声処理部６の第１実施例では、音声処理部６が、右側マイク４Ｒから出力されるアナログＲｃｈ音声信号をデジタルＲｃｈ音声信号に変換するＡ／Ｄ変換部６１Ｒと、左側マイク４Ｌから出力されるアナログＬｃｈ音声信号をデジタルＬｃｈ音声信号に変換するＡ／Ｄ変換部６１Ｌと、Ａ／Ｄ変換部６１Ｒから出力されるデジタルＲｃｈ音声信号を入力するＦＩＲフィルタ６２Ｒ１及び６２Ｒ２と、Ａ／Ｄ変換部６１Ｌから出力されるデジタルＬｃｈ音声信号を入力するＦＩＲフィルタ６２Ｌ１及び６２Ｌ２と、ＦＩＲフィルタ６２Ｒ１の出力信号とＦＩＲフィルタ６２Ｌ１の出力信号を加算する加算器６３Ｒと、ＦＩＲフィルタ６２Ｒ２の出力信号とＦＩＲフィルタ６２Ｌ２の出力信号を加算する加算器６３Ｌと、音声信号が水中で集音されたものであるか否かを判定する集音環境判定部６４とを備えている。加算器６３Ｒの出力信号が所定の音響効果付与後のＲｃｈ音声信号となり、加算器６３Ｌの出力信号が所定の音響効果付与後のＬｃｈ音声信号となる。
【００３６】
ＦＩＲフィルタ６２Ｒ１、６２Ｒ２、６２Ｌ１、及び６２Ｌ２は、音声信号が水中で集音されたものであると集音環境判定部６４によって判定された場合に、フィルタ係数を水中用のフィルタ係数とし、一方、音声信号が水中以外で集音されたものであると集音環境判定部６４によって判定された場合に、フィルタ係数を空気中用のフィルタ係数とする。これにより、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなるとともに、集音された音声信号に対して集音環境にかかわらず所定の音響効果を付与することができる。
【００３７】
ＦＩＲフィルタ６２Ｒ１、６２Ｒ２、６２Ｌ１、及び６２Ｌ２は、目的に応じて設計されるが、基本的には、音源から右側マイク４Ｒ、左側マイク４Ｌそれぞれに到達する音の伝搬特性、再生時にスピーカまたはヘッドホンで聴く場合の音の伝搬特性を考慮し、最終的に聴く音が目的とする音像として聴こえるようにフィルタ係数を算出する。
【００３８】
図３に示す構成で実現可能な制御として、例えば、目的方向の音を強調する指向性制御、擬似的にスピーカ位置以外から音が聞こえてくる立体音響制御やステレオワイド化制御などがある。ＦＩＲフィルタの設計方法に関しては、様々な方法が提案されているが、ここでは一例として指向性制御を目的とした場合の設計手法について説明する。
【００３９】
ＦＩＲフィルタのフィルタ係数の算出には、フィルタの出力信号が所望の信号に近づくように、フィルタの出力信号と所望の信号との誤差をＬＭＳ(Least Mean Square：最小二乗法)によって最小化する手法を用いる。なお、ＦＩＲフィルタは、図４に示すような構成であり、図４中のＦ［０］〜Ｆ［Ｎ−１］がフィルタ係数となる。Ｆ［０］が０番目のフィルタ係数であり、Ｆ［Ｎ−１］が（Ｎ−１）番目のフィルタ係数である。
【００４０】
ここでは、Ｒｃｈ音声信号への所定の音響効果付与に関して、正面方向からの音のみを強調するビームフォーミングフィルタを設計する例を説明する。ＦＩＲフィルタ６２Ｒ１及び６２Ｌ１のフィルタ係数を算出するためのシステムの一例を図５に示す。なお、図５において図３と同一の部分には同一の符号を付す。
【００４１】
信号生成器２４からは３種類の無相関なホワイトノイズを生成し、右側マイク４Ｒ及び左側マイク４Ｌを囲む３方向に設置したスピーカ２５〜２７から再生する。または、信号生成器２４から１種類の信号を生成し、再生するスピーカを一定時間間隔で切り替えて再生してもよい。そして、遅延器２８が正面方向からの信号に対して適度な遅延処理を行い、遅延器２８の出力信号と加算器６３Ｒの出力信号との誤差を、加算器２９がサンプリング時間毎に算出する。その誤差を最小にするために、係数更新部３０ＲがＬＭＳ法を用いてＦＩＲフィルタ６２Ｒ１のフィルタ係数を更新し、係数更新部３０ＬがＬＭＳ法を用いてＦＩＲフィルタ６２Ｌ１のフィルタ係数を更新する。これにより、空気中用のフィルタ係数が求まる。
【００４２】
更新式は以下の通りである。（１）式は遅延器２８の出力信号と加算器６３Ｒの出力信号との誤差ｅｒｒを求める式であり、（２）式はＦＩＲフィルタ６２Ｒ１のフィルタ係数の更新量を決定する式であり、（３）式はＦＩＲフィルタ６２Ｌ１のフィルタ係数の更新量を決定する式である。ただし、ＩＮ＿Ｒ［ｔ］は時刻ｔにおけるＦＩＲフィルタ６２Ｒ１の入力信号を示し、ＩＮ＿Ｌ［ｔ］は時刻ｔにおけるＦＩＲフィルタ６２Ｌ１の入力信号を示し、Ｆ＿Ｒ［ｎ］はＦＩＲフィルタ６２Ｒ１のｎ番目のフィルタ係数を示し、Ｆ＿Ｌ［ｎ］はＦＩＲフィルタ６２Ｌ１のｎ番目のフィルタ係数を示し、ｔは時刻（−Ｎ＋１≦ｔ≦０）を示し、ｎは正の整数（０≦ｔ≦Ｎ−１）を示し、Ｓ［ｔ］は時刻ｔにおけるスピーカ２６の出力信号を示し、αは遅延器２８での遅延時間（α≧（スピーカ−マイク間の距離及びフィルタ処理による遅延時間））を示し、μは任意の定数を示している。
【００４３】
【数１】
2010130423.tif 000003
【００４４】
次に、水中では音速が約５倍になるため、音源がマイクに対して十分離れているとすれば、水中ではマイク間隔が１／５になるのと等価であるとみなすことができる。そこで、右側マイク４Ｒと左側マイク４Ｌとの間隔を本来の１／５に狭めた条件で、同様にＦＩＲフィルタ６２Ｒ１及び６２Ｌ１のフィルタ係数を算出する。これにより、水中用のフィルタ係数が求まる。
【００４５】
Ｌｃｈ側のフィルタ係数の算出すなわちＦＩＲフィルタ６２Ｒ２及び６２Ｌ２のフィルタ係数の算出に関しても、全く同様となる。本実施例の場合、正面方向の音を強調するフィルタ設計であるため、Ｌｃｈ側とＲｃｈ側は同一のフィルタ係数で実現可能である。
【００４６】
また、本実施例では正面からの再生信号を所望の信号としてＬＭＳ法によるフィルタ係数の更新を行ったが、立体音響制御を目的とする場合などでは、ダミーヘッドでの検出信号を所望の信号としてＬＭＳ法によるフィルタ係数の更新を行ってもよい。
【００４７】
なお、図３では、集音環境判定部６４がＡ／Ｄ変換部６１Ｒ及び６１Ｌから出力されるデジタル音声信号を入力する実施例、すなわち、集音環境判定部６４がＡ／Ｄ変換部６１Ｒ及び６１Ｌから出力されるデジタル音声信号に基づいて集音環境を判定する実施例を図示しているが、集音環境判定部６４はこの実施例に限定されない。集音環境判定部６４の実施例の詳細については後述する。
【００４８】
音声処理部６の第１実施例を採用した場合の音声処理部６が継続的に行う動作の概略をまとめると、図６に示すフローチャートのようになる。すなわち、音声処理部６の第１実施例を採用した場合の音声処理部６は、ステレオマイク４から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換処理を施し（ステップ＃１０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃２０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃２０のＹＥＳ）は所定の音響効果を付与する信号処理の制御パラメータであるＦＩＲフィルタのフィルタ係数を水中用のフィルタ係数にして、上記Ａ／Ｄ変換処理で得られたデジタル音声信号に対して所定の音響効果を付与する信号処理を施し（ステップ＃３０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃２０のＮＯ）は所定の音響効果を付与する信号処理の制御パラメータであるＦＩＲフィルタのフィルタ係数を空気中用のフィルタ係数にして、上記Ａ／Ｄ変換処理で得られたデジタル音声信号に対して所定の音響効果を付与する信号処理を施す（ステップ＃４０）という一連の動作を継続的に行っている。
【００４９】
なお、上述した実施例では、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合でも、集音された音声信号に対して所定の音響効果を付与する信号処理を行ったが、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにしてもよい。これにより、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなる。
【００５０】
ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにする音声処理部６の第１実施例の変形例としては、例えば、図３に示す構成において、ステレオマイク４によって集音された音声信号が水中で集音されたものであると集音環境判定部６４によって判定されなかった場合に、ＦＩＲフィルタ６２Ｒ１、６２Ｒ２、６２Ｌ１、及び６２Ｌ２のフィルタ係数が空気中用のフィルタ係数となり、ステレオマイク４によって集音された音声信号が水中で集音されたものであると集音環境判定部６４によって判定された場合に、ＦＩＲフィルタ６２Ｒ１、６２Ｒ２、６２Ｌ１、及び６２Ｌ２の０番目のフィルタ係数が１となりその他のフィルタ係数が０となる構成、或いは、図７に示すような構成とし、ステレオマイク４によって集音された音声信号が水中で集音されたものであると集音環境判定部６４によって判定されなかった場合に、ＦＩＲフィルタ６２Ｒ１、６２Ｒ２、６２Ｌ１、及び６２Ｌ２のフィルタ係数が空気中用のフィルタ係数となり、ステレオマイク４によって集音された音声信号が水中で集音されたものであると集音環境判定部６４によって判定された場合に、ＦＩＲフィルタ６２Ｒ１、６２Ｒ２、６２Ｌ１、及び６２Ｌ２をスルーする構成がある。
【００５１】
ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにする音声処理部６の第１実施例の変形例が継続的に行う動作の概略をまとめると、図８に示すフローチャートのようになる。すなわち、音声処理部６の第１実施例の変形例では、音声処理部６は、ステレオマイク４から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換処理を施し（ステップ＃１０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃２０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃２０のＹＥＳ）は、上記Ａ／Ｄ変換処理で得られたデジタル音声信号に対して所定の音響効果を付与する信号処理を施さず、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃２０のＮＯ）は所定の音響効果を付与する信号処理の制御パラメータであるＦＩＲフィルタのフィルタ係数を空気中用のフィルタ係数にして、上記Ａ／Ｄ変換処理で得られたデジタル音声信号に対して所定の音響効果を付与する信号処理を施す（ステップ＃４０）という一連の動作を継続的に行っている。
【００５２】
＜音声処理部の第２実施例＞
指向性制御を１つの遅延器のみで実現する手法として、遅延和処理による手法が良く知られている。図９に示すように、右側マイク４Ｒ及び左側マイク４Ｌに十分離れた場所から音が到来した場合、右側マイク４Ｒに対して距離Ｄの分だけ左側マイク４Ｌに到達する音が遅れる。音速を３４０ｍ／ｓとすると、Ｄ／３４０秒の遅れである。右側マイク４Ｒから出力されるアナログＲｃｈ音声信号に対して遅延器によってＤ／３４０秒の遅延処理を施した後、左側マイク４Ｌから出力されるアナログＬｃｈ音声信号と加算すると、図９に示す矢印Ａの方向からの音に関しては完全に同じ信号の加算（同期加算）となり、全ての周波数帯域において信号レベルが２倍となる。一方、図９に示す矢印Ａの方向以外からの音に関しては、同期加算とはならないため、信号レベルは２倍にはならない。つまり、同期加算となる方向からの音（図９に示す矢印Ａの方向からの音）に指向性を持たせることができる。
【００５３】
そこで、音声処理部６の第２実施例では、遅延和処理による手法を用いて指向性制御を行うようにする。音声処理部６の第２実施例について図１０〜図１２を参照して説明する。図１０は、音声処理部６の第２実施例を採用した場合の音声処理部６の構成を示すブロック図である。音声処理部６の第２実施例では、音声処理部６が、右側マイク４Ｒから出力されるアナログＲｃｈ音声信号をＤ／３４０秒遅延させるＤ／３４０秒遅延器６５１と、右側マイク４Ｒから出力されるアナログＲｃｈ音声信号をＤ／１５００秒遅延させるＤ／１５００秒遅延器６５２と、左側マイク４Ｌから出力されるアナログＬｃｈ音声信号と遅延後のアナログＲｃｈ音声信号とを加算する加算器６５３と、音声信号が水中で集音されたものであるか否かを判定する集音環境判定部６４と、音声信号が水中で集音されたものであると集音環境判定部６４によって判定された場合にＤ／１５００秒遅延器６５２を選択し音声信号が水中で集音されたものであると集音環境判定部６４によって判定されなかった場合にＤ／３４０秒遅延器６５１を選択する切替スイッチ６５４とを備えている。このような構成によると、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなるとともに、集音された音声信号に対して集音環境にかかわらず所定の音響効果（指向性制御による音響効果）を付与することができる。
【００５４】
また、本実施例では右側の特定の方向に指向性を持たせる構成であるが、左側の特定の方向に指向性を持たせる場合は遅延器や切替スイッチを左側マイク４Ｌ側に設けるとよい。
【００５５】
また、Ｄ／３４０秒遅延器６５１、Ｄ／１５００秒遅延器６５２、及び切替スイッチ６５４に代えて、遅延時間が可変する可変遅延器を設けてもよい。当該可変遅延器は、音声信号が水中で集音されたものであると集音環境判定部６４によって判定された場合に遅延時間がＤ／１５００秒となり、音声信号が水中で集音されたものであると集音環境判定部６４によって判定されなかった場合に遅延時間がＤ／３４０秒となるようにすればよい。
【００５６】
なお、図１０では、集音環境判定部６４がステレオマイク４から出力されるアナログ音声信号を入力する実施例、すなわち、集音環境判定部６４がステレオマイク４から出力されるアナログ音声信号に基づいて集音環境を判定する実施例を図示しているが、集音環境判定部６４はこの実施例に限定されない。集音環境判定部６４の実施例の詳細については後述する。
【００５７】
音声処理部６の第２実施例を採用した場合の音声処理部６が継続的に行う動作の概略をまとめると、図１１に示すフローチャートのようになる。すなわち、音声処理部６の第２実施例を採用した場合の音声処理部６は、ステレオマイク４によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃１１０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃１１０のＹＥＳ）は所定の音響効果を付与する信号処理の制御パラメータである遅延時間をＤ／１５００にして、アナログＲｃｈ音声信号を遅延した後アナログＬｃｈ音声信号と加算することによって、アナログ音声信号に対して所定の音響効果を付与する信号処理を施し（ステップ＃１２０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃１１０のＮＯ）は所定の音響効果を付与する信号処理の制御パラメータである遅延時間をＤ／３４０にして、アナログＲｃｈ音声信号を遅延した後アナログＬｃｈ音声信号と加算することによって、アナログ音声信号に対して所定の音響効果を付与する信号処理を施す（ステップ＃１３０）という一連の動作を継続的に行っている。
【００５８】
なお、上述した実施例では、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合でも、集音された音声信号に対して所定の音響効果を付与する信号処理を行ったが、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにしてもよい。これにより、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなる。
【００５９】
ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにする音声処理部６の第２実施例の変形例としては、例えば、図１０に示す構成において、Ｄ／１５００秒遅延器６５２を取り除く構成、或いは、上述した可変遅延器を用いる構成において、音声信号が水中で集音されたものであると集音環境判定部６４によって判定された場合に遅延時間が０となり、音声信号が水中で集音されたものであると集音環境判定部６４によって判定されなかった場合に遅延時間がＤ／３４０秒となるようにする構成がある。
【００６０】
ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにする音声処理部６の第２実施例の変形例が継続的に行う動作の概略をまとめると、図１２に示すフローチャートのようになる。すなわち、音声処理部６の第２実施例の変形例では、音声処理部６は、ステレオマイク４によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃１１０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃１１０のＹＥＳ）はアナログ音声信号に対して所定の音響効果を付与する信号処理を施さず、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃１１０のＮＯ）は所定の音響効果を付与する信号処理の制御パラメータである遅延時間をＤ／３４０にして、アナログＲｃｈ音声信号を遅延した後アナログＬｃｈ音声信号と加算することによって、アナログ音声信号に対して所定の音響効果を付与する信号処理を施す（ステップ＃１３０）という一連の動作を継続的に行っている。
【００６１】
＜音声処理部の第３実施例＞
次に、音声処理部６の第３実施例について図１３〜図１７を参照して説明する。図１３は、音声処理部６の第３実施例を採用した場合の音声処理部６の構成を示すブロック図である。音声処理部６の第３実施例では、音声処理部６が、ＦＦＴ（Fast Fourier Transform）部６６１Ｒ及び６６１Ｌと、相対位相差情報生成部６６２と、集音環境判定部６４と、指向性制御処理部６６３Ｒ及び６６３Ｌと、ＩＦＦＴ（Inverse Fast Fourier Transform）部６６４Ｒ及び６６４Ｌとを備えている。
【００６２】
ＦＦＴ部６６１Ｒは、ステレオマイク４の右側マイク４Ｒ（図９参照）から入力されるＲｃｈ音声信号を４８ｋＨｚでサンプリングしてデジタル信号に変換した後、２０４８サンプル毎にＦＦＴ処理にて周波数領域の信号ＳＲ［Ｆ］に変換する。また、ＦＦＴ部６６１Ｌは、ステレオマイク４の左側マイク４Ｌ（図９参照）から入力されるＬｃｈ音声信号を４８ｋＨｚでサンプリングしてデジタル信号に変換した後、２０４８サンプル毎にＦＦＴ処理にて周波数領域の信号ＳＬ［Ｆ］に変換する。
【００６３】
相対位相差情報生成部６６２は、周波数領域の信号ＳＲ［Ｆ］と周波数領域の信号ＳＬ［Ｆ］との位相差を比較して、右側マイク４Ｒに到達した音の位相と左側マイク４Ｌに到達した音の位相との差である相対位相差の情報を生成する。なお、相対位相差比較部６６２は、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に相対位相差を得ている。
【００６４】
２つのマイクでそれぞれ集音した２つの音声信号の相対位相差を一意に決定するためには、２つのマイクの間隔が半波長に相当する周波数以下の音声信号である必要がある。そのため、２つのマイクの間隔が図２に示すように約２ｃｍの場合、空気中での音速を３４０ｍ／ｓとすれば、相対位相差情報生成部６６２は、８．５ｋＨｚ以下の帯域の音声信号についてのみ相対位相差情報を生成することができる。
【００６５】
音声処理部６に入力される２つの音声信号が水中で集音されたものであると集音環境判定部６４が判定した場合、指向性制御処理部６６３Ｒ及び６６３Ｌは、ＦＦＴ部６６１Ｒ及び６６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に、相対位相差情報生成部６６２からの相対位相差情報と第１の閾値（下記に示す（４）式のΔφ１）とを比較して、相対位相差情報生成部６６２からの相対位相差情報が第１の閾値（下記に示す（４）式のΔφ１）より大きければ、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１４参照）が３０°より大きい音源（不要音）によるものであると判定し、音源方向角θＲ又はθＬが３０°より大きい音源（不要音）によるものであると判定された周波数成分を−２０ｄＢ低減し、相対位相差情報生成部６６２からの相対位相差情報が第１の閾値（下記に示す（４）式のΔφ１）以下であれば、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１４参照）が３０°以内の音源によるものであると判定し、音源方向角θＲ又はθＬが３０°以内の音源によるものであると判定された周波数成分を低減しない処理を行う。これにより、撮像装置正面方向から左右それぞれ３０°以内の方向に指向性を持たせることができる。ただし、（４）式中のFreqは、相対位相差情報との比較対象の周波数である。
Δφ１＝２π×（Freq×２０×sin３０°／１５０００００）    …（４）
【００６６】
一方、音声処理部６に入力される２つの音声信号が水中で集音されたものであると集音環境判定部６４が判定しなかった場合、指向性制御処理部６６３Ｒ及び６６３Ｌは、ＦＦＴ部６６１Ｒ及び６６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に、相対位相差情報生成部６６２からの相対位相差情報と第２の閾値（下記に示す（５）式のΔφ２）とを比較して、相対位相差情報生成部６６２からの相対位相差情報が第２の閾値（下記に示す（５）式のΔφ２）より大きければ、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１４参照）が３０°より大きい音源（不要音）によるものであると判定し、音源方向角θＲ又はθＬが３０°より大きい音源（不要音）によるものであると判定された周波数成分を−２０ｄＢ低減し、相対位相差情報生成部６６２からの相対位相差情報が第２の閾値（下記に示す（５）式のΔφ２）以下であれば、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１４参照）が３０°以内の音源によるものであると判定し、音源方向角θＲ又はθＬが３０°以内の音源によるものであると判定された周波数成分を低減しない処理を行う。これにより、撮像装置正面方向から左右それぞれ３０°以内の方向に指向性を持たせることができる。ただし、（５）式中のFreqは、相対位相差情報との比較対象の周波数である。
Δφ２＝２π×（Freq×２０×sin３０°／３４００００）    …（５）
【００６７】
ＩＦＦＴ部６６４Ｒは指向性制御処理部６６３Ｒから出力される周波数領域の信号をＩＦＦＴ処理にて時間領域の信号に変換し、ＩＦＦＴ部６６４Ｌは指向性制御処理部６６３Ｌから出力される周波数領域の信号をＩＦＦＴ処理にて時間領域の信号に変換する。
【００６８】
以上のような構成及び動作により、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなるとともに、集音された音声信号に対して集音環境にかかわらず所定の音響効果（指向性制御による音響効果）を付与することができる。
【００６９】
また、本実施例では、音源方向角θＲ又はθＬが３０°より大きい音源（不要音）によるものであると判定された周波数成分を低減したが、これに代えて或いはこれに加えて、音源方向角θＲ又はθＬが３０°以内の音源によるものであると判定された周波数成分を強調（増幅）するようにしてよい。
【００７０】
なお、図１３では、集音環境判定部６４がステレオマイク４から出力されるアナログ音声信号を入力する実施例、すなわち、集音環境判定部６４がステレオマイク４から出力されるアナログ音声信号に基づいて集音環境を判定する実施例を図示しているが、集音環境判定部６４はこの実施例に限定されない。集音環境判定部６４の実施例の詳細については後述する。
【００７１】
音声処理部６の第３実施例を採用した場合の音声処理部６が継続的に行う動作の概略をまとめると、図１５に示すフローチャートのようになる。すなわち、音声処理部６の第３実施例を採用した場合の音声処理部６は、ステレオマイク４によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃２１０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃２１０のＹＥＳ）は、所定の音響効果を付与する信号処理の制御パラメータである相対位相差の閾値を第１の閾値（上述の（４）式のΔφ１）にして、Ａ／Ｄ変換処理及びＦＦＴ処理された音声信号に対して所定の音響効果を付与する信号処理を施し（ステップ＃２２０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃２１０のＮＯ）は所定の音響効果を付与する信号処理の制御パラメータである相対位相差の閾値を第２の閾値（上述の（５）式のΔφ２）にして、Ａ／Ｄ変換処理及びＦＦＴ処理された音声信号に対して所定の音響効果を付与する信号処理を施す（ステップ＃２３０）という一連の動作を継続的に行っている。
【００７２】
なお、上述した実施例では、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合でも、集音された音声信号に対して所定の音響効果を付与する信号処理を行ったが、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにしてもよい。これにより、水中で集音された音声信号に対してユーザの意図に反する音響効果が付与されてしまうおそれがなくなる。
【００７３】
ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにする音声処理部６の第３実施例の変形例としては、例えば、図１３に示す構成において、第１の閾値を上述の（４）式のΔφ１から下記に示す（６）式のΔφ３に変更する構成、或いは、図１６に示すような構成とし、ステレオマイク４によって集音された音声信号が水中で集音されたものであると集音環境判定部６４によって判定されなかった場合に、指向性制御処理部６６３Ｒ及び６６３Ｌが第２の閾値（上述の（５）式のΔφ２）を用い、ステレオマイク４によって集音された音声信号が水中で集音されたものであると集音環境判定部６４によって判定された場合に、ＦＦＴ部６６１Ｒ及び６６１Ｌ、指向性制御処理部６６３Ｒ及び６６３Ｌ、ＩＦＦＴ処理部６６４Ｒ及び６６４Ｌをスルーする構成がある。
Δφ３＝２π×（Freq×２０×sin９０°／１５０００００）    …（６）
【００７４】
ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合には集音された音声信号に対して所定の音響効果を付与する信号処理を行わないようにする音声処理部６の第３実施例の変形例が継続的に行う動作の概略をまとめると、図１７に示すフローチャートのようになる。すなわち、音声処理部６の第３実施例の変形例では、ステレオマイク４によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃２１０）、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃２１０のＹＥＳ）は、Ａ／Ｄ変換処理及びＦＦＴ処理された音声信号に対して所定の音響効果を付与する信号処理を施さず、ステレオマイク４によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃２１０のＮＯ）は所定の音響効果を付与する信号処理の制御パラメータである相対位相差の閾値を第２の閾値（上述の（５）式のΔφ２）にして、Ａ／Ｄ変換処理及びＦＦＴ処理された音声信号に対して所定の音響効果を付与する信号処理を施す（ステップ＃２３０）という一連の動作を継続的に行っている。
【００７５】
＜集音環境判定部の第１実施例＞
次に、集音環境判定部６４の第１実施例について図１８を参照して説明する。図１８は、集音環境判定部６４の第１実施例を採用した場合の集音環境判定部６４の構成を示すブロック図である。集音環境判定部６４の第１実施例では、集音環境判定部６４が周波数特性判定部６４１を備えている。
【００７６】
ここで、空気中で白色雑音を再生し、それを空気中で集音した場合の周波数特性を図１９に示す。また、空気中で白色雑音を再生し、それを水中で集音した場合の周波数特性を図２０に示す。
【００７７】
空気中で集音した場合の周波数特性は、図１９に示す通りほぼフラットな特性となる。一方、水中で集音した場合の周波数特性は、一般的に、信号レベルが大きければ、図２０に示す通り高周波帯域の信号が大きく減衰する。これは、伝搬されてくる音が、空気中−水中、水中−集音機器の筐体内部（空気中）の２つの境界において反射により減衰し、水中で新たに発生した波の音や筐体内部で新たに発生した音などの一般的に低い音が残るためである。
【００７８】
このように、撮像装置を水中で使用している場合には、撮像装置を空気中で使用している場合では起こりえないような、低帯域の音と中帯域の音及び高帯域の音とのレベル差が生じるため、そのレベル差を利用して判定を行う。
【００７９】
周波数特性判定部６４１が、音声信号を対象として、低帯域（例えば、数十（７０）Ｈｚ〜３ｋＨｚ）、中帯域（例えば、６ｋＨｚ〜９ｋＨｚ）、高帯域（例えば、１２ｋＨｚ〜１５ｋＨｚ）の各帯域で信号レベルの平均値を算出する。なお、各帯域の具体的数値は上記の例に限らず、各帯域相互の大小関係が正しければ問題ない。また、低帯域と中帯域が一部重複していてもよく、中帯域と高帯域が一部重複していてもよい。
【００８０】
その各帯域における信号レベルの平均値から算出することが可能な、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２、及び、高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、マイクを空気中から水中に挿入し再び空気中に戻した場合図２１に示すような時間変化を示す。図２１中の期間Ｔ１及びＴ３はマイクが空気中に位置する期間であり図２１中の期間Ｔ２はマイクが水中に位置する期間である。高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、空気中、水中に関係なく、ほぼ一定値である。これに対し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、空気中では小さい値であるが、水中では受音感度が変化し、空気中の場合と比べて大幅に大きな値になる。
【００８１】
このことを利用して、周波数特性判定部６４１は、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を各帯域における信号レベルの平均値から算出し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に、音声処理部６に入力される音声信号が水中で集音されたものであると判定する。判定精度は劣ることになるが、中帯域における信号レベルの平均値及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を算出せず、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１が予め設定した閾値以上に大きくなった場合に音声処理部６に入力される音声信号が水中で集音されたものであると判定すること、或いは、高帯域における信号レベルの平均値及び高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１を算出せず、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に音声処理部６に入力される音声信号が水中で集音されたものであると判定することも可能である。
【００８２】
なお、水中においても、気泡の音や筐体のこすれ音によって突発的なノイズが発生し、中帯域及び高帯域の信号レベルが瞬間的に大きくなり、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が瞬間的に小さな値になる可能性がある。そのため、周波数特性判定部６４１が判定に使用する高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、一定時間において平均をとった値を用いることが望ましい。
【００８３】
また、閾値に関しては、ヒステリシス特性を持たせ、空気中であると判定している間は閾値を高く、水中であると判定している間は閾値を低く設定することが望ましい。
【００８４】
＜集音環境判定部の第２実施例＞
次に、集音環境判定部６４の第２実施例について図２２を参照して説明する。図２２は、集音環境判定部６４の第２実施例を採用した場合の集音環境判定部６４の構成を示すブロック図である。集音環境判定部６４の第２実施例では、集音環境判定部６４が伝搬特性判定部６４２を備えている。伝搬特性判定部６４２は、空気中で集音された音声信号の伝搬特性と、水中で集音された音声信号の伝搬特性との差異に基づいて、入力される音声信号が集音された環境を判定する。
【００８５】
伝搬特性判定部６４２が判定に用いる音声信号の伝搬特性として、例えば、音速の差異がある。空気中での音速は３４４ｍ／ｓ程度であり、水中での音速は１５００ｍ／ｓ程度となる。本例ではこの音速の差異に基づいて集音環境を判定する。また、このように判定を行う場合、例えば、レンズ部２に備えられる光学ズーム倍率を変化させるモータの駆動音を用いることができる。このように判定を行う場合について以下に説明する。
【００８６】
ＣＰＵ１７は、レンズ部２内の光学ズーム倍率を変化させるモータの駆動を操作部１９の出力に応じて制御する。さらにＣＰＵ１７は、レンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングについて時間管理を行い、その情報を伝搬特性判定部６４２に提供する。レンズ部２内の光学ズーム倍率を変化させるモータの駆動音は、図１に示す撮像装置における駆動音（自己発生駆動音）としてステレオマイク４によって集音される。そして、伝搬特性判定部６４２において、ＣＰＵ１７から提供されたレンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングに関する時間情報と、ステレオマイク４によって集音された自己発生駆動音（レンズ部２内の光学ズーム倍率を変化させるモータの駆動音）の集音時間とに基づいて、自己発生駆動音の伝達速度が測定される。図１に示す撮像装置において、空気中での自己発生駆動音の伝達速度はあらかじめ得られる事から、空気中で集音されたか水中で集音されたかを判定することが可能である。
【００８７】
＜集音環境判定部の第３実施例＞
次に、集音環境判定部６４の第３実施例について図２３を参照して説明する。図２３は、集音環境判定部６４の第３実施例を採用した場合の集音環境判定部６４の構成を示すブロック図である。集音環境判定部６４の第３実施例では、集音環境判定部６４が伝搬特性判定部６４３を備えている。伝搬特性判定部６４３は、入力される音声信号が集音された環境を、空気中及び水中における音声信号の伝搬特性の差異に基づいて判定する。ただし、伝搬特性判定部６４３は、図２２に示す第２実施例の伝搬特性判定部６４２とは異なる方法で判定を行う。
【００８８】
伝搬特性判定部６４３の判定方法について、図９を用いて説明する。図９に示すように、音源が発する音がステレオマイクに集音される際に、左側マイク４Ｌと右側マイク４Ｒとの間に行路差ｄが生じる。そして、この行路差ｄに起因して到達時間の差（行路差ｄを音速で除算した値）が生じる。また、この到達時間の差が異なることにより、右側マイク４Ｒから音声処理部６に入力された音声信号（Ｒｃｈ）と左側マイク４Ｌから音声処理部６に入力された音声信号（Ｌｃｈ）との間に位相差が生じる。
【００８９】
そして、上述したように空気中と水中とでは音速が異なる。そのため、音声信号（Ｒｃｈ）と音声信号（Ｌｃｈ）との間に生じる位相差が、空気中で集音された音声信号と水中で集音された音声信号とによって異なるものとなる。そこで、伝搬特性判定部６４３はこの位相差の差異に基づいて、集音環境判定部６４に入力される音声信号が水中で集音されたものであるか否かを判定する。
【００９０】
＜集音環境判定部の第４実施例＞
次に、集音環境判定部６４の第４実施例について図２４を参照して説明する。図２４は、集音環境判定部６４の第４実施例を採用した場合の集音環境判定部６４の構成を示すブロック図である。集音環境判定部６４の第４実施例では、集音環境判定部６４が圧力判定部６４４を備えている。
【００９１】
集音環境判定部６４の第４実施例を採用する場合、図１に示す撮像装置に新たに圧力センサを設ける。圧力判定部６４４は、圧力センサの検出信号を入力し、撮像装置外部の圧力が予め設定した閾値以上である場合に、撮像装置が水中で使用されており、音声処理部６に入力される音声信号が水中で集音されたものであると判定し、撮像装置外部の圧力が予め設定した閾値未満である場合に、撮像装置が空気中で使用されており、音声処理部６に入力される音声信号が空気中で集音されたものであると判定する。
【００９２】
＜集音環境判定部の第５実施例＞
次に、集音環境判定部６４の第５実施例について図２５を参照して説明する。図２５は、集音環境判定部６４の第５実施例を採用した場合の集音環境判定部６４の構成を示すブロック図である。集音環境判定部６４の第５実施例では、集音環境判定部６４が映像判定部６４５を備えている。
【００９３】
映像判定部６４５は、画像処理部５から入力した映像信号を解析し、撮像装置が水中で使用されているかを判定する。映像判定部６４５は、例えば、ホワイトバランス調整前の映像信号を画像処理部５から入力し、そのホワイトバランス調整前の映像信号の色分布を解析して、撮像装置が水中で使用されているかを判定する。
【００９４】
なお、映像判定部６４５を音声処理部６内に設けるのではなく画像処理部５内に設け、集音環境判定部６４が映像判定部６４５の判定結果を入力するようにしてもよい。
【００９５】
＜変形例＞
上述した図１に示す撮像装置は、集音した音声信号を記録する際に音声信号に対して所定の音響効果を付加し得る音声処理部を備えている。しかしながら、本発明はこれに限定されず、集音した音声信号を再生する際に音声信号に対して所定の音響効果を付加し得る音声処理部を備えるようにしてもよい。
【００９６】
集音した音声信号を再生する際に音声信号に対して所定の音響効果を付加し得る音声処理部を備える撮像装置を図２６に示す。なお、図２６において図１と実質上同一の部分には同一の符号を付している。
【００９７】
図２６に示す撮像装置が図１に示す撮像装置と異なる点は、音声処理部６の代わりに音声処理部６ａを設け、さらに、伸長処理部９と音声出力回路部１３との間に音声処理部６ｂを設けている点である。
【００９８】
音声処理部６ａは、音声処理部６と異なり、Ａ／Ｄ変換処理は行うが、音声信号に対して所定の音響効果を付加する処理、或いは、ＦＦＴ処理及び音声信号に対して所定の音響効果を付加する処理を行わない構成である。
【００９９】
音声処理部６ｂは、Ａ／Ｄ変換処理を行わない点を除き、音声処理部６と同様の構成である。音声処理部６ｂにおいて行われる音声処理は、基本的に音声処理部６において行われる音声処理と同様であるので、ここでは説明を省略する。
【０１００】
なお、集音環境（集音時に図２６に示す撮像装置が置かれている環境）と再生環境（再生時に図２６に示す撮像装置が置かれている環境）とが異なっている可能性があるため、音声処理部６ｂの集音環境判定部には、上述した集音環境判定部の第４実施例を採用しないようにする。
【０１０１】
また、本発明にかかる電子機器は、音声信号の記録及び／又は再生が可能であればよいので、映像に関連するブロックは特に必要ない。したがって、本発明は、撮像装置以外の電子機器、例えば、音声記録装置、音声再生装置、音声記録再生装置（例えばＩＣレコーダ）等にも適用することができる。
【０１０２】
また、本発明に係る集音環境判定装置を搭載した電子機器は、防水構造であることが望ましいが、防水構造でなくても例えば防水ハウジングに収納し外部のハイドロホンによって集音した音声信号を入力するというような使用法を採用することが可能である。
【０１０３】
また、例えば、音声処理部６ｂの各部としてコンピュータを機能させるためのプログラムを含む再生ソフトウェアを、パーソナルコンピュータ上で動作させることで、本発明に係る電子機器を実現することもできる。
【０１０４】
また、上述した場合に限らず、図１及び図２６の撮像装置や音声処理部６、６ａ、６ｂは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて図１及び図２６の撮像装置や音声処理部６、６ａ、６ｂを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１０５】
また、上述した場合に限らず、ステレオマイク４の代わりに他チャンネルのマイクアレイ（例えば５．１ｃｈサラウンド録音対応マイク）を用いても構わない。
【０１０６】
また、図１の撮像装置撮において、撮像装置が空気中にあるときに適した撮影モードである通常撮影モードと、撮像装置が水中にあるときに適した撮影モードである水中撮影モードとを、ユーザが操作部１９の操作によって手動で切り替えることができる構成としても構わない。この場合においても、集音環境判定部６４が、音声処理部６に入力される音声信号が水中で集音されたものであるか否かを判定するようにしてもよく、集音環境判定部６４の判定結果により自動設定された撮影モードと操作部１９の操作により手動設定された撮影モードのどちらを優先させても構わない。なお、自動設定された撮影モードと手動設定された撮影モードのどちらを優先するかを操作部１９の操作によって変更可能にしていることが望ましい。
【０１０７】
また、図２６の撮像装置撮において、音声処理部６ｂの集音環境判定部によって水中で集音されたと判定された場合は、水中で集音された音声信号の再生に適した再生モードである水中再生モードとなり、音声処理部６ｂの集音環境判定部によって空気中で集音されたと判定された場合は、空気中で集音された音声信号の再生に適した再生モードである通常再生モードとなるが、これに代えて、又は、これに加えて、水中再生モードと通常再生モードとをユーザが操作部１９の操作によって手動で切り替えることができる構成としても構わない。後者のように、手動切り替えの構成を付加した場合、自動設定された再生モードと操作部１９の操作により手動設定された再生モードのどちらを優先させても構わない。なお、自動設定された再生モードと手動設定された再生モードのどちらを優先するかを操作部１９の操作によって変更可能にしていることが望ましい。
【０１０８】
以上、本発明に係る実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【図面の簡単な説明】
【０１０９】
【図１】は、本発明に係る撮像装置の一内部構成例を示すブロック図である。
【図２】は、図１に示す撮像装置を装置上面から見た概略外観図である。
【図３】は、音声処理部の第１実施例の構成を示すブロック図である。
【図４】は、ＦＩＲフィルタの構成を示す図である。
【図５】は、ＦＩＲフィルタのフィルタ係数を算出するためのシステムの一例を示す図である。
【図６】は、第１実施例の音声処理部が継続的に行う動作の概略を示すフローチャートである。
【図７】は、第１実施例の音声処理部の変形例を示すブロック図である。
【図８】は、第１実施例の音声処理部の変形例が継続的に行う動作の概略を示すフローチャートである。
【図９】は、ステレオマイクの模式図である。
【図１０】は、音声処理部の第２実施例の構成を示すブロック図である。
【図１１】は、第２実施例の音声処理部が継続的に行う動作の概略を示すフローチャートである。
【図１２】は、第２実施例の音声処理部の変形例が継続的に行う動作の概略を示すフローチャートである。
【図１３】は、音声処理部の第３実施例の構成を示すブロック図である。
【図１４】は、音源方向角を示す図である。
【図１５】は、第３実施例の音声処理部が継続的に行う動作の概略を示すフローチャートである。
【図１６】は、第３実施例の音声処理部の変形例を示すブロック図である。
【図１７】は、第３実施例の音声処理部の変形例が継続的に行う動作の概略を示すフローチャートである。
【図１８】は、集音環境判定部の第１実施例の構成を示すブロック図である。
【図１９】は、空気中における音声の周波数特性を示す図である。
【図２０】は、水中における音声の周波数特性を示す図である。
【図２１】は、空気中と水中における音声の周波数特性の相違を示す図である。
【図２２】は、集音環境判定部の第２実施例の構成を示すブロック図である。
【図２３】は、集音環境判定部の第３実施例の構成を示すブロック図である。
【図２４】は、集音環境判定部の第４実施例の構成を示すブロック図である。
【図２５】は、集音環境判定部の第５実施例の構成を示すブロック図である。
【図２６】は、本発明に係る撮像装置の他の内部構成例を示すブロック図である。
【符号の説明】
【０１１０】
１  固体撮像素子（イメージセンサ）
２  レンズ部
３  ＡＦＥ
４  ステレオマイク
４Ｌ  左側マイク
４Ｒ  右側マイク
５  画像処理部
６、６ａ、６ｂ  音声処理部
７  圧縮処理部
８  ドライバ部
９  伸長処理部
１０  ビデオ出力回路部
１１  ビデオ出力端子
１２  ディスプレイ部
１３  音声出力回路部
１４  音声出力端子
１５  スピーカ部
１６  タイミングジェネレータ（ＴＧ）
１７  ＣＰＵ
１８  メモリ
１９  操作部
２０、２１  バス回線
２２  外部メモリ
２３  モニタユニット
２４  信号生成部
２５〜２７  スピーカ
２８  遅延器
２９  加算器
３０Ｌ、３０Ｒ  係数更新部
６１Ｌ、６１Ｒ  Ａ／Ｄ変換部
６２Ｌ１、６２Ｌ２、６２Ｒ１、６２Ｒ２  ＦＩＲフィルタ
６３Ｌ、６３Ｒ  加算器
６４  集音環境判定部
６４１  周波数特性判定部
６４２、６４３  伝搬特性判定部
６４４  圧力判定部
６４５  映像判定部
６５１  Ｄ／３４０秒遅延器
６５２  Ｄ／１５００秒遅延器
６５３  加算器
６５４  切替スイッチ
６６１Ｒ、６６１Ｌ  ＦＦＴ部
６６２  相対位相差情報生成部
６６３Ｒ、６６３Ｌ  指向性制御処理部
６６４Ｒ、６６４Ｌ  ＩＦＦＴ部
【図１】
2010130423.tif 000004
【図２】
2010130423.tif 000005
【図３】
2010130423.tif 000006
【図４】
2010130423.tif 000007
【図５】
2010130423.tif 000008
【図６】
2010130423.tif 000009
【図７】
2010130423.tif 000010
【図８】
2010130423.tif 000011
【図９】
2010130423.tif 000012
【図１０】
2010130423.tif 000013
【図１１】
2010130423.tif 000014
【図１２】
2010130423.tif 000015
【図１３】
2010130423.tif 000016
【図１４】
2010130423.tif 000017
【図１５】
2010130423.tif 000018
【図１６】
2010130423.tif 000019
【図１７】
2010130423.tif 000020
【図１８】
2010130423.tif 000021
【図１９】
2010130423.tif 000022
【図２０】
2010130423.tif 000023
【図２２】
2010130423.tif 000024
【図２３】
2010130423.tif 000025
【図２４】
2010130423.tif 000026
【図２５】
2010130423.tif 000027
【図２６】
2010130423.tif 000028
【図２１】
2010130423.tif 000029