(57)【特許請求の範囲】
【請求項１】
入力される音声信号の処理を行う音声処理装置において、
入力される音声信号に基づいて、当該音声信号が水中で集音されたものであるか否かを判定する集音環境判定部と、
水中の音の集音特性の影響を音声信号から低減させる水中特性補正処理を、入力される音声信号に施す水中特性補正部と、
を備え、
当該集音環境判定部で入力される音声信号が水中で集音されたものであると判定される場合に、前記水中特性補正部が、入力される音声信号に前記水中特性補正処理を施し、
当該集音環境判定部が、
入力される音声信号に基づいて、入力される音声信号の周波数特性に関する指標を演算する演算部と、
前記演算部によって演算された前記指標に基づいて、入力される音声信号が空気中で集音されたか水中で集音されたかを判定し、判定結果を出力する判定部とを有することを特徴とする音声処理装置。
【請求項２】
入力される音声信号の処理を行う音声処理装置において、
入力される音声信号に基づいて、当該音声信号が水中で集音されたものであるか否かを判定する集音環境判定部と、
水中の音の集音特性の影響を音声信号から低減させる水中特性補正処理を、入力される音声信号に施す水中特性補正部と、
を備え、
当該集音環境判定部で入力される音声信号が水中で集音されたものであると判定される場合に、前記水中特性補正部が、入力される音声信号に前記水中特性補正処理を施し、
入力される音声信号の強度を所定の時間単位で監視及び調整するＡＧＣ部をさらに備えるとともに、
前記水中特性補正部が、前記ＡＧＣ部の所定の時間の長さを制御するレスポンス速度制御部を備え、
当該レスポンス速度制御部により前記ＡＧＣ部の前記所定の時間の長さを短くする処理が、前記水中特性補正処理に含まれることを特徴とする音声処理装置。
【請求項３】
前記水中特性補正部が、入力される音声信号を減衰させる減衰部を備え、
当該減衰部により音声信号の第１周波数以下の成分を減衰させる処理が、前記水中特性補正処理に含まれることを特徴とする請求項１または請求項２に記載の音声処理装置。
【請求項４】
前記水中特性補正部が、入力される音声信号を増幅させる増幅部を備え、
当該増幅部により音声信号の第２周波数以上の成分を増幅させる処理が、前記水中特性補正処理に含まれることを特徴とする請求項１〜請求項３のいずれかに記載の音声処理装置。
【請求項５】
前記水中特性補正部が、入力される音声信号を平滑化する平滑部を備え、
当該平滑部により音声信号を平滑化する処理が、前記水中特性補正処理に含まれることを特徴とする請求項１〜請求項４のいずれかに記載の音声処理装置。
【請求項６】
前記水中特性補正部が、入力される音声信号に所定の信号を合成する合成部を備え、
当該合成部により前記所定の信号を音声信号に合成する処理が、前記水中特性補正処理に含まれることを特徴とする請求項１〜請求項５のいずれかに記載の音声処理装置。
【請求項７】
集音して得た音声信号を補正する補正機能を備えた電子機器において、
前記補正機能を実現する音声処理部として、請求項１〜請求項６のいずれかに記載の音声処理装置を備えることを特徴とする電子機器。
【請求項８】
自機器の動作を制御する制御部をさらに備えるとともに、
前記音声処理部に備えられる前記水中特性補正部が、前記制御部が自機器を動作させる際に出力する制御情報に基づいて動作するとともに入力される音声信号の所定の周波数帯の成分を減衰させる所定信号減衰部を備え、
当該所定信号減衰部により前記所定の周波数帯の成分を減衰させる処理が、前記水中特性補正処理に含まれることを特徴とする請求項７に記載の電子機器。
【請求項９】
入力される音声信号に基づいて、当該音声信号が水中で集音されたものであるか否かを判定する第１ステップと、
当該第１ステップにおいて、入力される音声信号が水中で集音されたものであると判定される場合に、水中の音の集音特性の影響を音声信号から低減させる水中特性補正処理を、入力される音声信号に施す第２ステップと、
を備え、
前記第１ステップが、
入力される音声信号に基づいて、入力される音声信号の周波数特性に関する指標を演算するステップと、
前記指標に基づいて、入力される音声信号が空気中で集音されたか水中で集音されたかを判定し、判定結果を出力するステップとを有することを特徴とする音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、水中で集音された音声信号を処理する音声処理装置や音声処理方法、音声処理装置を搭載した撮像装置などの電子機器に関する。
【背景技術】
【０００２】
近年、空気中のみならず水中においても集音することができるビデオカメラやＩＣレコーダなどの電子機器が種々提案されている。これらの電子機器は防水構造を備え、空気中のみならず水中においても集音することを可能としている。
【０００３】
しかしながら、水中における音の集音特性は空気中における集音特性と大きく異なるため、電子機器を用いて水中で集音した音声信号は、空気中で集音した音声信号とは大きく異なるものとなる。そのため、水中で集音した音声信号を再生した場合に、非常に聞き取り難くなったり耳障りになったりするなど、ユーザの意図に反した音声信号となってしまうことが問題となっていた。
【０００４】
この問題に対して、集音している環境が水中か否かを判定するとともに、判定結果に応じて利得制御とフィルタリングを行うビデオカメラが、特許文献１において提案されている。このビデオカメラは圧力センサを備えており、水圧の有無によって水中であるか否かを判定する。
【特許文献１】特開平７−３０７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、圧力センサなどの特殊な装置を追加する構成とすると、電子機器が大型化するとともにコストが高くなる問題が生じる。特に、防水構造を備える必要があるために大型化している電子機器のさらなる大型化を招来してしまうことが問題となる。
【０００６】
さらに、圧力センサを用いる構成とすると、音声信号の記録時にしか水中か否かを判定することができない。そのため、音声信号に処理を行わずに記録した音声信号を再生する場合、音声信号が水中で集音されたものか否かを判定することが不可能となる。したがって、必要に応じて処理を施して再生するなどの動作を行うことができないことが問題となる。
【０００７】
また、水中を伝播して集音された音は、水中における音の集音特性の影響で聞き取り難くなったり耳障りになったりする。そのため、この影響を効果的に低減するような音声補正処理が求められている。
【０００８】
そこで、本発明は、小型化及び低コスト化を図るとともに、ユーザが意図する音声信号を効果的に得ることを可能とした音声処理装置や音声処理方法、音声処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明における音声処理装置は、入力される音声信号の処理を行う音声処理装置において、入力される音声信号に基づいて、当該音声信号が水中で集音されたものであるか否かを判定する集音環境判定部と、水中の音の集音特性の影響を音声信号から低減させる水中特性補正処理を、入力される音声信号に施す水中特性補正部と、を備え、当該集音環境判定部で入力される音声信号が水中で集音されたものであると判定される場合に、前記水中特性補正部が、入力される音声信号に前記水中特性補正処理を施すことを特徴とする。
【００１０】
また、上記構成の音声処理装置において、前記水中特性補正部が、入力される音声信号を減衰させる減衰部を備え、当該減衰部により音声信号の第１周波数以下の成分を減衰させる処理が、前記水中特性補正処理に含まれることとしても構わない。
【００１１】
このように構成すると、水中の音の集音特性によって強度が集中する音声信号の低周波帯域成分を低減することが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。なお、第１周波数以下の成分を減衰させる処理には、上限を第１周波数とする所定の帯域の成分を減衰させる処理も含まれるものとする。
【００１２】
また、上記構成の音声処理装置において、前記水中特性補正部が、入力される音声信号を増幅させる増幅部を備え、当該増幅部により音声信号の第２周波数以上の成分を増幅させる処理が、前記水中特性補正処理に含まれることとしても構わない。
【００１３】
このように構成すると、水中の音の集音特性によって強度が減衰する音声信号の高周波帯域成分を増幅することが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。なお、第２周波数以上の成分を増幅させる処理には、下限を第２周波数とする所定の帯域の成分を増幅させる処理も含まれるものとする。
【００１４】
また、上記構成の音声処理装置において、前記水中特性補正部が、入力される音声信号を平滑化する平滑部を備え、当該平滑部により音声信号を平滑化する処理が、前記水中特性補正処理に含まれることとしても構わない。
【００１５】
このように構成すると、水中の音の集音特性によって強調される擦り切れ音ノイズや、周波数軸方向や時間軸方向に現れるとともに強度が周囲より突出するノイズなど、を低減することが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。
【００１６】
また、上記構成の音声処理装置において、入力される音声信号の強度を所定の時間単位で監視及び調整するＡＧＣ部をさらに備えるとともに、前記水中特性補正部が、前記ＡＧＣ部の所定の時間の長さを制御するレスポンス速度制御部を備え、当該レスポンス速度制御部により前記ＡＧＣ部の前記所定の時間の長さを短くする処理が、前記水中特性補正処理に含まれることとしても構わない。
【００１７】
このように構成すると、水中の音の集音特性によって強調されるノイズに対して迅速に反応し、ノイズの強度を低減させることが可能となる。特に、クリックノイズのように突発的に発生するノイズに対しても迅速に対応し、強度を低減させることが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。
【００１８】
また、上記構成の音声処理装置において、前記水中特性補正部が、入力される音声信号に所定の信号を合成する合成部を備え、当該合成部により前記所定の信号を音声信号に合成する処理が、前記水中特性補正処理に含まれることとしても構わない。
【００１９】
また、上記構成の音声処理装置において、前記水中特性補正部が、入力される音声信号の第３周波数以上かつ第４周波数以下の周波数の範囲の成分に基づいて、当該周波数の範囲以外の周波数の成分である他の成分を復元する復元部をさらに備え、前記復元部によって復元された前記他の成分が前記合成部により音声信号に合成される処理が、前記水中特性補正処理に含まれることとしても構わない。また、上記構成の音声処理装置において、前記他の周波数の成分が、前記第３周波数より周波数が小さい成分及び前記第４周波数より周波数が大きい成分の少なくとも一つの成分を含むこととしても構わない。
【００２０】
このように構成すると、水中の音の集音特性の影響を受けにくい成分である第３周波数以上かつ第４周波数以下の成分に基づいて復元を行い、水中の音の集音特性の影響を受けやすい他の成分に対して、復元した他の成分を合成させることが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。
【００２１】
また、上記構成の音声処理装置において、前記水中特性補正部が、前記合成部に供給されて合成される代替成分を供給する代替成分供給部をさらに備え、前記合成部により代替成分が音声信号に合成される処理が、前記水中特性補正処理に含まれることとしても構わない。
【００２２】
このように構成すると、水中の音の集音特性の影響を受けやすい音声信号の成分に対して、任意の代替成分を合成させることが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。
【００２３】
また、上記構成の音声処理装置において、複数のチャネルの音声信号が入力されるとともに、入力される前記複数のチャネルの音声信号の中から最も強度が小さい音声信号を選択して出力する最小信号選択部をさらに備え、前記合成部により、当該最小信号選択部から出力される音声信号が、前記複数のチャネルの音声信号のそれぞれに合成される処理が、前記水中特性補正処理に含まれることとしても構わない。
【００２４】
このように構成すると、複数のマイクを用いて複数のチャネルの音声信号を集音する場合に、いずれかのマイクに強度が大きいノイズが発生したとしても、強度が最も小さい音声信号（即ち、強度が大きいノイズが含まれていないと見込まれる音声信号）をそれぞれのチャネルの音声信号に合成することができる。そのため、音声信号に含まれるノイズを低減することが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。
【００２５】
また、本発明における電子機器は、集音して得た音声信号を補正する補正機能を備えた電子機器において、前記補正機能を実現する音声処理部として、上記のいずれかの音声処理装置を備えることを特徴とする。
【００２６】
また、この電子機器が、画像信号を作成する撮像部をさらに備えた撮像装置であることとしても構わないし、入力される音声信号を再生する再生装置としても構わない。このように構成したとしても、上記の音声処理装置は、音声信号に基づいて水中で集音されたものであるか否かの判定を行うことができる。そのため、再生装置に搭載し、再生時に判定を行うことができる。
【００２７】
また、上記構成の電子機器において、自機器の動作を制御する制御部をさらに備えるとともに、前記音声処理部に備えられる前記水中特性補正部が、前記制御部が自機器を動作させる際に出力する制御情報に基づいて動作するとともに入力される音声信号の所定の周波数帯の成分を減衰させる所定信号減衰部を備え、当該所定信号減衰部により前記所定の周波数帯の成分を減衰させる処理が、前記水中特性補正処理に含まれることとしても構わない。
【００２８】
このように構成すると、水中の音の集音特性によって強調される所定の周波数帯のノイズ、特に、電子機器の動作に伴って発生する自己発生駆動音によるノイズを低減することが可能となる。さらに、ノイズが発生する場合にのみ音声信号の所定の周波数帯の成分を低減することが可能となる。したがって、水中の音の集音特性の影響を低減し、ユーザの意図する音声信号に近づけることが可能となる。
【００２９】
また、本発明における音声処理方法は、入力される音声信号に基づいて、当該音声信号が水中で集音されたものであるか否かを判定する第１ステップと、当該第１ステップにおいて、入力される音声信号が水中で集音されたものであると判定される場合に、水中の音の集音特性の影響を音声信号から低減させる水中特性補正処理を、入力される音声信号に施す第２ステップと、を備えることを特徴とする。
【発明の効果】
【００３０】
本発明の構成とすることによって、入力される音声信号に基づいて音声信号の集音された環境を判定し、水中で集音された音声信号であると判定される場合に、水中の音の集音特性による影響を音声信号から低減させることが可能となる。したがって、水中で集音したとしても水中における音の集音特性の影響を低減することができるため、良好な音声信号を得ることが可能となる。即ち、ユーザの意図する音声信号に近づけることが可能となる。さらに、入力される音声信号に基づいて集音環境の判定を行うため、圧力センサ等の判定を行うための特殊な装置を設ける必要がなくなる。そのため、小型化及び低コスト化を図ることが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明における音声処理装置や、この音声処理装置を備える電子機器の実施形態について、図面を参照して説明する。また、最初に、音声処理装置を備える電子機器として、音声信号の記録とともに画像信号の記録も可能な撮像装置を例に挙げて説明する。
【００３２】
＜＜撮像装置＞＞
（撮像装置の基本構成）
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。
【００３３】
図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。また、図示していないが、レンズ部３にはズームレンズと、ズームレンズの焦点距離である光学ズーム倍率を変化させるモータと、が備えられる。
【００３４】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）４と、撮像装置１の前方の左右方向から入力される音声をそれぞれ独立して電気信号に変換するステレオマイク５と、ＡＦＥ４から出力されるデジタル信号となる画像信号に対して階調補正処理などの各種画像処理を施す画像処理部６と、ステレオマイク５から出力されるアナログの音声信号をデジタル信号に変換するとともに音声補正処理を施す音声処理部７と、画像処理部６から出力される画像信号と音声処理部７から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施す圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ９と、圧縮符号化信号を外部メモリ９に記録したり読み出したりするドライバ部１０と、ドライバ部１０において外部メモリ９から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。
【００３５】
また、撮像装置１は、伸長処理部１１で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像出力回路部１２と、伸長処理部１１で復号されて得られる音声信号をスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音声出力回路部１３と、を備える。
【００３６】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１５と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１８と、メモリ１５と各ブロックとの間でデータのやりとりを行うためのバス回線１９と、を備える。
【００３７】
なお、外部メモリ９は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ９として使用することができる。また、外部メモリ９を撮像装置１から着脱自在としても構わない。
【００３８】
（撮像装置の基本動作）
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像信号を出力する。
【００３９】
そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、入力される画像信号を、輝度信号と色差信号とからなる画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。
【００４０】
また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
【００４１】
一方、ステレオマイク５において電気信号に変換される音声信号は、音声処理部７に入力される。音声処理部７は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの音声補正処理を施す。さらに、入力される音声信号が水中で集音されたものであるか否かを判定し、その判定結果に基づいて水中特性補正処理を施す。なお、音声処理部７の構成や水中特性補正処理の詳細については後述する。
【００４２】
そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、がともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部１０を介して外部メモリ９に記録される。
【００４３】
また、音声のみを記録する場合であれば、音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ９に記録されることとなる。
【００４４】
外部メモリ９に記録された圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。
【００４５】
なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。
【００４６】
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ９に記録する動作と並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。
【００４７】
（音声処理部の基本構成）
次に、図１に示した音声処理部７の基本構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置の音声処理部の基本構成について示すブロック図である。
【００４８】
図２に示すように、音声処理部７は、図１のステレオマイク５から入力される２つの音声信号（Ｒｃｈ、Ｌｃｈ）をそれぞれデジタル信号に変換するＡ／Ｄ変換部７１と、Ａ／Ｄ変換部７１から出力される２つの音声信号に基づいて集音環境を判定する集音環境判定部７２と、Ａ／Ｄ変換部７１から出力される２つの音声信号が入力されるとともに集音環境判定部７２の判定結果に基づいて入力される音声信号に水中特性補正処理を施す水中特性補正部７３と、を備える。
【００４９】
集音環境判定部７２は、入力される音声信号が水中で集音されたものであるか否かを判定し、判定結果を水中特性補正部７３に出力する。そして、入力される音声信号が水中で集音されたものであると集音環境判定部７２が判定する場合、水中特性補正部７３は、水中における音の集音特性の影響を音声信号から低減させる水中特性補正処理を、入力される音声信号に施して出力する。一方、入力される音声信号が水中で集音されたものではないと集音環境判定部７２が判定する場合、水中特性補正部７３は、入力される音声信号に水中特性補正処理を施すことなく出力する。
【００５０】
以上のように構成することによって、水中で集音された音声信号に対して水中特性補正処理を施し、補正した音声信号を外部メモリ９に記録したりスピーカなどに出力したりすることが可能となる。したがって、ユーザの意図した音声信号を得ることが可能となる。
【００５１】
なお、集音環境判定部７２が、入力される音声信号に基づいて集音された環境を判定する際に、その判定結果を撮像装置１に備えられるディスプレイに表示したり、表示用ＬＥＤ（Light Emitting Diode）を発光、点滅させたりして、ユーザに通知することとしても構わない。このように構成すると、正確に判定が行われていることをユーザに通知することが可能となる。
【００５２】
また、ユーザが操作部１６の操作によって、水中特性補正処理を行わない通常モードと、水中特性補正処理を行う水中モードと、を設定することができる構成としても構わない。この場合においても、集音環境が水中か否かを判定することとしても構わなく、判定結果と、設定されたモードと、のどちらかを優先させることとしても構わない。
【００５３】
また、音声信号に基づいて集音環境の判定を行い、音声信号に対して水中特性補正処理を施すものとしたが、音声信号に加えて（または音声信号に代えて）画像信号に対して水中特性補正処理を施すこととしても構わない。また、音声信号に加えて（または音声信号に代えて）画像信号に基づいて水中か否かの判定を行うこととしても構わない。例えば、水の光学特性（光吸収など）による影響を低減させる補正や、水の光学特性を利用した判定を行うこととしても構わない。
【００５４】
また、音声処理部７において、水中特性補正部７３の他に、音声補正処理を行う処理部を備えることとしても構わない。また、この処理部が、水中で集音されたものではないと判定された音声信号に対して音声補正処理を施すものであっても構わないし、入力される全ての音声信号に対して音声補正処理を施すものであっても構わない。
【００５５】
また、上述した基本構成は撮像装置１に関するものであるが、集音機能を備えた電子機器であれば、どのような電子機器にも適用することができる。例えば、撮像機能を備えず集音機能のみを備えたＩＣレコーダなどにも適用することが可能である。この場合、画像信号を取得及び処理する部分を示すブロック（レンズ部３や、イメージセンサ２、画像処理部６、画像出力回路部１２など）を備えないこととしても構わない。また、集音機能を備えず、入力される音声信号を再生する再生機能を備えた電子機器にも適用することができる。なお、この再生機能を備えた電子機器の詳細については後述する。
【００５６】
（集音環境判定部）
上述した集音環境判定部７２及び水中特性補正部７３のそれぞれの実施例について、以下に図面を参照してそれぞれ説明する。最初に、集音環境判定部７２のそれぞれの実施例について説明し、その後に水中特性補正部７３のそれぞれの実施例について説明する。また、以下の説明において、上述した基本構成と同様の部分については同じ符号を付し、その詳細な説明については省略する。
【００５７】
＜集音環境判定部の第１実施例＞
最初に、図２に示した集音環境判定部７２の第１実施例について図面を参照して説明する。図３は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第１実施例について示すブロック図である。図３に示すように音声処理部７ａは、Ａ／Ｄ変換部７１と、集音環境判定部７２ａと、水中特性補正部７３と、を備える。
【００５８】
また、集音環境判定部７２ａは、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、の差異に基づいて、入力される音声信号が集音された環境を判定する周波数特性判定部７２１を備える。
【００５９】
ここで、周波数特性判定部７２１について図面を参照して説明する。図４は、空気中で集音された音声信号の周波数特性の一例を示すグラフであり、図５は、水中で集音された音声信号の周波数特性の一例を示すグラフである。図４及び図５に示すグラフでは、横軸を周波数、縦軸を利得（減衰量）として示す。
【００６０】
図４及び図５に示すように、水中で集音すると、空気中で集音する場合と比較して高周波帯域の減衰が大きく、低周波帯域に強度が集中することとなる。そこで、周波数特性判定部７２１はこの周波数特性の差異を利用して、集音環境判定部７２ａに入力される音声信号が水中で集音されたものであるか否かを判定する。
【００６１】
この周波数特性判定部７２１によって集音環境判定部７２ａに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施して出力する。一方、水中で集音されたものではないと判定される場合には、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施すことなく出力する。
【００６２】
集音環境判定部７２ａを本実施例のように構成すると、集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、空気中と水中との周波数特性の差異が大きいために判定の高精度化を図ることが可能となり、誤判定を抑制することが可能となる。
【００６３】
なお、集音環境判定部７２ａが実行する判定方法を以下に示す方法としても構わない。本例の方法では、Ａ／Ｄ変換部７１から出力された二つの音声信号を対象として、低帯域（例えば、数十（７０）Ｈｚ〜３ｋＨｚ）、中帯域（例えば、６ｋＨｚ〜９ｋＨｚ）、高帯域（例えば、１２ｋＨｚ〜１５ｋＨｚ）の各帯域で信号レベルの平均値を算出する。なお、各帯域は上記具体例に限らず、各帯域相互の大小関係が正しければ問題ない。また、低帯域と中帯域が一部重複していてもよく、中帯域と高帯域が一部重複していてもよい。
【００６４】
その各帯域における信号レベルの平均値から算出することが可能な、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２、及び、高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、ステレオマイク５を空気中から水中に挿入し再び空気中に戻した場合図６に示すような時間変化を示す。図６中の期間Ｔ１及びＴ３はステレオマイク５が空気中に位置する期間であり図６中の期間Ｔ２はステレオマイク５が水中に位置する期間である。高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、空気中、水中に関係なく、ほぼ一定値である。これに対し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、空気中では小さい値であるが、水中では集音感度が変化し、空気中の場合と比べて大幅に大きな値になる。
【００６５】
このことを利用して、集音環境判定部７２ａは、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を各帯域における信号レベルの平均値から算出し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が閾値以上に大きくなった場合に水中であると判定する。判定精度は劣ることになるが、中帯域における信号レベルの平均値及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を算出せず、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１が閾値以上に大きくなった場合に水中であると判定すること、或いは、高帯域における信号レベルの平均値及び高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１を算出せず、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が閾値以上に大きくなった場合に水中であると判定することも可能である。
【００６６】
なお、水中においても、気泡の音や筐体のこすれ音によって突発的なノイズが発生し、中帯域及び高帯域の信号レベルが瞬間的に大きくなり、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が瞬間的に小さな値になる可能性がある。そのため、集音環境判定部７２ａが判定に使用する高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、一定時間において平均をとった値を用いることが望ましい。
【００６７】
また、閾値に関しては、ヒステリシス特性を持たせ、空気中であると判定している間は閾値を高く、水中であると判定している間は閾値を低く設定することが望ましい。
【００６８】
＜集音環境判定部の第２実施例＞
次に、図２に示した集音環境判定部７２の第２実施例について図面を参照して説明する。図７は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第２実施例について示すブロック図である。図７に示すように、音声処理部７ｂは、Ａ／Ｄ変換部７１と、集音環境判定部７２ｂと、水中特性補正部７３と、を備える。
【００６９】
また、集音環境判定部７２ｂは、空気中で集音された音声信号の伝播特性と、水中で集音された音声信号の伝播特性と、の差異に基づいて、入力される音声信号が集音された環境を判定する伝播特性判定部７２２を備える。
【００７０】
伝播特性判定部７２２が判定に用いる音声信号の伝播特性として、例えば、音速の差異がある。空気中での音速は３４４ｍ／ｓ程度であり、水中での音速は１５００ｍ／ｓ程度となる。本例ではこの音速の差異に基づいて集音環境を判定する。また、このように判定を行う場合、例えば、レンズ部３に備えられる光学ズーム倍率を変化させるモータの駆動音を用いることができる。このように判定を行う場合について以下に説明する。
【００７１】
ＣＰＵ１４は、モータ駆動制御信号をレンズ部３に備えられるモータに対して出力することで、モータの駆動を制御する。モータが駆動すると、図１に示す撮像装置１における駆動音（自己発生駆動音）としてステレオマイク５によって集音される。一方、ＣＰＵ１４はモータの駆動タイミングの時間管理を行い、その時間情報を集音環境判定部７２ｂの伝播特性判定部７２２に出力する。伝播特性判定部７２２は、入力される音声信号に含まれる自己発生駆動音の集音時間と、モータの駆動タイミングに関する時間情報と、に基づいて自己発生駆動音の伝播速度を測定する。伝播特性判定部７２２は得られる伝播速度に基づいて、集音環境判定部７２ｂに入力される音声信号が水中で集音されたものであるか否かを判定する。
【００７２】
この伝播特性判定部７２２によって集音環境判定部７２ｂに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施して出力する。一方、水中で集音されたものではないと判定される場合には、水中特性補正部７３が、入力された音声信号に水中特性補正処理を施すことなく出力する。
【００７３】
集音環境判定部７２ｂを本実施例のように構成すると、第１実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、自己発生駆動音を自己が集音することによって判定を行うことができるため、精度よく時間管理を行うことによって正確な判定を行うことが可能となる。
【００７４】
＜集音環境判定部の第３実施例＞
次に、図２に示した集音環境判定部７２の第３実施例について図面を参照して説明する。図８は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第３実施例について示すブロック図である。図８に示すように、音声処理部７ｃは、Ａ／Ｄ変換部７１と、集音環境判定部７２ｃと、水中特性補正部７３と、を備える。
【００７５】
また、集音環境判定部７２ｃは、入力される音声信号の集音環境を空気中及び水中における音声信号の周波数特性の差異に基づいて判定する第１判定部７２３と、入力される音声信号の集音環境を空気中及び水中における音声信号の伝播特性の差異に基づいて判定する第２判定部７２４と、第１判定部７２３と第２判定部７２４との判定結果に基づいて総合的な判定を行うとともに水中特性補正部７３に判定結果を出力する総合判定部７２５と、を備える。
【００７６】
第１判定部７２３は、図３に示す周波数特性判定部７２１と同様に、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、の差異を利用して判定を行う。また、第２判定部７２４は、図７に示す伝播特性判定部７２２と同様に、ＣＰＵ１４から入力される時間情報と、ステレオマイク５を介して入力される音声信号に含まれる自己発生駆動音の集音時間と、に基づいて伝播速度を測定し、これを利用して判定を行う。また、総合判定部７２５は、第１判定部７２３及び第２判定部７２４がともに音声信号が水中で集音されたものであると判定した場合にのみ、集音環境判定部７２ｃに入力される音声信号が水中で集音されたものであると判定する。
【００７７】
総合判定部７２５によって集音環境判定部７２ｃに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施して出力する。また、第１判定部７２３及び第２判定部７２４が異なる判定をしたり、ともに水中で集音されたものでないと判定したりする場合には、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施さずに出力する。
【００７８】
集音環境判定部７２ｃを本実施例のように構成すると、第１及び第２実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、複数の判定方法に基づいて判定を行うことができるため、より正確に判定を行うことが可能となる。
【００７９】
なお、第１判定部７２３及び第２判定部７２４における判定方法の組み合わせについては、上述した組み合わせに限るものではない。例えば、上述したような周波数特性または伝播特性に基づいた判定方法と、これ以外の他の判定方法であり入力される音声信号に基づいて判定する判定方法と、を組み合わせることとしても構わない。また、同様の判定方法を組み合わせても構わない。
【００８０】
さらに、入力される音声信号に基づいて判定する判定方法と、入力される音声信号に基づかない判定方法（例えば、従来技術として記載した圧力センサなど）の組み合わせとすることも可能である。このように構成する場合、入力される音声信号に基づいて判定する判定方法を組み合わせた場合には及ばないが、圧力センサなどの専用部品を複数組み合わせて判定する場合と比較して、小型化及び低コスト化を図ることができる。即ち、判定の精度を高めることができるとともに、小型化及び低コスト化を図ることができる。
【００８１】
また、本例では二つの判定部（第１判定部７２３及び第２判定部７２４）を備える構成について示しているが、判定部を２以上備える構成としても構わない。
【００８２】
＜集音環境判定部の第４実施例＞
次に、図２に示した集音環境判定部７２の第４実施例について図面を参照して説明する。図９は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第４実施例について示すブロック図である。図９に示すように、音声処理部７ｄは、Ａ／Ｄ変換部７１と、集音環境判定部７２ｄと、水中特性補正部７３と、を備える。
【００８３】
また、集音環境判定部７２ｄは、入力される音声信号の集音環境を空気中及び水中における音声信号の伝播特性の差異に基づいて判定する伝播特性判定部７２６を備える。ただし、伝播特性判定部７２６は、図７に示す第２実施例の伝播特性判定部７２２や、図８に示す第３実施例の第２判定部７２４とは異なる方法で判定を行う。
【００８４】
伝播特性判定部７２６の判定方法について、図１０を用いて説明する。図１０は、ステレオマイクの模式図である。図１０に示すように、音源が発する音がステレオマイク５に集音される際に、マイク５Ｌとマイク５Ｒとの間に行路差ｄが生じる。そして、この行路差ｄに起因して到達時間の差（行路差ｄを音速で除算した値）が生じる。また、この到達時間の差が異なることにより、マイク５Ｒから入力される音声信号（Ｒｃｈ）とマイク５Ｌから入力される音声信号（Ｌｃｈ）との間に位相差が生じる。
【００８５】
そして、上述したように空気中と水中とでは音速が異なる。そのため、音声信号（Ｒｃｈ）と音声信号（Ｌｃｈ）との間に生じる位相差が、空気中で集音された音声信号と水中で集音された音声信号とによって異なるものとなる。そこで、伝播特性判定部７２６はこの位相差の差異に基づいて、集音環境判定部７２ｄに入力される音声信号が水中で集音されたものであるか否かを判定する。
【００８６】
伝播特性判定部７２６によって集音環境判定部７２ｄに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施して出力する。一方、水中で集音されたものではないと判定される場合には、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施すことなく出力する。
【００８７】
集音環境判定部７２ｄを本実施例のように構成すると、第１〜第３実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、多チャネルのマイクアレイを使用し、２以上の複数のマイク間の位相差を得ることとすると、さらに判定の精度を向上させることが可能となる。
【００８８】
なお、撮像装置１が発生させる音に対して判定を行うこととしても構わない。このように構成すると、音源とそれぞれのマイクとの位置とが固定されるために精度良く判定を行うことが可能となる。また、図８に示す第３実施例の集音環境判定部７２ｃのように、他の判定方法と組み合わせることとしても構わない。
【００８９】
＜集音環境判定部の第５実施例＞
次に、図２に示した集音環境判定部７２の第５実施例について図面を参照して説明する。図１１は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第５実施例について示すブロック図である。図１１に示すように、音声処理部７ｅは、Ａ／Ｄ変換部７１と、集音環境判定部７２ｅと、水中特性補正部７３と、を備える。
【００９０】
また、集音環境判定部７２ｅは、音声信号（Ｒｃｈ）における集音環境の判定を行うＲｃｈ判定部７２７と、音声信号（Ｌｃｈ）における集音環境の判定を行うＬｃｈ判定部７２８と、Ｒｃｈ判定部７２７とＬｃｈ判定部７２８との判定結果に基づいて総合的な判定を行うとともに水中特性補正部７３に判定結果を出力する総合判定部７２９と、を備える。
【００９１】
Ｒｃｈ判定部７２７及びＬｃｈ判定部７２８は、上述した実施例の周波数特性判定部７２１や、伝播特性判定部７２２などと同様のものとすることができる。また、総合判定部７２９は、Ｒｃｈ判定部７２７及びＬｃｈ判定部７２８がともに水中で集音された音声信号であると判定した場合にのみ、集音環境判定部７２ｅに入力される音声信号が水中で集音されたものであると判定する。
【００９２】
総合判定部７２９によって集音環境判定部７２ｅに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施して出力する。また、Ｒｃｈ判定部７２７及びＬｃｈ判定部７２８が異なる判定をしたり、ともに水中で集音されたものでないと判定したりする場合には、水中特性補正部７３が、入力される音声信号に水中特性補正処理を施さずに出力する。
【００９３】
さらに、総合判定部７２９は、Ｒｃｈ判定部７２７及びＬｃｈ判定部７２８の判定結果が異なる場合、ユーザにその旨を通知するために警告信号を出力する。この警告信号は、例えば、撮像装置１に備えられるディスプレイなどの表示装置に「集音環境判定エラー」等の文字情報を表示するものであっても構わないし、撮像装置１に警告用の表示用ＬＥＤを備えるとともにこれを点灯させて通知しても構わない。
【００９４】
このような警告信号を出力してユーザに通知することとすると、例えば、撮像装置１を水中から空気中に移動させる際に、ステレオマイク５の一方のマイクの水切れが不十分である場合が発生したとしても、そのことをユーザに対して通知することができる。これにより、ユーザは集音環境判定が適切に行われていることを確認することができる。また、水切りが不十分なマイクが存在することをユーザに通知することが可能となるため、それぞれのマイクが、異なる集音環境で音声を継続して集音することを抑制することが可能となる。
【００９５】
また、集音環境判定部７２ｅを本実施例のように構成すると、第１〜第４実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。
【００９６】
なお、第１〜第５実施例の集音環境判定部７２ａ〜７２ｅにおいて、多チャネルのマイクアレイ（例えば、５．１ｃｈサラウンド録音対応マイク）を用いることとして、複数のマイクから入力されるそれぞれの音声信号に基づいて判定を行うこととしても構わない。また、所定のマイクから入力される音声信号に基づいて判定を行うこととしても構わない。ただし、第４実施例及び第５実施例の集音環境判定部７２ｄ，７２ｅは、少なくとも二つのマイクから入力される音声信号に基づいて判定を行うこととする。
【００９７】
また、第１〜第３実施例の集音環境判定部７２ａ〜７２ｃについて、一つのチャネルのマイクから入力される音声信号に基づいて判定を行うこととしても構わなく、モノラルマイクを用いることとしても構わない。
【００９８】
また、第２及び第３実施例の集音環境判定部７２ｂ，７２ｃのように自己発生駆動音を利用して判定を行う場合について、レンズ部３に備えられるモータの駆動音を利用する場合を例に挙げて説明したが、他の音を利用しても構わない。
【００９９】
（水中特性補正部）
以下において、図２に示した水中特性補正部７３のそれぞれの実施例について図面を参照して説明する。なお、以下では簡単のため、ステレオマイク５で集音される音声信号をチャネルの区別なく１つの音声信号としてまとめて記載するが、水中特性補正処置部７３による水中特性補正処理がチャネル毎に施されることとしても構わない。
【０１００】
＜水中特性補正部の第１実施例＞
最初に、図２に示した水中特性補正部７３の第１実施例について図面を参照して説明する。図１２は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第１実施例について示すブロック図である。図１２に示すように、音声処理部７ｆは、Ａ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ａと、を備える。
【０１０１】
また、水中特性補正部７３ａは、入力される音声信号中の所定の周波数以下となる低周波帯域成分を抽出して出力するＬＰＦ（Low Pass Filter）７３０１と、入力される音声信号中の所定の周波数以上となる高周波帯域成分を抽出して出力するＨＰＦ（High Pass Filter）７３０２と、集音環境判定部７２の判定結果に基づいてＬＰＦ７３０１から出力される低周波帯域成分を減衰させる減衰部７３０３と、減衰部７３０３から出力される低周波帯域成分とＨＰＦ７３０２から出力される高周波帯域成分とを合成して音声信号を出力する合成部７３０４と、を備える。
【０１０２】
集音環境判定部７２は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部７３ａは、ＬＰＦ７３０１において入力される音声信号の低周波帯域成分を抽出するとともに、ＨＰＦ７３０２において入力される音声信号の高周波帯域成分を抽出する。減衰部７３０３は、入力される音声信号が水中で集音されたものであると集音環境判定部７２が判定する場合に、ＬＰＦ７３０１から出力される低周波帯域成分の減衰を行う。また、入力される音声信号が水中で集音されたものではないと集音環境判定部７２が判定する場合は、低周波帯域成分を減衰せずに出力する。そして、合成部７３０４において低周波帯域成分と高周波帯域成分とを合成して音声信号を出力する。
【０１０３】
図４及び図５に示したように、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、は異なる。特に、水中で集音される音声信号は、空気中で集音される音声信号と比較して低周波帯域に強度が集中する。そのため、再生時に非常に聞き取り難くなったり耳障りになったりするなどして、ユーザの意図する音声信号とかけ離れたものとなる場合がある。
【０１０４】
しかしながら、本実施例のように水中特性補正部７３ａを構成すると、水中で集音された音声信号の低周波帯域成分を減衰させることができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１０５】
なお、ＬＰＦ７３０１及びＨＰＦ７３０２のカットオフ周波数をある周波数λ1としても構わない。また、周波数λ1を例えば２ｋＨｚとしても構わない。また、減衰部７３０３による利得の減衰量を、例えば２０ｄＢとしても構わない。
【０１０６】
また、本例ではＬＰＦ７３０１、ＨＰＦ７３０２を用いて、周波数λ1以下の成分を全て減衰させる構成としたが、所定の周波数帯の成分を減衰させる構成としても構わない。このような構成とするために、例えば、ＬＰＦ７３０１を、上限の周波数λ1、下限の周波数λaとした周波数帯の成分を通過させるＢＰＦ（Band Pass Filter）に置き換え、このＢＰＦを通過した成分を減衰部７３０３で減衰させる構成としても構わない。さらにこの場合、例えば、ＨＰＦ７３０２を、周波数λ1以上及び周波数λa以下の成分を通過させるＢＥＦ（Band Elimination Filter）に置き換えても構わない。
【０１０７】
＜水中特性補正部の第２実施例＞
次に、図２に示した水中特性補正部７３の第２実施例について図面を参照して説明する。図１３は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第２実施例について示すブロック図である。図１３に示すように、音声処理部７ｇは、Ａ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ｂと、を備える。
【０１０８】
また、水中特性補正部７３ｂは、入力される音声信号中の所定の周波数以下となる低周波帯域成分を抽出して出力するＬＰＦ７３０５と、入力される音声信号中の所定の周波数以上となる高周波帯域成分を抽出して出力するＨＰＦ７３０６と、集音環境判定部７２の判定結果に基づいてＨＰＦ７３０６から出力される高周波帯域成分を増幅させる増幅部７３０７と、増幅部７３０７から出力される高周波帯域成分とＬＰＦ７３０５から出力される低周波帯域成分とを合成して音声信号を出力する合成部７３０８と、を備える。
【０１０９】
集音環境判定部７２は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部７３ｂは、ＬＰＦ７３０５において入力される音声信号の低周波帯域成分を抽出するとともに、ＨＰＦ７３０６において入力される音声信号の高周波帯域成分を抽出する。そして、増幅部７３０７は、入力される音声信号が水中で集音されたものであると集音環境判定部７２が判定する場合に、ＨＰＦ７３０６から出力される高周波帯域成分の増幅を行う。また、入力される音声信号が水中で集音されたものであると集音環境判定部７２が判定しない場合は、高周波帯域成分を増幅せずに出力する。そして、合成部７３０８において低周波帯域成分及び高周波帯域成分を合成して音声信号を出力する。
【０１１０】
上述したように、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、は異なる。特に、水中で集音される音声信号は、空気中で集音される音声信号と比較して高周波帯域が大きく減衰する。そのため、再生時に非常に聞き取り難くなったり耳障りになったりするなどして、ユーザの意図する音声信号とかけ離れたものとなる場合がある。
【０１１１】
しかしながら、水中特性補正部７３ｂを本実施例のように構成すると、水中で集音された音声信号の高周波帯域成分を増幅させることができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１１２】
なお、ＬＰＦ７３０５及びＨＰＦ７３０６のカットオフ周波数をある周波数λ2としても構わない。また、周波数λ2を例えば４ｋＨｚとしても構わない。また、増幅部７３０７による利得の増幅量を、例えば１５ｄＢとしても構わない。
【０１１３】
また、本例ではＬＰＦ７３０５、ＨＰＦ７３０６を用いて、周波数λ2以上の成分を全て増幅させる構成としたが、所定の周波数帯の成分を増幅させる構成としても構わない。例えば、ＨＰＦ７３０６を、下限の周波数λ2、上限の周波数λbとした周波数帯の成分を通過させるＢＰＦに置き換え、このＢＰＦを通過した成分を増幅部７３０７で増幅させる構成としても構わない。さらにこの場合、例えば、ＬＰＦ７３０５を、周波数λ2以上及び周波数λb以下の成分を通過させるＢＥＦに置き換えても構わない。
【０１１４】
＜水中特性補正部の第３実施例＞
次に、図２に示した水中特性補正部７３の第３実施例について図面を参照して説明する。図１４は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第３実施例について示すブロック図である。図１４に示すように、音声処理部７ｈは、Ａ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ｃと、を備える。
【０１１５】
また、水中特性補正部７３ｃは、集音環境判定部７２の判定結果とＣＰＵ１４から出力される制御情報とに基づいて、入力される音声信号中の所定の周波数帯の成分を減衰させる所定信号減衰部７３０９を備える。なお、この所定信号減衰部７３０９に、例えば、ノッチフィルタなどの所定の周波数帯の成分を減衰させるフィルタなどを備えても構わない。
【０１１６】
集音環境判定部７２は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定して所定信号減衰部７３０９に入力する。また、ＣＰＵ１４は、上述したレンズ部３の光学ズーム倍率を変化させるモータを駆動させるモータ駆動制御信号をレンズ部３に出力するとともに、その駆動情報を示す制御情報を所定信号減衰部７３０９に出力する。所定信号減衰部７３０９は、制御情報に基づいてレンズ部３のモータの駆動を検知する。
【０１１７】
そして、入力される音声信号が水中で集音されたものであると集音環境判定部７２が判定するとともに、モータが駆動していることを示す制御情報がＣＰＵ１４から出力された場合に所定信号減衰部７３０９が動作し、入力される音声信号の所定の周波数帯の成分を減衰させる。
【０１１８】
水中特性補正部７３ｃを本実施例のように構成すると、例えばモータなどを駆動させる際に発生する自己発生駆動音ノイズを減衰させることが可能となる。この自己発生駆動音ノイズについて図１５に示す。図１５は、水中で集音された音声信号に含まれる自己発生駆動音ノイズについて示したグラフである。また図１５は図４及び図５と同様のグラフであり、低周波帯域を拡大して示したものである。
【０１１９】
図１５には、自己発生駆動音ノイズ（図中の破線で囲まれた部分）が０．５ｋＨｚを中心として発生する場合について示している。このような自己発生駆動音ノイズの周波数は撮像装置１に用いる装置によって決まるため、予めどのような周波数帯に自己発生駆動音ノイズが発生するかを知ることができる。したがって、その周波数帯の成分（図１５の場合、０．５ｋＨｚ周辺の信号）を減衰させるように所定信号減衰部７３０９を設定することにより、自己発生駆動音ノイズを減衰させることが可能となる。
【０１２０】
特に、水中で集音すると自己発生駆動音ノイズなどのノイズ信号に対する集音感度が高くなり、強調され易くなる。そのため、空気中で集音する場合には自己発生駆動音ノイズが耳障りにならないが、水中で集音した場合には耳障りになるということが生じる。
【０１２１】
しかしながら、本実施例のように、水中で集音した音声信号と判定される場合に自己発生駆動音ノイズを減衰させることとすると、強調されやすいノイズ信号を効果的に低減することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１２２】
また、撮像装置１を駆動させる際に、自己発生駆動音ノイズの周波数帯の成分を減衰させることにより、自己発生駆動音ノイズを選択的に減衰させることが可能となる。したがって、減衰に伴う音声信号の劣化を極力抑制することが可能となる。
【０１２３】
なお、ＣＰＵ１４から出力される制御情報を、上述した時間情報と同様のものとすると、一つの情報に基づいて、集音環境の判定と水中特性補正処理とをそれぞれ行うことが可能となる。そのため、ＣＰＵ１４や音声処理部７ｈの構成及び動作を簡略化することが可能となる。このとき、ＣＰＵ１４からの制御情報が集音環境判定部７２の方に入力されることとして、集音環境判定部７２からの信号のみに基づいて、所定信号減衰部７３０９が動作の要否を決定されるように構成しても構わない。
【０１２４】
また、自己発生駆動音ノイズは、レンズ部３に備えられるモータの駆動に起因するものとは限らない。即ち、他の装置に起因して発生する自己発生駆動音ノイズであっても、低減することが可能である。
【０１２５】
＜水中特性補正部の第４実施例＞
次に、図２に示した水中特性補正部の第４実施例について図面を参照して説明する。図１６は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第４実施例について示すブロック図である。図１６に示すように、音声処理部７ｋは、Ａ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ｄと、を備える。
【０１２６】
また、水中特性補正部７３ｄは、集音環境判定部７２の判定結果に基づいて、入力される音声信号中の平滑化を行う平滑部７３１０を備える。なお、この平滑部７３１０に、例えば、平滑化フィルタなどの平滑化処理を行うフィルタなどを備えても構わない。
【０１２７】
集音環境判定部７２は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定して平滑部７３１０に入力する。そして、入力される音声信号が水中で集音されたものであると集音環境判定部７２が判定する場合に、平滑部７３１０が動作し、入力される音声信号の平滑化を行う。
【０１２８】
水中特性補正部７３ｄを本実施例のように構成すると、擦り切れ音ノイズを低減させることが可能となる。この擦り切れ音ノイズについて図１７に示す。図１７は、水中で集音された音声信号に含まれる擦り切れ音ノイズと平滑部の処理について示したグラフである。また図１７は図４、図５及び図１５と同様のグラフである。
【０１２９】
図１７（ａ）に示すように、擦り切れ音ノイズ（図中の破線で囲まれた部分）が発生すると、不特定の周波数の信号の強度が局所的に減衰する。そこで、平滑部７３１０が入力される音声信号に対して平滑化を行うことにより、擦り切れ音ノイズを抑制する。図１７（ｂ）に、平滑化後の音声信号（実線）と、比較用の平滑化前の音声信号（破線）と、を併せて示す。図１７（ｂ）に示すように、平滑化を行うことで局所的に減衰する部分の減衰量を低減することが可能となる。即ち、擦り切れ音ノイズを低減することが可能となる。
【０１３０】
上述のように、水中で集音するとノイズ信号に対する集音感度が高くなり、強調され易くなる。即ち、擦り切れ音ノイズは水中で集音した音声信号で特に強調され易くなる。そのため、空気中で集音する場合には擦り切れ音ノイズが耳障りにならないが、水中で集音した場合には耳障りになるということが生じる。
【０１３１】
しかしながら、本実施例のように、水中で集音した音声信号であると集音環境判定部７２において判定される場合に擦り切れ音ノイズを低減することとすると、強調されやすいノイズ信号を効果的に低減することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１３２】
なお、擦り切れ音ノイズに限らず、周波数軸方向に現れるノイズ全般に対して、本実施例を適用することが可能である。例えば、フォーカスやズームなどに伴う所定の周波数のノイズ（自己発生駆動音ノイズ）に対して、上述した所定信号減衰部７３０９を用いる代わりに、本実施例の平滑部７３１０を用いて対処することができる。
【０１３３】
また、平滑部７３１０で行われる平滑化処理として、加算平均値を用いた方法を利用することができる。この方法で用いられる加算平均値ｘ´［ｆ］は、周波数ｆ（Ｈｚ）を中心としたある周波数幅Ｆａ（Ｈｚ）に含まれる各周波数ｉ（Ｈｚ）の信号値ｘ［ｉ］を加算して、合計値をＦａで除算することによって求められる。具体的には、以下の式（１）に示す計算式によって求められる。
【０１３４】
【数１】
0005171370.tif 000002
【０１３５】
そして、得られる加算平均値ｘ´［ｆ］が、信号値ｘ［ｆ］よりも小さくなる場合に、周波数ｆにおける信号値として加算平均値ｘ´［ｆ］の値の方を採用する。一方、加算平均値ｘ´［ｆ］が信号値ｘ［ｆ］よりも大きくなる場合には、信号値ｘ［ｆ］の値の方をそのまま採用する。平滑部７３１０がこのような平滑化処理を行う場合の模式図を図１８に示す。図１８は、フォーカス音によるノイズと平滑部の処理とについて示したグラフである。破線が平滑化処理前の信号値を表し、実線が平滑化処理後の信号値を表すものとする。
【０１３６】
図１８に示すように、平滑化処理前の信号では、いくつかの帯域において強度が急激に大きくなっている。また、このようなノイズは低周波帯域の信号である場合が多いため、上述のように水中で強調されやすい信号となる。そのため、このような帯域の信号が聴覚上ノイズとして聞こえることとなる。しかしながら、本実施例のように平滑化処理を行うこととすると、実線で示すような信号とすることが可能となる。即ち、強度が急激に大きくなる帯域の信号値を低減して、ノイズを低減することが可能となる。
【０１３７】
なお、式（１）において、ｘ´［ｆ］を算出する際にｘ［ｆ−（Ｆａ／２）＋１］〜ｘ［ｆ＋（Ｆａ／２）］のＦａ（個）の各値を合計することとしているが、ｘ［ｆ−（Ｆａ／２）］〜ｘ［ｆ＋（Ｆａ／２）−１］の各値を合計することとしても構わない。また、上述した例はＦａが偶数である場合のものであるが、Ｆａを奇数として、ｘ［ｆ−（Ｆａ／２）＋１／２］〜ｘ［ｆ＋（Ｆａ／２）−１／２］の各値を合計するとともにＦａで除算して加算平均値ｘ´［ｆ］を算出することとしても構わない。
【０１３８】
さらに、周波数軸上に現れるノイズだけでなく、時間軸方向に現れるノイズに対しても、平滑化処理を行うことによって対処することが可能である。この場合、上述した式（１）と同様の、加算平均値を用いた処理を適用することが可能である。ただし、この場合は時間軸方向に対して加算平均値をとることとする。
【０１３９】
求める加算平均値ｘ´［ｔ］は、時間ｔ（ｓｅｃ）を中心としてある時間幅Ｔａ（ｓｅｃ）に含まれる各時間ｋ（ｓｅｃ）の信号値ｘ［ｋ］を加算して、合計値をＴａで除算することによって求められる。具体的には、以下の式（２）に示す計算式によって求められる。
【０１４０】
【数２】
0005171370.tif 000003
【０１４１】
上述した周波数軸方向に現れるノイズを低減する場合と同様に、得られる加算平均値ｘ´［ｔ］が、信号値ｘ［ｔ］よりも小さくなる場合に、時間ｔにおける信号値として加算平均値ｘ´［ｔ］の値の方を採用する。一方、加算平均値ｘ´［ｔ］が信号値ｘ［ｔ］よりも大きくなる場合には、信号値ｘ［ｔ］の値の方をそのまま採用する。このような平滑化処理を行うことで、例えば、撮像装置の筐体が何かと接触することによって、突発的で大きなノイズが発生したとしても、発生するノイズを低減することが可能となる。
【０１４２】
なお、式（２）において、ｘ´［ｔ］を算出する際にｘ［ｔ−（Ｔａ／２）＋１］〜ｘ［ｔ＋（Ｔａ／２）］のＴａ（個）の各値を合計することとしているが、ｘ［ｔ−（Ｔａ／２）］〜ｘ［ｔ＋（Ｔａ／２）−１］の各値を合計することとしても構わない。また、上述した例はＴａが偶数である場合のものであるが、Ｔａを奇数として、ｘ［ｔ−（Ｔａ／２）＋１／２］〜ｘ［ｔ＋（Ｔａ／２）−１／２］の各値を合計するとともにＴａで除算して加算平均値ｘ´［ｔ］を算出することとしても構わない。
【０１４３】
また、周波数軸方向、時間軸方向に対して行う平滑化処理の例として、加算平均値を利用する場合について示したが、本実施例はこの方法に限られない。特に、平滑化処理を実行できるものであれば、他の方法を用いても構わない。
【０１４４】
＜水中特性補正部の第５実施例＞
次に、図２に示した水中特性補正部７３の第５実施例について図面を参照して説明する。図１９は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第５実施例について示すブロック図である。図１９に示すように、音声処理部７ｍは、入力される音声信号の利得を自動的に制御するＡＧＣ（Automatic Gain Control）部７４と、ＡＧＣ部７４から出力される音声信号が入力されるＡ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ｅと、を備える。また、水中特性補正部７３ｅは、集音環境判定部７２の判定結果に基づいて、ＡＧＣ部７４のレスポンス速度を制御するレスポンス速度制御部７３１１を備える。なお、本実施例について示す図１９にのみＡＧＣ部７４を示しているが、他の実施例においてＡＧＣ部７４を備えることとして構わない。
【０１４５】
ＡＧＣ部７４は、入力される音声信号の強度を監視するとともに、音声信号の強度が設定値より大きくなる場合は減衰を行い、音声信号の強度が設定値より小さくなる場合には増幅を行う。ＡＧＣ部７４はこのように動作することにより、音声信号の強度を制御して後段の処理に適した強度に近づける。
【０１４６】
ＡＧＣ部７４の具体的な動作例について、図２０を参照して説明する。図２０は、ＡＧＣ部の動作の具体例について示したグラフである。図中の波は音声信号を模式的に示したものである。また、その波の上下に記載した破線は、音声信号の振幅（強度）の時間変化を示したものである。また、図２０では、区間Ｉにおける音声信号の強度が設定値と等しいものであり、区間ＩＩにおける強度が区間Ｉにおける強度より小さく、区間ＩＩＩにおける強度が区間Ｉにおける強度よりも大きいものであるとする。
【０１４７】
図２０に示すように、区間ＩＩにおいて音声信号の強度が設定値より小さくなったことがＡＧＣ部７４によって確認されると、強度を設定値と同等にするための上昇率が区間（一）において設定される。そして、区間（二）では、区間（一）において設定された上昇率で音声信号が増幅され、区間（二）の終了時に音声信号の強度が設定値と同等になるように調整される。一方、区間ＩＩＩになり、音声信号の強度が設定値より大きくなったことがＡＧＣ部７４によって確認されると、強度を設定値と同等にするための下降率が区間（三）において設定される。そして、区間（四）では、区間（三）において設定された下降率で音声信号が減衰され、区間（四）の終了時に音声信号の強度が設定値と同等になるように調整される。
【０１４８】
また、集音環境判定部７２は上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定してレスポンス速度制御部７３１１に入力する。そして、入力される音声信号が水中で集音されたものであると集音環境判定部７２が判定する場合に、レスポンス速度制御部７３１１が、ＡＧＣ部７４におけるレスポンス速度を、水中と判定されない場合と比較して速くする制御を行う。例えば、ＡＧＣ部７４が図２０に示すような制御を行う場合、レスポンス制御部７３１１が、区間（一）、（二）、（三）及び（四）の区間をそれぞれ短くする制御を行う。
【０１４９】
水中特性補正部７３ｅを本実施例のように構成すると、クリックノイズなどの突発ノイズを低減させることが可能となる。この突発ノイズについて図２１に示す。図２１は、水中で集音された音声信号に含まれる突発ノイズとレスポンス速度制御部の処理について示したグラフである。図２１に示すグラフにおいては、横軸を時間、縦軸を利得として示す。また、図２１（ａ）は、レスポンス速度制御部７３１１がＡＧＣ部７４のレスポンス速度を速くする制御を行わない状態（水中であると判定されない場合と同じレスポンス速度とした状態）を示すグラフであり、図２１（ｂ）は、レスポンス速度を速くするように制御した状態を示すグラフである。
【０１５０】
図２１（ａ）に示すように、突発ノイズ（図中の破線で囲まれた部分）が発生すると、時間軸方向において信号の強度が局所的に増大する部分が生じる。この局所的な信号の強度の増大を抑制するために、レスポンス速度制御部７３１１が、ＡＧＣ部７４のレスポンス速度を速くするように制御する。図２１（ｂ）に、レスポンス速度を速くした場合の音声信号のグラフ（実線）と、比較用のレスポンス速度を速くする前の音声信号（破線）のグラフと、を併せて示す。図２１（ｂ）に示すように、レスポンス速度を速くすると、ノイズに対して迅速にＡＧＣが行われるようになる。したがって、局所的な信号強度の増大を抑制することが可能となる。即ち、突発ノイズを低減することが可能となる。
【０１５１】
上述のように、水中で集音するとノイズ信号に対する集音感度が高くなり、強調され易くなる。即ち、突発ノイズは水中で集音した音声信号で特に強調され易くなる。そのため、空気中で集音する場合には突発ノイズが耳障りにならないが、水中で集音した場合には耳障りになるということが生じる。
【０１５２】
しかしながら、本実施例のように、水中で集音した音声信号であると集音環境判定部７２において判定される場合に、突発ノイズを低減することとすると、強調されやすいノイズ信号を効果的に低減することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１５３】
なお、突発ノイズによって局所的に信号の強度が減少する場合についても、同様に低減することができる。この場合は、ＡＧＣ部７４によって迅速に信号が増幅されることで、信号強度の減少が抑制される。
【０１５４】
＜水中特性補正部の第６実施例＞
次に、図２に示した水中特性補正部７３の第６実施例について図面を参照して説明する。図２２は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第６実施例について示すブロック図である。図２２に示すように、音声処理部７ｎは、Ａ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ｆと、を備える。
【０１５５】
また、水中特性補正部７３ｆは、入力される音声信号中の所定の周波数以下となる低周波帯域成分を抽出して出力するＬＰＦ７３１２と、入力される音声信号中の所定の周波数帯となる中周波帯域成分を抽出して出力するＢＰＦ７３１３と、入力される音声信号中の所定の周波数以上となる高周波帯域成分を抽出して出力するＨＰＦ７３１４と、集音環境判定部７２から出力される混合係数αをＬＰＦ７３１２から出力される低周波帯域成分に積算する係数積算部７３１５と、ＢＰＦ７３１３から出力される中周波帯域成分に基づいて音声信号を復元して復元信号を出力する復元部７３１６と、復元部７３１６から出力される復元信号から低周波帯域を抽出して復元低周波帯域成分を出力するＬＰＦ７３１７と、集音環境判定部７２から出力される混合係数（１−α）をＬＰＦ７３１７から出力される復元低周波帯域成分に積算する係数積算部７３１８と、係数積算部７３１５から出力される低周波帯域成分と係数積算部７３１８から出力される復元低周波帯域成分とを合成して合成低周波帯域成分を出力する合成部７３１９と、合成部７３１９から出力される合成低周波帯域成分とＢＰＦ７３１３から出力される中周波帯域成分とＨＰＦ７３１４から出力される高周波帯域成分とを合成して音声信号を出力する合成部７３２０と、を備える。
【０１５６】
集音環境判定部７２は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部７３ｆは、ＬＰＦ７３１２において入力される音声信号の低周波帯域成分を抽出する。また、ＢＰＦ７３１３において入力される音声信号の中周波帯域成分を抽出するとともに、ＨＰＦ７３１４において入力される音声信号の高周波帯域成分を抽出する。
【０１５７】
集音環境判定部７２において、入力される音声信号が水中で集音されたものであると判定される場合は、係数積算部７３１５が、ＬＰＦ７３１２から出力される低周波帯域成分に混合係数αを積算して出力する。また、ＢＰＦ７３１３から出力される中周波帯域成分は、復元部７３１６によって復元されるとともに復元信号として出力される。このとき復元部７３１６は、入力される中周波帯域成分に対して非線形処理を施す。非線形処理とは、例えば、二乗処理や、全波整流処理（絶対値処理）、半波整流処理などである。
【０１５８】
二乗処理を用いる場合、復元部７３１６はＢＰＦ７３１３から出力される中周波帯域成分を二乗する。このとき、中周波帯域成分にステレオマイク５で集音される音声のピッチ信号の高調波成分（基本周波数の倍音成分）が含まれているため、二乗することによって各高調波成分の差及び和に相当する周波数の信号が生成される。したがって、中周波帯域成分より低周波側の帯域と、高周波側の帯域と、に調波成分（基本周波数である基本波成分や、高調波成分）が生成される。したがって、中周波帯域成分から低周波帯域成分や高周波帯域成分を復元することが可能となる。なお、二乗処理を行う場合、生成される調波成分の振幅が本来求めたい調波成分の二乗になる。これに対して、二乗した信号に対して正規化を行い、それによって振幅を調整することとしても構わない。
【０１５９】
全波整流処理（絶対値処理）、半波整流処理についても同様に行うことができる。例えば、全波整流を用いる場合、中周波帯域成分の絶対値を算出して復元を行う。また、上述の復元方法について、例えば、特開平８−１３０４９４号公報、特開平８−２７８８００号公報、特開平９−５５７７８号公報などに記載されている方法を用いても構わない。
【０１６０】
復元部７３１６は、上述のような方法を用いることで復元を行い、復元信号を出力する。ＬＰＦ７３１７は、入力される復元信号から低周波帯域成分を抽出することで復元低周波帯域成分を生成し、出力する。そして、復元低周波帯域成分は係数積算部７３１８に入力され、混合係数（１−α）が積算される。また、混合係数（１−α）が積算された復元低周波帯域成分と、混合係数αが積算された低周波帯域成分と、は合成部７３１９で合成され、一つの合成低周波帯域成分として出力される。
【０１６１】
そして、合成部７３１９から出力される合成低周波帯域成分と、ＢＰＦ７３１３から出力される中周波帯域成分と、ＨＰＦ７３１４から出力される高周波帯域成分と、が合成部７３２０で合成され、一つの音声信号として出力される。
【０１６２】
水中特性補正部７３ｆを本実施例のように構成すると、低周波帯域成分の信号を改善することが可能となる。この改善方法について図２３を用いて説明する。図２３は、水中で集音された音声信号と空気中で集音された音声信号とを併せて示した模式的なグラフであり、図４、図５、図１５及び図１７と同様のグラフである。
【０１６３】
上述したように、水中で集音した音声信号（実線）は、空中で集音した音声信号（破線）と比較して、低周波帯域に強度が集中するとともに高周波帯域の強度が大きく減衰する。そのため、水中で集音した音声信号は、空気中で集音した音声信号とは異なるものとなる。しかしながら、図２３に示すように、周波数λ3と周波数λ4との間の中周波帯域においては、水中で集音した音声信号と空気中で集音した音声信号とが同様のものとなる。即ち、この帯域については集音環境の影響を受けにくく、水中で集音された音声信号であったとしても良好な信号となり易い。そのため、この帯域の信号に基づいて復元される他の帯域の信号が、水中で集音されたそのままの信号よりも良好な信号となり易くなる。
【０１６４】
したがって、本実施例のように、水中で集音した音声信号であると集音環境判定部７２において判定される場合に、合成部７３１９から出力される合成低周波帯域成分に復元低周波帯域成分を含ませることとすると、合成部７３２０から出力される音声信号を改善することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１６５】
なお、上述した合成を可能とするために、ＬＰＦ７３１２及びＬＰＦ７３１７のカットオフ周波数をλ3として、ＨＰＦのカットオフ周波数をλ4としても構わない。また、ＢＰＦ７３１３の低周波側のカットオフ周波数をλ3として、高周波側のカットオフ周波数をλ4としても構わない。また、λ3を例えば２ｋＨｚとして、λ4を例えば６ｋＨｚとしても構わない。
【０１６６】
また、集音環境判定部７２が、水中で集音されたものであると判定する場合に混合係数αを小さくし、水中で集音されたものではないと判定する場合に混合係数αを大きくしても構わない。さらに、集音環境判定部７２が、水中で集音されたものではないと判定する場合に混合係数αを１にしても構わない。混合係数αを１にすると、ＬＰＦ７３１２から出力される低周波帯域成分が係数積算部７３１５及び合成部７３１９をそのまま通過し、合成部７３２０に入力される。即ち、合成部７３１９から出力される合成低周波帯域成分が、低周波帯域成分と等しいものとなる。また、このとき復元部７３１６において復元処理を行わないこととしても構わない。
【０１６７】
また、入力される音声信号の強度などに基づいて入力される音声信号の劣化の程度を判断し、混合係数αの値を変化させることとしても構わない。さらに、劣化の程度が大きいと判断される場合に、混合係数αを小さくしても構わない。また、混合係数αが０を取りうることとしても構わない。
【０１６８】
また、図２２に示す水中特性補正部７３ｆでは、中周波帯域成分から低周波帯域成分を復元する構成としたが、同様に、高周波帯域成分を復元して復元高周波帯域成分を作り、ＨＰＦ７３１４から出力される高周波帯域成分に所定の割合で合成することとしても構わない。
【０１６９】
この構成について図２４に示す。図２４は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第６実施例の別例について示すブロック図である。図２４に示す水中特性補正部７３ｆａでは、ＬＰＦ７３１２と、ＢＰＦ７３１３と、ＨＰＦ７３１４と、復元部７３１６と、復元部７３１６から出力される復元信号から高周波帯域成分を抽出して復元高周波帯域成分を出力するＨＰＦ７３２１と、集音環境判定部７２から出力される混合係数α1をＨＰＦ７３１４から出力される高周波帯域成分に積算する係数積算部７３２２と、集音環境判定部７２から出力される混合係数（１−α1）をＨＰＦ７３２１から出力される復元高周波帯域成分に積算する係数積算部７３２３と、係数積算部７３２２から出力される高周波帯域成分と係数積算部７３２３から出力される復元高周波帯域成分とを合成して合成高周波帯域成分を出力する合成部７３２４と、合成部７３２４から出力される合成高周波帯域成分とＢＰＦ７３１３から出力される中周波帯域成分とＬＰＦ７３１２から出力される低周波帯域成分とを合成して音声信号を出力する合成部７３２５と、を備える。
【０１７０】
この水中特性補正部７３ｆａは、低周波帯域成分ではなく高周波帯域成分の復元及び合成を行う点において、水中特性補正部７３ｆと相違する。しかしながら、他の動作については同様のものとなるため、説明を省略する。
【０１７１】
また、低周波帯域成分及び高周波帯域成分を復元して復元低周波帯域成分及び復元高周波帯域成分をそれぞれ作り、ＬＰＦ７３１２から出力される低周波帯域成分と、ＨＰＦ７３１４から出力される高周波帯域成分と、にそれぞれ所定の割合で合成させる構成としても構わない。
【０１７２】
この構成について図２５に示す。図２５は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第６実施例の別例について示すブロック図である。図２５に示す水中特性補正部７３ｆｂでは、ＬＰＦ７３１２と、ＢＰＦ７３１３と、ＨＰＦ７３１４と、復元部７３１６と、ＬＰＦ７３１７と、ＨＰＦ７３２１と、係数積算部７３１５と、係数積算部７３２２と、係数積算部７３１８と、係数積算部７３２３と、合成部７３１９と、合成部７３２４と、合成部７３１９から出力される合成低周波帯域成分とＢＰＦ７３１３から出力される中周波帯域成分と合成部７３２４から出力される合成高周波帯域成分とを合成して音声信号を出力する合成部７３２６と、を備える。
【０１７３】
この水中特性補正部７３ｆｂは、低周波帯域成分及び高周波帯域成分の両方の復元及び合成を行う点において、水中特性補正部７３ｆや水中特性補正部７３ｆａと相違する。しかしながら、他の動作については同様のものとなるため、説明を省略する。
【０１７４】
水中で集音される音声信号は、低周波帯域成分も高周波帯域成分も、空気中で集音された音声信号のそれとは異なり、水中の音の集音特性の影響を大きく受けたものとなる。そのため、水中特性補正部７３ｆ，７３ｆａ及び７３ｆｂについて、音声信号の高周波帯域成分及び低周波帯域成分のいずれかまたは両方に復元した成分を合成させる構成とすることにより、水中の音の集音特性の影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１７５】
＜水中特性補正部の第７実施例＞
次に、図２に示した水中特性補正部７３の第７実施例について図面を参照して説明する。図２６は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第７実施例について示すブロック図である。図２６に示すように、音声処理部７ｐは、Ａ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ｇと、を備える。
【０１７６】
水中特性補正部７３ｇは、入力される音声信号から所定の周波数の成分を抽出して所定周波帯域成分を出力する所定成分抽出部７３２７と、入力される音声信号から所定成分抽出部７３２７が抽出する周波数の成分を低減して非所定周波帯域成分を出力する所定成分低減部７３２８と、代替成分を出力する代替成分供給部７３２９と、所定成分抽出部７３２７から出力される所定周波帯域成分に集音環境判定部７２から出力される混合係数βを積算する係数積算部７３３０と、代替成分供給部から出力される代替成分に集音環境判定部７２から出力される混合係数（１−β）を積算する係数積算部７３３１と、係数積算部７３３０から出力される所定周波帯域成分と係数積算部７３３１から出力される代替成分とを合成して合成所定周波帯域成分を出力する合成部７３３２と、合成部７３３２から出力される合成所定周波帯域成分と所定成分低減部から出力される非所定周波帯域成分とを合成して音声信号を出力する合成部７３３３と、を備える。
【０１７７】
集音環境判定部７２は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部７３ｇは、所定成分抽出部７３２７において、入力される音声信号の所定周波帯域成分を抽出する。また、所定成分低減部７３２８において、入力される音声信号の所定周波帯域成分を低減し、非所定周波帯域成分を得る。さらに、代替成分供給部７３２９から、所定周波帯域成分と同様の周波帯域の成分である代替成分が出力される。そして、所定成分抽出部７３２７によって抽出される所定周波帯域成分は係数積算部７３３０に入力され、代替成分供給部７３２９から出力される代替成分は係数積算部７３３１に入力される。
【０１７８】
集音環境判定部７２において、入力される音声信号が水中で集音されたものであると判定される場合は、係数積算部７３３０が、入力される所定周波帯域成分に混合係数βを積算して出力する。また、係数積算部７３３１は、入力される代替成分に混合係数（１−β）を積算して出力する。そして、混合係数βが積算された所定周波帯域成分と、混合係数（１−β）が積算された代替成分と、は合成部７３３２で合成され、一つの合成所定周波帯域成分として出力される。
【０１７９】
そして、合成部７３３２から出力される合成所定周波帯域成分と、所定成分低減部７３２８から出力される非所定周波帯域成分と、が合成部７３３３で合成され、一つの音声信号として出力される。
【０１８０】
代替成分供給部７３２９から出力される代替成分は、例えば、予め集音することによって得られた代替信号から、所定周波帯域成分と同様の周波数の成分を抽出することによって得られる。この代替成分は、ユーザが代替したいと考える信号であり、任意のものである。例えば、空気中の静音時に集音して得られるものであっても構わない。また、水泡が弾けるような音であっても構わないし、人工的な音や無音であっても構わない。
【０１８１】
水中特性補正部７３ｇを本実施例のように構成すると、所定周波帯域成分の信号を改善することが可能となる。特に、水中で集音を行う際に強度が集中する低周波帯域成分や、強度が大きく減衰する高周波帯域成分、感度が高くなり耳障りとなりやすい自己発生駆動音が含まれる所定周波帯域成分など、の成分に、水中の音の集音特性の影響を受けていない（ノイズが小さいなど、水中の音の集音特性の影響をあまり受けていないものも含む）代替成分を合成させることができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１８２】
なお、所定成分抽出部７３２７及び所定成分低減部７３２８の組み合わせを、カットオフ周波数の等しいＬＰＦ及びＨＰＦの組み合わせとしても構わない。また、所定成分抽出部７３２７をＢＰＦとして、所定成分低減部７３２８を、ＢＰＦによって抽出される周波数帯の成分を遮断するＢＥＦとしても構わない。
【０１８３】
また、第３実施例と同様に、自己発生駆動音（例えばモータの駆動音）が発生したことを代替成分供給部７３２９や集音環境判定部７２が検出し、自己発生駆動音の発生に応じて代替成分の合成を行うこととしても構わない。また、このときの代替成分を、耳障りにならない程度に抑制された自己発生駆動音としても構わない。
【０１８４】
また、予め集音して得られた代替信号から代替成分を作成する場合に、空気中である程度の時間以上集音して得られる音声信号から、代替成分に使用すると好適となる部分（例えば、ノイズなどの信号が含まれず、一定の強度で安定している部分など）を取り出して組み合わせ、代替信号を作成しても構わない。このような代替信号から代替成分を作成して合成する構成とすると、より効果的にユーザの意図する音声信号を得ることが可能となる。
【０１８５】
また、複数の代替成分を記録するとともに、これらをランダムで出力して合成することとしても構わない。このような構成とすると、格納する代替成分の総時間を短くすることができる。そのため、代替成分のデータ量が低減されて、代替成分を記録する装置の小型化を図ることが可能となる。また、代替成分が所定のパターンの繰り返しではなくなるため、自然な音声信号を得ることが可能となる。
【０１８６】
また、代替成分供給部７３２９に代替成分を格納することとしても構わないし、図１に示すメモリ１５や外部メモリ９に代替成分を格納することとしても構わない。また、代替信号を格納するとともに、代替成分供給部７３２９によって適宜必要となる代替成分を代替信号から抽出して、係数積算部７３３１に出力する構成としても構わない。
【０１８７】
また、集音環境判定部７２が、水中で集音されたものであると判定する場合に混合係数βを小さくし、水中で集音されたものではないと判定する場合に混合係数βを大きくしても構わない。さらに、集音環境判定部７２が水中で集音されたものではないと判定する場合に、混合係数βを１にしても構わない。混合係数βを１とすると、所定成分抽出部７３２７から出力される所定周波帯域成分が、係数積算部７３３０及び合成部７３３２をそのまま通過して合成部７３３３に入力される。即ち、合成部７３３２から出力される合成所定周波帯域成分が、所定周波帯域成分と等しいものとなる。また、このとき代替成分供給部７３２９から代替成分が出力されないこととしても構わない。
【０１８８】
また、入力される音声信号の強度などに基づいて入力される音声信号の劣化の程度を判断し、混合係数βの値を変化させることとしても構わない。さらに、劣化の程度が大きいと判断される場合に、混合係数βを小さくしても構わない。また、混合係数βが０を取りうることとしても構わない。
【０１８９】
また、本例では所定成分抽出部７３２７によって抽出される所定の周波数の成分に、代替成分を合成することとしたが、全ての周波数帯域において代替成分または代替信号を合成する構成としても構わない。
【０１９０】
＜水中特性補正部の第８実施例＞
次に、図２に示した水中特性補正部７３の第８実施例について図面を参照して説明する。図２７は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第８実施例について示すブロック図である。図２７に示すように、音声処理部７ｑは、Ａ／Ｄ変換部７１と、集音環境判定部７２と、水中特性補正部７３ｈと、を備える。また、音声処理部７ｑには、０ｃｈ〜ｎｃｈ（ただし、ｎは自然数）のｎ＋１チャネルの音声信号が入力されるものとする。
【０１９１】
水中特性補正部７３ｈには、入力される複数チャネルの音声信号の中から強度が最小となる音声信号を選択して出力する最小信号選択部７３３４と、入力される複数チャネルの音声信号のそれぞれに混合係数（１−γ）を積算する係数積算部７３３５〜７３３７と、最小信号選択部７３３４から出力される音声信号に混合係数γを積算する係数積算部７３３８と、係数積算部７３３５〜７３３７のそれぞれから出力される音声信号と係数積算部７３３８から出力される音声信号とをそれぞれ合成してそれぞれのチャネルの音声信号として出力する合成部７３３９〜７３４１と、を備える。
【０１９２】
集音環境判定部７２は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部７３ｈは、最小信号選択部７３３４において、入力される複数の音声信号の中から強度が最も小さい音声信号を選択する。選択された音声信号は、係数積算部７３３８に入力される。また、水中特性補正部７３ｈに入力されるそれぞれのチャネルの音声信号は、係数積算部７３３５〜７３３７のそれぞれにも入力される。
【０１９３】
集音環境判定部７２において、入力される音声信号が水中で集音されたものであると判定される場合は、係数積算部７３３８が、最小信号選択部７３３４から出力される音声信号に混合係数γを積算して出力する。また、係数積算部７３３５〜７３３７は、入力されるそれぞれのチャネルの音声信号に混合係数（１−γ）を積算して出力する。そして、混合係数γが積算された音声信号と、混合係数（１−γ）が積算されたそれぞれのチャネルの音声信号と、は合成部７３３９〜７３４１でそれぞれ合成され、それぞれのチャネルの音声信号として出力される。
【０１９４】
水中特性補正部７３ｈを本実施例のように構成すると、いずれかのチャネルのマイクで集音した音声信号に強度が大きいノイズが含まれたとしても、そのノイズを低減することが可能となる。特に、水中ではマイクに水圧がかかるため、集音して得られる音声信号中に強度が大きいノイズがランダムで発生することがある。しかしながら、本実施例のように、所定の割合（混合係数γ及び（１−γ））で、最も強度が小さい音声信号をそれぞれのチャネルの音声信号に合成することとすると、いずれかのチャネルの音声信号に含まれる強度が大きいノイズを、他のチャネルの音声信号（最も強度が小さい音声信号、即ち強度が大きいノイズが含まれないと見込まれるチャネルの音声信号）を合成することによって低減することができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
【０１９５】
なお、γ＝１としても構わない。γ＝１とすると、全てのチャネルの音声信号が最も強度が小さい音声信号に統一されることとなる。即ち、モノラルの音声信号とすることが可能となり、強度が大きくノイズを含んでいると見込まれるチャネルの音声信号を排除することが可能となる。
【０１９６】
また、集音環境判定部７２が、水中で集音されたものであると判定する場合に混合係数γを大きくし、水中で集音されたものではないと判定する場合に混合係数γを小さくしても構わない。さらに、集音環境判定部７２が水中で集音されたものではないと判定する場合に、混合係数γを０にしても構わない。混合係数γを０にすると、入力されるそれぞれのチャネルの音声信号が係数積算部７３３５〜７３３７及び合成部７３３９〜７３４１をそのまま通過して出力される。また、このとき最小信号選択部７３３４において音声信号が選択及び出力されないこととしても構わない。
【０１９７】
また、入力される音声信号の強度に基づいて混合係数γの値を変化させることとしても構わない。さらに、係数積算部７３３５〜７３３７毎に、混合係数を設定することとしても構わない。この場合、それぞれのチャネルの音声信号毎に合成される割合が調整されることとなる。
【０１９８】
また、上述した例では音声信号全体に対する合成について述べたが、音声信号の所定の周波数帯の成分のみに対して合成を行うこととしても構わない。このように構成する場合、最小信号選択部７３３４及び係数積算部７３３５〜７３３７に、各チャネルの音声信号の所定の周波数帯の成分がそれぞれ入力されることとなる。また、合成部７３３９〜７３４１からは、それぞれの音声信号の所定の周波数帯の成分が出力されることとなる。このとき、最小信号選択部７３３４及び係数積算部７３３５〜７３３７の前段に、所定の周波数帯の成分を抽出する所定成分抽出部を備えることとしても構わない。また、合成部７３３９〜７３４１の後段に、合成後の所定の周波数帯の成分を各チャネルの音声信号に合成させる合成部を備えることとしても構わない。
【０１９９】
＜水中特性補正部の実施例の組み合わせ＞
上述した実施例の水中特性補正部７３ａ〜７３ｈについては、組み合わせて実施することが可能である。組み合わせる場合、それぞれの実施例の効果を得ることができる。組み合わせ方について、同時に実施する組み合わせ方（例えば、第１実施例と第２実施例とを組み合わせる場合、図１２のＨＰＦ７３０２と合成部７３０４の間に図１３の増幅部７３０３を備えるなど）でも構わないし、多段で組み合わせる組み合わせ方（例えば、第１実施例と第４実施例とを組み合わせる場合、図１２の合成部７３０４の出力側に図１６の平滑部７３１０を接続するなど）でも構わない。
【０２００】
＜＜再生時の適用例＞＞
上述の実施形態は、集音時に集音環境を判定して音声信号に水中特性補正処理を行う音声処理装置や電子機器に関するものである。しかしながら、本発明はこれに限らず、再生時に集音環境を判定して水中特性補正処理を行う再生機能を備える電子機器にも適用することができる。
【０２０１】
図２８に、再生時に集音環境を判定して水中特性補正処理を行うことが可能な撮像装置１ａを示す。図２８は、本発明の別の実施形態における撮像装置の基本構成について示すブロック図であり、図１に相当するものである。なお、図１と同様の部分については同じ符号を付し、その詳細な説明については省略する。
【０２０２】
図２８に示す撮像装置１ａは、音声処理部７の代わりに音声処理部７ｒを備える点と、伸長処理部１１から入力される信号を処理して音声出力回路部１３に出力する音声処理部７ｓをさらに備える点を除き、図１の撮像装置１と同様の構成となる。
【０２０３】
また、音声処理部７ｒは、集音環境判定部７２と、水中特性補正部７３と、を備えない構成となる点を除き、図２に示す音声処理部７と同様の構成となる。また、音声処理部７ｓは、Ａ／Ｄ変換部７１を備えない構成となる点を除き、図２に示す音声処理部７と同様の構成となる。そして、本例では、音声処理部７ｓに備えられる集音環境判定部及び水中特性補正部において、音声信号が水中で集音されたものであるか否かの判定と、その判定に基づいた水中特性補正処理とが行われる。集音環境判定部及び水中特性補正部の構成や、判定方法及び補正方法は上述したそれぞれの実施例と同様であるため、詳細な説明については省略する。
【０２０４】
このように構成することで、再生する音声信号に基づいて集音環境が水中であるか否かを判定し、集音環境が水中であると判定される場合に水中特性補正を音声信号に施して再生することが可能となる。したがって、水中特性補正処理を行わずに記録した音声信号に対しても、集音環境の判定と水中特性補正処理とを行うことが可能となる。
【０２０５】
なお、音声処理部７ｒが、集音環境判定部と水中特性補正部とを備える構成として、音声処理部７ｒ，７ｓのどちらにおいても、集音環境の判定と水中特性補正処理とを行うことができる構成としても構わない。このように構成すると、集音時及び再生時の任意の時期において、集音環境の判定と水中特性補正処理とを行うことが可能となる。
【０２０６】
また、再生機能のみを備える再生装置（例えば、光ディスクなどに記録された画像信号及び音声信号を再生する再生装置など）に、本例を適用することとしても構わない。このような構成としても、音声信号に基づいた集音環境の判定と水中特性補正処理とを行うことができる。
【０２０７】
また、音声処理部７ｓに備えられる集音環境判定部として、図７及び図８に示した集音環境判定部７２ｂ，７２ｃを用いる場合や、水中特性補正部として図１４に示す水中特性補正部７３ｃを用いる場合、ＣＰＵ１４から集音環境判定部７２ｂ，７２ｃ及び水中特性補正部７３ｃが時間情報を受け取る構成とせず、音声信号に付加されたインデックスなどから自己発生駆動音の発生を検出することとしても構わない。さらにこの場合、音声処理部７ｒがＣＰＵ１４から時間情報を取得して、音声信号に付加することとしても構わない。
【０２０８】
このように構成すると、撮像装置１ａで集音及び記録されていない音声信号を、撮像装置１ａを用いて再生する場合でも、集音環境の判定及び水中特性補正処理を行うことが可能となる。
【０２０９】
＜＜変形例＞＞
なお、図２に示した音声処理部７の集音環境判定部７２や水中特性補正部７３において処理される音声信号を、時間軸の信号としても構わないし、周波数軸の信号としても構わない。
【０２１０】
また、本発明の実施形態における撮像装置１，１ａについて、音声処理部７，７ｓの集音環境判定部７２や水中特性補正部７３などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０２１１】
また、上述した場合に限らず、図１及び図２８の撮像装置１，１ａ、図２の音声処理部７は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１，１ａや音声処理部７を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０２１２】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０２１３】
本発明は、水中で集音された音声信号を処理する音声処理装置や音声処理方法、音声処理装置を搭載した電子機器に関するものである。特に、撮像装置やＩＣレコーダなどの集音可能な電子機器に適用することとすると好適である。
【図面の簡単な説明】
【０２１４】
【図１】は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。
【図２】は、本発明の実施形態における撮像装置の音声処理部の基本構成について示すブロック図である。
【図３】は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第１実施例について示すブロック図である。
【図４】は、空気中で集音された音声信号の周波数特性の一例を示すグラフである。
【図５】は、水中で集音された音声信号の周波数特性の一例を示すグラフである。
【図６】は、空気中と水中における音声の周波数特性の相違を示す図である。
【図７】は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第２実施例について示すブロック図である。
【図８】は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第３実施例について示すブロック図である。
【図９】は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第４実施例について示すブロック図である。
【図１０】は、ステレオマイクの模式図である。
【図１１】は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第５実施例について示すブロック図である。
【図１２】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第１実施例について示すブロック図である。
【図１３】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第２実施例について示すブロック図である。
【図１４】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第３実施例について示すブロック図である。
【図１５】は、水中で集音された音声信号に含まれる自己発生駆動音ノイズについて示したグラフである。
【図１６】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第４実施例について示すブロック図である。
【図１７】は、水中で集音された音声信号に含まれる擦り切れ音ノイズと平滑部の処理とについて示したグラフである。
【図１８】は、水中で集音された音声信号に含まれるノイズと平滑部の処理とについて示したグラフである。
【図１９】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第５実施例について示すブロック図である。
【図２０】は、ＡＧＣ部の動作の具体例について示したグラフである。
【図２１】は、水中で集音された音声信号に含まれる突発ノイズとレスポンス速度制御部の処理について示したグラフである。
【図２２】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第６実施例について示すブロック図である。
【図２３】は、水中で集音された音声信号と空気中で集音された音声信号とを併せて示した模式的なグラフである。
【図２４】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第６実施例の別例について示すブロック図である。
【図２５】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第６実施例の別例について示すブロック図である。
【図２６】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第７実施例について示すブロック図である。
【図２７】は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第８実施例について示すブロック図である。
【図２８】は、本発明の別の実施形態における撮像装置の基本構成について示すブロック図である。
【符号の説明】
【０２１５】
１，１ａ    撮像装置
２    イメージセンサ
３    レンズ部
４    ＡＦＥ
５    ステレオマイク
６    画像処理部
７，７ａ〜７ｈ，７ｋ，７ｍ，７ｎ，７ｐ〜７ｓ  音声処理部
７１  Ａ／Ｄ変換部
７２、７２ａ〜７２ｅ  集音環境判定部
７２１  周波数特性判定部
７２２、７２６  伝播特性判定部
７２３  第１判定部
７２４  第２判定部
７２５、７２９  総合判定部
７２７  Ｒｃｈ判定部
７２８  Ｌｃｈ判定部
７３、７３ａ〜７３ｇ、７３ｆａ、７３ｆｂ  水中特性補正部
７３０１，７３０５，７３１２，７３１７  ＬＰＦ
７３０２，７３０６，７３１４，７３２１  ＨＰＦ
７３０３  減衰部
７３０４、７３０８，７３１９，７３２０，７３２４〜７３２６  合成部
７３３２，７３３３，７３３９〜７３４１  合成部
７３０７  増幅部
７３０９  所定信号減衰部
７３１０  平滑部
７３１１  レスポンス速度制御部
７３１３  ＢＰＦ
７３１５，７３１８，７３２２，７３２３，７３３０，７３３１  係数積算部
７３３５〜７３３８  係数積算部
７３１６  復元部
７３２７  所定成分抽出部
７３２８  所定成分低減部
７３２９  代替成分供給部
７３３４  最小信号選択部
７４  ＡＧＣ部
８    圧縮処理部
９    外部メモリ
１０    ドライバ部
１１    伸長処理部
１２    画像出力回路部
１３    音声出力回路部
１４    ＣＰＵ
１５    メモリ
１６    操作部
１７    ＴＧ部
１８    バス
１９    バス
【図１】
0005171370.tif 000004
【図２】
0005171370.tif 000005
【図３】
0005171370.tif 000006
【図４】
0005171370.tif 000007
【図５】
0005171370.tif 000008
【図６】
0005171370.tif 000009
【図７】
0005171370.tif 000010
【図８】
0005171370.tif 000011
【図９】
0005171370.tif 000012
【図１０】
0005171370.tif 000013
【図１１】
0005171370.tif 000014
【図１２】
0005171370.tif 000015
【図１３】
0005171370.tif 000016
【図１４】
0005171370.tif 000017
【図１５】
0005171370.tif 000018
【図１６】
0005171370.tif 000019
【図１７】
0005171370.tif 000020
【図１８】
0005171370.tif 000021
【図１９】
0005171370.tif 000022
【図２０】
0005171370.tif 000023
【図２１】
0005171370.tif 000024
【図２２】
0005171370.tif 000025
【図２３】
0005171370.tif 000026
【図２４】
0005171370.tif 000027
【図２５】
0005171370.tif 000028
【図２６】
0005171370.tif 000029
【図２７】
0005171370.tif 000030
【図２８】
0005171370.tif 000031