(57)【要約】【課題】マイクロホンが遮音されているか否かを正しく判定することができる収音装置、収音方法、プログラムおよび撮像装置を提供する。【解決手段】収音装置１００は、外部の音と、当該収音装置１００内のノイズ源の音とを複数のマイクロホン１１０が収音してマイクロホン信号を出力する。また、収音装置１００は、複数のマイクロホン１１０に一対一で対応し、マイクロホン信号を互いに異なる周波数帯域の信号に分割する複数の帯域分割部１２０と、複数の帯域分割部１２０に一対一で対応し、周波数帯域ごとに信号レベルを算出する複数の信号レベル算出部１３０と、各々の信号レベルに基づき、同じ周波数帯域ごとに複数のマイクロホン１１０間の相関値を算出する相関算出部１４０と、複数の相関値に基づいて複数のマイクロホン１１０のうちの少なくとも１つのマイクロホン１１０が遮音されているか否かを判定する判定部１５０とを備える。【選択図】図２
2018142949.tif 000002
【特許請求の範囲】
【請求項１】
外部の音と、当該収音装置内のノイズ源の音とを複数のマイクロホンが収音し、各々の前記マイクロホンがマイクロホン信号を出力する収音装置であって、
前記複数のマイクロホンに一対一で対応し、前記マイクロホン信号を互いに異なる周波数帯域の信号に分割する複数の分割部と、
前記複数の分割部に一対一で対応し、前記周波数帯域ごとに信号レベルを算出する複数の信号レベル算出部と、
各々の前記信号レベルに基づき、同じ前記周波数帯域ごとに前記複数のマイクロホン間の相関値を算出する相関算出部と、
複数の前記相関値に基づいて前記複数のマイクロホンのうちの少なくとも１つの前記マイクロホンが遮音されているか否かを判定する判定部とを備える
収音装置。
【請求項２】
前記判定部は、
複数の前記相関値の少なくとも１つが第１閾値を超える場合に、前記マイクロホンが遮音されていると判定する
請求項１に記載の収音装置。
【請求項３】
前記分割部は、１ＫＨｚ以下の前記周波数帯域の信号と、１ＫＨｚを超える前記周波数帯域の信号とに分割し、
前記判定部は、１ＫＨｚ以下の前記周波数帯域でのみ前記相関値が前記第１閾値を超えると判定した場合に、前記マイクロホンが遮音されていないと判定する
請求項２に記載の収音装置。
【請求項４】
前記相関算出部は、複数の前記相関値から前記周波数帯域ごとに分散値を算出し、
前記判定部は、算出した前記分散値の少なくとも１つが第２閾値を超える場合に、前記マイクロホンが遮音されていると判定する
請求項１〜３のいずれか１項に記載の収音装置。
【請求項５】
外部の音と、収音装置内のノイズ源からの音とを複数のマイクロホンが収音し、各々の前記マイクロホンがマイクロホン信号を出力する収音方法であって、
前記マイクロホン信号を互いに異なる周波数帯域の信号に分割し、
前記周波数帯域ごとに信号レベルを算出し、
各々の前記信号レベルに基づき、同じ前記周波数帯域ごとに前記複数のマイクロホン間の相関値を算出し、
複数の前記相関値に基づいて前記複数のマイクロホンのうちの少なくとも１つの前記マイクロホンが遮音されているか否かを判定する
収音方法。
【請求項６】
請求項５に記載の収音方法をコンピュータに実行させる
プログラム。
【請求項７】
請求項１〜４のいずれか１項に記載の収音装置と、
表示部と、
前記判定部から前記マイクロホンが遮音されていることを示す情報を受信し、前記表示部に遮音されていることを示す情報を表示させる制御部とを備える
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、収音装置、収音方法、収音方法を実行するプログラムおよび収音装置を用いた撮像装置に関する。
【背景技術】
【０００２】
近年、ＤＳＣ（Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）、スマートホン等の普及により、動画撮影が頻繁に行われている。このことから、ＤＳＣ、スマートホン等の撮像装置に複数の収音装置が搭載されるようになってきた。複数の収音装置を撮像装置に搭載することにより、様々な信号処理を行うことが可能となっている。しかし、雨天での動画撮影時には、収音のための撮像装置の音孔が水滴により塞がれてしまう。また、使用者の手により音孔が塞がれるといったことも起こりうる。この音孔が塞がれれば、周囲の音を正常に収音することができなく、例えば、信号処理の誤動作により周囲の音をクリアに収録することができないといった問題が生じる。そこで、音孔が塞がれれば、周囲の音が収音されにくくなり、収音に基づく信号レベルが低下するという現象を利用して、音孔が塞がれた状態を検出するといったことが行われている。
【０００３】
例えば、１次マイク（マイクロホン）と２次マイク（マイクロホン）とを有するモバイル装置（収音装置の一例）が開示されている（特許文献１参照）。モバイル装置は、１次マイクおよび２次マイクの信号特性を割り出し、この信号特性に基づいて、２次マイクが遮られているか否かを判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４９８１９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のモバイル装置では、１次マイクおよび２次マイクの信号特性を割り出し、この信号特性に基づいて、２次マイクが遮られているか否かを判定するだけでは、両方の音孔が塞がれた場合に、音孔が塞がれた状態であるか否かの検出を正常に行うことができない。
【０００６】
また、通常、モバイル装置の筐体内に手振れ補正の機構、信号処理の高度化に伴う熱対策としてのファン等が取り付けられている。このため、音孔が塞がれると、例えば手振れ補正の機構、ファン等の音を集音してしまい、収音した音声のノイズレベルが増加することがある。このため、音孔が塞がれてしまえば、外部からの収音レベルが下がるということを利用したアプローチでは、音孔が塞がれた状態を正常に検出することができなくなる。
【０００７】
そこで、本開示は、マイクロホンが遮音されているか否かを正しく判定することができる収音装置、収音方法、プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本開示の一態様に係る収音装置は、外部の音と、当該収音装置内のノイズ源の音とを複数のマイクロホンが収音し、各々の前記マイクロホンがマイクロホン信号を出力する収音装置であって、前記複数のマイクロホンに一対一で対応し、前記マイクロホン信号を互いに異なる周波数帯域の信号に分割する複数の分割部と、前記複数の分割部に一対一で対応し、前記周波数帯域ごとに信号レベルを算出する複数の信号レベル算出部と、各々の前記信号レベルに基づき、同じ前記周波数帯域ごとに前記複数のマイクロホン間の相関値を算出する相関算出部と、複数の前記相関値に基づいて前記複数のマイクロホンのうちの少なくとも１つの前記マイクロホンが遮音されているか否かを判定する判定部とを備える。
【０００９】
また、上記目的を達成するため、本開示の一態様に係る収音方法は、外部の音と、収音装置内のノイズ源からの音とを複数のマイクロホンが収音し、各々の前記マイクロホンがマイクロホン信号を出力する収音方法であって、前記マイクロホン信号を互いに異なる周波数帯域の信号に分割し、前記周波数帯域ごとに信号レベルを算出し、各々の前記信号レベルに基づき、同じ前記周波数帯域ごとに前記複数のマイクロホン間の相関値を算出し、複数の前記相関値に基づいて前記複数のマイクロホンのうちの少なくとも１つの前記マイクロホンが遮音されているか否かを判定する。
【００１０】
また、上記目的を達成するため、本開示の一態様に係るプログラムは、収音方法をコンピュータに実行させる。
【００１１】
また、上記目的を達成するため、本開示の一態様に係る撮像装置は、収音装置と、表示部と、前記判定部から前記マイクロホンが遮音されていることを示す情報を受信し、前記表示部に遮音されていることを示す情報を表示させる制御部とを備える。
【００１２】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１３】
本開示によれば、マイクロホンが遮音されているか否かを正しく判定することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施の形態に係る撮像装置を示す模式図である。
【図２】図２は、実施の形態に係る撮像装置を示すブロック図である。
【図３】図３は、実施の形態に係る撮像装置の動作を示すフローチャートである。
【図４】図４は、収音装置内にノイズ源がない場合における入力信号レベルと出力信号レベルとの関係を示すグラフである。
【図５】図５は、収音装置内にノイズ源がある場合における入力信号レベルと出力信号レベルとの関係を示すグラフである。
【図６】図６は、拡声レベルが４０（ｄＢＳＰＬ）の場合における、信号レベル算出部が出力した信号レベルと周波数との関係を示すグラフである。
【図７】図７は、拡声レベルが４０（ｄＢＳＰＬ）の場合における、相関算出部が出力した相関値と周波数との関係を示すグラフである。
【図８】図８は、拡声レベルが６５（ｄＢＳＰＬ）の場合における、信号レベル算出部が出力した相関値と周波数との関係を示すグラフである。
【図９】図９は、拡声レベルが６５（ｄＢＳＰＬ）の場合における、相関算出部が出力した相関値と周波数との関係を示すグラフである。
【図１０】図１０は、実施の形態の変形例に係る撮像装置を示すブロック図である。
【発明を実施するための形態】
【００１５】
本開示の一態様に係る収音装置は、外部の音と、当該収音装置内のノイズ源の音とを複数のマイクロホンが収音し、各々の前記マイクロホンがマイクロホン信号を出力する収音装置であって、前記複数のマイクロホンに一対一で対応し、前記マイクロホン信号を互いに異なる周波数帯域の信号に分割する複数の分割部と、前記複数の分割部に一対一で対応し、前記周波数帯域ごとに信号レベルを算出する複数の信号レベル算出部と、各々の前記信号レベルに基づき、同じ前記周波数帯域ごとに前記複数のマイクロホン間の相関値を算出する相関算出部と、複数の前記相関値に基づいて前記複数のマイクロホンのうちの少なくとも１つの前記マイクロホンが遮音されているか否かを判定する判定部とを備える。
【００１６】
これによれば、帯域分割部がマイクロホン信号を複数の周波数帯域の信号に分割し、信号レベル算出部が周波数帯域ごとに信号レベルを算出する。２つの信号レベル算出部を例にあげると、相関算出部は、一方の信号レベル算出部が算出した各々の信号レベルと、他の信号レベル算出部が算出した各々の信号レベルとに基づき、同じ周波数帯域ごとに２つのマイクロホン間の相関値を算出する。このため、判定部は、各々の相関値に基づき、マイクロホンの収音が遮音されているか否かを判定することができる。
【００１７】
したがって、マイクロホンが遮音されているか否かを正しく判定することができる。
【００１８】
また、本開示の一態様に係る収音装置において、前記判定部は、複数の前記相関値の少なくとも１つが第１閾値を超える場合に、前記マイクロホンが遮音されていると判定する。
【００１９】
これによれば、各々の相関値の少なくとも１つが第１閾値を超える場合に、双方のマイクロホンが遮音されていると、判定部が判定するため、マイクロホンが遮音されていない場合と、全てのマイクロホンが遮音されている場合との違いを、より正確に区別することができる。
【００２０】
また、本開示の一態様に係る収音装置において、前記分割部は、１ＫＨｚ以下の前記周波数帯域の信号と、１ＫＨｚの周波数帯域を超える前記周波数帯域の信号とに分割し、前記判定部は、１ＫＨｚ以下の前記周波数帯域でのみ前記相関値が前記第１閾値を超えると判定した場合に、前記マイクロホンが遮音されていないと判定する。
【００２１】
これによれば、帯域分割部が１ＫＨｚの周波数帯域で分割し、１ＫＨｚ以下の周波数帯域でのみ第１閾値を超えると判定部が判定した場合に、マイクロホンが遮音されていないと判定するため、風、振動等に起因する音が存在していても、よりマイクロホンが遮音されているか否かを正しく判定することができる。
【００２２】
本開示の一態様に係る収音装置において、前記相関算出部は、複数の前記相関値から前記周波数帯域ごとに分散値を算出し、前記判定部は、算出した前記分散値の少なくとも１つが第２閾値を超える場合に、前記マイクロホンが遮音されていると判定する。
【００２３】
これによれば、相関算出部が複数の相関値から周波数帯域ごとに分散値を算出し、分散値の少なくとも１つが第２閾値を超える場合に、マイクロホンが遮音されていると判定するため、マイクロホンが遮音されているか否かをより正しく判定することができる。
【００２４】
本開示の一態様に係る収音方法は、外部の音と、収音装置内のノイズ源からの音とを複数のマイクロホンが収音し、各々の前記マイクロホンがマイクロホン信号を出力する収音方法であって、前記マイクロホン信号を互いに異なる周波数帯域の信号に分割し、前記周波数帯域ごとに信号レベルを算出し、各々の前記信号レベルに基づき、同じ前記周波数帯域ごとに前記複数のマイクロホン間の相関値を算出し、複数の前記相関値に基づいて前記複数のマイクロホンのうちの少なくとも１つの前記マイクロホンが遮音されているか否かを判定する。
【００２５】
この収音方法においても、収音装置と同様の作用効果を奏する。
【００２６】
本開示の一態様に係るプログラムは、収音方法をコンピュータに実行させる。
【００２７】
この収音方法をコンピュータで実行可能なプログラムにおいても、収音装置と同様の作用効果を奏する。
【００２８】
本開示の一態様に係る撮像装置は、収音装置と、表示部と、前記判定部から前記マイクロホンが遮音されていることを示す情報を受信し、前記表示部に遮音されていることを示す情報を表示させる制御部とを備える。
【００２９】
これにより、制御部が判定部からマイクロホンが遮音されていることを示す情報を受信し、制御部が表示部に遮音されていることを示す情報を表示させるため、使用者は、マイクロホンが遮音されていることを認知することができる。
【００３０】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【００３１】
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
【００３２】
（実施の形態）
以下、本開示の実施の形態に係る収音装置１００および撮像装置１について説明する。
【００３３】
［構成］
図１は、実施の形態に係る撮像装置１を示す模式図である。図２は、実施の形態に係る撮像装置１を示すブロック図である。
【００３４】
図１に示すように、撮像装置１は、例えばＤＳＣ、スマートホン等の動画とともに音声を集音することが可能な装置である。本実施の形態では、撮像装置１の一例としてＤＳＣを用いている。
【００３５】
図１および図２に示すように、撮像装置１は、収音装置１００と、本体部３と、撮像部１３とを備える。
【００３６】
収音装置１００は、外部の音と、当該収音装置１００内のノイズ源の音とを複数のマイクロホン１１０が収音し、各々のマイクロホン１１０がマイクロホン信号を出力する。収音装置１００は、本体部３に収容されている。本体部３の筐体には、収音装置１００のマイクロホン１１０に音を伝搬する音孔１０３が形成されている。収音装置１００は、複数のマイクロホン１１０と、複数の帯域分割部１２０（分割部の一例）と、複数の信号レベル算出部１３０と、相関算出部１４０と、判定部１５０とを備える。本実施の形態の収音装置１００では、２つのマイクロホン１１０と、２つの帯域分割部１２０と、２つの信号レベル算出部１３０とを用いている。
【００３７】
マイクロホン１１０は、本体部３の筐体の音孔１０３を介して撮像装置１の外部の音とノイズ源からの音とを収音し、集音した音に基づくマイクロホン信号を出力する装置である。ここでノイズ源は、例えば、撮像装置１内に収容されている、手振れ補正の機構、熱対策用のファン等によって生じる音源である。
【００３８】
マイクロホン１１０には、帯域分割部１２０が電気的に接続されている。マイクロホン１１０は、出力したマイクロホン信号を帯域分割部１２０に入力する。本実施の形態では、マイクロホン１１０は、例えば本体部３の上端面側に配置されている。なお、マイクロホン１１０の配置については特に限定されない。
【００３９】
複数の帯域分割部１２０は、複数のマイクロホン１１０に一対一で対応し、マイクロホン信号を互いに異なる周波数帯域の信号に分割する装置である。複数の帯域分割部１２０では、通過帯域が互いに重ならない。帯域分割部１２０は、複数の帯域分割フィルタの集合体を有する。複数の帯域分割フィルタの集合体は、例えば複数のバンドパスフィルタの集合体、複数のローパスフィルタおよびハイパスフィルタの集合体である。マイクロホン１１０から帯域分割部１２０に入力されたマイクロホン信号は、これら複数のバンドパスフィルタの各々に入力される。
【００４０】
複数のバンドパスフィルタでは、通過帯域が互いに重ならない。一例をあげて説明すると、第１のバンドパスフィルタは、周波数帯域のうちの高域側を第１周波数帯域とし、第２のバンドパスフィルタは、第１のバンドパスフィルタの通過帯域と重なり合わない中域側を第２周波数帯域とし、第３のバンドパスフィルタは、周波数帯域のうちの第１のバンドパスフィルタおよび第２のバンドパスフィルタの通過帯域と重なり合わない低域側を第３周波数帯域とする。この場合、例えば、第１のバンドパスフィルタは、マイクロホン信号の第１周波数帯域のみを出力し、第２のバンドパスフィルタは、マイクロホン信号の第２周波数帯域のみを出力し、第３のバンドパスフィルタは、マイクロホン信号の第３周波数帯域のみを出力する。つまり、複数のバンドパスフィルタは、マイクロホン１１０の出力信号を帯域分割する帯域分割フィルタの役割を果たす。なお、ここでは、説明を簡略化するために３つのバンドパスフィルタを用いて説明したが、本実施の形態では、帯域分割部１２０は、８つのバンドパスフィルタを有し、通過帯域が互いに重なり合わない８つの周波数帯域の信号に分割する。また、本実施の形態において、周波数帯域の分割数、分割周波数帯等は、特に限定されない。
【００４１】
本実施の形態において、一方の帯域分割部１２０が分割したマイクロホン信号の周波数帯域の各々と、他方の帯域分割部１２０が分割したマイクロホン信号の周波数帯域の各々とは、同一の周波数帯域である。
【００４２】
帯域分割部１２０には、信号レベル算出部１３０が電気的に接続されている。帯域分割部１２０は、分割した周波数帯域ごとのマイクロホン信号を信号レベル算出部１３０に出力する。
【００４３】
なお、帯域分割部１２０を用いてマイクロホン信号を複数の周波数帯域の信号に分割する理由は以下の２つである。
【００４４】
１つ目は、例えば、収音装置１００の一方の音孔１０３が塞がれた場合でも、少しの隙間が形成されることがある等の理由により、マイクロホン１１０に対応する信号レベルの挙動が変化することがある。これは、音孔１０３の塞がれ方によって周波数特性が異なってしまうためである。また、収音装置１００内にノイズ源がある場合、音孔１０３を塞ぐと、ノイズ源の音を多く収音してしまい、ノイズの信号レベルが上昇してしまう。このため、単に全ての周波数帯域の信号レベルを監視するだけでは、音孔１０３を塞いでも信号レベルに差異が出ないことがある。そこで、後述する図７、図９の結果に基づいて周波数特性の変化を分析することができるように周波数帯域の信号ごとに分割する。
【００４５】
ここで、音孔１０３が塞がれるとは、音孔１０３を介してマイクロホン１１０が遮音されていることを意味し、音孔１０３を介する音が完全に遮音されている状態だけでなく、外部の音がわずかに入り込むことも含む。遮音についても、同様に、音孔１０３を介する音が完全に遮断されている状態だけでなく、外部の音がわずかに入り込むことも含む。
【００４６】
２つ目は、音孔１０３が塞がれていない場合に、例えば、撮像装置１の音孔１０３に風が当たったり、何らかの振動が発生したりする場合等に対応するためである。具体的には、風、振動等に起因する音は、マイクロホン１１０の振動板を直接揺らすことによって音へ変換されるため、２つのマイクロホン１１０の音孔１０３が塞がれることに起因したか否かの判定をすることができない。このような風、振動等に起因する音は、主に１ＫＨｚ以下の周波数帯域に信号レベルが集中することが知られている。このため、少なくとも１ＫＨｚの周波数帯域で分割することが好ましい。
【００４７】
この点を踏まえて、本実施の形態では、帯域分割部１２０は、１ＫＨｚ以下の周波数帯域の信号と、１ＫＨｚの周波数帯域を超える周波数帯域の信号とに分割する。
【００４８】
複数の信号レベル算出部１３０は、複数の帯域分割部１２０に一対一で対応し、周波数帯域ごとに信号レベルを算出する装置である。信号レベル算出部１３０は、時間信号の場合、各周波数帯域の観測信号をｘ（ｉ，ｔ）（ｉは帯域番号、ｔは時間サンプル）、Ｌは平均を計算するためのサンプル数とすると、信号レベルＡ（ｉ）を式１により算出する。
【００４９】
【数１】
2018142949.tif 000003
【００５０】
なお、各周波数帯域の観測信号ｘ（ｉ，ｔ）は、絶対値ではなく観測信号の２乗平均から求めても良い。なお、平均値の算出には移動平均ではなく、指数移動平均等、他の平均値を算出する方法を用いてもよく、式１には限定されない。
【００５１】
信号レベル算出部１３０には、相関算出部１４０が電気的に接続されている。信号レベル算出部１３０は、式１で算出した各々の信号レベルを相関算出部１４０に出力する。
【００５２】
なお、他方のマイクロホン１１０、他方の帯域分割部１２０および他方の信号レベル算出部１３０は、一方のマイクロホン１１０、一方の帯域分割部１２０および一方の信号レベル算出部１３０と同一の構成であるためその説明を省略する。また、マイクロホン１１０、帯域分割部１２０および信号レベル算出部１３０の各々は、３つ以上設けられていてもよい。
【００５３】
相関算出部１４０は、各々の信号レベルに基づき、同じ周波数帯域ごとに複数のマイクロホン１１０間の相関値を算出する。実施の形態を例にあげると、相関算出部１４０は、一方の信号レベル算出部１３０が算出した各々の信号レベルと、他の信号レベル算出部１３０が算出した各々の信号レベルとに基づき、同じ周波数帯域ごとに２つのマイクロホン１１０間の相関値を算出する。
【００５４】
具体的には、相関算出部１４０は、各々のマイクロホン１１０の信号レベルに基づいて、各々の周波数帯域の信号レベルの比（相関値の一例）を算出する。本実施の形態における２つのマイクロホン１１０において、一方のマイクロホン１１０の信号レベルをＡ１（ｉ）、他方のマイクロホン１１０の信号レベルをＡ２（ｉ）とすると、相関値Ｒ（ｉ）を式２により指数計算を行う。
【００５５】
【数２】
2018142949.tif 000004
【００５６】
相関算出部１４０には、判定部１５０が電気的に接続されている。相関算出部１４０は、式２で算出した周波数帯域に応じた相関値を判定部１５０に出力する。第１閾値は、音孔１０３が塞がれている状態の信号レベルの比と、音孔１０３が塞がれていない状態の信号レベルの比とに基づいて、両者を区別できるように設定される。第１閾値は、例えば、後述する図７および図９の結果に基づいて設定する。
【００５７】
判定部１５０は、複数の相関値に基づいて複数のマイクロホン１１０のうちの少なくとも１つのマイクロホン１１０が遮音されているか否かを判定する。具体的には、判定部１５０は、周波数帯域ごとの相関値の少なくとも１つが第１閾値を超える場合に、マイクロホン１１０が遮音されていると判定する。つまり、判定部１５０は、撮像装置１における筐体の音孔１０３が塞がれていると判定する。一方、判定部１５０は、周波数帯域ごとの相関値の少なくとも１つが第１閾値以下である場合に、マイクロホン１１０が遮音されていないと判定する。この場合は、後述する表示部７を介してアラートを表示させたりしなくてもよい。
【００５８】
判定部１５０は、１ＫＨｚ以下の周波数帯域でのみ相関値が第１閾値を超えると判定した場合に、マイクロホン１１０が遮音されていないと判定する。これは、音孔１０３が塞がれていると誤判定してしまうことを防ぐためである。
【００５９】
一方、１ＫＨｚを超える周波数帯域では風、振動等の影響を受けにくいため、判定部１５０は、１ＫＨｚを超える周波数帯域の相関値等を含む判定結果を制御部１１に出力する。
【００６０】
本体部３は、収音装置１００の他に、表示部７、制御部１１、撮像部１３、電源部１５等を収容している。本体部３は、扁平な直方体状をなしている。
【００６１】
表示部７は、液晶ディスプレイ、ＬＥＤディスプレイ、有機ＥＬディスプレイ等のモニタであり、本体部３の背面に配置されている。表示部７は、判定部１５０が判定した判定結果に基づいて、判定した内容を表示する。
【００６２】
制御部１１は、収音装置１００の判定部１５０が判定した判定結果を表示部７に出力する。つまり、制御部１１は、判定部１５０からマイクロホン１１０が遮音されていることを示す情報を受信し、表示部７に遮音されていることを示す情報を表示させる。具体的には、マイクロホン１１０が遮音されていると、判定部１５０が判定し場合、制御部１１は、表示部７にマイクロホン１１０が遮音されていることを示すアラートを、表示部７に表示させる。なお、制御部１１は、通知部にマイクロホン１１０が遮音されていることを示すアラートを、スピーカ等の通知部を介して出力させてもよい。使用者は、表示部７および通知部を介して、マイクロホン１１０が遮音されていることを認識する。
【００６３】
電源部１５は、一次電池であることが好ましいが、パーソナルコンピュータ等の外部の電源から供給される二次電池であってもよく、外部の系統電力でもよい。電源部１５は、制御部１１に接続され、制御部１１を介して表示部７、通知部等の各部に電力を供給する。
【００６４】
［動作］
本実施の形態における収音装置１００および撮像装置１の動作、収音方法、収音方法をコンピュータに実行させるプログラムについて、図３を用いて説明する。
【００６５】
図３は、実施の形態に係る撮像装置１の動作を示すフローチャートである。
【００６６】
まず、マイクロホン１１０は、外部の音、ノイズ源等を集音してマイクロホン信号を帯域分割部１２０に出力する（Ｓ１）。
【００６７】
次に、帯域分割部１２０は、マイクロホン１１０から入力されたマイクロホン信号を複数の周波数帯域の信号に分割する。そして、帯域分割部１２０は、周波数帯域ごとに分割した複数のマイクロホン信号を信号レベル算出部１３０に出力する（Ｓ２）。
【００６８】
次に、信号レベル算出部１３０は、周波数帯域ごとに分割したマイクロホン信号から、周波数帯域ごとに信号レベルを算出する。そして、信号レベル算出部１３０は、算出した各々の信号レベルを相関算出部１４０に出力する（Ｓ３）。
【００６９】
なお、ステップＳ１〜ステップＳ３において、一方のマイクロホン１１０、一方の帯域分割部１２０および一方の信号レベル算出部１３０についての動作を説明したが、他方のマイクロホン１１０、他方の帯域分割部１２０および他方の信号レベル算出部１３０についても同様であるため説明を省略する。相関算出部１４０には、一方のマイクロホン１１０等を介した複数の信号レベルと、他方のマイクロホン１１０等を介した複数の信号レベルとが入力される。
【００７０】
次に、相関算出部１４０は、一方の信号レベル算出部１３０が算出した複数の信号レベルと、他の信号レベル算出部１３０が算出した複数の信号レベルとに基づき、２つのマイクロホン１１０、１１０間の相関値を同じ周波数帯域ごとに算出する。具体的には、一方の信号レベル算出部１３０が算出した第１周波数帯域に対応する第１の信号レベルと、他方の信号レベル算出部１３０が算出した第１周波数帯域に対応する第１の信号レベルとの相関値を、式２を用いて算出する。以下、他の周波数帯域に対応する他の信号レベルにおいても同様に算出する。そして、相関算出部１４０は、算出した相関値を判定部１５０に出力する（Ｓ４）。
【００７１】
次に、判定部１５０は、１ＫＨｚ以下の周波数帯域でのみ相関値が第１閾値を超えているか否かを判定する（Ｓ５）。
【００７２】
次に、相関値の１ＫＨｚ以下の周波数帯域で第１閾値を超えていると、判定部１５０が判定した場合（Ｓ５ではＹＥＳ）に、判定部１５０は、マイクロホン１１０が遮音されていないと判定する（Ｓ６）。これは、風、振動等に起因して１ＫＨｚ以下の周波数帯域でのみ相関値が第１閾値を超えた場合に、音孔１０３が塞がれていると誤判定してしまうことを防ぐため、判定部１５０は、風、振動等が発生していると判断し、マイクロホン１１０が遮音されていないと判定する。
【００７３】
一方、相関値の１ＫＨｚ以下の周波数帯域で第１閾値以下であると、判定部１５０が判定した場合（Ｓ５ではＮＯ）に、ステップＳ７に進む。
【００７４】
次に、判定部１５０は、周波数帯域ごとの相関値の少なくとも１つが第１閾値を超えているか否かを判定する（Ｓ７）。
【００７５】
次に、周波数帯域ごとの相関値の少なくとも１つが第１閾値を超えていることを、判定部１５０が判定した場合（Ｓ７ではＹＥＳ）、判定部１５０は、第１閾値を超えていることを示す信号を制御部１１に出力する（Ｓ８）。つまり、ステップＳ６でマイクロホン１１０が遮音されていないと判定しても、１ＫＨｚよりも大きい周波数帯域では風、振動等の影響を無視することができるため、ステップＳ７がＹＥＳであれば、判定部１５０は、マイクロホン１１０が遮音されていると判定する。
【００７６】
次に、制御部１１は、判定部１５０から第１閾値を超えていることを示す信号を受信すると、音孔１０３が塞がれていることを示すアラートを、表示部７等を介して出力する（Ｓ９）。そして、このフローはステップＳ１に戻る。
【００７７】
一方、周波数帯域ごとの相関値の少なくとも１つが第１閾値以下であると、判定部１５０が判定した場合（Ｓ７ではＮＯ）、このフローはステップＳ１に戻る。
【００７８】
［実験結果］
撮像装置１の収音装置１００を用いた実験結果について説明する。
【００７９】
本実験では、収音装置１００内にノイズ源がある場合とない場合とにおいて、撮像装置１における筐体の音孔１０３を塞いでいない状態、一方の音孔１０３を塞いだ状態、両方の音孔１０３を塞いだ状態について実験を行った。本実験では、本実施の形態のマイクロホン１１０と同様のマイクロホンＡ、マイクロホンＢを用いて、マイクロホンＡ、マイクロホンＢから約５０ｃｍ離れた距離に音源を置いた状態で行った。
【００８０】
図４は、収音装置１００内にノイズ源がない場合における入力信号レベルと出力信号レベルとの関係を示すグラフである。図５は、収音装置１００内にノイズ源がある場合における入力信号レベルと出力信号レベルとの関係を示すグラフである。
【００８１】
図４の（ａ）は、収音装置１００内にノイズ源がない場合において、音孔１０３が塞がれていない状態における、入力信号レベルおよび出力信号レベルの関係を示すグラフである。図４の（ａ）に示すように、撮像装置１における筐体の音孔１０３が塞がれていない場合、音波がマイクロホンＡおよびマイクロホンＢの振動板へ直接伝わるため、マイクロホンＡおよびマイクロホンＢでは、入力信号レベルに対して線形な出力信号レベルが得られた。
【００８２】
図４の（ｂ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の一方を塞いだ状態における、入力信号レベルおよび出力信号レベルの関係を示すグラフである。ここでは、マイクロホンＢに対応する音孔１０３を塞いだ。マイクロホンＡは、音波が振動板へ直接伝わるため、入力信号レベルに対し、線形な出力信号レベルが得られた。一方、マイクロホンＢは、音孔１０３が塞がれるため、音波が振動板へ届き難くなり、入力信号レベルに対し、大きく出力信号レベルが低下した。
【００８３】
図４の（ｃ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の両方を塞いだ状態における、入力信号レベルおよび出力信号レベルの関係を示すグラフである。図４の（ｃ）では、マイクロホンＡおよびマイクロホンＢに対応する各々の音孔１０３が塞がれるため、音波が振動板へ届き難くなり、入力信号レベルに対し、大きく出力信号レベルが低下した。
【００８４】
なお、マイクロホンＡおよびマイクロホンＢにおいて、図４の（ａ）および図４の（ｃ）のグラフに違いが見られるが、マイクロホンのバラツキによるものであると考えられる。
【００８５】
図５の（ａ）は、収音装置１００内にノイズ源がある場合において、音孔１０３を塞いでいない状態における、入力信号レベルおよび出力信号レベルの関係を示すグラフである。図５の（ａ）でも図４の（ａ）と同様の結果を得た。
【００８６】
これは、収音装置１００内にノイズ源がある場合、ノイズ源から音波として周り込んでマイクロホンＡおよびマイクロホンＢで収音される場合と、収音装置１００の筐体等を振動として伝わってマイクロホンＡおよびマイクロホンＢで収音される場合とがある。収音装置１００内にノイズ源が存在したとしても、ノイズ自体の信号レベルは周囲の音に比べて小さいため、音孔１０３が塞がれていない場合はさほど大きな影響はない。このため、音孔１０３が塞がれていない場合に、収音装置１００内のノイズ源の影響は小さく、周囲の音波がマイクロホンＡおよびマイクロホンＢの振動板へ直接伝わるため、入力信号レベルに対し、線形な出力特性が得られると考えられる。
【００８７】
図５の（ｂ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の一方を塞いだ状態における、入力信号レベルおよび出力信号レベルの関係を示すグラフである。ここでは、マイクロホンＢに対応する音孔１０３を塞いだ。図５の（ｂ）では、マイクロホンＢの出力信号レベルが図４の（ｂ）の場合よりも大きくなっていることが判る。
【００８８】
これは、図５の（ａ）と異なり、一方でも音孔１０３が塞がれた場合、収音装置１００内のノイズ源の影響を無視することができなくなることにあり、収音装置１００の筐体等を振動として伝わるものが主要因と考えられる。一方の音孔１０３が塞がれると、収音装置１００の筐体等の振動により音孔１０３近くの筐体壁面に押される空気が音孔１０３から抜けることができなくなり、その空気が振動板を揺らす。このため、収音装置１００内にノイズ源がある場合は、収音装置１００の外部に音がない場合でも出力信号レベルが増加してしまうと考えられる。また、周囲の音は、塞がれた一方の音孔１０３からマイクロホンＢの振動板へ直接伝わらなくなる。このことから、一方の音孔１０３が塞がれた場合は、収音装置１００内のノイズ源に起因した音が支配的となり、一定の出力レベルになると考えられる。
【００８９】
図５の（ｃ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の両方を塞いだ状態における、入力信号レベルおよび出力信号レベルの関係を示すグラフである。
【００９０】
両方の音孔１０３が塞がれると、収音装置１００内のノイズ源に起因した音が支配的となるため、マイクロホンＡおよびマイクロホンＢが同等の出力信号レベルとなった。また、両方の音孔１０３が塞がれた場合でのマイクロホンＡおよびマイクロホンＢは、図５の（ｂ）のマイクロホンＢの場合と同様の出力信号レベルとなった。
【００９１】
図４および図５の実験結果から、収音装置１００内のノイズ源の有無によりマイクロホンＡおよびマイクロホンＢの信号レベルの挙動が大きく異なることが分かった。このため、従来のように、一方でも音孔１０３が塞がれると周囲の音が取れなくなるため、信号レベルが低下するといった点に着目しただけでは判別することができない。
【００９２】
そこで、この収音装置１００では、複数のマイクロホン１１０間の相関値を周波数帯域ごとに算出し、その相関値が第１閾値を超える場合に、複数のマイクロホン１１０のうちの少なくとも１つのマイクロホン１１０が遮音されているか否かを判定する。その結果、マイクロホン１１０が遮音されているか否かを正しく判定することができる。
【００９３】
このことを踏まえて、収音装置１００内にノイズ源がある場合とノイズ源がない場合とで出力信号レベルが逆転することを考慮し、マイクロホンの位置付近で約４０（ｄＢＳＰＬ）および約６５（ｄＢＳＰＬ）となるように拡声した場合を対象に、信号レベル算出部１３０が出力した信号レベルを、図６〜図９を用いて説明する。
【００９４】
図６は、拡声レベルが４０（ｄＢＳＰＬ）の場合における信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図６では信号レベルをＭａｇｎｉｔｕｄｅ（ｄＢ）で示している。
【００９５】
図６の（ａ）は、収音装置１００内にノイズ源がない場合において、音孔１０３が塞がれていない状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図６の（ｂ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の一方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図６の（ｃ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の両方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図６の（ｄ）は、収音装置１００内にノイズ源がある場合において、音孔１０３を塞いでいない状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図６の（ｅ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の一方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図６の（ｆ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の両方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。
【００９６】
図７は、拡声レベルが４０（ｄＢＳＰＬ）の場合における相関算出部１４０が出力した相関値（信号レベルの大きさ）と周波数との関係を示すグラフである。図７では信号レベルをＭａｇｎｉｔｕｄｅ（ｄＢ）で示している。図７の（ａ）〜図７の（ｆ）は、図６の（ａ）〜図６の（ｆ）におけるマイクロホンＡの信号レベルとマイクロホンＢの信号レベルとのレベル比から、式２を用いて各々の相関値を算出したグラフである。
【００９７】
図７の（ａ）は、収音装置１００内にノイズ源がない場合において、音孔１０３が塞がれていない状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図７の（ｂ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の一方を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図７の（ｃ）は、収音装置１００内にノイズ源がない場合において、収音装置１００の両方の音孔１０３を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図７の（ｄ）は、収音装置１００内にノイズ源がある場合において、音孔１０３を塞いでいない状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図７の（ｅ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の一方を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図７の（ｆ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の両方を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。
【００９８】
図８は、拡声レベルが６５（ｄＢＳＰＬ）の場合における信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図８では信号レベルをＭａｇｎｉｔｕｄｅ（ｄＢ）で示している。
【００９９】
図８の（ａ）は、収音装置１００内にノイズ源がない場合において、音孔１０３が塞がれていない状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図８の（ｂ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の一方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図８の（ｃ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の両方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図８の（ｄ）は、収音装置１００内にノイズ源がある場合において、音孔１０３を塞いでいない状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図８の（ｅ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の一方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。図８の（ｆ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の両方を塞いだ状態における、信号レベル算出部１３０が出力した信号レベルと周波数との関係を示すグラフである。
【０１００】
図９は、拡声レベルが６５（ｄＢＳＰＬ）の場合における相関算出部１４０が出力した相関値（信号レベルの大きさ）と周波数との関係を示すグラフである。図９では信号レベルをＭａｇｎｉｔｕｄｅ（ｄＢ）で示している。
【０１０１】
図９の（ａ）は、収音装置１００内にノイズ源がない場合において、音孔１０３が塞がれていない状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図９の（ｂ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の一方を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図９の（ｃ）は、収音装置１００内にノイズ源がない場合において、音孔１０３の両方を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図９の（ｄ）は、収音装置１００内にノイズ源がある場合において、音孔１０３を塞いでいない状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図９の（ｅ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の一方を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。図９の（ｆ）は、収音装置１００内にノイズ源がある場合において、音孔１０３の両方を塞いだ状態における、相関算出部１４０が出力した相関値と周波数との関係を示すグラフである。
【０１０２】
図７の（ａ）、図７の（ｄ）、図９の（ａ）、図９の（ｄ）のようにマイクロホンＡおよびマイクロホンＢの音孔１０３を塞がない状態では、いずれの周波数でも相関値が０（ｄＢ）±３（ｄＢ）の範囲であり、相関値に大きな差異がほぼないことが分かった。
【０１０３】
一方、図７の（ｂ）、図７の（ｅ）、図９の（ｂ）、図９の（ｅ）のようにマイクロホンＢに対応する音孔１０３を塞いだ状態では、周波数が大きくなるに従い相関値が上昇するという結果を得た。図７の（ｂ）、図７の（ｅ）、図９の（ｂ）、図９の（ｅ）では、周波数により様々な値をとり、図７の（ａ）、図７の（ｄ）、図９の（ａ）、図９の（ｄ）のように、相関値が０（ｄＢ）付近の値をほとんど取らないことが判った。
【０１０４】
また、図７の（ｃ）、図７の（ｆ）、図９の（ｃ）、図９の（ｆ）のように、両方の音孔１０３を塞いだ状態では、相関値が０（ｄＢ）に近い値をとる周波数帯域があるものの、図７の（ａ）、図７の（ｄ）、図９の（ａ）、図９の（ｄ）と比べると、周波数帯域に大きな変化があることを確認できた。
【０１０５】
つまり、図７の（ｂ）、図７の（ｅ）、図９の（ｂ）、図９の（ｅ）に示す信号レベルの大きさが０（ｄＢ）近傍では、図７の（ａ）、図７の（ｃ）と比べて信号レベルの大きさに差異が表れていないが、他の周波数帯域では、信号レベルの大きさに差異が表れている。このため、周波数特性の変化を分析できるように、マイクロホンの信号を周波数帯域ごとに分割することとした。
【０１０６】
以上の実験結果から、判定部１５０は、例えば、相関値がどの周波数帯域においても０（ｄＢ）±３（ｄＢ）近傍の場合に、音孔１０３が塞がれていないと判定してもよく、相関値が０（ｄＢ）±３（ｄＢ）を超える場合に、音孔１０３が塞がれていると判定してもよい。この場合、−３（ｄＢ）〜３（ｄＢ）が第１閾値に相当する。
【０１０７】
［作用効果］
次に、本実施の形態おける収音装置１００、収音方法、収音方法を実行するプログラムおよび収音装置１００を用いた撮像装置１の作用効果について説明する。
【０１０８】
上述したように、本実施の形態に係る収音装置１００は、外部の音と、当該収音装置１００内のノイズ源の音とを複数のマイクロホン１１０が収音し、各々のマイクロホン１１０がマイクロホン信号を出力する。また、収音装置１００は、複数のマイクロホン１１０に一対一で対応し、マイクロホン信号を互いに異なる周波数帯域の信号に分割する複数の帯域分割部１２０（分割部）と、複数の帯域分割部１２０に一対一で対応し、周波数帯域ごとに信号レベルを算出する複数の信号レベル算出部１３０と、各々の信号レベルに基づき、同じ周波数帯域ごとに複数のマイクロホン１１０間の相関値を算出する相関算出部１４０と、複数の相関値に基づいて複数のマイクロホン１１０のうちの少なくとも１つのマイクロホン１１０が遮音されているか否かを判定する判定部１５０とを備える。
【０１０９】
これによれば、帯域分割部１２０がマイクロホン信号を複数の周波数帯域の信号に分割し、信号レベル算出部１３０が周波数帯域ごとに信号レベルを算出する。本実施の形態のように、２つの信号レベル算出部１３０等を例にあげると、相関算出部１４０は、一方の信号レベル算出部１３０が算出した各々の信号レベルと、他の信号レベル算出部１３０が算出した各々の信号レベルとに基づき、同じ周波数帯域ごとに２つのマイクロホン１１０間の相関値を算出する。このため、判定部１５０が相関値に基づき、マイクロホン１１０が遮音されているか否かを判定することができる。
【０１１０】
したがって、マイクロホン１１０が遮音されているか否かを正しく判定することができる。
【０１１１】
また、本実施の形態に係る収音方法は、外部の音と、収音装置１００内のノイズ源からの音とを複数のマイクロホン１１０が収音し、各々のマイクロホン１１０がマイクロホン信号を出力する。また、収音方法では、マイクロホン信号を互いに異なる周波数帯域の信号に分割する。さらに、収音方法では、周波数帯域ごとに信号レベルを算出する。また、収音方法では、各々の信号レベルに基づき、同じ周波数帯域ごとに複数のマイクロホン１１０間の相関値を算出する。そして、収音方法では、複数の相関値に基づいて複数のマイクロホン１１０のうちの少なくとも１つのマイクロホン１１０が遮音されているか否かを判定する。
【０１１２】
この収音方法においても、収音装置１００と同様の作用効果を奏する。
【０１１３】
また、本実施の形態に係るプログラムは、収音方法をコンピュータに実行させる。
【０１１４】
この収音方法をコンピュータで実行可能なプログラムにおいても、収音装置１００と同様の作用効果を奏する。
【０１１５】
また、本実施の形態に係る撮像装置１は、収音装置１００と、表示部７と、判定部１５０からマイクロホン１１０が遮音されていることを示す情報を受信し、表示部７に遮音されていることを示す情報を表示させる制御部１１とを備える。
【０１１６】
これにより、制御部１１が判定部１５０からマイクロホン１１０が遮音されていることを示す情報を受信し、制御部１１が表示部７に遮音されていることを示す情報を表示させるため、使用者は、マイクロホン１１０が遮音されていることを認知することができる。
【０１１７】
また、本実施の形態に係る収音装置１００において、判定部１５０は、複数の相関値の少なくとも１つが第１閾値を超える場合に、マイクロホン１１０が遮音されていると判定する。
【０１１８】
これによれば、各々の相関値の少なくとも１つが第１閾値を超える場合に、双方のマイクロホン１１０が遮音されていると、判定部１５０が判定するため、マイクロホン１１０が遮音されていない場合と、全てのマイクロホン１１０が遮音されている場合との違いを、より正確に区別することができる。
【０１１９】
また、本実施の形態に係る収音装置１００において、帯域分割部１２０は、１ＫＨｚ以下の周波数帯域の信号と、１ＫＨｚを超える周波数帯域の信号とに分割する。そして、判定部１５０は、１ＫＨｚ以下の周波数帯域でのみ相関値が第１閾値を超えると判定した場合に、マイクロホン１１０が遮音されていないと判定する。
【０１２０】
これによれば、帯域分割部１２０が１ＫＨｚの周波数帯域で分割し、１ＫＨｚ以下の周波数帯域でのみ第１閾値を超えると判定部１５０が判定した場合に、マイクロホン１１０が遮音されていないと判定するため、風、振動等に起因する音が存在していても、よりマイクロホン１１０が遮音されているか否かを正しく判定することができる。
【０１２１】
（実施の形態の変形例１）
本変形例では、撮像装置２００について図１０を用いて説明する。
【０１２２】
図１０は、実施の形態の変形例１に係る撮像装置２００を示すブロック図である。
【０１２３】
本変形例では、実施の形態の帯域分割部１２０の代わりに周波数変換部２２０を用いている点で実施の形態と相違する。
【０１２４】
本変形例における他の構成は、実施の形態と同様であり、特に言及する場合を除き、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
【０１２５】
図１０に示すように、周波数変換部２２０（分割部の一例）は、フレーム（信号の一例）単位で、マイクロホン信号を時間領域の信号から周波数領域の信号に変換する装置である。例えば周波数変換部２２０は、フーリエ変換等の周波数変換手法を用いて、マイクロホン信号を周波数信号に周波数変換する。具体的には、周波数変換部２２０は、マイクロホン１１０から入力されたマイクロホン信号を所定時間のフレーム単位で分割し、フレームの単位ごとに、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）を施して信号スペクトルを生成し、信号スペクトルから複素スペクトルを得る。複素スペクトルは、周波数ごとの音声スペクトルである。
【０１２６】
周波数変換部２２０による周波数変換後の周波数領域が複素スペクトルの場合、各周波数の観測信号をＸ（ω、ｋ）（ωは周波数、ｋはフレーム番号）とし、フレーム数をＭとすると、信号レベルＰ（ω）は式３のように算出される。
【０１２７】
【数３】
2018142949.tif 000005
【０１２８】
なお、式３は、絶対値ではなく観測信号Ｘ（ω、ｋ）の２乗平均で求めてもよい。また、平均値の算出には移動平均ではなく、指数移動平均等、他の平均値算出方法を利用してもよい。指数移動平均を用いた場合、演算量を軽減することができるため、メモリ等の使用量を減らすことができる。
【０１２９】
（実施の形態の変形例２）
本変形例では、収音装置１００の相関算出部１４０について説明する。
【０１３０】
本変形例では、さらに、相関算出部１４０が相関値から周波数帯域ごとに分散値を算出する点で、実施の形態と相違する。
【０１３１】
本変形例における他の構成は、実施の形態と同様であり、特に言及する場合を除き、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
【０１３２】
相関算出部１４０は、一方の信号レベル算出部１３０が算出した各々の信号レベルと、他の信号レベル算出部１３０が算出した各々の信号レベルとのレベル比（相関値の一例）を、式２を用いて算出する。
【０１３３】
図２に示すように、相関算出部１４０は、周波数帯域ごとに相関算出部１４０が算出した相関値から各々の分散値Ｓ（ｘ）を算出する。分散値Ｓ（ｘ）は、相関値をＸとし、相関値の個数をＬとすると、式４のように算出される。
【０１３４】
【数４】
2018142949.tif 000006
【０１３５】
例えば、本変形例では、周波数帯域を８つに分割するため、相関値の個数Ｌ＝８となる。
【０１３６】
判定部１５０は、複数の相関値から算出した各々の分散値の少なくとも１つが第２閾値を超える場合に、マイクロホン１１０が遮音されていると判定する。第２閾値は、実施の形態の図７および図９の結果から式４を用いて分散値を算出して決定してもよい。
【０１３７】
［作用効果］
次に、本変形例おける収音装置１００、収音方法、収音方法を実行するプログラムおよび収音装置１００を用いた撮像装置１の作用効果について説明する。
【０１３８】
上述したように、本変形例に係る収音装置１００において、相関算出部１４０は、複数の相関値から周波数帯域ごとに分散値を算出する。そして、判定部１５０は、算出した分散値の少なくとも１つが第２閾値を超える場合に、マイクロホン１１０が遮音されていると判定する。
【０１３９】
これによれば、相関算出部１４０が複数の相関値から周波数帯域ごとに分散値を算出し、分散値の少なくとも１つが第２閾値を超える場合に、マイクロホンが遮音されていると判定するため、マイクロホン１１０が遮音されているか否かをより正しく判定することができる。
【０１４０】
本変形例における作用効果は、実施の形態と同様の作用効果であり、同一の作用効果については詳細な説明を省略する。
【０１４１】
（その他変形例）
以上、本開示について、実施の形態および実施の形態の変形例１、２に基づいて説明したが、本開示は、上記実施の形態および実施の形態の変形例１、２に限定されるものではない。以下のような場合も本開示に含まれる。
【０１４２】
例えば、上記実施の形態の変形例２において、一方の信号レベル算出部が算出した信号レベルと、他方の信号レベル算出部が算出した信号レベルとの差分を算出してもよい。具体的には、図６および図８に示すマイクロホンＡとマイクロホンＢとの差分を算出してもよい。この場合、算出した差分を正規化してもよい。そして、正規化された値に基づいて所定の閾値を設定し、所定の閾値を超えれば音孔が塞がれているか否かを、判定部が判定してもよい。
【０１４３】
また、上記実施の形態および実施の形態の変形例１、２において、判定部がマイクロホンの収音が遮音されているか否かの判定を行うが、判定部が単に周波数帯域ごとの相関値の少なくとも１つが第１閾値を超えているか否かの判定を行うだけで、判定部から相関値が第１閾値を超えていることを示す信号を制御部が得てから、制御部がマイクロホンの収音が遮音されているか否かの判定を行ってもよい。
【０１４４】
また、上記実施の形態および実施の形態の変形例１、２において、例えば、収音装置が３つのマイクロホン、３つの帯域分割部、３つの信号レベル算出部を有する場合では、第１の信号レベル算出部が算出した各々の信号レベルと、第２の信号レベル算出部が算出した各々の信号レベルと、第２の信号レベル算出部が算出した各々の信号レベルとが相関値算出部に入力される。この場合に、相関値算出部は、第１の信号レベル算出部が算出した各々の信号レベルと、第２の信号レベル算出部が算出した各々の信号レベルとから、同じ周波数帯域ごとに２つのマイクロホン間の相関値を算出する。また、この場合に、相関値算出部は、第１の信号レベル算出部が算出した各々の信号レベルと、第３の信号レベル算出部が算出した各々の信号レベルとから、同じ周波数帯域ごとに２つのマイクロホン間の相関値も算出する。このように収音装置では、マイクロホンが３個以上ある場合でも、複数のマイクロホン間の相関値を算出する。なお、ここでは、さらに、相関値算出部は、第２の信号レベル算出部が算出した各々の信号レベルと、第３の信号レベル算出部が算出した各々の信号レベルとから、同じ周波数帯域ごとに２つのマイクロホン間の相関値も算出してもよい。
【０１４５】
また、上記実施の形態および実施の形態の変形例１、２において、判定部は、例えば図７の（ｅ）のように、全ての周波数帯域の相関値に相関が無い場合に、音孔が塞がれていると判断してもよい。
【０１４６】
また、上記実施の形態および実施の形態の変形例１、２において、本開示は、撮像装置（ＤＳＣ）に限らず、移動体にも適用可能である。移動体が自動車の場合を例に挙げると、車体が収音装置の筐体に相当する。車体には、マイクロホン等の電装品が収納される。例えば、自動車が走行する際に生じる車体の外部から生じるロードノイズ、エンジンが駆動している場合に生じるエンジン音等が車室内に侵入してくる。このようなロードノイズ、エンジン音等は、車室に侵入する際、マイクロホン等の電装品が収納されている車体を伝搬する。このロードノイズ、エンジン音等が、筐体内部のノイズ源に相当する。また、自動車に搭載されているスピーカから音を出力している場合、この音もマイクロホン等の電装品が収納されている車体を伝搬する。このスピーカからの音も、筐体内部のノイズ源に相当する。このように、移動体を対象とした場合においても、音孔が塞がれる場合と同様の現象が発生する。
【０１４７】
また、上記実施の形態および実施の形態の変形例１、２において、各装置は、マイクロホンロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロホンロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１４８】
また、上記実施の形態および実施の形態の変形例１、２において、各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロホンロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロホンロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１４９】
また、上記実施の形態および実施の形態の変形例１、２において、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロホンロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロホンロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１５０】
また、上記実施の形態および実施の形態の変形例１、２において、本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１５１】
また、上記実施の形態および実施の形態の変形例１、２において、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１５２】
また、上記実施の形態および実施の形態の変形例１、２において、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１５３】
また、上記実施の形態および実施の形態の変形例１、２において、本開示は、マイクロホンロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロホンロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１５４】
また、上記実施の形態および実施の形態の変形例１、２において、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１５５】
その他、実施の形態および実施の形態の変形例１、２に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態および実施の形態の変形例１、２における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【産業上の利用可能性】
【０１５６】
本開示に係る収音装置、収音方法、プログラムおよび撮像装置は、携帯端末装置、撮像装置、録音装置、自動車等の移動体等に用いられる。
【符号の説明】
【０１５７】
１、２００  撮像装置
７  表示部
１１  制御部
１００  収音装置
１１０  マイクロホン
１２０  帯域分割部（分割部）
１３０  信号レベル算出部
１４０  相関算出部
１５０  判定部
２２０  周波数変換部（分割部）
【図１】
2018142949.tif 000007
【図２】
2018142949.tif 000008
【図３】
2018142949.tif 000009
【図４】
2018142949.tif 000010
【図５】
2018142949.tif 000011
【図６】
2018142949.tif 000012
【図７】
2018142949.tif 000013
【図８】
2018142949.tif 000014
【図９】
2018142949.tif 000015
【図１０】
2018142949.tif 000016