(57)【要約】      （修正有）【課題】撮像装置においてステレオ録音を行う場合のノイズ低減処理をより適切に行う。【解決手段】ノイズ低減装置は、可動部１１０と、複数の集音装置１３１と、前記複数の集音装置１３１によって集音された音の信号を基に、前記可動部１１０の動作ノイズを推定するノイズ推定部１３２，１３３と、前記ノイズ推定部によって推定された前記動作ノイズを基に、前記複数の集音装置１３１それぞれによって集音された音から共通して低減する共通低減ノイズを決定し、決定された前記共通低減ノイズを低減するノイズ低減処理部１３３と、を備える。【選択図】図２
2013250449.tif 000002
【特許請求の範囲】
【請求項１】
可動部と、
複数の集音装置と、
前記複数の集音装置によって集音された音の信号を基に、前記可動部の動作ノイズを推定するノイズ推定部と、
前記ノイズ推定部によって推定された前記動作ノイズを基に、前記複数の集音装置それぞれによって集音された音から共通して低減する共通低減ノイズを決定し、決定された前記共通低減ノイズを低減するノイズ低減処理部と、
を備えることを特徴とするノイズ低減装置。
【請求項２】
請求項１に記載のノイズ低減装置であって、
前記ノイズ低減処理部は、前記複数の集音装置によって集音された音の信号の大きさに応じて、前記複数の集音装置それぞれによって集音された音の信号を基に推定された前記動作ノイズのうち、最大の動作ノイズと、最小の動作ノイズと、最大の動作ノイズより小さく最小の動作ノイズより大きい値の動作ノイズとのいずれかを選択して、前記共通低減ノイズとすることを特徴とするノイズ低減装置。
【請求項３】
請求項１または２に記載のノイズ低減装置であって、
前記ノイズ推定部は、複数の周波数帯域毎に前記動作ノイズを推定し、
前記ノイズ低減処理部は、前記周波数帯域毎に前記共通低減ノイズを決定し、前記複数の集音装置それぞれによって集音された音から、前記周波数帯域毎に前記共通低減ノイズを低減すること、
を特徴とするノイズ低減装置。
【請求項４】
請求項３に記載のノイズ低減装置であって、
前記ノイズ低減処理部は、前記複数の周波数帯域のうちの一部において、前記共通低減ノイズを低減すること、
を特徴とするノイズ低減装置。
【請求項５】
請求項１から４のいずれか１項に記載のノイズ低減装置を備えた撮像装置。
【請求項６】
コンピュータに、
複数の集音装置によって集音された音の信号を基に、可動部の動作ノイズを推定するノイズ推定機能と、
前記ノイズ推定機能によって推定された前記動作ノイズを基に、前記複数の集音装置それぞれによって集音された音から共通して低減する共通低減ノイズを決定し、決定された前記共通低減ノイズを低減するノイズ低減処理機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ低減装置、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、動画と音声とを同時に記録する撮像装置において、ノイズ低減処理が可能な撮像装置が知られている。ノイズ低減処理では、レンズの機構音（ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）駆動音、ズーム音等）やＶＲ（Ｖｉｂｒａｔｉｏｎ  Ｒｅｄｕｃｔｉｏｎ）駆動音等のノイズが、動画撮影時に音声に混入することを抑制している。
このようなノイズ低減処理については、例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１６２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された技術においては、ステレオ録音における遠近感や音源の動き等を考慮したものとなっていないため、低減するノイズの左右比がノイズの推定誤差によって逆転した場合等には、ノイズ低減を行った部分と行わない部分とで音の左右比に不整合が生じてしまう可能性がある。
このように、従来の撮像装置においては、ステレオ録音を行う場合のノイズ低減処理を適切に行うことが困難である。
【０００５】
本発明の課題は、撮像装置においてステレオ録音を行う場合のノイズ低減処理をより適切に行うことである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、可動部（１１０）と、複数の集音装置（１３１Ｌ，１３１Ｒ）と、前記複数の集音装置（１３１Ｌ，１３１Ｒ）によって集音された音の信号を基に、前記可動部の動作ノイズを推定するノイズ推定部（１３２，１３３）と、前記ノイズ推定部（１３２，１３３）によって推定された前記動作ノイズを基に、前記複数の集音装置（１３１Ｌ，１３１Ｒ）それぞれによって集音された音から共通して低減する共通低減ノイズを決定し、決定された前記共通低減ノイズを低減するノイズ低減処理部（１３３）と、を備えることを特徴とするノイズ低減装置である。
請求項２に記載の発明は、請求項１に記載のノイズ低減装置であって、前記ノイズ低減処理部（１３３）は、前記複数の集音装置（１３１Ｌ，１３１Ｒ）によって集音された音の信号の大きさに応じて、前記複数の集音装置（１３１Ｌ，１３１Ｒ）それぞれによって集音された音の信号を基に推定された前記動作ノイズのうち、最大の動作ノイズと、最小の動作ノイズと、最大の動作ノイズより小さく最小の動作ノイズより大きい値の動作ノイズとのいずれかを選択して、前記共通低減ノイズとすることを特徴とするノイズ低減装置である。
請求項３に記載の発明は、請求項１または２に記載のノイズ低減装置であって、前記ノイズ推定部（１３２，１３３）は、複数の周波数帯域毎に前記動作ノイズを推定し、前記ノイズ低減処理部（１３３）は、前記周波数帯域毎に前記共通低減ノイズを決定し、前記複数の集音装置（１３１Ｌ，１３１Ｒ）それぞれによって集音された音から、前記周波数帯域毎に前記共通低減ノイズを低減すること、を特徴とするノイズ低減装置である。
請求項４に記載の発明は、請求項３に記載のノイズ低減装置であって、前記ノイズ低減処理部（１３３）は、前記複数の周波数帯域のうちの一部において、前記共通低減ノイズを低減すること、を特徴とするノイズ低減装置である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載のノイズ低減装置を備えた撮像装置（１００）である。
請求項６に記載の発明は、コンピュータに、複数の集音装置によって集音された音の信号を基に、可動部の動作ノイズを推定するノイズ推定機能と、前記ノイズ推定機能によって推定された前記動作ノイズを基に、前記複数の集音装置それぞれによって集音された音から共通して低減する共通低減ノイズを決定し、決定された前記共通低減ノイズを低減するノイズ低減処理機能と、を実現させることを特徴とするプログラムである。
【発明の効果】
【０００８】
本発明によれば、撮像装置においてステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の外観構成を示す図である。
【図２】本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の構成を示すブロック図である。
【図３】音声波形を示す図である。
【図４】ノイズ低減条件テーブルの具体例を示す図である。
【図５】ノイズ低減処理動作のフローを示すフローチャートである。
【図６】スペクトル減算処理動作のフローを示すフローチャートである。
【図７】左右の音信号から低減するノイズを生成する概念を示す模式図である。
【図８】スペクトル減算処理動作において、左右の音信号のスペクトルに施される処理を示す模式図である。
【発明を実施するための形態】
【００１０】
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の外観構成を示す図であり、図１（ａ）は正面図、図１（ｂ）は上面図である。図２は、本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の構成を示すブロック図である。
【００１１】
図１及び図２に示すように、撮像装置１００は、レンズ鏡筒１１０と、レンズ鏡筒１１０を通過した被写体像を撮像してＡ／Ｄ変換すると共に、画像処理して画像データを生成する画像処理部１２０と、集音された音をＡ／Ｄ変換すると共に、ノイズ低減処理する音情報処理部１３０と、画像処理部１２０で得られた画像データ及び音情報処理部１３０で得られた音声信号を記録する記録部１４０と、ＣＰＵ１５０と、を備える。
【００１２】
レンズ鏡筒１１０は、焦点自動調整（以下、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）レンズ、手振れ補正（以下、ＶＲ（Ｖｉｂｒａｔｉｏｎ  Ｒｅｄｕｃｔｉｏｎ）レンズ、手振れ補正レンズ駆動用モータ、ズームレンズ、ズームレンズ駆動用モータ、ズームエンコーダ等を備えるＶＲユニット１１１と、ＡＦエンコーダ１１２と、ＡＦ駆動用モータ１１３と、を備える。
【００１３】
ＡＦエンコーダ１１２は、光学系のＡＦレンズの位置を検出してＣＰＵ１５０に出力する。ＡＦ駆動用モータ１１３には、ＡＦレンズの位置を制御するための駆動制御信号がＣＰＵ１５０から入力され、その駆動制御信号に応じて、ＡＦレンズの位置が制御される。
【００１４】
ＣＰＵ１５０は、設定された撮像条件（例えば、絞り値、露出値等）に応じてレンズ鏡筒１１０を制御する。ＣＰＵ１５０は、手振れ補正レンズ駆動用モータ、ズームレンズ駆動用モータ及びＡＦ駆動用モータ１１３を駆動する駆動制御信号を生成し、手振れ補正レンズ駆動用モータ、ズームレンズ駆動用モータ及びＡＦ駆動用モータ１１３に出力する。
【００１５】
音情報処理部１３０は、ステレオ録音の集音装置である左右のマイク１３１Ｌ，１３１Ｒと、マイク１３１Ｌ，１３１Ｒによって集音されＡ／Ｄ変換された音信号を処理する音信号処理部１３２と、ノイズ低減処理部１３３と、を備える。なお、本実施形態において、ノイズ低減処理部１３３は、左右のマイク１３１Ｌ，１３１Ｒから出力された音信号それぞれについて、個別にノイズ低減処理や動作ノイズの推定等の処理を行う。
【００１６】
マイク１３１Ｌ，１３１Ｒは、レンズ鏡筒１１０の光軸中心から距離ｄ１，ｄ２の位置にそれぞれ設置されている。そして、マイク１３１Ｌ，１３１Ｒは、撮像装置１００が録音するステレオ音として、それぞれ左音信号及び右音信号を音信号処理部１３２に出力する。
音信号処理部１３２は、マイク１３１Ｌ，１３１Ｒにより集音された音をＡ／Ｄ変換した音信号において、音声を表す信号（音声信号）が入力されている区間（音声区間）を検出する音声区間検出部１３４と、ＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生する区間を検出するノイズ区間検出部１３５と、を備える。
【００１７】
音声区間検出部１３４は、マイク１３１Ｌ，１３１Ｒにより集音された音をＡ／Ｄ変換した音信号から、音声信号の含まれる区間（音声区間）とそれ以外の区間（非音声区間）とを、自己相関関数のピーク値に基づいて判別する。音声区間検出部１３４による音声区間検出の概要を説明すると、次のとおりである。
【００１８】
図３は、音声の波形（音声波形）を示す図である。
なお、図３の矩形信号は、フレーム分割のための信号を表しており、図３に示す例では、一定の時間間隔でフレームが分割されている。
図３に示すように、音声波形の信号（音声信号）の場合、数十ミリ秒程度の時間内では、周期的な成分が支配的となる（図３中のＳａ部分の信号）。そして、撮像装置１００のＡＦ駆動用モータ１１３等が駆動されると、この音声に、動作ノイズが混入する（図３中のＳｂ部分）。
【００１９】
図３に示す音声信号の任意の一部を切り出して自己相関関数を求めると、この音声波形は、音声、即ち、声帯の振動数に対応した基本周波数及びそれの倍音に対応した周波数帯域にピークが集中する性質（調波性）を有している。そこで、この調波性を利用して自己相関関数のピーク値の大きさによって、音声であるか非音声であるかを区別することが可能である。
即ち、ＡＦノイズが発生し、音声とＡＦノイズとが発生している場合に、自己相関関数のピークに閾値を設定して、閾値以上の部分を識別することにより、出力波形に音声と一致した音声区間があることを検出できる。
【００２０】
ノイズ区間検出部１３５は、ＶＲユニット１１１及びＡＦ駆動用モータ１１３の動作情報から動作ノイズ（動作に伴う駆動音等のノイズ）の発生する区間を検出する。このノイズ区間検出部１３５では、ＶＲユニット１１１に対するＣＰＵ１５０からの駆動制御信号の出力や、ＣＰＵ１５０にＡＦ駆動用モータ１１３に対する駆動制御信号を出力するように指示するＡＦ駆動コマンド及びＡＦエンコーダ１１２からの出力といった動作情報を参照して、動作ノイズの発生区間を検出（推定）する。
【００２１】
ノイズ区間検出部１３５による動作ノイズの発生区間検出の詳細を説明すると、次のとおりである。なお、ここではＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生区間を検出する場合を例に挙げて説明する。
ＡＦ駆動コマンドの出力によりＡＦ駆動用モータ１１３が動作されると、ＡＦ駆動コマンドの出力時刻であるＡＦ駆動用モータ１１３の動作開始時刻ｔ１から動作終了時刻ｔ３まで連続して動作ノイズは発生される。マイク１３１Ｌ，１３１Ｒには、被写体の音声等の記録目的音に動作ノイズが重畳された音が集音され、その集音された音の信号がマイク１３１Ｌ，１３１Ｒから出力される。
【００２２】
このとき、ＡＦエンコーダ１１２からは、ＡＦ駆動系のギア列で起きるバックラッシュ等の影響でＡＦ駆動用モータ１１３の動作開始時刻ｔ１よりも遅れた時刻ｔ２からＡＦレンズの位置の検出結果が出力されることがある。そこで、ノイズ区間検出部１３５は、ＡＦ駆動コマンドの出力時刻ｔ１からＡＦエンコーダ１１２の出力停止ｔ３までを動作ノイズの発生区間として検出し、それ以外を非ノイズ区間として検出する。
【００２３】
ノイズ低減処理部１３３は、各種動作ノイズのうち、ＡＦ動作開始時及びＡＦ動作終了時に発生する衝撃音ノイズを低減処理する。
具体的には、ノイズ低減処理部１３３は、動作ノイズ発生前の区間に設定した窓ｘの第１周波数スペクトルと、動作ノイズ発生後の区間に設定した窓ｙの第２周波数スペクトルと、を取得する。取得した第１周波数スペクトルと第２周波数スペクトルとを比較し、比較の結果、第２周波数スペクトルが第１周波数スペクトルより大きい場合、第２周波数スペクトルを第１周波数スペクトルに置き換えることにより、第１のノイズの低減処理を行う。なお、本実施形態において、スペクトルとは、周波数軸における各周波数成分の大きさを表す。
【００２４】
ここで、音声区間検出部１３４により音声区間であると検出された場合、所定の周波数（例えば、４０００Ｈｚ）までのスペクトルは置き換えずに保存し、また、非音声区間であると検出された場合、それよりも小さい所定の周波数（例えば、５００Ｈｚ）までのスペクトルは置き換えずに保存する。即ち、音声区間と検出された場合の保存する周波数の上限を、例えば、４０００Ｈｚとし、非音声区間と検出された場合の保存する周波数の上限を、例えば、５００Ｈｚとすることにより、音声区間であると検出された場合、非音声区間であると検出された場合よりも弱い第１の衝撃音ノイズ低減処理を行う。
なお、本実施形態において、第１の衝撃音ノイズ低減処理を行うことなく、以降の処理を行うことも可能である。
【００２５】
上記した構成の他に、音情報処理部１３０には、マイク１３１Ｌ，１３１Ｒから出力される音信号を予め決められた区間毎に分割して窓関数で重み付けすると共に、この区間毎に抽出した音のデータ（音データ）をフーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）して周波数領域に変換する処理部を有する。また、ＦＦＴ処理により周波数領域の振幅情報と位相情報とに分けられ、周波数領域の振幅情報を利用してノイズ低減処理（スペクトル減算処理）が行われたスペクトルに対して、逆フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ  Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行うことにより、ノイズ低減処理後のスペクトルを時間領域に変換する処理部を有する。これら処理部については、図示を省略する。
【００２６】
また、ノイズ低減処理部１３３は、ノイズ低減条件テーブルを記憶するノイズ低減条件テーブル記憶部１３３ａを有している。
図４は、ノイズ低減条件テーブルの具体例を示す図である。
図４に示すように、ノイズ低減条件テーブルには、左右の音信号の大きさ（スペクトルの大きさ）の合計値と、左右の音信号から低減する動作ノイズの具体的内容とが対応付けて記憶されている。
【００２７】
例えば、ノイズ低減条件テーブルには、スペクトルの振幅ＳＡ１，ＳＡ２を閾値として、大音量（スペクトルの振幅ＳＡ１より大）、中音量（スペクトルの振幅ＳＡ２以上ＳＡ１以下）、小音量（スペクトルの振幅ＳＡ２未満）の３つの範囲の音信号の大きさが定義されている。そして、これら３つの各範囲の音信号の大きさに対し、大音量の場合には、左右の音信号から推定された各動作ノイズのうち小さい方、中音量の場合には、左右の音信号から推定された各動作ノイズの中間の値（即ち、大きい方の動作ノイズより小さく、小さい方の動作ノイズより大きい値。ここでは平均値とする。）、小音量の場合には、左右の音信号から推定された各動作ノイズのうち大きい方、を左右の音信号から共通して低減する動作ノイズ（共通低減ノイズ）として採用することが定義されている。
【００２８】
そして、ノイズ低減処理部１３３は、音声区間検出部１３４において非音声区間であると検出されて強い衝撃音ノイズ低減処理が行われた場合の周波数スペクトルからノイズを推定し、推定ノイズを更新すると共に、その推定ノイズを用いて、第１の衝撃音ノイズ低減処理が行われた周波数スペクトルから減算して周波数スペクトルを生成するスペクトル減算処理（第２のノイズ低減処理）を行う。このとき、ノイズ低減処理部１３３は、左右のマイク１３１Ｌ，１３１Ｒで集音した音の信号それぞれを基にノイズ推定を行い、後述するように、ノイズ低減条件テーブルを参照して、左右の音信号の大きさの合計値（即ち、周囲の音の大きさ）に応じた共通低減ノイズの具体的内容を決定する。そして、ノイズ低減処理部１３３は、決定した共通低減ノイズのスペクトルを左右の音信号のスペクトルから減算し、第２のノイズ低減処理を行う。
【００２９】
即ち、本実施形態における第２のノイズ低減処理では、左右の音信号から推定した動作ノイズそれぞれを基に、周囲の音の大きさに応じて、推定した左右の動作ノイズのうち小さい方（周囲の音が大きい場合）、推定した左右の動作ノイズのうち大きい方（周囲の音が小さい場合）、推定した左右の動作ノイズの平均値（周囲の音が中程度の場合）を左右の音信号から共通して低減する。これにより、左右の音信号のスペクトルから、共通する推定ノイズ（共通低減ノイズ）のスペクトルが減算されることとなるため、ノイズ低減後の音信号の左右比が、ノイズ低減前の音信号の左右比と逆転する事態を防止できる。したがって、ステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。
【００３０】
また、ノイズ低減処理部１３３は、第２のノイズ低減処理を行う場合、周波数帯域毎に、左右の音信号の大きさの合計値を算出し、その大きさに応じて、左右の音信号から低減するノイズの具体的内容を決定する。
例えば、周波数の低い順に、周波数帯域Ｆ１〜Ｆ５が定義され、それぞれの周波数帯域毎に左右の音信号のスペクトルが算出されている場合、ノイズ低減処理部１３３は、周波数帯域Ｆ１では、左右の音信号の大きさの合計値が小音量であると判定して左右の音信号から推定された動作ノイズのうち大きい方、周波数帯域Ｆ２，Ｆ４では、左右の音信号の大きさの合計値が大音量であると判定して左右の音信号から推定された動作ノイズのうち小さい方、周波数帯域Ｆ３，Ｆ５では、左右の音信号の大きさの合計値が中音量であると判定して左右の音信号から推定された動作ノイズのうち大きい方、といった処理を行う。
これにより、周波数帯域毎の周囲の音の大きさに応じて、左右の推定ノイズを基に決定した適切な量のノイズを低減できるため、ステレオ録音を行う場合に、より高精度なノイズ低減処理を行うことが可能となる。
【００３１】
さらに、ノイズ低減処理部１３３は、第２のノイズ低減処理（スペクトル減算処理）により、スペクトルが著しく減少した場合やスペクトルが消失した場合においてスペクトルを補正するフロアリング機能を有する。このフロアリングでは、ノイズ区間検出部１３５により非ノイズ区間であると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音信号を基に生成されたフロアリングスペクトルと第２のノイズ低減処理において減算された後のスペクトルとを比較し、減算後のスペクトルの振幅がフロアリングスペクトルの振幅を下回っている（スペクトル強度が小さい）場合、フロアリングスペクトルを採用したスペクトルを生成し、これをＩＦＦＴ処理する。
ただし、減算後のスペクトルの振幅がフロアリングスペクトルの振幅を上回っている（スペクトル強度が大きい）場合は、フロアリング処理を行っても良いし、また、行わなくても良い。
【００３２】
また、フロアリング機能に用いるフロアリングスペクトルは、ノイズ区間検出部１３５により非ノイズ区間であると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音信号を用いて更新する。これにより、フロアリングスペクトルには、動作ノイズスペクトル、音声スペクトルのいずれも含まず、背景音スペクトルのみが含まれており、フロアリング処理時に音声スペクトルが付加され、ノイズ低減処理後の音信号が本来ない音声の信号を含むことがないようにしている。
【００３３】
次に、本実施形態の撮像装置１００におけるノイズ低減処理の動作（ノイズ低減方法）を、図面に基づいて説明する。
図５は、ノイズ低減処理動作のフローを示すフローチャートである。
図５においては、マイク１３１Ｌ，１３１Ｒによって集音された音のスペクトルを代表して１つの音のスペクトルを例示する。
ノイズ低減処理は、撮像装置１００の動画の撮像開始（即ち、録画及び録音の開始）と共に繰り返し実行される。
なお、以下、２つの異なる形態の処理対象音を対象として、ノイズ低減処理動作が行われる場合について、それぞれ説明する。
【００３４】
（第１の処理対象音）
第１の処理対象音は、区間Ａが背景音のみ、区間Ｂが背景音と音声（目的音）、区間Ｃが背景音とＡＦノイズを発生している形態である。以下、区間Ｃにおいてマイク１３１Ｌ，１３１Ｒが集音し出力される音信号からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。
【００３５】
（ステップＳＴ１）
まず、ノイズ区間検出部１３５により、マイク１３１Ｌ，１３１Ｒから出力される音信号に基づいて、ノイズ区間の検出が開始される。
【００３６】
（ステップＳＴ２）
続いて、音声区間検出部１３４により、マイク１３１Ｌ，１３１Ｒから出力される音信号に基づいて、音声区間の検出が開始される。このとき、音声区間検出部１３４は、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれを対象として、音声区間の検出を行う。
【００３７】
（ステップＳＴ３）
音情報処理部１３０のＦＦＴを実行する処理部により、マイク１３１Ｌ，１３１Ｒから出力される音信号、及びそれらを合計したモノラル音の信号がＦＦＴ処理され、周波数領域の振幅情報と位相情報とに分けられる。
【００３８】
（ステップＳＴ４）
次に、ノイズ区間検出部１３５によって、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれについて、動作ノイズの発生区間であるか非ノイズ区間であるか、が検出（判定）される。
【００３９】
（ステップＳＴ４，ＹＥＳ）
ステップＳＴ４において、区間Ｃは動作ノイズの発生区間であると判定され（ＹＥＳ）、ステップＳＴ５に進む。
（ステップＳＴ４，ＮＯ）
区間Ａ及びＢは非ノイズ区間であると判定され、ステップＳＴ１１に進む。
【００４０】
（ステップＳＴ５）
ステップＳＴ５においては、音声区間検出部１３４によって、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれについて、音声区間であるか、非音声区間であるかが検出（判定）される。区間Ｃは、非音声区間であるので（ＮＯ）、ステップＳＴ７に進む。
【００４１】
（ステップＳＴ７）
ここでは、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれについて、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、ノイズ低減処理部１３３によって、上限が所定の周波数（例えば、５００Ｈｚ）までのスペクトルを置き換えずに保存するといった強い衝撃音ノイズ低減処理が行われ、区間Ｃのスペクトルを得る。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、ノイズ低減処理部１３３は、衝撃音ノイズ低減処理を行わない。このとき、ノイズ低減処理部１３３は、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれを対象として、衝撃音ノイズ低減処理を行う。
【００４２】
（ステップＳＴ８）
次いで、ノイズ低減処理部１３３は、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれについて、ステップＳＴ７のノイズ低減処理により得られたスペクトルにおけるノイズを推定し、推定ノイズスペクトルをステップＳＴ９に出力する。
【００４３】
（ステップＳＴ９）
続いて、ノイズ低減処理部１３３によって、ステップＳＴ７の衝撃音ノイズ低減処理により得られたスペクトルからステップＳＴ８の推定により得られた推定ノイズスペクトルを減算するスペクトル減算処理（第２のノイズ低減処理）が行われ、ノイズ低減後のスペクトルが得られる。このとき、ノイズ低減処理部１３３は、ノイズ低減条件テーブルを参照し、左右の音信号の大きさの合計値（周囲の音の大きさ）に応じて共通低減ノイズの具体的内容（左右の音信号から推定された動作ノイズのうち、大きい方、小さい方あるいは平均値）を決定し、マイク１３１Ｌ，１３１Ｒの音信号のスペクトルから、決定した共通低減ノイズのスペクトルをそれぞれ減算する。
【００４４】
（ステップＳＴ１０）
第２のノイズ低減処理（スペクトル減算処理）により、ノイズ低減後のスペクトルが著しく減少したり、消失したりする場合があるので、これに対応するため、ノイズ低減処理部１３３によって、ノイズ低減後のスペクトルを補正するフロアリングが行われる。
このフロアリングでは、ノイズ低減後のスペクトルと基準となるフロアリングスペクトルとの振幅の大きさを比較する。そして、比較の結果、振幅の大きいスペクトル（スペクトル強度の大きい方）を採用して、フロアリング後のスペクトルを生成する。ここで用いたフロアリングスペクトルは、後述するが、区間Ａから求めたフロアリングスペクトルである。このとき、ノイズ低減処理部１３３は、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれのスペクトルを対象として、フロアリングを行う。
【００４５】
（ステップＳＴ１１）
ステップＳＴ１１に戻り、ここでは、音声区間検出部１３４によって、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれについて、音声区間であるか、非音声区間（背景音のみの区間）であるか、が検出（判定）される。その結果、区間Ｂは音声区間であると判定され（ＹＥＳ）、ノイズ低減処理、スペクトル減算、フロアリングを行わず、ステップＳＴ１３に進む。区間Ａは非音声区間であると判定され（ＮＯ）、ステップＳＴ１２に進む。
【００４６】
（ステップＳＴ１２）
ステップＳＴ１２においては、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれについて、背景音のみが発生している区間Ａのスペクトルの各周波数における振幅の所定割合（例えば半分）から、上述のフロアリングスペクトルを得る。このフロアリングスペクトルを、前述したようにステップＳＴ１０のフロアリングに用いると共に、保持しておくフロアリングスペクトルを、このフロアリングスペクトルに更新する。
【００４７】
（ステップＳＴ１３）
最後のステップＳＴ１３において、音情報処理部１３０は、ステップＳＴ３において分けられた位相を用いてＩＦＦＴ処理を行うことにより、ノイズ低減処理後のスペクトルを時間領域に変換して記録部１４０に出力する。このとき、音情報処理部１３０のＩＦＦＴを実行する処理部は、マイク１３１Ｌ，１３１Ｒそれぞれの音信号を対象としてＩＦＦＴを実行し、左右それぞれの音信号を生成する。
【００４８】
（第２の処理対象音）
次に、上述した第１の処理対象音と異なる形態を有する第２の処理対象音を用いた場合のノイズ低減処理動作（ノイズ低減方法）について説明する。なお、ノイズ低減処理動作フローの各ステップは、第１の処理対象音の場合は略同様であるため、主として各ステップにおける処理内容の相違点を中心に説明する。
【００４９】
第２の処理対象音は、区間Ｄが背景音のみ、区間Ｅが背景音とＡＦノイズ、区間Ｆが背景音と音声とＡＦノイズを発生している形態である。第２の処理対象音の区間Ｅ及び区間Ｆにおいてマイク１３１Ｌ，１３１Ｒが集音し出力される音信号からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。
【００５０】
ステップＳＴ１からＳＴ４までは上述の第１の処理対象音の区間Ｃと同様であるので省略する。
（ステップＳＴ５）
ステップＳＴ５において、区間Ｆは音声区間であると判定され（ＹＥＳ）、ステップＳＴ６に進む。
【００５１】
（ステップＳＴ６）
ステップＳＴ６においては、マイク１３１Ｌ，１３１Ｒから出力される音信号それぞれについて、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、上限が所定の周波数（例えば、４０００Ｈｚ）までのスペクトルを置き換えずに保存するといった弱い第１の衝撃音ノイズ低減処理が行われる。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、衝撃音ノイズ低減処理を行わない。
【００５２】
この第１の衝撃音ノイズ低減処理が行われたスペクトルは、音声スペクトル成分を含む。このスペクトルは、推定ノイズ更新に使用されず、第２のノイズ低減処理であるスペクトル減算処理を行うためのステップＳＴ９に進む。
第２の処理対象音の場合、動作ノイズの発生区間で且つ非音声区間である区間Ｅにおいては、背景音と動作ノイズのスペクトルが得られ、動作ノイズの発生区間で且つ音声区間である区間Ｆにおいては、背景音と音声と動作ノイズのスペクトルが得られる。
そこで、ステップＳＴ８においては、区間Ｅで得られたスペクトルからノイズを推定し更新する。
【００５３】
そして、ステップＳＴ９において、区間Ｆにおけるスペクトルから共通低減ノイズのスペクトルを減算し、さらに、ステップＳＴ１０においてフロアリングすることにより、フロアリング後のスペクトルを生成する。
なお、第２の処理対象音の場合のフロアリングスペクトルは、背景音のみが発生している区間Ｄから得る。このフロアリングスペクトルは、第１の処理対象音の場合と同様に区間Ａの背景音を半減処理等したスペクトルを用いる。
【００５４】
（スペクトル減算処理）
次に、図５のノイズ低減処理におけるステップＳＴ９で実行されるスペクトル減算処理（第２のノイズ低減処理）について説明する。
図６は、スペクトル減算処理動作のフローを示すフローチャートである。また、図７は、左右の音信号から低減するノイズを生成する概念を示す模式図である。また、図８は、スペクトル減算処理動作において、左右の音信号のスペクトルに施される処理を示す模式図である。
【００５５】
（ステップＳＴ１１０）
図６に示すように、まず、ノイズ低減処理部１３３は、ノイズ低減条件テーブルを参照し、周波数帯域毎に、左右の音信号から低減する共通低減ノイズの具体的内容を決定する。
【００５６】
即ち、ノイズ低減処理部１３３は、図７に示すように、ノイズ低減条件テーブルを参照して、周波数帯域毎に、左右の音信号の大きさの合計値に応じて、左右の音信号から推定された動作ノイズのうち、大きい方、小さい方あるいは平均値のいずれかを決定する。図７に示す例では、周波数が低い周波数帯域から順に、左の音信号のノイズスペクトルｎ１〜ｎ５、右の音信号のノイズスペクトルＮ１〜Ｎ５が推定されている。そして、左右の音信号の大きさの合計値に応じて、周波数帯域毎に、周波数が低い周波数帯域から順に、ノイズスペクトルｎ１とＮ１では小さい方のＮ１、ノイズスペクトルｎ２とＮ２では大きい方のｎ２、ノイズスペクトルｎ３とＮ３ではそれらの平均値（Ａｖ）、ノイズスペクトルｎ４とＮ４では小さい方のＮ４、ノイズスペクトルｎ５とＮ５では大きい方のｎ５、が各周波数帯域の共通低減ノイズのスペクトルとなっている。
【００５７】
（ステップＳＴ１２０）
次いで、ノイズ低減処理部１３３は、ステップＳＴ１１０で決定した共通低減ノイズのスペクトルを左右の音信号のスペクトルからそれぞれ減算する。
【００５８】
具体的には、ノイズ低減処理部１３３は、図８（ａ）に示すように、ノイズを含む左の音信号のスペクトル（（Ｌ１＋ｎ１）〜（Ｌ５＋ｎ５））から、共通低減ノイズのスペクトル（Ｎ１、ｎ２、Ａｖ、Ｎ４、ｎ５）を周波数帯域毎にそれぞれ減算し、ノイズ低減後の左の音信号のスペクトル（Ｌ’１〜Ｌ’５）を出力する。同様に、ノイズ低減処理部１３３は、図８（ｂ）に示すように、ノイズを含む右の音信号のスペクトル（（Ｒ１＋Ｎ１）〜（Ｒ５＋Ｎ５））から、共通低減ノイズのスペクトル（Ｎ１、ｎ２、Ａｖ、Ｎ４、ｎ５）を周波数帯域毎にそれぞれ減算し、ノイズ低減後の左の音信号のスペクトル（Ｒ’１〜Ｒ’５）を出力する。
すると、図８（ｃ）に示すように、ノイズ低減前の左右の音信号のスペクトルの差（Ｄ１、Ｄ２、Ｄ３（＝０）、Ｄ４、Ｄ５（＝０））と、ノイズ低減後の左右の音信号のスペクトルの差とが一致する状態となり、ノイズ低減後の音信号の左右比が、ノイズ低減前の音信号の左右比と逆転することを防止できる。
ステップＳＴ１２０の後、処理は図５のステップＳＴ１０に進む。
【００５９】
このようなスペクトル減算処理（第２のノイズ低減処理）の結果、撮像装置１００が録音した左右の音において、周波数帯域毎に、周囲の音の大きさに応じた共通の低減量のノイズが低減される。
これにより、左右の音信号のスペクトルから共通する推定ノイズ（共通低減ノイズ）のスペクトルが減算されることとなるため、ノイズ低減処理後の音信号の左右比が、ノイズ低減前の音信号の左右比と逆転する事態を防止できる。
したがって、ステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。
【００６０】
なお、本実施形態では、撮像装置１００において、図５に示すノイズ低減処理を実行するものとしたが、マイク１３１Ｌ，１３１Ｒによってステレオ録音された音の信号を記録しておき、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等、他のコンピュータにおいて、図５に示すノイズ低減処理を実行しても良い。
【００６１】
この場合、図５に示すノイズ低減処理及び図６に示すスペクトル減算処理における各処理ステップを実行するためのプログラムを、サーバからネットワークを介して、あるいは、プログラムを記録した記録媒体を介して、他のコンピュータに記憶させる。そして、記憶したプログラムをコンピュータにインストールすることにより、図５に示すノイズ低減処理及び図６に示すスペクトル減算処理を実行可能なコンピュータを実現することが可能となる。
【００６２】
以上、本実施形態によると、以下の効果を有する。
（１）マイク１３１Ｌ，１３１Ｒによって集音された音の信号から動作ノイズを推定し、推定されたノイズを基に決定した共通低減ノイズが、左右の音それぞれから低減される。
そのため、ノイズ低減処理が行われる場合に、左右の音信号のスペクトルから、共通する推定ノイズ（共通低減ノイズ）のスペクトルが減算されることとなるため、ノイズ低減後の音信号の左右比が、ノイズ低減前の音信号の左右比と逆転する事態を防止できる。
したがって、ステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。
（２）ノイズ低減処理が行われる場合、左右の音信号の大きさに応じて、左右の音信号から低減する共通低減ノイズの具体的内容が決定される。
したがって、周囲の音の大きさに応じて、左右の推定ノイズを基に決定した適切な量のノイズを低減できるため、ステレオ録音を行う場合に、より高精度なノイズ低減処理を行うことが可能となる。
（３）ノイズ低減処理が行われる場合、周波数帯域毎に動作ノイズが推定され、周波数帯域毎に共通低減ノイズが決定される。そして、左右の音それぞれにおいて、各周波数帯域に共通低減ノイズが低減される。
そのため、周波数帯域毎に適切な大きさの共通低減ノイズを低減することができ、ノイズ低減処理をより高精度に行うことが可能となる。
【００６３】
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形が可能であり、それらも本発明の範囲内である。
（変形例１）
上記実施形態において、左右の音信号それぞれから動作ノイズを推定し、周囲の音の大きさに応じて、推定した左右の動作ノイズのうち小さい方（周囲の音が大きい場合）、推定した左右の動作ノイズのうち大きい方（周囲の音が小さい場合）、推定した左右の動作ノイズの平均値（周囲の音が中程度の場合）を左右の音信号から共通して低減するものとした。
これに対し、左右のマイク１３１Ｌ，１３１Ｒで集音した音の合計（即ちモノラル音）を基にノイズ推定を行い、推定した動作ノイズを基に決定した共通低減ノイズを左右の音信号から低減することとしても良い。
この場合、例えば、左右のマイク１３１Ｌ，１３１Ｒで集音した音の合計を基に推定したノイズの所定割合（例えば半分）を共通低減ノイズとして左右の音信号それぞれから低減する（スペクトルから減算する）といった処理が可能である。
この場合、左右の音信号から共通低減ノイズを低減する処理をより簡単に行うことができる。
【００６４】
（変形例２）
上記実施形態では、スペクトル減算処理（第２のノイズ低減処理）を行う際に、共通低減ノイズの全ての周波数帯域について、共通低減ノイズのスペクトルを左右の音信号のスペクトルから減算するものとして説明した。これに対し、共通低減ノイズの一部の周波数帯域についてのみ、左右の音信号のスペクトルから共通低減ノイズのスペクトルを減算することが可能である。
例えば、ＡＦ駆動用モータ１１３の動作ノイズが発生している場合、ＡＦ駆動用モータ１１３の動作ノイズが主として現れる周波数帯域についてのみ、共通低減ノイズのスペクトルを減算し、人間の声の周波数帯域等、主に目的音の周波数帯域となる部分については、左右の音信号のスペクトルを維持することができる。
これにより、ノイズ低減処理によって目的音が抑制されることを防止できる。また、ノイズ低減処理のための処理負荷を軽減することができる。
【００６５】
（変形例３）
上記実施形態では、ＦＦＴによって取得されるスペクトルの周波数帯域の幅を単位として、共通低減ノイズのスペクトルを左右の音信号のスペクトルから減算するものとして説明した。即ち、上記実施形態では、共通低減ノイズのスペクトルを左右の音信号のスペクトルから減算する際に、処理単位となる周波数帯域幅を均等なものとした。これに対し、共通低減ノイズのスペクトルを左右の音信号のスペクトルから減算する際の処理単位となる周波数帯域幅を不均等なものとすることができる。
例えば、ＦＦＴによって取得されるスペクトルの周波数帯域の幅を複数集合させ、それらの周波数帯域における音信号のスペクトルの重み付け平均、最大値あるいは最小値等の代表値を対象として、共通低減ノイズのスペクトルを左右の音信号のスペクトルから減算することが可能である。
これにより、ノイズ低減処理における処理単位とする周波数帯域幅を変更することができるため、周波数帯域毎にノイズ低減処理の精度を異ならせることが可能となる。
【００６６】
（変形例４）
上記実施形態では、ノイズ低減処理部１３３は、左右のマイク１３１Ｌ，１３１Ｒで集音した音それぞれを基にノイズ推定を行い、これら左右の動作ノイズを基に、共通低減ノイズを決定するものとして説明した。これに対し、左右のマイク１３１Ｌ，１３１Ｒのいずれかで集音した音を共通低減ノイズとすることができる。
この場合、左右の音信号から共通低減ノイズを低減する処理をより簡単に行うことができる。
【００６７】
（変形例５）
上記実施形態においては、ノイズ低減処理において、逐次推定した動作ノイズを用いることとしたが、動作ノイズの初期値を予め記憶しておき、ノイズ低減処理においては、推定した動作ノイズによって、動作ノイズの初期値を補正して用いることが可能である。
この場合、外界の音を遮断した静音環境において発生させた各種動作ノイズを録音しておき、これを各種動作ノイズの初期値として記憶する。
これにより、動作ノイズの推定精度に影響を与える録音環境においても、動作ノイズの推定精度を向上させることが可能となる。
【００６８】
なお、上記実施形態及び変形例は、適宜組み合わせて用いることもできる。また、本発明は以上説明した実施形態によって限定されるものではない。
【符号の説明】
【００６９】
１００：撮像装置、１１０：レンズ鏡筒（可動部）、１３１Ｌ，１３１Ｒ：マイク（集音装置）、１３２：音信号処理部（ノイズ推定部）、１３３：ノイズ低減処理部（ノイズ推定部、ノイズ低減処理部）
【図１】
2013250449.tif 000003
【図２】
2013250449.tif 000004
【図３】
2013250449.tif 000005
【図４】
2013250449.tif 000006
【図５】
2013250449.tif 000007
【図６】
2013250449.tif 000008
【図７】
2013250449.tif 000009
【図８】
2013250449.tif 000010