(57)【要約】【課題】ノイズ低減前の定位感や臨場感がノイズ低減後においても維持される録音装置を提供する。【解決手段】本発明の録音装置１，１０は、複数の集音部４１と、前記複数の集音部４１のうちの第１集音部４１Ｌにより集音された第１音のノイズ推定を行なう第１ノイズ推定部５２Ｌと、前記第１ノイズ推定部５２Ｌにより推定されたノイズを、前記第１音から低減する第１ノイズ低減部５３Ｌと、前記複数の集音部４１のうちの第２集音部４１Ｒにより集音された第２音とノイズ低減前の前記第１音との関係である第１の関係Ｒを求め、ノイズ低減後の前記第１音との関係が前記第１の関係Ｒと同じになるように前記第２音を調整する第２調整部５４Ｒと、を備えることを特徴とする。【選択図】図３
2014026002.tif 000002
【特許請求の範囲】
【請求項１】
複数の集音部と、
前記複数の集音部のうちの第１集音部により集音された第１音のノイズ推定を行なう第１ノイズ推定部と、
前記第１ノイズ推定部により推定されたノイズを、前記第１音から低減する第１ノイズ低減部と、
前記複数の集音部のうちの第２集音部により集音された第２音とノイズ低減前の前記第１音との関係である第１の関係を求め、ノイズ低減後の前記第１音との関係が前記第１の関係と同じになるように前記第２音を調整する第２調整部と、
を備えることを特徴とする録音装置。
【請求項２】
請求項１に記載の録音装置であって、
前記第１の関係は、振幅スペクトルごとの比であること、
を特徴とする録音装置。
【請求項３】
請求項１または２に記載の録音装置であって、
前記第２集音部により集音された音のノイズ推定を行なう第２ノイズ推定部と、
前記第２ノイズ推定部により推定された前記ノイズを、前記第２音から低減する第２ノイズ低減部と、
前記ノイズ低減後の前記第２音との関係が、前記第１の関係と同じになるように、前記第１音を調整する第１調整部と、
前記第１ノイズ低減部より前記ノイズが低減されたノイズ低減後の第１音と前記第１調整部により調整された調整後の第１音とを平均する第１平均部と、
前記第２ノイズ低減部により前記ノイズが低減された、ノイズ低減後の第２音と、前記第２調整部により調整された調整後の第２音とを平均する第２平均部と、
を備えること、
を特徴とする録音装置。
【請求項４】
請求項１から３のいずれか１項に記載の録音装置であって、
前記第１音を、前記ノイズ推定又は前記調整前にスペクトル変換する第１変換部と、
前記ノイズ低減又は前記調整後の前記第１音をスペクトル逆変換する第１逆変換部と、
前記第２音を、前記ノイズ推定又は前記調整前にスペクトル変換する第２変換部と、
前記ノイズ低減又は前記調整後の前記第２音をスペクトル逆変換する第２逆変換部と、
を備えること、
を特徴とする録音装置。
【請求項５】
請求項１から４のいずれか１項に記載の録音装置であって、
右耳用として、前記第１集音部または前記第２集音部のいずれかを一方を選択するとともに、左耳用としていずれか他方を選択する選択部を備えること、
を特徴とする録音装置。
【請求項６】
複数の集音部のうちの第１集音部により集音された第１音のノイズ推定を行ない、
推定されたノイズを、前記第１音から低減し、
前記複数の集音部のうちの第２集音部により集音された第２音と、ノイズ低減前の前記第１音との関係である第１の関係を求め、ノイズ低減後の前記第１音との関係が前記第１の関係と同じになるように前記第２音を調整する処理を、コンピュータ装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、録音装置及びプログラムに関するものである。
【背景技術】
【０００２】
録画可能なカメラ等においては、外部音声を録音する複数のマイク及び駆動部、を備えるものがある。このような装置において、録音された音声より、駆動部から発生する雑音を低減する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２５９３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ステレオ音声の場合、左耳用音声と右耳用音声にそれぞれ独立にノイズ低減処理を行なうと、左耳用音声に残存するノイズ成分と右耳用音声に残存するノイズ成分との比が時々刻々と変化し、残存ノイズの定位も時々刻々と変化する。
また、左耳用音声の目的音の劣化成分と、右耳用音声の目的音の劣化成分の比も時々刻々と変化するため、目的音の定位も本来の定位から時々刻々と変化する。
このため、処理後の音声は本来の定位感、臨場感が損なわれた音声になる。
【０００５】
本発明の課題は、ノイズ低減前の定位感や臨場感がノイズ低減後においても維持される録音装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、複数の集音部（４１）と、前記複数の集音部（４１）のうちの第１集音部（４１Ｌ）により集音された第１音のノイズ推定を行なう第１ノイズ推定部（５２Ｌ）と、前記第１ノイズ推定部（５２Ｌ）により推定されたノイズを、前記第１音から低減する第１ノイズ低減部（５３Ｌ）と、前記複数の集音部（４１）のうちの第２集音部（４１Ｒ）により集音された第２音とノイズ低減前の前記第１音との関係である第１の関係（Ｒ）を求め、ノイズ低減後の前記第１音との関係が前記第１の関係（Ｒ）と同じになるように前記第２音を調整する第２調整部（５４Ｒ）と、を備えることを特徴とする録音装置（１，１０）である。
請求項２に記載の発明は、請求項１に記載の録音装置（１，１０）であって、前記第１の関係（Ｒ）は、振幅スペクトルごとの比であること、を特徴とする録音装置（１，１０）である。
請求項３に記載の発明は、請求項１または２に記載の録音装置（１，１０）であって、前記第２集音部（４１Ｒ）により集音された音のノイズ推定を行なう第２ノイズ推定部（５２Ｒ）と、前記第２ノイズ推定部（５２Ｒ）により推定された前記ノイズを、前記第２音から低減する第２ノイズ低減部（５３Ｒ）と、前記ノイズ低減後の前記第２音との関係が、前記第１の関係（Ｒ）と同じになるように、前記第１音を調整する第１調整部（５４Ｌ）と、前記第１ノイズ低減部（５３Ｌ）より前記ノイズが低減されたノイズ低減後の第１音と前記第１調整部（５４Ｌ）により調整された調整後の第１音とを平均する第１平均部（５６Ｌ）と、前記第２ノイズ低減部（５３Ｒ）により前記ノイズが低減された、ノイズ低減後の第２音と、前記第２調整部（５４Ｒ）により調整された調整後の第２音とを平均する第２平均部（５６Ｒ）と、を備えること、を特徴とする録音装置（１，１０）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の録音装置（１，１０）であって、前記第１音を、前記ノイズ推定又は前記調整前にスペクトル変換する第１変換部（５１Ｌ）と、前記ノイズ低減又は前記調整後の前記第１音をスペクトル逆変換する第１逆変換部（５５Ｌ）と、前記第２音を、前記ノイズ推定又は前記調整前にスペクトル変換する第２変換部（５１Ｒ）と、前記ノイズ低減又は前記調整後の前記第２音をスペクトル逆変換する第２逆変換部（５５Ｒ）と、を備えること、を特徴とする録音装置（１，１０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の録音装置（１，１０）であって、右耳用として、前記第１集音部（４１Ｌ）または前記第２集音部（４１Ｒ）のいずれかを一方を選択するとともに、左耳用としていずれか他方を選択する選択部を備えること、を特徴とする録音装置（１，１０）である。
請求項６に記載の発明は、複数の集音部（４１）のうちの第１集音部（４１Ｌ）により集音された第１音のノイズ推定を行ない、推定されたノイズを、前記第１音から低減し、前記複数の集音部（４１）のうちの第２集音部（４１Ｒ）により集音された第２音と、ノイズ低減前の前記第１音との関係である第１の関係（Ｒ）を求め、ノイズ低減後の前記第１音との関係が前記第１の関係（Ｒ）と同じになるように前記第２音を調整する処理を、コンピュータ装置に実行させるプログラムである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００８】
本発明によれば、ノイズ低減前の定位感や臨場感がノイズ低減後においても維持される録音装置及びプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明における録音装置の一実施形態を適用したカメラの正面側から見た外観概略斜視図である。
【図２】カメラのブロック構成図である。
【図３】音情報処理部の機能ブロック図である。
【図４】衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
【図５】左チャンネルから右チャンネルの周波数スペクトルＳＳＲを得る方法を説明する。
【図６】音情報処理部の動作を示すフローチャートである。
【図７】第２実施形態における音情報処理部の機能ブロック図である。
【発明を実施するための形態】
【００１０】
（第１実施形態）
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、本発明における録音装置の一実施形態を適用したカメラ１の正面側から見た外観概略斜視図である。図２は、カメラ１のブロック構成図である。
【００１１】
図１および図２に示すように、カメラ１は、カメラ本体１０と、レンズ鏡筒２０とにより構成されている。カメラ１は、自動的に合焦するオートフォーカス（以下ＡＦと略記する）機能を備えている。また、カメラ１は、静止画と動画の何れも撮影可能であって、動画撮影時には画像と同時に音響をステレオで記録可能である。
なお、カメラ１は、カメラ本体１０に対してレンズ鏡筒２０が交換可能なものであってよく、また、カメラ本体１０とレンズ鏡筒２０とが一体のものであってもよい。
【００１２】
カメラ本体１０は、撮像部３０と、録音部４０と、記録部１１と、制御部１２と、を備えている。
撮像部３０は、撮像素子３１と、Ａ／Ｄ変換部３２と、画像処理部３３と、により構成されている。
撮像素子３１は、ＣＣＤ等の光電変換素子により構成されている。撮像素子３１は、レンズ鏡筒２０の結像光学系によって結像された被写体像光をアナログの電気信号に変換し、Ａ／Ｄ変換部３２に出力する。
【００１３】
Ａ／Ｄ変換部３２は、撮像素子３１から入力されたアナログの画像信号をデジタル画像信号に変換して画像処理部３３に出力する。
画像処理部３３は、Ａ／Ｄ変換部３２から入力されたデジタル画像信号を画像処理して画像データを生成し、記録部１１に出力する。
【００１４】
録音部４０は、ステレオ集音装置４１と、Ａ／Ｄ変換部４２と、音情報処理部５０と、により構成されている。
ステレオ集音装置４１は、図１に示すように、左右一対のマイクロフォン（左マイク４１Ｌ，右マイク４１Ｒ）を備えている。各マイク４１Ｌ，４１Ｒは、それぞれ外部の音を集音してアナログ信号としてＡ／Ｄ変換部４２に出力する。
Ａ／Ｄ変換部４２は、ステレオ集音装置４１から入力されたアナログ音信号を、デジタル音信号に変換して音情報処理部５０に出力する。
【００１５】
音情報処理部５０は、Ａ／Ｄ変換部４２から入力したステレオ集音装置４１における左マイク４１Ｌと右マイク４１Ｒの音信号に含まれる動作ノイズをそれぞれ低減処理して音データを作成し、記録部１１に出力する。
なお、本実施形態において低減処理対象とする動作ノイズは、レンズ鏡筒２０から発生するＡＦ制御にかかる駆動ノイズ（ＡＦ駆動音）である。この音情報処理部５０については、後に詳述する。
【００１６】
記録部１１は、撮像部３０（画像処理部３３）が出力する画像データと、録音部４０（音情報処理部５０）が出力する音データと、をメモリーカード等の図示しない記録媒体に記録する。
制御部１２は、ＣＰＵ等を備えて構成され、設定された撮像条件（例えば、絞り値、露出値等）に応じて、レンズ鏡筒２０の後述する各構成要素を含めた当該カメラ１の各構成要素を統括制御する。たとえば、制御部１２は、後述するレンズ鏡筒２０におけるＡＦ駆動モータ２３を駆動する駆動制御信号を生成し、ＡＦ駆動モータ２３に出力する。
また、制御部１２は、タイミング信号検出部１２ａを備える。タイミング信号検出部１２ａは、後述するが、レンズ鏡筒２０から発生するＡＦ制御のタイミングを検出する。
【００１７】
レンズ鏡筒２０は、フォーカシングレンズ２１と図示しない手振れ補正レンズおよびズーミングレンズ等により構成される結像光学系と、ＡＦエンコーダ２２と、ＡＦ駆動モータ２３と、を備えている。
ＡＦエンコーダ２２は、フォーカシングレンズ２１の位置を検出し、ＡＦ駆動モータ２３の駆動制御情報としてカメラ本体１０の制御部１２に出力する。
ＡＦ駆動モータ２３は、制御部１６から入力されるフォーカシングレンズ２１の位置を制御するための駆動制御信号に応じて、フォーカシングレンズ２１を移動駆動する。このＡＦ駆動モータ２３の駆動音が、本実施形態における録音部４０の音情報処理部５０が低減処理対象とする主なＡＦ駆動音である。
【００１８】
そして、カメラ１は、使用者による図示しないシャッタボタンの押圧操作によって撮影が指令されると、制御部１２によって制御されて撮影作用を行う。すなわち、撮像部３０が被写体像光を電気信号に変換すると共に画像処理して画像データとし、記録部１１を介して記録媒体に記録する（撮影する）。制御部１２は、撮影時において、ＡＦ駆動モータ２３を介してフォーカシングレンズ２１を移動駆動するＡＦ制御を行う。
【００１９】
動画撮影時においては、撮像部３０がローリングシャッターで被写体像光を電気信号に変換して順次取り込み、記録部１１を介して１秒間に所定のフレーム（コマ数）の画像を記録媒体に記録する。
また、前述したように、録音部４０が集音して音情報処理した音データを、画像データと共にフレーム毎に記録部１１を介して記録媒体に記録（録音）する。
動画撮影時には、撮影期間を通して被写体の位置変化に対応してＡＦ制御を行い、ＡＦ駆動音は不定期に発生する。
【００２０】
つぎに、録音部４０における音情報処理部５０について詳細に説明する。図３は、音情報処理部５０における機能ブロック図である。
前述したように、音情報処理部５０は、Ａ／Ｄ変換部４２から入力したステレオ集音装置４１における左マイク４１Ｌと右マイク４１Ｒの音信号に含まれるＡＦ駆動ノイズを低減処理する。
以下、左マイク４１Ｌが集音した音情報の流れを左チャンネル（図中Ｌｃｈと略記する）、右マイク４１Ｒが集音した音情報の流れを右チャンネル（Ｒｃｈ）として説明する。なお、この左右は、撮影者側から見た左右である。
【００２１】
本実施形態における音情報処理部５０は、一方のチャンネル（本実施形態では左チャンネル）の音情報に対してスペクトル減算法でノイズ低減処理すると共に、この情報を用いて他方のチャンネル（右チャンネル）の音情報に対してスペクトル調整処理を行う。
【００２２】
図３に示すように、音情報処理部５０は、左右両チャンネルそれぞれのスペクトル変換部５１Ｌ，５１Ｒと、左チャンネルのノイズスペクトル推定部５２Ｌと、左チャンネルのノイズスペクトル低減部５３Ｌと、右チャンネルのスペクトル調整部５４Ｒと、左右両チャンネルの逆変換部５５Ｌ，５５Ｒと、を備えている。
また、ノイズスペクトル低減部５３Ｌは、さらに衝撃音ノイズ低減処理部５３Ａと駆動音ノイズ低減処理部５３Ｂとを備える。
【００２３】
以下、音情報処理部５０の各部についてさらに詳細に説明する。
（スペクトル変換部）
スペクトル変換部５１Ｌ，５１Ｒは、Ａ／Ｄ変換部４２から入力された左右両チャンネルの音信号に対して、それぞれ、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎の音信号を周波数領域毎の振幅を表わすスペクトルＳＬ，ＳＲ（後述の図５参照）に変換する。
【００２４】
図４はＡＦレンズを駆動した際に、マイクで集音されるマイク音信号の一例である。図４のグラフは、縦軸にマイク２３０によって集音されたマイク信号を、横軸に時間をそれぞれ示す。図４に示すように、ＡＦ駆動を行なう場合、図示の時刻ｔ１０〜ｔ１１、時刻ｔ２０〜ｔ２１の時間で衝撃音が発生している。
なお、図４は説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
【００２５】
スペクトル変換部５１Ｌ，５１Ｒは、Ａ／Ｄ変換部４２から出力されたマイク音信号に対して、あらかじめ定められた区間ごとに窓関数で重み付けする。そして、この区間ごとのマイク音信号に対して、例えば、フーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Ｆｉｒｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行い、周波数領域に変換し、窓関数の各区間に対応する周波数スペクトルを算出する。
【００２６】
ここで、窓関数のあらかじめ定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオートフォーカスバラップしている。なお窓関数は、例えばハニング窓（ハニングウィンドウ）関数が利用可能である。
【００２７】
図４を参照してスペクトル変換部５１Ｌ，５１Ｒにより算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
スペクトル変換部５１Ｌ，５１Ｒは、上述の通り、Ａ／Ｄ変換部４２から出力されたマイク音信号に対して、他の区間と半分づつオーバラップしている窓関数で重み付けする。これにより、マイク音信号は、窓関数のサイズに分割される。
このスペクトル変換部５１Ｌ，５１Ｒは、窓関数で重み付けされた各区間のマイク信号ごとに、例えばフーリエ変換を行い、図４に示すように、他の区間と半分づつオーバラップしている周波数スペクトルＳ１〜Ｓ１４を算出する。
【００２８】
（ノイズスペクトル推定部）
ノイズスペクトルの推定は、左チャンネルから入力されて周波数スペクトルに変換された音信号に対して、タイミング信号検出部１２ａから検出されたタイミングに基づいて行なわれる。
【００２９】
タイミング信号検出部１２ａは、レンズ鏡筒２０の動作状態が変化するタイミング（動作変化タイミング）を検出する。
この動作変化タイミングとしては、例えば、フォーカシングレンズ２１が動作を開始する動作開始タイミングと、フォーカシングレンズ２１の動作が停止する動作停止タイミングとがある。
【００３０】
タイミング信号検出部１２ａは、ＡＦ駆動モータ２３に入力される駆動制御信号に基づいて、動作変化タイミングを検出することができる。
また、タイミング信号検出部１２ａは、駆動制御信号を生成する場合に制御部１２内部で実行される処理やコマンドに基づいて、動作変化タイミングを検出してもよい。
さらに、タイミング信号検出部１２ａは、操作部から入力される操作信号に基づいて、動作変化タイミングを検出してもよい。
また、タイミング信号検出部１２ａは、例えば、エンコーダ２２から出力されるパルス信号に基づきの出力に基づいて、動作変化タイミングを検出してもよい。
【００３１】
そして、タイミング信号検出部１２ａは、図４で示す衝撃音が発生している時刻ｔ１０からｔ１１を示す情報を、動作開始タイミング信号として出力する。
また、タイミング信号検出部１２ａは、図４で示す衝撃音が発生している時刻ｔ２０からｔ２１を示す情報を、動作停止タイミング信号として出力する。
【００３２】
この、タイミング信号検出部１２ａからの動作開始タイミング信号及び動作停止タイミング信号に基づき、ノイズスペクトル推定部５２Ｌは、図４の周波数スペクトルＳ２〜Ｓ４が、ＡＦレンズ２１の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０からｔ１１を含む音情報であると推定する。
また、ノイズスペクトル推定部５２Ｌは、周波数スペクトルＳ９〜Ｓ１２が、ＡＦレンズ２１の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を含む音情報であると推定する。
そして、ノイズスペクトル推定部５２Ｌは、周波数スペクトルＳ５〜Ｓ８が、ＡＦレンズ２１による駆動音の発生期間に対応する音情報であると推定する。
【００３３】
ノイズスペクトル推定部５２Ｌは、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
この予め定められた閾値とは、衝撃音に対して目的音が大きいため、衝撃音による音声劣化が少ないとされる目的音の周波数スペクトルの周波数成分の総和である。
【００３４】
衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め定められた閾値未満であると判定した場合、ノイズスペクトル推定部５２Ｌは、算出した周波数スペクトルＳ１〜Ｓ１４をノイズスペクトル低減部５３Ｌの衝撃音ノイズ低減処理部５３Ａに出力する。
【００３５】
一方、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め定められた閾値以上であると判定した場合、ノイズスペクトル推定部５２Ｌは、算出した周波数スペクトルＳ１〜Ｓ１４をノイズスペクトル低減部５３Ｌの駆動音ノイズ低減処理部５３Ｂに出力する。
【００３６】
（衝撃音ノイズ低減処理部）
衝撃音ノイズ低減処理部５３Ａは、例えば、周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生している可能性の高い期間に対応する周波数スペクトル（第１周波数スペクトル）を取得する。
例えば、衝撃音ノイズ低減処理部５３Ａは、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１に示す周波数スペクトルＳ２〜Ｓ４を第１周波数スペクトルとして取得する。そして、衝撃音ノイズ低減処理部５３Ａは、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１に示す周波数スペクトルＳ９〜Ｓ１２を第１周波数スペクトルとして取得する。
【００３７】
また、衝撃音ノイズ低減処理部５３Ａは、周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトル（第２周波数スペクトル）を取得する。
本実施形態において、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルと、時間軸方向において最も近い周波数スペクトルを第２周波数スペクトルとして取得する。
【００３８】
例えば、図４に示すように、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルである周波数スペクトＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２，３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。
また、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
また、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９，１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。
さらに、第１周波数スペクトルである周波数スペクトルＳ１１，１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１，１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。
【００３９】
そして、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルのうちの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
この置き換えの一例として、例えば、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルのうち予め定められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め定められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルのほうが第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。
【００４０】
（駆動音ノイズ低減処理部）
一方、駆動音ノイズ低減処理部５３Ｂは、タイミング信号検出部１２ａから入力するタイミング信号に基づき、例えば、周波数スペクトルＳ１〜Ｓ１４から、駆動音が発生している可能性の高い期間に対応する周波数スペクトル（第３周波数スペクトル）を取得する。
例えば、駆動音ノイズ低減処理部５３Ｂは、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１と、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１とに基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第３周波数スペクトルとして取得する。
【００４１】
駆動音ノイズ低減処理部５３Ｂは、取得した第３周波数スペクトルに対して、駆動パターンに応じて予め定められているノイズを低減する駆動音ノイズ低減処理を行なう。
例えば、駆動音ノイズ低減処理部５３Ｂは、駆動パターンに応じて予め定められているノイズを表す周波数スペクトルの周波数成分を、第３周波数スペクトルの周波数成分から減算する周波数スペクトル減算法を用いる。
なお、駆動パターンに応じて予め定められているノイズの周波数スペクトルは、設定値として音情報処理部５０に予め設定されている。しかし、これに限定されず駆動音ノイズ低減処理部５３Ｂが過去のマイク音信号に基づいて、駆動音が発生している区間の周波数スペクトルから駆動音が発生していない区間の周波数スペクトルを減算することにより、推定される駆動音のノイズの周波数スペクトルを、駆動パターンとして算出しておくものであっても良い。
【００４２】
以上のように、ノイズスペクトル低減部５３Ｌの衝撃音ノイズ低減処理部５３Ａ及び駆動音ノイズ低減処理部５３Ｂは、それぞれのフレームの周波数スペクトルごとに、ＡＦ駆動ノイズの発生が検知された左チャンネルの周波数スペクトルＳＬから、ＡＦ駆動ノイズ成分を低減処理した左チャンネルの周波数スペクトルＳＳＬを算出する。
【００４３】
（スペクトル調整部）
図５は、左チャンネルから右チャンネルの周波数スペクトルＳＳＲを得る方法を説明する。
図示するように、音情報処理部５０のスペクトル調整部５４Ｒは、スペクトル変換部５１Ｌが算出した（ノイズ低減処理前の）左チャンネルの周波数スペクトルＳＬに対する、スペクトル変換部５１Ｒが算出した右チャンネルの周波数スペクトルＳＲの周波数領域毎の振幅の比で、ノイズスペクトル低減部５３Ｌによるノイズ低減処理後の左チャンネルの周波数スペクトルＳＳＬの周波数領域毎の振幅を調整して、右チャンネルの周波数スペクトルＳＳＲを得る。
【００４４】
すなわち、
ＳＬ（ｋ）：左チャンネルのノイズ低減前のスペクトル
ＳＲ（ｋ）：右チャンネルのノイズ低減前のスペクトル
ＳＳＬ（ｋ）：左チャンネルのノイズ低減後のスペクトル
ＳＳＲ（ｋ）：右チャンネルの調整後のスペクトル
なお、ｋ：周波数成分番号
として、
右チャンネルの調整後のスペクトルＳＳＲ（ｋ）を、
ＳＳＲ（ｋ）＝ＳＳＬ（ｋ）＊ＳＲ（ｋ）／ＳＬ（ｋ）
で求める。
【００４５】
換言すると、スペクトル調整部５４Ｒは、ノイズ低減処理前の左チャンネルの周波数スペクトルＳＬに対する、右チャンネルの周波数スペクトルＳＲの、周波数領域毎の振幅の比（図５中における左右振幅比：Ｒ）を求め、ノイズ低減処理後の左チャンネルの周波数スペクトルＳＳＬに対して周波数領域毎にこの左右振幅比：Ｒとなる右チャンネルの周波数スペクトルＳＳＲを算出する。
【００４６】
たとえば、図５中に例示するように、
ＳＬ（ｆ３）＝１．０
ＳＲ（ｆ３）＝０．５
ＳＳＬ（ｆ３）＝０．６
の場合には、
Ｒ（ｆ３）＝０．５／１．０＝０．５
であって、
ＳＳＲ（ｆ３）＝０．６×０．５＝０．３
となる。
【００４７】
（逆変換部）
逆変換部５５Ｌ，５５Ｒは、ノイズスペクトル低減部５３Ｌによってノイズ低減処理を行った周波数スペクトルＳＳＬ、または、スペクトル調整部５４Ｒによって調整を行った周波数スペクトルＳＳＲに対して、それぞれ、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ  Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行うことで、時間領域に変換する。逆変換部５５ＬはＬｃｈの入力音の位相情報を用いて逆変換を行い、逆変換部５５ＲはＲｃｈの入力音の位相情報を用いて逆変換を行う。そして、逆変換部５５Ｌ，５５Ｒは、この時間領域に変換された音信号を、記録部１４０に出力する。
【００４８】
（動作のフローチャート）
次に、音情報処理部５０における上述動作について図６のフローチャートに基づいて説明する。
【００４９】
まず、左右のマイク４１Ｌ，４１Ｒより入力された左右両チャンネルの音信号は、Ａ／Ｄ変換部４２でＡ／Ｄ変換が行なわれ、音情報処理部５０に入力される（ステップＳ１０）。
【００５０】
音情報処理部５０のスペクトル変換部５１Ｌ，５１Ｒは、例えば、マイク音信号にフーリエ変換を行なうことで、窓関数の各区間に対応する周波数スペクトルを算出する（ステップＳ１１）。
【００５１】
音情報処理部５０のノイズスペクトル推定部５２Ｌは、動作変化タイミング信号より、衝撃音発生期間を推定し、衝撃音が発生しているスペクトルを推定する（ステップＳ１２）。
【００５２】
音情報処理部５０のノイズスペクトル推定部５２Ｌは、左チャンネルの音情報に対して、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する（ステップＳ１３）。
【００５３】
衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が閾値よりも小さい場合（ステップＳ１３，ＹＥＳ）、音情報処理部５０の衝撃音ノイズ低減処理部５３Ａは、衝撃音発生している可能性の高い期間に対応する周波数スペクトル（第１周波数スペクトル）を取得する。
また、衝撃音ノイズ低減処理部５３Ａは、周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトル（第２周波数スペクトル）を取得する（ステップＳ１４）。
【００５４】
衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルのうちの少なくとも一部を第２周波数スペクトルの対応する部分に置き換えて衝撃音ノイズ低減スペクトルを取得する（ステップＳ１５）。
【００５５】
駆動音ノイズ低減処理部５３Ｂは、駆動音が発生している可能性のある期間に対応する周波数スペクトルを、第３周波数スペクトルとして取得する。そして、駆動音ノイズ低減処理部５３Ｂは、衝撃音ノイズ低減スペクトルに対して、取得した第３周波数スペクトルをもとに、駆動パターンに応じて予め定められているノイズを低減する駆動音ノイズ低減処理を行なう（ステップＳ１６）。
なお、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が閾値以上の場合（ステップＳ１３，ＮＯ）もステップＳ１６に進む。
【００５６】
音情報処理部５０のスペクトル調整部５４Ｒは、スペクトル変換部５１Ｌが算出した（ノイズ低減処理前の）左チャンネルの周波数スペクトルＳＬに対する、スペクトル変換部５１Ｒが算出した右チャンネルの周波数スペクトルＳＲの周波数領域毎の振幅の比で、ノイズスペクトル低減部５３Ｌによるノイズ低減処理後の左チャンネルの周波数スペクトルＳＳＬの周波数領域毎の振幅を調整して、右チャンネルの周波数スペクトルＳＳＲを得る（ステップＳ１７）。
【００５７】
スペクトル調整部５４Ｒは、ノイズスペクトル低減部５３Ｌによってノイズ低減処理を行った周波数スペクトルＳＳＬ、または、スペクトル調整部５４Ｒによって調整を行った周波数スペクトルＳＳＲに対して、それぞれ、例えば逆フーリエ変換を行うことで、時間領域に変換する（ステップＳ１８）。
【００５８】
上記のような音情報処理部５０によるノイズ低減処理によれば、ノイズ低減処理後の周波数スペクトルの各周波数成分の左右比が、処理前後で保たれる。これにより、本来の定位感を保ったままノイズを低減した音声を得ることができる。
また、右チャンネルにおける推定ノイズスペクトルの算出およびノイズスペクトルの低減（左チャンネルにおけるノイズスペクトル推定部５２Ｌとノイズスペクトル低減部５３Ｌ）を省くことができる。これにより、演算量、および必要なメモリを削減することができる。
【００５９】
ここで、上記実施形態では、左チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて右チャンネルのスペクトル調整を行っている。
しかし、この左右チャンネルの分担は、逆であっても良い。つまり、右チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて左チャンネルのスペクトル調整を行うものであってもよい。さらに、状況に応じて切り替えるように構成しても良い。
【００６０】
左右のチャンネルの処理を状況に応じて切り替える構成としては、たとえば、制御部１２によってノイズの発生源に対してステレオ集音装置４１における左マイク４１Ｌと右マイク４１Ｒのいずれが近いかを判断し、近い方のマイク入力のチャンネルの音情報に対して推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて他方のチャンネルのスペクトル調整を行うように構成してもよい。
【００６１】
また、左右のチャンネルの処理を状況に応じて切り替える他の構成として、ＡＦエンコーダ２２の出力信号に基づいて音信号内におけるＡＦ駆動ノイズの発生を検知した際に、音信号入力が小さい側のチャンネルの音情報に対して推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて他方のチャンネルのスペクトル調整を行うように構成しても良い。
これは、ステレオ集音装置４１における左マイク４１Ｌと右マイク４１Ｒから入力されるノイズの条件が略同一であれば、音信号入力が小さい方がノイズの割合が大きいと考えられるためである。これによれば、より精度の高いノイズ低減効果が得られる。
【００６２】
さらに、左右のチャンネルの処理を状況に応じて切り替える他の構成として、ＡＦ駆動の動作音の変動を検出し、その変動に伴って音信号が変動するチャンネルの音情報に対して推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて他方のチャンネルのスペクトル調整を行うように構成しても良い。
これは、ＡＦ駆動の動作音の変動に伴って音信号が変動するチャンネルの音情報にはＡＦ駆動ノイズが含まれている可能性が高いためである。これにより、精度の高いノイズ低減効果が得られる。
また、左右のチャンネルの処理を状況に応じて切り替える更なる構成として、図１において点線で示すように、切り替え用のスイッチ４３をカメラ本体１０に設けても良い。
【００６３】
以上、第１実施形態によると、以下の効果を有する。
（１）カメラ１は、その音情報処理部５０が、一方のチャンネルの音情報に対してスペクトル減算法でノイズ低減処理すると共に、この情報を用いて他方のチャンネル（右チャンネル）の音情報に対してスペクトル調整処理を行う。
スペクトル調整処理は、ノイズ低減処理前の一方のチャンネルの周波数スペクトルに対する、他方のチャンネルの周波数スペクトルの周波数領域毎の振幅の比で、一方のチャンネルのノイズ低減処理後の周波数スペクトルの周波数領域毎の振幅を調整して他方のチャンネルの周波数スペクトルを得る。
これにより、周波数スペクトルの各周波数成分の左右比が処理前後で保たれ、本来の定位感や臨場感を保ったままノイズを低減した音声を得ることができる。
（２）また、一方のチャンネルにおける推定ノイズスペクトルの算出およびノイズスペクトルの低減を省くことができる。これにより、演算量、および必要なメモリを削減することができる。
【００６４】
（第２実施形態）
つぎに、図７を参照して、本発明の第２実施形態を説明する。
図７は、第２実施形態における音情報処理部５００の機能部のブロック図である。
なお、本第２実施形態における音情報処理部５００は、前述した第１実施形態における音情報処理部５０と置換されるものであり、それ以外の構成は第１実施形態と同様であるため説明は省略する。また、音情報処理部５００内の各構成要素についても、前述した第１実施形態における音情報処理部５０と同機能のものは同符号を付して説明を省略する。
また、音情報処理部５００のノイズスペクトル低減部５３Ｌ、ノイズスペクトル低減部５３Ｒは、第１実施形態と同様であるので説明及び図示は省略するが、それぞれ、衝撃音ノイズ低減処理部５３Ａ及び駆動音ノイズ低減処理部５３Ｂを含む。
【００６５】
図７に示す音情報処理部５００は、左チャンネル優先処理部５０Ｌと、右チャンネル優先処理部５０Ｒと、平均値算出部５６Ｌ，５６Ｒと、を備えている。
左チャンネル優先処理部５０Ｌは、前述した第１実施形態における音情報処理部５０と同様の構成であって、左右両チャンネルそれぞれに対するスペクトル変換部５１Ｌ，５１Ｒと、左チャンネルに対するノイズスペクトル推定部５２Ｌと、左チャンネルに対するノイズスペクトル低減部５３Ｌと、右チャンネルに対するスペクトル調整部５４Ｒと、左右両チャンネルに対する逆変換部５５Ｌ，５５Ｒと、を備えている。そして、左チャンネル優先処理部５０Ｌは、左チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共に、その情報に基づいて右チャンネルのスペクトル調整を行って、左チャンネルの音データを平均値算出部５６Ｌに、右チャンネルの音データを平均値算出部５６Ｒに、それぞれ出力する。
【００６６】
右チャンネル優先処理部５０Ｒは、左チャンネル優先処理部５０Ｌとは左右のチャンネルの処理が入れ替わっており、左右両チャンネルそれぞれに対するスペクトル変換部５１Ｌ，５１Ｒと、右チャンネルに対するノイズスペクトル推定部５２Ｒと、右チャンネルに対するノイズスペクトル低減部５３Ｒと、左チャンネルに対するスペクトル調整部５４Ｌと、左右両チャンネルに対する逆変換部５５Ｌ，５５Ｒと、を備えている。そして、右チャンネル優先処理部５０Ｒは、右チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共にその情報に基づいて左チャンネルのスペクトル調整を行って、左チャンネルの音データを平均値算出部５６Ｌに、右チャンネルの音データを平均値算出部５６Ｒに、それぞれ出力する。
【００６７】
平均値算出部５６Ｌ，５６Ｒは、左チャンネル優先処理部５０Ｌと右チャンネル優先処理部５０Ｒの左右チャンネルの出力から、それぞれ平均値を算出する。つまり、平均値算出部５６Ｌは、左チャンネル優先処理部５０Ｌの左チャンネル出力と右チャンネル優先処理部５０Ｒの左チャンネルの出力との平均値を出力する。また、平均値算出部５６Ｒは、左チャンネル優先処理部５０Ｌの右チャンネル出力と右チャンネル優先処理部５０Ｒの右チャンネルの出力との平均値を出力する。
【００６８】
本第２実施形態における音情報処理部５００の処理によれば、たとえば、音源が左右に移動しているような場合であっても、左右対称な処理になり、音源の移動方向に関わらず同様なノイズ低減効果を得ることができる。つまり、左右いずれか一方側のみでノイズスペクトル推定とノイズ低減処理を行うと、音源が左側から右側に移動している場合と右側から左側に移動している場合とで、ノイズ低減効果が変わる可能性があるが、本構成ではこのようなことがない。
【００６９】
なお、音情報処理部５００は、左チャンネル優先処理部５０Ｌと、右チャンネル優先処理部５０Ｒとを備え、左右のチャンネルにおいてノイズスペクトル推定とノイズ低減処理とを行う。これにより演算量の増加が懸念されるが、これはスペクトル変換におけるサンプリング数を調整して対応すれば良い。
【００７０】
以上、第２実施形態によると、以下の効果を有する。
（１）音情報処理部５００は、左チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共にその情報に基づいて右チャンネルのスペクトル調整を行う左チャンネル優先処理部５０Ｌと、右チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共にその情報に基づいて左チャンネルのスペクトル調整を行う右チャンネル優先処理部５０Ｒと、両者の出力する左右チャンネルの音データをそれぞれ平均する平均値算出部５６Ｌ，５６Ｒを備えている。これにより、左右対称な処理になり、音源の移動等に関わらず同様なノイズ低減効果を得ることができる。
【００７１】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）本実施形態は、本発明を、１対（２個）のマイク（左マイク４１Ｌおよび右マイク４１Ｒ）を備えてステレオ録音するカメラ１に適用したものである。しかし、集音部（マイク）の数はこれに限るものではなく、３個以上のマイクを備えた、例えば多チャンネルのサラウンド録音を行うもの等に適用しても良い。
複数の集音部を備える場合には、定められた集音部の音情報に対してノイズ低減処理すると共にその情報を用いて他の集音部の音情報に対してスペクトル調整処理を行うが、処理は必ずしも他の全ての音情報に対して行う必要は無く、一部の集音部の音情報に対しては処理を行わない構成としても良い。
また、複数の集音部をグループに分け、グループ毎に特定の集音部の音情報に対してノイズ低減処理すると共にその情報を用いてグループ内の他の集音部の音情報に対してスペクトル調整処理を行うように構成しても良い。
【００７２】
（２）本実施形態では、録音部４０の音情報処理部５０が低減処理対象とするノイズは、フォーカシングレンズ２１を移動駆動するＡＦ駆動モータ２３の駆動によるＡＦ駆動音である。しかし、低減対象とするノイズはこれに限るものではない。たとえば、オートズームの駆動音、手振れ補正レンズの駆動音、およびスイッチ類の操作音等に適用しても良い。
【００７３】
（３）上記実施形態は、本発明を動画撮影と同時に録音可能なカメラに適用したものであるが、撮影機能を備えない録音装置に適用しても良いものである。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００７４】
１：カメラ、１０：カメラ本体、２０：レンズ鏡筒、４０：録音部、４１：ステレオ集音装置、４１Ｌ：左マイク、４１Ｒ：右マイク、５０，５００：音情報処理部、５０Ｌ：左チャンネル優先処理部、５０Ｒ：右チャンネル優先処理部、５１Ｌ：スペクトル変換部、５１Ｒ：スペクトル変換部、５２Ｌ：ノイズスペクトル推定部、５２Ｒ：ノイズスペクトル推定部、５３Ｌ：ノイズスペクトル低減部、５３Ｒ：ノイズスペクトル低減部、５４Ｌ：スペクトル調整部、５４Ｒ：スペクトル調整部、５５Ｌ：逆変換部、５５Ｒ：逆変換部、５６Ｌ：平均値算出部、５６Ｒ：平均値算出部
【図１】
2014026002.tif 000003
【図２】
2014026002.tif 000004
【図３】
2014026002.tif 000005
【図４】
2014026002.tif 000006
【図５】
2014026002.tif 000007
【図６】
2014026002.tif 000008
【図７】
2014026002.tif 000009