(57)【特許請求の範囲】
【請求項１】
光学系による像を撮影する撮影部と、
音波を電気信号に変換するマイクと、
撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があるか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断部と、
前記判断部が撮影動作に変化があると判断したときと前記判断部が撮影動作に変化があると判断しないときとで前記電気信号のノイズを低減させる処理を切替え、前記判断部が撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、前記電気信号に時間領域でノイズ低減処理を行い、前記判断部が撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、前記電気信号に周波数領域でノイズ低減処理を行うノイズ処理部とを含み、
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断し、前記判断部が撮影動作の開始を判断する場合には、撮影動作の開始があった前の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行い、前記判断部が撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行う
ことを特徴とする撮影装置。
【請求項２】
光学系による像を撮影する撮影部と、
音波を電気信号に変換するマイクと、
撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があるか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断部と、
前記判断部が撮影動作に変化があると判断したときと前記判断部が撮影動作に変化があると判断しないときとで前記電気信号のノイズを低減させる処理を切替え、前記判断部が撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、時間軸に対して規定された信号として前記電気信号にノイズ低減処理を行い、前記判断部が撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、周波数に対して規定された信号として前記電気信号にノイズ低減処理を行うノイズ処理部とを含み、
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断し、前記判断部が撮影動作の開始を判断する場合には、撮影動作に変化があった前の前記電気信号に基づいて、時間軸に対して規定された信号として前記一時的なノイズを含む前記電気信号に対してノイズ低減処理を行い、前記判断部が撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、時間軸に対して規定された信号として前記一時的なノイズを含む前記電気信号に対してノイズ低減処理を行う
ことを特徴とする撮影装置。
【請求項３】
請求項１または請求項２に記載された撮影装置であって、前記ノイズ処理部は、前記電気信号のうち撮影動作に変化があると判断された時刻を含む時間領域についてノイズ低減処理を行った後、
前記電気信号を周波数に対して規定された信号としてノイズ低減処理を行うことを特徴とする撮影装置。
【請求項４】
請求項１から請求項３までの何れか１項に記載された撮影装置であって、
前記判断部は、衝撃音を生じさせる撮影動作の変化があるか否かを判断することを特徴とする撮影装置。
【請求項５】
請求項１から請求項４までの何れか１項に記載された撮影装置であって、
前記判断部が判断する撮影動作の変化は、撮影において駆動されるアクチュエータの動作変化、撮影者が操作可能な操作部の動作変化のうち少なくとも一方であることを特徴とする撮影装置。
【請求項６】
請求項１から請求項５までの何れか１項に記載された撮影装置であって、
前記判断部は、前記電気信号を用いて撮影動作に変化があるか否かを判断することを特徴とする撮影装置。
【請求項７】
請求項１から請求項６までの何れか１項に記載された撮影装置であって、
前記判断部は、動作部の動作の開始、及び、動作部の動作の終了の少なくとも一方について判断し、
前記ノイズ処理部は、前記判断部が動作部の動作の開始であると判断したとき、動作部の動作の開始前の前記電気信号を用いてノイズ低減処理を行い、前記判断部が動作部の動作の終了であると判断したとき、動作部の動作の終了後の前記電気信号を用いてノイズ低減処理を行うことを特徴とする撮影装置。
【請求項８】
請求項１から請求項７までの何れか１項に記載された撮影装置であって、
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断したタイミングに対して、予め定められた時間を加算することにより得られたタイミングを含む区間に収まる一時的なノイズを除去する
ことを特徴とする撮影装置。
【請求項９】
請求項１から請求項８までの何れか１項に記載された撮影装置であって、
前記信号検出部は、前記センサ信号及び前記制御信号の少なくとも一方に基づいて、前記光学系における移動範囲を制限する端部により発生する一時的なノイズの発生タイミングを推定し、
前記判断部は、前記撮影動作に変化があるか否かを、推定された前記発生タイミングに基づいて判断することを特徴とする撮影装置。
【請求項１０】
請求項１から請求項９までの何れか１項に記載された撮影装置であって、
前記ノイズ処理部は、時間領域で所定区間を除去した前記電気信号に対する重み付けと複製された前記電気信号に対する重み付けとに基づいて、前記所定区間を除去した前記電気信号と前記複製された電気信号とを連続的に接続することを特徴とする撮影装置。
【請求項１１】
光学系による像を形成する光学系と、
音波を電気信号に変換するマイクと、
撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があるか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断部と、
前記判断部が撮影動作に変化があると判断したときと前記判断部が撮影動作に変化があると判断しないときとで前記電気信号のノイズを低減させる処理を切替え、前記判断部が
撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、前記電気信号に時間領域でノイズ低減処理を行い、前記判断部が撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、前記電気信号に周波数領域でノイズ低減処理を行うノイズ処理部とを含み、
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断し、前記判断部が撮影動作の開始を判断する場合には、撮影動作の開始があった前の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行い、前記判断部が撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行う
ことを特徴とする光学装置。
【請求項１２】
コンピュータに、
撮影時に取得された音響信号としての電気信号、及び、撮影状態を検出するセンサにより検出されたセンサ信号及び撮影を制御するための制御信号のうち少なくとも一方を受け取る入力手順と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があったか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断手順と、
撮影動作に変化があったと判断したときと撮影動作に変化があったと判断しないときとで前記電気信号のノイズを低減させる処理を切替え、撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、前記電気信号に時間領域でノイズ低減処理を行い、撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、前記電気信号に周波数領域でノイズ低減処理を行う際、撮影動作に変化があると判断し、撮影動作の開始を判断する場合には、撮影動作に変化があった前の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行い、撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行うノイズ処理手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号からノイズを周波数領域で減算する撮影装置、光学装置、及びプログラムに関する。
【背景技術】
【０００２】
音信号から、モータ駆動によるノイズを周波数領域で減算することで、その音信号に発生したノイズを低減させる撮影装置が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２０３３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ノイズには、モータの駆動開始等に振幅が大きく瞬間的に発生するノイズと、そのノイズに続いて、モータが駆動している期間に定常的に発生するノイズとがある。そして、特許文献１に開示された撮影装置は、振幅が大きく瞬間的に発生するノイズと、モータが駆動している期間に定常的に発生するノイズとを区別せずにノイズ低減処理を実行していたため、振幅が大きく瞬間的に発生するノイズを低減させることができないという問題があった。
【０００５】
本発明は、音信号のノイズを低減させることができる撮影装置、光学装置、及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、光学系による像を撮影する撮影部と、音波を電気信号に変換するマイクと、撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、撮影動作に変化があるか否かを判断する判断部と、前記判断部が撮影動作に変化があると判断したときと、前記判断部が撮影動作に変化があると判断しないときとで、前記電気信号のノイズを低減させる処理を異ならせるノイズ処理部とを含むことを特徴とする撮影装置である。
【０００７】
また、本発明は、光学系による像を形成する光学系と、音波を電気信号に変換するマイクと、撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、撮影動作に変化があるか否かを判断する判断部と、前記判断部が撮影動作に変化があると判断したときと、前記判断部が撮影動作に変化があると判断しないときとで、前記電気信号のノイズを低減させる処理を異ならせるノイズ処理部とを含むことを特徴とする光学装置である。
【０００８】
また、本発明は、コンピュータに、撮影時に取得された音響信号、及び、撮影状態を検出するセンサにより検出されたセンサ信号及び撮影を制御するための制御信号のうち少なくとも一方を受け取る入力手順と、前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、撮影動作に変化があったか否かを判断する判断手順と、撮影動作に変化があったと判断したときと、前記判断部が撮影動作に変化があったと判断しないときとで、前記音響信号のノイズを低減させる処理を異ならせるノイズ処理手順とを実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、音信号のノイズを好適に低減し得る撮影装置、光学装置、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態における撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるＡＦエンコーダの出力の一例と、マイク出力信号に発生した衝撃音ノイズ及び駆動音ノイズの一例を示す図である。
【図３】本発明の第１の実施形態における制御信号の波形の一例を示す図である。
【図４】本発明の第１の実施形態におけるマイク出力信号（周期音）に発生した衝撃音ノイズ及び駆動音ノイズの一例を示す図である。
【図５】本発明の第１の実施形態における区間Ａのマイク出力信号を、時間領域で除去した一例を示す図である。
【図６】本発明の第１の実施形態における区間Ａに、当該区間より前のマイク出力信号を補間した一例を示す図である。
【図７】本発明の第１の実施形態におけるマイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたノイズ低減処理信号の一例を示す図である。
【図８】本発明の第１の実施形態における区間Ａの終了点である時刻ｔｃと、ハニング窓関数との位置関係の一例を示す図である。
【図９】本発明の第１の実施形態における区間Ａの終了点である時刻ｔｃと、ハニング窓関数との位置関係の一例を示す図である。
【図１０】本発明の第１の実施形態における区間Ａの終了点である時刻ｔｃと、ハニング窓関数との位置関係の一例を示す図である。
【図１１】本発明の第１の実施形態における減算係数の一例を示す図である。
【図１２】本発明の第２の実施形態におけるマイク出力信号（非周期音）に発生した衝撃音ノイズ及び駆動音ノイズの一例を示す図である。
【図１３】本発明の第２の実施形態における時間領域で区間Ｔｃを除去した後のマイク出力信号の一例を示す図である。
【図１４】本発明の第２の実施形態における複製されたマイク出力信号の一例を示す図である。
【図１５】本発明の第２の実施形態におけるクロスフェードにおける重み付けの一例を示す図である。
【図１６】本発明の第２の実施形態におけるマイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたノイズ低減処理信号の一例を示す図である。
【発明を実施するための形態】
【００１１】
[第１の実施形態]
本発明の第１の実施形態について図面を参照して詳細に説明する。図１には、撮像装置の構成を示すブロック図が示されている。撮像装置（撮影装置）１００は、光学系による像を撮像（撮影）し、得られた画像データを記憶媒体２００に記憶させる。また、撮像装置１００は、収音された音からノイズを低減させ、得られた音信号を記憶媒体２００に記憶させる。
【００１２】
撮像装置１００は、撮像部１１０と、画像処理部１４０と、表示部１５０と、バッファメモリ１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１９０と、マイク２３０と、音信号処理部２４０と、低減処理部２５０と、通信部１７０を備える。
【００１３】
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。また、撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
【００１４】
光学系１１１は、ズームレンズ１１４と、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、手振れ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ  Ｒｅｄｕｃｔｉｏｎ）レンズ」という）１１３と、レンズ駆動部１１６と、ズームエンコーダ１１５と、ＡＦエンコーダ１１７と、像ぶれ補正部１１８を備える。光学系１１１は、ズームレンズ１１４、ＡＦレンズ１１２、及びＶＲレンズ１１３を通過した入射光を、撮像素子１１９の受光面に導いて、光学像を形成する。なお、光学系１１１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００１５】
ズームエンコーダ１１５は、撮影状態として、ズームレンズ１１４の駆動方向を検出し、ズームレンズ１１４の駆動方向に応じた信号を、センサ信号としてＣＰＵ１９０に出力する。ここで、ズームレンズ１１４の駆動方向に応じた信号とは、ズームレンズ１１４が、光学系１１１内において停止されている状態、無限端方向に駆動されている状態（ズームレンズ１１４を駆動するためのモータ、カム等が、例えば、時計回り（ＣＷ）に回転）、又は至近端方向に駆動されている状態（ズームレンズ１１４を駆動するためのモータ、カム等が、例えば、反時計回り（ＣＣＷ）に回転）のいずれかの状態にあることを示す信号であってもよい。すなわち、ズームレンズ１１４の駆動方向の検出とは、ズームレンズ１１４を駆動するためのモータ、カム等の回転方向の検出であってもよい。なお、このズームレンズ１１４を駆動するためのモータ、カム等は、レンズ駆動部１１６に備えられてもよい。また、ズームエンコーダ１１５は、検出したズームレンズ１１４の駆動方向及び駆動量に基づいて、ズームレンズ１１４の位置を表わすズームポジションを検出し、センサ信号としてＣＰＵ１９０に出力する。
【００１６】
ＡＦエンコーダ１１７は、撮影状態として、ＡＦレンズ１１２の駆動方向を検出し、ＡＦレンズ１１２の駆動方向に応じた信号を、センサ信号としてＣＰＵ１９０に出力する。ここで、ＡＦレンズ１１２の駆動方向に応じた信号とは、ＡＦレンズ１１２が、光学系１１１内において停止されている状態、無限端方向に駆動されている状態（ＡＦレンズ１１２を駆動するためのモータ、カム等が、例えば、時計回り（ＣＷ）に回転）、又は至近端方向に駆動されている状態（ＡＦレンズ１１２を駆動するためのモータ、カム等が、例えば、反時計回り（ＣＣＷ）に回転）のいずれかの状態にあることを示す信号であってもよい。すなわち、ＡＦレンズ１１２の駆動方向の検出とは、ＡＦレンズ１１２を駆動するためのモータ、カム等の回転方向の検出であってもよい。なお、このＡＦレンズ１１２を駆動するためのモータ、カム等は、レンズ駆動部１１６に備えられてもよい。また、ＡＦエンコーダ１１７は、検出したＡＦレンズ１１２の駆動方向及び駆動量に基づいて、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、センサ信号としてＣＰＵ１９０に出力する。
【００１７】
像ぶれ補正部１１８は、撮影状態として、光学系１１１による像のぶれを検出し、センサ信号としてＣＰＵ１９０に出力する。そして、像ぶれ補正部１１８は、後述するＣＰＵ１９０から入力される制御信号に基づいて、当該ぶれを打ち消す方向にＶＲレンズ１１３を駆動する。なお、像ぶれ補正部１１８は、ＶＲレンズ１１３の位置を検出し、センサ信号としてＣＰＵ１９０に出力してもよい。
【００１８】
レンズ駆動部１１６は、後述するＣＰＵ１９０から入力される制御信号に基づいて、ＡＦレンズ１１２及びズームレンズ１１４の位置を制御する。レンズ駆動部１１６は、撮影において駆動されるアクチュエータを備える。ここで、撮影において駆動されるアクチュエータとは、例えば、ＡＦレンズ１１２及びズームレンズ１１４などを駆動するモータであってもよい。そして、このアクチュエータは、撮像装置１００、又は撮像装置１００から着脱可能な光学系（レンズ鏡筒）のいずれかに備えられてもよい。
【００１９】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
【００２０】
また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０及び表示部１５０に出力する。
【００２１】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
【００２２】
操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ１９０に出力する。
【００２３】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。
【００２４】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１００によって得られた画像データ、及び操作画面等を表示する。
【００２５】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音した音に応じた音信号を、一時的に記憶する。
【００２６】
マイク２３０は、音を収音し、その音波を電気信号（アナログ信号）に変換して出力する。すなわち、マイク２３０は、収音した音に応じた音信号（以下、「マイク出力信号」という）を、音信号処理部２４０を介してバッファメモリ部１３０に出力する。
【００２７】
そして、マイク出力信号には、動作部が発した音によって、衝撃音ノイズ又は駆動音ノイズの少なくとも一方が重畳される可能性がある。ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０のことであり、撮像装置１００が備える構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。
【００２８】
また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００２９】
また、ここでいう駆動音ノイズとは、動作部が動作している区間（期間）に、マイク出力信号に定常的に発生するノイズである。また、衝撃音ノイズとは、撮影動作に変化がある場合に、すなわち、動作部の動作開始、動作終了、動作方向の反転、又は動作部が操作された場合に、駆動音ノイズよりも振幅が大きく、瞬間的にマイク出力信号に発生するノイズである。
【００３０】
例えば、衝撃音ノイズは、光学系１１１が備えるギア（不図示）が噛み合うことにより発生するノイズであってもよい。また、衝撃音ノイズは、例えば、ズームレンズ１１４の移動範囲を制限する端部に、ズームレンズ１１４の機構が当たることにより発生するノイズであってもよい。
【００３１】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
【００３２】
また、記憶部１６０は、特定の音情報を含む信号（以下、「推定ノイズ信号」という）と、動作部とを対応づけて、予め記憶する。ここで、特定の音情報とは、例えば、予め録音された駆動音ノイズの波形情報あってもよい。そして、推定ノイズ信号は、フーリエ変換された信号であってもよい。
【００３３】
音信号処理部２４０は、マイク２３０が出力したマイク出力信号をデジタル化し、バッファメモリ部１３０に記憶させる。
【００３４】
ＣＰＵ１９０は、撮像装置全体を制御するが、一例としては、設定された撮像条件（例えば絞り値、露出値等）に従って、撮像部１１０を制御する。また、ＣＰＵ１９０は、撮ズームエンコーダ１１５から入力されるズームポジション、および、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力に基づいて、ズームエンコーダ１１５およびＡＦエンコーダ１１７の位置を制御する制御信号を生成する。ＣＰＵ１９０は、この制御信号に基づいて、レンズ駆動部１１６を介してズームエンコーダ１１５およびＡＦエンコーダ１１７の位置を制御する。
【００３５】
また、このＣＰＵ１９０は、検出部１９１を備える。この検出部１９１は、撮像装置１００が備える動作部が動作するタイミングを検出する。そして、検出部１９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、または、この駆動部を駆動させる制御信号である。
【００３６】
たとえば、検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、又はＡＦレンズ１１２を駆動させるために、レンズ駆動部１１６若しくは像ぶれ補正部１１８に入力される制御信号に基づいて、又はＣＰＵ１９０で生成される制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ１９０が制御信号を生成する場合に、検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００３７】
また、この検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００３８】
たとえば、検出部１９１は、ズームエンコーダ１１５又はＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４又はＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、検出部１９１は、像ぶれ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、この検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００３９】
そして、検出部１９１は、撮像装置１００が備える動作部が動作するタイミングを検出し、このタイミングを示す信号を、低減処理部２５０の後述する判断部２５１に出力する。
【００４０】
次に、低減処理部２５０の詳細について説明する。
低減処理部２５０は、判断部２５１を備える。判断部２５１は、タイミングを示す信号に基づいて、撮影動作に変化があるか否かを判断する。そして、低減処理部２５０は、判断部２５１が撮影動作に変化があると判断したときと、判断部２５１が撮影動作に変化があると判断しないときとで、衝撃音ノイズ及び駆動音ノイズを低減させる処理を異ならせる。例えば、判断部２５１は、タイミングを示す信号に基づいて、衝撃音が発生していると判断できるとき、撮影動作に変化があると判断してもよい。また、判断部２５１は、タイミングを示す信号に基づいて、定常音が発生していると判断できるとき、撮影動作に変化がない、と判断してもよい。また、判断部２５１は、タイミングを示す情報に基づいて、撮影動作をしていないと判断できるとき、又は、衝撃音も定常音も発生していないと判断できるとき、ノイズが発生していない、と判断してもよい。
【００４１】
具体的には、低減処理部２５０は、その判断により異ならせる処理として、衝撃音ノイズに対しては、時間領域でノイズ低減処理を実行することで、衝撃音ノイズを低減させる。一方、駆動音ノイズに対しては、例えばスペクトル減算法により、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。そして、低減処理部２５０は、ノイズが低減されたマイク出力信号を、ノイズ減算処理信号（音データ）として通信部１７０に出力する。
【００４２】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ、及びノイズ減算処理信号等）の書込み、読み出し、あるいは消去を行う。
【００４３】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１００によって生成された画像データ、及びノイズ減算処理信号等を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。
【００４４】
次に、動作部が動作するタイミングの一例として、ＡＦレンズ１１２が動作するタイミングと、マイク出力信号に発生する衝撃音ノイズ及び駆動音ノイズとの関係について説明する。
【００４５】
図２には、ＡＦエンコーダの出力の一例と、マイク出力信号に発生した衝撃音ノイズ及び駆動音ノイズの一例が示されている。図２（Ａ）及び（Ｂ）の横軸は、時刻を示す。図２（Ａ）の縦軸は、ＡＦエンコーダの出力として、ＡＦレンズ１１２の駆動方向を示す。すなわち、動作部としてのＡＦレンズ１１２が、光学系１１１内において停止、無限端方向に駆動（ＡＦレンズ１１２を駆動するためのモータ、カム等が、例えば、時計回り（ＣＷ）に回転）、又は至近端方向に駆動（ＡＦレンズ１１２を駆動するためのモータ、カム等が、例えば、反時計回り（ＣＣＷ）に回転）のいずれかの状態にあることを示す。また、図２（Ｂ）の縦軸は、マイク２３０が出力したマイク出力信号を示す。
【００４６】
例えば、時刻ｔ１において、ＡＦレンズ１１２を駆動するためのモータ、カム等が、停止から時計回りの回転に変化（駆動開始）したとする（図２（Ａ）を参照）。これに起因して、マイク出力信号に衝撃音ノイズが発生し、それに続いて、駆動音ノイズが発生していることが、図２（Ｂ）に示されている。そして、ＡＦレンズ１１２を駆動するためのモータ、カム等が回転（駆動）を続けて、時刻ｔ２で停止（駆動終了）したとする。これにより、時刻ｔ２において、衝撃音ノイズが発生していることが、図２（Ｂ）に示されている。
【００４７】
さらに、例えば、時刻ｔ３において、ＡＦレンズ１１２を駆動するためのモータ、カム等が、停止から時計回りの回転に変化（駆動開始）したとする（図２（Ａ）を参照）。これに起因して、時刻ｔ３において、マイク出力信号に衝撃音ノイズが発生し、それに続いて、駆動音ノイズが発生していることが、図２（Ｂ）に示されている。そして、ＡＦレンズ１１２を駆動するためのモータ、カム等が回転（駆動）を続けて、時刻ｔ４で回転方向（駆動方向）が反転したとする。これにより、時刻ｔ４において、衝撃音ノイズが発生していることが、図２（Ｂ）に示されている。さらに、ＡＦレンズ１１２を駆動するためのモータ、カム等が回転（駆動）を続けて、時刻ｔ５で停止（駆動終了）したとする。これにより、時刻ｔ５において、衝撃音ノイズが発生していることが、図２（Ｂ）に示されている。
【００４８】
図２に示された一例のように、ＡＦレンズ１１２による衝撃音ノイズ及び駆動音ノイズは、ＡＦレンズ１１２が動作するタイミング（ｔ１，ｔ２，ｔ３，ｔ４，ｔ５）に同期して発生する。そして、検出部１９１は、ＡＦレンズ１１２が動作するタイミング（ｔ１，ｔ２，ｔ３，ｔ４，ｔ５）を検出し、このタイミングを示す信号を、判断部２５１に出力する。さらに、判断部２５１は、このタイミングを示す信号に基づいて、そのタイミング（ｔ１，ｔ２，ｔ３，ｔ４，ｔ５）で撮影動作に変化があったと判断する。同様に、判断部２５１は、タイミングを示す信号に基づいて、時刻ｔ１〜ｔ２、ｔ３〜ｔ４、ｔ４〜ｔ５に駆動音ノイズ（定常音）が発生し、撮影動作に変化がない旨の判断をする。同様に、判断部２５１は、タイミングを示す信号に基づいて、時刻ｔ２〜ｔ３に駆動停止しており（撮影動作をしていない）、ノイズが発生していない旨の判断をする。
【００４９】
次に、ノイズ低減処理の詳細を説明する。
以下、第１の実施形態において、マイク２３０に収音された音（マイク出力信号）には、基本周期があるものとする。そして、マイク２３０に収音された音に基本周期がない場合については、第２の実施形態に後述する。以下、検出部１９１が検出したタイミングが、動作部が動作を開始したタイミングである場合について、説明する。
【００５０】
図３には、制御信号の波形の一例が示されている。ここで、制御信号は、時刻ｔ１からレベルが上昇している。このような場合、検出部１９１は、例えば、制御信号のレベルが上昇した時刻ｔ１を、動作部の動作開始時刻ｔ１とする。また、図４には、マイク出力信号（周期音）に発生した衝撃音ノイズ及び駆動音ノイズの一例が示されている。そして、図３と同様に、時刻ｔ１において、マイク出力信号に衝撃音ノイズが発生している。さらに、時刻ｔ１より後において、動作部が動作している区間には、マイク出力信号に駆動音ノイズが発生している。
【００５１】
低減処理部２５０は、検出部１９１が検出したタイミングを含む区間（以下、「区間Ａ」という。図２（Ａ）のタイミングｔ１，ｔ２，ｔ３，ｔ４，ｔ５を参照。）のマイク出力信号（時間軸に対して規定された信号）を、時間領域で除去する。例えば、低減処理部２５０は、区間Ａのマイク出力信号を時間領域で除去するために、区間Ａのマイク出力信号の値を、全て「０」（無音）にする。
【００５２】
図５には、区間Ａのマイク出力信号を、時間領域で除去した一例が示されている。以下、区間Ａの終了点を時刻ｔｃとする。ここで、低減処理部２５０は、除去する区間の長さを、マイク出力信号の基本周期の整数倍としてもよい。このようにすれば、図６を用いて後述する信号補間処理において、除去する区間の長さが、その区間に補間される信号の波長の整数倍となるので、信号補間処理を容易にすることができる。
【００５３】
本実施例では、説明を簡単にするために、マイク出力信号の振幅が値「０」となっている時刻から、振幅が再び値「０」となっている時刻までの時間を、マイク出力信号の基本周期とする方法を用いた。そして、低減処理部２５０は、マイク出力信号の振幅が値「０」となっている時刻から、振幅が再び値「０」となっている時刻までの区間、又はその区間の整数倍の区間を除去してもよい。このようにすれば、図６を用いて後述する信号補間処理において、補間された信号と、その前後の信号とが振幅「０」で連続するので、信号の不連続点を作らないようにすることができる。
【００５４】
なお、音の基本周期を求める方法としては、自己相関関数法、ケプストラム法等がある。この自己相関関数法は、音信号の自己相関関数のピークを検出して、基本周期を求める方法である。また、ケプストラム法は、音信号のスペクトルの対数を逆フーリエ変換して求めたケプストラムのピークを検出して、基本周期を求める方法である。
【００５５】
図６には、区間Ａに、当該区間より前のマイク出力信号を補間した一例が示されている。低減処理部２５０は、区間Ａに、当該区間より前のマイク出力信号を補間する（信号補間処理）。ここで、区間Ａに補間されるマイク出力信号の区間（以下、「区間Ｂ」という）は、区間Ａと同じ長さの区間であって、区間Ａより前に位置する区間である。例えば、低減処理部２５０は、区間Ａの直前に位置する区間を、区間Ｂとしてもよい。そして、低減処理部２５０は、区間Ｂのマイク出力信号を、区間Ａに補間する。これにより、低減処理部２５０は、区間Ａのノイズを時間領域で除去する。
【００５６】
次に、低減処理部２５０は、駆動音ノイズの発生している区間（時刻ｔｃ以降で、動作部が動作している区間。図２（Ａ）のタイミングｔ１〜ｔ２，ｔ３〜ｔ４，ｔ４〜ｔ５を参照。）に対しては、例えばスペクトル減算法により、マイク出力信号を周波数に対して規定された信号として、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。図７には、マイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたノイズ低減処理信号の一例が示されている。なお、低減処理部２５０は、区間Ａに対しても、例えばスペクトル減算法により、周波数領域でノイズ低減処理を実行してもよい。
【００５７】
そして、低減処理部２５０は、マイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたマイク出力信号を、ノイズ減算処理信号（音データ）として通信部１７０に出力する。これにより、ノイズ減算処理信号は、記憶媒体２００に記憶される。
【００５８】
なお、検出部１９１が検出したタイミングが、動作部が動作を終了したタイミングである場合、低減処理部２５０は、動作部が動作を終了したタイミングを含む区間のマイク出力信号を、動作部が動作を開始したタイミングを含む区間に対する場合と同様に、時間領域で除去する。そして、低減処理部２５０は、当該除去された区間より後の区間のマイク出力信号を、除去された区間に補間する。さらに、低減処理部２５０は、例えばスペクトル減算法によって、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。なお、ノイズが発生していないと判断部２５１により判断された時刻ｔ２〜ｔ３については、低減処理部２５０は、ノイズ低減処理を行わなくてもよい。
【００５９】
＜減算係数について＞
低減処理部２５０は、予め定められた区間を信号処理の単位として、ノイズの減算処理を実行する。ここで、予め定められた区間は、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間であってもよい。そして、これらの予め定められた区間は、他の予め定められた区間と半分ずつ順にオーバーラップしていてもよい。
【００６０】
そして、低減処理部２５０は、予め定められた区間ごとにマイク出力信号を窓関数で重み付けする。さらに、低減処理部２５０は、窓関数で重み付けされたマイク出力信号から、推定ノイズを周波数領域で減算することで、マイク出力信号に発生したノイズを低減させる。
【００６１】
ここで、区間の一部のみにノイズが発生している場合、その区間に対して、推定ノイズをそのまま減算してしまうと、ノイズを低減し過ぎてしまう場合がある。このため、低減処理部２５０は、推定ノイズを減算係数で重み付けし、重み付けされた推定ノイズを、窓関数で重み付けされたマイク出力信号から周波数領域で減算してもよい。そして、予め定められた区間に対応する減算係数は、その区間に対応する窓関数と、区間Ａの終了点である時刻ｔｃとの相対位置に応じて、次のように定められる。
【００６２】
以下、窓関数は、一例として、ハニング窓（ハニングウィンドウ）関数であるとして説明する。図８〜１０には、区間Ａの終了点である時刻ｔｃと、窓関数との位置関係の一例が示されている。この時刻ｔｃは、図５及び６に示された時刻ｔｃである。そして、図８〜１０において、予め定められた区間Ｔ１〜Ｔ４に対応する窓関数を、それぞれ窓関数Ｗ１〜Ｗ４とする。
【００６３】
例えば、図８に示された例であれば、区間Ｔ１が時刻ｔｃを含まず、かつ、時刻ｔｃより前に位置する場合、区間Ｔ１に対応する減算係数は、この相対位置に応じて、定められてもよい。また、区間Ｔ２が時刻ｔｃを含む場合、区間Ｔ２に対応する減算係数は、区間Ｔ２における、窓関数Ｗ２の面積と、時刻ｔｃ以降の窓関数Ｗ２の面積（図８の斜線部分）との比に基づいて、定められてもよい。区間Ｔ３に対応する減算係数も、同様である（図９を参照）。また、図１０において、区間Ｔ４が時刻ｔｃを含まず、かつ、時刻ｔｃより後に位置する場合、区間Ｔ４に対応する減算係数は、この相対位置に応じて、定められてもよい。
【００６４】
なお、減算係数は、検出部１９１が動作部の動作開始タイミングを検出した場合と同様に、検出部１９１が動作部の動作終了タイミングを検出した場合にも、窓関数と時刻ｔｃとの相対位置に応じて、定められてもよい。
【００６５】
図１１には、このようにして定められた減算係数の一例が示されている。図８〜１０に示された例であれば、例えば、区間Ｔ１に対応する減算係数は、値「０」と、区間Ｔ２に対応する減算係数は、値「０．３」と、区間Ｔ３に対応する減算係数は、値「０．９」と、区間Ｔ４に対応する減算係数は、値「１」になる。なお、これらの値は、一例である。
【００６６】
[第２の実施形態]
本発明の第２の実施形態について図面を参照して詳細に説明する。第２の実施形態では、マイク２３０に収音された音（マイク出力信号）に基本周期がない点が、第１の実施例と異なる。以下、第１の実施形態との相違点のみ説明する。
【００６７】
図１２には、マイク出力信号（非周期音）に発生した衝撃音ノイズ及び駆動音ノイズの一例が示されている。図１２において、検出部１９１は、動作部が動作を開始したことにより、動作部の動作開始を示すタイミングを検出したとする。そして、図１２には、このタイミングを含む区間Ｔｃにおいて、マイク出力信号に衝撃音ノイズが発生していることが示されている。さらに、衝撃音ノイズが発生した後であって、動作部が動作している区間には、マイク出力信号に駆動音ノイズが発生していることが示されている。また、区間Ｔｃの直前の区間であって、長さが「区間Ｔｃ＋（区間Ｔｆ）×２」である区間Ｔ５が示されている。ここで、区間Ｔｃ及びＴｆのそれぞれの長さは、予め定められていてもよい。
【００６８】
まず、低減処理部２５０は、マイク出力信号から区間Ｔｃを除去する。図１３には、時間領域で区間Ｔｃを除去した後のマイク出力信号の一例が示されている。さらに、低減処理部２５０は、区間Ｔｃの直前の区間であって、長さが「区間Ｔｃ＋（区間Ｔｆ）×２」である区間Ｔ５の中点が、区間Ｔｃの中点と一致するように、区間Ｔ５のマイク出力信号を複製する。図１４には、このように複製されたマイク出力信号の一例が示されている。
【００６９】
そして、低減処理部２５０は、時間領域で区間Ｔｃを除去した後のマイク出力信号（図１３を参照）と、複製されたマイク出力信号（図１４を参照）とをクロスフェードさせることで、両信号を連続的に接続する。
【００７０】
図１５には、クロスフェードにおける重み付けの一例が示されている。図１５に示されている実線は、時間領域で区間Ｔｃを除去した後のマイク出力信号（図１３を参照）に対する重み付けを示す。一方、破線は、複製されたマイク出力信号（図１４を参照）に対する重み付けを示す。低減処理部２５０は、このような重み付けでクロスフェードさせることで、両信号を連続的に接続してもよい。
【００７１】
次に、低減処理部２５０は、駆動音ノイズの発生している区間（区間Ｔｃ以降で、動作部が動作している区間）に対しては、第１の実施例と同様に、例えばスペクトル減算法により、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。図１６には、マイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたノイズ低減処理信号の一例が示されている。
【００７２】
このようにすれば、撮像装置（撮影装置）は、その判断により異ならせる処理として、衝撃音ノイズを時間領域で低減させ、衝撃音ノイズが低減されたマイク出力信号をクロスフェードさせるので、マイク出力信号に基本周期がない場合でも、駆動音ノイズばかりでなく衝撃音ノイズを低減させることができる。
【００７３】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７４】
例えば、検出部１９１は、ズームレンズ１１４が光学系１１１内を移動することにより、ズームレンズ１１４の移動範囲を制限する端部に当たるタイミングを、ズームレンズ１１４の移動量に基づいて推定してもよい。これにより、検出部１９１は、ズームレンズ１１４の移動範囲を制限する端部に当たることにより発生する衝撃音ノイズの発生タイミングを、推定することができる。
【００７５】
また、例えば、検出部１９１は、タイミングを示す信号と、マイク出力信号とを併用して、動作部が動作するタイミングを検出してもよい。例えば、衝撃音ノイズは、高周波数成分を含むため、検出部１９１は、マイク出力信号を高域通過フィルタに通し、通過したマイク出力信号のパワーの強弱に基づいて、動作部が動作するタイミングを検出してもよい。
【００７６】
また、例えば、光学系１１１が撮像装置１００に着脱可能である場合、マイク２３０、音信号処理部２４０、又は低減処理部２５０のいずれかは、光学系（レンズ等）による像を形成する光学系１１１を備えた光学装置（例えば、レンズ鏡筒）に備えられてもよい。
【００７７】
また、例えば、低減処理部２５０は、区間Ａのマイク出力信号の値を全て「０」にする処理を省いて、区間Ａのマイク出力信号を区間Ｂのマイク出力信号で置換してもよい。
【００７８】
また、例えば、低減処理部２５０は、マイク出力信号に対して、ＳＮＧ（Ｓｐｅｃｔｒａｌ Ｎｏｉｓｅ Ｇａｔｉｎｇ）処理を実行してもよい。
【００７９】
また、例えば、減算係数は、窓関数における面積比によらず、例えば、区間における時刻ｔｃの位置に応じて定められてもよい。
【００８０】
また、例えば、低減処理部２５０は、検出部１９１が検出したタイミングに対して、予め定められた遅延時間を加算し、これにより得られたタイミングを含む区間のマイク出力信号を、時間領域で除去してもよい。
【００８１】
なお、上記の説明においては、低減処理部２５０が、マイク２３０により収音された音信号に対して信号処理する場合について説明したが、本実施形態による上述した低減処理部２５０の処理は、このようにリアルタイムに収音された音信号に対してのみ適用されるものではない。
【００８２】
たとえば、既に録音されている音信号に対しても、この音信号と関連付けて、この音信号を録音した装置が備えている動作部が動作することを示すタイミングが、たとえば、記憶媒体２００などの記憶部に記録されている場合にも、本実施形態による低減処理部２５０は、上述した信号処理を同様に、実行することができる。
【００８３】
また、検出部１９１、判断部２５１、又は低減処理部２５０による手順であって、図２〜１６を用いて上述した手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【００８４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００８６】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…検出部、１７０…通信部、２００…記憶媒体、２３０…マイク、２４０…音信号処理部、２５０…低減処理部、２５１…判断部
【図１】
0005423319.tif 000002
【図２】
0005423319.tif 000003
【図３】
0005423319.tif 000004
【図４】
0005423319.tif 000005
【図５】
0005423319.tif 000006
【図６】
0005423319.tif 000007
【図７】
0005423319.tif 000008
【図８】
0005423319.tif 000009
【図９】
0005423319.tif 000010
【図１０】
0005423319.tif 000011
【図１１】
0005423319.tif 000012
【図１２】
0005423319.tif 000013
【図１３】
0005423319.tif 000014
【図１４】
0005423319.tif 000015
【図１５】
0005423319.tif 000016
【図１６】
0005423319.tif 000017