(57)【要約】【課題】演算負荷と音質とを両立させつつ効果的な雑音除去を実現する。【解決手段】第１チャネルと第２チャネルを含む複数チャネルの音声信号が取得され、両者の位相差が検出される。取得された音声信号における雑音混入区間の前後の少なくとも一方の区間における第１チャネルの音声信号を用いて雑音混入区間の音声信号を置き換えるための第１予測音声信号が生成され、その第１予測音声信号で雑音混入区間における第１チャネルの音声信号が置換される。次に、第１予測音声信号を前記位相差により補正することで第２予測音声信号が生成され、その第２予測音声信号で雑音混入区間における第２チャネルの音声信号が置換される。【選択図】  図８
2016018082.tif 000002
【特許請求の範囲】
【請求項１】
第１チャネルと第２チャネルを含む複数チャネルの音声信号を取得する取得手段と、
前記第１チャネルの音声信号と前記第２チャネルの音声信号との間の位相差を検出する位相差検出手段と、
前記音声信号における雑音混入区間の前後の少なくとも一方の区間における前記第１チャネルの音声信号を用いて前記雑音混入区間の音声信号を置き換えるための第１予測音声信号を生成し、前記第１予測音声信号で前記雑音混入区間における前記第１チャネルの音声信号を置換する第１置換手段と、
前記第１予測音声信号を前記位相差により補正することで第２予測音声信号を生成し、前記第２予測音声信号で前記雑音混入区間における前記第２チャネルの音声信号を置換する第２置換手段と、
を有することを特徴とする音声処理装置。
【請求項２】
前記第２置換手段は、前記位相差が閾値未満である場合は、前記第１予測音声信号を補正せずに前記第２予測音声信号を生成することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記第１置換手段は、前記雑音混入区間の前後に、前記第１チャネルの音声信号と前記第２チャネルの音声信号との間の最大の位相差に対応する長さの区間を付加した区間分の前記第１の予測信号を生成することを特徴とする請求項１又は２に記載の音声処理装置。
【請求項４】
前記第１置換手段は、
前記雑音混入区間の前方区間における前記第１チャネルの音声信号を複製することで第１の信号を生成する手段と、
前記雑音混入区間の後方区間における前記第１チャネルの音声信号を複製することで第２の信号を生成する手段と、
前記第１の信号と前記第２の信号とを合成することにより前記第１予測音声信号を生成する手段と、
を含むことを特徴とする請求項１乃至３のいずれか１項に記載の音声処理装置。
【請求項５】
前記第１の信号を生成する手段は、前記前方区間における前記第１チャネルの音声信号のピッチ検出を行い、検出されたピッチ区間を繰り返し複製することで前記第１の信号を生成し、
前記第２の信号を生成する手段は、前記後方区間における前記第１チャネルの音声信号のピッチ検出を行い、検出されたピッチ区間を繰り返し複製することで前記第２の信号を生成する
ことを特徴とする請求項４に記載の音声処理装置。
【請求項６】
前記位相差検出手段は、前記雑音混入区間の前方又は後方に設定される所定区間における、前記第１チャネルの音声信号と前記第２チャネルの音声信号との間の相関値に基づいて前記位相差を検出することを特徴とする請求項１乃至５のいずれか１項に記載の音声処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の音声処理装置を有することを特徴とする撮像装置。
【請求項８】
前記雑音混入区間は、前記撮像装置が有するレンズ駆動部の駆動期間であることを特徴とする請求項７に記載の撮像装置。
【請求項９】
第１チャネルと第２チャネルを含む複数チャネルの音声信号を取得する取得ステップと、
前記第１チャネルの音声信号と前記第２チャネルの音声信号との間の位相差を検出する位相差検出ステップと、
前記音声信号における雑音混入区間の前後の少なくとも一方の区間における前記第１チャネルの音声信号を用いて前記雑音混入区間の音声信号を置き換えるための第１予測音声信号を生成し、前記第１予測音声信号で前記雑音混入区間における前記第１チャネルの音声信号を置換する第１置換ステップと、
前記第１予測音声信号を前記位相差により補正することで第２予測音声信号を生成し、前記第２予測音声信号で前記雑音混入区間における前記第２チャネルの音声信号を置換する第２置換ステップと、
を有することを特徴とする音声処理方法。
【請求項１０】
前記第２置換ステップは、前記位相差が閾値未満である場合は、前記第１予測音声信号を補正せずに前記第２予測音声信号を生成することを特徴とする請求項９に記載の音声処理方法。
【請求項１１】
前記第１置換ステップは、前記雑音混入区間の前後に、前記第１チャネルの音声信号と前記第２チャネルの音声信号との間の最大の位相差に対応する長さの区間を付加した区間分の前記第１の予測信号を生成することを特徴とする請求項９又は１０に記載の音声処理方法。
【請求項１２】
前記第１置換ステップは、
前記雑音混入区間の前方区間における前記第１チャネルの音声信号を複製することで第１の信号を生成するステップと、
前記雑音混入区間の後方区間における前記第１チャネルの音声信号を複製することで第２の信号を生成するステップと、
前記第１の信号と前記第２の信号とを合成することにより前記第１予測音声信号を生成するステップと、
を含むことを特徴とする請求項９乃至１１のいずれか１項に記載の音声処理方法。
【請求項１３】
前記第１の信号を生成するステップは、前記前方区間における前記第１チャネルの音声信号のピッチ検出を行い、検出されたピッチ区間を繰り返し複製することで前記第１の信号を生成し、
前記第２の信号を生成するステップは、前記後方区間における前記第１チャネルの音声信号のピッチ検出を行い、検出されたピッチ区間を繰り返し複製することで前記第２の信号を生成する
ことを特徴とする請求項１２に記載の音声処理方法。
【請求項１４】
前記位相差検出ステップは、前記雑音混入区間の前方又は後方に設定される所定区間における、前記第１チャネルの音声信号と前記第２チャネルの音声信号との間の相関値に基づいて前記位相差を検出することを特徴とする請求項９乃至１３のいずれか１項に記載の音声処理方法。
【請求項１５】
コンピュータを請求項１乃至６のいずれか１項に記載の音声処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理技術に関する。
【背景技術】
【０００２】
近年のデジタルカメラには、静止画撮影の機能のみならず、音声信号記録を伴う動画撮影を行う機能を有するものがある。動画撮影時には、撮影状態の変更に応じたフォーカスレンズの駆動、被写体の輝度変化に応じた絞り機構の駆動など、撮像装置の駆動部が動作する。駆動部の動作音は、記録される音声に雑音として混入してしまうという問題がある。駆動雑音低減処理については従来、さまざまな手法が開示されている。
【０００３】
例えば、特許文献１では、駆動雑音発生区間の前後の音声信号から雑音の含まれない音声を予測し、その予測した音声のデータで駆動雑音発生区間のデータを置き換える技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０５３８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、音声信号を取得するマイクロホンを複数備え、マルチチャネルの音声記録機能を有する場合は、以下のような問題がある。例えばＬｃｈ及びＲｃｈを有するステレオ音声に対して、予測処理によって雑音除去をする場合、ＬｃｈとＲｃｈの音声信号の両方について予測処理を行わなければならない。しかし、２ｃｈ以上の音声信号についてそれぞれ予測処理を行うのは演算負荷が大きい。マイクロホンの数が増えるとその演算負荷はマイクロホン数に比例して増加していく。
【０００６】
本発明は、演算負荷と音質とを両立させつつ効果的な雑音除去を実現する。
【課題を解決するための手段】
【０００７】
本発明の一側面によれば、第１チャネルと第２チャネルを含む複数チャネルの音声信号を取得する取得手段と、前記第１チャネルの音声信号と前記第２チャネルの音声信号との間の位相差を検出する位相差検出手段と、前記音声信号における雑音混入区間の前後の少なくとも一方の区間における前記第１チャネルの音声信号を用いて前記雑音混入区間の音声信号を置き換えるための第１予測音声信号を生成し、前記第１予測音声信号で前記雑音混入区間における前記第１チャネルの音声信号を置換する第１置換手段と、前記第１予測音声信号を前記位相差により補正することで第２予測音声信号を生成し、前記第２予測音声信号で前記雑音混入区間における前記第２チャネルの音声信号を置換する第２置換手段とを有することを特徴とする音声処理装置が提供される。
【発明の効果】
【０００８】
本発明によれば、演算負荷と音質とを両立させつつ効果的な雑音除去を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における撮像装置の全体図。
【図２】第１実施形態における撮像装置のブロック図。
【図３】第１実施形態におけるマイクロホンの詳細図。
【図４】音声予測処理手法の説明図。
【図５】被写体音が正面から到来するときの音声信号の模式図。
【図６】被写体音が正面から到来するときの音声信号の模式図。
【図７】第１実施形態における音声記録動作のフローチャート。
【図８】第１実施形態における予測処理動作を示した音声信号及び相関値の模式図。
【図９】第２実施形態における音声記録動作のフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１１】
＜第１実施形態＞
図１は、本発明の音声処理装置が適用される撮像装置１００の構成を示すブロック図である。撮像装置１００は例えばデジタル一眼レフカメラであり、カメラボディ１０１と、カメラボディ１０１に対して着脱可能な撮影レンズ１０２を有する。撮影レンズ１０２は、レンズ鏡筒１０３内に光軸１０５を有する撮像光学系１０４を有する。撮像光学系１０４は、フォーカスレンズ群、手ブレ補正レンズユニット、絞り機構を駆動させるレンズ駆動部１０６、レンズ駆動部１０６を制御するレンズ制御部１０７を含む。撮影レンズ１０２は、レンズマウント接点１０８を介してカメラボディ１０１と電気的に接続される。撮影レンズ１０２前方から入射する被写体光学像は、光軸１０５を通ってカメラボディ１０１に入光し、一部をハーフミラーで構成された主ミラー１１０で反射され、フォーカシングスクリーン１１７上に結像する。ユーザは、フォーカシングスクリーン１１７上に結象した光学像をペンタプリズム１１１を通して接眼窓１１２から視認することができる。
【００１２】
一方、測光センサ１１６はフォーカシングスクリーン１１７上に結像した光学象の明るさを検出する。また、主ミラー１１０を透過した被写体光学像はサブミラー１１３で反射され焦点検出部１１４に入射し、被写体像の焦点検出演算に用いられる。カメラボディ１０１内にある不図示のレリーズボタンが操作され、撮影開始命令が発せられると、主ミラー１１０及びサブミラー１１３は、被写体光学像が撮像素子１１８に入射するように撮影光路から退避する。焦点検出部１１４、測光センサ１１６、撮像素子１１８に入射した光線はそれぞれ電気信号に変換され、カメラ制御部１１９に送られカメラシステムの制御が行われる。
【００１３】
また、動画撮影時は、マイクロホン１１５に被写体の音声が入力されカメラ制御部１１９に送られ、撮像素子１１８に入射した被写体光学像信号と同期して記録処理される。マイクロホン１１５は、複数チャネルの音声信号を取得する構成を含む。例えば、マイクロホン１１５は、図３に示すように、第１チャネルであるＬｃｈ１１５ａと第２チャネルであるＲｃｈ１１５ｂの２チャネルのマイクロホンアレーを構成する。マイクロホン１１５近傍のカメラボディ１０１の内側面には、加速度計１２０が設置されている。加速度計１２０は、レンズ駆動部１０６がフォーカスレンズ群、手ブレ補正レンズユニット、絞り機構などの駆動機構を駆動した時、撮影レンズ１０２、カメラボディ１０１を介して伝播してくる振動を検出する。カメラ制御部１１９は、その振動検出結果に対し解析を行い、雑音混入区間を算出する。
【００１４】
図２は、撮像装置１００の電気的制御を説明するブロック図である。撮像装置１００は、撮像系、画像処理系、音声処理系、記録再生系、制御系を有する。撮像系は、撮影レンズ１０２及び撮像素子１１８を含む。画像処理系は、Ａ／Ｄ変換器１３１、画像処理回路１３２を含む。音声処理系は、マイクロホン１１５と音声信号処理回路１３７とを含む。記録再生系は、記録処理回路１３３、メモリ１３４を含む。制御系は、カメラ制御部１１９、焦点検出部１１４、測光センサ１１６、操作検出部１３５、レンズ制御部１０７、レンズ駆動部１０６を含む。レンズ駆動部１０６は、焦点レンズ駆動部１０６ａ、ブレ補正駆動部１０６ｂ、絞り駆動部１０６ｃを含む。
【００１５】
撮像系は、物体からの光を、撮像光学系１０４を介して撮像素子１１８の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、主ミラー１１０に設けられたミラーを介して、焦点検出部１１４にも光束の一部が導かれる。また後述するように、制御系によって適切に撮像光学系が調整されることで、適切な光量の物体光を撮像素子１１８に露光するとともに、撮像素子１１８近傍で被写体像が結像する。
【００１６】
画像処理回路１３２は、Ａ／Ｄ変換器１３１を介して撮像素子１１８から受けた撮像素子の画素数の画像信号を処理する信号処理回路である。具体的には画像処理回路１３２は、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【００１７】
音声処理系は、マイクロホン１１５からの信号に対して音声信号処理回路１３７によって適切な処理を施して記録用音声信号を生成する。生成された記録用音声信号は後述する記録処理部により画像とリンクして記録処理される。
【００１８】
また、加速度計１２０は、加速度計処理回路１３８を介して、カメラ制御部１１９に接続されている。加速度計１２０で検出されたカメラボディ１０１の振動の加速度信号は、加速度計処理回路１３８において増幅及びハイパスフィルタ処理、ローパスフィルタ処理が行われ、目的の周波数が抽出されるように処理される。
【００１９】
記録処理回路１３３は、メモリ１３４への画像信号の出力を行うとともに、表示部１３６に出力する像を生成、保存する。また、記録処理回路１３３は、予め定められた方法を用いて画像、動画、音声などの圧縮、記録処理を行う。
【００２０】
カメラ制御部１１９は、撮像の際のタイミング信号などを生成して出力する。焦点検出部１１４及び測光センサ１１６はそれぞれ、撮像装置のピント状態、及び、被写体の輝度を検出する。レンズ制御部１０７は、カメラ制御部１１９の信号に応じて適切にレンズを駆動させて光学系の調整を行う。
【００２１】
制御系は更に、外部操作に連動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１３５が検出して、撮像素子１１８の駆動、画像処理回路１３２の動作、記録処理回路１３３の圧縮処理などを制御する。更に、光学ファインダー、液晶モニタ等に情報表示を行う表示部１３６の各セグメントの状態を制御する。
【００２２】
光学系の調整動作について説明する。カメラ制御部１１９には焦点検出部１１４及び測光センサ１１６が接続されており、これらの信号を元に適切な焦点位置、絞り位置を求める。カメラ制御部１１９はこれらをレンズマウント接点１０８を介してレンズ制御部１０７に指令を出し、レンズ制御部１０７は焦点レンズ駆動部１０６ａおよび絞り駆動部１０６ｃを適切に制御する。さらにレンズ制御部１０７には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にブレ補正駆動部１０６ｂを適切に制御する。また、動画撮影時においては、主ミラー１１０及びサブミラー１１３が光軸１０５から撮像素子１１８に入光する光路から退避するため、焦点検出部１１４及び測光センサ１１６に被写体光学像は入射しない。そこで、カメラ制御部１１９は、焦点レンズ駆動部１０６ａの駆動量と撮像素子１１８で露光した連続的な画像情報を用いて、いわゆる山登り方式と呼ばれるコントラスト式焦点検出方法で撮像光学系のピント状態を調節する。また、撮像素子１１８で露光した画像情報を用いて被写体像の輝度を算出し絞り状態を調節する。
【００２３】
次に、図４を用いて音声予測による雑音低減処理手法について説明する。述べる雑音低減処理では駆動雑音混入期間の前後の音声信号を用いて、駆動雑音混入期間の音声信号を予測する予測処理を行う。
【００２４】
図４は、一つのマイクロホンから取得される１チャネルの音声信号に対して行う予測処理を説明する図である。図４（ａ）（ｂ）（ｄ）（ｅ）（ｆ）（ｇ）において、横軸は時間、縦軸は信号レベルを表す。図４（ｃ）において、縦軸は相関値、横軸は図４（ａ）（ｂ）の音声信号に同期した相関値算出位置を表す。図４（ａ）は、被写体音信号に絞りの駆動で生じた雑音が混入している信号を示す。図４（ｂ）は、ピッチ検出を行うための相関値参照区間の音声信号を示す。図４（ｃ）は、相関値参照区間と相関値算出区間とから求められた相関値を示し、図４（ａ）の相関値算出区間と同期している。図４（ｄ）は、検出されたピッチを用いて、雑音混入区間における予測音声信号を示す。図４（ｅ）は、図４（ｄ）の予測音声信号に三角形状の窓関数をかけた信号を示す。以下、雑音混入区間に対して、時間的に前を「前方」、時間的に後ろを「後方」と呼ぶことにする。
【００２５】
予測処理においては、音声信号処理回路１３７は、図４（ａ）で示される雑音混入区間を加速度計１２０などを用いて検出し、音声信号処理回路１３７により雑音混入区間の信号を破棄する。雑音混入区間の検出は、駆動雑音の特徴周波数成分を用いて入力音声の周波数を解析することで行ってもよい。あるいは、レンズ駆動部への駆動命令のタイミングを得ることで雑音混入区間を検出することが可能である。すなわち、レンズ駆動部の駆動期間を雑音混入区間として検出することが可能である。次に、音声信号処理回路１３７は、雑音混入区間の前方区間の信号の相関値からピッチ検出を行う。図４（ａ）に示すように、音声信号は、短時間の領域に着目すると比較的繰返し性が高い性質があることを利用して、雑音混入区間の前方区間の音声信号を繰り返して再現することで音声信号の予測処理を行う。図４（ａ）の相関値参照区間の信号と相関値算出区間の信号とで相関値を算出すると、音声信号において雑音混入区間直前から相関値が最大になった位置（時間長）が音声のピッチ周期となる。ただし、相関値算出区間に対し相関値参照区間が時間的に同期している位置で相関値が最大になることは自明であるので、相関値の最大値は雑音除去区間からピッチ閾値間隔の長さ離れた図４（ｂ）に示す相関最大値探索区間から探す。ピッチ閾値間隔は目標とする音声信号に含まれる基本周波数の最大値の逆数をとれば、求めたい音声の繰返しピッチよりも短いピッチを誤って検出することがなくなる。例えば、日本人の基本周波数は約４００Ｈｚまでなので、ピッチ閾値間隔は２.５ｍｓｅｃに設定すればよい。
【００２６】
音声信号処理回路１３７は、雑音混入区間の前方区間における第１チャネルの音声信号を複製することで第１の信号を生成する。同様に、雑音混入区間の後方区間における第１チャネルの音声信号を複製することで第２の信号を生成する。そして、第１及び第２の音声信号を合成することで第１予測音声信号を生成する。以下、具体例を示す。
【００２７】
音声信号処理回路１３７は、図４（ｄ）に示すように、検出されたピッチ区間の音声信号を予測区間（雑音混入区間）の終端まで繰り返し複製して第１の信号を生成する。以下、この第１の信号を「前方からの窓掛け前予測信号」と呼ぶ。次に、図４（ｅ）に示すように、作成した前方からの窓掛け前予測信号に三角形状の窓関数をかけて前方予測信号を完成させる。以下、この段階での予測信号を「前方からの窓掛け後予測信号」と呼ぶ。このとき窓関数ｗｆ（ｔ）は予測区間のデータ数がＮ＋１点である場合、予測開始直後のデータをｎ＝０とすると、ｗｆ（ｎ）＝（Ｎ‐ｎ）/Ｎで表される関数である。
【００２８】
音声信号処理回路１３７は、上記と同様に、雑音混入区間の後方区間においてピッチ検出を行い、検出されたピッチ区間の音声信号を予測区間の始端まで繰り返し複製して第２の信号を生成する。この第２の信号を、「後方からの窓掛け前予測信号」と呼ぶ。次に、図４（ｆ）に示すように、後方からの窓掛け前予測信号に図４（ｅ）とは逆向きの三角形状の窓関数を掛けて後方予測信号（後方からの窓掛け後予測信号）を作成する。後方からの窓掛け前予測信号に掛けられる三角形状の窓関数ｗｒ（ｎ）は、前方からの予測のときと対称となり、ｗｒ（ｎ）＝ｎ/Ｎで表される。
【００２９】
音声信号処理回路１３７は、前方からの窓掛け後予測信号と後方からの窓掛け後予測信号とを加算して第１予測音声信号を生成する。そして、音声信号処理回路１３７は、雑音混入区間の音声信号を第１予測音声信号で置換する。これにより雑音混入区間における雑音が低減される。図４（ｇ）はその結果の信号波形の例を示している。このように、第１の信号と第２の信号とのクロスフェードによる合成によって、第１予測音声信号が生成される。このようなクロスフェードによれば、前方からの予測信号と雑音混入区間直後との接続部、並びに、後方からの予測信号と雑音混入区間直前との接続部において、音声を滑らかにつなげることができる。
【００３０】
図１の撮像装置のように２つのマイクロホンを備える場合、各マイクロホンからの２チャネルの音声信号に対して前述の予測処理による雑音低減を行う。この場合、予測処理の演算負荷を減らすために、一方のチャネルの音声信号から得られた第１予測音声信号を他方のチャネルでの予測音声信号としてそのまま適用することが考えられる。
【００３１】
図５は、Ｌｃｈの音声信号に対して得られた第１予測音声信号をＲｃｈの雑音区間の予測音声信号としてそのまま用いた例を示している。図５（ａ）はＬｃｈの音声入力信号、図５（ｂ）はＲｃｈの音声入力信号であり、いずれも雑音混入区間の信号は省略している。図５（ｃ）はＬｃｈの第１予測音声信号、図５（ｄ）は図５（ｃ）の第１予測音声信号をＲｃｈの雑音混入区間の予測音声信号としてそのままあてはめた音声信号である。
【００３２】
図５のように、被写体からの音声がマイクロホンアレーの正中面方向から到来する場合は、ＬｃｈとＲｃｈの音声信号はほとんど同様のため問題はない。しかし、被写体からの音声がマイクロホンアレーの正中面方向以外の方向から到来する場合は、ＬｃｈとＲｃｈで位相差が生じる。そのため、Ｌｃｈの第１予測音声信号をＲｃｈの雑音混入区間にそのまま用いると、Ｒｃｈの雑音混入区間の前後で音声信号が不連続なものとなりこれを聴音すると違和感を生じうる。図６は、被写体からの音声がマイクロホンアレーの正中面方向以外の方向から到来する場合の音声信号を表したものである。図６（ａ）はＬｃｈの音声入力信号、図６（ｂ）はＲｃｈの音声入力信号であり、いずれも雑音混入区間の信号は省略している。図６（ｃ）はＬｃｈの第１予測音声信号、図６（ｄ）は図６（ｃ）の第１予測音声信号をＲｃｈの雑音混入区間の予測音声信号としてそのままあてはめたものである。ＬｃｈとＲｃｈの音声入力信号には位相差が生じているので、Ｌｃｈの第１予測音声信号をそのままＲｃｈに用いると音声信号が不連続になっているのがわかる。これを実際に聴音すると違和感を生じうる。
【００３３】
図５，６を用いて前述したように、被写体からの音声がマイクロホンアレーの正面（すなわち正中面方向）から到来する場合はこの方法は有効である。しかし、被写体からの音声がマイクロホンアレーの正中面方向以外の方向から到来する場合は、２つの音声信号間に位相差が生じる。そのため、他方の補間信号をそのまま適応すると音声信号が不連続になり、実際に聴音すると違和感を生じる。
【００３４】
以下、図７、８を用いて本実施形態の雑音低減処理について説明する。図７は本実施形態の雑音低減処理のフローチャートであり、図８はＬｃｈ及びＲｃｈの音声入力信号の予測処理を表した音声信号及び相関値を表したものである。
【００３５】
記録開始が指示され、音声の記録が開始されると、音声信号処理回路１３７は、駆動雑音が検出された否かを判定する（Ｓ１００１）。この判定は、カメラ制御部１１９からレンズ駆動命令が発行されたことを検出することで判定してもよいし、加速度計１２０を用いて実際に駆動雑音を検出することで判定してもよい。
【００３６】
Ｓ１００１で駆動雑音が検出されない場合は、Ｓ１００７に進み、記録スイッチによる記録停止の指示が検出されるまで再びＳ１００１に戻り、フローが続けられる。Ｓ１００１で駆動雑音が検出されると、音声信号処理回路１３７は、加速度計１２０の出力信号を解析して雑音混入区間を算出する（Ｓ１００２）。雑音混入区間の音声信号は破棄される。
【００３７】
図８（ａ）はＬｃｈの音声入力信号を表し、図８（ｂ）はＲｃｈの音声入力信号を表している。ともに雑音混入区間の信号は破棄した後の音声信号である。なお、横軸は時間、縦軸は音声信号の音圧レベルを表している。
【００３８】
Ｓ１００２において雑音混入区間が算出されると、音声信号処理回路１３７は、Ｌｃｈの音声入力信号について図５で説明したように、雑音混入区間の第１予測音声信号を算出する（Ｓ１００３）。このとき、図８（ｃ）に示すように、第１予測音声信号は雑音混入区間よりも余剰予測区間分だけ長めに算出する。これは、後述するＲｃｈの位相補正のために、雑音混入区間の前後に所定時間長の区間（余剰予測区間）を付加したものである。余剰予測区間は算出された繰返しピッチを余剰予測区間の長さ分だけ通常予測区間の前後につなげていってもよいし、実際のＬｃｈの音声信号の余剰予測区間と同期した位置の信号をそのまま用いてもよい。
【００３９】
次にＳ１００４で、Ｓ１００３で算出した第１予測音声信号をＬｃｈの雑音混入区間の信号として書き込む。こうして、雑音混入区間の前後の区間における音声の予測信号で、雑音混入区間における信号が置換される（第１置換処理）。なおこのとき、余剰予測区間の信号は省いて通常予測区間の音声信号のみを書き込む。こうして、Ｌｃｈの音声信号の雑音低減処理が行われる。
【００４０】
次にＳ１００５では、Ｌｃｈの音声信号とＲｃｈの音声信号との間の位相差を検出する。図８を用いてＬｃｈとＲｃｈの音声信号間の位相差検出方法について述べる。図８（ｄ）は、図８（ａ）に示すＬｃｈ相関参照区間と図８（ｂ）に示すＲｃｈ相関参照区間とで相関値をとった結果であり、図８（ａ）（ｂ）の音声信号と同期して表示しているので、算出相関中央位置が相関参照区間の右端にあたる。なお、相関参照区間は雑音混入区間の前方又は後方の所定区間に設定される。ＬｃｈとＲｃｈの音声信号に位相差がない場合は算出相関中央位置で相関値が最大となる。位相差がある場合は、算出相関中央位置から相関値最大位置までの長さがＬｃｈとＲｃｈとして位相差として検出される。
【００４１】
次にＳ１００６で、Ｓ１００３で算出した第１予測音声信号をＳ１００５で検出された位相差に相当するサンプル数シフトして得た位相補正予測信号（第２予測音声信号）を生成し、Ｒｃｈの雑音混入区間の信号として書き込む。こうして、Ｌｃｈの第１予測音声信号を位相補正して得た第２予測音声信号で、雑音混入区間におけるＲｃｈの信号が置換される（第２置換処理）。このとき、予測信号のうち雑音混入区間に当てはまらない余分な予測信号は破棄して書き込まれる。図８（ｅ）（ｆ）は、Ｒｃｈの音声信号の雑音混入区間に第２予測音声信号をあてはめる動作を示したものである。図８（ｅ）の第２予測音声信号は、図８（ｃ）の第１予測音声信号をＳ１００５で検出された位相差に相当するサンプル数シフトしたものである。第２予測音声信号の両端の余分音声信号が破棄されてＲｃｈの雑音混入区間の音声信号として書き込まれる。その結果、図８（ｆ）に示すようなＲｃｈの音声信号が得られる。
【００４２】
処理は、Ｓ１００７で操作検出部１３５により記録スイッチがＯＦＦにされたことが検知されるまでＳ１００１に戻って繰り返される。記録スイッチＯＦＦが検出されたら記録動作を終了する。
【００４３】
以上説明したように本実施形態では、雑音混入区間に対してＬｃｈのみについて第１予測音声信号の算出を行う。その後、ＬｃｈとＲｃｈとの間の音声信号の位相差を検出する。そして、その位相差により第１予測音声信号を補正して第２予測音声信号を生成し、これをＲｃｈの雑音混入区間の予測音声信号とする。これにより、演算負荷を低減しながらもステレオ感を損なわない高品質な雑音低減処理が実現される。
【００４４】
図８（ｃ）の余剰予測区間及び、図８（ａ），（ｂ）のＬｃｈ及びＲｃｈ相関参照区間については、想定される最大位相差に対応する区間長に設定すればよい。つまり、２つのマイクロホンを結んだ延長線方向から被写体音が到来するとき、ＬｃｈとＲｃｈの音声信号間に最大の位相差が生じる。よって、２つのマイクロホン間の距離をＬｍ（ｍｍ）とし、音声の空気伝播による伝達速度を３４００００（ｍｍ／ｓｅｃ）とすると、余剰予測区間及び相関参照区間はＬｍ/３４００００（ｓｅｃ）分の長さだけ設ければよい。
【００４５】
上述の実施形態では、Ｌｃｈの音声信号から通常予測区間と余剰予測区間の音声信号を求めた。しかし、先にＬｃｈとＲｃｈの位相差を検出しておけば、必要な位相の補正量がわかるので余剰予測区間の信号は予測信号の補正に必要な分だけを求めればよい。音声信号処理回路のシーケンスによってはこちらの手順の方が計算負荷を低減させることができる。
【００４６】
また、上述の実施形態では２チャネルのマイクロホンアレーを構成したが、３チャネル以上のマイクロホンアレーを構成してもよい。この場合は、第１チャネルの音声信号についてのみＳ１００３の予測信号算出を行い、その他のチャネルについては第１チャネルとその他のチャネルそれぞれの音声信号について位相差を検出する。そして、第１チャネルの予測信号をそれぞれの位相差で補正して用いればよい。チャネル数が増えるほど、チャネル毎に予測信号の算出を行う場合よりも演算負荷が低減する。
【００４７】
また、上述の実施形態では、予測信号算出処理において、雑音混入区間の前後で相関をとりピッチを検出して雑音混入区間の予測信号を算出したが、これに限られない。例えば、雑音混入区間の直前及び直後の一定区間の音声信号を線形予測で予測し線形予測係数を求める。求めた線形予測係数に雑音混入区間前後の音声信号に乗じることで雑音混入区間の音声信号を次々と予測してことができる。線形予測手法は線形予測係数の次数によって予測処理の演算負荷が非常に高くなる。そのため、上述したように、第１チャネルのみについて予測処理をし、その他のチャネルの雑音混入区間は予測信号結果を補正して用いることで演算量を低減させることが有効である。
【００４８】
また、本実施形態では、雑音混入区間の前後の音声信号を用いて予測音声信号を生成したが、雑音混入区間の前後の少なくとも一方から予測信号を生成する構成でもよい。
【００４９】
また、上述の実施形態ではレンズの駆動により生じた雑音の低減について述べた。しかし、操作部材を操作する際に発生する操作雑音、カメラボディを操作者が触ることにより発生するタッチノイズなどを、加速度計１２０で検知し雑音混入区間が検出できる雑音であれば、そのような雑音の低減も可能である。
【００５０】
また、上述の実施形態では撮像装置における雑音低減処理について述べたが、取得された音声信号中の雑音を低減させる他の音声処理装置においても適用可能である。
【００５１】
＜第２実施形態＞
第１実施形態では、Ｌｃｈのみについて雑音混入区間の音声の予測信号を算出し、ＬｃｈとＲｃｈの位相差を検出し、Ｒｃｈには、Ｌｃｎの予測信号を位相補正して用いた。しかし、ＬｃｈとＲｃｈとの位相差が十分に小さい場合には、聴感的な影響はない。そこで第２実施形態では、ＬｃｈとＲｃｈとの位相差が閾値よりも小さい場合は、位相差を補正せずにそのままＬｃｈからの予測信号をＲｃｈの雑音混入区間の予測信号として用いる。一律に全て位相差補正を行う場合に対して演算負荷の点で有利である。
【００５２】
装置構成は第１実施形態と同様なのでその説明は省略する。図９は第２実施形態のフローチャートである。まず動画撮影動作スイッチがＯＮにされると、記録動作が開始されるフローチャートがスタートする。
【００５３】
Ｓ２００１，Ｓ２００２の動作はそれぞれ第１実施形態のＳ１００１，Ｓ１００２の動作と同様のため説明を省略する。
Ｓ２００３においては、Ｓ１００５と同様にＬｃｈとＲｃｈの音声信号の位相差を検出する。次にＳ２００４で、Ｓ２００３で検出した位相差が閾値Ｔｆｓ以上であるかを判断する。検出した位相差が閾値Ｔｆｓ以上である場合、Ｓ２００５に進む。Ｓ２００５〜Ｓ２００７ではＳ１００３〜Ｓ１００４及びＳ１００６と同様に、Ｌｃｈの音声信号から余剰予測区間を含む予測音声信号を算出し、それを検出位相差分だけ補正してＲｃｈの雑音混入区間の予測音声信号として用いる。
【００５４】
一方、検出した位相差が閾値未満の場合は、Ｓ２００９に進み、Ｌｃｈの予測音声信号を算出する。このとき、余剰予測区間を省いた通常予測区間のみの予測音声信号を算出する。次に、Ｓ２０１０で、Ｌｃｈ及びＲｃｈの雑音混入区間の予測音声信号としてＳ２００９で算出した予測音声信号の位相補正をせずに書き込む。
【００５５】
その後、処理は、Ｓ２００８で操作検出部１３５により記録スイッチがＯＦＦにされたことが検出されるまでＳ２００１に戻って繰り返される。記録スイッチＯＦＦが検出されたら記録動作を終了する。
【００５６】
上述した第２実施形態によれば、ＬｃｈとＲｃｈの音声信号の位相差が閾値未満である場合には、Ｌｃｈの予測音声信号を位相補正せずにそのままＲｃｈの雑音混入区間の予測音声信号として用いる。２つの音声信号の位相差が十分小さいときは、位相補正をせずにそのままＬｃｈからの予測音声信号を用いても聴感上の影響は少ないので、位相補正にかかる演算の負荷をなくすことができる。
【００５７】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１０１：撮像装置、１０２：カメラボディ、１０３：撮影レンズ、１０４：撮像光学系、１０６：レンズ駆動部、１０７：レンズ制御部、１１５：マイクロホン、１１９：カメラ制御部
【図１】
2016018082.tif 000003
【図２】
2016018082.tif 000004
【図３】
2016018082.tif 000005
【図４】
2016018082.tif 000006
【図５】
2016018082.tif 000007
【図６】
2016018082.tif 000008
【図７】
2016018082.tif 000009
【図８】
2016018082.tif 000010
【図９】
2016018082.tif 000011