(57)【特許請求の範囲】
【請求項１】
音声信号を取得する第１取得手段と、
参照期間を設定する第１設定手段と、
前記参照期間と同じ時間幅を有する期間であって、前記参照期間とは異なる期間である、複数の比較期間を設定する第２設定手段と、
複数の比較期間の中から、前記参照期間における音声信号と類似した音声信号の期間である複数の類似期間を検出する第１検出手段と、
前記参照期間における音声信号に含まれる基本周波数を検出する第２検出手段と、
前記第２検出手段で検出された前記基本周波数に基づいて、前記類似期間毎に、前記参照期間における前記基本周波数の音声信号と、前記類似期間における前記基本周波数の音声信号と、の間の位相差を取得する第２取得手段と、
前記第２取得手段で取得された前記類似期間毎の位相差に基づいて、前記複数の類似期間の中から、２つ以上の類似期間を選択する選択手段と、
前記参照期間における音声信号と、前記選択手段で選択された前記２つ以上の類似期間のそれぞれにおける音声信号と、に基づいて、前記参照期間における音声信号として設定する置換信号を生成する生成手段と、
前記参照期間における音声信号を前記置換信号に置換する置換手段と、
を有することを特徴とする音声処理装置。
【請求項２】
前記選択手段は、前記２つ以上の類似期間の位相差のばらつきが増すように、前記２つ以上の類似期間を選択する
ことを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記選択手段は、前記位相差が互いに等しい複数の類似期間のうち、前記参照期間における音声信号との音声信号の類似度が最も高い類似期間を、前記２つ以上の類似期間の１つとして優先的に選択する
ことを特徴とする請求項２に記載の音声処理装置。
【請求項４】
前記第２取得手段は、前記参照期間と前記類似期間の間の時間差を前記基本周波数の周期で除算することによって得られる整数値と余りのうち、前記余りを前記参照期間と前記類似期間の間の位相差として取得する
ことを特徴とする請求項１〜３のいずれか１項に記載の音声処理装置。
【請求項５】
前記生成手段は、前記参照期間における音声信号と前記２つ以上の類似期間のそれぞれにおける音声信号とを重みづけ加算することにより、前記置換信号を生成する
ことを特徴とする請求項１〜４のいずれか１項に記載の音声処理装置。
【請求項６】
前記生成手段は、前記類似期間における音声信号の重みとして、前記参照期間における音声信号との音声信号の類似度が高いほど大きい重みを使用する
ことを特徴とする請求項５に記載の音声処理装置。
【請求項７】
前記第２検出手段は、前記参照期間における音声信号をフーリエ変換することにより、前記基本周波数を検出する
ことを特徴とする請求項１〜６のいずれか１項に記載の音声処理装置。
【請求項８】
前記第２検出手段は、前記参照期間における音声信号をフーリエ変換することにより得られる複数の周波数のうち、大きさが所定値より大きい周波数を、前記基本周波数として検出する
ことを特徴とする請求項７に記載の音声処理装置。
【請求項９】
前記第２検出手段は、前記参照期間における音声信号をフーリエ変換することにより大きさが所定値より大きい周波数が複数得られた場合に、大きさが所定値より大きい複数の周波数のうち、最も低い周波数を、前記基本周波数として検出する
ことを特徴とする請求項７または８に記載の音声処理装置。
【請求項１０】
前記第１検出手段は、前記参照期間における音声信号との音声信号の類似度が高い比較期間から順番にＮ個（Ｎは３以上の整数）の比較期間のそれぞれを、前記類似期間として検出する
ことを特徴とする請求項１〜９のいずれか１項に記載の音声処理装置。
【請求項１１】
前記第１取得手段は、第１音声信号を取得する第３取得手段と、前記第１音声信号に対して遅延した第２音声信号を取得する第４取得手段と、を有し、
前記音声処理装置は、前記第１音声信号に対する前記第２音声信号の遅延時間を検出する第３検出手段、をさらに有し、
前記生成手段は、前記参照期間における第１音声信号として設定する第１置換信号を生成する際に、前記２つ以上の類似期間を前記遅延時間だけ遅延させた２つ以上の期間のそれぞれにおける第２音声信号をさらに使用する
ことを特徴とする請求項１〜１０のいずれか１項に記載の音声処理装置。
【請求項１２】
前記第１設定手段は、第１参照期間と、前記第１参照期間を前記遅延時間だけ遅延させた第２参照期間と、を設定し、
前記第１置換信号は、前記第１参照期間における第１音声信号として設定する音声信号であり、
前記生成手段は、前記第２参照期間における第２音声信号として設定する音声信号である第２置換信号を生成する際に、前記２つ以上の類似期間として、前記第１置換信号を生成する際に用いた２つ以上の類似期間を前記遅延時間だけ遅延させた２つ以上の期間を使用する
ことを特徴とする請求項１１に記載の音声処理装置。
【請求項１３】
光学レンズと、
前記光学レンズを駆動する駆動手段と、
を有し、
前記第１設定手段は、前記光学レンズの駆動期間を前記参照期間として設定する
ことを特徴とする請求項１〜１２のいずれか１項に記載の音声処理装置。
【請求項１４】
音声信号を取得する第１取得ステップと、
参照期間を設定する第１設定ステップと、
前記参照期間と同じ時間幅を有する期間であって、前記参照期間とは異なる期間である、複数の比較期間を設定する第２設定ステップと、
複数の比較期間の中から、前記参照期間における音声信号と類似した音声信号の期間である複数の類似期間を検出する第１検出ステップと、
前記参照期間における音声信号に含まれる基本周波数を検出する第２検出ステップと、
前記第２検出ステップで検出された前記基本周波数に基づいて、前記類似期間毎に、前記参照期間における前記基本周波数の音声信号と、前記類似期間における前記基本周波数の音声信号と、の間の位相差を取得する第２取得ステップと、
前記第２取得ステップで取得された前記類似期間毎の位相差に基づいて、前記複数の類似期間の中から、２つ以上の類似期間を選択する選択ステップと、
前記参照期間における音声信号と、前記選択ステップで選択された前記２つ以上の類似期間のそれぞれにおける音声信号と、に基づいて、前記参照期間における音声信号として設定する置換信号を生成する生成ステップと、
前記参照期間における音声信号を前記置換信号に置換する置換ステップと、
を有することを特徴とする音声処理方法。
【請求項１５】
コンピュータを請求項１〜１３のいずれか１項に記載の音声処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
撮像した動画とともに音声を記録することができる撮像装置では、光学系の駆動により発生する雑音を含む音声が記録されてしまうことがある。
このような課題を解決するための従来技術は、例えば、特許文献１に開示されている。
特許文献１に開示の技術では、撮像装置のモータ（アイリスモータ、シャッタモータ、等）が駆動した場合に、モータが駆動する直前の音声を用いて、雑音が発生する期間の音声が補正される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２０３３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術は循環バッファを必要とするため、特許文献１の技術を用いて雑音を低減できる期間の長さは、物理的な制限によって制限される。
そのため、特許文献１の技術を用いたとしても、雑音を高精度に低減することができないことがある。
【０００５】
本発明は、音声に含まれている雑音を高精度に低減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、
音声信号を取得する第１取得手段と、
参照期間を設定する第１設定手段と、
前記参照期間と同じ時間幅を有する期間であって、前記参照期間とは異なる期間である、複数の比較期間を設定する第２設定手段と、
複数の比較期間の中から、前記参照期間における音声信号と類似した音声信号の期間である複数の類似期間を検出する第１検出手段と、
前記参照期間における音声信号に含まれる基本周波数を検出する第２検出手段と、
前記第２検出手段で検出された前記基本周波数に基づいて、前記類似期間毎に、前記参照期間における前記基本周波数の音声信号と、前記類似期間における前記基本周波数の音声信号と、の間の位相差を取得する第２取得手段と、
前記第２取得手段で取得された前記類似期間毎の位相差に基づいて、前記複数の類似期間の中から、２つ以上の類似期間を選択する選択手段と、
前記参照期間における音声信号と、前記選択手段で選択された前記２つ以上の類似期間のそれぞれにおける音声信号と、に基づいて、前記参照期間における音声信号として設定する置換信号を生成する生成手段と、
前記参照期間における音声信号を前記置換信号に置換する置換手段と、
を有することを特徴とする音声処理装置である。
【０００７】
本発明の第２の態様は、
音声信号を取得する第１取得ステップと、
参照期間を設定する第１設定ステップと、
前記参照期間と同じ時間幅を有する期間であって、前記参照期間とは異なる期間である、複数の比較期間を設定する第２設定ステップと、
複数の比較期間の中から、前記参照期間における音声信号と類似した音声信号の期間である複数の類似期間を検出する第１検出ステップと、
前記参照期間における音声信号に含まれる基本周波数を検出する第２検出ステップと、
前記第２検出ステップで検出された前記基本周波数に基づいて、前記類似期間毎に、前記参照期間における前記基本周波数の音声信号と、前記類似期間における前記基本周波数の音声信号と、の間の位相差を取得する第２取得ステップと、
前記第２取得ステップで取得された前記類似期間毎の位相差に基づいて、前記複数の類似期間の中から、２つ以上の類似期間を選択する選択ステップと、
前記参照期間における音声信号と、前記選択ステップで選択された前記２つ以上の類似期間のそれぞれにおける音声信号と、に基づいて、前記参照期間における音声信号として設定する置換信号を生成する生成ステップと、
前記参照期間における音声信号を前記置換信号に置換する置換ステップと、
を有することを特徴とする音声処理方法である。
【０００８】
本発明の第３の態様は、コンピュータを上述した音声処理装置の各手段として機能させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、音声に含まれている雑音を高精度に低減することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る音声処理部の機能構成の一例を示すブロック図
【図２】実施例１に係る撮像装置の外観及び機能構成の一例を示す図
【図３】従来の雑音低減処理の一例を示す図
【図４】従来の入力音声信号と出力音声信号の一例を示す図
【図５】従来の雑音低減処理の一例を示す図
【図６】従来の入力音声信号と出力音声信号の周波数特性の一例を示す図
【図７】実施例１に係る入力音声信号の一例を示す図
【図８】実施例２に係る撮像装置の外観及び機能構成の一例を示す図
【図９】実施例２に係る音声処理部の機能構成の一例を示すブロック図
【図１０】実施例２に係る入力音声信号の一例を示す図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施例について詳細に説明する。
なお、以下の実施例はあくまで一例であり、本発明は以下の実施例に限定されない。
【００１２】
＜実施例１＞
図１〜７を参照して、本発明の実施例１に係る音声処理装置、撮像装置、及び、音声処理方法について説明する。
【００１３】
（撮像装置の構成）
本実施例に係る音声処理装置の一例として、以下カメラ１（撮像装置）について説明する。
図２（ａ）は、カメラ１の外観の一例を示す斜視図である。図２（ｂ）は、カメラ１の構成の一例を示すブロック図である。
図２（ｂ）に示すように、カメラ１は、カメラシステム制御部１０、撮像レンズ１１、マイクロフォン１２、撮像素子１３、画像処理部１４、レンズ駆動部１５、音声処理部１６、メモリ部１７、操作部１８、画像表示部１９、等を有する。
【００１４】
撮像レンズ１１を通過した光線は、撮像素子１３の近傍で結像をし、撮像素子１３に適正な時間だけ露光される。
撮像素子１３は、露光された光を電気信号（アナログ信号）に光電変換する。
画像処理部１４は、Ａ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路、等の処理部（処理回路）を有する。画像処理部１４は、これらの処理部を用いて、撮像素子１３で生成されたアナログ信号に様々な処理を施すことにより、デジタル信号である撮像画像データを生成する。生成された撮像画像データは、カメラシステム制御部１０を介して、メモリ部１７に記録される。
レンズ駆動部１５は、カメラシステム制御部１０からの指示（命令）に応じて撮像レンズ１１を駆動することにより、撮像レンズ１１の光学状態を調整する。具体的には、レンズ駆動部１５は、カメラシステム制御部１０からの指示に応じて、撮像レンズ１１が有するフォーカスレンズ群、絞り機構、手振れ防振機構、等を駆動する。
撮像素子１３に連続的に露光し、撮像素子１３からアナログ信号を読み出して撮像画像データを生成する処理を一定のフレームレートで行うことにより、動画の撮像を行うことができる。
【００１５】
マイクロフォン１２には、音声が入力される。マイクロフォン１２は、入力された音声を表す音声信号（アナログ信号またはデジタル信号）を生成する。本実施例では、マイクロフォン１２は、動画撮像中に入力された音声（被写体の音声を少なくとも含む音声）を表す音声信号を生成する。
音声処理部１６は、マイクロフォン１２で生成された音声信号を取得し、取得した音声信号に種々の処理を施すことにより、デジタル信号である音声信号（出力音声信号）を生成する。音声処理部１６が行う処理は、Ａ／Ｄ変換処理、雑音低減処理、等を含む。雑音低減処理は、マイクロフォン１２で生成された音声信号が表す音声に含まれている雑音を低減する処理である。雑音低減処理の詳細については後述する。生成された出力音声信号は、カメラシステム制御部１０を介して、メモリ部１７に記録される。出力音声信号は、例えば、動画の撮像画像データに対応付けられてメモリ部１７に記録される。
【００１６】
操作部１８は、カメラ１に対するユーザ操作を受け付ける。本実施例では、操作部１８は、図２（ａ）のシャッターレリーズ釦１８ａを含む１つ以上の釦を有する。
カメラシステム制御部１０は、ユーザ操作に応じて生成された操作信号（タイミング信号）に応じて、カメラ１の各機能部を制御する。例えば、シャッターレリーズ釦１８ａの押下が検出されると、撮像素子１３の駆動、画像処理部１４の動作、音声処理部１６の動作、メモリ部１７に記録するデータや信号の圧縮処理、等が制御される。また、カメラシステム制御部１０は、画像表示部１９の画像や情報の表示を制御する。
【００１７】
（音声処理部１６の構成）
図２（ｂ）の音声処理部１６の構成について説明する。
動画撮像中にマイクロフォン１２で生成された音声信号が表す音声には、被写体の音声のみが含まれていることが好ましい。しかしながら、動画撮像中にマイクロフォン１２で生成された音声信号が表す音声には、撮像レンズ１１の駆動に伴って生じたレンズ駆動雑音、マイクロフォン１２の性能に起因して生じた白色雑音である暗雑音、等の雑音が重畳されていることがある。このように、マイクロフォン１２で生成された音声信号が表す音声には、雑音が含まれていることがある。
音声処理部１６は、雑音低減処理を行うことにより、上述した雑音を低減する。
【００１８】
図１は、音声処理部１６の機能構成の一例を示すブロック図である。
図１では、データ（信号）と機能部とを区別しやすくするために、駆動部は四隅がとがった四角、データは四隅が丸まった四角で図示されている。
図１に示すように、音声処理部１６は、参照期間設定部３１、類似期間検出部３２、置換信号生成部３３、基本周波数検出部３４、位相差検出部３５、音声信号置換部３６、等を有する。
図１において、入力音声信号２１は、音声信号であり、マイクロフォン１２で生成されたデジタル信号、マイクロフォン１２で生成されたアナログ信号にＡ／Ｄ変換処理を施したデジタル信号、等である。
【００１９】
参照期間設定部３１は、入力音声信号２１に対し、参照期間を設定する（第１設定処理）。参照期間は、雑音低減処理の対象の期間である。本実施例では、参照期間として、所定の時間幅を有する期間が設定される。参照期間設定部３１は、参照期間を類似期間検出部３２に通知する。
なお、参照期間の時間幅は予め定められていなくてもよい。例えば、参照期間の時間幅は、撮像対象、カメラ１の動作モード、ユーザ操作、等に応じて決定されてもよい。
【００２０】
類似期間検出部３２は、入力音声信号２１を取得する（第１取得処理）。
また、類似期間検出部３２は、複数の比較期間を設定する（第２設定処理）。比較期間は、参照期間と同じ時間幅を有する期間であり、且つ、参照期間とは異なる期間である。
また、類似期間検出部３２は、参照期間における入力音声信号を各比較期間における入力音声信号と比較する。そして、類似期間検出部３２は、その比較結果に基づいて、複数の比較期間の中から、参照期間における入力音声信号と類似した入力音声信号の期間である複数の類似期間を検出する（第１検出処理）。例えば、参照期間における音声信号との音声信号の類似度が高い比較期間から順番にＮ個（Ｎは３以上の整数）の比較期間のそれぞれが、類似期間として検出される。
そして、類似期間検出部３２は、各類似期間を少なくとも表す類似期間信号２２を出力する。本実施例では、類似期間信号２２として、複数の類似期間にそれぞれ対応する複数の信号類似度の大小関係をさらに表す信号が、生成され、出力される。信号類似度は、参照期間における入力音声信号と類似期間における入力音声信号との間の類似度である。
【００２１】
なお、第１取得処理と第２設定処理の少なくとも一方は、類似期間検出部３２とは異なる機能部によって実行されてもよい。第１取得処理と第２設定処理は、互いに異なる機能部によって実行されてもよい。
なお、類似期間の検出方法は上記方法に限らない。例えば、信号類似度が閾値以上である複数の比較期間のうち、参照期間に時間的に近い比較期間から順番にＮ個の比較期間のそれぞれが、類似期間として検出されてもよい。
なお、Ｎの値は、予め定められた固定値であってもよいし、ユーザによって設定されるものであってもよい。例えば、Ｎの値は、撮像対象、カメラ１の動作モード、ユーザ操作、等に応じて決定されてもよい。
【００２２】
基本周波数検出部３４は、参照期間における入力音声信号に含まれる基本周波数を検出する（第２検出処理）。本実施例では、人間が発する声の第１フォルマントに相当する周波数が、基本周波数として検出される。一般的に、成人が発する声の第１フォルマントの周波数は、５００Ｈｚ以上且つ１０００Ｈｚ以下の周波数と言われている。
【００２３】
位相差検出部３５は、基本周波数検出部３４によって検出された基本周波数に基づいて、類似期間毎に信号位相差を検出（取得）する（第２取得処理）。信号位相差は、参照期間における基本周波数の音声信号と、類似期間における基本周波数の音声信号と、の間の位相差である。
【００２４】
置換信号生成部３３は、各類似期間の信号位相差に基づいて、複数の類似期間の中から２つ以上の類似期間を選択する（選択処理）。
そして、置換信号生成部３３は、参照期間における入力音声信号と、選択した２つ以上の類似期間（選択類似期間）のそれぞれにおける入力音声信号と、に基づいて、置換信号２３を生成する（生成処理）。置換信号２３は、参照期間における出力音声信号として設定すべき音声信号である。
なお、選択処理は、置換信号生成部３３とは異なる機能部によって実行されてもよい。
【００２５】
音声信号置換部３６は、参照期間における入力音声信号を置換信号２３に置換することにより、出力音声信号２４を生成する。
【００２６】
（従来の雑音低減処理）
従来の雑音低減処理の一例について説明する。
図３（ａ）〜３（ｅ）は、従来の雑音低減処理の一例を示す模式図である。図３（ａ）の上側には、被写体の音声に白色雑音（暗雑音）が重畳された入力音声信号の一例が示されている。図３（ａ）の下側には、参照期間における入力音声信号と各類似期間における入力音声信号とが、他の期間における入力音声信号から切り離されて図示されている。図３（ｂ）は、置換信号の一例を示す。図３（ｃ）は、参照期間における入力音声信号を置換信号に置き換えて得られる出力音声信号の一例を示す。図３（ｄ）は、出力音声信号の他の例を示す。図３（ｅ）は、被写体の音声に対して一時的にレンズ駆動雑音が重畳された入力音声信号の一例を示す。図３（ａ）〜３（ｅ）において、横軸は時間位置を示し、縦軸は音声信号レベル（音声信号の信号レベル）を示す。図３（ａ）の上側，３（ｃ），３（ｄ），３（ｅ）は、入力音声信号２１や出力音声信号２４の一部を拡大した拡大図である。図３（ａ）の上側，３（ｃ），３（ｄ），３（ｅ）に示す音声信号は、０．２秒程度の音声信号である。図３（ａ）の上側の音声信号を局所的に観察すると、音声信号の繰り返し性が非常に高いことが分かる。以下で説明する従来の雑音低減処理は、音声信号が有する短時間での繰り返し性の高さに着目した処理である。短時間での繰り返し性の高さは、本実施例でも着目される。
【００２７】
まず、図３（ａ）に示すように、入力音声信号に対して、参照期間１００が設定される。参照期間における入力音声信号に第１フォルマントの周波数の１周期分の音声信号が含まれるように、参照期間の長さ（時間）が設定されていることが好ましい。即ち、参照期間の長さは、第１フォルマントの周波数の１周期以上であることが好ましい。例えば、成人が発する声の第１フォルマントの周波数は５００Ｈｚ以上且つ１０００Ｈｚ以下の周波数と言われているため、参照期間の長さは、２ｍｓｅｃ（＝０．００２ｓｅｃ＝１÷５００Ｈｚ）以上であることが好ましい。また、参照期間の長さとして、入力音声信号の基本周波数の数倍程度までの長さが設定されていることが好ましい。
【００２８】
次に、複数の比較期間が設定される。例えば、参照期間に対して時間的に前の期間と、参照期間に対して時間的に後の期間と、の少なくとも一方を含む複数の期間が、複数の比較期間として設定される。上述したように、比較期間の時間幅は、参照期間の時間幅と等しい。
なお、比較期間と、当該比較期間に隣接する隣接期間（参照期間または比較期間）と、の間の時間差は、特に限定されない。上記時間差は、例えば、処理負荷、想定される音声の周波数、等を考慮して決定される。上記時間差は、音声信号レベルのサンプリングレートの１ビット分であることが好ましい。比較期間の一部が隣接期間の一部に重畳されていてもよいし、比較期間は隣接期間から離れていてもよい。
【００２９】
そして、参照期間１００における入力音声信号を各比較期間における入力音声信号と比
較することにより、複数の比較期間の中から複数の類似期間が検出される。図３（ａ）の例では、３つの類似期間１０１ａ，１０１ｂ，１０１ｃが検出されている。
【００３０】
類似期間の検出方法の一例を以下に説明する。
なお、類似期間の検出方法は、以下の方法に限らない。
【００３１】
まず、比較期間毎に、参照期間における入力音声信号と比較期間における入力音声信号との間の類似度が算出される。類似度は、例えば、以下の式１を用いて算出される。
【数１】
0006381367.tif 000002
参照期間及び比較期間は、Ｍ個（Ｍは２以上の整数）の離散時間位置を含む。Ｍの値は、参照期間（または比較期間）の長さを音声信号レベルのサンプリングレートで除算することにより、算出することができる。式１において、ＳＣ（ｉ）は比較期間のｉ番目（ｉは１以上且つＭ以下の整数）の離散時間位置における入力信号レベル（入力音声信号の信号レベル）であり、ＳＲ（ｉ）は参照期間のｉ番目の離散時間位置における入力信号レベルである。Ｄは、非類似度である。類似度は、例えば、非類似度Ｄの逆数である。
【００３２】
式１では、各離散時間位置におけるレベル差（参照期間における入力信号レベルと比較期間における入力信号レベルとの間の差の絶対値）の総和が、非類似度Ｄとして算出される。そのため、比較期間における入力音声信号が参照期間における入力音声信号に近いほど小さい値が、非類似度Ｄとして算出される。そして、比較期間における入力音声信号が参照期間における入力音声信号と完全に一致する場合に、非類似度Ｄとして０が算出される。
【００３３】
次に、類似度が高い比較期間から順番にＮ個（Ｎは３以上の整数）の比較期間のそれぞれが、類似期間として検出される。具体的には、非類似度Ｄが小さい比較期間から順番にＮ個の比較期間のそれぞれが、類似期間として検出される。
【００３４】
類似期間が検出された後、参照期間における入力音声信号と、各類似期間における入力音声信号と、を用いて、置換信号が生成される。置換信号は、例えば、以下の式２を用いて算出される。
【数２】
0006381367.tif 000003
式２において、ｉとＭは式１と同じである。Ｎは類似期間の総数であり、Ｋは類似期間の番号である。Ｋは、１以上且つＮ以下の整数である。ＳＯ（ｉ）はｉ番目の離散時間位置における置換信号レベル（置換信号の信号レベル）であり、ＳＲ（ｉ）は参照期間のｉ番目の離散時間位置における入力信号レベルである。ＳＣＫ（ｉ）は、番号Ｋの類似期間のｉ番目の離散時間位置における入力信号レベルである。ｗＲは参照期間における入力音声信号の重みであり、ｗＫは番号Ｋの類似期間における入力音声信号の重みである。式２では、参照期間における入力音声信号と各類似期間における入力音声信号とを重みづけ加算することにより、置換信号が生成される。類似期間における音声信号の重みｗＫとしては、例えば、参照期間における音声信号との音声信号の類似度が高いほど大きい重みが使用される。即ち、重みｗＫとしては、非類似度Ｄが小さいほど大きい重みが使用される。
【００３５】
図３（ｂ）の音声信号１０２は、参照期間１００における入力音声信号と、類似期間１０１ａ，１０１ｂ，１０１ｃにおける入力音声信号と、を用いて生成された置換信号である。図３（ｂ）から、雑音が低減された音声信号が置換信号１０２として生成されていることがわかる。
なお、置換信号の生成方法は上記方法に限らない。例えば、重みｗＲ，ｗＫとして１を使用し、参照期間における入力音声信号と各類似期間における入力音声信号との平均の音声信号が、置換信号として生成されてもよい。また、重みｗＫとして、参照期間と類似期間の間の時間差が小さいほど大きい重みが使用されてもよい。
【００３６】
次に、参照期間１００における入力音声信号が、置換信号１０２に置換される。それにより、図３（ｃ）の出力音声信号が生成される。図３（ｃ）の出力音声信号では、参照期間１００における暗雑音が低減されている。
図３（ａ）の例では、入力音声信号の全期間にわたって暗雑音が重畳されている。参照期間の時間位置を少しずつずらしながら上述した処理を繰り返し行うことにより、図３（ｄ）の出力音声信号を生成することができる。図３（ｄ）の出力音声信号では、入力音声信号の全期間にわたって暗雑音が低減されている。
なお、暗雑音以外の雑音についても、上述した処理により低減することができる。例えば、図３（ｅ）の入力音声信号に重畳されている雑音（一部の期間１０３に重畳されているレンズ駆動雑音）も、上述した処理により低減することができる。具体的には、参照期間１０４ａと参照期間１０４ｂを含む複数の参照期間を順番に設定して上述した処理を行うことにより、図３（ｅ）の入力音声信号に重畳されている全てのレンズ駆動雑音を低減することができる。
【００３７】
しかしながら、上述した従来の雑音低減処理では、高精度に雑音を低減することができないことがある。以下、図４（ａ），４（ｂ），５，６を用いて、従来の雑音低減処理において生じる課題について説明する。
【００３８】
図４（ａ）は、被写体の音声に暗雑音が重畳された入力音声信号の一例を示す図である。図４（ｂ）は、従来の雑音低減処理を図４（ａ）の入力音声信号に施すことによって生成された出力音声信号の一例を示す図である。以下では、簡略化のために被写体の音声を表す音声信号の周波数がＦｂ［Ｈｚ］であるものとする。
【００３９】
図４（ａ）の例では、参照期間１１０が設定されており、類似期間１１１−１，１１１−２，１１１−３，１１１−ｐを含む複数の類似期間が検出されている。Ｔｒ（Ｋ）は、番号Ｋの類似期間と参照期間１１０との時間差である。図４（ａ）では、時間的に最も早い類似期間の番号Ｋが１となり、時間が進むにつれて番号Ｋが１ずつ増加するように各類似期間の番号Ｋが定められている。類似期間１１１−１は、時間的に最も早い類似期間である。そのため、類似期間１１１−１と参照期間１１０の時間差は、Ｔｒ（１）である。類似期間１１１−２は、２番目に早い類似期間である。そのため、類似期間１１１−２と参照期間１１０の時間差は、Ｔｒ（２）である。類似期間１１１−３は３番目に早い類似期間である。そのため、類似期間１１１−３と参照期間１１０の時間差は、Ｔｒ（３）である。類似期間１１１−ｐは、ｐ番目に早い類似期間である。そのため、類似期間１１１−ｐと参照期間１１０の時間差はＴｒ（ｐ）である。
【００４０】
参照期間１１０における入力音声信号の基本周波数はＦｂ［Ｈｚ］であり、基本周波数Ｆｂ［Ｈｚ］の周期Ｔｂ［ｓｅｃ］は基本周波数Ｆｂ［Ｈｚ］の逆数である。
上述したように、音声信号を局所的に観察すると、音声信号の繰り返し性は非常に高い。そのため、参照期間１１０に時間的に近い複数の類似期間は、周期Ｔｂの時間間隔で存在している可能性が高い。つまり、時間差Ｔｒ（Ｋ）は、周期Ｔｂの整数倍である可能性が高い。そのため、時間差Ｔｒ（Ｋ）が周期Ｔｂの整数倍であるＮ個の類似期間のそれぞ
れにおける入力音声信号を用いて置換信号を生成する処理（式２の演算）は、図５に示す信号処理と同等である。
【００４１】
図５は、置換信号を生成する信号処理を実現する機能部（置換信号生成部）の機能構成の一例を示すブロック図である。
遅延器１２１は、入力音声信号ｘ（ｎ）を遅延量Ｄｓ（Ｋ）の離散時間だけ遅延させて出力する。入力音声信号ｘ（ｎ）は、時間位置ｎにおける入力音声信号の信号レベルであり、参照期間における入力音声信号の信号レベルに相当する。遅延量Ｄｓ（Ｋ）は、番号Ｋの類似期間に対応する遅延量である。
ゲイン器１２２は、遅延器１２１から出力された音声信号にゲイン値α（Ｋ）を乗算し、乗算結果の音声信号を出力する。ゲイン値α（Ｋ）は、番号Ｋの類似期間に対応するゲイン値であり、上述した重みｗＫである。ここでは、説明を簡単にするために、全てのゲイン値α（Ｋ）が１であるものとする。
加算器１２３は、入力音声信号ｘ（ｎ）と、Ｎ個のゲイン器１２２から出力されたＮ個の音声信号と、の総和を算出し、算出結果である音声信号（総和）を出力する。
ゲイン器１２４は、加算器１２３から出力された音声信号にゲイン値βを乗算することにより、出力音声信号ｙ（ｎ）を算出する。ゲイン値βは１／Ｎである。出力音声信号ｙ（ｎ）は、時間位置ｎにおける入力音声信号の信号レベルとして設定すべき音声信号レベルである。
【００４２】
遅延量Ｄｓ（Ｋ）は、以下の式３で算出された値である。
Ｄｓ（Ｋ）＝Ｋ×Ｔｂ  ・・・（式３）
そのため、ゲイン器１２２からは、入力音声信号ｘ（ｎ＋Ｋ×Ｔｂ）が出力される。入力音声信号ｘ（ｎ＋Ｋ×Ｔｂ）は、時間位置“ｎ＋Ｋ×Ｔｂ”における入力音声信号の信号レベルであり、Ｋ番目の類似期間における入力音声信号の信号レベルに相当する。そして、入力音声信号ｘ（ｎ）とＮ個の入力音声信号ｘ（ｎ＋Ｋ×Ｔｂ）の平均値が、出力音声信号ｙ（ｎ）として算出される。入力音声信号ｘ（ｎ）と出力音声信号ｙ（ｎ）のこのような関係（伝達特性）は、いわゆるコムフィルタのフィルタ特性と同様であり、以下の式４で表すことができる。Ｎ個の入力音声信号ｘ（ｎ＋Ｋ×Ｔｂ）は、“時間位置ｎから周期Ｔｂの整数倍だけずらしたＮ個の時間位置におけるＮ個の入力信号レベル”と言うこともできる。
【数３】
0006381367.tif 000004
【００４３】
図４（ａ），４（ｂ）に示す音声信号の周波数特性（周波数とパワーとの対応関係）を、図６に示す。図６において、横軸は周波数［Ｈｚ］を示し、縦軸はパワー［ｄＢ］を示す。周波数特性１３１は図４（ａ）の入力音声信号の周波数特性であり、周波数特性１３２は図４（ｂ）の出力音声信号の周波数特性である。
図４（ａ）の入力音声信号には、周波数Ｆｂ［Ｈｚ］のサイン波と、白色雑音と、が含まれている。周波数Ｆｂ［Ｈｚ］のサイン波は、被写体の音性に相当する。そして、周波数特性１３１において、周波数Ｆｂ［Ｈｚ］のパワーは約Ｇ２［ｄＢ］であり、周波数Ｆｂ［Ｈｚ］以外の周波数帯域のパワーは約Ｇ１［ｄＢ］である。
図６から、図５に示す伝達特性で図４（ａ）の入力音声信号を図４（ｂ）の出力音声信号に変換することにより、白色雑音のパワーが約Ｇ１［ｄＢ］から約Ｇ３［ｄＢ］へ低下することがわかる。しかしながら、周波数特性１３２において、周波数Ｆｂ［Ｈｚ］の整数倍の周波数のパワーは、周波数特性１３１のパワーから変化していない。つまり、図４（ｂ）の出力音声信号は、雑音が低減されているように見えるが、周波数Ｆｂの整数倍の
周波数の雑音を低減できていない。遅延量Ｄｓ（Ｋ）を時間差Ｔｒ（Ｋ）に置き換えても、同様のことが言える。
【００４４】
（本実施例に係る雑音低減処理）
そこで、本実施例では、参照期間と各類似期間との時間差に注目し、周波数Ｆｂの整数倍の周波数の雑音も低減されるように、置換信号の生成に用いる類似期間を選択する。
本実施例に係る雑音低減処理の一例について説明する。
図７は、被写体の音声に暗雑音が重畳された入力音声信号の一例を示す図である。図７の入力音声信号は、図４（ａ）の入力音声信号と等しい。符号４０は参照期間を示し、符号４１−１，４１−２，４１−ｑ，４１−ｒは類似期間を示す。類似期間４１−１は、参照期間４０から基本周波数の１周期だけずれた時間位置の類似期間であり、類似期間４１−２は、参照期間４０から基本周波数の２周期だけずれた時間位置の類似期間である。類似期間４１−ｑ，４１−ｒは、参照期間４０からある程度離れた時間位置の類似期間である。図７でも、図４（ａ）と同様に、時間的に最も早い類似期間の番号Ｋが１となり、時間が進むにつれて番号Ｋが１ずつ増加するように各類似期間の番号Ｋが定められている。類似期間４１−１は、時間的に最も早い類似期間である。そのため、類似期間４１−１の番号Ｋは、１である。類似期間４１−２は、２番目に早い類似期間である。そのため、類似期間４１−２の番号Ｋは、２である。類似期間４１−ｑは、ｑ番目に早い類似期間である。そのため、類似期間４１−ｑの番号Ｋは、ｑである。類似期間４１−ｒは、ｒ番目に早い類似期間である。そのため、類似期間４１−ｒの番号Ｋは、ｒである。
【００４５】
本実施例では、基本周波数検出部３４により、参照期間における入力音声信号に含まれる基本周波数が検出される。基本周波数検出部３４では、例えば、参照期間における入力音声信号をフーリエ変換することにより、基本周波数が検出される。
なお、参照期間における入力音声信号をフーリエ変換することにより周波数が複数得られた場合には、当該複数の周波数のうち、大きさ（パワー）が所定値より大きい周波数を、基本周波数として検出すればよい。
そして、参照期間における入力音声信号をフーリエ変換することにより大きさが所定値より大きい周波数が複数得られた場合には、当該複数の周波数のうち、最も低い周波数を、基本周波数として検出すればよい。
なお、基本周波数の検出方法は特に限定されない。基本周波数を検出する処理として、従来技術を適宜利用することができる。
【００４６】
そして、本実施例では、位相差検出部３５により、類似期間毎に、参照期間における基本周波数の音声信号と、類似期間における基本周波数の音声信号と、の間の位相差（信号位相差）が検出される。信号位相差Ｐｂ（Ｋ）［ｓｅｃ］は、例えば、式５を用いて算出することができる。信号位相差Ｐｂ（Ｋ）［ｓｅｃ］は、Ｋ番目の類似期間に対応する信号位相差である。
Ｐｂ（Ｋ）＝ｍｏｄ［Ｔｒ（Ｋ），Ｔｂ］  ・・・（式５）
ｍｏｄ［Ａ，Ｂ］は、ＡをＢで除算することによって得られる整数値と余りのうち、余りを返す関数である。そのため、式５を用いた場合には、時間差Ｔｒ（Ｋ）を基本周波数の周期Ｔｂで除算することによって得られる整数値と余りのうち、余りが、信号位相差Ｐｂ（Ｋ）として算出（取得）される。
なお、信号位相差の検出方法は、上記方法に限らない。
【００４７】
上述したように、時間差Ｔｒ（Ｋ）がＴｂの整数倍である数多くの類似期間を使用して置換信号を生成すると、基本周波数の整数倍の周波数の雑音を高精度に低減できない置換信号が生成されてしまう。具体的には、信号位相差Ｐｂ（Ｋ）が略等しい数多くの類似期間を使用して置換信号を生成すると、基本周波数の整数倍の周波数の雑音を高精度に低減できない置換信号が生成されてしまう。
【００４８】
そこで、本実施例では、置換信号生成部３３が、各類似期間の信号位相差に基づいて、複数の類似期間の中から２つ以上の類似期間のそれぞれを、置換信号の生成に用いる類似期間（選択類似期間）として選択する。具体的には、置換信号生成部３３は、複数の選択類似期間の信号位相差のばらつきが増すように、複数の選択類似期間を選択する。
選択類似期間が選択された後、従来の雑音低減処理と同様の処理によって、置換信号が生成され、出力音声信号が生成される。
複数の選択類似期間の信号位相差のばらつきが増すように、複数の選択類似期間を選択することにより、従来よりも高精度に雑音を低減することができる置換信号を生成することができる。具体的には、基本周波数の整数倍の周波数の雑音をも十分に低減することができる。
【００４９】
以下、選択類似期間を選択する選択処理の具体例について説明する。
以下では、“類似期間４１−１の信号類似度”＞“類似期間４１−２の信号類似度”＞“類似期間４１−ｑの信号類似度”＞“類似期間４１−ｒの信号類似度”であるものとする。類似期間４１−１の信号類似度は、参照期間４０における入力音声信号と類似期間４１−１における入力音声信号との間の類似度である。類似期間４１−２の信号類似度は、参照期間４０における入力音声信号と類似期間４１−２における入力音声信号との間の類似度である。類似期間４１−ｑの信号類似度は、参照期間４０における入力音声信号と類似期間４１−ｑにおける入力音声信号との間の類似度である。類似期間４１−ｒの信号類似度は、参照期間４０における入力音声信号と類似期間４１−ｒにおける入力音声信号との間の類似度である。
また、以下では、類似期間４１−１の信号位相差Ｐｂ（１）が０であり、類似期間４１−２の信号位相差Ｐｂ（２）が０であるものとする。そして、類似期間４１−ｑの信号位相差Ｐｂ（ｑ）が０．５Ｔｂであり、類似期間４１−ｒの信号位相差Ｐｂ（ｒ）が０．１Ｔｂであるものとする。
【００５０】
本実施例では、置換信号生成部３３は、信号類似度が高い類似期間から順番にＮ個の類似期間のそれぞれを選択類似期間として選択する。但し、置換信号生成部３３は、信号位相差が選択類似期間の信号位相差と等しい（略等しい）類似期間を、選択類似期間として選択しない。
【００５１】
そのため、最初に、信号類似度が最も高い類似期間４１−１が、選択類似期間として選択される。
信号類似度が２番目に高い類似期間４１−１は、信号位相差Ｐｂ（２）が類似期間４１−１の信号位相差Ｐｂ（１）と等しいため、選択類似期間として選択されない。
信号類似度が３番目に高い類似期間４１−ｑの信号位相差Ｐｂ（ｑ）は、類似期間４１−１の信号位相差Ｐｂ（１）と大きく異なる。そのため、類似期間４１−１の次に、類似期間４１−ｑが選択類似期間として選択される。
信号類似度が４番目に高い類似期間４１−ｒの信号位相差Ｐｂ（ｑ）は、類似期間４１−１の信号位相差Ｐｂ（１）及び類似期間４１−ｑの信号位相差Ｐｂ（ｑ）と大きく異なる。そのため、類似期間４１−ｑの次に、類似期間４１−ｒが選択類似期間として選択される。
【００５２】
なお、選択処理の方法は上記方法に限らない。信号位相差を考慮して選択類似期間が選択されれば、どのような方法で選択類似期間が選択されてもよい。例えば、信号位相差が等しい（略等しい）類似期間が複数の選択類似期間にわずかに含まれていてもよい。但し、複数の選択類似期間の信号位相差のばらつきが大きい方が、ばらつきが小さい場合に比べ、基本周波数の整数倍の周波数の雑音がより高精度に低減された置換信号を生成することができる。そのため、複数の選択類似期間の信号位相差のばらつきが大きいことが好ま
しい。また、信号類似度が高い類似期間を使用した方が、信号類似度が低い類似期間を使用する場合に比べて、雑音より高精度に低減された置換信号を生成することができる。そのため、信号位相差が互いに等しい複数の類似期間が存在する場合には、当該複数の類似期間のうち、信号類似度が最も高い類似期間が、選択類似期間として優先的に選択されることが好ましい。
【００５３】
以上述べたように、本実施例によれば、音声に含まれている雑音を高精度に低減することができる。具体的には、本実施例では、循環バッファ等を必要としないため、雑音を低減できる期間の長さが物理的な制限によって制限されることがない。また、本実施例では、各類似期間の信号位相差を考慮して、複数の類似期間の中から複数の選択類似期間（置換信号の生成に使用する類似期間）が選択される。それにより、信号位相差が略等しい類似期間を数多く使用して置換信号が生成されることを抑制することができ、基本周波数の整数倍の周波数の雑音をも十分に低減された置換信号を生成することができる。その結果、雑音が高精度に低減された出力音声信号を得ることができる。
【００５４】
なお、本実施例では、雑音が暗雑音である場合の例について詳しく説明したが、上述した処理を行うことにより、他の雑音も低減することができる。例えば、上述したレンズ駆動雑音も低減することができる。低減対象の雑音がレンズ駆動雑音である場合には、撮像装置が有する光学レンズの駆動期間を、参照期間として設定すればよい。具体的には、カメラシステム制御部１０からの駆動命令に応じてレンズ駆動部１５が撮像レンズ１１を駆動している期間を、参照期間として設定すればよい。
【００５５】
なお、本実施例では、撮像装置に設けられている音声処理部が上述した雑音低減処理を実行する例を説明したが、これに限らない。他の電子機器に設けられている音声処理部が、上述した雑音低減処理を実行してもよい。撮像装置などの電子機器とは独立した音声処理装置が、上述した雑音低減処理を実行してもよい。撮像装置では、動画撮像時に入力音声信号が記憶部に記録されてもよい。そして、動画撮像後に、撮像装置以外の電子機器が上述した雑音低減処理を実行することにより、入力音声信号から出力音声信号が生成されてもよい。
【００５６】
＜実施例２＞
図８（ａ），８（ｂ），９，１０を参照して、本発明の実施例３に係る音声処理装置、撮像装置、及び、音声処理方法について説明する。
実施例１では、１つのマイクロフォン１２で生成された１つの入力音声信号（モノラル音声信号）に雑音低減処理を施す例を説明した。
本実施例では、２つのマイクロフォンで生成された２つの入力音声信号（ステレオ音声信号；マルチチャンネル音声信号）に雑音低減処理を施す例を説明する。
なお、本実施例で説明する雑音低減処理は、３つ以上のマイクロフォンで生成された３つ以上の入力音声信号（マルチチャンネル音声信号）に施す雑音低減処理として実行することもできる。
【００５７】
（撮像装置の構成）
図８（ａ）は、本実施例に係る音声処理装置の一例であるカメラ８１の外観の一例を示す斜視図である。図８（ｂ）は、カメラ８１の機能構成の一例を示すブロック図である。
なお、図８（ａ），８（ｂ）において実施例１（図２（ａ），２（ｂ））と同じ機能部には実施例１と同じ符号を付し、その説明は省略する。
図８（ａ），８（ｂ）に示すように、本実施例では、カメラ８１に２つのマイクロフォン（左側のＬｃｈマイクロフォン８２ａと右側のＲｃｈマイクロフォン８２ｂ）が設けられている。
Ｌｃｈマイクロフォン８２ａとＲｃｈマイクロフォン８２ｂは、実施例１のマイクロフ
ォン１２と同様の機能を有する。以後、Ｌｃｈマイクロフォン８２ａで生成された音声信号を“Ｌｃｈ入力音声信号”と記載し、Ｒｃｈマイクロフォン８２ｂで生成された音声信号を“Ｒｃｈ入力音声信号”と記載する。
音声処理部８３は、Ｌｃｈマイクロフォン８２ａからＬｃｈ入力音声信号を取得し、Ｒｃｈマイクロフォン８２ｂからＲｃｈ入力音声信号を取得する。そして、音声処理部８３は、Ｌｃｈ入力音声信号とＲｃｈマイクロフォン８２ｂのそれぞれに種々の処理を施すことにより、２つの出力音声信号を生成する。以後、Ｌｃｈ入力音声信号に種々の処理を施すことによって生成された出力音声信号を“Ｌｃｈ出力音声信号”と記載し、Ｒｃｈ入力音声信号に種々の処理を施すことによって生成された出力音声信号を“Ｒｃｈ出力音声信号”と記載する。音声処理部８３が行う処理は、雑音低減処理を含む。
【００５８】
（音声処理部８３の構成）
図９は、音声処理部８３の機能構成の一例を示すブロック図である。
なお、図９において実施例１（図１）と同じ機能部には実施例１と同じ符号を付し、その説明は省略する。
【００５９】
本実施例では、Ｒｃｈ入力音声信号（第２音声信号）が、Ｌｃｈ入力音声信号（第１音声信号）が表す音声に対して遅延した音声を表す場合の例を説明する。
遅延検出部９１は、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号のそれぞれを入力音声信号２１として取得し、Ｌｃｈ入力音声に対するＲｃｈ入力音声の遅延時間を検出する（第３検出処理）。Ｌｃｈ入力音声は、Ｌｃｈ入力音声信号が表す音声であり、Ｒｃｈ入力音声は、Ｒｃｈ入力音声信号が表す音声である。
なお、遅延時間の検出方法は特に限定されない。例えば、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の間の相互相関値に基づいて、遅延時間を検出することができる（従来技術であるため、詳細な説明は省略する）。
【００６０】
参照期間設定部９２は、Ｌｃｈ入力音声信号に対して第１参照期間を設定し、Ｒｃｈ入力音声信号に対して第２参照期間を設定する。第２参照期間は、第１参照期間と、遅延検出部９１で検出された遅延時間と、に基づいて設定される。具体的には、第１参照期間を遅延時間だけ遅延させた期間が、第２参照期間として設定される。
【００６１】
類似期間検出部９３は、Ｌｃｈ入力音声信号を取得する処理（第３取得処理）と、Ｒｃｈ入力音声信号を取得する処理（第４取得処理）と、を行う。
なお、第３取得処理、第４設定処理、及び、実施例１で述べた第２設定処理のうちの少なくとも１つは、類似期間検出部３２とは異なる機能部によって実行されてもよい。第３取得処理、第４設定処理、及び、第２設定処理は、互いに異なる機能部によって実行されてもよい。
【００６２】
そして、類似期間検出部９３は、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号のそれぞれに対して複数の類似期間を設定する。Ｌｃｈ入力音声信号に対しては、実施例１の類似期間検出部３２と同様の処理を行うことによって、複数の第１類似期間が設定（検出）される。第１類似期間は、第１参照期間におけるＬｃｈ入力音声信号と類似したＬｃｈ入力音声信号の期間である。Ｒｃｈ入力音声信号に対する複数の類似期間は、Ｌｃｈ入力音声信号の複数の類似期間と、遅延検出部９１で検出された遅延時間と、に基づいて設定される。具体的には、複数の第１類似期間を遅延時間だけ遅延させた複数の期間が、Ｒｃｈ入力音声信号の複数の類似期間（第２類似期間）として設定される。
【００６３】
本実施例では、第２類似期間は、Ｌｃｈ入力音声信号に対する類似期間としても使用される。
そのため、本実施例では、第１置換信号を生成する際に、２つ以上の第１類似期間だけ
でなく、当該２つ以上の第１類似期間を遅延時間だけ遅延させた２つ以上の第２類似期間も使用される。具体的には、２つ以上の第２類似期間のそれぞれにおけるＲｃｈ入力音声信号がさらに使用される。第１置換信号は、第１参照期間におけるＬｃｈ入力音声信号として設定すべき置換信号である。
そして、本実施例では、第２置換信号を生成する際に、２つ以上の第２類似期間として、第１置換信号を生成する際に用いた２つ以上の第１類似期間を遅延時間だけ遅延させた２つ以上の第２類似期間が使用される。第２置換信号は、第２参照期間におけるＲｃｈ入力音声信号として設定すべき音声信号である。
なお、第１類似期間は、Ｒｃｈ入力音声信号に対する類似期間としてさらに使用されてもよい。即ち、第１置換信号を生成する際に、２つ以上の第２類似期間を遅延時間だけ遅延させた２つ以上の第１類似期間のそれぞれにおけるＬｃｈ入力音声信号がさらに使用されてもよい。
なお、類似期間検出部９３で複数の第１類似期間のみが設定されてもよい。その場合には、置換信号生成部３３で、２つ以上の第１類似期間を遅延時間だけ遅延させることによって、２つ以上の第２類似期間が設定されてもよい。
なお、第１類似期間の信号類似度は実施例１と同様の処理により決定されるが、第２類似期間の信号類似度は、どのように決定されてもよい。例えば、実施例１と同様の処理によって第２類似期間の信号類似度が決定されてもよい。また、第２類似期間の元となった第１類似期間の信号類似度が、第２類似期間の信号類似度として設定されてもよい。
【００６４】
（雑音低減処理）
本実施例に係る雑音低減処理の具体例について説明する。
なお、実施例１と同じ処理については説明を省略する。
図１０は、被写体の音声に暗雑音が重畳された入力音声信号の一例を示す図である。図１０の上側にはＬｃｈ入力音声信号が示されており、図１０の下側にはＲｃｈ入力音声信号が示されている。暗雑音は、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の両方に重畳されている。図１０において、横軸は時間を示し、縦軸は信号レベルを示す。
【００６５】
音声を発する被写体（音発生源）がカメラ１の正面からずれている場合、Ｌｃｈマイクロフォン８２ａから音発生源までの距離は、Ｒｃｈマイクロフォン８２ｂから音発生源までの距離と異なる。そのため、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の一方が、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の他方が表す音声に対して遅延した音声を表すことがある。図１０では、Ｒｃｈ入力音声がＬｃｈ入力音声に対して遅延時間Ｄｔだけ遅延している。
【００６６】
遅延時間Ｄｔが０である場合には、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の一方は、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の他方と同等みなすことができる。そのため、Ｌｃｈ入力音声信号に対する第１置換信号を生成する際にＲｃｈ入力音声信号を使用したり、Ｒｃｈ入力音声信号に対する第２置換信号を生成する際にＬｃｈ入力音声信号を使用したりすることができる。また、置換信号を生成する際にＬｃｈ入力音声信号とＲｃｈ入力音声信号の両方を使用すれば、使用される類似期間の数が増すため、雑音がより低減された置換信号を生成することができる。暗雑音のようなランダム性の高い雑音に関しては、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号との間の雑音の相関関係は無い。そのため、ランダム性の高い雑音が重畳されている場合には、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の両方を使用して置換信号を生成することは、極めて有効である。
【００６７】
図１０において、符号５０は、Ｌｃｈ入力音声信号の第１参照期間を示し、符号５２は、Ｒｃｈ入力音声信号の第２参照期間を示す。第２参照期間５２は、第１参照期間５０におけるＬｃｈ入力音声信号に対応するＲｃｈ入力音声信号の期間であり、第１参照期間５０を遅延時間Ｄｔだけ遅延させた期間である。
このように、本実施例では、第１参照期間を遅延時間Ｄｔだけ遅延させた期間が、第２参照期間として設定される。
【００６８】
符号５１−１，５１−ｑは、Ｌｃｈ入力音声信号の第１類似期間を示す。第１類似期間５１−１は、第１参照期間５０から基本周波数の１周期だけずれた時間位置の第１類似期間であり、第１類似期間５１−ｑは、第１参照期間５０からある程度離れた時間位置の第１類似期間である。
符号５１−１’，５１−ｑ’は、Ｒｃｈ入力音声信号の第２類似期間を示す。第２類似期間５１−１’は、第２参照期間５２から基本周波数の１周期だけずれた時間位置の第２類似期間であり、第２類似期間５１−ｑ’は、第２参照期間５２からある程度離れた時間位置の第２類似期間である。第２類似期間５１−１’は、第１類似期間５１−１を遅延時間Ｄｔだけ遅延させた期間であり、第２類似期間５１−ｑ’は、第１類似期間５１−ｑを遅延時間Ｄｔだけ遅延させた期間である。
このように、本実施例では、第１類似期間を遅延時間Ｄｔだけ遅延させた期間が、第２類似期間として設定される。
なお、基本周波数として、第１類似期間におけるＬｃｈ入力音声信号の基本周波数と、第２類似期間におけるＲｃｈ入力音声信号の基本周波数と、の両方が検出されてもよいし、いずれか一方が検出されてもよい。
【００６９】
図１０において、第１参照期間５０と第１類似期間５１−１の間の時間差はＴｒ（１）であり、第１参照期間５０と第１類似期間５１−ｑの間の時間差はＴｒ（ｑ）である。上述したように、遅延時間Ｄｔが０である場合には、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の一方は、Ｌｃｈ入力音声信号とＲｃｈ入力音声信号の他方と同等みなすことができる。そのため、第２参照期間５２と第２類似期間５１−１’の間の時間差は、第１参照期間５０と第１類似期間５１−１の間の時間差と同じ時間差Ｔｒ（１）となる。そして、第２参照期間５２と第２類似期間５１−ｑ’の間の時間差は、第１参照期間５０と第１類似期間５１−ｑの間の時間差と同じ時間差Ｔｒ（ｑ）となる。従って、第１参照期間５０と第２類似期間５１−１’の間の時間差Ｔｒ（１’）は、式６−１の関係を満たし、第１参照期間５０と第２類似期間５１−ｑ’の間の時間差Ｔｒ（ｑ’）は、式６−２の関係を満たす。
Ｔｒ（１’）＝Ｔｒ（１）＋Ｄｔ  ・・・（式６−１）
Ｔｒ（ｑ’）＝Ｔｒ（ｑ）＋Ｄｔ  ・・・（式６−２）
【００７０】
そして、図１０に示すように、第１参照期間５０におけるＬｃｈ入力音声信号に含まれる基本周波数と、第１類似期間５１−１におけるＬｃｈ入力音声信号に含まれる基本周波数と、の間の信号位相差Ｐｂ（１）は０となる。そして、第１参照期間５０におけるＬｃｈ入力音声信号に含まれる基本周波数と、第２類似期間５１−１’におけるＲｃｈ入力音声信号に含まれる基本周波数と、の間の信号位相差Ｐｂ（１’）はＤｔ（＝遅延時間）となる。そのため、信号位相差Ｐｂ（１）と信号位相差Ｐｂ（１’）はＤｔとなる。
同様に、信号位相差Ｐｂ（ｑ）と信号位相差Ｐｂ（ｑ’）の差もＤｔとなる。信号位相差Ｐｂ（ｑ）は、第１参照期間５０におけるＬｃｈ入力音声信号に含まれる基本周波数と、第１類似期間５１−ｑにおけるＬｃｈ入力音声信号に含まれる基本周波数と、の間の信号位相差である。信号位相差Ｐｂ（ｑ’）は、第１参照期間５０におけるＬｃｈ入力音声信号に含まれる基本周波数と、第２類似期間５１−ｑ’におけるＲｃｈ入力音声信号に含まれる基本周波数と、の間の信号位相差である。
このように、遅延時間だけずれた第１類似期間と第２類似期間の間の信号位相差の差は、置換時間Ｄｔと一致する。
【００７１】
そのため、遅延時間Ｄｔが閾値よりも大きければ、第１置換信号を生成する際に、第１類似期間だけでなく、当該第１類似期間を遅延時間Ｄｔだけ遅延させた第２類似期間も選
択されることとなる。例えば、第１類似期間５１−ｑが選択された場合に、第２類似期間５１−ｑ’も選択されることとなる。これにより、第１置換信号を生成する際に、信号位相差のばらつきの低下を抑制して、より多くの類似期間（第１参照期間におけるＬｃｈ入力音声信号との類似度が高い音声信号の期間）を使用することができる。その結果、雑音がより低減された第１置換信号を生成することができる。
第２置換信号を生成する際にも、第１置換信号を生成する場合と同様に、信号位相差のばらつきの低下を抑制して、より多くの類似期間（第２参照期間におけるＲｃｈ入力音声信号との類似度が高い音声信号の期間）を使用することができる。その結果、雑音がより低減された第２置換信号を生成することができる。
【００７２】
また、本実施例では、第２類似期間は、第１類似期間を遅延時間だけ遅延させることによって設定される。そのため、第２類似期間を設定する際には、複数の比較期間を設定する処理、音声信号を比較する処理、信号類似度を算出する処理、等は省略される。それにより、類似期間検出部９３の処理負荷を大幅に低減することができる。
【００７３】
以上述べたように、本実施例によれば、第１置換信号を生成する際に、２つ以上の第１類似期間を遅延時間だけ遅延させた２つ以上の期間のそれぞれにおけるＲｃｈ音声信号がさらに使用する。それにより、第１置換信号を生成する際に、信号位相差のばらつきの低下を抑制して、より多くの類似期間を使用することができる。その結果、雑音がより低減された第１置換信号を生成することができ、雑音がより低減されたＲｃｈ出力音声信号を生成することができる。
また、本実施例によれば、第１置換信号を生成する際に用いた２つ以上の第１類似期間を遅延時間だけ遅延させることにより、第２置換信号を生成する際に使用する２つ以上の第２類似期間が設定される。それにより、第２類似期間を設定する処理の処理負荷を大幅に低減することができる。
【００７４】
なお、本実施例では、２つの入力音声信号に雑音低減処理を施す例を説明したが、３つ以上の入力音声信号に雑音低減処理を施す場合にも上述した処理と同様の処理を行うことによって、処理負荷を低減したり、雑音低減処理の精度を高めたりすることができる。具体的には、３つ以上の入力音声信号に雑音低減処理を施す場合には、３つ以上の入力音声信号の間の遅延時間を検出し、遅延時間を用いて類似期間を設定すればよい。
なお、本実施例では、第１音声信号がＬｃｈ入力音声信号であり、第２音声信号がＲｃｈ入力音声信号である場合の例を説明したが、これに限らない。例えば、第２音声信号がＬｃｈ入力音声信号であり、第１音声信号がＲｃｈ入力音声信号であってもよい。即ち、上述した説明において、“Ｌｃｈ入力音声信号”を“Ｒｃｈ入力音声信号”と読み替え、“Ｒｃｈ入力音声信号”を“Ｌｃｈ入力音声信号”と読み替えてもよい。
【００７５】
＜その他の実施例＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【００７６】
１，８１：カメラ  １１：撮像レンズ  １５：レンズ駆動部
１６，８３：音声処理部  ３１，９２：参照期間設定部
３２，９３：類似期間検出部  ３３：置換信号生成部
３４：基本周波数検出部  ３５：位相差検出部  ３６：音声信号置換部
９１：遅延検出部
【図１】
0006381367.tif 000005
【図２】
0006381367.tif 000006
【図３】
0006381367.tif 000007
【図４】
0006381367.tif 000008
【図５】
0006381367.tif 000009
【図６】
0006381367.tif 000010
【図７】
0006381367.tif 000011
【図８】
0006381367.tif 000012
【図９】
0006381367.tif 000013
【図１０】
0006381367.tif 000014