(57)【要約】【課題】  複数の雑音が連続して発生する場合であっても、雑音低減を効果的に実施することができる音声処理装置を提供することを目的とする。【解決手段】  音声信号に含まれる区間の音声信号を、前記雑音の含まれる区間の前方の所定区間および後方の所定区間の音声信号に基づいて生成した信号によって補間し、前記音声処理手段は、前記雑音の含まれる区間の前方の所定区間と後方の所定区間の音声信号のいずれか一方に雑音が含まれる場合は、前記雑音の含まれていない区間の音声信号に基づいて生成した信号によって、前記音声信号に含まれる区間の音声信号を補間する。【選択図】  図１１
2013182185.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を取得する取得手段と、
前記音声信号に含まれる雑音を低減する音声処理手段とを有し、
前記音声処理手段は、前記音声信号の雑音の含まれる区間の音声信号を、前記雑音の含まれる区間の前方の所定区間および後方の所定区間の音声信号に基づいて生成した信号によって補間し、
前記音声処理手段は、前記雑音の含まれる区間の前方の所定区間と後方の所定区間の音声信号のいずれか一方に雑音が含まれる場合は、前記雑音の含まれていない区間の音声信号に基づいて生成した信号によって、前記音声信号に含まれる区間の音声信号を補間することを特徴とする音声処理装置。
【請求項２】
前記音声処理手段は、前記雑音の含まれる第１の区間の前方の所定区間と後方の所定区間の音声信号のいずれか一方に雑音が含まれる場合は、前記第１の区間の前方の所定区間と後方の所定区間の音声信号のいずれかに含まれる雑音を低減した後に、
前記雑音を低減した音声信号に基づいて生成した信号によって、前記第１の区間の音声信号を補間することを特徴とする請求項１記載の音声処理装置。
【請求項３】
前記音声処理手段は、前記雑音の含まれる第１の区間の前方の所定区間と後方の所定区間の音声信号のいずれか一方に雑音が含まれる場合は、前記第１の区間の前方の所定区間と後方の所定区間の音声信号のいずれかに含まれる雑音を低減した後に、
前記雑音低減後の前記第１の区間の前方の所定区間および後方の所定区間の音声信号に基づいて生成した信号によって、前記第１の区間の音声信号を補間することを特徴とする請求項１記載の音声処理装置。
【請求項４】
前記取得手段により取得された音声信号の雑音が含まれる区間を判定する判定手段を有することを特徴とする請求項１から３のいずれか１項記載の音声処理装置。
【請求項５】
被写体の光学像を取得して光電変換素子に入力する光学手段と、
前記光学手段の駆動を制御する制御手段とを有し、
前記音声処理手段は、前記制御手段により前記光学手段を駆動する指示に基づいて、前記雑音の含まれる区間を特定することを特徴とする請求項１から４のいずれか１項記載の音声処理装置。
【請求項６】
音声信号を取得する取得手段を有する音声処理装置を制御する方法であって、
前記音声信号に含まれる区間の音声信号を、前記雑音の含まれる区間の前方の所定区間および後方の所定区間の音声信号に基づいて生成した信号によって補間し、
前記雑音の含まれる区間の前方の所定区間と後方の所定区間の音声信号のいずれか一方に雑音が含まれる場合は、前記雑音の含まれていない区間の音声信号に基づいて生成した信号によって、前記音声信号に含まれる区間の音声信号を補間することを特徴とする音声処理装置の制御方法。
【請求項７】
コンピュータを請求項１から５のいずれか１項記載の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声処理装置に関する。
【背景技術】
【０００２】
従来、音声処理装置として、撮影した動画とともに音声を記録することができる撮像装置が知られている。
【０００３】
これらの撮像装置においては、光学系の駆動により発生する雑音が音声として記録されてしまう問題があり、様々な雑音低減技術が開発されている（例えば、特許文献１）。特許文献１においては、撮像装置のアイリスモータまたはシャッタモータが駆動した場合には、モータの駆動する直前の音声を用いて、雑音の発生する区間の音声を補間する技術が提案されている。
【０００４】
また、特許文献２においては、ハードディスクのヘッド退避音の隠蔽方法が開示されている。具体的には、ハードディスクのヘッド退避音が発生した箇所の音声信号を前後の信号から生成して隠蔽する。
【０００５】
また、非特許文献１においては、音声の伝送および復調に関連し、音声伝送においてパケットの喪失の隠蔽方法が開示されている。具体的にはパケット喪失した箇所の信号を、喪失以前の信号から予測して生成する。また、パケットが再度正常に得られたときには、当該正常パケットから前方１パケット分の信号を滑らかに繋がるように予測して補正する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２０３３７６号公報
【特許文献２】特開２００８−０５３８０２号公報
【非特許文献】
【０００７】
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｇ．７１１−Ａｐｐｅｎｄｉｘ  I
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術を用いて雑音低減を行う場合、例えば、アイリスモータとシャッタモータとが連続して駆動してしまうと、例えばシャッタモータの駆動する区間の音声を補間するための、音声にアイリスモータの雑音が含まれてしまう場合がある。このような場合には、雑音区間に別の雑音が含まれてしまうことになり、結果として雑音低減効果が薄れてしまうことになる。
【０００９】
そこで本発明は、複数の雑音が連続して発生する場合であっても、雑音低減を効果的に実施することができる音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の音声処理装置は、音声信号を取得する取得手段と、前記音声信号に含まれる雑音を低減する音声処理手段とを有し、前記音声処理手段は、前記音声信号の雑音の含まれる区間の音声信号を、前記雑音の含まれる区間の前方の所定区間および後方の所定区間の音声信号に基づいて生成した信号によって補間し、前記音声処理手段は、前記雑音の含まれる区間の前方の所定区間と後方の所定区間の音声信号のいずれか一方に雑音が含まれる場合は、前記雑音の含まれていない区間の音声信号に基づいて生成した信号によって、前記音声信号に含まれる区間の音声信号を補間することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の雑音が連続して発生する場合であっても、雑音低減を効果的に実施することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例の撮像装置の概略図である。
【図２】本実施例の撮像装置１および撮像レンズ２の機能ブロックを示す図である。
【図３】本実施例の撮像装置１および撮像レンズ２の斜視図である。
【図４】音声処理部２６の機能ブロックを示す図である。
【図５】雑音判定部４６の動作を説明する図である。
【図６】雑音判定部４６の信号の状態を示す図である。
【図７】予測処理の説明をするための図である。
【図８】本実施例の予測処理の説明をするための図である。
【図９】本実施例の予測処理の説明をするための図である。
【図１０】本実施例の予測処理の説明をするための図である。
【図１１】本実施例の予測処理の動作を説明するためのフロー図である。
【図１２】本実施例の予測処理の説明をするための図である。
【図１３】本実施例の予測処理の説明をするための図である。
【図１４】本実施例の予測処理の説明をするための図である。
【図１５】本実施例の予測処理の説明をするための図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態について詳細に説明するが、本発明は以下の実施形態に限定されるものではない。
【実施例１】
【００１４】
本実施例においては、周囲の音声を集音して得られた音声信号に雑音低減処理を施すことができる撮像装置について説明する。
【００１５】
図１は、本実施例の撮影装置の概略図である。図１において、撮像装置１は、撮像レンズ２を装着することができる。撮像装置１と撮像レンズ２とは、接点１０により電気的に接続可能であり、接続状態においては接点１０を通じて撮像装置１の不図示の制御部と、撮像レンズ２の不図示の制御部とが通信可能である。
【００１６】
撮像装置１は、被写体の光学像を電気信号に変換し画像信号を取得する例えば光電変換素子等の撮像素子６、周囲の音声の音波振動を電気信号に変換し音声信号を取得するマイク７を有する。また、撮像装置１は、いわゆるクイックリターンミラー機構１１、ＡＦセンサ等からなる焦点検出部１２を有する。
【００１７】
一方、撮像レンズ２は、レンズ鏡筒５、撮像レンズの光軸４に沿って並べられた複数または単数のレンズからなる撮像光学系３を有する。また、撮像レンズ２は、撮像光学系のレンズを駆動する光学系駆動部９を有する。
【００１８】
撮像装置１の不図示の制御部は、クイックリターンミラー機構１１を制御し、撮像レンズ２から入力された被写体の光学像の一部を焦点検出部１２に導き、焦点検出部１２により焦点検出を実行させる。またさらに露出検出を行わせても良い。そして、撮像装置１の制御部は、検出結果に基づいて、撮像レンズ２の制御部に対してレンズ駆動命令を送信する。撮像レンズ２の制御部は、レンズ駆動命令に基づいて光学系駆動部９を制御し、撮像光学系３の各レンズを駆動させる。また、撮像レンズ２の制御部は、露出検出結果に基づく駆動命令に応じて、撮像光学系の絞りを駆動させても良い。
【００１９】
また、本実施例の撮像装置１の制御部は、クイックリターンミラー機構１１を制御し、撮像素子６に光学像を結像させた状態で、撮像素子６により得られた画像信号の画像の状態を解析しながら撮像レンズ２の撮像光学系３を制御しても良い。すなわち、撮像素子６により得られた画像信号のエッジ部分が鮮鋭になるように撮像光学系３を徐々に駆動させる制御を行うこともできる。
【００２０】
本実施例の撮像装置１は、ユーザが不図示のレリーズ釦の操作と同期させて撮像素子６より被写体の画像信号を取得し、所定の画像処理を施して、不図示の記録媒体に記録することもできる。
【００２１】
次に、本実施例の撮像装置１の機能について説明する。
図２は、本実施例の撮像装置１および撮像レンズ２の機能ブロックを示す図である。
図２において、撮像装置１は、焦点検出部１２、露出検出部１３、撮像素子６、Ａ／Ｄ変換部２０、画像処理部２１、記録処理部２３、メモリ２４、カメラシステム制御部２５、マイク７、音声処理部２６、操作部２７、表示部２２を有する。一方、撮像レンズ２は、撮像光学系３、レンズシステム制御部２８、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、絞り駆動部９ｃを有する。
【００２２】
なお、各機能ブロックは、実際にハードウェアとして独立した構成であっても良いし、複数の機能が、単一のハードウェアによって構成されていても良い。たとえば、カメラシステム制御部２５は、ＣＰＵとメモリとからなるマイクロコンピュータである。このマイクロコンピュータにより他の機能ブロックの機能を実行させても良い。
【００２３】
撮像系は、被写体の光学像を撮影光学系３を介して撮像素子６の撮像面に結像する。エイミングなどの撮影予備動作中は、クイックリターンミラー機構１１に設けられたミラーにより、撮像素子６に対して光学像を導く代わりに、ファインダー側へ光学像を導くとともに、焦点検出部１２にも光束の一部を導く。焦点検出部１２の検出結果に基づいて、後述の制御系によって適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光され、撮像素子６近傍で被写体像が結像されるようになる。
【００２４】
画像処理部２１は、Ａ／Ｄ変換部２０を介して撮像素子６から受けた画像信号を処理する。たとえば、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【００２５】
音声処理系は、マイク７により得られた音声信号に対して、音声処理部２６によって適切な処理を施して録音用音声信号を生成する。録音用生成信号は後述する記録処理部により画像とリンクして、記録処理部２３に送信される。
【００２６】
記録処理部２３は、不図示の記録媒体に対して、画像信号と音声信号からなるストリームデータを記録するものであり、さらに、表示部２２に出力する画像を生成する。また、記録処理部２３は、予め定められた方法を用いて画像、動画、音声などの圧縮符号化処理を行う。本実施例においては、どのような圧縮符号化処理を用いても構わない。
【００２７】
カメラシステム制御部２５は、撮像装置１の各ブロックを制御するものである。たとえば、操作部２７からの入力に基づいて、撮像の際のタイミング信号などを生成して出力したり、撮像レンズ２の制御部に対して、レンズ駆動用の命令信号を出力したりする。また、カメラシステム制御部２５は後述する周囲音レベルの判別手段、周囲音と駆動音の比較手段としても機能する。焦点検出部１２は被写体の光学像の合焦状態を、露出検出部１３は被写体の輝度を、それぞれ検出する。レンズシステム制御部２８は前記カメラシステム制御部２５の信号に応じて適切にレンズを駆動させて光学系の調整を行う。
【００２８】
カメラシステム制御部２５は、例えば、操作部２７のシャッターレリーズボタンに対応する操作信号を検出して、撮像素子６の駆動、画像処理部２１の動作、記録処理部２３の圧縮処理などを制御する。さらに表示部２２によって光学ファインダー、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２９】
制御系の光学系の調整動作について説明する。カメラシステム制御部２５には焦点検出部１２および露出検出部１３が接続されており、これらの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御部２５は、電気接点１０を介してレンズシステム制御部２８に指令を出し、レンズシステム制御部２８は焦点レンズ駆動部９ａおよび絞り駆動部９ｃを適切に制御する。さらにレンズシステム制御部２８には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にブレ補正駆動部９ｂを適切に制御する。
【００３０】
ここで、いわゆる動画撮影などの音声記録を伴う撮影について説明する。音声記録を伴う撮影においては、カメラ本体およびレンズのアクチュエータ駆動に伴う音（以下  メカ駆動音）は不要な音であり雑音となる。またユーザーのボタン／ダイヤル操作や外装の擦れに伴う音（以下  ユーザー操作音）も同様に不要な音であり雑音となる。以下、本実施例においては雑音とは、ホワイトノイズのような背景雑音ではなく前述したメカ駆動音、ユーザー操作音を指す。
【００３１】
図３を用いて、音声記録を伴う撮影における雑音の影響について説明する。図３はカメラの斜視図である。図３には、撮像装置１の操作ボタン３１ａおよび３１ｂ、外部の音声をマイク７に導くためのマイク開口部３２が示されている。
【００３２】
図３から明らかなように、マイク開口部３２に対して雑音源である、カメラの操作釦３１ａ／３１ｂおよび撮像装置１または撮像レンズ２内の駆動部（モータやアクチュエータなど）は近接している。
【００３３】
一般に被写体は対象が人物であれば、一般的に数メートルから数十メートル、撮像装置から遠い位置にいると考えられる。このような状況においては、雑音源が発生する雑音レベル小さくても、マイク７で取得される人物に対応する音声信号に対する雑音の影響は無視できない。
【００３４】
そこで本実施例の撮像装置１は、雑音の影響を低減するために、音声処理部２６により雑音低減処理が実行される。
【００３５】
図４を用いて音声処理部２６の動作について説明する。図４は、音声処理部２６の機能を説明する為の図である。音声処理部２６は、ゲイン調整部４１、フィルタ４２、Ａ／Ｄコンバータ４３、雑音処理部４４、フィルタ４５、雑音判定部４６を有する。また、雑音処理部４４は、予測処理または、フィルタ処理または、ＭＵＴＥ処理を実行することができる。
【００３６】
図４において、マイク７により得られた音声信号はゲイン調整部４１に供給される。ゲイン調整部４１はＡ／Ｄコンバータ４３のダイナミックレンジが十分に活用できるようにマイク７の信号レベルを調整する。つまり、マイク７の信号レベルが小さいときはゲインアップして信号を増幅し、マイク７の信号レベルが大きいときはゲインを下げて飽和を防ぐ。
【００３７】
フィルタ４２はＡ／Ｄコンバータ４３のサンプリング周波数を考慮して適切なカットオフ周波数をもつ低域通過フィルタなどで構成される。マイクが特定の周波数を発する素子の近傍にある場合などは前述の低域通過フィルタに加えて適当なノッチフィルタを含む場合もある。Ａ／Ｄコンバータ４３はゲイン調整部４１およびフィルタ４２で処理された音声信号をデジタル変換する。
【００３８】
雑音処理部４４は複数の雑音処理を実行することができる。図４の例では予測処理４４ａ，フィルタ処理４４ｂ，ＭＵＴＥ処理４４ｃを実行することができるものとするが、さらに他の処理を実行できでもよい。なお、音声処理部２６は、カメラシステム制御部２５により制御され、雑音処理部４４がいずれの雑音処理を実行するかについても、カメラシステム制御部２５により制御される。なお、これら複数の雑音処理は選択的に又は組み合わせて動作させることが出来る。
【００３９】
本実施例のフィルタ処理４４ｂは、音声信号の低域通過や帯域通過など適切な周波数の音声を通過させる処理を行うことによって、雑音を除去するものである。
【００４０】
本実施例のＭＵＴＥ処理４４ｃは、雑音の含まれる区間の音声信号を無音又は所定の音声信号などに置き換えることによって雑音を除去するものである。
本実施例の予測処理４４ａについては、後述する。
【００４１】
フィルタ４５は雑音処理を行った後に必要であれば適当なフィルタ処理を施すためのフィルタである。不要であればスルーすることも出来る。
【００４２】
雑音判定部４６は、被写体音以外の雑音が存在するか否かを判断する。ここで、雑音判定部４６の構成の一例を図５に示す。
【００４３】
具体的には、雑音が含まれるか否かを判定する区間の音声信号をバッファから読み出し、適当な帯域通過フィルタを施す。なお、この帯域通過フィルタは音声信号が少なく、本件で対象としているメカ駆動音、ユーザー操作音が顕著な領域を通過させるようなものである。例えば、一般的には音声信号よりも高い周波数帯域（５ｋＨｚ〜１０ｋＨｚ程度）を通過させるような帯域通過フィルタを使用する。
【００４４】
次に、帯域通過フィルタ透過後の信号を差分処理によって背景雑音によるＤＣ成分を除去する。帯域通過フィルタの特性によっては差分処理を省略しても良い。さらに、差分処理が実行された音声信号の絶対値を取得し、これらを平滑化させることで、信号のエンベロープを検出する。最後に、得られた信号のエンベロープが閾値を超えているか否かを閾値判断することによって、雑音の有無を判断する。閾値は実験的に求めた値などを予め設定しておく。
【００４５】
図６は雑音判定部４６の雑音判定処理の各工程における波形の具体例を示した図である。図６（ａ）は取得音声を、図６（ｂ）は帯域通過フィルタ通過後の波形を、図６（ｃ）は差分処理後の波形を、図６（ｄ）は絶対値処理後の波形を、図６（ｅ）は平滑化処理後の波形を夫々示している。図６（ａ）に示した波形は人の声に雑音が重畳した場合を示している。人の声に対して雑音は高周波成分を多く含んでいる。図６（ｂ）から明らかなように、適当な帯域通過フィルタを施すことで雑音部分を効果的に取得できている。図６の例では、図６（ｃ）に示すように、差分処理を行うことで、変化が大きい箇所を強調している。さらに図６（ｄ），（ｅ）に示すように絶対値処理、平滑化処理を施すことで雑音部分にパワーを持つ波形を生成している。そして、図６（ｅ）に示した雑音検出閾値を超えた場合は雑音が発生しているものと判定することが可能となる。
【００４６】
なお、本実施例においては、撮像装置１のカメラシステム制御部２５により、撮像レンズ２のレンズシステム制御部２８に対してレンズ駆動信号を送信した場合、カメラシステム制御部２５は、レンズの駆動によって雑音が発生する期間を把握することができる。したがって、カメラシステム制御部２５によってレンズ駆動信号が送信された場合には、その信号の送信時間または、レンズ駆動信号が示すレンズ駆動時間によって雑音の発生する期間を特定することができる。そのため、カメラシステム制御部２５は、レンズ駆動信号に基づいて、音声処理部２６の雑音処理部４４による雑音低減を行う区間を制御することができる。
【００４７】
次に、雑音判定部による雑音の有無の判定結果と、前述の音声処理部２６の動作の関係について説明する。
【００４８】
本実施例の撮像装置１においては、カメラシステム制御部２５は、雑音判定部４６の判定結果に応じて、雑音処理部４４の動作を切り替えている。
【００４９】
まず、雑音判定部４６の判定の結果、雑音が発生していないと判定された区間の音声信号に対しては、雑音処理部４４はどの雑音処理も実行しないように設定する。さらにフィルタ４５も同様に動作させないように制御する。このときは、Ａ／Ｄコンバータ４３が変換した信号そのものが録音用音声信号としてカメラシステム制御部２５に送出される。
【００５０】
また、雑音が局所的に存在する場合は、カメラシステム制御部２５からの指令に基づいて音声に対して雑音処理を施す。
【００５１】
次に図７〜図１４を用いて本実施例の信号処理について説明する。
まず、音声処理部２６が実行する予測処理について説明する。
予測処理は、例えば、「ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｇ．７１１−Ａｐｐｅｎｄｉｘ  Ｉ」に開示されている信号処理技術を用いている。この技術では、雑音の含まれる区間（雑音発生区間）の信号の近傍の所定区間（参照区間）の信号に基づいて、演算処理により雑音発生区間と置換するための信号を生成する。これにより、雑音やパケットのロスが起きた区間の信号を補間することができる。この演算処理は、例えば、参照区間の信号のピッチ検出を行い、検出されたピッチで参照区間の信号を繰り返した信号を生成してもよい。すなわち、予測処理とは、雑音発生区間の信号をその近傍の所定区間の信号に基づいて生成された信号により置換することで、雑音発生区間の雑音を低減させた信号を取得する処理である。
【００５２】
図７は、予測処理を模式的に説明する図である。図７において５１は雑音の混入の無い信号区間を、５２は雑音が混入した区間を（雑音発生区間）、５３ａ，５３ｂは予測処理のための参照区間を、５４は予測処理後の信号を示している。
【００５３】
予測処理による信号の生成方法は例えば、特許文献１、特許文献２、非特許文献１の方法などが使用できる。すなわち、雑音発生区間の近傍の所定区間（参照区間）の信号に基づいて、雑音発生区間の信号を生成する方法であれば、公知のどのような処理を用いても良い。
【００５４】
図７に示すように、予測処理では、雑音発生区間５２が決定されると、その近傍の参照区間５３ａ，５３ｂの信号に基づいて生成された信号を、雑音発生区間５２の信号と置換する（予測生成された区間５４）ようにしている。
【００５５】
本実施例においては図７に示すように、通常の動作においては雑音区間５２の前後の参照区間５３ａ，５３ｂの信号に基づいて雑音区間の信号を生成する。
【００５６】
図８は、本実施例の処理を説明するための図である。図８はでは、図７と異なり、雑音が連続して発生し、参照区間の信号にも雑音が重畳されている場合の信号処理を説明する。
【００５７】
図８において５１は雑音の混入の無い信号区間を、５２ａ，５２ｂは雑音発生区間を示す。また、５３ａ，５３ｂは５２ａの雑音発生区間に対応する信号を生成するための参照区間を示す。また、５４ａは５２ａの予測処理後の信号を、５５ａ，５５ｂは５２ｂを予測処理するために用いる参照区間を、５４ｂは５２ｂの予測処理後の信号を示している。図８の例では雑音５２ａ，５２ｂが時間的に近接して発生したために、参照区間５３ｂに雑音が混入してしまっている。そのために、予測生成された信号５４ａは雑音５２ｂの影響を受けて、適切ではない信号になっている場合がある。同様に、参照区間５５ａに雑音の影響を受けた区間５４ａを用いた結果、予測生成された信号５４ｂも適切ではない信号になっている場合がある。
【００５８】
これは、例えば、撮像装置１のカメラシステム制御部２５の指示により焦点調整を行うために、焦点レンズ駆動部９ａを間欠的かつ時間的に近接させて動作させる場合などに発生する。また、メカ駆動音の発生に近接してユーザーが撮影装置を持ち替えてユーザー操作音が発生する場合などにも発生する。
【００５９】
図９は本発明を適用した場合の信号処理を模式的に説明する図である。
図９において５１は雑音の混入の無い信号区間を、５２ａ，５２ｂは雑音発生区間を示す。また、６３は５２ａを予測処理するために用いる参照区間を、５４ａは５２ａの予測処理後の信号を示している。また、６５は５２ｂを予測処理するために用いる参照区間を、５４ｂは５２ｂの予測処理後の信号を示している。
図９の信号は図８と同じく雑音５２ａ，５２ｂが時間的に近接して発生した例である。
【００６０】
図９において雑音区間５２ａを処理する際には、通常であれば、その前後が参照区間の候補となるが、図９の例では、雑音判定部４６で処理した結果、時間的に後方の参照区間候補への雑音の混入が検出される。その結果、時間的に後方にあった参照区間候補は使用せずに、雑音区間５２ａを処理する時には時間的に前方に位置する参照区間６３から信号５４ａを生成する。
一方、雑音区間５２ｂを処理する際には、同様にして参照区間６５から信号５４ｂを生成する。
【００６１】
以上に説明したように、予測処理を実行する際には、雑音発生区間の前後を参照区間とするが、参照区間内に他の雑音が発生している場合には、雑音が発生していない方の参照区間の音声信号に基づいて、予測音声信号を生成する。
【００６２】
そのため、雑音の混入の無い区間を参照するので生成された信号５４ａ，５４ｂは雑音区間５２ａ，５２ｂの影響を受けない。そのため高品位な音声を得ることが可能となる。
【００６３】
図１０は図９を用いて説明した予測処理による音声信号の波形を示す図である。
図１０（ａ）は処理前の波形を示す。
図１０（ｂ）は時間的に前方にある雑音を処理した後の波形を示す。
図１０（ｃ）は時間的に後方にある雑音を処理した後の波形を示す。
【００６４】
図１０（ａ）においては、参照区間の音声信号に基づいて生成された音声信号により、１つめの雑音を低減することを示している。図９で説明したように、２つめの雑音が１つめの雑音を低減するための参照区間に含まれているため、２つめの雑音を含む区間を参照区間としない処理を示している。
【００６５】
図１０（ｂ）においては、２つめの雑音を低減することを示している。図９で説明したように、２つめの雑音の参照区間のうち雑音の含まれていない参照区間の音声信号に基づいて２つめの雑音を低減する処理を示している。
【００６６】
ここで、本実施例の撮像装置１の音声処理部２６による処理手順について図１１を用いて説明する。ここでは、雑音発生区間の信号を置換するための信号を生成するための、参照区間を、雑音の前後または、前方のみまたは、後方のみを、参照区間に雑音が含まれるか否かに応じて切替えている。
【００６７】
本実施例の撮像装置１のカメラシステム制御部２５は、音声信号処理部２６において、雑音判定部４６により、マイク７により得られた音声信号を解析させ、雑音の有無を検知させ、雑音発生区間を判定させる。
【００６８】
そして、カメラシステム制御部２５は、雑音発生区間の前後の区間を参照区間とする（Ｓ１１０１）。
【００６９】
次に、カメラシステム制御部２５は、Ｓ１１０１で参照区間に決定した区間に別の雑音発生が含まれるか否かを判定する（Ｓ１１０２）。
【００７０】
そして、参照区間に別の雑音が含まれない場合（Ｓ１１０２でＮｏ）には、カメラシステム制御部２５は、通常の処理として、雑音発生区間の前後両方の参照区間の音声信号を用いて、雑音低減処理のための音声信号を生成するように音声処理部２６を制御する（Ｓ１１１０）。
【００７１】
また、参照区間に別の雑音が含まれる場合（Ｓ１１０２でＹｅｓ）には、カメラシステム制御部２５は、参照区間のうち別の雑音の含まれている区間を特定する（Ｓ１１０３）。
【００７２】
雑音発生区間の後方の参照区間に別の雑音が含まれている場合（Ｓ１１０３でＮｏ）には、前方の参照区間に基づいて、雑音発生区間の音声信号を補間するための信号を生成するように音声処理部２６を制御する（Ｓ１１２０）。一方、雑音発生区間の前方の参照区間に別の雑音が含まれている場合（Ｓ１１０３でＹｅｓ）には、後方の参照区間に基づいて、雑音発生区間の音声信号を補間するための信号を生成するように音声処理部２６を制御する（Ｓ１１３０）。
【００７３】
そして、カメラシステム制御部２５は、Ｓ１１１０、Ｓ１１２０、Ｓ１１３０で生成された補間用の音声信号を用いて雑音発生区間の音声信号を置換するように、音声信号処理部２６を制御する（Ｓ１１４０）。
このような処理を繰り返し実行することにより、本実施例の撮像装置１は、雑音を低減しているのである。
【００７４】
このように、本実施例の撮像装置１は、音声信号に含まれる雑音を低減することができる。雑音を低減する処理は、雑音の含まれる区間（雑音発生区間）の音声信号の近傍の所定の区間（参照区間）の音声信号に基づいて、雑音発生区間の音声信号を補間する為の信号を生成する。そして、生成した信号で、雑音発生区間の音声信号を補間することにより雑音を低減する。
【００７５】
このとき、参照区間の音声信号に対して別の雑音が含まれる場合には、雑音の含まれない参照区間の音声信号に基づいて雑音発生区間の音声信号を補間する為の信号を生成するように音声信号処理部２６を制御する。
【００７６】
そのため、本実施例の撮像装置１は、雑音発生区間の音声信号を補間する為の信号を生成する際に、他の雑音の影響を少なくすることができるのである。
【００７７】
なお、本実施例の撮像装置は、図９、図１０を用いて説明したような、雑音低減処理の他、図１２から図１６に示すような、他の雑音低減処理を実行することもできる。
【００７８】
図１２、図１３は、他の雑音低減処理について説明する為の図である。図１２において５１は雑音の混入の無い信号区間を、５２ａ，５２ｂは雑音区間を示す。また、６３は５２ａを予測処理するために用いる参照区間を、５４ａは５２ａの予測処理後の信号を示す。６５ａ，６５ｂは５２ｂを予測処理するために用いる参照区間を、５４ｂは５２ｂの予測処理後の信号を示す。
【００７９】
図１２の信号は図８および図９と同じく雑音５２ａ，５２ｂが時間的に近接して発生した例である。図１２において雑音区間５２ａ（第１の区間）を処理する際にはその前後が参照区間の候補となるが、時間的に後方の参照区間に別の雑音が含まれることになる。
【００８０】
そこで、カメラシステム制御部２５は、雑音区間５２ａを補間するための信号５４ａを、時間的に前方に位置する参照区間６３に基づいて生成する。ここまでは図９と同様の処理である。
【００８１】
次に、雑音区間５２ｂ（第２の区間）の音声信号を処理する際には、既に処理を行った区間５４ａについては、雑音低減処理が行われた後であるため、雑音の混入が無い区間として取り扱う。そのため、音声信号処理部４６は、雑音区間５２ｂを補間するための音声信号を、参照区間６５ａ，６５ｂの音声信号に基づいて生成する。
【００８２】
このような処理によっても、雑音を含む音声信号を使用せずに雑音発生区間５２ａ、５２ｂの音声信号を補間するための音声信号を生成することができ、他の雑音の影響を少なくすることができるのである。
【００８３】
図１３は図１２を用いて説明した波形を処理した例を示す図である。
図１３（ａ）は処理前の波形を示す。
図１３（ｂ）は時間的に前方にある雑音を処理した後の波形を示す。
図１３（ｃ）は時間的に後方にある雑音を処理した後の波形を示す。
【００８４】
図１３（ａ）においては、参照区間の音声信号に基づいて生成された音声信号により、１つめの雑音を低減することを示している。図１２で説明したように、２つめの雑音が１つめの雑音を低減するための参照区間に含まれているため、２つめの雑音を含む区間を参照区間とせずに、雑音発生区間の前方の参照区間の音声信号に基づいて処理を行うこと示している。
【００８５】
図１３（ｂ）においては、２つめの雑音を低減することを示している。図１２で説明したように、２つめの雑音の参照区間のうち１つめの雑音の含まれていた区間のも参照区間として、雑音発生区間の前後の参照区間の音声信号に基づいて、２つめの雑音を低減する処理を示している。
【００８６】
図１２、図１３の処理は、連続した雑音を含む音声信号の雑音低減処理を行う場合には、第１の雑音発生区間の雑音を低減する場合には、第１の雑音発生区間の近傍の所定区間の音声信号に基づいて生成された信号で、第１の雑音発生区間の音声を補間する。このとき、参照区間の音声信号に別の雑音が含まれる場合には、別の雑音が含まれていない参照区間の音声信号に基づいて生成された信号で、第１の雑音発生区間の音声を補間する。そして、第２の雑音発生区間の雑音を低減する場合には、第２の雑音発生区間の近傍の所定区間の音声信号に基づいて生成された信号で、第２の雑音発生区間の音声を補間する。このとき、参照区間の一部が第１の雑音発生区間と重なる場合であっても、第１の雑音発生区間の雑音低減処理が実行された後であれば、その参照区間の音声信号に基づいて、第２の雑音発生区間の音声を補間する信号を生成する。
【００８７】
つまり、第１の雑音発生区間の補間後の音声信号を用いて、第２の雑音発生区間の音声信号を補間するための信号を生成するのである。
【００８８】
さらに他の雑音低減処理について説明する。図１４、図１５は、他の雑音低減処理について説明する為の図である。図１４において５１は雑音の混入の無い信号区間を、５２ａ，５２ｂは雑音区間を示す。また、６３は５２ａを予測処理するために用いる参照区間を、５４ａは５２ａの予測処理により補間された区間を示す。また、６５ａ，６５ｂは５２ｂを予測処理するために用いる参照区間を示す。また、５４ｂは５２ｂの予測処理により補間された区間を示す。また、６７ａ，６７ｂは５４ａを予測処理するために用いる参照区間を示す。また、５４ｃは５４ａの予測処理により補間された区間を示す。
【００８９】
図１４の信号は図８、図９および図１２と同じく雑音５２ａ，５２ｂが時間的に近接して発生した例である。図１４において雑音区間５２ａを処理する際にはその前後が参照区間の候補となるが、時間的に後方の参照区間には別の雑音が含まれることになる。
【００９０】
そこで、カメラシステム制御部２５は、雑音区間５２ａを補間するための信号５４ａを、時間的に前方に位置する参照区間６３に基づいて生成する。ここまでは図９と同様の処理である。
【００９１】
次に、雑音区間５２ｂの音声信号を処理する際には、既に処理を行った区間５４ａについては、雑音低減処理が行われた後であるため、雑音の混入が無い区間として取り扱う。そのため、音声信号処理部４６は、雑音区間５２ｂを補間するための音声信号を、参照区間６５ａ，６５ｂの音声信号に基づいて生成する。ここまでは図１２と同様の処理である。
【００９２】
図１４においては、信号５４ａにより補間された区間の音声信号をさらに補間する処理を行う。すなわち、信号５４ａは、雑音発生区間５２ａの時間的に前方の参照区間の音声信号に基づいて生成された信号であり、後方の参照区間の音声信号を使用していない。そのため、再度、雑音発生区間５２ｂの補間後の音声信号を含む後方の参照区間６７ｂの音声信号と、前方の参照区間６７ａの音声信号に基づいて、補間信号５４ｃを生成するのである。
このような処理によって、さらに雑音低減後の音声信号の音質を向上させることができる。
【００９３】
なお、さらに予測処理を繰り返して信号の差が小さくなるまで処理を行っても良い。図１４の例では信号５４ａと５４ｃの差が十分小さければその信号を採用する。大きい場合は５４ｃを用いて再度５４ｂを処理した後に５４ｃを処理する。
【００９４】
図１５は図１４を用いて説明した波形を処理した例を示す図である。
図１５（ａ）は処理前の波形を示す。
図１５（ｂ）は時間的に前方にある雑音を処理した後の波形を示す。
図１５（ｃ）は時間的に後方にある雑音を処理した後の波形を示す。
図１５（ｄ）は時間的に前方にある雑音を再度処理した後の波形を示す。
図１５（ｅ）は１回目の時間的に前方にある雑音を処理による信号の変化（図１５（ａ）と図１５（ｂ）の波形の差）を示す。
【００９５】
図１５（ａ）においては、参照区間の音声信号に基づいて生成された音声信号により、１つめの雑音を低減することを示している。図１４で説明したように、２つめの雑音が１つめの雑音を低減するための参照区間に含まれているため、２つめの雑音を含む区間を参照区間とせずに、雑音発生区間の前方の参照区間の音声信号に基づいて処理を行うこと示している。
【００９６】
図１５（ｂ）においては、２つめの雑音を低減することを示している。図１４で説明したように、２つめの雑音の参照区間のうち１つめの雑音の含まれていた区間のも参照区間として、雑音発生区間の前後の参照区間の音声信号に基づいて、２つめの雑音を低減する処理を示している。
【００９７】
図１５（ｃ）においては、さらに、１つめの雑音の発生していた区間の音声信号をその区間の前後の参照区間の音声信号に基づいて生成された信号で補間することを示している。
【００９８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００９９】
本実施例においては、撮像装置を一例として説明したが、音声信号を処理することができる装置であればどのような装置であっても良い。例えば、コンピュータ、携帯電話、ゲーム機などの音声を取り扱うことができる装置であればどのような装置であっても良い。また、コンピュータに上述した処理を実行させる為のプログラムも本発明の思想に含まれる。
【０１００】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１０１】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１０２】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１０３】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図１】
2013182185.tif 000003
【図２】
2013182185.tif 000004
【図３】
2013182185.tif 000005
【図４】
2013182185.tif 000006
【図５】
2013182185.tif 000007
【図６】
2013182185.tif 000008
【図７】
2013182185.tif 000009
【図８】
2013182185.tif 000010
【図９】
2013182185.tif 000011
【図１０】
2013182185.tif 000012
【図１１】
2013182185.tif 000013
【図１２】
2013182185.tif 000014
【図１３】
2013182185.tif 000015
【図１４】
2013182185.tif 000016
【図１５】
2013182185.tif 000017