(57)【要約】【課題】  音声信号の音質を劣化させることなく、非定常音の目立たない音声信号を取得することができる技術を提供することを目的とする。【解決手段】  撮像装置が発する駆動音の情報を記憶する記憶部と、録音した音声と駆動音との類似の度合いを示す類似度を駆動音の情報を用いて算出する演算部と、類似度に基づいて音声と駆動音とが類似するか否かを判定し、判定結果に応じて駆動音を伴う駆動動作を制御指示する制御部と、を備える。【選択図】    図１
2012118317.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が発する駆動音の情報を記憶する記憶部と、
録音した音声と前記駆動音との類似の度合いを示す類似度を前記駆動音の情報を用いて算出する演算部と、
前記類似度に基づいて前記音声と前記駆動音とが類似するか否かを判定し、前記判定結果に応じて前記駆動音を伴う駆動動作を制御指示する制御部と、
を備えることを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記制御部は、前記音声と前記駆動音とが類似すると判定した場合、前記駆動動作を行うと制御指示することを特徴とする信号処理装置。
【請求項３】
請求項１または請求項２に記載の信号処理装置において、
前記制御部は、前記音声と前記駆動音とが類似しないと判定した場合、前記駆動動作を見合わすと制御指示することを特徴とする信号処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の信号処理装置において、
前記演算部は、
前記音声の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部をさらに備え、
前記駆動音の情報は、前記駆動音の周波数特性から取得した複数の特徴量からなる第２の特徴量データであり、
前記演算部は、前記第１の特徴量データおよび前記第２の特徴量データを用いた内積の演算に基づいて前記類似度を算出する
ことを特徴とする信号処理装置。
【請求項５】
請求項４に記載の信号処理装置において、
前記第１の特徴量データおよび前記第２の特徴量データを正規化する正規化部を備え、
前記演算部は、
正規化された前記第１の特徴量データおよび前記第２の特徴量データを用いて前記内積の演算を行う
ことを特徴とする信号処理装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の信号処理装置において、
前記駆動動作は、前記撮像装置によるフォーカス動作若しくはズーム動作、または、ユーザによるダイヤル操作若しくはボタン操作である
ことを特徴とする信号処理装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の信号処理装置において、
前記類似度または前記制御部による前記判定結果を表示する表示部を備えることを特徴とする信号処理装置。
【請求項８】
被写体像を撮像して画像を生成する撮像部と、
外部からの音声を音声信号として出力するマイクロホンと、
請求項１ないし請求項６のいずれか１項に記載の信号処理装置と、
を備えることを特徴とする撮像装置。
【請求項９】
請求項７に記載の撮像装置において、
前記類似度または前記制御部による前記判定結果とともに、前記画像を表示する表示部を備えることを特徴とする撮像装置。
【請求項１０】
コンピュータを請求項１ないし請求項７のいずれか１項に記載の信号処理装置として機能させることを特徴とする信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置および信号処理プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等による音声記録や動画撮像において、周囲の音声だけでなく、背景ノイズやデジタルカメラやデジタルビデオカメラ自身が発する駆動音まで記録される。そこで、そうした背景ノイズや駆動音を除去して、必要な音声のみを記録する様々な技術が開発されている。
【０００３】
例えば、非特許文献１は、スペクトル減算法を用いて音声信号に重畳した背景ノイズを除去する技術を開示している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S. F. Boll, 'Suppression of Acoustic Noise in Speech Using Spectral Subtraction', IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, Vol. ASSP-27, No. 2, pp.113-120, April 1979
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような従来技術では、音声信号の音質を劣化させることなく、背景ノイズとともに駆動音等の非定常音を除去することは非常に困難である。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、音声信号の音質を劣化させることなく、非定常音の目立たない音声信号を取得することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の信号処理装置は、撮像装置が発する駆動音の情報を記憶する記憶部と、録音した音声と駆動音との類似の度合いを示す類似度を駆動音の情報を用いて算出する演算部と、類似度に基づいて音声と駆動音とが類似するか否かを判定し、判定結果に応じて駆動音を伴う駆動動作を制御指示する制御部と、を備える。
【０００８】
また、制御部は、音声と駆動音とが類似すると判定した場合、駆動動作を行うと制御指示してもよい。
【０００９】
また、制御部は、音声と駆動音とが類似しないと判定した場合、駆動動作を見合わすと制御指示してもよい。
【００１０】
また、演算部は、音声の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部をさらに備え、駆動音の情報は、駆動音の周波数特性から取得した複数の特徴量からなる第２の特徴量データであり、演算部は、第１の特徴量データおよび第２の特徴量データを用いた内積の演算に基づいて類似度を算出してもよい。
【００１１】
また、第１の特徴量データおよび第２の特徴量データを正規化する正規化部を備え、演算部は、正規化された第１の特徴量データおよび第２の特徴量データを用いて内積の演算を行ってもよい。
【００１２】
また、駆動動作は、撮像装置によるフォーカス動作若しくはズーム動作、または、ユーザによるダイヤル操作若しくはボタン操作であってもよい。
【００１３】
また、類似度または制御部による判定結果を表示する表示部を備えてもよい。
【００１４】
本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、外部からの音声を音声信号として出力するマイクロホンと、本発明の信号処理装置と、を備える。
【００１５】
また、類似度または制御部による判定結果とともに、画像を表示する表示部を備えてもよい。
【００１６】
本発明の信号処理プログラムは、コンピュータを本発明の信号処理装置として機能させる。
【発明の効果】
【００１７】
本発明によれば、音声信号の音質を劣化させることなく、非定常音の目立たない音声信号を取得することができる。
【図面の簡単な説明】
【００１８】
【図１】一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図
【図２】デジタルカメラ１の動作例を示す流れ図
【図３】モニタ１７の表示の一例を示す図
【図４】モニタ１７の表示の他の例を示す図
【発明を実施するための形態】
【００１９】
図１は、一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図である。
【００２０】
本実施形態のデジタルカメラ１は、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部ン１６、モニタ１７、メディアＩ／Ｆ１８およびマイクロホ２０を有する。ここで、ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８およびマイクロホン２０は、それぞれＣＰＵ１４に接続されている。
【００２１】
撮像素子１２は、撮像光学系１１を通過した光束による被写体の結像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に接続されている。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であってもよく、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。
【００２２】
撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーの画像を取得できる。撮像素子１２は、全受光素子に画像信号を出力させて静止画像等を撮像し、間引いた一部の受光素子に画像信号を出力させて動画や構図確認用の低解像画像（スルー画）等を撮像する。
【００２３】
ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像のデータとしてＣＰＵ１４に出力する。
【００２４】
ＣＰＵ１４は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、デジタル処理を施す。一例として、デジタル処理には、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。さらに、ＣＰＵ１４は、プログラムの実行により、スペクトル解析部２１、演算部２２、正規化部２３として動作する。
【００２５】
スペクトル解析部２１は、デジタルカメラ１による動画等の撮像時において、後述するマイクロホン２０によって取得される周囲の音声の時系列信号をスペクトル解析する。本実施形態のスペクトル解析は、高速フーリエ変換、Ｚ変換、または離散コサイン変換等の公知の手法を用いて行われる。スペクトル解析部２１は、そのスペクトル解析から求めた音声信号の周波数スペクトルの複数の特徴量、すなわち複数の周波数成分の振幅をベクトルの成分とする特徴ベクトルＶＳを生成する。
【００２６】
また、本実施形態では、ＣＰＵ１４が、デジタルカメラ１による撮像を行う前に、周囲の音声が無い無音状態で、ユーザにより操作部１６の操作（例えば、レリーズ釦の半押し操作等）に応じて、マイクロホン２０を介しデジタルカメラ１が発する駆動音の時系列信号を取得する。スペクトル解析部２１は、取得した駆動音信号をスペクトル解析して、特徴ベクトルＶＮを生成する。スペクトル解析部２１は、その特徴ベクトルＶＮをメモリ１５に記録する。なお、駆動音は、ＡＦ制御や撮像光学系１１のズーミング動作に伴って発せられる非定常音であり、あるいはユーザによる手動フォーカス動作や操作部１６の操作（例えば、釦操作やダイヤル操作等）に伴って発せられる非定常音である。なお、駆動音信号の特徴ベクトルＶＮは、一度求められたら他の撮像において何度も用いられてもよいし、撮像を行う度に駆動音を取得して更新されてもよい。
【００２７】
演算部２２は、正規化部２３で正規化された特徴ベクトルＶＳおよびＶＮの単位特徴ベクトルｅＳおよびｅＮを用い内積値を求める。本実施形態の内積値は、取得した音声信号とデジタルカメラ１の駆動音信号との類似している度合いを示す類似度とする。内積値（類似度）は０から１までの値であり、大きな値ほど音声信号と駆動音信号とは類似していることを示す。すなわち、内積値＝０の場合、音声信号は駆動音信号と完全に異なることを示し、内積値＝１の場合、音声信号＝駆動音信号であることを示す。
【００２８】
メモリ１５は、ＣＰＵ１４によって実行される各種のプログラムや画像ファイルなどとともに、上記駆動音信号の特徴ベクトルＶＮを記憶する不揮発性のフラッシュメモリである。
【００２９】
操作部１６は、例えば、記録モードの切換入力や、後述する記憶媒体１９への記録を伴う静止画や動画の撮像指示等をユーザから受け付ける。
【００３０】
モニタ１７は、ＣＰＵ１４の制御によって各種画像を表示する。例えば、動画の撮像後において、ＣＰＵ１４の制御指示に応じて、モニタ１７は、撮像された動画を再生表示する。また、本実施形態のモニタ１７は、上記類似度に基づいたＣＰＵ１４による音声信号と駆動音信号とが類似しているか否かの判定結果等を表示する。モニタ１７には、液晶モニタ等のモニタや、電子ビューファインダ等を適宜選択して用いることができる。
【００３１】
メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
【００３２】
マイクロホン２０は、周囲の音声だけでなく、デジタルカメラ１が発する駆動音を受信して音声信号や駆動音信号の電気信号を出力する。また、マイクロホン２０は、動画再生時等の場合、記録された音声信号を音波として出力するスピーカである。
【００３３】
次に、図２の流れ図を参照しつつ、本実施形態でのデジタルカメラ１の動作例について説明する。なお、以下の説明では、駆動音信号としてＡＦ制御動作時の駆動音とする。
【００３４】
具体的には、ＣＰＵ１４が、ユーザからの動画撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付ける。ＣＰＵ１４は、撮像素子１２に間引いた一部の受光素子から画像信号を出力させて被写体の動画撮像を開始する。ＣＰＵ１４は、図３に示すように、上記動画の構図を示すスルー画４０をモニタ１７に表示させる。同時に、ＣＰＵ１４は、マイクロホン２０に被写体およびその周囲の音声を取得させ音声信号を出力させる。ＣＰＵ１４は、ステップＳ１０１〜ステップＳ１０５の処理を開始する。
【００３５】
ステップＳ１０１：スペクトル解析部２１は、マイクロホン２０から出力される音声信号を、所定の時間間隔（例えば１０ｍ秒等）毎に所定の窓関数を適用して高速フーリエ変換、Ｚ変換、または離散コサイン変換等の公知の手法を用いスペクトル解析する。スペクトル解析部２１は、そのスペクトル解析によって求まる音声信号の周波数スペクトルから特徴ベクトルＶＳを生成する。
【００３６】
ステップＳ１０２：演算部２２は、メモリ１５から駆動音信号の特徴ベクトルＶＮを読み込む。正規化部２４は、音声信号の特徴ベクトルＶＳおよび駆動音信号の特徴ベクトルＶＮを正規化して、単位ベクトルｅＳおよびｅＮを求める。
【００３７】
ステップＳ１０３：演算部２２は、類似度として、単位ベクトルｅＳとｅＮとの内積値ｅＳ×ｅＮを求める。
【００３８】
ステップＳ１０４：ＣＰＵ１４は、演算部２２が求めた内積値ｅＳ×ｅＮに基づいて、音声信号と駆動音信号とが類似しているか否かを判定する。ＣＰＵ１４は、その判定結果をモニタ１７に表示してユーザに通知する（図３）。
【００３９】
図３は、モニタ１７に表示される判定結果の表示の一例を示す。本実施形態では、スルー画４０とともに、判定結果である音声信号の駆動音信号に対する類似度をインジケータ３０で表示してユーザに通知する。図３（ａ）は、音声信号とＡＦ制御動作の駆動音信号との類似度の値が小さい例として高原で撮像する場合を示し、図３（ｂ）は、音声信号と駆動音信号との類似度の値が大きい例として交通量の多い道路脇で撮像する場合を示す。なお、図４に示すように、駆動音の音源毎の判定結果をインジケータ３５のように表示してもよい。インジケータ３５は、ＡＦ制御動作の駆動音とともに、手動フォーカス動作（ＭＦ）およびズーミング動作（ＺＭ）の駆動音それぞれの音声信号に対する類似の度合いの結果を示す。また、インジケータ３０の代わりに、文字、色または記号等で表示してもよい。文字、色または記号等で表示する場合、メモリ１５にあらかじめ閾値が記憶され、ＣＰＵ１４は、内積値ｅＳ×ｅＮと上記閾値とに基づいて、音声信号と駆動音信号とが類似しているか否かを判定することが好ましい。
【００４０】
図３（ａ）に示すような類似度の値が小さく、音声信号と駆動音信号とが類似しない場合、動画撮像時にデジタルカメラ１がＡＦ制御動作を行うと、動画の再生時において重畳した駆動音信号が目立ってしまう。そこで、ＣＰＵ１４がモニタ１７にインジケータ３０で判定結果を表示することにより、ユーザは、インジケータ３０の表示に基づいて、デジタルカメラ１によるＡＦ制御動作を見合わせるか否かを判断する。これにより、ＡＦ制御動作による駆動音信号が重畳していない音声信号を取得することができる。
【００４１】
一方、図３（ｂ）に示すような類似度が大きく、音声信号と駆動音信号とが類似する場合、動画の撮像時にデジタルカメラ１がＡＦ制御動作を行ったとしても、動画の再生時において駆動音信号が目立つことはない。そこで、ＣＰＵ１４がモニタ１７にインジケータ３０で判定結果を表示することにより、ユーザは、インジケータ３０に基づいてデジタルカメラ１によるＡＦ制御動作を行うか否かを判断する。これにより、ＡＦ制御動作による駆動音信号が目立たない音声信号を取得することができる。
【００４２】
ステップＳ１０５：ＣＰＵ１４は、Audio Video Interleave（AVI）やMotion JPEG等の所定の動画形式に応じて、画像データと取得した音声信号とを動画データとしてメモリ１５に一時的に記録する。ＣＰＵ１４は、ユーザによるレリーズ釦の全押しが解除されたか否かを判定する。ＣＰＵ１４は、レリーズ釦の全押しが解除されたと判定した場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データの動画ファイルを生成して、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、レリーズ釦の全押しが解除されていないと判定した場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１４は、ステップＳ１０１〜ステップＳ１０４の処理を、レリーズ釦の全押しが解除されるまで行う。
【００４３】
このように、本実施形態は、取得した音声信号の特徴ベクトルＶＳと、メモリ１５に記憶された駆動音信号の特徴ベクトルＶＮとの内積値（類似度）に基づいて、音声信号が駆動音信号に類似しているか否かを判定しデジタルカメラ１による動作を制限することにより、音声信号の音質を劣化させることなく、駆動音信号の重畳が目立たない音声信号を取得することができる。
《実施形態の補足事項》
（１）本発明の信号処理装置は、上記実施形態のデジタルカメラ１の例に限定されない。例えば、コンピュータを本発明の信号処理装置として機能させてもよい。
【００４４】
（２）上記実施形態では、類似度として、内積値ｅＳ×ｅＮとしたが、単位ベクトルｅＳとｅＮとの相関値であってもよい。
【００４５】
（３）上記実施形態では、デジタルカメラ１のスペクトル解析部２１、演算部２２、正規化部２３の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。
【００４６】
（４）上記実施形態では、図３（ａ）に示すような音声信号と駆動音信号との類似度が小さい場合、ＣＰＵ１４がモニタ１７にインジケータ３０で判定結果を表示することにより、ユーザに駆動音の伴うデジタルカメラ１の動作を制限するとしたが、次のようにしてもよい。例えば、一般的に音声信号と駆動音信号との周波数スペクトルは、周波数空間において互いに重なる部分が少ない。したがって、デジタルカメラ１の動作に伴う駆動音信号が重畳した音声信号を取得したとしても、後の処理において音質を劣化させることなく音声信号から重畳した駆動音信号を除去することが容易にできる。
【００４７】
（５）上記実施形態では、動画撮像時において音声信号が駆動音信号と類似しているか否かの判定処理を行ったが、静止画像に付加される音声信号に対しても駆動音信号との判定処理を行ってもよい。
【００４８】
（６）上記実施形態では、ステップＳ１０３において、演算部２２が求めた内積値ｅＳ×ｅＮは、音声信号と駆動音信号との類似の判定のみに用いられたが、内積値ｅＳ×ｅＮを類似度データとして動画ファイルに付加してもよい。これにより、再生時等において、類似度データに基づいて駆動音信号の除去処理等を行うことができ、音質の劣化を回避することができる。
【００４９】
（７）上記実施形態では、１つの駆動音信号から１つの特徴ベクトルＶＮを求めたが、１つの駆動音信号から複数の特徴ベクトルＶＮを求めてもよい。例えば、ＡＦ制御動作の駆動音の場合、一般的に、撮像光学系１１が不図示のレンズ駆動部によって停止状態から定常の駆動動作になるまでの区間、定常の駆動動作の区間、定常の駆動動作から停止状態になるまでの区間での駆動音信号は互いに異なる周波数スペクトルを有する。そこで、スペクトル解析部２１は、各区間の駆動音信号をスペクトル解析して、各区間の特徴ベクトルＶＮを生成する。スペクトル解析部２１は、それらの特徴ベクトルＶＮをメモリ１５に記録する。これにより、ＣＰＵ１４は、演算部２２が求める音声信号の特徴ベクトルＶＳと各区間の特徴ベクトルＶＮとの内積値に基づいて、音声信号が駆動音信号に類似するか否かの判定をより正確に行うことができる。
【００５０】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００５１】
１…デジタルカメラ、１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…マイクロホン、２１…スペクトル解析部、２２…演算部、２３…正規化部
【図１】
2012118317.tif 000003
【図２】
2012118317.tif 000004
【図３】
2012118317.tif 000005
【図４】
2012118317.tif 000006