(57)【要約】【課題】  単一のステレオマイクで取り込んだ主被写体からの音声と撮影者からの音声を分離する。【解決手段】  ＦＦＴ（２０７）は、ステレオマイク（２０５Ａ，２０５Ｂ）からの音声信号を高速フーリエ変換する。声帯域抽出フィルタ（２０８）が、人の声の帯域成分を抽出する。減算器（２１３）はＬチャネルとＲチャネルの差分を算出し、加算器（２１４）は和分を算出する。レベル検知部（２１５）は、減算器（２１３）及び加算器（２１４）の出力レベルを検知し、判定部（２１６）はレベル検知部（２１５）の出力から補正部（２０９）の補正処理の要否を判定する。補正部（２０９）は、ＦＦＴ（２０７）の各チャネルの出力からＬチャネルとＲチャネルの差分に対応する量を減算する。ＩＦＦＴ（２１０）は補正部（２０９）の出力を逆フーリエ変換する。ＩＦＦＴ（２１９）は減算器（２１３）の出力を逆フーリエ変換する。【選択図】  図２
2015050530.tif 000002
【特許請求の範囲】
【請求項１】
前方被写体を撮影する第１の撮像手段と、
後方被写体を撮影する第２の撮像手段と、
前記前方被写体からの音声及び前記後方被写体からの音声を含む音声を音声信号に変換する複数のマイク
とを有する撮像装置であって、
前記複数のマイクで取り込まれた複数のチャネルの音声信号を周波数変換する周波数変換手段と、
前記周波数変換手段の各チャネルの出力から、前記前方被写体からの音声の成分と前記後方被写体からの音声の成分を分離する分離手段と、
前記分離手段で分離された前記前方被写体からの音声の成分を逆周波数変換手段する第１の逆周波数変換手段と、
前記分離手段で分離された前記後方被写体からの音声の成分を逆周波数変換手段する第２の逆周波数変換手段
とを有することを特徴とする撮像装置。
【請求項２】
前記分離手段は、
前記周波数変換手段の各チャネルの出力信号の差分を算出する減算手段と、
前記周波数変換手段の各チャネルの出力信号の和分を算出する加算手段と、
前記減算手段の出力レベルの前記加算手段の出力レベルに対する割合が閾値以上か否かを判定する判定手段と、
前記判定手段が、前記割合が前記閾値以上であると判定した場合に、前記周波数変換手段の各チャネルの出力信号の差分に所定係数を乗算した結果を、前記周波数変換手段の各チャネルの出力信号から減算し、もって前記後方被写体からの音声の成分を低減する補正手段
とを有し、前記減算手段の出力を前記後方被写体からの音声の成分とする
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
更に、
前記第１の逆周波数変換手段の出力レベルを調整する第１のＡＬＣと、
前記第２の逆周波数変換手段の出力レベルを調整する第２のＡＬＣ
とを有し、前記第２のＡＬＣのゲインが前記第１のＡＬＣのゲインより大きい
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
互いに異なる方向からの第１及び第２の音声を含む複数のチャネルの音声信号から前記第１及び第２の音声の音声信号を分離する音声信号処理装置であって、
前記複数のチャネルの音声信号を周波数変換する周波数変換手段と、
前記周波数変換手段の各チャネルの出力から、前記第１の音声の成分と前記第２の音声の成分を分離する分離手段と、
前記分離手段で分離された前記第１の音声の成分を逆周波数変換手段する第１の逆周波数変換手段と、
前記分離手段で分離された前記第２の音声の成分を逆周波数変換手段する第２の逆周波数変換手段
とを有することを特徴とする音声信号処理装置。
【請求項５】
前記分離手段は、
前記周波数変換手段の各チャネルの出力信号の差分を算出する減算手段と、
前記周波数変換手段の各チャネルの出力信号の和分を算出する加算手段と、
前記減算手段の出力レベルの前記加算手段の出力レベルに対する割合が閾値以上か否かを判定する判定手段と、
前記判定手段が、前記割合が前記閾値以上であると判定した場合に、前記周波数変換手段の各チャネルの出力信号の差分に所定係数を乗算した結果を、前記周波数変換手段の各チャネルの出力信号から減算し、もって前記第２の音声の成分を低減する補正手段
とを有し、前記減算手段の出力を前記第２の音声の成分とする
ことを特徴とする請求項４に記載の音声信号処理装置。
【請求項６】
更に、
前記第１の逆周波数変換手段の出力レベルを調整する第１のＡＬＣと、
前記第２の逆周波数変換手段の出力レベルを調整する第２のＡＬＣ
とを有し、前記第２のＡＬＣのゲインが前記第１のＡＬＣのゲインより大きい
ことを特徴とする請求項４又は５に記載の音声信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び音声信号処理装置に関し、より具体的には、２つの音声入力手段を具備する撮像装置及び音声信号処理装置に関する。
【背景技術】
【０００２】
従来、撮像素子による撮影画像の任意の一部を複数抽出し、それぞれを記録処理することで、複数の撮影方向の画像を同時に記録できるようにしたビデオカメラが知られている（特許文献１）。このビデオカメラでは、ステレオマイクの各音声信号出力を撮影方向に応じて加減算処理することで撮影方向にステレオマイクの指向性を向けるようにした音声処理回路が記載されている。
【０００３】
スマートフォンに代表される携帯情報端末には、前方（被写体側）を撮影する撮像部と後方（撮影者側）を撮影する撮像部の２つの撮像部を具備するものがある。このような装置でも、音声については単一のステレオマイクのみであるのが普通であり、前方用撮像部による撮影か後方用撮像部による撮影かに関わらず、ステレオマイクによる音声をそのまま記録している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３００２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載される技術では、複数の撮影方向の画像を記録できるものの、音声については一つの撮影方向にしか対応できない。
【０００６】
また、前方用撮像部と後方用撮像部を有する装置で、前方用撮像部による画像と後方用撮像部による画像を同時に記録する場合、両者の音声を分離できるのが望ましいが、従来例では実現できていない。勿論、前方用撮像部による撮影時に後方からの音声が混入する場合、前方からの音声のみを分離して再生できるのが好ましい。逆に、後方用撮像部による撮影時に前方からの音声が混入する場合、後方からの音声のみを分離して再生できるのが好ましい。
【０００７】
本発明は、このような不都合を解消する撮像装置及び音声信号処理装置に関する。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、かかる目的を達成するために、前方被写体を撮影する第１の撮像手段と、後方被写体を撮影する第２の撮像手段と、前記前方被写体からの音声及び前記後方被写体からの音声を含む音声を音声信号に変換する複数のマイクとを有する撮像装置であって、前記複数のマイクで取り込まれた複数のチャネルの音声信号を周波数変換する周波数変換手段と、前記周波数変換手段の各チャネルの出力から、前記前方被写体からの音声の成分と前記後方被写体からの音声の成分を分離する分離手段と、前記分離手段で分離された前記前方被写体からの音声の成分を逆周波数変換手段する第１の逆周波数変換手段と、前記分離手段で分離された前記後方被写体からの音声の成分を逆周波数変換手段する第２の逆周波数変換手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、前方被写体からの音声及び後方被写体からの音声を含む音声信号からそれぞれの音声を分離でき、その結果、対応する画像と関連付けて別々に記録できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の主要部分の概略構成ブロック図である。
【図３】前方被写体からの音声と後方被写体（撮影者）からの音声のマイクへの入力を説明する模式図である。
【図４】本実施例の補正処理のフローチャートである。
【図５】周波数スペクトルの模式図である。
【図６】ＡＬＣ線図例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明に係る撮像装置の一実施例の基本構成を示す概略構成ブロック図である。
【００１３】
撮像部１０１Ａは、前方方向の主被写体（前方被写体）を撮影するための撮像部である。撮像部１０１Ａは、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換及び画像調整処理などを行い、画像データを生成する。撮影レンズは、内蔵型のレンズであっても、着脱式のレンズであっても良い。撮像素子は、ＣＣＤ又はＣＭＯＳ等に代表される光電変換素子であればよい。
【００１４】
撮像部１０１Ｂは、後方方向の例えば撮影者（後方被写体）を撮影するため撮像部である。撮像部１０１Ｂは、撮像部１０１Ａと同様に、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換及び画像調整処理などを行い、画像データを生成する。撮影レンズは、内蔵型のレンズであっても、着脱式のレンズであっても良い。撮像素子は、ＣＣＤ又はＣＭＯＳ等に代表される光電変換素子であればよい。撮像素子の画素数は、撮像部１０１Ａのそれよりも少ないことがある。
【００１５】
音声入力部１０２は、内蔵マイク（または音声端子を介して接続されたマイク）により、撮像装置１００の周辺の音声を取り込み、アナログデジタル変換及び音声処理などを行い、音声データを生成する。マイクは、指向性か無指向性を問わないが、本実施例では、無指向性のマイクを使用するものとする。
【００１６】
メモリ１０３は、撮像部１０１Ａ及び撮像部１０１Ｂから出力される画像データ並びに音声入力部１０２から出力される音声データを一時的に記憶する。
【００１７】
表示制御部１０４は、撮像部１０１Ａ及び撮像部１０１Ｂにより得られる画像データに係る映像、撮像装置１００の操作画面並びにメニュー画面等を表示部１０５か、不図示の映像端子を介して外部ディスプレイに表示させる。
【００１８】
符号化処理部１０６は、メモリ１０３に一時記憶された画像データ及び音声データを読み出して所定の符号化を行い、圧縮画像データ及び圧縮音声データを生成する。音声データは非圧縮でもよい。画像データは、例えば、ＭＰＥＧ２又はＨ．２６４／ＭＰＥＧ４−ＡＶＣなどで圧縮符号化されるが、その他の圧縮方式でもよい。音声データは、ＡＣ３、ＡＡＣ、ＡＴＲＡＣ又はＡＤＰＣＭなどのような圧縮方式で圧縮される。
【００１９】
記録再生部１０７は、記録媒体１０８に対して、符号化処理部１０６で生成された圧縮画像データ及び圧縮音声データ（または非圧縮の音声データ）並びに各種データを記録媒体１０８に記録し、記録媒体１０８から読み出す。記録媒体１０８は、これらの圧縮画像データなどを記録できるデータ記録媒体である限り、磁気ディスク、光学式ディスク又は半導体メモリなどのあらゆる方式の記録媒体であってもよい。
【００２０】
制御部１０９は、撮像装置１００の各ブロックに制御信号を送信することで撮像装置１００の各ブロックを制御することができ、各種制御を実行するためのＣＰＵやメモリなどからなる。制御部１０９で使用するメモリは、各種制御プログラムを格納するＲＯＭと演算処理のためのＲＡＭ等からなる。
【００２１】
操作部１１０は、ボタンやダイヤルなどからなり、ユーザの操作に応じた指示信号を制御部１０９に送信する。操作部１１０は、動画記録開始と終了を指示する撮影ボタン、光学的電子的に画像を拡大縮小するズームレバー、並びに、音声録音レベル再生レベルの設定や各種調整に使用する十字キー及び決定キーなどを含む。例えば、操作部１１０のモード切り換えスイッチは、電源オン／オフと、動作モードを指定するのに使用される。
【００２２】
動作モードには、代表的には動画記録モードと再生モードがある。動画記録モードは、撮像部１０１Ａ，撮像部１０１Ｂにより得られる動画像データと、音声入力部１０２により得られた音声データを記録媒体１０８に記録するモードである。設定により、撮像部１０１Ａ，撮像部１０１Ｂの一方により得られる動画像データを記録するモードと、両方を記録するモードがある。両方を記録する場合、後述するように音声を処理して、それぞれの側の動画像データに対応する２種類の音声データを生成し、動画像と対にして記録媒体１０８に記録する。再生モードは、記録媒体１０８に記録された圧縮画像データ及び圧縮音声データを記録再生部１０７により再生して、再生画像を表示部１０５に表示し、再生音声をスピーカ１１２から出力するモードである。
【００２３】
外部出力部１１３は、記録再生部１０７により再生された圧縮映像データや圧縮音声データなどを外部機器に出力する。
【００２４】
データバス１１４は、音声データ及び画像データ等の各種データ並びに各種制御信号を撮像装置１００の各ブロックに供給する。
【００２５】
撮像装置１００の基本的な動作を説明する。ユーザが操作部１１０の電源スイッチをオンにすることで、撮像装置１００は、不図示の電源供給部から、撮像装置の各ブロックに電源を供給する。
【００２６】
電源が供給されると、制御部１０９は、操作部１１０のモード切り換えスイッチで設定されている動作モードを確認する。
【００２７】
動画記録モードでは、制御部１０９は先ず、撮影待機状態に移行させる制御信号を撮像装置１００の各ブロックに送信する。各ブロックは、この制御信号に従い、以下のように動作する。
【００２８】
撮像部１０１Ａは、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換及び画像調整処理などを行い、画像データを生成する。撮像部１０１Ａは、生成した画像データを表示制御部１０４に送信し、表示制御部１０４は、対応する画像を表示部１０５に表示させる。撮像部１０１Ｂも撮像部１０１Ａと同様に動作する。ユーザは、撮像部１０１Ａ，１０１Ｂのどちらの画像又は両方の画像を表示部１０５で表示するかを選択できる。ユーザはこの様にして表示された画像を見ながら、撮影（録画）を準備する。
【００２９】
音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。音声入力部１０２は、得られた音声データを音声出力部１１１に送信し、音声出力部１１１は、接続するスピーカ１１２を駆動して音響出力する。スピーカ１１２の代わりに不図示のイヤホンを使っても良い。ユーザは、この様にして出力される音声を聞きながら、記録音量を調整する。
【００３０】
ユーザが操作部１１０の記録ボタンを操作することにより、制御部１０９は、撮像装置１００の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。ここでは、撮像部１０１Ａによる前方の撮影と、撮像部１０１Ｂによる後方の撮影を同時に行うとする。
【００３１】
撮像部１０１Ａは、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換及び画像調整処理などを行い、画像データを生成し、メモリ１０３に格納する。表示制御部１０４は、メモリ１０３の画像データを読み出し、対応する画像を表示部１０５に表示させる。撮像部１０１Ｂも同様に動作し、撮像部１０１Ｂで生成される画像データもメモリ１０３に格納され、対応する画像が表示部１０５に表示される。
【００３２】
音声入力部１０２は、周囲の音声を取り込み、後述する方法で前方からの音声データと後方からの音声データとを分離し、メモリ１０３に格納する。
【００３３】
符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データと音声データを読み出して圧縮符号化し、圧縮画像データ及び圧縮音声データを生成する。制御部１０９は、符号化処理部１０６により生成される圧縮画像データと圧縮音声データを、それぞれ前方のものと後方のものとで合成してデータストリームを形成し、記録再生部１０７に出力する。音声データを圧縮しない場合には、制御部１０９は、メモリ１０３に格納された音声データと圧縮画像データとを合成し、データストリームを形成して記録再生部１０７に出力する。記録再生部１０７は、ＵＤＦ又はＦＡＴ等のファイルシステム管理のもとに、各データストリームを一つの動画ファイルとして記録媒体１０８に書き込む。
【００３４】
撮影中、以上の動作が継続される。
【００３５】
ユーザが操作部１１０の記録ボタンを再度操作すると、制御部１０９は、撮像装置１００の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。
【００３６】
撮像部１０１Ａ，１０１Ｂは撮像を停止し、音声入力部１０２は音声の取り込みを停止する。符号化処理部１０６は、メモリ１０３に記憶されている画像データと音声データとを読み出して圧縮画像データ及び圧縮音声データを生成し終えたら、動作を停止する。音声データを圧縮しない場合、符号化処理部１０６は、当然、圧縮画像データの生成が終わったら動作を停止する。
【００３７】
制御部１０９は、これらの最後の圧縮画像データと圧縮音声データ（または音声データ）とを、それぞれ前方のものと後方のものとで合成してデータストリームを形成し、記録再生部１０７に出力する。記録再生部１０７は、各データストリームの供給が停止したら、動画ファイルを完成させて記録動作を停止する。
【００３８】
制御部１０９は、記録動作が停止後、撮影待機状態への移行を指示する制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。
【００３９】
再生モードでは、制御部１０９は、再生状態への移行を指示する制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。
【００４０】
記録再生部１０７は、記録媒体１０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを読み出して、符号化処理部１０６に送る。符号化処理部１０６は、圧縮画像データと圧縮音声データを復号し、再生画像データを表示制御部１０４に、再生音声データを音声出力部１１１にそれぞれ送信する。
【００４１】
表示制御部１０４は、再生画像データに応じた画像を表示部１０５に表示させる。音声出力部１１１は、再生音声データでスピーカ１１２を駆動して、スピーカ１１２から音響出力する。
【００４２】
図２は、撮像装置１００の撮像部１０１Ａ，１０１Ｂ及び音声入力部１０２の部分の概略構成ブロック図である。
【００４３】
撮像部１０１Ａは、レンズ２０１Ａ、撮像素子２０２Ａ、画像処理部２０３Ａ、及びレンズ制御部２０４Ａを具備する。レンズ２０１Ａは、前方の主被写体の光学像を取り込んで撮像素子２０２Ａに入射する。撮像素子２０２Ａは、レンズ２０１Ａにより取り込まれた被写体の光学像を電気信号（画像信号）に変換する。画像処理部２０３Ａは、撮像素子２０２Ａにより得られたアナログ画像信号をデジタル画像信号に変換し、画質調整処理をして画像データを形成し、メモリ１０３に書き込む。レンズ制御部２０４Ａは、レンズ２０１Ａの位置を検出する位置センサ（図示せず）の出力と制御部１０９からの制御信号に従い、レンズ２０１Ａの焦点距離及びズームを制御する。撮像部１０１Ａにレンズ２０１Ａ、レンズ制御部２０４Ａが内蔵されているように記載しているが、これらは着脱可能な交換レンズ形式のものであっても良い。
【００４４】
例えば、ズーム動作又はフォーカス調整などの指示をユーザが操作部１１０を操作して入力すると、制御部１０９は、指示方向へのレンズ移動を指示する制御信号をレンズ制御部２０４Ａに送信する。レンズ制御部２０４Ａは、この制御信号に応じて、位置センサでレンズ２０１Ａの位置を確認し、モータ等の駆動部でレンズ２０１Ａの移動を行う。制御部１０９はまた、画像処理部２０３Ａにより得られた画像のコントラスト又は別途計測する被写体との距離に従い、レンズ２０１Ａを自動制御することもある。また、画像のブレを防止する、いわゆる防振機能を備えている場合、制御部１０９は、不図示の振動センサにより検出された振動に基づいて、レンズ２０１Ａを移動させるための制御信号をレンズ制御部２０４Ａに送信する。
【００４５】
レンズ２０１Ａは、例えば最大で６倍、最小で１倍の光学ズームレンズからなる。レンズ制御部２０４Ａは、制御部１０９からの指示に従い、レンズ２０１Ａのズーミングレンズを移動させることで、レンズ２０１Ａの光学倍率を変更する。画像処理部２０３Ａは、撮像素子２０２Ａにより得られた画像信号の一部を画面サイズに拡大・縮小する電子ズーム機能を備えている。
【００４６】
撮像部１０１Ｂは、レンズ２０１Ｂ、撮像素子２０２Ｂ、画像処理部２０３Ｂ、及びレンズ制御部２０４Ｂを具備する。レンズ２０１Ｂは、後方の撮影者の光学像を取り込んで撮像素子２０２Ｂに入射する。撮像素子２０２Ｂは、レンズ２０１Ｂにより取り込まれた被写体の光学像を電気信号（画像信号）に変換する。画像処理部２０３Ｂは、撮像素子２０２Ｂにより得られたアナログ画像信号をデジタル画像信号に変換し、画質調整処理をして画像データを形成し、メモリ１０３に書き込む。レンズ制御部２０４Ｂは、レンズ２０１Ｂの位置を検出する位置センサ（図示せず）の出力と制御部１０９からの制御信号に従い、レンズ２０１Ｂの焦点距離及びズームを制御する。撮像部１０１Ｂは、撮影者を専ら撮影対象とするものであるので、レンズ２０１Ｂは単焦点レンズであってもよい。
【００４７】
音声入力部１０２は、音声振動を電気信号に変換し、音声信号を出力するマイク２０５Ａ，２０５Ｂと、マイク２０５Ａ，２０５Ｂから出力されるアナログ音声信号をデジタル音声信号に変換するＡＤ変換部２０６を有している。マイク２０５Ａ，２０５Ｂはステレオマイクを構成している。以後、マイク２０５Ａの出力をＬチャネルとし、マイク２０５Ｂの出力をＲチャネルとする。
【００４８】
音声入力部１０２のＦＦＴ部２０７は、ＡＤ変換部２０６からの２チャンネルの音声データを高速フーリエ変換し、周波数領域の音声データに変換する周波数変換手段である。声帯域抽出フィルタ２０８は、ＦＦＴ部２０７の出力データから人の声の帯域、例えば、８００Ｈｚから４ｋＨｚの範囲を抽出する。本実施例では、音声信号は４８ｋＨｚ、１６ｂｉｔでサンプリングされており、ＦＦＴ部２０７は、２サンプル期間において０から４８ｋＨｚまでの帯域を５１２ポイント分の周波数スペクトルとして算出する。ナイキスト周波数の２４ｋＨｚまででは、２５６ポイントの周波数スペクトルとなる。ＦＦＴの１ブロックは、時間換算で、２１μｓ程度で算出される。ＦＦＴ部２０７のデータ数を５１２ポイントとしているが、これに限定されない。声帯域抽出フィルタ２０８としては、バンドパスフィルタ、ハイパスフィルタ及びローパスフィルタを適宜に組み合わせて、所望周波数成分又は帯域を抽出するようにする。
【００４９】
減算器２１３は、声帯域抽出フィルタ２０８で抽出されたＬチャネル音声データとＲチャネル音声データの差分をとる。他方、加算器２１４は、Ｌチャネル音声データとＲチャネル音声データを加算する。レベル検知部２１５は、減算器２１３の出力レベルと加算器２１４の出力レベルを検知し、判定部２１６は、レベル検知部２１５の検知結果に従い、補正部２０９による補正の要否を判定し、補正部２０９を制御する。詳細は後述するが、判定部２１６は、加算器２１４の加算結果（和分）と減算器２１３の減算結果（差分）の割合が閾値以上か否かを判定する。
【００５０】
補正部２０９の補正処理は、ＦＦＴ部２０７からのＬチャネル音声データとＲチャネル音声データのそれぞれから、ＬチャネルとＲチャネルの差分に所定係数を乗算した結果を減算する処理である。この補正処理により左右差が少ない音声信号が残り、補正部２０９は、補正後の２チャネルの音声データを逆ＦＦＴ部２１０に出力する。補正部２０９はまた、判定部２１６が補正不要と判定したときには、ＦＦＴ部２０７からの２チャネルの音声データをそのまま逆ＦＦＴ部２１０に出力する。補正の有無に関わらず、補正部２０９から逆ＦＦＴ部２１０に供給される２チャネルの音声データは、専ら主被写体の音声データからなる。逆ＦＦＴ部２１０は、補正部２０９からのＬチャネル及びＲチャネルの音声データを逆フーリエ変換することで、時間領域の音声データに戻す逆周波数変換手段である。
【００５１】
他方、減算器２１３の出力音声データは、逆ＦＦＴ部２１９に入力する。減算器２１３の出力音声データは、Ｌチャネル音声データとＲチャネル音声データの差分からなり、専ら撮影者の音声を反映する。逆ＦＦＴ部２１９は、減算器２１３の出力データを逆フーリエ変換することで、時間領域の差分音声データに戻す逆周波数変換手段である。
【００５２】
逆ＦＦＴ部２１０の２チャネルの出力音声データは、オートレベルコントローラ（ＡＬＣ）２１１とレベル検知部２１７に入力する。レベル検知部２１７は、逆ＦＦＴ部２１０からの各チャネルの音声データのレベルを検知し、検知結果を演算部２１８に出力する。演算部２１８は、レベル検知部２１７が検知する各レベルに対するＡＬＣ２１１のゲインとの関係式又は対応表を具備し、レベル検知部２１７の出力レベル値に応じたゲインをＡＬＣ２１１に設定する。ＡＬＣ２１１は、演算部２１８により設定されるゲインで、逆ＦＦＴ部２１０からの音声データを増幅する。ＡＬＣ２１１により、音声信号の振幅を所定のレベルにコントロールできる。
【００５３】
逆ＦＦＴ部２１９の出力音声データは、ＡＬＣ２２２とレベル検知部２２０に入力する。レベル検知部２２０は、逆ＦＦＴ部２１９からの音声データのレベルを検知し、検知結果を演算部２２１に出力する。演算部２２１は、演算部２１８と同様に、レベル検知部２２０が検知する各レベルに対するＡＬＣ２２２のゲインとの関係式又は対応表を具備し、レベル検知部２２０の出力レベル値に応じたゲインをＡＬＣ２２２に設定する。ＡＬＣ２２２は、演算部２２１により設定されるゲインで、逆ＦＦＴ部２１９からの音声データを増幅する。ＡＬＣ２２２により、音声信号の振幅を所定のレベルにコントロールできる。ＡＬＣ２２２は、差信号を増幅するので、そのゲインは一般に、ＡＬＣ２１１のそれよりも大きな値に設定される。
【００５４】
ＡＬＣ２２２の出力信号は、撮影者からのＬチャネルの音声信号とＲチャネルの音声信号の差信号に相当するので、これを２チャネル化する必要がある。そこで、複製部２２３が、ＡＬＣ２２２の出力信号を複製してステレオ化し、２チャネル音声データを出力する。
【００５５】
音声処理部２１２は、ＡＬＣ２１１からの２チャネルの音声データと、ＡＬＣ２２２からの２チャネルの音声データに所定の処理を施し、メモリ１０３に書き込む。
【００５６】
図３は、マイク２０５Ａ，２０５Ｂに対する前方の主被写体からの音声の経路と後方の撮影者からの音声の経路の一例を示す。図３に示すように、Ｌチャネルのマイク２０５ＡとＲチャネルのマイク２０５Ｂの中間点は、表示部１０５の中心から横方向に距離を離して位置する。撮影者は撮影時、表示部１０５の表示画像を視覚的に確認しながらの撮影となり、表示部１０５が顔の正面となるように撮像装置１００を構えるのが通常である。また、通常のシーンでは、撮像装置１００の本体に対して、撮影者は主被写体よりも至近に位置する。この状態では、主被写体からマイク２０５Ａとマイク２０５Ｂまでの距離差が小さいのに対し、撮影者からマイク２０５Ａとマイク２０５Ｂまでの距離差が相対的に大きい。つまり、主被写体からと撮影者からとでは、ＬチャネルとＲチャネルの音声レベルの差分に大きな差が出る。
【００５７】
そこで、判定部２１６が、以下の判定式により、後方の撮影者からの音声が有意に含まれているか否かを判定する。すなわち、
Δ｜Ｌ−Ｒ｜／（Ｌ＋Ｒ）
但し、Ｌは、声帯域抽出フィルタ２０８から出力されるＬチャネルの音声データのレベルを示し、Ｒは、声帯域抽出フィルタ２０８から出力されるＲチャネルの音声データのレベルを示す。
【００５８】
主被写体からマイク２０５Ａ，２０５Ｂに入力する音声の差分は、音量が大きくなればなる程、大きくなるものの、先に説明したように距離が殆ど等しくなるので、和分と差分の比は限りなく小さくなる。一方、撮影者からマイク２０５Ａ，２０５Ｂに入力する音声については、距離が大きく異なるので、和分と差分の比は大きくなる。従って、上記判定式により、後方の撮影者からの音声の有無を判定できる。補正部２０９は、撮影者からの音声が無視できない程に存在する場合、上述の補正処理において撮影者からの音声に相当する成分をＬチャネルとＲチャネルの音声データから減算する。
【００５９】
図４は、本実施例の補正処理のフローチャートを示す。レベル検知部２１５は、減算器２１３の出力（ＬチャネルとＲチャネルの差分）と、加算器２１４の出力（ＬチャネルとＲチャネルの和分）のレベルを継続的ないし連続的に検知している。
【００６０】
判定部２１６は、レベル検知部２１５の検知結果を取り込む（Ｓ４０１）。判定部２１６は、レベル検知部２１５の検知結果から、
Δ｜Ｌ−Ｒ｜／（Ｌ＋Ｒ）≧Ｘ      （１）
が成立するか否かをＦＦＴの２５６ポイントの周波数スペクトルについて判定する（Ｓ４０２）。Ｘは予め定められた閾値である。式（１）が成立する場合、撮影者からの音声が含まれており、判定部２１６は、補正部２０９による補正を有効化する。式（１）が成立しない場合、Ｓ４０１に戻り、判定部２１６は、レベル検知結果を再度取り込む。
【００６１】
判定部２１６の判定結果が補正の実行を示す場合（Ｓ４０２）、補正部２０９は、補正レベルを先ず決定する（Ｓ４０３）。具体的には、補正部２０９は、
ＮＣ＝α（Ｌ−Ｒ）        （２）
の演算をＦＦＴ部２０７の２５６ポイントの周波数スペクトルについて実行する。式（２）で、ＬはＦＦＴ部２０７から出力されるＬチャネルの音声データの強度を示し、ＲはＦＦＴ部２０７から出力されるＲチャネルの音声データの強度を示す。αは調整のための係数であり、実験的に決定される。図５は、ＬチャネルとＲチャネルの音声信号Ｌ，Ｒと差信号（Ｌ−Ｒ）の周波数スペクトルの関係を示す。
【００６２】
式（２）に示すＮＣは、撮影者からの音声信号を代表しており、補正部２０９は補正処理として、ＦＦＴ部２０７のＬチャネル音声データ出力とＲチャネル音声データ出力から式（２）で得られるＮＣを減算する（Ｓ４０４）。この減算により、ＦＦＴ部２０７のＬチャネル音声データ出力とＲチャネル音声データ出力に含まれる撮影者の音声信号成分を低減でき、補正結果は主として、主被写体の音声信号を示すものとなる。
【００６３】
図６は、ＡＬＣ２１１，２２２の入出力特性を示すＡＬＣ線図である。演算部２１８，２２１は、図６に示すようなＡＬＣ線図を形成するためのゲインパラメータを保持する。例えば、演算部２１８の保持する主被写体音声信号に対するゲインパラメータに対応するＡＬＣ線図は、実線６０１のような入出力特性を示す。演算部２２１の保持する撮影者の音声信号に対するゲインパラメータに対応するＡＬＣ線図は、実線６０２のような入出力特性を示す。実線６０２に示すＡＬＣ線図を形成するために、演算部２２１は、例えば入力レベルに対応する出力レベルを示す複数の点をパラメータとして保持する。入力レベルに対応する出力レベルを示すテーブルデータ、入力レベルに対応するゲインを示す複数の点を示すパラメータ、又は、入力レベルに対応するゲインを示すテーブルデータであってもよい。
【００６４】
実線６０１に示すＡＬＣ線図において例えば、７０ｄＢ  ＳＰＬの主被写体の音声がマイク２０５Ａ，２０５Ｂに入力する状況では（図６のＰ１）、ＡＬＣ２１１は、−１５ｄＢ  ＦＳの音声信号を出力する。これに対し、実線６０２のＡＬＣ線図において例えば、７０ｄＢ  ＳＰＬの撮影者の音声がマイク２０５Ａ，２０５Ｂに入力する場合、ＡＬＣ２２２は、バランス上、主被写体の音声と同じく−１５ｄＢ  ＳＰＬの音声信号を出力する必要がある。しかし、ＡＬＣ２２２の入力信号は先に説明したように撮影者の音声信号の差信号であるので、２０ｄＢ程度、被写体の音声信号より低いレベルでＡＬＣ２２２に入力する。つまり、ＡＬＣ２２２には、５０ｄＢ  ＳＰＬ相当の音声データが入力する（図６のＰ２）。
【００６５】
ＡＬＣ２１１とＡＬＣ２２２の入力信号のレベル差は、例えば、
Ｌ２−Ｌ１＝２０Ｌｏｇ（ｒ２／ｒ１）    （ｄＢ）
Ｌ１［ｄＢ  ＳＰＬ］＝２０×１０−６×１０（Ｌ１／２０）    （Ｐａ）
で見込むことができる。ここで、撮影者からＬマイク２０５Ａまでの距離をｒ１、Ｒマイク２０５Ｂの間隔をｒ２、Ｌマイク２０５Ａでの撮影者の音声の音圧レベルをＬ１、Ｒマイク２０５Ｂでの撮影者の音声の音圧レベルをＬ２とする。
【００６６】
実線６０２に示すＡＬＣ線図では、例えば、マイク２０５Ａ，２０５Ｂに入力する音圧レベルが５０ｄＢ  ＳＰＬのとき、ＡＬＣ２２２への入力としては３０ｄＢ  ＳＰＬ相当となり、この点（図６のＰ３）で変曲点を持つ。また、マイク２０５Ａ，２０５Ｂに入力する音圧レベルが４０ｄＢ  ＳＰＬのとき、ＡＬＣ２２２への入力としては２０ｄＢ  ＳＰＬ相当となり、この点（図６のＰ４）でも変曲点を持つ。
【００６７】
前述の通り、撮影者の音声は左右の差信号がＡＬＣ２２２に入力するので、ＡＬＣ２２２のゲインを大きめにする必要がある。実線６０２で示すＡＬＣ線図では、入力レベルが低いところでは、ゲインを大きく設定している。
【００６８】
図６において実線６０１，６０２で示すように、ＡＬＣ２１１のゲインは、ＡＬＣ２２２のゲインより低く設定されている。
【００６９】
図６では、ＡＬＣ線図を多点の直線により表現しているが、非線形で線図で構成しても勿論構わない。
【００７０】
本実施例では、異なる方向を撮影する２つの撮像部に対して単一のステレオマイクにより入力される音声信号から、それぞれの撮影方向に対応する音声信号成分を分離し、対応する画像と一体に記録することができる。
【００７１】
図２では、２系統の音声が入力される場合について説明したが、それ以上のチャネル数であっても適用することができる。
【００７２】
また、本実施例においては、撮像装置について説明したが、音声入力部１０２に含まれる音声信号処理装置は、外部の音声を記録または入力するような装置に適用可能であり、撮像装置以外に、ＩＣレコーダや携帯電話等にも適用可能である。
【図１】
2015050530.tif 000003
【図２】
2015050530.tif 000004
【図３】
2015050530.tif 000005
【図４】
2015050530.tif 000006
【図５】
2015050530.tif 000007
【図６】
2015050530.tif 000008