(57)【要約】【課題】低域及び高域でも良好な指向性能を得る。【解決手段】無指向性マイクロホンである左側マイク及び右側マイクの出力信号をステレオ化処理が有効に作用する中域周波数成分とそうでない低域及び高域周波数成分とに分類する。中域周波数成分に対してステレオ化処理を行い、ステレオ化処理後の中域周波数成分のレベルに応じて、低域及び高域周波数成分のレベルを補正する。その後、ステレオ化処理後の中域周波数成分と補正後の低域及び高域周波数成分とを合成することにより、左チャンネル信号と右チャンネル信号から成るステレオ信号を形成する。【選択図】図５
2008236287.tif 000002
【特許請求の範囲】
【請求項１】
複数の無指向性信号から、特定の方向より到来する音の成分が強調された複数の有指向性信号を生成する有指向性信号生成手段を備え、各有指向性信号に基づき、複数のチャンネル信号から成る音声信号を生成する音声信号生成装置において、
第１帯域と第２帯域を互いに異なる帯域とした場合、
各有指向性信号の第１帯域成分のレベルを評価するレベル評価手段と、
各無指向性信号又は各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを前記レベル評価手段の評価結果に基づいて補正するレベル補正手段と、を備え、
各有指向性信号の第１帯域成分と、前記レベル補正手段による補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成する
ことを特徴とする音声信号生成装置。
【請求項２】
各無指向性信号の前記第２帯域成分を減衰させるフィルタ手段を更に備え、
前記有指向性信号生成手段は、前記第２帯域成分の減衰後の各無指向性信号から前記複数の有指向性信号を生成し、
前記レベル補正手段は、前記第２帯域成分の減衰前における前記複数の無指向性信号の夫々又は合成信号を前記補正対象信号として受ける
ことを特徴とする請求項１に記載の音声信号生成装置。
【請求項３】
複数の有指向性信号から、複数のチャンネル信号から成る音声信号を生成する音声信号生成装置において、
第１帯域と第２帯域を互いに異なる帯域とした場合、
各有指向性信号の第１帯域成分のレベルを評価するレベル評価手段と、
各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを前記レベル評価手段の評価結果に基づいて補正するレベル補正手段と、を備え、
各有指向性信号の第１帯域成分と、前記レベル補正手段による補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成する
ことを特徴とする音声信号生成装置。
【請求項４】
各有指向性信号の信号形式を時間軸上から周波数軸上に変換して各有指向性信号の周波数スペクトルを生成する時間周波数変換手段を更に備え、
前記レベル評価手段は、各周波数スペクトルから前記レベルを評価し、
前記レベル補正手段は、各周波数スペクトルを前記補正対象信号として受ける
ことを特徴とする請求項１または請求項３に記載の音声信号生成装置。
【請求項５】
複数の有指向性信号の周波数スペクトルを生成して、各周波数スペクトルより、複数のチャンネル信号から成る音声信号を符号化した符号化音声信号を生成する音声信号生成装置において、
第１帯域と第２帯域を互いに異なる帯域とした場合、
各周波数スペクトルに基づき、各有指向性信号の第１帯域成分のレベルを評価するレベル評価手段と、
各周波数スペクトルの第２帯域成分を前記レベル評価手段の評価結果に基づいて補正する補正手段と、を備え、
前記補正手段による補正後の各周波数スペクトルから前記符号化音声信号を生成する
ことを特徴とする音声信号生成装置。
【請求項６】
請求項１〜請求項５の何れかに記載の音声信号生成装置と、
撮像手段と、を備えた
ことを特徴とする撮像装置。
【請求項７】
請求項１〜請求項５の何れかに記載の音声信号生成装置を備えた
ことを特徴とする録音装置。
【請求項８】
複数の無指向性信号から、特定の方向より到来する音の成分が強調された複数の有指向性信号を生成し、各有指向性信号に基づき、複数のチャンネル信号から成る音声信号を生成する音声信号生成方法において、
第１帯域と第２帯域を互いに異なる帯域とした場合、
各無指向性信号又は各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを各有指向性信号の第１帯域成分のレベルに応じて補正し、
各有指向性信号の第１帯域成分と、その補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成する
ことを特徴とする音声信号生成方法。
【請求項９】
複数の有指向性信号から、複数のチャンネル信号から成る音声信号を生成する音声信号生成方法において、
第１帯域と第２帯域を互いに異なる帯域とした場合、
各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを各有指向性信号の第１帯域成分のレベルに応じて補正し、
各有指向性信号の第１帯域成分と、その補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成する
ことを特徴とする音声信号生成方法。
【請求項１０】
複数の有指向性信号の周波数スペクトルを生成して、各周波数スペクトルより、複数のチャンネル信号から成る音声信号を符号化した符号化音声信号を生成する音声信号生成方法において、
第１帯域と第２帯域を互いに異なる帯域とした場合、
各周波数スペクトルに基づいて評価された、各有指向性信号の第１帯域成分のレベルに応じて、各周波数スペクトルの第２帯域成分を補正し、
その補正後の各周波数スペクトルから前記符号化音声信号を生成する
ことを特徴とする音声信号生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ信号やマルチチャンネル信号を生成するための音声信号生成装置及び音声信号生成方法に関する。また、本発明は、撮像装置及び録音装置に関する。
【背景技術】
【０００２】
従来より、単一指向性マイクロホンを用いたステレオ録音システムやマルチチャンネル録音システムが、デジタルビデオカメラなどの録音機能を備えた機器に搭載されている。
【０００３】
単一指向性マイクロホンの指向特性の例を図１７のグラフに示す。図１７からも分かるように、前方（０°方向）と真横（９０°方向）との感度差は６ｄＢ程度しかなく、また、前方と後方（１８０°方向）を比較しても、５００Ｈｚ以上の帯域でしか大きな感度差はない。また、１２ｋＨｚ以上では、殆ど感度差がない。
【０００４】
単一指向性マイクロホンの基本的な原理は、マイクロホンの前方から来る音と後方から回り込んでくる音との間の位相差及び振幅差を利用するものである。このため、マイクロホンの大きさに比べて波長の長い低音に対しては、原理上、精度良く指向性制御することは困難である。また、波長の短い高音に対しては、マイクロホンの構造やマイクアンプの微妙な製造ばらつきが指向性制御に大きく影響する。このため、高音に対する高精度の指向性制御も得がたい。
【０００５】
一方、複数の無指向性マイクロホンをアレー状に配置し、信号処理により音声信号に指向性を持たせてステレオ録音や５チャンネル録音を実現する方法が数多く提案されている（例えば、下記特許文献１参照）。この種のステレオ録音では、音の到来方向に依存する、２つのマイクロホン出力信号間の位相差及び振幅差が利用される。
【０００６】
しかしながら、携帯型のデジタルビデオカメラなどでは筐体サイズの制約から２つのマイクロホンが近接して配置されるため、信号処理による指向性制御をベースとしたステレオ化処理でも、単一指向性マイクロホンを用いた場合と同様の問題が生じる。つまり、原理上、低周波数帯域及び高周波数帯域において良好な指向性能を得ることは困難である。２つのマイクロホンが近接配置された場合、低音に関しては２つのマイクロンホンで検出した信号間において殆ど差異が生じないため、従来の手法によって良好な指向性能を得ることは難しい。また、低音に対する指向性制御を行うためには、微小な位相差から特定方向の低周波信号を強調する必要があり、これを実現するために高次のフィルタ処理が必要となって処理量（例えばプログラム規模）が膨大となる。また、高音に対する指向性制御に対しては、単一指向性マイクロホンを用いた場合と同様、微妙な製造ばらつきが大きく影響する。
【０００７】
【特許文献１】特開２００４−３３６６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、従来技術では、携帯型のデジタルビデオカメラなどに対する用途において、良好なステレオ信号を生成することが難しい。しかしながら、録画時の音として重要な音声などはピッチ周波数が８０〜２７０Ｈｚ近辺の帯域（即ち、比較的低周波の帯域）に存在する。また、迫力のあるサラウンド音を再現するために、高周波数帯域の環境音は重要である。広帯域で良好な指向性能を得ることができれば、再生時において迫力のある臨場感を提供することが可能となり、それを実現する技術が切望されている。
【０００９】
そこで本発明は、広帯域で良好な指向性能を得るための音声信号生成装置及び音声信号生成方法並びに撮像装置及び録音装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る第１の音声信号生成装置は、複数の無指向性信号から、特定の方向より到来する音の成分が強調された複数の有指向性信号を生成する有指向性信号生成手段を備え、各有指向性信号に基づき、複数のチャンネル信号から成る音声信号を生成する音声信号生成装置において、第１帯域と第２帯域を互いに異なる帯域とした場合、各有指向性信号の第１帯域成分のレベルを評価するレベル評価手段と、各無指向性信号又は各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを前記レベル評価手段の評価結果に基づいて補正するレベル補正手段と、を備え、各有指向性信号の第１帯域成分と、前記レベル補正手段による補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成することを特徴とする。
【００１１】
これにより、広帯域で良好な指向性能を有する音声信号を生成可能となる。
【００１２】
また例えば、上記第１の音声信号生成装置は、各無指向性信号の前記第２帯域成分を減衰させるフィルタ手段を更に備え、前記有指向性信号生成手段は、前記第２帯域成分の減衰後の各無指向性信号から前記複数の有指向性信号を生成し、前記レベル補正手段は、前記第２帯域成分の減衰前における前記複数の無指向性信号の夫々又は合成信号を前記補正対象信号として受ける。
【００１３】
これにより、有指向性信号生成手段における処理量の簡素化が期待される。
【００１４】
また、本発明に係る第２の音声信号生成装置は、複数の有指向性信号から、複数のチャンネル信号から成る音声信号を生成する音声信号生成装置において、第１帯域と第２帯域を互いに異なる帯域とした場合、各有指向性信号の第１帯域成分のレベルを評価するレベル評価手段と、各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを前記レベル評価手段の評価結果に基づいて補正するレベル補正手段と、を備え、各有指向性信号の第１帯域成分と、前記レベル補正手段による補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成することを特徴とする。
【００１５】
これによっても、広帯域で良好な指向性能を有する音声信号を生成可能となる。
【００１６】
また例えば、上記第１又は第２の音声信号生成装置において、音声信号生成装置は、各有指向性信号の信号形式を時間軸上から周波数軸上に変換して各有指向性信号の周波数スペクトルを生成する時間周波数変換手段を更に備え、前記レベル評価手段は、各周波数スペクトルから前記レベルを評価し、前記レベル補正手段は、各周波数スペクトルを前記補正対象信号として受ける。
【００１７】
また、本発明に係る第３の音声信号生成装置は、複数の有指向性信号の周波数スペクトルを生成して、各周波数スペクトルより、複数のチャンネル信号から成る音声信号を符号化した符号化音声信号を生成する音声信号生成装置において、第１帯域と第２帯域を互いに異なる帯域とした場合、各周波数スペクトルに基づき、各有指向性信号の第１帯域成分のレベルを評価するレベル評価手段と、各周波数スペクトルの第２帯域成分を前記レベル評価手段の評価結果に基づいて補正する補正手段と、を備え、前記補正手段による補正後の各周波数スペクトルから前記符号化音声信号を生成することを特徴とする。
【００１８】
これによっても、広帯域で良好な指向性能を有する音声信号を生成可能となる。また、音声符号化処理の中間生成データである周波数スペクトルを利用して、良好な指向性能を得るためのレベル補正処理を行うため、それのための処理量増加は少なくて済む。
【００１９】
また、本発明に係る撮像装置は、上記の何れかに記載の音声信号生成装置と、撮像手段と、を備えたことを特徴とする。
【００２０】
また、本発明に係る録音装置は、上記の何れかに記載の音声信号生成装置を備えたことを特徴とする。
【００２１】
また、本発明に係る第１の音声信号生成方法は、複数の無指向性信号から、特定の方向より到来する音の成分が強調された複数の有指向性信号を生成し、各有指向性信号に基づき、複数のチャンネル信号から成る音声信号を生成する音声信号生成方法において、第１帯域と第２帯域を互いに異なる帯域とした場合、各無指向性信号又は各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを各有指向性信号の第１帯域成分のレベルに応じて補正し、各有指向性信号の第１帯域成分と、その補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成することを特徴とする。
【００２２】
また、本発明に係る第２の音声信号生成方法は、複数の有指向性信号から、複数のチャンネル信号から成る音声信号を生成する音声信号生成方法において、第１帯域と第２帯域を互いに異なる帯域とした場合、各有指向性信号に応じた信号を補正対象信号として受け、前記補正対象信号に含まれる第２帯域成分のレベルを各有指向性信号の第１帯域成分のレベルに応じて補正し、各有指向性信号の第１帯域成分と、その補正後の前記補正対象信号の第２帯域成分と、に基づいて前記音声信号を生成することを特徴とする。
【００２３】
また、本発明に係る第３の音声信号生成方法は、複数の有指向性信号の周波数スペクトルを生成して、各周波数スペクトルより、複数のチャンネル信号から成る音声信号を符号化した符号化音声信号を生成する音声信号生成方法において、第１帯域と第２帯域を互いに異なる帯域とした場合、各周波数スペクトルに基づいて評価された、各有指向性信号の第１帯域成分のレベルに応じて、各周波数スペクトルの第２帯域成分を補正し、その補正後の各周波数スペクトルから前記符号化音声信号を生成することを特徴とする。
【００２４】
尚、前記第２帯域は、例えば、前記第１帯域よりも周波数が低い帯域、前記第１帯域よりも周波数が高い帯域、又は、それらの双方を含む帯域である。
【発明の効果】
【００２５】
本発明によれば、広帯域で良好な指向性能を得るための音声信号生成装置及び音声信号生成方法並びに撮像装置及び録音装置を提供することができる。
【００２６】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２８】
図１は、本発明の実施形態に係る撮像装置１の外観斜視図である。撮像装置１は、音声録音をも可能なデジタルビデオカメラである。撮像装置１の筐体の左側には左側マイク１０が備え付けられ、撮像装置１の筐体の右側には右側マイク２０が備え付けられている。
【００２９】
図２に、撮像装置１の電気的構成を表す概略ブロック図を示す。撮像装置１は、左側マイク１０及び右側マイク２０の他、撮像部２、映像信号処理部３、音声信号処理部４及び記録媒体５を備える。図示を省略しているが、撮像装置１には、シャッタボタン及び録画ボタンを含む操作部、表示ディスプレイ、スピーカ、ＣＰＵ（Central Processing Unit）などが備えられている。
【００３０】
撮像部２は、光学系と、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子とを含み、光学系を介して入射する光学像を電子信号に変換する。映像信号処理部３は、その電気信号に基づき、撮像部２の撮影画像を表す映像信号を生成する。音声信号処理部４は、左側マイク１０及び右側マイク２０の出力信号に基づき所望の特性を有する音声信号を生成する。撮像装置１に備えられた操作部（不図示）に対する操作に従って、上記映像信号及び音声信号は、メモリカードや光ディスクなどの記録媒体５に記録される。
【００３１】
左側マイク１０及び右側マイク２０として、指向性を有さない無指向性マイクロホン又は指向性を有する指向性マイクロホン（例えば、単一指向性マイクロホン）が採用される。左側マイク１０及び右側マイク２０が無指向性マイクロホンである場合に、それらの出力信号からステレオ信号を生成する原理について簡単に説明する。尚、撮像部２が撮影可能な被写体が存在する方向を前方と定義し（図１参照）、その逆の方向を後方と定義する。前方及び後方は、撮像部２の光軸と平行であるものとする。また、以下の説明において、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。
【００３２】
図３を参照する。図３に示すように、左側マイク１０と右側マイク２０とが、距離Ｌkを隔てて配置されているものとする。左側マイク１０と右側マイク２０とを結ぶ平面であって、且つ、前方と後方の境界となる平面を想定する（該平面は光軸と直交する）。その平面の後方に音源が存在し、音源と左側マイク１０及び右側マイク２０とを結ぶ各直線と上記平面との成す角度がθであるとする（但し、０°＜θ＜９０°）。また、音源は右側マイク２０よりも左側マイク１０に近い位置に存在するものとする。この場合、音源から右側マイク２０までの距離は、音源と左側マイク１０までの距離よりも、距離Ｄk（＝Ｌkｃｏｓθ）だけ長くなる。従って、音の速さをＶkとすると、音源から発せられた音は、その音が左側マイク１０に到達してからＤk／Ｖkに相当する時間だけ遅れて右側マイク２０に到達することになる。
【００３３】
従って、左側マイク１０の出力信号をＤk／Ｖkに相当する時間だけ遅らせ且つ所定割合減衰させることによって得られた信号を、右側マイク２０の出力信号から減算することにより、左斜め後方４５°の方向に死角を有する右チャンネル信号を生成することができる。この右チャンネル信号のポーラパターンは図４（ａ）の曲線３００のようになり、右チャンネル信号は右斜め前方４５°の方向に指向軸を有するようになる。同様に、右側マイク２０の出力信号をＤk／Ｖkに相当する時間だけ遅らせ且つ所定割合減衰させることによって得られた信号を、左側マイク１０の出力信号から減算することにより、右斜め後方４５°の方向に死角を有する左チャンネル信号を生成することができる。この左チャンネル信号のポーラパターンは図４（ｂ）の曲線３０１のようになり、左チャンネル信号は左斜め前方４５°の方向に指向軸を有するようになる。生成された右チャンネル信号及び左チャンネル信号によって、ステレオ信号が形成される。
【００３４】
このような、２つの無指向性マイクロホンの出力信号から指向軸を有する２つのチャンネル信号（ステレオ信号）を生成する処理は、ステレオ化処理と呼ばれている。また、上に例示した減算処理を用いたステレオ化処理は、特に、減算型ステレオ化処理とも呼ばれる。
【００３５】
以下に、ステレオ信号の生成技術に関する具体的な実施例として、第１〜第３実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。各実施例に記載された音声信号処理部を、図２の音声信号処理部４として利用することができる。
【００３６】
＜＜第１実施例＞＞
まず、本発明の第１実施例について説明する。図５は、第１実施例に係る音声信号処理部の内部ブロック図である。図５の音声信号処理部は、符号１１〜１７、２１〜２７及び３１〜３３にて参照される各部位を備えている。第１実施例は、左側マイク１０及び右側マイク２０が無指向性マイクロホンである場合を想定している。
【００３７】
左側マイク１０及び右側マイク２０の夫々は、集音した音声を表すアナログ音声信号を出力する。
【００３８】
Ａ／Ｄ変換器１１は、左側マイク１０から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換を行う。Ａ／Ｄ変換器１１にて得られたデジタル音声信号は、帯域通過フィルタ（以下、「ＢＰＦ」という）１２を介してステレオ化処理部３１に供給されると共に、帯域阻止フィルタ（以下、「ＢＥＦ」という）１３及び遅延補正部１４を介してゲイン変換部１５に供給される。Ａ／Ｄ変換器２１は、右側マイク２０から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換を行う。Ａ／Ｄ変換器２１にて得られたデジタル音声信号は、ＢＰＦ２２を介してステレオ化処理部３１に供給されると共に、ＢＥＦ２３及び遅延補正部２４を介してゲイン変換部２５に供給される。
【００３９】
今、Ａ／Ｄ変換器１１及び２１におけるＡ／Ｄ変換のサンプリング周波数は、４８ｋＨｚ（キロヘルツ）であるとする。また、Ａ／Ｄ変換器１１から出力されるデジタル音声信号及びＡ／Ｄ変換器２１から出力されるデジタル音声信号を、以下、それぞれ第１デジタル音声信号及び第２デジタル音声信号という。
【００４０】
本実施例（及び後述する他の各実施例）では、３００Ｈｚより小さい帯域の周波数成分を低域周波数成分として取り扱い、１０ｋＨｚより大きい帯域の周波数成分を高域周波数成分として取り扱う。そして、３００Ｈｚ以上であって且つ１０ｋＨｚ以下の範囲内の帯域の周波数成分を中域周波数成分として取り扱う。３００Ｈｚより小さい帯域、３００Ｈｚ〜１０ｋＨｚの帯域及び１０ｋＨｚより大きい帯域を、夫々、低域、中域及び高域と呼ぶこともある。
【００４１】
ＢＰＦ１２及び２２は、自身に対する入力信号の中域周波数成分を通過させる帯域通過フィルタである。ＢＰＦ１２及び２２によって、それらを通過しようとする信号の低域及び高域周波数成分は除去される。ＢＥＦ１３及び２３は、自身に対する入力信号の中域周波数成分の通過を阻止する帯域阻止フィルタである。ＢＥＦ１３及び２３に対する入力信号の低域及び高域周波数成分は、そのままＢＥＦ１３及び２３を通過する。尚、周波数成分に関する「除去」とは「完全な除去」を意味するものではなく、それは「減衰」と読み替えることができる。例えば、本明細書において、「高域周波数成分を除去する」と「高域周波数成分を減衰させる」は同義である。
【００４２】
従って、ＢＰＦ１２は、低域及び高域周波数成分が除去された第１デジタル音声信号を出力する。同様に、ＢＰＦ２２は、低域及び高域周波数成分が除去された第２デジタル音声信号を出力する。中域周波数成分を含む、ＢＰＦ１２及びＢＰＦ２２の各出力信号は、ステレオ化処理部３１に与えられる。
【００４３】
また、ＢＥＦ１３は、中域周波数成分が除去された第１デジタル音声信号を出力する（第１デジタル音声信号の低域及び高域周波数成分はＢＥＦ１３を通過する）。ＢＥＦ１３の出力信号は、遅延補正部１４を介してゲイン変換部１５に与えられる。また、ＢＥＦ２３は、中域周波数成分が除去された第２デジタル音声信号を出力する（第２デジタル音声信号の低域及び高域周波数成分はＢＥＦ２３を通過する）。ＢＥＦ２３の出力信号は、遅延補正部２４を介してゲイン変換部２５に与えられる。
【００４４】
ステレオ化処理部３１は、低域及び高域周波数成分が除去された第１及び第２デジタル音声信号に対してステレオ化処理を行う。このステレオ化処理によって、左チャンネル信号に対応する信号Ｓ_Ｌ及び右チャンネル信号に対応する信号Ｓ_Ｒが得られる。Ａ／Ｄ変換のサンプリング周波数は４８ｋＨｚであるが、ＢＰＦ１２及び２２により１０ｋＨｚ以下の信号がステレオ化処理部３１に入力されることになるため、１／２のダウンサンプリングを行った後にステレオ化処理を行う。
【００４５】
従来技術の説明でも述べたように、携帯型のデジタルビデオカメラなどでは筐体サイズの制約から複数のマイクロホンが近接して配置される。この場合、通常のステレオ化処理だけで、低域及び高域周波数成分において有意な指向性を得ることは困難である。そこで、ステレオ化処理部３１では、信号処理によって有効に指向性を持たせることのできる中域周波数成分に対してステレオ化処理を行う。
【００４６】
ステレオ化処理部３１の内部ブロックの例を図６に示す。図６のステレオ化処理部３１は、符号２０１〜２１０で参照される各部位を含む。ダウンサンプリング部２０１は、ＢＰＦ１２からの、低域及び高域周波数成分が除去された第１デジタル音声信号を２４ｋＨｚのサンプリング周波数で再サンプリングして、そのサンプリング値をＦＩＲ(Finite Impulse Response)フィルタ２０３及び２０４に送る。ダウンサンプリング部２０２は、ＢＰＦ２２からの、低域及び高域周波数成分が除去された第２デジタル音声信号を２４ｋＨｚのサンプリング周波数で再サンプリングして、そのサンプリング値をＦＩＲフィルタ２０５及び２０６に送る。
【００４７】
ＦＩＲフィルタ２０３と２０５の各出力値は加算器２０７にて加算され、それによって得られた加算値は、順次、アップサンプリング部２０９に与えられる。アップサンプリング部２０９は、加算器２０７から順次与えられる加算値を４８ｋＨｚのサンプリング周波数で再サンプリングして、そのサンプリング値を信号Ｓ_Ｌとして出力する。ＦＩＲフィルタ２０４と２０６の各出力値は加算器２０８にて加算され、それによって得られた加算値は、順次、アップサンプリング部２１０に与えられる。アップサンプリング部２１０は、加算器２０８から順次与えられる加算値を４８ｋＨｚのサンプリング周波数で再サンプリングして、そのサンプリング値を信号Ｓ_Ｒとして出力する。
【００４８】
ＦＩＲフィルタ２０３〜２０６のタップ数は、夫々１２８である。ＦＩＲフィルタ２０３〜２０６は、２次元ファンフィルタを形成している。信号Ｓ_Ｌが左斜め前方４５°の方向に指向軸を有するように（即ち、信号Ｓ_Ｌのポーラパターンが図４（ｂ）の曲線３０１となるように）、且つ、信号Ｓ_Ｒが右斜め前方４５°の方向に指向軸を有するように（即ち、信号Ｓ_Ｒのポーラパターンが図４（ａ）の曲線３００となるように）、ＦＩＲフィルタ２０３〜２０６を設計する。換言すれば、左斜め前方４５°の方向から左側マイク１０及び右側マイク２０に到来する音の成分が信号Ｓ_Ｌにおいて強調されるように、且つ、右斜め前方４５°の方向から左側マイク１０及び右側マイク２０に到来する音の成分が信号Ｓ_Ｒにおいて強調されるように、ＦＩＲフィルタ２０３〜２０６を設計する。上記のような信号Ｓ_Ｌ及びＳ_Ｒを生成するためのＦＩＲフィルタの設計法は周知であるため、それの詳細な説明を割愛する。
【００４９】
また、上述したような減算型ステレオ化処理を用いて、或いは、上記特許文献１に記載の加算型ステレオ化処理を用いて、或いは、上記特許文献１に記載の減算型ステレオ化処理と加算型ステレオ化処理を組み合わせた処理を用いて、信号Ｓ_Ｌ及びＳ_ＲをＢＰＦ１２及び２２の出力信号から生成するようにしてもよい。
【００５０】
或る時刻ｔにおける信号Ｓ_Ｌのレベル及び信号Ｓ_Ｒのレベルを夫々Ｓ_Ｌt及びＳ_Ｒtにて表す。本実施例及び後述する他の各実施例において、信号のレベルとは、その信号の値を表している。各信号は、ゼロを基準として正又は負の値をとる。仮に、左側マイク１０及び右側マイク２０にて集音される音の大きさがゼロである場合、左側マイク１０及び右側マイク２０の出力信号の各レベルはゼロとなり、第１及び第２デジタル音声信号の各レベル及び信号Ｓ_Ｌ及び信号Ｓ_Ｒの各レベルもゼロとなる（但し、オフセットやノイズ成分を無視）。左側マイク１０及び右側マイク２０に対して音が入力されると、左側マイク１０及び右側マイク２０の出力信号の各レベルは正と負の間で振動し、第１及び第２デジタル音声信号の各レベル及び信号Ｓ_Ｌ及び信号Ｓ_Ｒの各レベルも正と負の間で振動する。
【００５１】
図５のレベル評価値算出部１７は、信号Ｓ_Ｌに基づき下記式（１ａ）に従ってレベル評価値Ｅ_Ｌtを算出する。同様に、レベル評価値算出部２７は、信号Ｓ_Ｒに基づき下記式（１ｂ）に従ってレベル評価値Ｅ_Ｒtを算出する。Ｅ_Ｌt-1は、レベル評価値算出部１７が前回に算出したレベル評価値であり、Ｅ_Ｒt-1は、レベル評価値算出部２７が前回に算出したレベル評価値である。時刻（ｔ−１）と時刻ｔとの間の期間長さは、４８ｋＨｚの逆数である。また、αは所定の係数であり、例えばα＝０．９とされる。また、｜Ｓ_Ｌt｜及び｜Ｓ_Ｒt｜は、夫々、Ｓ_Ｌt及びＳ_Ｒtの絶対値を表す。
【００５２】
【数１】
2008236287.tif 000003
【００５３】
低域／高域レベル補正用ゲイン決定部３２は、順次算出されるレベル評価値に基づき、下記式（２ａ）及び（２ｂ）に従ってゲインＧ_Ｌt及びＧ_Ｒtを算出する。ゲインＧ_Ｌt及びＧ_Ｒtは、時刻ｔに対応するゲインを表している。算出された各ゲインは、順次、ゲイン変換部１５及び２５に与えられる。
【００５４】
【数２】
2008236287.tif 000004
【００５５】
ゲイン変換部１５及び２５はゲイン可変型の乗算器である。ゲイン変換部１５は、時刻ｔに対応するＢＥＦ１３の出力信号の値に対してゲインＧ_Ｌtを乗じ、その積を加算器１６に出力する。加算器１６は、Ｓ_Ｌtと時刻ｔに対応するゲイン変換部１５の出力値とを合成し（足し合わせ）、この合成によって得られた信号値を、順次、音声符号化回路３３に出力する。同様に、ゲイン変換部２５は、時刻ｔに対応するＢＥＦ２３の出力信号の値に対してゲインＧ_Ｒtを乗じ、その積を加算器２６に出力する。加算器２６は、Ｓ_Ｒtと時刻ｔに対応するゲイン変換部２５の出力値とを合成し（足し合わせ）、この合成によって得られた信号値を、順次、音声符号化回路３３に出力する。
【００５６】
遅延補正部１４は、加算器１６にて上述の合成が可能となるように、ＢＥＦ１３からゲイン変換部１５に向かう信号を遅延させる。遅延補正部２４は、加算器２６にて上述の合成が可能となるように、ＢＥＦ２３からゲイン変換部２５に向かう信号を遅延させる。
【００５７】
つまり、遅延補正部１４は、ＢＰＦ１２及びステレオ化処理部３１を介して加算器１６に至る信号の時間遅延量と、ＢＥＦ１３、遅延補正部１４及びゲイン変換部１５を介して加算器１６に至る信号の時間遅延量とが一致するように、ＢＥＦ１３からゲイン変換部１５に向かう信号を遅延させる。同様に、遅延補正部２４は、ＢＰＦ２２及びステレオ化処理部３１を介して加算器２６に至る信号の時間遅延量と、ＢＥＦ２３、遅延補正部２４及びゲイン変換部２５を介して加算器２６に至る信号の時間遅延量とが一致するように、ＢＥＦ２３からゲイン変換部２５に向かう信号を遅延させる。
【００５８】
音声符号化回路３３は、加算器１６の出力信号及び加算器２６の出力信号を、夫々、ステレオ信号を形成する左チャンネル信号及び右チャンネル信号として取り扱い、その左チャンネル信号及び右チャンネル信号を、ＡＡＣ(Advanced Audio Coding)等の所定の音声圧縮方式（符号化方式）に従って符号化音声信号に変換する。符号化音声信号は、図２の記録媒体５に記録される。ＡＡＣは、ＭＰＥＧ（Moving Picture Experts Group）において規格化された音声圧縮方式である。
【００５９】
このように、音声信号をステレオ化処理が有効に作用する中域周波数成分とそうでない低域及び高域周波数成分とに分類し、中域周波数成分に対してステレオ化処理を行う一方で、ステレオ化処理後の中域周波数成分のレベルに応じて低域及び高域周波数成分のレベルを補正する。この結果、生成されるステレオ信号において、低域及び高域の音源の方向は、中域の音源の方向に追従するようになる。
【００６０】
低域だけ或いは高域だけを含む音は自然界には少なく、通常、自然界の音は中域周波数成分を含んでいる。従って、低域及び高域の音源の方向（音像位置）を中域の音源の方向に追従させても、再生時に違和感は殆ど生じない。そして、そのような追従が行われることにより、再生時において、低域及び高域でも優れたステレオ感が得られ、迫力ある臨場感を得ることが可能となる。また、従来技術では高域でのステレオ感に対して製品ばらつきが大きく影響していたが、この影響も抑制されることになる。
【００６１】
また、低域をステレオ化しようとすると、通常、ステレオ化処理量が増大する。例えば、図６の例のようにＦＩＲフィルタにて低域のステレオ化を図る場合、かなり過去のデータをも参照する必要が生じてＦＩＲフィルタのタップ数が増大してしまう（低域周波数成分は、近くのタップ間で殆ど差が生じないため）。一方、図５のように音声信号処理部を構成した場合、中域に対してのみステレオ化処理を行えばよいことになるため、ステレオ化処理量（回路規模）を削減することが可能となる。
【００６２】
更に、ＢＰＦ１２及び２２を設けてステレオ化処理部３１に入力する信号の周波数を１０ｋＨｚ以下に限定しているため、ダウンサンプリング処理が可能となり、この結果、処理量を更に削減することが可能となる。図６の例では、１／２のダウンサンプリングによって処理量が１／２に削減されている。処理量の削減は、処理負担の低減、ひいては低コスト化等に寄与する。
【００６３】
図５の音声信号処理部に対して様々な変更を施すことも可能である。例として、以下に、第１〜第４変形例を示す。図７、図８、図９及び図１０は、夫々、第１、第２、第３、第４変形例に係る音声信号処理部の内部ブロック図である。第１〜第４変形例に係る各音声信号処理部を、図２の音声信号処理部４として利用することが可能である。第１〜第４変形例に係る各音声信号処理部は、図５の音声信号処理部と類似しているため、前者と後者の間の相違点に着目して各変形例を説明する。
【００６４】
［第１変形例］
まず第１変形例を説明する（図７参照）。携帯型のデジタルビデオカメラなどでは、筐体サイズの制約から２つのマイクロホンを近接して配置する必要がある。この場合、特に低音に関しては、２つのマイクロンホンで検出した信号間において殆ど差異がない。このため、図７に示すように、各マイクロホンの出力信号を加算してモノラル化してからレベル補正処理を行うようにしても良い。
【００６５】
つまり、図７に示す如く、Ａ／Ｄ変換器１１及び２１からの第１及び第２デジタル音声信号を加算器４０にて加算することによって得られるモノラル信号を、ＢＥＦ１３及び遅延補正部１４を介してゲイン変換部１５及び２５の双方に供給するようにする。
【００６６】
この場合、ゲイン変換部１５は、時刻ｔに対応するＢＥＦ１３の出力信号の値に対してゲインＧ_Ｌtを乗じ、その積を加算器１６に出力する。加算器１６は、Ｓ_Ｌtと時刻ｔに対応するゲイン変換部１５の出力値とを合成し（足し合わせ）、この合成によって得られた信号値を、順次、音声符号化回路３３に出力する。一方、ゲイン変換部２５は、時刻ｔに対応するＢＥＦ１３の出力信号の値に対してゲインＧ_Ｒtを乗じ、その積を加算器２６に出力する。加算器２６は、Ｓ_Ｒtと時刻ｔに対応するゲイン変換部２５の出力値とを合成し（足し合わせ）、この合成によって得られた信号値を、順次、音声符号化回路３３に出力する。遅延補正部１４は、加算器１６及び２６にて上述の合成が可能となるように、ＢＥＦ１３からゲイン変換部１５及び２５に向かう信号を遅延させる。
【００６７】
［第２変形例］
また、図７に対応する第１変形例では、低域周波数成分と高域周波数成分に対し同一のゲインを用いてレベル補正を行っているが、図８に示す如く、別個のゲインを用いてそれらのレベル補正を行うようにしても良い。これを第２変形例とする。
【００６８】
第２変形例では、Ａ／Ｄ変換器１１及び２１からの第１及び第２デジタル音声信号を加算器４０にて加算することによって得られるモノラル信号を、ローパスフィルタ（以下、ＬＰＦという）４１及び遅延補正部４３を介してゲイン変換部５１及び５２に供給する一方、そのモノラル信号をハイパスフィルタ（以下、ＨＰＦという）４２及び遅延補正部４４を介してゲイン変換部５３及び５４に供給する。
【００６９】
ＬＰＦ４１は、低域周波数成分を通過させる一方、自身を通過しようとする信号の中域及び高域周波数成分を除去する。このため、ＬＰＦ４１からは、低域周波数成分を含み且つ中域及び高域周波数成分が除去されたモノラル信号が出力される。ＨＰＦ４２は、高域周波数成分を通過させる一方、自身を通過しようとする信号の低域及び中域周波数成分を除去する。このため、ＨＰＦ４２からは、高域周波数成分を含み且つ低域及び中域周波数成分が除去されたモノラル信号が出力される。
【００７０】
ゲイン変換部５１は、時刻ｔに対応するＬＰＦ４１の出力信号の値に対してゲイン（ｋA1×Ｇ_Ｌt）を乗じ、その積を加算器６１に出力する。
ゲイン変換部５２は、時刻ｔに対応するＬＰＦ４１の出力信号の値に対してゲイン（ｋB1×Ｇ_Ｒt）を乗じ、その積を加算器６２に出力する。
ゲイン変換部５３は、時刻ｔに対応するＨＰＦ４２の出力信号の値に対してゲイン（ｋA2×Ｇ_Ｌt）を乗じ、その積を加算器６３に出力する。
ゲイン変換部５４は、時刻ｔに対応するＨＰＦ４２の出力信号の値に対してゲイン（ｋB2×Ｇ_Ｒt）を乗じ、その積を加算器６４に出力する。
ここで、ｋA1、ｋB1、ｋA2及びｋB2は、所定の係数であり、それらの係数は互いに異なっていてもいいし、それらの係数の内の全部又は一部が一致していても良い。典型的には例えば、ｋA1＝ｋB1≠ｋA2＝ｋB2、とする。
【００７１】
加算器６１及び６３は、Ｓ_Ｌtと時刻ｔに対応するゲイン変換部５１及び５３の各出力値とを合成し（足し合わせ）、この合成によって得られた信号値を、順次、音声符号化回路３３に出力する。加算器６２及び６４は、Ｓ_Ｒtと時刻ｔに対応するゲイン変換部５２及び５４の各出力値とを合成し（足し合わせ）、この合成によって得られた信号値を、順次、音声符号化回路３３に出力する。音声符号化回路３３は、上記の合成後の各信号、即ち、加算器６３の出力信号及び加算器６４の出力信号を、夫々、ステレオ信号を形成する左チャンネル信号及び右チャンネル信号として取り扱って、それを符号化音声信号に変換する。遅延補正部４３及び４４は、加算器６１〜６４にて上述の合成が可能となるように、ＬＰＦ４１からゲイン変換部５１及び５２に向かう信号及びＨＰＦ４２からゲイン変換部５３及び５４に向かう信号を遅延させる。
【００７２】
［第３変形例］
また、図５の音声信号処理部では、低域及び高域周波数成分を除去するためのＢＰＦをステレオ化処理部の前段に設けているが、図９に示す如く、ＢＰＦをステレオ化処理部の後段に設けることも可能である。これを第３変形例とする。
【００７３】
但し、この場合、ステレオ化処理部においてダウンサンプリングを行わないようにする。つまり、図９に示す如く、図５のステレオ化処理部３１を、ダウンサンプリング処理を含まないステレオ化処理部３１ａに置き換える。
【００７４】
第３変形例では、Ａ／Ｄ変換器１１及び２１からの第１及び第２デジタル音声信号をそのままステレオ化処理部３１ａに与える。ステレオ化処理部３１ａでは、ダウンサンプリング及びそれに伴うアップサンプリングを行うことなく、第１及び第２デジタル音声信号から左斜め前方４５°の方向に指向軸を有する左指向性信号と右斜め前方４５°の方向に指向軸を有する右指向性信号を生成する。そして、その左指向性信号からＢＰＦ１２にて低域及び高域周波数成分を除去した信号を信号Ｓ_Ｌとして取り扱い、右指向性信号からＢＰＦ２２にて低域及び高域周波数成分を除去した信号を信号Ｓ_Ｒとして取り扱うようにする。
【００７５】
ステレオ化処理部３１ａは、例えば、図６のステレオ化処理部３１からダウンサンプリング部２０１及び２０２及びアップサンプリング部２０９及び２１０を除去した構成とすればよい。低域及び高域周波数成分もステレオ化処理部３１ａに入力されることになるが、ステレオ化処理部３１ａにて中域周波数成分のみがステレオ化されるようにすれば足る。勿論、減算型ステレオ化処理、加算型ステレオ化処理又はそれらを組み合わせた処理をステレオ化処理部３１ａにて実現し、それによって上述の左指向性信号及び右指向性信号を生成するようにしても良い。
【００７６】
［第４変形例］
図９の音声信号処理部では、ＢＥＦ１３及び２３の入力信号が夫々Ａ／Ｄ変換器１１及び２１の出力信号となっているが、ＢＰＦ１２及び２２をステレオ化処理部３１ａの後段に配置する場合は、図１０に示す如く、ＢＥＦ１３及び２３の入力信号を夫々ＢＰＦ１２及び２２の入力信号（即ち、ステレオ化処理部３１ａからの上記左指向性信号及び右指向性信号）とすることも可能である。これを第４変形例とする。ＢＥＦ１３及び２３の入力信号が異なる点を除いて、第３変形例に係る図９の音声信号処理部と第４変形例に係る図１０の音声信号処理部は同様である。
【００７７】
尚、第１又は第２変形例に記載した内容を第３又は第４変形例に適用することも可能である。例えば、第１変形例（図７）に記載した内容を第４変形例（図１０）に適用した場合、図２の音声信号処理部４として利用可能な音声信号処理部の内部ブロックは図１１のようになる。図１１の音声信号処理部では、ＢＰＦ１２及び２２の入力信号（即ち、ステレオ化処理部３１ａからの上記左指向性信号及び右指向性信号）を加算器４０にて加算することによって得られるモノラル信号を、ＢＥＦ１３及び遅延補正部１４を介してゲイン変換部１５及び２５の双方に供給するようにする。図１１の音声信号処理部における遅延補正部１４、ゲイン変換部１５及び２５並びに加算器１６及び２６の各機能は、第１変形例に係る図７のそれらと同様である。
【００７８】
図７〜図１１のように音声信号処理部を形成しても、図５のそれと同様の効果を得ることが可能である。但し、図９〜図１１のように音声信号処理部を形成した場合は、ステレオ化処理部にてダウンサンプリングを行うことができない。従って、その場合は、ダウンサンプリングに対応する効果を得ることはできない。
【００７９】
＜＜第２実施例＞＞
次に、本発明の第２実施例について説明する。第２実施例は、左側マイク１０及び右側マイク２０が指向性マイクロホンである場合を想定している。例えば、指向性マイクロホンとして単一指向性マイクロホンを採用する。そして、左側マイク１０は左斜め前方４５°の方向に指向軸を有するように（即ち、左側マイク１０のポーラパターンが図４（ｂ）の曲線３０１となるように）撮像装置１の筐体に配置され、右側マイク２０は右斜め前方４５°の方向に指向軸を有するように（即ち、右側マイク２０のポーラパターンが図４（ａ）の曲線３００となるように）撮像装置１の筐体に配置される。
【００８０】
図１２は、第２実施例に係る音声信号処理部の内部ブロック図である。図１２の音声信号処理部は、符号１１〜１７、２１〜２７並びに３２及び３３にて参照される各部位を備えている。即ち、第２実施例では、左側マイク１０及び右側マイク２０の出力信号が既に指向性を有しているため、ステレオ化処理部が省略される。ステレオ化処理部が省略されている点を除いて、第２実施例に係る音声信号処理部は、第１実施例に係るそれと同様である。
【００８１】
即ち、左側マイク１０からの指向性を有したアナログ音声信号をＡ／Ｄ変換器１１にてＡ／Ｄ変換することにより第１デジタル音声信号を生成し、この第１デジタル音声信号をＢＰＦ１２を介して加算器１６及びレベル評価値算出部１７に供給する。ＢＰＦ１２の出力信号は、低域及び高域周波数成分が除去された第１デジタル音声信号である。第２実施例では、ＢＰＦ１２の出力信号が上述の信号Ｓ_Ｌとして取り扱われる。信号Ｓ_Ｌは、加算器１６及びレベル評価値算出部１７に与えられる。
【００８２】
同様に、右側マイク２０からの指向性を有したアナログ音声信号をＡ／Ｄ変換器２１にてＡ／Ｄ変換することにより第２デジタル音声信号を生成し、この第２デジタル音声信号をＢＰＦ２２を介して加算器２６及びレベル評価値算出部２７に供給する。ＢＰＦ２２の出力信号は、低域及び高域周波数成分が除去された第２デジタル音声信号である。第２実施例では、ＢＰＦ２２の出力信号が上述の信号Ｓ_Ｒとして取り扱われる。信号Ｓ_Ｒは、加算器２６及びレベル評価値算出部２７に与えられる。
【００８３】
符号１３〜１７、２３〜２７並びに３２及び３３にて参照される各部位の動作は、図５のそれらと同様である。
【００８４】
第２実施例のようにしても、第１実施例と同様の効果を得ることができる。また、第１実施例において図５の音声信号処理部を図７又は図８の音声信号処理部に変形したのと同様に、図１２の音声信号処理部を変形することも可能である。つまり、例えば上述の第１変形例を適用し、図１３の如く音声信号処理部を形成する。図１３の音声信号処理部では、Ａ／Ｄ変換器１１及び２１からの第１及び第２デジタル音声信号を加算器４０にて加算することによって得られるモノラル信号が、ＢＥＦ１３及び遅延補正部１４を介してゲイン変換部１５及び２５の双方に供給される。そして、ＢＰＦ１２の出力信号（Ｓ_Ｌ）とゲイン変換部１５の出力信号が合成されて左チャンネル信号が形成され、ＢＰＦ２２の出力信号（Ｓ_Ｒ）とゲイン変換部２５の出力信号が合成されて右チャンネル信号が形成される。
【００８５】
＜＜第３実施例＞＞
次に、本発明の第３実施例について説明する。第３実施例では、音声符号化処理における中間生成データを利用して第１又は第２実施例と同様のレベル補正処理を実現する。第３実施例では、左側マイク１０及び右側マイク２０として、無指向性マイクロホンと指向性マイクロホンの何れをも採用可能である。例として、図１４に、左側マイク１０及び右側マイク２０として無指向性マイクロホンを採用した場合における音声信号処理部の内部ブロック図を示す。左側マイク１０及び右側マイク２０として指向性マイクロホンを採用する場合は、図１４の音声信号処理部からステレオ化処理部３１ａを削除すれば足る。
【００８６】
図１４の音声信号処理部は、符号１１、２１、３１ａ、７２、８２、９２及び１００で参照される各部位を備える。音声符号化処理部１００は、時間軸上に並ぶ離散信号を周波数軸上に変換する時間周波数変換を用いて、音声信号の符号化処理を行う。具体的には、音声符号化処理部１００は、符号７０、７１、８１、８３、９１及び９３で参照される各部位を含み、時間周波数変換として修正離散コサイン変換(modified discrete cosine transform；ＭＤＣＴ)を用いる。また、音声符号化処理部１００は、ＡＡＣ（ＭＰＥＧ−ＡＡＣ）に従う符号化処理を行う。
【００８７】
図１４の音声信号処理部の各部位の動作を説明する。まず、左側マイク１０及び右側マイク２０の各出力信号をＡ／Ｄ変換することによって、Ａ／Ｄ変換器１１及び２１から第１及び第２デジタル音声信号が出力される。ステレオ化処理部３１ａは、図９に示すそれと同様、第１及び第２デジタル音声信号から左斜め前方４５°の方向に指向軸を有する左指向性信号と右斜め前方４５°の方向に指向軸を有する右指向性信号を生成する。
【００８８】
ステレオ化処理部３１ａから出力される左指向性信号及び右指向性信号の夫々は、時間軸上の離散信号（時間領域における離散信号）であり、それらは、順次、符号化前処理部７０に入力される。
【００８９】
符号化前処理部７０は、左指向性信号及び右指向性信号の夫々を符号後の処理単位であるフレームに分割してからＭＤＣＴ処理部８１及び９２に出力する。１つのフレームには、１つ以上のブロックが含まれるが、今、１つのフレームが１つのブロックから形成されるものとする。フレームの番号（即ち、ブロックの番号）をｍで表し、各フレームを第ｍのフレームと表現する。ｍは、０以上の整数値をとる。図１５に、各フレームの関係を示す。第０のフレーム、第１のフレーム、第２のフレーム、・・・、の順番で時間が進行する。各ブロックは、直前のブロックとの間でブロックの半分の長さの重複部分を有する。今の例の場合、１つのフレームが１つのブロックから形成されるため、各フレームも、直前のフレームとの間で１フレームの半分の長さの重複部分を有する。
【００９０】
１つのブロックの長さをＮで表す。ＡＡＣに従う符号化処理において、Ｎ＝２０４８又はＮ＝２５６となるが、説明の具体化のため、以下、Ｎ＝２０４８であるものとする。そうすると、符号化前処理部７０に与えられた、第ｍのフレームにおける左指向性信号及び右指向性信号の各信号値を夫々Ｓ_ＬN×0.5m+n及びＳ_ＲN×0.5m+nにて表すことができる。ここで、ｎは、０≦ｎ≦（Ｎ−１）、を満たす各整数値をとる。
【００９１】
ＭＤＣＴ処理部８１及び９１は、夫々、Ｓ_ＬN×0.5m+n及びＳ_ＲN×0.5m+nに対して窓関数Ｗnを乗じることにより、下記式（３ａ）及び（３ｂ）の如く、Ｚ_ＬN×0.5m+n及びＺ_ＲN×0.5m+nを算出する。
【００９２】
【数３】
2008236287.tif 000005
【００９３】
そして、ＭＤＣＴ処理部８１及び９１は、窓関数Ｗnによって切り出されたＺ_ＬN×0.5m+n及びＺ_ＲN×0.5m+nに対して修正離散コサイン変換を行うことにより、左指向性信号及び右指向性信号の周波数スペクトルを表すＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kを算出する。ＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kは、下記式（４ａ）及び（４ｂ）に従って算出される。ＭＤＣＴ係数Ｘ_Ｌm,kは、左指向性信号の、第ｍのフレームにおける周波数番号ｋの周波数成分の信号強度を表す。ＭＤＣＴ係数Ｘ_Ｒm,kは、右指向性信号の、第ｍのフレームにおける周波数番号ｋの周波数成分の信号強度を表す。ｋは、０〜（Ｎ／２−１）の範囲内の整数値をとる。今の例の場合、Ｎ＝２０４８であるため、ｋは０以上且つ１０２３以下の各整数値をとる。
【００９４】
【数４】
2008236287.tif 000006
【００９５】
今の例の場合、Ａ／Ｄ変換器１１及び２１のサンプリング周波数は４８ｋＨｚであり、これに対応して、離散信号Ｓ_ＬN×0.5m+n及びＳ_ＲN×0.5m+nのサンプリング周波数も４８ｋＨｚとなっている。そして、Ｎ＝２０４８であるから、ＭＤＣＴ処理部８１及び９１にて得られる周波数スペクトルの周波数間隔、即ち、周波数番号（ｋ−１）とｋの間の周波数間隔は約２３Ｈｚである。従って、中域の下限周波数である３００Ｈｚはｋ＝１３に対応し、中域の上限周波数である１０ｋＨｚはｋ＝４３５に対応することになる。
【００９６】
レベル評価値算出部８２及び９２は、ＭＤＣＴ処理部８１及び９１にて算出されたＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kに基づき、下記式（５ａ）及び（５ｂ）に従って、第ｍのフレームに対するレベル評価値Ｅ_Ｌm及びＥ_Ｒmを算出する。αは所定の係数であり、例えばα＝０．９とされる。
【００９７】
【数５】
2008236287.tif 000007
【００９８】
低域／高域ＭＤＣＴ係数補正量決定部７２は、順次算出されるレベル評価値に基づき、下記式（６ａ）及び（６ｂ）に従ってゲインＧ_Ｌm及びＧ_Ｒmを算出する。ゲインＧ_Ｌm及びＧ_Ｒmは、第ｍのフレームの低域及び高域周波数成分に対するゲインを表している。算出された各ゲインは、順次、ＭＤＣＴ係数補正部８３及び９３に与えられる。
【００９９】
【数６】
2008236287.tif 000008
【０１００】
ＭＤＣＴ係数補正部８３及び９３は、ＭＤＣＴ処理部８１及び９１にて算出されたＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kの内、０≦ｋ≦１２又は４３６≦ｋ≦１０２３を満たすＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kのみをゲインＧ_Ｌm及びＧ_Ｒmを用いて補正する。具体的には、下記式（７ａ）に示す如く、０≦ｋ≦１２又は４３６≦ｋ≦１０２３を満たすＭＤＣＴ係数Ｘ_Ｌm,kに対してゲインＧ_Ｌmを乗じ、その積を新たにＸ_Ｌm,kに代入する。同様に、下記式（７ｂ）に示す如く、０≦ｋ≦１２又は４３６≦ｋ≦１０２３を満たすＭＤＣＴ係数Ｘ_Ｒm,kに対してゲインＧ_Ｒmを乗じ、その積を新たにＸ_Ｒm,kに代入する。
【０１０１】
【数７】
2008236287.tif 000009
【０１０２】
ＭＤＣＴ係数補正部８３及び９３による補正後のＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,k（但し、0≦k≦12又は436≦k≦1023）は、符号化後処理部７１に入力される。ＭＤＣＴ係数補正部８３及び９３による補正の対象とならない、１３≦ｋ≦４３５を満たすＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kは、ＭＤＣＴ係数処理部８１及び９１からそのまま符号化後処理部７１に入力される。
【０１０３】
符号化後処理部７１に対して入力されたＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kは、夫々、図１４の音声信号処理部にて生成されるべきステレオ信号の左チャンネル信号及び右チャンネル信号の周波数スペクトルを表す。符号化後処理部７１は、各周波数スペクトル（Ｘ_Ｌm,k及びＸ_Ｒm,k）を、ＡＡＣの符号化方式に従って量子化することにより、符号化音声信号としてのビットストリームに変換する。この符号化音声信号（ビットストリーム）は、図２の記録媒体５に記録される。
【０１０４】
尚、0≦k≦12又は436≦k≦1023の範囲内のＭＤＣＴ係数の全てを一律に上記（７ａ）及び（７ｂ）にて補正するのではなく、第１実施例において図８を参照して説明したように、0≦k≦12の範囲内のＭＤＣＴ係数と436≦k≦1023の範囲内のＭＤＣＴ係数を別個独立に補正するようにしてもよい。
【０１０５】
本実施例では、ステレオ化処理によって得られた時間軸上の離散信号（左指向性信号及び右指向性信号）を周波数軸上に変換し、周波数軸上の信号（即ち、周波数スペクトル）から中域周波数成分のレベルを評価する。そして、そのレベルに応じて、周波数スペクトルの低域及び高域周波数成分のレベル（スペクトル強度）を補正する。補正後の各周波数スペクトルは、図１４の音声信号処理部にて生成されるべき周波数軸上のステレオ信号を表している。
【０１０６】
このため、符号化音声信号にて表されるステレオ信号において、第１実施例と同様、低域及び高域の音源の方向は、中域の音源の方向に追従するようになる。結果、再生時において、低域及び高域でも優れたステレオ感が得られ、迫力ある臨場感を得ることが可能となる。また、従来技術では高域でのステレオ感に対して製品ばらつきが大きく影響していたが、この影響も抑制されることになる。
【０１０７】
また、音声符号化処理における中間生成データを利用してレベル補正処理を行うため、レベル補正処理を行うための処理増加量は少なくても済む。例えば、音声符号化処理部として撮像装置１等にＡＡＣエンコーダが設けられることが多いが、このＡＡＣエンコーダの中間生成データを利用し、簡素な処理量にてレベル補正処理を行うことが可能である。
【０１０８】
図１４の音声符号化処理部１００に組み込むことが可能なＡＡＣエンコーダ１１０の内部ブロック図を、図１６に示す。ＡＡＣエンコーダ１１０内の各部位の動作は、ＡＡＣの規格に従うものであるため説明を割愛する。ＡＡＣエンコーダ１１０内に設けられたフィルタバンク１１１が、修正離散コサイン変換を行う部分であり、図１４のＭＤＣＴ処理部８１及び９１に相当することになる。
【０１０９】
ＡＡＣエンコーダ１１０を図１４の音声符号化処理部１００に組み込む場合、フィルタバンク１１１にて一旦算出された上述のＭＤＣＴ係数Ｘ_Ｌm,k及びＸ_Ｒm,kをＭＤＣＴ係数補正部８３及び９３にて補正し、その補正後のＭＤＣＴ係数を、フィルタバンク１１１の出力信号を必要とする部位（ＴＮＳ（Temporal Noise Shaping）及びビットストリームマルチプレクサ）に供給するようにする。この補正を介してＡＡＣエンコーダ１１０から出力されるビットストリームが、図１４の符号化後処理部７１の出力信号に相当する。
【０１１０】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１１】
［注釈１］
携帯型のデジタルビデオカメラ等に設けられた複数のマイクロホンの出力信号からステレオ信号を生成する場合において、低域及び高域に対する指向性制御が困難であることに鑑み、上述の各実施例では低域と高域の双方のレベルを補正するようにしているが、低域のみ、或いは、高域のみをレベル補正するようにしても構わない。その場合、図５等における各フィルタ（ＢＰＦ１２等）の通過帯域及び遮断帯域は、適宜、変更される。
【０１１２】
［注釈２］
上述の各音声信号処理部が設けられる装置として、図１の撮像装置１を例示したが、上述の各音声信号処理部を、様々な他の録音装置に設けることが可能である。装置の筐体サイズの制約が厳しい場合に低域及び高域の指向性制御に対する困難性が顕著となるため、特に、上述の各音声信号処理部は、ＩＣレコーダ等の携帯型録音装置に適している。この携帯型録音装置には、図２に示される左側マイク１０、右側マイク２０、音声信号処理部４及び記録媒体５が設けられることになる。
【０１１３】
上述の各実施例では、左側マイク１０及び右側マイク２０から出力される信号に対してリアルタイムに信号処理を施して符号化音声信号を生成しているが、レベル補正処理を施してステレオ信号を生成するタイミングは任意である。例えば、左側マイク１０及び右側マイク２０の出力信号そのもの、或いは、Ａ／Ｄ変換器１１及び２１の出力信号、或いは、Ａ／Ｄ変換器１１及び２１の出力信号に何らかの信号処理（圧縮処理等）を施した信号を、一旦、記録媒体５に生データとして記録しておく。そして、音声再生時などにおいて、その生データから左側マイク１０及び右側マイク２０の出力信号を再現し、その再現された信号に対して上述の各音声信号処理部による処理を施すことによってレベル補正がなされたステレオ信号（符号化音声信号）を生成するようにしてもよい。
【０１１４】
従って、上記の生データから音声を再生する音声再生装置に上述の各音声信号処理部を搭載することも可能であり、その場合も、各音声信号処理部は有効に機能する。つまり、本発明は、録音装置にも音声再生装置にも適用可能である。
【０１１５】
［注釈３］
説明の簡略化上、マイクロホンの個数を２に限定し、２つのマイクロホンの出力信号からステレオ信号を生成する例を上述したが、本発明において、マイクロホンの個数は２に限定されない。つまり、上述の各実施例に記載した技術を３以上のマイクロホンの出力信号に対して適用し、３以上のマイクロホンの出力信号から３以上のチャンネル信号を有するマルチチャンネル信号を生成することも可能である。マルチチャンネル信号を生成する場合も、上述の各実施例と同様、各マイクロホンの出力に基づく音声信号を中域と低域及び高域とに分類し、中域のレベルに応じて低域及び高域のレベルを補正すればよい。
【０１１６】
［注釈４］
図５、図７〜図１４に示される各音声信号処理部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて各音声信号処理部を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０１１７】
また、図５、図７〜図１４の各音声信号処理部にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１１８】
［注釈５］
例えば、以下のように考えることができる。図５、図７〜図１４の各音声信号処理部は、音声信号生成装置として機能する。図５、図７〜図１１及び図１４の各音声信号処理部において、複数の有指向性信号を生成する有指向性信号生成手段は、ステレオ化処理部３１又は３１ａを含んで構成される。また、レベル評価値算出部１７及び２７（又は８２及び９２）はレベル評価手段として機能する。また、図５、図７〜図１３の各音声信号処理部において、低域及び高域周波数成分の補正を行うレベル補正手段は、符号１５等にて参照されるゲイン変換部を含み、更に低域／高域レベル補正用ゲイン決定部３２を含みうる。図１４の音声信号処理部において、低域及び高域周波数成分の補正を行う補正手段は、ＭＤＣＴ係数補正部８３及び９３を含み、更に低域／高域ＭＤＣＴ係数補正量決定部７２を含みうる。
【図面の簡単な説明】
【０１１９】
【図１】本発明の実施形態に係る撮像装置の外観斜視図である。
【図２】図１の撮像装置の電気的構成を表す概略ブロック図である。
【図３】図１の左側マイク及び右側マイクに到来する音のイメージ図である。
【図４】図１の撮像装置にて生成可能な右チャンネル信号のポーラパターン（ａ）及び左チャンネル信号のポーラパターン（ｂ）である。
【図５】本発明の第１実施例に係る音声信号処理部の内部ブロック図である。
【図６】図５のステレオ化処理部の内部ブロック図である。
【図７】第１実施例の第１変形例に係る音声信号処理部の内部ブロック図である。
【図８】第１実施例の第２変形例に係る音声信号処理部の内部ブロック図である。
【図９】第１実施例の第３変形例に係る音声信号処理部の内部ブロック図である。
【図１０】第１実施例の第４変形例に係る音声信号処理部の内部ブロック図である。
【図１１】第１及び第４変形例を組み合わせた場合の、音声信号処理部の内部ブロック図である。
【図１２】本発明の第２実施例に係る音声信号処理部の内部ブロック図である。
【図１３】第２実施例の変形例に係る音声信号処理部の内部ブロック図である。
【図１４】本発明の第３実施例に係る音声信号処理部の内部ブロック図である。
【図１５】本発明の第３実施例に係り、符号後の処理単位である各フレームの関係を示す図である。
【図１６】図１４の音声符号化処理部に組み込むことが可能なＡＡＣエンコーダの内部ブロック図である。
【図１７】従来技術に係り、単一指向性マイクロホンの指向特性例を示すグラフである。
【符号の説明】
【０１２０】
１  撮像装置
１０  左側マイク
２０  右側マイク
１１、２１  Ａ／Ｄ変換器
１２、２２  帯域通過フィルタ
１３、２３  帯域阻止フィルタ
１５、２５  ゲイン変換部
１７、２７  レベル評価値算出部
３１、３１ａ  ステレオ化処理部
３２  低域／高域レベル補正用ゲイン決定部
３３  音声符号化回路
【図１】
2008236287.tif 000010
【図２】
2008236287.tif 000011
【図３】
2008236287.tif 000012
【図４】
2008236287.tif 000013
【図５】
2008236287.tif 000014
【図６】
2008236287.tif 000015
【図７】
2008236287.tif 000016
【図８】
2008236287.tif 000017
【図９】
2008236287.tif 000018
【図１０】
2008236287.tif 000019
【図１１】
2008236287.tif 000020
【図１２】
2008236287.tif 000021
【図１３】
2008236287.tif 000022
【図１４】
2008236287.tif 000023
【図１５】
2008236287.tif 000024
【図１６】
2008236287.tif 000025
【図１７】
2008236287.tif 000026