(57)【要約】【課題】映像の奥行き感に沿った音場感を提供することができるようにする。【解決手段】奥行き情報抽出部２１は、FLch、FCch、FRchの音声信号から、予めコンテンツ作成者などにより多重化されているFLch、FCch、FRchの各奥行き情報を抽出する。奥行き制御処理部２２−１乃至２２−３は、対応するchの音声信号に対して、奥行き情報抽出部２１からの対応するch奥行き情報に基づいて、奥行き制御処理を施す。混合部２３は、各奥行き制御処理部２２−１乃至２２−３からの各スピーカ用出力音声信号を、スピーカ毎に混合し、混合した各スピーカ用出力音声信号を、対応する再生スピーカ２４−１乃至２４−３に出力する。本発明は、例えば、音声信号に対して音像定位処理を行う信号処理装置に適用することができる。【選択図】図１
2011216963.tif 000002
【特許請求の範囲】
【請求項１】
音声信号のチャンネル毎に、周波数帯域毎の音像定位位置を決める情報に基づいて、周波数帯域毎の音声信号に対して音像定位処理を行う音像定位処理手段と、
前記音像定位処理手段により前記音像定位処理が行われた前記チャンネル毎の音声信号を混合する混合手段と
を備える信号処理装置。
【請求項２】
前記音像定位位置を決める情報は、音像定位をさせる所定の位置に対する重みの情報である
請求項１に記載の信号処理装置。
【請求項３】
前記周波数帯域毎の音像定位位置を決める情報を記憶する記憶手段
をさらに備え、
前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記記憶手段に記憶されている前記周波数帯域毎の音像定位位置を決める情報に基づいて、前記周波数帯域毎の音声信号に対して音像定位処理を行う
請求項２に記載の信号処理装置。
【請求項４】
前記音声信号に多重化された前記周波数帯域毎の音像定位位置を決める情報を抽出する抽出手段
をさらに備え、
前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記抽出手段に抽出された前記周波数帯域毎の音像定位位置を決める情報に基づいて、前記周波数帯域毎の音声信号に対して音像定位処理を行う
請求項２に記載の信号処理装置。
【請求項５】
前記音声信号に対応する画像信号における視差情報から、前記周波数帯域毎の音像定位位置を決める情報を分析する分析手段
をさらに備え、
前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記分析手段に分析された前記周波数帯域毎の音像定位位置を決める情報に基づいて、前記周波数帯域毎の音声信号に対して音像定位処理を行う
請求項２に記載の信号処理装置。
【請求項６】
音像定位処理手段と、混合手段とを備える信号処理装置の信号処理方法において、
前記音像定位処理手段が、音声信号のチャンネル毎に、周波数帯域毎の音像定位位置を決める情報に基づいて、周波数帯域毎の音声信号に対して音像定位処理を行い、
前記混合手段が、前記音像定位処理手段により前記音像定位処理が行われた前記チャンネル毎の音声信号を混合する
信号処理方法。
【請求項７】
音声信号のチャンネル毎に、周波数帯域毎の音像定位位置を決める情報に基づいて、周波数帯域毎の音声信号に対して音像定位処理を行う音像定位処理手段と、
前記音像定位処理が行われた前記チャンネル毎の音声信号を混合する混合手段と
してコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および方法、並びにプログラムに関し、特に、映像の奥行き感に沿った音場感を提供することができるようにした信号処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
映像の世界では、いわゆる立体映像が今後、家庭用コンテンツとして普及する可能性が高くなっている。そのような中、映像に付随する音声にも奥行き感を持たせることが期待されている。
【０００３】
また、立体映像の構成要素である右目用、左目用の映像の差分情報から、映像各所の奥行き情報を抽出する試みなどがされている。さらに、コンテンツに奥行き情報を与えるメタ情報をコンテンツ制作者が埋め込むなど、音声情報以外からの奥行き情報を参照することが可能な状況になりつつある（特許文献１参照）。
【０００４】
しかしながら、現状では、このような映像に付随する音声は従来と変わらない5.1chやステレオといったフォーマットであり、その音場イメージも基本的に映像の奥行きや手前への飛び出しを意識していないものが数多くある。これは主に、不特定多数リスナの同時視聴を想定しなければならない劇場用映画などのコンテンツが多いためである。したがって、現状の再生システムでは、音声（映像側にあるもの、例えば、センター音声）に奥行き感を与えることが容易ではなく、結果的に隣り合う再生スピーカを結ぶような位置への音配置にとどめていることにある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−５０４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このようなコンテンツを家庭で再生する場合は、不特定多数リスナの同時視聴のような縛りを考える必要性が少なくなる。したがって、音声に奥行き感を持たせるような後工程により、立体映像と音声との融合性を高めるようにできれば、より作品世界への没頭感が増すものと考えられる。
【０００７】
以上のような状況において、現在、映像に付随する音声にも奥行き感を持たせることが早急に求められている。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、映像の奥行き感に沿った音場感を提供することができるものである。
【課題を解決するための手段】
【０００９】
本発明の一の側面の信号処理装置は、音声信号のチャンネル毎に、周波数帯域毎の音像定位位置を決める情報に基づいて、周波数帯域毎の音声信号に対して音像定位処理を行う音像定位処理手段と、前記音像定位処理手段により前記音像定位処理が行われた前記チャンネル毎の音声信号を混合する混合手段とを備える。
【００１０】
前記音像定位位置を決める情報は、音像定位をさせる所定の位置に対する重みの情報である。
【００１１】
前記周波数帯域毎の音像定位位置を決める情報を記憶する記憶手段をさらに備え、前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記記憶手段に記憶されている前記周波数帯域毎の音像定位位置を決める情報に基づいて、前記周波数帯域毎の音声信号に対して音像定位処理を行うことができる。
【００１２】
前記音声信号に多重化された前記周波数帯域毎の音像定位位置を決める情報を抽出する抽出手段をさらに備え、前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記抽出手段に抽出された前記周波数帯域毎の音像定位位置を決める情報に基づいて、前記周波数帯域毎の音声信号に対して音像定位処理を行うことができる。
【００１３】
前記音声信号に対応する画像信号における視差情報から、前記周波数帯域毎の音像定位位置を決める情報を分析する分析手段をさらに備え、前記音像定位処理手段は、前記音声信号のチャンネル毎に、前記分析手段に分析された前記周波数帯域毎の音像定位位置を決める情報に基づいて、前記周波数帯域毎の音声信号に対して音像定位処理を行うことができる。
【００１４】
本発明の一側面の信号処理方法は、音像定位処理手段と、混合手段とを備える信号処理装置の信号処理方法において、前記音像定位処理手段が、音声信号のチャンネル毎に、周波数帯域毎の音像定位位置を決める情報に基づいて、周波数帯域毎の音声信号に対して音像定位処理を行い、前記混合手段が、前記音像定位処理手段により前記音像定位処理が行われた前記チャンネル毎の音声信号を混合する。
【００１５】
本発明の一側面のプログラムは、音声信号のチャンネル毎に、周波数帯域毎の音像定位位置を決める情報に基づいて、周波数帯域毎の音声信号に対して音像定位処理を行う音像定位処理手段と、前記音像定位処理が行われた前記チャンネル毎の音声信号を混合する混合手段としてコンピュータを機能させる。
【００１６】
本発明の一側面においては、音声信号のチャンネル毎に、周波数帯域毎の音像定位位置を決める情報に基づいて、周波数帯域毎の音声信号に対して音像定位処理が行われる。そして、前記音像定位処理が行われた前記チャンネル毎の音声信号が混合される。
【００１７】
なお、上述の信号処理装置は、独立した装置であっても良いし、１つの信号処理装置を構成している内部ブロックであってもよい。
【発明の効果】
【００１８】
本発明の一側面によれば、映像の奥行き感に沿った音場感を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した信号処理装置の第１の実施の形態の構成を示すブロック図である。
【図２】奥行き制御処理部の構成例を示すブロック図である。
【図３】図１の信号処理装置の信号処理を説明するフローチャートである。
【図４】奥行き制御処理部の他の構成例を示すブロック図である。
【図５】奥行き制御情報の例を示す図である。
【図６】図４の奥行き制御処理部の場合の図１の信号処理装置の信号処理を説明するフローチャートである。
【図７】本発明を適用した信号処理装置の第２の実施の形態の構成を示すブロック図である。
【図８】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図を参照して本発明の実施の形態について説明する。
【００２１】
［信号処理装置の構成例］
図１は、本発明を適用した信号処理装置の第１の実施の形態の構成を表している。
【００２２】
図１の信号処理装置１１は、例えば、5.1ch（チャンネル）のうち、FL、FR、FCの各chを奥行き制御の対象として、固定位置近距離定位仮想音源と固定位置遠距離仮想音源、実音源との混合による合成音像方式により、奥行き制御処理を行う。奥行き制御処理は、実音源（再生スピーカ）位置に対して、リスナ側に近くなるように音像定位させたり（近距離定位）、リスナに対して遠くなるように音像定位させる（遠距離定位）ものである。
【００２３】
信号処理装置１１は、奥行き情報抽出部２１、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３、混合(Mix)部２３、再生スピーカ２４−１乃至再生スピーカ２４−３により構成されている。
【００２４】
図示せぬ前段からのFLch、FCch、FRchの各音声信号は、奥行き情報抽出部２１と、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３にそれぞれ入力される。
【００２５】
奥行き情報抽出部２１は、FLch、FCch、FRchの音声信号から、予めコンテンツ作成者などにより多重化されているFLch、FCch、FRchの各奥行き情報を抽出し、対応する奥行き制御処理部２２−１乃至奥行き制御処理部２２−３に供給する。
【００２６】
奥行き制御処理部２２−１は、FLchの音声信号に対して、奥行き情報抽出部２１からのFLch奥行き情報に基づいて、奥行き制御処理を施す。奥行き制御処理部２２−１は、FLchの音声信号に対する奥行き制御処理結果のFLスピーカ用出力音声信号、FCスピーカ用出力音声信号、およびFRスピーカ用出力音声信号を混合部２３に出力する。
【００２７】
奥行き制御処理部２２−２は、FCchの音声信号に対して、奥行き情報抽出部２１からのFCch奥行き情報に基づいて、奥行き制御処理を施す。奥行き制御処理部２２−２は、FCchの音声信号に対する奥行き制御処理結果のFLスピーカ用出力音声信号、FCスピーカ用出力音声信号、およびFRスピーカ用出力音声信号を混合部２３に出力する。
【００２８】
奥行き制御処理部２２−３は、FRchの音声信号に対して、奥行き情報抽出部２１からのFRch奥行き情報に基づいて、奥行き制御処理を施す。奥行き制御処理部２２−３は、FRchの音声信号に対する奥行き制御処理結果のFLスピーカ用出力音声信号、FCスピーカ用出力音声信号、およびFRスピーカ用出力音声信号を混合部２３に出力する。
【００２９】
混合部２３は、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３からの各スピーカ用出力音声信号を、スピーカ毎に混合し、混合した各スピーカ用出力音声信号を、対応する再生スピーカ２４−１乃至再生スピーカ２４−３にそれぞれ出力する。
【００３０】
再生スピーカ２４−１は、混合部２３からのFLスピーカ用出力音声信号に対応する音声を出力する。再生スピーカ２４−２は、混合部２３からのFCスピーカ用出力音声信号に対応する音声を出力する。再生スピーカ２４−３は、混合部２３からのFRスピーカ用出力音声信号に対応する音声を出力する。
【００３１】
ここで、合成音像方式においては、例えば、FLchの場合、再生スピーカ２４−１である実音源、FL遠距離定位仮想音源３１−１、FL近距離定位仮想音源３２−１の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−１が形成される。図１の例においては、再生スピーカ２４−１とFL近距離定位仮想音源３２−１との間のほぼ中央に合成音像３３−１が形成されている。
【００３２】
FCchの場合、再生スピーカ２４−２である実音源、FC遠距離定位仮想音源３１−２、FC近距離定位仮想音源３２−２の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−２が形成される。図１の例においては、再生スピーカ２４−２とFC遠距離定位仮想音源３１−２との間の再生スピーカ２４−２寄りに合成音像３３−２が形成されている。
【００３３】
FRchの場合、再生スピーカ２４−３である実音源、FR遠距離定位仮想音源３１−３、FR近距離定位仮想音源３２−３の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−３が形成される。図１の例においては、再生スピーカ２４−３とFR近距離定位仮想音源３２−３との間の再生スピーカ２４−３寄りに合成音像３３−３が形成されている。
【００３４】
以上のように、信号処理装置１１においては、各chの奥行き情報に記述された音像位置と、再生音による合成音像３３−１乃至合成音像３３−３がおおよそ一致するように、奥行き制御処理が行われる。
【００３５】
[奥行き制御処理部の構成例]
図２は、FRchの音声信号に対して奥行き制御処理を行う奥行き制御処理部２２−３の構成例を示すブロック図である。
【００３６】
奥行き制御処理部２２−３は、奥行き情報記憶部５１、奥行き情報選択部５２、減衰器５３−１乃至減衰器５３−３、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、固定位置近距離定位処理部５６、および混合部５７−１乃至混合部５７−３により構成されている。
【００３７】
奥行き情報記憶部５１には、各音源位置の奥行き情報が予め記憶されている。奥行き情報選択部５２は、奥行き情報抽出部２１からの音源位置毎の奥行き情報と予め記憶されている奥行き情報のどちらか一方を選択する。例えば、奥行き情報選択部５２は、奥行き情報抽出部２１から奥行き情報が供給されない場合、記憶されている固定の奥行き情報を用い、奥行き情報抽出部２１から奥行き情報が供給された場合、供給された奥行き情報を用いる。あるいは、奥行き情報は、ユーザによる設定に応じて選択するように構成してもよい。
【００３８】
奥行き情報選択部５２は、選択した奥行き情報を、対応する減衰器５３−１乃至減衰器５３−３に供給する。
【００３９】
図２の例の場合、奥行き情報には、減衰器５３−１乃至減衰器５３−３（すなわち、各音源位置）に対する減衰量が記述されている。なお、奥行き情報は、減衰量に限定されず、例えば、混合部５７―１乃至混合部５７−３に対する混合比(Mix比)であってもよい。この場合、混合部５７−１乃至混合部５７−３において、混合比を用いた混合が行われる。
【００４０】
減衰器５３−１は、遠距離定位音像位置用の減衰器であり、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行い、減衰を行った音声信号を、固定位置遠距離定位処理部５４に出力する。減衰器５３−２は、実音源位置用の減衰器であり、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行い、減衰を行った音声信号を、実音源位置定位処理部５５に出力する。減衰器５３−３は、近距離定位音像位置用の減衰器であり、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行い、減衰を行った音声信号を、固定位置近距離定位処理部５６に出力する。
【００４１】
固定位置遠距離定位処理部５４は、FR遠距離定位仮想音源３１−３を形成するための信号処理を行う。固定位置遠距離定位処理部５４は、信号処理結果のFLスピーカ用出力音声信号を混合部５７−１に出力し、FCスピーカ用出力音声信号を混合部５７−２に出力し、FRスピーカ用出力音声信号を混合部５７−３に出力する。
【００４２】
実音源位置定位処理部５５は、再生スピーカ２４−３である実音源を形成するための信号処理を行う。実音源位置定位処理部５５は、信号処理結果のFRスピーカ用出力音声信号を混合部５７−３に出力する。
【００４３】
固定位置近距離定位処理部５６は、FR近距離定位仮想音源３２−３を形成するための信号処理を行う。固定位置近距離定位処理部５６は、信号処理結果のFLスピーカ用出力音声信号を混合部５７−１に出力し、FCスピーカ用出力音声信号を混合部５７−２に出力し、FRスピーカ用出力音声信号を混合部５７−３に出力する。
【００４４】
なお、実音源位置定位処理部５５の場合、対象が実音源位置であるので、入力されるFRの音声信号に対応するFRスピーカ用の音声信号しか生成されない。これに対して、固定位置遠距離定位処理部５４や固定位置近距離定位処理部５６の場合、FR遠距離定位仮想音源３１−３やFR近距離定位仮想音源３２−３を形成するためには、入力されるFRの音声信号に対応するFRスピーカ用の音声信号以外のFCスピーカ用やFLスピーカ用の音声信号の生成も必要となる。
【００４５】
混合部５７−１は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFLスピーカ用出力音声信号を混合し、混合したFLスピーカ用出力音声信号を、混合部２３に出力する。混合部５７−２は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFCスピーカ用出力音声信号を混合し、混合したFCスピーカ用出力音声信号を、混合部２３に出力する。
【００４６】
混合部５７−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６からのFRスピーカ用出力音声信号を混合し、混合したFRスピーカ用出力音声信号を、混合部２３に出力する。
【００４７】
なお、図１の奥行き制御処理部２２−１および奥行き制御処理部２２−２の構成例は、実音源位置定位処理部５５からの音声信号の出力先が、混合部５７−１乃至混合部５７−３のうち、対応するchスピーカ用出力音声信号を混合する混合部に変わることが異なるだけである。すなわち、それ以外は、図２の奥行き制御処理部２２−３の構成例と基本的に同じであるので、以下、図２の奥行き制御処理部２２−３の構成は、奥行き制御処理部２２−１および奥行き制御処理部２２−２としても用いられる。
【００４８】
[信号処理の説明]
次に、図３のフローチャートを参照して、図１の信号処理装置１１の信号処理を説明する。
【００４９】
図示せぬ前段からのFLch、FCch、FRchの各音声信号は、奥行き情報抽出部２１と、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の減衰器５３−１乃至減衰器５３−３にそれぞれ入力される。
【００５０】
奥行き情報抽出部２１は、ステップＳ１１において、FLch、FCch、FRchの音声信号から、予めコンテンツ作成者などにより多重化されているFLch、FCch、FRchの各奥行き情報を抽出する。奥行き情報抽出部２１は、対応する奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の奥行き情報選択部５２に供給する。
【００５１】
なお、以降のステップＳ１２乃至Ｓ１６は、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３においてそれぞれ実行される処理であるので、代表して、奥行き制御処理部２２−３（FRの信号処理）の場合を説明する。
【００５２】
ステップＳ１２において、奥行き制御処理部２２−３の奥行き情報記憶部５１は、記憶している各音源位置の奥行き情報を読み出し、読み出した奥行き情報を、奥行き情報選択部５２に供給する。
【００５３】
奥行き情報選択部５２は、ステップＳ１３において、奥行き情報抽出部２１からの音源位置毎の奥行き情報と予め記憶されている奥行き情報のどちらか一方を選択する。奥行き情報選択部５２は、選択した奥行き情報を、対応する減衰器５３−１乃至減衰器５３−３に供給する。
【００５４】
ステップＳ１４において、減衰器５３−１乃至減衰器５３−３は、入力されるFRの音声信号に対して、奥行き情報選択部５２からの奥行き情報に基づいて減衰を行う。そして、減衰器５３−１は、減衰を行った音声信号を、固定位置遠距離定位処理部５４に出力する。減衰器５３−２は、減衰を行った音声信号を、実音源位置定位処理部５５に出力する。減衰器５３−３は、減衰を行った音声信号を、固定位置近距離定位処理部５６に出力する。
【００５５】
ステップＳ１５において、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６は、各音源位置に対応する音像定位処理をそれぞれ行う。
【００５６】
具体的には、固定位置遠距離定位処理部５４は、FR遠距離定位仮想音源３１−３を形成するための信号処理を行う。固定位置遠距離定位処理部５４は、信号処理結果のFLスピーカ用出力音声信号を混合部５７−１に出力し、FCスピーカ用出力音声信号を混合部５７−２に出力し、FRスピーカ用出力音声信号を混合部５７−３に出力する。
【００５７】
実音源位置定位処理部５５は、再生スピーカ２４−３である実音源を形成するための信号処理を行う。実音源位置定位処理部５５は、信号処理結果のFRスピーカ用出力音声信号を混合部５７−３に出力する。
【００５８】
固定位置近距離定位処理部５６は、FR近距離定位仮想音源３２−３を形成するための信号処理を行う。固定位置近距離定位処理部５６は、信号処理結果のFLスピーカ用出力音声信号を混合部５７−１に出力し、FCスピーカ用出力音声信号を混合部５７−２に出力し、FRスピーカ用出力音声信号を混合部５７−３に出力する。
【００５９】
ステップＳ１６において、混合部５７−１乃至混合器５７−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６のうち少なくとも１つから入力される音像定位処理後の音声信号を混合し、混合部２３に出力する。
【００６０】
すなわち、混合部５７−１は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFLスピーカ用出力音声信号を混合し、混合したFLスピーカ用出力音声信号を、混合部２３に出力する。混合部５７−２は、固定位置遠距離定位処理部５４および固定位置近距離定位処理部５６からのFCスピーカ用出力音声信号を混合し、混合したFCスピーカ用出力音声信号を、混合部２３に出力する。
【００６１】
混合部５７−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６からのFRスピーカ用出力音声信号を混合し、混合したFRスピーカ用出力音声信号を、混合部２３に出力する。
【００６２】
ステップＳ１７において、混合部２３は、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３からの奥行き制御処理後の各スピーカ用出力音声信号を、各スピーカ毎に混合する。混合部２３は、混合した各スピーカ用出力音声信号を、対応する再生スピーカ２４−１乃至再生スピーカ２４−３にそれぞれ出力する。
【００６３】
再生スピーカ２４−１は、混合部２３からのFLスピーカ用出力音声信号に対応する音声を出力する。再生スピーカ２４−２は、混合部２３からのFCスピーカ用出力音声信号に対応する音声を出力する。再生スピーカ２４−３は、混合部２３からのFRスピーカ用出力音声信号に対応する音声を出力する。
【００６４】
以上により、例えば、FLchの場合、再生スピーカ２４−１である実音源、FL遠距離定位仮想音源３１−１、FL近距離定位仮想音源３２−１の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−１が形成される。FCchの場合、再生スピーカ２４−２である実音源、FC遠距離定位仮想音源３１−２、FC近距離定位仮想音源３２−２の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−２が形成される。FRchの場合、再生スピーカ２４−３である実音源、FR遠距離定位仮想音源３１−３、FR近距離定位仮想音源３２−３の３つの音源間で所定のレベルバランスを与えることにより、それら音源間に合成音像３３−３が形成される。
【００６５】
以上のように、各chに対して奥行き情報を持たせ、それに基づいて音源位置を制御するようにしたので、立体映像の奥行き感やコンテンツ制作者の考えに沿った音場感を提供することができる。
【００６６】
なお、上記説明においては、信号処理装置１１に、奥行き情報抽出部２１、奥行き情報記憶部５１、奥行き情報選択部５２を備える例を説明したが、奥行き情報抽出部２１または奥行き情報記憶部５１のみを備えるように構成することもできる。この場合、奥行き情報選択部５２も必要ないので、除くようにしてもよい。
【００６７】
[奥行き制御処理部の構成例]
図４は、FRchの音声信号に対して奥行き制御処理を行う奥行き制御処理部２２−３の他の構成例を示すブロック図である。
【００６８】
図４の奥行き制御処理部２２−３は、奥行き情報記憶部５１、奥行き情報選択部５２、および減衰器５３−１乃至減衰器５３−２が除かれている点が図２の奥行き制御処理部２２−３と異なっている。また、図４の奥行き制御処理部２２−３は、帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎ並びに、混合部７２−１乃至混合部７２−３が追加されている点が図２の奥行き制御処理部２２−３と異なっている。
【００６９】
そして、図４の奥行き制御処理部２２−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、固定位置近距離定位処理部５６、および混合部５７−１乃至５７−３を備えている点は、図２の奥行き制御処理部２２−３と共通している。
【００７０】
奥行き情報抽出部２１からの対応するFRchの奥行き情報は、帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎ、並びに、混合部７２−１乃至混合部７２−３にそれぞれ供給される。奥行き情報には、例えば、分割帯域数、および各帯域の範囲などの制御帯域情報、並びに帯域毎の各音源位置に対する重みである混合比などが含まれている。
【００７１】
帯域１抽出処理部７１−１は、奥行き情報に基づいて、入力される音声信号から、帯域１の信号を抽出し、抽出した帯域１の音声信号を混合部７２−１乃至混合部７２−３に供給する。帯域２抽出処理部７１−２は、奥行き情報に基づいて、入力される音声信号から、帯域２の信号を抽出し、抽出した帯域２の音声信号を混合部７２−１乃至混合部７２−３に供給する。以下、同様に、帯域３抽出処理部７１−３乃至帯域ｎ抽出処理部７１−ｎは、奥行き情報に基づいて、入力される音声信号から、帯域３乃至帯域ｎの信号をそれぞれ抽出し、抽出した各帯域３乃至帯域ｎの音声信号を混合部７２−１乃至混合部７２−３にそれぞれ供給する。すなわち、図４の例においては、音声信号の帯域を、帯域１乃至帯域ｎに分け、ｎ個の各帯域がｎ個の各帯域抽出処理部７１でそれぞれ抽出する例が示されている。ここで、ｎ≦１である。
【００７２】
混合部７２−１は、各帯域の音声信号に対して、奥行き情報の対応する帯域の遠距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置遠距離定位処理部５４に出力する。
【００７３】
混合部７２−２は、各帯域の音声信号に対して、奥行き情報の対応する帯域の実音源位置に対応する混合比を乗算してから混合し、混合した音声信号を実音源位置定位処理部５５に出力する。
【００７４】
混合部７２−３は、各帯域の音声信号に対して、奥行き情報の対応する帯域の近距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置近距離定位処理部５６に出力する。
【００７５】
なお、奥行き制御処理部２２−１および奥行き制御処理部２２−２の構成例は、実音源位置定位処理部５５からの音声信号の出力先が、混合部５７−１乃至混合部５７−３のうち、対応するchスピーカ用出力音声信号を混合する混合部に変わることが異なるだけである。すなわち、それ以外は、図４に示した奥行き制御処理部２２−３の構成例と基本的に同じであるので、以下、図４の奥行き制御処理部２２−３の構成は、奥行き制御処理部２２−１および奥行き制御処理部２２−２としても用いられる。
【００７６】
[奥行き情報の例]
図５は、FRchの奥行き情報の例を示す図である。図５の奥行き情報には、周波数帯域毎の各音源位置に対する重みである混合比ｗが記述されている。
【００７７】
例えば、周波数帯域１の遠距離仮想音源位置の混合比ｗは、0.5で、実音源位置の混合比ｗは、0.2で、近距離仮想音源位置の混合比ｗは、0.3であることが記述されている。また、周波数帯域２の遠距離仮想音源位置の混合比ｗは、0で、実音源位置の混合比ｗは、1で、近距離仮想音源位置の混合比ｗは、0であることが記述されている。さらに、周波数帯域ｎの遠距離仮想音源位置の混合比ｗは、0.3で、実音源位置の混合比ｗは、0.5で、近距離仮想音源位置の混合比ｗは、0.2であることが記述されている。なお、周波数帯域３乃至ｎ−１の混合比の例は省略されている。
【００７８】
また、図５の例においては示されていないが、奥行き情報には、分割帯域数、および各帯域の範囲などの制御帯域情報も記述されている。
【００７９】
[信号処理の説明]
次に、図６のフローチャートを参照して、図４の奥行き制御処理部２２−３の場合の図１の信号処理装置１１の信号処理を説明する。
【００８０】
図示せぬ前段からのFLch、FCch、FRchの各音声信号は、奥行き情報抽出部２１と、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎにそれぞれ入力される。
【００８１】
奥行き情報抽出部２１は、ステップＳ７１において、FLch、FCch、FRchの音声信号から、予めコンテンツ作成者などにより多重化されているFLch、FCch、FRchの各奥行き情報を抽出する。奥行き情報抽出部２１は、対応する奥行き制御処理部２２−１乃至奥行き制御処理部２２−３の帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎに並びに、混合部７２−１乃至混合部７２−３にそれぞれに供給する。
【００８２】
なお、以降のステップＳ７２乃至Ｓ７５は、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３においてそれぞれ実行される処理であるので、代表して、奥行き制御処理部２２−３（FRの信号処理）の場合を説明する。
【００８３】
ステップＳ７２において、帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎは、奥行き情報の分割帯域数、および各帯域の範囲などの制御帯域情に基づいて、入力される音声信号から対応する帯域をそれぞれ抽出する。帯域１抽出処理部７１−１、帯域２抽出処理部７１−２、…、および帯域ｎ抽出処理部７１−ｎは、抽出した帯域の音声信号を、混合部７２−１乃至混合部７２−３にそれぞれ出力する。
【００８４】
ステップＳ７３において、混合部７２−１乃至混合部７２−３は、各帯域の音声信号を、奥行き情報に応じた重み付けで混合する。すなわち、混合部７２−１乃至混合部７２−３は、各帯域の音声信号に対して、奥行き情報の対応する帯域の各音源位置に対応する混合比を乗算してから混合し、混合した音声信号を対応する定位処理部５４乃至５６に出力する。
【００８５】
具体的には、混合部７２−１は、各帯域の音声信号に対して、奥行き情報の対応する帯域の遠距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置遠距離定位処理部５４に出力する。混合部７２−２は、各帯域の音声信号に対して、奥行き情報の対応する帯域の実音源位置に対応する混合比を乗算してから混合し、混合した音声信号を実音源位置定位処理部５５に出力する。混合部７２−３は、各帯域の音声信号に対して、奥行き情報の対応する帯域の近距離音源位置に対応する混合比を乗算してから混合し、混合した音声信号を固定位置近距離定位処理部５６に出力する。
【００８６】
ステップＳ７４において、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６は、各音源位置に対応する音像定位処理をそれぞれ行う。
【００８７】
ステップＳ７５において、混合部５７−１乃至混合器５７−３は、固定位置遠距離定位処理部５４、実音源位置定位処理部５５、および固定位置近距離定位処理部５６のうち少なくとも１つから入力される音像定位処理後の音声信号を混合し、混合部２３に出力する。
【００８８】
ステップＳ７６において、混合部２３は、各奥行き制御処理部２２−１乃至奥行き制御処理部２２−３からの奥行き制御処理後の各スピーカ用出力音声信号を、各スピーカ毎に混合する。混合部２３は、混合した各スピーカ用出力音声信号を、対応する再生スピーカ２４−１乃至再生スピーカ２４−３にそれぞれ出力する。
【００８９】
なお、上述したステップＳ７４乃至Ｓ７６の処理は、上述した図３のステップＳ１５乃至Ｓ１７と基本的に同じ処理を行うので、それらの具体的な処理の説明は繰り返しになるので省略される。
【００９０】
以上のように、図４の例においては、入力音声信号をさらに帯域別に分けることにより、それぞれが独立して奥行き制御される。
【００９１】
これにより、例えば、FCchの音声信号に人の声（セリフ）とそれ以外の背景音が混合されていた場合に、人の声の帯域に関しては実音源位置に、それ以外の帯域については、近距離または遠距離定位させるといった利用方法が可能になる。なお、当然、帯域で分けたとしても、目的音素材以外の音素材も通常は被っていることになるので、目的となる素材の主帯域を選別して指定するなどの工夫は必要となる。
【００９２】
このような制御帯域情報は、上述したように奥行き情報内に含めて、逐次制御帯域並びに音像位置を変更可能にすることもできるし、制御帯域は固定し、例えば、人の声の帯域以外に関してのみ音像位置を変更できるようにすることも可能である。なお、後者の場合は、奥行き情報に制御帯域情報を含める必要はなくなる。
【００９３】
また、奥行き情報を用いず、入力信号の主帯域に応じて奥行き位置を固定した処理としてもよいし、入力信号の主帯域を、例えば、人の声に固定して、奥行き位置を固定した処理としてもよい。
【００９４】
［信号処理装置の構成例］
図７は、本発明を適用した信号処理装置の第２の実施の形態の構成を表している。図７の信号処理装置１０１は、奥行き情報抽出部２１、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３、混合(Mix)部２３、再生スピーカ２４−１乃至再生スピーカ２４−３を備えている点は、図１の信号処理装置１１と共通している。また、図７の信号処理装置１０１においては、図１の信号処理装置１１と同様に、合成音像方式が用いられる。
【００９５】
一方、図７の信号処理装置１０１は、画像情報抽出部１１１および判定部１１２が追加された点が、図１の信号処理装置１１と異なっている。すなわち、画像情報抽出部１１１には、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３に入力される音声信号に対応する画像信号が入力される。
【００９６】
画像情報抽出部１１１は、画像信号の立体情報において、FL、FC、FRの対応する位置のどこに情報があって、その情報が前に飛び出しているか、奥にあるかなどの視差情報を分析することにより、奥行き情報を抽出する。画像情報抽出部１１１は、抽出した奥行き情報を、判定部１１２に供給する。
【００９７】
判定部１１２は、画像情報抽出部１１１からの奥行き情報と、奥行き情報抽出部２１が音声信号から抽出した奥行き情報とを比較して、両者がほぼ合っていれば（大きく違っていなければ）、画像情報抽出部１１１からの奥行き情報を奥行き情報抽出部２１に供給する。
【００９８】
奥行き情報抽出部２１は、判定部１１２から奥行き情報が供給された場合、抽出した奥行き情報に加えて、奥行き制御処理部２２−１乃至奥行き制御処理部２２−３に供給する。すなわち、この例の場合、画像信号からの奥行き情報は補助的に用いられる。
【００９９】
なお、図７の例においては、判定部１１２を備えるようにしたが、判定部１１２はなくてもよく、この場合、奥行き情報抽出部２１は、音声信号から抽出した奥行き情報を用いてもよいし、画像信号から抽出した奥行き情報を用いてもよい。その判断は、ユーザの設定に応じてなされることも可能である。また、音声信号から奥行き情報が抽出されなかった場合に、画像信号から抽出した奥行き情報を用いてもよい。
【０１００】
また、判定部１１２において、音声信号からの奥行き情報と画像信号からの奥行き情報のうち、精度のよいものを判定して用いるようにしてもよい。
【０１０１】
なお、上記説明においては、合成音像方式において、実音源位置以外に、近距離定位仮想音源と遠距離定位仮想音源を形成する例を説明したが、近距離定位仮想音源だけであってもよいし、遠距離定位仮想音源だけであってもよい。
【０１０２】
その場合、奥行き情報は、定位位置の近い側のものとして処理される。すなわち、例えば、実音源位置以外に、近距離定位仮想音源だけ形成される場合、定位処理は、実音源位置定位処理と近距離定位処理となるが、奥行き情報として遠距離定位指定のものがあったときには、実音源位置指定のものとして処理される。
【０１０３】
また、上述した奥行き情報は、各chの奥行き情報を与えるものとする。上記説明においては、5.1ch（チャンネル）のうち、FL、FR、FCの各chを奥行き制御の対象の例を説明したが、これに限定されない。例えば、一般的な5.1ch(FL/FR/FC/SL/SR/SW)の場合は、FL/FR/FC/SL/SRの各chについての奥行き情報としてもよい。
【０１０４】
ただし、この奥行き情報は、必ずしも全てのchに与える必要はない。例えば、図７を参照して上述したように、画像の立体情報から音源の奥行き情報を抽出する場合には、画像情報のある位置（フロント側）に含まれるchのみについて奥行き情報が与えられることになるので、この場合、5.1chのうち、FL、FR、FCの各chについての奥行き情報が与えられるものとなる。
【０１０５】
以上のように、奥行き情報をch毎に与えることで、信号処理をシンプルに構成することができる。従来の音声の5.1ch信号などは、通常、既にいろいろな音がミックスされてしまっているので、音源分離といった大規模な処理をしない限りは、chの奥行き情報だけでもリーズナブルに構成可能である。
【０１０６】
また、上述したように、音の奥行き制御を行う信号処理部は、各chに固定させることができるので、信号処理リソースの見積もりが容易など、実用的側面でのメリットが大きい。
【０１０７】
そして、本発明においては、このような各chの奥行き情報を利用し、各chの信号に対して奥行き制御処理を施すようにしたので、各chの音像位置を変更することができる。
【０１０８】
したがって、映像の奥行き感に沿った音場感を簡単に提供することができる。また、コンテンツ制作者の意図に沿った音場感を提供することができる。
【０１０９】
なお、上記説明においては、合成音像方式の例を説明したが、本発明は、他の音像方式の場合にも適用することができる。例えば、音像位置に応じてHRTF（Head-Related Transfer Function:頭部伝達関数）を変更する、いわゆるHRTF方式でもよい。
【０１１０】
HRTF方式の場合、奥行き情報として、合成音像方式の混合比や減衰量の代わりに、音像定位の距離情報が与えられる。HRTF方式の場合、データベースを有しているので、距離に応じてデータベースから係数をとって、係数を切り替えて音像定位処理が行われる。
【０１１１】
したがって、合成音像方式の場合、HRTF方式と比較して、データベースを持つ必要がないという利点がある。また、HRTF方式の場合、係数の切替タイミングにより音が切れる恐れもあるが、合成音像方式の場合には、その恐れがないという利点もある。
【０１１２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０１１３】
［パーソナルコンピュータの構成例］
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１４】
コンピュータにおいて、CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
【０１１５】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【０１１６】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１１７】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１８】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１９】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１２０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２１】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２２】
１１  信号処理装置，  ２１  奥行き情報抽出部，  ２２−１乃至２２−３  奥行き制御処理部，  ２３  混合部，  ２４−１乃至２４−３  再生スピーカ，  ５１  奥行き情報記憶部，  ５２  奥行き情報選択部，  ５３−１乃至５３−３  減衰器，  ５４  固定位置遠距離定位処理部，  ５５  実音源位置定位処理部，  ５６  固定位置近距離定位処理部，  ５７−１乃至５７−３  混合部，  ７１−１  帯域１抽出処理部，  ７１−２  帯域２抽出処理部，  ７１−３  帯域３抽出処理部，  ７２−１乃至７２−３  混合部，  １０１  信号処理装置，  １１１  画像情報抽出部，  １１２  判定部
【図１】
2011216963.tif 000003
【図２】
2011216963.tif 000004
【図３】
2011216963.tif 000005
【図４】
2011216963.tif 000006
【図５】
2011216963.tif 000007
【図６】
2011216963.tif 000008
【図７】
2011216963.tif 000009
【図８】
2011216963.tif 000010