(57)【特許請求の範囲】
【請求項１】
ステレオマイクロホン間の第１距離及びステレオスピーカ間の第２距離に関する情報を取得する取得部と、
前記ステレオマイクロホンで収音されたステレオ音声信号を、前記第１距離及び前記第２距離に応じて処理することで、前記ステレオ音声信号が前記ステレオスピーカから再生される際のステレオ感を調整する信号処理部と、を備え、
前記信号処理部は、前記第１距離に対する前記第２距離の比率の値が閾値より小さい場合に、前記ステレオ感を増加させるための第１信号処理を前記ステレオ音声信号に行う、
音声処理装置。
【請求項２】
前記第１信号処理は、前記ステレオスピーカから出力される音のクロストーク成分を減衰させる処理である、
請求項１に記載の音声処理装置。
【請求項３】
前記第１信号処理は、リスナーから２つの仮想音源に向かう２つの方向の角度を増加させるための処理であり、
前記２つの仮想音源は、前記ステレオスピーカから出力される音によって定位する、
請求項１に記載の音声処理装置。
【請求項４】
前記第１信号処理では、前記第１距離に対する前記第２距離の比率の値が減少するほど前記ステレオ感を増加させる、
請求項１〜３のいずれか１項に記載の音声処理装置。
【請求項５】
前記信号処理部は、前記第１距離に対する前記第２距離の比率の値が閾値より大きい場合に、前記ステレオ感を減少させるための第２信号処理を前記ステレオ音声信号に行う、
請求項１〜４のいずれか１項に記載の音声処理装置。
【請求項６】
前記第２信号処理は、前記ステレオスピーカから出力される音のクロストーク成分を増幅させる処理である、
請求項５に記載の音声処理装置。
【請求項７】
前記第２信号処理では、前記第１距離に対する前記第２距離の比率の値が増加するほど前記ステレオ感を減少させる、
請求項５又は６に記載の音声処理装置。
【請求項８】
前記取得部は、前記第１距離に関する情報を媒体を介して取得する、
請求項１〜７のいずれか１項に記載の音声処理装置。
【請求項９】
前記第１距離及び前記第２距離に関する情報は、前記ステレオマイクロホンが設置されるスポーツ競技の競技種別を含み、
前記取得部は、競技種別と第１距離とを対応付ける競技距離情報を参照して、前記第１距離及び前記第２距離に関する情報に含まれる競技種別に対応する第１距離を取得する、
請求項８に記載の音声処理装置。
【請求項１０】
前記第１距離及び前記第２距離に関する情報は、前記第１距離の値を含む、
請求項８に記載の音声処理装置。
【請求項１１】
前記第１距離は、スポーツ競技の競技エリアにおける攻守方向の長さに応じて予め定められている、
請求項１〜１０のいずれか１項に記載の音声処理装置。
【請求項１２】
前記ステレオスピーカは、スポーツ競技のパブリックビューイング会場に配置される、
請求項１〜１１のいずれか１項に記載の音声処理装置。
【請求項１３】
前記ステレオスピーカは、携帯端末に含まれる、
請求項１〜１１のいずれか１項に記載の音声処理装置。
【請求項１４】
前記ステレオスピーカは、テレビ受像機に含まれる、
請求項１〜１１のいずれか１項に記載の音声処理装置。
【請求項１５】
ステレオマイクロホン間の第１距離及びステレオスピーカ間の第２距離に関する情報を取得する取得ステップと、
前記ステレオマイクロホンで収音されたステレオ音声信号を、前記第１距離及び前記第２距離に応じて処理することで、前記ステレオ音声信号が前記ステレオスピーカから再生される際のステレオ感を調整する信号処理ステップと、を含み、
前記信号処理ステップでは、前記第１距離に対する前記第２距離の比率の値が閾値より小さい場合に、前記ステレオ感を増加させるための第１信号処理を前記ステレオ音声信号に行う、
音声処理方法。
【請求項１６】
請求項１５に記載の音声処理方法をコンピュータに実行させるためのプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ音声信号を処理する音声処理装置及び音声処理方法に関する。
【背景技術】
【０００２】
近年、テレビ放送のみならず、インターネット網を伝送媒体として用いた様々なスポーツ競技の中継放送が広く行われている。このようなインターネット放送では、様々なスポーツ競技の音声信号が収音され、インターネットに接続可能な様々な機器で音声信号が再生される。つまり、スポーツ競技のインターネット放送では、多様な収音環境で収音された音声信号が多様な再生環境で再生される。【０００３】
ところで、特許文献１では、２つのスピーカを用いて仮想的に立体的な音場をリスナーに提供する技術が提供されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／０８７４９０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、スポーツ競技のインターネット放送では、多様な収音環境で収音された音声信号が多様な再生環境で再生されるため、臨場感が豊かな音声再生を実現することが難しい。【０００６】
そこで、本発明は、収音環境及び再生環境に適した臨場感豊かな音声再生を実現することができる音声処理装置又は音声処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る音声処理装置は、ステレオマイクロホン間の第１距離及びステレオスピーカ間の第２距離に関する情報を取得する取得部と、前記ステレオマイクロホンで収音されたステレオ音声信号を、前記第１距離及び前記第２距離に応じて処理することで、前記ステレオ音声信号が前記ステレオスピーカから再生される際のステレオ感を調整する信号処理部と、を備え、前記信号処理部は、前記第１距離に対する前記第２距離の比率の値が閾値より小さい場合に、前記ステレオ感を増加させるための第１信号処理を前記ステレオ音声信号に行う。
【０００８】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本発明の一態様に係る音声処理装置又は音声処理方法は、収音環境及び再生環境に適した臨場感豊かな音声再生を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１及び２における音声処理システムを示すブロック図である。
【図２】図２は、実施の形態１におけるスポーツ競技と収音環境との関係を示す表である。
【図３】図３は、実施の形態１におけるＭＤの一例を示す図である。
【図４】図４は、実施の形態１におけるＭＤの他の一例を示す図である。
【図５】図５は、実施の形態１におけるＳＤの一例を示す図である。
【図６】図６は、実施の形態１におけるＳＤの他の一例を示す図である。
【図７】図７は、実施の形態１におけるＳＤの他の一例を示す図である。
【図８】図８は、実施の形態１に係る音声処理装置の処理動作を示すフローチャートである。
【図９】図９は、実施の形態１における第１信号処理を示すフローチャートである。
【図１０】図１０は、実施の形態１における第１信号処理の原理を説明するための図である。
【図１１】図１１は、実施の形態１におけるＳＤ／ＭＤと第１信号処理のためのパラメータβとの関係の例を示すグラフである。
【図１２】図１２は、実施の形態１における第１信号処理を説明するための図である。
【図１３】図１３は、実施の形態１における第２信号処理を示すフローチャートである。
【図１４】図１４は、実施の形態１におけるＳＤ／ＭＤと第２信号処理のためのパラメータとの関係の例を示すグラフである。
【図１５】図１５は、実施の形態１における第２信号処理を説明するための図である。
【図１６】図１６は、実施の形態２における第１信号処理を示すフローチャートである。
【図１７】図１７は、実施の形態２における第１信号処理の原理を説明するための図である。
【図１８】図１８は、実施の形態２における第１信号処理の原理を説明するための図である。
【図１９】図１９は、実施の形態２におけるＳＤ／ＭＤと第１信号処理のためのパラメータとの関係の例を示すグラフである。
【図２０】図２０は、実施の形態２におけるパラメータを説明するための図である。
【発明を実施するための形態】
【００１１】
（本発明の基礎となった知見）
スポーツ中継における臨場感は、その競技に特徴的な音がその音が発生している方向から聴こえることにより高まると考えられる。スポーツ競技に特徴的な音は、攻守の両エンドで多く発生している。
【００１２】
しかしながら、攻守の両エンドにステレオマイクロホンを配置して競技の音を収音したとしても、携帯端末や家庭用テレビ受像機では臨場感豊かな音声再生は難しい。これは、携帯端末や家庭用テレビ受像機のステレオスピーカ間の距離がスポーツ競技の攻守の両エンド間の距離（つまり、ステレオマイクロホン間の距離）より遥かに小さいため、本来の音の広がりが損なわれるからである。
【００１３】
一方、パブリックビューイング会場などで音声再生する場合は、スポーツ競技の攻守の両エンド間の距離よりもステレオスピーカ間の距離が大きいことがある。この場合でも、本来の音場が損なわれるため、臨場感豊かな音声再生は難しい。
【００１４】
そこで、本発明の一態様に係る音声処理装置は、ステレオマイクロホン間の距離及びステレオスピーカ間の距離に基づいてステレオ音声信号を処理してステレオ感を調整することにより、臨場感豊かな音声再生を実現する。
【００１５】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００１６】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１７】
また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【００１８】
（実施の形態１）
まず、実施の形態１について説明する。本実施の形態では、ステレオ感は、左チャネル信号が右耳に到達する量及び右チャネル信号が左耳に到達する量によって調整される。つまり、ステレオ感は、クロストーク成分の量によって調整される。以下に、このようなステレオ感の調整に関する音声処理装置及び音声処理方法について説明する。
【００１９】
［音声処理システムの構成］
図１は、実施の形態１に係る音声処理装置１００を含む音声処理システムの機能ブロック図である。なお、図１の音声処理システムは、ステレオマイクロホン１０、ステレオスピーカ２０、及び音声処理装置１００を備える。
【００２０】
［ステレオマイクロホン］
ステレオマイクロホン１０は、右チャネル信号及び左チャネル信号を含むステレオ音声信号を収音する。ステレオマイクロホン１０は、左マイクロホン１０Ｌ及び右マイクロホン１０Ｒを含む。
【００２１】
左マイクロホン１０Ｌ及び右マイクロホン１０Ｒは、互いに第１距離（以下、ＭＤともいう）だけ離れて配置される。ステレオマイクロホン１０が収音したステレオ音声信号は、媒体３０を介して音声処理装置１００に送信される。媒体３０は、伝送媒体（例えばインターネット回線、放送電波等）であってもよいし、記録媒体（例えば光ディスク、半導体メモリ等）であってもよい。
【００２２】
スポーツ競技では、攻守の両エンドで、その競技に特徴的な音を発生することが多い。したがって、スポーツ競技の中継放送では、攻守の両エンド（例えばバスケットボールにおけるエンドライン）の近傍にステレオマイクロホン１０が配置されるとよい。このようにステレオマイクロホン１０が配置される場合、ＭＤは、スポーツの競技種別によって異なる。
【００２３】
図２は、競技種別と攻守方向の長さとＭＤとの関係の一例を示す表である。攻守方向とは、スポーツ競技において攻撃側の選手と守備側の選手とが向かい合う方向を意味する。競技エリアが矩形状である場合、攻守方向は、競技エリアの長手方向と一致することが多い。
【００２４】
図２において、ＭＤは、スポーツ競技の競技エリアにおける攻守方向の長さに応じて予め定められている。例えば、バスケットボールでは、攻守方向の長さが約２８ｍであり、ＭＤが約３０ｍである。また卓球では、攻守方向の長さが約２．７４ｍであり、ＭＤが約２．５ｍである。
【００２５】
ここで、ＭＤについてさらに詳細に説明する。図３は、実施の形態１におけるＭＤの一例を示す図であり、具体的にはバスケットボールにおけるステレオマイクロホン１０の配置例を示す図である。図４は、実施の形態１におけるＭＤの他の一例を示す図であり、具体的には卓球におけるステレオマイクロホン１０の配置例を示す図である。
【００２６】
バスケットボールでは、図３に示すように、左マイクロホン１０Ｌ及び右マイクロホン１０Ｒは、エンドライン近傍であって競技エリア１１外に配置される。この場合、ＭＤ（約３０ｍ）は、競技エリアの攻守方向の長さ（約２８ｍ）よりも少し長くなる。
【００２７】
卓球では、図４に示すように、左マイクロホン１０Ｌ及び右マイクロホン１０Ｒは、卓球台１２の短辺近傍に配置され、例えば卓球台１２に埋め込まれる。この場合、ＭＤ（約２．５ｍ）は、競技エリアの攻守方向の長さ（約２．７４ｍ）よりも少し短くなる。
【００２８】
［ステレオスピーカ］
ステレオスピーカ２０は、音声処理装置１００で信号処理されたスポーツ競技のステレオ音声信号を再生する。ステレオスピーカ２０は、左スピーカ２０Ｌ及び右スピーカ２０Ｒを含む。左スピーカ２０Ｌ及び右スピーカ２０Ｒは、互いに第２距離（以下、ＳＤともいう）だけ離れて配置される。
【００２９】
ここで、ＳＤについてさらに詳細に説明する。図５は、実施の形態１におけるＳＤの一例を示す図であり、具体的にはパブリックビューイング会場におけるステレオスピーカ２０の配置例を示す図である。図６は、実施の形態１におけるＳＤの他の一例を示す図であり、具体的には携帯端末におけるステレオスピーカ２０の配置例を示す図である。図７は、実施の形態１におけるＳＤの他の一例を示す図であり、具体的には家庭用のテレビ受像機におけるステレオスピーカ２０の配置例を示す図である。
【００３０】
図５に示すように、パブリックビューイング会場２１では、大画面２２に映像が表示される。左スピーカ２０Ｌ及び右スピーカ２０Ｒは、大画面２２を挟んで配置される。本実施の形態のパブリックビューイング会場２１では、ＳＤを約１０ｍとする。
【００３１】
図６に示すように、携帯端末２３は、ディスプレイ２４、左スピーカ２０Ｌ及び右スピーカ２０Ｒを備える。携帯端末２３は、例えば、スマートフォンあるいはタブレットコンピュータである。左スピーカ２０Ｌ及び右スピーカ２０Ｒは、ディスプレイ２４を挟んで配置される。本実施の形態の携帯帯端末２３では、ＳＤを約０．１ｍとする。
【００３２】
図７に示すように、テレビ受像機２５は、ディスプレイ２６、左スピーカ２０Ｌ及び右スピーカ２０Ｒを備える。左スピーカ２０Ｌ及び右スピーカ２０Ｒは、ディスプレイ２６の下方であって水平方向の端部近傍に配置される。本実施の形態のテレビ受像機２５では、ＳＤを約０．８ｍとする。
【００３３】
［音声処理装置］
音声処理装置１００は、ステレオ音声信号を処理し、処理されたステレオ音声信号をステレオスピーカに出力する。音声処理装置１００は、距離情報取得部１０１と、信号処理部１０２と、を備える。
【００３４】
距離情報取得部１０１は、ステレオマイクロホン間の第１距離（ＭＤ）及びステレオスピーカ間の第２距離（ＳＤ）に関する情報を取得する。例えば、距離情報取得部１０１は、ユーザインタフェースを介してリスナーから第１距離及び第２距離に関する情報を取得してもよい。また例えば、距離情報取得部１０１は、第１距離に関する情報を媒体３０を介して取得してもよい。この場合、第１距離に関する情報は、ステレオ音声信号に多重化されてもよいし、放送（あるいは配信）番組コンテンツの属性として多重化されてもよい。
【００３５】
第１距離及び第２距離に関する情報は、第１距離の値及び第２距離の値をそれぞれ含んでもよいし、第１距離及び第２距離の比の値を含んでもよい。また、第１距離及び第２距離に関する情報は、スポーツ競技の種別を示す情報及び再生機器の種別を示す情報を含んでもよい。この場合、距離情報取得部１０１は、図２に示すような競技種別と第１距離とを対応付ける競技距離情報及び機器種別と第２距離とを対応付ける機器距離情報を予め保持し、それらの情報を参照して、第１距離及び第２距離に関する情報に含まれる競技種別及び機器種別に対応する第１距離及び第２距離を取得してもよい。
【００３６】
信号処理部１０２は、ステレオマイクロホン１０で収音されたステレオ音声信号を、第１距離（ＭＤ）及び第２距離（ＳＤ）に応じて処理することで、ステレオ音声信号がステレオスピーカ２０から再生される際のステレオ感を調整する。具体的には、信号処理部１０２は、第１距離に対する第２距離の比率の値（ＳＤ／ＭＤ）が閾値（Ｔｈ）より小さい場合に、ステレオ感を増加させるための第１信号処理をステレオ音声信号に行う。また、信号処理部１０２は、第１距離に対する第２距離の比率の値（ＳＤ／ＭＤ）が閾値（Ｔｈ）より大きい場合に、ステレオ感を減少させるための第２信号処理をステレオ音声信号に行う。なお、第１距離に対する第２距離の比率の値（ＳＤ／ＭＤ）が閾値（Ｔｈ）と等しい場合には、信号処理部１０２は、第１信号処理及び第２信号処理のどちらをステレオ音声信号に行ってもよいし、第１信号処理及び第２信号処理のどちらも行わなくてもよい。
【００３７】
このとき、閾値Ｔｈとしては、予め定められた「１」近傍の値が用いられればよい。「１」近傍の値としては、０．５以上１．５以下の値が用いられればよい。例えば、閾値Ｔｈとして「１」が用いられる場合は、ＳＤ／ＭＤ＜１（つまりＭＤ＞ＳＤ）の場合に第１信号処理が行われ、ＳＤ／ＭＤ＞１（つまりＭＤ＜ＳＤ）の場合に第２信号処理が行われる。
【００３８】
本実施の形態では、第１信号処理は、ステレオスピーカ２０から出力される音のクロストーク成分を減衰させる処理であり、第２信号処理は、ステレオスピーカ２０から出力される音のクロストーク成分を増幅させる処理である。なお、第１信号処理及び第２信号処理の詳細については図面を用いて後述する。
【００３９】
［音声処理装置の動作］
次に、以上のように構成された音声処理装置１００の動作について説明する。図８は、実施の形態１に係る音声処理装置１００の処理動作を示すフローチャートである。
【００４０】
まず、距離情報取得部１０１は、第１距離及び第２距離に関する情報を取得する（Ｓ１０１）。次に、信号処理部１０２は、ＳＤ／ＭＤをＴｈと比較する（Ｓ１０２）。ここで、ＳＤ／ＭＤがＴｈより小さい場合（Ｓ１０２のＹ）、信号処理部１０２は、ステレオ音声信号に第１信号処理を実行する（Ｓ１０３）。一方、ＳＤ／ＭＤがＴｈ以上である場合（Ｓ１０２のＮ）、信号処理部１０２は、ステレオ音声信号に第２信号処理を実行する（Ｓ１０４）。
【００４１】
［第１信号処理］
ここで、図９〜図１２を参照しながら第１信号処理について具体的に説明する。図９は、実施の形態１における第１信号処理（Ｓ１０３）を示すフローチャートである。
【００４２】
図９に示すように、まず、信号処理部１０２は、ＳＤ／ＭＤに基づいて、第１信号処理のためのパラメータβを決定する（Ｓ１１１）。信号処理部１０２は、決定されたパラメータβに基づいて立体音響の伝達関数［ＴＬ，ＴＲ］を導出する（Ｓ１１２）。最後に、信号処理部１０２は、立体音響の伝達関数［ＴＬ，ＴＲ］をステレオ音声信号に適用する（Ｓ１１３）。
【００４３】
ここで、パラメータβ及び立体音響の伝達関数［ＴＬ，ＴＲ］について、図１０及び図１１を参照しながら説明する。図１０は、実施の形態１における第１信号処理の原理を説明するための図である。
【００４４】
図１０では、左スピーカからリスナーの左耳及び右耳に至る音の伝達関数がＬＤ及びＬＣと表され、右スピーカからリスナーの右耳及び左耳に至る音の伝達関数がＲＤ及びＲＣと表されている。また、仮想スピーカ（仮想音源）からリスナーの左耳に至る音の伝達関数がＬＶＤと表され、同じ仮想スピーカからリスナーの右耳に至る音の伝達関数がＬＶＣと表されている。ここでは、仮想スピーカの位置は、リスナーの顔の正面方向に対して９０度を有する左方向に固定されている。
【００４５】
式１は、図１０において、リスナーの左耳及び右耳に到達する音声信号の目標特性を示す式である。具体的には、式１は、左耳には入力信号ｓに伝達関数ＬＶＤを乗じた結果である左耳元信号ｌｅが仮想スピーカから到達し、右耳には入力信号ｓに伝達関数ＬＶＣを乗じた結果である右耳元信号ｒｅが仮想スピーカから到達するための目標特性を示している。
【００４６】
【数１】
0006988889.tif 000002
【００４７】
ここで、α及びβは、左右の耳に到達する音声信号の大きさを制御するためのパラメータである。具体的には、αは、左耳に到達する左耳元信号ｌｅの大きさを調整するための係数であり、βは、右耳に到達する右耳元信号ｒｅの大きさを調整するための係数である。
【００４８】
式１を変形することにより、立体音響の伝達関数［ＴＬ，ＴＲ］は、式２のように表される。式２では、立体音響の伝達関数［ＴＬ，ＴＲ］は、空間音響の伝達関数の行列式の逆行列に［ＬＶＤ×α，ＬＶＣ×β］の定数列を乗じたものである。
【００４９】
【数２】
0006988889.tif 000003
【００５０】
ここで、αがβより十分大きい場合、左耳に到達する左耳元信号ｌｅの大きさが右耳に到達する右耳元信号ｒｅの大きさより十分大きい。つまり、左耳に大きな左耳元信号ｌｅが到達し右耳にはほとんど右耳元信号ｒｅが到達しない。この場合に、入力信号ｓとして左チャネル信号が用いられれば、左チャネル信号が右耳よりも左耳により多く到達する。つまり、クロストーク成分の量が減少するのでステレオ感が増加する。
【００５１】
一方、αとβとが略同一である場合、左耳に到達する左耳元信号ｌｅの大きさが右耳に到達する右耳元信号ｒｅの大きさと略同一となる。したがって、この場合に入力信号ｓとして左チャネル信号が用いられれば、左チャネル信号が右耳にも多く到達する。つまり、クロストーク成分の量が減少しないのでステレオ感が増加しない。
【００５２】
ここで、α＝１−β（０≦β≦０．５）と定義した場合、βが０．５から減少するほどステレオ感が増加する。そこで、本実施の形態では、ＳＤ／ＭＤに応じて、第１信号処理のためのパラメータβを調整することでステレオ感を調整する。
【００５３】
図１１は、実施の形態１におけるＳＤ／ＭＤと第１信号処理のためのパラメータβとの関係の例を示すグラフである。図１１において、横軸はＳＤ／ＭＤの値を示し、縦軸はパラメータβの値を示す。ＳＤ／ＭＤとβとの関係として、ライン１５１及びライン１５２の２つの例が示されている。
【００５４】
ライン１５１では、βとＳＤ／ＭＤとは正比例の関係にある。ＳＤ／ＭＤが「０」の場合にβは「０」であり、ＳＤ／ＭＤが「１」の場合にβは「０．５」である。
【００５５】
一方、ライン１５２では、ＳＤ／ＭＤがａ未満（０＜ａ＜１）の場合にβとＳＤ／ＭＤとが正比例し、ＳＤ／ＭＤがａ以上の場合に、βはＳＤ／ＭＤによらず一定値（０．５）をとる。この場合、ＳＤが所定距離以上確保されるときに、ステレオ感は特に強調されない。
【００５６】
ライン１５１及びライン１５２のいずれの場合も、βは、ＳＤ／ＭＤに対して単調非減少（広義の単調増加）である。この場合、ＳＤ／ＭＤが減少するほど、ステレオスピーカ２０から出力される音のクロストーク成分を減衰させることができ、ステレオ感を増加させることができる。
【００５７】
信号処理部１０２は、図９のステップＳ１１１において、このように予め定められたβとＳＤ／ＭＤとの関係（ライン１５１、１５２等）に基づいてパラメータβを決定する。
【００５８】
なお、βとＳＤ／ＭＤとの関係は、図９に示す関係に限定されない。例えば、βとＳＤ／ＭＤとの関係は、ステップ関数で表されてもよい。また、βとＳＤ／ＭＤとの関係は、どのような形式で保持されてもよい。例えば、βとＳＤ／ＭＤとの関係は、数式の形式で保持されてもよいし、テーブル形式で保持されてもよい。
【００５９】
例えば、バスケットボールの競技で収音されたステレオ音声信号をパブリックビューイング会場で再生する場合、ＳＤ／ＭＤとして０．３３（＝１０／３０）が得られる。この場合、信号処理部１０２は、ＳＤ／ＭＤが１（閾値）より小さいので、例えばライン１５１を参照して、ＳＤ／ＭＤ＝０．３３に対応するβ＝０．１６５を決定し、さらにα＝１−β＝０．８３５と決定する。
【００６０】
信号処理部１０２は、図９のステップＳ１１２において、ＳＤ／ＭＤに基づいて決定されたパラメータを用いて、式２に従って立体音響の伝達関数［ＴＬ，ＴＲ］を導出する。そして、信号処理部１０２は、図９のステップＳ１１３において、導出された伝達関数［ＴＬ，ＴＲ］をステレオ音声信号に適用する。
【００６１】
ステレオ音声信号への伝達関数［ＴＬ，ＴＲ］の適用について、図１２を参照しながら説明する。図１２は、実施の形態１における第１信号処理を説明するための図である。具体的には、図１２は、ステレオ音声信号への伝達関数［ＴＬ，ＴＲ］の適用を説明するための図である。
【００６２】
図１２に示すように、信号処理部１０２は、左スピーカ２０Ｌのために、左チャネル信号に伝達関数ＴＬを適用し、右チャネル信号に伝達関数ＴＲを適用する。このように適用された信号に基づいて左スピーカ２０Ｌから音が出力される。さらに、信号処理部１０２は、右スピーカ２０Ｒのために、右チャネル信号に伝達関数ＴＬを適用し、左チャネル信号に伝達関数ＴＲを適用する。
【００６３】
このように適用された信号に基づいて右スピーカ２０Ｒから音が出力される。これにより、ステレオ音声信号がリスナーの左側及び右側の仮想音源からリスナーの左耳及び右耳に到達する立体的な音場が実現される。
【００６４】
［第２信号処理］
次に、図１３〜図１５を参照しながら第２信号処理について具体的に説明する。図１３は、実施の形態１における第２信号処理（Ｓ１０４）を示すフローチャートである。
【００６５】
図１３に示すように、まず、信号処理部１０２は、ＳＤ／ＭＤに基づいて、第２信号処理のためのパラメータである重み係数ｗを導出する（Ｓ１２１）。
【００６６】
ここで、ＳＤ／ＭＤと重み係数ｗとの関係について図１４を参照しながら説明する。図１４は、実施の形態１におけるＳＤ／ＭＤと第２信号処理のためのパラメータとの関係の例を示すグラフである。図１４において、横軸はＳＤ／ＭＤを示し、縦軸は重み係数ｗを示す。ＳＤ／ＭＤとｗとの関係として、ライン１６１が一例として示されている。
【００６７】
ライン１６１では、以下の式３が満たされている。このとき、ｗは、ＳＤ／ＭＤに対して単調非減少（広義の単調増加）である。つまり、ＳＤ／ＭＤが増加すればｗは少なくとも減少はしない。
【００６８】
【数３】
0006988889.tif 000004
【００６９】
信号処理部１０２は、このようなＳＤ／ＭＤと重み係数ｗとの関係を参照して、ＳＤ／ＭＤから重み係数ｗを導出する。例えば、卓球の競技で収音されたステレオ音声信号をパブリックビューイング会場で再生する会場で再生する場合、ＳＤ／ＭＤとして４（＝１０／２．５）が得られる。この場合、ＳＤ／ＭＤが１（閾値）よりも大きいので、例えば信号処理部１０２は、式３にＳＤ／ＭＤ＝４を代入してｗ＝０．３７５を算出する。
【００７０】
次に、信号処理部１０２は、導出された重み係数ｗに基づいてステレオ信号を混合する（Ｓ１２２）。つまり、信号処理部１０２は、左スピーカ２０Ｌ及び右スピーカ２０Ｒのために、左チャネル信号及び右チャネル信号を重み係数ｗに基づいて混合する。
【００７１】
このステレオ音声信号の混合について図１５を参照しながら具体的に説明する。図１５は、実施の形態１における第２信号処理を説明するための図である。
【００７２】
図１５に示すように、信号処理部１０２は、左スピーカ２０Ｌのために、左チャネル信号に１−ｗを乗じた結果に、右チャネル信号にｗを乗じた結果を加算する。さらに、信号処理部１０２は、右スピーカ２０Ｒのために、右チャネル信号に１−ｗを乗じた結果に、左チャネル信号にｗを乗じた結果を加算する。このように重み係数ｗに基づいてステレオ音声信号が混合され、混合された信号がステレオスピーカ２０から出力される。
【００７３】
このように、ステレオ信号を混合することで、左チャネル信号がリスナーの右耳に到達する量が増加し、右チャネル信号がリスナーの左耳に到達する量が増加する。つまり、ステレオスピーカ２０から出力される音のクロストーク成分が増幅され、ステレオ感が減少する。
【００７４】
ここでは、ＳＤ／ＭＤが増加するほど重み係数ｗが増加する。そして、重み係数ｗが増加するほどステレオ音声信号の混合量が増加する。つまり、ＳＤ／ＭＤが増加するほど、ステレオスピーカ２０から出力される音のクロストーク成分を増幅することができ、ステレオ感を減少させることができる。
【００７５】
［効果等］
以上のように、本実施の形態に係る音声処理装置１００は、ステレオマイクロホン１０間の第１距離及びステレオスピーカ２０間の第２距離に関する情報を取得する距離情報取得部１０１と、ステレオマイクロホンで収音されたステレオ音声信号を、第１距離及び第２距離に応じて処理することで、ステレオ音声信号がステレオスピーカから再生される際のステレオ感を調整する信号処理部１０２と、を備える。
【００７６】
これにより、第１距離及び第２距離に応じてステレオ音声信号を処理することで、ステレオ感を調整することができる。したがって、収音環境及び再生環境に適したステレオ感を実現することができ、臨場感が豊かな音声再生を実現することができる。
【００７７】
また、本実施の形態に係る音声処理装置１００において、信号処理部１０２は、第１距離に対する第２距離の比率の値が閾値より小さい場合に、ステレオ感を増加させるための第１信号処理をステレオ音声信号に行ってもよい。
【００７８】
これにより、ステレオマイクロホン１０間の第１距離に対してステレオスピーカ２０間の第２距離が小さい場合に、ステレオ感を増加させることで、収音された方向から音が聴こえるようにステレオ音声信号を再生することができる。その結果、より臨場感が豊かな音声再生を実現することができる。
【００７９】
また、本実施の形態に係る音声処理装置１００において、第１信号処理は、ステレオスピーカ２０から出力される音のクロストーク成分を減衰させる処理であってもよい。
【００８０】
これにより、左チャネル信号がリスナーの右耳に到達する量を減少させ、右チャネル信号がリスナーの左耳に到達する量を減少させることができるので、ステレオ感を増加させることができる。
【００８１】
また、本実施の形態に係る音声処理装置１００において、第１信号処理では、第１距離に対する第２距離の比率の値が減少するほどステレオ感を増加させてもよい。
【００８２】
これにより、第１距離に対して第２距離が小さいほどステレオ感を増加させることができ、収音された方向から音が聴こえるようにステレオ音声信号を再生することができる。その結果、より臨場感が豊かな音声再生を実現することができる。
【００８３】
また、本実施の形態に係る音声処理装置１００において、信号処理部１０２は、第１距離に対する第２距離の比率の値が閾値より大きい場合に、ステレオ感を減少させるための第２信号処理をステレオ音声信号に行ってもよい。
【００８４】
これにより、ステレオマイクロホン１０間の第１距離に対してステレオスピーカ２０間の第２距離が大きい場合に、ステレオ感を減少させることで、収音された方向から音が聴こえるようにステレオ音声信号を再生することができる。その結果、より臨場感が豊かな音声再生を実現することができる。
【００８５】
また、本実施の形態に係る音声処理装置１００において、第２信号処理は、ステレオスピーカ２０から出力される音のクロストーク成分を増幅させる処理であってもよい。
【００８６】
これにより、左チャネル信号がリスナーの右耳に到達する量を増加させ、右チャネル信号がリスナーの左耳に到達する量を増加させることができるので、ステレオ感を減少させることができる。
【００８７】
また、本実施の形態に係る音声処理装置１００において、第２信号処理では、第１距離に対する第２距離の比率の値が増加するほどステレオ感を減少させてもよい。
【００８８】
これにより、第１距離に対して第２距離が大きいほどステレオ感を減少させることができ、収音された方向から音が聴こえるようにステレオ音声信号を再生することができる。その結果、より臨場感が豊かな音声再生を実現することができる。
【００８９】
（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、ステレオ感を増加させるための第１信号処理が実施の形態１と異なる。具体的には、本実施の形態の第１信号処理では、ステレオ感は、リスナーから２つの仮想音源に向かう２つの方向の角度によって調整される。以下に、実施の形態１と異なる点を中心に本実施の形態について図面を参照しながら具体的に説明する。
【００９０】
［音声処理システムの構成］
本実施の形態に係る音声処理システムについて図１を参照して説明する。本実施の形態に係る音声処理システムは、音声処理装置１００及び信号処理部１０２の代わりに音声処理装置２００及び信号処理部２０２を備える。実施の形態２の他の構成要素については、実施の形態１と同様であるので、説明を適宜省略する。
【００９１】
信号処理部２０２は、第１距離に対する第２距離の比率の値（ＳＤ／ＭＤ）が閾値（Ｔｈ）より小さい場合に、ステレオ感を増加させるための第１信号処理をステレオ音声信号に行う。また、信号処理部１０２は、第１距離に対する第２距離の比率の値（ＳＤ／ＭＤ）が閾値（Ｔｈ）より大きい場合に、ステレオ感を減少させるための第２信号処理をステレオ音声信号に行う。
【００９２】
本実施の形態では、第１信号処理は、リスナーから２つの仮想音源に向かう２つの方向の角度を増加させるための処理である。ここで、２つの仮想音源は、ステレオスピーカ２０から出力される音によって定位する。
【００９３】
［音声処理装置の動作］
次に、以上のように構成された音声処理装置２００の動作について説明する。なお、音声処理装置２００の全体的な処理は、実施の形態１の図８と実質的に同一であるので、図示及び説明を省略する。
【００９４】
［第１信号処理］
ここで、図１６を参照しながら第１信号処理について具体的に説明する。図１６は、実施の形態２における第１信号処理（Ｓ１０３）を示すフローチャートである。
【００９５】
図１６に示すように、まず、信号処理部２０２は、ＳＤ／ＭＤに基づいて、第１信号処理のためのパラメータである開き角を決定する（Ｓ２１１）。開き角とは、リスナーの顔の正面方向に対する仮想音源の方向の角度を意味する。信号処理部２０２は、決定された開き角に対応する立体音響の伝達関数［ＴＬ，ＴＲ］を取得する（Ｓ２１２）。最後に、信号処理部２０２は、立体音響の伝達関数［ＴＬ，ＴＲ］をステレオ音声信号に適用する（Ｓ２１３）。
【００９６】
ここで、開き角及び立体音響の伝達関数［ＴＬ，ＴＲ］について、図１７〜図２０を参照しながら説明する。図１７及び図１８は、実施の形態２における第１信号処理の原理を説明するための図である。
【００９７】
図１７では、仮想スピーカ（仮想音源）は、リスナーの顔の正面方向に対して４５度を有する方向に配置されている。仮想スピーカからリスナーの左耳に至る音の伝達関数がＬＶＤ４５と表され、同じ仮想スピーカからリスナーの右耳に至る音の伝達関数をＬＶＣ４５が表されている。
【００９８】
このように開き角が４５度の場合、仮想スピーカの開き角は実際のステレオスピーカの開き角よりも大きいのでステレオ感が増加する。このときの立体音響の伝達関数［ＴＬ，ＴＲ］は、式４によって導出される。
【００９９】
【数４】
0006988889.tif 000005
【０１００】
図１８では、仮想スピーカは、リスナーの顔の正面方向に対して６０度を有する方向に配置されている。仮想スピーカからリスナーの左耳に至る音の伝達関数がＬＶＤ６０と表され、同じ仮想スピーカからリスナーの右耳に至る音の伝達関数がＬＶＣ６０と表されている。
【０１０１】
このように開き角が６０度の場合、仮想スピーカの開き角は実際のステレオスピーカの開き角よりも大きいのでステレオ感が増加する。このとき、立体音響の伝達関数［ＴＬ，ＴＲ］は、式５によって導出される。
【０１０２】
【数５】
0006988889.tif 000006
【０１０３】
本実施の形態では、信号処理部２０２は、例えば、複数の開き角と複数の立体音響の伝達関数とを対応付ける情報を保持している。この場合、信号処理部２０２は、保持された情報を参照して、ステップＳ２１１で決定された開き角に対応する立体音響の伝達関数を取得することができる。
【０１０４】
図１９は、実施の形態２におけるＳＤ／ＭＤと第１信号処理のためのパラメータとの関係の例を示すグラフである。図１９において、横軸はＳＤ／ＭＤを示し、縦軸はパラメータである開き角を示す。ＳＤ／ＭＤと開き角との関係として、ライン１７１及びライン１７２の２つの例が示されている。
【０１０５】
ライン１７１では、開き角とＳＤ／ＭＤとは比例の関係である。ＳＤ／ＭＤが「０」の場合に開き角は９０度であり、ＳＤ／ＭＤが「１」の場合に開き角はθSLである。
【０１０６】
一方、ライン１７２では、ＳＤ／ＭＤがｂ未満（０＜ｂ＜１）の場合に開き角とＳＤ／ＭＤとが比例し、ＳＤ／ＭＤがｂ以上の場合に、開き角はＳＤ／ＭＤによらず一定値（θSL）をとる。
【０１０７】
ライン１７１及びライン１７２のいずれの場合も、開き角は、ＳＤ／ＭＤに対して単調非増加（広義の単調減少）である。つまり、ＳＤ／ＭＤが増加すれば開き角は少なくとも増加はしない。このような場合、ＳＤ／ＭＤが減少するほど、開き角を増加させることができ、ステレオ感を増加させることができる。
【０１０８】
ここで、θSLについて図２０を参照しながら説明する。図２０に示すように、θSLは、実際の左スピーカ２０Ｌ及び右スピーカ２０Ｒの開き角に相当し、リスナーの位置と左スピーカ２０Ｌ及び右スピーカ２０Ｒとの位置によって定められる。θSLは、以下の式６によって求めることができる。
【０１０９】
【数６】
0006988889.tif 000007
【０１１０】
ここで、ＳＬＤは、左スピーカ２０Ｌ及び右スピーカ２０Ｒを結ぶ線分と直交する方向におけるリスナーとステレオスピーカ２０との距離を表す。ＳＬＤは、再生環境に応じて予め想定される値である。ＳＬＤに関する情報は、ＭＤ及びＳＤに関する情報と同様に取得されてもよい。
【０１１１】
なお、ＳＤ／ＭＤと開き角との関係は、図１９のライン１７１及び１７２に限定されない。例えば、ステレオスピーカの開き角は、競技会場におけるステレオマイクロホン及びリスナーの位置関係と一致するように求められてもよい。
【０１１２】
［効果等］
以上のように、本実施の形態に係る音声処理装置２００において、第１信号処理は、リスナーから２つの仮想音源に向かう２つの方向の角度を増加させるための処理であり、２つの仮想音源は、ステレオスピーカ２０から出力される音によって定位する。
【０１１３】
これにより、ステレオマイクロホン１０間の第１距離に対してステレオスピーカ２０間の第２距離が小さい場合に、２つの仮想音源の方向をステレオ音声信号が収音された方向に近づけることができる。したがって、臨場感が豊かな音声再生を実現することができる。
【０１１４】
（他の実施の形態）
以上、本発明の１つまたは複数の態様に係る音声処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つまたは複数の態様の範囲内に含まれてもよい。
【０１１５】
例えば、音声処理装置は、実施の形態１の第１信号処理と実施の形態２の第１信号処理とを組み合わせてもよい。つまり、第１信号処理において、パラメータβと開き角との両方が調整されてもよい。例えば、ＳＤ／ＭＤに応じて開き角が４５度と決定された場合は、上記式４において、ＬＶＣ４５にＳＤ／ＭＤに応じて決定されたβを掛け、かつ、ＬＶＤ４５にα（＝１−β）を掛けて、立体音響の伝達関数［ＴＬ，ＴＲ］が導出されてもよい。また例えば、ＳＤ／ＭＤに応じて開き角が６０度と決定された場合は、上記式５において、ＬＶＣ６０にＳＤ／ＭＤに応じて決定されたβを掛け、かつ、ＬＶＤ６０にα（＝１−β）を掛けて、立体音響の伝達関数［ＴＬ，ＴＲ］が導出されてもよい。
【０１１６】
なお、上記各実施の形態では、ＳＤ／ＭＤが閾値よりも小さい場合に第１信号処理が行われ、ＳＤ／ＭＤが閾値よりも大きい場合に第２信号処理が行われていたが、必ずしも第１信号処理及び第２信号処理の両方が行われなくてもよい。例えば、ＳＤ／ＭＤが閾値よりも小さい場合に第１信号処理が行われ、ＳＤ／ＭＤが閾値よりも大きい場合に第２信号処理が行われなくてもよい。逆に、ＳＤ／ＭＤが閾値よりも小さい場合に第１信号処理が行われず、ＳＤ／ＭＤが閾値よりも大きい場合に第２信号処理が行われてもよい。このような場合であっても、ＭＤに対してＳＤが小さい場合、及び、ＭＤに対してＳＤが大きい場合のいずれかにおいて、収音環境及び再生環境に適したステレオ感を実現することができる。
【０１１７】
なお、上記各実施の形態では、左右の仮想音源がリスナーに対して対称に配置されるようにステレオ音声信号が処理されていたが、左右の仮想音源の配置は非対称であってもよい。
【０１１８】
なお、上記各実施の形態の第１信号処理では、ＳＤ／ＭＤに基づいて、パラメータが決定されていたが、パラメータは決定されなくてもよい。例えば、ＳＤ／ＭＤから直接的に立体音響の伝達関数が導出されてもよい。この場合、複数のＳＤ／ＭＤに複数の立体音響の伝達関数を対応付ける情報が予め保持されればよい。
【０１１９】
なお、上記実施の形態２では、第１信号処理において開き角が用いられていたが、第２信号処理でも開き角を用いてステレオ感が調整されてもよい。例えば、第２信号処理において、開き角がθSLよりも小さくなるように決定されてもよい。これにより、仮想スピーカの開き角を実際の左スピーカ２０Ｌ及び右スピーカ２０Ｒの開き角よりも小さくすることができ、ステレオ感を減少させることができる。
【０１２０】
また、上記各実施の形態における音声処理装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、音声処理装置１００は、距離情報取得部１０１と、信号処理部１０２と、を有するシステムＬＳＩから構成されてもよい。
【０１２１】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１２２】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１２３】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１２４】
また、上記各実施の形態おける音声処理装置が備える構成要素は、通信ネットワークを介して接続された複数の装置に分散して備えられてもよい。
【０１２５】
また、本発明の一態様は、このような音声処理装置だけではなく、音声処理装置に含まれる特徴的な構成要素をステップとする音声処理方法であってもよい。また、本発明の一態様は、音声処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
【０１２６】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の音声処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１２７】
すなわち、このプログラムは、コンピュータに、ステレオマイクロホン間の第１距離及びステレオスピーカ間の第２距離に関する情報を取得する取得ステップと、前記ステレオマイクロホンで収音されたステレオ音声信号を、前記第１距離及び前記第２距離に応じて処理することで、前記ステレオ音声信号が前記ステレオスピーカから再生される際のステレオ感を調整する信号処理ステップと、を含む、音声処理方法を実行させる。
【産業上の利用可能性】
【０１２８】
本発明に係る音声処理装置は、スポーツ中継における受信端末等に適用することができる。
【符号の説明】
【０１２９】
１０  ステレオマイクロホン
１０Ｌ  左マイクロホン
１０Ｒ  右マイクロホン
１１  競技エリア
１２  卓球台
２０  ステレオスピーカ
２０Ｌ  左スピーカ
２０Ｒ  右スピーカ
２１  パブリックビューイング会場
２２  大画面
２３  携帯端末
２５  テレビ受像機
２４、２６  ディスプレイ
３０  媒体
１００、２００  音声処理装置
１０１  距離情報取得部
１０２、２０２  信号処理部
【図１】
0006988889.tif 000008
【図２】
0006988889.tif 000009
【図３】
0006988889.tif 000010
【図４】
0006988889.tif 000011
【図５】
0006988889.tif 000012
【図６】
0006988889.tif 000013
【図７】
0006988889.tif 000014
【図８】
0006988889.tif 000015
【図９】
0006988889.tif 000016
【図１０】
0006988889.tif 000017
【図１１】
0006988889.tif 000018
【図１２】
0006988889.tif 000019
【図１３】
0006988889.tif 000020
【図１４】
0006988889.tif 000021
【図１５】
0006988889.tif 000022
【図１６】
0006988889.tif 000023
【図１７】
0006988889.tif 000024
【図１８】
0006988889.tif 000025
【図１９】
0006988889.tif 000026
【図２０】
0006988889.tif 000027