(57)【要約】  本発明の一形態の音声信号処理システム（１）は、入力音声信号を、入力音声信号の再生位置を示すトラック情報に基づいて、複数のレンダリング方式から一つのレンダリング方式を選択して、当該一つのレンダリング方式を用いてレンダリングする音声信号処理部（１０）を具備する。
2018173413.tif 000002
【特許請求の範囲】
【請求項１】
一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記処理部は、上記音声信号、上記音声信号に割り当てられた音像位置、および上記音声信号に付随する付随情報の少なくとも一つに基づいて上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。
【請求項２】
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリアに含まれているか否かに基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項１に記載の音声信号処理装置。
【請求項４】
上記受聴エリアは、聴取者の前方を含むエリアであることを特徴とする請求項３に記載の音声信号処理装置。
【請求項５】
上記音声信号に付随する付随情報は、当該音声信号に含まれる音声の種類を示す情報を含んでおり、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示すか否かに基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項１に記載の音声信号処理装置。
【請求項６】
上記音声信号に付随する付随情報は、当該音声信号に含まれる音声の種類を示す情報を含んでおり、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリアに含まれている場合、および、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示す場合には、上記複数のレンダリング方式のうちの最もＳ／Ｎ比が低いレンダリング方式を上記一つのレンダリング方式として選択し、それ以外の場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項１に記載の音声信号処理装置。
【請求項７】
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧に基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項１に記載の音声信号処理装置。
【請求項８】
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧が、閾値より大きい場合には、当該最大再生音圧に応じて上記一つのレンダリング方式を選択し、当該最大再生音圧が、閾値以下である場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項１に記載の音声信号処理装置。
【請求項９】
上記複数のレンダリング方式は、上記音声信号を再生位置に応じた音圧の比率で各上記音声出力装置から出力させる第一のレンダリング方式と、再生位置に応じた加工がされた上記音声信号を各上記音声出力装置から出力させる第二のレンダリング方式とを含むことを特徴とする請求項１から８までの何れか１項に記載の音声信号処理装置。
【請求項１０】
上記第一のレンダリング方式は、音圧パンニングであり、
上記第二のレンダリング方式は、トランスオーラルであることを特徴とする請求項９に記載の音声信号処理装置。
【請求項１１】
上記複数の音声出力装置が、複数のスピーカユニットを一定間隔で直線上に並べたアレイスピーカである場合、上記複数のレンダリング方式には、波面合成再生方式が含まれることを特徴とする請求項１から１０までの何れか１項に記載の音声信号処理装置。
【請求項１２】
請求項１から１１までの何れか１項に記載の音声信号処理装置と、
上記複数の音声出力装置と、
を備えていることを特徴とする音声信号処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置及び音声信号処理システムに関する。
【背景技術】
【０００２】
現在、放送波、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray（登録商標） Disc）などのディスクメディア、インターネットを介すなどして、ユーザはマルチチャンネル音声（サラウンド音声）を含むコンテンツを簡単に入手できるようになった。映画館等においてはＤｏｌｂｙ  Ａｔｍｏｓに代表されるオブジェクトベースオーディオによる立体音響システムが多く配備され、更に日本においては、次世代放送規格に２２．２ｃｈオーディオが採用されるなど、ユーザがマルチチャンネルコンテンツに触れる機会は格段に多くなった。従来のステレオ方式の音声信号に関しても、マルチチャンネル化手法が様々検討されており、ステレオ信号の各チャンネル間の相関に基づいてマルチチャネル化する技術が特許文献１に開示されている。【０００３】
マルチチャンネル音声を再生するシステムについても、前述の映画館やホールのような大型音響設備が配された施設以外でも、家庭で手軽に楽しめるようなシステムが一般的となりつつある。具体的には、ユーザ（聴取者）は、国際電気通信連合（International Telecommunication Union；ＩＴＵ）が推奨する配置基準に基づいて複数のスピーカを配置することで、５．１ｃｈや７．１ｃｈなどのマルチチャンネル音声を聴取する環境を家庭内に構築することができる。また、少ないスピーカ数を用いてマルチチャンネルの音像定位を再現する手法なども研究されている（非特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国公開特許公報「特開２０１３−０５５４３９号公報（２０１３年３月２１日公開）」
【特許文献２】日本国公開特許公報「特開平１１−１１３０９８号公報（１９９９年４月２３日）」
【非特許文献】
【０００５】
【非特許文献１】Virtual Sound Source Positioning Using Vector Base AmplitudePanning, VILLE PULKKI, J. Audio. Eng., Vol. 45, No. 6, 1997 June
【非特許文献２】Prospects for Transaural Recording, DUANE H. COOPER AND JERALD L. BAUCK, J. Audio. Eng., Vol. 3, 1989
【非特許文献３】A. J. Berkhout, D. de Vries, and P. Vogel, “Acoustic control by wave field synthesis”, J. Acoust. Soc. Am. Volume 93(5), US, Acoustical Society of America, May 1993, pp.2764-2778
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の通り、５．１ｃｈ音声を再生する音声再生システムはＩＴＵが推奨する配置基準に基づいてスピーカを配置することで、前後左右の音像の定位感や音による包まれ感を享受できる。しかしながら、ユーザ周囲を取り囲むようにスピーカを配置することが求められる。また、配置位置の自由度もあまり高くない。これらのことから、聴取する部屋の形状や家具の配置によっては導入しづらい場合がある。例えば、５．１ｃｈ再生システムの推奨スピーカ配置位置に大型の家具や壁などがある場合には、ユーザは推奨配置外にスピーカを配せざるを得ず、結果として本来の音響効果を享受することができない。【０００７】
マルチチャネルオーディオを、より少ないスピーカで再生する方法も種々検討されており、非特許文献２や特許文献２に示されるトランスオーラル再生方式では、最低２つのスピーカを用いることで、全方位の音像を再生できる。同方式は、例えばユーザ前方に配したステレオスピーカのみを用いて全方位の音声を再生できるというメリットはある。しかしながら、原理的に特定の受聴位置（聴取位置）を想定し、その位置で音響効果を得ることを想定した技術である。そのため、想定された受聴位置から受聴者（聴取者）が外れた場合、音像が想定外の位置に定位したり、そもそも定位が感じられないということが起こり得る。また、受聴点での効果を複数人が享受することも難しい。【０００８】
マルチチャネルオーディオをより少ないチャネル数へダウンミックスする方法として、例えばステレオ（２ｃｈ）へのダウンミックスがある。また、同方法として、非特許文献１に示されるＶＢＡＰ（Vector Base Amplitude Panning）に基づくレンダリングは、配置すべきスピーカ数を削減し、配置の自由度を比較的高めることができる。また、配置されたスピーカ間に定位する音像に関しては、その定位感、音質共に良好なものとなる。しかしながら、これらスピーカ間に位置しない音像については、本来の位置に定位させることが出来ない。【０００９】
そこで、本発明の一態様は、ユーザに対し、その聴取状況下において好適なレンダリング方式でレンダリングした音声を提示することができる音声信号処理装置、及び当該装置を備えた音声信号処理システムを実現することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様に係る音声信号処理装置は、一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、上記処理部は、上記音声信号、上記音声信号に割り当てられた音像位置、および上記音声信号に付随する付随情報の少なくとも一つに基づいて上記一つのレンダリング方式を選択することを特徴としている。【００１１】
また、上記の課題を解決するために、本発明の一態様に係る音声信号処理システムは、上述した構成の音声信号処理装置と、上記複数の音声出力装置と、を備えていることを特徴としている。
【発明の効果】
【００１２】
本発明の一態様によれば、ユーザに対し、その聴取状況下において好適なレンダリング方式でレンダリングした音声を提示することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１に係る音声信号処理システムの要部構成を示すブロック図である。
【図２】本発明の実施形態１に係る音声信号処理システムで使用するトラック情報の例を示した図である。
【図３】本発明の説明に使用する座標系を示す図である。
【図４】本発明の実施形態１に係る音声信号処理システムで使用するトラック情報の別例を示した図である。
【図５】本発明の実施形態１に係るレンダリング方式選択部の処理フローを示した図である。
【図６】レンダリング方式毎の聴取有効範囲を示した模式図である。
【図７】本発明の実施形態１に係るレンダリング方式選択部の別形態における処理フローを示した図である。
【図８】本発明の実施形態１に係る音声信号レンダリング部の処理フローを示した図である。
【図９】本発明の実施形態２に係る音声信号処理システムが具備するレンダリング方式選択部の処理フローを示した図である。
【図１０】重要な音声トラックである場合の受聴エリアを示した模式図である。
【図１１】本発明の実施形態３に係る音声信号処理システムが具備するレンダリング方式選択部の処理フローを示した図である。
【発明を実施するための形態】
【００１４】
〔実施形態１〕
以下、本発明の一実施形態について、図１から図８を用いて説明する。
【００１５】
図１は、本実施形態１における音声信号処理システム１の主要な構成を示すブロック図である。本実施形態１に係る音声信号処理システム１は、音声信号処理部１０（音声信号処理装置）と、音声出力部２０（複数の音声出力装置）とを備える。
【００１６】
＜音声信号処理部１０＞
音声信号処理部１０は、一つまたは複数の音声トラックの音声信号、および、当該音声信号に割り当てられた音像位置に基づいて、複数の音声出力部２０の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置である。具体的には、音声信号処理部１０は、一つまたは複数の音声トラックの音声信号を異なる２種類のレンダリング方式を用いてレンダリングする音声信号処理装置である。レンダリング処理後の音声信号は、音声信号処理部１０から音声出力部２０へ出力される。
【００１７】
音声信号処理部１０は、上記音声信号、上記音声信号に割り当てられた音像位置、および上記音声信号に付随する付随情報の少なくとも一つに基づいて複数のレンダリング方式の中から一つのレンダリング方式を選択するレンダリング方式選択部１０２（処理部）と、当該一つのレンダリング方式を用いて、当該音声信号をレンダリングする音声信号レンダリング部１０３（処理部）とを備える。
【００１８】
また、音声信号処理部１０は、図１に示すようにコンテンツ解析部１０１（処理部）を備える。コンテンツ解析部１０１は、後述するように、発音オブジェクト位置情報を特定する。特定された発音オブジェクト位置情報は、レンダリング方式選択部１０２が上記一つのレンダリング方式を選択するための情報として用いられる。
【００１９】
また、音声信号処理部１０は、図１に示すように記憶部１０４を備える。記憶部１０４は、レンダリング方式選択部１０２及び音声信号レンダリング部１０３が必要とする各種パラメータ、または生成した各種パラメータを記憶する。
【００２０】
以下、それぞれの構成について詳述する。
【００２１】
[コンテンツ解析部１０１]
コンテンツ解析部１０１は、ＤＶＤやＢＤなどのディスクメディア、ＨＤＤ（Hard Disc Drive）等に記録されている映像コンテンツまたは音声コンテンツに含まれる音声トラックとこれに付随する任意のメタデータ（情報）とを解析し、発音オブジェクト位置情報を求める。発音オブジェクト位置情報は、コンテンツ解析部１０１からレンダリング方式選択部１０２及び音声信号レンダリング部１０３に送られる。
【００２２】
本実施形態１では、コンテンツ解析部１０１が受け取る音声コンテンツは２つ以上の音声トラックを含む音声コンテンツであるものとする。また、この音声トラックは、ステレオ（２ｃｈ）や５．１ｃｈなどに採用されている「チャネルベース」の音声トラックであってもよい。あるいは、この音声トラックは、個々の発音オブジェクト単位を１トラックとし、この位置的・音量的変化を記述した付随情報（メタデータ）を付与した「オブジェクトベース」の音声トラックであってもよい。
【００２３】
「オブジェクトベース」の音声トラックの概念について説明する。オブジェクトベースに基づく音声トラックは、個々の発音オブジェクト単位で各トラックに記録、すなわちミキシングせずに記録しておき、プレイヤー（再生機）側でこれら発音オブジェクトを適宜レンダリングするものである。各々の規格やフォーマットにおいて差はあるものの、一般的には、これら発音オブジェクトには各々、いつ、どこで、どの程度の音量で発音されるべきかといったメタデータが紐づけられており、プレイヤーはこれに基づいて個々の発音オブジェクトをレンダリングする。
【００２４】
他方、「チャネルベース」の音声トラックは、従来のサラウンド等で採用されているものであり（例えば５．１ｃｈサラウンド）、予め規定された再生位置（スピーカの配置位置）から発音される前提で、個々の発音オブジェクトをミキシングした状態で記録されたトラックである。
【００２５】
なお、１コンテンツに含まれる音声トラックは、上記２種類の音声トラックのいずれか片方のみを含んでいても良いし、２種類の音声トラックが混在していても良い。
【００２６】
（発音オブジェクト位置情報）
発音オブジェクト位置情報について、図２を用いて説明する。
【００２７】
図２は、コンテンツ解析部１０１によって解析されて得られる、発音オブジェクト位置情報を含むトラック情報２０１の構成を概念的に示したものである。
【００２８】
コンテンツ解析部１０１は、コンテンツに含まれる音声トラック全てを解析し、図２に示すトラック情報２０１として再構成するものとする。
【００２９】
トラック情報２０１には、各音声トラックのＩＤと、その音声トラックの種別とが記録されている。
【００３０】
更にトラック情報２０１には、音声トラックがオブジェクトベースのトラックである場合、１つ以上の発音オブジェクト位置情報がメタデータとして付随している。発音オブジェクト位置情報は、再生時刻と、その再生時刻での音像位置（再生位置）とのペアで構成される。
【００３１】
他方、音声トラックがチャネルベースのトラックである場合も同様に、再生時刻と、その再生時刻での音像位置（再生位置）とのペアが記録されるが、チャネルベースのトラックである場合の再生時刻はコンテンツの開始から終了までとなり、また、その再生時刻での音像位置はチャネルベースにおいて予め規定された再生位置に基づく。
【００３２】
ここで、発音オブジェクト位置情報の一部として記録されている音像位置（再生位置）は、図３に示す座標系で表現されるものとする。ここで用いる座標系は、図３中の（ａ）の上面図で示すような、原点Ｏを中心とし、原点Ｏからの距離を動径ｒと、原点Ｏの正面を０°、右位置、左位置を各々９０°、−９０°とする方位角θと、図３中の（ｂ）の側面図で示すような、原点Ｏの正面を０°、原点Ｏの真上を９０°とする仰角φで示すものとし、音像位置及びスピーカの位置を（ｒ，θ，φ）と表記するものとする。以降の説明においては、特に断りが無い限り、音像位置及びスピーカの位置は図３の座標系を用いるものとする。
【００３３】
トラック情報２０１は例えばＸＭＬ（Extensible Markup Language）のようなマークアップ言語で記述されているものとする。
【００３４】
なお、本実施形態１では音声トラック乃至これに付随するメタデータから解析できる情報のうち、任意の時間での各発音オブジェクトの位置情報が特定できる情報のみをトラック情報として記録することとしている。しかしながら、トラック情報はこれ以外の情報を含んでも良いことは言うまでもない。例えば図４に示すように、トラック情報４０１のように、トラック毎に各時刻での再生音量情報を例えば０〜１０の１１段階で記録しても良い。
【００３５】
[レンダリング方式選択部１０２]
レンダリング方式選択部１０２は、コンテンツ解析部１０１で得られた発音オブジェクト位置情報に基づき、各音声トラックを、複数のレンダリング方式のうちの何れのレンダリング方式を用いてレンダリングするかを決定する。そして、決定した結果を示す情報を音声信号レンダリング部１０３に出力する。
【００３６】
ここで、本実施形態１では、説明をより分かりやすくするため、音声信号レンダリング部１０３が、レンダリング方式Ａとレンダリング方式Ｂという２種類のレンダリング方式（レンダリングアルゴリズム）を同時に駆動させるものとする。
【００３７】
以下に、図５を用いて、レンダリング方式選択部１０２の動作を説明する。図５は、レンダリング方式選択部１０２の動作を説明するフローチャートである。
【００３８】
レンダリング方式選択部１０２は、コンテンツ解析部１０１からトラック情報２０１（図２）を受け取ると、レンダリング方式選択処理を開始する（ステップＳ５０１）。
【００３９】
そして、レンダリング方式選択部１０２は、全ての音声トラックに対してレンダリング方式選択処理が行われたかを確認する（ステップＳ５０２）。全ての音声トラックに対してステップＳ５０３以降のレンダリング方式選択処理が完了していれば（ステップＳ５０２におけるＹＥＳ）、レンダリング方式選択部１０２は、レンダリング方式選択処理を終了する（ステップＳ５０６）。一方で、レンダリング方式選択処理が未処理の音声トラックがあれば（ステップＳ５０２におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ５０３に移行する。
【００４０】
ステップＳ５０３では、レンダリング方式選択部１０２は、トラック情報２０１から或る音声トラックの再生開始（トラック開始）から再生終了（トラック終了）までの期間における音像位置（再生位置）を全て確認し、当該期間における当該或る音声トラックの音声信号に割り当てられた音像位置の分布に基づいて、レンダリング方式を選択する。より具体的には、ステップＳ５０３では、レンダリング方式選択部１０２は、トラック情報２０１から或る音声トラックの再生開始から再生終了までの期間における音像位置（再生位置）を全て確認し、音像位置がレンダリング方式Ａにおけるレンダリング処理可能範囲内に含まれる時間ｔＡと、レンダリング方式Ｂにおけるレンダリング処理可能範囲内に含まれる時間ｔＢを求める。
【００４１】
ここで、レンダリング処理可能範囲は、特定のレンダリング方式における、音像を配置可能な範囲を示すものである。例えば、図６に各々のレンダリング方式における音像を配置可能な範囲を模式的に示す。図６中の（ａ）に示すように、スピーカ６０１、６０２が、各々−４５°、４５°に配されている際に、これらスピーカを用いて音圧パンニング方式によるレンダリングを行う場合は、その処理可能範囲は、スピーカ６０１、６０２の間の領域６０３となる。また、図６中の（ｂ）に示すように、同スピーカ６０１、６０２を用いて、トランスオーラル方式によるレンダリングを行う場合は、基本的にユーザの周囲全体の領域６０４をレンダリング処理可能範囲と定めることができる。また、図６中の（ｃ）に示すように、複数のスピーカユニットを一定間隔で直線上に並べたアレイスピーカ６０５を用いて非特許文献３に示されるような波面合成再生（Wave Field Synthesis；ＷＦＳ）方式で再生を行う場合は、スピーカアレイより後方の領域６０３を処理可能範囲と定めることが出来る。但し、本実施形態１では、処理可能範囲を、原点Ｏを中心とする半径ｒの同心円内の有限な範囲として説明している。
【００４２】
これらレンダリング処理可能範囲は、予め記憶部１０４に記録されており、適宜読み出しを行う。
【００４３】
更にステップＳ５０３では、レンダリング方式選択部１０２は、ｔＡとｔＢとを比較する。そして、ｔＡがｔＢより長い場合、すなわちレンダリング方式Ａにおけるレンダリング処理可能範囲内に含まれる時間が長い場合（ステップＳ５０３におけるＹＥＳ）、レンダリング方式選択部１０２は、ステップＳ５０４へ移行する。ステップＳ５０４では、レンダリング方式選択部１０２は、当該或る音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ａを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ａを用いてレンダリングするように指示する信号を出力する。
【００４４】
一方、ｔＢがｔＡ以上である場合、すなわち、レンダリング方式Ｂにおけるレンダリング処理可能範囲内に含まれる時間がレンダリング方式Ａと同等以上である場合（ステップＳ５０３におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ５０５へ移行する。ステップＳ５０５では、レンダリング方式選択部１０２は、当該或る音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ｂを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ｂを用いてレンダリングするように指示する信号を出力する。
【００４５】
このように本実施形態１では、音声トラック全体をレンダリング方式Ａ又はレンダリング方式Ｂのいずれかのレンダリング方式に固定することとしている。このように１つの音声トラック内でのレンダリング方式を１種類の方式に固定することにより、ユーザ（聴取者）が違和感なく聴取することができ、コンテンツへの没入感を高めることができる。すなわち、或る音声トラックの再生開始から再生終了までの間において、レンダリング方式が途中で切り替わるとユーザに違和感を与えることになり、映像コンテンツや音声コンテンツへの没入感を阻害されることになりかねない。しかしながら、本実施形態１のように１つの音声トラック内でのレンダリング方式を１種類の方式に固定することにより、そのような危惧を回避することができる。
【００４６】
しかしながら、本発明は１つの音声トラック内でレンダリング方式を固定する態様に限定されるものではない。例えば、１つの音声トラックを任意の時間単位に分割して分割トラックとし、その各々の分割トラックに対して図５の動作フローのレンダリング方式選択処理を適用することとしても良い。任意の時間単位とは、例えばコンテンツに対して付されているチャプター情報などであってもよいし、さらにチャプター内のシーンの切り替わりを解析し、シーン単位に分割して処理を適用することとしても良い。シーンの切り替わりは映像を解析することにより検知できるが、先述のメタデータを解析することによっても検知可能である。
【００４７】
上記では、音声トラック内の全ての音像位置が、レンダリング方式Ａあるいはレンダリング方式Ｂの何れかのレンダリング処理可能範囲に収まるものとして説明を行ったが、これに当てはまらない場合、すなわち、レンダリング方式Ａのレンダリング処理可能範囲にも、レンダリング方式Ｂのレンダリング処理可能範囲にも収まらないケースを考慮する場合、レンダリング方式選択部１０２は、図７に示すようなフローで処理するものとしても良い。
【００４８】
図７は、図５に示した動作フローの別態様の動作フローを示した図である。図７を用いて別フローを説明する。
【００４９】
図７の動作フローも、図５に示す動作フローと同じく、レンダリング方式選択部１０２は、トラック情報２０１を受け取ると、レンダリング方式選択処理を開始する（ステップＳ７０１）。
【００５０】
そして、レンダリング方式選択部１０２は、全ての音声トラックに対してレンダリング方式選択処理が行われたかを確認する（ステップＳ７０２）。全ての音声トラックに対してステップＳ７０３以降のレンダリング方式選択処理が完了していれば（ステップＳ７０２におけるＹＥＳ）、レンダリング方式選択部１０２は、レンダリング方式選択処理を終了する（ステップＳ７０８）。一方で、レンダリング方式選択処理が未処理のトラックがあれば（ステップＳ７０２におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ７０３に移行する。
【００５１】
ステップＳ７０３では、レンダリング方式選択部１０２は、トラック情報２０１から或る音声トラックの再生開始から再生終了までの音像位置（再生位置）を全て確認し、音像位置がレンダリング方式Ａにおけるレンダリング処理可能範囲内に含まれる時間ｔＡと、レンダリング方式Ｂにおけるレンダリング処理可能範囲内に含まれる時間ｔＢ、更には何れのレンダリング方式にも含まれない時間ｔＮｏｗｈｅｒｅを求める。
【００５２】
この場合、レンダリング方式Ａのレンダリング処理可能範囲内に含まれる時間ｔＡが最長、すなわちｔＡ＞ｔＢ、且つ、ｔＡ＞ｔＮｏｗｈｅｒｅ、であれば（ステップＳ７０３におけるＹＥＳ）、レンダリング方式選択部１０２は、ステップＳ７０４へ移行する。ステップＳ７０４では、レンダリング方式選択部１０２は、当該或る音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ａを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ａを用いてレンダリングするように指示する信号を出力する。
【００５３】
また、ステップＳ７０３において、ｔＡが最長ではない場合であって（ステップＳ７０３におけるＮＯ）、レンダリング方式Ｂのレンダリング処理可能範囲内に含まれる時間ｔＢが最長、すなわちｔＢ＞ｔＡ、且つ、ｔＢ＞ｔＮｏｗｈｅｒｅ、であれば（ステップＳ７０５におけるＹＥＳ）、レンダリング方式選択部１０２は、ステップＳ７０６へ移行する。ステップＳ７０６では、レンダリング方式選択部１０２は、当該或る音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ｂを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ｂを用いてレンダリングするように指示する信号を出力する。
【００５４】
また、ステップＳ７０５において、レンダリング方式Ａ、レンダリング方式Ｂの何れのレンダリング処理可能範囲内にも含まれない時間ｔＮｏｗｈｅｒｅが最長、すなわちｔＮｏｗｈｅｒｅ＞ｔＡ、且つ、ｔＮｏｗｈｅｒｅ＞ｔＢである場合（ステップＳ７０５におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ７０７へ移行する。ステップＳ７０７では、レンダリング方式選択部１０２は、音声信号レンダリング部１０３に対して、当該或る音声トラックの音声信号をレンダリングしないように指示を出す。
【００５５】
なお、この別フローにおいて、ｔＡ＝ｔＢ＞ｔＮｏｗｈｅｒｅである場合には、ｔＡ及びｔＢの何れかを優先するようにレンダリング方式選択部１０２が予め設定されていてもよい。また、ｔＡ＝ｔＮｏｗｈｅｒｅ＞ｔＢである場合にはｔＡを、ｔＢ＝ｔＮｏｗｈｅｒｅ＞ｔＡである場合にはｔＢを優先するようにレンダリング方式選択部１０２が予め設定されていてもよい。
【００５６】
本実施形態１では選択可能なレンダリング方式は２種類として説明したが、３種類以上のレンダリング方式から選択可能なシステムとしても良いことは言うまでもない。
【００５７】
[音声信号レンダリング部１０３]
音声信号レンダリング部１０３は、入力音声信号と、レンダリング方式選択部１０２から出力された指示信号とに基づき、音声出力部２０から出力されるべき音声信号を構築する。
【００５８】
具体的には、音声信号レンダリング部１０３は、コンテンツに含まれる音声信号を受け、レンダリング方式選択部１０２からの指示信号に基づいたレンダリング方式によって音声信号をレンダリングし、更にミキシングした後に、音声出力部２０に出力する。
【００５９】
換言すれば、音声信号レンダリング部１０３は、２種類のレンダリングアルゴリズムを同時に駆動させ、レンダリング方式選択部１０２から出力された指示信号に基づいて、用いるレンダリングアルゴリズムを切り替えて、音声信号をレンダリングする。
【００６０】
ここで、レンダリングとは、コンテンツに含まれる音声信号（入力音声信号）を、音声出力部２０から出力されるべき信号に変換する処理を行うことをいう。
【００６１】
以下、音声信号レンダリング部１０３の動作を、図８に示すフローを用いて説明する。
【００６２】
図８は、音声信号レンダリング部１０３の動作を示すフローチャートである。
【００６３】
音声信号レンダリング部１０３は、入力音声信号と、レンダリング方式選択部１０２からの指示信号とを受け取ると、レンダリング処理を開始する（ステップＳ８０１）。
【００６４】
まず、音声信号レンダリング部１０３は、全ての音声トラックに対してレンダリング処理が行われたかを確認する（ステップＳ８０２）。ステップＳ８０２において、全ての音声トラックに対してステップＳ８０３以降のレンダリング処理が完了していれば（ステップＳ８０２におけるＹＥＳ）、音声信号レンダリング部１０３は、レンダリング処理を終了する（ステップＳ８０８）。一方で未処理の音声トラックがあれば（ステップＳ８０２におけるＮＯ）、音声信号レンダリング部１０３は、レンダリング方式選択部１０２からの指示信号に基づいたレンダリング方式を用いてレンダリングを行う。ここで、指示信号が、レンダリング方式Ａを示す場合には（ステップＳ８０３におけるレンダリング方式Ａ）、音声信号レンダリング部１０３は、レンダリング方式Ａを用いて音声信号をレンダリングするのに必要なパラメータを記憶部１０４から読み出し（ステップＳ８０４）、これに基づくレンダリングを当該或る音声トラックの音声信号に対して行う（ステップＳ８０５）。同様に、指示信号が、レンダリング方式Ｂを示す場合には（ステップＳ８０３におけるレンダリング方式Ｂ）、音声信号レンダリング部１０３は、レンダリング方式Ｂで音声信号をレンダリングするのに必要なパラメータを記憶部１０４から読み出し（ステップＳ８０６）、これに基づくレンダリングを当該或る音声トラックの音声信号に対して行う（ステップＳ８０７）。指示信号がレンダリングなしを示す場合には（ステップＳ８０３におけるレンダリングなし）、音声信号レンダリング部１０３は、当該或る音声トラックの音声信号をレンダリングせず、出力音声には含めない。
【００６５】
なお、音声トラックの音像位置がレンダリング方式選択部１０２から指示されたレンダリング方式のレンダリング処理可能範囲を超える場合には、音像位置が、同処理可能範囲に含まれる音像位置に変更されて、当該音声トラックの音声信号が当該レンダリング方式を用いてレンダリングされる。
【００６６】
[記憶部１０４]
記憶部１０４は、レンダリング方式選択部１０２及び音声信号レンダリング部１０３で用いられる種々のデータを記録するための二次記憶装置によって構成される。記憶部１０４は、例えば、磁気ディスク、光ディスク、フラッシュメモリなどによって構成され、より具体的な例としては、ＨＤＤ、ＳＳＤ（Solid State Drive）、ＳＤメモリーカード、ＢＤ、ＤＶＤなどが挙げられる。レンダリング方式選択部１０２及び音声信号レンダリング部１０３は、必要に応じて記憶部１０４からデータを読み出す。また、レンダリング方式選択部１０２において算出された係数等を含む各種パラメータデータは、記憶部１０４に記録されることも可能である。
【００６７】
＜音声出力部２０＞
音声出力部２０は、音声信号レンダリング部１０３で得られた音声を出力する。ここで、音声出力部２０は、１つ又は複数のスピーカで構成され、個々のスピーカは１つ以上のスピーカユニットとこれを駆動させる増幅器（アンプ）で構成される。
【００６８】
例えば、前述のようにレンダリング方式の一つに波面合成再生方式が含まれる場合は、構成するスピーカの少なくとも１つに、複数のスピーカユニットを一定間隔で並べたアレイスピーカが含まれる。
【００６９】
以上のように、コンテンツから得られる各音声トラックの位置情報と各レンダリング方式の処理可能範囲とに応じて、レンダリング方式を自動で選択し、音声再生を行いつつも、音声トラック内においてレンダリング方式を固定することにより、同一音声トラックにおける音声再生方式の変化に起因する音質変化を抑えることができる。これにより、良好な音声をユーザに届けることが可能となる。そして、コンテンツ毎、シーン毎などの特定の再生単位において、同一の音声トラックの音質が不自然に変化することを防ぎ、コンテンツへの没入感を高めることができる。
【００７０】
なお、本実施形態１では、複数の音声トラックを含むコンテンツを再生対象としているが、本発明はこれに限定されるものではなく、一つの音声トラックを含むコンテンツを再生対象としても良い。その場合には、当該一つの音声トラックについて好適なレンダリング方式を、複数のレンダリング方式から選択する。
【００７１】
〔実施形態２〕
本発明の実施形態２について、図９及び図１０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００７２】
上述の実施形態１では、コンテンツ解析部１０１は、再生するコンテンツに含まれる音声トラックとこれに付随する任意のメタデータとを解析し、発音オブジェクト位置情報を求めるものとし、これに基づいて１つのレンダリング方式を選択する態様例を説明した。しかしながら、コンテンツ解析部１０１及びレンダリング方式選択部１０２の動作は、これに限定されるものではない。
【００７３】
具体的には、コンテンツ解析部１０１は、音声トラックに付随したメタデータに、ナレーションのテキスト情報が付随している場合に、或る音声トラックをより明瞭にユーザに提示すべき重要トラックと判断し、その情報をトラック情報２０１（図２）に記録しておく。ここでは、レンダリング方式Ａがレンダリング方式Ｂに比べＳ／Ｎ比が低く、より明瞭に音声をユーザに提示できる音声再生方式であるものとした際の、レンダリング方式の選択手順を図９のフローを用いて説明する。
【００７４】
レンダリング方式選択部１０２は、コンテンツ解析部１０１からトラック情報２０１（図２）を受け取ると、レンダリング方式選択処理を開始する（ステップＳ９０１）。
【００７５】
そして、レンダリング方式選択部１０２は、全ての音声トラックに対してレンダリング方式選択処理が行われたかを確認し（ステップＳ９０２）、全ての音声トラックに対してステップＳ９０３以降のレンダリング方式選択処理が完了していれば（ステップＳ９０２におけるＹＥＳ）、レンダリング方式選択処理を終了する（ステップＳ９０７）。一方で、レンダリング方式選択が未処理の音声トラックがあれば（ステップＳ９０２におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ９０３へ移行する。
【００７６】
ステップＳ９０３では、レンダリング方式選択部１０２は、トラック情報２０１（図２）から重要トラックか否かを判断する。当該音声トラックが重要トラックである場合（ステップＳ９０３におけるＹＥＳ）、レンダリング方式選択部１０２は、ステップＳ９０５へ移行する。ステップＳ９０５では、レンダリング方式選択部１０２は、当該音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ａを選択する。
【００７７】
一方、ステップＳ９０３において、当該音声トラックが重要トラックでない場合（ステップＳ９０３におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ９０４へ移行する。
【００７８】
ステップＳ９０４では、レンダリング方式選択部１０２は、実施形態１の図５のステップＳ５０３と同様、トラック情報２０１（図２）から当該音声トラックの再生開始から再生終了までの音像位置（再生位置）を全て確認し、音像位置がレンダリング方式Ａにおけるレンダリング処理可能範囲内に含まれる時間ｔＡと、レンダリング方式Ｂにおけるレンダリング処理可能範囲内に含まれる時間ｔＢを求める。
【００７９】
更にステップＳ９０４では、レンダリング方式選択部１０２は、ｔＡとｔＢとを比較する。そして、ｔＡがｔＢより長い場合、すなわちレンダリング方式Ａにおけるレンダリング処理可能範囲内に含まれる時間が長い場合（ステップＳ９０４におけるＹＥＳ）、レンダリング方式選択部１０２は、ステップＳ９０５へ移行する。ステップＳ９０５では、レンダリング方式選択部１０２は、当該或る音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ａを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ａを用いてレンダリングするように指示する信号を出力する。
【００８０】
一方、ｔＢがｔＡ以上である場合、すなわち、レンダリング方式Ｂにおけるレンダリング処理可能範囲内に含まれる時間がレンダリング方式Ａと同等以上である場合（ステップＳ９０４におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ９０６へ移行する。ステップＳ９０６では、レンダリング方式選択部１０２は、当該或る音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ｂを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ｂを用いてレンダリングするように指示する信号を出力する。
【００８１】
なお、本実施形態２では、レンダリング方式選択部１０２は、重要トラックの判断はテキスト情報の有無で判断したが、それ以外の方法で重要トラックか否かを判断しても良い。例えば、音声トラックがチャネルベースの音声トラックであった場合、その配置位置がセンター（Ｃ）に相当する音声トラックには、セリフ、ナレーションなどの、コンテンツの中で重要と考えられる音声信号が多く含まれるものと考えられる。そこで、レンダリング方式選択部１０２は、当該トラックを重要トラック、それ以外を非重要トラックと判断するものとしても良い。この場合、具体的には、音声信号に付随する付随情報が、当該音声信号に含まれる音声の種類を示す情報を含んでおり、レンダリング方式選択部１０２が、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示すか否かに基づいて、一つのレンダリング方式を選択する態様とすればよい。
【００８２】
また、レンダリング方式選択部１０２は、重要トラックを、音声トラックの音声信号について当該音声信号に割り当てられた音像位置が予め設定された受聴エリア（聴取エリア）に含まれるか否かで決定しても良い。例えば、レンダリング方式選択部１０２は、図１０に示すように、θが±３０°の受聴エリア１００１、すなわち、聴取者の前方を含むエリアに音像位置が入る音声信号について、その音声トラック１００２を重要トラック、当該エリアに音像位置が入らない音声信号について、その音声トラック１００３を非重要トラックと判断するものとしても良い。
【００８３】
以上のように、コンテンツから得られる各音声トラックの位置情報と各レンダリング方式が規定するレンダリング処理可能範囲に加えて各音声トラックの重要度を考慮することにより、同一音声トラックにおける音声再生方式の変化に起因する音質変化を抑えることができ、且つ重要トラックにおいては、より明瞭な音声をユーザに届けることが可能となる。
【００８４】
〔実施形態３〕
本発明の実施形態３について、図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００８５】
上述の実施形態１と本実施形態３との相違点は、コンテンツ解析部１０１及びレンダリング方式選択部１０２にある。本実施形態３のコンテンツ解析部１０１及びレンダリング方式選択部１０２を以下に説明する。
【００８６】
コンテンツ解析部１０１は、音声トラックを解析し、最大再生音圧をトラック情報（例えば図２に示す２０１）に記録しておく。
【００８７】
以下に、入力されたコンテンツのある音声トラックにおいて、最大音圧がＳｐｌＭａｘであった場合の、レンダリング方式選択部１０２のレンダリング方式選択処理の手順を図１１の動作フローを用いて示す。なお、本実施形態３では、レンダリング方式Ａとレンダリング方式Ｂ、各々の方式において再生可能な最大音圧をＳｐｌＭａｘＡ、ＳｐｌＭａｘＢと定義し、ＳｐｌＭａｘＡ＞ＳｐｌＭａｘＢであるものとする。
【００８８】
レンダリング方式選択部１０２は、コンテンツ解析部１０１から、最大再生音圧を記録したトラック情報を受け取ると、レンダリング方式選択処理を開始する（ステップＳ１１０１）。
【００８９】
そして、レンダリング方式選択部１０２は、全ての音声トラックに対してレンダリング方式選択処理が行われたかを確認する（ステップＳ１１０２）。全ての音声トラックに対してステップＳ１１０３以降のレンダリング方式選択処理が完了していれば（ステップＳ１１０２におけるＹＥＳ）、レンダリング方式選択部１０２は、レンダリング方式選択処理を終了する（ステップＳ１１０７）。一方で、レンダリング方式選択処理が未処理の音声トラックがあれば（ステップＳ１１０２におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ１１０３に移行する。
【００９０】
ステップＳ１１０３では、レンダリング方式選択部１０２は、処理対象の音声トラックの最大再生音圧ＳｐｌＭａｘと、レンダリング方式Ｂの再生可能な最大音圧ＳｐｌＭａｘＢ（閾値）とを比較する。そして、ＳｐｌＭａｘがＳｐｌＭａｘＢより大きい、すなわち当該音声トラックが要求する再生音圧がレンダリング方式Ｂでは再現不可能である場合（ステップＳ１１０３におけるＹＥＳ）、レンダリング方式選択部１０２は、同音声トラックのレンダリング方式としてレンダリング方式Ａを選択する（ステップＳ１１０５）。一方、当該音声トラックの再生音圧がレンダリング方式Ｂで再現可能である場合（ステップＳ１１０３におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ１１０４へ移行する。
【００９１】
ステップＳ１１０４では、レンダリング方式選択部１０２は、実施形態１の図５のステップＳ５０３と同様に、トラック情報から当該音声トラックの再生開始から再生終了までの音像位置（再生位置）を全て確認し、音像位置がレンダリング方式Ａにおけるレンダリング処理可能範囲内に含まれる時間ｔＡと、レンダリング方式Ｂにおけるレンダリング処理可能範囲内に含まれる時間ｔＢを求める。
【００９２】
更にステップＳ１１０４では、レンダリング方式選択部１０２は、ｔＡとｔＢとを比較する。そして、ｔＡがｔＢより長い場合、すなわちレンダリング方式Ａにおけるレンダリング処理可能範囲内に含まれる時間が長い場合（ステップＳ１１０４におけるＹＥＳ）、レンダリング方式選択部１０２は、ステップＳ１１０５へ移行する。ステップＳ１１０５では、レンダリング方式選択部１０２は、当該音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ａを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ａを用いてレンダリングするように指示する信号を出力する。
【００９３】
一方、ｔＢがｔＡ以上である場合、すなわち、レンダリング方式Ｂにおけるレンダリング処理可能範囲内に含まれる時間がレンダリング方式Ａと同等以上である場合（ステップＳ１１０４におけるＮＯ）、レンダリング方式選択部１０２は、ステップＳ１１０６へ移行する。ステップＳ１１０６では、レンダリング方式選択部１０２は、当該音声トラックの音声信号をレンダリングする際に用いる１つのレンダリング方式として、レンダリング方式Ｂを選択し、音声信号レンダリング部１０３に対して、レンダリング方式Ｂを用いてレンダリングするように指示する信号を出力する。
【００９４】
なお、図１１の動作フローではコンテンツを解析して得られた最大再生音圧のみを考慮するものとしたが、スピーカ側の音量にも依存するものとしても良い。この場合には、図１１のステップＳ１１０３では、レンダリング方式選択部１０２は、トラックの最大再生音量と現在の音量から求められたＳｐｌＣｕｒｒｅｎｔと、ＳｐｌＭａｘＢとを比較する。
【００９５】
以上のように、コンテンツから得られる各音声トラックの音像位置と各レンダリング方式のレンダリング処理可能範囲に加えて、各音声トラックの重要度に応じて、レンダリング方式を自動で選択し、音声再生を行いつつも、同一音声トラックにおける音声再生方式の変化に起因する音質変化を抑えることができ、且つ最大音圧における再生においても、歪が少ない、より明瞭な音声をユーザに届けることが可能となる。
【００９６】
〔まとめ〕
本発明の態様１に係る音声信号処理装置（音声信号処理部１０）は、一つまたは複数の音声トラックの音声信号が入力され、複数の音声出力装置（スピーカ６０１、６０２、６０５）の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置（音声信号処理部１０）であって、各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング（レンダリング方式Ａ，Ｂ）方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部（レンダリング方式選択部１０２及び音声信号レンダリング部１０３）を備え、上記処理部（レンダリング方式選択部１０２及び音声信号レンダリング部１０３）は、上記音声信号、上記音声信号に割り当てられた音像位置、および上記音声信号に付随する付随情報の少なくとも一つに基づいて上記一つのレンダリング方式を選択することを特徴としている。
【００９７】
上記の構成によれば、最適なレンダリング方式を選択して音声再生を行いつつも、音声トラック内においてレンダリング方式を固定することにより、同一の音声トラックにおける音声再生方式の変化に起因する音質変化を抑えることができる。これにより、良好な音声をユーザに届けることが可能となる。これは、１つの音声トラックを任意の時間単位で分割した分割トラックの音声信号に対して最適なレンダリング方式を選択して、当該分割音声トラックの音声信号をレンダリングして音声再生する場合でも同等の効果を奏する。
【００９８】
このように構成することにより、コンテンツ毎やシーン毎などの特定の再生単位において、同一の音声トラックや同一のシーンの音質が不自然に変化することを防ぎ、コンテンツやシーンへの没入感を高めることができる。
【００９９】
また、本発明の態様２に係る音声信号処理装置（音声信号処理部１０）は、上記態様１において、上記処理部（レンダリング方式選択部１０２）は、上記音声トラックまたは上記分割トラックの上記音声信号について、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択する構成となっていてよい。
【０１００】
上記の構成によれば、例えば、上記音声トラックまたは上記分割トラックの上記音声信号について、トラック開始からトラック終了までの音像位置が最も長い時間含まれる一つのレンダリング処理可能範囲を特定し、当該一つのレンダリング処理可能範囲を規定するレンダリング方式を用いてレンダリングを行うことができる。この例によれば、当該トラック開始から当該トラック終了までの期間の比較的長い期間を、本来定位すべき位置において再生することができ、且つ、コンテンツ毎やシーン毎などの特定の再生単位において、同一の音声トラックや同一のシーンの音質が不自然に変化することを防ぎ、コンテンツやシーンへの没入感を高めることができる。
【０１０１】
また、本発明の態様３に係る音声信号処理装置（音声信号処理部１０）は、上記態様１において、上記処理部（レンダリング方式選択部１０２）は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリア１００１に含まれているか否かに基づいて、上記一つのレンダリング方式を選択する構成となっていてもよい。
【０１０２】
より具体的には、本発明の態様４に係る音声信号処理装置（音声信号処理部１０）は、上記態様３において、上記受聴エリア１００１は、聴取者の前方を含むエリアであってよい。
【０１０３】
聴取者の前方を含むエリアに上記音声信号の音像位置が含まれるということは、当該音声信号は聴取者に対して聴取させたい、聴取させるべき音声信号であるといえる。そこで、当該音声信号の音像位置が聴取者の前方を含むエリアに含まれるか否かに基づいて判定して、判定結果に応じた最適なレンダリング方式によって音声再生させることができる。
【０１０４】
また、本発明の態様５に係る音声信号処理装置（音声信号処理部１０）は、上記態様１において、上記音声信号に付随する付随情報は、当該音声信号に含まれる音声の種類を示す情報を含んでおり、上記処理部（レンダリング方式選択部１０２）は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示すか否かに基づいて、上記一つのレンダリング方式を選択する構成となっていてよい。
【０１０５】
上記音声トラックまたは上記分割トラックの上記音声信号がセリフまたはナレーションを含むことを示す場合、当該音声信号は聴取者に対して聴取させたい音声信号、あるいは聴取させるべき音声信号であるといえる。そこで、当該音声信号がセリフまたはナレーションを含むことを示すか否かに基づいて、最適なレンダリング方式によって音声再生させることができる。
【０１０６】
また、本発明の態様６に係る音声信号処理装置（音声信号処理部１０）は、上記態様１において、上記音声信号に付随する付随情報は、当該音声信号に含まれる音声の種類を示す情報を含んでおり、上記処理部（レンダリング方式選択部１０２）は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリアに含まれている場合、および、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示す場合には、上記複数のレンダリング方式のうちの最もＳ／Ｎ比が低いレンダリング方式を上記一つのレンダリング方式として選択し、それ以外の場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択する構成となっていてよい。
【０１０７】
上記の構成によれば、聴取者に対して受聴させるべき音声であれば、上記音声トラックまたは上記分割トラックの上記音声信号について、Ｓ／Ｎ比が低いレンダリング方式によってレンダリングすることができる。
【０１０８】
一方、上記の構成によれば、聴取者に対して受聴させるべき音声でない場合には、上記音声トラックまたは上記分割トラックの上記音声信号について、トラック開始からトラック終了までの期間における当該音声信号に指定された音像位置の分布に基づいて、上記一つのレンダリング方式を選択することができる。例えば、上記音声トラックまたは上記分割トラックの上記音声信号について、トラック開始からトラック終了までの音像位置が最も長い時間含まれる一つのレンダリング処理可能範囲を特定し、当該一つのレンダリング処理可能範囲を規定するレンダリング方式を用いてレンダリングを行うことができる。この例によれば、当該トラック開始から当該トラック終了までの期間の比較的長い期間を、本来定位すべき位置において再生することができ、且つ、コンテンツ毎やシーン毎などの特定の再生単位において、同一の音声トラックや同一のシーンの音質が不自然に変化することを防ぎ、コンテンツやシーンへの没入感を高めることができる。
【０１０９】
また、本発明の態様７に係る音声信号処理装置（音声信号処理部１０）は、上記態様１において、上記処理部（レンダリング方式選択部１０２）は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧に基づいて、上記一つのレンダリング方式を選択する構成となっていてよい。
【０１１０】
入力音声信号のうち、最大再生音圧を示す部分は、ユーザに対して受聴させるべき音声であるといえる。そこで、上記の構成によれば、最大再生音圧に基づいてユーザに対して受聴させるべき音声であるか否かを判定して、受聴させるべき音声であれば、判定結果に応じた最適なレンダリング方式によって音声再生させることができる。
【０１１１】
また、本発明の態様８に係る音声信号処理装置（音声信号処理部１０）は、上記態様１において、上記処理部（レンダリング方式選択部１０２）は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧が、閾値（ＳｐｌＭａｘＢ）より大きい場合には、当該最大再生音圧に応じて上記一つのレンダリング方式（レンダリング方式Ａ）を選択し、当該最大再生音圧が、閾値（ＳｐｌＭａｘＢ）以下である場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択する構成となっていてよい。
【０１１２】
また、本発明の態様９に係る音声信号処理装置（音声信号処理部１０）は、上記態様１から８の何れかにおいて、上記複数のレンダリング方式は、上記音声信号を再生位置に応じた音圧の比率で各上記音声出力装置（スピーカ６０１、６０２）から出力させる第一のレンダリング方式と、再生位置に応じた加工がされた上記音声信号を各上記音声出力装置から出力させる第二のレンダリング方式とを含む構成であってよい。
【０１１３】
また、本発明の態様１０に係る音声信号処理装置（音声信号処理部１０）は、上記態様９において、上記第一のレンダリング方式は、音圧パンニングであり、上記第二のレンダリング方式は、トランスオーラルであってよい。
【０１１４】
また、本発明の態様１１に係る音声信号処理装置（音声信号処理部１０）は、上記態様１から１０の何れかにおいて、上記複数の音声出力装置が、複数のスピーカユニットを一定間隔で直線上に並べたアレイスピーカ６０５である場合、上記複数のレンダリング方式には、波面合成再生方式が含まれてよい。
【０１１５】
また本発明の態様１２に係る音声信号処理システム（音声信号処理システム１）は、上記態様１から１１の音声信号処理装置と、上記複数の音声出力装置（スピーカ６０１、６０２、６０５）と、を備えていることを特徴としている。
【０１１６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【０１１７】
（関連出願の相互参照）
本出願は、２０１７年３月２４日に出願された日本国特許出願：特願２０１７−０６００２５に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１１８】
１  音声信号処理システム
１０  音声信号処理部
２０  音声出力部
１０１  コンテンツ解析部
１０２  レンダリング方式選択部
１０３  音声信号レンダリング部
１０４  記憶部
２０１、４０１  トラック情報
６０１、６０２  スピーカ
６０３、６０４  領域
６０５  アレイスピーカ
１００１  受聴エリア（特定の受領エリア）
１００２  受聴エリア内の音声トラック（重要トラック）
１００３  受聴エリア外の音声トラック（非重要トラック）
【図１】
2018173413.tif 000003
【図２】
2018173413.tif 000004
【図３】
2018173413.tif 000005
【図４】
2018173413.tif 000006
【図５】
2018173413.tif 000007
【図６】
2018173413.tif 000008
【図７】
2018173413.tif 000009
【図８】
2018173413.tif 000010
【図９】
2018173413.tif 000011
【図１０】
2018173413.tif 000012
【図１１】
2018173413.tif 000013
【手続補正書】
【提出日】令和1年9月20日(2019.9.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記複数のレンダリング方式は、各レンダリング方式において音像を配置可能な範囲であるレンダリング処理可能範囲が定められており、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号に割り当てられた音像位置と、各レンダリング方式のレンダリング処理可能範囲とに基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。
【請求項２】
一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。
【請求項３】
一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリアに含まれているか否かに基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。
【請求項４】
上記受聴エリアは、聴取者の前方を含むエリアであることを特徴とする請求項３に記載の音声信号処理装置。
【請求項５】
上記音声信号に付随する付随情報は、当該音声信号に含まれる音声の種類を示す情報を含んでおり、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示すか否かに基づいて、上記一つのレンダリング方式を選択することを特徴とする請求項１に記載の音声信号処理装置。
【請求項６】
一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記処理部は、上記音声信号、上記音声信号に割り当てられた音像位置、および上記音声信号に付随する付随情報の少なくとも一つに基づいて上記一つのレンダリング方式を選択し、
上記音声信号に付随する付随情報は、当該音声信号に含まれる音声の種類を示す情報を含んでおり、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号に割り当てられた音像位置が、予め設定された受聴エリアに含まれている場合、および、当該音声信号に付随する付随情報が、当該音声信号がセリフまたはナレーションを含むことを示す場合には、上記複数のレンダリング方式のうちの最もＳ／Ｎ比が低いレンダリング方式を上記一つのレンダリング方式として選択し、それ以外の場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。
【請求項７】
一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧に基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。
【請求項８】
一つまたは複数の音声トラックが入力され、複数の音声出力装置の各々に出力する出力信号を算出するレンダリング処理を行う音声信号処理装置であって、
各音声トラックまたはその分割トラックの音声信号について、複数のレンダリング方式の中から一つのレンダリング方式を選択して当該音声信号をレンダリング処理する処理部を備え、
上記処理部は、上記音声トラックまたは上記分割トラックの上記音声信号について、当該音声信号の最大再生音圧が、閾値より大きい場合には、当該最大再生音圧に応じて上記一つのレンダリング方式を選択し、当該最大再生音圧が、閾値以下である場合には、トラック開始からトラック終了までの期間における当該音声信号に割り当てられた音像位置の分布に基づいて、上記一つのレンダリング方式を選択することを特徴とする音声信号処理装置。
【請求項９】
上記複数のレンダリング方式は、上記音声信号を再生位置に応じた音圧の比率で各上記音声出力装置から出力させる第一のレンダリング方式と、再生位置に応じた加工がされた上記音声信号を各上記音声出力装置から出力させる第二のレンダリング方式とを含むことを特徴とする請求項１から８までの何れか１項に記載の音声信号処理装置。
【請求項１０】
上記第一のレンダリング方式は、音圧パンニングであり、
上記第二のレンダリング方式は、トランスオーラルであることを特徴とする請求項９に記載の音声信号処理装置。
【請求項１１】
上記複数の音声出力装置が、複数のスピーカユニットを一定間隔で直線上に並べたアレイスピーカである場合、上記複数のレンダリング方式には、波面合成再生方式が含まれることを特徴とする請求項１から１０までの何れか１項に記載の音声信号処理装置。
【請求項１２】
請求項１から１１までの何れか１項に記載の音声信号処理装置と、
上記複数の音声出力装置と、
を備えていることを特徴とする音声信号処理システム。
【国際調査報告】
2018173413.tif 000014
2018173413.tif 000015
2018173413.tif 000016
2018173413.tif 000017