(57)【要約】【課題】より自由度の高い映像表示に応じて受聴者に個々の音声を識別させることができる。【解決手段】取得部は１つの番組を構成する放送又は通信により取得可能な映像と音声の複数のセットからなるコンテンツを取得し、音声制御部は前記複数の音声それぞれを目標方向に知覚させるための音声制御情報を定め、処理部は、それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う。本発明は、受信装置、受信方法、及びプログラムとしても実施することができる。【選択図】図４
2016119630.tif 000002
【特許請求の範囲】
【請求項１】
１つの番組を構成する放送又は通信により取得可能な複数の映像と音声からなるコンテンツを取得する取得部と、
前記複数の音声それぞれを目標方向に知覚させるための音声制御情報を定める音声制御部と、
それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う処理部と、
を備える受信装置。
【請求項２】
前記音声制御部は、前記複数の映像それぞれの映像の表示位置に応じて、前記音声制御情報として当該音声の目標方向を定める請求項１に記載の受信装置。
【請求項３】
少なくとも１つの音声の音声制御情報を示す構成情報を取得する構成情報取得部を備え、
前記音声制御部は、前記構成情報において許可情報が設定された音声について前記目標方向に知覚させるための処理を許容し、前記構成情報において許可情報が設定されていない音声について前記目標方向に知覚させるための処理を許容しない請求項１または請求項２に記載の受信装置。
【請求項４】
前記構成情報は、少なくとも１つの音声の役割を示す役割情報を含むとき、前記音声制御部は、前記役割情報が所定の役割を示す音声について当該音声制御情報の変更を許容し、前記所定の役割を示す役割情報が設定されていない音声について当該音声制御情報の変更を許容しない請求項３に記載の受信装置。
【請求項５】
前記役割情報が、所定の出力機器を示す情報を含むとき、前記音声制御部は、当該役割情報に係る音声の目標方向として前記所定の出力機器の方向に音を知覚させるための音声制御情報を定める
請求項４に記載の受信装置。
【請求項６】
受信装置における受信方法であって、１つの番組を構成する放送又は通信により取得可能な複数の映像と音声からなるコンテンツを取得する取得過程と、
前記複数の音声それぞれを目標方向に知覚させるための音声制御情報を定める音声制御過程と、
それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う処理過程と、
を備える受信方法。
【請求項７】
受信装置のコンピュータに、１つの番組を構成する放送又は通信により取得可能な複数の映像と音声からなるコンテンツを取得する取得手順、
それぞれを目標方向に知覚させるための音声制御情報を定める音声制御手順、
それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う処理手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受信装置、受信方法及びプログラムに関する。
【背景技術】
【０００２】
従来、テレビジョン放送では、１つの受信装置において１チャネルの放送波を受信し、１つの映像を表示し、１つの音声を再生することが通例であった。情報通信技術の発展により、受信装置が１チャネルの放送波を受信することにより同時に複数の映像を表示できるようになった。かかる放送サービスは、マルチビューサービス、あるいは単にマルチビューと呼ばれる。
【０００３】
複数の映像を表示する際、これらの映像に係る音声を同時に何の考慮もなく再生すると、複数の映像が混ざり合うために視聴者がどの映像の音声かを識別することができず、視聴者に不快感を与えることがあった。また、視聴者にとり、それぞれの映像に係る音声の調整は容易ではない。そこで、放送事業者や番組制作者（以下、放送事業者等、と呼ぶ）において音声を再生する際に用いる推奨パラメータを伝送する仕組みが期待されていた。他方、放送事業者等は、番組制作において映像の表示位置と複数のスピーカ間の音声のバランスを厳密に調整することがある。そのような場合において、受信装置において独自に映像の表示位置や音声のバランスを変更すると放送事業者等の意図に異なってしまうことがある。そのため、視聴者におけるパラメータの変更を許容するコンテンツと、パラメータを固定すべきコンテンツとを区別する仕組みが期待されていた。
【０００４】
例えば、特許文献１に記載の映像表示装置は、メインビュー画面の表示位置情報に基づきマルチチャンネル音声データを処理することにより、複数のスピーカから出力されるメインビュー音声の音量を調節し、メインビュー音声の音像の位置をメインビュー画面の中心位置に一致させる。
他方、マルチビューに要する技術要件が、ＡＲＩＢ（Ａｓｓｏｃｉａｔｉｏｎ  ｏｆ  Ｒａｄｉｏ  Ｉｎｄｕｓｔｒｉｅｓ  ａｎｄ  Ｂｕｓｉｎｅｓｓｅｓ、一般社団法人電波産業会）ＳＴＤ（Ｓｔａｎｄａｒｄ、標準規格）の策定が図られている。そのため、当該規格によれば放送事業者や番組提供者が構成した複数の映像を放送と通信の両者で取得した複数の映像を同時に表示することができ、より自由度の高い映像表示が可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２７３０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の映像表示装置は、放送波で伝送される番組情報を表すＥＩＴ（Ｅｖｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ、イベント情報テーブル）に含まれるメインビューであるか否かを示すフラグに基づいてメインビュー音声を識別する。そのため、特許文献１に記載の音声データの処理方法では、より自由度の高い映像表示に対応しきれていない。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたものであり、本発明の一態様は、１つの番組を構成する放送又は通信により取得可能な映像と音声の複数からなるコンテンツを取得する取得部と、前記複数の音声それぞれを目標方向に知覚させるための音声制御情報を定める音声制御部と、それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う処理部と、を備える受信装置である。
【発明の効果】
【０００８】
本発明によれば、より自由度の高い映像表示に応じて受聴者に個々の音声を識別させることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る放送システムの構成を示すブロック図である。
【図２】第１の実施形態に係る送信装置の構成を示すブロック図である。
【図３】第１の実施形態に係るサーバー装置の構成を示すブロック図である。
【図４】第１の実施形態に係る受信装置の構成を示すブロック図である。
【図５】ＭＰＴのデータ構成の例を示す図である。
【図６】ＭＨ−音声コンポーネント記述子のデータ構成の例を示す図である。
【図７】映像の表示領域と音声の目標方向の例を示す図である。
【図８】映像の表示領域と音声の目標方向の他の例を示す図である。
【図９】アプリケーションのデータ構成の例を示す図である。
【図１０】定位処理の例を説明するための図である。
【図１１】第１の実施形態に係る受信装置が実行する音声制御処理を示すフローチャートである。
【図１２】ＭＨ−音声コンポーネント記述子の別のデータ構成の例を示す図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る放送システム１の構成を示すブロック図である。放送システム１は、送信装置１１と、サーバー装置２１と、受信装置３１とを含んで構成される。送信装置１１は、例えば、放送事業者の放送設備を構成する。サーバー装置２１は、例えば、放送通信連係サービスを提供するためのコンテンツ提供者の設備を構成する。例えば、当該放送番組を放送する放送事業者や、当該放送番組を制作する制作者がコンテンツ提供者になることがある。以下の説明では、放送通信連係サービスを提供するためのソフトウェアを単に「アプリケーション」と呼ぶ。放送通信連係サービスにより、放送で伝送される映像ならびに音声と、アプリケーションの実行により通信で取得される映像ならびに音声とで自由度の高いコンテンツが形成される。受信装置３１は、送信装置１１から放送される放送番組を受信し、受信した放送番組の映像を表示し、当該放送番組の音声を再生する。受信装置３１は、例えば、各家庭や事業所等に設置される。
【００１１】
送信装置１１は、放送番組の内容を表す番組データと、アプリケーションと、放送番組の構成要素を示す構成情報とを多重化し、放送伝送路１２を介して多重化した多重化データを送信する。１つの番組に係る番組データは、音声データと映像データを複数含むことがある。
【００１２】
放送伝送路１２は、送信装置１１が送信する各種のデータを同時に不特定多数の受信装置３１に一方向的に伝送する伝送路である。放送伝送路１２は、例えば、放送衛星１３で中継される所定の周波数帯域の電波（放送波）である。放送伝送路１２の一部には、通信回線、例えば、送信装置１１から電波を送信するための送信設備までの通信回線が含まれてもよい。なお、放送伝送路１２を介して各種のデータを伝送することを、「放送で伝送する」と呼ぶことがある。
【００１３】
サーバー装置２１は、受信装置３１がアプリケーションを実行しているときに用いられる、音声データと映像データ、および静止画像データ、フォントデータ等の各種データを取得し、取得したデータを蓄積する。サーバー装置２１は、受信装置３１からデータ要求信号を受信したとき、その応答として当該データ要求信号により指定されたデータを受信装置３１に送信する。
【００１４】
通信伝送路２２は、サーバー装置２１と受信装置３１との間で各種のデータを双方向的に伝送する伝送路である。通信伝送路２２は、例えば、有線の大容量の基幹網を有するインターネット、等である。通信伝送路２２は、一部に無線のアクセス網を含む通信網、例えば、公衆無線通信網であってもよい。なお、通信伝送路２２を介して各種のデータを伝送することを、「通信で伝送する」と呼ぶことがある。
【００１５】
受信装置３１は、送信装置１１から放送伝送路１２を介して伝送された多重化データから構成情報を取得する。受信装置３１は、放送番組を構成する複数のセットの映像データと音声データを取得し、構成情報を基に所定の映像データと音声データを多重化データから抽出し再生する。さらに多重化データにアプリケーションが多重化されている場合には、受信装置３１は、ユーザによるアプリケーション選択、起動操作等を契機として、当該アプリケーションを実行し表示する。アプリケーションの実行およびその表示は、映像データ、音声データの再生と並行して行われ、アプリケーションのユーザ操作等を契機として、アプリケーションが、動的に再生対象の映像データおよび音声データの変更、表示レイアウトの変更、複数の映像データ、および音声データの同時再生等の制御を行う場合がある。
【００１６】
なお、アプリケーションにより、サーバー装置２１上の映像データおよび音声データの再生要求があった場合、受信装置３１は、指定された音声データと映像データを示すデータ要求信号をサーバー装置２１へ送信する。受信装置３１は、その応答としてサーバー装置２１から当該データを受信する。受信装置３１は、再生される音声データの目標方向を定める。受信装置３１は、受信装置３１は、複数のセットそれぞれの音声データに対して定めた目標方向に音を知覚させるための処理を行う。人間が音の方向又は位置を知覚することは、定位（Ｌｏｃａｌｉｚａｔｉｏｎ）と呼ばれる。以下の説明では、所定の方向に音を知覚させるための処理を「定位処理」と呼ぶことがある。
【００１７】
（送信装置の構成）
次に、本実施形態に係る送信装置１１の構成について説明する。
図２は、本実施形態に係る送信装置１１の構成を示すブロック図である。送信装置１１は、番組データ取得部１１１、アプリケーション取得部１１２、構成情報取得部１１３、多重化部１１４及び送信部１１６を含んで構成される。
【００１８】
番組データ取得部１１１は、番組の構成要素を示す番組データを取得する。番組データは、例えば、放送番組を構成する映像を示す映像データと音声を示す音声データがある。映像データは、所定の映像符号化方式で符号化される。例えば、ＩＳＯ／ＩＥＣ  ２３００８  ＨＥＶＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ  ２３００８  Ｐａｒｔ２  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、単に、ＨＥＶＣとも呼ばれる）で規格化された符号化方式を用いることができる。音声データもまた、所定の音声符号化方式で符号化される。例えば、ＩＳＯ／ＩＥＣ  １４４９６  Ｐａｒｔ３（単に、ＭＰＥＧ−４  オーディオとも呼ばれる）で規定された音声符号化方式を用いることができる。番組データ取得部１１１は、取得した放送番組を構成する映像データと音声データで構成される番組データを多重化部１１４に出力する。
【００１９】
アプリケーション取得部１１２は、受信装置３１にて当該番組と連係して実行されるアプリケーションを取得する。アプリケーション取得部１１２は、取得したアプリケーションを多重化部１１４に出力する。
構成情報取得部１１３は、番組の構成要素に関する情報である構成要素情報を取得する。構成要素情報は、番組データに関する構成要素情報と、当該番組に連携するアプリケーションの制御を指示するためのアプリケーション制御情報とを含む。構成情報取得部１１３は、取得した構成要素情報およびアプリケーション制御情報を構成情報として多重化部１１４に出力する。
【００２０】
構成要素情報として、例えば、ＭＭＴパッケージテーブル（ＭＰＴ：ＭＭＴ  Ｐａｃｋａｇｅ  Ｔａｂｌｅ）がある。ＭＰＴは、放送番組の構成要素であるアセット、つまり、映像データ、音声データ等のリストやその要件を示すデータである。
アプリケーション制御情報は、例えば、アプリケーション情報テーブル（ＡＩＴ：Ａｐｐｌｉｃａｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）である。ＡＩＴは、当該放送番組と連係するアプリケーションの起動、終了といったライフサイクルの管理、および放送映像の表示レイアウト変更可否等のアプリケーションに付与される権限を示すデータである。
【００２１】
多重化部１１４は、番組データ取得部１１１から入力された番組データと、アプリケーション取得部１１２から入力されたアプリケーションと、構成情報取得部１１３から入力された構成情報とをＭＭＴＰ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）パケット化した多重化データを生成する。多重化部１１４は、生成した多重化データを送信部１１６に出力する。
送信部１１６は、多重化部１１４から入力された多重化データを受信装置３１に放送伝送路１２を介して送信する。
【００２２】
（サーバー装置の構成）
次に、本実施形態に係るサーバー装置２１の構成について説明する。
図３は、本実施形態に係るサーバー装置２１の構成を示すブロック図である。
サーバー装置２１は、制御部２１０、通信部２１３、及び記憶部２１４を含んで構成される。制御部２１０は、記憶部２１４に記憶されている制御プログラムを実行することにより、配信データ取得部２１１、及びデータ配信部２１２を実現する。制御部２１０は、例えば、ＣＰＵである。
【００２３】
配信データ取得部２１１には、各種の配信データが入力され、入力された配信データを記憶部２１４に記憶する。
【００２４】
データ配信部２１２は、受信装置３１から通信部２１３を介してデータ要求信号を受信する。データ配信部２１２は、データ要求信号で指定された配信データを記憶部２１４から読み取る。データ配信部２１２は、当該データ要求信号で指定された配信データを所定の伝送方式で通信部２１３を介して受信装置３１に送信する。サーバー装置２１にて配信される各種データの所在は、例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）で表され、データ要求信号で指定される。映像データおよび音声データを配信する場合の伝送方式は、例えば送信装置１１と同じＭＭＴを用いる構成でもよい。あるいは、配信データ種別に関わらず、通信プロトコルとしてＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）を用いる構成とし、映像データおよび音声データの伝送方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）を用いる構成であっても構わない。
【００２５】
通信部２１３は、外部機器、例えば、受信装置３１との間で各種のデータを送受信する。サーバー装置２１の各構成部による送受信は、通信部２１３を介して行われる。通信部２１３は、例えば、通信インタフェースである。
記憶部２１４は、各種のデータを記憶する。記憶部２１４は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ−ｄｉｓｋ  Ｄｒｉｖｅ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ−ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）又はそれらの組み合わせを含んで構成される。
【００２６】
（受信装置の構成）
次に、受信装置３１の構成について説明する。
図４は、本実施形態に係る受信装置３１の構成を示すブロック図である。
受信装置３１は、受信部３１１、復号部３１２、分離部３１３、音声復号部３１４、定位処理部３１５、拡声部３１６、映像復号部３１７、映像合成部３１８、表示部３１９、操作入力部３２３、アプリケーション実行部３３３、及び音声制御部３３５を含んで構成される。
【００２７】
受信部３１１は、放送伝送路１２を介し、送信装置１１から放送信号を受信する。受信部３１１は、受信した放送信号を多重化データに復調する。受信部３１１は、復調した多重化データを分離部３１３に出力する。受信部３１１は、例えば、チューナーを含んで構成される。
【００２８】
分離部３１３は、受信部３１１または通信部３２１から入力された多重化データから番組データ、アプリケーション及び構成情報を分離する。
【００２９】
音声復号部３１４には、分離部３１３から音声データが入力される。音声復号部３１４は、音声符号化に用いられた符号化方式（例えば、ＭＰＥＧ−４オーディオ）と対応する復号方式で入力された音声データを復号し、復号した音声データを生成する。音声復号部３１４は、復号した音声データを定位処理部３１５に出力する。なお、複数の音声データが分離部３１３から同時に入力された場合には、それぞれの音声データを並列に処理し、復号した音声データそれぞれを定位処理部３１５に出力する。
【００３０】
定位処理部３１５は、受信装置３１にて再生される音声データのそれぞれについて、音声制御部３３５から入力された定位制御情報に基づいて定位処理を行う。定位処理部３１５は、音声チャンネル毎の音声レベルをセット間でミキシングし、ミキシングによって生成された音声チャンネル毎の音声データを再生音声データとして拡声部３１６に出力する。
【００３１】
拡声部３１６は、定位処理部３１５から入力された再生音声データに基づく音声を再生する。拡声部３１６は、例えば、各音声チャンネルの音声を再生するための複数のスピーカによって構成される。
【００３２】
映像復号部３１７には、分離部３１３から映像データが入力される。映像復号部３１７は、映像符号化に用いられた符号化方式（例えば、ＨＥＶＣ）と対応する復号方式で入力された映像データ（符号化されている）を復号し、復号した映像データを生成する。映像復号部３１７は、復号した映像データを映像合成部３１８に出力する。なお、複数の映像データが分離部３１３から同時に入力された場合には、それぞれの映像データを並列に処理し、復号した映像データそれぞれを映像合成部３１８に出力する。
【００３３】
映像合成部３１８は、映像復号部３１７から出力される複数の映像データおよびアプリケーション実行部が出力するアプリケーション画像を、アプリケーション実行部から入力された表示領域情報が指示する表示領域に配置した映像を生成する。映像合成部３１８は、生成した映像を示す表示映像データを表示部３１９に出力する。
表示部３１９は、映像合成部３１８から入力された表示映像データに基づく映像を再生する。表示部３１９は、例えば、液晶ディスプレイ（ＬＣＤ）：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含んで構成される。
【００３４】
通信部３２１は、外部機器、例えば、サーバー装置２１との間で通信伝送路２２を介して各種のデータを送受信する。受信装置３１の各構成部による送受信は、通信部３２１を介して行われる。通信部３２１は、例えば、通信インタフェースを含んで構成される。
【００３５】
アプリケーション実行部３３３は、分離部３１３から入力された構成情報のうちＡＩＴに基づいて、アプリケーションの実行状態を制御する。具体的には、入力されたＡＩＴに、所定のアプリケーションに対し自動起動を指示する記載がある場合、アプリケーション実行部３３３は、当該アプリケーションを即時起動する。入力されたＡＩＴに自動起動を指示されたアプリケーションが存在しない場合、操作入力部３２３からのユーザ入力によるアプリ起動指示を契機に、所定のアプリケーションを起動する。
アプリケーション実行部３３３は、実行中のアプリケーション内容を表すアプリケーション画像データを映像合成部３１８へ出力する。アプリケーション実行部３３３は、アプリケーション内容を表す映像データ毎に定めた表示領域を示す表示領域情報を映像合成部３１８と音声制御部３３５の双方に出力する。
【００３６】
音声制御部３３５は、アプリケーション実行部３３３から入力された表示領域情報と、分離部３１３から入力された構成情報に基づいて再生対象となる音声データそれぞれの目標方向を定める。音声制御の詳細については後述する。
【００３７】
定位処理部３１５は、再生対象の音声データそれぞれの目標方向に対応したチャネル間の音声出力レベルを制御することにより、当該音声データが知覚される方向を制御する。
【００３８】
（音声制御に関する情報）
次に音声制御部３３５が用いる、音声制御情報について詳細を説明する。
本実施形態の放送システム１が用いる音声制御情報は、放送で伝送されるＭＰＴのアセット記述子領域（ａｓｓｅｔ＿ｄｅｓｃｒｉｐｔｏｒｓ＿ｂｙｔｅ）（図５）に記述されるＭＨ−音声コンポーネント記述子（ＭＨ−Ａｕｄｉｏ＿Ｃｏｍｐｏｎｅｎｔ＿Ｄｅｓｃｒｉｐｔｏｒ（））を用い（図６）、音声データに係るアセット毎に指定される。また、音声制御情報としては、受信装置３１による定位処理を許容するか否かを示す許可フラグ（ａｕｄｉｏ＿ｃｏｎｔｒｏｌ＿ｐｅｒｍｉｓｓｉｏｎ＿ｆｌａｇ）のみを指定する場合と、放送事業者等において、当該音声データの定位処理をより詳細に指定できるようにするため、当該音声データの知覚される目標方向の導出に必要なパラメータ（ｔａｒｇｅｔ＿ｄｉｒｅｃｔｉｏｎ_ｘ，ｔａｒｇｅｔ＿ｄｉｒｅｃｔｉｏｎ＿ｙ）と、音声チャンネル間の音量比を導くための変換式種別（ｌｅｖｅｌ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ）が指定する場合がある。
【００３９】
図７の例を用いて、音声制御情報と音声データの知覚される目標方向の関係を説明する。図７（ａ）は、表示部３１９の映像表示領域、基準視聴位置Ｌ０、映像表示領域中央Ｌ１、対象音声データが知覚されることが期待される位置Ｌ２の位置関係を示した図である。
【００４０】
（目標方向初期値の導出）
図７（ａ）において、音声制御情報におけるパラメータ（ｔａｒｇｅｔ＿ｄｉｒｅｃｔｉｏｎ_ｘ，ｔａｒｇｅｔ＿ｄｉｒｅｃｔｉｏｎ＿ｙ）はＬ１（表示部３１９の映像表示領域の中央）を原点とした映像表示領域内におけるＬ２の座標（ＸＬ２,ＹＬ２）を表す。このとき、Ｌ２の目標方向は、Ｌ１、Ｌ０、（ＸＬ２，０）の３点を結ぶ直線の成す角θｕと、Ｌ１、Ｌ０、（０，ＹＬ２）の３点を結ぶ直線の成す角θｖ（図示せず）で表す。なお、音声制御情報としてパラメータ（ｔａｒｇｅｔ＿ｄｉｒｅｃｔｉｏｎ_ｘ，ｔａｒｇｅｔ＿ｄｉｒｅｃｔｉｏｎ＿ｙ）の記載が省略された場合、当該パラメータとして（０，０）が指定されたものとみなす。つまり、当該音声データに係る音声をＬ１の方向に知覚させるものとみなす。
【００４１】
（目標方向の導出）
なお、アプリケーションにより、映像表示領域のリサイズ、移動が行われた場合の例を図７（ｂ）に示す。この例では、映像表示領域のリサイズ、移動に伴い、図７（ａ）において映像表示領域内の２点Ｌ１，Ｌ２が、図７（ｂ）に示すように、それぞれＬ１’、Ｌ２’に移動される場合を示している。この場合、Ｌ２’の目標方向は、Ｌ２の座標（ＸＬ２，ＹＬ２）のリサイズ、移動後の座標（ＸＬ２’,ＹＬ２’）を用いて、Ｌ１、Ｌ０、（ＸＬ２’，０）の３点を結ぶ直線の成す角θｕ’と、Ｌ１、Ｌ０、（０，ＹＬ２’）の３点を結ぶ直線の成す角θｖ’で表すことができる。
【００４２】
次に図８の例を用いて、アプリケーションによる音声データの目標方向の変化の影響について説明する。図８（a）は、アプリケーション起動前の表示レイアウト、図８（ｂ）、（ｃ）、（ｄ）はアプリケーション起動後の表示レイアウトを示しており、図中のＬ０〜Ｌ３は、対象となる音声が知覚されるべき位置を示している。
図８（ｂ）に示すような表示レイアウトのアプリケーションでは、アプリケーション起動前後で、対象となる音声の目標方向の変化がほとんどない。つまり、目標方向の変化が所定の変化量以下である。従って、このようなアプリケーションでのみの利用が想定される場合、当該音声データの音声制御許可フラグを０に予め設定しておくことで、放送事業者等は、冗長な音声制御情報の設定を省略することができる。
【００４３】
一方、図８（ｃ）、（ｄ）のような表示レイアウトを行うアプリケーションの場合、アプリケーションの起動前後の目標方向の変化が所定の変化量よりも大きい。さらに、アプリケーション実行中も、図８（ｃ）から（ｄ）、あるいは図８（ｄ）から（ｃ）へユーザ操作等で動的にレイアウト変更がおこなわれる場合も、同様に目標方向の変化が所定の変化量よりも大きい。そのため、図８（ｃ）、（ｄ）のような表示レイアウトを行うアプリケーションにおいては、目標方向と当該音声データが知覚されるよう、音声制御情報フラグを１に設定し、受信装置での音声制御を有効にすることが望ましい。
なお上述の説明では、音声制御情報は、ＭＰＴのＭＨ−音声コンポーネント記述子に記述するとしたが、アプリケーションが表示レイアウトと共に設定する構成でもよい。具体的には、アプリケーションが図９に示すようなＨＴＭＬ５アプリケーションの場合、Ｏｂｊｅｃｔ要素やＶｉｄｅｏ要素の属性値として音声制御情報を記述する。
【００４４】
（定位処理の例）
次に、定位処理の例について図１０を用いて説明する。簡単のため拡声部３１６が２個のスピーカを備え、２個のスピーカＬ、Ｒがそれぞれ所定の基準視聴位置の左前方θＬ、右前方θＲに左右対称に設置されているとき、２チャンネルで音声を再生する場合を仮定する。スピーカＬのみから音量Ｐｍａｘで音声が再生され、スピーカＲからの音量が０であるとき、音声はスピーカＬの方向θＬに知覚される。同一の音声をスピーカＬ、Ｒで再生するとき、スピーカＲからの音量を増加させながら、スピーカＬからの音量を減少させると、音声が知覚される方向θが左から右に移動する。スピーカＬ、Ｒからの音量が等しいとき、音声が知覚される方向θは正面（０°）となる。そして、スピーカＲのみから音量Ｐｍａｘで音声が再生され、スピーカＬからの音量が０であるとき、音声はスピーカＲの方向θＲに知覚される。
【００４５】
方向θ０に知覚される左右２チャンネルの音声データの音量がそれぞれＰＬ、ＰＲである場合、例えば、定位処理部３１５は、それぞれの音量を次のように補正することにより、補正後の音声データに係る音声を方向θ１に知覚させることができる。
ＰＬ’＝ＰＬ・（Ｐ０Ｒ／Ｐ０Ｌ），  ＰＲ’＝ＰＲ・（Ｐ１Ｒ／Ｐ１Ｌ）…（１）
式（１）において、ＰＬ’、ＰＲ’は、補正後の左チャンネル、右チャンネルの音量を示す。Ｐ０Ｌ、Ｐ０Ｒは、再生音がそれぞれ方向θ０に知覚される場合におけるスピーカＬ、スピーカＲからの音量を示す。Ｐ１Ｌ、Ｐ１Ｒは、再生音がそれぞれ方向θ１に知覚される場合におけるスピーカＬ、スピーカＲからの音量を示す。すなわち、式（１）は、補正前の左右チャンネルの音量比をＰ０Ｌ：Ｐ０ＲからＰ１Ｌ：Ｐ１Ｒに補正することで、方向θ０から方向θ１に音声が知覚されるように処理を行うことを意味する。なお、目標方向として与えられる方向θ０、θ１と、方向θ０、θ１のそれぞれからチャンネル間の音量比を導くための変換式は、音声制御部３３５が定めた音声制御情報として指定される。
このようにして構成情報に基づいて目標方向として水平方向の角度が設定される場合における水平方向の定位処理を例にしたが、同様に複数のスピーカを垂直方向に設置し、目標方向として垂直方向の角度による垂直方向の定位処理も実現可能である。
【００４６】
（受信装置の処理）
次に、本実施形態に係る受信装置３１が実行する音声制御処理および定位処理について詳細を説明する。
図１１は、本実施形態に係る受信装置３１が実行する音声制御処理および定位処理を示すフローチャートである。当該処理は、受信装置３１でアプリケーションが起動する際、およびアプリケーションレイアウトが変更される際に実行される。
【００４７】
（ステップＳ１０１）音声制御部３３５は、処理対象の音声データに対する音声制御情報の音声制御許可フラグの設定値に従い、処理を切り替える。音声制御許可フラグの値が０の場合、当該音声データを定位処理の対象外として、ステップＳ１０２へ進む。
音声制御許可フラグの値が１の場合、ステップＳ１０３へ進む。
（ステップＳ１０２）定位処理部３１５は、処理対象音声データを定位処理の対象外として、音声復号部３１４が出力した音声データを他の音声データとミキシングし拡声部３１６へ出力する。その後、図１１に示す処理を終了する。
【００４８】
（ステップＳ１０３）音声制御部３３５は、処理対象の音声データに対する音声制御情報として音声制御パラメータが存在するか否かに応じて処理を切り替える。音声制御パラメータが存在する場合はステップＳ１０５へ進み、存在しない場合はステップＳ１０４へ進む。
（ステップＳ１０４）音声制御情報に音声制御パラメータが存在しない場合、音声制御部３３５は、当該音声データの目標方向の初期値（θｕ０,θｖ０）を（０,０）［表示部３１９の中央］と定める。その後、ステップＳ１０６に進む。
（ステップＳ１０５）音声制御情報に音声制御パラメータが存在する場合、音声制御部３３５は、当該音声データの目標方向の初期値（θｕ０,θｖ０）を、前述（目標方向初期値の導出）したとおり［音声制御パラメータ記載の値］に定める。その後、ステップＳ１０６に進む。
【００４９】
（ステップＳ１０６）音声制御部３３５は、表示領域情報に当該音声データと紐付けられた映像データの有無を確認し、処理を振り分ける。映像データが存在する場合はステップＳ１０７へ進み、存在しない場合はステップＳ１０２へ進む。
（ステップＳ１０７）音声制御部３３５は、前述（目標方向の導出）で説明したとおり、目標方向初期値と、当該映像データの表示領域情報を基に、目標方向（θｕ１,θｖ１）を補正する。
（ステップＳ１０８）定位処理部３１５は、当該音声データの目標方向初期値（θｕ０,θｖ０）と目標方向（θｕ１,θｖ１）とに基づき当該音声データの定位処理を行う。具体的には、前述（定位処理の例）した通り、入力音声データが目標方向初期値（θｕ０,θｖ０）から目標方向（θｕ１,θｖ１）へ移動した場合と同様の補正を行い、他の音声データとミキシングし拡声部３１６へ出力する。その後、図１１に示す処理を終了する。
音声制御部３３５、定位処理部３１５は、図１１に示す処理を、再生対象の音声データそれぞれについて実行する。
【００５０】
以上に説明したように、本実施形態に係る受信装置３１は、１つの番組を構成する放送又は通信により取得可能な映像と音声の複数のセットからなるコンテンツを取得する分離部３１３ならびにアプリケーション実行部３３３を備える。受信装置３１は、複数の音声それぞれを目標方向に知覚させるための音声制御情報を定める音声制御部３３５を備える。また、受信装置３１は、それぞれの音声に対して定めた音声制御情報を用いて目標方向に知覚させるための処理を行う定位処理部３１５を備える。
この構成により、受聴者に対して通信又は放送で伝送された複数の音声をそれぞれの目標方向に知覚させることができる。そのため、受聴者は表示される映像に対応する音声を明瞭に識別することができる。
【００５１】
また、音声制御部３３５は、再生対象の映像データそれぞれの表示位置に応じて、当該映像データに紐づけて再生される音声データの音声制御情報として、その目標方向を定める。
この構成により、受聴者に対して通信又は放送で伝送された複数の音声をそれぞれに対応する映像の表示位置の方向に知覚させることができる。そのため、受聴者は再生される音声が、表示される映像のいずれに対応する音声であるかを容易に識別することができる。
【００５２】
また、音声制御部３３５は、構成情報において音声制御情報として許可フラグ（許可情報）が設定された音声データについては、受信装置における当該音声データの出力レベル変更を許容し、構成情報において音声制御情報について許可フラグが設定されていない音声データについては、受信装置における当該音声データの出力レベルの変更を許容しない。
この構成により、放送事業者等は、音声データを受聴者に対して意図する目標方向へ知覚させるか否かを設定することができる。
【００５３】
（第２の実施形態）
本発明の第２の実施形態について説明する。本実施形態の放送システム１は、第１の実施形態１に係る放送システム１で用いられる構成情報（図６）の代わりに図１２に示す構成情報を用いる。その他の構成については、第１の実施形態の構成と同じであり説明を省略する。
【００５４】
次に、図１２に示す構成情報について説明する。本実施形態の放送システム１は、図１２に示すＭＨ−音声コンポーネント記述子（ＭＨ−Ａｕｄｉｏ＿Ｃｏｍｐｏｎｅｎｔ＿Ｄｅｓｃｒｉｐｔｏｒ（））内に記載されたロール情報を音声制御情報として用いる。
具体的には、ロール情報は、ロール記述子（ｒｏｌｅ）で指定される。ロール記述子（ｒｏｌｅ）には、主コンテンツ（ｍａｉｎ）、代替コンテンツ（ａｌｔｅｎａｔｉｖｅ）、補足コンテンツ（ｓｕｐｐｌｅｍｅｎｔａｒｙ）、解説コンテンツ（ｃｏｍｍｅｎｔａｒｙ）、吹替コンテンツ（ｄｕｂ）等、のいずれかを示す値が設定され、当該構成情報の対象となるアセット（音声データ）の役割を示す。
【００５５】
本実施形態の放送システム１は、ロール情報を、第１の実施形態における音声制御許可フラグの代わりに用いる。具体的には、音声制御部３３５は、ロール情報として主コンテンツ、代替コンテンツが設定された音声データに対し、音声制御を許可し、その他のロール情報に対しては音声制御を許可しない制御を行う。放送事業者等は、当該音声データと対応付けられた映像データの内容を参照して、上述した構成情報として当該音声データに対してロール情報を設定することができる。そのため、放送事業者等は、例えば、その役割として主コンテンツ又は代替コンテンツとして扱われる映像データに関連する高い音声データにのみ、音声制御が許可されるように設定することができる。
また、この構成により、役割情報が設定された音声について、設定されたロール情報が示すロールに応じて、指定した目標方向に音を知覚させるための音響制御を許容するか否か決定される。また、番組内の役割を示すロール情報を用いることで番組制作の効率化を図ることができる。
【００５６】
なお、本発明は上述した各実施形態に限定されるものではなく、特許請求の範囲に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的構成を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
【００５７】
なお、上述した実施形態では、各種のデータを伝送するための伝送方式として、ＭＰＥＧ−Ｈで規定されたＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）によるメディアトランスポート方式が用いる場合を例にしたが、その他の伝送方式、例えば、ＭＰＥＧ−２  Ｓｙｓｔｅｍｓで規定された方式が用いられてもよい。また、伝送に係るデータ形式、符号化方式も、その伝送方式で規定された形式または方式が用いられてもよい。
【００５８】
また、上述した実施形態における送信装置１１の一部、サーバー装置２１、受信装置３１の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、認識データ伝送装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００５９】
なお、本発明は次の態様でも実施することができる。
（１）１つの番組を構成する放送又は通信により取得可能な複数の映像と音声からなるコンテンツを取得する取得部と、前記複数の音声それぞれを目標方向に知覚させるための音声制御情報を定める音声制御部と、それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う処理部と、を備える受信装置。
【００６０】
（２）前記音声制御部は、前記複数の映像それぞれの映像の表示位置に応じて、前記音声制御情報として当該音声の目標方向を定める（１）の受信装置。
【００６１】
（３）少なくとも１つの音声の音声制御情報を示す構成情報を取得する構成情報取得部を備え、前記音声制御部は、前記構成情報において許可情報が設定された音声について前記目標方向に知覚させるための処理を許容し、前記構成情報において許可情報が設定されていない音声について前記目標方向に知覚させるための処理を許容しない（１）または（２）の受信装置。
【００６２】
（４）前記構成情報は、少なくとも１つの音声の役割を示す役割情報を含むとき、前記音声制御部は、前記役割情報が所定の役割を示す音声について当該音声制御を許容し、前記所定の役割を示す役割情報が設定されていない音声について当該音声制御を許容しない（３）の受信装置。
【００６３】
（５）前記役割情報が、所定の出力機器を示す情報を含むとき、前記音声制御部は、当該役割情報に係る音声の目標方向として前記所定の出力機器の方向に音を知覚させるための音声制御情報を定める（４）の受信装置。
【００６４】
（６）受信装置における受信方法であって、１つの番組を構成する放送又は通信により取得可能な複数の映像と音声からなるコンテンツを取得する取得過程と、前記複数の音声それぞれを目標方向に知覚させるための音声制御情報を定める音声制御過程と、それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う処理過程と、を備える受信方法。
【００６５】
（７）受信装置のコンピュータに、１つの番組を構成する放送又は通信により取得可能な複数の映像と音声からなるコンテンツを取得する取得手順、前記複数の音声それぞれを目標方向に知覚させるための音声制御情報を定める音声制御手順、それぞれの音声に対して前記音声制御情報を用いて前記目標方向に知覚させるための処理を行う処理手順、を実行させるためのプログラム。
【符号の説明】
【００６６】
１…放送システム、１１…送信装置、１１１…番組データ生成部、１１２…アプリケーション取得部、１１３…構成情報取得部、１１４…多重化部、１１６…送信部、１２…放送伝送路、１３…放送衛星、２１…サーバー装置、２１０…制御部、２１１…配信データ取得部、２１２…データ配信部、２１３…通信部、２１４…記憶部、２２…通信伝送路、３１…受信装置、３１１…受信部、３１３…分離部、３１４…音声復号部、３１５…定位処理部、３１６…拡声部、３１７…映像復号部、３１８…映像合成部、３１９…表示部、３２１…通信部、３２３…操作入力部、３３３…アプリケーション実行部、３３５…音声制御部
【図１】
2016119630.tif 000003
【図２】
2016119630.tif 000004
【図３】
2016119630.tif 000005
【図４】
2016119630.tif 000006
【図５】
2016119630.tif 000007
【図６】
2016119630.tif 000008
【図７】
2016119630.tif 000009
【図８】
2016119630.tif 000010
【図９】
2016119630.tif 000011
【図１０】
2016119630.tif 000012
【図１１】
2016119630.tif 000013
【図１２】
2016119630.tif 000014