(57)【要約】【課題】放送される映像情報に受信側で動作させることが可能な３次元画像などの画像情報を重畳して表示させることができる受信装置、受信方法、受信プログラムおよび受信プログラムを格納した記録媒体と、受信装置で空間認識処理を行わずに画像情報を合成することができる放送を行うことができる送信装置を提供する。【解決手段】受信装置１０では、字幕−ＡＲＤｅｃｏｄｅｒ１５で受信したＤＲＣＳからＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を取得し、３ＤＭａｐｐｅｒ１８でＵｓｅｒＯｂｊｅｃｔ格納部１６からＵｓｅｒＯｂｊｅｃｔを読み出して取得したＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報に基づいて配置し、ＶｉｄｅｏＤｅｃｏｄｅｒ１３でデコードされた映像情報に配置されたＵｓｅｒＯｂｊｅｃｔを重畳して出力する。【選択図】図１
2013207454.tif 000002
【特許請求の範囲】
【請求項１】
映像情報を含む放送信号を受信する受信部を備えた受信装置において、
物体の動きを認識する動き認識部と、
前記物体の動きに連動して動作する画像情報を取得する画像情報取得部と、
前記画像情報取得部が取得した前記画像情報を、前記動き認識部が認識した動きに連動して動作させ、前記受信部が受信した放送信号に含まれる映像情報に重畳させて、表示部に表示させる表示制御部と、
を備えていることを特徴とする受信装置。
【請求項２】
前記放送信号に含まれている前記画像情報の表示情報を抽出する表示情報抽出部を更に備え、
前記表示制御部は、前記表示情報抽出部が抽出した前記表示情報に基づいて、前記画像情報を前記映像情報に重畳させて前記表示部に表示させる、
ことを特徴とする請求項１に記載の受信装置。
【請求項３】
前記表示情報が、前記画像情報に表示される際の位置と姿勢を示す情報であることを特徴とする請求項２に記載の受信装置。
【請求項４】
前記表示情報が、前記放送信号の字幕情報が挿入される領域に含まれていることを特徴とする請求項２または３に記載の受信装置。
【請求項５】
前記画像情報が、擬人化形状の画像を示す情報であることを特徴とする請求項１乃至４のうちいずれか一項に記載の受信装置。
【請求項６】
映像情報を含む放送信号を送信する送信部を備えた送信装置において、
前記放送信号に前記映像情報とは異なる画像情報を重畳して表示させるための情報である表示情報を取得する表示情報取得部を備え、
前記送信部が、前記表示情報取得部が取得した前記表示情報を前記放送信号に含めて送信する、
ことを特徴とする送信装置。
【請求項７】
映像情報を含む放送信号を受信する受信部を備えた受信装置の受信方法において、
物体の動きを認識する動き認識工程と、
前記物体の動きに連動して動作する画像情報を取得する画像情報取得工程と、
前記画像情報取得工程で取得した前記画像情報を、前記動き認識工程において認識した動きに連動して動作させ、前記受信部が受信した放送信号に含まれる映像情報に重畳させて、表示部に表示させる表示制御工程と、
を含むことを特徴とする受信方法。
【請求項８】
請求項７に記載の受信方法を、コンピュータにより実行させることを特徴とする受信プログラム。
【請求項９】
請求項８に記載の受信プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送される映像コンテンツを受信することができる受信装置、送信装置、受信方法、受信プログラムおよび受信プログラムを格納した記録媒体と、映像コンテンツを放送する送信装置に関する。
【背景技術】
【０００２】
近年、拡張現実技術（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、以下ＡＲ技術とも称する）の一環として、カメラなどで撮影された画像等に３次元画像等の仮想的なデジタル情報を重畳して表示させることが行われている。
【０００３】
例えば、特許文献１には、撮像画像（実空間情報）に対して仮想的なデジタル情報を重畳させる際に、位置情報や姿勢情報だけでなく、重力情報も反映して仮想的なデジタル情報に実空間上の物体と同様の動きを与えることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１９７７７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ゲーム等においては、特許文献１などに記載されている技術を応用して、ゲーム画面等に３次元画像等を重畳して表示することが行われているが、テレビ放送などの放送される映像コンテンツにおいては、従来は視聴者が単に視聴するのみであり、基本的に一方通行なメディアであった。
【０００６】
近年、例えば、地上デジタル放送などではデータ放送などを利用して視聴者が参加できるようにした番組（映像コンテンツ）も放送されている。これは、基本的に文字情報等を表示させ、視聴者側でそれをリモートコントローラ（リモコン）等で選択操作するものであり映像コンテンツに対する没入感は乏しかった。
【０００７】
そこで、画像情報として３次元画像をテレビ画面に表示させたとしても、テレビ等の受信装置のリモコンでは複雑な操作は困難であり、仮にリモコンで３次元画像を操作ができるようにしたとしても、操作方法を覚えるのは煩わしいと感じてしまう可能性がある。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、例えば、放送される映像情報に受信側で動作させることが可能な３次元画像などの画像情報を重畳して表示させることができる受信装置、受信方法、受信プログラムおよび受信プログラムを格納した記録媒体と、受信装置で空間認識処理を行わずに画像情報を合成することができる放送を行うことができる送信装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に記載の受信装置は、映像情報を含む放送信号を受信する受信部を備えた受信装置において、物体の動きを認識する動き認識部と、前記物体の動きに連動して動作する画像情報を取得する画像情報取得部と、前記画像情報取得部が取得した前記画像情報を、前記動き認識部が認識した動きに連動して動作させ、前記受信部が受信した放送信号に含まれる映像情報に重畳させて、表示部に表示させる表示制御部と、を備えていることを特徴としている。
【００１０】
請求項６に記載の送信装置は、映像情報を含む放送信号を送信する送信部を備えた送信装置において、前記放送信号に前記映像情報とは異なる画像情報を重畳して表示させるための情報である表示情報を取得する表示情報取得部を備え、前記送信部が、前記表示情報取得部が取得した前記表示情報を前記放送信号に含めて送信する、ことを特徴としている。
【００１１】
請求項７に記載の受信方法は、映像情報を含む放送信号を受信する受信部を備えた受信装置の受信方法において、物体の動きを認識する動き認識工程と、前記物体の動きに連動して動作する画像情報を取得する画像情報取得工程と、前記画像情報取得工程で取得した前記画像情報を、前記受信部が受信した放送信号に含まれる映像情報に重畳させて、表示部に表示させる表示制御工程と、を含むことを特徴としている。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例にかかる受信装置および送信装置のブロックである。
【図２】ＤＲＣＳのデータフィールドの説明図である。
【図３】図１に示された送信装置の送信動作を示したフローチャートである。
【図４】図１に示された受信装置の受信動作を示したフローチャートである。
【図５】図１に示された受信装置の動き検出動作を示したフローチャートである。
【図６】映像情報にＵｓｅｒＯｂｊｅｃｔを重畳することを示した説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態にかかる受信装置を説明する。本発明の一実施形態にかかる受信装置は、動き認識部で人物等の物体の動きを認識し、表示制御部で、画像情報取得部が取得した画像情報を、動き認識部が認識した動きに連動して動作させているので、テレビ放送等による放送される映像コンテンツに対して、人物等（視聴者）の動きに連動した画像情報を重畳して表示することができる。そのため、視聴者は放送されるコンテンツにより没入して楽しむことができる。
【００１４】
また、放送信号に含まれている画像情報の表示情報を抽出する表示情報抽出部を更に備え、表示制御部は、表示情報抽出部が抽出した表示情報に基づいて、画像情報を映像情報に重畳させて表示部に表示させてもよい。従来のテレビ放送などの放送される映像コンテンツでは受信装置で重畳する画像情報は当然考慮されていない。そのために画像情報を表示する位置等の情報は受信装置で生成する必要があり、この処理に負荷がかかってしまうことがあった。そこで、放送信号に画像情報の表示情報を含め、表示情報抽出部で抽出することで、受信装置で、画像情報の表示位置等の情報を生成する必要がなく、受信装置の処理を軽減することができる。
【００１５】
また、表示情報が、画像情報を表示情報に表示される際の位置と姿勢を示す情報であってもよい。このようにすることにより、画像情報が３次元の画像情報である場合に、当該画像情報が表示される映像内で配置される位置や姿勢を定めることができ、受信装置内で空間認識処理により位置と姿勢を算出する必要がなくなるので、リアルタイムに映像が変化するテレビ放送などでも負荷がかからずに画像情報を合成することができる。
【００１６】
また、表示情報が、映像情報の字幕情報が挿入される領域に含んでいてもよい。このようにすることにより、既存のデータ領域で映像や音声等に影響を及ぼさない領域に表示情報を含めることができ、新たなデータ領域を定義することなく表示情報を含めることができる。
【００１７】
また、画像情報が、擬人化形状の画像を示す情報であってもよい。このようにすることにより、アバターなどの擬人化形状の画像情報をユーザ等の動きに連動させてテレビ画面上などで動作させることができ、よりコンテンツを楽しめることができる。
【００１８】
本実施形態にかかる送信装置は、表示情報取得部で放送信号に映像情報とは異なる画像情報を合成して表示させるための情報である表示情報を取得し、送信部で表示情報取得部が取得した表示情報を放送信号に含めて送信するので、受信側で画像情報を合成して表示させるための情報である表示情報を放送信号に含めて送信するために、受信装置で空間認識処理を行わずに画像情報を合成することができる映像情報を放送することができる。
【００１９】
本発明の一実施形態にかかる受信方法は、動き認識工程で物体の動きを認識し、表示制御工程で、画像情報取得工程において取得された画像情報を、動き認識工程で認識した動きに連動して動作させているので、テレビ放送等による放送される映像コンテンツに対して、人物等（視聴者）の動きに連動した画像情報を重畳して表示することができる。そのため、視聴者は放送されるコンテンツにより没入して楽しむことができる。
【００２０】
本発明の一実施形態にかかる受信プログラムは、上述した受信方法をコンピュータに実行させてもよい。このようにすることにより、コンピュータを用いて映像情報に画像情報の表示情報を含まれているので、テレビ放送等による放送される映像コンテンツに対して、人物等（視聴者）の動きに連動した画像情報を重畳して表示することができる。そのため、視聴者は放送されるコンテンツにより没入して楽しむことができる。
【００２１】
また、上述した受信プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
【実施例】
【００２２】
本発明の一実施例にかかる受信装置１０および送信装置２０を図１乃至図６を参照して説明する。受信装置１０は、図１に示すように、ＴＳ受信部１１と、分離部１２と、ＶｉｄｅｏＤｅｃｏｄｅｒ１３と、ＡｕｄｉｏＤｅｃｏｄｅｒ１４と、字幕−ＡＲＤｅｃｏｄｅｒ１５と、ＵｓｅｒＯｂｊｅｃｔ格納部１６と、画像解析部１７と、３ＤＭａｐｐｅｒ１８と、Ｖｉｄｅｏ出力部１９と、を備えている。
【００２３】
ＴＳ受信部１１は、図示しないアンテナ等で受信した例えば地上デジタル放送の放送波を復調し、放送信号としてのトランスポートストリーム（ＴＳ）を取り出して、当該トランスポートストリームを分離部１２に出力する。
【００２４】
分離部１２は、トランスポートストリームを分離するデマルチプレクサを含む。分離部１２は、受信したトランスポートストリームのヘッダ部に基づいて、映像ＰＥＳ（Packetized Elementary Stream）、音声ＰＥＳ、字幕ＰＥＳ等に分離する。また、映像ＰＥＳ、音声ＰＥＳおよび字幕ＰＥＳには同期再生のための時間情報であるＰＴＳ（Presentation Time Stamp）が含まれている。そして、分離された映像ＰＥＳはＶｉｄｅｏＤｅｃｏｄｅｒ１３に出力され、音声ＰＥＳはＡｕｄｉｏＤｅｃｏｄｅｒ１４に出力され、字幕ＰＥＳは字幕ＰＥＳ−ＡＲＤｅｃｏｄｅｒ１５に出力される。以上のＴＳ受信部１１と分離部が、映像情報を含む放送信号を受信する受信部として機能する。
【００２５】
ＶｉｄｅｏＤｅｃｏｄｅｒ１３は、分離部１２が出力した映像ＰＥＳを解読（デコード）し、映像情報を取り出してＶｉｄｅｏ出力部１９に出力する。
【００２６】
ＡｕｄｉｏＤｅｃｏｄｅｒ１４は、分離部１２が出力した音声ＰＥＳを解読し、音声情報を取り出して図示しないＡｕｄｉｏ出力部等から外部に出力される。
【００２７】
字幕−ＡＲＤｅｃｏｄｅｒ１５は、分離部１２が出力した字幕ＰＥＳを解読し字幕情報またはＡＲ情報を取り出して３ＤＭｐａｐｐｅｒ１８に出力する。例えば、地上デジタル放送で送られてくる字幕情報には、普通文字（本文）の他に、文字放送およびデータ放送文字符号化の規格に基づく外字をビットマップデータで表すＤＲＣＳ（Dynamically Re-definable Character Set）が含まれている。ＤＲＣＳは、文字または記号をビットマップデータで表したものである。
【００２８】
本実施例では字幕情報のうちＤＲＣＳのデータフィールドに後述するＵｓｅｒＯｂｊｅｃｔを映像情報に重畳する際の位置と姿勢の情報が挿入されている。字幕ＰＥＳ−ＡＲＤｅｃｏｄｅｒ１５は、この位置と姿勢の情報をＡＲ情報として取り出して３ＤＭａｐｐｅｒ１８に出力する。即ち、このＵｓｅｒＯｂｊｅｃｔを映像情報に重畳する際の位置と姿勢の情報が、特許請求の範囲の表示情報、つまり、画像情報に表示される際の位置と姿勢を示す情報である。そして、表示情報が、放送信号の字幕情報が挿入される領域に含まれている。なお、ＵｓｅｒＯｂｊｅｃｔを映像情報に重畳する際の位置と姿勢の情報は、以降、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報と記載する。
【００２９】
ＵｓｅｒＯｂｊｅｃｔ格納部１６は、画像情報としてのＵｓｅｒＯｂｊｅｃｔが格納されるメモリ等で構成されている。ＵｓｅｒＯｂｊｅｃｔは、本実施例では３次元画像情報とし、具体的には例えばアバターなどの擬人化形状の画像情報が挙げられる。
【００３０】
画像解析部１７は、受信装置１０に接続されたカメラ３０が撮影したユーザ等の人物の動きを検出し、３ＤＭａｐｐｅｒ１８に出力する。具体的にはカメラ３０が撮影した画像から人物を認識し、モーションキャプチャなどによってその動作を検出して３ＤＭａｐｐｅｒ１８に出力する。
【００３１】
３ＤＭａｐｐｅｒ１８は、字幕−ＡＲＤｅｃｏｄｅｒ１５から出力されたＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報に基づいて、ＵｓｅｒＯｂｊｅｃｔ格納部１６から読み出されたＵｓｅｒＯｂｊｅｃｔをＶｉｄｅｏＤｅｃｏｄｅｒ１３が解読した映像情報の画面における所定の位置に所定の姿勢で配置してＵｓｅｒＯｂｊｅｃｔが配置されている映像の情報をＶｉｄｅｏ出力部１９に出力する。また。３ＤＭａｐｐｅｒ１８は、画像解析部１７から出力された動き検出情報に基づいて、ＵｓｅｒＯｂｊｅｃｔを動作させる。
【００３２】
Ｖｉｄｅｏ出力部１９は、ＶｉｄｅｏＤｅｃｏｄｅｒ１３から出力された映像情報に３ＤＭａｐｐｅｒ１８から出力されたＵｓｅｒＯｂｊｅｃｔの情報を重畳（合成）し外部の表示装置等に出力する。ＵｓｅｒＯｂｊｅｃｔは３ＤＭａｐｐｅｒ１８で映像情報における所定の位置に配置されているので、Ｖｉｄｅｏ出力部１９では、単に重畳（重ね合わせて合成）するだけでよい。
【００３３】
カメラ３０は、例えばユーザ等の人物を撮影するための撮像装置であり、画像解析部１７で動きを検出するために動画像を撮影することできるカメラで構成されている。なお、カメラ３０と受信装置１０とは、有線で接続されていてもよいし無線でもよい。
【００３４】
送信装置２０は、ＶｉｄｅｏＥｎｃｏｄｅｒ２１と、ＡｕｄｉｏＥｎｃｏｄｅｒ２２と、字幕−ＡＲＥｎｃｏｄｅｒ２３と、混合部２４と、ＴＳ送信部２５と、を備えている。
【００３５】
ＶｉｄｅｏＥｎｃｏｄｅｒ２１は、送信する映像信号が入力され、例えば地上デジタル放送であれば、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）規格で定められた符号化方式で符号化され、映像ＰＥＳを生成し混合部２４に出力する。
【００３６】
ＡｕｄｉｏＥｎｃｏｄｅｒ２２は、送信する音声信号が入力され、例えば地上デジタル放送であれば、ＡＡＣ（Advanced Audio Coding）方式で符号化され、音声ＰＥＳを生成し混合部２４に出力する。
【００３７】
字幕−ＡＲＥｎｃｏｄｅｒ２３は、送信する字幕情報が入力され、普通文字以外の外字等の情報はＤＲＣＳのフォーマットに変換して、字幕ＰＥＳを生成し混合部２４に出力する。また、字幕−ＡＲＥｎｃｏｄｅｒ２３は、本来の字幕情報をＤＲＣＳフォーマットに変換するだけでなく、当該送信装置２０から送信される映像に受信装置１０側でＵｓｅｒＯｂｊｅｃｔ等の画像情報を重畳することが容易にできるように、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報をＤＲＣＳフォーマットに変換する（含める）ことができる。ＤＲＣＳに字幕を含めるかＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を含めるかは、予め外部から切り替え情報等を入力して指定すればよい。即ち、字幕−ＡＲＥｎｃｏｄｅｒ２３が、放送信号に映像情報とは異なる画像情報を重畳して表示させるための情報である表示情報を取得する表示情報取得部として機能する。
【００３８】
混合部２４は、ＶｉｄｅｏＥｎｃｏｄｅｒ２１から出力された映像ＰＥＳと、ＡｕｄｉｏＥｎｃｏｄｅｒ２２から出力された音声ＰＥＳと、字幕ＰＥＳ−ＡＲＥｎｃｏｄｅｒ２３から出力された字幕ＰＥＳと、を混合するマルチプレクサを含み、トランスポートストリームを生成しＴＳ送信部２５に出力する。
【００３９】
ＴＳ送信部２５は、混合部２４から出力されたトランスポートストリームを変調して、所定の搬送波により図示しないアンテナ等から送信する。即ち、混合部２４とＴＳ送信部２５で、表示情報取得部が取得した表示情報を映像情報とともに放送信号に含めて送信する送信部として機能する。
【００４０】
次に、上述した字幕−ＡＲＥｎｃｏｄｅｒ２３で生成され、ＤＲＣＳＤｅｃｏｄｅｒ１５で解読されるＤＲＣＳのデータフォーマットと、本発明において、当該データフォーマットにどのようにＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を含めるかについて図２を参照して説明する。
【００４１】
図２は、ＤＲＣＳのデータフォーマットである。ＤＲＣＳは、ＮｕｍｂｅｒＯｆＣｏｄｅと、ＣｈａｒａｃｔｅｒＣｏｄｅと、ＮｕｍｂｅｒＯｆＦｏｎｔと、ｆｏｎｔＩｄと、ｍｏｄｅと、ｄｅｐｔｈと、ｗｉｄｔｈと、ｈｅｉｇｈｔと、複数のｐａｔｔｅｒｎＤａｔａと、から構成されている。
【００４２】
ＮｕｍｂｅｒＯｆＣｏｄｅは外字符号数を表している。ＣｈａｒａｃｔｅｒＣｏｄｅは外字の符号を表している。ＮｕｍｂｅｒＯｆＦｏｎｔはフォントの総数を表している。ｆｏｎｔＩｄはフォントの識別を表している。ｍｏｄｅは伝送モードを表している。ｄｅｐｔｈはフォントの階調深さを表している。ｗｉｄｔｈはＤＲＣＳ図形の横方向サイズを表している。ｈｅｉｇｈｔとはＤＲＣＳ図形の縦方向サイズを表している。ｐａｔｔｅｒｎＤａｔａはＤＲＣＳ図形パターンのデータを表している。
【００４３】
これらのデータのうち、ｆｏｎｔＩｄをＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報が含まれているか否かを示すデータとし、ｐａｔｔｅｒｎＤａｔａにＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を含める。
【００４４】
ｆｏｎｔＩｄは通常“０”が指定され、“０”以外が指定されても受信側では“０”とみなすようになっているために、このｆｏｎｔＩｄに“０”以外の値を指定することで、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報が含まれているかを示すことが可能となる。つまり、本実施例にかかる受信装置であれば、ｆｏｎｔＩｄに“０”以外の予め決められた値が設定されている場合は、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報が設定されていることが認識でき、従来の受信装置では、ｆｏｎｔＩｄに“０”以外の予め決められた値が設定されても強制的に“０”とみなされるため動作に影響は無い。
【００４５】
ｐａｔｔｅｒｎＤａｔａには、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を含める。この位置と姿勢の情報とは、ＵｓｅｒＯｂｊｅｃｔをテレビ放送の画面上のどの位置にどのような姿勢で配置すればよいかを示すデータであり、例えば、位置としてＸ，Ｙ，Ｚの各座標情報、姿勢としてＰｉｔｃｈ，Ｒｏｌｌ，Ｐａｎの各情報をそれぞれ１バイトで指定する。そのため本実施例では６バイト（図２の場合ｐａｔｔｅｒｎＤａｔａ６つ分）で位置と姿勢の情報を表すことができる。
【００４６】
次に、上述した構成の送信装置２０における送信動作を図３のフローチャートを、受信装置１０における受信動作を図４のフローチャートを、受信装置１０におけるカメラ３０で撮影された人物の動き検出動作を図５のフローチャートを、それぞれ参照して説明する。なお、送信動作と受信動作においては、ＤＲＣＳによる字幕情報の生成と、当該字幕情報からＵｓｅｒＯｂｊｅｃｔを配置して映像情報に重畳する動作を中心に説明し、映像情報や音声情報の送受信については周知の地上デジタル放送における送受信と同様であるので説明を省略する。
【００４７】
まず、図３の送信装置２０における送信動作を説明する。ステップＳ１１において、字幕−ＡＲＥｎｃｏｄｅｒ２３にＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報が入力されステップＳ１２に進む。ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報は、例えば、図示しない放送局のテレビカメラ等が撮影した映像情報を３次元空間認識する装置等で空間認識を行わせ、ＵｓｅｒＯｂｊｅｃｔ等の画像情報を受信側で重畳する際の位置と姿勢の情報を生成し、字幕−ＡＲＥｎｃｏｄｅｒ２３に入力すればよい。
【００４８】
次に、ステップＳ１２において、ステップＳ１１で字幕−ＡＲＥｎｃｏｄｅｒ２３に入力された位置と姿勢の情報をＤＲＣＳのデータフィールドに含めるように変換してステップＳ１３に進む。本ステップで上述したｆｏｎｔＩｄに“０”以外の予め定めた値が設定されｐａｔｔｅｒｎＤａｔａにＵｓｅｒＯｂｊｅｃｔの位置と姿勢のデータが設定される。
【００４９】
次に、ステップＳ１３において、字幕−ＡＲＥｎｃｏｄｅｒ２３で字幕ＰＥＳを生成しステップＳ２４に進む。
【００５０】
次に、ステップＳ１４において、混合部２４でトランスポートストリーム（ＴＳ）を生成し、ＴＳ送信部２５から送信する。
【００５１】
次に、図４の受信装置における受信動作を説明する。ステップＳ２１において、ＴＳ受信部１１でトランスポートストリームを受信してステップＳ２２に進む。
【００５２】
次に、ステップＳ２２において、分離部１２でトランスポートストリームを映像ＰＥＳ、音声ＰＥＳ、字幕ＰＥＳに分離してステップＳ２３に進む。
【００５３】
次に、ステップＳ２３において、字幕−ＡＲＤｅｃｏｄｅｒ１５で字幕ＰＥＳのデコード（解読）を行ってステップＳ２４に進む。即ち、字幕−ＡＲＤｅｃｏｄｅｒ１５が放送信号に含まれている画像情報の表示情報を抽出する表示情報抽出部として機能している。
【００５４】
次に、ステップＳ２４において、ステップＳ２３でデコードしたＤＲＣＳからＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報が検出されたか否かを判断し、検出された場合（Ｙｅｓの場合）はステップＳ２５に進み、検出されない場合（Ｎｏの場合）はステップＳ２７に進む。ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報が検出されたか否かは、上述したようにｆｏｎｔＩｄが“０”以外の予め定めた値か否かで判断すればよい。
【００５５】
次に、ステップＳ２５において、ステップＳ２４で検出したＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報に基づいて映像情報における所定の位置に所定の姿勢で配置してステップＳ２６に進む。また、このステップで配置されたＵｓｅｒＯｂｊｅｃｔ（例えば３次元立体画像として人型のアバター）は、後述する図５のフローチャートによりカメラ３０で撮影された人物等の物体の動きに合わせた動作をしている。なお、本実施例では、カメラ３０で撮影された人物等の物体の動きに合わせた動作であるが、カメラ３０で撮影された人物等と全く同じ動きをしなくとも人物等の動きと連動して何らかの動作をすればよい。
【００５６】
次に、ステップＳ２６において、ステップＳ２５で配置したＵｓｅｒＯｂｊｅｃｔをＶｉｄｅｏＤｅｃｏｄｅｒ１３でデコードされた映像情報にＶｉｄｅｏ出力部１９で重畳して表示装置等に出力する。このようにすることで、図６に示したように映像情報に座標系未定状態のアバターが重畳されて表示される。即ち、３ＤＭａｐｐｅｒ１８が字幕−ＡＲＤｅｃｏｄｅｒ１５が抽出した表示情報に基づいて配置し、Ｖｉｄｅｏ出力部１９が動作部が動作させている画像情報を受信部が受信した映像情報に重畳するので、３ＤＭａｐｐｅｒ１８とＶｉｄｅｏ出力部１９が表示制御部として機能する。また、本ステップＳ２６は表示制御工程となる。
【００５７】
一方、ステップＳ２７においては、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報が検出されなかったので通常のＤＲＣＳの字幕処理を行う。
【００５８】
次に、図５の受信装置における動き検出動作を説明する。ステップＳ３１において、カメラ３０で撮影された画像（動画像）が画像解析部１７に入力されてステップＳ３１に進む。
【００５９】
次に、ステップＳ３２において、画像解析部１７が、ステップＳ３１で入力された画像から当該画像に含まれる人物の動きを検出（認識）し、動きや姿勢等を示す情報を３ＤＭａｐｐｅｒ１８に出力してステップＳ３３に進む。即ち、画像解析部１７が物体の動きを認識する動き認識部として機能し、本ステップが動き認識工程となる。
【００６０】
次に、ステップＳ３３において、３ＤＭａｐｐｅｒ１８が、ＵｓｅｒＯｂｊｅｃｔ格納部１６からＵｓｅｒＯｂｊｅｃｔを読み出し、そして、ステップＳ３２で画像解析部１７から入力された動きや姿勢を示す情報に基づいて、その動きを反映するようにＵｓｅｒＯｂｊｅｃｔを動作させる。即ち、３ＤＭａｐｐｅｒ１８が物体の動きに連動して動作する画像情報を取得する画像情報取得部として機能し、本ステップが画像情報取得工程となる。さらに、３ＤＭａｐｐｅｒ１８が画像情報取得部が取得した画像情報を動き認識部が認識した動きに連動して動作させる表示制御部としても機能し、本ステップは表示制御工程にもなる。
【００６１】
以上のフローチャートの説明から明らかなように、受信装置１０では、受信動作と動き検出動作が同時に行われている。
【００６２】
以上の説明のようにすることで、例えば歌番組等で、歌手が立つステージ上に視聴者の動きに連動するアバターを表示させて、歌手の振りに合わせて視聴者が動くことで、カメラ３０で撮影した視聴者の動きに合わせてアバターも動作することができ、視聴者は、歌手と一緒に歌っているようか感覚を得て、よりコンテンツに没入することができる。
【００６３】
本実施例によれば、受信装置１０では、字幕−ＡＲＤｅｃｏｄｅｒ１５で受信したＤＲＣＳからＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を取得し、３ＤＭａｐｐｅｒ１８でＵｓｅｒＯｂｊｅｃｔ格納部１６からＵｓｅｒＯｂｊｅｃｔを読み出して取得したＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報に基づいて配置し、ＶｉｄｅｏＤｅｃｏｄｅｒ１３でデコードされた映像情報に配置されたＵｓｅｒＯｂｊｅｃｔを重畳して出力するので、テレビ放送等による放送される映像コンテンツに対して、ＵｓｅｒＯｂｊｅｃｔを人物等（視聴者）の動きに連動して表示できるために、ＵｓｅｒＯｂｊｅｃｔを容易に操作することができる。そのため、視聴者は放送されるコンテンツにより没入して楽しむことができる。
【００６４】
また、受信装置１０側でＵｓｅｒＯｂｊｅｃｔの配置するための空間認識処理をする必要が無くなり、放送される映像情報にアバターなどのＵｓｅｒＯｂｊｅｃｔを重畳する際に、空間認識処理を行わずに重畳することができるので、リアルタイムに映像が変化するテレビ放送などでも受信装置の処理負荷を軽減できる。また、表示情報に位置と姿勢の情報が含まれているので、ＵｓｅｒＯｂｊｅｃｔを適切に表示することができる。
【００６５】
また、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報がＤＲＣＳに挿入されているので、既存のデータ領域で映像や音声等に影響を及ぼさない領域に表示情報を含めることができ、新たなデータ領域を定義することなく表示情報を含めることができる。また、字幕情報の一部であるＤＲＣＳに含めることで、字幕ＰＥＳに含まれているＰＴＳを利用して映像情報と同期させることができ、映像情報に合わせてＵｓｅｒＯｂｊｅｃｔの配置や姿勢を変化させることができる。
【００６６】
また、送信装置２０で、映像情報に重畳する際のＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を字幕−ＡＲＥｎｃｏｄｅｒ２３がＤＲＣＳに含め、トランスポートストリームに当該ＤＲＣＳを含めて送信しているので、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報をトランスポートストリームに含めて送信するために、受信装置１０で空間認識処理を行わずにＵｓｅｒＯｂｊｅｃｔを重畳することができる放送を行うことができる。
【００６７】
なお、図２に示したＤＲＣＳのデータフォーマットは字幕情報中に複数指定することが可能であるので、複数種類の位置と姿勢の情報を字幕情報中に挿入し、字幕情報のヘッダ等でどれを選択するかを指定するようしてもよい。
【００６８】
また、上述した実施例では、ＵｓｅｒＯｂｊｅｃｔとして人型のアバターとしていたが、それに限らず、動物等他の形態としてもよい。つまり、ＵｓｅｒＯｂｊｅｃｔは、カメラ３０で撮影した人物等の物体の動きに連動して動作できる画像であればよい。
【００６９】
また、上述した実施例では、ＵｓｅｒＯｂｊｅｃｔはＵｓｅｒＯｂｊｅｃｔ格納部１６に格納されていたが、外部記憶装置や外部ネットワーク等を介して取得するようにしてもよい。
【００７０】
また、上述した実施例では、主に地上デジタル放送で説明したが、それに限らず、例えば衛星放送など映像情報を含む放送であればよい。また、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報もＤＲＣＳに含めるに限らず他の領域に含めてもよい。例えば、字幕情報では、表示する字幕のフォントと表示位置の指定が可能であり、この表示位置を用いて、ＵｓｅｒＯｊｅｃｔの位置の情報を指定し、姿勢の情報はフォントのコード指定の部分に挿入する。そして、大きさの情報を例えば字幕文字の２文字目を大きさとすることで、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報と同等の表示情報を字幕情報に挿入することが可能となる。
【００７１】
また、上述した図４のフローチャートをコンピュータで動作するプログラムとして構成することで、本発明を受信プログラムとして構成することができる。即ち、字幕−ＡＲＤｅｃｏｄｅｒ１５、画像解析部１７、３ＤＭａｐｐｅｒ１８、Ｖｉｄｅｏ出力部１９をコンピュータに機能させるプログラムとして構成しても良い。
【００７２】
前述した実施例によれば、以下の受信装置１０、受信方法、送信装置２０が得られる。
【００７３】
（付記１）映像情報を含むトランスポートストリームを受信するＴＳ受信部１１、分離部１２を備えた受信装置１０において、
人物の動きを認識する画像解析部１７と、
人物の動きに連動して動作するＵｓｅｒＯｂｊｅｃｔを取得する３ＤＭａｐｐｅｒ１８と、
３ＤＭａｐｐｅｒ１８が取得したＵｓｅｒＯｂｊｅｃｔを、画像解析部１７が認識した動きに連動して動作させ、ＴＳ受信部１１、分離部１２が受信したトランスポートストリームに含まれる映像情報に重畳させて、表示部に表示させる３ＤＭａｐｐｅｒ１８、Ｖｉｄｅｏ出力部１９と、
を備えていることを特徴とする受信装置１０。
【００７４】
（付記２）映像情報を含むトランスポートストリームを受信するＴＳ受信部１１、分離部１２を備えた受信装置１０の受信方法において、
人物の動きを認識するステップＳ３２と、
人物の動きに連動して動作するＵｓｅｒＯｂｊｅｃｔを取得するステップＳ３３と、
ステップＳ２５で取得したＵｓｅｒＯｂｊｅｃｔをステップＳ３２が認識した動きに連動して動作させ、ＴＳ受信部１１、分離部１２が受信した放送信号に含まれる映像情報に重畳させて、表示部に表示させるステップＳ２６、Ｓ３３と、
を含むことを特徴とする受信方法。
【００７５】
これらの受信装置１０、受信方法によれば、テレビ放送等による放送される映像コンテンツに対して、人物等（視聴者）の動きに連動したＵｓｅｒＯｂｊｅｃｔを重畳して表示することができる。そのため、視聴者は放送されるコンテンツにより没入して楽しむことができる。
【００７６】
（付記３）映像情報を含むトランスポートストリームを送信する混合部２４、ＴＳ送信部２５を備えた送信装置２０において、
トランスポートストリームに該映像信号とは異なるＵｓｅｒＯｂｊｅｃｔを重畳して表示させるための情報であるＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報を取得する字幕ＰＥＳ−ＡＲＥｎｃｏｄｅｒ２３を備え、
混合部２４、ＴＳ送信部２５が、字幕ＰＥＳ−ＡＲＥｎｃｏｄｅｒ２３が取得したＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報をトランスポートストリームに含めて送信する、
ことを特徴とする送信装置２０。
【００７７】
この送信装置２０によれば、ＵｓｅｒＯｂｊｅｃｔの位置と姿勢の情報をトランスポートストリームに含めて送信するために、受信装置１０で空間認識処理を行わずにＵｓｅｒＯｂｊｅｃｔを重畳することができるトランスポートストリームを放送することができる。
【００７８】
なお、前述した実施例は本発明の代表的な形態を示したに過ぎず、本発明は、実施例に限定されるものではない。すなわち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。
【符号の説明】
【００７９】
１０      受信装置
１１      ＴＳ受信部（受信部）
１２      分離部（受信部）
１５      字幕−ＡＲＤｅｃｏｄｅｒ（表示情報抽出部）
１７      画像解析部（動き認識部）
１８      ３ＤＭａｐｐｅｒ（画像情報取得部、動作部、表示制御部）
１９      Ｖｉｄｅｏ出力部（表示制御部）
２０      送信装置
２３      字幕−ＡＲＥｎｃｏｄｅｒ（表示情報取得部）
２４      混合部（送信部）
２５      ＴＳ送信部（送信部）
Ｓ２３    ＤＲＣＳデコード（表示情報抽出工程）
Ｓ２５    ＵｓｅｒＯｂｊｅｃｔ配置（画像情報取得工程）
Ｓ２６    重畳（表示制御工程）
Ｓ３２    動き認識（動き認識工程）
Ｓ３３    動き反映（表示制御工程）
【図１】
2013207454.tif 000003
【図２】
2013207454.tif 000004
【図３】
2013207454.tif 000005
【図４】
2013207454.tif 000006
【図５】
2013207454.tif 000007
【図６】
2013207454.tif 000008