(57)【要約】  受信側におけるサブタイトルのテキスト情報を用いた処理をより適切に行い得るようにする。  符号化画像データを持つビデオストリームを生成する。所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームを生成する。ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを送信する。例えば、メタ情報は、各発話の発話者を識別するための識別子や各発話の発話者の属性情報などを含む。
2016136468.tif 000002
【特許請求の範囲】
【請求項１】
符号化画像データを持つビデオストリームを生成するビデオエンコード部と、
所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
【請求項２】
上記メタ情報は、各発話の発話者を識別するための識別子を含む
請求項１に記載の送信装置。
【請求項３】
上記メタ情報は、各発話の発話者の属性情報をさらに含む
請求項２に記載の送信装置。
【請求項４】
上記サブタイトルストリームは、上記サブタイトルのテキスト情報および上記メタ情報を、ＴＴＭＬのデータあるいは該ＴＴＭＬの派生フォーマットのデータとして持つ
請求項１に記載の送信装置。
【請求項５】
符号化画像データを持つビデオストリームを生成するビデオエンコードステップと、
所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームを生成するサブタイトルエンコードステップと、
送信部により、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
【請求項６】
符号化画像データを持つビデオストリームと所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
上記サブタイトルストリームから上記サブタイトルのテキスト情報および上記メタ情報を抽出する情報抽出部と、
上記抽出されたサブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理部を備える
受信装置。
【請求項７】
上記メタ情報は、各発話の発話者を識別するための識別子を含む
請求項６に記載の受信装置。
【請求項８】
上記メタ情報は、各発話の発話者の属性情報をさらに含む
請求項７に記載の受信装置。
【請求項９】
上記情報処理部は、
上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理を行って発話者毎の人物要約またはサブタイトル要約を作成するか、あるいは各発話のサブタイトルの他言語への翻訳を行う
請求項６に記載の受信装置。
【請求項１０】
上記情報処理部は、
上記サブタイトルのテキスト情報およびメタ情報を外部機器に送信し、
該外部機器から、上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理が行われて作成された発話者毎の人物要約またはサブタイトル要約、あるいは上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理が行われて得られた各発話のサブタイトルの他言語への翻訳の結果を受信する
請求項６に記載の受信装置。
【請求項１１】
受信部により、符号化画像データを持つビデオストリームと所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
上記サブタイトルストリームから上記サブタイトルのテキスト情報および上記メタ情報を抽出する情報抽出ステップと、
上記抽出されたサブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理ステップを有する
受信方法。
【請求項１２】
外部機器から所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を受信する受信部と、
上記サブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理部と、
上記外部機器に、上記処理の結果を送信する送信部を備える
情報処理装置。
【請求項１３】
上記情報処理部は、
上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理を行って発話者毎の人物要約またはサブタイトル要約を作成するか、あるいは各発話のサブタイトルの他言語への翻訳を行う
請求項１２に記載の情報処理装置。
【請求項１４】
受信部により、外部機器から所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を受信する受信ステップと、
上記サブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理ステップと、
送信部により、上記外部機器に、上記処理結果を送信する送信ステップを有する
情報処方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法に関し、特に、画像データと共にサブタイトルのテキスト情報を送信する送信装置等に関する。
【背景技術】
【０００２】
従来、例えば、ＤＶＢ（Digital Video Broadcasting）の放送などでは、サブタイトルの情報をビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている。この場合、受信側で解像度に応じたフォント展開がなされる。【０００３】
また、サブタイトルの情報をテキストベースで送信する場合、テキスト情報にタイミング情報を持たせることが提案されている。このテキスト情報として、例えば、Ｗ３Ｃ（(World Wide Web Consortium）でＴＴＭＬ（Timed Text Markup Language）が提唱されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１６９８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本技術の目的は、受信側におけるサブタイトルのテキスト情報を用いた処理を適切に行い得るようにすることにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
符号化画像データを持つビデオストリームを生成するビデオエンコード部と、
所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。【０００７】
本技術において、ビデオエンコード部により、符号化画像データを持つビデオストリームが生成される。サブタイトルエンコード部により、サブタイトルストリームが生成される。このサブタイトルストリームは、所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持っている。【０００８】
例えば、メタ情報は、各発話の発話者を識別するための識別子を含む、ようにされてもよい。この場合、例えば、メタ情報は、各発話の発話者の属性情報をさらに含む、ようにされてもよい。例えば、サブタイトルストリームは、サブタイトルのテキスト情報およびメタ情報を、ＴＴＭＬのデータあるいはこのＴＴＭＬの派生フォーマットのデータとして持つ、ようにされてもよい。【０００９】
送信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。【００１０】
このように本技術においては、サブタイトルストリームが所定数の発話者の発話に対応したサブタイトルのテキスト情報の他に各発話を解析するためのメタ情報を持つものである。そのため、受信側では、メタ情報を参照することでサブタイトルのテキスト情報を用いた処理をより適切に行い得る。【００１１】
また、本技術の他の概念は、
符号化画像データを持つビデオストリームと所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
上記サブタイトルストリームから上記サブタイトルのテキスト情報および上記メタ情報を抽出する情報抽出部と、
上記抽出されたサブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理部を備える
受信装置にある。【００１２】
本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、少なくとも、符号化画像データを持つビデオストリームと所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームとが含まれている。【００１３】
情報処理部により、サブタイトルストリームからサブタイトルのテキスト情報およびメタ情報が抽出される。そして、情報処理部により、抽出されたサブタイトルのテキスト情報およびメタ情報を用いた処理が行われる。例えば、メタ情報は、各発話の発話者を識別するための識別子を含む、ようにされてもよい。この場合、例えば、メタ情報は、各発話の発話者の属性情報をさらに含む、ようにされてもよい。【００１４】
例えば、情報処理部は、メタ情報を参照してサブタイトルのテキスト情報の意味解析および文脈整理を行って発話者毎の人物要約またはサブタイトル要約を作成するか、あるいは各発話のサブタイトルの他言語への翻訳を行う、ようにされてもよい。【００１５】
また、例えば、情報処理部は、サブタイトルのテキスト情報およびメタ情報を外部機器に送信し、この外部機器から、メタ情報を参照してサブタイトルのテキスト情報の意味解析および文脈整理が行われて作成された発話者毎の人物要約またはサブタイトル要約、あるいはメタ情報を参照してサブタイトルのテキスト情報の意味解析および文脈整理が行われて得られた各発話のサブタイトルの他言語への翻訳の結果を受信する、ようにされてもよい。【００１６】
このように本技術においては、所定数の発話者の発話に対応したサブタイトルのテキスト情報と共に各発話を解析するためのメタ情報を用いた処理を行うものである。そのため、メタ情報を参照してサブタイトルのテキスト情報を用いた処理をより適切に行い得る。【００１７】
また、本技術の他の概念は、
外部機器から所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を受信する受信部と、
上記サブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理部と、
上記外部機器に、上記処理結果を送信する送信部を備える
情報処理装置にある。【００１８】
本技術においては、受信部により、外部機器から所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報が受信される。情報処理部により、サブタイトルのテキスト情報およびメタ情報を用いた処理が行われる。例えば、情報処理部は、メタ情報を参照してサブタイトルのテキスト情報の意味解析および文脈整理を行って発話者毎の人物要約またはサブタイトル要約を作成するか、あるいは各発話のサブタイトルの他言語への翻訳を行う、ようにされてもよい。送信部により、外部機器に、処理結果が送信される。【００１９】
このように本技術においては、外部機器から受信された所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を用いて処理を行って、その結果を外部機器に送信するものである。そのため、外部機器の処理負荷を軽減することが可能となる。
【発明の効果】
【００２０】
本技術によれば、受信側におけるサブタイトルのテキスト情報を用いた処理をより適切に行うことが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２１】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】放送送出システムのストリーム生成部の構成例を示すブロック図である。
【図３】ＴＴＭＬ構造を説明するための図である。
【図４】ＴＴＭＬ構造のヘッダ（head）に存在するメタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素の構造例を示す図である。
【図５】ＴＴＭＬ構造のボディ（body）の構造例を示す図である。
【図６】テレビ受信機の構成例を示すブロック図である。
【図７】サブタイトルストリーム解析部の動作を説明するための図である。
【図８】情報処理部における発話者毎の人物要約の生成処理の手順の一例を説明するための図である。
【図９】会話テキスト例を示す図である。
【図１０】単語・分割の処理例および文脈・意味解析の処理例を示す図である。
【図１１】単語・分割の処理例および文脈・意味解析の処理例を示す図である。
【図１２】テレビ受信機から外部機器に送信されるＴＴＭＬメタデータ、ＴＴＭＬボディの一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２３】
＜１．実施の形態＞
［送受信システムの構成例］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、放送送出システム１００とテレビ受信機２００により構成されている。放送送出システム１００は、多重化ストリームとしてのトランスポートストリームＴＳを、放送波に載せて送信する。
【００２４】
トランスポートストリームＴＳは、少なくとも、ビデオストリームと、サブタイトルストリームを有している。ビデオストリームは、符号化画像データを持っている。サブタイトルストリームは、所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持っている。この実施の形態において、メタ情報に、各発話の発話者を識別するための識別子および各発話の発話者の属性情報が含まれている。なお、識別子のみが含まれる場合、あるいは各発話がされたときの環境情報などのその他の情報が、メタ情報として含まれていてもよい。
【００２５】
テレビ受信機２００は、放送送出システム１００から放送波で送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、少なくともビデオストリームとサブタイトルストリームを有している。なお、トランスポートストリームＴＳはオーディオストリームを含む場合もある。サブタイトルストリームには、所定数の発話者の発話に対応したサブタイトルのテキスト情報の他に、各発話を解析するためのメタ情報が含まれている。
【００２６】
テレビ受信機２００は、ビデオストリームにデコード処理を施して画像データを得ると共に、サブタイトルストリームから抽出されるサブタイトルのテキスト情報にデコード処理を施してサブタイトル（字幕）のビットマップデータを得る。そして、テレビ受信機２００は、画像データにサブタイトル（字幕）のビットマップデータを重畳し、サブタイトルが重畳された画像を表示する。
【００２７】
また、テレビ受信機２００は、サブタイトルストリームから抽出されるサブタイトルのテキスト情報およびメタ情報を用いて、発話者毎の人物要約またはサブタイトル要約、あるいは各発話のサブタイトルの他言語への翻訳結果を取得する。テレビ受信機２００は、発話者毎の人物要約またはサブタイトル要約を生成する処理、あるいは各発話のサブタイトルを他言語に翻訳する処理を、自身で行うか、あるいはクラウド上の外部機器、つまりネットワークを介して接続された外部機器に行わせる。
【００２８】
テレビ受信機２００は、取得した、発話者毎の人物要約またはサブタイトル要約、あるいは各発話のサブタイトルの他言語への翻訳結果を、例えば、ユーザの選択操作に応じて、画像に重畳して表示する。
【００２９】
［放送送出システムのストリーム生成部の構成例］
図２は、放送送出システム１００のストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、制御部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マイクロホン１１４ａ，１１４ｂと、音声/テキスト変換部１１５ａ，１１５ｂと、テキストフォーマット変換部１１６と、サブタイトルエンコーダ１１７と、ＴＳフォーマッタ（マルチプレクサ）１１８を有している。
【００３０】
制御部１１１は、例えば、ＣＰＵ（Central Processing Unit）を備えた構成とされており、ストリーム生成部１１０の各部の動作を制御する。ビデオエンコーダ１１２は、画像データＤＶを入力し、この画像データＤＶに対して符号化を施し、ペイロードに符号化画像データを配置したＰＥＳパケットからなるビデオストリームを生成する。オーディオエンコーダ１１３は、音声データＤＡを入力し、この音声データＤＡに対して符号化を施し、ペイロードに符号化音声データを配置したＰＥＳパケットからなるオーディオストリームを生成する。
【００３１】
マイクロホン１１４ａは、発話者Ａの発話を音声データＳａに変換する。音声/テキスト変換部１１５ａは、音声データＳａを、サブタイトル情報としてのテキストデータ（文字コード）ＤＴａに変換する。マイクロホン１１４ｂは、発話者Ｂの発話を音声データＳｂに変換する。音声/テキスト変換部１１５ｂは、音声データＳｂを、サブタイトル情報としてのテキストデータ（文字コード）ＤＴｂに変換する。音声/テキスト変換部１１５ｂ，１１５ｂにおける変換処理は、手動であっても自動であってもよい。また、並行して音声データＳａ，Ｓｂは音声データＤＡと共にオーディオエンコーダ１１３に入力されることもできる。
【００３２】
テキストフォーマット変換部１１６は、サブタイトル情報としてのテキストデータＤＴａ，ＤＴｂを入力し、所定フォーマットのサブタイトルのテキスト情報を得る。このテキスト情報として、例えば、ＴＴＭＬあるいはＴＴＭＬの派生フォーマットが考えられるが、この実施の形態においてはＴＴＭＬであるとする。
【００３３】
図３は、ＴＴＭＬ構造を示している。ＴＴＭＬは、ＸＭＬベースで記載される。ヘッダ（head）には、メタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素が存在する。図４（ａ）は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれる。
【００３４】
また、このメタデータには、発話者Ａ、発話者Ｂを識別する識別子に関連付けて、発話者の属性情報が含まれる。「voice_id=“a”」は、発話者Ａの識別子を示し、この識別子に関連付けて、「sex=“m”」、「age=“30”」、「char=“mild”」、「language_id=“english”」の属性情報が配置されている。「sex=“m”」は、性別が男であることを示す。「age=“30”」は年齢が３０歳であることを示す。「char=“mild”」は、性格が穏やかであることを示す。「language_id=“english”」は、言語は英語であることを示す。
【００３５】
また、「voice_id=“b”」は、発話者Ｂの識別子を示し、この識別子に関連付けて、「sex=“f”」、「age=“25”」、「char=“smart”&“sharp”」、「language_id=“english”」の属性情報が配置されている。「sex=“f”」は、性別が女であることを示す。「age=“25”」は年齢が２５歳であることを示す。「char=“smart”&“sharp”」は、性格が頭がよく切れ者であることを示す。「language_id=“english”」は、言語が英語であることを示す。
【００３６】
なお、図示の属性情報の種類は一例であって、これらの全てが配置される必要はなく、また、これら以外の種類が配置されていてもよい。また、ここでは、発話者Ａ、発話者Ｂの属性情報が含まれる例を示したが、発話者Ａ、発話者Ｂの発話に関係する他の情報、例えば場所、時間などの環境情報がさらに含まれるようにしてもよい。
【００３７】
図４（ｂ）は、スタイリング（ＴＴＳ：TTML Styling）の構造例を示している。このスタイリングには、識別子（id）の他に、カラー（color）、フォント（fontFamily）、サイズ（fontSize）、アラインメント（textAlign）などの情報が含まれる。図４（ｃ）は、レイアウト（region：TTML layout）の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、範囲（extent）、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれる。
【００３８】
図５は、ボディ（body）の構造例を示している。図示の例では、サブタイトル１（subtitle 1）、サブタイトル２（subtitle 2）、サブタイトル３（subtitle 3）の３つのサブタイトルの情報が含まれている。サブタイトル毎に、表示開始タイミングと表示終了タイミングと共にテキストデータが記載され、さらに、当該テキストデータに対応する発話者の識別子が記述される。例えば、サブタイトル１（subtitle 1）に関しては、表示開始タイミングが“０．７６ｓ”で、表示終了タイミングが“３．４５ｓ”であり、テキストデータが「It seems a paradox, dose it not,」とされ、識別子が発話者Ａを示す“ａ”とされている。
【００３９】
また、サブタイトル２（subtitle 2）に関しては、表示開始タイミングが“５．０ｓ”で、表示終了タイミングが“１０．０ｓ”であり、テキストデータが「that the image formed on<br/>the Retina should be inverted?」とされ、識別子が発話者Ｂを示す“ｂ”とされている。また、サブタイトル３（subtitle 3）に関しては、表示開始タイミングが“１０．０ｓ”で、表示終了タイミングが“１６．０ｓ”であり、テキストデータが「It is puzzling, why is it<br/>we do not see things upside-down?」とされ、識別子が発話者Ａを示す“ａ”とされている。
【００４０】
図２に戻って、サブタイトルエンコーダ１１７は、テキストフォーマット変換部１１６で得られるＴＴＭＬを種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したＰＥＳパケットからなるサブタイトルストリームを生成する。なお、ＴＴＭＬをセグメントに載せた上でＰＥＳパケットのペイロードに配置するのではなく、ＴＴＭＬを直接ＰＥＳパケットのペイロードに配置することも可能である。
【００４１】
ＴＳフォーマッタ１１８は、ビデオエンコーダ１１２で生成されたビデオストリーム、オーディオエンコーダ１１３で生成されたオーディオストリームおよびサブタイトルエンコーダ１１７で生成されたサブタイトルストリームを、トランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
【００４２】
図２に示すストリーム生成部１１０の動作を簡単に説明する。画像データＤＶは、ビデオエンコーダ１１２に供給される。ビデオエンコーダ１１２では、この画像データＤＶに対して符号化が施され、ペイロードに符号化画像データを持つビデオＰＥＳパケットからなるビデオストリーム（ＰＥＳストリーム）が生成される。このビデオストリームは、ＴＳフォーマッタ１１８に供給される。
【００４３】
また、音声データＤＡは、オーディオエンコーダ１１３に供給される。オーディオエンコーダ１１３では、音声データＤＡに対して符号化が施され、符号化音声データを持つオーディオＰＥＳパケットからなるオーディオストリーム（ＰＥＳストリーム）が生成される。このオーディオストリームは、ＴＳフォーマッタ１１８に供給される。
【００４４】
また、発話者Ａの発話に対応して音声/テキスト変換部１１５ａで得られるサブタイトル情報としてのテキストデータ（文字コード）ＤＴａと、発話者Ｂの発話に対応して音声/テキスト変換部１１５ｂで得られるサブタイトル情報としてのテキストデータ（文字コード）ＤＴｂは、テキストフォーマット変換部１１６に供給される。
【００４５】
テキストフォーマット変換部１１６では、サブタイトル情報としてのテキストデータＤＴａ，ＤＴｂ２に基づいて、サブタイトルのテキスト情報としてのＴＴＭＬが得られる。このＴＴＭＬには、各サブタイトルのテキストデータにそれぞれ関連づけて発話者Ａ、発話者Ｂを識別するための識別子が記述される（図５参照）。また、このＴＴＭＬには、発話者Ａ、発話者Ｂを識別する識別子に関連付けて、発話者の属性情報などが記述される（図４（ａ）参照）。このＴＴＭＬは、サブタイトルエンコーダ１１７に供給される。
【００４６】
サブタイトルエンコーダ１１７では、ＴＴＭＬが種々のセグメントに変換され、ペイロードにそれらのセグメントを配置したＰＥＳパケット、あるいはＴＴＭＬを直接ペイロードに配置したＰＥＳパケットからなるサブタイトルストリームが生成される。このサブタイトルストリームは、ＴＳフォーマッタ１１８に供給される。
【００４７】
ＴＳフォーマッタ１１８では、ビデオエンコーダ１１２で生成されたビデオストリーム、オーディオエンコーダ１１３で生成されたオーディオストリームおよびサブタイトルエンコーダ１１７で生成されたサブタイトルストリームが、トランスポートパケット化されて多重化され、多重化ストリームとしてのトランスポートストリームＴＳが生成される。このトランスポートストリームＴＳは、図示していない送信部から、放送波に載せて送信される。
【００４８】
［テレビ受信機の構成例］
図６は、テレビ受信機２００の構成例を示している。このテレビ受信機２００は、受信部２０１と、ＴＳ解析部（デマルチプレクサ）２０２と、ビデオデコーダ２０３と、ビデオ重畳部２０４と、パネル駆動回路２０５と、表示パネル２０６を有している。また、このテレビ受信機２００は、オーディオデコーダ２０７と、音声出力回路２０８と、スピーカ２０９を有している。
【００４９】
また、このテレビ受信機２００は、サブタイトルストリーム解析部２１０と、テキストデコード表示処理部２１１と、情報処理部２１２を有している。また、このテレビ受信機２００は、ＣＰＵ２２１と、フラッシュＲＯＭ２２２と、ＤＲＡＭ２２３と、内部バス２２４と、リモコン受信部２２５と、リモコン送信機２２６を有している。
【００５０】
ＣＰＵ２２１は、テレビ受信機２００の各部の動作を制御する。フラッシュＲＯＭ２２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２２３は、ＣＰＵ２２１のワークエリアを構成する。ＣＰＵ２２１は、フラッシュＲＯＭ２２２から読み出したソフトウェアやデータをＤＲＡＭ２２３上に展開してソフトウェアを起動させ、テレビ受信機２００の各部を制御する。
【００５１】
リモコン受信部２２５は、リモコン送信機２２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２２１に供給する。ＣＰＵ２２１は、このリモコンコードに基づいて、テレビ受信機２００の各部を制御する。ＣＰＵ２２１、フラッシュＲＯＭ２２２およびＤＲＡＭ２２３は、内部バス２２４に接続されている。
【００５２】
受信部２０１は、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。ＴＳ解析部２０２は、トランスポートストリームＴＳからビデオ、オーディオ、サブタイトルの各ストリームを抽出する。
【００５３】
オーディオデコーダ２０７は、ＴＳ解析部２０２で抽出されるオーディオストリームにデコード処理を施し、音声データを得る。音声出力回路２０８は、音声データに対して、Ｄ／Ａ変換や増幅等の必要な処理を施し、スピーカ２０９に供給する。ビデオデコーダ２０３は、ＴＳ解析部２０２で抽出されるビデオストリームにデコード処理を施し、画像データを得る。
【００５４】
サブタイトルストリーム解析部２１０は、ＴＳ解析部２０２で抽出されるサブタイトルストリームに含まれるＴＴＭＬを分類し、テキスト情報および表示関連情報を取り出してテキストデコード表示処理部２１１に送ると共に、テキスト情報および意味解析メタ情報を取り出して情報処理部２１２に送る。
【００５５】
サブタイトルストリーム解析部２１０について、さらに説明する。図７（ａ）に示すように、ＴＴＭＬは、ＴＴＭＬヘッダ（TTML Head）とＴＴＭＬボディ（TTML Body）からなり、ＴＴＭＬヘッダには、ＴＴＭＬメタデータ（TTML Metadata）、ＴＴＭＬスタイリング（TTML Styling）、ＴＴＭＬレイアウト（TTML layout）の各要素が存在する。
【００５６】
サブタイトルストリーム解析部２１０は、図７（ｂ）に示すように、ＴＴＭＬからＴＴＭＬスタイリング、ＴＴＭＬレイアウトおよびＴＴＭＬボディを取り出して、テキストデコード表示処理部２１１に送る。また、サブタイトルストリーム解析部２１０は、図７（ｂ）に示すように、ＴＴＭＬからＴＴＭＬメタデータとＴＴＭＬボディを取り出して、情報処理部２１２に送る。
【００５７】
図６に戻って、テキストデコード表示処理部２１１は、テキスト情報および表示関連情報（ＴＴＭＬスタイリング、ＴＴＭＬレイアウトおよびＴＴＭＬボディ）にデコード処理を施し、画像データに重畳すべき各リージョンのビットマップデータを得る。
【００５８】
ビデオ重畳部２０４は、ビデオデコーダ２０３で得られた画像データに、テキストデコード表示処理部２１１から得られる各リージョンのビットマップデータを重畳する。パネル駆動回路２０５は、ビデオ重畳部２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
【００５９】
情報処理部２１２は、テキスト情報および意味解析メタ情報（ＴＴＭＬメタデータとＴＴＭＬボディ）を用いた処理、例えば、発話者毎の人物要約やサブタイトル要約を生成する処理、各発話のサブタイトルを他言語に翻訳する処理などを行って、その処理結果を出力する。この場合、情報処理部２１２は、その処理結果を表示するためのビットマップデータを得る。
【００６０】
図８は、情報処理部２１２における発話者毎の人物要約の生成処理の手順の一例を説明する。ここでは、図９に示すような、発話者Ａ，Ｂのシーン１（Scene 1）、シーン２（Scene 2）の会話テキスト例を使って説明する。
【００６１】
最初に、ステップ１（Step 1）として、単語・分割の処理を実行する。図１０（ａ）は、シーン１における発話者Ａ，Ｂのサブタイトルに関する単語・分割の処理例を示している。図１１（ａ）は、シーン２における発話者Ａ，Ｂのサブタイトルに関する単語・分割の処理例を示している。
【００６２】
次に、ステップ２（Step 2）として、文脈・意味解析の処理を実行する。図１０（ｂ）は、シーン１における発話者Ａ，Ｂのサブタイトルに関する文脈・意味解析の処理例を示している。図１１（ｂ）は、シーン２における発話者Ａ，Ｂのサブタイトルに関する文脈・意味解析の処理例を示している。なお、文脈・意味解析の処理結果は、発話者毎のサブタイトル要約を構成する。情報処理部２１２は、発話者毎のサブタイトル要約を生成する処理を行う場合にあっては、例えば、この文脈・意味解析の処理結果を出力する。なお、情報処理部２１２の出力がテキストの形式をとることも可能であり、その場合、テキスト出力はテキストデコード表示処理部２１１を経由してビットマップ変換されてからビデオ重畳部２０４へ供給される。
【００６３】
次に、ステップ３（Step 3）として、発話者識別子による登場人物の要約の作成処理を実行する。シーン１の識別子“Ａ”とシーン２の識別子“Ａ” が同一人物である。同様に、シーン１の識別子“Ｂ”とシーン２の識別子“Ｂ” が同一人物である。シーン１，２で、発話者の識別子が付されることで、場面によって人物の性格、性質が変わることを認識できる。識別子が無ければ、シーン１の発話者Ａとシーン２の発話者Ｂが同一人物であるかの誤解が生ずることになる。発話者の識別子があることで、識別が可能になり、正しい人物要約を行うことができる。
【００６４】
次に、ステップ４（Step 4）として、発話者の属性情報を加味させ、番組の中での登場人物の要約の作成処理を実行する。これにより、ＴＴＭＬメタデータ(TTML metadata)（図４（ａ）参照）で伝送される、発話者Ａ，Ｂの属性情報を加味させることで、人物に関しての最終的な要約を推定する。
【００６５】
図示の例では、発話者Ａに関しては、「バリバリの働き盛りの男性で日本語を話し、几帳面な性格。飛行機など乗り物には慣れていて冷静に行動するタイプ。」との人物要約が生成されている。また、発話者Ｂに関しては、「中年男性で日本語を話し、日常は呑気な方。飛行機に乗る時は別で、神経質になってしまうタイプ。」との人物要約が生成されている。
【００６６】
なお、詳細説明は省略するが、情報処理部２１２で各発話のサブタイトルを他言語に翻訳する処理を行う場合にあっても、発話者の識別子に基づいて発話者毎の翻訳を行うことができ、また、各発話者の属性情報を参照することで、性別、年齢、性格、話している言語などの情報から、他言語への翻訳をより適切に行うことが可能となる。
【００６７】
図６に戻って、ビデオ重畳部２０４は、ビデオデコーダ２０３で得られた画像データに、テキストデコード表示処理部２１１で得られた各リージョンのビットマップデータを、ユーザの表示選択操作に応じて重畳する。また、ビデオ重畳部２０４は、ビデオデコーダ２０３で得られた画像データに、情報処理部２１２で得られた処理結果のビットマップデータを、ユーザの表示選択操作に応じて重畳する。
【００６８】
パネル駆動回路２０５は、ビデオ重畳部２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
【００６９】
図６に示すテレビ受信機２００の動作を簡単に説明する。受信部２０１では、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳには、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。
【００７０】
ＴＳ解析部２０２で抽出されるビデオストリームは、ビデオデコーダ２０３に供給される。ビデオデコーダ２０３では、ビデオストリームにデコード処理が施されて、画像データが得られる。この画像データは、ビデオ重畳部２０４に供給される。また、ＴＳ解析部２０２で抽出されるサブタイトルストリームは、サブタイトルストリーム解析部２１０に供給される。サブタイトルストリーム解析部２１０では、サブタイトルストリームに含まれるＴＴＭＬが分類される。
【００７１】
そして、サブタイトルストリーム解析部２１０では、テキスト情報および表示関連情報としてＴＴＭＬスタイリング、ＴＴＭＬレイアウトおよびＴＴＭＬボディが取り出され、テキストデコード表示処理部２１１に供給される。また、このサブタイトルストリーム解析部２１０では、テキスト情報および意味解析メタ情報としてＴＴＭＬメタデータとＴＴＭＬボディが取り出されて情報処理部２１２に供給される。
【００７２】
テキストデコード表示処理部２１１では、テキスト情報および表示関連情報としてのＴＴＭＬスタイリング、ＴＴＭＬレイアウトおよびＴＴＭＬボディにデコード処理が施され、画像データに重畳すべき各リージョンのビットマップデータが得られる。このビットマップデータは、ビデオ重畳部２０４に供給される。ビデオ重畳部２０４では、ビデオデコーダ２０３で得られた画像データに、テキストデコード表示処理部２１１で得られた各リージョンのビットマップデータが、ユーザの表示選択操作に応じて重畳される。
【００７３】
ビデオ重畳部２０４で得られる表示用の画像データは、パネル駆動回路２０５に供給される。パネル駆動回路２０５では、表示用の画像データに基づいて、表示パネル２０６を駆動することが行われる。これにより、表示パネル２０６には画像が表示されると共に、この画像に、ユーザの表示選択操作に応じて、サブタイトル（字幕）が重畳表示される。
【００７４】
また、情報処理部２１２では、テキスト情報および意味解析メタ情報としてのＴＴＭＬメタデータとＴＴＭＬボディを用いた処理、例えば、発話者毎の人物要約やサブタイトル要約を生成する処理、各発話のサブタイトルを他言語に翻訳する処理が施され、その処理結果を表示するためのビットマップデータが得られる。
【００７５】
このビットマップデータは、ビデオ重畳部２０４に供給される。ビデオ重畳部２０４では、ビデオデコーダ２０３で得られた画像データに、情報処理部２１２で得られた処理結果のビットマップデータが、ユーザの表示選択操作に応じて重畳される。そのため、表示パネル２０６に表示される画像に、ユーザの表示選択操作に応じて、処理結果（発話者毎の人物要約やサブタイトル要約、あるいは各発話のサブタイトルの他言語への翻訳結果など）が重畳表示される。
【００７６】
また、ＴＳ解析部２０２で抽出されるオーディオストリームは、オーディオデコーダ２０７に供給される。オーディオデコーダ２０７では、オーディオストリームにデコード処理が施されて、音声データが得られる。
【００７７】
この音声データは、音声出力回路２０８に供給される。音声出力回路２０８では、音声データに対して、Ｄ／Ａ変換や増幅等の必要な処理が行われる。そして、処理後の音声データはスピーカ２０９に供給される。これにより、スピーカ２０９からは表示パネル２０６の表示画像に対応した音声出力が得られる。
【００７８】
なお、上述では、テキスト情報および意味解析メタ情報（ＴＴＭＬメタデータとＴＴＭＬボディ）を用いた処理をテレビ受信機２００が備える情報処理部で行う例を示した。しかし、この処理を、クラウド上の外部機器、つまりネットワークを介して接続された外部機器に行わせることも考えられる。
【００７９】
通信部２１３は、サブタイトルストリーム解析部２１０で取り出されたテキスト情報および意味解析メタ情報（ＴＴＭＬメタデータおよびＴＴＭＬボディ）を、ネットワークを介して外部機器３００に送信すると共に、この外部機器３００から、処理結果（発話者毎の人物要約やサブタイトル要約、あるいは各発話のサブタイトルの他言語への翻訳結果など）を表示するためのビットマップデータを受信する。
【００８０】
このビットマップデータは、ビデオ重畳部２０４に供給される。ビデオ重畳部２０４では、ビデオデコーダ２０３で得られた画像データに、通信部２１３で受信された処理結果のビットマップデータが、ユーザの表示選択操作に応じて重畳される。そのため、このように外部機器３００で処理を行わせる場合にあっても、表示パネル２０６に表示される画像に、ユーザの表示選択操作に応じて、処理結果（発話者毎の人物要約やサブタイトル要約、あるいは各発話のサブタイトルの他言語への翻訳結果など）が重畳表示される。
【００８１】
外部機器３００は、通信部３０１と、情報処理部３０２を有している。通信部３０１は、テレビ受信機２００からネットワークを介してテキスト情報および意味解析メタ情報（ＴＴＭＬメタデータおよびＴＴＭＬボディ）を受信して、情報処理部３０２に供給すると共に、この情報処理部３０２から供給される処理結果を示すビットマップデータを、ネットワークを介してテレビ受信機２００に送信する。
【００８２】
通信部２１３は、例えば、ＴＴＭＬメタデータおよびＴＴＭＬボディをＭＰ４のコンテナに載せて、外部機器３００に送信する。なお、この場合、ＴＴＭＬボディに、単語・フレーズ分割後のテキストリストを、発話者の識別子と共に配置することも考えられる。このようにすることで、外部機器３００では、単語・フレーズ分割の処理手間が軽減される。図１２（ａ），（ｂ）は、通信部２１３から外部機器３００に送信される、ＴＴＭＬメタデータ、ＴＴＭＬボディの一例を示している。
【００８３】
図１２（ｂ）は、テレビ受信機２００において単語・フレーズ分割を行った場合のＴＴＭＬボディ（TTML Body）の一例である。単語・フレーズ分割をせずに受信したままのＴＴＭＬボディ（TTML Body）を通信部２１３から外部機器３００に送信することも可能である。
【００８４】
なお、外部機器３００からの情報処理後の処理結果がテレビ受信機２００の通信部２１３にテキスト形式で入力される場合も可能である。その場合、通信部２１３の出力はテキストデコード表示処理部２１１を経由してビットマップ変換されてからビデオ重畳部２０４へ供給される。
【００８５】
情報処理部３０２は、上述したテレビ受信機２００内の情報処理部２１２と同様に構成され、通信部３０１から供給されるテキスト情報および意味解析メタ情報（ＴＴＭＬメタデータとＴＴＭＬボディ）を用いた処理を行って、その処理結果を示すビットマップデータを通信部３０１に供給する。
【００８６】
以上説明したように、図１に示す送受信システム１０においては、サブタイトルストリームが所定数の発話者の発話に対応したサブタイトルのテキスト情報の他に各発話を解析するためのメタ情報を持つものである。そのため、受信側では、メタ情報を参照することでサブタイトルのテキスト情報を用いた処理（発話者毎の人物要約やサブタイトル要約を生成する処理、各発話のサブタイトルを他言語に翻訳する処理など）を適切に行うことが可能となる。
【００８７】
＜２．変形例＞
なお、上述実施の形態においては、サブタイトルのテキスト情報としてＴＴＭＬを用いる例を示した。しかし、本技術は、これに限定されず、ＴＴＭＬと同等の情報を持つその他のタイムドテキスト情報を用いることも考えらえる。例えば、ＴＴＭＬの派生フォーマットを用いてもよい。
【００８８】
また、上述実施の形態においては、放送送出システム１００とテレビ受信機２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、テレビ受信機２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
【００８９】
また、本技術は、以下のような構成を取ることもできる。
（１）符号化画像データを持つビデオストリームを生成するビデオエンコード部と、
所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（２）上記メタ情報は、各発話の発話者を識別するための識別子を含む
前記（１）に記載の送信装置。
（３）上記メタ情報は、各発話の発話者の属性情報をさらに含む
前記（２）に記載の送信装置。
（４）上記サブタイトルストリームは、上記サブタイトルのテキスト情報および上記メタ情報を、ＴＴＭＬのデータあるいは該ＴＴＭＬの派生フォーマットのデータとして持つ
前記（１）から（３）のいずれかに記載の送信装置。
（５）符号化画像データを持つビデオストリームを生成するビデオエンコードステップと、
所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームを生成するサブタイトルエンコードステップと、
送信部により、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（６）符号化画像データを持つビデオストリームと所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信部と、
上記サブタイトルストリームから上記サブタイトルのテキスト情報および上記メタ情報を抽出する情報抽出部と、
上記抽出されたサブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理部を備える
受信装置。
（７）上記メタ情報は、各発話の発話者を識別するための識別子を含む
前記（６）に記載の受信装置。
（８）上記メタ情報は、各発話の発話者の属性情報をさらに含む
前記（７）に記載の受信装置。
（９）上記情報処理部は、
上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理を行って発話者毎の人物要約またはサブタイトル要約を作成するか、あるいは各発話のサブタイトルの他言語への翻訳を行う
前記（６）から（８）のいずれかに記載の受信装置。
（１０）上記情報処理部は、
上記サブタイトルのテキスト情報およびメタ情報を外部機器に送信し、
該外部機器から、上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理が行われて作成された発話者毎の人物要約またはサブタイトル要約、あるいは上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理が行われて得られた各発話のサブタイトルの他言語への翻訳の結果を受信する
前記（６）から（８）のいずれかに記載の受信装置。
（１１）受信部により、符号化画像データを持つビデオストリームと所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を持つサブタイトルストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
上記サブタイトルストリームから上記サブタイトルのテキスト情報および上記メタ情報を抽出する情報抽出ステップと、
上記抽出されたサブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理ステップを有する
受信方法。
（１２）外部機器から所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を受信する受信部と、
上記サブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理部と、
上記外部機器に、上記処理の結果を送信する送信部を備える
情報処理装置。
（１３）上記情報処理部は、
上記メタ情報を参照して上記サブタイトルのテキスト情報の意味解析および文脈整理を行って発話者毎の人物要約またはサブタイトル要約を作成するか、あるいは各発話のサブタイトルの他言語への翻訳を行う
前記（１２）に記載の情報処理装置。
（１４）受信部により、外部機器から所定数の発話者の発話に対応したサブタイトルのテキスト情報および各発話を解析するためのメタ情報を受信する受信ステップと、
上記サブタイトルのテキスト情報およびメタ情報を用いた処理を行う情報処理ステップと、
送信部により、上記外部機器に、上記処理結果を送信する送信ステップを有する
情報処方法。
【００９０】
本技術の主な特徴は、サブタイトルストリームが所定数の発話者の発話に対応したサブタイトルのテキスト情報の他に各発話を解析するためのメタ情報を持つようにしたことで、受信側でサブタイトルのテキスト情報を用いた処理を適切に行うことを可能にしたことである（図２、図４、図５参照）。
【符号の説明】
【００９１】
１０・・・送受信システム
１００・・・放送送出システム
１１０・・・ストリーム生成部
１１１・・・制御部
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４ａ，１１４ｂ・・・マイクロホン
１１５ａ，１１５ｂ・・・音声/テキスト変換部
１１６・・・テキストフォーマット変換部
１１７・・・サブタイトルエンコーダ
１１８・・・ＴＳフォーマッタ（マルチプレクサ）
２００・・・テレビ受信機
２０１・・・受信部
２０２・・・ＴＳ解析部（デマルチプレクサ）
２０３・・・ビデオデコーダ
２０４・・・ビデオ重畳部
２０５・・・パネル駆動回路
２０６・・・表示パネル
２０７・・・オーディオデコーダ
２０８・・・音声出力回路
２０９・・・スピーカ
２１０・・・サブタイトルストリーム解析部
２１１・・・テキストデコード表示処理部
２１２・・・情報処理部
２１３・・・通信部
３００・・・外部機器
３０１・・・通信部
３０２・・・情報処理部
２２１・・・ＣＰＵ
【図１】
2016136468.tif 000003
【図２】
2016136468.tif 000004
【図３】
2016136468.tif 000005
【図４】
2016136468.tif 000006
【図５】
2016136468.tif 000007
【図６】
2016136468.tif 000008
【図７】
2016136468.tif 000009
【図８】
2016136468.tif 000010
【図９】
2016136468.tif 000011
【図１０】
2016136468.tif 000012
【図１１】
2016136468.tif 000013
【図１２】
2016136468.tif 000014
【国際調査報告】
2016136468.tif 000015
2016136468.tif 000016