(57)【要約】【課題】コンテンツの映像にそれに対応する手話の映像を合成することなく放送し、受信側にて、大きな処理負担を生じることなく、コンテンツの映像にそれに対応する手話の映像を合成して表示する。【解決手段】ステップＳ１２で、モニタ５にてコンテンツ信号を再生し、これを視聴しているオペレータがその音声に出現する手話単語を認識して手話単語識別番号入力部５２を操作する。ステップＳ１４にて、手話単語識別番号入力部５２は、オペレータの操作に応じて手話単語識別情報を発生しDSM-CCイベントメッセージとして多重化部３７に出力する。多重化部３７は、コンテンツ符号化信号、手話単語識別情報を含むDSM-CCイベントメッセージ、および手話単語画像群が格納されたデータカルーセルモジュールを多重化して放送ストリームを生成する。本発明は、テレビジョン放送システムに適用することができる。【選択図】図９
2011091619.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを送信する送信装置において、
前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、
前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、
発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、
前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、
前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、
生成された前記データストリームを送信する送信手段と
を含む送信装置。
【請求項２】
前記生成手段は、発生された時系列の手話単語識別情報を含む制御情報としてDSM-CCイベントメッセージを生成し、
前記格納手段は、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のDSM-CCデータカルーセルモジュールに分類して格納する
請求項１に記載の送信装置。
【請求項３】
前記発生手段は、
前記コンテンツの音声を音声認識処理により文字列に変換する音声認識手段と、
前記文字列から前記手話単語を検出する検出手段と、
検出された前記手話単語を前記手話単語識別情報に変換する変換手段と
を含む
請求項２に記載の送信装置。
【請求項４】
前記コンテンツを視聴してその音声に含まれる前記手話単語を認識するオペレータによって操作される操作入力手段をさらに含み、
前記発生手段は、前記操作入力手段に対する前記オペレータの入力に基づき、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する
請求項２に記載の送信装置。
【請求項５】
前記多重化手段は、異なるコンテンツにそれぞれ対応する前記コンテンツ符号化信号に対し、前記異なるコンテンツの音声における出現頻度が高い手話単語に対応する前記手話単語画像が格納されている共通の前記モジュールを多重化する
請求項２乃至４に記載の送信装置。
【請求項６】
前記手話単語画像は、MNG(Multiple-image Network Graphics)、PNG(Portable Network Graphics)、またはJPEG（Joint Photographic Experts Group）である
請求項２乃至５に記載の送信装置。
【請求項７】
コンテンツを送信する送信装置の送信方法において、
前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコードステップと、
前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生ステップと、
発生された時系列の手話単語識別情報を含む制御情報を生成する生成ステップと、
前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納ステップと、
前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化ステップと、
生成された前記データストリームを送信する送信ステップと
を含む送信方法。
【請求項８】
コンテンツを送信する送信装置の制御用のプログラムであって、
前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコードステップと、
前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生ステップと、
発生された時系列の手話単語識別情報を含む制御情報を生成する生成ステップと、
前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納ステップと、
前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化ステップと、
生成された前記データストリームを送信する送信ステップと
を含む処理を送信装置のコンピュータに実行させるプログラム。
【請求項９】
コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、
前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、
発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、
前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、
前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、
生成された前記データストリームを送信する送信手段と
を備える送信装置から送信されたコンテンツを受信する受信装置において、
前記送信装置から送信された前記データストリームを受信する受信手段と、
受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離手段と、
前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコード手段と、
前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持手段と、
保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出し手段と、
再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御手段と
を含む受信装置。
【請求項１０】
コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、
前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、
発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、
前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、
前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、
生成された前記データストリームを送信する送信手段と
を備える送信装置から送信されたコンテンツを受信する受信装置の受信方法において、
前記送信装置から送信された前記データストリームを受信する受信ステップと、
受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離ステップと、
前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコードステップと、
前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持ステップと、
保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出しステップと、
再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御ステップと
を含む受信方法。
【請求項１１】
コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、
前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、
発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、
前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、
前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、
生成された前記データストリームを送信する送信手段と
を備える送信装置から送信されたコンテンツを受信する受信装置の制御用のプログラムであって、
前記送信装置から送信された前記データストリームを受信する受信ステップと、
受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離ステップと、
前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコードステップと、
前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持ステップと、
保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出しステップと、
再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御ステップと
を含む処理を受信装置のコンピュータに実行させるプログラム。
【請求項１２】
コンテンツを送信する送信装置と、送信された前記コンテンツを受信する受信装置とから構成された放送システムにおいて、
前記送信装置は、
前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、
前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、
発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、
前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、
前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、
生成された前記データストリームを送信する送信手段と
を含み、
前記受信装置は、
前記送信装置から送信された前記データストリームを受信する受信手段と、
受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離手段と、
前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコード手段と、
前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持手段と、
保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出し手段と、
再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御手段と
を含む
放送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信装置、送信方法、受信装置、受信方法、プログラム、および放送システムに関し、特に、テレビジョン番組などのコンテンツに対して手話通訳の画像を追加表示できるようにした送信装置、送信方法、受信装置、受信方法、プログラム、および放送システムに関する。
【背景技術】
【０００２】
従来、聴覚障害者がテレビジョン番組の内容を把握できるようにする方法として、字幕を用いた方法、手話通訳を用いた方法などが存在する。
【０００３】
字幕を用いた方法は、テレビジョン番組の音声に対応する字幕データを、データ放送の信号（以下、データ信号と称する）を利用して送信し、テレビジョン受像機のユーザが必要に応じて字幕の表示をオン・オフできるようになされている（例えば、特許文献１参照）。
【０００４】
一方、手話通訳を用いた方法は、聴力障害者等を対象としたニュース番組や、選挙期間に放送される政見放送などで採用されているものの、字幕を用いた方法を採用している番組数に比較して、その数は圧倒的に少ない。
【０００５】
ところで、今後はユニバーサルアクセスなどの観点から、より多くのコンテンツ（テレビジョン番組だけでなく、ＣＭ（コマーシャルメッセージ）を含む）に手話通訳を用いた方法を採用することが政府主導により推進されるものと予想される。
【０００６】
その場合、各コンテンツ内に手話通訳者を出演させることは非現実的で困難である。よって、コンテンツとは別に手話通訳者の映像（以下、単に手話の映像と称する）を作成することになる。
【０００７】
作成されたコンテンツとそれに対応する手話の映像は、同時に放送し、これを受信する受信装置（例えば、テレビジョン受像機）側でこれらを同時に表示するか、または放送局側にて、これらを合成して放送することが考えられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平８−３２２０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、コンテンツの映像とそれに対応する手話の映像を同時に表示する（例えば、ピクチャインピクチャ表示する）ことは、受信装置の処理負担が大きくなるだけでなく、その製造コストが上昇することになる。
【００１０】
一方、放送局側にて、コンテンツの映像にそれに対応する手話の映像を合成して放送してしまうと、健聴者にとっては不要な映像によってコンテンツの映像の一部を覆ってしまうことになる。また、コンテンツ（例えば、映画、ＣＭなど）によっては、その映像に他の映像（いまの場合、手話の映像）を合成することが許容されていない場合があるので、放送局側にて２つの映像を合成して放送することは困難である。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、コンテンツの映像にそれに対応する手話の映像を合成することなく放送し、受信側にて、大きな処理負担を生じることなく、コンテンツの映像にそれに対応する手話の映像を合成して表示できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面である送信装置は、コンテンツを送信する送信装置において、前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、生成された前記データストリームを送信する送信手段とを含む。
【００１３】
前記生成手段は、発生された時系列の手話単語識別情報を含む制御情報としてDSM-CCイベントメッセージを生成し、前記格納手段は、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のDSM-CCデータカルーセルモジュールに分類して格納するようにすることができる。
【００１４】
前記発生手段は、前記コンテンツの音声を音声認識処理により文字列に変換する音声認識手段と、前記文字列から前記手話単語を検出する検出手段と、検出された前記手話単語を前記手話単語識別情報に変換する変換手段とを含むことができる。
【００１５】
本発明の第１の側面である送信装置は、前記コンテンツを視聴してその音声に含まれる前記手話単語を認識するオペレータによって操作される操作入力手段をさらに含むことができ、前記発生手段は、前記操作入力手段に対する前記オペレータの入力に基づき、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生するようにすることができる。
【００１６】
前記多重化手段は、異なるコンテンツにそれぞれ対応する前記コンテンツ符号化信号に対し、前記異なるコンテンツの音声における出現頻度が高い手話単語に対応する前記手話単語画像が格納されている共通の前記モジュールを多重化するようにすることができる。
【００１７】
前記手話単語画像は、MNG，PNGまたはJPEGとすることができる。
【００１８】
本発明の第１の側面である送信方法は、コンテンツを送信する送信装置の送信方法において、前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコードステップと、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生ステップと、発生された時系列の手話単語識別情報を含む制御情報を生成する生成ステップと、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納ステップと、前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化ステップと、生成された前記データストリームを送信する送信ステップとを含む。
【００１９】
本発明の第１の側面であるプログラムは、コンテンツを送信する送信装置の制御用のプログラムであって、前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコードステップと、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生ステップと、発生された時系列の手話単語識別情報を含む制御情報を生成する生成ステップと、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納ステップと、前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化ステップと、生成された前記データストリームを送信する送信ステップとを含む処理を送信装置のコンピュータに実行させる。
【００２０】
本発明の第１の側面においては、コンテンツがエンコードされてコンテンツ符号化信号が生成され、コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報が発生され、発生された時系列の手話単語識別情報を含む制御情報が生成される。また、手話単語に対応する手話の映像を表示するための手話単語画像が、手話単語のコンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納され、コンテンツ符号化信号に制御情報が多重化されるとともに、複数のモジュールが出現頻度に応じた頻度で繰り返し多重化されることによりデータストリームが生成されて送信される。
【００２１】
本発明の第２の側面である受信装置は、コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、生成された前記データストリームを送信する送信手段とを備える送信装置から送信されたコンテンツを受信する受信装置において、前記送信装置から送信された前記データストリームを受信する受信手段と、受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離手段と、前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコード手段と、前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持手段と、保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出し手段と、再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御手段とを含む。
【００２２】
本発明の第２の側面である受信方法は、コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、生成された前記データストリームを送信する送信手段とを備える送信装置から送信されたコンテンツを受信する受信装置の受信方法において、前記送信装置から送信された前記データストリームを受信する受信ステップと、受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離ステップと、前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコードステップと、前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持ステップと、保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出しステップと、再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御ステップとを含む。
【００２３】
本発明の第２の側面であるプログラムは、コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、生成された前記データストリームを送信する送信手段とを備える送信装置から送信されたコンテンツを受信する受信装置の制御用のプログラムであって、前記送信装置から送信された前記データストリームを受信する受信ステップと、受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離ステップと、前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコードステップと、前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持ステップと、保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出しステップと、再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御ステップとを含む処理を受信装置のコンピュータに実行させる。
【００２４】
本発明の第２の側面においては、送信装置から送信されたデータストリームが受信され、受信されたデータストリームがコンテンツ符号化信号、制御情報、およびモジュールに分離される。そして、コンテンツ符号化信号がデコードされることによりコンテンツのビデオ信号およびオーディオ信号が再生され、モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像が保持され、保持された手話単語画像のうち、制御情報に含まれる時系列の手話単語識別情報に対応するものが読み出されて、再生されたコンテンツのビデオ信号に基づく映像に、読み出された手話単語画像に基づく手話の映像が重畳表示される。
【００２５】
本発明の第３の側面である放送システムは、コンテンツを送信する送信装置と、送信された前記コンテンツを受信する受信装置とから構成された放送システムにおいて、前記送信装置が、前記コンテンツをエンコードしてコンテンツ符号化信号を生成するエンコード手段と、前記コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報を発生する発生手段と、発生された時系列の手話単語識別情報を含む制御情報を生成する生成手段と、前記手話単語に対応する手話の映像を表示するための手話単語画像を、前記手話単語の前記コンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納する格納手段と、前記コンテンツ符号化信号に前記制御情報を多重化するとともに、前記複数のモジュールを前記出現頻度に応じた頻度で繰り返し多重化することによりデータストリームを生成する多重化手段と、生成された前記データストリームを送信する送信手段とを含み、前記受信装置が、前記送信装置から送信された前記データストリームを受信する受信手段と、受信された前記データストリームを前記コンテンツ符号化信号、前記制御情報、および前記モジュールに分離する分離手段と、前記データストリームから分離された前記コンテンツ符号化信号をデコードすることにより前記コンテンツのビデオ信号およびオーディオ信号を再生するデコード手段と、前記データストリームから分離された前記モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像を保持する保持手段と、保持された前記手話単語画像のうち、前記データストリームから分離された前記制御情報に含まれる時系列の手話単語識別情報に対応するものを読み出す読み出し手段と、再生された前記コンテンツのビデオ信号に基づく映像に、読み出された前記手話単語画像に基づく手話の映像を重畳表示させる表示制御手段とを含む。
【００２６】
本発明の第３の側面においては、送信装置により、コンテンツがエンコードされてコンテンツ符号化信号が生成され、コンテンツの音声に出現する時系列の手話単語に対応する手話単語識別情報が発生され、発生された時系列の手話単語識別情報を含む制御情報が生成される。また、手話単語に対応する手話の映像を表示するための手話単語画像が、手話単語のコンテンツの音声における出現頻度に応じて複数のモジュールに分類して格納され、コンテンツ符号化信号に制御情報が多重化されるとともに、複数のモジュールが出現頻度に応じた頻度で繰り返し多重化されることによりデータストリームが生成されて送信される。一方、受信装置により、送信装置から送信されたデータストリームが受信され、受信されたデータストリームがコンテンツ符号化信号、制御情報、およびモジュールに分離される。そして、コンテンツ符号化信号がデコードされることによりコンテンツのビデオ信号およびオーディオ信号が再生され、モジュールに格納されている手話単語に対応する映像を表示するための手話単語画像が保持され、保持された手話単語画像のうち、制御情報に含まれる時系列の手話単語識別情報に対応するものが読み出されて、再生されたコンテンツのビデオ信号に基づく映像に、読み出された手話単語画像に基づく手話の映像が重畳表示される。
【発明の効果】
【００２７】
本発明の第１の側面によれば、コンテンツの映像に手話の映像を合成することなく、コンテンツに対応する手話の映像を表示するための制御情報と手話単語画像を送信することができる。
【００２８】
本発明の第２の側面によれば、ユーザの必要性に応じて、コンテンツの映像に手話の映像を合成して表示することができる。
【００２９】
本発明の第３の側面によれば、コンテンツの映像に合成されることなく放送された、コンテンツに対応する手話の映像を表示するための制御情報と手話単語画像に基づき、受信装置のユーザの必要性に応じて、コンテンツの映像に手話の映像を合成して表示することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明を適用した放送システムの構成例を示すブロック図である。
【図２】コンテンツの映像に手話の映像を合成した状態の表示例を示す図である。
【図３】送信装置の第１の構成例を示すブロック図である。
【図４】音声から手話単語識別情報を得るまでの過程を説明する図である。
【図５】データカルーセルモジュールの構成の一例を示す図である。
【図６】データカルーセルモジュールの送信順序の一例を示す図である。
【図７】送信装置の第１の構成例による送信処理を説明するフローチャートである。
【図８】送信装置の第２の構成例を示すブロック図である。
【図９】送信装置の第２の構成例による送信処理を説明するフローチャートである。
【図１０】受信装置の構成例を示すブロック図である。
【図１１】受信装置による受信処理を説明するフローチャートである。
【発明を実施するための形態】
【００３１】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３２】
＜１．実施の形態＞
［放送システムの構成例］
図１は、本発明の一実施の形態である放送システムの構成例を示している。この放送システム１０は、放送網１２を介してコンテンツを放送する放送装置１１と、放送網１２を介して放送されたコンテンツを受信する受信装置１３から構成される。
【００３３】
放送装置１１は、例えば、テレビジョン放送局に設けられる機器である。放送装置１１は、コンテンツ（テレビジョン番組、ＣＭなど）のビデオ信号およびオーディオ信号（以下、コンテンツ信号と称する）に、コンテンツに対応する手話の映像を表示するための信号を多重化し、その結果得られる放送ストリームを、放送網１２を介して放送する。
【００３４】
放送網１２は、地上波放送網、衛星波放送網、CATV網、インタネットに代表されるデータ通信網などである。
【００３５】
受信装置１３は、放送網１２を介して放送された放送ストリームを受信し、放送ストリームからコンテンツ信号を抽出して再生し、映像および音声を得る。また、受信装置１３は、放送ストリームから、コンテンツに対応する手話の映像を表示するための信号を抽出して手話の映像を生成する。
【００３６】
さらに、受信装置１３は、図２に示すように、コンテンツの映像２１の所定の位置に手話の映像２２を合成して、音声とともに後段のモニタ（不図示。例えば、テレビジョン受像機）に出力する。
【００３７】
なお、受信装置１３は、例えば、テレビジョン受像機やビデオレコーダなどに内蔵されているようにしてもよい。
【００３８】
［放送装置の第１の構成例］
図３は、放送装置１１の第１の構成例を示している。この第１の構成例は、エンコーダ３１、音声認識部３２、手話単語解析部３３、手話単語識別情報変換部３４、手話単語辞書３５、手話単語画像送出部３６、多重化部３７、および送信部３８から構成される。
【００３９】
エンコーダ３１は、入力されるコンテンツ信号（コンテンツのビデオ信号およびオーディオ信号）を所定の符号化方式に従ってエンコードし、その結果得られるコンテンツ符号化信号を多重化部３７に出力する。
【００４０】
音声認識部３２は、入力されるコンテンツ信号のオーディオ信号に音声認識処理を施し、その結果得られる、例えば図４Ａに示すような文字列を手話単語解析部３３に出力する。
【００４１】
手話単語解析部３３は、音声認識部３２から入力されたコンテンツの音声に対応する文字列を解析し、例えば図４Ｂに示すような手話単語に分解し、分解された時系列順の手話単語を手話単語識別情報変換部３４に出力する。
【００４２】
手話単語識別情報変換部３４は、手話単語辞書３５を参照することにより、手話単語解析部３３から順次入力される手話単語を手話単語識別情報に変換する。さらに、手話単語識別情報変換部３４は、変換の結果得られた手話単語識別情報を、対応する音声のタイミングに同期させてテレビジョン放送におけるデータ放送のDSM-CCイベントメッセージとして多重化部３７に出力する。
【００４３】
手話単語辞書５５には、各手話単語に対応付けて、それを一意に識別可能な手話単語識別情報が記録されている。
【００４４】
手話単語画像送出部３６は、例えば図４Ｃに示すような各手話単語に対応する手話単語画像を、各コンテンツのジャンルや出現頻度などに応じて複数にグループ化して保持しており、放送されるコンテンツに対応した手話単語画像群を、テレビジョン放送におけるデータ放送のデータカルーセルモジュールに格納し、所定の順序で繰り返し多重化部３７に出力する。詳しくは図５を参照して後述する。
【００４５】
ここで、各手話単語画像は、アニメーションであって、データ放送におけるMNG(Multiple-image Network Graphics)として作成されたものとする。ただし、PNG(Portable Network Graphics)またはJPEG（Joint Photographic Experts Group）であってもよい。なお、手話単語画像は、手話通訳者を実際に撮影して得てもよいし、コンピュータグラフィックスなどにより描画されたものでもよい。
【００４６】
多重化部３７は、エンコーダ３１から入力されるコンテンツ符号化信号、手話単語識別情報変換部３４から入力される、時系列順の手話単語識別情報を含むDSM-CCイベントメッセージ、および手話単語画像送出部３６から入力される手話単語画像群が格納されたデータカルーセルモジュールを多重化し、その結果得られる放送ストリームを送信部３８に出力する。
【００４７】
送信部３８は、多重化部３７から入力される放送ストリームを、放送網１２を介して放送する。
【００４８】
［データカルーセルモジュールの構成例］
図５は、テレビジョン番組Ｘの放送時間に送信される、手話単語画像群が格納されたデータカルーセルモジュールの一例を示している。
【００４９】
例えば、テレビジョン番組Ｘの音声に出現する手話単語の手話単語画像を３つのモジュールに分けて順次繰り返し放送する場合、テレビジョン番組Ｘにおける出現頻度が高い手話単語群Ａ１，Ａ２，…に対応する手話単語画像からなるモジュールＡを、モジュールＢ、およびモジュールＣよりも高い頻度で送信するようにする。ここで、モジュールＢ，Ｃは、それぞれ手話単語画像群Ａ１，Ａ２，…よりも出現頻度が低い手話単語群Ｂ１，Ｂ２，…、または手話単語群Ｃ１，Ｃ２，…に対応する手話単語画像からなるものとする。
【００５０】
このように、テレビジョン番組の音声に出現する手話単語の手話単語画像を複数のモジュールに分け、手話単語の出現頻度に合わせた送信頻度で繰り返し送信することにより、すべての手話単語画像を一括して送信する場合に比較して、送信効率を上げることができる。また、受信装置１３側においても、必要な手話単語画像を速やかに取得して表示することができる。
【００５１】
なお、図６に示すように、異なるテレビジョン番組Ｘ，Ｙの放送時間に、同一のモジュールＡを送信するようにしてもよい。すなわち、テレビジョン番組Ｘの放送時間にモジュールＡ，Ｂを繰り返し送信し、ＣＭの放送時間にモジュールＣを繰り返し送信し、テレビジョン番組Ｙの放送時間にモジュールＡ，Ｄを繰り返し送信するようにしてもよい。
【００５２】
［送信装置の第１の構成例の動作］
図７は、送信装置１１の第１の構成例による送信処理を説明するフローチャートである。
【００５３】
ステップＳ１において、送信装置１１は、外部からコンテンツ信号を取得し、取得したコンテンツ信号をエンコーダ３１および音声認識部３２に入力する。
【００５４】
ステップＳ２において、音声認識部３２は、入力されたコンテンツ信号のオーディオ信号に音声認識処理を施して文字列に変換し、得られた文字列を手話単語解析部３３に出力する。
【００５５】
ステップＳ３において、手話単語解析部３３は、音声認識部３２から入力されたコンテンツの音声に対応する文字列を解析して手話単語に分解し、分解された時系列順の手話単語を手話単語識別情報変換部３４に出力する。
【００５６】
ステップＳ４において、手話単語識別情報変換部３４は、手話単語解析部３３から順次入力される手話単語を手話単語識別情報に変換し、得られた手話単語識別情報を、対応する音声のタイミングに同期させ、DSM-CCイベントメッセージとして多重化部３７に出力する。
【００５７】
上述したステップＳ２乃至Ｓ４の処理が行われている間、エンコーダ３１は、入力されたコンテンツ信号を所定の符号化方式に従ってエンコードし、その結果得られるコンテンツ符号化信号を多重化部３７に出力している。また、手話単語画像送出部３６は、コンテンツに対応した手話単語画像群を、テレビジョン放送におけるデータ放送のデータカルーセルモジュールに格納し、所定の順序で繰り返し多重化部３７に出力している。
【００５８】
ステップＳ５において、多重化部３７は、エンコーダ３１から入力されたコンテンツ符号化信号、手話単語識別情報変換部３４から入力された時系列順の手話単語識別情報を含むDSM-CCイベントメッセージ、および手話単語画像送出部３６から入力された手話単語画像群が格納されたデータカルーセルモジュールを多重化し、その結果得られた放送ストリームを送信部３８に出力する。送信部３８は、多重化部３７から入力される放送ストリームを、放送網１２を介して放送する。
【００５９】
以上説明した送信処理により、コンテンツ信号と、それに対応した手話の映像を表示させるための信号が放送されることになる。以上で、送信装置１１の第１の構成例による送信処理の説明を終了する。
【００６０】
上述した送信装置１１の第１の構成例による送信処理によれば、コンテンツに対応する手話の映像を表示するための情報、具体的には、時系列順の手話単語識別情報、および話単語画像群を、既存の技術であるデータ放送の仕組みを用いて放送することができる。
【００６１】
［放送装置の第２の構成例］
次に、図８は、放送装置１１の第２の構成例を示している。この第２の構成例は、図３に示された第１の構成例から音声認識部３２、手話単語解析部３３、手話単語識別情報変換部３４、および手話単語辞書３５を削除し、モニタ５１、および手話単語識別情報入力部５２を設けたものである。
【００６２】
なお、第２の構成例の構成要素のうち、第１の構成例の構成要素と共通するものについては同一の符号をつけているので、それらの説明は省略する。
【００６３】
第２の構成例において、コンテンツ信号が入力されるモニタ５１は、コンテンツ信号の映像を表示し、音声を出力する。放送装置１１のオペレータは、モニタ５１にてコンテンツを視聴しつつ、手話単語識別情報入力部５２を操作する。
【００６４】
放送装置１１のオペレータによって操作される手話単語識別情報入力部５２は、手話単語にそれぞれ対応する複数のキーが配置されたキーボードなどから成る。モニタ５１にてコンテンツを視聴するオペレータがその音声から手話単語を認識し、認識した手話単語に対応するキーを操作すると、手話単語識別情報入力部５２は、操作されたキーに対応する手話単語の手話単語識別情報を発生し、発生した手話単語識別情報をDSM-CCイベントメッセージとして多重化部３７に出力する。
【００６５】
［送信装置の第２の構成例の動作］
図９は、送信装置１１の第２の構成例による送信処理を説明するフローチャートである。
【００６６】
ステップＳ１１において、送信装置１１は、外部からコンテンツ信号を取得し、取得したコンテンツ信号をエンコーダ３１およびモニタ５１に入力する。
【００６７】
ステップＳ１２において、モニタ５１は、入力されたコンテンツ信号を再生する。すなわち、その映像を表示するとともに音声を出力する。
【００６８】
ステップＳ１３において、モニタ５１にて再生されたコンテンツを視聴しているオペレータは、その音声に出現する手話単語を認識して手話単語識別番号入力部５２を操作する。ステップＳ１４において、手話単語識別番号入力部５２は、オペレータからの操作に対応する手話単語の手話単語識別情報を発生し、発生した手話単語識別情報をDSM-CCイベントメッセージとして多重化部３７に出力する。
【００６９】
上述したステップＳ１２乃至Ｓ１４の処理が行われている間、エンコーダ３１は、入力されたコンテンツ信号を所定の符号化方式に従ってエンコードし、その結果得られるコンテンツ符号化信号を多重化部３７に出力している。また、手話単語画像送出部３６は、コンテンツに対応した手話単語画像群を、テレビジョン放送におけるデータ放送のデータカルーセルモジュールに格納し、所定の順序で繰り返し多重化部３７に出力している。
【００７０】
ステップＳ１５において、多重化部３７は、エンコーダ３１から入力されたコンテンツ符号化信号、手話単語識別情報入力部５２から入力された時系列順の手話単語識別情報を含むDSM-CCイベントメッセージ、および手話単語画像送出部３６から入力された手話単語画像群が格納されたデータカルーセルモジュールを多重化し、その結果得られた放送ストリームを送信部３８に出力する。送信部３８は、多重化部３７から入力される放送ストリームを、放送網１２を介して放送する。
【００７１】
以上説明した送信処理により、コンテンツ信号と、それに対応した手話の映像を表示させるための信号が放送されることになる。以上で、送信装置１１の第２の構成例による送信処理の説明を終了する。
【００７２】
上述した送信装置１１の第２の構成例による送信処理によれば、コンテンツに対応する手話の映像を表示するための情報、具体的には、時系列順の手話単語識別情報、および話単語画像群を、既存の技術であるデータ放送の仕組みを用いて放送することができる。
【００７３】
なお、上述した送信処理においては、コンテンツに対応する手話の映像を表示するための手話単語画像群を、そのコンテンツが放送されている時間に繰り返し送信するようにしたが、対応するコンテンツの放送に先立って、それらを送信するようにしてもよい。
【００７４】
［受信装置の構成例］
次に、図１０は、受信装置１３の構成例を示している。受信装置１３は、制御部７１、メモリ７２、操作入力部７３、バス７４、チューナ７５、分離部７６、ビデオデコーダ７７、表示制御部７８、およびオーディオデコーダ７９から構成される。
【００７５】
制御部７１は、メモリ７２に記憶されている制御用プログラムに従い、ユーザの操作に応じて、バス７４を介して接続されている受信装置１３の各部を制御する。例えば、制御部７１は、チューナ７５を制御して、ユーザの選局操作に応じた放送ストリームを受信させる。
【００７６】
また、制御部７１は、放送ストリームから抽出されるデータ信号のデータカルーセルモジュールに格納されている手話単語画像群をメモリ７２に保持させる。さらに、制御部７１は、放送ストリームから抽出されるDSM-CCイベントメッセージに従い、メモリ７２に保持させたデータカルーセルモジュールに含まれる手話単語画像を読み出し、バス７４を介して表示制御部７８に出力し、コンテンツの映像に重畳して表示させる。
【００７７】
メモリ７２には、制御部７１が実行する制御用プログラムが記憶されている。またメモリ７２には、放送ストリームから抽出されるデータ放送のデータカルーセルモジュールに格納されている手話単語画像群が保持される。
【００７８】
なお、このデータカルーセルモジュールに格納されている手話単語画像群は、各コンテンツ単位に送信されるものであり、通常、受信されるコンテンツ（テレビジョン番組）が変更されたり、コンテンツの放送が終了するとメモリ７２から消去される。
【００７９】
ただし、メモリ７２にて保持された手話単語画像群を受信するコンテンツが変更されたり、受信が終了されても消去せず、そのまま保持し、それ以降に放送されるコンテンツの字幕表示用に用いるようにしてもよい。
【００８０】
操作入力部７３は、ユーザから入力される各種の操作（例えば、チャンネル切り替え操作、手話映像の表示・非表示切り替え操作など）に応じて操作信号を発生し、バス７４を介して制御部７１に出力する。
【００８１】
チューナ７５は、制御部７１からの選局制御に対応した放送ストリームを受信して分離部７６に出力する。分離部７６は、入力された放送ストリームからデータ信号（DSM-CCイベントメッセージ、データカルーセルモジュールなど）を抽出し、バス７４を介して制御部７１に出力する。また、分離部７６は、入力された放送ストリームからコンテンツ符号化信号を抽出し、ビデオ符号化信号とオーディオ符号化信号に分離して、ビデオ符号化信号をビデオデコーダ７７に出力し、オーディオ符号化信号をオーディオデコーダ７９に出力する。
【００８２】
ビデオデコーダ７７は、入力されるビデオ符号化信号をデコードし、その結果得られるコンテンツのビデオ信号を表示制御部７８に出力する。表示制御部７８は、制御部７１からの制御に従い、適宜、コンテンツのビデオ信号に手話単語画像を合成して後段に出力する。
【００８３】
オーディオデコーダ７９は、入力されるオーディオ符号化信号をデコードし、その結果得られるコンテンツのオーディオ信号を後段に出力する。
【００８４】
［受信装置の動作］
図１１は、受信装置１３による受信送信処理を説明するフローチャートである。この受信処理は、受信装置１３の電源がオンとされたときに開始され、電源がオフとされるまで繰り返し実行させる。
【００８５】
ステップＳ２１において、チューナ７５は、制御部７１からの選局制御に対応した放送ストリームの受信を開始し、得られた放送ストリームを分離部７６に出力する。
【００８６】
ステップＳ２２において、分離部７６は、入力された放送ストリームからコンテンツ符号化信号を抽出し、ビデオ符号化信号とオーディオ符号化信号に分離して、ビデオ符号化信号をビデオデコーダ７７に出力し、オーディオ符号化信号をオーディオデコーダ７９に出力する。ビデオデコーダ７７は、入力されたビデオ符号化信号をデコードし、その結果得られたコンテンツのビデオ信号を表示制御部７８に出力する。オーディオデコーダ７９は、入力されたオーディオ符号化信号をデコードし、その結果得られたコンテンツのオーディオ信号を後段に出力する。
【００８７】
ステップＳ２３において、制御部７１は、操作入力部７３からの操作信号に基づき、手話の映像を表示するようユーザから指示されたか否かを判定する。当該指示があったと判定された場合、処理はステップＳ２４に進められる。
【００８８】
ステップＳ２４において、分離部７６は、入力された放送ストリームからデータ信号（DSM-CCイベントメッセージ、データカルーセルモジュールなど）を抽出し、バス７４を介して制御部７１に出力する。ステップＳ２５において、制御部７１は、データ信号のデータカルーセルモジュールに格納されている手話単語画像群をメモリ７２に保持させる。
【００８９】
ステップＳ２６において、制御部７１は、データ信号に含まれるDSM-CCイベントメッセージに従い、当該メッセージが示す手話単語識別情報に対応するMNGとしての手話単語画像をメモリ７２から読み出して、バス７４を介して表示制御部７８に出力する。
【００９０】
ステップＳ２７において、表示制御部７８は、制御部７１からの制御に従い、コンテンツのビデオ信号に手話単語画像を合成することにより、コンテンツの映像に手話の映像が重畳表示されるビデオ信号を生成して後段に出力する。この後、ステップＳ２３に戻されて、それ以降の処理が繰り返される。
【００９１】
なお、ステップＳ２３において、手話の映像の表示を表示するようユーザから指示がない場合、または手話の映像を表示しないようにユーザから指示された場合、処理はステップＳ２８に進められる。ステップＳ２８において、表示制御部７８は、制御部７１からの制御に従い、コンテンツのビデオ信号をそのまま後段に出力する。この後、ステップＳ２３に戻されて、それ以降の処理が繰り返される。
【００９２】
以上で、受信処理の説明を終了する。上述した受信処理によれば、手話の映像をデータカルーセルモジュールに格納されたMNGとしての手話単語画像に基づいて生成するので、デコードなどの処理が不要である。したがって、受信装置１３にとって、コンテンツの映像に手話の映像を重畳して表示することは大きな負担とならず、データ放送に基づいて表示を行う既存の機能により、コンテンツの映像に手話の映像を重畳して表示することができる。
【００９３】
なお、本発明は、コンテンツを複数の受信装置を対象にして放送する放送システムだけでなく、受信装置からの要求に応じてコンテンツを供給するシステムにも適用することが可能である。
【００９４】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。
【００９５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００９６】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００９７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９９】
１０  放送システム，  １１  放送装置，  １２  放送網，  １３  受信装置，  ３１  エンコーダ，  ３２  音声認識部，  ３３  手話単語解析部，  ３４  手話単語識別情報変換部，  ３５  手話単語辞書，  ３６  手話単語画像送出部，  ３７  多重化部，  ３８  送信部，  ５１  モニタ，  ５２  手話単語識別情報入力部，  ７１  制御部，  ７２  メモリ，  ７３  操作入力部，  ７４  バス，  ７５  チューナ，  ７６  分離部，  ７７  ビデオデコーダ，  ７８  表示制御部，  ７９  オーディオデコーダ
【図１】
2011091619.tif 000003
【図２】
2011091619.tif 000004
【図３】
2011091619.tif 000005
【図４】
2011091619.tif 000006
【図５】
2011091619.tif 000007
【図６】
2011091619.tif 000008
【図７】
2011091619.tif 000009
【図８】
2011091619.tif 000010
【図９】
2011091619.tif 000011
【図１０】
2011091619.tif 000012
【図１１】
2011091619.tif 000013