(57)【要約】【課題】映像／音声データに対してそのコンテンツ内容に応じた付加情報を付加することを、これまでよりも高い汎用性を持って行えるようにする。【解決手段】翻訳サーバは、インターネット経由で基地局装置１からストリーミング送信されてきた映像／音声データを入力して、この入力された映像／音声データについての付加情報として翻訳メタデータを生成するようにされる。この翻訳メタデータは、入力された映像／音声データの音声信号データについて音声認識し認識したことに基づいて得られるもので、コンテンツ内容に適応したものとなる。そして、上記のようにして生成した翻訳メタデータを、元の入力された映像／音声データに付加して、ストリーミングデータとしてモニタ装置に送信する。【選択図】図４
2005210196.tif 000002
【特許請求の範囲】
【請求項１】
所定の通信網を経由したストリーミング送信を受信して取得されるもので、少なくとも映像データ及び／又は音声データを含む映像／音声データを入力して、この入力された映像／音声データから認識した所定のコンテンツ内容に基づいて、所定の情報内容を有する付加情報を生成する付加情報生成手段と、
上記付加情報を上記入力された映像／音声データに付加して、所定の通信網を経由して特定の端末装置に対してストリーミング送信すべき送信用映像／音声データを生成する映像／音声データ生成手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
上記付加情報生成手段は、
上記入力された映像／音声データの音声データから、上記コンテンツ内容の認識として、所定の第１の言語による発話内容を認識するようにされた音声認識手段と、
上記付加情報として上記音声認識手段により発話内容を認識した結果に基づいて、この認識された発話内容を所定の第２の言語に翻訳した内容の翻訳情報を生成する翻訳情報生成手段と、
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
上記翻訳情報生成手段は、
上記翻訳情報として、上記入力された映像／音声データの音声データにおける発話内容が所定の第２の言語に翻訳されている音声データを生成する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
上記翻訳情報生成手段は、
上記翻訳情報として、上記入力された映像／音声データの音声データおける発話内容を翻訳したテキスト情報を生成する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
所定の通信網を経由したストリーミング送信を受信して取得されるもので、少なくとも映像データ及び／又は音声データを含む映像／音声データを入力して、この入力された映像／音声データから認識した所定のコンテンツ内容に基づいて、所定の情報内容を有する付加情報を生成する付加情報生成処理と、
上記付加情報を上記入力された映像／音声データに付加して、所定の通信網を経由して特定の端末装置に対してストリーミング送信すべき送信用映像／音声データを生成する映像／音声データ生成処理と、
を実行することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば通信網上に接続され、受信取得した映像／音声データについての情報処理を行うための情報処理装置、及び情報処理方法に関するものである。
【背景技術】
【０００２】
先に本出願人は、例えばＡＶ(Audio Video)機器として、基地局装置とモニタ装置とを無線通信により接続するように構成した情報送受信システムを提案している。
【０００３】
この情報送受信システムの基地局装置は、例えばテレビジョン放送のチューナを備えることで、テレビジョン放送信号を受信選局して映像／音声信号に復調することができるようになっている。また、例えば映像／音声信号入力端子などを備えることで外部映像／音声ソースの入力機能を有する。そして、例えばこのようにして得られた映像／音声情報を圧縮符号化した映像／音声データの形式に変換して無線により送信出力することが可能とされる。
【０００４】
モニタ装置は、例えば室内において持ち歩きが可能な程度の小型のサイズを有しているものとされる。そして、基地局装置から無線送信されてくる映像／音声データをデコードして、画像表示及び音声出力を行うようにされる。
【０００５】
このような情報送受信システムであれば、ユーザは、例えば室内においてモニタ装置を持ち歩き、任意の場所に設置することができる。つまり、通信可能な範囲内である限りは、自由な場所でテレビジョン放送や、基地局装置に入力される映像／音声情報などのコンテンツ情報を視聴することができる。
ここで、例えばテレビジョン放送の選局や映像／音声ソースの選択などをはじめとした、各種の基地局装置側をコントロールするための操作も、モニタ装置側で行えるようになっており、その操作情報が基地局装置に送信されるようになっている。基地局装置では、受信した操作情報に応じて、例えば選局チャンネルが切り換わるようにチューナに対する制御を実行したり、また、映像／音声ソースの入力切り換えを行うようにされる。
【０００６】
このような情報送受信システムは、例えば映像／音声ソースを入力、取得する装置（基地局装置）と、この映像／音声を出力するモニタ装置とが別体化された構成のものとしてみることができる。そして、本来は、上記もしているように、映像／音声の伝送を無線で行うことで、例えば家屋内程度の比較的狭い通信可能範囲ではあるが、ユーザがコンテンツ情報を視聴、鑑賞する場所の自由度を与えるようにしているものである。
【０００７】
そのうえで、このような情報送受信システムにおいて、基地局装置とモニタ装置との両者にインターネット、ＬＡＮ(Local Area Network)などのネットワーク接続機能を有させるとする。これにより、基地局装置とモニタ装置との間で、上記した映像／音声などのコンテンツ情報を、インターネット経由で送受信させることが可能となる。
【０００８】
インターネット経由による通信の場合には、インターネットに接続可能な環境でありさえすれば、通信可能範囲の限定はなくなる。そこで、次のような情報送受信システムの使用を考えることができる。
つまり、先ず、例えば基地局装置を、ユーザがモニタ装置を利用している地域とは遠隔した地域に設置することとする。例としては、基地局装置を、モニタ装置を利用している地域を含むテレビジョン放送のサービスエリアとは全く異なるサービスエリア内に設置するようにされる。そのうえで、基地局装置とモニタ装置は、映像／音声データの送受信と共に、コマンドの送受信も可能なように構成することとする。
このようにすれば、ユーザは、インターネット経由で、基地局装置をコントロールして、その基地局装置で受信復調したテレビジョン放送の映像／音声データをモニタ装置に送信させ、モニタ装置により画像／音声を出力させることができる。つまり、例えば、ユーザが現にモニタ装置を使用している地域では本来受信することができないテレビジョン放送を、その地域に居ながらにして視聴することが可能になる。
【０００９】
図８に、上記のようにして、基地局装置とモニタ装置との間でインターネットによる通信を行う場合の映像／音声データの流れを示す。
上記もしているように、インターネット経由での通信は、通信端末間の物理的距離の限定はなく、従って、インターネットに接続可能な環境でありさえすれば、これら通信端末がそれぞれ異なる国にあってもよいものである。そして、基地局装置とモニタ装置との間で映像／音声データを送受信する場合についても、インターネット経由による通信を利用することを前提とすれば、基地局装置とモニタ装置をそれぞれ異なる国に設置することも可能となる。そこで、図８では、基地局装置とモニタ装置とを、それぞれ異なる国に設置していることとする。
【００１０】
図８に示すようにして、基地局装置１は、Ａ国内においてインターネット１００と接続されている。また、モニタ装置２は、Ｂ国内においてインターネット１００と接続されている。
そして、基地局装置１からは、例えば前述したように、テレビジョン放送を受信して得た映像／音声データ、あるいは外部ＡＶ機器から入力された映像／音声データなどを、ストリーミングデータとしてインターネット１００を経由して、モニタ装置２を送信先として送信するようにされる。
このようにして送信された映像／音声データは、インターネット経由でモニタ装置２により受信される、そして、モニタ装置２では、この受信取得した映像／音声データについて、例えば再生時間軸が同期した状態で、映像データについては画像として表示出力させると共に、音声データについては、例えばスピーカなどから音声として出力させる。
【００１１】
ここで、実際に上記のようにして、基地局装置１とモニタ装置２とをそれぞれ、Ａ国とＢ国という異なる国で使用するとした場合において、例えば基地局装置１の仕様として、内蔵するテレビジョン放送チューナをＡ国の放送に対応したものとすれば、基地局装置１は、このＡ国のテレビジョン放送を受信して得た映像／音声データをモニタ装置２に対して送信できることになる。
また、Ａ国に設置される基地局装置１に対して接続されるＡＶ機器としても、通常はＡ国内で使用されているものであると考えられるから、例えばこのようなＡＶ機器側が対応する映像／音声ソフトとしても、そのＡ国で鑑賞されることを前提としたものが多く得られることとなる。そして、このような映像／音声ソフトをソースとする映像／音声データについても、基地局装置１側からモニタ装置２に送信することが可能とされる。
つまり、モニタ装置２を使用するユーザは、Ｂ国に居ながらにしてＡ国のテレビジョン放送やＡ国の映像／音声ソフトなどを視聴することが可能になる。
【００１２】
【特許文献１】特開２００１−１０１１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
ところで、上記したようなシステムを実際に使用するのにあたっては、例えばユーザが享受できる利便性、娯楽性などを考慮すると、上記したように単に映像／音声データを送受信するのみではなく、これに対してさらに何らかの付加価値が与えられることが好ましい。この点について、再度、図８のシステムを参照して、１つの具体例を挙げてみる。
【００１４】
ここで、上記図８において基地局装置１が使用されるＡ国と、モニタ装置２が使用されるＢ国とでは、それぞれの使用言語が言語Ａと言語Ｂで異なっているものとする。
この場合において、最も分かりやすい例として、基地局装置１側にて受信するテレビジョン放送は、Ａ国の国民が視聴することを前提としているので、その番組のほとんどは言語Ａを使用して制作されていることになる。つまり、言語的には、言語Ａを使用できる人が理解できるコンテンツとなっているものである。
図８に示す通信によっては、このようなコンテンツ内容の映像／音声データが、Ａ国内の基地局装置１から、Ｂ国内のモニタ装置２に対して送信されることになる。Ｂ国内においてモニタ装置２を使用しているユーザは、例えばＢ国の国民であるなど、言語Ｂを使用言語としていることが、一般には想定される。このために、例えばモニタ装置２を使用しているユーザが通常は言語Ｂを使用していて、言語Ｂは使用、理解できないというばあい、モニタ装置２にて視聴しているＡ国のコンテンツの内容も充分に理解できないという状況となる。
つまり、モニタ装置２を使用しているユーザとしては、確かに、他国のコンテンツを手軽に視聴できるという利益は享受できるものの、その使用言語が理解できない場合に、充分にそのコンテンツの内容を理解して楽しみながら鑑賞することができないという不都合が生じることになる。
【００１５】
このような不都合を解決するための１つの対策として、例えば、テレビジョン放送の運営側で、映像／音声信号に対して翻訳情報を付加して送出させるようにして、これを受信復調する側の装置構成として、上記翻訳情報を抽出、復調して、所定の出力態様により映像／音声情報と共に再生出力させることが考えられる。
しかしながら、この場合には、テレビジョン放送の送出側において、上記したような翻訳データを作成して映像／音声情報に付加して送出させるための設備、環境を追加しなければならないために、テレビジョン放送の運営側としては相当のコスト負担となってしまう。また、このような設備、環境を備えて、映像／音声情報に翻訳データを付加するサービスを実際に提供したとしても、この場合には、例えば映像／音声情報に対する翻訳データの付加作業は、既に映像／音声ソースとしてあるコンテンツに対する編集としてしか行うことができない。従って、現実問題として、このような作業を、全ての放送番組に対して行うことは不可能であり、例えば、人気のある一部の番組のみに限定するような、小規模な範囲でのサービスとならざるを得ない。特に、例えばスポーツ中継やニュースの番組などのような、いわゆる生番組といわれるものについては、上記した施設環境の場合には、リアルタイム的な処理は不可能であるために、翻訳データを付加するサービスからは除外されてしまう。
この点では、映像／音声ソフトをソースとした映像／音声データについても同様のことがいえる。例えば、ＤＶＤなどの映像／音声ソフトには、字幕などのデータも記録されており、本来の画像／音声と共に、この字幕も合成表示させることができたり、また、言語吹き替えの音声も用意されていたりする。しかしながら、この場合には、ソフトとしてのパッケージメディアに予め記録されている特定言語の字幕、吹き替えの音声しか出力させることができない。
つまり、例えばインターネットなどのネットワーク経由で映像／音声データを送受信するシステムにおいて、映像／音声データに対して例えば翻訳データなどの付加情報を与えることができるようにしてユーザの利益向上を図ろうとしても、現状においては、このようなことが可能な映像／音声ソースは限られてしまっている。
【課題を解決するための手段】
【００１６】
そこで本発明は上記した課題を考慮して情報処理装置として次のように構成することとした。
つまり、所定の通信網を経由したストリーミング送信を受信して取得されるもので、少なくとも映像データ及び／又は音声データを含む映像／音声データを入力して、この入力された映像／音声データから認識した所定のコンテンツ内容に基づいて、所定の情報内容を有する付加情報を生成する付加情報生成手段と、付加情報を入力された映像／音声データに付加して、所定の通信網を経由して特定の端末装置に対してストリーミング送信すべき送信用映像／音声データを生成する映像／音声データ生成手段とを備えて構成することとした。
【００１７】
また、所定の通信網を経由したストリーミング送信を受信して取得されるもので、少なくとも映像データ及び／又は音声データを含む映像／音声データを入力して、この入力された映像／音声データから認識した所定のコンテンツ内容に基づいて、所定の情報内容を有する付加情報を生成する付加情報生成処理と、付加情報を入力された映像／音声データに付加して、所定の通信網を経由して特定の端末装置に対してストリーミング送信すべき送信用映像／音声データを生成する映像／音声データ生成処理とを実行するようにして、情報処理方法を構成することとした。
【００１８】
上記各構成によっては、所定の通信網経由でストリーミング送信されてきた映像／音声データを入力して、この入力された映像／音声データについての付加情報を生成するようにされる。この付加情報は、重力された映像／音声データから認識したコンテンツ内容に基づいて所定の情報内容を有するものとされる。従って、付加情報の内容は、ストリーミングデータとして入力された映像／音声データのコンテンツ内容に適応して決まるものとなる。
そして、上記のようにして生成した付加情報を、元の入力された映像／音声データに付加して送信用映像／音声データを生成し、ストリーミングデータとして送信するようにされる。ここで、入力された映像／音声データがストリーミングデータとして送信されてきたものであり、かつ、付加情報を付加した送信用映像／音声データもストリーミングデータとして送信するということは、送信用映像／音声データを送信出力するのにあたり、元の入力された映像／音声データが有していた時間的連続性は保たれているということになる。
つまり本発明としては、例えばストリーミングデータとして入力された映像／音声データについて、例えば一時保存などは行わない、リアルタイム的な処理によって、映像／音声データに対して、そのコンテンツ内容に応じた所定内容の付加情報を生成し、これを付加して送出しているということになる。
【発明の効果】
【００１９】
例えば、従来までの考え方として、映像／音声データに付加情報を付加しようとした場合には、予め、既にあるとされる映像／音声データとしてのソースに対して付加情報を付加することとしていた。このために、現実問題として、付加情報を付加して提供可能な映像／音声データのソースを多く作成することは困難であった。
これに対して本発明では、ストリーミングデータとして送信されてきた映像／音声データについて、リアルタイム性を持って、そのコンテンツ内容に適応した内容の付加情報を作成、付加して再送出するようにされている。従って、処理対象として入力された映像／音声データであれば、そのコンテンツ内容等にかかわらず、付加情報を付加して送出させることが可能となる。換言すれば、処理対象として入力されてくる映像／音声データについては、全て、適切な付加情報を付加して送出する可能になる。つまり、処理対象として入力されてくる限り、映像／音声データに付加情報を付加することの制限は無いものであり、これまでよりも高い汎用性が得られることになる。さらに、例えば放送を送出する側や、映像／音声ソースのパッケージメディア制作者などの、映像／音声データを提供する側にとっては、付加情報を作成して映像／音声データに付加するための設備環境を整える必要がないという利益も得られることになる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態（以下、実施の形態という）についての説明を行っていくこととする。
ここで、本実施の形態としては、例えば家屋などの屋内で使用されることを前提とし、基地局装置とモニタ装置とによりインターネット経由で情報送受信を行うことのできる情報送受信システムと、これらインターネット上で、上記基地局装置からモニタ装置に対してコンテンツデータ（映像／音声データ）を送信するときに介在するようにされた翻訳サーバとから成るネットワークシステムを例に挙げることとする。
【００２１】
先ず、図１により、実施の形態のネットワークシステムにおいて、上記のようにして基地局装置とモニタ装置の組から成る情報送受信システムの構成概念を説明しておく。
本実施の形態の情報送受信システムは、図１に示される基地局装置１とモニタ装置２から成るもので、例えば家庭の屋内で用いられる。この基地局装置１とモニタ装置２は、以降説明するように、相互に通信を行うことが可能とされている。
【００２２】
基地局装置１は、例えば家庭の屋内にてしかるべき場所に対して固定的に設置される。そして、テレビジョン放送を受信選局して復調して映像／音声情報を得る機能を有している。
このため、基地局装置１は、テレビジョン放送受信機能に対応してテレビジョン放送受信用のアンテナANTを接続可能とされている。そして、アンテナANTより受信した放送信号について選局及び復調を行ってテレビジョン信号としての映像／音声情報を得る。そして、このテレビジョン信号については、所定方式により圧縮符号化された映像／音声データに変換する。
【００２３】
また、本実施の形態の基地局装置１は、例えばビデオ入力端子も備えており、例えば外部ＡＶ機器からこのビデオ入力端子に入力されたビデオ／オーディオ信号についても映像／音声情報として取得して、上記と同様に、圧縮符号化した映像／音声データに変換可能とされている。
【００２４】
さらに基地局装置１は、インターネット（ネットワーク）接続機能も有している。これにより、基地局装置１は、インターネット経由で、所要の端末にアクセスして通信を行うことが可能とされる。
【００２５】
そして、基地局装置１からは、上記のようにして得た圧縮符号化された映像／音声データを、先ず、無線により電波として送信出力可能とされている。つまり、基地局装置１では、受信選局したテレビジョン放送の画像、ＡＶ機器から入力された映像／音声、及びインターネット画像を含むインターフェイス画像としての画像情報などの各種コンテンツ情報を、無線送信可能とされている。また、画像情報以外の各種データも無線により送信出力可能とされる。そして、このようにして基地局装置１から送信された情報は、次に説明するモニタ装置２側で受信できるようになっている。
また、基地局装置１とモニタ装置２は、この無線通信によりコマンドの送受信を行うことも可能とされている。これにより、モニタ装置２により基地局装置１をコントロールしたり、また逆に、基地局装置１からモニタ装置２をコントロールすることもできる。
【００２６】
ここで、上記した無線通信は、例えば実際には、約３０ｍの範囲内での通信可能距離とする仕様となっている。つまり、この無線通信は、基地局装置１とモニタ装置２とが例えば同じ家屋内のような比較的至近の距離にある使用環境を前提とした場合に採用されるべきものとなる。そこで、以降においては、この無線通信について、例えばインターネットなどの通信と比較した場合には、通信距離が限定されたローカル的な通信であることを理由に、ローカル通信ともいうことにする。
【００２７】
モニタ装置２は、例えばユーザが屋内にて持ち歩き可能なように配慮されたサイズ形状を有しているものとされる。
このモニタ装置２では、上記のようにして基地局装置１から電波として無線送信された信号を受信して内部に入力することができる。例えば、入力した受信信号が圧縮符号化形式の映像／音声データによるコンテンツ情報であるときには、復号処理を施して映像／音声データを得る。
【００２８】
そして、モニタ装置２は、例えばＬＣＤ（Liquid Crystal Display）などの表示デバイスにより構成される表示部２７を備えており、上記のようにして得たコンテンツ情報における映像情報を表示部２７に画像として表示させる。つまり、モニタ装置２では、基地局装置１側で受信選局したテレビジョン放送の映像／音声情報や、ＡＶ機器から入力取得した映像／音声情報と、及びインターネット画像を含むインターフェイス画像を表示出力することができるようになっている。また、スピーカ２９を含む音声情報の出力機能も備えることで、例えば映像／音声情報の音声や、インターフェイス画像に対する操作などに対応した音声も出力可能とされている。
【００２９】
また、表示部２７としての表示部位に対しては、タッチパネル３０ａが取り付けられており、このタッチパネル３０ａに対する操作を検出することによって操作情報を発生させるようにしている。
このタッチパネル３０ａに対する操作情報は、必要に応じて、無線によってアンテナ２６から基地局装置１に対して送信するようにされ、基地局装置１では、受信した情報に基づいて、所要の制御処理を実行するようにされる。このような送受信を含む動作が行われることによって、テレビジョン受像機のモニタとしての機能とインターネット機能との切り換え行ったり、また、テレビジョン放送のチャネル選択、外部映像／音声ソースの選択などを行ったりすることが可能とされる。
【００３０】
このように、基地局装置１は、テレビジョン放送や外部ＡＶ機器などから映像／音声情報を取得し、さらにこれらの取得したコンテンツ情報を送信出力するというように、周囲から取得可能なコンテンツ情報をモニタ装置に伝送するためのインターフェイスとしての機能を有している。
また、モニタ装置２は、基地局装置１が取得した映像／音声情報を画像、音声によってユーザに提示し、また、当該システムに対するユーザの操作入力を受け付けるユーザインターフェイスとしての機能を有している。
【００３１】
そして、本実施の形態としては、モニタ装置２についてもインターネット接続機能を与えることとしている。つまり、情報送受信システムとして、基地局装置１及びモニタ装置２は、前述した電波による無線通信であるローカル通信と、このインターネット接続による通信との２つの通信網による情報通信を実行することが可能とされる。そして、本実施の形態としては、インターネット通信によっても、上記ローカル通信と同様にして、基地局装置１からモニタ装置２へのコンテンツ情報の送信と、基地局装置１とモニタ装置２との間でのコマンド送受信が可能なようにされている。
【００３２】
また、上記のようにして本実施の形態の情報送受信システム（基地局装置１，モニタ装置２）がインターネット（ネットワーク）との接続機能を備えていることで、基地局装置１及びモニタ装置２間のデータ通信以外のインターネット利用も可能である。
例えばインターネット上にあるＷｅｂサイトにアクセスしてＷｅｂコンテンツの閲覧を行うことも可能であり、また、電子メールの送受信なども可能とされる。
このためには、本実施の形態の情報送受信システムに対して、Ｗｅｂサイト閲覧のためのアプリケーションソフトウェアや、電子メールの送受信機能を有する、いわゆるメーラなどのアプリケーションソフトウェア（ここではネットワークアプリケーションともいう）をインストールするようにすればよい。
本実施の形態の場合には、基地局装置１とモニタ装置２の何れもインターネット接続機能を有していることから、上記したＷｅｂサイト閲覧機能や電子メール送受信機能などのネットワークアプリケーションは、基地局装置１とモニタ装置２のいずれにもインストールして実行させることができる。
ネットワークアプリケーションを基地局装置１にインストールした場合には、この基地局装置１側において、ネットワークアプリケーションが動作して、Ｗｅｂサイトへのアクセスや電子メールの送受信が実行されることになる。そして、基地局装置１からは、ネットワークアプリケーションのＧＵＩ画像をモニタ装置２に対して送信出力するようにされる。モニタ装置２側では、ネットワークアプリケーションのＧＵＩ画像を表示出力させるとともに、例えばこのＧＵＩ画像に対する操作も可能なように構成する。モニタ装置２側で行われたＧＵＩ操作に応じては、モニタ装置２と基地局装置１との間でコマンド通信が行われ、これにより、基地局装置１側でのネットワークアプリケーションの動作がコントロールされることとなる。
また、ネットワークアプリケーションをモニタ装置２に対してインストールすれば、このネットワークアプリケーションの動作は、モニタ装置２側のみで実行されるものとなる。つまり、モニタ装置２単体でＷｅｂサイトへのアクセスや、電子メールの送受信などを行うことができる。
【００３３】
上記した基地局装置１及びモニタ装置２から成る情報送受信システムに加えて、インターネット上に翻訳サーバを設置することで、本実施の形態としては、例えば図２に示されるネットワークシステムを構築する。
この場合、基地局装置１とモニタ装置２は、共にインターネット１００と接続した環境とする。これにより、基地局装置１とモニタ装置２との間でインターネット経由で映像／音声データ送受信のための通信を行えるようにしている。また、これまでの説明からも理解されるようにインターネット経由での通信は、インターネットと接続可能な環境でありさえすれば、端末間の物理的距離に制限はないものとされている。そこで、本実施の形態としては、情報送受信システムの使用形態として、基地局装置１とモニタ装置２とについて、相互に距離的に遠隔した地域にそれぞれを設置して使用することとしている。そして、この場合においては、基地局装置１をＡ国にて使用し、モニタ装置２をＢ国にて使用することとする。つまり、相互に遠隔する地域として、それぞれ異なる国にて基地局装置１とモニタ装置２を使用することとしているものである。また、この場合においては、Ａ国とＢ国とでは、それぞれ使用言語が異なっていることとする。Ａ国においては言語Ａが使用され、Ｂ国においては言語Ｂが使用される。
【００３４】
この図２により、本実施の形態のネットワークシステムの利用例、及び概略的な動作例について説明しておく。ここでの動作手順の順序は、図２において白抜きの円形の枠内に記載される自然数により示される。
ここで、例えばモニタ装置２を使用しているとされるユーザが、基地局装置側で取得できる映像／音声情報をモニタ装置２により出力させて視聴したいとおもい、そして、このための所定操作をモニタ装置２に対して行ったとする。この操作に応じては、モニタ装置２は、インターネット経由で基地局装置１を送信先として、映像／音声データの送信を要求するコマンド（データ送信要求コマンド）を送信する。
【００３５】
インターネット経由で上記データ送信要求コマンドを受信した基地局装置１では、このコマンドに対する応答として、手順２として示すようにして、要求された映像／音声データをインターネット経由で送信出力する。
このときには、例えば基地局装置１は、データ送信要求のコマンドにより指定されていた映像／音声データを取得するための制御処理を実行することになる。例えば、データ送信要求のコマンドにより指定される映像／音声データが所定の放送チャンネルによるテレビジョン放送である場合には、内蔵テレビジョンチューナにより、この指定された放送チャンネルが選局されるように制御を実行する。そして、このようにして選局された放送チャンネルにより放送されるテレビジョン放送の映像／音声データをインターネット経由で送出する。また、この場合においては、送信データは、圧縮符号化された映像／音声データによるストリームデータの形式とすることとしている。つまり、いわゆるネットワーク上でのストリーミング送信の形態をとる。
ただし、この場合において送出される映像／音声データは、インターネット経由で直接的にモニタ装置２に対してレスポンスとして返送することは行わない。つまり、図２に示すようにして、基地局装置１は、本来はモニタ装置２に対して送信するべき映像／音声データを、インターネット上の翻訳サーバ３に対して送信するようにされる。
【００３６】
このためには、例えば予め、基地局装置１に対して、翻訳サーバ３のインターネット上でのアドレス（例えばＵＲＬ(Uniform Resource Locator)）を登録しておくようにされる。そして、基地局装置１は、上記したデータ送信要求コマンドの受信に応答した処理として、翻訳サーバ３に映像／音声データを送信するときには、先ず、上記のようにして登録されている翻訳サーバ３のアドレスを宛先として送信処理を実行するようにされる。また、翻訳サーバ３に対して映像／音声データを送信するときのフォーマットとして、本来の映像／音声データの送信先が先の手順１によりデータ送信要求コマンドを送信したモニタ装置２であることを示す情報（送信先情報）を、例えばパケットのヘッダなどに格納して送信を行うように規定しておくこととする。
【００３７】
ここで、上記基地局装置１から送信された映像／音声データは、例えばＡ国において視聴されることが想定されたコンテンツであり、従って、そのコンテンツ内容としては、言語Ａを理解できる人が視聴することを前提として制作されている。従って、音声データに関すれば、これを再生出力したときに聞こえる、発話音声は主として言語Ａとなっている。
この場合の翻訳サーバ３は、上記手順２によりストリーミング送信されてくる映像／音声データを受信取得していくことになるが、これに応じて、翻訳サーバ３は手順３として、翻訳メタデータを作成する。つまり、翻訳サーバ３は、受信取得していく映像／音声データのうち、音声データについては、これを再生したときに聞こえるとされる発話内容について、言語Ａによる音声認識を行い、この音声認識結果に基づいて、この発話内容を言語Ｂに翻訳したデータを生成していくようにされる。このようにして得られた翻訳データは、元の映像／音声データに対してメタデータ的な扱いとなるので、本明細書では翻訳メタデータということとしている。
また、本実施の形態における翻訳メタデータの形式としては、次の２つの何れかであることとする。つまり、１つには元の音声データの言語Ａによる発話部分を、言語Ｂで翻訳した発話に置き換えた、いわゆる吹き替え音声が記録された音声データ（吹き替え音声データ）とされる。あるいは、元の音声データの言語Ａによる発話部分を言語Ｂによる文字等として、画像に対して合成表示する、いわゆる字幕データとされる。
【００３８】
そして手順４として、翻訳サーバ３においては、上記のようにして生成した翻訳メタデータを、元の受信取得した映像／音声データに対して多重化するようにして付加するようにされる。そして、この翻訳メタデータを付加した映像／音声データを、基地局装置１からの送信出力時と同様に、ストリーミング送信によりインターネット経由で送信出力する。そして、このようにして送信出力される翻訳メタデータ付きの映像／音声データは、先の手順１によりデータ送信要求コマンドを送信したモニタ装置２が送信先として設定されている。この送信先設定は、例えば先に説明したように、基地局装置１から映像／音声データと共に送信されてくる送信先情報に基づいて行うことができる。
【００３９】
モニタ装置２では、先の手順１によるデータ送信要求コマンドに対する応答結果として、翻訳サーバ３から上記翻訳メタデータ付きの映像／音声データを受信取得することになる。そして、手順５として、この翻訳メタデータ付きの映像／音声データについてモニタ出力を行う。
ここで、上記したように、翻訳メタデータ付きの映像／音声データはストリーミング送信されてくるものであることから、モニタ装置２では、上記手順５としては、ストリーミングデータとしての映像／音声データのデコード処理を実行して再生時間軸が同期された画像／音声として再生出力するようにされる。
【００４０】
また、例えばユーザ操作などに応じて、翻訳メタデータも再生出力させる指示が得られた場合には、映像／音声データから翻訳メタデータを分離抽出してデコードを行い、映像／音声データと共に翻訳メタデータも再生出力させる。翻訳メタデータが吹き替え音声データである場合には、映像／音声データにおける本来の音声データに代えて、この吹き替え音声データを、映像データの再生画像に再生時間軸が同期するようにして再生出力する。また、翻訳メタデータが字幕データの場合には、所定の表示態様によって、映像データの再生画像に対して字幕が合成表示されるようにして字幕データの再生を行う。
【００４１】
このようにして、本実施の形態としては、基地局装置１とモニタ装置２とをそれぞれＡ国とＢ国との異なる使用言語の国で使用するような場合において、基地局装置１とモニタ装置２との間でのインターネット経由での映像／音声データの送受信について、翻訳サーバ３を介在させることとしている。これにより、基地局装置１から言語Ａによるコンテンツ内容の映像／音声データを送信したとしても、モニタ装置２では、言語Ｂにより翻訳された情報が付加された映像／音声データのコンテンツを受信取得して再生出力させることが可能となる。つまり、モニタ装置２を使用するユーザは、基地局装置１から送信される言語Ａによるコンテンツを、言語Ｂで理解できる形態で視聴することが可能となる。
【００４２】
従来においては、テレビジョン放送を運営する側や、映像／音声ソースを例えばＤＶＤなどをはじめとしたパッケージメディアとして制作する側が、予めの編集作業段階で、翻訳メタデータに相当するデータを作成して映像／音声データに付加するようにしていた。このため、特にテレビジョン放送を例に挙げると分かりやすいが、現実問題として、ほとんど全ての番組に翻訳メタデータ的な映像／音声データを付加するための制作、編集作業を行うことは不可能であることになる。特に、映像／音声データのコンテンツ内容が、ニュースやスポーツ実況などのリアルタイム性が要求される生番組である場合には、映像／音声データについて翻訳データのような付加情報を付加することは実質的に不可能となる。
【００４３】
これに対して本実施の形態においては、言語Ａによる映像／音声データについての付加情報の作成、多重化の処理は、翻訳サーバ３において、基地局装置１から送信されてくる映像／音声データを取得してのリアルタイム的な処理によって行われる。
このことは、この翻訳サーバ３に入力される、言語Ａによるコンテンツ内容の映像／音声データであれば、常に言語Ｂに翻訳した翻訳メタデータが付加された映像／音声データが得られるということを意味する。つまり、モニタ装置２のユーザは、基地局装置１から送信させた映像／音声データについて、常に翻訳情報が付加されたコンテンツとして享受して視聴することが可能となる。
そして、本実施の形態の翻訳サーバ３は、ストリーミング送信される映像／音声データを受信入力して翻訳メタデータ（付加情報）を生成して付加するが、翻訳メタデータを付加した映像／音声データを送出するときも、受信取得時のストリーミング送信の形式を保つようにされている。従って、翻訳サーバ３の処理が相応に高速でありさえすれば、基地局装置１→翻訳サーバ３→モニタ装置２の経路で伝送される映像／音声データのリアルタイム性を保つことも可能となる。これにより、例えばテレビジョン放送番組を例に挙げれば、ドラマなどの編集作業を伴って制作された番組はもちろんのこと、上記したような生番組であっても、特に区別することなく翻訳メタデータが付加されたコンテンツとして得ることができる。このことは、従来ではほぼ不可能であったことを考慮すると、大きなメリットであるということがいえる。
また、上記のようにテレビジョン放送を運営したり、或いは、映像／音声ソースをパッケージメディアとして制作する制作者側としてみれば、これらの制作者側のそれぞれが、例えば映像／音声データに対して翻訳メタデータ的な付加情報を作成して付加するための設備環境を整える必要もなくなる。これに対して、本実施の形態では、翻訳メタデータの生成及び付加は、翻訳サーバにて集約的に行われるということがいえる。
【００４４】
以下、上記図２により説明した本実施の形態のシステムにおける動作を実現するための構成例について説明していくこととして、先ずは、図３を参照して、基地局装置１とモニタ装置２の内部構成例について説明する。
【００４５】
先ず、図３に示す基地局装置１においては、所定のテレビジョン放送に対応する受信、選局、復調機能を有するテレビジョンチューナ（ＴＶチューナ）１１が備えられる。このＴＶチューナ１１では、アンテナANTにより受信された放送波を入力して、例えば制御部１５の制御に従って、指定のチャンネルの映像／音声信号が得られるように選局、復調処理を実行する。そして、このようにして得られた映像／音声信号を、例えば内部データバス１９を介するようにして映像／音声エンコーダ１２に対して転送する。
【００４６】
また、映像／音声入力部１３は、外部ＡＶ機器から出力される映像／音声信号を入力して映像／音声データとして取り込むための部位とされる。例えば実際には、ＡＶ機器から出力される映像／音声信号を入力するための、所定の信号方式に対応する入力端子を所定組数備え、また、これらの端子から入力される映像／音声信号のうちから、例えば制御部１５により指定された映像／音声信号を選択するためのセレクタを備える。さらに、入力される映像／音声信号がアナログ信号である場合に、この入力信号をデジタル信号に変換するＡ／Ｄコンバータなどを備えて構成される。この映像／音声入力部１３から出力される映像／音声データも、制御部１５の制御に従って、内部データバス１９を介して映像／音声エンコーダ１２に対して転送される。
【００４７】
映像／音声エンコーダ１２では、上記のようにして内部データバス１９経由で転送されてくる映像／音声データを入力し、例えば所定の圧縮符号化方式に従って圧縮符号化された形式の圧縮映像／音声データに符号化変換する。この場合の圧縮符号化方式としては特に限定されるべきものではないが、現状であれば、例えばＭＰＥＧ(Moving Picture Experts Group)方式の範疇のものを採用することが考えられる。
そして、映像／音声エンコーダ１２から出力される圧縮映像／音声データは、制御部１５の制御により、次に説明するローカル通信部１７又はネットワークインターフェイス１８に対して転送される。
【００４８】
先に図１により説明したように、本実施の形態の情報送受信システムでは、基地局装置１とモニタ装置２は、ローカル通信（例えば近距離無線通信）とインターネット経由によるネットワーク通信との両者の形態の通信により、外部との通信を行うことが可能とされており、基地局装置１とモニタ装置２との間での通信についても、上記ローカル通信とネットワーク通信との何れによっても行うことが可能となっている。
【００４９】
ローカル通信部１７は、本実施の形態としてのローカル通信に採用される所定の通信プロトコルに従っての通信処理を実行する。あくまでも一例であるが、本実施の形態の場合、ローカル通信の通信プロトコルとしてはＴＣＰ／ＩＰが採用される。つまり、ローカル通信であるが、その通信プロトコルとしては、インターネットと同様としている。ＴＣＰ／ＩＰは、既にインターネットで広く普及していることから、応用が容易であるという利点を有している。
例えば、送信時においては、ＴＣＰ／ＩＰに従った送受信が可能な形式となるように、パケット化などの処理を施し、例えば所定のキャリア変調などを施して電波として送信出力する。また、受信時においては、先ず、電波として伝送されてきた送信情報を受信してパケット単位での情報に復調する。そして、ＴＣＰ／ＩＰの通信プロトコルに従ってパケット化を解くなどの処理を実行することで、コマンド等やコンテンツ情報の実データを得るようにされる。
なお、ここでは、ローカル通信は電波通信とされているが、この電波通信の方式としては特に限定されるべきものではない。また、近距離での基地局装置１とモニタ装置２との通信が良好に行えるのでありさえすれば、例えば赤外線通信などによる無線通信としてもよい。有線による所定通信方式による通信も可能なように構成してよい。
【００５０】
インターネット（ネットワーク）１００経由での通信は、ネットワークインターフェイス１８により行われる。周知のようにして、インターネットによる通信プロトコルもＴＣＰ／ＩＰであり、従って、ネットワークインターフェイス１８としても、ＴＣＰ／ＩＰに従ったインターネット経由での通信が行われるように処理を実行する。
この場合にも、送信時においては、ＴＣＰ／ＩＰに従った送受信が可能な形式となるように、パケット化などの処理を施し、インターネット１００上にある目的の送信先端末に対して送信出力を行う。また、受信時においては、インターネット１００で送信元から送信されてきた情報についてパケット化を解くなどの所定の復調処理を実行して、上記と同様に、コマンドやコンテンツ情報の実データを得る。
なお、ネットワークインターフェイス１８の実際としては、例えばイーサネット（Ethernet  登録商標）などのＬＡＮに対応する構成とすることが考えられる。この構成を採れば、インターネットへの接続については、ｘＤＳＬ(Digital Subscriber Line)、ＦＴＴＨ(Fiber To The Home)、ＣＡＴＶ(Cable Television)などに代表されるいわゆるブロードバンドといわれる回線を使用できる。また、モデムを備えた構成とすれば、電話回線を使用してのインターネットの接続が可能とされることにもなる。
【００５１】
先に説明したようにして、映像／音声エンコーダ１２にて圧縮符号化された圧縮映像／音声データは、モニタ装置２に対して送信出力すべきものとされる。そして、この圧縮映像／音声データをローカル通信によりモニタ装置２に送信するときには、制御部１５は、この圧縮映像／音声データを、内部データバス１９経由でローカル通信部１７に対して入力させるように制御する。ローカル通信部１７では、入力された圧縮映像／音声データについて、上記したようにしてパケット化、キャリア変調などの処理を実行して電波として送出する。
また、インターネット経由での通信により圧縮映像／音声データをモニタ装置２に送信するときには、制御部１５は、この圧縮映像／音声データを、内部データバス１９経由でネットワークインターフェイス１８に入力させるように制御する。ネットワークインターフェイス１８も、入力された圧縮映像／音声データについて、上記のようしてパケット化などを行った上で、インターネット１００経由で目的とする送信先に送信出力するするようにされる。また、圧縮映像／音声データが通常のビデオ信号、オーディオ信号のようにして時系列性（時間的連続性）を有するものである場合には、送信データとして、いわゆるストリーミングデータといわれる、時間的連続性が保たれたデータとして送出することも可能とされる。このためには、例えば、制御部１５が、映像／音声エンコーダ１２からネットワークインターフェイス１８への圧縮映像／音声データの転送タイミングと、ネットワークインターフェイス１８におけるパケット送出タイミングを制御するようにされる。
【００５２】
制御部１５は、これまでの説明から理解されるように、基地局装置１において各種の制御処理を実行する。この制御部１５は、例えばＣＰＵ(Central Processing Unit)、ＲＯＭ、ＲＡＭなどから成るマイクロコンピュータを備えて構成される。周知のようにして、ＣＰＵは、ＲＯＭに記憶保持されているプログラムや各種設定情報に従って処理を実行する。ＲＡＭは、ＣＰＵが実行すべきプログラムが展開される領域とされる。また、ＣＰＵが処理を実行するときの演算作業領域として利用される。
【００５３】
なお、例えば基地局装置１に対してハードディスクドライブ（ＨＤＤ）等を備えて、このＨＤＤに映像／音声データ等をはじめとしたコンテンツデータを記憶可能とした構成とすることも考えられる。このような構成とした場合には、ＨＤＤに記憶されているコンテンツデータも、ローカル通信若しくはインターネット経由でモニタ装置２側に対して送信出力することが可能とされる。
【００５４】
続いて、同じ図３に示すモニタ装置２においても、外部との通信を行う手段として、ローカル通信部２４と、ネットワークインターフェイス２５が備えられる。
これらローカル通信部２４及びネットワークインターフェイス２５としては、例えば、前述した基地局装置１側のローカル通信部１７及びネットワークインターフェイス１８と同様の構成とされればよい。
【００５５】
ここで、例えば、基地局装置１側のローカル通信部１７からコンテンツ情報として圧縮符号化された映像／音声データ（圧縮映像／音声データ）が送信出力された場合、モニタ装置２のローカル通信部２４では、受信復調処理によって、送信されてきた圧縮映像／音声データを抽出するようにされる。
【００５６】
同様にして、インターネット経由で、コンテンツ情報として圧縮映像／音声データが送信されてきた場合、モニタ装置２側のネットワークインターフェイス２５としても、これを受信してパケット化を解くなどの復調処理を行って圧縮映像／音声データを抽出する。
そして、上記のようにしてローカル通信部２４又はネットワークインターフェイス２５により抽出された圧縮映像／音声データは、制御部２２の制御によって映像／音声デコーダ２１に対して内部データバス２９を経由して転送される。
【００５７】
また、例えば図２にて説明したようにして翻訳サーバ３からインターネット経由で圧縮映像／音声データが送信されてくる場合、この圧縮映像／音声データには翻訳メタデータが多重化されている。この翻訳メタデータを再生出力する支持が得られた場合、ネットワークインターフェイス２５は、制御部２２の制御に従って、パケットとして送信されてくる映像／音声データのストリーミングデータから翻訳メタデータを格納しているパケットを分離し、このパケットから翻訳メタデータの実データ部分を抜き出していくことで、翻訳メタデータを分離抽出するようにされる。このようにして分離抽出された翻訳メタデータは、メタデータ処理部３２に対して転送される。
【００５８】
映像／音声デコーダ２１では、上記のようにして転送されてくる圧縮映像／音声データを入力して、この圧縮映像／音声データの形式に応じた復号化処理を実行して、伸長された映像信号データ、音声信号データを得るようにされる。そして、制御部２２の制御により、このようにして得られた映像信号データ、音声信号データのうち、映像信号データについては表示制御部２６に対して転送させ、音声信号データは音声処理部２８に対して転送させる。
【００５９】
表示制御部２６では、映像／音声デコーダ２１から映像信号データが転送されてきたときには、この映像信号データが表示部２７により表示されるようにするための信号処理及び、表示部２７に対する駆動制御を実行する。また、例えばタッチパネル操作などのためのＧＵＩ画像を表示出力するような場合には、制御部２２の指示に応じて、表示制御部２６において、ＧＵＩ画像としての画像データを生成し、これが表示部２７により画像として表示されるように制御処理を実行する。また、映像／音声デコーダ２１から転送されてくる映像信号データを主画像とし、ＧＵＩ画像部分を、この主画像における所要位置に対して重畳表示させるための画像信号処理も、ここでは表示制御部２６において実行するものとされる。
【００６０】
表示部２７は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスにより構成されるもので、図１に示したようにして、その表示画面部がモニタ装置の全面に表出するようにして設けられる。上記のようにして表示制御部２６が動作を実行することで、この表示部２７としての表示画面に対して、例えば基地局装置１側で取得して送信されてきた映像／音声データの映像や、ＧＵＩ画像などが表示出力されることになる。
【００６１】
音声信号処理部２８では、映像／音声デコーダ２１から転送されてきた音声信号データを入力して所要のデジタル音声信号処理、Ｄ／Ａ変換、及び増幅処理などを実行し、最終的にスピーカ２９から音声を出力させる。
【００６２】
ここで、映像／音声デコーダにおけるデコード処理としては、圧縮映像／音声データを対象としているが、ここでの圧縮映像／音声データとしては、例えばＭＰＥＧ方式によ映像信号データ及び音声信号データのようにして、映像信号データと音声信号データとについて再生時間軸が同期するようにして圧縮符号化されるものの他、例えば映像信号データのみを圧縮符号化したものや、音声信号データのみを圧縮符号化したものにも対応可能なように構成できる。さらには、静止画としての所定フォーマットによる画像データについてのデコード処理にも対応可能とされている。
なお、上記したように映像／音声とで再生時間軸が同期するようにして圧縮符号化される映像／音声データは、本実施の形態の場合、ストリーミングデータとして伝送されて時間的連続性を有して再生されることが要求される。このような映像／音声データをモニタ装置２側で受信した場合には、映像／音声デコーダ２１において、映像出力と音声出力とが再生時間的に同期して再生されるようにして、復号化処理を実行するようにされる。また、このようにして復号化される映像信号データ及び音声信号データが、連続性を有して途切れることなく再生されるように、制御部２２は、映像／音声デコーダ２１における復号処理タイミング、及び復号されたデータの、表示制御部２６又は音声処理部２８への転送タイミングなどを制御するようにされる。
【００６３】
また、メタデータ処理部３２では、入力された翻訳メタデータが適正に再生出力されるようにするための所要のデータ処理を実行する。
翻訳メタデータが吹き替え音声データである場合には、この吹き替え音声データとしても、元の映像／音声データの音声データと同様にして、映像データと再生時間軸が同期されるようにして圧縮符号化された形式となっている。この場合の、メタデータ処理部３２の処理としては、例えば制御部２２の制御に従って、映像／音声デコーダ２１にてデコード処理される映像データの再生時間軸に同期するようにして、復号処理を実行する。なお、この復号処理としては、吹き替え音声データを映像／音声デコーダ２１に転送して、この映像／音声デコーダ２１にて映像データと再生時間軸を同期させた復号処理を実行させるようにしてもよい。そして、このようにして復号して得られた吹き替え音声データの音声信号データを、元の映像／音声データの音声データに代えて、音声処理部２８に対して転送する。音声処理部２８がこの入力された音声信号データについて所要の信号処理を実行して最終的にスピーカ２９から音声として出力させることで、モニタ装置２においては、元の映像／音声データの画像を表示部２７に対して表示させがら、この画像に対して再生時間が同期した状態で、吹き替え音声データに基づいた吹き替え音声が出力されることとなる。
【００６４】
また、翻訳メタデータが字幕データである場合には、メタデータ処理部３２は、この翻訳メタデータである字幕データの形式に対応したデコード処理を行うことになる。このデコード処理によっては、元の映像／音声データの画像に対して合成表示させるべき字幕画像のデータが得られることになる。また、字幕データは、例えば元の映像／音声データの映像データ（主画像）に対する表示出力タイミング（再生時間）を示す時間情報を含む構造となっているものとされる。そして、メタデータ処理部３２では、この時間情報に従った表示出力タイミングとなるように、映像／音声デコーダ２１から表示処理部２６に転送される主画像としての映像データの転送タイミングと同期が得られるようなタイミングで、デコード出力である字幕画像データを、表示処理部２６に転送するようにされる。このようなメタデータ処理部３２における、時間情報に基づいた字幕画像データの転送タイミングは、制御部２２が上記時間情報に基づいて制御を実行するようにすればよい。
そして、表示処理部２６では上記のようにして入力される主画像としての映像データに対して字幕画像データを重畳するようにして合成する画像合成処理を実行したうえで、この合成処理により得られた映像データにより表示部２７に画像表示を行う。
【００６５】
また、この図３のモニタ装置２において示される操作入力部３０は、操作入力に関するユーザインターフェイスとして、モニタ装置２に備えられる操作子、操作入力部、及びこれらの操作子、操作入力部に対して行われた操作に応じた操作コマンドを発生して制御部２２に出力するためのデバイスなどを一括して示したものとされる。従って、この操作入力部３０としては、表示部２７に対して設けられるタッチパネル３０ａを備えて構成されるも含む。
また、特に図示してはいないが、モニタ装置２とは別体として付属されるリモートコントローラと、このリモートコントローラから送信されるコマンド信号を受信して上記操作コマンドを発生するような構成も、操作入力部３０として含まれる。
【００６６】
制御部２２では、操作入力部３０から出力された操作コマンドに応じて、その操作コマンドに対応する動作が得られるように、各部の制御を実行する。例えば、モニタ装置２にて完結する動作として、ＬＣＤとしての表示部２７の明るさをコントロールする操作が行われたとすれば、例えば制御部２２は、表示制御部２６を制御してＬＣＤのバックライトの光量制御を実行するようにされる。
【００６７】
また、例えば、モニタ装置２の操作入力部３０に対する操作によっては、基地局装置１の各種動作をコントロールすることも可能なように構成されている。例として、操作入力部３０に対する操作として、基地局装置１のＴＶチューナ１１により受信選局している放送チャンネルを切り換えるための操作が行われたとする。この操作に応じた操作コマンドを入力した制御部２２は、ローカル通信部２４又はネットワークインターフェイス２５に対して、チャンネル切り換え要求のコマンドの送信を指示する。このとき、基地局装置１との通信が、ローカル通信により確立されていれば、制御部２２は、チャンネル切り換え要求のコマンドの送信をローカル通信部２４に対して指示することになる。これに対して、インターネット経由での通信により確立されていれば、ネットワークインターフェイス２５に対して指示を行うことになる。
【００６８】
上記した制御部２２の制御によって、ローカル通信部２４又はネットワークインターフェイス２５からは、チャンネル切り換え要求のコマンドが基地局装置１に対して送信され、基地局装置１側では、このコマンドをローカル通信部１７又はネットワークインターフェイス１８により受信復調して、制御部１５に転送する。制御部１５では、このコマンドが指示するチャンネルに切り換えが行われるようにＴＶチューナ１１を制御する。この結果、モニタ装置２側の映像／音声出力は、これまで出力されていた放送チャンネルの映像／音声に代わり、ユーザが操作により指定したチャンネルの映像／音声に切り換わることとなる。
【００６９】
制御部２２は、モニタ装置２における各種の制御処理を実行する。この制御部２２としても、ＣＰＵ(Central Processing Unit)、ＲＯＭ、ＲＡＭなどから成るマイクロコンピュータを備えて構成される。
【００７０】
なお、本実施の形態の情報送受信システムとしての基地局装置１及びモニタ装置２は、インターネットとの接続機能を備えている。従って、このインターネット接続機能を利用して、基地局装置１及びモニタ装置２間のデータ通信以外のインターネット利用も可能である。
例えばインターネット上にあるＷｅｂサイトにアクセスしてＷｅｂコンテンツの閲覧を行うことも可能であり、また、電子メールの送受信なども可能とされる。このためには、本実施の形態の情報送受信システムに対して、Ｗｅｂサイト閲覧のためのアプリケーションソフトウェアや、電子メールの送受信機能を有する、いわゆるメーラなどのアプリケーションソフトウェア（ここではネットワークアプリケーションともいう）をインストールするようにすればよい。
本実施の形態の場合には、基地局装置１とモニタ装置２の何れもインターネット接続機能を有していることから、上記したＷｅｂサイト閲覧機能や電子メール送受信機能などのネットワークアプリケーションは、基地局装置１とモニタ装置２のいずれにもインストールして実行させることができる。
ネットワークアプリケーションを基地局装置１にインストールした場合には、この基地局装置１側において、ネットワークアプリケーションが動作して、Ｗｅｂサイトへのアクセスや電子メールの送受信が実行されることになる。そして、基地局装置からは、ネットワークアプリケーションのＧＵＩ画像をモニタ装置２に対して送信出力するようにされる。モニタ装置２側では、ネットワークアプリケーションのＧＵＩ画像を表示出力させるとともに、例えばこのＧＵＩ画像に対する操作も可能なように構成する。モニタ装置２側で行われたＧＵＩ操作に応じては、モニタ装置２と基地局装置１との間でコマンド通信が行われ、これにより、基地局装置１側でのネットワークアプリケーションの動作がコントロールされることとなる。
また、ネットワークアプリケーションをモニタ装置２に対してインストールすれば、このネットワークアプリケーションの動作は、モニタ装置２側のみで実行されるものとなる。つまり、モニタ装置２単体でＷｅｂサイトへのアクセスや、電子メールの送受信などを行うことができる。
【００７１】
続いて、翻訳サーバ３について説明する。
図４は、翻訳サーバ３の内部構成例を示している。この図に示す翻訳サーバ３としては、受信処理部４１、音声データ抽出部４２、メタデータ作成部４３、合成処理部４４、送信処理部４５を備えて成るものとされる。また、これらの各部は、ハードウェア的にはそれぞれ独立した装置部、若しくは回路モジュールなどとして構成される。
受信処理部４１では、インターネット１００を経由して基地局装置１からストリーミング送信されてきた映像／音声データ（圧縮映像／音声データである）を、インターネットの通信プロトコル（ＴＣＰ／ＩＰ：Transmission Control Protocol/Internet Protocol）に従って受信取得するための処理を実行する。つまり、例えばパケット単位のシーケンスにより送信されてくる映像／音声データについて、パケット化を解き、映像／音声のストリームデータを得るようにされる。そして、この映像／音声のストリームデータを、音声データ抽出部４２に対して転送する。
【００７２】
音声データ抽出部４２は、転送されてくる映像／音声データ（ストリームデータ）から、音声データを抽出する。ただし、音声データ抽出部４２では、転送されてきた元の映像／音声データ（ストリームデータ）から、音声データを分離することは行わない。つまり、音声データ抽出部４２による音声データの抽出処理結果としては、元のままの映像／音声データと、この映像／音声データにおける音声データとが得られることになる。
元の映像／音声データから分離された音声データは、メタデータ作成部４３に対して転送される。また、元の映像／音声データそのものは、所定のタイミングで合成処理部４４に対して転送される。
【００７３】
メタデータ作成部４３は、先に図２によっても説明した翻訳メタデータを、転送されてきた音声データを利用して作成するための部位とされる。この図に示す翻訳サーバ３を、図２に示したネットワークシステムにおけるものであるとすれば、メタデータ作成部４３には、言語Ａの音声データが入力されることになる。そして、言語Ａの音声データを利用して、言語Ｂによる翻訳メタデータを作成することとなる。つまり、入力された音声データについての言語Ａによる発話内容を、言語Ｂに置き換えた吹き替え音声データを作成する。或いは、入力された音声データにおける言語Ａによる発話内容についての言語Ｂへの翻訳結果が字幕として表示されるようにするための字幕データを作成する。
そして、このようにして作成された翻訳メタデータを、所定タイミングで合成処理部４４に対して逐次転送していく。
【００７４】
合成処理部４４に対しては、元の映像／音声データと、この映像／音声データに対応する翻訳メタデータとが入力されることになる。そして、合成処理部４４では、入力されてくる元の映像／音声データとされるストリームデータの構造に対して、翻訳メタデータを多重化するようにして合成するための処理を実行する。図３においても説明したように、翻訳メタデータが吹き替え音声データ、字幕データの何れとされるにせよ、元の映像／音声データに対する再生時間（再生出力タイミング）が規定されている。このために、規定された再生時間に従った再生出力が可能なようにして、元の映像／音声データに対する翻訳メタデータの合成位置が制御されるようになっている。
【００７５】
合成処理部４４により翻訳メタデータが合成された映像／音声データは、送信処理部４５に対して転送される。送信処理部４５では、転送されてきた映像／音声データについて、インターネットに対応する通信プロトコルに従って、インターネット１００を経由してストリーミング送信を行うようにされる。このときの映像／音声データの送信先は、図２にて説明したように、データ送信要求コマンドを送信したモニタ装置２となる。つまり、であり、このモニタ装置２のアドレスは、例えば前述した送信先情報として、翻訳サーバ３に送信されてきた映像／音声データと共に送信されていたものである。送信処理部４５では、この送信先情報を分離抽出して取得し、この送信先情報が指定するアドレスを送信先として、映像／音声データを送出する。
【００７６】
図５は、翻訳メタデータとして吹き替え音声データを作成する場合に対応したメタデータ作成部４３の構成例を示している。この場合には図示するようにして、音声認識処理部５１、翻訳処理部５２、音声変換処理部５３、及び音声合成処理部５４を備えて成る。なお、これらのメタデータ作成部４３を構成する各部も、それぞれ独立した装置、或いは回路モジュールとされる。
音声データ抽出部４２にて抽出された音声データは、先ず、音声認識処理部５１に対して入力される。また、分岐して音声合成処理部５４に対しても入力される。
音声認識処理部５１では、例えば音声データについての音響分析を行い、人間が発話しているとされる音声成分を抽出する。そして、所定の音声認識アルゴリズムにしたがい、例えば音声成分に含まれる言語Ａとしての単語ごとに音声認識処理を行い、この音声認識処理結果を、音声認識データとして出力する。上記説明から分かるように、この音声認識データは、言語Ａとしての発話音声を、言語Ａにより音声認識して得られたものである。
【００７７】
音声認識処理部５１から出力された言語Ａによる音声認識データは、翻訳処理部５２に対して転送される。翻訳処理部５２では、例えば言語Ａと言語Ｂとの各言語文が対応付けられた辞書を備えており、音声認識データが示す言語Ａの言語文に対応付けされ言語Ｂの言語文を検索して、このようにして検索された言語Ｂの言語文を所定規則に従って連結していくようにされる。このようして得られる言語Ｂの言語文の情報が、言語Ａの音声データの発話内容を言語Ｂに翻訳した内容を有していることになる。これが、言語Ｂの翻訳データとされ、音声変換処理部５３に対して転送される。
【００７８】
音声変換処理部５３では、入力された翻訳データが示す言語Ｂによる言語文の情報を、音声信号データに変換するための処理を実行する。なお、この変換処理を行うのにあたり、音声については、例えば、元の音声データにおける発話音声の周波数特性などに基づいて、元の音声データにおける発話音声と同等の声質とすることも可能とされる。そして、この音声信号データ（翻訳音声信号データ）を、音声合成処理部５４に対して転送する。
【００７９】
音声合成処理部５４には、上記翻訳音声信号データとともに、音声データ抽出部４２からの言語Ａによる元の音声データが入力される。音声合成処理部５４は、先ず、元の音声データについての帯域フィルタ処理などを行うことで、元の音声データから発話音声成分を消去する。そして、この発話音声成分が消去された音声データに対して、翻訳音声信号データの成分を合成していくようにされる。このときには、消去された発話音声成分の発話内容と、翻訳音声信号データの翻訳発話内容とが、ほぼ時間的に対応するようにして合成処理が行われるようにされる。
このような処理によって、音声データとしては、元の音声データから、発話音声だけが言語Ａから言語Ｂに吹き替えられた、吹き替え音声データが得られることとなる。そして、この吹き替え音声データを翻訳データとして、図４に示した合成処理部４４に対して転送するようにされる。
【００８０】
図６は、翻訳メタデータとして字幕データを作成する場合に対応したメタデータ作成部４３の構成例を示しており、この場合には図示するようにして、音声認識処理部５１、翻訳処理部５２、及び字幕データ化処理部５５を備えて成る。なお、この場合にも、これら各部は、それぞれ独立した装置、或いは回路モジュールとされる。
この場合にも、音声データ抽出部４２にて抽出された音声データは、先ず、音声認識処理部５１に対して入力される。なお、この音声認識処理部５１と、この音声認識処理部５１から転送出力される音声認識データが入力される翻訳処理部５２は、図５の場合と同様の構成とされればよいことから、ここでの説明は省略する。
【００８１】
翻訳処理部５２にて得られた言語Ｂによる翻訳データは、字幕データ化処理部５５に対して転送される。
字幕データ化処理部５５では、入力される翻訳データの内容に基づいて、字幕データを生成する。ここで、字幕データとしては、例えば、元の音声データに対する再生出力タイミングを規定したテキスト情報とすることが考えられる。あるいは、元の音声データに対する再生出力タイミングを規定した、主画像に対して合成すべき画像データとすることが考えられる。
字幕データをテキストデータとする場合には、入力される翻訳データの内容を、言語Ｂによるテキストデータに変換するための処理を実行することになる。また、字幕データを画像データとする場合には、先ず、翻訳データの内容からテキストデータを発生させ、このテキストデータに対応する文字画像データを得るようにされる。そして、この文字画像データを利用して、字幕として読めるようにして文字配列された表示態様の画像データを生成するようにされる。
そして、このようにして生成した字幕データを、翻訳メタデータとして合成処理部４４に対して転送する。
【００８２】
また、図７に翻訳サーバ３としての他の構成例を示す。なお、この図において図６と同一部分には同一符号を付して説明を省略する。
この図においては、メタデータ作成部として、例えばメタデータ作成部４３−１，４３−２，４３−３の３つが備えられている。この構成の場合、メタデータ作成部４３−１，４３−２，４３−３は、何れも言語Ａによる音声データが入力されるようになっているが、メタデータ作成部４３−１では、言語Ａから言語Ｂに翻訳した翻訳メタデータを生成して出力する。メタデータ作成部４３−２では、言語Ａから言語Ｃに翻訳した翻訳メタデータを生成して出力する。そして、メタデータ作成部４３−３では、言語Ａから言語Ｄに翻訳した翻訳メタデータを生成して出力する。つまり、メタデータ作成部４３−１，４３−２，４３−３は、それぞれ異なる言語に翻訳した翻訳メタデータを生成して出力するようにされている。
【００８３】
このような構成を採る場合には、例えば図２に示した手順１としてモニタ装置２から送信するデータ送信要求コマンドのフォーマットとして、例えば翻訳言語を指定する情報（翻訳言語指定情報）を含めることとする。翻訳言語の指定は、例えばモニタ装置２に対する操作によってユーザが選択できるようにすればよい。そして、このコマンドを受信して、基地局装置１が翻訳サーバ３に対して映像／音声データを送信するときには、例えばこの映像／音声データを送信するパケットのヘッダなどに対して、翻訳言語指定情報を格納しておくようにされる。
翻訳サーバ３では、映像／音声データを受信したときには、例えばパケットから抽出した翻訳言語指定情報を参照して、指定された翻訳言語について認識する。そして、音声データ抽出部４２により抽出された音声データを、上記のようにして認識した翻訳言語に翻訳するメタデータ作成部（４３−１，４３−２，４３−３の何れか）に対して飲み転送するようにされる。例えば、翻訳言語指定情報が示す翻訳言語が言語Ｃであれば、メタデータ作成部４３−２に対して音声データを転送し、言語Ｃに翻訳された翻訳メタデータを作成させることになる。
【００８４】
このような構成とすれば、モニタ装置２を使用しているユーザは、元はＡ国から送信された映像／音声データのコンテンツでありながら、例えばＢ国以外の言語にも翻訳されたメタ翻訳データが付加されることで、多様な言語により視聴して楽しむことができる。このような視聴のしかたは、例えば語学学習にも有効である。
【００８５】
なお、図７に示す構成を採る場合において、翻訳サーバ３に対する翻訳言語の指定としては、例えばモニタ装置２と翻訳サーバ３とが直接的に送受信を行うことによって、モニタ装置２が翻訳サーバ３に対して、翻訳言語の指定通知、登録を行うように構成することも考えられる。
また、メタデータ作成部の数としては特に限定されるべきものではなく、実際に対応することした翻訳言語に応じて適宜変更されるべきものである。このことから、図７に示す構成であれば、メタデータ作成部について異なる翻訳言語ごとに個別に構成したものを追加していけば、対応可能な翻訳言語は容易に増加させることが可能であり、この点での拡張性も高いということがいえる。
さらには、翻訳サーバ３について、図７に示すようにして複数のメタデータ作成部を備えるとした場合において、必ずしも、図７に例示しているように、入力される音声データの言語については、１つの言語のみに限定されるべきものではない。
つまり、例えば入力音声データの言語として、言語Ａ，Ｂの２つの言語の何れかとされることが想定され、翻訳言語としては、言語Ｃ，Ｄの何れかに翻訳するというような場合であれば、
言語Ａ→言語Ｃ
言語Ｂ→言語Ｃ
言語Ａ→言語Ｄ
言語Ｂ→言語Ｄ
の４つの翻訳のパターンを考えることができる。そこで、このパターンに対応する４つのメタデータ作成部４３を設けるようにすることが考えられる。
また、図７では、翻訳言語の違いに応じて、それぞれメタデータ作成部４３を設けることとしているが、実際においては、例えば１つのメタデータ作成部としての装置、回路モジュールにおいて、翻訳言語の切り換えが行われるようにして、実質的に、図７に示される複数の翻訳言語対応機能が得られるようにしてもよい。この点については、例えばメタデータ作成部としての機能を、コンピュータ装置が実行するプログラムとして構成する場合にも同様のことがいえる。
また、メタデータ作成部だけではなく、図４又は図７に例示したような翻訳サーバ３を形成する各部位の機能の全て或いは一部を、コンピュータ装置がプログラムを実行することにより実現される処理として構成してもよい。
【００８６】
また、翻訳サーバ３全体についての構成としては、例えば受信処理部４１、音声データ抽出部４２、メタデータ作成部４３、合成処理部４４、送信処理部４５から成るものとしているが、これらの部位を装置部として構成した場合には、例えばこれらの装置部位の一部、若しくは全部を、ネットワーク経由で接続した構成とすることも考えられる。
また、メタデータ作成部４３としては、図５と図６により、翻訳メタデータとして吹き替え音声データを生成する構成と、字幕データを生成する構成とをそれぞれ別個に示したが、１つのメタデータ作成部４３により、吹き替え音声データと字幕データの何れの翻訳メタデータも生成可能な構成としてよい。この場合には、例えば図７において説明したモニタ装置２から言語指定を行うのと同様にして、例えばユーザのモニタ装置２に対する操作に応じて、翻訳メタデータについて吹き替え音声データと字幕データのいずれかとするのかをモニタ装置２から指定できるようにする。そして、この指定に応じて、メタデータ作成部４３は、翻訳データとして、吹き替え音声データと字幕データの何れを生成するのかを選択するようにされる。このようにすれば、翻訳メタデータ（翻訳情報の出力のさせ方）についてもユーザが選択できることとなって、娯楽性、利便性などがより高められることとなる。
【００８７】
また、上記実施の形態では、本発明としての付加情報について、吹き替え音声データ又は字幕データなどの翻訳データとしているが、付加情報としてはこれに限定されない。つまり、入力される映像／音声データを再生出力して視覚的、聴覚的に認識されるコンテンツ内容に基づいて生成されるもので、その付加情報が映像／音声データを再生する側の出力されることで、ユーザが何らかの利益を享受できるようなものであればよい。例えば、入力される映像／音声データを基として、その画像を３Ｄ化して出力できるようにするためのデータを付加情報とすることも考えられる。また、このような付加情報であれば、基地局装置とモニタ装置とについて、特に遠隔した地域に設置する必要もないということにもなる。
【００８８】
また、上記実施の形態では、ネットワークシステムにおける映像／音声データの送受信システムとして、基地局装置とモニタ装置とから成るシステムを例に挙げているが、これ以外の形態の送受信システムに対しても適用されるべきものである。例えば、基地局装置とモニタ装置に代えて、パーソナルコンピュータなどとすることも考えられるし、特に、モニタ装置に代えては、より携帯性、可搬性に優れたＰＤＡ(Personal Digital Assistants)などの小型端末装置とすることも考えられる。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態としてのネットワークシステムにおける情報送受信システムの基本構成を示す図である。
【図２】実施の形態のネットワークシステムの利用例をその動作手順により説明するための図である。
【図３】情報送受信システムを構成する基地局装置とモニタ装置の内部構成例を示すブロック図である。
【図４】翻訳サーバの構成例を示すブロック図である。
【図５】メタデータ作成部の構成例を示すブロック図である。
【図６】メタデータ作成部の他の構成例を示すブロック図である。
【図７】翻訳サーバの他の構成例を示すブロック図である。
【図８】従来における情報送受信システムの利用例を説明するための図である。
【符号の説明】
【００９０】
１  基地局装置、２  モニタ装置、３  翻訳サーバ、１１  ＴＶチューナ、１２  映像／音声エンコーダ、１３  映像／音声入力部、１５  制御部、１７，２４  ローカル通信部、１８，２５  ネットワークインターフェイス、１９，３１  内部データバス、２１  映像／音声デコーダ、２２  制御部、２６  表示制御部、２７  表示部、２８  音声処理部、２９  スピーカ、３０  操作入力部、３０ａ  タッチパネル、３２  メタデータ処理部、４１  受信処理部、４２  音声データ抽出部、４３  メタデータ作成部、４４  合成処理部、４５  送信処理部、５１  音声認識処理部、５２  翻訳処理部、５３  音声化処理部、５４  音声合成処理部、５５  字幕データ化処理部、１００  インターネット、ANT  アンテナ
【図１】
2005210196.tif 000003
【図２】
2005210196.tif 000004
【図３】
2005210196.tif 000005
【図４】
2005210196.tif 000006
【図５】
2005210196.tif 000007
【図６】
2005210196.tif 000008
【図７】
2005210196.tif 000009
【図８】
2005210196.tif 000010