(57)【要約】【課題】  従来のテレビジョン受像機では、放送される信号に、音声多重信号や字幕情報が含まれていなければ、テレビジョン受像機で多言語放送、字幕放送を行うことはできず、聴覚障害者や、日本語の不得手な在日外国人などが、テレビ放送の全ての番組を楽しむことは、困難であった。【解決手段】  第一の発明は、映像情報と音声情報を受信する受信部と、前記受信部で受信した映像情報を合成用映像情報とする合成用映像情報生成部と、前記受信部で受信した音声情報を合成用音声情報とする合成用音声情報生成部と、前記合成用音声情報生成部で生成された合成用音声情報を音声変換情報に変換する変換部と、前記変換部で変換された音声変換情報と前記合成用映像情報生成部で生成された合成用映像情報を合成して出力用情報とする出力用情報生成部と、を有する翻訳テレビジョン装置に関する。【選択図】  図１
2005341072.tif 000002
【特許請求の範囲】
【請求項１】
映像情報と音声情報を受信する受信部と、
前記受信部で受信した映像情報を合成用映像情報とする合成用映像情報生成部と、
前記受信部で受信した音声情報を合成用音声情報とする合成用音声情報生成部と、
前記合成用音声情報生成部で生成された合成用音声情報を音声変換情報に変換する変換部と、
前記変換部で変換された音声変換情報と前記合成用映像情報生成部で生成された合成用映像情報を合成して出力用情報とする出力用情報生成部と、
を有する翻訳テレビジョン装置。
【請求項２】
前記変換部は、前記合成用音声情報を文字情報に変換する文字情報変換手段を有する請求項１に記載の翻訳テレビジョン装置。
【請求項３】
前記文字情報変換手段は、前記音声情報が直接的に表すべき音声の言語と異なる異言語文字情報に変換するための言語変換器を有する請求項２に記載の翻訳テレビジョン装置。
【請求項４】
前記変換部は、前記音声情報が直接的に表すべき音声の言語と異なる異言語音声情報に変換するための言語変換器を有する請求項１に記載の翻訳テレビジョン装置。
【請求項５】
前記出力用情報生成部は、前記音声変換情報と、前記合成用映像情報とを同期させる同期手段を有する請求項１から４のいずれか一に記載の翻訳テレビジョン装置。
【請求項６】
前記出力用情報生成部は、前記出力用情報に含まれる文字情報を、映像情報を表示する画面にテロップとして出力するように前記合成を行う請求項２又は３に記載の翻訳テレビジョン装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、最低一つの音声情報を持った放送信号から、複数言語の字幕、及び音声出力を随時行う機能を持った、翻訳テレビジョン装置に関するものである。
【背景技術】
【０００２】
従来のテレビジョン放送では、映像中に字幕が合成された映像信号が送られてきたり、クローズドキャプションのように映像とは別に英語字幕が送られてきたりする。そして、全ての放送において、字幕放送を観るためには、放送信号に最低一つの字幕情報が入っていなければならない。また、多言語で放送を楽しんだりするためには、放送信号に複数の音声信号が入っていなければならない。従来の字幕表示機能付きテレビジョン受像機は、特開平１０−２３４０１６号のように、テレビあるいはビデオ映像と同時に所望の言語に翻訳された字幕を映像に対して遅延することなく表示し、該映像及び翻訳字幕を記録し、再生時に該映像と同期して翻訳字幕を表示できる映像表示・記録再生装置を提供するものである。
【特許文献１】特開平１０−２３４０１６号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のテレビジョン受像機では、放送される信号に、音声多重信号や字幕情報が含まれていなければ、テレビジョン受像機で多言語放送、字幕放送を行うことはできず、聴覚障害者や、日本語の不得手な在日外国人などが、テレビ放送の全ての番組を楽しむことは、困難であった。従来の字幕翻訳技術では、特開平１０−２３４０１６号のように、放送信号に最低一つの字幕情報が入っていなければならない。また、翻訳のために記憶装置を設けていることから、放送を受信している際に、同時に翻訳字幕を表示することができない。
【課題を解決するための手段】
【０００４】
本件発明は、上記課題に鑑みなされたものである。
【０００５】
第一の発明は、映像情報と音声情報を受信する受信部と、前記受信部で受信した映像情報を合成用映像情報とする合成用映像情報生成部と、前記受信部で受信した音声情報を合成用音声情報とする合成用音声情報生成部と、前記合成用音声情報生成部で生成された合成用音声情報を音声変換情報に変換する変換部と、前記変換部で変換された音声変換情報と前記合成用映像情報生成部で生成された合成用映像情報を合成して出力用情報とする出力用情報生成部と、を有する翻訳テレビジョン装置に関する。
【０００６】
第二の発明は、前記変換部は、前記合成用音声情報を文字情報に変換する文字情報変換手段を有する第一の発明に記載の翻訳テレビジョン装置に関する。
【０００７】
第三の発明は、前記文字情報変換手段は、前記音声情報が直接的に表すべき音声の言語と異なる異言語文字情報に変換するための言語変換器を有する第二の発明に記載の翻訳テレビジョン装置に関する。
【０００８】
第四の発明は、前記変換部は、前記音声情報が直接的に表すべき音声の言語と異なる異言語音声情報に変換するための言語変換器を有する第一の発明に記載の翻訳テレビジョン装置に関する。
【０００９】
第五の発明は、前記出力用情報生成部は、前記音声変換情報と、前記合成用映像情報とを同期させる同期手段を有する第一の発明から第四の発明のいずれか一に記載の翻訳テレビジョン装置に関する。
【００１０】
第六の発明は、前記出力用情報生成部は、前記出力用情報に含まれる文字情報を映像情報を表示する画面にテロップとして出力するように前記合成を行う第二の発明又は第三の発明に記載の翻訳テレビジョン装置に関する。
【発明の効果】
【００１１】
本件発明によれば、受信した信号の中に字幕情報がない場合でも、受信した音声情報から字幕情報を生成することができる。したがって、放送される言葉を全て字幕として表示することができるので、聴覚に障害をもった人などは、音が聞こえなくても、全ての放送内容を楽しむことができる。また、受信した信号の中に自分の得意な言語の音声情報や字幕情報ない場合でも、受信した音声情報から自分の得意な言語の音声情報や字幕情報を生成することができる。したがって個々人の得意な言語に、放送内容が字幕、あるいは音声として翻訳されるため、変換部があらかじめ持っている翻訳言語の中に、その人の得意な言語があれば、放送されている言語に不得手な人でも、全ての放送内容を楽しむことができる。
【発明を実施するための最良の形態】
【００１２】
以下に本件発明の実施形態を説明する。実施形態と、請求項との関係はおおむね次のようなものである。
実施形態１は、主に、請求項１について説明している。
実施形態２は、主に、請求項２について説明している。
実施形態３は、主に、請求項３について説明している。
実施形態４は、主に、請求項４について説明している。
実施形態５は、主に、請求項５について説明している。
実施形態６は、主に、請求項６について説明している。
【００１３】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【００１４】
<<実施形態１>>
【００１５】
<実施形態１の概念>
以下に、本実施形態の概念について説明する。本実施形態の翻訳テレビジョン装置は、映像情報と音声情報を受信し、受信した音声情報を文字情報、異言語文字情報、異言語音声情報、手話情報、ピクチャー、方言などの音声変換情報に変換して、映像情報と合成して出力することに特徴がある。
【００１６】
<構成要件の明示>
以下に、本実施形態の翻訳テレビジョン装置の構成要件を明示する。
図１は、本実施形態の翻訳テレビジョン装置の機能ブロック図である。翻訳テレビジョン装置０１００は、受信部０１０１と、合成用映像情報生成部０１０２と、合成用音声情報生成部０１０３と、変換部０１０４と、出力用情報生成部０１０５と、からなる。
【００１７】
<構成要件の説明>
以下に、本実施形態の構成要件の説明をする。
【００１８】
（受信部）
「受信部」は、映像情報と音声情報を受信する。ここで映像情報、音声情報には、テレビジョン放送の映像情報、音声情報、ＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｒｄｅｒ）テープやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などの記録媒体からの外部入力による映像情報、音声情報が該当する。受信部は、一例として、テレビジョン放送を受信するためのチューナ、ビデオデッキやＤＶＤレコーダーなどの外部機器からの映像情報、音声情報を入力するための外部入力端子などを有する。受信した映像情報と音声情報は、合成用映像情報生成部と合成用音声情報生成部に出力される。
【００１９】
（合成用映像情報生成部）
「合成用映像情報生成部」は、受信部で受信した映像情報を合成用映像情報とする。ここで「合成用映像情報」とは、文字情報、異言語文字情報、手話情報、ピクチャーなどと合成されて出力されうる形式の映像情報のことをいう。一例として、合成用映像情報生成部は、映像情報と音声情報が多重されている場合には、受信部で受信した映像情報と音声情報の中から映像情報を分離し、合成用映像情報とする。また、受信部で受信した映像情報は、一例として、搬送波とともに振幅変調されている。このため、合成用映像情報生成部は、受信部で受信した映像情報を復調することにより合成用映像情報を生成する。なお、合成用映像情報がアナログ信号により構成されている場合には、デジタル信号に変換されてもよい。合成用映像情報のアナログ信号からデジタル信号への変換は、Ａ／Ｄ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ）変換器によって行われる。生成された合成用映像情報は、出力用情報生成部に出力される。
【００２０】
（合成用音声情報生成部）
「合成用音声情報生成部」は、受信部で受信した音声情報を合成用音声情報とする。ここで「合成用音声情報」とは、文字情報、異言語文字情報、異言語音声情報、手話情報、ピクチャー、方言などに変換されうる形式の音声情報のことをいう。一例として、合成用音声情報生成部は、受信部で受信した映像情報と音声情報の中から音声情報を分離し、合成用音声情報とする。受信部で受信した音声情報は、一例として、搬送波とともに周波数変調されている。このため、合成用音声情報生成部は、受信部で受信した音声情報を復調することにより合成用音声情報を生成する。なお、合成用音声情報がアナログ信号により構成されている場合には、デジタル信号に変換されてもよい。アナログ信号の合成用音声情報のデジタル信号への変換は、Ａ／Ｄ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ）変換器によって行われる。生成された合成用音声情報は、変換部に出力される。
【００２１】
（変換部）
「変換部」は、合成用音声情報生成部で生成された合成用音声情報を音声変換情報に変換する。ここで「音声変換情報」とは、変換された合成用音声情報のことをいう。音声変換情報には、例えば、文字情報、異言語文字情報、異言語音声情報、手話情報、ピクチャー、方言などが該当する。変換部での変換は、変換することで利用者がより利用しやすいような情報（例えば音声変換情報など）を生成することを目的としている。「文字情報」には、受信部が受信した音声情報の言語によるテキスト文字などが該当する。例えば、音声情報が日本語であれば、文字情報も日本語のテキスト文字となる。「異言語文字情報」には、受信部が受信した音声情報の言語と異なる言語のテキスト文字などが該当する。例えば、音声情報が日本語であれば、文字情報は英語のテキスト文字となる。「異言語音声情報」には、受信部が受信した音声情報の言語と異なる言語の音声情報が該当する。「手話情報」には、受信部が受信した音声情報に対応する手話を表示するための情報が該当する。「ピクチャー」には、受信部が受信した音声情報に対応するピクチャーを表示するための静止画が該当する。例えば、音声が「こんにちは」であれば、対応するピクチャーは「こんにちは」と人が挨拶をしていることを表す静止画が該当する。これらのピクチャーは、一例として、それぞれの音声に対応するピクチャーのデータベースから生成される。また「方言」には、受信部が受信した音声情報に対応する北海道弁、東北弁、名古屋弁、関西弁、九州弁などが該当する。例えば、音声が「おもしろい」であれば、関西弁では「おもろい」が該当する。これらの方言は、一例として、それぞれの音声に対応する方言のデータベースから生成される。音声変換情報は、出力用情報生成部に出力される。
【００２２】
なお、合成用音声情報の音声変換情報（例えば手話情報）への変換は、一例として、次のように行われる。
まず、変換部は、合成用音声情報の言語の種類（例えば日本語）を特定する。なお、この言語の種類の特定は、例えば、利用者がテレビジョンの音声を聴いて、リモコンなどで設定することにより行うことができる。次に、利用者は、合成用音声情報の言語の種類（例えば日本語）から、変換したい音声変換情報の種類（例えば手話情報）を指定する。この指定は、例えば、メニュー画面からリモコンなどによって行うことができる。次に、変換部は、合成用音声情報を指定した手話情報に変換する。この合成用音声情報から手話情報への変換は、一例として、合成用音声情報の単語に対応した手話の単語を手話のデータベースから検索して取得することにより行われる。また、合成用音声情報から手話情報への変換は、一例として、ある一定周期ごとに行われるように構成される。例えば、一定時間（例えば６０秒）ごとの周期で、合成用音声情報から手話情報への変換が行われる。「一定時間」を大きくすれば、一度に手話情報に変換される合成用音声情報が多くなる。なお、合成用音声情報の言語の種類の特定は、利用者が特定することに限定されず、変換部が自動的に音声信号を解析して特定する方式であってもよい。
【００２３】
（出力用情報生成部）
「出力用情報生成部」は、変換部で変換された音声変換情報と合成用映像情報生成部で生成された合成用映像情報を合成して出力用情報とする。なお、出力用情報の合成は、合成用映像情報と音声変換情報が同期をとれるタイミングで行われる。具体的な同期の方法については、実施形態５で説明する。また、出力用情報の合成は、合成用映像情報と音声変換情報が同期をとれるタイミングで行われる場合に限定されず、タイムラグがあるように合成する方法であってもよい。この場合には、どのくらいのタイムラグを許容するかは、自由に設定可能であるものとする。なお、出力用情報生成部には、変換部で変換される前の合成用音声情報が入力されていてもよい。この場合には、出力用情報として、音声変換情報のみでなく、変換されていない音声情報も同時に出力するようにすることができる。
【００２４】
図２は、上記変換部で変換された音声変換情報が手話情報である場合の出力用情報によって表示される画面の一例である。図の手話情報は、一例として、「私はあなたが好きです」を意味する手話情報である。手話の単語の左は「私は」を、中央は「あなたが」を、右は「好きです」を意味している。
【００２５】
（翻訳テレビジョン装置）
本件発明の翻訳テレビジョン装置は、ディスプレイ付きのテレビジョン装置の構成に限定されるものではない。例えば、セットトップボックス（テレビジョン装置に接続して様々なサービスを受けられるようにする機器の総称）のような構成であってもよい。この場合には、利用者は、各家庭から、セットトップボックスを有するケーブルテレビ会社やインターネット会社に接続して所望の音声変換情報の番組を受信することができる。
【００２６】
<処理の流れ>
以下に、本実施形態の処理の流れを説明する。なお、以下に示す処理の流れは、方法、計算機に実行させるためのプログラム、またはそのプログラムが記録された読み取り可能な記録媒体として実施されうる（これは、本明細書のその他の処理の流れについても同様である）。
【００２７】
図３は、本実施形態の処理の流れを示す図である。
【００２８】
まず、受信ステップは、映像情報と音声情報を受信する（ステップＳ０３０１）。次に、合成用映像情報生成ステップは、受信ステップで受信した映像情報を合成用映像情報とする（ステップＳ０３０２）。次に、合成用音声情報生成ステップは、受信ステップで受信した音声情報を合成用音声情報とする（ステップＳ０３０３）。次に、利用者は、音声変換情報を文字情報（異言語文字情報を含む）にするかどうか判断する（ステップＳ０３０４）。次に、音声変換情報を文字情報にする場合には、さらに異言語文字情報にするかどうか判断する（ステップＳ０３０５）。次に、変換ステップは、異言語文字情報でない場合には、合成用音声情報を文字情報に変換する（ステップＳ０３０６）。次に、出力用情報生成ステップは、変換ステップで変換された音声変換情報と合成用映像情報生成ステップで生成された合成用映像情報を合成して出力用情報とする（ステップＳ０３０７）。次に、変換ステップは、利用者が判断した、音声変換情報が異言語文字情報である場合には、合成用音声情報を異言語文字情報に変換する（ステップＳ０３０８）。次に、ステップＳ０３０７に進む。次に、利用者は、音声変換情報を文字情報（異言語文字情報を含む）にしない場合には、さらに異言語音声情報にするかどうか判断する（ステップＳ０３０９）。次に、変換ステップは、音声変換情報が異言語音声情報である場合には、合成用音声情報を異言語音声情報に変換する（ステップＳ０３１０）。次に、ステップＳ０３０７に進む。次に、変換ステップは、音声変換情報が異言語音声情報でない場合には、合成用音声情報をその他（手話情報、ピクチャー、方言）に変換する（ステップＳ０３１１）。次に、ステップＳ０３０７に進む。
【００２９】
（実施例）
以下に本実施形態の実施例について説明する。
図４は、本実施例を説明するための図である。この場合には、音声変換情報を手話情報としている。
まず、受信部は、映像情報と音声情報を受信する。次に、合成用映像情報生成部は、受信部で受信した映像情報から合成用映像情報（挨拶の場面）を生成する。次に、合成用音声情報生成部は、受信部で受信した音声情報から合成用音声情報「こんにちは」を生成する。次に、音声解析装置は、合成用音声情報「こんにちは」を解析し（ステップ１）、文字情報「こんにちは」を生成する（ステップ２）。次に、変換部は、文字情報「こんにちは」に相当する手話情報「こんにちは」を翻訳データベースより検索し（ステップ３）、該当する手話情報「こんにちは」を生成する（ステップ４）。次に、出力用情報生成部は、変換部で変換された手話情報「こんにちは」と合成用映像情報生成部で生成された合成用映像情報「挨拶の場面」を合成して出力用情報とする（ステップ５）。
【００３０】
<実施形態１の効果の簡単な説明>
【００３１】
本実施形態によれば、受信した信号の中に字幕情報がない場合でも、受信した音声情報から字幕情報を生成することができる。したがって、放送される言葉を全て字幕として表示することができるので、聴覚に障害をもった人などは、音が聞こえなくても、全ての放送内容を楽しむことができる。また、受信した信号の中に自分の得意な言語の音声情報や字幕情報ない場合でも、受信した音声情報から自分の得意な言語の音声情報や字幕情報を生成することができる。したがって個々人の得意な言語に、放送内容が字幕、あるいは音声として翻訳されるため、変換部があらかじめ持っている翻訳言語の中に、その人の得意な言語があれば、放送されている言語に不得手な人でも、全ての放送内容を楽しむことができる。
【００３２】
<<実施形態２>>
【００３３】
<実施形態２の概念>
以下に、本実施形態の概念について説明する。本実施形態の翻訳テレビジョン装置は、変換部が、合成用音声情報を文字情報に変換する文字情報変換手段を有する実施形態１に記載の翻訳テレビジョン装置に関する。
【００３４】
<構成要件の明示>
以下に、本実施形態の翻訳テレビジョン装置の構成要件を明示する。
図５は、本実施形態の翻訳テレビジョン装置の機能ブロック図である。翻訳テレビジョン装置０５００は、受信部０５０１と、合成用映像情報生成部０５０２と、合成用音声情報生成部０５０３と、変換部０５０４と、出力用情報生成部０５０５と、からなる。また、変換部は、文字情報変換手段０５０６を有する。
【００３５】
<構成要件の説明>
以下に、本実施形態の構成要件の説明をする。
【００３６】
（受信部）、（合成用映像情報生成部）、（合成用音声情報生成部）
受信部、合成用映像情報生成部、合成用音声情報生成部については実施形態１と同様なので説明を省略する。
【００３７】
（変換部）
（文字情報変換手段）
以下に、変換部の文字情報変換手段について説明する。
変換部は、文字情報変換手段を有する。ここで「文字情報変換手段」とは、合成用音声情報を文字情報に変換する手段のことをいう。音声変換情報（文字情報）は、出力用情報生成部に出力される。
【００３８】
なお、合成用音声情報の文字情報への変換は、一例として、次のように行われる。
まず、利用者は、文字情報への変換である旨をリモコンなどから変換部に送信する。次に、変換部は、合成用音声情報の言語の種類（例えば日本語）を特定する。なお、この言語の種類の特定は、例えば、利用者がテレビジョンの音声を聴いて、リモコンなどで設定することにより行うことができる。次に、変換部は、合成用音声情報を特定した文字情報（例えば日本語のテキスト文字）に変換する。この合成用音声情報から文字情報への変換は、一例として、合成用音声情報の単語に対応した文字情報の単語を文字情報のデータベースから検索して取得することにより行われる。また、合成用音声情報から文字情報への変換は、一例として、ある一定周期ごとに行われるように構成される。例えば、一定時間（例えば６０秒）ごとの周期で、合成用音声情報から文字情報への変換が行われる。「一定時間」を大きくすれば、一度に文字情報に変換される合成用音声情報が多くなる。なお、合成用音声情報の言語の種類の特定は、利用者が特定することに限定されず、変換部が自動的に音声信号を解析して特定する方式であってもよい。
【００３９】
合成用音声情報の文字情報への変換にあたり、利用されると想定される言語の種類の一例としては、日本語、英語、中国語、韓国語、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語、ロシア語、アラビア語、ギリシャ語などが該当する。例えば、合成用音声情報の言語が日本語の場合には、文字情報の言語は日本語となり、合成用音声情報の言語が英語の場合には、文字情報の言語は英語となる。
【００４０】
（出力用情報生成部）
「出力用情報生成部」は、文字情報変換手段で変換された文字情報と合成用映像情報生成部で生成された合成用映像情報を合成して出力用情報とする。なお、出力用情報の合成は、合成用映像情報と文字情報が同期をとれるタイミングで行われる。具体的な同期の方法については、実施形態５で説明する。また、出力用情報の合成は、合成用映像情報と音声変換情報が同期をとれるタイミングで行われる場合に限定されず、タイムラグがあるように合成する方法であってもよい。この場合には、どのくらいのタイムラグを許容するかは、自由に設定可能であるものとする。なお、出力用情報生成部には、変換部で変換される前の合成用音声情報が入力されていてもよい。この場合には、出力用情報として、文字情報のみでなく、変換されていない音声情報も同時に出力するようにすることができる。
図６は、上記変換部で変換された音声変換情報が文字情報である場合の出力用情報の一例である。この場合には、合成用音声情報が日本語であり、それに対応する文字情報も日本語となる。図の文字情報は、一例として、「何か一緒に飲みに行きませんか」を示している。
【００４１】
<処理の流れ>
以下に、本実施形態の処理の流れを説明する。
図７は、本実施形態の処理の流れを示す図である。
まず、受信ステップは、映像情報と音声情報を受信する（ステップＳ０７０１）。次に、合成用映像情報生成ステップは、受信ステップで受信した映像情報を合成用映像情報とする（ステップＳ０７０２）。次に、合成用音声情報生成ステップは、受信ステップで受信した音声情報を合成用音声情報とする（ステップＳ０７０３）。次に、変換ステップは、合成用音声情報を文字情報に変換する（ステップＳ０７０４）。次に、出力用情報生成ステップは、変換ステップで変換された文字情報と合成用映像情報生成ステップで生成された合成用映像情報を合成して出力用情報とする（ステップＳ０７０５）。
【００４２】
（実施例）
以下に本実施形態の実施例について説明する。
図８は、本実施例を説明するための図である。この場合には、音声変換情報を文字情報としている。
まず、受信部は、映像情報と音声情報を受信する。次に、合成用映像情報生成部は、受信部で受信した映像情報から合成用映像情報（挨拶の場面）を生成する。次に、合成用音声情報生成部は、受信部で受信した音声情報から合成用音声情報「こんにちは」を生成する。次に、音声解析装置は、合成用音声情報「こんにちは」を解析し（ステップ１）、文字情報「こんにちは」を生成する（ステップ２）。次に、出力用情報生成部は、変換部で変換された文字情報「こんにちは」と合成用映像情報生成部で生成された合成用映像情報「挨拶の場面」を合成して出力用情報とする（ステップ３）。
【００４３】
<実施形態２の効果の簡単な説明>
本実施形態によれば、受信した信号の中に文字情報がない場合でも、受信した音声情報から文字情報を生成することができる。したがって、放送される言葉を全て字幕として表示することができるので、聴覚に障害をもった人などは、音が聞こえなくても、全ての放送内容を楽しむことができる。
【００４４】
<<実施形態３>>
【００４５】
<実施形態３の概念>
以下に、本実施形態の概念について説明する。本実施形態の翻訳テレビジョン装置は、文字情報変換手段が、音声情報が直接的に表すべき音声の言語と異なる異言語文字情報に変換するための言語変換器を有する翻訳テレビジョン装置に関する。
【００４６】
<構成要件の明示>
以下に、本実施形態の翻訳テレビジョン装置の構成要件を明示する。
図９は、本実施形態の翻訳テレビジョン装置の機能ブロック図である。翻訳テレビジョン装置０９００は、受信部０９０１と、合成用映像情報生成部０９０２と、合成用音声情報生成部０９０３と、変換部０９０４と、出力用情報生成部０９０５と、からなる。また、変換部は、文字情報変換手段０９０６を有する。さらに、文字情報変換手段は言語変換器０９０７を有する。
【００４７】
<構成要件の説明>
以下に、本実施形態の構成要件の説明をする。
【００４８】
（受信部）、（合成用映像情報生成部）、（合成用音声情報生成部）
受信部、合成用映像情報生成部、合成用音声情報生成部については実施形態１と同様なので説明を省略する。
【００４９】
（変換部）
（文字情報変換手段）
（言語変換器）
以下に、文字情報変換手段の言語変換器について説明する。
文字情報変換手段は、言語変換器を有する。ここで「言語変換器」とは、音声情報が直接的に表すべき音声の言語と異なる異言語文字情報に変換する変換器のことをいう。音声変換情報（異言語文字情報）は、出力用情報生成部に出力される。
【００５０】
なお、合成用音声情報の異言語文字情報への変換は、一例として、次のように行われる。
まず、利用者は、異言語文字情報への変換である旨をリモコンなどから変換部に送信する。次に、変換部は、合成用音声情報の言語（例えば日本語）を特定する。なお、この言語の種類の特定は、例えば、利用者がテレビジョンの音声を聴いて、リモコンなどで設定することにより行うことができる。次に、利用者は、合成用音声情報の言語（例えば日本語）から、変換したい異言語文字情報の言語の種類（例えば英語）を指定する。この指定は、例えば、メニュー画面からリモコンなどによって行うことができる。次に、文字情報変換手段は、合成用音声情報（例えば日本語）を、まず、文字情報（例えば日本語のテキスト文字）に変換する。次に、言語変換器は、文字情報（例えば日本語のテキスト文字）を、指定した異言語文字情報（例えば英語のテキスト文字）に変換する。この合成用音声情報から異言語文字情報への変換は、一例として、合成用音声情報の単語に対応した異言語文字情報の単語を異言語文字情報のデータベースから検索して取得することにより行われる。また、合成用音声情報から異言語文字情報への変換は、一例として、ある一定周期ごとに行われるように構成される。例えば、一定時間（例えば６０秒）ごとの周期で、合成用音声情報から異言語文字情報への変換が行われる。「一定時間」を大きくすれば、一度に文字情報に変換される合成用音声情報が多くなる。なお、合成用音声情報の言語の種類の特定は、利用者が特定することに限定されず、変換部が自動的に音声信号を解析して特定する方式であってもよい。
【００５１】
合成用音声情報の異言語文字情報への変換にあたり、利用されると想定される異言語の種類の一例としては、日本語、英語、中国語、韓国語、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語、ロシア語、アラビア語、ギリシャ語などが該当する。例えば、合成用音声情報の言語が日本語の場合には、異言語文字情報の言語は日本語以外の英語、中国語、韓国語、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語、ロシア語、アラビア語、ギリシャ語などが該当する。
【００５２】
（出力用情報生成部）
「出力用情報生成部」は、変換部で変換された音声変換情報と合成用映像情報生成部で生成された合成用映像情報を合成して出力用情報とする。なお、出力用情報の合成は、合成用映像情報と音声変換情報が同期をとれるタイミングで行われる。具体的な同期の方法については、実施形態５で説明する。また、出力用情報の合成は、合成用映像情報と音声変換情報が同期をとれるタイミングで行われる場合に限定されず、タイムラグがあるように合成する方法であってもよい。この場合には、どのくらいのタイムラグを許容するかは、自由に設定可能であるものとする。なお、出力用情報生成部には、変換部で変換される前の合成用音声情報が入力されていてもよい。この場合には、出力用情報として、異言語文字情報のみでなく、変換されていない音声情報も同時に出力するようにすることができる。
図１０は、上記変換部で変換された音声変換情報が異言語文字情報である場合の出力用情報の一例である。この場合には、合成用音声情報が日本語であり、それに対応する異言語文字情報を英語であるとしている。図の異言語文字情報は、一例として、「Ｗｏｕｌｄ’ｙｏｕ  ｌｉｋｅ  ｓｏｍｅｔｈｉｎｇ  ｔｏ  ｄｒｉｎｋ？」を示している。
【００５３】
<処理の流れ>
以下に、本実施形態の処理の流れを説明する。
図１１は、本実施形態の処理の流れを示す図である。
まず、受信ステップは、映像情報と音声情報を受信する（ステップＳ１１０１）。次に、合成用映像情報生成ステップは、受信ステップで受信した映像情報を合成用映像情報とする（ステップＳ１１０２）。次に、合成用音声情報生成ステップは、受信ステップで受信した音声情報を合成用音声情報とする（ステップＳ１１０３）。次に、変換ステップは、合成用音声情報を異言語文字情報に変換する（ステップＳ１１０４）。次に、出力用情報生成ステップは、変換ステップで変換された異言語文字情報と合成用映像情報生成ステップで生成された合成用映像情報を合成して出力用情報とする（ステップＳ１１０５）。
【００５４】
（実施例）
以下に本実施形態の実施例について説明する。
図１２は、本実施例を説明するための図である。この場合には、異言語文字情報の言語を英語としている。
まず、受信部は、映像情報と音声情報を受信する。次に、合成用映像情報生成部は、受信部で受信した映像情報から合成用映像情報（挨拶の場面）を生成する。次に、合成用音声情報生成部は、受信部で受信した音声情報から合成用音声情報「こんにちは」を生成する。次に、音声解析装置は、合成用音声情報「こんにちは」を解析し（ステップ１）、文字情報「こんにちは」を生成する（ステップ２）。次に、変換部は、文字情報「こんにちは」に相当する異言語文字情報「Ｈｅｌｌｏ」を翻訳データベースより検索し（ステップ３）、該当する異言語文字情報「Ｈｅｌｌｏ」を生成する（ステップ４）。次に、出力用情報生成部は、変換部で変換された異言語文字情報「Ｈｅｌｌｏ」と合成用映像情報生成部で生成された合成用映像情報「挨拶の場面」を合成して出力用情報とする（ステップ５）。
【００５５】
<実施形態３の効果の簡単な説明>
本実施形態によれば、受信した信号の中に自分の得意な言語の音声情報や字幕情報ない場合でも、受信した音声情報から自分の得意な言語の字幕情報を生成することができる。したがって個々人の得意な言語に、放送内容が字幕として翻訳されるため、変換部があらかじめ持っている翻訳言語の中に、その人の得意な言語があれば、放送されている言語に不得手な人でも、全ての放送内容を楽しむことができる。
【００５６】
<<実施形態４>>
【００５７】
<実施形態４の概念>
以下に、本実施形態の概念について説明する。本実施形態の翻訳テレビジョン装置は、変換部が、音声情報が直接的に表すべき音声の言語と異なる異言語音声情報に変換するための言語変換器を有する翻訳テレビジョン装置に関する。
【００５８】
<構成要件の明示>
以下に、本実施形態の翻訳テレビジョン装置の構成要件を明示する。
図１３は、本実施形態の翻訳テレビジョン装置の機能ブロック図である。翻訳テレビジョン装置１３００は、受信部１３０１と、合成用映像情報生成部１３０２と、合成用音声情報生成部１３０３と、変換部１３０４と、出力用情報生成部１３０５と、からなる。また、変換部は、言語変換器１３０６を有する。
【００５９】
<構成要件の説明>
以下に、本実施形態の構成要件の説明をする。
【００６０】
（受信部）、（合成用映像情報生成部）、（合成用音声情報生成部）
受信部、合成用映像情報生成部、合成用音声情報生成部については実施形態１と同様なので説明を省略する。
【００６１】
（変換部）
（言語変換器）
以下に、変換部の言語変換器について説明する。
変換部は、言語変換器を有する。ここで「言語変換器」とは、音声情報が直接的に表すべき音声の言語と異なる異言語音声情報に変換する変換器のことをいう。音声変換情報（異言語音声情報）は、出力用情報生成部に出力される。
【００６２】
なお、合成用音声情報の異言語音声情報への変換は、一例として、次のように行われる。
まず、利用者は、異言語音声情報への変換である旨をリモコンなどから変換部に送信する。次に、変換部は、合成用音声情報の言語（例えば日本語）を特定する。なお、この言語の種類の特定は、例えば、利用者がテレビジョンの音声を聴いて、リモコンなどで設定することにより行うことができる。次に、利用者は、合成用音声情報の言語（例えば日本語）から、変換したい異言語音声情報の言語（例えば英語）を指定する。この指定は、例えば、メニュー画面からリモコンなどによって行うことができる。次に、言語変換器は、合成用音声情報（例えば日本語の音声情報）を、指定した異言語音声情報（例えば英語の音声情報）に変換する。この合成用音声情報から異言語音声情報への変換は、一例として、合成用音声情報の単語に対応した異言語音声情報の単語を異言語音声情報のデータベースから検索して取得することにより行われる。また、合成用音声情報から異言語音声情報への変換は、一例として、ある一定周期ごとに行われるように構成される。例えば、一定時間（例えば６０秒）ごとの周期で、合成用音声情報から異言語音声情報への変換が行われる。「一定時間」を大きくすれば、一度に文字情報に変換される合成用音声情報が多くなる。なお、合成用音声情報の言語の種類の特定は、利用者が特定することに限定されず、変換部が自動的に音声信号を解析して特定する方式であってもよい。
【００６３】
合成用音声情報の異言語音声情報への変換にあたり、利用されると想定される異言語の種類の一例としては、日本語、英語、中国語、韓国語、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語、ロシア語、アラビア語、ギリシャ語などが該当する。例えば、合成用音声情報の言語が日本語の場合には、異言語音声情報の言語は日本語以外の英語、中国語、韓国語、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語、ロシア語、アラビア語、ギリシャ語などが該当する。
【００６４】
（出力用情報生成部）
「出力用情報生成部」は、変換部で変換された音声変換情報と合成用映像情報生成部で生成された合成用映像情報を合成して出力用情報とする。なお、出力用情報の合成は、合成用映像情報と音声変換情報が同期をとれるタイミングで行われる。具体的な同期の方法については、実施形態５で説明する。また、出力用情報の合成は、合成用映像情報と音声変換情報が同期をとれるタイミングで行われる場合に限定されず、タイムラグがあるように合成する方法であってもよい。この場合には、どのくらいのタイムラグを許容するかは、自由に設定可能であるものとする。
図１４は、上記変換部で変換された音声変換情報が異言語音声情報である場合の出力用情報の一例である。この場合には、合成用音声情報が日本語であり、それに対応する異言語音声情報を英語であるとしている。図の異言語音声情報は、一例として、「Ｗｏｕｌｄ’ｙｏｕ  ｌｉｋｅ  ｓｏｍｅｔｈｉｎｇ  ｔｏ  ｄｒｉｎｋ？」がスピーカより出力されるところを示している。
【００６５】
<処理の流れ>
以下に、本実施形態の処理の流れを説明する。
図１５は、本実施形態の処理の流れを示す図である。
まず、受信ステップは、映像情報と音声情報を受信する（ステップＳ１５０１）。次に、合成用映像情報生成ステップは、受信ステップで受信した映像情報を合成用映像情報とする（ステップＳ１５０２）。次に、合成用音声情報生成ステップは、受信ステップで受信した音声情報を合成用音声情報とする（ステップＳ１５０３）。次に、変換ステップは、合成用音声情報を異言語音声情報に変換する（ステップＳ１５０４）。次に、出力用情報生成ステップは、変換ステップで変換された異言語音声情報と合成用映像情報生成ステップで生成された合成用映像情報を合成して出力用情報とする（ステップＳ１５０５）。
【００６６】
（実施例）
以下に本実施形態の実施例について説明する。
図１６は、本実施例を説明するための図である。この場合には、異言語音声情報の言語を英語としている。
まず、受信部は、映像情報と音声情報を受信する。次に、合成用映像情報生成部は、受信部で受信した映像情報から合成用映像情報（挨拶の場面）を生成する。次に、合成用音声情報生成部は、受信部で受信した音声情報から合成用音声情報「こんにちは」を生成する。次に、音声解析装置は、合成用音声情報「こんにちは」を解析し（ステップ１）、文字情報「こんにちは」を生成する（ステップ２）。次に、変換部は、文字情報「こんにちは」に相当する異言語文字情報「Ｈｅｌｌｏ」を翻訳データベースより検索し（ステップ３）、該当する異言語文字情報「Ｈｅｌｌｏ」を生成する（ステップ４）。次に、音声変換装置は、異言語文字情報「Ｈｅｌｌｏ」を解析し（ステップ５）、該当する異言語音声情報「Ｈｅｌｌｏ」に変換する（ステップ６）。次に、出力用情報生成部は、変換部で変換された異言語音声情報「Ｈｅｌｌｏ」と合成用映像情報生成部で生成された合成用映像情報「挨拶の場面」を合成して出力用情報とする（ステップ７）。
【００６７】
<実施形態４の効果の簡単な説明>
本実施形態によれば、受信した信号の中に自分の得意な言語の音声情報や字幕情報ない場合でも、受信した音声情報から自分の得意な言語の音声情報を生成することができる。したがって個々人の得意な言語に、放送内容が音声として翻訳されるため、変換部があらかじめ持っている翻訳言語の中に、その人の得意な言語があれば、放送されている言語に不得手な人でも、全ての放送内容を楽しむことができる。
【００６８】
<<実施形態５>>
【００６９】
<実施形態５の概念>
以下に、本実施形態の概念について説明する。本実施形態の翻訳テレビジョン装置は、出力用情報生成部が、音声変換情報と、合成用映像情報とを同期させる同期手段を有する実施形態１から４のいずれか一に記載の翻訳テレビジョン装置に関する。
【００７０】
<構成要件の明示>
以下に、本実施形態の翻訳テレビジョン装置の構成要件を明示する。
図１７は、本実施形態の翻訳テレビジョン装置の機能ブロック図である。翻訳テレビジョン装置１７００は、受信部１７０１と、合成用映像情報生成部１７０２と、合成用音声情報生成部１７０３と、変換部１７０４と、出力用情報生成部１７０５と、からなる。また、出力用情報生成部は、同期手段１７０６を有する。
【００７１】
<構成要件の説明>
以下に、本実施形態の構成要件の説明をする。
【００７２】
（受信部）、（合成用映像情報生成部）、（合成用音声情報生成部）、（変換部）
受信部、合成用映像情報生成部、合成用音声情報生成部、変換部については実施形態１から４のいずれか一と同様なので説明を省略する。
【００７３】
（出力用情報生成部）
（同期手段）
「出力用情報生成部」は、同期手段を有する。ここで「同期手段」とは、音声変換情報と、合成用映像情報とを同期させる手段のことをいう。同期手段を設ける理由は、いかに示す理由による。つまり、変換部が合成用音声情報を音声変換情報に変換するには処理時間がかかる。しかし、合成用映像情報については、変換部での変換処理がない。このため、一般的に、音声変換情報の方が合成用映像情報に比べて、出力用情報生成部に到着する時間が遅れることになる。したがって、合成用音声情報が変換部で変換されている間、合成用映像情報を出力用情報生成部で待ち合わせる処理が必要になってくる。この待ち合わせるための手段としては、一例として、合成用映像情報のためのバッファを設ける構成が考えられる。つまり、合成用映像情報に対応する音声変換情報が生成されるまでの間は、合成用映像情報は、バッファに蓄積される。バッファに蓄積された合成用映像情報に対応する音声変換情報が生成された時点で、合成用映像情報をバッファから出力することにより、音声変換情報と合成用映像情報の同期をとることが可能となる。なお、合成用映像情報のためのバッファは、ディスプレイに出力される映像が途切れることがないくらいの大きさを持たせることが必要である。
【００７４】
図１８は、同期の方法の一例を説明するための図である。この場合には、音声変換情報を文字情報としている。
まず、受信部は、映像情報と音声情報を受信する。次に、合成用映像情報生成部は、受信部で受信した映像情報から合成用映像情報「挨拶の場面」を生成する。ここで、この合成用映像情報「挨拶の場面」には、タイムスタンプ（時刻：００１）が刻印されている。また、それに続く合成用映像情報にも、タイムスタンプ（時刻：００２）、（時刻：００３）、・・・が刻印されている。次に、合成用音声情報生成部は、受信部で受信した音声情報から合成用音声情報「こんにちは」を生成する。ここで、この合成用音声情報「こんにちは」にも、合成用映像情報（挨拶の場面）に相当するタイムスタンプ（時刻：００１）が刻印されている。次に、音声解析装置は、合成用音声情報「こんにちは」（時刻：００１）を解析し、文字情報「こんにちは」（時刻：００１）を生成する。この文字情報「こんにちは」（時刻：００１）が生成されるまでの間、生成された合成用映像情報（時刻：００１）、（時刻：００２）、（時刻：００３）、・・・は、バッファなどに格納される。次に、出力用情報生成部は、変換部で変換された文字情報「こんにちは」（時刻：００１）とタイムスタンプ（時刻：００１）の一致する合成用映像情報生成部で生成された合成用映像情報「挨拶の場面（時刻：００１）」をバッファから取り出して合成することにより出力用情報（時刻：００１）とする。以上述べたように、タイムスタンプの一致する合成用映像情報と、音声変換情報を合成して出力用情報とすることにより、映像と音声の同期をとることが可能となる。
【００７５】
<処理の流れ>
以下に、本実施形態の処理の流れを説明する。
図１９は、本実施形態の処理の流れを示す図である。
まず、受信ステップは、映像情報と音声情報を受信する（ステップＳ１９０１）。次に、合成用映像情報生成ステップは、受信ステップで受信した映像情報を合成用映像情報とする（ステップＳ１９０２）。次に、合成用音声情報生成ステップは、受信ステップで受信した音声情報を合成用音声情報とする（ステップＳ１９０３）。次に、変換ステップは、合成用音声情報を音声変換情報に変換する（ステップＳ１９０４）。次に、出力用情報生成ステップは、変換ステップで変換された音声変換情報と合成用映像情報生成ステップで生成された合成用映像情報を同期させる（ステップＳ１９０５）。次に、出力用情報生成ステップは、同期させた音声変換情報と合成用映像情報を合成して出力用情報とする（ステップＳ１９０６）。
【００７６】
（実施例）
以下に、本実施形態の実施例について説明する。
図２０は、本実施形態の実施例の翻訳テレビジョン装置２０００を正面から見た外観図である。図の翻訳テレビジョン装置において、ディスプレイ２００１と、スピーカ２００２と、外部入力端子２００３と、チューナ入力端子２００４とが、示されている。ディスプレイには、リモコンなどからの設定により、様々な言語で、放送内容の音声情報に対応した文字情報、異言語文字情報、手話情報、ピクチャーが表示される。スピーカには、リモコンなどからの設定により、様々な言語で、放送内容の音声情報に対応した異言語音声情報が出力される。外部入力端子は、外部機器からの音声情報を、本翻訳テレビジョン装置の音声外部入力端子に接続することにより、外部機器から入力された音声情報に対して、翻訳された文字情報、異言語文字情報、手話情報、ピクチャーの表示、あるいは異言語音声情報の出力を行うことが可能である。チューナ入力端子は、テレビ局から送られてきた信号を、本翻訳テレビジョン装置のチューナ入力端子に入力することにより、テレビ放送の音声情報に対して、翻訳された文字情報、異言語文字情報、手話情報、ピクチャーの字幕表示、あるいは異言語音声情報の出力を行うことが可能である。
【００７７】
図２１は、実施例の翻訳テレビジョン装置２１００の具体的機能ブロック図である。実施例の翻訳テレビジョン装置は、受信部２１０１と、合成用映像情報生成部２１０２と、合成用音声情報生成部２１０３と、変換部２１０４と、出力用情報生成部２１０５と、からなる。また、出力用情報生成部は、同期手段２１０６を有する。変換部は、文字情報変換手段２１０７と、音声変換器２１０９と、を有する。さらに、文字情報変換手段は、言語変換器２１０８を有する。また、受信部は、チューナ入力端子２１１１と、外部入力端子２１１２と、を有する。さらに、翻訳テレビジョン装置は、上記以外に、マイコン２１１３と、スピーカ２１１５と、ディスプレイ２１１６と、を有する。ディスプレイ、スピーカ、外部入力端子は図２０の説明と同様である。チューナは、放送信号を処理し、映像検波、音声ＩＦ検波を行う。合成音声情報生成部は、チューナから入力された音声ＩＦ信号や、外部入力端子から入力された音声情報のデコードを行い、合成用音声情報を生成する。マイコンからの指示により、合成音声情報生成部は、スピーカ、文字情報変換手段に合成用音声情報を出力する。変換部においては、合成用音声情報生成部から取得した合成用音声情報の言語が判定され、マイコンに言語の判定結果を出力する。文字情報変換手段は、言語の判定結果に基づいたマイコンからの指示により、合成用音声情報生成部から入力された合成用音声情報を、同言語の文字情報へ変換し、言語変換器、又は出力用情報生成部へ出力する。言語変換器は、ユーザによって設定された翻訳されるべき言語の設定情報に基づくマイコンからの指示により、文字情報変換手段で変換された文字情報を、設定された異言語文字情報へ変換し、音声変換器、又は出力用情報生成部へ出力する。音声変換器は、ユーザによって設定された翻訳されるべき言語の設定情報に基づくマイコンからの指示により、言語変換器より入力された異言語文字情報を、該異言語文字情報と同じ言語の異言語音声情報へ変換し、スピーカへ出力する。合成用映像情報生成部は、チューナまたは外部入力端子から入力された映像情報に対して、Ｙ／Ｃ分離（輝度信号（Ｙ信号）と色信号（Ｃ信号）を分離すること）などの映像処理を行い、合成用映像情報を生成する。生成された合成用映像情報は、出力用情報生成部に出力される。出力用情報生成部は、マイコンからの指示に応じて、入力された音声変換情報（文字情報、異言語文字情報、異言語音声情報、手話情報、ピクチャー）を合成用映像情報に重畳し、ディスプレイに出力する。マイコンは、ユーザのリモコンなどからの設定に応じて、字幕表示されている言語の切り替え、異言語音声情報出力されている言語の切り替えなどの処理を行う。マイコンは、それぞれの処理にあわせて、合成用映像情報生成部、合成用音声情報生成部、変換部、文字情報変換手段、言語変換器、音声変換器、出力用情報生成部に制御信号を送信する。
【００７８】
また、出力用情報生成部は、バッファを有している。これは、以下の理由による。つまり、出力用情報生成部に入力される、合成用映像情報と音声変換情報（文字情報、異言語文字情報、異言語音声情報、手話情報、ピクチャー）の入力タイミングは、合成用映像情報の方が速くなる。これは、変換部が、合成用音声情報を音声変換情報（文字情報、異言語文字情報、異言語音声情報、手話情報、ピクチャー）に変換する際に、変換のための処理時間がかかるためである。したがって、合成用映像情報に対して、変換部から出力用情報生成部に入力される音声変換情報の方が遅れることになる。このため、出力用情報生成部に入力される音声変換情報に対して、合成用映像情報を一定時間遅延させる必要がある。その一例として、合成用映像情報を一定時間遅延させるための手段であるバッファが設けられている。出力用情報生成部へのマイコンからの制御信号により、合成用映像情報が一定時間バッファに蓄えられる結果、合成用映像情報と音声変換情報の出力のタイミングを調整することが可能となる。以上が実施例の構成の概略である。
【００７９】
以下には、実施例の翻訳テレビジョン装置の処理概要を説明する。
（字幕表示設定の場合）
以下に、字幕表示設定の場合の処理を説明する。これは、合成用音声情報を文字情報に変換する場合であり、主に、実施形態２の処理である。なお、字幕表示設定は、一例として、リモコンなどに表示されたメニューによってユーザが設定することができる。今、図２１において、字幕表示設定となっていた場合に、放送信号が翻訳テレビジョン装置のチューナ入力端子に入力されると、合成用音声情報生成部で処理された音声情報は、変換部に入力されて言語判定が行われ、文字情報変換手段に入力される。判定された言語情報に基づいたマイコンからの指示により、文字情報変換手段は、入力された合成用音声情報を同言語の文字情報に変換し、出力用情報生成部に出力する。また、その際、合成用音声情報から文字情報に変換する処理時間に応じて、マイコンが出力用情報生成部を制御し、合成用映像情報の出力を一定時間バッファに蓄える。これにより、合成用映像情報の出力を遅らせることができるので、合成用映像情報生成部からの合成用映像情報と、合成用音声情報から変換された文字情報（字幕となる）は、同時にディスプレイに出力される。入力音声情報が字幕表示された場合には、マイコンが合成用音声情報生成部を制御することにより、音声情報にミュートをかける設定を行うことも可能である。
（翻訳字幕表示設定の場合）
以下に、翻訳字幕表示設定の場合の処理を説明する。これは、合成用音声情報を異言語文字情報に変換する場合であり、主に、実施形態３の処理である。なお、翻訳字幕表示設定は、一例として、リモコンなどに表示されたメニューによってユーザが設定することができる。今、翻訳字幕表示設定となっている場合に、放送信号が翻訳テレビジョン装置のチューナ入力端子に入力されると、字幕表示設定の場合と同様に、合成用音声情報生成部で処理された音声情報は、変換部に入力されて言語判定が行われ、文字情報変換手段に入力される。判定された言語情報に基づいたマイコンからの指示により、文字情報変換手段は、入力された合成用音声情報を同言語の文字情報に変換する。さらに、変換された文字情報は言語変換部に入力されてユーザによって設定された異言語文字情報に変換される。変換された異言語文字情報は出力用情報生成部に出力される。また、その際、合成用音声情報から異言語文字情報に変換する処理時間に応じて、マイコンが出力用情報生成部を制御し、合成用映像情報の出力を一定時間バッファに蓄える。これにより、合成用映像情報の出力を遅らせることができ、合成用映像情報生成部からの合成用映像情報と、合成用音声情報から変換された異言語文字情報（翻訳字幕となる）は、同時にディスプレイに出力される。入力音声情報が翻訳字幕表示された場合には、マイコンが合成用音声情報生成部を制御することにより、音声情報にミュートをかける設定を行うことも可能である。
（翻訳音声出力設定の場合）
以下に、翻訳音声出力設定の場合の処理を説明する。これは、合成用音声情報を異言語音声情報に変換する場合であり、主に、実施形態４の処理である。なお、翻訳音声出力設定は、一例として、リモコンなどに表示されたメニューによってユーザが設定することができる。設定が翻訳音声出力設定となっている場合に、放送信号が翻訳テレビジョン装置のチューナ入力端子に入力されると、合成用音声情報生成部で処理された音声情報は、変換部に入力されて言語判定が行われ、文字情報変換手段に入力される。判定された言語情報に基づいたマイコンからの指示により、文字情報変換手段は、入力された合成用音声情報を同言語の文字情報に変換する。さらに、変換された文字情報は言語変換部に入力されて、ユーザによって設定された異言語文字情報に変換される。変換された異言語文字情報は、さらに音声変換器に入力されて、該異言語文字情報と同じ言語の異言語音声情報に変換される。変換された異言語音声情報は出力用情報生成部に出力され、さらにスピーカに出力される。また、その際、合成用音声情報から異言語音声情報に変換する処理時間に応じて、マイコンが出力用情報生成部を制御し、合成用映像情報の出力を一定時間バッファに蓄える。これにより、合成用映像情報の出力を遅らせることができ、合成用映像情報生成部からの合成用映像情報をディスプレイに出力するタイミングと、合成用音声情報から変換された異言語音声情報をスピーカに出力するタイミングを一致させることができる。
【００８０】
また図２１において、他のＡＶ機器から、外部入力端子に音声情報が入力されると、チューナ入力端子に放送信号が入力された場合と同様に、ユーザのリモコンなどの設定に対応して、音声情報が解析され、変換部で音声変換情報が生成される。生成された字幕信号や翻訳字幕信号などの音声変換情報は、出力用情報生成部に入力され、合成用映像情報と共に、ディスプレイに出力され、ディスプレイに字幕が表示されたり、翻訳音声信号などの音声変換情報がスピーカから出力されたりする。
【００８１】
<実施形態５の効果の簡単な説明>
本実施形態によれば、合成用音声情報を音声変換情報に変換することにより生じる音声変換情報と、合成用映像情報との同期をとることが可能となる。
【００８２】
<<実施形態６>>
【００８３】
<実施形態６の概念>
以下に、本実施形態の概念について説明する。本実施形態の翻訳テレビジョン装置は、出力用情報生成部が、出力用情報に含まれる文字情報を映像情報を表示する画面にテロップとして出力するように合成を行う実施形態２又は３に記載の翻訳テレビジョン装置に関する。
【００８４】
<構成要件の明示>
本実施形態の構成要件については、実施形態２又は３と同様なので説明を省略する。
【００８５】
<構成要件の説明>
以下に、本実施形態の構成要件の説明をする。
【００８６】
（受信部）、（合成用映像情報生成部）、（合成用音声情報生成部）、（変換部）
受信部、合成用映像情報生成部、合成用音声情報生成部、変換部については実施形態２又は３と同様なので説明を省略する。
【００８７】
（出力用情報生成部）
「出力用情報生成部」は、出力用情報生成部は、出力用情報に含まれる文字情報を映像情報を表示する画面にテロップとして出力するように合成を行う。画面にテロップとして出力するように合成することにより、映像を損なうことなく、文字情報を読み取ることができる。なお、テロップの表示は、画面の上下左右のいずれかの部分に限定されず、映像が邪魔されない部分であればよい。例えば、画面を９分割して、裏番組を見ているような場合には、画面の中央にテロップを配置することも可能である。テロップの一例としては、図６や図１０のようなものが該当する。それ以外の点は、実施形態２又は３と同様なので説明を省略する。
【００８８】
<処理の流れ>
以下に、本実施形態の処理の流れを説明する。
図２２は、本実施形態の処理の流れを示す図である。
まず、受信ステップは、映像情報と音声情報を受信する（ステップＳ２２０１）。次に、合成用映像情報生成ステップは、受信ステップで受信した映像情報を合成用映像情報とする（ステップＳ２２０２）。次に、合成用音声情報生成ステップは、受信ステップで受信した音声情報を合成用音声情報とする（ステップＳ２２０３）。次に、変換ステップは、合成用音声情報を文字情報に変換する（ステップＳ２２０４）。次に、出力用情報生成ステップは、出力用情報に含まれる文字情報をテロップとして出力するように合成して出力用情報とする（ステップＳ２２０５）。
【００８９】
<実施形態６の効果の簡単な説明>
本実施形態によれば、出力用情報に含まれる文字情報をテロップとして出力することにより、映像を損なうことなく、文字情報を読み取ることができる。
【産業上の利用可能性】
【００９０】
本発明は、最低一つの音声情報を持った放送信号から、複数言語の字幕、及び音声出力を随時行う機能を持った、翻訳テレビジョン装置に利用可能である。
【図面の簡単な説明】
【００９１】
【図１】実施形態１の機能ブロック図
【図２】実施形態１の出力用情報を説明する図
【図３】実施形態１の処理の流れ図
【図４】実施形態１の実施例を説明するための図
【図５】実施形態２の機能ブロック図
【図６】実施形態２の出力用情報を説明する図
【図７】実施形態２の処理の流れ図
【図８】実施形態２の実施例を説明するための図
【図９】実施形態３の機能ブロック図
【図１０】実施形態３の出力用情報を説明する図
【図１１】実施形態３の処理の流れ図
【図１２】実施形態３の実施例を説明するための図
【図１３】実施形態４の機能ブロック図
【図１４】実施形態４の出力用情報を説明する図
【図１５】実施形態４の処理の流れ図
【図１６】実施形態４の実施例を説明するための図
【図１７】実施形態５の機能ブロック図
【図１８】実施形態５の同期の方法を説明するための図
【図１９】実施形態５の処理の流れ図
【図２０】実施形態５の実施例の翻訳テレビジョン装置の外観図
【図２１】実施形態５の実施例の具体的機能ブロック図
【図２２】実施形態６の処理の流れ図
【符号の説明】
【００９２】
０１００  翻訳テレビジョン装置
０１０１  受信部
０１０２  合成用映像情報生成部
０１０３  合成用音声情報生成部
０１０４  変換部
０１０５  出力用情報生成部
【図１】
2005341072.tif 000003
【図２】
2005341072.tif 000004
【図３】
2005341072.tif 000005
【図４】
2005341072.tif 000006
【図５】
2005341072.tif 000007
【図６】
2005341072.tif 000008
【図７】
2005341072.tif 000009
【図８】
2005341072.tif 000010
【図９】
2005341072.tif 000011
【図１０】
2005341072.tif 000012
【図１１】
2005341072.tif 000013
【図１２】
2005341072.tif 000014
【図１３】
2005341072.tif 000015
【図１４】
2005341072.tif 000016
【図１５】
2005341072.tif 000017
【図１６】
2005341072.tif 000018
【図１７】
2005341072.tif 000019
【図１８】
2005341072.tif 000020
【図１９】
2005341072.tif 000021
【図２０】
2005341072.tif 000022
【図２１】
2005341072.tif 000023
【図２２】
2005341072.tif 000024