(57)【要約】【課題】テレビ番組を視聴する視聴者が番組の音声を聞き逃したり、字幕を見逃した場合に、映像の流れに影響を与えることなく、見逃した字幕を視聴することを可能とする出力方法及び出力装置を提供する。【解決手段】出力装置１は、チューナ１２又は外部信号入力部１３から、映像データ及び該映像データに出力時期が対応付けられている音声データを受信し、受信した音声データから、文字データを生成し、生成した文字データを記録部１１に記録する。そして出力装置１は、映像データから時間的に独立して、記録した文字データに基づく文字を出力する。【選択図】図１
2007336478.tif 000002
【特許請求の範囲】
【請求項１】
映像データに基づいて映像を出力する出力装置を用いた出力方法において、
出力する映像データに出力時期が対応付けられている文字データを記録し、
記録した文字データに基づく文字を、映像データから時間的に独立して出力する
ことを特徴とする出力方法。
【請求項２】
映像データに基づいて映像を出力する出力装置において、
出力する映像データに出力時期が対応付けられている文字データを記録する手段と、
映像データから時間的に独立して、記録した文字データに基づき出力する文字データ出力手段と
を備えることを特徴とする出力装置。
【請求項３】
前記映像データは、映像と同期して音声を出力させる音声データを含み、
該音声データを解析して、映像データに出力時期が対応付けられている文字データを生成する手段を更に備える
ことを特徴とする請求項２に記載の出力装置。
【請求項４】
前記映像データは、映像に文字を出力させる字幕データを含み、
該字幕データを解析して、映像データに出力時期が対応付けられている文字データを生成する手段を更に備える
ことを特徴とする請求項２に記載の出力装置。
【請求項５】
同時に出力する文字データのデータ量の設定を受け付ける手段を更に備え、
前記文字データ出力手段は、設定されたデータ量の文字データに基づき文字を示す映像を出力する様に構成してある
ことを特徴とする請求項２乃至請求項４のいずれかひとつに記載の出力装置。
【請求項６】
文字データに基づいて音声データを生成する手段を更に備え、
前記文字データ出力手段は、生成した音声データに基づき音声を出力する様に構成してある
ことを特徴とする請求項２乃至請求項５のいずれかひとつに記載の出力装置。
【請求項７】
文字データの指定を受け付ける手段と、
指定された文字データに対応付けられた映像データを検索する手段と
を備えることを特徴とする請求項２乃至請求項６のいずれかひとつに記載の出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データに基づいて映像を出力する出力方法、及び該出力方法を適用した出力装置に関し、特にテレビ放送、ビデオ再生等の映像及び音声の視聴に関する自由度を高めることが可能な出力方法及び出力装置に関する。
【背景技術】
【０００２】
テレビ番組を視聴する視聴者が、番組中の音声を聞き逃したり、また番組が字幕付きの映画である場合には、字幕を見逃したりする場合がある。この様な場合、視聴者が、聞き逃した音声又は見逃した字幕を再度視聴することは不可能である。また複数の視聴者が同時に録画された番組を再生して視聴している場合で、一の視聴者が音声の聞き逃し又は字幕の見逃しを行ったとき、一の視聴者が、聞き逃した音声又は見逃した字幕を視聴すべく巻き戻し及び繰り返し再生等の操作を行うことは、番組の流れを寸断するため、他の視聴者との関係によっては憚られる場合がある。
【０００３】
そこで特許文献１には、番組に係る音声を含む映像データを圧縮して記録し、必要に応じて記録した映像データに基づく映像を再出力する装置が開示されている。また特許文献２及び特許文献３には、字幕の表示時間を延長する装置が開示されている。
【特許文献１】特開平８−２３７５９２号公報
【特許文献２】特開２００２−２３２７９８号公報
【特許文献３】特開２００３−３３３５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に開示された装置は、録画された番組の再生と実質的に同じであるので、視聴者が一人である場合には有効であるが、視聴者が複数である場合、他の視聴者との関係によっては繰り返し再生が憚られるという問題は解消していない。
【０００５】
また特許文献２及び特許文献３に開示された装置は、字幕データが存在しない番組に対して適用することができず、上述した問題は解消しない。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、映像データに出力時期が対応付けられている字幕等の文字データを記録し、映像データから時間的に独立して出力させることにより、視聴者は見逃した字幕を、映像の流れに影響を与えることなく視聴することが可能な出力方法、及び該出力方法を適用した出力装置の提供を主たる目的とする。
【０００７】
さらに本発明は、映像データに出力時期が対応付けられた音声データを解析して文字データを生成することにより、本来文字データを持たない番組に対しても映像の流れに影響を与えることなく、見逃した字幕を視聴することが可能であり、また音声を文字として出力させることができるので、他の視聴者の視聴に与える悪影響を低減することが可能な出力装置等の提供を他の目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る出力方法は、映像データに基づいて映像を出力する出力装置を用いた出力方法において、出力する映像データに出力時期が対応付けられている文字データを記録し、記録した文字データに基づく文字を、映像データから時間的に独立して出力することを特徴とする。
【０００９】
本発明では、出力する映像の流れに影響を与えることなく、既に出力された内容に係る文字データに基づく出力を行うことが可能である。
【００１０】
本発明に係る出力装置は、映像データに基づいて映像を出力する出力装置において、出力する映像データに出力時期が対応付けられている文字データを記録する手段と、映像データから時間的に独立して、記録した文字データに基づき出力する文字データ出力手段とを備えることを特徴とする。
【００１１】
本発明では、出力する映像の流れに影響を与えることなく、既に出力された内容に係る文字データに基づく出力を行うことが可能である。
【００１２】
本発明に係る出力装置は、前記映像データは、映像と同期して音声を出力させる音声データを含み、該音声データを解析して、映像データに出力時期が対応付けられている文字データを生成する手段を更に備えることを特徴とする。
【００１３】
本発明では、文字データが対応付けられていない番組等の映像データに関する音声を、映像データから時間的に独立して出力可能な文字データとして記録することが可能である。
【００１４】
本発明に係る出力装置は、前記映像データは、映像に文字を出力させる字幕データを含み、該字幕データを解析して、映像データに出力時期が対応付けられている文字データを生成する手段を更に備えることを特徴とする。
【００１５】
本発明では、映像に表示させる字幕を、映像データから時間的に独立して出力可能な文字データとして記録することが可能である。
【００１６】
本発明に係る出力装置は、同時に出力する文字データのデータ量の設定を受け付ける手段を更に備え、前記文字データ出力手段は、設定されたデータ量の文字データに基づき文字を示す映像を出力する様に構成してあることを特徴とする。
【００１７】
本発明では、設定された量の文字データに基づく文字を同時に出力させることが可能である。
【００１８】
本発明に係る出力装置は、文字データに基づいて音声データを生成する手段を更に備え、前記文字データ出力手段は、生成した音声データに基づき音声を出力する様に構成してあることを特徴とする。
【００１９】
本発明では、字幕等の文字データを音声として出力することが可能である。
【００２０】
本発明に係る出力装置は、文字データの指定を受け付ける手段と、指定された文字データに対応付けられた映像データを検索する手段とを備えることを特徴とする。
【００２１】
本発明では、文字データをキーとして映像データを検索することが可能である。
【発明の効果】
【００２２】
本発明に係る出力方法及び出力装置は、映像データに基づいて映像を出力するテレビ受像機、記録再生装置等の出力装置に適用され、出力する映像データに出力時期が対応付けられている文字データを記録し、映像データから時間的に独立して、記録した文字データに基づき出力する。
【００２３】
この構成により、本発明では、出力する映像の流れに影響を与えることなく、既に出力された内容に係る文字データに基づく出力を行うので、例えば視聴者が文字データに基づき出力される字幕を見逃した場合に、映像の流れに影響を与えることなく、字幕を再出力させて視聴することが可能である等、優れた効果を奏する。
【００２４】
特に本発明は、映像と同時に出力される音声に係る音声データを解析して、映像データと出力時期を対応付けられる文字データを生成する。
【００２５】
この構成により本発明では、字幕等の文字データが対応付けられていない番組に対しても、映像の流れに影響を与えることなく、字幕を再出力させて視聴することが可能であり、しかも音声を文字として再出力させることにより、複数の視聴者にて番組を視聴する場合にでも、映像の流れに沿った音声と異なる音声を出力することがないので、他の視聴者の視聴に影響を与えることなく、聞き逃した音声を文字として視認することが可能である等、優れた効果を奏する。
【００２６】
また本発明は、映像中に文字を表示させる字幕データを解析して、映像データと出力時期を対応付けられる文字データを生成する。
【００２７】
この構成により本発明では、字幕を有する映像から文字データを分離し、映像データから時間的に独立して文字を出力することができるので、例えば視聴者が字幕を見逃した場合に、映像の流れに影響を与えることなく、字幕を再出力させて視聴することが可能である等、優れた効果を奏する。
【００２８】
また本発明は、文字データを音声に変換して出力することにより、視聴方法の自由度を高めることが可能である等、優れた効果を奏する。
【００２９】
さらに本発明は、同時に出力する文字データのデータ量の設定を受け付け、設定されたデータ量の文字データに基づき文字を同時に映像として出力することにより、文字の表示時間を延長することができるので、文字データに係る文字を見逃し難くすることが可能である等、優れた効果を奏する。
【００３０】
さらに本発明は、文字データの指定を受け付け、指定された文字データに対応付けられた映像データの検索を可能とすることにより、所望の映像を検索する際の利便性を高めることが可能である等、優れた効果を奏する。
【発明を実施するための最良の形態】
【００３１】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、本発明の出力装置の構成を示すブロック図である。図１中１は、テレビ受像機等の出力装置であり、出力装置１は、装置全体を制御するマイクロコンピュータ等の制御部１０と、各種情報を記録するＲＡＭ等の記録部１１と、アンテナを介して受信した放送波を受け付けるチューナ１２と、ハードディスクレコーダ、ＤＶＤプレーヤ等の外部の装置から信号の入力を受け付ける外部信号入力部１３とを備え、チューナ１２及び外部信号入力部１３は、映像を表示させる映像データ、音声を出力させる音声データ等の各種データを含む信号を入力信号選択部１４へ出力する。入力信号選択部１４は、受け付けた信号の中から出力の対象となる信号を選択し、選択した信号を各種回路へ出力する。
【００３２】
さらに出力装置１は、入力信号選択部１４が受け付けた信号に含まれる音声データに関する処理を行う音声合成時期制御部１５と、音声データに基づく音声を出力するスピーカ等の音声出力部１６とを備えている。音声合成時期制御部１５が行う音声に関する処理とは、入力信号選択部１４から受け付けた音声と他の音声とを出力時期を制御しながら出力する音声の選択又は合成する処理である。
【００３３】
さらに出力装置１は、入力信号選択部１４が受け付けた信号に含まれる映像データに関する処理を行う映像圧縮部１７と、映像合成部１８と、映像データに基づく映像を出力する液晶パネル等の映像出力部１９とを備えている。映像圧縮部１７が行う映像に関する処理とは、映像データに基づき出力する映像の縦横のサイズを縮小する処理である。映像合成部１８が行う映像に関する処理とは、入力信号選択部１４から映像圧縮部１７を介して受け付けた映像と他の映像とを合成する処理である。
【００３４】
さらに出力装置１は、映像内に表示すべき字幕が含まれている場合に、映像データから字幕に係る字幕データを分離するデータ分離部２０と、分離した字幕データを解析して文字を示す文字データを生成する映像解析部２１とを備え、映像解析部２１が生成した文字データは、記録部１１の記録領域に設けられた文字データ記録部に記録される。なお文字データ記録部に記録される文字データは、映像データと出力時期が対応付けられていることは言うまでもない。データ分離部２０による字幕データの分離とは、受け付けた映像データに字幕となる文字データが含まれている場合は、含まれている文字データを字幕データとして分離する処理であり、映像データにて表示される映像そのものに字幕が含まれる場合には、映像データに基づく映像を解析して文字部分を字幕データとして分離する処理を示す。
【００３５】
さらに出力装置１は、音声データがアナログデータである場合に、デジタルデータに変換する音声Ａ／Ｄ変換部２２と、音声Ａ／Ｄ変換部２２が変換したデジタルの音声データから人が発生する声を抽出する特徴抽出部２３と、人が発生した言葉となる区間を検出する音声区間検出部２４とを備え、特徴抽出部２３及び音声区間検出部２４が主となって音声解析を行う。なお音声Ａ／Ｄ変換部２２にて変換されたデジタルの音声データは、記録部１１に設けられた音声データ記録部に記録される。また出力装置１は、特徴抽出部２３及び音声区間検出部２４にて解析された音声データと、記録部１１に予め記録されている比較データ記録部から抽出した標準モデル、言語モデル、音響モデル等の各種モデル毎に設定された比較用の音声データとを比較して音声の内容を解析する尤度算出部２５を備え、更に尤度算出部２５による解析結果に基づき文字データを生成する文字データ生成部２６とを備えている。そして特徴抽出部２４、音声区間検出部２４及び尤度算出部２５にて解析し、文字データ生成部２６にて文字データを生成する。そして生成された文字データは、記録部１１の文字データ記録部に記録される。なお音声データは、映像と同期して出力されるので、文字データ記録部に記録される文字データは、映像データと出力時期が対応付けられていることは言うまでもない。
【００３６】
さらに出力装置１は、記録部１１の文字データ記録部に記録している文字データに基づいて、映像中に字幕として表示する文字を生成する表示文字生成部２７を備え、表示文字生成部にて生成されたデータは、映像合成部１８へ出力される。
【００３７】
さらに出力装置１は、記録部１１の文字データ記録部に記録している文字データに基づいて、デジタルの音声データを生成する音声データ生成部２８と、音声データ生成部２８にて生成したデジタルの音声データをアナログに変換する音声Ｄ／Ａ変換部２９とを備え、音声Ｄ／Ａ変換部２９にて変換されたアナログの音声データは、音声合成時期制御部１５へ出力され、音声合成時期制御部１５により制御される出力時期に基づき音声出力部１６から出力される。また記録部１１の音声データに記録された音声データも音声Ｄ／Ａ変換部２９を介して音声合成時期制御部１５へ出力される。
【００３８】
さらに出力装置１は、入力信号選択部１４が受け付けたアナログの映像データをデジタルデータに変換する映像Ａ／Ｄ変換部３０を備え、映像Ａ／Ｄ変換部３０にてデジタルに変換された映像データは、記録部１１に設けられた映像データ記録部に記録される。
【００３９】
さらに出力装置１は、記録部１１の映像データに記録部に記録しているデジタルの映像データをアナログの映像データに変換する映像Ｄ／Ａ変換部３１を備え、映像Ｄ／Ａ変換部３１にて変換されたデジタルのアナログデータは、映像圧縮部１７へ出力される。なおチューナ１２、外部信号入力部１３等の映像データをデジタルデータとして受け付ける場合、映像Ａ／Ｄ変換部３０及び映像Ｄ／Ａ変換部３１は、必ずしも必要ではない。
【００４０】
さらに出力装置１は、各種設定、処理の命令等の各種操作を受け付ける各種押釦、リモコン用電磁波受信部等の操作入力部３２を備え、操作入力部３２が受け付けた操作信号の中で各種設定を示す信号は、記録部１１に設けられた設定記録部に記録される。
【００４１】
次に本発明の出力装置１の処理について説明する。図２は、本発明の出力装置１の文字データ記録処理を示すフローチャートである。本発明の出力装置１は、操作入力部３２が所定の操作を受け付けた場合に出力中の映像に係る文字データを記録する文字データ記録処理を実行する。出力装置１は、制御部１０の制御により、入力を受け付けた映像データに文字データが含まれるか否かを判定し（Ｓ１０１）、文字データを含むと判定した場合（Ｓ１０１：ＹＥＳ）、含まれている文字データを記録部１１の文字データ記録部に記録し（Ｓ１０２）、ステップＳ１０１へ戻り、以降の処理を繰り返す。映像データに含まれる文字データとは、例えば映像データが文字放送に係るデータである場合に、映像データに出力時期が同期付けられている文字放送用の文字として含まれている文字データを記録部１１に記録するのである。また文字データを記録する処理は、映像データの所定の処理時間単位毎に行われるので、ステップＳ１０２の文字データの記録処理後、ステップＳ１０１に戻り、連続して受信する映像データに基づいて当該処理を繰り返す。
【００４２】
ステップＳ１０１において、文字データを含まないと判定した場合（Ｓ１０１：ＮＯ）、出力装置１は、後述する処理により、例えば映像データに同期して音声を出力する音声データ等のデータから文字データを生成する文字データ生成処理を実行し（Ｓ１０３）、文字データ生成処理により生成した文字データを記録部１１の文字データ記録部に記録し（Ｓ１０２）、ステップＳ１０１へ戻り、以降の処理を繰り返す。
【００４３】
図３は、本発明の出力装置１の文字データ生成第１処理を示すフローチャートである。本発明の出力装置１は、文字データ記録処理における文字データ生成処理として、音声データに基づいて文字データを生成する文字データ生成第１処理を実行する。出力装置１は、制御部１０の制御により、映像と同期して出力すべき音声に係る音声データを上述した特徴抽出部２３、音声区間検出部２４等の各種回路にて解析し（Ｓ２０１）、解析結果から音声データに基づく文字データを生成し（Ｓ２０２）、文字データ記録処理におけるステップＳ１０２へ進み、生成した文字データを記録部１１の文字データ記録部に記録する（Ｓ１０２）。音声データに基づく音声は、映像と同期して出力されるので、音声データに基づき生成した文字データは、映像データに出力時期が対応付けられている。例えば映像データ記録部に記録される映像データと、文字データ記録部に記録される文字データとは、同期出力に用いられる出力時期データ、所謂タイムスタンプを有している。
【００４４】
図４は、本発明の出力装置１の文字データ生成第２処理を示すフローチャートである。本発明の出力装置１は、文字データ記録処理における文字データ生成処理として、映像データに基づいて文字データを生成する文字データ生成第２処理を実行する。出力装置１は、制御部１０の制御により、映像データに字幕データが含まれているか否かを判定し（Ｓ３０１）、字幕データを含んでいると判定した場合（Ｓ３０１：ＹＥＳ）、データ分離回路２０にて映像データから字幕に係るデータを分離し（Ｓ３０２）、分離したデータを映像解析部２１にて解析し（Ｓ３０３）、文字データ記録処理におけるステップＳ１０２へ進み、解析結果として生成した文字データを記録部１１の文字データ記録部に記録する（Ｓ１０２）。
【００４５】
ステップＳ３０１において、字幕データを含んでいないと判定した場合（Ｓ３０１：ＮＯ）、文字データ記録処理におけるステップＳ１０２へ進み、以降の処理を繰り返す。但し、記録すべき文字データを生成していないので、実質的には、字幕データを含んでいないと判定した場合、ステップＳ１０１へ進み、以降の処理を繰り返すこととなる。
【００４６】
この様に本発明の出力装置１では、映像データに文字データが含まれている場合に、映像データに出力時期が対応付けられる文字データを記録し、文字データが含まれていない場合、音声データ又は映像データに基づいて、映像データに出力時期が対応付けられる文字データを生成して記録する。音声データに基づく文字データの生成及び映像データに基づく文字データの生成は、いずれか一方を選択して実行する様にしても良く、また双方を並行して実行する様にしても良い。さらに映像データに予め文字データが含まれている場合であっても、映像データに予め含まれている文字データの記録と並行して、音声データに基づく文字データ及び映像データに基づく文字データの生成及び記録を実行するようにしても良い。
【００４７】
上述した文字データ記録処理並びに文字データ生成第１処理及び文字データ生成第２処理を実行することにより、出力する映像データに出力時期が対応付けられている文字データを記録部１１に記録することができる。記録部１１に記録した文字データは、映像データから時間的に独立して出力することが可能となる。記録部１１に記録した文字データを映像データから時間的に独立して出力する際の条件は、記録部１１の設定記録部に記録された設定に基づくものであり、操作者が例えばリモコンを操作することにより、条件を入力することができる。
【００４８】
図５は、本発明の出力装置１から出力される設定画面を示す説明図である。図５に示す設定画面は、操作者が例えばリモコンを操作することにより、映像合成部１８の処理によりＯＳＤ(On Screen Display) として映像出力部１９に表示される設定操作メニューを示している。図５（ａ）は、初期メニューであり、「字幕表示」等の選択肢が示されており、「字幕表示」を選択することにより、記録部１１に記録した文字データに基づく文字を字幕として出力する場合の設定を行うことができる。
【００４９】
図５（ｂ）は、図５（ａ）にて「字幕表示」を選択した場合に表示されるメニューであり、「表示時間／行数設定」、「表示画面設定」、「表示場所」、「表示領域」等の選択肢が示されている。
【００５０】
図５（ｃ）は、図５（ｂ）にて「表示時間／行数設定」を選択した場合に表示されるメニューであり、「表示：時間  行数」と示された表示条件の指定欄及び「設定」と示された設定値の指定欄が示されている。図５（ｃ）にて「時間」と示されたラジオボタンをチェックし、「設定」を指示することにより、図５（ｄ）に示す表示時間設定メニューが表示される。表示時間設定メニューにて表示時間を入力することにより、文字データに基づく文字（字幕）の表示時間を設定することができる。また図５（ｃ）にて「行数」と示されたラジオボタンをチェックし、「設定」を指示することにより、図５（ｅ）にて示す表示行数設定メニューが表示される。表示行数設定メニューにて表示行数（文字データのデータ量）を入力することにより、文字データに基づく文字の表示行数を設定することができる。
【００５１】
図５（ｆ）は、図５（ｂ）にて「表示画面設定」を選択した場合に表示されるメニューであり、映像データに基づく映像と文字データに基づく文字との配置に関する選択肢が示されている。
【００５２】
図５（ｇ）は、図５（ｂ）にて「表示場所」を選択した場合に表示されるメニューであり、文字データに基づく文字（字幕）の表示画面上における表示位置を指定することができる。
【００５３】
図５（ｈ）は、図５（ｂ）にて「表示領域」を選択した場合に表示されるメニューであり、文字データに基づく文字（字幕）の表示領域のサイズを指定することができる。
【００５４】
操作者が、図５を用いて例示した操作を行うことにより、本発明の出力装置１は、記録部１１に記録した文字データに基づく出力を開始する。図６は、本発明の出力装置１の文字出力処理を示すフローチャートである。出力装置１は、制御部１０の制御により、文字データに基づく文字出力処理の実行を要求する操作を操作入力部３２にて受け付け（Ｓ４０１）、映像データに基づき映像出力部１９から出力する映像について、文字の出力に伴う映像サイズの変更の要否を判定する（Ｓ４０２）。
【００５５】
ステップＳ４０２において、映像サイズの変更を要すると判定した場合（Ｓ４０２：ＹＥＳ）、出力装置１は、映像圧縮部１７にて映像サイズを変更し（Ｓ４０３）、受け付けた設定を記録部１１の設定記録部に記録することで、以降の処理による文字の出力時期の条件を設定する（Ｓ４０４）。なおステップＳ４０２において映像サイズの変更を要しないと判定した場合（Ｓ４０２：ＮＯ）、ステップＳ４０３の映像サイズの変更は実行しない。
【００５６】
そして出力装置１は、設定した出力時期の条件に基づいて、記録部１１の文字データ記録部に記録している文字データを表示文字生成部２７に読み取り（Ｓ４０５）、読み取った文字データに基づいて、表示文字生成部２７により、表示（出力）する文字を生成し（Ｓ４０６）、生成した文字を、映像合成部１８により、映像データに基づく映像に合成し（Ｓ４０７）、文字を合成した映像を映像出力部１９から出力する（Ｓ４０８）。そしてステップＳ４０５に戻り、次に表示すべき文字に係る文字データを読み取り、以降の処理を繰り返す。
【００５７】
ステップＳ４０１にて受け付ける操作により、出力装置１は、文字データに基づく文字の同時に表示するデータ量（行数）、出力時期等の出力条件の設定を受け付ける。文字データに基づく文字は、本来映像データに基づく映像と同期して出力すべき文字であるが、出力時期を設定することにより、映像データから時間的に独立して、文字データに基づく文字を出力することができる。設定される出力時期の条件とは、映像データに対応付けられている本来の出力時期より所定時間分又は所定データ量分遅れて出力するという条件であり、例えば映像より３分遅れて文字データに基づく文字を出力する。文字データは前述した様に例えば音声に基づいて生成されることから、音声が出力されてから５分後に、その音声に係る文字が字幕として画面上に出力されることになる。文字データに基づく文字の映像データから時間的に独立した出力は、文字データを映像データに対応付けながらも、映像データとは別に記録部１１の文字データ記録部に記録することにより実現される。
【００５８】
図７は、本発明の出力装置１の音声出力処理を示すフローチャートである。本発明の出力装置１は、文字データに基づく出力として、音声を出力することも可能である。出力装置１は、制御部１０の制御により、文字データに基づく音声出力処理の実行を要求する操作を操作入力部３２にて受け付け（Ｓ５０１）、受け付けた要求に含まれる設定を記録部１１の設定記録部に記録することで、以降の処理による音声の出力時期の条件を設定する（Ｓ５０２）。
【００５９】
そして出力装置１は、設定した出力時期の条件に基づいて、記録部１１の文字データ記録部に記録している文字データを音声データ生成部２８に読み取り（Ｓ５０３）、読み取った文字データに基づいて、音声データ生成部２８により、デジタルの音声データを生成し（Ｓ５０４）、生成したデジタルの音声データを音声Ｄ／Ａ変換部２９にてアナログの音声データに変換し、音声合成時期制御部１５にて出力時期を制御した上で、音声出力部１６から音声として出力する（Ｓ５０５）。そしてステップＳ５０３に戻り、次に出力すべき音声に係る文字データを読み取り、以降の処理を繰り返す。
【００６０】
本発明の出力装置１は、文字データに基づき音声を出力する場合も、字幕として文字を出力する場合と同様に出力時期の条件を設定することが可能であり、条件に基づいて、映像データから時間的に独立して、文字データに基づく音声を出力することができる。
【００６１】
図８は、本発明の出力装置１の映像データ検索処理を示すフローチャートである。本発明の出力装置１は、映像データに出力時期を対応付けて文字データを記録しているので、文字データに基づいて映像データを検索することも可能である。操作者は、例えばリモコンを操作し、文字として文字データを指定する。出力装置１は、制御部１０の制御により、文字データの指定を受け付け（Ｓ６０１）、指定された文字データに時間的に対応付けられている映像データを、記録部１１の映像データ記録部から検索し（Ｓ６０２）、検索した映像データに基づく映像を映像出力部１９から出力する（Ｓ６０３）。
【００６２】
次に本発明の出力装置１の出力例について説明する。図９は、本発明の出力装置１の出力例を示す説明図である。図９中、「映像」と示した領域は、映像データに基づく映像が表示されている領域を示す。「ＡＡＡＡＡ」、「ＢＢＢＢＢ」、「ＣＣＣＣＣ」、「ＤＤＤＤＤ」及び「ＥＥＥＥＥ」は、字幕として表示される文字を示しており、本来の出力時期は、「ＡＡＡＡＡ」、「ＢＢＢＢＢ」、…の順である。但し、「ＥＥＥＥＥ」は、映像と出力時期が同期している文字、即ち実時間で表示されている文字である。即ち文字「ＡＡＡＡＡ」、「ＢＢＢＢＢ」、「ＣＣＣＣＣ」及び「ＤＤＤＤＤ」は、本来同期して出力される映像の出力時期と異なる時期に、映像データから時間的に独立して出力される文字である。
【００６３】
図９（ａ）は、映像の下部に文字データに基づく文字を字幕として表示した例を示している。なお映像の上部又は側部に字幕を表示する様にしても良い。また「ＥＥＥＥＥ」として示した実時間で表示される文字は、書体、表示色等の表示方法を他の文字と異なるものとして強調する様にしても良い。
【００６４】
図９（ｂ）は、実時間で表示される文字を、他の文字と異なる領域に表示した例を示している。図９（ｂ）は、例えば実時間の文字のみを表示する様にして複数人で視聴している場合で、一の視聴者が、字幕を見逃したときに、当該表示方法を用いることで、以前の字幕を実時間の字幕と別に表示させることができ、字幕を見逃した一の視聴者及び他の視聴者が混乱することなく、字幕を確認することができる。図９（ｂ）に示した例においても、実時間で表示する文字の表示方法を他の文字と異なるものとして強調するようにしても良い。
【００６５】
図９（ｃ）は、図９（ｂ）に示した例において、映像の側部に文字を表示した例を示している。
【００６６】
図９（ｄ）は、図９（ｂ）に示した例において、「ＡＡＡＡＡ」等の過去の文字を上部に表示し、実時間の文字を下部に表示した例を示している。図９（ｄ）に示すように、以前に表示した文字と実時間の文字とは、必ずしも同様の位置に表示する必要はない。
【００６７】
図９（ｅ）は、各時期の文字を夫々異なる位置に任意配置して表示した例を示している。
【００６８】
図９に示すように、字幕として表示する文字は、映像中の任意に位置に配置することが可能であり、必要に応じて実時間の文字を強調表示することも可能である。また図９に例示した表示方法は、最初から例示した状態で表示する様にしても良いが、出力装置１が操作を受け付けた場合に限り、字幕として文字を表示する様にしても良く、更には、最初実時間の文字のみを表示し、必要に応じて過去の文字を追加表示する様にしても良い。
【００６９】
図１０は、本発明の出力装置１の出力例を示す説明図である。なお文字の表記等の表記方法は、図９と同様であるので、説明を省略する。図１０（ａ）は、映像の表示領域と、文字の表示領域とを分離して表示した例を示しており、映像を画面上部に表示し、文字を下部に表示している。図１０（ａ）に示す映像の表示領域は、映像圧縮部１７により、本来の画像フォーマットと異なるフォーマットに変換されて、縦横比が本来の映像と異なるものとなっており、また映像位置調整機能により、表示位置が全画面から上部画面に調整されている。
【００７０】
図１０（ｂ）は、図１０（ａ）に示した例において、表示する映像の縦横比を本来の映像に合致させた例を示している。
【００７１】
図１０（ｃ）は、映像の表示領域と、文字の表示領域とを分離し、映像を画面左部に表示し、文字を画面右部に表示している。図１０（ｃ）に示す映像は、縦横比が本来の映像と異なるものとなっている。
【００７２】
図１０（ｄ）は、図１０（ｃ）に示した例において、表示する映像の縦横比を本来の映像に合致させた例を示している。
【００７３】
図１０（ｅ）は、文字の表示領域を全画面とし、文字の表示領域中に映像の表示領域を設けた例を示している。
【００７４】
図１０に示すように、映像の表示領域及び文字の表示領域は、分離することも可能であり、また文字の表示領域中に映像を表示することも可能である。さらに映像の縦横比は適宜設定することが可能である。また図１０に例示した表示方法は、最初から例示した状態で表示する様にしても良いが、出力装置１が操作を受け付けた場合に限り、表示方法を変更する様にしても良い。
【００７５】
図１１は、本発明の出力装置１の出力例を示す説明図である。なお文字の表記等の表記方法は、図９と同様であるので、説明を省略する。図１１（ａ）は、図１０（ｄ）に示した例において、実時間の文字を映像の表示領域中に設けた例を示している。
【００７６】
図１１（ｂ）は、図１１（ａ）に示した例において、実時間の文字を映像の表示領域中に表示するとともに、過去の文字を表示する右部の領域にも表示した例を示している。
【００７７】
図１１（ｃ）は、図１０（ｄ）に示した例において、実時間の文字を、過去の文字の表示領域から分離した例を示している。
【００７８】
図１１に示すように、映像、文字、及び実時間の文字は、その表示位置を適宜選択することが可能である。なお図１１に示した表示方法は、最初実時間の文字のみを表示し、過去の文字を追加表示する場合の表示に適している。
【００７９】
図１２は、本発明の出力装置１の出力例を示す説明図である。なお文字の表記等の表記方法は、図９と同様であるので、説明を省略する。図１２（ａ）は、図１０（ｄ）に示した例において、表示する文字数が任意設定可能であることを示している。図１０（ｄ）に示した例が、実時間をも含め５行分の文字を表示しているのに対し、図１２（ａ）に示す例では、３行分の文字を表示している。表示される文字数（行数）は、「表示時間／行数設定」を設定することにより、また記録部１１に記録するデータ量を制限することにより、制限することができる。
【００８０】
図１２（ｂ）は、記録部１１に全ての文字データを記録し、記録した文字データの中で設定された行数の文字を表示する例を示している。
【００８１】
図１２（ｃ）は、記録部１１に全ての文字データを記録し、記録した文字データの中で設定された行数の文字を表示しているが、「△：ＬＡＳＴ」と示した戻りアイコンを指示することにより、表示している文字をスクロールさせ、より過去の文字を表示させることができる。また逆に「▽：ＮＥＸＴ」と示した送りアイコンを指示することにより、表示している文字をスクロールさせ、以降の文字を表示させることができる。なお戻りアイコンを無くし、送りアイコンのみとする等、適宜設定することができる。
【００８２】
図１３は、本発明の出力装置１の出力例を示す説明図である。図１３は、文字データに基づいて音声を表示させる例を示している。図１３（ａ）は、通常の出力状態を示しており、左右のスピーカ（音声出力部１６）から「ＥＥＥＥＥ」として示す実時間の音声を出力している。図１３（ａ）は、右側のスピーカから「ＡＡＡＡ」、「ＢＢＢＢ」、…として示すように記録部１１に記録した過去に出力すべき文字データに基づく音声を出力した例を示している。この様に本発明の出力装置１は、本来同期して出力される映像の出力時期と異なる時期に、映像データから時間的に独立して出力される文字データに基づく音声を出力することができる。なお左側のスピーカからは実時間の音声を出力している。また左右の音声が混じり合って聞き取り難くなることを避けるため、音声合成時期制御部１５にて左右の音声の出力時期が制御される。
【００８３】
前記実施の形態では、出力装置として、テレビ受像機を用いた形態を示したが、本発明はこれに限らず、ＤＶＤプレーヤ等の記録再生装置を出力装置として用いることも可能である等、様々な形態に展開することが可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の出力装置の構成を示すブロック図である。
【図２】本発明の出力装置の文字データ記録処理を示すフローチャートである。
【図３】本発明の出力装置の文字データ生成第１処理を示すフローチャートである。
【図４】本発明の出力装置の文字データ生成第２処理を示すフローチャートである。
【図５】本発明の出力装置から出力される設定画面を示す説明図である。
【図６】本発明の出力装置の文字出力処理を示すフローチャートである。
【図７】本発明の出力装置の音声出力処理を示すフローチャートである。
【図８】本発明の出力装置の映像データ検索処理を示すフローチャートである。
【図９】本発明の出力装置の出力例を示す説明図である。
【図１０】本発明の出力装置の出力例を示す説明図である。
【図１１】本発明の出力装置の出力例を示す説明図である。
【図１２】本発明の出力装置の出力例を示す説明図である。
【図１３】本発明の出力装置の出力例を示す説明図である。
【符号の説明】
【００８５】
１  出力装置
１０  制御部
１１  記録部
１２  チューナ
１３  外部信号入力部
１４  入力信号選択部
１５  音声合成時期制御部
１６  音声出力部
１７  映像圧縮部
１８  映像合成部
１９  映像出力部
２０  データ分離部
２１  映像解析部
２２  音声Ａ／Ｄ変換部
２３  特徴抽出部
２４  音声区間検出部
２５  尤度算出部
２６  文字データ生成部
２７  表示文字生成部
２８  音声データ生成部
２９  音声Ｄ／Ａ変換部
３０  映像Ａ／Ｄ変換部
３１  映像Ｄ／Ａ変換部
３２  操作入力部
【図１】
2007336478.tif 000003
【図２】
2007336478.tif 000004
【図３】
2007336478.tif 000005
【図４】
2007336478.tif 000006
【図５】
2007336478.tif 000007
【図６】
2007336478.tif 000008
【図７】
2007336478.tif 000009
【図８】
2007336478.tif 000010
【図９】
2007336478.tif 000011
【図１０】
2007336478.tif 000012
【図１１】
2007336478.tif 000013
【図１２】
2007336478.tif 000014
【図１３】
2007336478.tif 000015