(57)【特許請求の範囲】
【請求項１】
放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を前記放送番組とは別の通信系統において該放送番組と並行して配信可能な放送番組文字情報配信用サーバであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、放送番組文字情報配信用サーバと、
前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で受信する前記情報処理機器と
を具えたことを特徴とする放送番組文字情報配信システム。
【請求項２】
放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を配信可能な放送番組文字情報配信用サーバにおいて、
クライアントからの放送番組文字情報の要求を受け付ける手段と、
当該要求に応じて前記放送番組文字情報を、前記放送番組とは別の通信系統において該放送番組と並行して送信する送信手段であって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、送信手段と
を具えたことを特徴とする放送番組文字情報配信サーバ。
【請求項３】
放送番組で使用される音声の内容を示す放送番組文字情報を、放送局側に設置された放送番組文字情報配信サーバから前記放送番組とは別の通信系統において該放送番組と並行して配信するステップであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、ステップと、
前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で情報処理装置により受信するステップと
を含むことを特徴とする放送番組文字情報配信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、放送番組の中の音声を音声認識し、その音声認識結果、たとえば、字を放送文字情報として配信する音声認識結果配信システム、音声認識結果配信用サーバおよび音声認識結果配信方法に関する。
【０００２】
【従来の技術】
従来、ニュース番組については、放送局に設置した音声認識装置によって、放送文字情報を生成し、また、非リアルタイム番組については、事前に字幕原稿を作成して、上記放送文字情報や字幕原稿を文字多重放送の形態で送信装置から受信装置に送信している。受信装置側では、受信した文字多重放送に基き、映像と字幕を表示している。
【０００３】
例として図１にＮＨＫ（日本放送協会）が実施している音声認識を利用したニュース字幕放送の形態を示す。図１において、放送音声（アナウンサーの声）６は音声認識装置１により音声認識される。音声認識結果が放送文字情報として文字多重放送用の信号に変換されて、映像信号に文字多重放送エンコーダ７により多重化される。文字多重放送エンコーダ７の出力が放送電波８を介して送信される。
【０００４】
音声認識装置１は、音響モデル２、言語モデル・発音辞書４を使用して音声認識を行う。音響モデルは音声を分析して得られる音響データと、音声の読み（発音）とを互いに関連付けて記載した情報ファイルである。このような音声認識装置としては特開平６−１４１２２４０号公報が知られている。
【０００５】
言語モデル２は、単語の出現の割合や単語間のつながりの割合を単語に関連付けて記載した情報ファイルである。発音辞書は読みに対応する漢字（かな混じり漢字やひらがなの文字列を含む）を記載した情報ファイルである。発音辞書は漢字辞書や単語辞書とも呼ばれる。音響モデルは、アナウンサーの音声（信号）を記憶したデータベース３の登録音声から作成される。言語モデルや発音辞書はニュース原稿５に基き作成される。
【０００６】
一方、受信側では文字多重デコーダ９によって、放送電波から文字多重放送の信号を取出して放送文字情報およテレビ映像信号を再現する。放送文字情報およびテレビ映像信号が字幕表示装置（たとえば、テレビ受像機）で合成されて、表示される。
【０００７】
【発明が解決しようとする課題】
従来の字幕放送は、文字多重放送を利用して実施されているが、放送文字情報を文字データとして取出すことは容易ではない。また、字幕表示装置１０に表示される放送文字情報の文字の大きさは、固定であり、ユーザが自由に変更することはできない。
【０００８】
そこで、本発明の目的は、字幕などの音声に対応した放送文字情報を放送とは別個にユーザに提供することができる放送文字情報配信システム、音声認識結果配信用サーバおよび音声認識結果配信方法を提供することにある。
【０００９】
【課題を解決するための手段】
このような目的を達成するために、請求項１の放送番組文字情報配信システムは、放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を前記放送番組とは別の通信系統において該放送番組と並行して配信可能な放送番組文字情報配信用サーバであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、放送番組文字情報配信用サーバと、前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で受信する前記情報処理機器とを具えたことを特徴とする。
【００１１】
請求項２の放送番組文字情報配信サーバは、放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を配信可能な放送番組文字情報配信用サーバにおいて、クライアントからの放送番組文字情報の要求を受け付ける手段と、当該要求に応じて前記放送番組文字情報を、前記放送番組とは別の通信系統において該放送番組と並行して送信する送信手段であって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、送信手段とを具えたことを特徴とする。
【００１３】
請求項３の放送番組文字情報配信方法は、放送番組で使用される音声の内容を示す放送番組文字情報を、放送局側に設置された放送番組文字情報配信サーバから前記放送番組とは別の通信系統において該放送番組と並行して配信するステップであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、ステップと、前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で情報処理装置により受信するステップとを含むことを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１６】
放送番組の映像・音声信号は不図示の放送の送信機に送られるだけでなく、リアルタイム番組の場合には、音声信号が音声認識装置１２に送られる。非リアルタイム番組の場合には、事前原稿１３がパーソナルコンピュータの文書処理機能により作成されて文字コード情報の形態（いわゆる文字情報）に文字化される。音声認識装置１２の音声認識結果または事前原稿は文字コード列の形態でＬＡＮ（広域ネットワーク）１５およびインターネットやデータチャンネルを介してユーザのパーソナルコンピュータに送られる。パーソナルコンピュータ１８は受信した音声認識結果を内部／または外部の記憶装置２０に記憶することができる。
【００１７】
また、必要に応じて、パーソナルコンピュータ１９のディスプレイ（文字表示装置）１９や映像／音声装置（テレビ等）１７により受信した文字情報を表示する。なお、リアルタイム放送の音声認識結果を表示させる場合には、パーソナルコンピュータ１８で、テレビ等から受信したテレビ映像信号とインターネット等から受信した文字情報を合成して放送文字情報として表示することができる。テレビ映像信号は放送映像・音声１１またはデータ放送１６から得られる。なお、音声認識装置は図１で示した音響モデル等を使用する音声認識装置とすることができる。
【００１８】
より具体的なシステム構成を図３に示す。図３において、放送文字情報配信用サーバ１００および音声認識装置１０１は放送局側に設置されている。音声認識装置は、放送信号の中の音声信号を入力し、従来と同様の音声認識処理を行い、文字コード形態の音声認識結果を放送文字情報配信用サーバ１００に出力する。
【００１９】
放送文字情報配信用サーバ１００には市販されているサーバ用の汎用コンピュータを使用することができる。放送文字情報配信用サーバ１００には、インターネット等の通信ネットワーク２０１を介して通信を行うための通信用プログラム、たとえば、ＷＥＢサーバと呼ばれる通信用プログラムと、ゲートウェイプログラムを有する。
【００２０】
通信プログラムの機能としては、放送文字情報配信用サーバ１００内のハードディスクに保存されているＨＴＭＬ文書の中のユーザのパーソナルコンピュータ３００から指示されたＨＴＭＬ文書をパーソナルコンピュータ３００に送信する処理、パーソナルコンピュータ３００から送信された情報処理命令をゲートウェイプログラムに引き渡す処理を有する。通信プログラムも市販のプログラムを使用することができる。
【００２１】
ゲートウェイプログラムは、ユーザのパーソナルコンピュータ３００から送られた情報処理命令を実行する。ゲートウェイプログラムも市販のプログラムを使用することができるが、このプログラムにより実行する文字情報の配信処理が新規特徴となる。
【００２２】
通信ネットワーク２０１は本実施形態では、インターネットを想定しているが、一般公衆電話回線その他、通信を行うことができる有線、無線等の放送電波とは異なる通信系統を使用することができる。
【００２３】
パーソナルコンピュータ３００はユーザ側あるいは放送局の支局などに配置される。パーソナルコンピュータ３００はクライアント（サーバと対となる用語）として動作する。パーソナルコンピュータ３００にはブラウザと呼ばれ、情報配信用サーバ１００上のＨＴＭＬ文書を読み出し、表示する通信プログラムと、放送文字情報とテレビ映像信号を合成して表示する画像処理用プログラムが搭載されている。
【００２４】
パーソナルコンピュータ３００にはテレビ受像機３０１が接続されており、パーソナルコンピュータ３０１は、テレビ受像機からテレビ映像信号を入力する。後述するが、放送文字情報配信用サーバ１００から配信された放送文字情報と、テレビ受像機３０１から入力したテレビ映像信号がパーソナルコンピュータ３００で合成されてパーソナルコンピュータ３００のディスプレイに表示される。
【００２５】
このようなシステム構成の動作を図４〜図６を参照して説明する。図４は放送文字情報配信サーバ１００の動作手順を示す。図５はパーソナルコンピュータ３００の動作手順を示す。図６はパーソナルコンピュータ３００のディスプレイの放送文字情報選択画面を示す。
【００２６】
なお、放送文字情報配信用サーバ１００が提供する文字情報の配信サービスは会員制を採っており、会員のユーザにはログイン用のユーザＩＤとパスワードが予め割り当てられているものとする。
【００２７】
ユーザはパーソナルコンピュータ３００に搭載されいるブラウザを使用して、放送文字情報配信用サーバ１００にアクセスする。このアクセスに応じて、放送文字情報配信用サーバ１００は、ログイン用のユーザＩＤおよびパスワードを促すＨＴＭＬ文書をパーソナルコンピュータ３００に送信する。パーソナルコンピュータ３００は送信されたユーザＩＤ入力用のＨＴＭＬ文書をディスプレイに表示してユーザによるユーザＩＤとパスワードの入力を受け付ける。受け付けたユーザＩＤとパスワードがパーソナルコンピュータ３００から放送文字情報配信用サーバ１００に送られる。
【００２８】
放送文字情報配信用サーバ１００は、ＷＥＢサーバを介してゲートウェイプログラムに受信したユーザＩＤとパスワードを引き渡す。ゲートウェイプログラムにより内部ハードディスクに登録されているユーザＩＤおよびパスワードと、受信したユーザＩＤとパスワードによる個人認証が行われる。ユーザＩＤおよびパスワードが一致した場合に、パーソナルコンピュータ３００の放送文字情報配信用サーバ１００に対するログインが許可される（図４のステップＳ１０，図５のステップＳ１００）。
【００２９】
これによりＨＴＭＬ文書の先頭ページが放送文字情報配信用サーバ１００から、パーソナルコンピュータ３００に送られる。パーソナルコンピュータ３００は、受信したＨＴＭＬ文書をブラウザにより図６に示すようにディスプレイに表示する。
【００３０】
図６において、２００は放送文字情報の種類を示す案内情報であり、たとえば、リアルタイムで放送文字情報を提供する場合、テレビチャンネルを示す文字列、非リアルタイムで放送文字情報を提供する場合には、テレビ番組名を示す文字列が案内情報として使用される。
【００３１】
２０１は、放送文字情報の送信を指示するボタンスイッチであり、ユーザがマウスを操作して、このスイッチを操作すると、操作されたボタンスイッチに対応する放送文字情報の送信指示命令がパーソナルコンピュータ３００から放送文字情報配信用サーバ１００に送られる。
【００３２】
放送文字情報配信用サーバ１００のＷＥＢサーバがこの送信指示命令を受け取ると、ゲートウェイプログラムに送信指示命令を引き渡す。ゲートウェイプログラムは、引き渡された送信指示命令の示す種類の放送文字情報（パーソナルコンピュータ３００側で選択された放送文字情報）を、取り出して、ＷＥＢサーバを介してパーソナルコンピュータに送信する（図４のステップＳ２０→Ｓ３０）。
【００３３】
ユーザにより選択された放送文字情報が、リアルタイムでの放送文字情報、たとえば、現在放送されているニュース番組の字幕情報の場合は、ニュース番組放送の音声用の音声認識装置１０１からアナウンサーの音声の音声認識結果を入力し、パーソナルコンピュータ３００に送信する。
【００３４】
一方、非リアルタイムの放送文字情報の送信が指示された場合には、ゲートウェイプログラムは、放送文字情報配信用サーバ１００内のハードディスクに保存されている指示された放送文字情報、たとえば、ニュース番組のアナウンサーの放送用原稿をユーザのパーソナルコンピュータ３００に送信する（図４のステップＳ４０）。
【００３５】
リアルタイムの放送文字情報を図５のステップＳ１２０で受け取ったパーソナルコンピュータ３００は、テレビ受像機３０１から所望のテレビ映像信号を入力し、画像処理用プログラムにより、受信した放送文字情報とテレビ映像信号を合成する。より具体的には、文字コード形態の放送文字情報を、文字コードに対応する文字のイメージに変換した後、文字のイメージをテレビ映像信号中に合成する。この合成処理はパーソナルコンピュータ上のビデオメモリ上で行われる。
【００３６】
ビデオメモリ上で合成された映像信号がパーソナルコンピュータ３００のディスプレイに表示される（図５のステップＳ１３０→Ｓ１４０）。
【００３７】
一方、非リアルタイムの放送文字情報をクライアント３００が受信した場合には、テレビ映像に変わり、予めパーソナルコンピュータ３００内に用意している静止画イメージ、あるいは放送文字情報配信用サーバ１００から受信した静止画イメージと、受信した放送文字情報を合成して、合成イメージをディスプレイに表示させる（図５のステップＳ１３０→Ｓ１４０）。
【００３８】
以下、パーソナルコンピュータ３００のユーザが終了を指示するまで、放送文字情報配信用サーバ１００は図４のステップ３０〜Ｓ４０の処理を繰り返して放送文字情報を送信する。クライアント３００は図５のステップ１２０〜Ｓ１５０の処理を繰り返す。
【００３９】
これにより、ユーザは、現在放送されているテレビ放送とその放送文字情報や過去に放送されたテレビ放送の放送文字情報をディスプレイで目視で見ることができる。
【００４０】
上述の実施形態の外に次の形態を実施することができる。
【００４１】
１）上述の実施形態ではテレビ映像に放送文字情報を字幕情報として合成する例であったが、放送文字情報を文書としてパーソナルコンピュータ３００で受信することができる。この場合は、図６の表示画面の中に、単に文書としての放送文字情報を案内する。ボタンスイッチ２０１により文書としての放送文字情報がユーザにより選択された場合、放送文字情報配信用サーバ１００から送られる放送文字情報をパーソナルコンピュータ３００により内部のハードディスクに保存する。
【００４２】
このような情報処理をＨＴＭＬ文書に定義しておくことにより、ユーザは、字幕情報付テレビ映像を見ることができるだけでなく、ハードディスクに記憶された文字情報を、ワープロソフトなどにより文字の大きさを変換して、ディスプレイに表示させることができる。
【００４３】
２）上述の実施形態では専用の音声認識装置１０１を番組／または放送チャンネルごとに用意しているが、音声認識装置をパーソナルコンピュータに搭載された音声認識プログラムにより実現してもよい。
【００４４】
３）上述の実施形態では、放送文字情報を受信する情報処理機器としてパーソナルコンピュータを説明したが、通信機能を有する他の情報処理機器、たとえば、携帯電話、携帯用情報端末、テレビ受像機、サーバ等各種の情報処理機器を使用することができる。
【００４５】
【発明の効果】
以上、説明したように、本発明によれば、たとえば、テレビ放送電波とは別のインタネットなどの通信系統により字幕などの放送文字情報を提供できるので、放送文字情報を受信する情報処理機器では、放送文字情報をテレビ映像と合成したり、放送文字情報を単独で表示し、また、放送文字情報の事態をワープロソフトにより変更することも可能となる。また、情報処理機器として携帯電話を使用すると、任意の場所で、リアルタイムで放送されているニュースを文字の形態の文字情報で知ることができる。
【図面の簡単な説明】
【図１】従来例の字幕配信方法を示すブロック図である。
【図２】本発明実施形態の放送文字情報配信方法を示すブロック図である。
【図３】本発明実施形態の具体的なシステム構成を示すブロック図である。
【図４】放送文字情報配信用サーバの動作手順を示すフローチャートである。
【図５】放送文字情報を受け取るパーソナルコンピュータの動作手順を示すフローチャートである。
【図６】表示画面の一例を示す説明図である。
【符号の説明】
１００  情報配信用サーバ
１０１  音声認識装置
２００  通信ネットワーク
３００  パーソナルコンピュータ
３０１  テレビ受像機
【図１】
0004326686.tif 000002
【図２】
0004326686.tif 000003
【図３】
0004326686.tif 000004
【図４】
0004326686.tif 000005
【図５】
0004326686.tif 000006
【図６】
0004326686.tif 000007