(57)【要約】【課題】  テレビジョン放送に字幕を表示するための情報が含まれていない場合であっても映像と音声に字幕を同期して表示すること。【解決手段】  テレビジョン受信機は、映像信号と音声信号と字幕情報とを含むテレビジョン放送の放送波を受信し、テレビジョン放送の放送波に含まれる映像信号と音声信号とを所定時間遅延させて再生する再生部４１と、映像信号から文字情報を抽出する文字認識部２３と、音声信号から文字情報を抽出する音声認識部２５と、字幕情報と抽出された文字情報との相関に基づいて、字幕情報を表示するタイミングを決定する決定部２７と、を備える。【選択図】        図１
2009088990.tif 000002
【特許請求の範囲】
【請求項１】
映像信号と、音声信号と、字幕情報とを含むテレビジョン放送の放送波を受信する受信装置であって、
テレビジョン放送の放送波に含まれる映像信号と音声信号とを所定時間遅延させて再生する再生手段と、
前記映像信号と前記音声信号との少なくとも一方から文字情報を抽出する文字情報抽出手段と、
前記字幕情報と前記抽出された文字情報との相関に基づいて、前記字幕情報を表示するタイミングを決定する決定手段と、を備えた受信装置。
【請求項２】
前記文字情報抽出手段は、前記音声信号を音声認識することにより認識される文字列を前記文字情報として出力する音声認識手段を含む、請求項１に記載の受信装置。
【請求項３】
前記決定手段は、前記字幕情報と前記音声認識手段により出力される前記文字列との相関に基づいて、前記字幕情報を表示するタイミングを決定できない場合、前記文字列を表示する表示手段を、さらに備えた請求項２に記載の受信装置。
【請求項４】
前記文字情報抽出手段は、前記映像信号を文字認識することにより認識される文字列を前記文字情報として出力する文字認識手段をさらに含み、
前記決定手段は、前記字幕情報と前記音声認識手段により出力される前記文字列との相関に基づいて、前記字幕情報を表示するタイミングを決定できない場合、前記前記字幕情報と前記文字認識手段が出力する前記文字列との相関に基づいて、前記字幕情報を表示するタイミングを決定する、請求項２に記載の受信装置。
【請求項５】
前記文字情報抽出手段は、前記映像信号を文字認識することにより認識される文字列を前記文字情報として出力する文字認識手段を含む、請求項１に記載の受信装置。
【請求項６】
前記文字情報抽出手段は、前記映像信号に含まれる唇の動きおよび形状を認識することにより母音の配列を前記文字情報として出力する母音認識手段を含む、請求項１に記載の受信装置。
【請求項７】
映像信号と、音声信号と、字幕情報とを含むテレビジョン放送の放送波を受信するステップと、
前記テレビジョン放送の放送波に含まれる映像信号と音声信号とを所定時間遅延させて再生するステップと、
前記映像信号と前記音声信号との少なくとも一方から文字情報を抽出するステップと、
前記字幕情報と前記抽出された前記文字情報との相関に基づいて、前記字幕情報を表示するタイミングを決定するステップと、を含むテレビジョン放送再生方法。
【請求項８】
映像信号と、音声信号と、字幕情報とを含むテレビジョン放送の放送波を受信するステップと、
前記テレビジョン放送の放送波に含まれる映像信号と音声信号とを所定時間遅延させて再生するステップと、
前記映像信号と前記音声信号との少なくとも一方から文字情報を抽出するステップと、
前記字幕情報と前記抽出された前記文字情報との相関に基づいて、前記字幕情報を表示するタイミングを決定するステップと、をコンピュータに実行させるテレビジョン放送再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、受信装置、テレビジョン放送再生方法およびテレビジョン放送再生プログラムに関し、特に字幕情報を含むテレビジョン放送を受信する受信装置、そのテレビジョン放送を再生するためのテレビジョン放送再生方法およびテレビジョン放送再生プログラムに関する。
【背景技術】
【０００２】
近年、テレビジョン放送におけるニュースやスポーツ番組等の生放送の番組は、音声を文字で表した字幕情報が付与される場合がある。字幕情報は、放送する番組の音声を放送局側で音声認識等して作成されるため、放送される映像に対して数秒から数十秒遅れて放送信号に付与される。
【０００３】
この問題に対して従来は、字幕と映像とを同期させるために、放送局側で字幕文字列の映像に対する遅延時間を放送信号に付与し、放送信号の受信側で、映像を所定時間遅延させて再生するとともに、映像に対する字幕文字列の遅延時間に基づいて決定されるタイミングで字幕文字列を表示する技術が知られている（例えば、特許文献１〜３）。
【０００４】
これら従来の技術では、放送局側で映像と字幕との時間の差を含む放送信号を送信しなければ、受信側で字幕と映像とを同期させることができないといった問題がある。
【特許文献１】特開２００４−２０７８２１号公報
【特許文献２】特開２００６−２１１６３６号公報
【特許文献３】特開２００６−３２４７７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、テレビジョン放送に字幕を表示するための情報が含まれていない場合であっても映像と音声に字幕を同期して表示することが可能な受信装置を提供することである。
【０００６】
この発明の他の目的は、テレビジョン放送に字幕を表示するための情報が含まれていない場合であっても映像と音声に字幕を同期して表示することが可能なテレビジョン放送再生方法およびテレビジョン放送再生プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上述した目的を達成するためにこの発明のある局面によれば、受信装置は、映像信号と、音声信号と、字幕情報とを含むテレビジョン放送の放送波を受信する受信装置であって、テレビジョン放送の放送波に含まれる映像信号と音声信号とを所定時間遅延させて再生する再生手段と、映像信号と音声信号との少なくとも一方から文字情報を抽出する文字情報抽出手段と、字幕情報と抽出された文字情報との相関に基づいて、字幕情報を表示するタイミングを決定する決定手段と、を備える。
【０００８】
この局面に従えば、映像信号と音声信号との少なくとも一方から文字情報が抽出され、字幕情報と文字情報との相関に基づいて、字幕情報を表示するタイミングが決定される。このため、所定時間遅延して再生されるテレビジョン放送の映像と音声に字幕情報を同期させることができる。この結果、テレビジョン放送に字幕を表示するための情報が含まれていない場合であっても映像と音声に字幕を同期して表示することが可能な受信装置を提供することができる。
【０００９】
好ましくは、文字情報抽出手段は、音声信号を音声認識することにより認識される文字列を文字情報として出力する音声認識手段を含む。
【００１０】
好ましくは、決定手段は、字幕情報と音声認識手段により出力される文字列との相関に基づいて、字幕情報を表示するタイミングを決定できない場合、文字列を表示する表示手段を、さらに備える。
【００１１】
この局面に従えば、音声信号に含まれるが字幕情報に含まれない文字列を表示することができる。
【００１２】
好ましくは、文字情報抽出手段は、映像信号を文字認識することにより認識される文字列を文字情報として出力する文字認識手段をさらに含み、決定手段は、字幕情報と音声認識手段により出力される文字列との相関に基づいて、字幕情報を表示するタイミングを決定できない場合、字幕情報と文字認識手段が出力する文字列との相関に基づいて、字幕情報を表示するタイミングを決定する。
【００１３】
この局面に従えば、字幕情報に含まれる文字列を映像に同期して表示することができる。
【００１４】
好ましくは、文字情報抽出手段は、映像信号を文字認識することにより認識される文字列を文字情報として出力する文字認識手段を含む。
【００１５】
この局面に従えば、映像信号に含まれるが字幕情報に含まれない文字列を表示することができる。
【００１６】
好ましくは、文字情報抽出手段は、映像信号に含まれる唇の動きおよび形状を認識することにより母音の配列を文字情報として出力する母音認識手段を含む。
【００１７】
この発明の他の局面によれば、テレビジョン放送再生方法は、映像信号と、音声信号と、字幕情報とを含むテレビジョン放送の放送波を受信するステップと、テレビジョン放送の放送波に含まれる映像信号と音声信号とを所定時間遅延させて再生するステップと、映像信号と音声信号との少なくとも一方から文字情報を抽出するステップと、字幕情報と抽出された文字情報との相関に基づいて、字幕情報を表示するタイミングを決定するステップと、を含む。
【００１８】
この局面に従えば、テレビジョン放送に字幕を表示するための情報が含まれていない場合であっても映像と音声に字幕を同期して表示することが可能なテレビジョン放送再生方法を提供することができる。
【００１９】
この発明のさらに他の局面によれば、テレビジョン放送再生プログラムは、映像信号と、音声信号と、字幕情報とを含むテレビジョン放送の放送波を受信するステップと、テレビジョン放送の放送波に含まれる映像信号と音声信号とを所定時間遅延させて再生するステップと、映像信号と音声信号との少なくとも一方から文字情報を抽出するステップと、字幕情報と抽出された文字情報との相関に基づいて、字幕情報を表示するタイミングを決定するステップと、をコンピュータに実行させる。
【００２０】
この局面に従えば、テレビジョン放送に字幕を表示するための情報が含まれていない場合であっても映像と音声に字幕を同期して表示することが可能なテレビジョン放送再生プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００２２】
図１は、本発明の実施の形態の１つにおけるテレビジョン受信機の機能の概要を示す機能ブロック図である。図１を参照して、受信装置としてのテレビジョン受信機１は、テレビジョン放送の放送波を受信し、放送信号を出力するチューナ１０と、放送信号を処理するための制御部２０と、字幕を一時的に記憶する第１バッファメモリ３１と、映像信号と音声信号とを一時的に記憶する第２バッファメモリ３３と、放送信号を再生する再生部４１と、を含む。
【００２３】
チューナ１０は、放送波を選択・受信し、映像信号、音声信号および字幕信号を含む放送信号を制御部２０に出力する。チューナ１０は、アナログ放送用のチューナであってもよいし、デジタル放送用のチューナであってもよい。チューナ１０は、放送波の種類に適したチューナ１０が用いられる。
【００２４】
制御部２０は、映像信号、音声信号および字幕信号を分離する分離部２１と、映像信号が入力される文字認識部２３と、音声信号が入力される音声認識部２５と、字幕信号が入力され、字幕を表示するタイミングを決定する決定部２７と、再生部４１を制御するための再生制御部２９と、を含む。
【００２５】
放送信号は、音声信号、映像信号および字幕信号を含む。分離部２１は、放送信号を、音声信号と映像信号と字幕信号とに分離し、映像信号を文字認識部２３に出力し、音声信号を音声認識部２５に出力し、字幕信号を決定部２７に出力するとともに、音声信号と映像信号とを第２バッファメモリ３３に記憶する。字幕信号は、文字列を含む。
【００２６】
なお、分離部２１は、音声信号と映像信号とを第２バッファメモリ３３に記録するようにしたが、チューナで受信した放送信号をそのまま第２バッファメモリ３３に記憶するようにしてもよく、デジタル放送の場合は、パーシャルＴＳを記憶するようにしてもよい。
【００２７】
文字認識部２３は、分離部２１から入力される映像信号に含まれる映像を文字認識する。映像信号に含まれるすべてのフレームを文字認識するようにしてもよいが、すべてのフレームを文字認識しなくてもよい。例えば、所定の時間間隔で抽出したフレーム、または映像の変化の激しいフレームを抽出し、１フレームの画像ごとに文字認識するようにしてもよい。画像（映像）からの文字認識は、画像から文字領域を判別し、判別した文字領域をパターンマッチングして、文字を特定する。文字認識は、ＯＣＲなどで広く知られた技術を用いればよい。文字認識部２３は、映像信号から文字列を抽出した順に、抽出した文字列に番号を付す。ここでは、文字認識部２３が第ｉ番目に抽出した文字列を映像文字列ＶＳ（ｉ）（ｉは正の整数）という。
【００２８】
文字認識部２３は、フレームを文字認識して映像文字列ＶＳ（ｉ）を抽出した場合、映像文字列ＶＳ（ｉ）と、その映像文字列ＶＳ（ｉ）が抽出されたフレームが再生される映像時間ＶＴ（ｉ）との組を、決定部２７に出力する。ここでは、説明のために時間を相対時間で説明する。相対時間は、放送信号の再生を開始する時刻を０とし、それからの経過時間で時を示す。映像時間ＶＴ（ｉ）は、映像文字列ＶＳ（ｉ）を含む最初のフレームが再生される時刻（開始時刻）を少なくとも含む。
【００２９】
音声認識部２５は、分離部２１から入力される音声信号に含まれる音声を音声認識する。音声認識部２５は、無音期間で挟まれた期間の音声を音声認識し、文字列を抽出する。音声認識の方法は、例えば、音響的な特徴を持つ音響（音素）モデルと言語的な特徴を持つ言語モデルを利用する方法を用いる。音響モデルとしては隠れマルコフモデル（ＨＭＭ）が広く利用されており、ＨＭＭを作成するツールとしてＨＴＫが有名である。また、ＨＴＫを用いるオープンソースの大語彙連続音声認識エンジンとしてＪｕｌｉｕｓが知られている。音声認識の方法は、これに限定されることなく、従来周知な方法を用いるようにしてもよい。音声認識部２５は、音声信号から文字列を抽出した順に、抽出した文字列に番号を付す。ここでは、音声認識部２５が第ｊ番目に抽出した文字列を音声文字列ＡＳ（ｊ）（ｊは正の整数）という。
【００３０】
音声認識部２５は、音声文字列ＡＳ（ｊ）を抽出した場合、音声文字列ＡＳ（ｊ）と、その音声文字列ＡＳ（ｊ）が抽出された音声が再生される音声時間ＡＴ（ｊ）との組を、決定部２７に出力する。音声時間ＡＴ（ｊ）は、音声文字列ＡＳ（ｊ）が抽出された音声が再生される開始時刻と再生が終了する終了時刻とを含む。
【００３１】
決定部２７は、文字認識部２３から映像文字列ＶＳ（ｉ）と映像時間ＶＴ（ｉ）との組が入力され、音声認識部２５から音声文字列ＡＳ（ｊ）と音声時間ＡＴ（ｊ）との組が入力され、分離部２１から字幕信号が入力される。決定部２７は、字幕信号に含まれる文字列に、それが入力される順に番号を付す。ここでは、第ｋ番目に入力される文字列を字幕文字列ＳＳ（ｋ）（ｋは正の整数）という。また、字幕文字列ＳＳ（ｋ）が入力される時刻を字幕時間ＳＴ（ｋ）に仮に設定する。
【００３２】
決定部２７は、字幕文字列ＳＳ（ｋ）を入力される順に、少なくとも１つの音声文字列ＡＳ（ｊ）または映像文字列ＶＳ（ｉ）と比較し、字幕文字列ＳＳ（ｋ）を再生する字幕時間ＳＴ（ｋ）を決定する。決定部２７は、字幕文字列ＳＳ（ｋ）と、それに対し決定された字幕時間ＳＴ（ｋ）との組を第１バッファメモリ３１に記憶する。
【００３３】
より具体的には、決定部２７は、字幕文字列ＳＳ（ｋ）を、それが入力される順に、少なくとも１つの音声文字列ＡＳ（ｊ）と比較し、所定の相関のある１つを決定する。例えば、音声文字列ＡＳ（ｊ）のうち字幕文字列ＳＳ（Ｋ）と所定の相関のある音声文字列ＡＳ（Ｊ）が決定されたならば、字幕文字列ＳＳ（Ｋ）を再生する字幕時間ＳＴ（Ｋ）を、音声時間ＡＴ（Ｊ）と同じ値に決定する。これにより、字幕文字列ＳＳ（Ｋ）を音声時間ＡＴ（Ｊ）に表示することができるので、字幕文字列ＳＳ（Ｋ）を音声に同期させることができる。
【００３４】
さらに、決定部２７は、音声文字列ＡＳ（ｊ）のうち字幕文字列ＳＳ（Ｋ）と所定の相関のある音声文字列ＡＳ（Ｊ）が決定されなければ、字幕文字列ＳＳ（Ｋ）を少なくとも１つの映像文字列ＶＳ（ｉ）と比較し、所定の相関のある１つを決定する。例えば、映像文字列ＶＳ（ｉ）のうち字幕文字列ＳＳ（Ｋ）と所定の相関のある映像文字列ＶＳ（Ｉ）が決定されたならば、字幕文字列ＳＳ（Ｋ）を再生する字幕時間ＳＴ（Ｋ）を、映像時間ＶＴ（Ｉ）と同じ値に決定する。これにより、字幕文字列ＳＳ（Ｋ）を映像時間ＶＴ（Ｉ）に表示することができるので、字幕文字列ＳＳ（Ｋ）を映像に同期させることができる。
【００３５】
決定部２７は、映像文字列ＶＳ（ｉ）のうち字幕文字列ＳＳ（Ｋ）と所定の相関のある映像文字列ＶＳ（Ｉ）が決定されなければ、字幕文字列ＳＳ（Ｋ）を再生する字幕時間ＳＴ（Ｋ）を、字幕文字列ＳＳ（Ｋ）の前後の字幕文字列ＳＳ（Ｋ−１）および字幕文字列ＳＳ（Ｋ＋１）それぞれを再生する字幕時間ＳＴ（Ｋ−１）および字幕時間ＳＴ（Ｋ＋１）の間に設定する。これにより、音声信号または映像信号から、字幕文字列ＳＳ（Ｋ）を表示するタイミングが定まらない場合であっても、字幕文字列ＳＳ（Ｋ）を適切なタイミングで表示することができる。
【００３６】
さらに、決定部２７は、音声文字列ＡＳ（ｊ）のうち字幕文字列ＳＳ（ｋ）のいずれとも所定の相関がないとされた音声文字列ＡＳ（Ｊ）を、新たな字幕文字列ＳＳに設定する。新たな字幕文字列ＳＳは、音声文字列ＡＳ（Ｊ）の音声時間ＡＴ（Ｊ）前後の字幕時間ＳＴを有する２つの字幕文字列ＳＳの間に挿入する。新たな字幕文字列ＳＳの字幕時間ＳＴは音声時間ＡＴ（Ｊ）と同じ値に設定する。これにより、字幕情報に含まれないが、音声信号に含まれる文字列を音声に同期して表示することができる。
【００３７】
また、決定部２７は、映像文字列ＶＳ（ｉ）のうち字幕文字列ＳＳ（ｋ）のいずれとも所定の相関がないとされた映像文字列ＶＳ（Ｉ）を、新たな字幕文字列ＳＳに設定する。新たな字幕文字列ＳＳは、映像文字列ＶＳ（Ｉ）の映像時間ＶＴ（Ｉ）の前後の字幕時間ＳＴを有する２つの字幕文字列ＳＳの間に挿入する。新たな字幕文字列ＳＳの字幕時間ＳＴは映像時間ＶＴ（Ｉ）と同じ値に設定する。これにより、字幕情報に含まれないが、映像信号に含まれる文字列を映像に同期して表示することができる。
【００３８】
再生制御部２９は、再生部４１を制御する。再生部４１は、再生制御部２９から入力される指示に従って、第１バッファメモリ３１から字幕文字列ＳＳ（ｋ）と字幕時間ＳＴ（ｋ）とを読み出し、第２バッファメモリ３３から映像信号および音声信号を読み出す。再生部４１は、第２バッファメモリ３３から映像信号および音声信号を、それらが記憶されてから所定時間経過した後に再生する。これにより、映像信号および音声信号が、放送信号が受信されてから所定時間遅延して再生される。
【００３９】
再生部４１は、第１バッファメモリ３１から読み出した字幕文字列ＳＳ（ｋ）を、映像信号および音声信号を再生する時間が、字幕時間ＳＴ（ｋ）となった時に表示する。これにより、映像の表示および音声の出力に同期して字幕文字列を表示することができる。字幕文字列ＳＳ（ｋ）の表示は、映像信号に重畳して表示する。映像信号に字幕文字列ＳＳ（ｋ）の画像を合成してもよいし、ＯＳＤ等のディスプレイのオンスクリーン機能を用いて、表示するようにしてもよい。
【００４０】
第１バッファメモリ３１および第２バッファメモリ３３は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）またはＳＤＲＡＭ（Ｓｙｍｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  ＲＡＭ）である。また、フラッシュメモリなどの半導体メモリであってもよい。
【００４１】
制御部２０は、フラッシュメモリ５１に記憶されたプログラムをロードして実行する。なお、制御部２０が実行するプログラムをフラッシュメモリ５１に記録する場合に限らず、他の記録媒体に記録するようにしてもよい。
【００４２】
ここでいうプログラムは、制御部２０により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４３】
なお、ここでは、文字認識部２３が映像信号から映像文字列ＶＳ（ｉ）を抽出する例を示したが、文字認識部２３に代えて、映像信号に含まれる唇の動きおよび形状を認識することにより母音の配列を文字情報として出力する母音認識部を備えるようにしてもよい。母音認識部が出力する母音の配列を、文字認識部２３が出力する映像文字列ＶＳ（ｉ）と同様に処理することができる。また、母音認識部と文字認識部２３を備えるようにして、双方から出力される文字列のいずれか一方を映像文字列ＶＳ（ｉ）とするようにしてもよいし、いずれか一方でなくて両方用いてもよい。
【００４４】
図２は、決定部の詳細な機能を示す機能ブロック図である。図２を参照して、決定部２７は、相関算出部６１と、選択部６３とを含む。相関算出部６１は、選択部６３から映像文字列ＶＳ（ｉ）と字幕文字列ＳＳ（ｋ）の組、または、音声文字列ＡＳ（ｊ）と字幕文字列ＳＳ（ｋ）の組、が入力される。相関算出部６１は、字幕文字列ＳＳ（ｋ）と映像文字列ＶＳ（ｉ）との相関を求め、選択部に相関値ＸＣ（ｋ，ｉ）を出力する。また、字幕文字列ＳＳ（ｋ）と音声文字列ＡＳ（ｊ）との相関を求め、選択部に相関値ＸＣ（ｋ、ｊ）を出力する。
【００４５】
相関値の算出方法は、種々の方法があり、いずれを用いもよいが、ここでは、音声の音素ごとの系列を比較する例を示す。なお、相関値の算出方法を音声の音素ごとの系列を比較する方法に限定するものではない。図３は、二つの音素系列の比較を説明するための図である。ここでは、音声文字列ＡＳ(ｊ)の音素系列をａｉ（ｋｏｎｂａｎｈａ）とし、字幕文字列ＳＳ（ｋ）の音素系列をｂｉ（ｋｏｎｂａｎｈａ）としている。この場合、相互相関関数は次式で与えられる。但し、ａｉｂｉ＋τは、ａｉとｂｉ＋τとが一致するときに「１」となり、異なるときに「０」となる。Ｃτが最大となるτが最も相関の強いことを示す。
【００４６】
【数１】
2009088990.tif 000003
図３に示す音素系列ａiおよび音素系列ｂｉの場合には、τ＝０から順番に相関値Ｃτを計算し、Ｃτがしきい値Ｔを超えれば、その時のτが最も相関の強いことを示す。図３では、τ＝０でしきい値Ｔを超えるので、τ＝１以上の相関値Ｃτを計算する必要はない。したがって、音素系列ａｉおよび音素系列ｂｉの時間のずれＴ５−Ｔ０が音声文字列ＡＳ(ｊ)と字幕文字列ＳＳ（ｋ）のずれとなる。
【００４７】
相関算出部６１は、τ＝０から順番に相関値ＸＣ＝Ｃτを計算し、ＸＣがしきい値Ｔを超えた時、相関値ＸＣとして選択部６３に出力する。しきい値を超えるＸＣがない場合、選択部６３には何も出力されない。または、しきい値を超えるＸＣがなかったことを示す値を出力しても良い。ここでは、しきい値を超えるＸＣがなかったことを示す値として０を出力することとする。なお、相関値ＸＣの強い値が得られない場合は、字幕文字列ＳＳ（ｋ）の音素系列を、子音部分を省略した母音部分のみで構成し、相関を求めても良い。また、相関値ＸＣを求めるのに用いる系列は、音素以外に、音節や単語単位等を用いても良い。さらに、相関値ＸＣは音声文字列ＡＳ（ｊ）または字幕文字列ＳＳ（ｋ）のどちらか一方をずらしてそれぞれ相関値ＸＣを算出し、しきい値を超えた相関値ＸＣを用いるか、音声文字列ＡＳ（ｊ）と字幕文字列ＳＳ（ｋ）がずれないことが明白であれば、音声文字列ＡＳ（ｊ）または字幕文字列ＳＳ（ｋ）のどちらもずらさずに求めた相関値ＸＣを用いてもよい。また、相関を求める場合、ある音声文字列ＡＳ（ｊ）および字幕文字列ＳＳ（ｋ）の全てを比較する必要はなく、初めの１０文字分など予め定めた文字数に限定して比較するようにしてもよい。これにより、相関値ＸＣを算出する時間を短くすることができる。
【００４８】
相関算出部６１が相関値を算出する組合せは、選択部６３により決定される。図２に戻って、選択部６３は、文字認識部２３から映像文字列ＶＳ（ｉ）および映像時間ＶＴ（ｉ）が入力され、音声認識部２５から音声文字列ＡＳ（ｊ）および音声時間ＡＴ（ｊ）が入力され、分離部２１から入力される字幕信号に含まれる字幕文字列ＳＳ（ｋ）および字幕時間ＳＴ（ｋ）が入力される。
【００４９】
選択部６３は、字幕文字列ＳＳ（ｋ）を、それが入力される順に処理対象に設定する。ここでは、字幕文字列ＳＳ（Ｋ）を処理対象とする場合を例に説明する。選択部６３は、最初に、字幕文字列ＳＳ（Ｋ）の字幕時間ＳＴ（Ｋ）より前で、最も近い時を音声時間ＡＴ（Ｊ）とする音声文字列ＡＳ（Ｊ）を比較対象に設定する。そして、相関算出部６１に字幕文字列ＳＳ（Ｋ）と音声文字列ＡＳ（Ｊ）との相関を算出させる。相関算出部６１で算出される相関値ＸＣがしきい値Ｔを超えていれば、相関算出部６１は相関値ＸＣを出力し、選択部６３は、音声文字列ＡＳ（Ｊ）を選択し、字幕文字列ＳＳ（Ｋ）に対応する対応音声文字列ＡＳ（Ｊ）に決定する。そして、字幕文字列ＳＳ（Ｋ）を再生する字幕時間ＳＴ（Ｋ）を、対応音声文字列に決定された音声文字列ＡＳ（Ｊ）の音声時間ＡＴ（Ｊ）と同じ値に変更する。
【００５０】
一方、相関算出部６１で算出される相関値ＸＣがしきい値Ｔを超えなければ、相関算出部６１はしきい値Ｔを超える相関値ＸＣがなかったことを示す値として０を出力し、選択部６３は、音声文字列ＡＳ（Ｊ）の一つ前の音声文字列ＡＳ（Ｊ−１）を処理対象に決定し、相関算出部６１に相関値を求めさせる。処理対象とされる音声文字列ＡＳ（Ｊ−ｍ）（ｍは正の整数）が、既に対応音声文字列に決定されたものであれば、字幕文字列ＳＳ（Ｋ）と相関のある音声文字列ＡＳ（ｊ）が存在しないと判断する。
【００５１】
次に、選択部６３は、最初に、字幕文字列ＳＳ（Ｋ）の字幕時間ＳＴ（Ｋ）より前で、最も近い時を映像時間ＶＴ（Ｉ）とする映像文字列ＶＳ（Ｉ）を比較対象に設定する。そして、相関算出部６１に字幕文字列ＳＳ（Ｋ）と映像文字列ＶＳ（Ｉ）との相関を算出させる。相関算出部６１で算出される相関値ＸＣがしきい値Ｔを超えていれば、相関算出部６１は相関値ＸＣを出力し、選択部６３は、映像文字列ＶＳ（Ｉ）を字幕文字列ＳＳ（Ｋ）に対応する対応映像文字列に決定する。そして、字幕文字列ＳＳ（Ｋ）を再生する字幕時間ＳＴ（Ｋ）を、対応映像文字列に決定された映像文字列ＶＳ（Ｉ）の映像時間ＶＴ（Ｉ）と同じ値に変更する。
【００５２】
なお、字幕時間ＳＴ（Ｋ）は、開始時刻と終了時刻を含み、映像時間ＶＴ（Ｉ）は開始時刻のみを含む場合、字幕時間ＳＴ（Ｋ）の開始時刻を映像時間ＶＴ（Ｉ）の開始時刻に設定し、終了時刻は、開始時刻から所定時間経過後の時刻に設定すればよい。また、次の字幕時間ＳＴ（Ｋ＋１）の開始時刻を、字幕時間ＳＴ（Ｋ）の終了時刻に設定するようにしてもよい。
【００５３】
一方、相関算出部６１で算出される相関値ＸＣがしきい値Ｔを超えなければ、相関算出部６１はしきい値Ｔを超える相関値ＸＣがなかったことを示す値として０を出力し、選択部６３は、映像文字列ＶＳ（Ｉ）の一つ前の映像文字列ＶＳ（Ｉ−１）を処理対象に決定し、相関算出部６１に相関値を求めさせる。処理対象とされる映像文字列ＶＳ（Ｉ−ｎ）（ｎは正の整数）が、既に対応映像文字列に決定されたものであれば、字幕文字列ＳＳ（Ｋ）と相関のある映像文字列ＶＳ（ｉ）が存在しないと判断する。
【００５４】
選択部６３は、映像文字列ＶＳ（ｉ）のうち字幕文字列ＳＳ（Ｋ）と所定の相関のある映像文字列ＶＳ（Ｉ）が決定されなければ、字幕文字列ＳＳ（Ｋ）を再生する字幕時間ＳＴ（Ｋ）を、字幕文字列ＳＳ（Ｋ）の前後の字幕文字列ＳＳ（Ｋ−１）および字幕文字列ＳＳ（Ｋ＋１）それぞれを再生する字幕時間ＳＴ（Ｋ−１）と字幕時間ＳＴ（Ｋ＋１）との間に設定する。
【００５５】
図４は、同期処理の流れの一例を示すフローチャートである。同期処理は、制御部２０がフラッシュメモリ５３に記録されたプログラムを実行することにより、制御部２０により実行される処理である。図７〜図１１は、音声文字列ＡＳと、映像文字列ＶＳと、字幕文字列ＳＳとの時間的な配置を示すタイムチャートである。Ｔ０が映像または音声の再生が開始される時刻である。例えば、図７を参照して、音声文字列ＡＳ（１）に対応する音声時間ＡＴ（１）の開始時刻は時刻Ｔ０あり、終了時刻は時刻Ｔ１である。また、映像文字列ＶＳ（１）に対応する映像時間ＶＴ（１）の開始時刻は時刻Ｔ０であり、終了時刻は時刻Ｔ１である。また、字幕文字列ＳＳ（１）に対応する字幕時間ＳＴ（１）の開始時刻は時刻Ｔ１であり、終了時刻は時刻Ｔ２である。
【００５６】
以下、図４に示す同期処理の流れを、図７〜図１１を参照しながら説明する。図４を参照して、制御部２０は、変数ｋ，ｊ，ｉ，ａｍｉｎ，ｖｍｉｎをそれぞれ初期値「１」に設定する（ステップＳ０１）。変数ｋは、処理対象となる字幕文字列ＳＳ（ｋ）および字幕時間ＳＴ（ｋ）を特定するために用いられる。変数ｊは、処理対象となる音声文字列ＡＳ（ｊ）および音声時間ＡＴ（ｊ）を特定するために用いられる。変数ｉは、処理対象となる映像文字列ＶＳ（ｉ）および映像時間ＶＴ（ｉ）を特定するために用いられる。変数ａｍｉｎは、字幕文字列ＳＳと比較の対象となる最後の音声文字列ＡＳを特定するために用いられる。変数ｖｍｉｎは、字幕文字列ＳＳと比較の対象となる最後の映像文字列ＶＳを特定するために用いられる。ステップＳ０１が実行されることにより、変数ｋに「１」が設定されるので、第１番目の字幕文字列ＳＳ（１）および字幕時間ＳＴ（１）が処理対象に設定される。
【００５７】
次のステップＳ０２においては、音声時間ＡＴ（ｊ）のうちで、字幕時間ＳＴ（ｋ）よりも時間的に前であり、最も字幕時間ＳＴ（ｋ）に近い音声時間ＡＴ（Ｊ）を選択する。音声文字列ＡＳ（Ｊ）は、複数の音声文字列のうち字幕文字列ＳＳ（ｋ）と比較の対象となる最初の音声文字列である。ＳＴ（ｋ）に近いほうから順番に過去に遡っていくので、比較の対象としては最初になる。例えば、図７を参照して、字幕時間ＳＴ（１）の開始時刻Ｔ１よりも前で、最も時刻Ｔ１に近いのは音声文字列ＡＳ（１）なので、音声時間ＡＴ（１）を選ぶ。次に変数ｊにステップＳ０２で選択した「Ｊ」を設定し（ステップＳ０３）、処理をステップＳ０４に進める。
【００５８】
ステップＳ０４においては、字幕文字列ＳＳ（ｋ）と音声文字列ＡＳ（ｊ）との相関値ＸＣを算出する。そして、相関値ＸＣとしきい値Ｔとを比較する（ステップＳ０５）。相関値ＸＣがしきい値Ｔを超えるならば処理をステップＳ０６に進め、そうでなければ処理をステップＳ１１に進める。
【００５９】
ステップＳ０６においては、字幕時間ＳＴ（ｋ）に音声時間ＡＴ（ｊ）を設定する。字幕文字列ＳＳ（ｋ）と音声文字列ＡＳ（ｊ）との相関値ＸＣがしきい値Ｔを超えていれば、字幕文字列ＳＳ（ｋ）が音声文字列ＡＳ（ｊ）と類似する。このため、字幕文字列ＳＳ（ｋ）を音声文字列ＡＳ（ｊ）が再生される音声時間ＡＴ（ｊ）に表示するようにして、同期させる。ここで、図７に示した字幕文字列ＳＳ（１）と音声文字列ＡＳ（１）との相関値ＸＣがしきい値Ｔを越えた場合のタイムチャートを図８に示す。このとき、字幕時間ＳＴ（１）に音声時間ＡＴ（１）が設定される。
【００６０】
なお、相関値ＸＣを求める時に相関値Ｃτのτが「０」でない場合は、字幕時間ＳＴ（ｋ）を音声時間ＡＴ（ｊ）からτの分だけ増減させた値に設定する。
【００６１】
次のステップＳ０６Ａにおいては、音声文字列の未割り当て文字列挿入処理を実行する。図５は、未割り当て音声文字列挿入処理の流れの一例を示すフローチャートである。図５を参照して、ステップＳ３１において、音声文字列ＡＳ（ｊ）以前に、字幕文字列ＳＳが割り当てられていない音声文字列ＡＳの数Ｍ＝（ｊ−１）−ａｍｉｎ＋１を計算する。そして、ステップＳ３２において、Ｍが正であるか確認をすることにより、音声文字列ＡＳ（ｊ）以前に、字幕文字列ＳＳが割り当てられていない音声文字列ＡＳが存在するか否かを判断する。Ｍが正であれば音声文字列ＡＳ（ｊ）以前に、字幕文字列ＳＳが割り当てられていない音声文字列ＡＳが存在すると判断し、処理をステップＳ３３に進め、Ｍが正でなければそのような音声文字列ＡＳが存在しないと判断し、処理を同期処理に戻す。
【００６２】
ステップＳ３３〜Ｓ４０において、字幕文字列ＳＳ（ｋ）とその一つ前の字幕文字列ＳＳ（ｋ−１）の間に、字幕文字列ＳＳが割り当てられていない音声文字列ＡＳを挿入する。ＳＳが配列の場合、ＳＳ（ｋ）以降の字幕文字列ＳＳを、未割り当て音声文字列の数Ｍの分だけ繰り下げる必要があるため、ステップＳ３３〜ステップＳ３６においてＳＳ（ｋ）以降の字幕文字列ＳＳを全てコピーし、その後のステップＳ３７〜ステップＳ４０において、字幕文字列ＳＳが割り当てられていない音声文字列ＡＳを挿入する。なお、ＳＳを双方向の連結リストとして構成しておけば、ＳＳ（ｋ−１）の次のリストへのポインタおよびＳＳ（ｋ）の前のリストへのポインタを書き換えて挿入する処理のみで済む。
【００６３】
次のステップＳ４１において、ＮおよびｋにＭをそれぞれ加算する。このステップＳ４１や図４のステップＳ０９などは、双方向の連結リストの場合不要であり、ステップＳ１０などの条件式を変更する必要がある。双方向の連結リストとして構成した場合の詳細例は、当業者に自明であるのでここでは繰り返さない。
【００６４】
図４に戻って、ステップＳ０７においては、変数ａｍｉｎを変数ｊに１を加算した値に設定する。ステップＳ０６において、音声時間ＡＴ（ｊ）を、字幕時間ＳＴ（ｋ）に割り当てたため、比較の対象となる最後の音声文字列ＡＳ（ａｍｉｎ）を、音声時間ＡＴ（ｊ）の次の音声時間ＡＴ（ｊ＋１）の音声文字列ＡＳ（ｊ＋１）に設定するためである。これにより、１つの字幕文字列ＳＳ（ｋ）と比較の対象となる音声文字列の数を制限することができ、処理速度を早くすることができる。
【００６５】
一方、処理をステップＳ１１に進める場合、字幕文字列ＳＳ（ｋ）と音声文字列ＡＳ（ｊ）との相関値ＸＣがしきい値Ｔを超えていない。この場合には、字幕文字列ＳＳ（ｋ）と比較の対象を、音声文字列ＡＳ（ｊ）の１つ前の音声文字列ＡＳ（ｊ−１）に変更するために、変数ｊを１減算する（ステップＳ１１）。そして、比較の対象となる最後の音声文字列ＡＳ（ａｍｉｎ）よりも前になったか否かを判断するために、変数ｊが変数ａｍｉｎよりも小さくなったか否かを判断する（ステップＳ１２）。変数ｊが変数ａｍｉｎよりも小さければ処理をステップＳ１３に進め、そうでなければ処理をステップＳ０４に戻す。
【００６６】
処理をステップＳ１３に進める場合、処理対象としている字幕文字列ＳＳ（ｋ）と比較の対象とする音声文字列ＡＳ（ｊ）が存在しないと判断された場合である。この場合、字幕文字列ＳＳ（ｋ）を映像文字列ＶＳ（ｉ）と比較する。ステップＳ１３〜ステップＳ１８は、比較対象が異なるのみでステップＳ０２〜ステップＳ０７と同様であり、ステップＳ１９およびステップＳ２０は、ステップＳ１１およびステップＳ１２と同様である。従って、ここでは説明を繰り返さない。また、ステップＳ１７Ａで実行される未割り当て映像文字列挿入処理を図６に示す。図６に示す未割り当て映像文字列挿入処理は、図５に示した未割り当て音声文字列挿入処理と、挿入する文字列が異なるのみなので、ここでは説明を繰り返さない。
【００６７】
ステップＳ２０において、ｉ＜ｖｍｉｎとなった時は、処理対象としている字幕文字列ＳＳ（ｋ）と比較の対象とする映像文字列ＶＳ（ｉ）が存在しないと判断された場合である。この場合は処理対象としている字幕文字列ＳＳ（ｋ）の字幕時間ＳＴ（ｋ）を、次のいずれかの方法で決定する（ステップＳ２１）。
（１）処理対象としている字幕文字列ＳＳ（ｋ）に対して計算したすべての相関値ＸＣのうちの最大値を与えた音声文字列ＡＳの音声時間ＡＴまたは映像文字列ＶＳの映像時間ＶＴを、字幕時間ＳＴ（ｋ）に設定する。
（２）処理対象としている字幕文字列ＳＳ（ｋ）より前の字幕文字列ＳＳ（１）〜字幕文字列ＳＳ（ｋ−１）の字幕時間ＳＴ（１）〜字幕時間ＳＴ（ｋ−１）が変更された時間（ずれ時間）の平均だけ、字幕時間ＳＴ（ｋ）を増減させる。
（３）字幕時間ＳＴ（ｋ）を予め定めた時間だけ増減させる。
【００６８】
ステップＳ２１において、字幕文字列ＳＳ（ｋ）の字幕時間ＳＴ（ｋ）を決定した場合、次のステップＳ２２においては、決定された字幕時間ＳＴ（ｋ）より後の音声時間ＡＴの音声文字列ＡＳ、および決定された字幕時間ＳＴ（ｋ）より後の映像時間ＶＴの映像文字列ＶＳが比較の対象となるように、変数ａｍｉｎ，ｖｍｉｎを更新する。その後、処理をステップＳ０８に進める。
【００６９】
図７に示したタイムチャートにおいて、字幕文字列ＳＳ（２）と音声文字列ＡＳ（２）との相関値ＸＣがしきい値Ｔを超えた場合、字幕時間ＳＴ（２）に音声時間ＡＴ（２）が設定される。このときのタイムチャートを図９に示す。音声文字列ＡＳ（２）が再生される時間に字幕文字列ＳＳ（２）が表示され、同期する。
【００７０】
さらに、図９に示した状態から字幕文字列ＳＳ（３）については、字幕時間ＳＴ（３）よりも時間的に前で一番近い音声文字列ＡＳ（４）が比較の対象となるが、相関値ＸＣがしきい値Ｔを超えなければ、音声文字列ＡＳ（３）が比較の対象となる。字幕文字列ＳＳ（３）と音声文字列ＡＳ（３）との相関値ＸＣがしきい値Ｔを超えた場合、字幕時間ＳＴ（３）に音声時間ＡＴ（３）が設定される。このときのタイムチャオートを図１０に示す。音声文字列ＡＳ（３）が再生される時間に字幕文字列ＳＳ（３）が表示され、同期する。このように、字幕文字列ＳＳ（３）を、音声文字列ＡＳ（４）だけでなく、さらに遡ったより前の音声文字列ＡＳ（３）と比較するようにしたので、字幕文字列ＳＳ（３）を適切な位置に表示することができ、正確に音声と同期させることができる。
【００７１】
図４に戻って、ステップＳ０８においては、字幕文字列ＳＳ（ｋ）を必要に応じて分割する。音声文字列ＡＳ（ｊ）の長さと、字幕文字列ＳＳ（ｋ）の長さとが異なる場合に、音声文字列ＡＳ（ｊ）と字幕文字列ＳＳ（ｋ）のうち長いほうの文字列を分割する。音声文字列ＡＳ（ｊ）を分割する場合、後半の音声文字情報がｊ＋１番目の音声文字列ＡＳ（ｊ＋１）となる。後半の音声時間ＡＴ（ｊ＋１）は、前半の音声時間ＡＴ（ｊ）と同じにしてもよいが、音素や文字ごとに時間が分かっているのであれば、分割後の音声文字列ＡＳ（ｊ＋１）の最初の音素や文字の時間をＡＴ（ｊ＋１）としてもよい。また、この分割処理は、文字列が配列の場合、以降の文字列を全てコピーする必要があるが、双方向の連結リストとして構成すれば、前後のポインタを書き換えるだけでよい。
【００７２】
字幕文字列ＳＳ（ｋ）を分割する場合は、字幕文字列ＳＳの個数が増加するので字幕文字列ＳＳの総個数を示す定数Ｎを１加算した値に変更する（Ｎ＝Ｎ＋１）。後半の字幕時間ＳＴ（ｋ＋１）は、音素や文字ごとに時間が分からない場合は次の字幕時間ＳＴ（ｋ＋２）と同じにするか、一定時間遅延される。例えば、図８において音声文字列ＡＳ（２）と字幕文字列ＳＳ（２）との相関値ＸＣがしきい値Ｔよりも高い場合であって、音声文字列ＡＳ（２）が字幕文字列ＳＳ（２）よりも短い場合、字幕文字列ＳＳ（２）が分割されて図１１のようになる。この場合、図１１における字幕文字列ＳＳ（３）が図８における字幕文字列ＳＳ（２）の後半部分に相当し、図１１における字幕文字列ＳＳ（４）が図８における字幕文字列ＳＳ（３）に相当する。
【００７３】
次のステップＳ０９においては、処理対象とする字幕文字列ＳＳ（ｋ）を次の字幕文字列ＳＳ（ｋ＋１）に変更するために、変数ｋに１を加算し、処理をステップＳ１０に進める。ステップＳ１０においては、変数ｋが定数Ｎを超えていないか確認する。定数Ｎは、字幕文字列ＳＳの総個数を示す。変数ｋが定数Ｎを超えていなければ、処理をステップＳ０２に戻し、次の字幕文字列ＳＳ（ｋ）を処理対象として、上述したのと同様の処理を繰り返す。変数ｋが定数Ｎを超えていれば、それ以上、字幕文字列ＳＳが存在しないと判断して処理を終了する。
【００７４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００７５】
＜付記＞
（１）  前記決定手段は、前記文字情報抽出手段により出力される少なくとも１つの前記文字情報のうちから前記字幕情報に対応する１つの対応文字情報を選択する対応文字情報選択手段を含み、
前記文字情報抽出手段により前記対応文字情報が抽出された前記音声信号または前記映像信号の部分が前記再生手段により再生される時を、前記字幕情報を表示するタイミングに決定する、請求項１に記載の受信装置。
（２）  前記決定手段は、前記音声認識手段が出力する少なくとも１つの前記文字列のうちから前記字幕情報との相関が所定の値以上の対応文字列を選択する対応文字列選択手段を含み、
前記文字情報抽出手段により前記対応文字列が抽出された前記音声信号の部分が前記再生手段により再生される時を、前記字幕情報を表示するタイミングに決定する、請求項２に記載の受信装置。
（３）  前記決定手段は、前記文字認識手段が出力する少なくとも１つの前記文字列のうちから前記字幕情報との相関が所定の値以上の対応文字列を選択する対応文字列選択手段を含み、
前記文字情報抽出手段により前記対応文字列が抽出された前記映像信号の部分が前記再生手段により再生される時を、前記字幕情報を表示するタイミングに決定する、請求項４または５に記載の受信装置。
（４）  前記決定手段は、前記母音認識手段が出力する少なくとも１つの前記母音の配列のうちから前記字幕情報との相関が所定の値以上の対応母音配列を選択する対応母音配列選択手段を含み、
前記文字情報抽出手段により前記対応母音配列が抽出された前記映像信号の部分が前記再生手段により再生される時を、前記字幕情報を表示するタイミングに決定する、請求項６に記載の受信装置。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態の１つにおけるテレビジョン受信機の機能の概要を示す機能ブロック図である。
【図２】決定部の詳細な機能を示す機能ブロック図である。
【図３】二つの音素系列の比較を説明するための図である。
【図４】同期処理の流れの一例を示すフローチャートである。
【図５】未割り当て音声文字列挿入処理の流れの一例を示すフローチャートである。
【図６】未割り当て映像文字列挿入処理の流れの一例を示すフローチャートである。
【図７】音声文字列ＡＳと、映像文字列ＶＳと、字幕文字列ＳＳとの時間的な配置を示す第１のタイムチャートである。
【図８】音声文字列ＡＳと、映像文字列ＶＳと、字幕文字列ＳＳとの時間的な配置を示す第２のタイムチャートである。
【図９】音声文字列ＡＳと、映像文字列ＶＳと、字幕文字列ＳＳとの時間的な配置を示す第３のタイムチャートである。
【図１０】音声文字列ＡＳと、映像文字列ＶＳと、字幕文字列ＳＳとの時間的な配置を示す第４のタイムチャートである。
【図１１】音声文字列ＡＳと、映像文字列ＶＳと、字幕文字列ＳＳとの時間的な配置を示す第５のタイムチャートである。
【符号の説明】
【００７７】
１  テレビジョン受信機、１０  チューナ、２０  制御部、２１  分離部、２３  文字認識部、２５  音声認識部、２７  決定部、２９  再生制御部、３１  第１バッファメモリ、３３  第２バッファメモリ、４１  再生部、５３  カード、６１  相関算出部、６３  選択部。
【図１】
2009088990.tif 000004
【図２】
2009088990.tif 000005
【図３】
2009088990.tif 000006
【図４】
2009088990.tif 000007
【図５】
2009088990.tif 000008
【図６】
2009088990.tif 000009
【図７】
2009088990.tif 000010
【図８】
2009088990.tif 000011
【図９】
2009088990.tif 000012
【図１０】
2009088990.tif 000013
【図１１】
2009088990.tif 000014