(57)【特許請求の範囲】
【請求項１】
複数の文により構成される番組台本の各文に対し、タイムコードを付与するタイムコード付与装置において、
前記番組台本の文の集合を格納する番組台本格納装置と、
前記番組台本に含まれる台詞の文に対応する番組音声の音声情報を格納する番組音声格納装置と、
言語モデルを用いた音声認識により、前記番組音声格納装置に格納された番組音声の音声情報を文字化し、前記番組音声の文の集合を生成し、前記番組音声の文の集合のそれぞれにタイムコードを付与し、タイムコード付き番組音声の文の集合を生成する音声認識装置と、
前記番組台本格納装置に格納された番組台本の文の集合と、前記音声認識装置により生成されたタイムコード付き番組音声の文の集合との間で文の対応付けを行い、前記番組台本の文に、前記タイムコード付き番組音声の文におけるタイムコードを付与する文対応付け装置と、
前記番組台本の文の集合のうちのタイムコードが付与されていない文の文長、及び前記タイムコードが付与された文のタイムコードに基づいて、前記タイムコードが付与されていない文のタイムコードを計算し、タイムコード付き番組台本の文の集合を生成するタイムコード計算装置と、を備え、
前記タイムコード計算装置は、前記タイムコードが付与されていない文の前後に存在する前記タイムコードが付与された文のタイムコードから、前記タイムコードが付与されている文の間の時間差を計算し、前記タイムコードが付与されていない文の文長から、所定の式により前記タイムコードが付与されていない文の時間長を計算し、前記タイムコードが付与されている文の間の時間差と前記タイムコードが付与されていない文の時間長とを比較し、前記時間差が前記時間長以上の場合、前記タイムコードが付与されていない文のタイムコードを、前記所定の式により計算した時間長に基づいて計算し、前記時間差が前記時間長よりも小さい場合、前記タイムコードが付与されていない文のタイムコードを、前記所定の式により計算した時間長、前記タイムコードが付与されている文の間の時間差及び前記タイムコードが付与されていない文の時間長に基づいて計算し、前記タイムコード付き番組台本の文の集合を生成する、ことを特徴とするタイムコード付与装置。
【請求項２】
コンピュータを、請求項１に記載のタイムコード付与装置として機能させるためのタイムコード付与プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、番組台本へタイムコードを付与するタイムコード付与装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ニュース原稿等の文と音声情報から得られた文とを対応付けたり、文字情報と映像情報とを対応付けたりするために、自然言語処理技術を用いた様々な手法が提案されている。例えば、原稿上の文字を文字認識して電子化した第１のテキスト文と、原稿が読み上げられた音声を音声認識して電子化した第２のテキスト文とを生成し、第１のテキスト文及び第２のテキスト文をＤＰ（ダイナミックプログラミング）マッチングにて統合することにより、最適な第３のテキスト文を生成する手法が知られている（特許文献１を参照）。
【０００３】
また、文字情報からなる台本に基づいて所望の映像を検索する際に、検索処理を容易にし、映像に関する新たな鑑賞方法を提供する手法も知られている（特許文献２を参照）。この手法は、映像の経過時間を示す時間情報と、映像及び台本を示す文字情報とを対応付け、場面及び登場人物等の状況を説明するト書き並びに台詞等の文字情報の入力を受け付け、受け付けた文字情報に基づいて、所望の映像を抽出し、抽出した映像及び台本を並べて表示するものである。
【０００４】
また、コンテンツの利用を容易にするための手法も知られている（特許文献３を参照）。この手法は、台本等のテキスト情報から画面構成音声構成を予測し、画像認識文字情報及び音声認識文字情報を生成し、タイムコードを付与し、各テキスト文との対応付けを行い、各情報を構造化して格納し、ユーザにより入力された検索条件に従って、データを検索し、テキスト情報と映像情報とを同期させ、出力するものである。
【０００５】
このような特許文献１〜３の技術を利用した装置により、例えば、ニュース原稿等のテキスト文にタイムコードを付与することができる。具体的には、テキスト文にタイムコードを付与するタイムコード付与装置は、テキスト文が読み上げられた音声情報を入力し、音声情報を文字化して音声の文を生成し、ＤＰマッチング等によりテキスト文と音声の文とを対応付ける。このようなテキスト文に付与されたタイムコードを利用することにより、解説放送の文を効率よく作成することができる。解説放送とは、主に視覚障害者を対象にして、テレビ番組のナレーション及びドラマの台詞とは別に、番組映像を音声で説明する放送サービスをいう。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２８２７７９号公報
【特許文献２】特開２００２−２７８９７４号公報
【特許文献３】特開２００５−２５４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、台詞の文及びト書きの文により構成される番組台本にタイムコードを付与する場合、従来のタイムコード付与装置は、台詞の文が読み上げられることにより番組音声の音声情報を生成し、その音声情報を文字化して音声の文を生成し、番組台本の文と音声の文とを対応付ける。これにより、番組台本内の台詞の文に対し、タイムコードを付与することができる。
【０００８】
しかしながら、従来のタイムコード付与装置では、番組台本内のト書きの文にタイムコードが付与されない。また、台詞が現場で急遽削除された場合には、その台詞は番組台本内に存在するにもかかわらず、音声の文には出現しないから、番組台本の文と音声の文との対応付けが不十分になる。したがって、従来のタイムコード付与装置では、番組台本内の全ての文にタイムコードが付与されないから、解説放送の文を作成する際に、番組台本内のト書き及びそのタイムコードを参照することが困難になり、解説放送の文を効率よく作成することができなかった。
【０００９】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、番組台本内の文と音声の文とを対応付け、番組台本内の文の文長からタイムコードを計算することにより、番組台本内の全ての文に対し、タイムコードを付与可能なタイムコード付与装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、本発明によるタイムコード付与装置は、複数の文により構成される番組台本の各文に対し、タイムコードを付与するタイムコード付与装置において、前記番組台本の文の集合を格納する番組台本格納装置と、前記番組台本に含まれる台詞の文に対応する番組音声の音声情報を格納する番組音声格納装置と、言語モデルを用いた音声認識により、前記番組音声格納装置に格納された番組音声の音声情報を文字化し、前記番組音声の文の集合を生成し、前記番組音声の文の集合のそれぞれにタイムコードを付与し、タイムコード付き番組音声の文の集合を生成する音声認識装置と、前記番組台本格納装置に格納された番組台本の文の集合と、前記音声認識装置により生成されたタイムコード付き番組音声の文の集合との間で文の対応付けを行い、前記番組台本の文に、前記タイムコード付き番組音声の文におけるタイムコードを付与する文対応付け装置と、前記番組台本の文の集合のうちのタイムコードが付与されていない文の文長、及び前記タイムコードが付与された文のタイムコードに基づいて、前記タイムコードが付与されていない文のタイムコードを計算し、タイムコード付き番組台本の文の集合を生成するタイムコード計算装置と、を備え、前記タイムコード計算装置が、前記タイムコードが付与されていない文の前後に存在する前記タイムコードが付与された文のタイムコードから、前記タイムコードが付与されている文の間の時間差を計算し、前記タイムコードが付与されていない文の文長から、所定の式により前記タイムコードが付与されていない文の時間長を計算し、前記タイムコードが付与されている文の間の時間差と前記タイムコードが付与されていない文の時間長とを比較し、前記時間差が前記時間長以上の場合、前記タイムコードが付与されていない文のタイムコードを、前記所定の式により計算した時間長に基づいて計算し、前記時間差が前記時間長よりも小さい場合、前記タイムコードが付与されていない文のタイムコードを、前記所定の式により計算した時間長、前記タイムコードが付与されている文の間の時間差及び前記タイムコードが付与されていない文の時間長に基づいて計算し、前記タイムコード付き番組台本の文の集合を生成する、ことを特徴とする。
【００１４】
さらに、本発明によるタイムコード付与プログラムは、コンピュータを、前記タイムコード付与装置として機能させることを特徴とする。
【発明の効果】
【００１５】
以上のように、本発明によれば、番組台本内の文と音声の文とを対応付け、番組台本内の文の文長等に基づいてタイムコードを計算するようにした。これにより、番組台本内の全ての文に対し、タイムコードを付与することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態によるタイムコード付与装置の構成を示すブロック図である。
【図２】タイムコード付与装置の処理を示すフローチャートである。
【図３】番組台本の文の例を示す図である。
【図４】番組音声の例を示す図である。
【図５】番組音声の文（音声認識結果の文）及びタイムコードの例を示す図である。
【図６】文の対応付けによる結果の例を示す図である。
【図７】タイムコード付き番組台本の文（未定コードを含む）の例を示す図である。
【図８】タイムコード付き番組台本の文の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔タイムコード付与装置の構成〕
図１は、本発明の実施形態によるタイムコード付与装置の構成を示すブロック図である。このタイムコード付与装置１０は、番組台本格納装置１、番組音声格納装置２、言語モデル適応化装置３、音声認識装置４、音声認識結果格納装置５、文対応付け装置６及びタイムコード計算装置７を備えている。タイムコード付与装置１０は、端子ｉ１から番組台本のテキスト情報（番組台本の文）を入力すると共に、端子ｉ２から番組音声の音声情報を入力し、番組台本内の文と番組音声の文とを対応付け、番組台本内の文の文長等に基づいてタイムコードを計算し、番組台本内の全ての文に対してタイムコードを付与し、タイムコード付き番組台本のテキスト情報（タイムコード付き番組台本の文）を端子ｏ１へ出力する。
【００１８】
番組台本格納装置１は、端子ｉ１から番組台本の文を入力し、番組台本の文をメモリに格納する。そして、番組台本格納装置１は、番組台本の文を言語モデル適応化装置３に出力し、言語モデル適応化装置３に対し、番組台本によって言語モデルを適応化する。また、番組台本格納装置１は、番組台本の文を文対応付け装置６に出力し、文対応付け装置６に対し、番組台本の文と番組音声の文とを対応付けさせ、文対応付け装置６から、後述するタイムコード付き番組台本の文（未定コードを含む）を入力する。また、番組台本格納装置１は、タイムコード付き番組台本の文（未定コードを含む）をタイムコード計算装置７に出力し、タイムコード計算装置７に対し、未定コードの文にタイムコードを付与させ、番組台本内の全ての文にタイムコードが付与されたタイムコード付き番組台本の文を入力する。そして、番組台本格納装置１は、タイムコード付き番組台本の文を端子ｏ１へ出力する。
【００１９】
番組音声格納装置２は、端子ｉ２から番組音声の音声情報を入力し、番組音声の音声情報をメモリに格納する。これにより、番組音声格納装置２には、番組音声の集合が音声情報として格納される。
【００２０】
言語モデル適応化装置３は、番組台本格納装置１から番組台本の文を入力し、番組台本の文を用いて、音声認識装置４に備えた言語モデルを番組台本に適応化する。具体的には、言語モデル適応化装置３は、番組台本の文に基づいて、文を構成する複数の単語について、次に発音される単語を予測するための確率モデルを言語モデルとして生成する。これにより、言語モデルは番組台本に適応したものとなり、音声認識装置４において、次に発音される単語の認識が容易になり、音声認識精度を向上させることができる。
【００２１】
音声認識装置４は、番組音声格納装置２から番組音声の音声情報を入力し、言語モデル適応化装置３により適応化された言語モデルを用いて、音声認識により、番組音声の音声情報を文字化する。そして、音声認識装置４は、番組音声毎にタイムコードを付与し、タイムコード付き番組音声の文を生成する。これにより、番組音声の集合に対し、番組音声毎のタイムコードが付与される。
【００２２】
音声認識結果格納装置５は、音声認識装置４により生成されたタイムコード付き番組音声の文を入力し、タイムコード付き番組音声の文をメモリに格納する。
【００２３】
文対応付け装置６は、番組台本格納装置１から番組台本の文を入力すると共に、音声認識結果格納装置５からタイムコード付き番組音声の文を入力する。そして、文対応付け装置６は、番組台本の文とタイムコード付き番組音声の文とを対応付け、両文の文対応が付けられた場合、その番組台本の文に対し、タイムコード付き番組音声の文に付与されたタイムコードをコピーする。一方、文対応付け装置６は、両文の文対応が付けられなかった場合、その番組台本の文に対し、タイムコードが付与されていないことを示す未定のコードを付与する。そして、文対応付け装置６は、タイムコード付き番組台本の文（未定コードを含む）を番組台本格納装置１に出力する。
【００２４】
タイムコード計算装置７は、番組台本格納装置１からタイムコード付き番組台本の文（未定コードを含む）を入力し、番組台本の文のうちの未定コードが付与された文（タイムコードが付与されていない文）のタイムコードを、タイムコードが付与された文のタイムコード及び未定コードが付与された文の文長に基づいて計算する。そして、タイムコード計算装置７は、未定コードが付与された文に対してタイムコードを付与し、タイムコード付き番組台本の文を番組台本格納装置１に出力する。
【００２５】
〔タイムコード付与装置の処理〕
次に、図１に示したタイムコード付与装置１０の処理について、具体例を挙げて詳細に説明する。図２は、タイムコード付与装置１０の処理を示すフローチャートである。まず、番組台本格納装置１は、端子ｉ１から番組台本の文を入力してメモリに格納し、番組音声格納装置２は、端子ｉ２から番組音声の音声情報を入力してメモリに格納する（ステップＳ１）。
【００２６】
図３は、番組台本の文の例を示す図である。この番組台本は、文Ｐ1〜Ｐ6の集合により構成されている。文には、台詞及びト書きがある。番組台本内の台詞の文に対するタイムコードは、音声認識装置４及び文対応付け装置６により付与され、ト書きの文に対するタイムコードは、タイムコード計算装置７により付与される。番組台本格納装置１は、図３に示す番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝、すなわち番組台本の文の集合を入力し、メモリに格納する。
【００２７】
図４は、番組音声の例を示す図である。この番組音声は、番組音声の音声情報Ｕ1〜Ｕ5の集合により構成されている。番組音声に対するタイムコードは、音声認識装置４により付与される。番組音声格納装置２は、図４に示す番組音声の音声情報｛Ｕ1，Ｕ2，Ｕ3，Ｕ4，Ｕ5｝、すなわち番組音声の音声情報の集合を入力し、メモリに格納する。尚、図４では、実際の番組音声の音声情報を表記することができないから、実際の番組音声の音声情報に代えて、文字情報で表してある。
【００２８】
図２に戻って、言語モデル適応化装置３は、番組台本格納装置１から番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を入力し、番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を用いて、音声認識装置４に備えた言語モデルを番組台本に適応化する（ステップＳ２）。これにより、音声認識装置４において、音声認識精度を向上させることができる。
【００２９】
音声認識装置４は、番組音声格納装置２から番組音声の音声情報｛Ｕ1，Ｕ2，Ｕ3，Ｕ4，Ｕ5｝を入力し、言語モデル適応化装置３により適応化された言語モデルを用いて、音声認識により、番組音声の音声情報｛Ｕ1，Ｕ2，Ｕ3，Ｕ4，Ｕ5｝を文字化する。そして、音声認識装置４は、番組音声の音声情報｛Ｕ1，Ｕ2，Ｕ3，Ｕ4，Ｕ5｝毎に、タイマーを用いて各音声情報の開始時刻及び終了時刻を求めることにより、タイムコードを付与し、後述するタイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝を生成する（ステップＳ３）。そして、音声認識結果格納装置５は、音声認識装置４により生成されたタイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝を入力し、メモリに格納する。
【００３０】
図５は、番組音声の文（音声認識結果の文）及びタイムコードの例、すなわちタイムコード付き番組音声の文を示す図である。このタイムコード付き番組音声の文は、番組音声の文（音声認識結果の文）及びタイムコードの集合により構成されている。つまり、タイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝は、番組音声の音声情報｛Ｕ1，Ｕ2，Ｕ3，Ｕ4，Ｕ5｝が音声認識により文字化された音声認識結果の文、及びその文が発話された開始時刻及び終了時刻からなるタイムコードにより構成されている。音声認識装置４は、図５に示すタイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝を生成する。
【００３１】
図２に戻って、文対応付け装置６は、番組台本格納装置１から番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を入力すると共に、音声認識結果格納装置５からタイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝を入力する。そして、文対応付け装置６は、番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝とタイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝との間の対応付けを行う（ステップＳ４）。文対応付け装置６は、文対応が付けられた場合、その番組台本の文に対し、タイムコード付き番組音声の文に付与されたタイムコードをコピーする。一方、文対応付け装置６は、文対応が付けられなかった場合、その番組台本の文に対し、未定コード（xx：xx.xx）を付与する。そして、文対応付け装置６は、後述するタイムコード付き番組台本の文（未定コードを含む）｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を生成し、番組台本格納装置１に出力する。
【００３２】
例えば、文対応付け装置６は、番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝とタイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝との間の類似度に基づいたＤＰ（ダイナミックプログラミング）マッチング（動的計画法）により、文の対応付けを行う。具体的には、文対応付け装置６は、（１）式により、共通する単語数の割合を文間の類似度ｓｃｏｒｅ(Ｒi，Ｐj)として算出する。
【数１】
0005528252.tif 000002
【００３３】
ここで、｜｜は単語数（但し、句読点は除く）を表し、Ｒi∩Ｐjは共通の単語数を表す。例えば、番組台本の文Ｐ1とタイムコード付き番組音声の文Ｒ1との間の類似度ｓｃｏｒｅ（Ｒ1，Ｐ1）は、以下のように算出される。タイムコード付き番組音声の文Ｒ1の音声認識結果は「はい、オマル」であるから、｜Ｒ1｜＝２（単語数は２）となり、番組台本の文Ｐ1の台詞は「はい、小丸」であるから、｜Ｐ1｜＝２（単語数は２）となる。また、共通の単語は「はい」であるから、｜Ｒ1∩Ｐ1｜＝１（共通の単語数は１）となる。したがって、文間の類似度ｓｃｏｒｅ（Ｒ1，Ｐ1）は、（２）式のようになる。
【数２】
0005528252.tif 000003
【００３４】
文対応付け装置６は、（３）式に示す計算を行い、ＤＰマッチングを行う。
【数３】
0005528252.tif 000004
【００３５】
このようなＤＰマッチングを行うことにより、一度計算した結果を再利用することができ、効率的な計算を実現でき、計算負荷を低減することができる。尚、文対応付け装置６は、ＤＰマッチング以外の手法により、文の対応付けを行うことができる。具体的には、文対応付け装置６は、タイムコード付き番組音声の文Ｒ1に対し、番組台本の文Ｐ1，・・・，Ｐ6との間の類似度ｓｃｏｒｅ（Ｒ1，Ｐ1），ｓｃｏｒｅ（Ｒ1，Ｐ2），・・・，ｓｃｏｒｅ（Ｒ1，Ｐ6）をそれぞれ算出し、最も高い類似度ｓｃｏｒｅ（Ｒ1，Ｐa）を抽出する。そして、文対応付け装置６は、その類似度ｓｃｏｒｅ（Ｒ1，Ｐa）が所定のしきい値よりも大きい場合、タイムコード付き番組音声の文Ｒ1と、類似度が最も高い番組台本の文Ｐaとについて、文対応が付けられたと判定する。一方、文対応付け装置６は、その類似度ｓｃｏｒｅ（Ｒ1，Ｐa）が所定のしきい値以下の場合、タイムコード付き番組音声の文Ｒ1について、文対応が付けられなかったと判定する。文対応付け装置６は、タイムコード付き番組音声の文Ｒ2，・・・，Ｒ5に対しても同様の処理を行う。そして、文対応付け装置６は、タイムコード付き番組音声の文Ｒiに対し、文対応が付けられなかった番組台本の文Ｐjが存在する場合、その番組台本の文Ｐjについて、文対応が付けられなかったと判定する。
【００３６】
図６は、文の対応付けによる結果の例を示す図である。図６に示すように、文対応付け装置６は、番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝とタイムコード付き番組音声の文｛Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5｝との間の類似度に基づいたＤＰマッチングにより、Ｒ1及びＰ1、Ｒ2及びＰ2、Ｒ3及びＰ3、Ｒ5及びＰ6について、文対応が付けられたと判定する。また、文対応付け装置６は、Ｒ4、Ｐ4、Ｐ5について、文対応が付けられなかったと判定する。図６において、φは、対応する文がなかったことを示す。
【００３７】
図７は、タイムコード付き番組台本の文（未定コードを含む）の例を示す図である。文対応付け装置６は、図６に示した対応付けの結果に基づいて、文対応が付けられた番組台本の文Ｐ1に対し、タイムコード付き番組音声の文Ｒ1に付与されたタイムコード（図５を参照して、開始時刻02：42.34及び終了時刻02：43.62）をコピーする。これにより、図７に示すように、タイムコード付き番組台本の文（未定コードを含む）Ｐ1が生成される。文対応付け装置６は、同様にして、文対応が付けられた番組台本の文Ｐ2，Ｐ3，Ｐ6に対し、タイムコード付き番組音声の文Ｒ2，Ｒ3，Ｒ5に付与されたタイムコードをコピーする。これにより、図７に示すように、タイムコード付き番組台本の文（未定コードを含む）Ｐ2，Ｐ3，Ｐ6が生成される。一方、文対応付け装置６は、図６に示した対応付けの結果に基づいて、文対応が付けられなかった番組台本Ｐ4，Ｐ5に対し、開始時刻及び終了時刻に未定コード（xx：xx.xx）を付与する。図７において、xx：xx.xxは、タイムコードが決まっていないことを示しており、この未定コードは、番組台本内のト書きの文に付与され、さらに、番組台本内の台詞の文のうち、文対応が付けられなかった台詞の文にも付与される。そして、文対応付け装置６は、図７に示すタイムコード付き番組台本の文（未定コードを含む）｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を生成し、番組台本格納装置１に出力する。
【００３８】
図２に戻って、タイムコード計算装置７は、番組台本格納装置１からタイムコード付き番組台本の文（未定コードを含む）｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を入力し、未定コードが付与された文（タイムコードが付与されていない文）Ｐ4，Ｐ5のタイムコードを、この前後の文であって、タイムコードが付与された文Ｐ3，Ｐ6のタイムコード及び未定コードが付与された文Ｐ4，Ｐ5の文長に基づいてタイムコードを計算する（ステップＳ５）。そして、タイムコード計算装置７は、未定コードが付与された文Ｐ4，Ｐ5に対してタイムコードを付与し、後述するタイムコード付き番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を番組台本格納装置１に出力する。
【００３９】
例えば、タイムコード計算装置７は、未定コードが付与された文に対し、以下の式によりタイムコードを計算する。
ＴStart［ｉ］＝ＴStart［ｉ＋１］−ｔ（ｕ［ｉ］）
ＴEnd［ｉ］＝ＴStart［ｉ＋１］
【００４０】
ここで、ｉ番目の文の時間長ｔ（ｕ）は、（４）式により求められる。
【数４】
0005528252.tif 000005
【００４１】
タイムコードが決まっていないｉ番目の文の時間長ｔ（ｕ［ｉ］）は、タイムコードが決まっている時刻（及びタイムコード計算装置７によりタイムコードが決められた時刻）から計算された時間差Ｔ0と、文長から時間長を実験的に定めた式を用いて、タイムコードが決まっていない文の文長から計算された時間長Ｔとに基づいて求められる。Ｔ0がＴ以上である場合、（４）式の上側の式が適用され、時間長ｔ（ｕ［ｉ］）は、文長から時間長を実験的に定めた式により計算された時間長ｔ0（ｕ）となる。一方、Ｔ0がＴよりも小さい場合、（４）式の下側の式が適用され、時間長ｔ（ｕ［ｉ］）は、文長から時間長を実験的に定めた式により計算された時間長ｔ0（ｕ）に対し、Ｔ0とＴとの関係に比例するように、ｔ0（ｕ）×（Ｔ0／Ｔ）となる。
【００４２】
ｕ[ｉ]はｉ番目の文を表す。但し、ｉ＝０，ｎ＋１の文は、タイムコードが決定済みであり、ｉ＝１，２，・・・，ｎはタイムコードが決まっていないものとする。また、ＴStart［ｉ］は文ｕ［ｉ］の開始時刻、ＴEnd［ｉ］は文ｕ［ｉ］の終了時刻を表す。タイムコードが決まっている時刻から計算された時間差Ｔ0は、以下の式により計算される。
Ｔ0＝ＴStart［ｉ＋１］−ＴEnd［０］
また、タイムコードが決まっていない文の時間長の合計Ｔは、（５）式により計算される。
【数５】
0005528252.tif 000006
ここで、文ｕ［ｉ］の時間長ｔ0は、以下の式により計算される。この式は、文長と時間長との間の関係を示しており、実験的に求めたものである。
ｔ0（ｕ）＝SentLength（ｕ）×0.18
SentLength（ｕ）は、文ｕの語数（但し、句読点は除く）を表す。
【００４３】
図７に示した例では、文対応付け装置６により対応付けられなかった文Ｐ4，Ｐ5に対し、以下に示すタイムコードが付与される。まず、文Ｐ4，Ｐ5の時間長ｔ0（Ｐ4），ｔ0（Ｐ5）は、以下の式により、4.86，2.7となる。
ｔ0（Ｐ4）＝SentLength（Ｐ4）×0.18＝27×0.18＝4.86
ｔ0（Ｐ5）＝SentLength（Ｐ5）×0.18＝15×0.18＝2.7
そして、文Ｐ4，Ｐ5の時間長ｔ0（Ｐ4），ｔ0（Ｐ5）の合計Ｔは、以下の式により、7.56となる。
Ｔ＝ｔ0（Ｐ4）＋ｔ0（Ｐ5）＝7.56
そして、時間差Ｔ0は、前記式により、8.48となる。これは、文Ｐ4，Ｐ5の時間長ｔ0（Ｐ4），ｔ0（Ｐ5）の合計Ｔよりも大きい値である。
Ｔ0＝ＴStart［Ｐ6］−ＴEnd［Ｐ3］＝8.48＞Ｔ
ｔ（Ｐ5），ｔ（Ｐ4）は、前記式（４）の上側の式が適用され、以下のようになる。
ｔ（Ｐ5）＝ｔ0（Ｐ5），ｔ（Ｐ4）＝ｔ0（Ｐ4）
【００４４】
したがって、文対応付け装置６により対応付けられなかった文Ｐ4，Ｐ5に対するタイムコードは、以下のようになる。
ＴStart［Ｐ5］＝ＴStart［Ｐ6］−ｔ（Ｐ5）＝02：54.62−2.7＝02：51.92
ＴEnd［Ｐ5］＝ＴStart［Ｐ6］＝02：54.62
ＴStart［Ｐ4］＝ＴStart［Ｐ5］−ｔ（Ｐ4）＝02：51.92−4.86＝02：47.06
ＴEnd［Ｐ4］＝ＴStart［Ｐ6］＝02：51.92
【００４５】
図８は、タイムコード付き番組台本の文の例を示す図である。図８に示すように、タイムコード付き番組台本の文は、図７に示したタイムコード付き番組台本の文（未定コードを含む）のうちの未定コードxx：xx.xxの箇所に、タイムコード計算装置７により計算されたタイムコードが付与された文になっている。タイムコード計算装置７は、図８に示すタイムコード付き番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を番組台本格納装置１に出力する。
【００４６】
図２に戻って、番組台本格納装置１は、タイムコード計算装置７からタイムコード付き番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を入力し、タイムコード付き番組台本の文｛Ｐ1，Ｐ2，Ｐ3，Ｐ4，Ｐ5，Ｐ6｝を端子ｏ１へ出力する（ステップＳ６）。
【００４７】
以上のように、本発明の実施形態によるタイムコード付与装置１０によれば、言語モデル適応化装置３が、言語モデルを番組台本に適応化し、音声認識装置４が、言語モデルを用いて、音声認識により番組音声の音声情報を文字化し、タイムコード付き番組音声の文を生成し、文対応付け装置６が、番組台本の文とタイムコード付き番組音声の文とを対応付け、両文の対応付けが行われた場合、その番組台本の文に対し、タイムコード付き番組音声の文に付与されたタイムコードをコピーし、タイムコード付き番組台本の文（未定コードを含む）を生成し、タイムコード計算装置７が、タイムコード付き番組台本の文（未定コードを含む）のうちの未定コードが付与された文（タイムコードが付与されていない文）のタイムコードを、タイムコードが付与された文のタイムコード及び未定コードが付与された文の文長に基づいて計算し、タイムコード付き番組台本の文を生成するようにした。すなわち、タイムコード付与装置１０は、番組台本の文とその番組音声の文とを対応付け、番組台本内の文の文長等に基づいてタイムコードを計算するようにした。これにより、番組台本内の全ての文に対し、タイムコードを付与することができる。したがって、解説放送の文を作成する際に、番組台本内のト書き及びそのタイムコードを参照することができ、番組台本内のト書きに基づいて解説放送の文を効率よく作成することができる
【００４８】
尚、本発明の実施形態によるタイムコード付与装置１０のハードウェア構成としては、通常のコンピュータを使用することができる。タイムコード付与装置１０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。タイムコード付与装置１０に備えた番組台本格納装置１、番組音声格納装置２、言語モデル適応化装置３、音声認識装置４、音声認識結果格納装置５、文対応付け装置６及びタイムコード計算装置７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００４９】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、タイムコード付与装置１０は、言語モデルを番組台本に適用する言語モデル適応化装置３を備えているが、言語モデル適応化装置３を必ずしも備える必要がない。また、前記実施形態では、文対応付け装置６は、番組台本の文とタイムコード付き番組音声の文との間の類似度に基づいたＤＰマッチングにより、文の対応付けを行うようにしたが、文の対応付け手法は、ＤＰマッチングに限定するものではなく、他の手法を用いるようにしてもよい。
【符号の説明】
【００５０】
１  番組台本格納装置
２  番組音声格納装置
３  言語モデル適応化装置
４  音声認識装置
５  音声認識結果格納装置
６  文対応付け装置
７  タイムコード計算装置
１０  タイムコード付与装置
【図１】
0005528252.tif 000007
【図２】
0005528252.tif 000008
【図３】
0005528252.tif 000009
【図４】
0005528252.tif 000010
【図５】
0005528252.tif 000011
【図６】
0005528252.tif 000012
【図７】
0005528252.tif 000013
【図８】
0005528252.tif 000014