(57)【要約】【課題】関連する映像メディアとテキスト情報とを自動的に対応付けて構造化し、容易に検索し表示できる手段を提供する。【解決手段】音声認識手段８は、映像メディア内の音声情報を、文ごとに分割して音声認識処理し、音声認識テキスト情報を生成する。タイムコード生成手段９は、各文の開始と終了の時刻情報であるタイムコードを生成する。マッピング手段１０は、音声認識テキスト情報の分割位置に基づいて、テキスト情報を各文に分割し、文ごとに音声認識テキスト情報と、テキスト情報とを対応付ける。構造化手段１１は、文ごとにタイムコードと、テキスト情報とを対応付ける。データ格納手段１２は、映像メディアと、タイムコードと、テキスト情報とを格納する。検索制御手段１７は、ユーザ４が入力した検索条件に合致した映像メディアとテキスト情報とを取りだし、タイムコードを用いて関連する箇所を連動して表示できるように、入出力手段１６へ出力する。【選択図】  図１３
2004152063.tif 000002
【特許請求の範囲】
【請求項１】
テキスト情報と、そのテキスト情報に対応する音声情報および映像情報を入力し、前記テキスト情報と前記映像情報とを対応付けるためのマルチメディアコンテンツ構造化方法において、
前記テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成し、
前記音声認識テキスト情報と前記テキスト情報とを比較し、前記テキスト情報の区切り位置にもとづいて前記音声認識テキスト情報を分割部分に分割し、
それぞれの前記分割部分の開始時刻と終了時刻とを示すタイムコードを生成し、
生成された前記タイムコードと前記テキスト情報とを所定の分割部分毎に対応付けて構造化する
ことを特徴とするマルチメディアコンテンツ構造化方法。
【請求項２】
テキスト情報と映像情報とを格納手段に格納し、各分割部分のタイムコードをタイムコード格納手段に格納する
請求項１記載のマルチメディアコンテンツ構造化方法。
【請求項３】
映像情報を格納手段に格納し、タイムコード、テキスト情報、および映像情報の格納位置を示す情報をＸＭＬ言語で記述する
請求項１記載のマルチメディアコンテンツ構造化方法。
【請求項４】
テキスト情報と、そのテキスト情報に対応する音声情報および映像情報を入力し、前記テキスト情報と前記映像情報とを対応付けるためのマルチメディアコンテンツ構造化装置において、
前記テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成する音声認識手段と、
前記音声認識テキスト情報を所定の分割部分に分割した場合の各分割部分の開始時刻と終了時刻とを示すタイムコードを生成するための情報を生成するタイムコード生成手段と、
前記音声認識テキスト情報と前記テキスト情報とを比較し、前記テキスト情報の区切り位置にもとづいて前記音声認識テキスト情報を前記分割部分に分割し、前記テキスト情報の区切り位置で区切られる分割部分と前記音声認識テキスト情報における前記分割部分とを対応付けるマッピング手段と、
前記タイムコードと前記テキスト情報とを所定の分割部分毎に対応付ける構造化手段と
を備えたことを特徴とするマルチメディアコンテンツ構造化装置。
【請求項５】
テキスト情報と映像情報とを格納する格納手段と、各分割部分のタイムコードを格納するタイムコード格納手段とを備えた
請求項４記載のマルチメディアコンテンツ構造化装置。
【請求項６】
映像情報を格納する格納手段を備え、
構造化手段は、タイムコード、テキスト情報、および映像情報の格納位置を示す情報をＸＭＬ言語で記述してＸＭＬファイル格納手段に格納する
請求項４記載のマルチメディアコンテンツ構造化装置。
【請求項７】
ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定し、特定した前記分割部分に対応するタイムコードを抽出する検索制御手段と、
抽出された前記タイムコードに対応する映像情報の部分を特定し、特定した映像情報を、検索条件に合致するテキスト情報とともにユーザに提供する同期手段と
を備えた請求項４から請求項６のうちのいずれか１項に記載のマルチメディアコンテンツ構造化装置。
【請求項８】
同期手段は、映像情報に対応するテキスト情報を、前記映像情報に連動させてユーザに提供する
請求項７記載のマルチメディアコンテンツ構造化装置。
【請求項９】
コンピュータに、テキスト情報に対応する音声情報および映像情報における前記映像情報と前記テキスト情報とを対応付けるための処理を実行させるマルチメディアコンテンツ構造化プログラムであって、
コンピュータに、
前記テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成する処理と、
前記音声認識テキスト情報と前記テキスト情報とを比較し、前記テキスト情報の区切り位置にもとづいて前記音声認識テキスト情報を分割部分に分割する処理と、
それぞれの前記分割部分の開始時刻と終了時刻とを示すタイムコードを生成する処理と、
生成された前記タイムコードと前記テキスト情報とを所定の分割部分毎に対応付けて構造化する処理と
を実行させるためのマルチメディアコンテンツ構造化プログラム。
【請求項１０】
ユーザが要求するテキスト情報、および前記テキスト情報に対応する映像情報をユーザに提供するマルチメディアコンテンツ提供方法において、
前記テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成し、
前記音声認識テキスト情報と前記テキスト情報とを比較し、前記テキスト情報の区切り位置にもとづいて前記音声認識テキスト情報を分割部分に分割し、
それぞれの前記分割部分の開始時刻と終了時刻とを示すタイムコードを生成し、
生成された前記タイムコードと前記テキスト情報とを所定の分割部分毎に対応付けて構造化し、
前記テキスト情報と、前記映像情報と、前記タイムコードとを格納し、
ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定し、
特定された前記分割部分に対応するタイムコードを抽出し、
抽出された前記タイムコードに対応する映像情報の部分を特定し、特定した映像情報を、検索条件に合致するテキスト情報とともにユーザに提供する
ことを特徴とするマルチメディアコンテンツ提供方法。
【請求項１１】
映像情報をユーザに提供する際に、前記映像情報に対応するテキスト情報を前記映像情報に連動させてユーザに提供する
請求項１０記載のマルチメディアコンテンツ提供方法。
【請求項１２】
コンピュータに、ユーザの要求に応じた映像情報とテキスト情報とを提供する処理を実行させるためのマルチメディアコンテンツ提供プログラムであって、
コンピュータに、
前記テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成する処理と、
前記音声認識テキスト情報と前記テキスト情報とを比較し、前記テキスト情報の区切り位置にもとづいて前記音声認識テキスト情報を分割部分に分割する処理と、
それぞれの前記分割部分の開始時刻と終了時刻とを示すタイムコードを生成する処理と、
生成された前記タイムコードと前記テキスト情報とを所定の分割部分毎に対応付けて構造化する処理と、
前記テキスト情報と、前記映像情報と、前記タイムコードとを格納する処理と、
ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定する処理と、
特定された前記分割部分に対応するタイムコードを抽出する処理と、
抽出された前記タイムコードに対応する映像情報を特定し、特定した映像情報を、検索条件に合致するテキスト情報とともにユーザに提供する処理と
を実行させるためのマルチメディアコンテンツ構造化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、関連する映像情報とテキスト情報とを対応付けるマルチメディアコンテンツ構造化方法、マルチメディアコンテンツ構造化方法およびマルチメディアコンテンツ構造化プログラム、ならびに、構造化されて記憶されている内容を、ユーザの要求に応じて検索して出力するマルチメディアコンテンツ提供方法に関する。
【０００２】
【従来の技術】
近年、情報のマルチメディア化が進み、映像情報、音声情報およびテキスト情報等とを含むマルチメディアコンテンツの情報量は、急激に増大している。これらの情報を記憶し、後に必要に応じて再び呼び出すことにより、より有効に利用することができる。記憶されている複数種類の情報を有効に活用するには、それらの情報が対応付けられている必要がある。
【０００３】
複数種類の情報を対応付けるシステムの一例として、原稿上の文字を文字認識して電子化した第１テキストと、音声情報を音声認識して電子化した第２テキストとから最適な第３テキストを生成して、デジタルデータのテキスト情報を得る電子化テキスト作成システムがある（例えば特許文献１。）。
【０００４】
また、映像情報に付加されている音声情報にもとづいて音声認識を行い、音声認識結果であるテキスト情報と映像情報とを構造化するシステムがある（例えば特許文献２。）。
【０００５】
さらに、映像情報、音声情報、テキスト情報等をデジタル化し、それらの情報と、それらの情報の時間的関連を示す時間情報とを保存するマルチメディア情報処理装置がある（例えば特許文献３。）。
【０００６】
【特許文献１】
特開２００１−２８２７７９号公報  （第３−８頁、第１図）
【特許文献２】
特開２００２−１８９７２８号公報  （第３頁）
【特許文献３】
特開平８−２５３２０９号公報  （第３−８頁、第５図）
【０００７】
【発明が解決しようとする課題】
特許文献１に記載されているシステムでは、原稿と音声認識処理結果のテキストとのマッチング処理を行うので、より正確なテキスト情報を自動的に作成することができる。しかし、特許文献１には、映像情報等の他の情報との対応付けに関する開示がないので、特許文献１に記載された技術を映像情報、音声情報およびテキスト情報の構造化処理に適用する場合には、人為的に構造化処理を行わなくてはならない。
【０００８】
また、特許文献２に記載されているシステムでは、映像情報と映像情報に付加されている音声情報とを構造化することができるが、特許文献２には、さらにテキスト情報を構造化することに関して何ら開示されていない。
【０００９】
さらに、特許文献３に記載されているマルチメディア情報処理装置では、映像情報、音声情報およびテキスト情報等の各情報間の構造化処理を、入力された時間における時間情報を用いて行っているが、時間情報は、映像情報、音声情報およびテキスト情報等を作成するときに付加されている必要がある。従って、時間情報が付加されていない場合には、テキスト情報、映像情報および音声情報を自動的に対応付けることはできず、対応付けのために人手を要することになる。
【００１０】
そこで、本発明は、関連する映像情報とテキスト情報とを自動的に対応付けることができるマルチメディアコンテンツ構造化方法、マルチメディアコンテンツ構造化装置およびマルチメディアコンテンツ構造化プログラム、ならびに、ユーザの要求に応じて容易に所望の情報を提供することができるマルチメディアコンテンツ提供方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明によるマルチメディアコンテンツ構造化方法は、テキスト情報と、そのテキスト情報に対応する音声情報および映像情報を入力し、テキスト情報と映像情報とを対応付けるためのマルチメディアコンテンツ構造化方法であって、テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成し、音声認識テキスト情報とテキスト情報とを比較し、テキスト情報の段落を示す情報等による区切り位置にもとづいて音声認識テキスト情報を各段落等の分割部分に分割し、それぞれの分割部分の開始時刻と終了時刻とを示すタイムコードを生成し、生成されたタイムコードとテキスト情報とを所定の分割部分毎に対応付けて構造化することを特徴とする。なお、音声情報と映像情報とは関連しているので、音声情報（具体的には音声認識テキスト情報）にもとづいて生成されたタイムコードとテキスト情報とを対応付けることは、実質的にテキスト情報と映像情報とを対応付けることになる。
【００１２】
マルチメディアコンテンツ構造化方法は、テキスト情報と映像情報とを格納手段に格納し、各分割部分のタイムコードをタイムコード格納手段に格納するように構成されていてもよい。そのような構成によれば、テキスト情報とタイムコード格納手段に格納されたタイムコードとによって、所望の映像情報を検索することができる。
【００１３】
マルチメディアコンテンツ構造化方法は、映像情報を格納手段に格納し、タイムコード、テキスト情報、および映像情報の格納位置を示す情報をＸＭＬ言語で記述するように構成されていてもよい。そのような構成によれば、ＸＭＬ言語により映像情報とテキスト情報とを構造化することができる。
【００１４】
本発明によるマルチメディアコンテンツ構造化装置は、テキスト情報と、そのテキスト情報に対応する音声情報および映像情報を入力し、テキスト情報と映像情報とを対応付けるためのマルチメディアコンテンツ構造化装置であって、テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成する音声認識手段と、音声認識テキスト情報を所定の分割部分に分割した場合の各分割部分の開始時刻と終了時刻とを示すタイムコードを生成するための情報を生成するタイムコード生成手段と、音声認識テキスト情報とテキスト情報とを比較し、テキスト情報の区切り位置にもとづいて音声認識テキスト情報を分割部分に分割し、テキスト情報の区切り位置で区切られる分割部分と音声認識テキスト情報における分割部分とを対応付けるマッピング手段と、音声認識テキスト情報における分割部分に対応するタイムコードとテキスト情報とを所定の分割部分毎に対応付ける構造化手段とを備えたことを特徴とする。
【００１５】
マルチメディアコンテンツ構造化装置は、テキスト情報と映像情報とを格納する格納手段と、各分割部分のタイムコードを格納するタイムコード格納手段とを備えていてもよい。そのような構成によれば、テキスト情報とタイムコード格納手段に格納されたタイムコードとによって、所望の映像情報を検索することができる。
【００１６】
マルチメディアコンテンツ構造化装置は、映像情報を格納する格納手段を備え、構造化手段が、タイムコード、テキスト情報、および映像情報の格納位置を示す情報をＸＭＬ言語で記述してＸＭＬファイル格納手段に格納するように構成されていてもよい。そのような構成によれば、ＸＭＬ言語により映像情報とテキスト情報とを構造化することができる。
【００１７】
マルチメディアコンテンツ構造化装置は、ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定し、特定した分割部分に対応するタイムコードを抽出する検索制御手段と、抽出されたタイムコードに対応する映像情報の部分を特定し、特定した映像情報を、検索条件に合致するテキスト情報とともにユーザに提供する同期手段とを備えていてもよい。そのような構成によれば、ユーザの要求に応じて、ユーザが所望する映像情報を提供することができる。
【００１８】
同期手段が、映像情報に対応するテキスト情報を、映像情報に連動させてユーザに提供するように構成されていてもよい。そのような構成によれば、ユーザの要求に応じて、ユーザが所望するテキスト情報および映像情報を見やすい形式で提供することができる。
【００１９】
本発明によるマルチメディアコンテンツ構造化プログラムは、コンピュータに、テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成する処理と、音声認識テキスト情報とテキスト情報とを比較し、テキスト情報の区切り位置にもとづいて音声認識テキスト情報を分割部分に分割する処理と、それぞれの分割部分の開始時刻と終了時刻とを示すタイムコードを生成する処理と、生成されたタイムコードとテキスト情報とを所定の分割部分毎に対応付けて構造化する処理とを実行させることを特徴とする。
【００２０】
本発明によるマルチメディアコンテンツ提供方法は、ユーザが要求するテキスト情報、およびテキスト情報に対応する映像情報をユーザに提供するマルチメディアコンテンツ提供方法であって、テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成し、音声認識テキスト情報とテキスト情報とを比較し、テキスト情報の区切り位置にもとづいて音声認識テキスト情報を分割部分に分割し、それぞれの分割部分の開始時刻と終了時刻とを示すタイムコードを生成し、生成されたタイムコードとテキスト情報とを所定の分割部分毎に対応付けて構造化し、テキスト情報と、映像情報と、タイムコードとを格納し、ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定し、特定された分割部分に対応するタイムコードを抽出し、抽出されたタイムコードに対応する映像情報の部分を特定し、特定した映像情報を、検索条件に合致するテキスト情報とともにユーザに提供することを特徴とする。
【００２１】
本発明によるマルチメディアコンテンツ提供方法は、映像情報をユーザに提供する際に、映像情報に対応するテキスト情報を映像情報に連動させてユーザに提供するように構成されていてもよい。そのような構成によれば、ユーザの要求に応じて、ユーザが所望するテキスト情報および映像情報を見やすい形式で提供することができる。
【００２２】
本発明によるマルチメディアコンテンツ提供プログラムは、コンピュータに、テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成する処理と、音声認識テキスト情報とテキスト情報とを比較し、テキスト情報の区切り位置にもとづいて音声認識テキスト情報を分割部分に分割する処理と、それぞれの分割部分の開始時刻と終了時刻とを示すタイムコードを生成する処理と、生成されたタイムコードとテキスト情報とを所定の分割部分毎に対応付けて構造化する処理と、テキスト情報と、映像情報と、タイムコードとを格納する処理と、ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定する処理と、特定された分割部分に対応するタイムコードを抽出する処理と、抽出されたタイムコードに対応する映像情報の部分を特定し、特定した映像情報を、検索条件に合致するテキスト情報とともにユーザに提供するする処理とを実行させることを特徴とする。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は本発明の第１の実施の形態のマルチメディアコンテンツ構造化システムを示すブロック図である。図１に示すシステムにおいて、コンテンツホルダ１は、映像情報を記録した映像メディアと、映像情報に関連する文書が記載されているテキストメディアとを所有する。映像メディアには、映像情報と音声情報とが記録されている。
【００２４】
テキスト情報、音声情報および映像情報を含むマルチメディアコンテンツの例として、テレビ放送におけるニュース番組がある。ニュース番組の場合には、ニュース原稿がテキストメディアであり、アナウンサが読み上げた音声が音声情報であり、映像情報は音声に関連した映像情報である。オペレータ２は、コンテンツホルダ１から映像メディアとテキストメディアとを受け取り、映像メディアとテキストメディアとをマルチメディアコンテンツ装置に入力する。
【００２５】
マルチメディアコンテンツ装置は、同期データ生成手段３と同期データ利用手段５とを含む。同期データ生成手段３は、映像入力手段６と、テキスト入力手段７と、音声認識手段８と、タイムコード生成手段９と、マッピング手段１０と、構造化手段１１と、データ格納手段１２とで構成される。またデータ格納手段１２は映像メディア格納手段１３と、テキストメディア格納手段１４と、タイムコード格納手段１５とで構成される。同期データ利用手段５は、入出力手段１６と、検索制御手段１７と、同期手段１８とで構成される。ただし、図１に示す入出力手段１６は、マルチメディアコンテンツ装置に含まれるものでなくてもよく、例えば、ユーザ４が有するパーソナルコンピュータにおけるキーボードなどの入出力手段である。
【００２６】
映像入力手段６は、オペレータ２から映像メディアが入力されると、映像メディアがデジタル媒体であった場合には、映像メディアに記録されている映像情報および音声情報を音声認識手段８に出力する。映像メディアがアナログ媒体であった場合には、映像入力手段６として、例えばビデオキャプチャ等を含み、アナログ映像情報およびアナログ音声情報をＡＶＩ形式やＭＰＥＧ形式のデジタル情報に変換する機能を有するものが用いられる。そして、映像入力手段６は、映像メディアに記録されている映像情報および音声情報に対してデジタル変換を行ってデジタル化して、音声認識手段８に出力する。音声認識手段８は、入力された音声情報について音声認識処理を行い、音声認識処理の結果のテキスト情報である音声認識テキスト情報を生成する。また、音声認識手段８は、音声情報を各単語に分割する。
【００２７】
タイムコード生成手段９は、音声情報における各単語の開始時刻と終了時刻との情報である単語タイムコードを音声認識手段８に出力する。音声認識手段８は、音声認識テキスト情報に単語タイムコードを付加して、映像情報とともにマッピング手段１０に出力する。従って、この実施の形態では、タイムコード生成手段９は、音声認識テキスト情報を所定の複数の分割部分（例えば複数の段落）に分割した場合の各分割部分の開始時刻と終了時刻とを示すタイムコードを生成するための情報として、単語タイムコードを生成する。
【００２８】
テキスト入力手段７は、オペレータ２からテキストメディアを受け取る。テキスト入力手段７は、テキストメディアがデジタル媒体であった場合には、テキストメディアに記録されているテキスト情報をマッピング手段１０に出力する。テキストメディアがアナログ媒体であった場合には、テキスト入力手段７は、例えばＯＣＲ（光学式文字読み取り）装置を含むものとして構成される。そして、テキストメディアに記録されているテキスト情報に対してデジタル変換を行って、デジタル化したテキスト情報をマッピング手段１０に出力する。
【００２９】
マッピング手段１０は、テキスト情報を適当な間隔で分割部分に区切る。ここでは、例えば、改行やインデント等を検出することによって文の固まりである段落を検出し、改行箇所等を区切り位置としてテキスト情報を区切る。さらに、マッピング手段１０は、テキスト情報と音声認識テキスト情報とを比較して、テキスト情報における区切り位置にもとづいて音声認識テキスト情報を区切り、段落音声認識テキスト情報を生成する。さらに、テキスト情報における各段落（区切られたテキスト情報）と各段落音声認識テキスト情報との１対１の対応を示す情報である対応情報を生成する。そして、段落音声認識テキスト情報およびテキスト情報とともに対応情報を構造化手段１１に出力する。
【００３０】
構造化手段１１は、段落音声認識テキスト情報における各単語に付加されている単語タイムコードから、各段落の開始時刻と終了時刻である各タイムコードを算出する。さらに構造化手段１１は、タイムコードと対応情報とにもとづいて、テキスト情報の各段落と各タイムコードとの１対１の対応を示す情報である構造化情報を生成する。
【００３１】
また、構造化手段１１は、構造化情報にもとづいて、テキスト情報を保存するテキストメディアファイルおよびタイムコードを保存するタイムコードファイルを生成するとともに、映像情報を保存する映像メディアファイルとを生成する。
【００３２】
例えば、テキストメディアファイルには各段落内のテキスト情報が段落順に格納され、タイムコードファイルには各段落に対応するタイムコードがテキスト情報における段落順と同順で格納される。なお、それぞれが各段落に対応した複数のテキストメディアファイルと、タイムコードファイルとを生成してもよい。
【００３３】
次に、構造化手段１１は、映像メディアファイルと、テキストメディアファイルと、タイムコードファイルとをデータ格納手段１２に出力する。データ格納手段１２内の映像メディア格納手段１３は映像メディアファイルを記憶し、データ格納手段１２内のテキストメディア格納手段１４はテキストメディアファイルを記憶し、データ格納手段１２内のタイムコード格納手段１５はタイムコードファイルを記憶する。この例において、テキスト情報と映像情報とを格納する格納手段は、映像メディア格納手段１３およびテキストメディア格納手段１４に相当し、各分割部分のタイムコードを格納するタイムコード格納手段は、タイムコード格納手段１５に相当する。
【００３４】
なお、映像情報は、映像入力手段６から、音声認識手段８、マッピング手段１０および構造化手段１０を介してデータ格納手段１２に供給されるようにしてもよいが、映像入力手段６から直接データ格納手段１２に供給されるようにしてもよい。
【００３５】
また、構造化手段１１が、テキストメディアファイルにおけるテキスト情報の各段落の開始アドレスと終了アドレスと、タイムコードファイルにおける各段落のタイムコードの開始アドレスと終了アドレスとを、管理情報として生成してもよい。このとき、マルチメディアコンテンツ装置は、図２に示すように、データ格納手段１２において管理情報を格納する管理ファイル格納手段２３が含まれる構成になる。そして、構造化手段１１は、管理情報を管理ファイル格納手段２３に出力し、管理ファイル格納手段２３は管理情報を記憶する。
【００３６】
また、構造化手段１１が、図５に示すような、テキスト情報とタイムコードとを結合した、タイムコードを含む構造化されたテキストメディアを生成してもよい。このとき、マルチメディアコンテンツ装置は、タイムコード格納手段１５を持たず、データ変換手段１２は図３に示す構成になる。
【００３７】
さらに、構造化手段１１が、図６に示すような、ＸＭＬ（エクステンシブルマークアップランゲージ）言語による、ＭＰＥＧ７（ムービングピクチャーエキスパートグループ７）形式の構造的記述によるＸＭＬファイルを生成する方法もある。ＸＭＬファイルを生成する場合には、マルチメディアコンテンツ装置は、データ格納手段１２にテキストメディア格納手段１４とタイムコード格納手段１５とが含まれず、ＸＭＬファイル格納手段２４が含まれた図４に示す構成になる。そして、構造化手段１１は、ＸＭＬファイルをＸＭＬファイル格納手段２４に出力し、ＸＭＬファイル格納手段２４は、ＸＭＬファイルを記憶する。この例では、映像情報が格納される格納手段は映像メディア格納手段１２に相当し、タイムコード、テキスト情報、および映像情報の格納位置を示す情報を記述したＸＭＬ言語が格納されるＸＭＬファイル格納手段は、ＸＭＬファイル格納手段２４に相当する。
【００３８】
ユーザ４は、所望の映像情報およびテキスト情報を要求するときに、同期データ利用手段５にキーワードとなる語句を入力する。すると、入出力手段１６は、ユーザ４が入力した語句を検索制御手段１７に出力する。検索制御手段１７は、その語句を含むテキスト情報の段落をテキストメディア格納手段１４（図２，３に示す構成の場合）、またはＸＭＬファイル格納手段２４（図４に示す構成の場合）から検索し、該当するテキスト情報の段落を入出力手段１６に出力する。さらに、ユーザ４が、あるテキスト情報の段落を選択した場合、入出力手段１６は、ユーザ４が選択したテキスト情報と同期する映像情報の出力を検索制御手段１７に要求する。
【００３９】
検索制御手段１７は、映像情報を映像メディア格納手段１３から取り出し、ユーザ４が選択したテキスト情報の段落のタイムコードを、タイムコード格納手段１５（図２に示す構成の場合）、テキストメディア格納手段１４（図３に示す構成の場合）、またはＸＭＬファイル格納手段２４（図４に示す構成の場合）から抽出し、同期手段１８に出力する。同期手段１８は、タイムコードが示す開始時刻を映像情報の出力の先頭時間とし、タイムコードの示す終了時刻を映像情報の出力の最終時間として、入出力手段１６に映像情報の出力を行う。また、同期手段１８は、テキスト情報を、タイムコードにもとづいて加工して入出力手段１６に出力する。このときの加工として、例えば、テキスト情報をスクロールさせるなどの方法がある。
【００４０】
なお、同期データ生成手段３および同期データ利用手段５は、コンピュータシステムで実現できる。ただし、入出力手段１６は、ユーザ側のマイクロコンピュータ等のキーボードや表示部などの入出力手段に相当する。同期データ生成手段３および同期データ利用手段５（入出力手段を除く。）がコンピュータシステムで実現される場合には、音声認識手段８、タイムコード生成手段９、マッピング手段１０、構造化手段１１、検索制御手段１７および同期手段１８は、ソフトウェアによって実現される。また、データ格納手段１２は、コンピュータシステムにおける磁気ディスク等の記憶媒体によって実現される。
【００４１】
具体的には、コンピュータシステムに実装されるソフトウェアは、テキスト情報に対応する音声情報にもとづいて音声認識処理を行って音声認識テキスト情報を生成する処理と、音声認識テキスト情報とテキスト情報とを比較し、テキスト情報の区切り位置にもとづいて音声認識テキスト情報を分割部分に分割する処理と、それぞれの分割部分の開始時刻と終了時刻とを示すタイムコードを生成する処理と、生成されたタイムコードによってテキスト情報と映像情報とを所定の分割部分毎に対応付けて構造化する処理と、テキスト情報と、映像情報と、タイムコードとを格納する処理とを実行し、また、ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定する処理と、特定された分割部分に対応するタイムコードを抽出する処理と、抽出されたタイムコードに対応する映像情報を特定し、特定した映像情報を、検索条件に合致するテキスト情報とともにユーザに提供する処理とを実行するプログラムを含む。
【００４２】
次に、この実施の形態の動作について、図面を参照して説明する。図７、図９および図１０は、この実施の形態の動作を説明するフローチャートである。図１１および図１２は入出力手段１６が情報を入出力するときの表示例を示す説明図である。
【００４３】
テレビ放送におけるニュース番組を例にすると、コンテンツホルダ１はニュース番組の制作会社に相当し、オペレータ２は制作会社内の管理部門やニュース配信の委託を受けた管理会社に相当する。また、ユーザ４は、例えばパーソナルコンピュータに搭載されるＷｅｂブラウザとインターネットとを介して同期データ利用手段５に情報を要求し、インターネットとＷｅｂブラウザとを介して所望の同期データ利用手段５から情報を受信する。
【００４４】
まず、映像メディアファイル、タイムコードファイル、テキストメディアファイル、管理ファイル、あるいはＸＭＬファイルを、データ格納手段１２に格納するまでについて、図７を参照して説明する。コンテンツホルダ１からニュース番組の映像情報（音声情報を含む）を記録した映像メディアと、ニュース番組においてアナウンサが読んだ原稿を記録したテキストメディアとが、オペレータ２に送られたとする。映像メディアに記録されている音声情報は、原稿を読んだアナウンサの音声による音声情報である。すなわち、テキストメディアに記録されているテキスト情報と映像メディアに記録されている音声情報とは、同じ内容の情報である。オペレータ２は、映像メディアとテキストメディアとを同期データ生成手段３に入力する。
【００４５】
同期データ生成手段３は、オペレータ２から映像メディアとテキストメディアとを受け取る（ステップＳ１０１）。テキストメディアは、テキスト入力手段７が受け取り、テキストメディアがデジタル媒体であった場合には、テキストメディアに記録されているテキスト情報をマッピング手段１０に出力する。テキストメディアがデジタル媒体でなかった場合には、ＯＣＲ等を用いてテキストメディアに記録されているテキスト情報をデジタル化して（ステップＳ１０２，Ｓ１０３）、マッピング手段１０に出力する。マッピング手段１０は、テキスト情報を一時格納する。具体的には、テキスト情報は、コンピュータシステムにおけるＲＡＭ等に格納される。
【００４６】
映像メディアは、映像入力手段６に入力される。映像入力手段６は、映像メディアがデジタル媒体であった場合には、映像メディアに記録されている映像情報（音声情報を含む）を音声認識手段８に出力し、デジタル媒体でなかった場合には、映像メディアに記録されている映像情報（音声情報を含む）デジタル化して（ステップＳ１０４，Ｓ１０５）、音声認識手段８に出力する。
【００４７】
音声認識手段８は、映像メディアの音声トラックに記録されている音声情報について音声認識処理を行い、音声認識テキスト情報を生成する（ステップＳ１０６）。さらに、音声認識手段８は、音声認識テキスト情報に対して単語切り出し処理を行い、音声情報を各単語に分割する。音声認識手段８は、映像情報をタイムコード生成手段９に出力するとともに、音声情報の分割位置を示す情報をタイムコード生成手段９に出力する。タイムコード生成手段９は、映像情報および音声情報の再生開始タイミング、再生開始タイミングからの経過時間、および音声認識手段８からの音声情報の分割位置を示す情報にもとづいて、各単語の音声情報の開始時刻と終了時刻である単語タイムコードを各単語ごとに生成し、音声認識手段８に出力する。音声認識手段８は、各単語の単語タイムコードを各単語に割り付ける。そして、単語タイムコードを音声認識テキスト情報に付加して、映像情報とともにマッピング手段１０に出力する（ステップＳ１０７、Ｓ１０８）。
【００４８】
マッピング手段１０は、テキスト情報から、例えば、改行やインデント等によって文の固まりである段落を検出し、テキスト情報を段落に区切る。また、テキスト情報と音声認識テキスト情報とを比較する。そして、テキスト情報の段落区切り位置にもとづいて音声認識テキスト情報を段落に区切り、段落音声認識テキスト情報を生成する。さらに、テキスト情報の各段落と、段落音声認識テキスト情報との１対１の対応を示す情報である対応情報を生成し（ステップＳ１０９）、段落音声認識テキスト情報とテキスト情報とともに対応情報を構造化手段１１に出力する。
【００４９】
マッピング手段１０による対応付けの一例を図８に示す。図８において、テキスト情報であるニュース原稿５００における「こんばんは」、「７時」、「の」、「ニュース」および「です」と、音声認識結果５１０内の音声認識テキスト情報における「こんばんは」、「一次」、「の」、「ニュース」および「で」とを比較する。このように単語同士を順次比較していく。比較の手法としてＤＰマッチングの手法を用いることにより、単語の一致具合で、ニュース原稿５００における区切り位置に対応する音声認識結果５１０における区切り位置を検出することができる。
【００５０】
構造化手段１１は、段落音声認識テキスト情報に付加された単語タイムコードから、段落音声認識テキスト情報における各段落の開始時刻と終了時刻であるタイムコードを算出する。各段落の最初の単語の開始時刻と最後の単語の終了時刻とから、各段落の開始時刻と終了時刻を算出することができる。さらに、構造化手段１１は、タイムコードと対応情報とから、テキスト情報の各段落とタイムコードとの１対１の対応を示す情報である構造化情報を生成する（ステップＳ１１０）。
【００５１】
構造化手段１１は、構造化情報にもとづいて、テキスト情報を記憶するテキストメディアファイルとタイムコードを記憶するタイムコードファイルとを、各段落毎に対応付けて生成する。構造化手段１１は、生成した各ファイルをデータ格納手段１２に出力する。テキストメディア格納手段１４は、テキストメディアファイルを格納し、タイムコード格納手段１５は、タイムコードファイルを格納する、また、映像メディア格納手段１３は、映像メディアファイルを格納する（ステップＳ１１１）。
【００５２】
ここで、構造化手段１１が、テキスト情報とタイムコードとを対応付けて、テキストメディアファイルと、タイムコードファイルとを生成する、構造化の方法について説明する。まず、各段落毎にテキストメディアファイルとタイムコードファイルとを生成する方法を説明する。例えば、第１段落のテキストメディアファイルのファイル名を「原稿１．ｔｘｔ」、第１段落のタイムコードファイルのファイル名「時間１．ｔｘｔ」とする。すると、第１段落のファイルは、拡張子を除いたファイル名の末尾が「１」という対応付けができる。同様に第２段落同士もそれぞれ「原稿２．ｔｘｔ」と「時間２．ｔｘｔ」とすることで、第２段落のファイルを対応付けることができる。同様に、第３、第４段落以降も対応付けることができる。
【００５３】
また、テキストメディアファイルにおける各段落のテキスト情報の開始アドレスと終了アドレスと、タイムコードファイルにおける各段落のタイムコードの開始アドレスと終了アドレスとを、管理情報として生成する方法もある。そのような管理情報を参照すれば、テキスト情報とタイムコードの対応がわかる。このとき、マルチメディアコンテンツ装置の構成は、図２に示すように、データ格納手段１２内に管理ファイル格納手段２３が設けられた構成である。そして、構造化手段１１は、テキストメディアファイル、タイムコードファイルおよび映像メディアファイルに加えて、管理情報をデータ格納手段１２に出力する。テキストメディア格納手段１４はテキストメディアファイルを格納し、タイムコード格納手段１５はタイムコードファイルを格納し、映像メディア格納手段１３は映像メディアファイルを格納し、管理ファイル格納手段２３は管理情報を格納する。
【００５４】
構造化手段１１は、図５に示すように、テキスト情報とタイムコードとを結合して、タイムコードを含む構造化されたテキスト情報を生成してもよい。このとき、図３に示すように、マルチメディアコンテンツ装置において、タイムコード格納手段１５は設けられない。構造化手段１１は、テキストメディアファイルと映像メディアファイルとをデータ格納手段１２に出力する。テキストメディア格納手段１４はテキストメディアファイルを格納し、映像メディア格納手段１３は映像メディアファイルを格納する。
【００５５】
さらに、構造化手段１１は、図６に示すように、ＸＭＬ言語による構造的な記述によるＸＭＬファイルを生成してもよい。このとき、マルチメディアコンテンツ装置において、テキストメディア格納手段１４とタイムコード格納手段１５とは設けられず、ＸＭＬファイル格納手段２４が設けられる。ここで、ＸＭＬ言語による構造的な記述によるＸＭＬファイルを生成する方法について説明する。
【００５６】
この方法では、構造化手段１１が、ＸＭＬ言語によるＭＰＥＧ７形式の記述による構造的記述を行う。構造化手段１１の動作について図６、図８（Ａ）および図９を参照して説明する。図６は構造的記述例を示す説明図である。図８（Ａ）は、テキストメディアの一例のニュース原稿５００の内容を示す説明図である。図９はＸＭＬ言語を用いた構造化手段の動作を説明するためのフローチャートである。
【００５７】
構造化手段１１は、まず、＜？ｘｍｌ＞タグや＜Ｍｐｅｇ７＞といった、あらかじめＭＰＥＧ７規格として定められているＸＭＬテンプレートに対し、映像情報のコンピュータシステム内での格納位置（フォルダ位置）を＜Ｍｅｄｉａ  Ｌｏｃａｔｏｒ＞タグ、および＜ＭｅｄｉａＵｒｌ＞タグを用いて挿入する（ステップＳ２０１）。ここでは、例えば「Ｃ：￥メタ情報￥映像データ￥ニュース映像０２０９１３．ｍｐｇ」であるとする。なお、「Ｃ：￥メタ情報￥映像データ￥ニュース映像０２０９１３．ｍｐｇ」は、構造化手段１１が、映像情報を格納しようとする映像メディア格納手段１３における格納位置に相当する。
【００５８】
次に、テキストメディアに記載されている番組タイトル情報を、＜ＣｒｅａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ＞タグ内の＜Ｔｉｔｌｅ＞タグを用いて挿入する（ステップＳ２０２）。図８（Ａ）を例にすると、「ニュース番組０２０９１３」が挿入される。そして、段落毎の開始時間と終了時間の情報を＜ＭｅｄｉａＴｉｍｅ＞タグ、および＜ＭｅｄｉａＲｅｌＴｉｍｅＰｏｉｎｔ＞タグ、および＜ＭｅｄｉａＤｕｒａｔｉｏｎ＞タグを用いて挿入する（ステップＳ２０３）。
【００５９】
さらに、発言者情報を、＜Ｎａｍｅ＞タグ、および＜ＧｉｖｅｎＮａｍｅ＞タグ、および＜ＦａｍｉｌｙＮａｍｅ＞タグを用いて挿入する（ステップＳ２０４）。図８（Ａ）を例にすると「アナウンサ」が挿入される。次に、テキスト情報を、＜ＴｅｘｔＡｎｎｏｔａｔｉｏｎ＞タグ、および＜ＦｒｅｅＴｅｘｔＡｎｎｏｔａｔｉｏｎ＞タグを用いて挿入する（ステップＳ２０５）。ここで、各段落毎にテキスト情報を挿入する。図８（Ａ）の例では「こんばんは、７時のニュースです。」を含む段落が挿入される。
【００６０】
ここで、ステップＳ２０３で挿入した、段落の終了時間が、タイムコードの最終時間に到達していなければ、ステップＳ２０３に戻り、次の段落の各情報の挿入を行う（ステップＳ２０６）。段落の終了時間が、タイムコードの最終時間に到達していたら、ＸＭＬファイルをデータ格納手段１２に出力する（ステップＳ２０７）。データ格納手段１２内のＸＭＬファイル格納手段２３は、ＸＭＬファイルを格納する。
【００６１】
次に、格納したデータを、ユーザ４が検索して抽出するときの動作について、図１０に示すフローチャートを参照して説明する。ユーザ４は、図１２に示すような、コンピュータ画面に表示された入出力手段１６の検索条件入力画面を用いて所望の検索条件をキーボード等により入力する（ステップＳ３０１）。入出力手段１６は、例えばユーザ４が有するパーソナルコンピュータのキーボード、表示部および通信手段等に相当する。入出力手段１６は、インターネット等を介して検索条件を検索制御手段１７に送信する。検索制御手段１７は、ユーザ４が入力した検索条件にもとづいて、データ格納手段１２から検索条件に合致するデータを有するテキスト情報の段落を特定する（ステップＳ３０２）。検索する際に、全文一致検索や、各検索条件によるアンド検索といった一般的な検索処理を用いることができる。
【００６２】
検索の結果、該当データがなかった場合は、入出力手段１６に、検索結果がなかったことを通知し、該当データが存在した場合には、データ格納手段１２から、ユーザ４が入力した検索条件に合致するテキスト情報の段落をすべて抽出して、入出力手段１６に出力する（ステップＳ３０３，Ｓ３０４）。ここで、テキスト情報の段落と対応する映像情報も抽出することが好ましい。
【００６３】
映像情報も抽出する場合には、例えば図１１に示すように、映像情報とテキスト情報とを表示することができる。図１１には、テキスト情報とともに、代表的な画像がサムネイル画像として出力された場合の表示例が示されている。ここで、段落の開始時刻の部分の静止画を映像情報から抽出してサムネイル画像として出力してもよいし、段落の開始から終了までの間の最も代表的な静止画を抽出して出力してもよい。また、静止画によらず、段落の開始時刻から終了時刻までの動画を出力してもよい。
【００６４】
図１１に示された例では、ユーザ４からキーワードの語句として、「タマちゃん」が入力され、１２件の検索結果が出力されたことを示している。次に、ユーザ４が、例えば「目撃者の遊覧船」を含む段落を、入出力手段１６を用いて、例えばマウスでクリックすることによって選択すると、入出力手段１６は、その旨を検索制御手段１７に通知する。選択制御手段１７は、ユーザ４が選択した段落のテキスト情報と、映像情報とをデータ格納手段１２から抽出して同期手段１８に出力する。同期手段１８は、映像情報のうち、選択した段落のタイムコードの開始時間を映像情報の再生の先頭とすることを入出力手段１６に通知し、また、選択された段落のテキスト情報を入出力手段１６に出力する（ステップＳ３０５）。
【００６５】
入出力手段１６は、例えば図１２に示す画面（巻戻し等のスイッチ部の表示を有する画面）を表示するとともに、映像情報を再生し、映像情報の再生のタイミングに合わせて、選択された段落のテキスト情報をスクロール表示する（ステップＳ３０６）。なお、巻戻し等のスイッチ部の表示やテキスト情報をスクロールする処理は、同期手段１８によって実行されている。図１２に示す例では、映像メディアの先頭から９秒９７の位置から再生され、「目撃者の遊覧船」を含むテキスト情報の部分が、再生箇所であることを示すために斜体文字になっている。また、映像情報の再生状況に連動して、段落のテキスト情報のスクロールを行ってもよい。
【００６６】
以上のように、抽出されたタイムコードに対応する映像情報の部分が特定され、特定された映像情報が入出力手段１６を介してユーザ４に提供される。また、同期手段１８は、映像情報に対応するテキスト情報を、映像情報に連動させてユーザに提供する。
【００６７】
次に、本発明による第２の実施の形態について説明する。第１の実施の形態との構成の違いは、タイムコード生成手段１９が構造化手段２１に接続されていることであり、その他の構成は第１の実施例と同様である。また、第１の実施の形態との動作の違いは、音声認識テキスト情報における区切り位置の検出の方法である。音声認識テキスト情報における区切り位置の検出は、同期データ生成手段３の動作に関連する。具体的には、音声認識手段２８、タイムコード生成手段１９、マッピング手段２０および構造化手段２１の動作に関連する。そのため、第１の実施の形態と同様の動作の手段等については図１と同じ符号を付して説明を省略する。
【００６８】
第２の実施の形態の構成について説明する。図１３はこの実施の形態のブロック図である。この実施の形態では、タイムコード生成手段１９は、音声認識手段２８と、構造化手段２１とに接続される。音声認識手段２８は、音声情報において所定の無音区間が存在する箇所を文の終了位置すなわち文の区切りと判定する。また、音声認識手段２８は、受け取った映像情報をタイムコード生成手段１９に出力する。そして、音声認識手段２８は、文の区切りを示す情報をタイムコード生成手段１９に出力する。
【００６９】
タイムコード生成手段１９は、映像情報および音声情報の再生開始タイミング、再生開始タイミングからの経過時間、および音声認識手段２８からの文区切りを示す情報にもとづいて、音声情報における各文の開始時刻と終了時刻の情報である文タイムコードを生成し構造化手段２１に出力する。従って、この実施の形態では、タイムコード生成手段１９は、音声認識テキスト情報を所定の分割部分に分割した場合の各分割部分の開始時刻と終了時刻とを示すタイムコードを生成するための情報として、文タイムコードを生成する。
【００７０】
次に第２の実施の形態の動作について説明する。図１４はこの実施の形態を説明するフローチャートである。同期データ生成手段３は、オペレータ２から映像メディアとテキストメディアとを受け取る（ステップＳ４０１）。テキストメディアは、テキスト入力手段７に入力される。テキスト入力手段７は、テキストメディアがデジタル媒体であった場合には、テキストメディアに記録されているテキスト情報をマッピング手段２０に出力し、テキストメディアがデジタル媒体でなかった場合には、ＯＣＲ等を用いてテキストメディアに記録されているテキスト情報をデジタル化して（ステップＳ４０２，Ｓ４０３）、マッピング手段２０に出力する。
【００７１】
映像情報（音声情報を含む）は、映像入力手段６に入力される。映像入力手段６は、映像メディアがデジタル媒体であった場合には、映像メディアに記録されている映像情報を音声認識手段２８に出力し、デジタル媒体でなかった場合には、映像メディアに記録されている映像情報をデジタル化して（ステップＳ４０４，Ｓ４０５）、音声認識手段２８に出力する。音声認識手段２８は、映像メディアの音声トラックに記録されている音声情報について音声認識処理を行い（ステップＳ４０６）、音声認識テキスト情報を生成して、マッピング手段２０に出力する。また、音声情報において所定の時間以上の無音期間があった場合には、その無音期間がテキスト情報の文の区切りである判定して、音声情報を区切り、文の区切りを示す情報をタイムコード生成手段１９に出力する。
【００７２】
タイムコード生成手段１９は、音声情報における各文の開始時刻と終了時刻の情報である文タイムコードを生成して（ステップＳ４０７）、構造化手段２１に出力する。
【００７３】
マッピング手段２０は、第１の実施の形態と同様にして、テキスト情報における区切り位置にもとづいて、音声認識テキスト情報における区切り位置を検出し、段落音声認識テキスト情報を生成する。このときの音声認識テキスト情報とテキスト情報との比較の方法は、ＤＰマッチングの手法を用いる第１の実施の形態における方法と同様である。さらに、テキスト情報における各段落（区切られたテキスト情報）と各段落音声認識テキスト情報との１対１の対応を示す情報である対応情報を生成する（ステップＳ４０８）。そして、段落音声認識テキスト情報とテキスト情報とともに対応情報を構造化手段２１に出力する。なお、１つの段落音声認識テキスト情報には、複数の文すなわち音声認識手段２８が検出した文の区切りが存在する場合もある。その場合には、マッピング手段２０は、その旨を示す情報も構造化手段２１に出力する。
【００７４】
構造化手段２１は、文タイムコードおよび対応情報から、テキスト情報とタイムコードとの段落ごとの１対１の対応を示す情報である構造化情報を生成する（ステップＳ４０９）。構造化手段２１は、第１の実施の形態の場合と同様に、構造化情報にもとづいて、テキスト情報を記憶するテキストメディアファイルとタイムコードを記憶するタイムコードファイルとを、各段落毎に対応付けて生成する。
【００７５】
テキスト情報とタイムコードとを対応付けてテキストメディアファイルとタイムコードファイルとを生成する構造化の方法は、第１の実施の形態と同様である。ただし、この実施の形態では、段落音声認識テキスト情報における最初の文の開始時刻と最後の文の終了時刻とから段落の開始時刻と終了時刻を算出する。構造化手段２１は、生成した各ファイルをデータ格納手段１２に出力する。映像メディア格納手段１３は映像メディアファイルを格納し、テキストメディア格納手段１４はテキストメディアファイルを格納し、タイムコード格納手段１５はタイムコードファイルを格納する（ステップＳ４１０）。
【００７６】
なお、この実施の形態では、タイムコード生成手段１９は、構造化手段２１に文タイムコードを出力したが、第１の実施の形態の場合と同様に、音声認識手段２８に文タイムコードを出力するようにしてもよい。その場合には、段落音声認識テキスト情報における各文に、各文の開始時刻と終了時刻とを示す情報が付加される。
【００７７】
【発明の効果】
以上のように、本発明によれば、テキスト情報と、そのテキスト情報に対応する音声情報および映像情報のうちの音声情報とを比較することによって、タイムコードとテキスト情報を自動的に対応付けるので、タイムコードを介してテキスト情報と映像情報とを低コストで構造化することができる。
【００７８】
また、ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定し、特定された分割部分に対応するタイムコードを抽出し、抽出されたタイムコードに対応する映像情報を特定して特定した映像情報をユーザに提供することによって、ユーザに、所望の映像情報を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】本発明のデータ格納手段において、管理ファイル格納手段を含む場合の構成例を示すブロック図である。
【図３】本発明のデータ格納手段においてタイムコード格納手段を含まない場合の構成例を示すブロック図である。
【図４】本発明のデータ格納手段において、ＸＭＬファイル格納手段を含む場合の構成例を示すブロック図である。
【図５】構造化手段の出力例を示す説明図である。
【図６】ＸＭＬ言語による、ＭＰＥＧ７形式の構造的記述の例を示す説明図である。
【図７】本発明の第１の実施の形態における同期データ生成手段の動作を示すフローチャートである。
【図８】マッピング手段の動作を説明するための説明図である。
【図９】ＸＭＬ言語を用いた構造化手段の動作を説明するためのフローチャートである。
【図１０】本発明の第１の実施の形態における同期データ利用手段の動作を示すフローチャートである。
【図１１】入出力手段の検索条件入力画面の出力例を示す説明図である。
【図１２】検索結果の出力例を示す説明図である。
【図１３】本発明の第２の実施の形態を示すブロック図である。
【図１４】本発明の第２の実施の動作における同期データ生成手段の動作を示すフローチャートである。
【符号の説明】
１  コンテンツホルダ
２  オペレータ
３  同期データ生成手段
４  ユーザ
５  同期データ利用手段
６  映像入力手段
７  テキスト入力手段
８  音声認識手段
９  タイムコード生成手段
１０  マッピング手段
１１  構造化手段
１２  データ格納手段
１３  映像メディア格納手段
１４  テキストメディア格納手段
１５  タイムコード格納手段
１６  入出力手段
１７  検索制御手段
１８  同期手段
１９  タイムコード生成手段
２０  マッピング手段
２１  構造化手段
２３  管理ファイル格納手段
２４  ＸＭＬファイル格納手段
２８  音声認識手段
５００  ニュース原稿
５１０  音声認識結果
【図１】
2004152063.tif 000003
【図２】
2004152063.tif 000004
【図３】
2004152063.tif 000005
【図４】
2004152063.tif 000006
【図５】
2004152063.tif 000007
【図６】
2004152063.tif 000008
【図７】
2004152063.tif 000009
【図８】
2004152063.tif 000010
【図９】
2004152063.tif 000011
【図１０】
2004152063.tif 000012
【図１１】
2004152063.tif 000013
【図１２】
2004152063.tif 000014
【図１３】
2004152063.tif 000015
【図１４】
2004152063.tif 000016