(57)【特許請求の範囲】
【請求項１】
記録媒体に記録され互いに関連付けられた主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データを含むマルチメディアデータの再生位置を検索するマルチメディアデータ検索装置であって、
前記記録媒体に記録されたマルチメディアデータが前記映像データおよび音声データに関連付けられた字幕や台本等のテキストデータを含む場合に前記記録媒体から読み出した前記テキストデータ、または、前記記録媒体から読み出した音声データを変換したテキストデータであって、前記マルチメディアデータと時間軸に沿って関連付けられた複数の文からなるテキストデータを話題の単位ごとに分割する手段、
このテキストデータの分割位置を前記マルチメディアデータと関連付けて記憶部に格納する手段、
検索条件として入力されるテキストデータと前記話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する手段、
前記判定した類似度に基づいて前記記憶部に格納したテキストデータの分割位置から前記マルチメディアデータの再生位置を決定する再生位置決定手段
を備えたマルチメディアデータ検索装置。
【請求項２】
前記再生位置決定手段は、前記類似度の高いものから順に前記再生位置の候補として決定するものである請求項１記載のマルチメディアデータ検索装置。
【請求項３】
前記検索条件として入力されるテキストデータは、文字入力装置により直接入力されたデータまたは音声入力装置により入力された音声をテキスト変換したデータであることを特徴とする請求項１または２に記載のマルチメディアデータ検索装置。
【請求項４】
記録媒体に記録され互いに関連付けられた主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データを含むマルチメディアデータを読み取るステップ、
前記記録媒体に記録されたマルチメディアデータが前記映像データおよび音声データに関連付けられた字幕や台本等のテキストデータを含む場合に前記記録媒体から読み出した前記テキストデータ、または、前記記録媒体から読み出した音声データを変換したテキストデータであって、前記マルチメディアデータと時間軸に沿って関連付けられた複数の文からなるテキストデータを取得するステップ、
前記テキストデータを話題の単位ごとに分割するステップ、
前記テキストデータの分割位置を前記マルチメディアデータと関連付けて記憶部に格納するステップ、
検索条件として入力されたテキストデータと前記話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、
前記判定した類似度に基づいて前記記憶部に格納したテキストデータの分割位置から前記マルチメディアデータの再生位置を決定するステップ
を含むマルチメディアデータ検索方法。
【請求項５】
記録媒体に記録され互いに関連付けられた主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データを含むマルチメディアデータを読み取るステップ、
前記記録媒体に記録されたマルチメディアデータが前記映像データおよび音声データに関連付けられた字幕や台本等のテキストデータを含む場合に前記記録媒体から読み出した前記テキストデータ、または、前記記録媒体から読み出した音声データを変換したテキストデータであって、前記マルチメディアデータと時間軸に沿って関連付けられた複数の文からなるテキストデータを取得するステップ、
前記テキストデータを話題の単位ごとに分割するステップ、
前記テキストデータの分割位置を前記マルチメディアデータと関連付けて記憶部に格納するステップ、
検索条件として入力されたテキストデータと前記話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、
前記判定した類似度に基づいて前記記憶部に格納したテキストデータの分割位置から前記マルチメディアデータの再生位置を決定するステップ
をコンピュータに実行させるマルチメディアデータ検索プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、記録媒体に記録された映画、ドラマ、教育やニュース等の映像および音声を再生する際の再生位置を検索するためのマルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラムに関する。
【０００２】
【従来の技術】
ビデオテープ、ＤＡＴ（Ｄｉｇｉｔａｌ  Ａｕｄｉｏ  Ｔａｐｅ）などの磁気テープや、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＬＤ（Ｌａｓｅｒ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などの光ディスク等の記録媒体に記録された映像および音声を再生する際、利用者は見たい場面を再生するには、読み取り装置により早送り操作や巻き戻し操作を行って該当する場面の頭出しをする必要がある。
【０００３】
従来、記録媒体上に記録された映像データを検索する装置として、例えば特開平９−１６７４４２号公報に記載の記録再生装置がある。この記録再生装置は、データ空き領域に予めテキストデータを記録し、この記録されたテキストデータをキーワードとして用いて映像データを検索するように構成したものであり、所望とする映像を高速に頭出しすることが可能である。
【０００４】
【発明が解決しようとする課題】
ところが、この記録再生装置では、取材ジャーナリスト等が撮影現場で映像にコメントを記録するなどして検索用のテキストデータを作成する必要がある。この作業は極めて煩わしいものであり、映像の記録時間が２〜３時間と長いものではさらに労力を要する。したがって、映画やドラマなどの映像をこのような検索用のテキストデータとともに記録して市販する場合、その製造コストも高くなる。
【０００５】
また、従来の方法では、キーワードと一致するテキストデータを検索することによって映像の頭出しを行うが、必ずしも利用者が見たい場面を表すキーワードと一致するテキストデータが準備されているとは限らない。したがって、キーワードを入力しても利用者が意図する場面に頭出しされないことも多い。
【０００６】
そこで、本発明においては、映画、ドラマ、教育やニュース等の映像および音声が記録された記録媒体から利用者の見たい場面を適切に検索可能とするマルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラムを提供する。
【０００７】
【課題を解決するための手段】
本発明のマルチメディアデータ検索装置は、記録媒体に記録され互いに関連付けられた映像データおよび音声データを含むマルチメディアデータの再生位置を検索するマルチメディアデータ検索装置であって、マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割しその分割位置をマルチメディアデータと関連付けて記憶部に格納する手段、検索条件として入力されるテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する手段、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定する再生位置決定手段を備えたものである。
【０００８】
本発明のマルチメディアデータ検索方法は、記録媒体に記録されたマルチメディアデータを読み取るステップ、マルチメディアデータと関連付けられたテキストデータを取得するステップ、テキストデータを話題の単位ごとに分割するステップ、テキストデータの分割位置をマルチメディアデータと関連付けて記憶部に格納するステップ、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定するステップを含むことを特徴とする。
【０００９】
また、本発明のマルチメディアデータ検索プログラムは、記録媒体に記録されたマルチメディアデータを読み取るステップ、マルチメディアデータと関連付けられたテキストデータを取得するステップ、テキストデータを話題の単位ごとに分割するステップ、テキストデータの分割位置をマルチメディアデータと関連付けて記憶部に格納するステップ、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定するステップをコンピュータに実行させるためのものであることを特徴とする。
【００１０】
これらの発明によれば、利用者によって入力された検索条件としてのテキストデータに基づいて、意味的に類似する話題が含まれた部分のマルチメディアデータが検索され、その部分が再生位置として決定される。
【００１１】
ここで、マルチメディアデータと関連付けられたテキストデータは、記録媒体に記録されたマルチメディアデータが映像データおよび音声データに関連付けられたテキストデータを含む場合に記録媒体から読み出したテキストデータ、または、記録媒体から読み出した音声データを変換したテキストデータとすることができる。
【００１２】
記録媒体から読み出した音声データをテキストデータへ変換することによりその映画やドラマ等の字幕や台本等のテキストデータが予め記録媒体に記録されてない場合であっても利用者の見たい場面を適切に検索することができるが、記録媒体にこれらのテキストデータが予め映像データおよび音声データに関連付けて記録されている場合、このテキストデータを処理してマルチメディアデータの再生位置の決定に利用することで、音声データからの変換精度に関わらずより高精度な検索が可能となる。
【００１３】
また、判定した類似度に基づいてマルチメディアデータの再生位置を決定する際、類似度の高いものから順に再生位置の候補として決定することによって、利用者によって入力された検索条件としてのテキストデータに意味的に最も類似する話題が含まれた部分から順に再生位置として決定される。
【００１４】
また、検索条件として入力されるテキストデータは、キーボードなどの文字入力装置により直接入力されたデータまたはマイクなどの音声入力装置により入力された音声をテキスト変換したデータとすることが可能であり、音声入力装置による音声入力ではキーボードから文字を入力する手間を省くことができ、文字入力装置による直接入力ではより高精度な検索が可能となる。
【００１５】
【発明の実施の形態】
図１は本発明の実施の形態におけるマルチメディアデータ検索装置のハードウェア構成図、図２は図１のマルチメディアデータ検索装置の機能ブロック図である。
【００１６】
図１において、本実施形態におけるマルチメディアデータ検索装置は、各部を制御する制御部１、主に制御部１を動作させるプログラムを記憶する主記憶部２、処理中のプログラムや演算中のデータ等を記憶する補助記憶部３、検索条件等を入力するキーボードなどの入力部４、マルチメディアデータに基づいて映像および音声を再生する再生部５、磁気テープや光ディスク等の記録媒体６ａから各種データを読み取る読取部６により構成される。記録媒体６ａに記録されるマルチメディアデータは、主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データなどであり、互いに時間軸に沿って関連付けられたものである。
【００１７】
制御部１は、主記憶部２に記憶したプログラムを読み出し実行することによって、図２に示すテキスト変換手段１１、分割手段１２、類似度判定手段１３および再生位置決定手段１４として機能する。
【００１８】
テキスト変換手段１１は、読取部６によって記録媒体６ａから読み出した音声データを変換してテキストデータを得る。得られたテキストデータは、マルチメディアデータ（映像データ、音声データ）と時間軸に沿って関連付けられたものである。なお、記録媒体６ａに記録されたマルチメディアデータが映像データおよび音声データに関連付けられたテキストデータを予め含む場合、テキスト変換手段１１は音声データからテキストデータへの変換処理を行わないものとする。
【００１９】
分割手段１２は、マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割しその分割位置をマルチメディアデータと関連付けて補助記憶部３に格納する。テキストデータを話題の単位ごとに分割する処理としては、例えばＨｅａｒｓｔ，Ｍ．Ａ．：  ＴｅｘｔＴｉｌｉｎｇ：Ｓｅｇｍｅｎｔｉｎｇ  Ｔｅｘｔ  ｉｎｔｏ  Ｍｕｌｔｉ−ｐａｒａｇｒａｐｈ  ＳｕｂｔｏｐｉｃＰａｓｓａｇｅｓ，  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ，  Ｖｏｌ．２３，  Ｎｏ．１，  ｐｐ．３３−６４（１９９７）に記載されたベクトル空間法を用いたテキストセグメンテーション手法などを用いることができる。
【００２０】
図３は分割手段１２によるテキストデータの分割処理を示す説明図である。
図３に示すように、分割手段１２は、まず、マルチメディアデータと関連付けられたテキストデータを形態素解析によって１文ずつ区切り（文１，文２，・・・，文Ｎ）、それぞれの文１〜Ｎの開始時間および終了時間を補助記憶部３へ格納する。そして、それぞれの文から単語を抽出して話題が切り替わる部分をベクトル空間法などに基づくテキストセグメンテーション手法により決定し、話題の単位ごとに各文１〜Ｎを各ブロック１〜ｎへとまとめ、それぞれのブロック１〜ｎの開始時間および終了時間を補助記憶部３へ格納する。これにより、テキストデータは話題の単位ごとに分割されることになる。また、各ブロック１〜ｎの開始時間および終了時間は、テキストデータの話題の単位ごとの分割位置となる。
【００２１】
類似度判定手段１３は、入力部４により検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する。この２つのテキストデータの意味的な類似度を判定する処理としては、例えばベクトル空間法を用いることができる。ベクトル空間法では、ｎ個の異なる単語をｎ次元ベクトルのｎ個の単位元と対応付け、比較する２つのテキストデータにおけるそれぞれの単語の出現分布をベクトルで表現し、得られた２つのベクトルの内積を計算して類似度を求める（長尾真編：「自然言語処理」，ｐｐ．４２１−４２６，岩波書店，１９９６年）。このとき、利用者が検索条件として入力したテキストデータ中の個々の単語の類義語を考慮してこの２つのテキストの類似度を判定することも可能である。例えば、検索条件として入力されたテキストデータ中に「ベースボール」が含まれる場合、これに関連する類義語「野球」、「草野球」等が、分割されたそれぞれのテキストデータ中に出現していれば、それらの類義語を「ベースボール」と一致したとみなすことにより、類似度の判定精度を向上させることができる。
【００２２】
再生位置決定手段１４は、判定した類似度に基づいて補助記憶部に格納した分割位置からマルチメディアデータの再生位置を決定する。類似度は、入力されたテキストデータまたはこのテキストデータに関連する類義語が各ブロック１〜ｎ中に繰り返し多く存在するものほど高くなる。再生位置決定手段１４は、類似度の高いものから順に再生位置の候補として決定する。
【００２３】
図４は上記構成のマルチメディアデータ検索装置によるマルチメディアデータ検索処理を示すフロー図である。
ステップＳ１０１において、制御部１は、読取部６を制御し、記録媒体６ａに記録されたマルチメディアデータ（映像データ、音声データ）を読み取る。ステップＳ１０２では、制御部１は、この読み取った音声データをテキスト変換手段１１によってテキストデータへと変換する。ステップＳ１０３では、制御部１は、この得られたテキストデータを分割手段１２によって話題の単位ごとに分割し、この分割したテキストデータの分割位置をステップＳ１０１において読み取ったマルチメディアデータと関連付けて補助記憶部３に格納する。
【００２４】
ステップＳ１０４では、利用者が入力部４により入力した検索条件としてのテキストデータとステップＳ１０３において話題の単位ごとに分割したそれぞれのテキストデータとを類似度判定手段１３によって比較し、互いの意味的な類似度を判定する。ステップＳ１０５では、ステップＳ１０４において判定した類似度に基づいて再生位置決定手段１４により補助記憶部３に格納した分割位置からマルチメディアデータの再生位置の候補を決定する。ステップＳ１０６では、再生位置決定手段１４は、ステップＳ１０５により決定した再生位置の候補（類似度の高いもの順）の中から利用者によって入力部４により選択されたものを再生位置として決定する。ステップＳ１０７において、再生部５は、ステップＳ１０６において決定された再生位置からマルチメディアデータの再生を行う。
【００２５】
以上のように、本実施形態におけるマルチメディアデータ検索装置では、記録媒体６ａより読み出したマルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割し、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定し、判定した類似度に基づいてテキストデータの分割位置からマルチメディアデータの再生位置を決定することで、利用者によって指定された検索条件に対して意味的に類似する話題が含まれた部分のマルチメディアデータが検索されるため、利用者の見たい場面が適切に再生される。
【００２６】
すなわち、従来の再生装置のように利用者がキーワードを適切に指定し、かつこれと一致するテキストデータが準備されていない限り、利用者が見たい場面を検索できないということがなく、利用者は見たい場面に関連するテキストデータを思いついたままに指定するだけでその意図する場面に頭出しがなされ、利用者は見たい場面を容易に検索することができる。
【００２７】
なお、本実施形態においては、入力部４によって入力されるテキストデータは、キーボードなどの文字入力装置を用いて直接入力されたデータとしているが、マイクなどの音声入力装置により入力された音声をテキスト変換したデータとすることが可能であり、音声入力装置による音声入力ではキーボードから文字を入力する手間を省くことができる。
【００２８】
【発明の効果】
本発明により、以下の効果を奏することができる。
【００２９】
（１）マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割し、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定し、判定した類似度に基づいてテキストデータの分割位置からマルチメディアデータの再生位置を決定することで、利用者によって入力された検索条件としてのテキストデータに基づいて、意味的に類似する話題が含まれた部分のマルチメディアデータが検索され、利用者の見たい場面を適切に再生することが可能となる。
【００３０】
（２）記録媒体から読み出した音声データを変換してテキストデータを取得し、このテキストデータに基づいてマルチメディアデータの検索処理を行うことで、字幕や台本等のテキストデータが予め記録されていない既存の磁気テープや光ディスク等の記録媒体であっても利用者の見たい場面を適切に検索して再生することが可能となる。
【００３１】
（３）記録媒体に字幕や台本等のテキストデータが予め映像データおよび音声データに関連付けて記録されている場合、このテキストデータを処理してマルチメディアデータの再生位置の決定に利用することにより、音声データの変換精度に関わらず、より高精度な検索が可能となる。
【図面の簡単な説明】
【図１】  本発明の実施の形態におけるマルチメディアデータ検索装置のハードウェア構成図である。
【図２】  図１のマルチメディアデータ検索装置の機能ブロック図である。
【図３】  図２に示す分割手段によるテキストデータの分割処理を示す説明図である。
【図４】  本実施形態におけるマルチメディアデータ検索装置によるマルチメディアデータ検索処理を示すフロー図である。
【符号の説明】
１  制御部
２  主記憶部
３  補助記憶部
４  入力部
５  再生部
６  読取部
６ａ  記録媒体
１１  変換手段
１２  分割手段
１３  類似度判定手段
１４  再生位置決定手段
【図１】
0003685733.tif 000002
【図２】
0003685733.tif 000003
【図３】
0003685733.tif 000004
【図４】
0003685733.tif 000005