(57)【特許請求の範囲】
【請求項１】
字幕データと関連付けられた映像及び音声からなるコンテンツから、特定の映像及び／又は音声を検索する装置であって、
前記字幕データは、予め映像内の話者の役柄を区別するために色分けされた字幕文に対応する色情報を有し、
前記コンテンツを入力し、映像及び音声と字幕データとを分離して、当該映像及び音声と同期をとるための情報である時刻情報とともに当該字幕データを抽出する手段と、
前記抽出した時刻情報から、当該字幕文データが映像に同期して提示されるタイミングを表す時刻の情報を提示タイミング情報として検出する手段と、
前記抽出した字幕データから、字幕文の色情報を抽出し、抽出した色情報に関連付けられた映像内の話者の役柄を特定する話者の役柄情報を生成する手段と、
前記字幕データを抽出する際に、前記映像における画面上の字幕文の提示位置を抽出し、抽出した提示位置に最も近い画面内の話者の画面上における登場位置を検出し、検出した登場位置の情報を該話者の登場位置情報として生成する手段と、
字幕文に用いられている表音文字以外の記号文字によって、前記抽出した字幕文の種類を判別し、判別した字幕文の種類の情報を当該字幕文の付加情報として生成する手段と、
前記映像及び音声の情報を記録する映像・音声蓄積手段と、
該映像及び音声の情報に関連付けられた字幕データと前記生成した提示タイミング情報とを、字幕情報としての前記話者の役柄情報、話者の登場位置情報、及び付加情報とリンクさせた状態で記録する字幕情報蓄積手段と、
所望の映像及び／又は音声を検索するのに指定された字幕情報に基づいて、合致する字幕情報を前記字幕情報蓄積手段から探し出し、探し出した字幕情報に対応する提示タイミング情報を特定する手段と、
前記検出した提示タイミング情報に対応する映像及び音声の再生を前記映像・音声蓄積手段に指示する手段とを備えることを特徴とする映像・音声検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、放送や通信により伝送され、またはＶＴＲやビデオディスクなどの記録装置に記録されたコンテンツのなかから、所望の映像や音声を検索する映像・音声検索装置に関するものである。
【０００２】
【従来の技術】
従来、コンテンツ内の所望の映像や音声を検索するには、映像や音声に対して何らかの信号処理を施して当該映像や音声を検索する方法や、映像や音声に関するキーワード等の内容を記述した文字情報を新たに人手により作成し、これを用いて検索するなどの方法があった。
【０００３】
【発明が解決しようとする課題】
しかし、従来の方法では、映像や音声に対して何らかの信号処理を施したり、映像や音声に関するキーワード等の内容を記述した文字情報を新たに人手により作成したりする必要があり、手間がかかるだけでなく、信号処理や文字情報の作成を誤ると正しい映像や音声の検索ができなくなるという解決すべき課題があった。
【０００４】
本発明の目的は、映像や音声に対して何らかの信号処理を施したり、映像や音声に関するキーワード等の内容を記述した文字情報を新たに人手により作成したりする必要のない新規な映像・音声検索装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明映像・音声検索装置は、字幕データと関連付けられた映像及び音声からなるコンテンツから、特定の映像及び／又は音声を検索する装置であって、前記字幕データは、予め映像内の話者の役柄を区別するために色分けされた字幕文に対応する色情報を有し、前記コンテンツを入力し、映像及び音声と字幕データとを分離して、当該映像及び音声と同期をとるための情報である時刻情報とともに当該字幕データを抽出する手段と、前記抽出した時刻情報から、当該字幕文データが映像に同期して提示されるタイミングを表す時刻の情報を提示タイミング情報として検出する手段と、前記抽出した字幕データから、字幕文の色情報を抽出し、抽出した色情報に関連付けられた映像内の話者の役柄を特定する話者の役柄情報を生成する手段と、前記字幕データを抽出する際に、前記映像における画面上の字幕文の提示位置を抽出し、抽出した提示位置に最も近い画面内の話者の画面上における登場位置を検出し、検出した登場位置の情報を該話者の登場位置情報として生成する手段と、字幕文に用いられている表音文字以外の記号文字によって、前記抽出した字幕文の種類を判別し、判別した字幕文の種類の情報を当該字幕文の付加情報として生成する手段と、前記映像及び音声の情報を記録する映像・音声蓄積手段と、該映像及び音声の情報に関連付けられた字幕データと前記生成した提示タイミング情報とを、字幕情報としての前記話者の役柄情報、話者の登場位置情報、及び付加情報とリンクさせた状態で記録する字幕情報蓄積手段と、所望の映像及び／又は音声を検索するのに指定された字幕情報に基づいて、合致する字幕情報を前記字幕情報蓄積手段から探し出し、探し出した字幕情報に対応する提示タイミング情報を特定する手段と、前記検出した提示タイミング情報に対応する映像及び音声の再生を前記映像・音声蓄積手段に指示する手段とを備えることを特徴とするものである。
【０００６】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明映像・音声検索装置の構成をブロック図にて示している。
図１において、１は多重分離処理部、２は映像・音声蓄積部、３は字幕データ処理部、４は字幕情報蓄積部、５はユーザ操作部、６は字幕情報検索部、および７は検索結果出力部である。
なお、本発明において、コンテンツとは、テレビジョン放送やＶＴＲなどによる映像と音声、またはラジオ放送などによる音声で提示されるメディアにテキストデータとして符号化された字幕データが付加されたものであると定義する。
【０００７】
図１を参照して、本発明映像・音声検索装置の動作を説明する。
字幕データが、放送や通信により伝送され、またはＶＴＲやビデオディスクなどの記録装置に記録されたコンテンツに多重されている場合には、それらコンテンツは多重分離処理部１に入力される。
【０００８】
多重分離処理部１では、入力されたコンテンツを、映像・音声と字幕データとに分離し、さらに、字幕データについて映像・音声と同期を取るために必要な時刻情報も抽出する。分離された映像・音声は映像・音声蓄積部２に記録され、字幕データと時刻情報は字幕データ処理部３に入力される。
【０００９】
上記以外の通信型サービスにより伝送され、またはフロッピーディスクなどの外部記憶メディアにより受け渡しされたコンテンツの字幕データコンテンツの字幕データの場合は、コンテンツの映像や音声は映像・音声蓄積部２に記録され、字幕データについては、コンテンツの映像・音声と同期を取るための字幕データの時刻情報も同時に得られるため、時刻情報と併せて字幕データ処理部３に入力される。
【００１０】
字幕データ処理部３は、提示タイミング抽出部３−ａ、色情報抽出部３−ｂ、提示位置情報抽出部３−ｃ、および付加情報抽出部３−ｄで構成され、入力された字幕データと時刻情報とを用いて、字幕文とともに、その提示タイミング情報、話者の役柄情報、話者の画面上における登場位置情報、および以下に説明するような付加情報をそれぞれ検出して出力する。
【００１１】
まず、提示タイミング抽出部３−ａでは、字幕文の提示タイミング情報を抽出する。ここでは、入力された時刻情報から映像に同期して提示される際の字幕文の提示タイミング情報を検出する。
【００１２】
色情報抽出部３−ｂでは、字幕文の色情報を抽出する。字幕文の色は、例えば、聴覚障害者用字幕においては、ドラマの主人公やドキュメンタリー番組のナレーター等の主たる登場人物の字幕文は黄色、主たる登場人物以外はシアンを使用するなど、登場人物とその登場人物の字幕の対応関係を明確にするために字幕文を色分けしている。従って、抽出された字幕文の色情報からその字幕に該当する話者の役柄情報を検出することができる。
【００１３】
提示位置情報抽出部３−ｃでは、画面上の字幕文の提示位置を抽出する。字幕文は、同一画面上に複数の登場人物が存在し、話をしている場合、それぞれの登場人物に最も近い部分に、その登場人物が話している字幕が提示される。従って、抽出された字幕文の提示位置から話者の画面上での登場位置を検出することができる。
【００１４】
付加情報抽出部３−ｄでは、字幕文中の表音文字以外の記号文字を利用し、その字幕文の種類を判別し、字幕文の付加情報を作成する。字幕文中で使用される記号文字の種類と使用例を以下のａ．〜ｐ．に示す。
ａ．話者名：（  ）＋セリフ
使用例
（Ａさん）こんにちは
ｂ．音の説明：（  ）
使用例
（ノック）
（汽笛）
本例の場合、ａ．の話者名と異なり、（  ）以降に文がない
【００１５】
ｃ．セリフ中の引用文、ことわざ、歌詞など：「  」
使用例
「猫に小判」
ｄ．書名、作品名、曲名、番組名など：『  』
使用例
『万葉集』
ｅ．ナレーション：＜  ＞
使用例
＜ナレーションが記述されます＞
ｆ．モノローグ：《  》
使用例
《ぶつぶつ》
【００１６】
ｇ．音楽：
【外１】
0004172904.tif 000002
使用例
〔外１〕
ｈ．楽器：〔外１〕＋（  ）
使用例
〔外１〕（笛）
i ．曲名：〔外１〕＋（『  』）
使用例
〔外１〕（『曲名』）
ｊ．歌詞：〔外１〕＋「  」
使用例
〔外１〕「君が代は・・・」
【００１７】
ｋ．シーン外の音声：
【外２】
0004172904.tif 000003
使用例
〔外２〕（男）こんにちは
ｌ．電話の呼鈴：
【外３】
0004172904.tif 000004
使用例
〔外３〕（ただし、〔外３〕を点滅させて表示する）
ｍ．電話の声：〔外３〕＋セリフ、または〔外３〕＋（話者名）＋セリフ
使用例
〔外３〕（Ａさん）もしもし
【００１８】
ｎ．状況説明：
【外４】
0004172904.tif 000005
使用例
【外５】
0004172904.tif 000006
ｏ．インタホン、無線など：〔外４〕＋セリフ、または〔外４〕＋（話者名）＋セリフ
使用例
【外６】
0004172904.tif 000007
（Ａさん）了解
ｐ．次のページの文と続く：⇒
使用例
１ページ目    ひさかたの  ひかりのどけき  春の日に⇒
２ページ目    しづ心なく  花のちるらむ
【００１９】
これらの記号文字から、付加情報抽出部３−ｄは、字幕文の付加情報として、例えば、字幕文の話者名や、字幕文がセリフか、音の説明か、あるいは状況説明かなど字幕の種類、また、セリフが通常セリフか、ナレーションか、モノローグか、あるいは歌詞かなどのセリフの種類、さらには、セリフにの音声がシーン外からか、電話からか、あるいは無線機からのいずれから出ているかなどの付加情報を検出することができる。
【００２０】
字幕データ処理部３によって検出され、出力された字幕文、字幕文の提示タイミング情報、話者の役柄情報、話者の画面上における登場位置情報、および付加情報は字幕文毎にリンクさせた状態で字幕情報蓄積部４に記録される。ここで、字幕文とリンクされた各種情報とをあわせて字幕情報と定義する。
【００２１】
以上により、コンテンツに付加された字幕の字幕情報がコンテンツに対応して字幕情報蓄積部４に記録され、蓄積されたので、ユーザは字幕情報を指定することにより所望の字幕情報が含まれているコンテンツを検索して出力することが可能となる。
【００２２】
図１および図２を参照してさらに具体的に説明する。
ユーザはユーザ操作部５から検索したい対象を指定する。例えば、コンテンツの主役が話しているシーンの指定、あるいは同じコンテンツで、ナレーションがついているシーンの指定などである。指定された情報（この場合、シーン情報）は字幕情報検索部６に入力される。
【００２３】
字幕情報検索部６では、まず、ユーザー操作部５から指定された情報により、字幕情報蓄積部４内の字幕情報から検索する。次に、この検索の結果から、該当する字幕文の提示タイミング情報を取得する。さらに、取得した提示タイミング情報からその字幕文の提示タイミングに相当する映像を映像・音声蓄積部から呼び出す。
【００２４】
図２は、字幕情報検索部６が字幕情報の検索を行うときに図１に示す他の部分（映像・音声蓄積部２、字幕情報蓄積部４、ユーザ操作部、および検索結果出力部７）とどのような順序で、どのようなやりとりを行って検索を行うかを示している。
なお、図２は、特に、番組内のナレーションのシーンを検索する場合について示している。
図２において、ユーザが、ユーザ操作部５からナレーションのシーンを検索するよう指示した場合、字幕情報検索部６は、ユーザー操作部５からの検索命令を取得し、字幕情報蓄積部４に対して蓄積されている字幕情報を転送するよう指示する。
【００２５】
字幕情報検索部６においては、この指示により字幕情報蓄積部４から蓄積されている字幕情報が転送されてきた後、転送されてきた字幕情報と検索条件（この場合ナレーションのシーン）とを比較し、条件が合致する字幕情報を探し出す。探し出した字幕情報の提示タイミング情報をもとに映像・音声蓄積部２に該当する映像・音声の再生を指示し、また、字幕情報蓄積部４には該当する字幕情報を再生するよう指示する。
【００２６】
これらの指示に従って、映像・音声蓄積部２では該当する提示タイミングの映像・音声を再生し、また、字幕情報蓄積部４では該当する字幕情報を再生し、これら再生された映像・音声および字幕情報は検索結果出力部７から出力される。
【００２７】
【発明の効果】
本発明によれば、コンテンツ内の映像や音声を検索する際に、映像および音声に対して何らの信号処理を施す必要がなく、また、映像や音声に関するキーワード等の内容を記述した文字情報を新たに人手により作成することも必要としないで映像インデックスを作成することができ、所望の映像や音声の検索が可能となる。
【図面の簡単な説明】
【図１】  本発明映像・音声検索装置の構成をブロック図にて示している。
【図２】  図１中の字幕情報検索部が字幕情報の検索を行うときに図１中の他の部分とどのような順序で、どのようなやりとりを行って検索を行うかを示している。
【符号の説明】
１  多重分離処理部
２  映像・音声蓄積部
３  字幕データ処理部
４  字幕情報蓄積部
５  ユーザ操作部
６  字幕情報検索部
７  検索結果出力部
【図１】
0004172904.tif 000008
【図２】
0004172904.tif 000009