(57)【要約】【課題】映像上の具象物を特定し、インデキシングされた映像として蓄積手段に蓄積する場合、多種多様な具象物を、簡易な手段により特定可能な映像インデキシング装置を提供する。【解決手段】クローズドキャプションを解析し、具象物が映っている場面に付加されることの多い文の特徴から、映像上の具象物を特定する。その特徴は、第１に、文末が体言止めである文、または文末が「名詞＋断定の助動詞」の文の場合に、その箇所で、具象物が映っていることが多い。第２に、指示代名詞を含む文の場合に、その箇所で、その文の「が格」に位置する名詞の具象物が映像に映っていることが多い。特徴抽出手段６は、このような言語的特徴を有する文を言語処理手法を用いて抽出し、具象物名とクローズドキャプションと時刻情報とを組み合わせ、また、その映像と時刻情報とを組み合わせて、それぞれ映像インデキシング蓄積手段７に蓄積する。【選択図】図１
2007006116.tif 000002
【特許請求の範囲】
【請求項１】
元映像情報から映像上の具象物を特定し、該具象物の映像を蓄積する映像インデキシング装置において、
元映像情報に含まれるクローズドキャプションから、文末が体言止めの文、または文末の最後の２つの品詞が名詞及び断定の助動詞の文を抽出し、該抽出した文に含まれる名詞のうちの最終に現れる名詞により、具象物の名称を抽出する特徴抽出手段を備えたことを特徴とする映像インデキシング装置。
【請求項２】
元映像情報から映像上の具象物を特定し、該具象物の映像を蓄積する映像インデキシング装置において、
元映像情報に含まれるクローズドキャプションから指示代名詞を含む文を抽出し、該抽出した文に含まれる名詞のうちの、が格に位置する名詞により、具象物の名称を抽出する特徴抽出手段を備えたことを特徴とする映像インデキシング装置。
【請求項３】
請求項１または２に記載の映像インデキシング装置において、
さらに、元映像情報からクローズドキャプション及び映像を分割し、該クローズドキャプション及び映像にそれぞれ同一の時刻情報を付与する分割手段と、
前記特徴抽出手段により抽出された具象物の名称と、前記分割手段により分割及び付与された時刻情報付きクローズドキャプションとを含むインデックス、及び、前記分割手段により分割及び付与された時刻情報付き映像が蓄積される映像インデキシング蓄積手段とを備えたことを特徴とする映像インデキシング装置。
【請求項４】
請求項３に記載の映像インデキシング装置において、
さらに、前記映像インデキシング蓄積手段から、具象物の名称によりインデックス及び時刻情報付き映像を検索する検索手段を備えたことを特徴とする映像インデキシング装置。
【請求項５】
請求項１から４までのいずれか一項に記載の映像インデキシング装置において、
さらに、具象物の名称が蓄積された具象物辞書蓄積手段を備え、
前記特徴抽出手段が、前記具象物辞書蓄積手段を検索し、請求項１の最終の名詞または請求項２のが格に位置する名詞が蓄積されていた場合に、具象物の名称を抽出することを特徴とする映像インデキシング装置。
【請求項６】
請求項３から５までのいずれか一項に記載の映像インデキシング装置において、
前記元映像情報、請求項３の映像インデキシング蓄積手段に蓄積されたインデックス及び時刻情報付き映像が、番組毎に区別されていることを特徴とする映像インデキシング装置。
【請求項７】
請求項１から６までのいずれか一項に記載の映像インデキシング装置において、
前記クローズドキャプションの代わりに音声とすることを特徴とする映像インデキシング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然言語処理技術を利用した情報抽出処理に関し、特に、クローズドキャプションを用いて映像上の具象物を特定する技術に関する。
【背景技術】
【０００２】
従来、映像上の具象物を特定する技術として、“Ｎａｍｅ−Ｉｔ”と呼ばれるシステムが提案されている（非特許文献１を参照）。このシステムは、クローズドキャプション、顔画像認識、トランスクリプト、及びビデオキャプション（オープンキャプション）を用いて、ニュース番組の映像に出てくる人物の名前及び顔を特定するものである。具体的には、映像情報から人物の顔を抽出し、音声情報から人物に関するワードを抽出し、名前と顔との間の関連を評価し、そして、その人物の名前及び顔を特定する。
【０００３】
このように特定された情報は、インデックスと映像とが関連付けられ、インデキシングされた映像として記憶装置に蓄積される。そして、例えば映像制作者により、これらの映像が二次的に利用される。
【０００４】
ここで、クローズドキャプションとは、テレビ番組を例にすると、字幕放送用のテレビでしか見ることができない字幕のことをいう。これに対し、番組の映像上に載せられている字幕（テロップ）をオープンキャプションという。
【０００５】
【非特許文献１】Shin’ichi Satoh and Yuichi Nakamura and Takeo Kanade、“Name-It:Naming and Detecting Faces in Video by the Integration of Image and Natural Language Processing”、International Jiont Conference on Artificial Intelligence,Inc.、Proceedings of IJCAI-97、pp.1488-1493、１９９７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述の“Ｎａｍｅ−Ｉｔ”と呼ばれるシステムでは、ニュース番組の映像に出てくる人物の名前及び顔しか特定できないため、その用途が限定されていた。例えば、映像制作者の立場としては、ニュース番組の人物だけでなく、様々な具象物を対象に、インデキシングされた映像を利用できることが望ましい。
【０００７】
また、前述のシステムでは、映像上の人物の名前及び顔を特定する際に、クローズドキャプション、顔画像認識、トランスクリプト等の大量の情報が必要になるため、その処理計算量も多くなるという問題があった。
【０００８】
そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、映像上の具象物を特定し、インデキシングされた映像として蓄積手段に蓄積する場合、多種多様な具象物を、簡易な手段により特定可能な映像インデキシング装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決するため、クローズドキャプションを解析し、具象物の映っている場面に付加されることの多い文の特徴により、映像上の具象物を特定することを特徴とする。ここで、映像は、静止画や動画を含み、音声の有無を問わないものとする。
【００１０】
すなわち、本発明による映像インデキシング装置は、元映像情報に含まれるクローズドキャプションから、文末が体言止めの文、または文末の最後の２つの品詞が名詞及び断定の助動詞の文を抽出し、該抽出した文に含まれる名詞のうちの最終に現れる名詞により、具象物の名称を抽出する特徴抽出手段を備えたことを特徴とする。また、クローズドキャプションから指示代名詞を含む文を抽出し、該抽出した文に含まれる名詞のうちの、が格に位置する名詞により具象物の名称を抽出する特徴抽出手段を備えたことを特徴とする。
【００１１】
また、本発明による映像インデキシング装置は、さらに、元映像情報からクローズドキャプション及び映像を分割し、該クローズドキャプション及び映像にそれぞれ同一の時刻情報を付与する分割手段と、前記特徴抽出手段により抽出された具象物の名称と、前記分割手段により分割及び付与された時刻情報付きクローズドキャプションとを含むインデックス、及び、前記分割手段により分割及び付与された時刻情報付き映像が蓄積される映像インデキシング蓄積手段とを備えたことを特徴とする。
【００１２】
また、本発明による映像インデキシング装置は、さらに、前記映像インデキシング蓄積手段から、具象物の名称によりインデックス及び時刻情報付き映像を検索する検索手段を備えたことを特徴とする。
【００１３】
また、本発明による映像インデキシング装置は、さらに、具象物の名称が蓄積された具象物辞書蓄積手段を備え、前記特徴抽出手段が、前記具象物辞書蓄積手段を検索し、請求項１の最終の名詞または請求項２のが格に位置する名詞が蓄積されていた場合に、具象物の名称を抽出することを特徴とする。
【００１４】
また、本発明による映像インデキシング装置は、前記元映像情報、映像インデキシング蓄積手段に蓄積されたインデックス及び時刻情報付き映像が、番組毎に区別されていることを特徴とする。
【００１５】
また、本発明による映像インデキシング装置は、前記クローズドキャプションの代わりに音声とすることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、クローズドキャプションを解析して具象物を特定するようにしたから、人物だけでなく動物等の多種多様な具象物を対象とすることが可能となる。また、クローズドキャプションのみを用いるようにしたから、簡易な手段により具象物を特定することができ、従来技術のように大量の情報を用いる必要がなく、インデキシングのための処理計算量も少なくて済む。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を用いて詳細に説明する。以下に説明する実施例１〜３は、いずれも、クローズドキャプションを解析し、具象物が映っている場面に付加されることの多い文の特徴から、映像上の具象物を特定する。実施例４は、音声情報を解析し、具象物が映っている場面に付加されることの多い文の特徴から、映像上の具象物を特定する。クローズドキャプションにおける文の特徴は、第１に、文末が体言止めである文、または文末が「名詞＋断定の助動詞」の文の場合に、その箇所で、具象物が映っている可能性が高いことである。例えば、「突然現れたのは、ライオン。」「本当におとなしいライオンです。」というクローズドキャプションにおいては、文の最後の名詞である「ライオン」という具象物が映像に映っていることが多い。
【００１８】
第２に、指示代名詞を含む文の場合に、その箇所で、その文の「が格」に位置する名詞の具象物が映像に映っている可能性が高いことである。例えば、「これは、ライオンが餌を食べているところです。」というクローズドキャプションにおいては、「が格」の「ライオン」が映像に映っていることが多い。
【００１９】
このような言語的特徴を有する文を言語処理手法を用いて抽出し、対象となる具象物名とその文が提示される時刻情報とを対にし、また、その映像と時刻情報とを対にしてそれぞれ蓄積手段に蓄積する。ここで、映像は、静止画や動画を含み、音声の有無を問わないものとする。
【実施例１】
【００２０】
まず、実施例１の映像インデキシング装置について説明する。図１は、本発明による実施例１の映像インデキシング装置を示す全体構成図である。この映像インデキシング装置１０１は、番組情報蓄積手段１、クローズドキャプション・映像分割手段２、クローズドキャプション蓄積手段５、特徴抽出手段６、映像インデキシング蓄積手段７、検索手段１２、及び映像検索インターフェース１４を備えている。
【００２１】
番組情報蓄積手段１には、テレビ番組情報が蓄積されている。ここで、テレビ番組情報は、時刻情報を含み、クローズドキャプションが映像と共に併せて放送される情報から構成されているものとする。クローズドキャプション・映像分割手段２は、番組情報蓄積手段１からテレビ番組情報を読み出し、当該テレビ番組情報からクローズドキャプション及び映像を分割する。そして、クローズドキャプション及び映像にそれぞれ同一の時刻情報を付加し、時刻情報付きクローズドキャプション３を出力し、クローズドキャプション蓄積手段５に蓄積する。また、時刻情報付き映像４を出力し、映像インデキシング蓄積手段７に蓄積する。クローズドキャプション蓄積手段５には、時刻情報付きクローズドキャプションが蓄積される。
【００２２】
特徴抽出手段６は、クローズドキャプション蓄積手段５から時刻情報付きクローズドキャプションを読み出し、当該時刻情報付きクローズドキャプションから、具象物が被写体として映っている場面の映像を表している文を抽出し、検索のためのインデックス（具象物名、時刻情報及びクローズドキャプション）を生成して出力し、映像インデキシング蓄積手段７に蓄積する。特徴抽出手段６の詳細については後述する。
【００２３】
映像インデキシング蓄積手段７は、インデックス蓄積手段８及び時刻情報付き映像蓄積手段９を備えており、インデックス蓄積手段８には、具象物名、時刻情報及びクローズドキャプションから成るインデックスが蓄積され、時刻情報付き映像蓄積手段９には、時刻情報付き映像が蓄積される。
【００２４】
検索手段１２は、映像検索インターフェース１４から具象物を指定する検索語を入力し、当該検索語に基づいて、映像インデキシング蓄積手段７のインデックス蓄積手段８を検索し、インデックス蓄積手段８から時刻情報付きインデックス１０（具象物名、時刻情報及びクローズドキャプション）を読み出す。そして、時刻情報付きインデックス１０の時刻情報について、当該時刻情報の前後一定区間の映像を映像インデキシング蓄積手段７の時刻情報付き映像蓄積手段９から取り出す。ここで、時刻情報の前後一定区間を示す時間幅は、予め設定されているものとする。
【００２５】
具体的には、検索手段１２は、インデックス蓄積手段８から読み出した時刻情報付きインデックス１０の時刻情報に基づいて、時刻情報付き映像蓄積手段９を検索し、当該時刻情報の前後の一定区間の時刻情報付き映像１１を読み出す。そして、検索手段１２は、時刻情報、対象となる具象物が映っていると考えられる映像、及びクローズドキャプションから成る検索結果１３を出力する。
【００２６】
映像検索インターフェース１４は、映像インデキシング装置１０１に対するオペレータの操作や、外部からの通信等により、具象物を指定する検索語を入力し、当該検索語を検索手段１２に出力する。また、検索手段１２から検索結果１３を入力し、当該検索結果１３を画面に表示したり、外部に送信したりする。
【００２７】
図２は、映像検索インターフェース１４が画面に表示する検索結果一覧の例を示す図である。映像検索インターフェース１４は、図２に示すように、時刻情報、サムネイル画像及びクローズドキャプションを画面に一覧表示する。この場合、映像検索インターフェース１４は、映像をサムネイル画像として画面に表示する。また、オペレータが、表示された検索結果１３のサムネイル画像をクリックすると、映像検索インターフェース１４は、その映像を再生する。
【００２８】
次に、図１に示した特徴抽出手段６の動作について詳細に説明する。図３−１は、図１に示した特徴抽出手段６の処理の第１の例を示すフローチャート図である。以下、図３−１を参照して、第１の例について説明する。特徴抽出手段６は、クローズドキャプション蓄積手段５から時刻情報付きクローズドキャプションを読み出し、クローズドキャプションテキストデータを入力する（ステップＳ３１）。そして、当該クローズドキャプションテキストデータから文を１文毎に取り出し（ステップＳ３２）、形態素解析を行う（ステップＳ３３）。
【００２９】
図４は、図３に示したステップ３３における形態素解析を説明する図である。形態素解析とは、文を単語毎に分割すると共に、その品詞も出力する処理をいう。図４を参照して、例えば、クローズドキャプションテキストデータから取り出した１文が「これはライオン。」の場合、形態素解析により、「これ」「は」「ライオン」「。」を出力する。また、入力したクローズドキャプションテキストデータが「本当におとなしいライオンです。」の場合、形態素解析により、「本当に」「おとなしい」「ライオン」「です」「。」を出力する。
【００３０】
特徴抽出手段６は、ステップ３３の形態素解析の結果に基づいて、クローズドキャプションテキストデータから取り出した１文が、（１）文末が体言止め、または、（２）「名詞＋断定の助動詞」であるか否かを判定する（ステップＳ３４）。具体的には、（１）では、文の中で一番最後の品詞が名詞の場合が相当し、（２）では、文の最後の２つの品詞が「名詞」及び「断定の助動詞」の場合が相当する。つまり、（１）または（２）を満たす文を抽出する。（１）の場合は、「名詞＋“だけ”」「名詞＋“ほど”」等の「名詞＋副助詞」のパターンを満たす文を抽出するようにしてもよい。
【００３１】
そして、特徴抽出手段６は、ステップ３４で抽出した文について、最終名詞（文の中で一番最後の名詞）を具象物名とし、具象物名、時刻情報及びクローズドキャプションから成るインデックス形式の情報（インデックス）を生成し（ステップＳ３５）、当該インデックスをインデックス蓄積手段８に蓄積する（ステップＳ３６）。
【００３２】
図３−２は、図１に示した特徴抽出手段６の処理の第２の例を示すフローチャート図である。以下、図３−２を参照して、第２の例について説明する。特徴抽出手段６は、番組情報蓄積手段１から時刻情報付きクローズドキャプションを読み出し、クローズドキャプションテキストデータを入力する（ステップＳ３１）。そして、当該クローズドキャプションテキストデータから文を１文毎に取り出し（ステップＳ３２）、形態素解析を行う（ステップＳ３３）。ステップ３１〜３３は、図３−１に示したステップ３１〜３３と同様である。
【００３３】
特徴抽出手段６は、ステップ３３の形態素解析の結果に基づいて、クローズドキャプションテキストデータから取り出した１文が、指示代名詞を含むか否かを判定する（ステップＳ３７）。そして、指示代名詞を含む文を抽出する。ステップ３７で抽出した文について、「が格」に位置する名詞を具象物名とし、具象物名、時刻情報及びクローズドキャプションから成るインデックス形式の情報（インデックス）を生成し（ステップＳ３８）、当該インデックスをインデックス蓄積手段８に蓄積する（ステップＳ３６）。ステップ３６は、図３−１に示したステップ３６と同様である。
【００３４】
図５は、図３−１に示したステップ３５、及び図３−２に示したステップ３８において、特徴抽出手段６により生成されたインデックス形式の情報を示す図である。このインデックス形式の情報は、具象物名５１、時刻情報５２及びクローズドキャプション５３から構成されている。具象物名５１は、ステップ３４，３７において抽出した文の中で、最後に現れる名詞または「が格」の名詞であり、検索の際には、この具象物名とのマッチングがなされる。時刻情報５２は、クローズドキャプション・映像分割手段２が、クローズドキャプション及び映像に時刻情報を付加したときの時刻情報である。
【００３５】
以上のように、実施例１の映像インデキシング装置１０１によれば、クローズドキャプション・映像分割手段２が、テレビ番組情報からクローズドキャプション及び映像を分割し、同一の時刻情報を付加し、時刻情報付きクローズドキャプション３を映像インデキシング蓄積手段７に蓄積する。また、特徴抽出手段６が、時刻情報付きクローズドキャプションから、具象物が被写体として映っている場面の映像を表している文を、所定の言語処理技術を用いて抽出すると共に、具象物名を抽出し、具象物名、時刻情報及びクローズドキャプションから成るインデックスを映像インデキシング蓄積手段７に蓄積するようにした。これにより、人物だけでなく動物等の多種多様な具象物を対象として、インデキシングした映像を蓄積することが可能となる。また、クローズドキャプションから具象物名を抽出するようにしたから、簡易な手段によりインデキシングした映像を蓄積することが可能となる。また、具象物名を検索語として、インデキシングした映像を検索することができるから、かかる映像の二次的利用が容易になる。
【００３６】
また、実施例１の映像インデキシング装置１０１によれば、番組制作現場において制作者が映像を二次利用する場合、通常、「○○が映っている映像」で検索する。本実施例は、番組制作現場において通常行われている検索に対応することができる。また、クローズドキャプションは、既に一般化して多くの番組で放送されている。したがって、新たな情報を入力してテレビ番組情報を構成する必要がない。また、前述のように、自然言語処理技術を利用して具象物を特定するようにしたから、単純なキーワードマッチング手法を用いるよりも、具象物を高精度に特定することが可能となる。
【実施例２】
【００３７】
次に、実施例２の映像インデキシング装置について説明する。実施例２は、実施例１に比べて、具象物を特定する精度をさらに向上させたものである。図６は、本発明による実施例２の映像インデキシング装置を示す全体構成図である。この映像インデキシング装置１０２は、番組情報蓄積手段１、クローズドキャプション・映像分割手段２、クローズドキャプション蓄積手段５、特徴抽出手段６０、具象物辞書蓄積手段６１、映像インデキシング蓄積手段７、検索手段１２、及び映像検索インターフェース１４を備えている。映像インデキシング装置１０２と図１に示した実施例１の映像インデキシング装置１０１とを比較すると、映像インデキシング装置１０２は、特徴抽出手段６の代わりに特徴抽出手段６０を備え、また、新たに具象物辞書蓄積手段６１を備えている点で相違する。尚、図６の映像インデキシング装置１０２において、図１の映像インデキシング装置１０１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。
【００３８】
特徴抽出手段６０は、クローズドキャプション蓄積手段５から時刻情報付きクローズドキャプションを読み出し、当該時刻情報付きクローズドキャプションから、具象物が被写体として映っている場面の映像を表している文を抽出し、具象物名を抽出し、その具象物名が具象物辞書蓄積手段６１に蓄積されているか否かを判定し、蓄積されている場合は、インデックス（具象物名、時刻情報及びクローズドキャプション）を生成し、映像インデキシング蓄積手段７に蓄積する。具象物辞書蓄積手段６１には、具象物を表す名詞（具象物名）が蓄積されている。
【００３９】
次に、映像インデキシング装置１０２の特徴抽出手段６０の動作について詳細に説明する。図７は、図６に示した特徴抽出手段６０の処理の例を示すフローチャート図である。図７のステップ３１〜３４，３５及び３６は、図３−１に示したステップ３１〜３４，３５及び３６と同様である。特徴抽出手段６０は、文の中の最終名詞（文の中で一番最後の名詞）が具象物辞書蓄積手段６１に蓄積されているか否かを判定する（ステップＳ７１）。蓄積されている場合は、具象物名、時刻情報及びクローズドキャプションから成るインデックス形式の情報を生成し（ステップＳ３５）、当該情報をインデックス蓄積手段８に蓄積する（ステップＳ３６）。これに対し、具象物辞書蓄積手段６１に蓄積されていない場合は、インデックス形式の情報を生成せず、インデックス蓄積手段８に蓄積しないで、ステップ３２へ移行する。
【００４０】
尚、図７に示したフローチャートは、図３−１に対応するものであるが、図３−２に対応する例についても同様である。すなわち、特徴抽出手段６０は、「が格」に位置する名詞が具象物辞書蓄積手段６１に蓄積されているか否かを判定し、蓄積されている場合は、具象物名、時刻情報及びクローズドキャプションから成るインデックス形式の情報を生成し、当該情報をインデックス蓄積手段８に蓄積する。
【００４１】
以上のように、実施例２の映像インデキシング装置１０２によれば、特徴抽出手段６０が、時刻情報付きクローズドキャプションの一文から具象物名を抽出する際に、文の中の最終名詞または「が格」に位置する名詞が具象物辞書蓄積手段６１に蓄積されているか否かを判定し、蓄積されている場合に、インデックスを生成してインデックス蓄積手段８に蓄積するようにした。これにより、実施例１の効果に加えて、具象物を特定する精度をさらに向上させることが可能となる。
【実施例３】
【００４２】
次に、実施例３の映像インデキシング装置について説明する。実施例３は、実施例１及び２に比べて、大量の番組情報を効率良く扱うようにしたものである。図８は、本発明による実施例３の映像インデキシング装置における番組情報蓄積手段１５及び映像インデキシング蓄積手段７０を示す構成図である。実施例３の映像インデキシング装置は、図１に示した映像インデキシング装置１０１、及び図６に示した映像インデキシング装置１０２と同様に構成されるが、番組情報蓄積手段１の代わりに番組情報蓄積手段１５を、映像インデキシング蓄積手段７の代わりに映像インデキシング蓄積手段７０を備えている点で実施例１及び２と相違する。
【００４３】
番組情報蓄積手段１５には、番組毎に、番組を一意に示す識別子（ＩＤ番号）を含むテレビ番組情報８１が蓄積されている。また、映像インデキシング蓄積手段７０は、インデックス蓄積手段８０及び時刻情報付き映像蓄積手段９０を備えており、インデックス蓄積手段８０には、番組毎に、番組を一意に示す識別子、具象物名、時刻情報及びクローズドキャプションから成るインデックスが蓄積され、時刻情報付き映像蓄積手段９には、番組毎に、番組を一意に示す識別子及び時刻情報付き映像が蓄積される。この識別子は、各種情報の蓄積を分類するために利用される。
【００４４】
図９は、実施例３の特徴抽出手段６により生成されたインデックス形式の情報を示す図である。このインデックス形式の情報は、番組毎に、具象物名、時刻情報及びクローズドキャプションから構成されている。図９に示すように、番組はＩＤ：１〜４により区別されている。具象物名、時刻情報及びクローズドキャプションは、図５に示した具象物名５１、時刻情報５２及びクローズドキャプション５３と同様である。
【００４５】
図１０は、実施例３の映像検索インターフェース１４が画面に表示する検索結果一覧の例を示す図である。実施例３の映像検索インターフェース１４は、図１０に示すように、番組を一意に示す識別子、時刻情報、サムネイル画像及びクローズドキャプションを画面に一覧表示する。
【００４６】
以上のように、実施例３の映像インデキシング装置によれば、番組情報蓄積手段１５には番組毎に番組情報が蓄積され、映像インデキシング蓄積手段７０にも番組毎にインデックス及び時刻情報付き映像が蓄積され、映像検索インターフェース１４が、番組を一意に示す識別子を含む検索結果を出力するようにした。これにより、各種情報を番組毎に扱うようにしたから、実施例１または２の効果に加えて、大量の番組情報を効率良く扱うことが可能となる。また、映像インデキシング蓄積手段７０には番組毎のインデックス及び映像が蓄積されるから、当該映像インデキシング蓄積手段７０を、番組の貴重な映像を利用したマルチメディア百科事典として利用することが可能となる。
【実施例４】
【００４７】
次に、実施例４の映像インデキシング装置について説明する。実施例４は、実施例１〜３と異なり、クローズドキャプションの代わりに音声を用いて映像上の具象物を特定するものである。図１１は、本発明による実施例４の映像インデキシング装置を示す全体構成図である。この映像インデキシング装置１０４は、番組情報蓄積手段１、音声抽出手段１１１、音声認識手段１１３、時刻情報付き音声認識結果蓄積手段１１４、特徴抽出手段６、映像インデキシング蓄積手段７、検索手段１２、及び映像検索インターフェース１４を備えている。映像インデキシング装置１０４と図１に示した実施例１の映像インデキシング装置１０１とを比較すると、映像インデキシング装置１０４は、クローズドキャプション・映像分割手段２及びクローズドキャプション蓄積手段５の代わりに音声抽出手段１１１、音声認識手段１１３及び時刻情報付き音声認識結果蓄積手段１１４を備えている点で相違する。尚、図１１の映像インデキシング装置１０４において、図１の映像インデキシング装置１０１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。
【００４８】
音声抽出手段１１１は、番組情報蓄積手段１からテレビ番組情報を読み出し、当該テレビ番組情報から音声を抽出し、音声及び映像を分割する。そして、音声及び映像にそれぞれ同一の時刻情報を付加し、時刻情報付き音声１１２を音声認識手段１１３に出力する。また、時刻情報付き映像４を出力し、映像インデキシング蓄積手段７に蓄積する。
【００４９】
音声認識手段１１３は、音声抽出手段１１１から時刻情報付き音声１１２を入力し、音声を認識し、時刻情報付き音声認識結果を出力し、時刻情報付き音声認識結果蓄積手段１１４に蓄積する。ここで、音声認識手段１１３には、例えば、ＩＢＭ（登録商標）社のVia Voiceと呼ばれる装置や本件出願人の音声認識装置（特願平１１−６０６４０号公報を参照）が用いられる。時刻情報付き音声認識結果蓄積手段１１４には、時刻情報付き音声認識結果が蓄積される。
【００５０】
特徴抽出手段６は、時刻情報付き音声認識結果蓄積手段１１４から時刻情報付き音声認識結果を読み出し、当該時刻情報付き音声認識結果から、具象物が被写体として映っている場面の映像を表している文を抽出し、具象物名を抽出し、検索のためのインデックス（具象物名、時刻情報及び音声認識結果）を生成して出力し、映像インデキシング蓄積手段７に蓄積する。特徴抽出手段６の動作は、図３−１及び３−２に示した動作と同様である。
【００５１】
尚、図１１に示した特徴抽出手段６の代わりに、図６に示した実施例２の特徴抽出手段６０及び具象物辞書蓄積手段６１を備えるようにしてもよいし、番組情報蓄積手段１及び映像インデキシング蓄積手段７の代わりに、図８に示した実施例３の番組情報蓄積手段１５及び映像インデキシング蓄積手段７０を備えるようにしてもよい。
【００５２】
以上のように、実施例４の映像インデキシング装置１０４によれば、特徴抽出手段６が、音声抽出手段１１１、音声認識手段１１３及び時刻情報付き音声認識結果蓄積手段１１４により、時刻情報付き音声認識結果を解析し、インデックス（具象物名、時刻情報及び音声認識結果）を生成し、映像インデキシング蓄積手段７に蓄積するようにした。これにより、実施例１〜３の効果に加えて、音声を用いて映像上の具象物を特定することが可能となる。
【００５３】
以上、実施例を挙げて本発明を説明したが、本発明は上記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上記実施例１〜４では、番組情報蓄積手段１，１５、クローズドキャプション蓄積手段５、映像インデキシング蓄積手段７，７０、インデックス蓄積手段８、時刻情報付き映像蓄積手段９、具象物辞書蓄積手段６１、時刻情報付き音声認識結果蓄積手段１１４には、各種情報等が蓄積されるようにしたが、これらの蓄積手段は、ハードディスク等の蓄積装置、データベースシステムまたはサーバで構成するようにしてもよい。また、クローズドキャプション・映像分割手段２、特徴抽出手段６，６０、検索手段１２、音声抽出手段１１１、音声認識手段１１３は、それぞれの機能を有する装置、カードまたはモジュールで構成するようにしてもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明による実施例１の映像インデキシング装置を示す全体構成図である。
【図２】検索結果一覧の例を示す図である。
【図３−１】特徴抽出手段のフローチャート図（１）である。
【図３−２】特定抽出手段のフローチャート図（２）である。
【図４】形態素解析を説明する図である。
【図５】インデックス形式を示す図である。
【図６】本発明による実施例２の映像インデキシング装置を示す全体構成図である。
【図７】特徴抽出手段のフローチャート図である。
【図８】本発明による実施例３の映像インデキシング装置における映像インデキシング蓄積装置を示す構成図である。
【図９】インデックス形式を示す図である。
【図１０】検索結果一覧の例を示す図である。
【図１１】本発明による実施例４の映像インデキシング装置を示す全体構成図である。
【符号の説明】
【００５５】
１，１５  番組情報蓄積手段
２  クローズドキャプション・映像分割手段
３  時刻情報付きクローズドキャプション
４，１１，６３  時刻情報付き映像
５  クローズドキャプション蓄積手段
６，６０  特徴抽出手段
７，７０  映像インデキシング蓄積手段
８，８０  インデックス蓄積手段
９，９０  時刻情報付き映像蓄積手段
１０  時刻情報付きインデックス
１２  検索手段
１３  検索結果
１４  映像検索インターフェース
５１  具象物名
５２  時刻情報
５３  クローズドキャプション
６１  具象物辞書蓄積手段
６２  インデックス
８１  テレビ番組情報
１０１，１０２，１０４  映像インデキシング装置
１１１  音声抽出手段
１１２  時刻情報付き音声
１１３  音声認識手段
１１４  時刻情報付き音声認識結果蓄積手段
【図１】
2007006116.tif 000003
【図２】
2007006116.tif 000004
【図３−１】
2007006116.tif 000005
【図３−２】
2007006116.tif 000006
【図４】
2007006116.tif 000007
【図５】
2007006116.tif 000008
【図６】
2007006116.tif 000009
【図７】
2007006116.tif 000010
【図８】
2007006116.tif 000011
【図９】
2007006116.tif 000012
【図１０】
2007006116.tif 000013
【図１１】
2007006116.tif 000014