(57)【要約】【課題】  シナリオから映像制作者の意図に沿った重要なキーワードの抽出、予めキーワード辞書を用意することなく、また、テロップ認識の結果に誤りがある場合でも重要なキーワードの抽出を可能にする。【解決手段】  本発明は、指定された映像識別情報に基づいて、シナリオテキストとテロップ原稿を読み込み、テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出し、テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する。【選択図】  図１
2005234786.tif 000002
【特許請求の範囲】
【請求項１】
大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込み過程と、
前記映像識別情報に基づいて、前記シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込み過程と、
前記テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出過程と、
前記テロップから抽出された前記名詞句と前記シナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理過程と、
少なくとも、前記映像識別情報と前記キーワードを出力する出力過程と、を行うことを特徴とする映像キーワード抽出方法。
【請求項２】
前記適合判定処理過程において、
前記対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
前記重要文を形態素解析して、キーワードを抽出する請求項１記載の映像キーワード抽出方法。
【請求項３】
前記適合判定処理過程において、
前記対応表からトピック毎のテロップの分布を算出し、
算出されたテロップ分布に基づいて前記対応表を修正する過程を更に行う請求項１記載の映像キーワード抽出方法。
【請求項４】
大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
シナリオテキストが蓄積されたシナリオデータベースと、
テロップ原稿が蓄積されたテロップ原稿データベースと、
処理対象の映像識別情報を指定する指定手段と、
前記指定手段により指定された映像識別情報に基づいて、前記シナリオデータベースから該シナリオテキストを読み込むシナリオ読み込み手段と、
前記指定手段により指定された前記映像識別情報に基づいて、前記テロップ原稿データベースからテロップ原稿を読み込むテロップ原稿読み込み手段と、
前記テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出手段と、
前記テロップから抽出された前記名詞句と前記シナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理手段と、
少なくとも、前記映像識別情報と前記キーワードを出力する出力手段と、
を有することを特徴とする映像キーワード抽出装置。
【請求項５】
前記適合判定処理手段は、
前記対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
前記重要文を形態素解析して、キーワードを抽出する手段と、を含む請求項４記載の映像キーワード抽出装置。
【請求項６】
前記適合判定処理手段は、
前記対応表からトピック毎のテロップの分布を算出する手段と、
算出されたテロップ分布に基づいて前記対応表を修正する手段と、を更に有する請求項４記載の映像キーワード抽出装置。
【請求項７】
コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込みステップと、
前記映像識別情報に基づいて、前記シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込みステップと、
前記テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出ステップと、
前記テロップから抽出された前記名詞句と前記シナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理ステップと、
少なくとも、前記映像識別情報と前記キーワードを出力する出力ステップと、をコンピュータに実行させることを特徴とする映像キーワード抽出プログラム。
【請求項８】
前記適合判定処理ステップにおいて、
前記対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
前記重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる請求項７記載の映像キーワード抽出プログラム。
【請求項９】
前記適合判定処理ステップにおいて、
前記対応表からトピック毎のテロップの分布を算出するステップと、
算出されたテロップ分布に基づいて前記対応表を修正するステップと、を更に、コンピュータに実行させる請求項７記載の映像キーワード抽出プログラム。
【請求項１０】
大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み過程と、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析過程と、
前記シナリオテキストから抽出された前記シナリオ名詞句と前記テロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定過程と、
少なくとも前記映像識別情報と前記キーワードを出力する出力過程と、を行うことを特徴とする映像キーワード抽出方法。
【請求項１１】
前記類似適合判定過程において、
前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める過程を含む請求項１０記載の映像キーワード抽出方法。
【請求項１２】
大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
シナリオテキストが蓄積されたシナリオテキストデータベース
指定された映像識別情報に基づいて、前記テロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み手段と、
指定された映像識別情報に基づいて、前記シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析手段と、
前記シナリオテキストから抽出された前記シナリオ名詞句と前記テロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定手段と、
少なくとも前記映像識別情報と前記キーワードを出力する出力手段と、を有することを特徴とする映像キーワード抽出装置。
【請求項１３】
前記類似適合判定手段は、
前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める過程を含む請求項１２記載の映像キーワード抽出装置。
【請求項１４】
コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込みステップと、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析ステップと、
前記シナリオテキストから抽出された前記シナリオ名詞句と前記テロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定ステップと、
少なくとも前記映像識別情報と前記キーワードを出力する出力ステップと、をコンピュータに実行させることを特徴とする映像キーワード抽出プログラム。
【請求項１５】
前記類似適合判定ステップにおいて、
前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求めるステップを、コンピュータに実行させる請求項１４記載の映像キーワード抽出プログラム。
【請求項１６】
大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み過程と、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析過程と、
前記シナリオテキストから抽出された前記名詞句と前記テロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定過程と、
少なくとも前記映像識別情報と前記キーワードを出力する出力過程と、を行うことを特徴とする映像キーワード抽出方法。
【請求項１７】
前記適合判定処理過程において、
前記対応表と前記テロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
前記重要文を形態素解析して、キーワードを抽出する請求項１６記載の映像キーワード抽出方法。
【請求項１８】
前記適合判定処理過程において、
前記対応表における要素の数からトピック毎のテロップの分布を算出する過程と、
算出されたテロップ分布に基づいて前記対応表を修正する過程を更に行う請求項１６記載の映像キーワード抽出方法。
【請求項１９】
大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
シナリオテキストが蓄積されたシナリオテキストデータベースと、
指定された映像識別情報に基づいて、前記テロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み手段と、
指定された映像識別情報に基づいて、前記シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析手段と、
前記シナリオテキストから抽出された前記名詞句と前記テロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定手段と、
少なくとも前記映像識別情報と前記キーワードを出力する出力手段と、を有することを特徴とする映像キーワード抽出装置。
【請求項２０】
前記適合判定処理手段は、
前記対応表と前記テロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
前記重要文を形態素解析して、キーワードを抽出する手段を含む請求項１９記載の映像キーワード抽出装置。
【請求項２１】
前記適合判定処理手段は、
前記対応表における要素の数からトピック毎のテロップの分布を算出する手段と、
算出されたテロップ分布に基づいて前記対応表を修正する手段と、を更に有する請求項１９記載の映像キーワード抽出装置。
【請求項２２】
コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込みステップと、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析ステップと、
前記シナリオテキストから抽出された前記名詞句と前記テロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定ステップと、
少なくとも前記映像識別情報と前記キーワードを出力する出力ステップと、をコンピュータに実行させることを特徴とする映像キーワード抽出プログラム。
【請求項２３】
前記適合判定処理ステップは、
前記対応表と前記テロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
前記重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる請求項２２記載の映像キーワード抽出プログラム。
【請求項２４】
前記適合判定処理ステップは、
前記対応表における要素の数からトピック毎のテロップの分布を算出するステップと、
算出されたテロップ分布に基づいて前記対応表を修正するステップと、を更にコンピュータに実行させる請求項２２記載の映像キーワード抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像キーワード抽出方法及び装置及びプログラムに係り、特に、膨大に存在する映像データから所望の映像を検索する際に必要な、トピック区間のキーワードを抽出し、メタデータとして付与するための映像キーワード抽出方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
大量にある映像データの中から所望の映像または映像の一部（シーン）を検索するためには、映像データに予めキーワードを人手で付与しておく必要がある。このキーワードの付与の作業は手間がかかる上、人によって付与されるキーワードにばらつきがあるため、目的の映像を検索できない場合がある。このような問題を解決するために、映像制作の過程で作られるシナリオテキストからキーワードを自動的に抽出するアプローチがある。
【０００３】
また、効率的に映像データを扱うためのメディアハンドリング技術として、映像の認識結果と事前に用意されているシナリオ文書とをマッチングし、映像の意味的内容に基づく検索などに利用する技術について従来から検討されている。
【０００４】
例えば、キーワード抽出技術の例として、商品名をキーワードとし、辞書に登録しておき、テロップ認識結果と辞書とを照合することで、登録されている商品名がテロップ表示された時刻をトピック区切りとして出力し、また、音声の音響パワーが無音区間を検出した区間の終点時刻をトピック区切りの始点候補として検出する方法がある。なお、商品映像の商品名は文字サイズが大きく、雑音となる背景画像が少ないため、文字認識が比較的容易な画像であり、テロップ認識結果の候補中に商品辞書に登録された正解文字列が存在しているものと仮定している（例えば、非特許文献１参照）。
【非特許文献１】藤本他、「テロップ文字認識を用いた商品紹介映像の区間分割」（画像の認識・理解シンポジウム（ＭＩＲＵ２００２））
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のキーワード抽出技術では、その文章中での単語の出現頻度、共起確率などの統計量を基準にキーワードが選ばれているが、例えば、ニュースシナリオの１トピックに相当するセリフ部分のように比較的短いテキストを対象とした場合、語数が少なくなるため統計量が信頼できず、重要な語が抽出できないという問題がある。
【０００６】
また、商品名をキーワードとし、辞書に登録しておき、テロップ認識結果と辞書とを照合する技術では、商品名辞書を予め用意する必要があるという問題がある。商品紹介映像であれば商品名は限定されるので辞書作成は現実的手間で可能であるが、ニュース番組のようなジャンルの映像には適用が難しい。また、テロップ認識結果の中に必ず辞書中の正解候補が存在することを仮定していたが、実際には全く認識できない誤認識文字が含まれ、キーワードを認識できないこともある。
【０００７】
本発明は、上記の点に鑑みなされたもので、
（１）シナリオから映像制作者の意図に沿った重要なキーワードを抽出することが可能；
（２）予めキーワード辞書を用意することなく、映像キーワードの抽出が可能；
（３）テロップ認識の結果に誤りがある場合でも重要なキーワードを抽出可能；
な映像キーワード抽出方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
図１は、本発明の原理を説明するための図である。
【０００９】
本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込み過程（ステップ１）と、
映像識別情報に基づいて、シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込み過程（ステップ２）と、
テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出過程（ステップ３）と、
テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理過程（ステップ４）と、
少なくとも、映像識別情報とキーワードを出力する出力過程（ステップ５）と、を行う。
【００１０】
また、本発明の適合判定処理過程において、
対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
重要文を形態素解析して、キーワードを抽出する。
【００１１】
また、本発明の適合判定処理過程において、
対応表からトピック毎のテロップの分布を算出し、
算出されたテロップ分布に基づいて対応表を修正する過程を更に行う。
【００１２】
図２は、本発明の原理構成図である。
【００１３】
本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
シナリオテキストが蓄積されたシナリオデータベース１４と、
テロップ原稿が蓄積されたテロップ原稿データベース１３と、
処理対象の映像識別情報を指定する指定手段１５と、
指定手段１５により指定された映像識別情報に基づいて、シナリオデータベースから該シナリオテキストを読み込むシナリオ読み込み手段１７と、
指定手段１５により指定された映像識別情報に基づいて、テロップ原稿データベースからテロップ原稿を読み込むテロップ原稿読み込み手段１６と、
テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出し、テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理手段１８と、
少なくとも、映像識別情報とキーワードを出力する出力手段１９と、を有する。
【００１４】
また、本発明の適合判定処理手段１８は、
対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
重要文を形態素解析して、キーワードを抽出する手段と、を含む。
【００１５】
また、本発明の適合判定処理手段１８は、
対応表からトピック毎のテロップの分布を算出する手段と、
算出されたテロップ分布に基づいて対応表を修正する手段と、を更に有する。
【００１６】
本発明は、コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込みステップと、
映像識別情報に基づいて、シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込みステップと、
テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出ステップと、
テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理ステップと、
少なくとも、映像識別情報とキーワードを出力する出力ステップと、をコンピュータに実行させる。
【００１７】
また、本発明の適合判定処理ステップにおいて、
対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる。
【００１８】
また、本発明の適合判定処理ステップにおいて、
対応表からトピック毎のテロップの分布を算出するステップと、
算出されたテロップ分布に基づいて対応表を修正するステップと、を更に、コンピュータに実行させる。
【００１９】
本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み過程と、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析過程と、
シナリオテキストから抽出されたシナリオ名詞句とテロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定過程と、
少なくとも映像識別情報とキーワードを出力する出力過程と、を行う。
【００２０】
また、本発明の類似適合判定過程において、
シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める過程を含む。
【００２１】
本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
シナリオテキストが蓄積されたシナリオテキストデータベース
指定された映像識別情報に基づいて、テロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み手段と、
指定された映像識別情報に基づいて、シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析手段と、
シナリオテキストから抽出されたシナリオ名詞句とテロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定手段と、
少なくとも映像識別情報とキーワードを出力する出力手段と、を有する。
【００２２】
また、本発明の類似適合判定手段は、
前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める手段を含む。
【００２３】
本発明は、コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込みステップと、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析ステップと、
シナリオテキストから抽出されたシナリオ名詞句とテロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定ステップと、
少なくとも映像識別情報とキーワードを出力する出力ステップと、をコンピュータに実行させる。
【００２４】
また、本発明の類似適合判定ステップは、
シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求めるステップをコンピュータに実行させる。
【００２５】
本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み過程と、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析過程と、
シナリオテキストから抽出された名詞句とテロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定過程と、
少なくとも映像識別情報とキーワードを出力する出力過程と、を行う。
【００２６】
また、本発明は、適合判定処理過程において、
対応表とテロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
重要文を形態素解析して、キーワードを抽出する。
【００２７】
また、本発明は、適合判定処理過程において、
対応表における要素の数からトピック毎のテロップの分布を算出し、
算出されたテロップ分布に基づいて対応表を修正する過程を更に行う。
【００２８】
本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
シナリオテキストが蓄積されたシナリオテキストデータベースと、
指定された映像識別情報に基づいて、テロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み手段と、
指定された映像識別情報に基づいて、シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析手段と、
シナリオテキストから抽出された名詞句とテロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定手段と、
少なくとも映像識別情報とキーワードを出力する出力手段と、を有する。
【００２９】
また、本発明の適合判定処理手段は、
対応表とテロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
重要文を形態素解析して、キーワードを抽出する手段を含む。
【００３０】
また、本発明の適合判定処理手段は、
対応表における要素の数からトピック毎のテロップの分布を算出する手段と、
算出されたテロップ分布に基づいて対応表を修正する手段と、を更に有する。
【００３１】
本発明は、コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込みステップと、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析ステップと、
シナリオテキストから抽出された名詞句とテロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定ステップと、
少なくとも映像識別情報とキーワードを出力する出力ステップと、をコンピュータに実行させる。
【００３２】
また、本発明の適合判定処理ステップは、
対応表とテロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる。
【００３３】
また、本発明の適合判定処理ステップは、
対応表における要素の数からトピック毎のテロップの分布を算出するステップと、
算出されたテロップ分布に基づいて対応表を修正するステップと、を更にコンピュータに実行させる。
【発明の効果】
【００３４】
本発明によれば、シナリオの部分から抽出されたキーワードの内、テロップにも含まれる語は、より視聴者にアピールすべき重要なキーワードであるという判断ができる。セリフとテロップに共通したキーワードを抽出し、また、シナリオからのキーワード抽出の結果文字列と比較し、共通する語の重要度を算出することにより、映像中に現れる語の中でより適切なキーワードを決定することができる。
【００３５】
また、本発明は、テロップの文字数に対する表示時間、文字の大きさなどからテロップ固有の重要度を算出し、それをシナリオテキストと各トピック毎に対応付けることにより、映像固有の情報をテキストに反映し、映像で強調されている内容をキーワードとして抽出することができる。
【００３６】
また、本発明は、映像作成時に用意されているシナリオテキスト、あるいはテロップ原稿を用い、名詞句の自動抽出を行い、その名詞句の重要度を映像から得ることにより、キーワード辞書作成の手間を減らすことができる。
【００３７】
また、本発明は、複数の認識文字候補を持つテロップ認識結果文字列とシナリオから抽出されたキーワードとの間の編集距離を計算し、その編集距離に基づいた文字列の類似度を算出し、類似度が閾値以下の場合に、テロップにキーワードが含まれると見做すことにより、誤りを含んだテロップ認識結果とキーワードとの文字列照合を行い、キーワードを抽出することができ、キーワードの抽出漏れが削減される。
【発明を実施するための最良の形態】
【００３８】
以下、図面と共に本発明の実施の形態を説明する。
【００３９】
図３は、本発明の第１の実施の形態における映像キーワード抽出装置の構成図である。
【００４０】
同図に示す映像キーワード抽出装置は、テロップ原稿入力部１１、シナリオテキスト入力部１２、テロップ原稿記憶部１３、シナリオテキスト記憶部１４、制御部１５、テロップ情報抽出部１６、シナリオ読み込み部１７、適合判定処理部１８、及び出力部１９から構成される。
【００４１】
テロップ原稿入力部１１は、テロップ原稿記憶部１３へテロップ原稿を入力するものであり、例えば、人手によりキーボート等を用いて入力する。
【００４２】
シナリオテキスト入力部１２は、シナリオテキスト記憶部１４へシナリオテキスト（音声セリフ部分）を入力するものであり、例えば、人手によりキーボード等を用いて入力する。
【００４３】
テロップ原稿記憶部１３は、テロップ原稿入力部１１からテロップ原稿が入力され、これを蓄積する。テロップ原稿記憶部１３は、図４に示すようなテロップ原稿記憶テーブルが大量に記憶されている。各テーブルには映像に対応する番号が振られており、例えば、映像を指定すると自動的にその映像に対応したテロップ原稿が取り出せるようなデータベースである。
【００４４】
図４のテロップ原稿記憶テーブルにおいて、テロップ原稿に必要な情報項目は、各テロップのＩＤｙ（２１０１）、テロップ表示開始時刻（２１０２）、テロップが表示されている時間長ｍｙ（２１０３）、テロップ文（２１０４）、テロップ表示される文字数ｎｙ（２１０５）、テロップの文字の大きさｂｙ（２１０６）などである。テロップのＩＤｙは映像においてテロップが出現する順に昇順であり、連続した整数値が付けられているものとする。テロップ表示時間長（２１０３）については、代わりにテロップ表示終了時刻が記録されていてもよい。文字数ｎｙ（２１０５）は、テロップ内容（２１０４）から算出できるため、必ずしも必要な項目ではない。
【００４５】
シナリオテキスト記憶部１４は、シナリオテキスト入力部１２から入力されたシナリオテキストが蓄積される。シナリオテキスト記憶部１４には、テロップ原稿記憶部１３同様、例えば、映像に対応するデータベースの形で、図５に示すようなシナリオテキストが、例えば、映像番号と対応付けられて大量に蓄積されている。
【００４６】
シナリオテキストに必要な項目はトピックの情報である。テキストのフォーマットは機械的に読み書きできる形式であればどのようなものでもよい。図５の例では、下向き三角のマークがトピックの切れ目を表している。
【００４７】
制御部１５は、処理対象となる映像を番号で指定するための入力を行う装置であり、例えば、人がキーボードなどで映像番号を入力する。あるいは、総当り的に機械が番号を指定する。入力された番号は、テロップ情報抽出部１６及びシナリオ読み出し部１７を経由してそれぞれテロップ原稿記憶部１３とシナリオテキスト記憶部１４に渡され、該当する映像に対応した図４に示すテロップ原稿記憶テーブルのデータがそれぞれの装置へ入力される。
【００４８】
テロップ情報抽出部１６は、制御部１５で選ばれたテロップ原稿記憶テーブルをテロップ原稿記憶部１３から読み出して入力する。入力テロップ原稿に処理を行い、図６のように、テロップＩＤｙ、テロップに含まれる名詞列Ｔｙ，テロップ重要度ｗ（ｙ）を算出して内部のテロップワード記憶テーブル１６１に格納する。図６のようなテロップワード記憶テーブル１６１のデータを適合判定処理部１８に出力する。
【００４９】
名詞列Ｔｙ＝｛ａ１，ａ２，…ａｎ｝は、テロップの文を形態素解析を用いて分解し、連続した名詞や不明語などを一つの名詞ａｉとして取り出したものである。助詞「の」で連接されている前後が名詞のものを名詞句として取り出すことも可能である。
【００５０】
また、テロップ重要度ｗ（ｙ）は、例えば、図４のテロップ表示時間ｍｙと文字列ｎｙ、文字の大きさｂｙの項目から算出する。
【００５１】
これは、文字数に比して長く画面に表示されたテロップはその映像の内容を良く表すテロップと判断でき、また、大きな文字で表示されたテロップは制作者が強調したいテロップと考えられるため、これらの値を用いてテロップ重要度を算出している。
【００５２】
シナリオ読み出し部１７では、制御部１５で選ばれたシナリオテキストをシナリオテキスト記憶部１４から読み込む。読み込まれたシナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオのＩＤであるｘを付与することにする。シナリオＩＤｘは登場順に連続した自然数とする。シナリオテキストにあるトピックセグメンテーションの切れ目の情報も同時に格納する。ここで、各トピックに便宜上ＩＤを付与する。始めのトピックのＩＤを“１”とし、切れ目記号（下向き三角）が現われる度にＩＤを１増加させることにする。格納したデータの例を図７に示す。同図に示す例では、シナリオテキストを１文ずつ区切り、シナリオテキスト記憶テーブル１７１に格納している。
【００５３】
適合判定処理部１８は、図６のテロップワード記憶テーブル１６１と図７のシナリオテキスト記憶テーブル１７１からデータを読み込み、映像に存在するトピック毎のキーワードとその重要度、またトピックを代表する文を１つ以上出力部１９に出力する。出力の例を図８に示す。
【００５４】
出力部１９は、映像番号と出力されたキーワード及び文をデータベース等に出力する。なお、出力時のフォーマットは機械的に読み書きできるものであればよい。
【００５５】
以下に、上記の構成における動作を説明する。
【００５６】
図９は、本発明の第１の実施の形態における動作の概要を示すフローチャートである。
【００５７】
なお、以下では、テロップ原稿入力部１１からすでにテロップ原稿が入力され、テロップ原稿記憶部１３に蓄積され、また、シナリオテキスト入力部１２からシナリオテキストが入力され、シナリオテキスト記憶部１４に蓄積されているものとする。
【００５８】
ステップ２１）  制御部１５において、処理対象の映像が人手により指定入力される、または、機械的に決定され、映像に付与された番号（以下、映像番号と記す）をテロップ情報抽出部１６及びシナリオ読み込み部１７に渡される。
【００５９】
ステップ２２）  シナリオ読み出し部１７は、シナリオテキスト記憶部１４からシナリオテキストを読み込み、一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピック区切りの切れ目の情報同時にシナリオテキスト記憶テーブル１７１に格納する。また、各トピックに便宜上ＩＤを付与する。初めのトピックＩＤを“１”とし、シナリオテキスト中に切れ目記号として図５に示すような下向き三角が表れる度にＩＤを１つ増加させるものとする。データは、図７に示すようにシナリオテキスト記憶テーブル１７１に格納される。
【００６０】
ステップ２３）  テロップ情報抽出部１６は、映像番号を制御部１５から入力されると、当該映像番号に対応したテロップ原稿をテロップ原稿記憶部１３から読み出し、当該テロップ原稿に対する処理を行い、図６に示すように、テロップＩＤｙ、テロップに含まれる１つあるいは複数の名詞句（列）Ｔｙ、テロップ重要度ｗ（ｙ）を算出して、テロップワード記憶テーブル１６１に格納する。名詞句列Ｔｙ＝｛ａ１，ａ２，…ａｎ｝はテロップの文を、形態素解析を用いて分解し、連続した名詞や不要語などを一つの名詞句ａｉとして取り出す。例として助詞「の」で連接されているもので、かつ、その前後が名詞句であるものも一つの名詞句として取り出すことも可能である。
【００６１】
テロップ重要度ｗ（ｙ）は、例えば、図４のテロップ表示時間ｍｙと文字数ｎｙ、文字の大きさｂｙの項目から算出する。ここでは、例として、
ｗ（ｙ）＝ｂｙ２ｌｏｇ１０（ｍｙ／ｎｙ）
として算出する。
【００６２】
ステップ２４）  適合判定処理部１８は、図６のテロップワード記憶テーブル１６１と図７のシナリオテキスト記憶テーブル１７１のデータを読み込み、映像に存在するトピック毎のキーワードとその重要度、またトピックを代表する文を１つ以上出力する。図８の（Ａ）に出力例を示す。
【００６３】
ステップ２５）  出力部１９において、映像番号と出力されたキーワード及び文をデータベース等に格納する。なお、データベースへの格納時のフォーマットは機械的に読み書きできるものであればよい。または、ディスプレイ等の表示装置によりユーザに抽出されたキーワードを表示してもよい。
【００６４】
次に、上記のステップ２４の適合判定部１８における適合判定処理について詳細に説明する。
【００６５】
図１０は、本発明の第１の実施の形態における適合判定処理のフローチャートである。
【００６６】
ステップ３１）  適合判定部１８は、シナリオ記憶テーブル１７１とテロップワード記憶テーブル１６１から読み込んだデータのマッチングを、シナリオ文ＪｘとテロップワードＴｙを用いて行う。そのマッチングの結果を対応表Ｃ（ｘ，ｙ）としてメモリ等に記録し、出力する。Ｃ（ｘ，ｙ）に記録する数値としては、シナリオ文Ｊｘに含まれるテロップワードＴｙの数の割合である。詳細は、図１１において後述する。
【００６７】
ステップ３２）  適合判定部１８は、ステップ３１で作成された対応表からテロップ分布を算出し、対応表Ｃ（ｘ，ｙ）を修正する。まず、ステップ３１で作成された対応表Ｃ（ｘ，ｙ）をメモリ等から読み込む。この対応表から各トピックＩＤｔのテロップ分布Ｓｔ（ｙ）を算出し、テロップが属するトピックを決定する。その後、各々のテロップは一つのトピックに属すると仮定し、テロップが誤って他のトピックに対応付いている対応表の値を削除し、対応表及びテロップ分布を修正する。詳細は、図１４において後述する。
【００６８】
ステップ３３）  ステップ３２で出力された対応表Ｃ（ｘ，ｙ）とテロップワード記憶テーブル１６１のデータを入力し、シナリオ文の重要度を算出する。テロップ重要度を反映した対応表ｗ（ｙ）Ｃ（ｘ，ｙ）を作成し、それを用いてシナリオ文の重要度を算出する。詳細は図１７において後述する。
【００６９】
ステップ３４）  テロップ重要度を利用してキーワードを選び出し、図８に示すフォーマットで出力する。ステップ３３で抽出されたシナリオ文からのキーワードもこの出力に付け加えることが可能である。詳細は、図１９において後述する。
【００７０】
次に、上記のステップ３１の対応表作成処理について説明する。
【００７１】
図１１は、本発明の第１の実施の形態における対応表作成処理のフローチャートである。以下の説明における各変数は以下の通りである。
【００７２】
Ｘ：シナリオ文ＩＤｘの最大値；
Ｙ：テロップＩＤｙの最大値；
ａｙ（ｉ）：テロップＴｙから抽出されたｉ番目の名詞句；
ｎ：テロップＴｙから抽出された名詞句の数；
適合判定処理部１８は、初めに、ステップ４０１からステップ４０７の処理により、あるｘ，ｙについてシナリオＪｘとテロップ名詞列Ｔｙとの文字列比較を行い、対応表Ｃ（ｘ，ｙ）に一致した単語数の割合を書き込む。ステップ４０８からステップ４１１までは、表内を総当り的に走査していくステップである。
【００７３】
ステップ４０１）  シナリオのＩＤｘとテロップＩＤｙを初期化する。テロップ数と同じ列数とシナリオ区切り数と同じ行数を持つ表（テロップワード−シナリオ対応表Ｃ（ｘ，ｙ）．例えば、図１２））を作成する。また、対応表Ｃ（ｘ，ｙ）内の値を全て０にセットする。
【００７４】
ステップ４０２からステップ４０６では、シナリオＪｘの部分列と、テロップＴｙの各名詞との文字列比較を行う。出力は、一致した名詞の数をテロップＴｙ中の全名詞数で割った値を記憶した対応表Ｃ（ｘ，ｙ）である（対応表の例は、図１２）。また、出力として一致したテロップ名詞の文字位置を同時に出力する例も考えられる（例えば、図１３の文字位置も保存する処理とした場合）。
【００７５】
ステップ４０２）  テロップ内の名詞列ａｉの文字位置ｉを１に、また一致回数カウンタｂを０に初期化する。
【００７６】
ステップ４０３）  文字列比較を行い、Ｊｘの中にａｉが含まれているかどうかを判定する。含まれている場合には、ステップ４０４に移行し、含まれていない場合にはステップ４０５に移行する。
【００７７】
ステップ４０４）  ｂをインクリメントする。
【００７８】
ステップ４０５）  テロップＴｙ内の全ての名詞について文字列比較を行ったか判定する。つまり、文字位置ｉがテロップＴｙ内の名詞の総数ｎと一致した時、文字列比較ループを抜けステップ４０７に移行する。一致しない場合には、ステップ４０６に移行する。
【００７９】
ステップ４０６）  ｉをインクリメントし、ステップ４０３に移行する。
【００８０】
ステップ４０７）  算出された一致個数ｂとｎとの比を対応表Ｃ（ｘ，ｙ）に記録する。表中に記録する数値は、ステップ４０４で一致した文字位置情報を格納しておけば、その一致文字位置情報も同時に書き込むことができる（例えば、図１３）。図１３（Ａ）の対応表Ｃ（ｘ，ｙ）においてテロップ「２４」とシナリオ「３−２９」との対応する名詞の割合は１／２で、合致した名詞はテロップ２４の２番目の名詞であることがこの表によりわかるようになっている。次に、ステップ４０８に移行する。
【００８１】
ステップ４０８）  全てのテロップＩＤｙについて処理が終わっているかどうかを判定する。終わっていない場合は、ステップ４０９に移行し、終わっている場合は、ステップ４１０に移行する。
【００８２】
ステップ４０９）  ｙをインクリメントし、ステップ４０２へ移行する。
【００８３】
ステップ４１０）  全てのシナリオＩＤｘについて処理を行ったかどうかを判定する。全てのキーワードについて処理が終わっていない場合は、ステップ４１１に移行する。処理が終わっている場合には、完成した対応表Ｃ（ｘ，ｙ）をメモリ等に出力する。
【００８４】
ステップ４１１）  ｙを１に初期化し、ｘをインクリメントしてステップ４０２に移行する。
【００８５】
次に、ステップ３２のテロップ分布算出処理について説明する。
【００８６】
以下では、ステップ３１で作成された対応表Ｃ（ｘ，ｙ）をメモリ等から読み込んで入力するものとする。
【００８７】
図１４は、本発明の第１の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートである。
【００８８】
以下で用いられるδは、０以上の整数値であり、対応誤り消去の際に区切り境界付近で消去しない対応のオフセットであり、テロップの区切り検出誤差の見込み量である。
【００８９】
ステップ５１）  トピックＩＤｔを初期化する。
【００９０】
ステップ５２）  あるトピックＩＤｔに対するテロップの分布Ｓｔ（ｙ）を算出し、ステップ５３に移行する。
【００９１】
Ｓｔ（ｙ）の算出式は以下のようになる。
【００９２】
【数１】
2005234786.tif 000003
但し、ｘはトピックｔに属するシナリオＩＤである。
【００９３】
ステップ５３）  トピックＩＤが１かどうかを判定する。１の場合は、処理に必要な２つ目の分布算出のため、ステップ５８に移行し、１以外の場合はステップ５４に移行する。
【００９４】
ステップ５４）  ２分布間の区切りを算出する。２つのテロップ分布Ｓｔ−１，Ｓｔの区切りを算出し、算出されたテロップ分布Ｓｔ（ｙ）を用いてテロップ分布の誤対応を修正する。当該ステップでは、２つのテロップ分布Ｓｔ（ｙ），Ｓｔ−１（ｙ）間の分離度を計算し、最大の分離度を与えるテロップＩＤを２分布の区切りとなるテロップＩＤとして算出する。分離度の算出法については、後述する。
【００９５】
この区切りとなるテロップＩＤをｔに対してｙａ（ｔ）としてメモリ等に記憶する。この処理により、トピックｔ−１に属するテロップは、分布Ｓｔ−１（ｙ）の内ｙ＜ｙａ（ｔ−１）となり、また、トピックｔに属するテロップは分布Ｓｔ（ｙ）の内ｙ≧ｙａ（ｔ−１）となる。この区切りにより分布内に存在する誤対応を削除することができる。誤対応の削除の処理がステップ５５、５６である。
【００９６】
ステップ５５）  トピックｔ−１における分布Ｓｔ−１（ｙ）の、別のトピック（＞ｔ−１）に対応付いているテロップの対応を削除する。つまり、トピックｔ−１に属するシナリオＩＤｘ、ｙ≧ｙａ（ｔ−１）＋δの範囲において対応表Ｃ（ｘ，ｙ）の各要素、及びｙ≧ｙａ（ｔ−１）の範囲にあるテロップ分布Ｓｔ−１（ｙ）の数値を０にする。
【００９７】
ステップ５６）  ステップ５５同様に、トピックｔにおける分布の、別のトピック（＜ｔ）に対応付いている対応を削除する。つまり、トピックｔ’（ｔ’≧ｔ）に属したシナリオＩＤｘ、ｙ＜ｙａ（ｔ）−δの範囲について対応表Ｃ（ｘ，ｙ）内の格要素と、及びテロップ分布Ｓｔ＋１（ｙ）のｙ＜ｙａ（ｔ）−δの範囲にある数値を０にする。δ（≧０）は、テロップ区切り検出の誤差により正しい対応付けが削除されるのを防ぐため、ステップ５５，５６にて削除しない区切り付近の要素数である。このようにしてテロップ分布及び対応表を修正する。対応表のｔ’（ｔ’≧ｔ）の範囲の要素について削除できるのは、テロップが１つのトピックに属しており、かつ、トピックの順番がシナリオテキストの順番と同じであるときのみ行うことができる。
【００９８】
ステップ５７）  次の処理対象トピックが存在するかどうかチェックし、存在するときはステップ５８に移行する。存在しないときは、トピック分布Ｓｔ（ｙ）と修正された対応表Ｃ（ｘ，ｙ）を出力して終了する。
【００９９】
図１５に算出された分布と対応表を示す。「トピック３」と記している行がステップ５２にて算出された「トピック３」のテロップ分布を示している。この分布と「トピック４」の分布を入力し、２分布間の区切り検出を用いて、テロップ列のトピック区切りを算出する。
【０１００】
ここでは、トピック区切りとしてｙａ（３）＝２８と算出されており、これで「トピック３」に対応するテロップがＩＤｙ＝２３〜２７（２３〜というのは、ｔ＝２，３間の区切りにより算出）、「トピック４」に対応するテロップがＩＤｙ＝２８〜と決定される。
【０１０１】
それで、「トピック３」の文章にｙ≧２８のテロップが対応しているときはその対応を削除する。対応表Ｃ（ｘ，ｙ）でｙ≧２８に存在する「トピック３」の文章との対応を示す数値を全て０にセットする（表中の斜線で示す）。また、「トピック４」以上のトピックにおいてテロップｙ＜２８の対応表の値が０でないときには、０にセットする。各テロップが一つのトピックに属することを仮定すると、テロップと対応するトピックを特定し、対応するトピック以外の対応付けを消去したことによりテロップ内の名詞のシナリオとの誤対応が消去される。出力は、誤対応を消去した対応表Ｃ（ｘ，ｙ）と分布Ｓｔ（ｙ）である。
【０１０２】
次に、上記のステップ５４における分離度算出及び区切り検出処理を詳細に説明する。
【０１０３】
図１６は、本発明の第１の実施の形態における分離度算出及び区切り検出処理のフローチャートである。
【０１０４】
以下のステップ６０１〜６０８は、分布Ｓｔ＋１（ｙ）の終点Ｙｔ＋１を決定する処理であり、ステップ６０９〜６１３が分離度算出及び区切り検出の処理である。
【０１０５】
ステップ６０１）  変数の初期化ステップであり、分離度Ｄｔ＝０，分布インデックスｙ＝ｙａ（ｔ−１）、区切り候補ｙ’＝ｙａ（ｔ−１）＋δ＋１（但し、ｙａ（０）＝０），Ｙｔ＋１＝０，カウンタｚ＝０とする。
【０１０６】
ステップ６０２）  分布Ｓｔ＋１（ｙ）が０かどうか判定し、０でないときはステップ６０３に移行し、０の場合は、ステップ６０４に移行する。
【０１０７】
ステップ６０３）  ｙの値を記憶し（Ｙｔ＋１＝ｙ）、カウンタｚをリセットして（ｚ＝０）ステップ６０６へ移行する。
【０１０８】
ステップ６０４）  Ｙｔ＋１が初期状態かどうかを判定し、初期状態でないときは、ステップ６０５に移行する。
【０１０９】
ステップ６０５）  分布が空の個数を数えるカウンタｚをインクリメントして、ステップ６０６に移行する。
【０１１０】
ステップ６０６）  次のテロップが存在するか判断する（ｙ＝Ｙ）。また、からの個数ｚが一定値Ｚ以上になっていないかを判定する。「真」の場合は、ステップ６０７に移行し、「偽」の場合は、ステップ６０８に移行する。なお、テロップの分布は、該当するトピック範囲内に集まっているものであり、一定以上離れた場所の分布は誤りである可能性があるため、定数Ｚ以上は先を探さないこととしている。
【０１１１】
ステップ６０７）  処理の終了後に、Ｙｔ＋１が初期値であるとき（Ｙｔ＋１＝０）、つまり、分布Ｓｔ＋１（ｙ）が空であるかどうかを判定し、空の場合は、ステップ６１７に移行する。空でない場合には、区切り検出処理（ステップ６０９）に移行する。
【０１１２】
ステップ６０８）  ｙをインクリメントしてステップ６０２に移行する。
【０１１３】
ステップ６０９）  分離度Ｄｔ（ｙ’）を次式により算出し、ステップ６１０に移行する。
【０１１４】
【数２】
2005234786.tif 000004
この式は、テロップｙ’の前で２つのトピックに分けたときに、それぞれのトピックに属する各テロップ分布の比をとったものである。１に近いとき２トピックの数の割合がつりあいに近いので分離が良いとする。
【０１１５】
ステップ６１０）  分離度（Ｄｔ（ｙ’））が１を超えるかどうかを判定する。超えた場合は、前後で区切りがあるのでステップ６１３に移行する。超えない場合はステップ６１１に移行する。
【０１１６】
ステップ６１１）  終了判定を行う。区切りｙ’がＹｔ＋１の場合は区切りが検出されずに終了することになり、ステップ６１４に移行する。終了でない場合には、ステップ６１２に移行する。
【０１１７】
ステップ６１２）  ｙ’をインクリメントしてステップ６０９に移行する。
【０１１８】
ステップ６１３）  ステップ６１０において、分離度が１を超えた場合に、１に近い分離度Ｄｔ（ｙ’−１）と１／Ｄｔ（ｙ’）を比較して、どちらが区切りかを判定する。大きな値を持つ方のｙ’の値を区切りとして出力して終了する。
【０１１９】
ステップ６１４）  これまで算出されたＤｔ（ｙ’）のうち、最も１に近いものを区切りとして出力して終了する。
【０１２０】
ステップ６１５）  ステップ６１３において、Ｄｔ（ｙ’−１）が区切りと判定された場合には、ｙ’−１を出力して処理を終了する。
【０１２１】
ステップ６１６）  ステップ６１３において、Ｄｔ（ｙ’）が区切りとして判定された場合には、区切りｙ’を出力して処理を終了する。
【０１２２】
ステップ６１７）  ステップ６０７において空の場合には、前に算出された区切りＹａ（ｔ−１）を出力して処理を終了する。
【０１２３】
上記の手順によると、分布に空白が続いた後、区切りが存在するときには、ｙが大である方へ区切りがくることになる（分布の左端に区切りがくる）。これは、ニュース等のコンテンツにおいては、トピック初めのテロップは見出しのテロップとなっており、対応するシナリオが存在することが多いので、特に問題となることはない。シナリオと対応付いていないテロップのトピックは特に決定する必要はないと考えられる。
【０１２４】
次に、上記のステップ３３の重要文抽出処理について説明する。
【０１２５】
図１７は、本発明の第１の実施の形態における重要文抽出処理のフローチャートである。
【０１２６】
ステップ７１）  処理対象トピックｔを初期化する（ｔ＝１）。
【０１２７】
ステップ７２）  対象トピック内のシナリオｘについて、次式によりシナリオ重要度Ｖｔ（ｘ）を算出する。
【０１２８】
【数３】
2005234786.tif 000005
ステップ７３）  ステップ７２で算出した重要度Ｖｔ（ｘ）内の最大値を与えるｘの値を重要文ＩＤｘａ（ｔ）としてメモリ等に記憶する。この例では、最大値を与えるｘを１つしか算出していないが、複数の重要文を選んでもよい（一定数、一定重要度以上など）。
【０１２９】
ステップ７４）  ステップ７３で選ばれた重要文を形態素解析して、その中に含まれる固有名詞などを抽出する。これを重要文キーワードＵｘ（ｔ）としてメモリ等に記憶する。このキーワードは、テロップには含まれていない場合、新たにキーワードとして追加することが可能である。このキーワードの重要度はそのキーワードを抽出した文の重要度をその文に含まれる相異なるキーワードの数で割ったものとする。重要文から取り出すキーワードは０個以上の名詞であり、また、固有名詞だけでなく、普通の名詞句を取り出してもよい。
【０１３０】
ステップ７５）  次のトピックｔ＋１があるかを判定し、存在する場合は処理対象トピックを１増やして、ステップ７２に戻る。最後のトピックまで処理が終了したときは、重要文ＩＤｘａ（ｔ）、重要度Ｖｔ（ｘａ（ｔ））、重要文キーワードＵｘ（ｔ）を出力して処理を終了する。
【０１３１】
出力例を図１８に示す。同図（Ａ）の表で右端の値が各シナリオＩＤの重要度であり、「トピック３」ではシナリオＩＤ３０の文の重要度が最大であるので、同図（Ｂ）の文章が出力される。「トピック３」の映像内容は、「加藤清正が行った治水事業」についての説明が主であるため、この抽出された文はまとめの文といえる。重要文キーワードは、『加藤清正』という固有名詞である。
【０１３２】
次に、上記のステップ３４におけるキーワード決定処理について説明する。
【０１３３】
図１９は、本発明の第１の実施の形態におけるキーワード決定処理のフローチャートである。
【０１３４】
同図に示す処理は、出力部１９の出力テーブルＯに出力する情報を記憶し出力するものである。
【０１３５】
出力テーブルの例として、図８（Ａ）の表と、図１３（Ｂ）の表がある。項目は、テロップＩＤｙ、対応するトピックＩＤ，抽出されたキーワード、キーワードの重要度がある。重要文に出てきているテロップの場合は、同時に出てきている他のテロップＩＤを記憶する関連テロップＩＤ，また重要文から抽出されたキーワードと重要文そのものへのポインタを格納する。このフローチャートはこの出力テーブルを作成する処理を説明している。なお、出力テーブルは出力部１９上のメモリ等の記憶手段上に作成されるものとする。
【０１３６】
以下の処理の前提として、ステップ３３の処理結果として（ｘａ（ｔ）、Ｖｔ（ｘａ（ｔ），Ｕｘ（ｔ））の組が与えられるものとする。
【０１３７】
ステップ８０１）  変数を初期化する。ｔ＝１、ｙ＝１、ｘｔ＝（トピックｔに属しているシナリオのＩＤｘの集合）とする。
【０１３８】
ステップ８０２）  テロップｙの総重要度Ｗｔ（ｙ）を算出する。算出方法は、次式による。
【０１３９】
【数４】
2005234786.tif 000006
ステップ８０３）  テロップ総重要度が０かどうか判定する。０の場合はテロップの名詞句がシナリオに１度も登場していないため、重要でないと判断できるため、キーワードとしては格納しない。ステップ８０４に移行する。０でない時には、ステップ８０８に移行する。
【０１４０】
ステップ８０４）  次のテロップが存在するか判定し、存在すれば、ステップ８０５へ移行し、存在しない場合には出力テーブルＯを出力して終了する。
【０１４１】
ステップ８０５）  次テロップが同トピックｔに属するかを判定し、同トピックでない場合、ステップ８０６へ移行する。同トピックの場合はそのままステップ８０７に移行する。
【０１４２】
ステップ８０６）  ステップ８０５で同トピックでない場合には、トピックｔをインクリメントしてステップ８０７に移行する。
【０１４３】
ステップ８０７）  処理対象テロップＩＤをインクリメントしてステップ８０２に戻る。
【０１４４】
ステップ８０８）  ステップ８０３において、０でない時には、キーワードとして出力テーブルＯに書込みステップ８０９に移行する。
【０１４５】
ステップ８０９）  重要文中にこのテロップ名詞句が含まれているかどうかを判定し、含まれている場合は、ステップ８１０に移行する。含まれていない場合にはステップ８０４に移行する。
【０１４６】
ステップ８１０）  出力テーブルＯに、Ｃ（ｘａ（ｔ），ｙ’）≠０であるｙ’全てを関連テロップＩＤとして、また、ステップ８０３で出力された重要文のキーワードを関連ワードとして、また、重要文へのポインタをそれぞれ追加し、ステップ８０４に移行する。
【０１４７】
上記の処理結果は、例えば、図８（Ａ）の表、図１３（Ｂ）の表のように、映像番号に対して１つのテーブルをメモリ等の上に用意し、重要度が０でないテロップについて記録する。項目は、テロップＩＤ，トピックＩＤ，テロップ名詞列、テロップ総重要度Ｗ（ｙ）があり、また、重要文中に存在するテロップワードの行に対して関連ワードという項目を追加し、入力されている重要文キーワードＵｘ（ｔ）をそこに記憶する。さらに、重要文へのポインタを追加する。このテーブルを映像番号と関連付けてデータベース（補助記憶装置）（図示せず）に格納する。
【０１４８】
また、他の出力例は、図８（Ａ）の表に示す。テロップＩＤ，ｙ＝２３，２４，２５，２６，２７の名詞がキーワードとして出力される（図８（Ｂ））。図１３（Ａ）の表のように一致したテロップ名詞の文字位置情報も記憶されている場合は、シナリオ文と一致したテロップ名詞のみをキーワードとして出力することも可能である（図１３、『トピック３のキーワード』（Ｂ））。
【０１４９】
［第２の実施の形態］
図２０は、本発明の第２の実施の形態における映像キーワード抽出装置の構成を示す。
【０１５０】
同図において、図３と同一構成部分には同一符号を付与する。
【０１５１】
図２０に示す映像キーワード抽出装置は、テロップ認識結果入力部９１、シナリオテキスト入力部１２、シナリオテキスト記憶部１４、制御部１５、テロップ認識結果記憶部９３、テロップ認識結果読み込み部９６、シナリオテキスト解析部９７、類似適合判定処理部９８、出力部９９から構成される。
【０１５２】
テロップ認識結果入力部９１は、テロップ認識結果記憶部９３へテロップ認識結果を入力するものである。入力の方法は、例えば、映像を入力し、その映像に表示されたテロップ文字列を画像処理により認識し、テロップ文字コード列を記録することにより行う。
【０１５３】
テロップ文字の認識処理は、例えば、「桑野他、“エッジ密集度によるテロップ文字フレーム検出誤り抑制法”（電子情報通信学会情報・システムソサエティ大会、D-12-12，１９９７年  ９月）」や、「森他、“背景・文字の形状特徴と動的修正識別関数を用いた映像中テロップ文字認識”（電子情報通信学会論文誌、Vol. J83-D2, No.7, pp.1658-1666. 2000年７月）等の技術を組み合わせて利用することで実現可能である。
【０１５４】
一般的なテロップ文字認識手法では、必ずしも正確な文字コードが得られる訳ではないので、１つのテロップ文字について複数の認識結果を候補として出力することで、認識誤りに対してロバストな処理が実現できる。認識結果を、例えば、図２１に示すようなテロップン認識結果記憶テーブル９６１に格納する。図２１の例では、認識候補として、１０位までを各列毎に記憶している。一連のテロップ文字列（３００７）毎に、識別番号ＩＤ：ｙ（３００１）、テロップ表示開始時刻（３００２）、テロップ表示時間長（３００３）、テロップ文字数（３００４）、テロップ文字の大きさ（３００５）を記録する。
【０１５５】
テロップ認識結果記憶部９３は、テロップ認識結果入力部１１からテロップ認識結果が入力され、蓄積されるデータベースであり、図２１（Ａ）に示すようなテロップ認識結果記憶テーブルが大量に記憶されている。各テーブルには映像に対応する番号が振られており、例えば、映像を指定すると自動的にその映像に対応したテロップ認識結果がとりだせるようなデータベースである。
【０１５６】
このテロップ認識結果記憶のために必要な情報項目は、各テロップのＩＤｙ（３００１）、テロップ表示開始時刻（３００２）、テロップが表示されている時間長ｍｙ（３００３）、テロップが表示される文字数ｎｙ（３００４）、テロップの文字の大きさｂｙ（３００５）、テロップ認識結果文字列Ｌｙ（３００７）などである。テロップのＩＤｙは、映像においてテロップが出現する順に昇順であり、連続した整数値で付けられているものとする。テロップ表示時間長ｍｙ（３００３）については、代わりにテロップ表示終了時刻が記録されているものでもよい。文字数ｎｙ（３００４）は、テロップ認識結果文字列Ｌｙ（３００７）から算出できるため、必ずしも必要な項目ではない。テロップ認識結果文字列Ｌｙは、各行がテロップの各１文字に相当し、各列が認識候補を表している。この例では、テロップ認識の結果として、１０個の文字の候補が算出されるため１０列の認識文字候補が例には存在している。
【０１５７】
テロップ認識結果読み込み部９６では、制御部１５で選ばれたテロップ認識結果記憶テーブルのデータをテロップ認識結果記憶部９３から読み込む。また、テロップ重要度を算出する。その結果を図２１の（Ｂ）に示す。この算出方法は、図３のテロップ情報抽出部１６の処理と同様の算出法を用いるものとする。
【０１５８】
シナリオテキスト解析部９７は、制御部１５で選ばれたシナリオテキストをシナリオテキスト記憶部１４から入力する。入力されたシナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤ付けして同時に格納する。
【０１５９】
また、シナリオの各文に対して形態素解析を行い、名詞句を抽出する。各名詞句に対してＩＤｘ’を付与して、シナリオ名詞句記憶テーブル９７１に格納する。当該シナリオ名詞句記憶テーブル９７１の例を図２２に示す。同図の例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、名詞句ＩＤｘ’（２９０１）、シナリオＩＤｘ’（２９０２）、トピックＩＤｔ（２９０３）、文中でその名詞句が出現する文字位置（２９０４）、シナリオ名詞句Ｋｘ（２９０５）である。
【０１６０】
なお、形態素の方法としては、例えば、「形態素解析システム『茶筌』、情報処理Vol.41 No.11,pp.1208-1214,Nov.2000」がある。
【０１６１】
また、形態素解析後に、名詞句を抽出する例を以下に示す。
【０１６２】
・連続した名詞を一つの名詞句として取り出す（但し、サ変名詞の後に動詞『する』が来る場合のサ変名詞は除く）。
【０１６３】
・上記に加え、助詞「の」で結ばれる２つの名詞（句）があれば、まとめて取り出す（例：『土木』（名詞）＋『の』（助詞）＋『神様』（名詞）→『土木の神様』）。
【０１６４】
・助詞「の」が２つ以上存在する名詞句では、「の」で結ばれる名詞の組み合わせを全て取り出す。
【０１６５】
・類似文字列比較をする場合は、上記のように抽出された名詞句のうち、一定文字列数以下の名詞（句）を消去する。これは類似文字列比較の信頼性を向上させるためである（また、トピックを特定するのにふさわしくない名詞（句）が抽出されることを防ぐ）。
【０１６６】
類似適合判定処理部９８では、図２１のテロップ認識結果記憶テーブル９６１と、図２２のシナリオ名詞句記憶テーブル９７１を読み込み、映像のキーワードを出力する。出力例を図２３に示す。
【０１６７】
出力部９９では、映像番号と出力されたキーワード及び文をデータベース等に格納する。なお、格納時のフォーマットは機械的に読み書きできるものであればよい。
【０１６８】
次に、上記の構成における動作を説明する。
【０１６９】
図２４は、本発明の第２の実施の形態における動作の概要を示すフローチャートである。
【０１７０】
ステップ１０１）  制御部１５により、処理対象の映像を人が指定する、あるいは、機械的に決定することにより、テロップ認識結果読み込み部９６及びシナリオテキスト解析部９７に、映像に付与されている映像番号を渡す。
【０１７１】
ステップ１０２）  テロップ認識結果読み込み部９６は、ステップ１０１において制御部１５で選ばれた映像番号に対応するデータをテロップ認識意結果記憶部９３から読み込み、テロップ重要度を算出し、テロップ認識結果記憶テーブル９６１に格納する。なお、テロップ重要度の算出方法は、図３のテロップ情報抽出部１６の処理と同様である。
【０１７２】
ステップ１０３）  シナリオテキスト解析部９７は、ステップ１０１において制御部１５で選ばれた映像番号に対応するデータをシナリオテキスト記憶部１４から読み込み、シナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤ付けして、同時にシナリオ名詞句記憶テーブル９７１に格納する。また、シナリオの各文に対して、形態素解析を行い、名詞句を抽出する。各名詞句に対してＩＤｘ’を付けてシナリオ名詞句記憶テーブル９７１に格納する。格納したデータの例を図２２に示す。この例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、名詞句ＩＤｘ’（２９０１）、シナリオＩＤｘ（２９０２）、トピックＩＤｔ（２９０３），文中で、名詞句が出現する文字位置（２９０４）、シナリオ名詞句Ｋｘ’（２９０５）である。
【０１７３】
ステップ１０４）  類似適合判定処理部９８において、シナリオ名詞句記憶テーブル９７１と、テロップ認識結果記憶テーブル９６１からシナリオ名詞句Ｋｘ’と、テロップ認識文字列Ｌｙを読み込み、ｘ’ｙの全ての組み合わせについて順次照合し、テロップ認識文字列Ｌｙの中にシナリオ名詞句Ｋｘ’が部分文字列として含まれているか調べ、含まれている場合は、そのシナリオ名詞句Ｋｘ’と、テロップＬｙとのＩＤの組（ｘ’，ｙ）と、シナリオ名詞句Ｋｘ’とテロップＬｙの出現回数Ａ（ｘ’）、Ｂ（ｙ）を出力する。出力は、抽出されたキーワードと当該キーワードに対応するＩＤの組（ｘ’，ｙ）などである。このステップについては、図２５で後述する。
【０１７４】
ステップ１０５）  出力部９９において、映像番号と出力されたキーワード及び文をデータベース等に格納する。格納時のフォーマットは、機械的に読み書きできるものであればよい。または、ディスプレイ等の表示装置によりユーザに抽出されたキーワードを表示してもよい。
【０１７５】
次に、上記のステップ１０４の類似適合判定処理について説明する。
【０１７６】
図２５は、本発明の第２の実施の形態における類似適合判定処理のフローチャートである。
【０１７７】
ステップ１１１）  類似適合判定処理部９８は、シナリオ名詞句のＩＤｘ’とテロップＩＤｙを初期化する。また、全てのテロップの中でシナリオ名詞句Ｋｘ’が出現した回数Ａ（ｘ’）が出現した回数Ａ（ｘ’）と、全てのシナリオ名詞句の中でテロップＬｙが出現した回数Ｂ（ｙ）を０に初期化する。
【０１７８】
ステップ１１２）、シナリオ名詞句Ｋｘ’と、テロップ認識結果文字列Ｌｙの部分列と類似文字列比較を行い、類似度を算出し、類似度が一定値以上であるとき一致と見做す。この類似度算出については、後述する。
【０１７９】
ステップ１１３）  一致した場合としなかった場合の場合分けを行う。不一致が確認された場合には、ステップ１１５に移行し、一致が確認された場合にはステップ１１４に移行する。
【０１８０】
ステップ１１４）  ステップ１１３で一致したシナリオ名詞句ＩＤｘ’と、テロップＩＤｙの対（ｘ’，ｙ）を出力する。また、一致したそれぞれのＩＤに対応する出現回数Ａ（ｘ’）、Ｂ（ｙ）をインクリメントした後、ステップ１１５に移行する。
【０１８１】
ステップ１１５）  全てのテロップについて処理が終わっているかどうかを判定する。終わっていない場合は、ステップ１１６に移行し、終わっている場合には、ステップ１１７に移行する。
【０１８２】
ステップ１１６）  ｙをインクリメントし、ステップ１１２に戻る。
【０１８３】
ステップ１１７）  全てのシナリオ名詞句について処理を行ったかを判定する。全てのキーワードについて処理が終わっていない場合は、ステップ１１８に移行し、終わっている場合には、ステップ１１９に移行する。
【０１８４】
ステップ１１８）  ｙを１に初期化し、ｘ’を１つ増やしてステップ１１２に戻る。
【０１８５】
ステップ１１９）  上記の処理の結果を用いて、キーワードとなる語や重要なテロップなどを決定し、出力する。例えば、ある閾値よりＡ（ｘ’）が大きい時は、シナリオ名詞句Ｋｘ’を重要語として出力する。また、ある閾値よりＢ（ｙ）が大きいとき、そのテロップＬｙを重要なテロップとして出力したり、Ｋｘ’とその重要度Ａ（ｘ’）あるいは、図２１に記載されている重要度３００６を組にして出力することも可能である。
【０１８６】
出現回数Ａ（ｘ’）の大きなシナリオ名詞句Ｋｘ’はテロップとして表示された回数が多いキーワードであり、Ａ（ｘ’）は、キーワードの重要度の目安として利用可能である。音声と映像の両者に含まれる言葉は、視聴者に印象付けたいと映像制作者が意図したものと考えることができる。本発明では、音声としてのセリフ部分の重要語（シナリオ名詞句）と、映像表示としてテロップ文字列との相関を調べることでキーワードを抽出している。
【０１８７】
また、Ｂ（ｙ）の大きなテロップＬｙは、シナリオ名詞句を多く含むということで、Ｌｙは纏めてきなテロップであると考えられ、例えば、そのテロップの表示時間前後に重要な（トピックにおいてキーとなる）映像や音声が流れていると判断することもできる。
【０１８８】
次に、ステップ１１２の類似文字列判定処理について説明する。
【０１８９】
図２６は、本発明の第２の実施の形態における類似文字列判定処理のフローチャートである。同図に示す処理は、大きく分けて３つの部分に分かれる。ステップ１２０２、１２１３〜１２１６が名詞句文字ｋｉの内、テロップ認識結果文字ｇｊの中に存在する文字を探す先頭一致文字検出フェーズであり、ステップ１２０３〜１２１０がＤＰマッチングにより一致した先頭文字から名詞句と認識結果文字列との編集距離を算出していく編集距離マトリックス作成フェーズ、ステップ１２１１，１２１２が算出された類似度の最大値を格納していく類似度最大化フェーズである。
【０１９０】
先頭一致文字列検出フェーズでは、テロップ文字列の中でシナリオ名詞句の文字を含む文字位置の探索を行う。その後一致した文字位置以降の部分文字列について編集距離を算出する編集距離マトリクス作成フェーズへ移行する。
【０１９１】
編集距離マトリックス作成フェーズについては、公知の技術であるＤＰマッチングを用いた類似文字列照合処理を行う。例えば、「内山他、“近似文字列照合による前文検索のための接尾辞配列の高速走査法”（情報処理学会論文誌：データベース（２００２年度）、Vol.43, No.SIG9(TOD15), pp>1-14)）を参考にした方法を用いることができる。
【０１９２】
以下にその概略を説明する。
【０１９３】
文字列Ｋ＝ｋ１，ｋ２，…，ｋＩとＧ＝ｇ１，ｇ２，…，ｇＪのそれぞれ文字位置ｉ０〜I，ｊ０〜Jの部分文字列の編集距離をｄｉｓｔ（Ｋ，Ｇ）とする。ここで編集距離とはＫをＧに一致させる操作として、置換・削除、挿入を許したとき、それらのコストの総和のことである。ここで、ｋｉとｇｊの置換コストをｓｕｂ（ｋｉ，ｇｊ）、ｇｊの削除コストをｄｅｌ（ｇｊ），ｋｉの挿入コストをｉｎｓ（ｋｉ）とする。ｋ１…ｉとｇ１…ｊとの距離をＤ［ｉ，ｊ］は、次のような漸化式で計算できる。
【０１９４】
D[i0-1,j0-1]=0，
D[i,j0-1]=D[i-1,j0]+ins(ki)
D[i0-1,j]=D[i0-1.k-1]+del(ｇj)
D[i,j]=min{D[i-1,j-1]+sub(ki,ｇj),D[i-1,j]+del(ki),D[i,j-1]+ins(ｇj)}
(i0≦i≦I, j0≦j≦J)
コストとして考えられるものとしては、例えば、任意のｉ，ｊについて、ｓｕｂ（ｋｉ，ｇｊ）=０（ｇｊの認識候補中にｋｉが存在する場合。以降便宜上ｋｉ＝ｇｊ表す）、ｓｕｂ（ｋｉ，ｇｊ）＝１（ｇｊの認識候補中にｋｉが存在しない場合。以降便宜上ｋｉ≠ｇｊと表す）、ｄｅｌ（ｇｊ）＝１, ｉｎｓ（ｋｉ）＝１などがある。また、ｓｕｂ（ｋｉ，ｇｊ）＝{テロップ認識において算出された文字の類似度（０から１の範囲）}とする方法も考えられる。
【０１９５】
また、テロップ認識結果の文字コード列が複数候補算出される場合は、文字の一致をその文字位置ｊにおける認識候補の一致文字の和集合とみなし、ｓｕｂ（ｋｉ，ｇｊ）を算出する。
【０１９６】
このとき、
ｄｉｓｔ（Ｋ，Ｇ）＝ｍｉｎ｛Ｄ［Ｉ，ｊ］｝        …（式Ａ）
である。
【０１９７】
ここで、類似度をこの編集距離と名詞句の文字列長Ｉ、及びＤ［ｉ，ｊ］＝Ｄ［ｉ−１，ｊ−１］＋ｓｕｂ（ｋｉ，ｇｊ）を選んだ回数（上記の例ではｋｉ＝ｇｊの回数）Ｎを用いて例えば、Ｎ／（Ｉ＋ｄｉｓｔ（Ｋ，Ｇ））とする。ｉ０，ｊ０を変化させながら類似度を計算し、類似度が予め設定した値よりも大きい場合、シナリオ名詞句は、テロップＧに含まれていると判断する。
【０１９８】
また、シナリオ名詞句Ｋとテロップ認識結果文字列の文字位置ｊ０〜ｊｅと（但し、ｊｅは式Ａにてｍｉｎ｛Ｄ［Ｉ，ｊ］｝を与えるｊの最大値）とが、ほぼ一致したと考えられるので、例えば、テロップ文字位置ｊ０〜ｊｅの部分文字列をシナリオ名詞句Ｋで置換することでテロップ認識結果を修正できる。
【０１９９】
類似度最大化フェーズは類似度を算出し、類似度の最大となる位置とその類似度の値を保存する。
【０２００】
図２６のフローチャートにおいて、
Ｄ［ｉ，ｊ］：編集距離マトリックス；
ｋｉ：あるシナリオ名詞句のｉ番目の文字；
ｇｊ：あるテロップ認識結果文字列のｊ番目の文字（複数候補が存在）；
Ｎ：ｋｉ＝ｇｊとなった回数。ただし、ｋｉ＝ｇｊは複数候補を持つ文字ｇｊの候補中に文字ｋｉが含まれていることを示す（以下、同様）；
Ｑ：類似度；
Ｉ：シナリオ名詞句Ｋの文字列数（ｉの最大値）；
Ｊ：テロップ認識結果Ｇの文字列長（ｊの最大値）；
を示す。
【０２０１】
ステップ１２０１）  変数の初期化ステップである。名詞句文字位置ｉ、認識文字文字位置ｊをそれぞれ初期値の“１”に、一致文字数Ｎ、類似度Ｑをそれぞれ０に初期化する。また、テロップ認識結果文字列の一致先頭文字位置ｊｑ、一致終端文字位置ｊｅを０に初期化する。
【０２０２】
ステップ１２０２）  名詞句文字ｋｉを認識文字ｇｊの各候補文字と比較して一致するものがあるか調べる。存在する場合は、編集距離を算出することにし、ステップ１２０３へ移行する。存在しない場合は、ステップ１２１３に移行する。
【０２０３】
ステップ１２０３）  編集距離マトリクスＤの算出前にＤの初期化を行う。事前の編集距離として、ｉ−1行目とj−1列目を埋めておく。また、先頭の一致位置をｉ０，ｊ０としてそれぞれメモリ等に記憶しておく。
【０２０４】
ステップ１２０４）  現認識文字位置ｊが認識文字長を超えていない場合、ステップ１２０２と同様のｋｉとｇｉの文字を各候補について比較し、一致文字があるかどうか判定する。一致文字があった場合とない場合で編集距離マトリクスの置換コストがない場合とある場合にはステップ１２０５に移行し、そうでない場合には、ステップ１２０６に移行する。
【０２０５】
ステップ１２０５）  Ｄ［ｉ，ｊ］＝ｍｉｎ｛Ｄ［ｉ−１，ｊ−１］＋ｓｕｂ，Ｄ［ｉ，ｊ−１］＋ｉｎｓ，Ｄ［ｉ−１，ｊ］＋ｄｅｌ｝を計算し、ステップ１２０７に移行する。
【０２０６】
ステップ１２０６）  一致回数Ｎをインクリメントし、上記のステップ１２０５のｓｕｂを含む項でそのｓｕｂを足さないでＤ［ｉ，ｊ］を算出し、ステップ１２０７に移行する。但し、この例では、sub=１，ins=1，del=１としている。
【０２０７】
ステップ１２０７）  認識文字位置ｊが初期位置から名詞句文字列長より定数ｃだけ大きくなっているかどうか判定する、認識文字位置による終了判定を行う。認識結果に冗長な誤認識文字が（１つの文字を２つの文字と誤認識することにより）存在することがあるため、比較すべき文字列の長さをｃだけ伸ばすことにしている。当該ステップで認識文字について比較が終了したと判定された場合はステップ１２０９へ、終了していない場合は、ステップ１２０８へ移行する。
【０２０８】
ステップ１２０８）  認識文字位置をインクリメントしてステップ１２０４に戻る。
【０２０９】
ステップ１２０９）  名詞句文字位置ｉが最後の文字についてまで編集距離マトリックスを作成した場合には、ステップ１２１１に移行し、最後の文字まで比較が終わっていない場合には、ステップ１２１０に移行する。
【０２１０】
ステップ１２１０）  名詞句文字位置ｉをインクリメントし、また、認識結果文字位置ｊをｊ０に戻してステップ１２０４に戻る。
【０２１１】
ステップ１２１１）  Ｑ＝Ｎ／（ｍｉｎ｛Ｄ[Ｉ，ｊ]｝＋Ｉ）により、類似度Ｑを算出する。名詞句文字位置ｉ＝Ｉにおける編集距離マトリクスの最小値ｍｉｎ｛Ｄ［Ｉ，ｊ］｝が求める編集距離となり、それと名詞句文字列長Ｉを足したもので一致文字数を割った値を類似度として採用する。それが、現在メモリ等に記憶されている類似度とどちらが大きいかを判定する。Ｑ＜Ｎ／（ｍｉｎ｛Ｄ[Ｉ，ｊ]｝＋Ｉ）である場合には、ステップ１２１２に移行し、そうでない場合には、ステップ１２０２に戻る。
【０２１２】
ステップ１２１２）  ステップ１２１１で求められた類似度をＱに、現先頭文字位置ｊ０をｊｑに、評価値Ｑの算出の際に得られるｍｉｎ｛Ｄ［Ｉ，ｊ］｝を与えるｊをｊｅにそれぞれ記憶し、先頭文字位置検出フェーズのステップ１２０２に戻る。
【０２１３】
ステップ１２１３）  認識文字の次の文字があるかｊにより判定した後、次の認識文字がある場合、ステップ１２１４に移行する。
【０２１４】
ステップ１２１４）  文字位置ｊをインクリメントしてステップ１２０２に戻る。
【０２１５】
ステップ１２１５）  名詞句文字の次の文字があるかｉにより判定し、次の文字がある場合、ステップ１２１６へ移行する。最後まで調べていた場合はステップ１２１７へ移行する。
【０２１６】
ステップ１２１６）  名詞句文字ｋｉの文字位置ｉをインクリメントしてステップ１２０２に戻り、次の文字について認識結果文字を初めから調べていくために、ｊ＝１とする。
【０２１７】
ステップ１２１７）  文字位置ｊｑ，ｊｅと類似度Ｑを出力する。ここで、文字位置ｊｑ〜ｊｅはシナリオ名詞句文字列｛ｋｉ｝が対応するテロップ認識結果文字列｛ｇｉ｝中の文字位置であり、その文字列同士の類似度がＱである。
【０２１８】
以上のようにして、認識文字列と名詞句文字列の類似度を算出する。
【０２１９】
［第３の実施の形態］
図２７は、本発明の第３の実施の形態における映像キーワード抽出装置の構成図である。
【０２２０】
本実施の形態は、前述の第１の実施の形態の処理対象の一つがテロップ原稿からテロップ認識結果文字列になった例を示しており、主な処理については、第１の実施の形態と大差ない。本実施の形態では、テロップを形態素解析する代わりに、シナリオテキストを形態素解析する。テロップ認識結果には、誤認識文字が含まれており、形態素解析を行うことが困難であるのがその理由である。類似文字比較の部分は、第２の実施の形態と同様である。以下には変化のある部分だけを記載する。
【０２２１】
図２７では、図３及び、図２０と同一部分については同一符号を付す。
【０２２２】
シナリオテキスト解析部１３７では、制御部１５で選ばれた番号に対応するシナリオテキストをシナリオテキスト記憶部１４から読み出し、入力されたシナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤ付けして同時に格納する。
【０２２３】
また、シナリオの各文に対して形態素解析を行い、名詞句を抽出する。各シナリオＩＤそれぞれに複数のシナリオ名詞句列Ｋｘを算出し、シナリオ名詞句記憶テーブル１３７１に格納する。図２８にシナリオ名詞句記憶テーブル１３７１の例を示す。この例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、シナリオＩＤｘ（３２０２）、トピックＩＤｔ（３２０３）、文中でキーワードが現れる文字位置（３２０４）、シナリオ名詞句列Ｋｘ（３２０５）である。
【０２２４】
類似適合判定処理部１３８では、図２１（Ｂ）のテロップ認識結果記憶テーブルと、図２８のシナリオ名詞句記憶テーブルのデータを入力し、映像のキーワードを出力する。出力例を図２９に示す。テロップＩＤｙ（３３０１）、関連テロップＩＤ（３３０５）はテロップ認識結果記憶テーブル図２１（Ｂ）から、トピックＩＤ（３３０２），キーワード列（３３０３）、関連ワードは、シナリオ名詞句記憶テーブル（図２８）から、それぞれ選ばれ取得される。また、キーワード重要度（３３０４）はテロップ認識結果記憶テーブル（図２１）のテロップ重要度と後述のテロップ−シナリオ名詞句対応表とを用いて算出される。
【０２２５】
出力部１３９では、映像番号と出力された図２９のような出力テーブルのデータをデータベース等に格納する。格納時のフォーマットは機械的に読み書きできるものであればよい。
【０２２６】
次に、上記の構成における動作を説明する。
【０２２７】
図３０は、本発明の第３の実施の形態における動作の概要を示すフローチャートである。
【０２２８】
同図では、図２４の動作と異なる部分（ステップ１４２，１４４，１４５）のみ説明する。
【０２２９】
ステップ１４２）  シナリオテキストを読み込み、一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤを付与して同時にシナリオ名詞句記憶テーブル１３７１に格納する。また、シナリオの各文に対して形態素解析を行い、名詞句を抽出する。各シナリオＩＤそれぞれに複数のシナリオ名詞句列Ｋｘを算出し、シナリオ名詞句記憶テーブル１３７１に格納する。このようなデータが格納されたシナリオ名詞句記憶テーブル１３７１の例を図２８に示す。この例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、シナリオＩＤｘ（３２０２），トピックＩＤｔ（３２０３）、文中でキーワードが現れる文字位置（３２０４）、シナリオ名詞句列Ｋｘ（３２０５）である。
【０２３０】
ステップ１４４）  図２１（Ｂ）のテロップ認識結果記憶テーブルと図２８のシナリオ名詞句記憶テーブルを入力し、図２９に示すようなデータを出力する。シナリオ名詞句列とテロップ認識結果の類似文字列比較を行い、各テロップに含まれるシナリオ名詞句列の対応表を算出し、その対応からトピック区切りを算出し、テロップをトピック単位に区切って分布を修正し、各名詞句の重要度を算出することによってキーワードを選択する。
【０２３１】
ステップ１４５）  映像番号と出力された図２９のような出力テーブルをデータベース等に格納する。格納時のフォーマットは機械的に読み書きできるものであればよい。
【０２３２】
次に、上記のステップ１４４を詳細に説明する。
【０２３３】
図３１は、本発明の第３の実施の形態における適合判定処理のフローチャートである。
【０２３４】
同図のフローチャートは、図１０の処理を基本とし、テロップ原稿の代わりにテロップ認識結果を用いて、それに対応できるよう変更を加えた例である。以下では、図１０と異なる処理についてのみ説明する。
【０２３５】
ステップ１５１）  入力されたシナリオ名詞句記憶テーブル１３７１と、テロップ認識結果記憶テーブル９６１のデータのマッチングを、シナリオ名詞句列Ｋｘとテロップ認識文字列Ｌｙを用いて行う。そのマッチング結果を対応表Ｃ（ｘ，ｙ）としてメモリ等に記録する。Ｃ（ｘ，ｙ）に記録する数値としては、テロップ認識文字列Ｌｙに含まれるシナリオ名詞句列Ｋｘの名詞句の文字位置である。詳細は後述する。
【０２３６】
ステップ１５２）  テロップ分布を算出し、対応表Ｃ（ｘ，ｙ）を修正する。
【０２３７】
具体的には、図１４のフローチャートのステップ５２の式を変更しただけである。詳細については後述する。
【０２３８】
ステップ１５３）  ステップ３２で出力された対応表Ｃ（ｘ，ｙ）とテロップ認識結果テーブルのデータを入力し、シナリオ文の重要度ｗ（ｙ）を算出する。テロップ重要度を反映した対応表ｗ（ｙ）Ｃ（ｘ，ｙ）を作成し、それを用いてシナリオ文の重要度を算出する。
【０２３９】
具体的には、図１７のフローチャートのステップ７２の式とステップ７４を変更しただけのフローである。詳細は後述する。
【０２４０】
ステップ１５４）テロップ重要度を利用してキーワードを選び出し、例えば、図８、図１３に示すような形で出力する。ステップ１５３で抽出されたシナリオ文からのキーワードもこの出力に付け加えることが可能である。詳細は後述する。
【０２４１】
次に、上記のステップ１５１における処理について説明する。
【０２４２】
図３２は、本発明の第３の実施の形態における対応表作成処理のフローチャートである。同図に示す処理は、第１の実施の形態における図１１のステップ４０３，４０４，４０７を変更したものであり、以下では、変更点（ステップ１６０３，１６０４，１６０７）のみを説明する。
【０２４３】
本実施の形態では、シナリオから名詞句列を取り出しているので、文字列比較ループがシナリオ名詞句列―テロップ認識結果文字列比較ループとなる。文字位置ｉがシナリオ名詞句Ｋｘ内に存在する名詞句の文字位置となる。また、文字列比較法が類似文字列比較になる。
【０２４４】
以下に、各ステップにおける変更点を述べる。
【０２４５】
ステップ１６０３）  前述のステップ４０３では、一致文字列を探していたのに対し、本実施の形態では、シナリオ文字列ａｘ（ｉ）∈ｋｘとＬｙの類似文字列比較に変更される。
【０２４６】
この処理手順は、図２６の類似文字列比較により算出された類似度を閾値処理することにより、一致かどうかを判定するものである。
【０２４７】
ステップ１６０４）  前述のステップ４０４では一致個数を数えていたのを、一致した単語の文字位置を配列（Ｉ）に追加する処理へ変更する。
【０２４８】
ステップ１６０７）  対応表に書き込む値を、文字位置ｉの配列に変更する。
【０２４９】
この変更された手順により作成される対応表は図３３のようになる。
【０２５０】
次に、前述のステップ１５２における対応表を修正する処理を説明する。
【０２５１】
図３４は、本発明の第３の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートであり、第１の実施の形態における図１４のステップ５２に代わる処理である。変更部分（ステップ１７２）のみを説明する。
【０２５２】
ステップ１７２）  図１４のステップ５２からの変更は、対応表の値Ｃ（ｘ，ｙ）における要素（対応する名詞句）の個数｜Ｃ（ｘ，ｙ）｜を代わりに用いてテロップ分布Ｓｔ（ｙ）を算出する。この変更に伴って算出されるテロップ分布と対応表の修正例を図３５に示す。
【０２５３】
次に、前述のステップ１５３の重要文抽出処理について説明する。
【０２５４】
図３６は、本発明の第３の実施の形態における重要文抽出処理のフローチャートである。
【０２５５】
同図に示す処理は、前述の第１の実施の形態の図１７のフローチャートの内、ステップ７２、ステップ７４を変更したものなので、その部分（ステップ１８２，１８４）のみを説明する。本実施の形態におけるテロップ重要度表ｗ（ｙ）｜Ｃ（ｘ，ｙ）｜とシナリオ、テロップ重要度を図３７に示す。
【０２５６】
ステップ１８２）  シナリオ文の重要度を算出する際の変更としてＣ（ｘ，ｙ）を使用する代わりに、対応表の要素の個数である｜Ｃ（ｘ，ｙ）｜を利用する。
【０２５７】
ステップ１８４）  シナリオ名詞句記憶テーブルからシナリオＩＤがｘａ（ｔ）のものを読出し、そのシナリオ名詞句列Ｋｘ中の名詞の中の数値表現や固有名詞などの内、任意のｙについて対応表Ｃ（ｘａ（ｔ），ｙ）に文字位置が存在しない名詞句を一定個数選択し、重要文キーワードＵｘ（ｔ）として記憶し、出力する。
【０２５８】
次に、前述のステップ１５４のキーワード決定処理について説明する。
【０２５９】
図３８は、本発明の第３の実施の形態におけるキーワード決定処理のフローチャートである。
【０２６０】
同図に示す処理は、第１の実施の形態における図１９のフローチャートの内、ステップ８０２，８０８，８１０を変更したものなので、その部分（ステップ１９０２，１９０８，１９１０）のみを説明する。
【０２６１】
ステップ１９０２）  対応表の変更に伴う計算式の変更であり、
【０２６２】
【数５】
2005234786.tif 000007
となる点において異なる。
【０２６３】
ステップ１９０８）  テロップ総重要度Ｗｔ（ｘ）が０でないテロップと類似したシナリオ名詞句を出力部９９の出力テーブルにキーワードとして書き込む。
【０２６４】
ステップ１９１０）  重要文として抽出された文中に出現するテロップｙ’をＣ（ｘａ（ｔ），ｙ’）が空でないｙ’として算出し、そのｙ’を関連テロップとして書き込む。また、ｙ’に重要文キーワードＵｘ（ｔ）を関連キーワードとして書き込む。
また、重要文自体へのポインタを書き込む。
【０２６５】
この一連の処理により書き込まれる出力部９９の出力テーブルの例を図２９に示す。
【０２６６】
また、上記の第１〜第３の実施の形態における各フローチャートに示す動作をプログラムとして構築し、映像キーワード抽出装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行する、または、ネットワークを介して流通させることも可能である。
【０２６７】
また、構築されたプログラムを映像キーワード抽出装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、実施する際にコンピュータにインストールすることも可能である。
【０２６８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【０２６９】
本発明は、膨大な数の映像データから所望の映像を検索するシステムに適用可能である。
【図面の簡単な説明】
【０２７０】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における映像キーワード抽出装置の構成図である。
【図４】本発明の第１の実施の形態におけるテロップ原稿記憶部のテロップ原稿記憶テーブルの例である。
【図５】本発明の第１の実施の形態におけるシナリオテキスト記憶部に蓄積されるシナリオテキストの例である。
【図６】本発明の第１の実施の形態におけるテロップワード記憶テーブルの例である。
【図７】本発明の第１の実施の形態におけるシナリオテキスト記憶テーブルの例である。
【図８】本発明の第１の実施の形態における適合判定処理部の出力例である。
【図９】本発明の第１の実施の形態における動作の概要を示すフローチャートである。
【図１０】本発明の第１の実施の形態における適合判定処理のフローチャートである。
【図１１】本発明の第１の実施の形態における対応表作成処理のフローチャートである。
【図１２】本発明の第１の実施の形態におけるテロップワード−シナリオ対応表の例（祖の１）である。
【図１３】本発明の第１の実施の形態におけるテロップワード−シナリオ対応表の例（対応した単語の文字位置も同時に記憶する例）である。
【図１４】本発明の第１の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートである。
【図１５】本発明の第１の実施の形態におけるテロップワード−シナリオ対応表の例（その２）である。
【図１６】本発明の第１の実施の形態における分離度算出・区切り検出処理のフローチャートである。
【図１７】本発明の第１の実施の形態における重要文抽出処理のフローチャートである。
【図１８】本発明の第１の実施の形態における対応表の「トピック３」についての重要度ｗ（ｙ）Ｃ（ｘ，ｙ）算出とキーワードである。
【図１９】本発明の第１の実施の形態におけるキーワード決定処理のフローチャートである。
【図２０】本発明の第２の実施の形態における映像キーワード抽出装置の構成図である。
【図２１】本発明の第２の実施の形態におけるテロップ認識結果記憶テーブルの例である。
【図２２】本発明の第２の実施の形態におけるシナリオ名詞句記憶テーブルの例（その１）である。
【図２３】本発明の第２の実施の形態における類似適合判定処理部の出力例である。
【図２４】本発明の第２の実施の形態における動作の概要を示すフローチャートである。
【図２５】本発明の第２の実施の形態における類似適合判定処理のフローチャートである。
【図２６】本発明の第２の実施の形態における類似文字列判定処理のフローチャートである。
【図２７】本発明の第３の実施の形態における映像キーワード抽出装置の構成図である。
【図２８】本発明の第３の実施の形態におけるシナリオ名詞句記憶テーブルの例である。
【図２９】本発明の第３の実施の形態における処理結果記憶例である。
【図３０】本発明の第３の実施の形態における動作の概要を示すフローチャートである。
【図３１】本発明の第３の実施の形態における適合判定処理のフローチャートである。
【図３２】本発明の第３の実施の形態における対応表作成処理のフローチャートである。
【図３３】本発明の第３の実施の形態におけるテロップ−シナリオ名詞句対応表の例である。
【図３４】本発明の第３の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートである。
【図３５】本発明の第３の実施の形態におけるテロップ−シナリオ名詞句対応表から算出された分布と対応表の修正例である。
【図３６】本発明の第３の実施の形態における重要文抽出処理のフローチャートである。
【図３７】本発明の第３の実施の形態におけるテロップ重要度表ｗ（ｙ）｜Ｃ（ｘ，ｙ）｜とシナリオ、テロップ重要度の例である。
【図３８】本発明の第３の実施の形態におけるキーワード決定処理のフローチャートである。
【符号の説明】
【０２７１】
１１  テロップ原稿入力部
１２  シナリオテキスト入力部
１３  テロップ原稿データベース、テロップ原稿記憶部
１４  シナリオテキストデータベース、シナリオテキスト記憶部
１５  指定手段、制御部
１６  テロップ原稿読み込み手段、テロップ情報抽出部
１７  シナリオ読み込み手段、シナリオ読み込み部
１８  適合判定処理手段、適合判定処理部
１９  出力手段、出力部
９３  テロップ認識結果記憶部
９６  テロップ認識結果読み込み部
９７  シナリオテキスト解析部
９８  類似適合判定処理部
９９  出力部
１６１  テロップワード記憶テーブル
１７１  シナリオテキスト記憶テーブル
１３７  シナリオテキスト解析部
１３８  類似適合判定処理部
１３９  出力部
９５２  映像番号
９６１  テロップ認識結果記憶テーブル
９７１  シナリオ名詞句記憶テーブル
２１０１  ＩＤ
２１０２  テロップ表示開始時刻
２１０３  テロップ表示時間長
２１０４  テロップ
２１０５  文字数
２１０６  文字の大きさ
２２０１  ＩＤ
２２０２  テロップ名詞列
２２０３  テロップ重要度
２３０１  ＩＤ
２３０２  トピックＩＤ
２３０３  シナリオ
２７０１  テロップＩＤ
２７０２  トピック３のキーワード
２９０１  名詞句ＩＤｘ’
２９０２  シナリオＩＤｘ’
２９０３  トピックＩＤｔ
２９０４  文中でキーワードが出現する文字位置
２９０５  シナリオ名詞句Ｋｘ
３００１  ＩＤ
３００２  テロップ表示開始時刻
３００３  テロップ表示終了時刻
３００４  文字数
３００５  文字の大きさ
３００６  テロップ重要度
３００７  テロップ認識結果文字列
３２０１  ＩＤ
３２０２  トピックＩＤ
３２０４  出現文字位置
３２０５  シナリオ名詞句列
３３０１  テロップＩＤ
３３０２  トピックＩＤ
３３０３  キーワード列
３３０４  重要度
３３０５  関連テロップＩＤ
【図１】
2005234786.tif 000008
【図２】
2005234786.tif 000009
【図３】
2005234786.tif 000010
【図４】
2005234786.tif 000011
【図５】
2005234786.tif 000012
【図６】
2005234786.tif 000013
【図７】
2005234786.tif 000014
【図８】
2005234786.tif 000015
【図９】
2005234786.tif 000016
【図１０】
2005234786.tif 000017
【図１１】
2005234786.tif 000018
【図１２】
2005234786.tif 000019
【図１３】
2005234786.tif 000020
【図１４】
2005234786.tif 000021
【図１５】
2005234786.tif 000022
【図１６】
2005234786.tif 000023
【図１７】
2005234786.tif 000024
【図１８】
2005234786.tif 000025
【図１９】
2005234786.tif 000026
【図２０】
2005234786.tif 000027
【図２１】
2005234786.tif 000028
【図２２】
2005234786.tif 000029
【図２３】
2005234786.tif 000030
【図２４】
2005234786.tif 000031
【図２５】
2005234786.tif 000032
【図２６】
2005234786.tif 000033
【図２７】
2005234786.tif 000034
【図２８】
2005234786.tif 000035
【図２９】
2005234786.tif 000036
【図３０】
2005234786.tif 000037
【図３１】
2005234786.tif 000038
【図３２】
2005234786.tif 000039
【図３３】
2005234786.tif 000040
【図３４】
2005234786.tif 000041
【図３５】
2005234786.tif 000042
【図３６】
2005234786.tif 000043
【図３７】
2005234786.tif 000044
【図３８】
2005234786.tif 000045