(57)【要約】【課題】映像に添付等されるテロップその他のテキスト情報によるインデキシングにおいて、検索結果の漏れを低減し、検索効率を向上させる。【解決手段】映像インデキシングシステムは、インデクスを生成するインデクス生成部と、インデクスを位置等の付帯する情報とともに蓄積するインデクス蓄積部と、画像特徴を生成する画像特徴生成部と、画像特徴を位置等の付帯する情報とともに蓄積する画像特徴蓄積部と、画像特徴を過去の前記画像特徴と比較し、一致が認められる場合に、対応する過去の前記画像特徴を出力した時点の前記インデクスを現在のインデクスとして出力する画像特徴照合部を備える。
2007111297.tif 000002
【特許請求の範囲】
【請求項１】
入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、取得したインデクスを前記入力される映像データのインデックスに追加して、前記入力される映像データのインデックスとしてインデクス蓄積部に蓄積させる画像特徴照合部と、
を備えることを特徴とする映像データインデキシングシステム。
【請求項２】
入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、前記入力される映像データのインデックスを取得したインデクスに追加して、前記検索された画像特徴に対応する映像データのインデクスとしてインデクス蓄積部に蓄積させる画像特徴照合部と、
を備えることを特徴とする映像データインデキシングシステム。
【請求項３】
前記映像データを蓄積する映像蓄積部と、
テキストのクエリを取得し、前記クエリと一致するインデクスを前記インデクス蓄積部から取得し、前記インデクスの位置の映像データを前記映像蓄積部から取得するインデクス検索部と、
をさらに備えることを特徴とする請求項１又は２に記載の映像データインデキシングシステム。
【請求項４】
前記映像蓄積部に蓄積されるまたは蓄積された映像データであって指定されたものからインデクスを生成し、前記インデクスを前記クエリとして、前記インデクス検索部に出力するクエリ変換部をさらに備えることを特徴とする請求項３に記載の映像データインデキシングシステム。
【請求項５】
前記インデクス生成部は、映像中から文字情報を抽出し、文字を認識して得られる文字切り出しの候補、文字認識の候補を含む曖昧インデクスを生成する曖昧インデクス生成部であり、
前記インデクス蓄積部は、前記曖昧インデクスを蓄積する曖昧インデクス蓄積部であることを特徴とする請求項１〜４のいずれか１項に記載の映像データインデキシングシステム。
【請求項６】
入力される映像データからインデクスを生成するインデクス生成ステップと、
前記インデクスを蓄積する第１のインデクス蓄積ステップと、
前記入力される映像データから画像特徴を生成する画像特徴生成ステップと、
前記画像特徴を蓄積する画像特徴蓄積ステップと、
前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を画像特徴蓄積ステップで蓄積された画像特徴から検索し、当該検索された画像特徴に対応する映像データのインデクスを取得する画像特徴照合ステップと、
取得したインデクスを前記入力される映像データのインデクスに追加して、前記入力される映像データのインデックスとして蓄積する第２のインデクス蓄積ステップと、
を備えることを特徴とする映像データインデキシング方法。
【請求項７】
入力される映像データからインデクスを生成するインデクス生成ステップと、
前記インデクスを蓄積する第１のインデクス蓄積ステップと、
前記入力される映像データから画像特徴を生成する画像特徴生成ステップと、
前記画像特徴を蓄積する画像特徴蓄積ステップと、
前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を画像特徴蓄積ステップで蓄積された画像特徴から検索し、当該検索された画像特徴に対応する映像データのインデクスを取得する画像特徴照合ステップと、
前記入力される映像データのインデックスを取得したインデクスに追加して、前記検索された画像特徴に対応する映像データのインデクスとしてインデックスに追加して蓄積する第２のインデクス蓄積ステップと、
を備えることを特徴とする映像データインデキシング方法。
【請求項８】
前記映像データを蓄積する映像蓄積ステップと、
テキストのクエリを取得し、前記クエリと一致するインデクスを取得し、前記インデクスの位置の映像データを前記映像蓄積ステップで蓄積された映像データから取得するインデクス検索ステップと、
を備えることを特徴とする請求項６又は７に記載の映像データインデキシング方法。
【請求項９】
前記映像蓄積ステップで蓄積されるまたは蓄積された映像データであって指定されたものからインデクスを生成し、前記インデクスを前記クエリとするクエリ変換ステップと、
を備えることを特徴とする請求項８に記載の映像データインデキシング方法。
【請求項１０】
前記インデクス生成ステップは、映像中から文字情報を抽出し、文字を認識して得られる文字切り出しの候補、文字認識の候補を含む曖昧インデクスを生成する曖昧インデクス生成ステップであり、
前記インデクス蓄積ステップは、前記曖昧インデクスを蓄積する曖昧インデクス蓄積ステップであることを特徴とする請求項６〜９のいずれか１項に記載の映像データインデキシング方法。
【請求項１１】
コンピュータを、
入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、取得したインデクスを前記入力される映像データのインデックスに追加して、前記入力される映像データのインデックスとしてインデクス蓄積部に蓄積させる画像特徴照合部と、
として機能させるための映像データインデキシング用プログラム。
【請求項１２】
コンピュータを、
入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、前記入力される映像データのインデックスを取得したインデクスを追加して、前記検索された画像特徴に対応する映像データのインデクスとしてインデクス蓄積部に蓄積させる画像特徴照合部と、
として機能させるための映像データインデキシング用プログラム。
【請求項１３】
コンピュータを、さらに、
前記映像データを蓄積する映像蓄積部と、
テキストのクエリを取得し、前記クエリと一致するインデクスを前記インデクス蓄積部から取得し、前記インデクスの位置の映像データを前記映像蓄積部から取得するインデクス検索部と、
として機能させるための請求項１１又は１２に記載の映像データインデキシング用プログラム。
【請求項１４】
コンピュータを、さらに
前記映像蓄積部に蓄積されるまたは蓄積された映像データであって指定されたものからインデクスを生成し、前記インデクスを前記クエリとして、前記インデクス検索部に出力するクエリ変換部として機能させるための請求項１３に記載の映像データインデキシング用プログラム。
【請求項１５】
前記インデクス生成部は、映像中から文字情報を抽出し、文字を認識して得られる文字切り出しの候補、文字認識の候補を含む曖昧インデクスを生成する曖昧インデクス生成部であり、
前記インデクス蓄積部は、前記曖昧インデクスを蓄積する曖昧インデクス蓄積部であることを特徴とする請求項１１〜１４のいずれか１項に記載の映像データインデキシング用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像データのインデキシングに関し、特に映像データの所望の部分に効率的にアクセスすることを可能とする映像データインデキシングシステム、映像データインデキシング方法およびプログラムに関する。
【背景技術】
【０００２】
従来の映像データの蓄積表示、検索のためのインデキシング方法の一例が、特許文献１に記載されている。この従来の方法は、入力された映像データの各フレームに対し、テロップ文字が表示されているかどうか判断し、テロップ文字が表示されているフレームに対して文字領域の抽出し、テロップ文字の認識処理を行い、さらに、テロップ文字の認識結果と、該テロップ文字の表示時のＩＤ情報として、認識処理対象のフレームが入力された時点のＩＤ情報を含むインデクスファイルを生成する。また、前記ＩＤ情報が当該フレームの入力された時刻情報である場合も提示している。【０００３】
【特許文献１】特開平１１−１６７５８３号公報  （第０００２段落、および図２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
映像データに添付および埋め込まれるクローズドキャプションおよびテロップをはじめとするテキスト情報は、映像データにテキストのインデクスを関連付けるのに有用であり、こうして生成したインデクスを用いると映像データに対してテキストのクエリ(Query)による検索が可能となる。しかしながら、テキスト情報は、常に映像と連動しているわけではなく、かつ常に存在するわけではないため、検索結果に漏れが生じる場合がある。たとえば、人物やシーンに対して、テロップが重畳されるのは、該当する対象が最初に表示された数秒間に限られることが多い。したがって、同一の映像が表示される複数のフレーム画像において、一方にはテキスト情報があっても、他方にはテキスト情報がない場合がある。また、テロップの文字が斜体（斜めに傾いた書体；italic face）であったり、文字と背景の白黒が反転して表示されているときに、テキスト情報の誤認を生じたりする場合もある。【０００５】
［発明の目的］
本発明の目的は、映像におけるシーンとテキスト情報が同時に現れる頻度の情報から、テキスト情報が存在しない映像データに対しても、テキストのインデクスを付与することで、映像データを検索した際の漏れを低減することにある。
【課題を解決するための手段】
【０００６】
本発明の映像データインデキシングシステムは、入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、取得したインデクスを前記入力される映像データのインデックスに追加して、前記入力される映像データのインデックスとしてインデクス蓄積部に蓄積させる画像特徴照合部と、
を備えることを特徴とする。【０００７】
また本発明の映像データインデキシングシステムは、入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、前記入力される映像データのインデックスを取得したインデクスに追加して、前記検索された画像特徴に対応する映像データのインデクスとしてインデクス蓄積部に蓄積させる画像特徴照合部と、
を備えることを特徴とする。【０００８】
本発明の映像データインデキシング方法は、入力される映像データからインデクスを生成するインデクス生成ステップと、
前記インデクスを蓄積する第１のインデクス蓄積ステップと、
前記入力される映像データから画像特徴を生成する画像特徴生成ステップと、
前記画像特徴を蓄積する画像特徴蓄積ステップと、
前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を画像特徴蓄積ステップで蓄積された画像特徴から検索し、当該検索された画像特徴に対応する映像データのインデクスを取得する画像特徴照合ステップと、
取得したインデクスを前記入力される映像データのインデクスに追加して、前記入力される映像データのインデックスとして蓄積する第２のインデクス蓄積ステップと、
を備えることを特徴とする。【０００９】
また本発明の映像データインデキシング方法は、入力される映像データからインデクスを生成するインデクス生成ステップと、
前記インデクスを蓄積する第１のインデクス蓄積ステップと、
前記入力される映像データから画像特徴を生成する画像特徴生成ステップと、
前記画像特徴を蓄積する画像特徴蓄積ステップと、
前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を画像特徴蓄積ステップで蓄積された画像特徴から検索し、当該検索された画像特徴に対応する映像データのインデクスを取得する画像特徴照合ステップと、
前記入力される映像データのインデックスを取得したインデクスに追加して、前記検索された画像特徴に対応する映像データのインデクスとしてインデックスに追加して蓄積する第２のインデクス蓄積ステップと、
を備えることを特徴とする。【００１０】
本発明の映像データインデキシング用プログラムは、コンピュータを、
入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、取得したインデクスを前記入力される映像データのインデックスに追加して、前記入力される映像データのインデックスとしてインデクス蓄積部に蓄積させる画像特徴照合部と、
として機能させるための映像データインデキシング用プログラムである。【００１１】
本発明の映像データインデキシング用プログラムは、コンピュータを、
入力される映像データからインデクスを生成するインデクス生成部と、
前記インデクスを蓄積するインデクス蓄積部と、
前記入力される映像データから画像特徴を生成する画像特徴生成部と、
前記画像特徴を蓄積する画像特徴蓄積部と、
前記画像特徴生成部により前記映像データから画像特徴が生成されたときに、生成された該画像特徴と一致又は類似する画像特徴を前記画像特徴蓄積部から検索し、当該検索された画像特徴に対応する映像データのインデクスを前記インデクス蓄積部から取得し、前記入力される映像データのインデックスを取得したインデクスを追加して、前記検索された画像特徴に対応する映像データのインデクスとして蓄積させる画像特徴照合部と、
として機能させるための映像データインデキシング用プログラムである。
【発明の効果】
【００１２】
本発明によれば、インデクスとしてふさわしい情報が存在しない映像データに対しても、またインデクスの抽出に失敗した場合においてもインデクスを付与可能であり、映像データを検索した際の漏れを低減することができる。その理由は、映像中の複数シーンの間の一致又は類似性から、文字など、インデクスに適当な情報が含まれていない映像データに対して、インデクスが存在する映像データからインデクスを補完することで、検索時の漏れを解消することが可能となるからである。検索時には補完されたか否かに拘らずインデクスとキーワードの照合を行うだけよい。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の発明を実施するための最良の形態の構成を示すブロック図である。
【図２】従来の発明の問題点を示す模式図である。
【図３】曖昧インデクスの例を示した概念図である。
【図４】本発明の第１の発明を実施するための最良の形態の画像特徴照合部の動作の一例を示すフローチャートである。
【図５】本発明の第１の発明を実施するための最良の形態の画像特徴照合部の動作の一例を示すフローチャートである。
【図６】本発明の第１の発明を実施するための最良の形態の画像特徴照合部の動作の一例を示すフローチャートである。
【図７】本発明の第１の発明を実施するための最良の形態の構成の一例を示すブロック図である。
【図８】本発明の第２の発明を実施するための最良の形態の構成を示す他のプロック図である。
【図９】本発明の第３の発明を実施するための最良の形態の構成を示すブロック図である。
【図１０】映像データインデキシングシステムを構成するコンピュータの構成例を示すブロック図である。
【符号の説明】
【００１４】
１１    映像入力蓄積部
１２    インデクス生成部
１３    インデクス蓄積部
１４    画像特徴生成部
１５    画像特徴蓄積部
１６    画像特徴照合部
１７    曖昧インデクス生成部
１８    クエリ変換部
【発明を実施するための最良の形態】
【００１５】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。【００１６】
図１は、本発明による映像データインデキシングシステムの第１の実施の形態を示すブロック図である。【００１７】
図１に示すように、第１の実施の形態の映像データインデキシングシステムは、映像入力蓄積部１１と、インデクス生成部１２と、インデクス蓄積部１３と、画像特徴生成部１４と、画像特徴蓄積部１５と、画像特徴照合部１６とを備える。【００１８】
映像入力蓄積部１１は、任意の映像データをディジタル化されたフレーム画像として入力し蓄積する。【００１９】
インデクス生成部１２は、映像入力部１１からフレーム画像を取得し、映像データ中のクローズドキャプション(Closed Caption)およびテロップをはじめとするテキスト情報から文字列を検出し、インデクスに含め、フレーム画像と関連付けて出力する。インデクスは、文字列の検出された時刻および位置を文字列位置情報として含んでも良い。また、インデクス生成部は、例えば、電子番組表、クローズドキャプション、データ放送、音声認識、テロップ認識、オブジェクト認識によってインデクスを生成してもよい。【００２０】
具体的に、フレーム画像より文字列を抽出する手順の一例を説明する。フレーム画像を微分し、微分画像を生成する。微分画像の各画素値を既定の閾値で二値化し、得られる二値画像を水平、垂直方向に射影して、画素に関するヒストグラムを生成することで射影パターンを得る。射影パターンが既定値以上の値を持つ連続領域を文字領域候補とする。このとき、連続領域の大きさが既定値に満たないものは、ノイズとして、文字領域候補から除外してもよい。各候補領域に対して、レイアウト解析を適用することで、最終的な文字列位置情報を生成する。【００２１】
レイアウト解析処理として、たとえば、１９９８年にＩＡＰＲ  ｗｏｒｋｓｈｏｐ  ｏｎ  Ｄｏｃｕｍｅｎｔ  ａｎａｌｙｓｉｓ  ｓｙｓｔｅｍｓ予稿集４０６ページから４１５ページに記載のN. Nakajima、K. YamadaによるＤｏｃｕｍｅｎｔ  ｌａｙｏｕｔ  ａｎａｌｙｓｉｓ  ｂｙ  ｅｘｔｅｎｄｅｄ  ｓｐｌｉｔ  ｄｅｔｅｃｔｉｏｎ  ｍｅｔｈｏｄなどをもちいても良い。同方法では、文字以外の画像領域を抽出し、それらの位置を境界として領域分割をおこない、部分領域に分割する。これを部分領域に再帰的に適用することで、最終的に文字列位置を検出する。文字列位置は、１つの文字列を最小包囲する矩形としても良い。【００２２】
インデクス生成部１２は、前記文字列候補領域に対して、上記のレイアウト解析を適用して文字列位置情報を生成しても良い。文字以外の多くのノイズが背景から過抽出されてしまうことで、文字列候補領域に含まれていることが予想されるが、上記の方法では、これらのノイズは、文字列以外の領域として再帰処理の途中で消去され、文字列のみが抽出される。【００２３】
さらに、インデクス生成部１２は、抽出された各文字列内部に対して、文字列認識を行う。【００２４】
インデクス生成部１２による文字認識の態様の一例について説明する。文字列位置に対応する画像を切り出し、文字列画像とする。文字列画像をラベリングして複数の連結成分集合を得る。このとき、文字間が接触していることを想定し、連結成分の大きさが既定値以上の大きさを持つ場合は、連結成分の画素を該当する最小方位矩形の長辺に投影して、その極小値で分割し、分割した連結成分を連結成分集合から取り除き、分割された連結成分で置き換えても良い。そして、連結成分を近接統合して文字画像候補を生成する（図１）。【００２５】
この際に、連結成分に該当するパターンの統合方法に曖昧さが残る場合には、文字画像の統合方法を１つに確定せず、図３のように、複数の統合の仕方を記録し、切出候補とする。全ての切出候補に対して、文字認識することでテキストコードに変換してもよい（図７）。この場合、図７に示すように、図１のインデクス生成部１２は図７の曖昧インデクス生成部１７に置き替える。【００２６】
文字認識は、例えば、予め生成しておいた文字認識辞書（図示せず）とマッチングすることで行う。文字認識辞書は予め文字画像パターンとそのテキストコードを関連付けて保存したデータベースである。【００２７】
文字認識についても、文字種を一意に確定できない場合は、この時点で唯一のテキストコードのみに絞り込むことはせずに、複数の文字認識候補を保持しておく（図３参照）。インデクス生成部１２は、このようにして生成された文字列画像に対応する切出候補、認識候補の網羅的な組み合わせを該当するフレーム画像と関連付けて曖昧インデクスとしてインデクス蓄積部１２に出力しても良い。【００２８】
図３の例は、へんとつくりを分離したもの、連結成分を二つ組みで統合したもの、を切出候補とした例であり、それぞれの切出候補を文字認識した結果のテキストコードを確からしいものから上位４つを保持させた例である。【００２９】
曖昧インデクスは、切出候補数×認識候補数のテキストコードからなる。曖昧インデクスに各切出候補のフレーム中での位置座標を保持させても良い。以降では、特に断らない場合にはインデクスに曖昧さを残す場合（図７）または残さない場合（図１）に共通して、インデクスと称することとする。【００３０】
インデクス蓄積部１３は、インデクス生成部１２によって出力されたインデクスを蓄積する。【００３１】
画像特徴生成部１４は、映像入力部１１から取得したフレーム画像に対して、フレーム画像間で、含まれるシーンや物体の一致を計るための図形的な画像特徴の抽出を行う。画像特徴は、たとえば画像を既定の大きさにリサンプリングして得た低解像度画像としても良いし、ISO/IEC JTC1 SC29/WG11  ＭＰＥＧ−７(Moving Picture Experts Group)に準拠した方法で得ても良い。人物の一致を見る場合、1991年にJournal of Cognitive Neuroscience 3 (1) 71ページから86ページに掲載されているM. Turk、A. PentlandのEigenfaces for recognitionに示された方法などを用いても良い。また、映像データ中の任意の位置に存在する物体について照合を行う場合には、2005年にInternational Journal of Computer Vision, 61(1), 55ページから79ページに掲載されたD. Huttenlocher、P. FelzenszwalbのPictorial Structures for Object Recognition記載の方法などを用いて物体を抽出し、注目物体のみに対して付与された画像特徴を利用して、フレーム間の照合を行っても良い。画像特徴は、画像特徴蓄積部１５に出力され、該当するフレーム画像と関連付けて記憶される。なお、画像特徴蓄積部１５は、生成された画像特徴を該当する映像データ、時刻、位置などの付帯する情報とともに蓄積してもよい。【００３２】
画像特徴照合部１６は、逐次、インデクス生成部１２が出力するインデクス、および画像特徴生成部１４が出力する画像特徴を取得し、画像特徴を画像特徴蓄積部１５に蓄積された画像特徴と照合を行う。ここで、既定値を超えた類似性が認められる画像特徴が検出された場合（画像特徴が一致又は類似する場合）に、これに対応するインデクス蓄積部１３に蓄積されたインデクスを読み出して、これを現在のインデクスに追加して、インデクス蓄積部１３に出力する（図４）。一致又は類似性は、たとえば画像特徴間のユークリッド距離をとることで計測できる。【００３３】
次に動作について説明する。【００３４】
図４は、第１の実施の形態の映像データインデキシングシステムの画像特徴照合部の処理過程の例を示すフローチャートである。なお、インデクス蓄積部１３および画像特徴蓄積部１５には、インデクスまたは画像特徴がある程度すでに蓄積されているものとする。【００３５】
映像入力蓄積部１１によって映像データが蓄積されると、インデクス生成部１２は、フレーム画像を取得して、インデクスを出力する。同様に、画像特徴生成部１４は、フレーム画像を取得して、画像特徴を出力する。インデクスの出力と画像特徴の出力は逐次的に行っても良いし、並行して行っても良い。【００３６】
インデクスと画像特徴が、それぞれインデクス生成部１２と画像特徴生成部１４とから出力されると、画像特徴照合部１６に、そのインデクスと画像特徴が入力される（ステップＳ１０１）。【００３７】
次に、画像特徴照合部１６は、画像特徴蓄積部１５に蓄積された画像特徴を読み出し（ステップＳ１０２）、入力された画像特徴と一致又は類似するか否か調べる（ステップＳ１０３）。画像特徴が一致又は類似しないときは、画像特徴蓄積部１５から次の画像特徴を読み出す（ステップＳ１０２）。【００３８】
画像特徴照合部１６は、画像特徴が一致又は類似するときは、画像特徴蓄積部１５から当該画像特徴と関連付けられたフレーム番号を取得し、当該フレーム番号を元にインデクス蓄積部１３から対応するインデクスを読み出す（ステップＳ１０４）。そして、読み出したインデクスを入力されたインデクスに追加する（ステップＳ１０５）と共に、追加されたインデクスを出力する（ステップＳ１０６）。インデクス蓄積部１３は、画像特徴照合部１６によって、出力されたインデクスも、入力されたフレーム画像と関連付けて蓄積する。【００３９】
画像特徴照合部１６は、入力された画像特徴と蓄積された画像特徴との照合が終了したかどうかを調べ（ステップＳ１０７）、照合が終了するまで、ステップＳ１０２からステップＳ１０６を行う。照合が終了したときは、処理を終了する（ステップＳ１０８）。【００４０】
なお、画像特徴照合部１６には、インデクスと画像特徴とが入力されるものとして説明したが、画像特徴照合部１６に映像データから生成された画像特徴のみが入力されてもよい。この場合、図１でインデクス生成部１２の出力は画像特徴照合部に入力されず、インデクス蓄積部１３にのみ出力される（後述する図８、図９に示す構成ではこのような構成となっている。）。また、図４のフローチャートのステップＳ１０１とＳ１０５が次のステップＳ１０１-1とＳ１０５-1となることが異なる。ステップＳ１０１-1では画像特徴照合部１６に映像データから生成された画像特徴のみが入力される。ステップＳ１０２、Ｓ１０３、Ｓ１０４は同様である。そして、ステップＳ１０５-1で、ステップＳ１０４で読み出したインデクスを、インデクス蓄積部１３から別に読み出された、映像データから生成されたインデクスに追加する。その後のステップＳ１０６〜ステップＳ１０８は同様である。【００４１】
また、画像特徴照合部１６において、読み出したインデクスを入力されたインデクスに追加するもの（ステップＳ１０５）として説明したが、入力されたインデックスを読み出したインデクスに追加してもよい。つまり、入力されたインデクスにインデックスを追加してインデクス蓄積部に蓄積させるのではなく、読み出したインデクスに入力されたインデックスを追加してインデクス蓄積部に蓄積させてもよい。この場合、新たに入力される映像データのインデックスはそのままインデクス蓄積部に蓄積され、インデクス蓄積部に既に蓄積されているインデックスに新たに入力される映像データのインデックスが追加されることになる。【００４２】
入力されたインデックスを読み出したインデクスに追加する場合のフローチャートは図４のステップのステップ１０５が次のステップ１０５-1となることが異なる。ステップＳ１０１〜Ｓ１０４までは同様である。ステップＳ１０５-1で、ステップＳ１０４で読み出したインデクスに、ステップＳ１０１で入力されたインデクスを追加する。その後のステップＳ１０６〜ステップＳ１０８は同様である。【００４３】
なお、ステップ１０４でインデクス蓄積部１３から読み出す対応するインデクスは、映像データインデキシングシステムに映像データが順次入力されるに従ってその数が増えていく。例えば同一又は類似するフレーム画像が２つあり、それぞれのインデクスをｄ２、（ｄ１，ｄ２）とし、これらがインデクス蓄積部１３に蓄積されているとする。インデクス（ｄ１，ｄ２）はインデクスｄ１にインデクスｄ２が追加されたインデクスを示す。入力されたインデクスをｄ３とすると、インデクスｄ３に係わる映像データ（フレーム画像）の画像特徴が上記２つのフレーム画像と同一又は類似するとき、２つインデクスｄ２、（ｄ１，ｄ２）が読み出される。そして、インデクスｄ３にインデクスｄ２、（ｄ１，ｄ２）が加えられてインデックス（ｄ１，ｄ２，ｄ３）となり、これがインデクス蓄積部１３に蓄積される。そして、次に入力されたインデクスをｄ４とすると、インデクスｄ４に係わる映像データの画像特徴が上記３つのフレーム画像と同一又は類似するとき、同様に３つインデクスｄ２、（ｄ１，ｄ２）、（ｄ１，ｄ２，ｄ３）が読み出されることになる。【００４４】
次に、動作の他の例について説明する。図５は第１の実施の形態の映像データインデキシングシステムの処理過程の他の例を示すフローチャートである。図４における処理過程と同様の処理であるものには同一の符号を付し説明を省略する。【００４５】
図５に示すように、インデクスの追加を行う際に、蓄積されているインデクスと、現在のフレームから出力されるインデクスが類似していることを条件にインデクスの追加を行い、一致している場合にはインデクスの追加を行わないようにしても良い。インデクスの一致は、インデクスに含まれる認識候補同士がどの程度一致しているかで判断でき、たとえば、一致している文字数が既定の閾値を超えた場合に一致するとしてもよい。こうすることで、インデクスの冗長な複製を低減することができる。図５のフローチャートでは、インデクスが非類似の場合は示されていないが、インデクスが類似する場合と同様にインデクスの追加を行う。【００４６】
この例では、画像特徴照合部１６は、ステップＳ１０４においてインデクスを読み出した後、読み出したインデクスと入力されたインデクスが類似するか否かを調べ（ステップＳ１０９）、類似するときに読み出したインデクスを入力されたインデクスに追加して、インデクス蓄積部１３に出力する。また、処理を終了するときには、蓄積されたインデクスで照合していないものがあるか否かを調べる（ステップＳ１１１）。【００４７】
また、このような変形例において、インデクスが類似するときに、インデクスの類似性から文字情報間の一致をはかっても良い。そのような態様によれば、インデクス自体の精度を向上させることができる。文字認識の精度は、映像シーンの認識に比べて安定しているとはいえ、その精度は１００％ではないからである。【００４８】
次に、動作のさらに他の例について説明する。図６は第１の実施の形態の映像データインデキシングシステムの処理過程のさらなる例を示すフローチャートである。図４、図５における処理過程と同一の処理であるものには同一の番号を付し説明を省略する。【００４９】
図６に示すように、画像特徴が類似又は一致し、且つインデクスが類似する回数を記憶し、その回数が既定値を超えるまではインデクスのコピーを実行しないようにしても良い。こうすることで、画像特徴とインデクスの共起関係(co-occurrence relation)をより精度よく計測することが可能となり、インデクスの信頼性を向上することができる。【００５０】
この例では、画像特徴照合部１６は、ステップＳ１０９においてインデクスが類似するか否かを調べた後、類似したインデクスと画像特徴の対をカウンタと共に記憶する（ステップＳ１１２）。そして、類似したインデクスと画像特徴との対を既に記憶しているか否かを調べ（ステップＳ１１３）、未だ記憶されていないときは、インデクスの読み出しを繰り返す（ステップＳ１０４に戻る）。既に記憶されているときは、対に対応するカウンタをインクリメントし（ステップＳ１１４）、インクリメントされたカウンタと予め定められた規定値とを比較する（ステップＳ１１５）。カウンタが規定値以下のときは、インデクスの読み出しを繰り返す（ステップＳ１０４に戻る）。カウンタが規定値を超えるときは、画像特徴とインデクスの共起関係が認められるとして、インデクスを追加する処理等を行う。【００５１】
次に、本実施の形態の効果について説明する。【００５２】
本実施の形態では、画像特徴が一致又は類似している映像データから、注目している映像データにインデクスを複製して付与するため、注目している映像データにインデクスとしてふさわしい情報が含まれていない場合でも、インデクスを付与することができる。例えば、図２に示すように、同一の映像が表示される複数のフレーム画像において、一方にはテキスト情報があっても、他方にはテキスト情報がない場合でも、テキスト情報がないフレーム画像にインデクスを付与することができる。また、テロップの文字が斜体（斜めに傾いた書体；italic face）であったり、文字と背景の白黒が反転して表示されているときに、テキスト情報の誤認を生じても、画像特徴が類似している場合には同じインデクスを追加することができる。【００５３】
また、インデクスに曖昧さを残したままにしておく態様にすれば、検索を行う際に検索キーワードをテキストで与えたとき、認識候補の全てに対して網羅的に照合することができ、曖昧なままのインデクスをテキスト検索に使用することが可能となる。こうすることで、検索精度の劣化における文字認識誤りの影響を低減することができる。したがって、所望のシーンを選択するための効率をさらに向上させることが出来る。【００５４】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。【００５５】
本発明の第２の実施の形態の映像データインデキシングシステムは、ユーザから入力されるテキストのクエリに応じて、一致の認められるインデクスに対応付けられた映像データをユーザに提示する。従って、本実施の形態の映像データインデキシングシステムは、映像データ検索システムと称することもできる。【００５６】
図８は、本発明による映像データインデキシングシステムの第２の実施の形態を示すブロック図である。なお、第１の実施の形態と同様の構成要素については、図１と同一の符号を付して説明を省略する。図８に示すように第２の実施の形態の映像データインデキシングシステムは、映像入力蓄積部０１と、インデクス生成部１２と、インデクス蓄積部１３と、画像特徴生成部１４と、画像特徴蓄積部１５と、画像特徴照合部１６と、インデクス検索部１８と、を備える。【００５７】
すなわち、本発明の第２の実施の形態は、ユーザからのテキストのクエリを入力し、入力されたクエリとインデクス蓄積部１３に蓄積されたインデクスまたは曖昧インデクス（図８のインデクス生成部１２を図７の曖昧インデクス生成部１７に置き換えることができる）と照合することで、一致が認められたインデクスに該当する時刻の一致するフレームに続く映像データの系列または時刻の一致するフレーム画像を映像入力蓄積部１１から取り出してユーザに提示するインデクス検索部１８を含んで構成されることを特徴とする。【００５８】
インデクス検索部１８は、図示しない手段によってユーザからのテキストのクエリを受信し、クエリを前記インデクス蓄積部１３に蓄積されているインデクスの集合に対して照合をかける。一致が認められる場合は、その一致を通知する。一致の認められたインデクスに対応する時刻を表示してもよいし、フレーム画像を前記映像蓄積部１１から読み出して表示してもよい。インデクスの一致は、たとえば図３に含まれる認識候補とクエリの文字の一致する数とクエリの文字数の比が既定値を超えた場合にクエリがマッチしたとみなしてもよいし、「松」のつくり「公」と、「公」と「田」を結合した切出し候補に対応する認識候補「頌」を同時にマッチさせないように、つまり位置的な矛盾がないように、一致する文字数を数えてもよい。認識候補に認識の確信度（または距離値）を同時に保持するようにして、一致する文字に対するその値の和をとって、和が最大（距離値の場合には最小）になるものを一致としてもよい。確信度の和を大きいものから順に複数採用してもよい。【００５９】
また、１つ以上のクエリを予め設定しておき、入力されてくる映像データに対応するインデクスに対して、逐次上記照合をかけて、一致が認められたのと同期して、一致を通知するようにしてもよい。こうすることで、映像中に特定のテキストが出現するのを監視する用途に使用することができる。【００６０】
次に、本発明の第２の実施の形態の効果について説明する。【００６１】
本実施の形態では、予め画像特徴が類似している映像データから、注目している映像データにインデクスを複製して付与されている状況において、注目している映像データにインデクスとしてふさわしい情報が含まれていない場合においても、正しい検索が行える。したがって、映像データを検索した際の漏れを低減することができる。【００６２】
また、インデクスに曖昧さを残したままにしておく態様にすれば、曖昧インデクスとクエリが照合されるから、認識候補の全てに対して網羅的に照合することができる。こうすることで、検索精度の劣化における文字認識誤りの影響を低減することができ、所望のシーンを選択するための効率をさらに向上させることが出来る。【００６３】
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。【００６４】
本発明の第３の実施の形態の映像データインデキシングシステムは、ユーザから指定される映像データに応じて、関連するインデクスと一致の認められるインデクスに対応付けられた映像データ等をユーザに提示する。従って、本実施の形態の映像データインデキシングシステムは、映像データ検索システムと称することもできる。【００６５】
図９は、本発明による映像データインデキシングシステムの第３の実施の形態を示すブロック図である。なお、第１の実施の形態又は第２の実施の形態と同様の構成要素については、図１又は図８と同一の符号を付して説明を省略する。図９に示すように第３の実施の形態の映像データインデキシングシステムは、映像入力蓄積部１１と、インデクス生成部１２と、インデクス蓄積部１３と、画像特徴生成部１４と、画像特徴蓄積部１５と、画像特徴照合部１６と、インデクス検索部１８と、クエリ変換部１９とを備える。【００６６】
すなわち、本発明の第３の実施の形態は、ユーザに受信中の映像データまたは映像入力蓄積部１１に蓄積されている映像データのうちユーザが指定した時刻の映像データを提示し、ユーザが提示中の映像データを画像クエリとして指定した場合に、該当する時刻にインデクス生成部１２が出力しているインデクスをクエリとして、インデクス検索部１８に出力するクエリ変換部１９を含んで構成されることを特徴とする。【００６７】
クエリ変換部１９は、ユーザが映像を閲覧中に、特定の映像データを指示して、それをもとに関連する映像データを検索する要求を入力すると、インデクス生成部１２より入力される、該当映像データに対応するインデクスを変換、またはそのままインデクス検索部１８に出力する。【００６８】
インデクスの変換は、たとえば、図３の例において、最も確からしいものを並べて「松田秀喜」としてもよいし、特定の切出し候補に対応する確信度の高い認識候補を並べて「木公田考豆」としてもよい。この場合、インデクス検索部１８は入力した変換されたインデクスを第２の実施の形態におけるクエリと同様に、これと蓄積されたインデクスとの照合を行う。インデクスをインデクス検索部１８にそのまま出力した場合、これをインデクスクエリとよび、これと蓄積されているインデクスの一致は、蓄積されたインデクスと入力されたインデクスクエリの文字の一致する数と入力したインデクスクエリに含まれる認識候補数の比が既定値を超えた場合にマッチしたとみなしてもよいし、インデクスクエリおよびインデクスの双方に対して、「松」のつくり「公」と、「公」と「田」を結合した切出し候補に対応する認識候補「頌」を同時にマッチさせないように、つまり位置的な矛盾がないように、一致する文字数を数えてもよい。第２の実施の形態と同様に、認識候補の確信度、距離値を加味してもよいし、複数の一致を提示してもよい。【００６９】
次に、本発明の第３の実施の形態の効果について説明する。【００７０】
本発明の第３の実施の形態では、ある映像データを指示するだけで検索が行えるため、ユーザがクエリを入力することなく、現在の映像データに関連するほかの映像データを容易に取り出すことができる。【００７１】
また、インデクスに曖昧さを残したままにしておく態様にすれば、インデクスとインデクスクエリとがともに曖昧さを残したまま照合することができるから、検索精度の劣化における文字認識誤りの影響を低減することができ、所望のシーンを選択するための効率をさらに向上させることが出来る。【００７２】
また、本発明の第３の実施の形態は、ユーザの指示した映像データから対応するインデクスを取得し、インデクスに基づいて検索する。従って、指定した映像データに含まれる対象が異なる条件で撮影されている場合等の画像特徴によっては対象物を対応付けることが困難な場合であっても、同様の文字情報でキャプションがつけられている等のインデクスの一致があれば、当該映像データを検索でき、検索精度の劣化を低減できる。【００７３】
なお、本発明によれば、同一のインデクスで関連付けられた映像データは、共通の画像特徴を持つから、撮影された対象物が同一であることを期待できる。したがって、インデクスを生成する場合に、これら両者を同一の対象物として記憶すれば、対象物についての知識を強化することができる。すなわち、文字情報をきっかけとして人物やものの名前を記憶する機能を持つシステムを実現することができる。【００７４】
なお、以上説明した各実施形態では、映像データに含まれる文字列を漢字として説明したが、ひらがな、カタカナを含んでもよいことは勿論である。文字としては日本語に限らず、英語、ドイツ語、フランス語、イタリア語、韓国語等の言語の文字であってもよい。【００７５】
また、各実施形態では、映像データインデキシングシステムとして、映像入力蓄積部１１をインデクス生成部及び画像特徴生成部の前段に設けているが、映像入力蓄積部を別途設け、映像データを映像入力蓄積部を介さずにインデクス生成部及び画像特徴生成部に入力してもよい。また、図７、図８、図９では曖昧インデクス生成部１７、インデクス生成部１２からの出力は画像特徴照合部１６に入力されていないが、図１と同様に画像特徴照合部１６に入力されるようにしてもよい。【００７６】
各実施の形態で説明した映像データインデキシングシステムは、図１０に示すようなコンピュータで構成することができる。【００７７】
映像入力蓄積部１１、インデクス蓄積部１３、画像特徴蓄積部１５はハードディスク等のディスク装置２０２等の記憶部（Storage portion）で構成される。ＣＰＵ２０４は既に説明したインデクス生成部１２又は曖昧インデクス生成部１７、画像特徴生成部１４、画像特徴照合部１６、インデクス検索部１８、クエリ変換部１９の機能を実現し、各機能を記述したプログラム（ここではディスク装置２０２にプログラムが保存されている。）に基づいて、処理を行う。特に画像特徴照合部の機能は図４、図５、図６を用いて既に説明されている。本発明は言い方を変えると、コンピュータの記憶部（Storage portion）となるディスク装置に記憶され、映像データインデキシングシステムの機能をコンピュータに実行させるコードを備えたプログラムプロダクトとして実現される。ＬＣＤ（液晶ディスプレイ）２０５はアラーム等を表示する表示部となる。２０６はデータバス等のバスである。２０３はプログラムの演算処理に必要なデータを保存するメモリである。２０１はキーボード等の入力部である。【００７８】
なお、上記プログラムはＦＤ（フロッピィディスク）、ＣＤＲＯＭ、ＤＶＤ、フラッシュメモリ等の半導体メモリ等のコンピュータ読み取り可能な情報記録媒体に記録することができる。そして、ＦＤ、ＣＤＲＯＭ等に記録されたプログラムを上記コンピュータのディスク装置２０２等の記憶部に読み込み、処理を実行することで、映像データインデキシングシステムとして機能させることができる。また、本発明はプログラム自体にも及び、通信回線を通してプログラムを映像データインデキシングシステムとして機能するコンピュータにダウンロードする場合には、プログラムを送信したり、受信したりする行為にも本発明の権利が及ぶものである。映像データインデキシングシステムのインデクス生成部１２又は曖昧インデクス生成部１７、画像特徴生成部１４、画像特徴照合部１６、インデクス検索部１８、クエリ変換部１９の各部はプログラムでその機能をソフトウェアで実現できるが、専用ＩＣを用いてハードウェアで実現することもできる。【００７９】
以上、本発明の代表的な実施形態について説明したが、本発明はその精神または主張な特徴から逸脱することなく、他の種々の形で実施することができる。そのため、前述した各実施形態は単なる例示にすぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって示すものであって、明細書や要約書の記載には拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。
【産業上の利用可能性】
【００８０】
本発明によれば、ビデオレコーダ、ビデオカメラ、デジタルスチルカメラ、カメラを搭載した携帯電話機・ＰＨＳ（Personal Handyphone System）・パーソナルコンピュータ・ＰＤＡ（Personal Data Assistance，Personal Digital Assistants：個人向け携帯型情報通信機器）等の撮像および受像機能のある携帯端末装置、およびそれらを含んだシステムに適用できる。監視システム映像において注目する物体の出現シーンにインデキシングするシステム等に応用できる。
【図１】
2007111297.tif 000003
【図２】
2007111297.tif 000004
【図３】
2007111297.tif 000005
【図４】
2007111297.tif 000006
【図５】
2007111297.tif 000007
【図６】
2007111297.tif 000008
【図７】
2007111297.tif 000009
【図８】
2007111297.tif 000010
【図９】
2007111297.tif 000011
【図１０】
2007111297.tif 000012
【国際調査報告】
2007111297.tif 000013
2007111297.tif 000014