(57)【特許請求の範囲】
【請求項１】
少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、前記構造インデックスおよび事象インデックスを用いて前記映像中から所望の映像シーンを検索する映像検索方法において、
予め、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語に対して、前記映像を検索する際の検索対象単位として適当な構造単位を検索粒度として設定し、前記用語を複数の事象で表現した事象の発生パターンに基づいて、前記検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として前記用語に対応した状態遷移パターンを定義しておき、
前記映像中から所望の映像シーンを検索する場合に、所望の映像シーンを表現した用語を入力し、入力した用語に対応する検索粒度を検索対象単位として、検索粒度と一致する構造単位毎に、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定し、一致した構造単位を検索結果として出力することを特徴とする映像検索方法。
【請求項２】
さらに、前記用語に対応した状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスが検索の取り掛かりとなるキーインデックスとして指定されており、
前記映像中から所望の映像シーンを検索する場合に、検索粒度と一致する構造単位で、かつ、前記キーインデックスと一致する事象インデックスを有する構造単位を検索した後、該当する構造単位に対して、前記状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かの判定を行うことを特徴とする請求項１に記載の映像検索方法。
【請求項３】
前記検索結果として出力された構造単位に基づいて、前記映像から所望の映像シーンを取り出す際に、前記構造単位で特定された映像シーンを出力することを特徴とする請求項１または２に記載の映像検索方法。
【請求項４】
前記検索結果として出力された構造単位に基づいて、前記映像から所望の映像シーンを取り出す際に、構造化された映像上における上位または下位の任意の構造単位を指定可能であることを特徴とする請求項１または２に記載の映像検索方法。
【請求項５】
前記検索結果として出力された構造単位に基づいて、前記映像から所望の映像シーンを取り出す際に、前記キーインデックスが付与された場所の前後に映像切り出しのためのオフセットを指定して映像シーンを取り出すことを特徴とする請求項２に記載の映像検索方法。
【請求項６】
前記入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定した際に、一致した構造単位に、その用語を表すインデックスを抽象インデックスとして定義して新たに付加し、キーインデックスとして再利用することを特徴とする請求項２〜５のいずれか一つに記載の映像検索方法。
【請求項７】
予め複数の事象の組み合わせによって表現可能な用語のそれぞれに、各用語を表すインデックスとして抽象インデックスを設定しておき、
前記状態遷移パターンを定義する際に、事象インデックスに加えて前記抽象インデックスを用いて、事象インデックスと抽象インデックスからなる入力列として前記用語に対応した状態遷移パターンを定義することを特徴とする請求項１〜６のいずれか一つに記載の映像検索方法。
【請求項８】
前記構造インデックスおよび事象インデックスには、複数の属性情報が付加されており、
前記用語に対応した状態遷移パターンには、前記構造インデックスおよび事象インデックスの各属性情報を用いて前記用語に関連した説明文を生成するための文字列定義情報が付加されており、
前記状態遷移パターンの文字列定義情報に基づいて、前記検索結果として出力された構造単位中の属性情報を参照して前記用語に関連した説明文を生成することを特徴とする請求項２〜７のいずれか一つに記載の映像検索方法。
【請求項９】
少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、前記構造インデックスおよび事象インデックスを用いて前記映像中から所望の映像シーンを検索する映像検索方法において、
映像検索を行う前の処理として、
予め、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語に対して、前記映像を検索する際の検索対象単位として適当な構造単位を検索粒度として設定し、前記用語を複数の事象で表現した事象の発生パターンに基づいて、前記検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として前記用語に対応した状態遷移パターンを定義し、さらに、前記用語に対応した状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを検索の取り掛かりとなるキーインデックスとして指定して、前記用語、検索粒度、状態遷移パターンおよびキーインデックスからなる状態遷移テーブルを生成する状態遷移テーブル生成工程を含み、
映像検索を行う際の処理として、
所望の映像シーンを表現した用語を入力する用語入力工程と、
前記状態遷移テーブルを参照して、前記用語入力工程で入力した用語に対応する検索粒度を検索対象単位とし、かつ、前記用語に対応するキーインデックスを用いて、前記キーインデックスと一致する事象インデックスを有する構造単位を検索する検索工程と、
前記状態遷移テーブルを参照して、前記検索工程で検索した構造単位中に前記用語に対応する状態遷移パターン中に含まれる事象インデックスが全て存在するか否かを判定する第１の判定工程と、
前記第１の判定工程で全て存在すると判定された構造単位に対して、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する第２の判定工程と、
前記第２の判定工程で一致すると判定された構造単位に基づいて、前記映像中から映像シーンを切り出して、検索結果として出力する検索結果出力工程と、
を含むことを特徴とする映像検索方法。
【請求項１０】
前記請求項１〜９のいずれか一つに記載の映像検索方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１１】
少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、前記構造インデックスおよび事象インデックスを用いて前記映像中から所望の映像シーンを検索する映像検索処理装置において、
検索対象である前記構造化した映像を入力する映像入力手段と、
検索する所望の映像シーンを指定するための、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、前記用語で映像を検索する際の検索対象単位としての構造単位を指定する検索粒度と、前記用語を前記検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として定義した状態遷移パターンと、前記状態遷移パターン中に存在する事象インデックスのうちの少なくとも１つの事象インデックスを指定したキーインデックスと、を状態遷移テーブルとして記憶した記憶手段と、
前記所望の映像シーンを検索するための問い合わせ用語を入力または指定するための操作入力手段と、
前記操作入力手段を介して問い合わせ用語が入力または指定された場合に、前記記憶手段の状態遷移テーブルを参照し、前記問い合わせ用語に対応するキーインデックスを用いて、前記映像入力手段で入力した映像から前記検索粒度と一致し、かつ、前記キーインデックスと一致する事象インデックスを有する構造単位を検索する検索手段と、
前記検索手段で検索された構造単位を入力し、前記問い合わせ用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する判定手段と、
前記判定手段で一致すると判定された構造単位に基づいて、前記映像中から映像シーンを切り出して、検索結果として出力する検索結果出力手段と、
を備えたことを特徴とする映像検索処理装置。
【請求項１２】
前記判定手段は、前記検索手段で検索された構造単位中に、前記問い合わせ用語と対応する状態遷移パターン中に含まれる事象インデックスが全て存在するか否かを判定する第１の判定手段と、
前記第１の判定手段で全て存在すると判定された構造単位に対して、前記問い合わせ用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する第２の判定手段と、から構成されることを特徴とする請求項１１記載の映像検索処理装置。
【請求項１３】
映像を構造化する際に、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスを含む映像インデックスを付与する映像インデックス付与方法において、
予め、複数の事象が連続して発生することによって意味が成立し、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、前記用語を複数の事象で表現した複数の事象インデックスの順序を定めた入力列を用いて前記用語を定義した状態遷移パターンと、所定の構造インデックスで定義される映像の構造単位を前記用語に対応させて指定した検索粒度とを、前記用語毎に対応させた状態遷移テーブルを設定しておき、
前記映像に映像インデックスを付与する際に、前記状態遷移テーブルを参照して、前記構造インデックスによって特定される構造単位毎に、対象となる構造単位と前記検索粒度が一致し、かつ、対象となる構造単位内に付与された事象インデックスの付与順序と前記状態遷移パターンの複数の事象インデックスの入力列とが一致する用語を検索して、一致する用語が存在する場合に、前記一致した用語の意味が発生したと判定し、該当する用語の成立を示す事象インデックスまたは属性情報を付与することを特徴とする映像インデックス付与方法。
【請求項１４】
映像を構造化する際に、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスを含む映像インデックスを付与する映像インデックス付与方法において、
予め、複数の事象が連続して発生することによって意味が成立し、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、前記用語を複数の事象で表現した複数の事象インデックスの順序を定めた入力列を用いて前記用語を定義した状態遷移パターンと、所定の構造インデックスで定義される映像の構造単位を前記用語に対応させて指定した検索粒度とを、前記状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを指定した中心インデックスとを、前記用語毎に対応させた状態遷移テーブルを設定しておき、
前記映像に映像インデックスを付与する際に、前記状態遷移テーブルを参照して、前記中心インデックスと一致する事象インデックスが付与された場合に、前記構造インデックスによって特定される構造単位毎に、対象となる構造単位と前記検索粒度が一致し、かつ、対象となる構造単位内に付与された事象インデックスの付与順序と前記状態遷移パターンの複数の事象インデックスの入力列とが一致する用語を検索して、一致する用語が存在する場合に、前記一致した用語の意味が発生したと判定し、該当する用語の成立を示す事象インデックスまたは属性情報を付与することを特徴とする映像インデックス付与方法。
【請求項１５】
前記請求項１３または１４に記載の映像インデックス付与方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１６】
少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、映像内容を説明する説明文を生成する映像内容の説明文生成方法において、
前記説明文の生成に使用する情報が設定された状態遷移テーブルと、予め前記構造インデックスおよび事象インデックスに付与されている文字列または文字列に変換可能な属性情報とを用いて、前記説明文を生成する映像内容の説明文生成方法であって、
前記状態遷移テーブルには、
複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語毎に、前記説明文を生成する際の映像単位として適当な構造単位を設定した生成粒度と、
前記用語を複数の事象で表現した事象の発生パターンに基づいて、前記生成粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として前記用語を定義した状態遷移パターンと、
前記状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つを選択して設定したキーインデックスと、
前記状態遷移パターン毎に、前記説明文の生成に使用する構文要素および前記構文の構文要素として使用する文字列の入力元を設定した文字列定義情報と、が設定されており、  前記映像内容の説明文を生成する際に、前記状態遷移テーブルを参照して、前記説明文を生成する対象となる構造単位と一致する生成粒度を検索し、該当する生成粒度に対応する状態遷移パターンのキーインデックスと一致する事象インデックスが前記対象となる構造単位中に存在するか否かを判定し、前記一致する事象インデックスが存在する場合に、前記対応する状態遷移パターンと前記対象となる構造単位中の事象インデックスの発生パターンが一致するか否かを判定し、前記発生パターンが一致した場合に、前記対応する状態遷移パターンで定義された用語が成立したと判定し、成立した用語の状態遷移パターンの文字列定義情報を用いて前記対象となる構造単位の映像シーンの説明文を生成することを特徴とする映像内容の説明文生成方法。
【請求項１７】
さらに、前記構造単位には、特定の用語を定義した状態遷移パターンが成立した場合に、その用語を表すインデックスを抽象インデックスとして付与することが可能であり、
前記状態遷移テーブルには、前記状態遷移パターン毎に、対応する用語を表す抽象インデックスがキーインデックスの一つとして設定されており、
前記該当する生成粒度に対応する状態遷移パターンのキーインデックスと一致する事象インデックスが前記対象となる構造単位中に存在するか否かを判定する際に、キーインデックスとして抽象インデックスを優先して用いて、前記対象となる構造単位に該当する抽象インデックスが付与されているか否かを判定し、抽象インデックスが設定されている場合には、前記対応する状態遷移パターンで定義された用語が成立したと判定し、成立した用語の状態遷移パターンの文字列定義情報を用いて前記対象となる構造単位の映像シーンの説明文を生成することを特徴とする請求項１６に記載の映像内容の説明文生成方法。
【請求項１８】
前記文字列定義情報は、前記構文要素として使用する文字列の入力元として、前記構造インデックスまたは事象インデックスの属性情報が設定されていることを特徴とする請求項１６または１７に記載の映像内容の説明文生成方法。
【請求項１９】
前記文字列定義情報は、「何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、なぜ（Ｗｈｙ）、誰の（Ｗｈｏ）、何（Ｗｈａｔ）で、どのように（Ｈｏｗ）なった」の５Ｗ１Ｈを基本とした構文要素が設定されていることを特徴とする請求項１６〜１８のいずれか一つに記載の映像内容の説明文生成方法。
【請求項２０】
前記該当する生成粒度に対応する状態遷移パターンが複数存在する場合、各状態遷移パターンに対して用語が成立するか否かを判定し、複数の用語が成立すると、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成することを特徴とする請求項１９に記載の映像内容の説明文生成方法。
【請求項２１】
各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、時間的に後に発生する事象インデックスを参照する構文要素を優先することを特徴とする請求項２０に記載の映像内容の説明文生成方法。
【請求項２２】
各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、各用語の状態遷移パターンを比較し、より多くの事象インデックスを用いて定義された状態遷移パターンの構文要素を優先することを特徴とする請求項２０または２１に記載の映像内容の説明文生成方法。
【請求項２３】
各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、必要に応じて構文要素を並列に並べることを特徴とする請求項１９〜２２のいずれか一つに記載の映像内容の説明文生成方法。
【請求項２４】
前記請求項１６〜２３のいずれか一つに記載の映像内容の説明文生成方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、構造インデックスおよび事象インデックスを用いて構造化された映像を対象として、抽象度の高い用語を用いた映像検索処理を行う映像検索方法および映像検索処理装置、抽象度の高い用語を用いた映像インデックス付与処理を行う映像インデックス付与方法、映像シーンの映像内容を説明する説明文を生成する映像内容の説明文生成方法、およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、コンピュータ・ハードウェア技術、情報処理技術の進歩や、インターネット、デジタル衛生放送の普及に伴って、日常的に様々な映像を利用することが可能となっている。このため、映像の有する情報としての価値・多様性・娯楽性がさらに重要な意味を持つようになり、従来から利用されているテレビジョン放送やビデオの再生等のように、映像を連続的に再生して視聴することに加えて、インデックスを付与して構造化した映像から所望の映像シーンを検索して視聴したり、情報を収集したり、ダイジェスト版を作成する等、多彩な利用方法が提案されている。
【０００３】
ところで、映像を効率的に検索するために、通常は、時間的に連続した映像シーンの集合である映像をより小さいユニット（区間）に分割して利用している。また、この際、映像シーンを所定の単位時間で分割したり、映像シーンの量で分割する等のように物理的に分割するのではなく、予め定めた条件を満足する映像シーンの集合として論理的に分割することが一般的である。この論理的な分割を行った後、それにインデックスを付加することにより、分割された映像シーンを再利用可能な意味的な纏まりとして扱うことができる。
【０００４】
この論理的な分割方法としては、例えば、映像を目でみて、人手（手作業）によって映像を分割し、映像にインデックスを付与する方法や、リアルタイムオーサリング（リアルタイム内容記述）の手法の一つとして、論理的分割の開始点にあたる点をインデックス（構造インデックス）として指定し、次の論理的分割の開始点までを分割の区間として判定する方法が考えられる。
【０００５】
一方、上記の分割する区間を表す構造インデックスの他に、映像のインデックスとして、映像上で起こった事象を表す事象インデックスというものも考えられている。これは、上記の論理的な構造インデックスが映像の論理的な区間（Ｄｕｒａｔｉｏｎ：継続時間）を示すものに対し、基本的に区間を持たないインデックスである。ただし、この事象インデックスも、現在の技術では断片的な情報しか設定できない。
【０００６】
なお、従来、この事象インデックスを利用した検索による論理的な区間の切り出しが映像検索の処理である。換言すれば、事象インデックスとして設定されている用語（断片的な情報）と一致する問い合わせを用いることにより、所望の映像部分を検索することが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の技術によれば、構造インデックスまたは事象インデックスとして設定されている用語と一致する問い合わせに対して映像の検索を行うことはできるものの、映像の内容の意味について検索することはできないという問題点があった。
【０００８】
換言すれば、上記従来の技術によれば、映像に対して断片的なインデックスしか付与することができないため、断片的なインデックスを頼りに論理的な構造の単位で検索を行い、映像部分を取り出すことは可能であるが、利用者が真に欲する映像部分の検索が行えるとは限らなかった。
【０００９】
なお、説明を明確にするために本明細書中において「映像の内容の意味」を以下のように定義する。映像の内容の意味とは、人が映像を見て、その映像の内容を抽象的・概念的に理解することにより、特定の区間に対して生成される情報である。すなわち、人間の主観を使って初めて発見できるような意味を持つ情報である。また、映像の内容の意味とは、事象インデックスが映像上で起こった事象を断片的に表すものであるのに対して、映像上で起こった事象の変化の状態および事象の変化によって起こった結果となる事象の状態に基づいて、ある区間の映像の内容を総合的に人が判断して意味付けを行ったものである。したがって、映像の内容の意味は、ある区間の映像の内容が明らかになって初めて意味が成立するものである。
【００１０】
また、映像を検索する場合に、利用者からの問い合わせに対する答えとして期待される区間は、必ずしも１つの構造単位に対応しているとは限らず、ある構造単位の中の一部であるかもしれないし、複数の構造単位が組み合わさったものかもしれないが、論理的な構造単位に付与された断片的なインデックスに基づいて、問い合わせの内容に対する答え（検索結果）として１つの構造単位を選択するため、必ずしも利用者が満足する映像部分を検索することはできなかった。
【００１１】
また、映像シーンは多様に解釈されるため、論理的な構造を作成した人（すなわち、定義した人）と、問い合わせを行う人が異なる場合に、意味のある纏まりとして設定した区間が必ずしも一致するとは限らなかった。
【００１２】
さらに、映像の内容の意味について検索するということは、「抽象度の高い用語を条件として検索する」ということでもあるが、上記従来の技術では断片的に付けられたインデックス情報だけを頼りに、論理的な構造単位を取り出すという処理を行うしかなく、特定の応用の場合を除いて、一般的には、抽象度の高い検索条件によって映像の内容の意味を効率的に解析する、という処理はできなかった。
【００１３】
また、上記従来の技術では、インデックスを用いて映像の内容を説明する文字列を生成しようとした場合、断片的に付与されているインデックスを単に並列で並べることしかできないため、利用者にとって理解しやすい文章を生成することはできないという不具合もあった。すなわち、断片的なインデックスから、一般的な意味のある文字列に変換して、利用者にとって分かりやすい文章を生成することはできなかった。
【００１４】
また、リアルタイムオーサリング時において、ある事象に対する属性（または事象インデックス）は、続けて起きる事象によって決定するということがある。例えば、野球映像などにおいては、２塁打、３塁打というのは、ヒットを打った時点では判定できない。その後、バッターが何塁まで出塁したかという結果を見てからでなければ、意味付け（属性または事象インデックスの付与）を行うことができない。
【００１５】
これを解決する技術としては、リアルタイムに内容記述を行う方式として、赤迫、飯島、角谷、田中の関連研究（「映像データのリアルタイム内容記述方式とその実装」、ＤＥＷＳ’９９予稿集、３Ａ−２、１９９９年３月４日〜６日）が報告されている。この報告によれば、ラジオのナレーションのようなリアルタイムに入ってくる不完全なインデックス情報シーケンスに対して、それをどのように解釈して上位概念に置き換えるか、という処理を行っている。すなわち、予め上位概念を状態遷移図によって表現しておき、リアルタイムに上位概念に置き換えることで、元入力インデックスシーケンスの冗長性および不完全性を正すようにしている。
【００１６】
ところが、上記の赤迫等の関連研究で提案されている方式では、リアルタイムの内容記述といっているように、状態遷移図は時系列に入っているインデックスを解釈するために使うことを前提としている。このため、この方式をそのまま検索に応用すると、時系列でインデックスを解釈するため、処理に時間がかかるという問題点が発生する。また、如何にして、高速に抽象度の高い検索を実現するか、という課題に対しての解決は提案されていない。
【００１７】
さらに、常に時系列に入っているインデックスを全ての状態遷移図と比較して解釈する必要があるため、必ずしも効率的でないという問題点があった。
【００１８】
本発明は上記に鑑みてなされたものであって、映像の内容の意味に対する問い合わせを抽象度の高い用語または概念を用いて行うことができ、かつ、高速に検索を行えることを目的とする。
【００１９】
また、本発明は上記に鑑みてなされたものであって、映像の内容の意味を解釈し、一般的な意味のある文字列に変換して、利用者にとって分かりやすい映像内容の説明文字列を生成できることを目的とする。
【００２０】
また、本発明は上記に鑑みてなされたものであって、抽象度の高い用語を用いたインデックスの付与を効率良く高速に行えることを目的とする。
【００２１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る映像検索方法は、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、前記構造インデックスおよび事象インデックスを用いて前記映像中から所望の映像シーンを検索する映像検索方法において、予め、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語に対して、前記映像を検索する際の検索対象単位として適当な構造単位を検索粒度として設定し、前記用語を複数の事象で表現した事象の発生パターンに基づいて、前記検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として前記用語に対応した状態遷移パターンを定義しておき、前記映像中から所望の映像シーンを検索する場合に、所望の映像シーンを表現した用語を入力し、入力した用語に対応する検索粒度を検索対象単位として、検索粒度と一致する構造単位毎に、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定し、一致した構造単位を検索結果として出力するものである。
【００２２】
また、請求項２に係る映像検索方法は、請求項１に記載の映像検索方法において、さらに、前記用語に対応した状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスが検索の取り掛かりとなるキーインデックスとして指定されており、前記映像中から所望の映像シーンを検索する場合に、検索粒度と一致する構造単位で、かつ、前記キーインデックスと一致する事象インデックスを有する構造単位を検索した後、該当する構造単位に対して、前記状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かの判定を行うものである。
【００２３】
また、請求項３に係る映像検索方法は、請求項１または２に記載の映像検索方法において、前記検索結果として出力された構造単位に基づいて、前記映像から所望の映像シーンを取り出す際に、前記構造単位で特定された映像シーンを出力するものである。
【００２４】
また、請求項４に係る映像検索方法は、請求項１または２に記載の映像検索方法において、前記検索結果として出力された構造単位に基づいて、前記映像から所望の映像シーンを取り出す際に、構造化された映像上における上位または下位の任意の構造単位を指定可能であるものである。
【００２５】
また、請求項５に係る映像検索方法は、請求項２に記載の映像検索方法において、前記検索結果として出力された構造単位に基づいて、前記映像から所望の映像シーンを取り出す際に、前記キーインデックスが付与された場所の前後に映像切り出しのためのオフセットを指定して映像シーンを取り出すものである。
【００２６】
また、請求項６に係る映像検索方法は、請求項２〜５のいずれか一つに記載の映像検索方法において、前記入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定した際に、一致した構造単位に、その用語を表すインデックスを抽象インデックスとして定義して新たに付加し、キーインデックスとして再利用するものである。
【００２７】
また、請求項７に係る映像検索方法は、請求項１〜６のいずれか一つに記載の映像検索方法において、予め複数の事象の組み合わせによって表現可能な用語のそれぞれに、各用語を表すインデックスとして抽象インデックスを設定しておき、前記状態遷移パターンを定義する際に、事象インデックスに加えて前記抽象インデックスを用いて、事象インデックスと抽象インデックスからなる入力列として前記用語に対応した状態遷移パターンを定義するものである。
【００２８】
また、請求項８に係る映像検索方法は、請求項２〜７のいずれか一つに記載の映像検索方法において、前記構造インデックスおよび事象インデックスには、複数の属性情報が付加されており、前記用語に対応した状態遷移パターンには、前記構造インデックスおよび事象インデックスの各属性情報を用いて前記用語に関連した説明文を生成するための文字列定義情報が付加されており、前記状態遷移パターンの文字列定義情報に基づいて、前記検索結果として出力された構造単位中の属性情報を参照して前記用語に関連した説明文を生成するものである。
【００２９】
また、請求項９に係る映像検索方法は、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、前記構造インデックスおよび事象インデックスを用いて前記映像中から所望の映像シーンを検索する映像検索方法において、映像検索を行う前の処理として、予め、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語に対して、前記映像を検索する際の検索対象単位として適当な構造単位を検索粒度として設定し、前記用語を複数の事象で表現した事象の発生パターンに基づいて、前記検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として前記用語に対応した状態遷移パターンを定義し、さらに、前記用語に対応した状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを検索の取り掛かりとなるキーインデックスとして指定して、前記用語、検索粒度、状態遷移パターンおよびキーインデックスからなる状態遷移テーブルを生成する状態遷移テーブル生成工程を含み、映像検索を行う際の処理として、所望の映像シーンを表現した用語を入力する用語入力工程と、前記状態遷移テーブルを参照して、前記用語入力工程で入力した用語に対応する検索粒度を検索対象単位とし、かつ、前記用語に対応するキーインデックスを用いて、前記キーインデックスと一致する事象インデックスを有する構造単位を検索する検索工程と、前記状態遷移テーブルを参照して、前記検索工程で検索した構造単位中に前記用語に対応する状態遷移パターン中に含まれる事象インデックスが全て存在するか否かを判定する第１の判定工程と、前記第１の判定工程で全て存在すると判定された構造単位に対して、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する第２の判定工程と、前記第２の判定工程で一致すると判定された構造単位に基づいて、前記映像中から映像シーンを切り出して、検索結果として出力する検索結果出力工程と、を含むものである。
【００３０】
さらに、請求項１０のコンピュータ読み取り可能な記録媒体は、前記請求項１〜９のいずれか一つに記載の映像検索方法をコンピュータに実行させるためのプログラムを記録したものである。
【００３１】
また、請求項１１に係る映像検索処理装置は、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、前記構造インデックスおよび事象インデックスを用いて前記映像中から所望の映像シーンを検索する映像検索処理装置において、検索対象である前記構造化した映像を入力する映像入力手段と、検索する所望の映像シーンを指定するための、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、前記用語で映像を検索する際の検索対象単位としての構造単位を指定する検索粒度と、前記用語を前記検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として定義した状態遷移パターンと、前記状態遷移パターン中に存在する事象インデックスのうちの少なくとも１つの事象インデックスを指定したキーインデックスと、を状態遷移テーブルとして記憶した記憶手段と、前記所望の映像シーンを検索するための問い合わせ用語を入力または指定するための操作入力手段と、前記操作入力手段を介して問い合わせ用語が入力または指定された場合に、前記記憶手段の状態遷移テーブルを参照し、前記問い合わせ用語に対応するキーインデックスを用いて、前記映像入力手段で入力した映像から前記検索粒度と一致し、かつ、前記キーインデックスと一致する事象インデックスを有する構造単位を検索する検索手段と、前記検索手段で検索された構造単位を入力し、前記問い合わせ用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する判定手段と、前記判定手段で一致すると判定された構造単位に基づいて、前記映像中から映像シーンを切り出して、検索結果として出力する検索結果出力手段と、を備えたものである。
【００３２】
また、請求項１２に係る映像検索処理装置は、請求項１１記載の映像検索処理装置において、前記判定手段が、前記検索手段で検索された構造単位中に、前記問い合わせ用語と対応する状態遷移パターン中に含まれる事象インデックスが全て存在するか否かを判定する第１の判定手段と、前記第１の判定手段で全て存在すると判定された構造単位に対して、前記問い合わせ用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する第２の判定手段と、から構成されるものである。
【００３３】
さらに、請求項１３に係る映像インデックス付与方法は、映像を構造化する際に、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスを含む映像インデックスを付与する映像インデックス付与方法において、予め、複数の事象が連続して発生することによって意味が成立し、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、前記用語を複数の事象で表現した複数の事象インデックスの順序を定めた入力列を用いて前記用語を定義した状態遷移パターンと、所定の構造インデックスで定義される映像の構造単位を前記用語に対応させて指定した検索粒度とを、前記用語毎に対応させた状態遷移テーブルを設定しておき、前記映像に映像インデックスを付与する際に、前記状態遷移テーブルを参照して、前記構造インデックスによって特定される構造単位毎に、対象となる構造単位と前記検索粒度が一致し、かつ、対象となる構造単位内に付与された事象インデックスの付与順序と前記状態遷移パターンの複数の事象インデックスの入力列とが一致する用語を検索して、一致する用語が存在する場合に、前記一致した用語の意味が発生したと判定し、該当する用語の成立を示す事象インデックスまたは属性情報を付与するものである。
【００３４】
また、請求項１４に係る映像インデックス付与方法は、映像を構造化する際に、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスを含む映像インデックスを付与する映像インデックス付与方法において、予め、複数の事象が連続して発生することによって意味が成立し、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、前記用語を複数の事象で表現した複数の事象インデックスの順序を定めた入力列を用いて前記用語を定義した状態遷移パターンと、所定の構造インデックスで定義される映像の構造単位を前記用語に対応させて指定した検索粒度とを、前記状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを指定した中心インデックスとを、前記用語毎に対応させた状態遷移テーブルを設定しておき、前記映像に映像インデックスを付与する際に、前記状態遷移テーブルを参照して、前記中心インデックスと一致する事象インデックスが付与された場合に、前記構造インデックスによって特定される構造単位毎に、対象となる構造単位と前記検索粒度が一致し、かつ、対象となる構造単位内に付与された事象インデックスの付与順序と前記状態遷移パターンの複数の事象インデックスの入力列とが一致する用語を検索して、一致する用語が存在する場合に、前記一致した用語の意味が発生したと判定し、該当する用語の成立を示す事象インデックスまたは属性情報を付与するものである。
【００３５】
また、請求項１５に係るコンピュータ読み取り可能な記録媒体は、前記請求項１３または１４に記載の映像インデックス付与方法をコンピュータに実行させるためのプログラムを記録したものである。
【００３６】
また、請求項１６に係る映像内容の説明文生成方法は、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、映像内容を説明する説明文を生成する映像内容の説明文生成方法において、前記説明文の生成に使用する情報が設定された状態遷移テーブルと、予め前記構造インデックスおよび事象インデックスに付与されている文字列または文字列に変換可能な属性情報とを用いて、前記説明文を生成する映像内容の説明文生成方法であって、前記状態遷移テーブルには、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語毎に、前記説明文を生成する際の映像単位として適当な構造単位を設定した生成粒度と、前記用語を複数の事象で表現した事象の発生パターンに基づいて、前記生成粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として前記用語を定義した状態遷移パターンと、前記状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つを選択して設定したキーインデックスと、前記状態遷移パターン毎に、前記説明文の生成に使用する構文要素および前記構文の構文要素として使用する文字列の入力元を設定した文字列定義情報と、が設定されており、前記映像内容の説明文を生成する際に、前記状態遷移テーブルを参照して、前記説明文を生成する対象となる構造単位と一致する生成粒度を検索し、該当する生成粒度に対応する状態遷移パターンのキーインデックスと一致する事象インデックスが前記対象となる構造単位中に存在するか否かを判定し、前記一致する事象インデックスが存在する場合に、前記対応する状態遷移パターンと前記対象となる構造単位中の事象インデックスの発生パターンが一致するか否かを判定し、前記発生パターンが一致した場合に、前記対応する状態遷移パターンで定義された用語が成立したと判定し、成立した用語の状態遷移パターンの文字列定義情報を用いて前記対象となる構造単位の映像シーンの説明文を生成するものである。
【００３７】
また、請求項１７に係る映像内容の説明文生成方法は、請求項１６に記載の映像内容の説明文生成方法において、さらに、前記構造単位には、特定の用語を定義した状態遷移パターンが成立した場合に、その用語を表すインデックスを抽象インデックスとして付与することが可能であり、前記状態遷移テーブルには、前記状態遷移パターン毎に、対応する用語を表す抽象インデックスがキーインデックスの一つとして設定されており、前記該当する生成粒度に対応する状態遷移パターンのキーインデックスと一致する事象インデックスが前記対象となる構造単位中に存在するか否かを判定する際に、キーインデックスとして抽象インデックスを優先して用いて、前記対象となる構造単位に該当する抽象インデックスが付与されているか否かを判定し、抽象インデックスが設定されている場合には、前記対応する状態遷移パターンで定義された用語が成立したと判定し、成立した用語の状態遷移パターンの文字列定義情報を用いて前記対象となる構造単位の映像シーンの説明文を生成する。
【００３８】
また、請求項１８に係る映像内容の説明文生成方法は、請求項１６または１７に記載の映像内容の説明文生成方法において、前記文字列定義情報は、前記構文要素として使用する文字列の入力元として、前記構造インデックスまたは事象インデックスの属性情報が設定されているものである。
【００３９】
また、請求項１９に係る映像内容の説明文生成方法は、請求項１６〜１８のいずれか一つに記載の映像内容の説明文生成方法において、前記文字列定義情報は、「何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、なぜ（Ｗｈｙ）、誰の（Ｗｈｏ）、何（Ｗｈａｔ）で、どのように（Ｈｏｗ）なった」の５Ｗ１Ｈを基本とした構文要素が設定されているものである。
【００４０】
また、請求項２０に係る映像内容の説明文生成方法は、請求項１９に記載の映像内容の説明文生成方法において、前記該当する生成粒度に対応する状態遷移パターンが複数存在する場合、各状態遷移パターンに対して用語が成立するか否かを判定し、複数の用語が成立すると、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成するものである。
【００４１】
また、請求項２１に係る映像内容の説明文生成方法は、請求項２０に記載の映像内容の説明文生成方法において、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、時間的に後に発生する事象インデックスを参照する構文要素を優先するものである。
【００４２】
また、請求項２２に係る映像内容の説明文生成方法は、請求項２０または２１に記載の映像内容の説明文生成方法において、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、各用語の状態遷移パターンを比較し、より多くの事象インデックスを用いて定義された状態遷移パターンの構文要素を優先するものである。
【００４３】
また、請求項２３に係る映像内容の説明文生成方法は、請求項１９〜２２のいずれか一つに記載の映像内容の説明文生成方法において、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて前記対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、必要に応じて構文要素を並列に並べるものである。
【００４４】
また、請求項２４に係るコンピュータ読み取り可能な記録媒体は、前記請求項１６〜２３のいずれか一つに記載の映像内容の説明文生成方法をコンピュータに実行させるためのプログラムを記録したものである。
【００４５】
【発明の実施の形態】
以下、本発明の映像検索方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像検索処理装置、映像インデックス付与方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像内容の説明文生成方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態について、添付の図面を参照しつつ詳細に説明する。
【００４６】
（実施の形態１）
実施の形態１に係る映像検索方法、映像検索処理装置および映像インデックス付与方法について、
（１）映像検索処理装置の装置構成
（２）構造インデックスと事象インデックスとの関係
（３）状態遷移テーブルの構造
（４）状態遷移パターン（状態遷移図）の定義例
（５）具体的な映像検索処理アルゴリズムの例
（６）具体的な動作例
の順で説明する。
【００４７】
（１）映像検索処理装置の装置構成
図１は、実施の形態１の映像検索処理装置の構成図を示し、同図（ａ）が映像検索処理装置１００のハード構成の一例を示し、同図（ｂ）が映像検索処理装置１００の機能ブロック図を示している。
映像検索処理装置１００は、少なくとも映像を意味的な纏まりで分割するための構造インデックスおよび映像中で発生した事象の内容および場所を特定するための事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像を対象として、構造インデックスおよび事象インデックスを用いて映像中から所望の映像シーンを検索するものである。
【００４８】
この映像検索処理装置１００のハード構成としては、少なくともＣＰＵ（中央演算処理装置）、ディスプレー、キーボード、磁気ディスクを有する装置であれば良く、例えば、同図（ａ）に示すようなパーソナルコンピュータを利用することができる。
【００４９】
また、映像検索処理装置１００は、同図（ｂ）に示すように、検索対象である構造化した映像を入力するための映像入力部１０１と、後述する用語、検索粒度、状態遷移パターンおよびキーインデックスを状態遷移テーブルとして記憶した状態遷移テーブル記憶部１０２と、所望の映像シーンを検索するための問い合わせ用語を入力または指定するための操作入力部１０３と、操作入力部１０３を介して問い合わせ用語が入力または指定された場合に、状態遷移テーブル記憶部１０２の状態遷移テーブルを参照し、問い合わせ用語に対応するキーインデックスを用いて、映像入力部１０１で入力した映像から検索粒度と一致し、かつ、キーインデックスと一致する事象インデックスを有する構造単位を検索する映像検索部１０４と、映像検索部１０４で検索された構造単位を入力し、問い合わせ用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する判定部１０５と、判定部１０５で一致すると判定された構造単位に基づいて、映像中から映像シーンを切り出して、検索結果として出力する検索結果出力部１０６と、を備えている。
【００５０】
なお、判定部１０５は、映像検索部１０４で検索された構造単位中に、問い合わせ用語と対応する状態遷移パターン中に含まれる事象インデックスが全て存在するか否かを判定する第１の判定部１０５ａと、第１の判定部１０５ａで全て存在すると判定された構造単位に対して、問い合わせ用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する第２の判定部１０５ｂと、を有している。
【００５１】
（２）構造インデックスと事象インデックスとの関係
次に、本発明の映像検索処理装置（映像検索方法）が、検索の対象とする構造化された映像について説明する。構造化された映像には、映像を意味的な纏まりで分割するための構造インデックスと、映像中で発生した事象の内容および場所を特定するための事象インデックスが付与されている。
【００５２】
図２および図３は、構造インデックスと事象インデックスとの関係を示す説明図である。図２において、例えば、構造１の構造インデックスで示される区間の映像データ（映像シーン）が１つの映像全体を表すものとした場合、この映像は、構造１の下位に構造２−ａ、構造２−ｂ、構造２−ｃ…等の複数の構造インデックスを有している。ここで、構造２−ａ、構造２−ｂ、構造２−ｃ…等の各構造インデックスで示される区間は、構造１で示される映像全体を分割した区間であり、かつ、これらの分割された区間を全て繋げると上位の区間である映像全体の区間と一致する。
【００５３】
また、構造２−ａの下位には、構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の複数の構造インデックスが設けられている。同様に、構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の各構造インデックスで示される区間は、構造２−ａで示される区間を分割した区間であり、かつ、これらの分割された区間を全て繋げると上位の区間である構造２−ａの区間と一致する。
【００５４】
なお、最上位の構造１の構造インデックスで示される区間が、映像全体を示す構造単位となり、次の構造２−ａ、構造２−ｂ、構造２−ｃ…等の各構造インデックスで示される区間が、構造２レベルの構造単位となり、さらに下位の構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の各構造インデックスで示される区間が、構造３レベルの構造単位となる。
【００５５】
このように映像（構造１）は、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化されている。
【００５６】
上記映像の構造を表す構造インデックスに対して、事象インデックスは、映像上で起こった事象を表すものである。前述したように構造インデックスが映像の論理的な区間を示すのに対して、事象インデックスは基本的に区間を持たないインデックスである。この事象インデックスは、基本的には、映像中で事象が発生した場所にその事象の内容を示す情報として付与される。例えば、図３のように、映像の流れ（時系軸での変化）において事象の発生した時に事象インデックス３ａａ−１〜３ａａ−４のように付与しても良いし、図２のように、事象の発生した構造インデックス３ａａに事象インデックス３ａａ−１〜３ａａ−４を付与しても良い。なお、詳細な説明は省略するが、構造インデックスおよび事象インデックスで構成される構造化されたインデックス情報の部分と、実際の映像シーンの部分とをそれぞれ別々に保存したり、管理したりすることもできるのは勿論である。
【００５７】
（３）状態遷移テーブルの構造
次に、本発明の重要な要素である状態遷移テーブルの構造について詳細に説明する。本発明では、抽象度の高い意味（用語）を用いて所望の映像シーンを検索するために、その用語を表現する状態遷移パターンを映像の構造情報（構造インデックスおよび事象インデックス）を利用して定義しておく。ここでの処理が、本発明の状態遷移テーブル生成工程に相当する。
【００５８】
状態遷移テーブルは、図４に示すように、以下の（３−１）〜（３−４）を対応させて設定したものである。
（３−１）用語：
抽象度の高い検索用語であり、該当する映像シーンの意味を表す文字列として設定したものである。抽象度の高い用語（検索用語）とは、事象インデックスとして使用される断片的な意味の用語が映像上の１つの事象と対応付けることができるのに対して、映像上の１つの事象のみに対応させることはできず、複数の事象の組み合わせによって表現可能な用語である。換言すれば、抽象度の高い用語（検索用語）は、ある区間の複数の事象の発生が明らかになって初めて意味が成立するものである。
【００５９】
（３−２）検索粒度：
映像を検索する際の検索対象単位として適当な構造単位を設定したものである。すなわち、用語（上記（３−１））の意味が成立する最小の構造単位を検索粒度として設定することにより、検索対象単位を狭い範囲に絞って効率的に検索できるようにするものである。
（３−３）状態遷移パターン：
用語（上記（３−１））を表現する事象の発生パターンに基づいて、検索粒度（上記（３−２））の中で連続して発生する複数の事象インデックスの入力列として用語（上記（３−１））に対応した事象リストを定義したものである。
（３−４）キーインデックス：
状態遷移パターン（上記（３−３））中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを検索の取り掛かりとなるキー（中心事象）として指定したものである。
【００６０】
すなわち、状態遷移テーブルは、映像内容の意味定義を、ある構造上の論理単位（検索粒度）における事象インデックスのリストと、内容の意味を表す文字列と、検索を効率的に行うためのキーインデックスとの組として表現し、作成したものである。この状態遷移テーブル上の状態遷移パターンを、インデックスにより構造化された映像に対して、発見（パース）していくことが検索となる。
【００６１】
図４を参照して、さらに説明すると、意味を表す文字列『××××・・×』に対して、先ず、その用語を複数の事象の入力列で表現して事象リスト『事象１、事象２、事象３』を設定する。この事象リストは、図５に示すように、状態Ａにおいて事象１が発生し、次に事象２が発生し、次に事象３が発生し、状態Ｂに移ることを示している。
【００６２】
用語に対する事象リストが作成されると、この事象リストに存在する事象１〜３の中で最も用語を象徴的に表している事象または用語を特定するのに相応しい事象をキーインデックスに指定する。ここでは事象１がキーインデックスとして指定されている。続いて、構造化された映像の構造単位において、事象リストに存在する事象１〜３が用語の意味する内容として発生可能な最小の構造単位を検索粒度として選択し、設定する。ここでは粒度１として記述する。
【００６３】
同様に、意味を表す文字列『００００・・０』に対して、先ず、その用語を複数の事象の入力列で表現して事象リスト『事象１、事象２、事象４』を設定する。この事象リストは、図５に示すように、状態Ａにおいて事象１が発生し、次に事象２が発生し、次に事象４が発生し、状態Ｃに移ることを示している。
【００６４】
用語に対する事象リストが作成されると、この事象リストに存在する事象１、２、４の中で最も用語を象徴的に表している事象または用語を特定するのに相応しい事象をキーインデックスに指定する。ここでは事象４がキーインデックスとして指定されている。続いて、構造化された映像の構造単位において、事象リストに存在する事象１、２、４が用語の意味する内容として発生可能な最小の構造単位を検索粒度として選択し、設定する。ここでは粒度２として記述する。
【００６５】
なお、図４に示すように、異なる用語に対して検索粒度として設定された粒度１と粒度２が同一の構造単位であることもあり得る。検索粒度は用語毎に最適なものを選択すれば良く、検索粒度に同一の構造単位が多数存在していてもかまわない。
【００６６】
状態遷移テーブルを利用して用語の意味する映像内容を検索する場合、例えば、用語に対応した検索粒度の構造単位に絞り込んで検索をすることで検索効率の向上を図ることができる。さらに、キーインデックスを用いて該当する事象をパースした後、指定された検索粒度の構造単位で、事象リストが成り立つか判定することで、高速かつ効率的な検索を行うことができる。
【００６７】
（４）状態遷移パターン（状態遷移図）の定義例
本発明では、前述したように、予め、人間が検索に用いる抽象度の高い意味をもつ用語（および概念）を、状態遷移のパス正規表現パターン（状態遷移パターン）として定義しておく。
【００６８】
前提条件として、
＊映像には事象インデックスが付加されているが、事象インデックスが付加されたことにより、それを入力記号として新たな状態に遷移するとする。
＊また、事象インデックスは時間的幅をもたないと定義する。
＊そして、２つの着目する事象インデックスの間の映像データをシーンと定義する。
＊シーンは時間に沿って流れていく。
【００６９】
このシーンの流れ、すなわち、状態遷移の様子は、事象インデックスをラベルとする有向グラフによって表現できる。グラフのノードはシーンを表す。各シーンには、状況を表現する各種のパラメータ値が属性として付加されている。例えば、映像が野球の試合を記録したものである場合、この属性としては、スコア、守備側選手のポジションと選手名、打者名、ＳＢＯ（ストライク・ボール・アウト）などである。
【００７０】
検索とは、インデックス付けされた映像に対して、状態遷移パターンを発見することである。発見された映像部分（シーンあるいはインデックス）が検索結果となる。該当するシーンが他の該当するシーンを包含する場合は、それらのうち最短であるシーンの流れを検索結果とする。
【００７１】
状態遷移パターンのパス正規表現としては、『シーンｓ０から事象インデックスＩにより、シーンｓ１に遷移する場合』、“ｓ０−Ｉ−＞ｓ１”と表現することとする。
また、“．”は任意のシーンおよび任意の事象インデックスを表現するものとする。
また、“−．−＞”は“→”と略して記述する。
また、時間的に連続する２つのシーン間の遷移は“＝＝＞”で表す。
また、“＊”は０回以上の繰り返しを表し、“＋”は１回以上の繰り返しを表すものとする。
【００７２】
例えば、シーンｓ０から出発して、事象インデックス列“Ａ．＊Ｂ．＊（Ｃ．＊）＊Ｃ”によってシーンｓ１に至るシーンの流れは、以下のパス正規表現で表現される。
ｓ０−Ａ−＞．（  →．）＊−Ｂ−＞．  （→．）＊（−Ｃ−＞（→．）＊）＊−Ｃ  −＞ｓ１
このパス表現を以下のように略記することにする。
ｓ０−ＡＢＣ＋−＞ｓ１
【００７３】
厳密には、正規表現“Ａ．＊Ｂ．＊（Ｃ．＊）＊Ｃ”と、正規表現“ＡＢＣ＋”の表現内容は同一ではないが、事象インデックスの場合、無視できる事象インデックスも多く、それらを一々記述するのは煩雑であるため、このような略記法を適用する。図６は、このパス正規表現に対応する有限状態オートマトンの状態遷移図を示している。
【００７４】
また、図７に示すように、映像（映像シーン）に対して、Ａ，Ｂ，Ｃ，Ｄ等の事象インデックスが付加されているとする。この映像に対して、図６に示すシーンｓ０，ｓ１を検索すると、ｓ０，ｓ１は図７に示すように求まる。
【００７５】
この状態遷移パターン（状態遷移図）にさらに、条件式を記述することにより、構造情報利用による検索の効率化を図ることができる。
例えば、状態遷移パターンの後ろの〔〕内に条件式を書くこととする。
“  ｓ０−ＡＢＣ＋−＞ｓ１〔打席（ｓ０）  ｉｓ  ｔｈｅ  ｓａｍｅ  ａｓ  打席（ｓ１）〕”
【００７６】
構造情報を利用した例：
ホームチームの逆転シーンを探せ。ただし、検索結果のシーン列の最後は、そのイニングの最後までとってくること。
0003602765.tif 000002
【００７７】
ここで、ｄｅｆ以下の定義は、単なる文字列の置き換えであり、実際にはｓ０．ｘなどのシーン環境が設定されたとき、値の評価が起こる。
【００７８】
（５）具体的な映像検索処理アルゴリズムの例
ここで、具体的な映像検索処理アルゴリズムについて説明する前に、映像検索を行う前の処理について確認しておく。
映像検索処理装置１００の状態遷移テーブル記憶部１０２には、前述した状態遷移テーブル生成工程を介して、既に状態遷移テーブルが記憶されているものとする。
【００７９】
図８は、実施の形態１の映像検索処理のアルゴリズムを示すフローチャートである。図１で示した映像検索処理装置１００を用いて所望の映像部分を検索する場合、利用者は、映像入力部１０１を介して検索したい映像を映像検索処理装置１００へ入力する。なお、映像入力部１０１として装置の磁気ディスクが使用されている場合には、検索対象となる映像を指定するだけで良い。
【００８０】
映像検索を行う際の処理として、
先ず、利用者が操作入力部１０３を介して、所望の映像シーンを表現した用語を入力すると、検索の取り掛かりとして状態遷移テーブルから該当する用語に対応したキーインデックスを求める（Ｓ８０１）。
【００８１】
次に、キーインデックスを利用して、キーインデックスと一致する事象インデックスを検索し、結果としてキーインデックスの集合を得る（Ｓ８０２）。
ステップＳ８０２で得られたキーインデックスの集合に対して、状態遷移テーブルで指定されている構造の制約条件（状態遷移パターン）から、そのキーインデックスを含む構造インスタンス（検索粒度）を求める（Ｓ８０３）。
【００８２】
続いて、一つの構造インスタンス（検索粒度と一致する構造単位）に対し（Ｓ８０４）、状態遷移パターン中に含まれる事象インデックスが全て存在するか否かを判定し（Ｓ８０５）、含まれていない構造インスタンスについては、処理を行わない。
【００８３】
また、ある構造インスタンスに複数のキーインデックスが含まれている場合は、キーインデックスの集合から、該当するキーインデックスを除去し（Ｓ８０６）。続いて、全て存在すると判定された構造単位に対して、状態遷移が成立するか否かを判定し、換言すれば、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定し（Ｓ８０７）、成立するならば、抽象度の高い用語によって指定されている意味が成立したと判定する（Ｓ８０８）。また、このとき、必要に応じて、得られた構造インスタンスに対して、成立した意味に該当する新たな事象インデックスを追加するか、または既存の事象インデックスの属性としてその情報を付加する。
【００８４】
次に、得られたキーインデックスの集合の全てのキーインデックスに対して、上記ステップＳ８０３〜Ｓ８０８を繰り返す（Ｓ８０９）。
【００８５】
その後、得られた構造インスタンス（構造単位）を返り値として返し（Ｓ８１０）、検索結果として映像シーンの切り出しを行う（Ｓ８１１）。なお、検索結果の切り出しは、デフォルトで指定された検索粒度（構造単位）であっても良く、その他に、その切り出し部分を含む任意の構造単位や、キーインデックスを基準として前後にオフセットを指定した切り出し等が指定できるものとする。
【００８６】
また、検索の応用の一つとして、検索条件をパースして、状態遷移パターンと一致するパターンを発見した場合、その意味を説明する解説文（説明文）を生成する手続きを定義しておき、実行することで解説文を自動生成することができる。すなわち、状態遷移テーブルに指定されている映像内容の意味定義（状態遷移パターン）を利用して、映像を説明する文字列を生成することが可能となる。断片的に振られているインデックスを単に羅列しただけでは、単なる用語が並列に並んでいるだけとなるが、状態遷移パターンを利用すれば、利用者に分かりやすい文書を生成できる。
【００８７】
（６）具体的な動作例
以上の構成および映像検索処理アルゴリズムを用いた具体的な動作例について説明する。図９は、野球映像を例とした時の映像インデックス（構造インデックスおよび事象インデックス）の例を示す説明図である。構造インデックスによって、ゲーム開始から、回、イニング、表・裏、打席、投球と言った構造単位で分割され階層化されている。このような構造は、映像インデックスを定義する際に予めプロファイルとして設定されている。
【００８８】
さらに、ヒット、アウト、ホームランなどの事象インデックスも必要に応じて振られている。このように映像インデックスにより、構造化され、説明事象が断片的に設定された映像に対し、図６に示したような状態遷移パターンを用意する。例えば、打席粒度（打席レベルの構造単位）において、ヒットの後に１回以上の加点イベントがあった場合、『タイムリー』という意味となる。また、アウトもしくはフライイベントに続いて、加点イベントが発生した場合は、『犠打』という意味となる。
【００８９】
このとき、中心事象（キーインデックス）として定義されているイベントが検索の手掛かりとなるインデックスである。このキーインデックスを頼りに映像を検索し、指定された粒度において、状態遷移パターンが発見されれば、その粒度は検索結果の候補となる。
【００９０】
さらに、事象インデックスが映像の状況を表す環境パラメータ対して及ぼした効果についても、状態遷移を定義することができる。例えば、野球の場合、打席粒度に対して、加点イベントが発生していたとき、打席開始直前の加点状況と打席終了直後の加点状況の変化に対して、『先制』、『同点』、『逆転』などの意味を表すことで指定できる。
【００９１】
ここで、状態遷移パターンの例について具体的に示す。
＊タイムリーヒット
ｓ０＝＞打席イン＝＞ｓ０’−ヒット・加点＋→ｓ１＝＞打席イン＝＞ｓ１’
＊犠打
ｓ０＝＞投席イン＝＞ｓ０’−アウト・加点＋→ｓ１＝＞打席イン＝＞ｓ１’
＊併殺打
ｓ０＝＞打席イン＝＞ｓ０’−アウト・アウト→ｓ１＝＞打席イン＝＞ｓ１’
＊逆転
ｓ０＝＞打席イン＝＞ｓ０’−加点＋  →ｓ１＝＞打席イン＝＞ｓ１’
〔ｓ０．ホームラン＞ｓ０．アウェイスコア＆＆
ｓ１．’ホームスコア＞ｓ１．’アウェイスコア｜｜
ｓ０．ホームラン＜ｓ０．アウェイスコア＆＆
ｓ１．’ホームスコア＜ｓ１．’アウェイスコア〕
【００９２】
上記のような状態遷移パターンを設定しておけば、抽象度の高い意味の検索に対応できる。逆に言えば、この状態遷移パターンを定義するだけで、映像のインデックス情報の構造や事象定義などに依存せずに映像の内容の意味に基づいた検索が可能となる。すなわち、半構造データとしての映像インデックス情報（インデックスの構造は、作成者ごとに異なり、固定していないという半構造データの特徴を備えた映像インデックス）に対して、統一した検索問い合わせのための環境を用意することが可能となる。
【００９３】
また、解説文（説明文）の自動生成に関しては、抽象度の高い意味を表す状態遷移テーブルに、その主語となるデータをどこから取ってくるかという情報（文字列定義情報）を併せて定義しておき、その主語と意味情報、さらに状況変化により発生した意味情報を接続詞を挟んで組み合わせることにより、利用者にとって違和感のない解説文が生成できる。例えば、タイムリーヒットという用語に対して、説明文の生成条件（文字列定義情報）は次のように指定される。
【００９４】
0003602765.tif 000003
【００９５】
ここで、＜インデックス．属性名＞は指定された映像インデックスの属性を示す。〔インデックス〕は、指定された粒度においてインデックスが発生した回数を示す。「用語」は、中に記述されている抽象度の高い用語が成立した場合に記述することを示す。
【００９６】
上記の指定により検索結果が得られたときの説明文は、
１回裏  高橋  の  ２点タイムリー  で  逆転
といった形態となる。
【００９７】
また、リアルタイムオーサリングの際は、インデックスを振りながら、上記の状態遷移パターンのキーインデックス（中心事象）が発生したときに、その前後において、指定された粒度内で状態遷移パターンを満足しているかの検証を行う。状態遷移パターンを満足するような事象が連続して起きたときには、そこで定義されている意味が発生したとし、新たなインデックスを付加したり、キーインデックスの属性として、その情報を加えるなどの処理を行う。
【００９８】
例えば、打席粒度の中で、ヒットの後に加点インデックスが１回以上続いた場合は、そのヒットはタイムリーであったと判定し、タイムリーヒットというインデックス（抽象インデックス）を新たに付加するか、ヒットインデックス（事象インデックス）の属性として『タイムリー』を加えるなどの処理を行う。
【００９９】
また、タイムリーヒットというインデックス（抽象インデックス）をキーインデックスとして、状態遷移テーブルに予め設定しておいても良い。
【０１００】
以上説明した実施の形態１に係る映像検索方法および映像インデックス付与方法は、前述した説明および各フローチャートに示した手順に従って、予めプログラムをコンピュータで実行することによって実現される。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、またはネットワークを介して配布することができる。
【０１０１】
（実施の形態２）
実施の形態２の映像内容説明文生成装置は、基本的には実施の形態１の映像検索処理装置１００の検索の応用の一つとして、検索条件をパースして、映像中（構造単位中）に状態遷移パターンと一致するパターンを発見した場合、その意味を説明する解説文（説明文）を生成する手続きを定義し、実行することで映像内容の説明文生成を自動生成するものである。すなわち、状態遷移テーブルに指定されている映像内容の意味定義（状態遷移パターン）を利用して、映像内容を説明する文字列を生成するものである。
【０１０２】
しかし、映像内容の説明文生成は、必ずしも映像検索処理装置１００における映像検索処理の後処理または追加的な機能として実行されるだけでなく、前述した構造インデックスおよび事象インデックスが付与され、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化した映像であれば、映像検索処理とは別に、独立した機能として映像内容の説明文生成処理を行うことができる。したがって、本発明の映像内容の説明文生成方法を明確に表現するために、ここでは適用する装置を映像内容説明文生成装置２００として呼ぶことにする。
【０１０３】
また、実施の形態２においては、構造インデックス、事象インデックスおよび抽象インデックスで構成される構造化されたインデックス情報の部分と、実際の映像シーンの部分とがそれぞれ別々に管理されており、映像内容の説明文を生成する際には、インデックス情報の部分を入力して、説明文の生成を行うものとする。これにより、データ量が多い映像シーン部分と切り離して処理を行えるので、装置の負荷を軽減して説明文の生成処理を高速に行うことができる。
【０１０４】
以下、実施の形態２の映像内容説明文生成装置２００について、
（７）映像内容説明文生成装置の装置構成
（８）事象インデックスと抽象インデックスとの関係
（９）実施の形態２の状態遷移テーブルの構造
（１０）映像内容の説明文生成処理のアルゴリズムの例
（１１）構文および文字列定義情報を用いて生成した説明文の具体例
の順で説明する。
【０１０５】
（７）映像内容説明文生成装置の装置構成
図１０は、実施の形態２の映像内容説明文生成装置の構成図を示し、同図（ａ）が映像内容説明文生成装置２００のハード構成の一例を示し、同図（ｂ）が映像内容説明文生成装置２００の機能ブロック図を示している。
映像内容説明文生成装置２００のハード構成としては、少なくともＣＰＵ（中央演算処理装置）、ディスプレー、キーボード、磁気ディスクを有する装置であれば良く、例えば、同図（ａ）に示すようなパーソナルコンピュータを利用することができる。
【０１０６】
また、映像内容説明文生成装置２００は、同図（ｂ）に示すように、説明文生成の対象である構造化した映像を入力するための映像入力部２０１と、後述する用語、生成粒度、状態遷移パターン、文字列定義情報およびキーインデックスを状態遷移テーブルとして記憶した状態遷移テーブル記憶部２０２と、映像内容の説明文生成処理に必要な各種指定を入力するための操作入力部２０３と、操作入力部２０３を介して説明文を生成する映像シーンの範囲（構造単位）が指定された場合に、状態遷移テーブル記憶部２０２の状態遷移テーブルを参照し、説明文を生成する対象となる構造単位と一致する生成粒度を検索し、該当する生成粒度を用いて構造単位中で成立する用語を検索する用語検索部２０４と、用語検索部２０４で検索された用語（成立した用語）の状態遷移パターンの文字列定義情報を用いて、映像シーンの説明文を生成する説明文生成部２０５と、説明文生成部２０５で生成した説明文を表示する説明文表示部２０６と、を備えている。
【０１０７】
なお、実施の形態２の映像内容説明文生成装置２００は、説明文の生成に使用する情報が設定された状態遷移テーブルと、予め構造インデックスおよび事象インデックスに付与されている文字列または文字列に変換可能な属性情報とを用いて、説明文を生成する。
【０１０８】
（８）事象インデックスと抽象インデックスとの関係
次に、実施の形態２の映像内容説明文生成装置２００が、説明文生成の対象とする構造化された映像について説明する。実施の形態２で使用する構造化された映像には、映像を意味的な纏まりで分割するための構造インデックスと、映像中で発生した事象の内容および場所を特定するための事象インデックスと、特定の用語を定義した状態遷移パターンが成立した場合に、その用語の意味が成立していることを表すための抽象インデックスと、が付与されている。
【０１０９】
なお、構造インデックスおよび事象インデックスとの関係は、実施の形態１の「（２）構造インデックスと事象インデックスとの関係」で説明した内容と同一であるため、ここでは、事象インデックスと抽象インデックスとの関係について説明する。また、説明文を生成する際の映像単位として、構造インデックスによって定義された構造単位を指定したものが生成粒度である。
【０１１０】
事象インデックスは、映像中で発生した事象の内容および場所を特定するためのインデックスである。換言すれば、映像上の１つの事象と対応付けて付与され、かつ、事象の内容（意味）を示す断片的な情報を属性情報として有するものである。
【０１１１】
抽象インデックスは、複数の事象の組み合わせによって表現される意味（すなわち、実施の形態１で説明した抽象度の高い用語）を示すインデックスである。また、抽象インデックスは、ある区間の複数の事象の発生が明らかになって初めて意味が成立するものであり、複数の事象インデックスの発生パターンによって表現可能な意味を有するものである。
【０１１２】
一方、実施の形態２では、状態遷移パターンの定義を、事象（事象インデックス）の発生パターンに基づいて、生成粒度の中で連続して発生する複数の事象インデックスの入力列として抽象度の高い用語を定義したものとする。
【０１１３】
換言すれば、抽象インデックスが、複数の事象インデックスの発生パターンによって表現可能な意味を有するものであり、状態遷移パターンが、複数の事象インデックスの入力列として用語を定義したものであるため、１つの抽象インデックスと１つの状態遷移パターンは、事象インデックスの入力列（または発生パターン）を構成要件として１対１の対応関係で存在することになる。したがって、抽象インデックスを用いて、その抽象インデックスと１対１で対応する状態遷移パターン（複数の事象インデックスの入力列）を表現することができるので、多数の事象インデックスで表現された状態遷移パターンの場合に、抽象インデックスと事象インデックスとを用いて表現することにより、状態遷移パターンをより少ない数のインデックスで表現することができるようになる。また、抽象インデックスと事象インデックスとを用いて状態遷移パターンを表現することにより、より抽象度の高い用語の定義が容易になるという効果を奏する。
【０１１４】
また、状態遷移パターンが成立した場合にのみ、対応する抽象インデックスを映像に付与することが可能であり、映像中に抽象インデックスが付与されている場合には、対応する状態遷移パターンが成立していることを意味している。
【０１１５】
次に、図１１（ａ）〜（ｃ）を参照して、抽象インデックスを用いて状態遷移パターンを定義した例について説明する。例えば、図１１（ａ）に示すように、ある用語Ｗの状態遷移パターンが、事象１（事象インデックス）→事象２→事象３→事象８→事象１２で示す事象インデックスの入力列で定義されているとする。
【０１１６】
また、図１１（ｂ）に示すように、ある用語Ｚの状態遷移パターンが、事象１→事象２→事象３→事象８→事象１２→事象１３で示す事象インデックスの入力列で定義されているとする。
【０１１７】
このような場合に、用語Ｗに対応する抽象インデックスＷを用いて、用語Ｗの状態遷移パターン（事象１→事象２→事象３→事象８→事象１２）を表現するものと定義しておくと、用語Ｚの状態遷移パターンは、抽象Ｗ（抽象インデックスＷ）と事象１３（事象インデックス）とを用いることにより、図１１（ｃ）に示すように簡略化して記述することができる。
【０１１８】
状態遷移パターンを定義する際に、事象インデックスだけでなく、抽象インデックスを使用可能とすることにより、より複雑な用語（より抽象的な概念の用語）の状態遷移パターンの定義が容易となる。
【０１１９】
（９）実施の形態２の状態遷移テーブルの構造
図１２は、実施の形態２の状態遷移テーブルの構造例を示す。状態遷移テーブルには、用語と、生成粒度と、状態遷移パターンと、キーインデックスと、文字列定義情報と、が設定されている。
【０１２０】
用語は、複数の事象の組み合わせによって表現可能な用語であり、実施の形態１で説明した内容と同一である。
生成粒度には、説明文を生成する際の映像単位として適当な構造単位を設定したものである。構造インデックスによって定義された構造単位を指定することができる。すなわち、生成粒度は実施の形態１の検索粒度と同じものである。
【０１２１】
状態遷移パターンは、用語を表現する事象の発生パターンに基づいて、生成粒度の中で連続して発生する複数の事象インデックスの入力列として用語を定義したものである。また、前述したように状態遷移パターンは、事象インデックスだけでなく、抽象インデックスを用いて表現できるものとする。例えば、図１２において、用語Ｃの状態遷移パターンは、事象インデックスのみで表すと、『事象１→事象４→事象６→事象７→事象８』で示される入力列として表現できるが、用語Ｂの抽象インデックス（抽象Ｂ）を用いて表すと、『抽象Ｂ→事象７→事象８』で示される入力列として表現できる。
【０１２２】
また、キーインデックスは、状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つを選択して設定したものである。なお、実施の形態２では、キーインデックスの一つとして、対応する用語を表す抽象インデックス、換言すれば、該当する状態遷移パターン全体を表す抽象インデックスが設定されているものとする。
【０１２３】
文字列定義情報には、説明文の生成に使用する構文要素および構文の構文要素として使用する文字列の入力元が設定されている。また、構文要素として使用する文字列の入力元として、構造インデックスまたは事象インデックスの属性情報が設定されている。例えば、事象１（事象インデックス）の○○○という属性情報の内容を文字列の入力元とする、というような設定がなされている。また、文字列の入力元としては、後述するように単に属性情報の種類を指定するだけでも良いし、用語Ｃの構文要素（Ｗｈａｔ）のように「“」と「”」の間に文字列（××××××）を直接記述しておき、この文字列を入力元としても良い。
【０１２４】
構文要素としては、「何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、なぜ（Ｗｈｙ）、誰の（Ｗｈｏ）、何（Ｗｈａｔ）で、どのように（Ｈｏｗ）なった」の５Ｗ１Ｈを基本とした構文要素が設定されている。なお、文字列定義情報には、５Ｗ１Ｈの構文要素が全て設定されていても良く、または一部のみが設定されていても良い。また、その他の構文要素を設定することも可能である。
【０１２５】
ここで、図１２に示した状態遷移テーブルを、各用語を表す抽象インデックスが定義されたテーブルとして捉えて、野球映像を対象とした場合の抽象インデックスの定義の例を具体的に説明する。
【０１２６】
例えば、用語『１塁打』の抽象インデックスを定義すると、
0003602765.tif 000004
と記述することができる。
【０１２７】
なお、上記の記述は以下のルールで作成されている。
「＆ＡＢＳＩＮＤＥＸ  文字列」：
＆ＡＢＳＩＮＤＥＸ  は抽象インデックスの宣言子（識別子）であり、後続の『文字列』が抽象インデックスの名称（用語）および意味が『文字列』であることを示している。
「＆ＲＡＮＧＥ  文字列」：
＆ＲＡＮＧＥは構造単位（生成粒度）の宣言子であり、後続の『文字列』で構造単位（生成粒度）を指定している。
【０１２８】
「＆ＰＡＴＴＥＲＮ  文字列」：
＆ＰＡＴＴＥＲＮは、状態遷移パターンの宣言子であり、後続の『文字列』で状態遷移パターンを表現している。例えば、「  ＆ＰＡＴＴＥＲＮ  ヒット」は、状態遷移パターンが１つの事象（ヒットの事象インデックス）で構成されていることを示している。
「＆ＫＥＹ  文字列」：
＆ＫＥＹはキーインデックスの宣言子であり、後続の『文字列』でキーインデックスを指定している。なお、キーインデックスとしては、後続の『文字列』の他に、「＆ＡＢＳＩＮＤＥＸ  文字列」で宣言されている抽象インデックスそのものが自動的に指定される。
【０１２９】
「＆ＥＸＰ  ＜文字列＞  」：
＆ＥＸＰは、文字列定義情報の宣言子であり、後続の『  ＜文字列＞  』で構文要素およびその入力元を定義している。例えば、＜Ｗｈｅｎ：ｉｎｎｉｎｇ＿ｔｉｍｅ，  Ｗｈｏ：ｂａｔｔｅｒ＿ｎａｍｅ，  Ｗｈａｔ：”１塁打”＞の場合、構文要素（Ｗｈｅｎ）は属性情報（ｉｎｎｉｎｇ＿ｔｉｍｅ）を入力元とし、構文要素（Ｗｈｏ）は属性情報（ｂａｔｔｅｒ＿ｎａｍｅ）を入力元とし、構文要素（Ｗｈａｔ）は“１塁打”（“，”の間の文字を入力することを示す）を入力元とすることを示している。
【０１３０】
次に、他の抽象インデックスの定義例を以下に示す。
0003602765.tif 000005
【０１３１】
（１０）映像内容の説明文生成処理のアルゴリズムの例
次に、図１３のフローチャートを参照して、映像内容の説明文生成処理のアルゴリズムについて説明する。実施の形態２の映像内容説明文生成装置２００を用いて映像内容の説明文を生成する場合、先ず、映像内容の説明文を生成したい映像、すなわち、対象となる構造単位の映像（インデックス情報のみでも良い）を操作入力部２０３および映像入力部２０１を介して入力する（Ｓ１３０１）。
【０１３２】
ここで、対象となる構造単位の映像の入力方法としては、例えば、利用者が操作入力部２０３を介して、説明文を生成したい映像シーンの範囲を指定することにより、指定された映像シーンの範囲に対応する構造単位で映像（インデックス情報）を入力する方法や、あるいは予め説明文を生成する範囲として特定の構造単位を設定しておき、特定の構造単位の映像を自動的に切り出して入力する方法でも良い。前者の方法では、利用者が所望の映像シーンを選択して、所望の映像シーンのみの説明文を生成させることができ、後者の方法では、特定の構造単位毎に連続して、かつ、自動的に説明文を生成させることができる。
【０１３３】
次に、用語検索部２０４が、状態遷移テーブル記憶部２０２の状態遷移テーブルを参照して、説明文を生成する映像の構造単位と一致する生成粒度を検索する（Ｓ１３０２）。この検索の結果、一致する生成粒度があるか否かを判定し（Ｓ１３０３）、一致する生成粒度があれば、ステップＳ１３０４へ進み、一致する生成粒度がなければステップＳ１３０７へ進む。なお、用語検索部２０４は、状態遷移テーブルを先頭から順番に一致する生成粒度がなくなるまで検索するか、または一致する生成粒度が検索される度に、ステップＳ１３０２からステップＳ１３０３へ移行する。
【０１３４】
続いて、用語検索部２０４は、該当する生成粒度に対応する状態遷移パターンのキーインデックスと一致する事象インデックスが、前記対象となる構造単位中に存在するか否かを判定し（Ｓ１３０４）、一致する事象インデックスが存在しない場合には、ステップＳ１３０２へ戻って次の一致する生成粒度の検索を行う。一方、一致する事象インデックスが存在する場合には、状態遷移パターンの事象インデックスの入力列と、対象となる構造単位中の事象インデックスの発生パターンが一致するか否かを判定する（Ｓ１３０５）。
【０１３５】
ステップＳ１３０５において発生パターンが一致した場合には、状態遷移パターンで定義された用語が成立したと判定し、成立した用語の抽象インデックスをステップＳ１３０１で入力した映像（インデックス情報）中に付与し（Ｓ１３０６）、ステップＳ１３０２へ戻る。なお、成立した用語の抽象インデックスを映像に付与することにより、例えば、同じ映像から再度、説明文を生成する際に抽象インデックスを利用することできるようになる。
【０１３６】
上記ステップＳ１３０２〜ステップＳ１３０６の処理は、状態遷移テーブル中の一致する生成粒度がなくなるまで実行される。換言すれば、状態遷移テーブル中の全ての一致する生成粒度に対して、各生成粒度の用語が成立するか否かが判定され、成立する用語の集合が抽出されたことになる。
【０１３７】
ステップＳ１３０３において、一致する生成粒度がないと判定された場合に、説明文生成部２０５が、成立した用語の文字列定義情報を用いて、説明文を生成し（Ｓ１３０７）、生成した説明文を説明文表示部２０６に表示して処理を終了する。なお、説明文生成部２０５には、説明文の生成用に予め５Ｗ１Ｈを基本とした構文が準備されている。説明文生成部２０５は、説明文を生成する際に、５Ｗ１Ｈを基本とした構文に、文字列定義情報の構文要素を配置することにより、説明文を生成する。
【０１３８】
なお、上記の説明文生成処理のアルゴリズムでは、キーインデックスが事象インデックスであることを想定して説明したが、ステップＳ１３０３の後に、キーインデックスとして抽象インデックスを優先して用いることにより、対象となる構造単位に該当する抽象インデックス（キーインデックス）が付与されているか否かを判定する処理を追加し、さらに抽象インデックスが設定されている場合には、対応する状態遷移パターンで定義された用語が成立したと判定する処理を追加することにより、用語が成立するか否かの判定処理の高速化を図ることができる。その後、抽象インデックスが存在しない場合に、キーインデックスとして指定されている事象インデックスを用いて、ステップＳ１３０４以降を実行するようにする。
【０１３９】
（１１）構文および文字列定義情報を用いて生成した説明文の具体例
次に、５Ｗ１Ｈを基本とした構文の例と、構文および文字列定義情報を用いて生成した説明文の例を具体的に挙げる。なお、説明を簡単するために構文の例として、以下の５Ｗ１Ｈの構文例を使用する。
0003602765.tif 000006
【０１４０】
▲１▼成立した用語が１つである場合（例１）
先ず、説明文を生成する場合の最も簡単な例を挙げて説明する。
例えば、成立した用語が、『タイムリーヒット』であり、
その文字列定義情報が、
『＆ＥＸＰ＜Ｗｈｅｎ：ｉｎｎｉｎｇ＿ｔｉｍｅ，  Ｗｈｏ：ｂａｔｔｅｒ＿ｎａｍｅ，  Ｗｈａｔ：”タイムリーヒット”＞』
である場合、成立した用語の文字列定義情報からは、
『Ｗｈｅｎ』、『Ｗｈｏ』、『Ｗｈａｔ』
の３つの構文要素が得れる。
【０１４１】
また、構文要素の入力元として指定された属性情報の内容（文字列）が、
『ｉｎｎｉｎｇ＿ｔｉｍｅ＝１回裏』
『ｂａｔｔｅｒ＿ｎａｍｅ＝高橋』
『Ｗｈａｔ：”タイムリーヒット”  』
であるとすると、上記構文および文字列定義情報から、以下の説明文が生成される。
0003602765.tif 000007
なお、（なし）は該当する情報がない部分を示し、必ずしも５Ｗ１Ｈの全て構文要素が存在する必要はない。このように文字列定義情報から得られる構文要素を使用して説明文を生成することができる。また、文字列定義情報中で５Ｗ１Ｈ以外の構文要素が指定されている場合には、構文を適宜調整して説明文を長くしても良く、あるいはその他の構文要素が組み込まれた構文を予め複数準備しておき、適宜選択して使用するようにしても良い。
【０１４２】
▲２▼成立した用語が複数である場合（例２）
また、意味の成立した用語が複数ある場合には、説明文生成部２０５は、各用語の文字列定義情報に定義されている構文要素を抽出して、抽出した構文要素を組み合わせて、５Ｗ１Ｈの構文の該当する構文要素の位置に配置し、説明文を生成する。
【０１４３】
例えば、成立した用語が、
『タイムリーヒット』
『逆転』
の２つであり、
それぞれの文字列定義情報が、
『＆ＥＸＰ＜Ｗｈｅｎ：ｉｎｎｉｎｇ＿ｔｉｍｅ，  Ｗｈｏ：ｂａｔｔｅｒ＿ｎａｍｅ，  Ｗｈａｔ：”タイムリーヒット”＞』
『＆ＥＸＰ＜Ｈｏｗ：”逆転”＞』
の２つである場合、成立した用語の文字列定義情報からは、構文要素として、
『Ｗｈｅｎ』、『Ｗｈｏ』、『Ｗｈａｔ』、『Ｈｏｗ』
の４つの構文要素が得られる。
【０１４４】
また、構文要素の入力元として指定された属性情報の内容（文字列）が、
『ｉｎｎｉｎｇ＿ｔｉｍｅ＝１回裏』
『ｂａｔｔｅｒ＿ｎａｍｅ＝高橋』
『Ｗｈａｔ：”タイムリーヒット”  』
『Ｈｏｗ：”  逆転”  』
であるとすると、上記構文および文字列定義情報から、以下の説明文が生成される。
0003602765.tif 000008
【０１４５】
▲３▼成立した用語が複数である場合（例３）
意味の成立した用語が複数あり、このときに、重複する構文要素がある場合（例えば、『Ｗｈｏ』の構文要素が複数ある場合）には、重複した構文要素を含む各用語の状態遷移パターンを参照し、状態遷移パターン中でより時間的に後の事象インデックスを参照している構文要素を選択する。
【０１４６】
例えば、成立した用語が、
『１塁打』
『タイムリーヒット』
の２つであり、
それぞれの文字列定義情報が、
『＆ＥＸＰ＜Ｗｈｅｎ：ｉｎｎｉｎｇ＿ｔｉｍｅ，  Ｗｈｏ：ｂａｔｔｅｒ＿ｎａｍｅ，  Ｗｈａｔ：”１塁打”＞』
『＆ＥＸＰ＜Ｗｈｅｎ：ｉｎｎｉｎｇ＿ｔｉｍｅ，  Ｗｈｏ：ｂａｔｔｅｒ＿ｎａｍｅ，  Ｗｈａｔ：”タイムリーヒット”＞』
の２つである場合、成立した用語の文字列定義情報からは、構文要素として、
『Ｗｈｅｎ』、『Ｗｈｏ』、『Ｗｈａｔ』
の３つの構文要素が得られるが、３つの構文要素が全て重複している。
【０１４７】
また、構文要素の入力元として指定された属性情報の内容（文字列）が、
１塁打の場合：
『ｉｎｎｉｎｇ＿ｔｉｍｅ＝１回裏』
『ｂａｔｔｅｒ＿ｎａｍｅ＝清原』
『Ｗｈａｔ：”一塁打”  』
タイムリーヒットの場合：
『ｉｎｎｉｎｇ＿ｔｉｍｅ＝１回裏』
『ｂａｔｔｅｒ＿ｎａｍｅ＝高橋』
『Ｗｈａｔ：”タイムリーヒット”  』
であるとする。ここで『ｉｎｎｉｎｇ＿ｔｉｍｅ』の内容は両方ともに『１回裏』で同一であるので特に選択する必要がないが、『ｂａｔｔｅｒ＿ｎａｍｅ』と『Ｗｈａｔ』の内容が異なるので何れかを選択しなければならない。
【０１４８】
このような場合に、重複した構文要素を含む各用語の状態遷移パターンを参照し、状態遷移パターン中でより時間的に後の事象インデックスを参照している構文要素を選択する。
例えば、
１塁打の状態遷移パターンが、
＆ＰＡＴＴＥＲＮ  ヒット
タイムリーヒットの状態遷移パターンが、
＆ＰＡＴＴＥＲＮ  １塁打，加点＋
である場合、映像シーンの範囲における事象インデックス（ヒット）、事象インデックス（１塁打）、事象インデックス（加点＋）が付与されている位置を比較し、より時間的に後の位置に付与されている事象インデックスを特定する。ここでは、事象インデックス（加点＋）が時間的に後の位置に付与されているものとして説明する。
【０１４９】
特定された事象インデックス（加点＋）を参照している用語は、タイムリーヒットであるので、状態遷移パターン中でより時間的に後の事象インデックスを参照している構文要素として、タイムリーヒットの構文要素を選択する。
【０１５０】
上記構文および文字列定義情報から、以下の説明文が生成される。
0003602765.tif 000009
【０１５１】
さらに、成立した用語が複数である場合に説明文を生成する際の条件を追加することにより、以下のように重複する構文要素を発生時間順に並べて説明文を生成することもできる。
0003602765.tif 000010
【０１５２】
▲４▼成立した用語が複数である場合（例４）
また、成立した用語が複数である場合の説明文の他の生成例として、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、各用語の状態遷移パターンを比較し、より多くの事象インデックスを用いて定義された状態遷移パターンの構文要素を優先して、説明文を生成する。
【０１５３】
例えば、成立した用語が、
『タイムリーヒット』
『タイムリーツーベース』
『逆転』
の３つであり、
それぞれの文字列定義情報が、
『＆ＥＸＰ＜Ｗｈｅｎ：ｉｎｎｉｎｇ＿ｔｉｍｅ，  Ｗｈｏ：ｂａｔｔｅｒ＿ｎａｍｅ，  Ｗｈａｔ：”タイムリーヒット”＞』
『＆ＥＸＰ＜Ｗｈｅｎ：ｉｎｎｉｎｇ＿ｔｉｍｅ，  Ｗｈｏ：ｂａｔｔｅｒ＿ｎａｍｅ，                                            Ｗｈａｔ：”タイムリーツーベース”＞』
『＆ＥＸＰ＜Ｈｏｗ：”逆転”＞』
の３つである場合、成立した用語の文字列定義情報からは、構文要素として、
『Ｗｈｅｎ』、『Ｗｈｏ』、『Ｗｈａｔ』、『Ｈｏｗ』
の４つの構文要素が得られるが、『Ｈｏｗ』以外の３つの構文要素が重複している。
【０１５４】
また、構文要素の入力元として指定された属性情報の内容（文字列）が、
タイムリーヒットの場合：
『ｉｎｎｉｎｇ＿ｔｉｍｅ＝１回裏』
『ｂａｔｔｅｒ＿ｎａｍｅ＝高橋』
『Ｗｈａｔ：”タイムリーヒット”  』
タイムリーヒットの場合：
『ｉｎｎｉｎｇ＿ｔｉｍｅ＝１回裏』
『ｂａｔｔｅｒ＿ｎａｍｅ＝高橋』
『Ｗｈａｔ：”タイムリーツーベース”  』
であるとする。ここで『ｉｎｎｉｎｇ＿ｔｉｍｅ』の内容は両方ともに『１回裏』で同一であり、『ｂａｔｔｅｒ＿ｎａｍｅ』が『高橋』で同一であるので特に選択する必要がないが、『Ｗｈａｔ』の内容が異なるので何れかを選択しなければならない。
【０１５５】
このような場合に、重複する構文要素を含む各用語の状態遷移パターンを比較し、より多くの事象インデックスを用いて定義された状態遷移パターンの構文要素を優先して選択する。
例えば、
タイムリーヒットの状態遷移パターンが、
＆ＰＡＴＴＥＲＮ  １塁打，加点＋
タイムリーツーベースの状態遷移パターンが、
＆ＰＡＴＴＥＲＮ  ヒット，２塁進塁，加点＋
である場合、状態遷移パターンで参照している事象インデックスの数は、『タイムリーヒット』が事象インデックス（１塁打）と事象インデックス（加点＋）の２つであり、『タイムリーツーベース』が事象インデックス（ヒット）と事象インデックス（２塁進塁）と事象インデックス（加点＋）との３つである。
したがって、
タイムリーツーベースの参照数（３）＞タイムリーヒットの参照数（２）
となり、ここでは、タイムリーツーベースの構文要素を選択する。
【０１５６】
上記構文および文字列定義情報から、以下の説明文が生成される。
0003602765.tif 000011
【０１５７】
また、他の説明文の生成例として、以下に示すように、単純に重複する構文要素を並列に列挙するようにしても良い。
0003602765.tif 000012
【０１５８】
すなわち、説明文は『１回裏、２・３塁間で突風のため、（松坂のエラー，高橋のヒット）で逆転』という記述になる。このように状況によっては、単純に並列に列挙する方が、映像シーンの中で発生した事象をより正確な情報として伝えることができる場合がある。
【０１５９】
以上説明した実施の形態２に係る映像内容の説明文生成方法は、前述した説明および各フローチャートに示した手順に従って、予めプログラムをコンピュータで実行することによって実現される。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、またはネットワークを介して配布することができる。
【０１６０】
【発明の効果】
以上説明したように、本発明の映像検索方法（請求項１〜８）によれば、予め、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語に対して、映像を検索する際の検索対象単位として適当な構造単位を検索粒度として設定し、用語を複数の事象で表現した事象の発生パターンに基づいて、検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として用語に対応した状態遷移パターンを定義しておき、映像中から所望の映像シーンを検索する場合に、所望の映像シーンを表現した用語を入力し、入力した用語に対応する検索粒度を検索対象単位として、検索粒度と一致する構造単位毎に、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定し、一致した構造単位を検索結果として出力するため、映像の内容の意味に対する問い合わせを抽象度の高い用語または概念を用いて行うことができ、かつ、高速に検索を行うことができる。
【０１６１】
また、用語に対応した状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスが検索の取り掛かりとなるキーインデックスとして指定しておき、映像中から所望の映像シーンを検索する場合に、検索粒度と一致する構造単位で、かつ、キーインデックスと一致する事象インデックスを有する構造単位を検索した後、該当する構造単位に対して、状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かの判定を行うことにより、高速にキーインデックス検索（すなわち、キーワード検索）を行って対象となる構造単位を絞り込んだ後、状態遷移パターンを用いた判定を行うので、さらに抽象度の高い用語または概念を用いた問い合わせによる映像検索の高速化を図ることができる。
【０１６２】
また、検索結果として出力された構造単位に基づいて、映像から所望の映像シーンを取り出す際に、構造単位で特定された映像シーンを出力するため、すなわち、予め映像を検索する際の検索粒度として設定した適当な構造単位で映像シーンを出力するため、利用者が望む映像部分に近い映像シーンを容易に出力できる。
【０１６３】
また、検索結果として出力された構造単位に基づいて、映像から所望の映像シーンを取り出す際に、構造化された映像上における上位または下位の任意の構造単位を指定可能であるため、抽象的な用語を用いた問い合わせの入力と、出力する構造単位の指定の組み合わせによって、検索を行う際の利便性の向上を図ることができる。例えば、映像シーンを表現した抽象的な用語で検索された構造単位の前または／および後に実際に見たい映像シーンが存在する場合や、映像シーンを表現した抽象的な用語で検索された構造単位の一部（下位の構造単位）に実際に見たい映像シーンが存在する場合に便利である。
【０１６４】
また、検索結果として出力された構造単位に基づいて、映像から所望の映像シーンを取り出す際に、キーインデックスが付与された場所の前後に映像切り出しのためのオフセットを指定して映像シーンを取り出すため、検索を行う際の利便性の向上を図ることができる。例えば、映像シーンを表現した抽象的な用語で検索された構造単位の前または／および後の状況を併せて確認したい場合に便利である。
【０１６５】
また、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定した際に、一致した構造単位に、その用語を表すインデックスを抽象インデックスとして定義して新たに付加し、キーインデックスとして再利用するため、同一の抽象的な用語で再度映像の検索が行われた場合に、このキーインデックス（抽象インデックス）を利用してさらに検索の高速化を図ることができる。また、検索結果として出力した構造単位を後で再度確認する場合にこのキーインデックス（抽象インデックス）を利用して同一の構造単位を確実に検索することができる。
【０１６６】
また、構造インデックスおよび事象インデックスには、複数の属性情報が付加されており、用語に対応した状態遷移パターンには、構造インデックスおよび事象インデックスの各属性情報を用いて用語に関連した説明文を生成するための文字列定義情報が付加されており、状態遷移パターンの文字列定義情報に基づいて、検索結果として出力された構造単位中の属性情報を参照して用語に関連した説明文を生成するため、映像の内容の意味を解釈し、一般的な意味のある文字列に変換して、利用者にとって分かりやすい映像内容の説明文字列を生成することができる。
【０１６７】
また、事象インデックスに加えて抽象インデックスを用いて、事象インデックスと抽象インデックスからなる入力列として用語に対応した状態遷移パターンを定義するため、状態遷移パターンの定義が容易に行えると共に、検索処理の高速化を図ることも可能である。
【０１６８】
また、本発明の映像検索方法（請求項９）によれば、映像検索を行う前の処理として、予め、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語に対して、映像を検索する際の検索対象単位として適当な構造単位を検索粒度として設定し、語を複数の事象で表現した事象の発生パターンに基づいて、検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として用語に対応した状態遷移パターンを定義し、さらに、用語に対応した状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを検索の取り掛かりとなるキーインデックスとして指定して、用語、検索粒度、状態遷移パターンおよびキーインデックスからなる状態遷移テーブルを生成する状態遷移テーブル生成工程を含み、映像検索を行う際の処理として、所望の映像シーンを表現した用語を入力する用語入力工程と、状態遷移テーブルを参照して、用語入力工程で入力した用語に対応する検索粒度を検索対象単位とし、かつ、用語に対応するキーインデックスを用いて、キーインデックスと一致する事象インデックスを有する構造単位を検索する検索工程と、状態遷移テーブルを参照して、検索工程で検索した構造単位中に用語に対応する状態遷移パターン中に含まれる事象インデックスが全て存在するか否かを判定する第１の判定工程と、第１の判定工程で全て存在すると判定された構造単位に対して、入力した用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する第２の判定工程と、第２の判定工程で一致すると判定された構造単位に基づいて、映像中から映像シーンを切り出して、検索結果として出力する検索結果出力工程と、を含むため、映像の内容の意味に対する問い合わせを抽象度の高い用語または概念を用いて行うことができ、かつ、高速にキーインデックス検索（すなわち、キーワード検索）を行って対象となる構造単位を絞り込んだ後、状態遷移パターンを用いた判定を行うので、さらに抽象度の高い用語または概念を用いた問い合わせによる映像検索の高速化を図ることができる。
【０１６９】
さらに、本発明のコンピュータ読み取り可能な記録媒体（請求項１０）によれば、請求項１〜９のいずれか一つに記載の映像検索方法をコンピュータに実行させるためのプログラムを記録したため、このプログラムをコンピュータに実行させることにより、映像の内容の意味に対する問い合わせを抽象度の高い用語または概念を用いて行うことができ、かつ、高速にキーインデックス検索（すなわち、キーワード検索）を行って対象となる構造単位を絞り込んだ後、状態遷移パターンを用いた判定を行うので、さらに抽象度の高い用語または概念を用いた問い合わせによる映像検索の高速化を図ることができる。
【０１７０】
また、本発明の映像検索処理装置（請求項１１、１２）によれば、検索対象である構造化した映像を入力する映像入力手段と、検索する所望の映像シーンを指定するための、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、用語で映像を検索する際の検索対象単位としての構造単位を指定する検索粒度と、用語を検索粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として定義した状態遷移パターンと、状態遷移パターン中に存在する事象インデックスのうちの少なくとも１つの事象インデックスを指定したキーインデックスと、を状態遷移テーブルとして記憶した記憶手段と、所望の映像シーンを検索するための問い合わせ用語を入力または指定するための操作入力手段と、操作入力手段を介して問い合わせ用語が入力または指定された場合に、記憶手段の状態遷移テーブルを参照し、問い合わせ用語に対応するキーインデックスを用いて、映像入力手段で入力した映像から検索粒度と一致し、かつ、キーインデックスと一致する事象インデックスを有する構造単位を検索する検索手段と、検索手段で検索された構造単位を入力し、問い合わせ用語に対応した状態遷移パターンと構造単位中の事象インデックスの発生パターンが一致するか否かを判定する判定手段と、判定手段で一致すると判定された構造単位に基づいて、映像中から映像シーンを切り出して、検索結果として出力する検索結果出力手段と、を備えたため、映像の内容の意味に対する問い合わせを抽象度の高い用語または概念を用いて行うことができ、かつ、高速にキーインデックス検索（すなわち、キーワード検索）を行って対象となる構造単位を絞り込んだ後、状態遷移パターンを用いた判定を行うので、さらに抽象度の高い用語または概念を用いた問い合わせによる映像検索の高速化を図ることができる。
【０１７１】
また、本発明の映像インデックス付与方法（請求項１３）によれば、予め、複数の事象が連続して発生することによって意味が成立し、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、用語を複数の事象で表現した複数の事象インデックスの順序を定めた入力列を用いて用語を定義した状態遷移パターンと、所定の構造インデックスで定義される映像の構造単位を用語に対応させて指定した検索粒度とを、用語毎に対応させた状態遷移テーブルを設定しておき、映像に映像インデックスを付与する際に、状態遷移テーブルを参照して、構造インデックスによって特定される構造単位毎に、対象となる構造単位と検索粒度が一致し、かつ、対象となる構造単位内に付与された事象インデックスの付与順序と状態遷移パターンの複数の事象インデックスの入力列とが一致する用語を検索して、一致する用語が存在する場合に、一致した用語の意味が発生したと判定し、該当する用語の成立を示す事象インデックスまたは属性情報を付与するため、抽象度の高い用語を用いたインデックスの付与を効率良く高速に行うことができる。
【０１７２】
また、本発明の映像インデックス付与方法（請求項１４）によれば、予め、複数の事象が連続して発生することによって意味が成立し、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語と、用語を複数の事象で表現した複数の事象インデックスの順序を定めた入力列を用いて用語を定義した状態遷移パターンと、所定の構造インデックスで定義される映像の構造単位を用語に対応させて指定した検索粒度とを、状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを指定した中心インデックスとを、用語毎に対応させた状態遷移テーブルを設定しておき、映像に映像インデックスを付与する際に、状態遷移テーブルを参照して、中心インデックスと一致する事象インデックスが付与された場合に、構造インデックスによって特定される構造単位毎に、対象となる構造単位と検索粒度が一致し、かつ、対象となる構造単位内に付与された事象インデックスの付与順序と状態遷移パターンの複数の事象インデックスの入力列とが一致する用語を検索して、一致する用語が存在する場合に、一致した用語の意味が発生したと判定し、該当する用語の成立を示す事象インデックスまたは属性情報を付与するため、抽象度の高い用語を用いたインデックスの付与を効率良く高速に行うことができる。
【０１７３】
また、本発明のコンピュータ読み取り可能な記録媒体（請求項１５）によれば、請求項１３または１４に記載の映像インデックス付与方法をコンピュータに実行させるためのプログラムを記録したため、このプログラムをコンピュータに実行させることにより、抽象度の高い用語を用いたインデックスの付与を効率良く高速に行うことができる。
【０１７４】
また、本発明の映像内容の説明文生成方法（請求項１６〜２２）によれば、状態遷移テーブルには、複数の事象の発生による映像シーンの意味を表すとともに複数の事象の組み合わせによって表現可能な用語毎に、説明文を生成する際の映像単位として適当な構造単位を設定した生成粒度と、用語を複数の事象で表現した事象の発生パターンに基づいて、生成粒度の中で連続して発生する複数の事象インデックスの順序を定めた入力列として用語を定義した状態遷移パターンと、状態遷移パターン毎に、それぞれの状態遷移パターン中に存在する事象インデックスのうち、少なくとも１つを選択して設定したキーインデックスと、状態遷移パターン毎に、説明文の生成に使用する構文要素および構文の構文要素として使用する文字列の入力元を設定した文字列定義情報と、が設定されており、映像内容の説明文を生成する際に、状態遷移テーブルを参照して、説明文を生成する対象となる構造単位と一致する生成粒度を検索し、該当する生成粒度に対応する状態遷移パターンのキーインデックスと一致する事象インデックスが対象となる構造単位中に存在するか否かを判定し、一致する事象インデックスが存在する場合に、対応する状態遷移パターンと対象となる構造単位中の事象インデックスの発生パターンが一致するか否かを判定し、発生パターンが一致した場合に、対応する状態遷移パターンで定義された用語が成立したと判定し、成立した用語の状態遷移パターンの文字列定義情報を用いて対象となる構造単位の映像シーンの説明文を生成するため、映像の内容の意味を解釈し、一般的な意味のある文字列に変換して、利用者にとって分かりやすい映像内容の説明文（説明文字列）を生成することができる。換言すれば、対象となる構造単位（映像）に対して、その部分で発生した映像の内容の意味による最適な説明文（文字列）を生成することが可能となる。
【０１７５】
また、構造単位には、特定の用語を定義した状態遷移パターンが成立した場合に、その用語を表すインデックスを抽象インデックスとして付与することが可能であり、状態遷移テーブルには、状態遷移パターン毎に、対応する用語を表す抽象インデックスがキーインデックスの一つとして設定されており、該当する生成粒度に対応する状態遷移パターンのキーインデックスと一致する事象インデックスが対象となる構造単位中に存在するか否かを判定する際に、キーインデックスとして抽象インデックスを優先して用いて、対象となる構造単位に該当する抽象インデックスが付与されているか否かを判定し、抽象インデックスが設定されている場合には、対応する状態遷移パターンで定義された用語が成立したと判定し、成立した用語の状態遷移パターンの文字列定義情報を用いて対象となる構造単位の映像シーンの説明文を生成するため、映像の内容の意味に相当する用語の特定（成立の有無）を効率的に短時間で行うことが可能となる。
【０１７６】
また、文字列定義情報には、構文要素として使用する文字列の入力元として、構造インデックスまたは事象インデックスの属性情報が設定されているため、状態遷移パターンが一致して用語が成立した場合には、必ず必要な構造インデックスおよび状態遷移パターンに属性情報が存在するので、文字列の入力を確実に行って説明文を生成することができる。
【０１７７】
また、文字列定義情報には、「何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、なぜ（Ｗｈｙ）、誰の（Ｗｈｏ）、何（Ｗｈａｔ）で、どのように（Ｈｏｗ）なった」の５Ｗ１Ｈを基本とした構文要素が設定されているため、これらの構文要素を用いて５Ｗ１Ｈの情報を盛り込んだ説明文を簡単に生成することができる。
【０１７８】
また、該当する生成粒度に対応する状態遷移パターンが複数存在する場合、各状態遷移パターンに対して用語が成立するか否かを判定し、複数の用語が成立すると、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて対象となる構造単位の映像シーンの説明文を生成するため、より内容の詳細に説明した説明文を生成することできる。
【０１７９】
また、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、時間的に後に発生する事象インデックスを参照する構文要素を優先するため、より新しい情報（属性情報）を用いた説明文を生成することができる。
【０１８０】
また、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、各用語の状態遷移パターンを比較し、より多くの事象インデックスを用いて定義された状態遷移パターンの構文要素を優先するため、より新しい情報（属性情報）を用いた説明文を生成すると共に、その部分で発生した映像の内容の意味をより適切な説明文（文字列）で表現することができる。すなわち、より多くの事象インデックスを用いて定義された状態遷移パターンの構文要素を優先することとは、例えば、第１の状態遷移パターンの一部分で構成される第２の状態遷移パターンがある場合、第１の状態遷移パターンが成立している場合には、常に第２の状態遷移パターンも成立しているが、常に事象インデックスの多い第１の状態遷移パターンの構文要素が選択されるので、その部分の映像における最終的な結果を構文要素として選択できることになる。
【０１８１】
また、各用語の状態遷移パターンに設定された文字列定義情報の構文要素を組み合わせて対象となる構造単位の映像シーンの説明文を生成する際に、５Ｗ１Ｈの構文要素の中に重複する構文要素がある場合、必要に応じて構文要素を並列に並べるため、より情報量の多い、換言すれば、分かりやすい説明文を生成することができる。
【０１８２】
また、請求項２４に係るコンピュータ読み取り可能な記録媒体は、請求項１６〜２３のいずれか一つに記載の映像内容の説明文生成方法をコンピュータに実行させるためのプログラムを記録したため、映像の内容の意味を解釈し、一般的な意味のある文字列に変換して、利用者にとって分かりやすい映像内容の説明文（説明文字列）を生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の映像検索処理装置の構成図である。
【図２】構造インデックスと事象インデックスとの関係を示す説明図である。
【図３】構造インデックスと事象インデックスとの関係を示す説明図である。
【図４】実施の形態１の状態遷移テーブルを示す説明図である。
【図５】実施の形態１の状態遷移テーブルを示す説明図である。
【図６】実施の形態１のパス正規表現に対応する有限状態オートマトンの状態遷移図である。
【図７】実施の形態１のパス正規表現に対応する有限状態オートマトンの状態遷移を説明するための図である。
【図８】実施の形態１の映像検索処理のアルゴリズムを示すフローチャートである。
【図９】野球映像を例とした時の映像インデックス（構造インデックスおよび事象インデックス）の例を示す説明図である。
【図１０】実施の形態２の映像内容説明文生成装置の構成図である。
【図１１】実施の形態２の抽象インデックスを用いて状態遷移パターンを定義した例を示す説明図である。
【図１２】実施の形態２の状態遷移テーブルを示す説明図である。
【図１３】実施の形態２の映像内容の説明文生成処理のアルゴリズムを示すフローチャートである。
【符号の説明】
１００    映像検索処理装置
１０１    映像入力部
１０２    状態遷移テーブル記憶部
１０３    操作入力部
１０４    映像検索部
１０５    判定部
１０５ａ  第１の判定部
１０５ｂ  第２の判定部
１０６    検索結果出力部
２００    映像内容説明文生成装置
２０１    映像入力部
２０２    状態遷移テーブル記憶部
２０３    操作入力部
２０４    用語検索部
２０５    説明文生成部
２０６    説明文表示部
【図１】
0003602765.tif 000013
【図２】
0003602765.tif 000014
【図３】
0003602765.tif 000015
【図４】
0003602765.tif 000016
【図５】
0003602765.tif 000017
【図６】
0003602765.tif 000018
【図７】
0003602765.tif 000019
【図８】
0003602765.tif 000020
【図９】
0003602765.tif 000021
【図１０】
0003602765.tif 000022
【図１１】
0003602765.tif 000023
【図１２】
0003602765.tif 000024
【図１３】
0003602765.tif 000025