(57)【要約】【課題】  同じテレビ番組の複数回の映像から階層的な構造化を可能にする構造化キーを抽出する。【解決手段】  本発明は、同一番組の複数回分の映像コンテンツを格納する記憶手段から映像コンテンツを読み込み、読み込んだ映像を予め設定された時間間隔に基づいて小区間に分割し、各小区間についての特徴を抽出し、１つの映像コンテンツ内部で、特徴が類似する小区間を探索し、同一番組の複数回分の映像コンテンツ間で特徴が一致または類似する区間を求め、一致または、類似区間の包含関係を用いて構造化キーを抽出し、木構造の形で構造化キー記憶手段に格納する。【選択図】  図１
2006106964.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツの階層的な構造化キー情報を木構造の形で抽出し、構造化情報を生成する映像構造化情報作成装置における、映像構造化作成方法において、
同一番組の複数回分の映像コンテンツを格納する記憶手段から映像コンテンツを読み込む映像読み込みステップと、
読み込んだ映像を予め設定された時間間隔に基づいて小区間に分割し、各小区間についての特徴を抽出する特徴抽出設定ステップと、
１つの映像コンテンツ内部で、特徴が類似する小区間を探索するコンテンツ内類似区間探索ステップと、
同一番組の複数回分の映像コンテンツ間で特徴が一致または類似する区間を求めるコンテンツ間類似区間探索ステップと、
一致または、類似区間の包含関係を用いて構造化キーを抽出し、木構造の形で構造化キー記憶手段に格納する構造化キー抽出ステップと、
を行うこと特徴とする映像構造化情報作成方法。
【請求項２】
前記コンテンツ内類似区間探索ステップにおいて、
特徴が類似するまたは、一致する小区間にラベリングし、記憶手段に格納し、
前記コンテンツ間類似区間探索ステップにおいて、
前記コンテンツ間類似区間探索ステップにおいて、ラベリングされた２つの映像コンテンツの小区間の組み合わせについて比較を行い、類似している小区間には類似ラベルを付与し、一致している小区間には一致ラベルを付与し、
前記構造化キーワード抽出ステップにおいて、
前記類似ラベル及び前記一致ラベルにより階層構造を生成し、前記木構造の構造化キー及び子構造化キーを求める請求項１記載の映像構造化情報作成方法。
【請求項３】
映像コンテンツの階層的な構造化キー情報を木構造の形で抽出し、構造化情報を生成する映像構造化情報作成装置であって、
同一番組の複数回分の映像コンテンツを格納する映像蓄積手段と、
前記映像蓄積手段から映像コンテンツを読み込む映像読み込み手段と、
読み込んだ映像を予め設定された時間間隔に基づいて小区間に分割し、各小区間についての特徴を抽出する特徴抽出設定手段と、
１つの映像コンテンツ内部で、特徴が類似する小区間を探索するコンテンツ内類似区間探索手段と、
同一番組の複数回分の映像コンテンツ間で特徴が一致または類似する区間を求めるコンテンツ間類似区間探索手段と、
一致または、類似区間の包含関係を用いて構造化キーを抽出し、木構造の形で構造化キー記憶手段に格納する構造化キー抽出手段と、
を有すること特徴とする映像構造化情報作成装置。
【請求項４】
前記コンテンツ内類似区間探索手段は、
特徴が類似するまたは、一致する小区間にラベリングし、記憶手段に格納する手段を含み、
前記コンテンツ間類似区間探索手段は、
前記コンテンツ間類似区間探索ステップにおいて、ラベリングされた２つの映像コンテンツの小区間の組み合わせについて比較を行い、類似している小区間には類似ラベルを付与し、一致している小区間には一致ラベルを付与する手段を含み、
前記構造化キーワード抽出手段は、
前記類似ラベル及び前記一致ラベルにより階層構造を生成し、前記木構造の構造化キー及び子構造化キーを求める手段を含む請求項３記載の映像構造化情報作成装置。
【請求項５】
映像コンテンツの階層的な構造化キー情報を木構造の形で抽出し、構造化情報を生成する映像構造化情報作成プログラムであって、
前記請求項１または、２記載の映像構造化情報作成方法を実現するための処理をコンピュータに実行させることを特徴とする映像構造化情報作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を意味的なまとまりによって構造化するためのキーとなる情報をコンテンツから自動的に取得するための映像構造化情報作成方法及び装置及びプログラムに係り、特に、同一放送コンテンツが複数存在する場合に、複数のコンテンツにまたがり、類似及び一致する時間的な小区間の出現を求めることにより、階層的な構造化を行うためのキーとなる情報を取得するための映像構造化情報作成方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
映像の構造化において、コンテンツジャンルに関しての事前知識（例えば、ニュース映像を対象にする場合、あるニュースキャスター出現ショットから次のニュースキャスター出現ショットまでを１つのシーンとするのが適切である）が用いられている。この事前知識への依存性を減らすために、時間的区間毎に量子化を行い、その出現頻度によって構造化をするということが行われている（例えば、特許文献１参照）。
【特許文献１】特開平１１−２４２６８５、佐藤隆、南憲一、阿久津明人、外村佳伸：「構造化方法、装置、および映像構造化プログラムを記憶した記録媒体」
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の時間的区間毎に量子化を行い、その出現頻度によって構造化する方法では、時間的区間（カット、ショットなど）の内部の特徴量による量子化により出現頻度を求めている。そのため、例えば、ニュース番組におけるコーナーなど、目的は同様であっても、表示される映像は全く別であるような場合に構造化を行うことは極めて困難である。
【０００４】
本発明は、上記の点に鑑みなされたもので、同じテレビ番組の複数回の映像に跨って、一致及び類似を検出することにより、テレビ番組を階層的な構造をもった構造化を行うきっかけ、即ち、コーナーの切り替わりとなるキー情報を取り出すことで、階層的な構造化を可能にする映像構造化情報作成方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
図１は、本発明の原理を説明するための図である。
【０００６】
本発明（請求項１）は、映像コンテンツの階層的な構造化キー情報を木構造の形で抽出し、構造化情報を生成する映像構造化情報作成装置における、映像構造化作成方法において、
同一番組の複数回分の映像コンテンツを格納する記憶手段から映像コンテンツを読み込む映像読み込みステップ（ステップ１）と、
読み込んだ映像を予め設定された時間間隔に基づいて小区間に分割し、各小区間についての特徴を抽出する特徴抽出設定ステップ（ステップ２）と、
１つの映像コンテンツ内部で、特徴が類似する小区間を探索するコンテンツ内類似区間探索ステップ（ステップ３）と、
同一番組の複数回分の映像コンテンツ間で特徴が一致または類似する区間を求めるコンテンツ間類似区間探索ステップ（ステップ４）と、
一致または、類似区間の包含関係を用いて構造化キーを抽出し、木構造の形で構造化キー記憶手段に格納する構造化キー抽出ステップ（ステップ５）と、を行う。
【０００７】
本発明（請求項２）は、コンテンツ内類似区間探索ステップにおいて、
特徴が類似するまたは、一致する小区間にラベリングし、記憶手段に格納し、
コンテンツ間類似区間探索ステップにおいて、
コンテンツ間類似区間探索ステップにおいて、ラベリングされた２つの映像コンテンツの小区間の組み合わせについて比較を行い、類似している小区間には類似ラベルを付与し、一致している小区間には一致ラベルを付与し、
構造化キーワード抽出ステップにおいて、
類似ラベル及び一致ラベルにより階層構造を生成し、木構造の構造化キー及び子構造化キーを求める。
【０００８】
図２は、本発明の原理構成図である。
【０００９】
本発明（請求項３）は、映像コンテンツの階層的な構造化キー情報を木構造の形で抽出し、構造化情報を生成する映像構造化情報作成装置であって、
同一番組の複数回分の映像コンテンツを格納する映像蓄積手段１０と、
映像蓄積手段から映像コンテンツを読み込む映像読み込み手段１と、
読み込んだ映像を予め設定された時間間隔に基づいて小区間に分割し、各小区間についての特徴を抽出する特徴抽出設定手段２と、
１つの映像コンテンツ内部で、特徴が類似する小区間を探索するコンテンツ内類似区間探索手段３と、
同一番組の複数回分の映像コンテンツ間で特徴が一致または類似する区間を求めるコンテンツ間類似区間探索手段４と、
一致または、類似区間の包含関係を用いて構造化キーを抽出し、木構造の形で構造化キー記憶手段１１に格納する構造化キー抽出手段５と、を有する。
【００１０】
本発明（請求項４）は、コンテンツ内類似区間探索手段３において、
特徴が類似するまたは、一致する小区間にラベリングし、記憶手段に格納する手段を含み、
コンテンツ間類似区間探索手段４において、
コンテンツ間類似区間探索ステップにおいて、ラベリングされた２つの映像コンテンツの小区間の組み合わせについて比較を行い、類似している小区間には類似ラベルを付与し、一致している小区間には一致ラベルを付与する手段を含み、
構造化キーワード抽出手段５において、
類似ラベル及び一致ラベルにより階層構造を生成し、木構造の構造化キー及び子構造化キーを求める手段を含む。
【００１１】
本発明（請求項５）は、映像コンテンツの階層的な構造化キー情報を木構造の形で抽出し、構造化情報を生成する映像構造化情報作成プログラムであって、
請求項１記載の映像構造化情報作成方法を実現するための処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１２】
一つのテレビ番組において、複数回に跨って、一致した音響や画像が発生している、あるいは、非常に類似した音響や画像が発生している（例えば、同じＢＧＭが流れている）区間は、自然に発生することはまれであり、殆どの場合、映像の制作者が意図的に、同じ効果音を挿入したり、同じ角度から同一のものを写したりしている。そこで、本発明は、テレビ番組を構造化する場合に、１回分の放送を解析して構造化するだけでなく、複数回の放送を用いて、放送回の間での一致区間及び類似区間を検出し、当該区間を用いることで、階層的な構造化を行うためのキーとなる情報を取得することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面と共に本発明の実施の形態を説明する。
【００１４】
図３は、本発明の一実施の形態における構造化キー抽出装置の構成を示す。
【００１５】
同図に示す構造化キー抽出装置は、映像Ｃ読み込み部１、映像Ｃ特徴抽出部２、コンテンツ内類似区間探索部３、映像Ａ読み込み部１’、映像Ａ特徴抽出部２’、コンテンツ間類似区間探索部４、構造化キー抽出部５、映像蓄積装置１０、構造化キー記憶部１１から構成される。
【００１６】
映像Ｃ読み込み部１は、同一番組の複数回分の映像コンテンツを格納する映像蓄積装置１０から映像Ｃを読み込む。
【００１７】
映像Ｃ特徴抽出部２は、映像Ｃを時間的な小区間に分割し、各区間について特徴抽出を行う。なお、抽出する特徴は特に限定しない。
【００１８】
コンテンツ内類似区間探索部３は、小区間に分割されたコンテンツＣ内部において類似している小区間を探索する。
【００１９】
映像Ａ読み込み部１’は、映像蓄積装置１０から映像Ｃとは別の映像Ａを読み込む。ここで、映像Ａは、映像Ｃと番組が同一で別内容の映像を指す。
【００２０】
映像Ａ特徴抽出部２’は、映像Ａを時間的な小区間に分割し、各区間について特徴抽出を行う。ここでも抽出する特徴は特に限定しない。
【００２１】
コンテンツ間類似区間探索部４は、映像Ｃの小区間と映像Ａの小区間との間で類似する区間を探索する。
【００２２】
構造化キー抽出部５は、コンテンツ内類似区間探索部３及び、コンテンツ間類似区間探索部４によって求めた、類似区間の情報を元に、構造化キーとなる情報を抽出し、構造化キー記憶部１１に記憶する。
【００２３】
映像蓄積装置１０は、同一番組の複数回分の映像コンテンツを蓄積する。
【００２４】
構造化キー記憶部１１は、構造化キー抽出部５で抽出された構造化キーを映像構造化情報として蓄積する。
【００２５】
次に、上記の構成における動作を説明する。
【００２６】
図４は、本発明の一実施の形態における全体の動作のフローチャートである。
【００２７】
ステップ１００）  映像Ｃ読み込み部１は、映像コンテンツｃを映像蓄積装置１０から読み込む。
【００２８】
ステップ２００）  映像Ｃ特徴抽出部２は、映像コンテンツｃを、時間的な小区間ｉｃ（ｉ＝１，２，…）に分割し、各小区間毎に特徴を抽出する。
【００２９】
ステップ３００）  コンテンツ内類似区間探索部３は、コンテンツｃについて、ステップ２００で分割されたある小区間ｉｃと一致した小区間ｊｃを求め、ｊｃ＝Ｏ（ｉｃ）とし、また、類似した区間ｋｃを求めて、ｋｃ＝Ｒ（ｉｃ）とする。
【００３０】
ステップ４００）  映像Ａ読み込み部１’は、映像コンテンツａを映像蓄積部１０から読み込む。
【００３１】
ステップ５００）  映像Ａ特徴抽出部２’は、映像コンテンツａを、時間的な小区間ｉａ（ｉ＝１，２，…）に分割し、各小区間について特徴を抽出する。
【００３２】
ステップ６００）  コンテンツ間類似区間探索部４において、映像コンテンツｃと映像コンテンツａを比較し、コンテンツｃの小区間ｉｃと一致した小区間ｊａを求め、ｊａ＝Ｏ（ｉｃ）とし、また、コンテンツｃの小区間ｉｃと類似した区間ｋａを求め、ｋａ＝Ｒ（ｉｃ）とする。
【００３３】
ステップ７００）  構造化キー抽出部５において、ステップ６００で求められたＲ（ｉ）及びＯ（ｉ）の情報を用いて、階層的な構造化を行い、結果を構造化キー記憶部１１に格納する。
【００３４】
ここで、構造化キー記憶部１１に格納される情報の例を図５に示す。同図に示すように、構造化キー記憶部１１には、各コンテンツＩＤ毎に、ラベル、種類、親キーが格納される。また、図５に示す情報を木構造に変形すると、図６に示すように書くことが可能である。構造的な階層化を行うためのキー情報であるので、図６に示すような木構造表現が可能出ることが望ましい。ここでは、図５の親キー情報を持たせることによって木構造表現を実現する例を示した。しかしながら、別の手法によっても構わない。なお、図５に示す各情報については後述する。
【００３５】
次に、上記のステップ２００とステップ５００の動作を詳細に説明する。
【００３６】
図７は、本発明の一実施の形態における映像特徴抽出処理のフローチャートである。
【００３７】
ステップ２０１）  映像Ｃ特徴抽出部２は、予め実施者によって設定されメモリ（図示せず）に記憶された時間間隔を用いて、映像コンテンツｃを時間的な小区間に分割しメモリ（図示せず）等に保持しておく。分割の方法として、単純に矩形窓を掛けてもよいし、また、Hanning窓や、Hamming窓を用いても構わない。映像コンテンツｃの分割された小区間をｉｃ（ｃ＝１，２，…）とする。
【００３８】
ステップ２０２）  小区間のカウントｉを０に初期化する。
【００３９】
ステップ２０３）  次に、映像Ｃ特徴抽出部２は、小区間ｉｃについて特徴を計算し、ベクトルＶｉｃ＝{ｖｉｃ０，ｖｉｃ１,…}にセットし、メモリ（図示せず）に格納する。ここで、計算する特徴量は、例えば、ＦＦＴした結果でもよいし、ＭＦＣＣパラメータでもよい。その他、どのような特徴量であっても構わない。また、様々な手法によって求めた特徴量の組み合わせでも構わない。
【００４０】
ステップ２０４）  すべての小区間について特徴量を計算したかを確認し、計算が終了していれば、当該処理を終了し、終わっていなければステップ２０６に移行する。
【００４１】
ステップ２０５）  ｉをインクリメントしてステップ３０３に移行する。
【００４２】
なお、上記はステップ２００の映像Ｃ特徴抽出部２における処理であるが、上記の映像Ｃ特徴抽出部２を映像Ａ特徴抽出部２’と読み替えることで、動作は同様である。
【００４３】
次に、ステップ３００の処理を詳細に説明する。
【００４４】
図８は、本発明の一実施の形態におけるコンテンツ内類似区間探索処理のフローチャートである。
【００４５】
以下のコンテンツ内類似区間探索部３における、ステップ３０１からステップ３１５の処理によって、１つの映像コンテンツについて、実施者によって設定された短い時間間隔に分割され、メモリに保持されている映像（以降、小区間と記す）について、すべての小区間同士の比較を行い、一致している小区間及び、類似している小区間を求め、一致している小区間、類似している小区間それぞれについて、ラベリングを行ってコンテンツ内類似区間探索部３のメモリ（図示せず）に格納する。
【００４６】
ステップ３０１）  コンテンツ内類似区間探索部３は、メモリ（図示せず）内の映像区間のカウンタｉ＝０、小区間Ｏ（０ｃ）＝０，Ｒ（０ｃ）＝０と初期化する。
【００４７】
ステップ３０２）  ある小区間ｉと一致した小区間ｊについて、ｊ＝ｉ＋１とし、さらに、Ｏ（ｉｃ）＝ＮＵＬＬ，Ｒ（ｊｃ）＝ＮＵＬＬと初期化する。
【００４８】
ステップ３０３）  ステップ２０３に記載した方法で求めたベクトルＶｉｃとＶｊｃとの類似度を求め、類似度Ｓｉｊｃｃとしてメモリ（図示せず）に格納する。
【００４９】
ここで、類似度Ｓｉｊｃｃは、類似している時に大きな値をとるものであればよく、例えば、ＶｉｃとＶｊｃユークリッド距離の逆数などがある。しかしながら、どのような方法で求めても構わない。
【００５０】
ステップ３０４）  類似度Ｓｉｊｃｃが閾値(ｔｈ１)よりも大きい場合、つまり、小区間ｉｃとｊｃとが一致している場合、ステップ３０５に移行し、それ以外の場合はステップ３０８へ移行する。
【００５１】
ステップ３０５）  Ｏ（ｉｃ）がＮＵＬＬでなければステップ４０６へ移行し、そうでなければステップ３０７に移行する。
【００５２】
ステップ３０６）  小区間ｊｃの一致ラベルＯを（ｊｃ）をＯ（ｊｃ）＝Ｏ（ｉｃ）と設定し、ステップ３０８へ移行する。
【００５３】
ステップ３０７）  小区間ｉｃの一致ラベルＯ（ｉｃ）をＯ（ｉｃ）＝ｉｃと設定し、小区間ｊｃに一致ラベルＯ（Ｊｃ）＝Ｏ（ｉｃ）を振り、ステップ３０８に移行する。
【００５４】
ステップ３０８）  類似度Ｓｉｊｃｃが閾値(ｔｈ１)よりも小さく、かつ、閾値(ｔｈ２)よりも大きい場合、つまり、小区間ｉｃとｊｃとが一致してはいないが、類似している場合には、ステップ３０９へ移行する。
【００５５】
ステップ３０９）  類似ラベルＲ（ｉｃ）がＮＵＬＬでなければ、ステップ３１０に移行し、そうでなければステップ３１１に移行する。
【００５６】
ステップ３１０）  小区間ｊｃの類似ラベルＲ（ｊｃ）を、Ｒ（ｊｃ）＝Ｒ（ｉｃ）と設定し、ステップ３１２に移行する。
【００５７】
ステップ３１１）  小区間ｉｃの類似ラベルＲ（ｉｃ）をＲ（ｉｃ）＝ｉｃと設定し、小区間ｊｃの類似ラベルＲ（ｊｃ）をＲ（ｊｃ）＝Ｒ（ｉｃ）と設定し、ステップ３１２に移行する。
【００５８】
ステップ３１２）  ｊが小区間の全個数に達したかを確認し、達していなければステップ３１３に移行し、そうでなければステップ３１４に移行する。
【００５９】
ステップ３１３）  ｊをインクリメントし、ステップ３０４に移行する。
【００６０】
ステップ３１４）  ｉが小区間の個数より１小さい数に達したかを確認し、達していなければステップ３１５に移行し、そうでない場合は終了する。
【００６１】
ステップ３１５）  ｉをインクリメントしてステップ３０３に移行する。
【００６２】
次に、ステップ６００の詳細な動作を説明する。
【００６３】
図９は、本発明の一実施の形態におけるコンテンツ間類似区間探索処理のフローチャートである。
【００６４】
以下のコンテンツ間類似区間探索部４における、ステップ６０１〜ステップ６１５の処理によって、実施者によって設定された短い時間間隔に分割された２つの映像（以降、コンテンツＡ小区間とコンテンツＣ区間と記す）について、すべてのコンテンツＡ小区間とコンテンツＣ小区間の組み合わせについて比較を行い、一致している小区間、及び類似している小区間を求め、一致している小区間、類似している小区間それぞれについて、ラベリングを行う。
【００６５】
ステップ６０１）  メモリ（図示せず）内の分割された小区間のカウンタｉをｉ＝０，一致ラベルＯをＯ（０ｃ）＝０，類似ラベルＲをＲ（０ｃ）＝０と初期化する。
【００６６】
ステップ６０２）  コンテンツａのカウンタｊをｊ＝ｉ＋１、Ｏ（ｉｃ）＝ＮＵＬＬ、Ｒ（ｊｃ）＝ＮＵＬＬと初期化する。
【００６７】
ステップ６０３）  ステップ３０３に示す方法で求めたベクトルＶｉｃとＶｉａの類似度を求め、類似度Ｓｉｊｃｃとし、メモリに保持する。
【００６８】
ステップ６０４）  類似度Ｓｉｊｃｃが閾値（ｔｈ１）よりも大きい場合、つまり、小区間ｉｃと小区間ｊａが一致している場合、ステップ６０５へ移行し、それ以外の場合はステップ６０８に移行する。
【００６９】
ステップ６０５）  一致ラベルＯ（ｉｃ）がＮＵＬＬでなければステップ６０６へ移行し、そうでなければステップ６０７に移行する。
【００７０】
ステップ６０６）  小区間ｊａの一致ラベルＯ（ｊａ）＝Ｏ（ｉａ）と設定し、ステップ６０８に移行する。
【００７１】
ステップ６０７）  小区間ｉｃの一致ラベルＯ（ｉｃ）にＯ（ｉｃ）＝ｉｃと設定し、小区間ｊａの一致ラベルＯ（ｊａ）をＯ（ｊａ）＝Ｏ（ｉｃ）と設定し、ステップ６０８へ移行する。
【００７２】
ステップ６０８）  類似度Ｓｉｊｃｃが閾値（ｔｈ１）よりも小さく、かつ、閾値(ｔｈ２)よりも大きい場合、つまり、小区間ｉｃとｊｃが一致していないが、類似している場合、ステップ６０９へ移行する。
【００７３】
ステップ６０９）  小区間ｉｃの類似ラベルＲ（ｉｃ）にＮｕｌｌでない値がセットされていれば、ステップ６１０に移行し、そうでなければ、ステップ６１１に移行する。
【００７４】
ステップ６１０）  小区間ｊａの類似ラベルＲ（ｊａ）をＲ（ｊａ）＝Ｒ（ｉｃ）と設定し、ステップ６１２に移行する。
【００７５】
ステップ６１１）  小区間ｉｃの類似ラベルＲ（ｉｃ）をＲ（ｉｃ）＝ｉｃと設定し、小区間ｊａの類似ラベルＲ（ｊａ）をＲ（ｊａ）＝Ｒ（ｉｃ））と設定し、ステップ６１２に移行する。
【００７６】
ステップ６１２）  ｊがコンテンツａの小区間の個数に達したか確認し、達していなければステップ６１３に移行し、そうでなければステップ６１４に移行する。
【００７７】
ステップ６１３）  ｊをインクリメントしてステップ６０４に移行する。
【００７８】
ステップ６１４）  ｉがコンテンツｃの小区間の個数に達したか確認し、達していなければステップ６１５に移行し、そうでなければ処理を終了する。
【００７９】
ステップ６１５）  ｉをインクリメントしてステップ６０３に移行する。
【００８０】
次に、ステップ７００の詳細な動作を説明する。
【００８１】
図１０は、本発明の一実施の形態における構造化キー抽出処理のフローチャートである。
【００８２】
以下の構造化キー抽出部５における、ステップ７０１からステップ７１９の処理によって、小区間に設定された、一致及び類似ラベルによって、階層構造を作り、木構造の構造化キー及び子構造化キーを求める。
【００８３】
ステップ７０１）  ｉを０に初期化する。ここで、親小区間Ｐ（ｉｃ）＝−１と初期化されているとする。
【００８４】
ステップ７０２）  小区間ｉｃの一致ラベルＯ（ｉｃ）または、小区間ｉｃの類似ラベルＲ（ｉｃ）にNull以外の値がセットされていれば、ステップ７０４に移行し、そうでなければステップ７０３に移行する。
【００８５】
ステップ７０３）  ｉをインクリメントしてステップ７０２に移行する。
【００８６】
ステップ７０４）  ｍをｉ＋１と初期化する。
【００８７】
ステップ７０５）  ｊをｉ＋１と初期化し、ｉｃを構造化キー記憶部１１に登録する。
【００８８】
ステップ７０６）  Ｏ（ｊｃ）＝Ｏ（ｉｃ）または、Ｒ（ｊｃ）＝Ｒ（ｉｃ）または、ｊがコンテンツｃの小区間数であった場合にはステップ７０７に移行し、そうでなければステップ７１８に移行する。
【００８９】
ステップ７０７）  ｋ＝ｍと初期化する。
【００９０】
ステップ７０８）  キーｋｃの親小区間Ｐ（ｋｃ）をｉｃにセットする。
【００９１】
ステップ７０９）  Ｏ（ｋｃ）またはＲ（ｋｃ）にNull以外の値がセットされていたら、ステップ７１０に移行し、そうでなければステップ７１１に移行する。
【００９２】
ステップ７１０）  構造化キー記憶部１１にキーｋｃを登録する。
【００９３】
ステップ７１１）  ｋがｊより小さければステップ７１２に移行し、そうでなければステップ７１３に移行する。
【００９４】
ステップ７１２）  ｋをインクリメントしてステップ７０８に移行する。
【００９５】
ステップ７１３）  ｍにｊを代入する。
【００９６】
ステップ７１４）  ｊがコンテンツｃの小区間数に達したか判断し、達していればステップ７１６へ移行し、そうでなければステップ７１５に移行する。
【００９７】
ステップ７１５）  ｊをインクリメントしてステップ７０６に移行する。
【００９８】
ステップ７１６）  ｉをインクリメントする。
【００９９】
ステップ７１７）  ｉがコンテンツｃの小区間数に達したか判断し、達していれば処理を終了し、そうでなければステップ７０２に移行する。
【０１００】
ステップ７１８）  ｊをインクリメントする。
【０１０１】
ステップ７１９）  Ｐ（ｊｃ）＝Ｐ（ｉｃ）ならばステップ７０６に移行し、そうでなければステップ７０３に移行する。
【０１０２】
上記の処理により、求められた構造化キー及び子構造化キーの例を図５に示す。同図に示す構造化キー記憶部１１に格納される情報は、第１カラムには、小区間のＩＤが、第２カラムには、当該小区間に付与されている、一致ラベルまたは類似ラベルが、第３カラムには、第２カラムで付与されているラベルが一致ラベルか、類似ラベル化のフラグが、第４カラムには、親キーの情報(子構造化キーがあれば、親キーのＩＤを、そうでなければ“−１”を設定)がそれぞれ保持されている。
【０１０３】
また、これを木構造で表すと、図６のようになる。ＩＤ＝１の小区間とＩＤ＝５の小区間は共にラベル“１”が設定されており、並列の関係にあることを意味している。また、ＩＤ＝１の小区間の回には、子構造化キーとして、ＩＤ＝２の小区間と、ＩＤ＝３の小区間が存在する。同様に、ＩＤ＝５の小区間には、ＩＤ＝６の小区間とＩＤ＝８の小区間があり、ＩＤ＝３の小区間とＩＤ＝８の小区間は並列の関係であるが、ＩＤ＝１とＩＤ＝３の小区間は親子の関係になっている。
【０１０４】
なお、上記の図４、図７、図８、図９、図１０に示すフローチャートの動作をプログラムとして構築し、映像構造化情報作成装置として利用されるコンピュータにインストールし、実行させる、または、ネットワークを介して流通させることが可能である。
【実施例】
【０１０５】
以下、具体的な例を用いて、本発明の実施例を説明する。
【０１０６】
上記の実施の形態の欄で説明した全体の流れをＴＢＳのテレビ番組「世界ふしぎ発見」を題材にして説明する。
【０１０７】
『世界ふしぎ発見』は、
「オープニング−ふしぎの紹介−司会者の挨拶−
司会者のコメント：「ふしぎ発見」−ＶＴＲ−
問題１の始まり（シングル：チャラチャラチャラチャラチャー）−
問題１の考える時間はじまり（シングル）−
回答者の解答の紹介(シングル：ぴろ)…６(回答者の人数)回−
ＣＭ前のシングル−
正解発表ＶＴＲ（ＢＧＭ）−  正解者発表(シングル)−没収（ＢＧＭ）−
司会者コメント：「ふしぎ発見」−ＶＴＲ−
問題２の始まり(シングル：チャラチャラチャラチャラチャー)−
問題２の考える時間始まり（シングル）
回答者の解答の紹介(シングル：ぴろ)…６(回答者の人数)回−
正解発表ＶＴＲ（ＢＧＭ）−正解者発表（シングル）−没収（ＢＧＭ）−
司会者コメント：「ふしぎ発見」−ＶＴＲ−
問題３の始まり(シングル：チャラチャラチャラチャラチャー)−
問題３の考える時間始まり（シングル）
回答者の解答の紹介(シングル：ぴろ)…６(回答者の人数)回−
正解発表ＶＴＲ（ＢＧＭ）−正解者発表（シングル）−没収（ＢＧＭ）−
エンディング」
という構造をしている。このような構造を１回分の放送から発見することは困難であり、本発明の方法では、複数回（最低２回）分の放送を用いて、上記のような構造を発見する。
【０１０８】
まず、２回分の映像について、全体を小さな区間に区切り、一致区間と類似区間を求める。
【０１０９】
次に、複数回数分の映像の比較によって、一致区間と類似区間を求める。
【０１１０】
求められた一致区間及び類似区間を、
『司会者コメント「ふしぎ発見」』
のように、複数回出てくるものを、大きな構造のきっかけとなる区間として構造化キー記憶部１１に蓄える（親構造化キーと呼ぶ）。また、そのような親構造化キーの間にある一致区間及び類似区間、上述の例では、
・問題？始まり
・問題？考える時間始まり
などを、親構造化キーに含まれる構造化キーということで、子構造化キーと呼び、構造化キー記憶部１１に蓄える。
【０１１１】
これら、構造化キーによって、新たな映像を階層的に構造化することが可能となる。
【０１１２】
また、上記では、図３の構成図に基づいて説明したが、図４、図７〜図１０のフローチャートの処理をプログラムとして構築し、映像構造化情報作成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【０１１３】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１１４】
本発明は、同じ構造の映像が少なくとも２本（同一番組）がある場合に、頻出する映像表現を抽出するための技術に適用可能である。
【図面の簡単な説明】
【０１１５】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における構造化キー抽出装置の構成図である。
【図４】本発明の一実施の形態における全体の動作のフローチャートである。
【図５】本発明の一実施の形態における構造化キー記憶部に格納される情報の例である。
【図６】本発明の一実施の形態における図５の情報を木構造で示した図である。
【図７】本発明の一実施の形態における映像特徴抽出処理のフローチャートである。
【図８】本発明の一実施の形態におけるコンテンツ内類似区間探索処理のフローチャートである。
【図９】本発明の一実施の形態におけるコンテンツ間類似区間探索処理のフローチャートである。
【図１０】本発明の一実施の形態における構造化キー抽出処理のフローチャートである。
【符号の説明】
【０１１６】
１  映像読み込み手段、映像Ｃ読み込み部
１’  映像Ａ読み込み部
２  特徴抽出手段、映像Ｃ特徴抽出部
２’  映像Ａ特徴抽出部
３  コンテンツ内類似区間探索手段、コンテンツ内類似区間探索部
４  コンテンツ間類似区間探索手段、コンテンツ間類似区間探索部
５  構造化キー抽出手段、構造化キー抽出部
１０  映像蓄積手段、映像蓄積部
１１  構造化キー記憶手段、構造化キー記憶部
【図１】
2006106964.tif 000003
【図２】
2006106964.tif 000004
【図３】
2006106964.tif 000005
【図４】
2006106964.tif 000006
【図５】
2006106964.tif 000007
【図６】
2006106964.tif 000008
【図７】
2006106964.tif 000009
【図８】
2006106964.tif 000010
【図９】
2006106964.tif 000011
【図１０】
2006106964.tif 000012