(57)【要約】【課題】映像全体を見るより容易に映像の全体像を掴むことが可能な映像インデックスを生成する。【解決手段】本発明は、複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、クラスタｃ毎に操作履歴の時間の重心を、Ｍｃ＝ΣＴｃｉ  ／Ｎｃ（但し、Ｎｃはクラスタｃに含まれる操作履歴の数、Ｔｃｉ  はクラスタｃにおいてｉ番目に行われた操作のタイムスタンプ）により求め、該重心Ｍｃを代表点とし、代表点Ｍｃの時の画像を映像から切り出してインデックスとする。【選択図】      図１
2004157786.tif 000002
【特許請求の範囲】
【請求項１】
映像に対するインデックスを生成する映像インデックス生成方法において、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタｃ毎に操作履歴の時間の重心を、
Ｍｃ＝ΣＴｃｉ  ／Ｎｃ
（但し、Ｎｃはクラスタｃに含まれる操作履歴の数、Ｔｃｉ  はクラスタｃにおいてｉ番目に行われた操作のタイムスタンプ）
により求め、該重心Ｍｃを代表点とし、
前記代表点Ｍｃの時の画像を前記映像から切り出してインデックスとすることを特徴とする映像インデックス生成方法。
【請求項２】
映像に対するインデックスを生成する映像インデックス生成方法において、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタ内の時間軸上で、先頭から１−ｑの部分にある操作履歴を用いて、先頭から（１−ｑ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｍｃとし、
クラスタｃの代表点Ｍｃの時の画像を前記映像から切り出してインデックスとすることを特徴とする映像インデックス生成方法。
【請求項３】
映像に対するインデックスを生成する映像インデックス生成方法において、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果及び映像特徴によるカット点Ｗｃが入力されると、
クラスタｃの仮代表点Ｙｃを
Ｙｃ＝Ｔｃ０  （但し、Ｔｃｉ  はクラスタｃのｉ番目の操作履歴）
により求め、
前記仮代表点Ｙｃから時間的に前で最も近くにある映像特徴によるカット点Ｗｃとの時間差を計算し、
前記時間差が所定の閾値以下である場合には、前記映像特徴によるカット点Ｗｃを代表点とし、該時間差が所定の閾値より大きい場合には、前記仮代表点Ｙｃを代表点とし、
前記代表点の時の画像を前記映像から切り出してインデックスとすることを特徴とする映像インデックス生成方法。
【請求項４】
前記クラスタｃの前記仮代表点を、クラスタ内の時間軸上で先頭から１−ｑの部分にある操作履歴を用いて、先頭から（１−ｑ  ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｙｃとする請求項３記載の映像インデックス生成方法。
【請求項５】
コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムであって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタｃ毎に操作履歴の時間の重心を、
Ｍｃ＝ΣＴｃｉ  ／Ｎｃ
（但し、Ｎｃはクラスタｃに含まれる操作履歴の数、Ｔｃｉ  はクラスタｃにおいてｉ番目に行われた操作のタイムスタンプ）
により求め、該重心Ｍｃを代表点とする代表点算出ステップと、
前記代表点Ｍｃの時の画像を前記映像から切り出してインデックスとする画像切り出しステップと、を実行することを特徴とする映像インデックス生成プログラム。
【請求項６】
コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムであって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタ内の時間軸上で、先頭から１−ｑの部分にある操作履歴を用いて、（１−ｑ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｍｃとする代表点算出する代表点検出ステップと、
クラスタｃの代表点Ｍｃの時の画像を前記映像から切り出してインデックスとする画像切り出しステップと、を実行することを特徴とする映像インデックス生成プログラム。
【請求項７】
コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムであって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果及び映像特徴によるカット点Ｗｃが入力されると、
クラスタｃの仮代表点Ｙｃを
Ｙｃ＝Ｔｃ０  （但し、Ｔｃｉ  はクラスタｃのｉ番目の操作履歴）
により求める仮代表点算出ステップと、
前記仮代表点Ｙｃから時間的に前で最も近くにある映像特徴によるカット点Ｗｃとの時間差を計算する時間差計算ステップと、
前記時間差が所定の閾値以下である場合には、前記映像特徴によるカット点Ｗｃを代表点とし、該時間差が所定の閾値より大きい場合には、前記仮代表点Ｙｃを代表点とする代表点決定ステップと、
前記代表点の時の画像を前記映像から切り出してインデックスとする画像切り出しステップと、を実行することを特徴とする映像インデックス生成プログラム。
【請求項８】
前記仮代表点算出ステップは、
前記クラスタｃの前記仮代表点を、クラスタ内の時間軸上で先頭から１−ｑの部分にある操作履歴を用いて、先頭から（１−ｑ  ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｙｃとするステップを含む請求項７記載の映像インデックス生成プログラム。
【請求項９】
コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムを格納した記憶媒体であって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタｃ毎に操作履歴の時間の重心を、
Ｍｃ＝ΣＴｃｉ  ／Ｎｃ
（但し、Ｎｃはクラスタｃに含まれる操作履歴の数、Ｔｃｉ  はクラスタｃにおいてｉ番目に行われた操作のタイムスタンプ）
により求め、該重心Ｍｃを代表点とする代表点算出ステップと、
前記代表点Ｍｃの時の画像を前記映像から切り出してインデックスとする画像切り出しステップと、を実行するプログラムを格納したことを特徴とする映像インデックス生成プログラムを格納した記憶媒体。
【請求項１０】
コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムを格納した記憶媒体であって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタ内の時間軸上で、先頭から１−ｑの部分にある操作履歴を用いて、（１−ｑ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｍｃとする代表点算出する代表点検出ステップと、
クラスタｃの代表点Ｍｃの時の画像を前記映像から切り出してインデックスとする画像切り出しステップと、を実行するプログラムを格納したことを特徴とする映像インデックス生成プログラムを格納した記憶媒体。
【請求項１１】
コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムを格納した記憶媒体であって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果及び映像特徴によるカット点Ｗｃが入力されると、
クラスタｃの仮代表点Ｙｃを
Ｙｃ＝Ｔｃ０  （但し、Ｔｃｉ  はクラスタｃのｉ番目の操作履歴）
により求める仮代表点算出ステップと、
前記仮代表点Ｙｃから時間的に前で最も近くにある映像特徴によるカット点Ｗｃとの時間差を計算する時間差計算ステップと、
前記時間差が所定の閾値以下である場合には、前記映像特徴によるカット点Ｗｃを代表点とし、該時間差が所定の閾値より大きい場合には、前記仮代表点Ｙｃを代表点とする代表点決定ステップと、
前記代表点の時の画像を前記映像から切り出してインデックスとする画像切り出しステップと、を実行するプログラムを格納したことを特徴とする映像インデックス生成プログラムを格納した記憶媒体。
【請求項１２】
前記仮代表点算出ステップは、
前記クラスタｃの前記仮代表点を、クラスタ内の時間軸上で先頭から１−ｑの部分にある操作履歴を用いて、先頭から（１−ｑ  ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｙｃとするステップを含む請求項１１記載の映像インデックス生成プログラムを格納した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像インデックス生成方法及びプログラム及び映像インデックス生成プログラムを格納した記憶媒体に係り、特に、映像に対するインデックスを生成して付加することにより、映像情報を管理・閲覧するための映像インデックス生成方法及びプログラム及び映像インデックス生成プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
近年、情報技術の発達により、膨大な映像コンテンツを管理する必要が発生している。その管理のためには、映像に対しても、本の目次に相当するようなインデックスを付加することが有効である。
【０００３】
そのための技術として、映像を計算機で自動処理し、得られる物理的特徴を抽出し、抽出された特徴を場合によっては、内容知識と照合すると共に、特徴あるいは知識を映像へインデクシング・構造化を行う技術がある（例えば、非特許文献１参照）。
【０００４】
また、映像の特徴だけでなく、音楽、音声、カメラワーク、テロップを認識することにより、映像の構造化を行う。また、認識されたカット点などサムネイルすることにより一覧表示し、映像途中からの再生などに役立てている（例えば、非特許文献２参照）。
【０００５】
【非特許文献１】
上田他「“ＩＭＰＡＣＴ：  Ａｎ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｎａｔｕｒａｌ−Ｍｏｔｉｏｎ−Ｐｉｃｔｕｒｅ  Ｄｅｄｉｃａｔｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ａｕｔｈｏｒｉｎｇ  Ｓｙｓｔｅｍ  ”，  Ｐｒｏｃｅｅｄｉｎｇ  ｆｏ  ＣＨＩ’９１，  ｐｐ．３４３−３５０（１９９１）」
【非特許文献２】
谷口他「“ＳｃｅｎｃｅＣａｂｉｎｅｔ：映像解析技術を統合した映像インデクシングシステム”、信学論Ｄ−ＩＩ  Ｖｏｌ．  Ｊ８４−Ｄ−ＩＩ，  Ｎｏ．６，  ｐｐ．１１１２−１１２１．
【０００６】
【発明が解決しようとする課題】
上記従来の技術では、映像の特徴を用いることにより、インデックスを作成するものである。映像へのインデックスの付加は、簡単な内容の把握及び、その部分からの視聴が目的である。これは、本の目次と同じ機能である。従って、映像に対して付加するインデックスは、映像の特徴より、映像の内容でインデックスを付加したい。
【０００７】
しかしながら、上記従来の技術では、内容ではなく、映像の物理的な特徴量のみに着目し、インデックスの付加を行うため、内容に従ったインデックス付加は困難である。例えば、サッカーなどのように、非常に長い時間、緑の芝の上に選手が走っている映像や、プレゼンテーションや講義を撮影したような映像においては、カット点が検出されなくとも、内容は変化しているということが多い映像では、自動のインデックス付加技術では、効果的な視聴が困難である。
【０００８】
非特許文献２の手法を用いてインデクシングした結果を、人手を用いて修正することにより、インデックスを作成することも考えられるが、今後ますます増大する映像に対して、一つ一つ手動で修正を加えることは、その労力から考えて現実的ではない。
【０００９】
本発明は、上記の点に鑑みなされたもので、映像全体を見るより容易に映像の全体像を掴むことが可能な映像インデックス生成方法及びプログラム及び映像インデックス生成プログラムを格納した記憶媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００１１】
本発明は、映像に対するインデックスを生成する映像インデックス生成方法において、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると（ステップ１）、
クラスタｃ毎に操作履歴の時間の重心を、
Ｍｃ＝ΣＴｃｉ  ／Ｎｃ
（但し、Ｎｃはクラスタｃに含まれる操作履歴の数、Ｔｃｉ  はクラスタｃにおいてｉ番目に行われた操作のタイムスタンプ）
により求め、該重心Ｍｃを代表点とし（ステップ２）、
代表点Ｍｃの時の画像を映像から切り出してインデックスとする（ステップ３）。
【００１２】
本発明は、映像に対するインデックスを生成する映像インデックス生成方法において、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタ内の時間軸上で先頭から１−ｑの部分にある操作履歴を用いて、先頭から（１−ｑ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｍｃとし、
クラスタｃの代表点Ｍｃの時の画像を映像から切り出してインデックスとする。
【００１３】
本発明は、映像に対するインデックスを生成する映像インデックス生成方法において、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果及び映像特徴によるカット点Ｗｃが入力されると、
クラスタｃの仮代表点Ｙｃを
Ｙｃ＝Ｔｃ０  （但し、Ｔｃｉ  はクラスタｃのｉ番目の操作履歴）
により求め、
仮代表点Ｙｃから時間的に前で最も近くにある映像特徴によるカット点Ｗｃとの時間差を計算し、
時間差が所定の閾値以下である場合には、映像特徴によるカット点Ｗｃを代表点とし、該時間差が所定の閾値より大きい場合には、仮代表点Ｙｃを代表点とし、
代表点の時の画像を映像から切り出してインデックスとする。
【００１４】
また、本発明は、クラスタｃの仮代表点を、クラスタ内の時間軸上で先頭から１−ｑの部分にある操作履歴を用いて、先頭から（１−ｑ  ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｙｃとする。
【００１５】
本発明は、コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムであって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタｃ毎に操作履歴の時間の重心を、
Ｍｃ＝ΣＴｃｉ  ／Ｎｃ
（但し、Ｎｃはクラスタｃに含まれる操作履歴の数、Ｔｃｉ  はクラスタｃにおいてｉ番目に行われた操作のタイムスタンプ）
により求め、該重心Ｍｃを代表点とする代表点算出ステップと、
代表点Ｍｃの時の画像を映像から切り出してインデックスとする画像切り出しステップと、を実行する。
【００１６】
本発明は、コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムであって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が、順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタ内の時間軸上で、先頭から１−ｑの部分にある操作履歴を用いて、（１−ｑ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｍｃとする代表点算出する代表点検出ステップと、
クラスタｃの代表点Ｍｃの時の画像を映像から切り出してインデックスとする画像切り出しステップと、を実行する。
【００１７】
本発明は、コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムであって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果及び映像特徴によるカット点Ｗｃが入力されると、
クラスタｃの仮代表点Ｙｃを
Ｙｃ＝Ｔｃ０  （但し、Ｔｃｉ  はクラスタｃのｉ番目の操作履歴）
により求める仮代表点算出ステップと、
仮代表点Ｙｃから時間的に前で最も近くにある映像特徴によるカット点Ｗｃとの時間差を計算する時間差計算ステップと、
時間差が所定の閾値以下である場合には、映像特徴によるカット点Ｗｃを代表点とし、該時間差が所定の閾値より大きい場合には、仮代表点Ｙｃを代表点とする代表点決定ステップと、
代表点の時の画像を映像から切り出してインデックスとする画像切り出しステップと、を実行する。
【００１８】
また、上記の仮代表点算出ステップは、
クラスタｃの仮代表点を、クラスタ内の時間軸上で先頭から１−ｑの部分にある操作履歴を用いて、先頭から（１−ｑ  ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｙｃとするステップを含む。
【００１９】
本発明は、コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムを格納した記憶媒体であって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタｃ毎に操作履歴の時間の重心を、
Ｍｃ＝ΣＴｃｉ  ／Ｎｃ
（但し、Ｎｃはクラスタｃに含まれる操作履歴の数、Ｔｃｉ  はクラスタｃにおいてｉ番目に行われた操作のタイムスタンプ）
により求め、該重心Ｍｃを代表点とする代表点算出ステップと、
代表点Ｍｃの時の画像を映像から切り出してインデックスとする画像切り出しステップと、を実行するプログラムを格納する。
【００２０】
本発明は、コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムを格納した記憶媒体であって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されると、
クラスタ内の時間軸上で、先頭から１−ｑの部分にある操作履歴を用いて、（１−ｑ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｍｃとする代表点算出する代表点検出ステップと、
クラスタｃの代表点Ｍｃの時の画像を映像から切り出してインデックスとする画像切り出しステップと、を実行するプログラムを格納する。
【００２１】
本発明は、コンピュータ上で実行される、映像に対するインデックスを生成する映像インデックス生成プログラムを格納した記憶媒体であって、
複数の視聴者が同一の録画番組を個別に再生視聴する際に、該視聴者が順次再生順序を変更する操作を行った場面と該操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果及び映像特徴によるカット点Ｗｃが入力されると、
クラスタｃの仮代表点Ｙｃを
Ｙｃ＝Ｔｃ０  （但し、Ｔｃｉ  はクラスタｃのｉ番目の操作履歴）
により求める仮代表点算出ステップと、
仮代表点Ｙｃから時間的に前で最も近くにある映像特徴によるカット点Ｗｃとの時間差を計算する時間差計算ステップと、
時間差が所定の閾値以下である場合には、映像特徴によるカット点Ｗｃを代表点とし、該時間差が所定の閾値より大きい場合には、仮代表点Ｙｃを代表点とする代表点決定ステップと、
代表点の時の画像を映像から切り出してインデックスとする画像切り出しステップと、を実行するプログラムを格納する。
【００２２】
上記の仮代表点算出ステップは、
クラスタｃの仮代表点を、クラスタ内の時間軸上で先頭から１−ｑの部分にある操作履歴を用いて、、先頭から（１−ｑ  ）＊Ｎｃ番目（但し、Ｎｃはクラスタｃに含まれる操作履歴の個数）の位置にある操作履歴を代表点Ｙｃとするステップを含む。
【００２３】
上記のように、本発明では、複数の視聴者及び複数の視聴期間のもとで、操作履歴獲得を行い、獲得した操作履歴を時間的に近くにあるものが同一クラスタになるように、クラスタリングを行うことにより、操作履歴をその原因となる出来事毎に分類し、それに基づいてインデックスを付加し、そのサムネイル画像による画像の閲覧が可能になる。
【００２４】
また、本発明では、映像のカット点検出を行う手法を併用し、より効果的なインデックス付加を行う。
【００２５】
【発明の実施の形態】
以下、図面と共に本発明の実施の形態について説明する。
【００２６】
本実施の形態では、サッカー中継を例としてインデクシングについて説明する。
【００２７】
図２は、本発明の一実施の形態におけるシステム構成を示す。
【００２８】
同図に示すシステムは、映像配信部１、操作履歴獲得部２、操作履歴クラスタリング部４、インデックス作成部５、インデックス蓄積部６及び映像視聴部３から構成され、映像視聴部３と映像配信部１はネットワークを介して接続されている。
【００２９】
映像配信部１は、視聴者からの操作を受けて、その操作に従った映像を配信すると同時に、その操作履歴を操作履歴獲得部２に送る。
【００３０】
操作履歴獲得部２は、操作種別と当該操作が行われた時間（タイムスタンプ）を取得する。なお、ここでいう時間は、映像の開始時点からの映像上の時間である。操作履歴とは、視聴者が「巻き戻し」「コマ送り」「一時停止」等の操作種別と、当該操作が行われた時間（タイムスタンプ）である。この操作履歴は、殆どの場合、試合中の事象に影響を受けて視聴者により行われたものである。
【００３１】
ここで、操作が行われた時間は、例えば、Ｍｉｃｒｏｓｏｆｔ  ＤｉｒｅｃｔＸ８．０（Ｃ＋＋）  を用い、“ＧｅｔＣｕｒｒｅｎｔＰｏｓｉｔｉｏｎ（）”コマンドにより取得可能である。このときの操作は、クリックされたボタンを特定することによって判別できる。また、ＪＳＰ  などを使用して映像上の現在時刻を獲得することが可能である。
このようにして取得した操作履歴を図３に示すような操作履歴テーブルに蓄積していく。操作履歴テーブルは、ユーザＩＤ、コンテンツＩＤ、時間、操作種別から構成される。
【００３２】
映像視聴部３は、ネットワークを介して映像配信部１から受信した映像を視聴する。当該映像視聴部３は、再生ボタン、一時停止ボタン、早送りボタン、巻き戻しボタン、コマ送りボタン等の機能があり、視聴者はこれらのボタンを操作する。例えば、サッカーの映像の視聴中に、好プレーとされるシーンや、判定が際どいと思われるシーンなどでは、「巻き戻し」や「コマ送り」などの操作が行われることが予想できる。
【００３３】
操作履歴クラスタリング部４は、操作履歴獲得部２で取得した操作履歴を、時間的に近くにあるものが同一クラスタになるようにクラスタ分析等を行い、いくつかのクラスタに分類する。本実施の形態では、操作を区別せずに等価に扱っているが、「巻き戻し」は、その操作のタイムスタンプよりも前の部分、「コマ送り」は、その操作のタイムスタンプ直後の部分が重要であると考えられるため、そのような重み付けを行うことも可能である。
【００３４】
なお、本実施の形態では、クラスタ分析を行っているが、分類を行うことができれば、クラスタ分析に限らず、例えば、「ｋ平均アルゴリズム−データマイニング手法−営業、マーケティング、カスタマサポートのための顧客分析−，マイケルＪ．Ａ．ベリー，ゴードン・リノフ著」などが考えられる。
【００３５】
本実施の形態では、クラスタ分析「多変量解析法、奥野ら著」を用いるものとする。
【００３６】
以下、操作履歴クラスタリングについて説明する。
【００３７】
図４は、本発明の一実施の形態における操作履歴クラスタリングのフローチャートである。
【００３８】
ステップ２００）  すべての操作履歴を一つのクラスタとする。
【００３９】
ステップ２１０）  クラスタ毎に代表値を計算する。
【００４０】
ステップ２２０）  代表値同士が最も近くにある２つのクラスタを探し、一つのクラスタにする。なお、この距離の近いクラスタを探す場合に、ユークリッド距離、マハラノビスノ汎距離や、標準ユークリッド距離など距離尺度を用いることが可能である。
【００４１】
ステップ２３０）  クラスタ数が一定値以上になるまで、ステップ２１０、ステップ２２０の操作を繰り返し、クラスタ数が一定値以上になったら処理を終了する。
【００４２】
なお、上記の例では、終了条件としてクラスタ数が一定値以上となった場合に終了する例を示しているが、例えば、代表値間の距離の最も近いものが一定値以上になるまで繰り返すという条件でもよい。
【００４３】
インデックス作成部５は、各クラスタからインデックス画像を作成する。この操作は、クラスタリングされた操作履歴に対して行い、クラスタ代表点（タイムスタンプ）及びそのサムネイルを出力する。
【００４４】
インデックス蓄積部６は、インデックスとなるサムネイル画像とそのタイムスタンプを蓄積・管理し、サムネイル部分からの視聴などを可能にする。また、定期的にインデックスの更新を行う。
【００４５】
以下にインデックス作成部５におけるインデックス作成処理について説明する。
【００４６】
最初にインデックス作成に重心を用いる例を説明する。
【００４７】
図５は、本発明の一実施の形態におけるインデックス作成処理を説明するための図（その１）であり、図６は、本発明の一実施の形態におけるインデックス作成処理のフローチャート（その１）である。
【００４８】
ステップ４００）  インデックス作成部５は、全クラスタが処理されたかを判定し、処理が終了していなければ、ステップ４１０に移行し、終了していれば当該処理を終了する。
【００４９】
ステップ４１０）  操作履歴クラスタリング部４からクラスタを読み出して、当該クラスタ毎に重心を計算し、代表点とする。
【００５０】
重心の計算は、
Ｍｃ＝ΣＴｃｉ  ／Ｎｃ
を用いる。ここで、Ｎｃは、クラスタｃに含まれる操作履歴の数であり、Ｔｃｉ  は、クラスタｃにおいて、ｉ番目に行われた操作のタイムスタンプである。Ｍｃは代表点とする。
【００５１】
ステップ４２０）  ステップ４１０で求めたクラスタｃの代表点Ｍｃの時の画像を映像から切り出し、インデックスとする。
【００５２】
次に、インデックス作成にクラスタ内操作履歴のうち、はじめから（１−ｑ）の部分にある操作履歴を用いる例を説明する。
【００５３】
図７は、本発明の一実施の形態におけるインデックス作成処理を説明するための図（その２）であり、図８は、本発明の一実施の形態におけるインデックス作成処理のフローチャート（その２）である。
【００５４】
ステップ５００）  インデックス作成部５は、全クラスタが処理されたかを判定し、処理が終了していなければ、ステップ５１０に移行し、終了していれば当該処理を終了する。
【００５５】
ステップ５１０）  操作履歴クラスタリング部４からクラスタを読み出して、クラスタ内の先頭から、時間軸上で、（１−ｑ）＊Ｎｃ番目に存在する操作履歴をクラスタｃの代表点Ｍｃとする。即ち、Ｍｃから視聴を開始した場合、クラスタ内のｑの操作履歴に起きた時間の部分は視聴可能となるようにする。但し、Ｎｃをクラスタｃに含まれる操作履歴の個数とする。
【００５６】
ステップ５２０）  ステップ５１０で求めたクラスタｃの代表点Ｍｃの時の画像を映像から切り出し、インデックスとする。
【００５７】
次に、映像特徴によるインデックス作成方法について説明する。
【００５８】
まず、この例では、映像特徴によるカット点が必要であるため、システム構成を図９に示すように変更する。同図に示すシステムは、図２のシステムに特徴インデックス作成部７を設けたものである。
【００５９】
図１０は、本発明の一実施の形態におけるインデックス作成処理を説明するための図（その３）であり、図１１は、本発明の一実施の形態におけるインデックス作成処理のフローチャート（その３）である。
【００６０】
以下では、Ｍａｘはクラスタ数、Ｔｃｉ  はクラスタｃに含まれる操作履歴のうち、ｉ番目のもののタイムスタンプ、Ｙｃはクラスタｃの仮代表点、ＷｃはＹｃから最も近くにある映像特徴によるカット点、Ｍｃはクラスタｃの代表点、Ｐｃはクラスタｃのサムネイル画像とする。
【００６１】
ステップ６００）  全クラスタが処理されたかを確認し、処理が終了していなければステップ６１０に移行し、終了していれば当該処理を終了する。
【００６２】
ステップ６１０）  仮代表点を決める。ここでは、
Ｙｃ＝Ｔｃ０
として、クラスタｃ内の最初の操作履歴とする。ここでＹｃはクラスタｃの仮代表点であり、またＴｃｉ  はクラスタｃのｉ番目の操作履歴である。ここでは、クラスタ内の最初の操作履歴としているが、前述のインデックス作成で用いた代表点を仮代表点としてもよい。
【００６３】
ステップ６２０）  仮代表点Ｙｃから時間的に前で、最も近くにある映像特徴によるカット点Ｗｃとの時間差を計算し、それが所定の閾値Ｔｈ以下であるかを判断する。閾値以下であれば、ステップ６３０に移行し、閾値より大きければステップ６３５に移行する。
【００６４】
ステップ６３０）  Ｍｃ＝Ｗｃとし、映像特徴によるカット点Ｗｃを代表点とする。
【００６５】
ステップ６３５）  Ｍｃ＝Ｙｃとし、仮代表点Ｙｃをそのまま代表点とする。ステップ６４０）  代表点Ｍｃの時の画像を映像から切り出し、インデックスとする。
【００６６】
また、本発明は、上記の３パターンの動作の各々をプログラムとして構築し、映像インデックス生成装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行する、または、ネットワークを介して流通させることが可能である。
【００６７】
また、構築されたプログラムを映像インデックス生成装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることも可能である。
【００６８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００６９】
【発明の効果】
上述のように、本発明によれば、映像中の出来事、つまり、意味的な内容に従ったインデックスの付加を視聴者の自然な行動から行うことが可能になる。
【００７０】
従来のような、映像特徴によるインデックス付加技術では、サッカーなどのように、非常に長い時間、緑の芝の上に選手が走っている映像や、プレゼンテーションや講義を撮影したような映像では、カット点が検出されなくとも内容は変化しているということの多い映像に対し、自動のインデックス付加技術では、効果的な視聴が困難であったが、本発明では、視聴履歴をクラスタリングし、各クラスタに対してインデックスを作成することにより、意味内容に従ったサムネイルを見ることが可能になる。その結果、映像全体を見るより容易に映像の全体像を掴むことが可能になり、配信者の映像管理及び、視聴者の映像選択にも有効である。さらに、視聴中の操作履歴が保存されることから、テレビ局などの視聴率に代わる統計情報としても有効である。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の一実施の形態におけるシステム構成図である。
【図３】本発明の一実施の形態における操作履歴取得部の操作履歴テーブルの例である。
【図４】本発明の一実施の形態における操作履歴クラスタリングのフローチャートである。
【図５】本発明の一実施の形態におけるインデックス作成処理を説明するための図（その１）である。
【図６】本発明の一実施の形態におけるインデックス作成処理のフローチャート（その１）である。
【図７】本発明の一実施の形態におけるインデックス作成処理を説明するための図（その２）である。
【図８】本発明の一実施の形態におけるインデックス作成処理のフローチャート（その２）である。
【図９】本発明の一実施の形態における映像特徴によりインデックスを作成する場合のシステム構成図である。
【図１０】本発明の一実施の形態におけるインデックス作成処理を説明するための図（その３）である。
【図１１】本発明の一実施の形態におけるインデックス作成処理のフローチャート（その３）である。
【符号の説明】
１  映像配信部
２  操作履歴獲得部
３  映像視聴部
４  操作履歴クラスタリング部
５  インデックス作成部
６  インデックス蓄積部
７  映像特徴インデックス作成部
【図１】
2004157786.tif 000003
【図２】
2004157786.tif 000004
【図３】
2004157786.tif 000005
【図４】
2004157786.tif 000006
【図５】
2004157786.tif 000007
【図６】
2004157786.tif 000008
【図７】
2004157786.tif 000009
【図８】
2004157786.tif 000010
【図９】
2004157786.tif 000011
【図１０】
2004157786.tif 000012
【図１１】
2004157786.tif 000013