(57)【特許請求の範囲】
【請求項１】
映像群に含まれる各映像に対して１以上ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、
前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムであって、
前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする代表画像選択システム。
【請求項２】
映像群に含まれる各映像に対して複数ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、
前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムであって、
前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする代表画像選択システム。
【請求項３】
前記評価値算出手段が、各代表画像の距離の合計の総和を評価値として算出することを特徴とする、請求項１又は２に記載の代表画像選択システム。
【請求項４】
特定カテゴリの映像群に含まれる各映像に対する各代表画像を抽出する代表画像組合せ抽出手段を更に備え、
前記評価値算出手段が、前記代表画像組合せ抽出手段により抽出された、同一カテゴリの映像群に含まれる各映像に対する各代表画像の距離の合計の総和を評価値として算出することを特徴とする、請求項３に記載の代表画像選択システム。
【請求項５】
前記評価値算出手段は、前記代表画像の特徴量にもとづいて前記評価値を算出することを特徴とする請求項１又は２に記載の代表画像選択システム。
【請求項６】
前記複数の選択基準のうちの１つの選択基準は、前記代表画像の組合せの前記評価値が最小になる選択基準であることを特徴とする請求項１乃至５のいずれか１項に記載の代表画像選択システム。
【請求項７】
前記複数の選択基準のうちの１つの選択基準は、前記代表画像の組合せの前記評価値が最大になる選択基準であることを特徴とする請求項１乃至５のいずれか１項に記載の代表画像選択システム。
【請求項８】
前記評価値算出手段は、同一映像からの代表画像の特徴量の分布状況を示す第１の評価値を算出し、異なる映像からの代表画像の特徴量の分布状況を示す第２の評価値を算出することを特徴とする請求項２記載の代表画像選択システム。
【請求項９】
請求項１乃至８のいずれか１項に記載の代表画像選択システムと、
前記代表画像組合せ選択手段が選択した組合せに含まれる代表画像を表示する表示手段と、
を備える代表画像表示システム。
【請求項１０】
映像群に含まれる各映像に対して１以上ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出ステップと、
前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択ステップとを備える代表画像選択方法であって、
前記代表画像組合せ選択ステップは、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする代表画像選択方法。
【請求項１１】
映像群に含まれる各映像に対して複数ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出ステップと、
前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択ステップとを備える代表画像選択方法であって、
前記代表画像組合せ選択ステップは、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする代表画像選択方法。
【請求項１２】
前記代表画像組合せ選択ステップは、前記代表画像の組合せの前記評価値が最小になる選択基準に従って、前記１の組合せを選択することを特徴とする請求項１０又は１１に記載の代表画像選択方法。
【請求項１３】
前記代表画像組合せ選択ステップは、前記代表画像の組合せの前記評価値が最大になる選択基準に従って、前記１の組合せを選択することを特徴とする請求項１０又は１１に記載の代表画像選択方法。
【請求項１４】
前記評価値算出ステップは、前記代表画像の特徴量にもとづいて前記評価値を算出することを特徴とする請求項１０又は１１に記載の代表画像選択方法。
【請求項１５】
映像群に含まれる各映像に対して１以上ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、
前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムとしてコンピュータを機能させるためのプログラムであって、
前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とするプログラム。
【請求項１６】
映像群に含まれる各映像に対して複数ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、
前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムとしてコンピュータを機能させるためのプログラムであって、
前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とするプログラム。
【請求項１７】
前記代表画像組合せ選択手段は、前記代表画像の組合せの前記評価値が最小になる選択基準に従って、前記１の組合せを選択することを特徴とする請求項１５又は１６に記載のプログラム。
【請求項１８】
前記代表画像組合せ選択手段は、前記代表画像の組合せの前記評価値が最大になる選択基準に従って、前記１の組合せを選択することを特徴とする請求項１５又は１６に記載のプログラム。
【請求項１９】
前記評価値算出手段は、前記代表画像の特徴量にもとづいて前記評価値を算出することを特徴とする請求項１５又は１６に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像群の代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに映像群の代表画像又は代表画像群の選択システム、その方法、およびそのプログラムに関し、特に、各映像の代表画像として一覧表示する画像を決定する代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに映像群の代表画像又は代表画像群の選択システム、その方法、およびそのプログラムに関する。
【背景技術】
【０００２】
記録媒体に記録されている映像の内容を把握したり、所望の映像の選択や、検索を行う利用者を支援する目的で、記録媒体に記録されている複数の映像のそれぞれから抽出した画像であって、それらの映像の内容を代表する画像である代表画像を、タイトルなどとともに一覧表示する場合がある。【０００３】
なお、代表画像として、映像のシーンが変わるタイミングのフレーム、人物が登場するフレームなどがある。【０００４】
特許文献１には、映像におけるある特定のフレームを事前に代表画像として用意しておき、記録媒体に記録されている複数の映像の一覧表示の要求があった場合に、各映像に対して用意されたそれぞれの代表画像を表示する方法が記載されている。【０００５】
特許文献２および特許文献３には、一の動画像を代表する画像を、動画像を構成するフレームから抽出する方法が記載されている。【０００６】
非特許文献１には、色特徴量、テクスチャ特徴量についての特徴量抽出方法および距離算出方法が記載されている。【０００７】
非特許文献２には、形状特徴量についての記載がある。【０００８】
非特許文献３の３．２節には、対比する両方の特徴量がテキストデータの場合に、キーワードやテキスト間の類似度算出方法として用いるコサイン類似度についての記載がある。【０００９】
【特許文献１】特開２００２−２７４１０号公報  （段落００１７〜００６０、図１）
【特許文献２】特開２００５−２０９１２３号公報  （段落００４０〜０１４３、図１）
【特許文献３】特開２００５−９４７５６号公報  （段落０００６〜００３５、図１）
【非特許文献１】ビー．エス．マンジュナス（Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ）、外３名、「カラーアンドテクスチャーデスクリプターズ（Ｃｏｌｏｒ  ａｎｄ  Ｔｅｘｔｕｒｅ  Ｄｅｓｃｒｉｐｔｏｒｓ）」、（米国）、アイトリプルイートランザクションズオブサーキッツアンドシステムズフォービデオテクノロジー（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ）、２００１年６月、Ｖｏｌｕｍｅ  １１、Ｎｕｍｂｅｒ  ６、ｐ．７０３−７１５
【非特許文献２】ミロスロウ・ボバー（Ｍｉｒｏｓｌａｗ  Ｂｏｂｅｒ）、「エムペグ７ビジュアルシェイプデスクリプターズ（ＭＰＥＧ−７  Ｖｉｓｕａｌ  Ｓｈａｐｅ  Ｄｅｓｃｒｉｐｔｏｒｓ）」、（米国）、アイトリプルイートランザクションズオブサーキッツアンドシステムズフォービデオテクノロジー（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ）、２００１年６月、Ｖｏｌｕｍｅ  １１、Ｎｕｍｂｅｒ  ６、ｐ．７１６−７１９
【非特許文献３】宮部泰成、高村大也、奥村学、「異なる文書中の文間関係の特定」、情報処理学会研究報告、社団法人情報処理学会、自然言語処理研究会、２００５年７月、２００５−ＮＬ−１６９、ｐ．３５−４２
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１に記載されている方法では、各映像に対して事前に決定された特定のフレームが常に代表画像として表示される。そのため、複数の映像に対する代表画像を一覧表示する際に、代表画像の配置の位置が適切でないと映像の内容の把握が困難になるという問題がある。【００１１】
特に、同じ画像（フレーム）を開始フレームとする映像が複数ある場合に、先頭画像を代表画像にすると、すべての映像の代表画像が同一になってしまう。その場合、各映像の代表画像をみただけでは映像間の違いがわからず、利用者が所望の映像を選択することが困難であるという問題がある。【００１２】
また、多量の映像の代表画像を一覧表示した場合に、利用者は、代表画像を見ただけでは所望のカテゴリに属する映像を見つけにくい。そのため、特許文献１、特許文献２、および特許文献３に記載されている方法は、利用者にとって代表画像の一覧から所望の映像を探すのが大きな負担になるという問題がある。【００１３】
そこで、本発明は、一覧表示される映像の内容把握が利用者にとって容易になるように代表画像を選択する代表画像選択システム、代表画像群選択システム、方法、およびプログラム並びに代表画像表示システム、代表画像群表示システム、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明による代表画像選択システムは、映像群に含まれる各映像に対して１以上ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムであって、前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする。
【００１５】
本発明による代表画像選択システムは、映像群に含まれる各映像に対して複数ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムであって、前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする。
【００１６】
上記の代表画像選択システムにおいて、前記代表画像組合せ選択手段は、前記代表画像の組合せの前記評価値が最小になる選択基準の前記代表画像の組合せを選択するようにしてもよい。【００１７】
上記の代表画像選択システムにおいて、前記代表画像組合せ選択手段は、前記代表画像の組合せの前記評価値が最大になる選択基準の前記代表画像の組合せを選択するようにしてもよい。【００１８】
上記の代表画像選択システムにおいて、前記評価値算出手段は、前記代表画像の特徴量にもとづいて前記評価値を算出するようにしてもよい。【００１９】
本発明によれば、映像群に含まれる各映像に対して１以上ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出ステップと、前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択ステップとを備える代表画像選択方法であって、前記代表画像組合せ選択ステップは、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする代表画像選択方法が提供される。
また本発明によれば、映像群に含まれる各映像に対して複数ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出ステップと、前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択ステップとを備える代表画像選択方法であって、前記代表画像組合せ選択ステップは、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とする代表画像選択方法が提供される。
【００２０】
上記の代表画像選択方法において、前記代表画像組合せ選択ステップは、前記代表画像の組合せの前記評価値が最小になる選択基準の前記代表画像の組合せを選択するようにしてもよい。【００２１】
上記の代表画像選択方法において、前記代表画像組合せ選択ステップは、前記代表画像の組合せの前記評価値が最大になる選択基準の前記代表画像の組合せを選択するようにしてもよい。【００２２】
上記の代表画像選択方法において、前記評価値算出ステップは、前記代表画像の特徴量にもとづいて前記評価値を算出するようにしてもよい。【００２３】
本発明によれば、映像群に含まれる各映像に対して１以上ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムとしてコンピュータを機能させるためのプログラムであって、前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とするプログラムが提供される。
また本発明によれば、映像群に含まれる各映像に対して複数ある代表画像の、前記映像群に含まれる映像についての各組合せについて、所定の評価基準に従って評価値を算出する評価値算出手段と、前記評価値に基づいて、前記組合せのうちから１の組合せを選択する代表画像組合せ選択手段とを備える代表画像選択システムとしてコンピュータを機能させるためのプログラムであって、前記代表画像組合せ選択手段は、複数の選択基準のうちの指定される選択基準に従って、組合せ毎の評価値を、複数の組合せの間で比較することにより、前記１の組合せを選択することを特徴とするプログラムが提供される。
【００２４】
上記のプログラムにおいて、前記代表画像組合せ選択手段は、前記代表画像の組合せの前記評価値が最小になる選択基準の前記代表画像の組合せを選択するようにしてもよい。【００２５】
上記のプログラムにおいて、前記代表画像組合せ選択手段は、前記代表画像の組合せの前記評価値が最大になる選択基準の前記代表画像の組合せを選択するようにしてもよい。【００２６】
上記のプログラムにおいて、前記評価値算出手段は、前記代表画像の特徴量にもとづいて前記評価値を算出するようにしてもよい。
【発明の効果】
【００３８】
本発明によれば、指定されたそれぞれの映像を代表する画像に応じて、一覧表示する画像を決定するので、利用者は、複数の映像の内容を容易に把握したり、所望の映像を容易に選択することができる。【００３９】
代表画像組合せ選択手段が、評価値算出手段が画像の特徴量にもとづいて算出した評価値が最小になる組合せの画像を選択するように構成されている場合には、同一カテゴリの映像を代表する画像として、互いに類似性が強調された画像が選択されるので、利用者は、特定のカテゴリに属する映像を容易に見つけることができる。【００４０】
また、代表画像組合せ選択手段が、評価値算出手段が画像の特徴量にもとづいて算出した評価値が最大になる組合せの画像を選択するように構成されている場合には、指定されたそれぞれの映像の差異が強調される画像が選択されるので、利用者は、特定の映像を容易に見つけることができる。【００４１】
代表画像群組合せ選択手段が、評価値算出手段が算出した第１の評価値と第２の評価値とにもとづいて、選択する画像を決定するように構成されている場合には、指定されたそれぞれの映像を代表する他の画像との類似性が強く、他の映像を代表する画像との違いが強調された画像が選択されるので、利用者は、特定の映像を容易に見つけることができる。【００４２】
評価値算出手段が、表示手段が画像を表示する際に隣接する画像であって、それぞれの映像を代表する画像の相関を予め定められた算出方法により第２の評価値として算出するように構成されている場合には、一覧表示の際に、隣接する画像との差異が大きい画像を表示手段に表示させることができる。
【図面の簡単な説明】
【００４３】
【図１】代表画像表示システムの第１の実施の形態の一構成例を示すブロック図である。
【図２】キーフレームを、代表画像組合せとして抽出する際の動作を説明する説明図である。
【図３】第１の実施の形態の動作を説明するフローチャートである。
【図４】１つの映像から複数枚のキーフレームを代表画像組合せとして抽出した場合を説明する説明図である。
【図５】代表画像表示システムの第２の実施の形態の一構成例を示すブロック図である。
【図６】第２の実施の形態の動作を説明するフローチャートである。
【図７】代表画像表示システムの第３の実施の形態の一構成例を示すブロック図である。
【図８】代表画像表示システムの第４の実施の形態の一構成例を示すブロック図である。
【図９】代表画像群表示システムの第５の実施の形態の一構成例を示すブロック図である。
【図１０】第５の実施の形態の動作を説明するフローチャートである。
【符号の説明】
【００４４】
１  入力装置
２、５、６、７、８  データ処理装置
３  記憶装置
４  出力装置
２１  映像選定手段
２２、６２  代表画像組合せ抽出手段
２３、５３、８３  評価値算出手段
２４、５４、７４  代表画像組合せ選択手段
３１  キーフレーム記憶部
３２  映像データ記憶部
３３  キーフレーム特徴データ記憶部
８２  代表画像群組合せ抽出手段
８４  代表画像群組合せ選択手段
【発明を実施するための最良の形態】
【００４５】
実施の形態１．
本発明の第１の実施の形態について、図面を参照して説明する。図１は、本発明による代表画像表示システムの第１の実施の形態の一構成例を示すブロック図である。【００４６】
本発明による代表画像表示システムは、利用者が指示を入力する入力装置１と、プログラム制御により動作するデータ処理装置２と、情報を記憶する記憶装置３と、情報を出力する出力装置（表示手段）４とを含む。【００４７】
入力装置１は、キーボード、キーパッドおよびポインティングデバイスなどの入力デバイスを含む。入力装置１には、映像検索条件の指定や種々の命令が入力される。映像検索条件の指定は、例えば、キーワードや、日付、またはジャンル等にもとづく映像の検索、映像の並べ替え、および映像の絞込み等の指定である。【００４８】
また、出力装置４は、例えば、ディスプレイ装置や印刷装置等によって実現される。出力装置４は、代表画像を含む情報を表示し、入力装置１と協働してグラフィカルなユーザインタフェースを提供する。【００４９】
記憶装置（画像記憶手段）３は、キーフレーム記憶部３１と、映像データ記憶部３２と、キーフレーム特徴データ記憶部３３とを含む。【００５０】
キーフレーム記憶部３１は、各映像につきｃ枚（ｃは自然数）の映像を代表する画像（以下、キーフレームといい、キーフレームの集合をキーフレーム群という。）と、映像ごとに割り当てられたユニークな識別子（以下、映像識別子という。）とを記憶する。なお、キーフレーム記憶部３１は、各映像から抽出されたキーフレームを記憶する代わりに、各映像と、キーフレームの各映像における時間を示す時間位置情報とを併せて記憶してもよい。【００５１】
キーフレームは、例えば、映像におけるシーンが変わったタイミングの画像、各登場人物を含む画像、特定の形状を含む画像、出現頻度の高い画像などである。また、一部のフレームをキーフレームにする代わりに、全てのフレームをキーフレームにしてもよい。【００５２】
さらに、各映像から抽出されたキーフレームの代わりに、別途用意されたキーフレームを利用してもよい。例えば、映像の制作者が、その映像で最も大事であると思うフレームを、１つまたは複数選択して用意してもよい。なお、キーフレームを別途用意する方法は、映像の制作者が用意する方法に限定されない。例えば、映像解析によりキーフレームを自動的に選定したり、第三者が、キーフレームを手動で選定して用意したり、外部から持参した画像をキーフレームと定義してもよい。【００５３】
映像データ記憶部３２は、各映像のタイトルや、ジャンル、登場物、日付など示す書誌情報と、映像ごとに割り当てられた映像識別子とを記憶している。【００５４】
キーフレーム特徴データ記憶部３３は、各キーフレームの特徴量を、キーフレームごとに割り当てられた識別子とともに記憶している。特徴量は、キーフレームから抽出された物理的特徴量とキーフレームの内容について記述されたテキストデータとのうちの一方または双方である。物理的特徴量は、例えば、色、模様（テクスチャ）および形状のうちの１つまたは複数である。【００５５】
なお、色特徴量およびテクスチャ特徴量の抽出方法および距離算出方法は、非特許文献１に記載されている。形状特徴量の抽出方法は、非特許文献２に記載されている。【００５６】
対比するキーフレームの両方の特徴量がテキストデータの場合に、キーワードやテキスト間の類似度算出方法で用いられるコサイン類似度は、非特許文献３の３．２節に記載されている。【００５７】
後述するキーフレーム間の距離の算出方法として、例えば、非特許文献１〜３に記載されている方法を用いる。なお、キーフレームの特徴量が、物理的特徴量とテキストデータの特徴量との組合せである場合には、物理的特徴量の類似度とテキストデータの特徴量の類似度とを重み付け加算して、キーフレーム間の距離を算出する。【００５８】
データ処理装置２は、映像選定手段２１と、代表画像組合せ抽出手段２２と、評価値算出手段２３と、代表画像組合せ選択手段２４とを含む。【００５９】
映像選定手段２１は、映像データ記憶部３２が記憶している書誌情報を探索し、入力装置１に入力された検索条件を満たす映像を選定する。具体的には、入力装置１に、キーワード、日付、ジャンル等にもとづく映像の検索、並べ替え、または絞込みの映像検索条件が入力された場合に、映像選定手段２１は、入力された映像検索条件を満たす映像の映像識別子を取得する。条件を満たす映像のキーフレームが一覧表示の候補である。【００６０】
代表画像組合せ抽出手段２２は、キーフレーム記憶部３１が記憶しているキーフレーム群から、映像選定手段２１が取得した映像識別子に対応している各映像のキーフレームを、各映像に対してそれぞれ１つずつ選定して抽出する。【００６１】
代表画像組合せ抽出手段２２は、代表画像を一覧表示すべき映像（すなわち、利用者に指定されたそれぞれの映像）がｎ個であって、ｐ番目の映像のキーフレームがｃｐ枚（１≦ｐ≦ｎ）存在する場合には、各映像から１枚ずつ、合計ｎ個のキーフレームを、１つの代表画像組合せ（すなわち、キーフレームの組合せ。）として抽出する。図２は、キーフレームを、代表画像組合せとして抽出する際の動作を説明する説明図である。代表画像組合せ抽出手段２２が抽出する代表画像組合せは、ｃ１×ｃ２×・・・×ｃｐ・・・×ｃｎ通り存在するが、全通りの代表画像組合せを抽出してもよいし、限定条件を設けて、一部の代表画像組合せのみを抽出してもよい。【００６２】
なお、限定条件を設けて一部の代表画像組合せのみを抽出する方法として、例えば、全ての画像組合せを順番に並べ、一定の間隔で画像組合せを抽出する方法がある。【００６３】
評価値算出手段２３は、代表画像組合せ抽出手段２２が抽出した各代表画像組合せに対して、代表画像組合せが含むキーフレーム全体の特徴量の分布状況（特徴量の分散や偏り）を評価値として算出する。例えば、各キーフレームの特徴量をキーフレーム特徴データ記憶部３３から取得して、各キーフレームの特徴量の距離を算出し、その合計を求めることにより評価値を算出する。【００６４】
評価値算出手段２３は、各代表画像組合せに対して、評価値を１つずつ算出する。従って、代表画像組合せ抽出手段２２が抽出した組合せの数がｍ通りである場合に、評価値算出手段２３は、ｍ個の評価値を算出する。【００６５】
代表画像組合せ選択手段２４は、評価値算出手段２３が算出した各代表画像組合せの評価値にもとづいて、代表画像組合せ抽出手段２２が抽出した代表画像組合せから、代表画像として表示する代表画像組合せを１つ（１枚）選択する。【００６６】
評価値にもとづく選択方法として、例えば、最大の評価値の組合せを選択したり、最頻値（評価値の度数分布表の構成比率を見たときに、一番高い比率を示す値をいう。）を持つ組合せを選択したり、最小の評価値を持つ組合せを選択したりするなど、利用者は、入力装置１を操作して、一覧表示の目的に合わせて代表画像組合せ選択手段２４に、所望の条件を設定することができる。そして、代表画像組合せ選択手段２４は、選択した代表画像組合せが含むキーフレームと、映像選定手段２１が選定した各映像の書誌情報とを出力装置４に出力する。【００６７】
なお、データ処理装置２が含む各手段の動作を、プログラム制御に従って処理を実行するＣＰＵが行ってもよい。【００６８】
具体的には、データ処理装置２が、指定されたそれぞれの映像を代表する画像の組合せであって、各映像を代表する１枚以上の画像をそれぞれ記憶する記憶装置３が記憶している画像の組合せの評価値を算出する評価値算出処理と、評価値算出処理で算出した評価値にもとづいて、指定されたそれぞれの映像を代表する画像を、記憶装置３に記憶されている画像から１枚ずつ選択する代表画像組合せ選択処理と、代表画像組合せ選択処理で選択した画像を出力装置４に表示させる表示処理とを実行させるための代表画像表示プログラムを搭載していてもよい。【００６９】
次に、本発明の第１の実施の形態の動作について、図面を参照して説明する。図３は、本発明の第１の実施の形態の動作を説明するフローチャートである。【００７０】
入力装置１は、入力された検索条件を映像選定手段２１に出力する。映像選定手段２１は、映像データ記憶部３２が記憶している書誌情報を探索して、入力された検索条件を満たす映像を選定する（ステップＳ１０１）。【００７１】
例えば、入力装置１に、キーワードが入力された場合に、映像選定手段２１は、映像データ記憶部３２がキーワードと同じ文字列を含む書誌情報を記憶しているか否かを調べる。【００７２】
映像選定手段２１は、映像データ記憶部３２が検索条件を満たす書誌情報を記憶していた場合に、その書誌情報に対応する映像の映像識別子を読み出し（ステップＳ１０２）、代表画像組合せ抽出手段２２に出力する。【００７３】
代表画像組合せ抽出手段２２は、キーフレーム記憶部３１から、映像選定手段２１が出力した映像識別子に対応する映像のキーフレーム群を特定する。そして、代表画像組合せ抽出手段２２は、特定したキーフレーム群から、各映像の代表画像として表示するキーフレームをそれぞれ１つずつ選定して抽出する（ステップＳ１０３）。【００７４】
キーフレームの選定方法は複数存在し、全通りのキーフレームの組合せを代表画像組合せとして抽出してもよいし、限定条件を設けて一部の組合せのみを代表画像組合せとして抽出してもよい。なお、限定条件を設けて一部の組合せのみを代表画像組合せとして抽出する方法として、例えば、全ての組合せを順番に並べ、一定の間隔で組合せを抽出する方法がある。【００７５】
次に、評価値算出手段２３は、代表画像組合せ抽出手段２２が抽出したすべての代表画像組合せ（キーフレームの組合せ）に対して、各代表画像組合せが含む各キーフレームの特徴量をキーフレーム特徴データ記憶部３３から取得し、キーフレーム全体の分布状況（特徴量の分布状況）をその代表画像組合せの評価値として算出する（ステップＳ１０４、Ｓ１０５）。【００７６】
キーフレームの色特徴量およびテクスチャ特徴量の抽出方法と、各キーフレーム間の距離（評価値）算出方法とは、非特許文献１に記載されている。形状特徴量の抽出方法は、非特許文献２に記載されている。対比するキーフレームの特徴量がテキストデータの場合に、キーワードやテキスト間の類似度算出方法で用いられるコサイン類似度は、非特許文献３の３．２節に記載されている。【００７７】
代表画像組合せ選択手段２４は、評価値算出手段２３が算出した各代表画像組合せの評価値にもとづいて、代表画像組合せ抽出手段２２が抽出した代表画像組合せから、表示する代表画像組合せを１つ選択する（ステップＳ１０６）。【００７８】
そして、代表画像組合せ選択手段２４は、選択した代表画像組合せが含む各映像に対するキーフレームと、映像選定手段２１が選定した各映像の書誌情報とを、出力装置４に出力する。出力装置４は、映像の書誌情報と、映像に対応する代表画像（キーフレーム）とを映像毎に一覧表示する（ステップＳ１０７）。【００７９】
以上に述べたように、本実施の形態によれば、各映像のキーフレームの特徴量の分布状況に応じて、適応的に一覧表示する代表画像を決定する。そのため、利用者は、複数の映像の内容を容易に把握したり、所望の映像を容易に選択することができる。【００８０】
なお、本実施の形態では、各映像（例えば、ｎ個の映像）から１枚ずつ、合計ｎ個のキーフレームを１つの代表画像組合せとして抽出したが、１つの映像に対して複数枚のキーフレームを代表画像組合せとして抽出して一覧表示してもよい。図４は、１つの映像から複数枚のキーフレームを代表画像組合せとして抽出した場合を説明する説明図である。【００８１】
また、各映像（例えば、ｎ個の映像）から１枚ずつ、合計ｎ個のキーフレームを１つの代表画像組合せとして抽出する手順を複数回繰り返して、各映像につき複数枚のキーフレームを抽出してもよい。【００８２】
実施の形態２．
本発明の第２の実施の形態について、図面を参照して説明する。図５は、本発明による代表画像表示システムの第２の実施の形態の一構成例を示すブロック図である。【００８３】
本実施の形態では、データ処理装置５が、第１の実施の形態の評価値算出手段２３の代わりに評価値算出手段５３を備え、第１の実施の形態の代表画像組合せ選択手段２４の代わりに代表画像組合せ選択手段５４を備えている点で、第１の実施の形態と異なる。【００８４】
その他の構成は第１の実施の形態の構成と同様であるため、その他の構成要素には図１と同じ符号を付し、説明を省略する。【００８５】
評価値算出手段５３は、代表画像組合せ抽出手段２２が抽出した各代表画像組合せに対して、代表画像組合せが含む各キーフレームと他のキーフレームとの距離の合計の総和を各代表画像組合せの評価値として算出する。つまり、評価値算出手段５３は、代表画像組合せが含む各キーフレームが他のキーフレームと異なる特徴をどの程度有しているのかを評価する値を算出する。評価値算出手段５３は、キーフレーム特徴データ記憶部３３から各キーフレームの特徴量を取得して評価値算出に用いる。【００８６】
代表画像組合せ選択手段５４は、評価値算出手段５３が算出した各代表画像組合せの評価値のうち、最も評価値の大きい代表画像組合せを選択する。つまり、代表画像組合せが含むキーフレームにおいて、キーフレームが他のキーフレームと最も異なる組合せ（すなわち、キーフレーム間の差異が最も大きい組合せ）が選択されることになる。【００８７】
次に、本発明の第２の実施の形態の動作について、図面を参照して説明する。図６は、本発明の第２の実施の形態の動作を説明するフローチャートである。【００８８】
入力装置１は、入力された検索条件を映像選定手段２１に出力する。映像選定手段２１は、映像データ記憶部３２が記憶している書誌情報を探索して、入力された検索条件を満たす映像を選定する（ステップＳ２０１）。【００８９】
映像選定手段２１は、映像データ記憶部３２が検索条件を満たす書誌情報を記憶していた場合に、その書誌情報に対応する映像の映像識別子を読み出し、代表画像組合せ抽出手段２２に出力する（ステップＳ２０２）。【００９０】
代表画像組合せ抽出手段２２は、キーフレーム記憶部３１から、映像選定手段２１が出力した映像識別子に対応する映像のキーフレーム群を特定する。そして、代表画像組合せ抽出手段２２は、特定したキーフレーム群から、各映像の代表画像として表示するキーフレームをそれぞれ１つずつ選定して抽出する（ステップＳ２０３）。【００９１】
評価値算出手段５３は、代表画像組合せ抽出手段２２が抽出した各代表画像組合せ（例えば、ｍ通り）に対して、代表画像組合せが含む各キーフレームと他のキーフレームとの距離の合計の総和を各代表画像組合せの評価値として算出する。【００９２】
具体的には、評価値算出手段５３は、ｍ通り存在するうちのｊ番目（１≦ｊ≦ｍ）の代表画像組合せについて、各キーフレームの特徴量をキーフレーム特徴データ記憶部３３から取得する（ステップＳ２０４）。【００９３】
ここで、一の映像に対して、表示すべき画像の数がｎ個である場合には、評価値算出手段５３は、ｎ個のキーフレームの特徴量を取得する。そして、評価値算出手段５３は、各特徴量同士の距離を算出し、その合計を評価値として算出する。各代表画像組合せに対して、評価値が１つずつ算出される。具体的には、評価値算出手段５３は、各キーフレームの特徴量をｘｋ（１≦ｋ≦ｎ）とすると、評価値Ｄｊは以下に示す式を用いて算出する（ステップＳ２０５）。【００９４】
【数１】
0005212610.tif 000002
【００９５】
評価値算出手段５３は、同様の手順で、ｍ通りの代表画像組合せの全てに対して、評価値を算出する（ステップＳ２０６、Ｓ２０７）。【００９６】
代表画像組合せ選択手段５４は、評価値算出手段５３が算出した各代表画像組合せについての評価値にもとづいて、代表画像組合せ抽出手段２２が抽出した代表画像組合せのうち、評価値が最大の代表画像組合せを選択する（ステップＳ２０８）。【００９７】
そして、代表画像組合せ選択手段５４は、選択した代表画像組合せが含む各映像に対するキーフレームと、映像選定手段２１が選定した各映像の書誌情報とを、出力装置４に出力する。出力装置４は、映像の書誌情報と、映像に対応する代表画像（キーフレーム）とを映像毎に一覧表示する（ステップＳ２０９）。【００９８】
以上に述べたように、本実施の形態によれば、第１の実施の形態と同様に、表示対象の映像から、各映像のキーフレームの特徴量の分布状況に応じて、適応的に一覧表示する代表画像を決定する。そのため、利用者は、複数の映像の内容を容易に把握したり、所望の映像を容易に選択することができる。【００９９】
また、代表画像組合せが含む各キーフレームと他のキーフレームとの距離の合計の総和を代表画像組合せの評価値として利用し、評価値が最大になる代表画像組合せを表示する代表画像組合せに選定するので、キーフレーム間の差異が最も強調される代表画像組合せを選択することができる。そのため、代表画像の一覧から各映像間の違いを明確にすることで、利用者は、複数の映像の内容を容易に把握したり、所望の映像を容易に選択することができる。【０１００】
なお、本実施の形態でも、各映像（例えば、ｎ個）から１枚ずつ、合計ｎ個のキーフレームを１つの代表画像組合せとして抽出する代わりに、図４に示すように、１つの映像につき複数枚のキーフレームを代表画像組合せとして抽出してもよい。【０１０１】
実施の形態３．
本発明の第３の実施の形態について、図面を参照して説明する。図７は、本発明による代表画像表示システムの第３の実施の形態の一構成例を示すブロック図である。【０１０２】
本実施の形態では、データ処理装置６が、第２の実施の形態の代表画像組合せ抽出手段２２の代わりに代表画像組合せ抽出手段６２を備えている点で、第２の実施の形態と異なる。【０１０３】
その他の構成は第２の実施の形態の構成と同様であるため、その他の構成要素には図５と同じ符号を付し、説明を省略する。【０１０４】
代表画像組合せ抽出手段６２は、映像データ記憶部３２が記憶している書誌情報にもとづいて映像選定手段２１が選定した映像の映像識別子であって、特定カテゴリとみなせる映像の映像識別子を選定する。【０１０５】
特定カテゴリとしては、例えば、タイトルが同一である映像や、ジャンルが同一である映像群などである。【０１０６】
そして、代表画像組合せ抽出手段６２は、代表画像組合せ抽出手段６２が選定した映像識別子にもとづいて、キーフレーム記憶部３１から、特定カテゴリに属する各映像のキーフレーム群を特定する。そして、代表画像組合せ抽出手段６２は、特定したキーフレーム群から、各映像の共通の代表画像として表示するキーフレームをそれぞれ１つずつ選定して抽出する。【０１０７】
例えば、特定カテゴリとして、ドラマの連続シリーズを表示対象とする場合には、代表画像組合せ抽出手段６２は、放送回ごとに異なる人物を含む画像（キーフレーム）を代表画像に選定して抽出する。また、その日のニュースを表示対象とする場合には、代表画像組合せ抽出手段６２は、例えば、異なるトピックを含む画像（キーフレーム）をそれぞれのニュースを代表する画像として選定して抽出する。【０１０８】
以上に述べたように、本実施の形態によれば、第１の実施の形態と同様に、表示対象の各映像から、各映像のキーフレームの特徴量の分布状況に応じて、適応的に一覧表示する代表画像を決定する。このため、利用者は、複数の映像の内容を容易に把握したり、所望の映像を容易に選択することができる。【０１０９】
また、同一カテゴリの映像における代表画像組合せが含む各キーフレームと他のキーフレームとの距離の合計の総和を代表画像組合せの評価値として利用し、評価値が最大になる代表画像組合せを選定するように構成した場合には、同一カテゴリの映像におけるキーフレーム間の類似性が最も強調される代表画像組合せを選択することができる。【０１１０】
そのため、代表画像の一覧から同一カテゴリに含まれる映像間の違いを明確にすることで、利用者は、特定のカテゴリに属する映像の内容を容易に把握したり、所望の映像を容易に選択することができる。タイトルだけでは内容の区別がつきにくい映像（例えば、同一タイトルや同一ジャンルの複数の映像）の代表画像を一覧表示する場合に、特に有効である。【０１１１】
なお、本実施の形態でも、各映像（例えば、ｎ個の映像）から１枚ずつ、合計ｎ個のキーフレームを１つの代表画像組合せとして抽出する代わりに、図４に示すように、１つの映像につき複数枚のキーフレームを代表画像組合せとして抽出してもよい。【０１１２】
実施の形態４．
本発明の第４の実施の形態について、図面を参照して説明する。図８は、本発明による代表画像表示システムの第４の実施の形態の一構成例を示すブロック図である。【０１１３】
本実施の形態では、データ処理装置７が、第３の実施の形態の代表画像組合せ選択手段５４の代わりに代表画像組合せ選択手段７４を備えている点で、第３の実施の形態と異なる。【０１１４】
その他の構成は第３の実施の形態の構成と同様であるため、その他の構成要素には図７と同じ符号を付し、説明を省略する。【０１１５】
代表画像組合せ選択手段７４は、評価値算出手段５３が算出した各代表画像組合せの評価値のうち、最も評価値が小さい代表画像組合せを選択する。つまり、代表画像組合せが含む各キーフレームが他のキーフレームと互いに最も類似している代表画像組合せが選択され、各キーフレームが他のキーフレームと互いに最も類似した代表画像が表示されることになる。【０１１６】
類似した代表画像群を一覧表示する代わりに、最も評価値が小さい代表画像組合せが含む代表画像から１枚の画像を選択し、同一カテゴリの映像全てについて、この選択された画像を出力装置４に提示させてもよい。【０１１７】
以上に述べたように、本実施の形態によれば、第１の実施の形態と同様に、一覧表示する代表画像を、各代表画像組合せが含むキーフレーム全体の特徴量の分布状況を評価して決定する。そのため、所望の特徴量の分布に応じた代表画像が一覧表示され、利用者は、複数の映像の内容を容易に把握したり、所望の映像を容易に選択することができる。【０１１８】
また、代表画像組合せが含む各キーフレームと他のキーフレームとの距離の合計の総和を代表画像組合せの評価値として利用し、最も評価値が小さい（評価値が最小の）代表画像組合せを選択するので、キーフレーム間の類似性が最も強調された代表画像組合せを選択することができる。【０１１９】
そのため、多量の映像の代表画像を一覧表示する場合に、同一カテゴリの映像については互いに類似した代表画像が提示されるため、代表画像を見れば特定のカテゴリに属する映像を容易に見つけられ、利用者は、代表画像の一覧から所望の映像を容易に探すことができる。【０１２０】
実施の形態５．
本発明の第５の実施の形態について、図面を参照して説明する。図９は、本発明による代表画像群表示システムの第５の実施の形態の一構成例を示すブロック図である。【０１２１】
本実施の形態では、データ処理装置８が、第１の実施の形態の代表画像組合せ抽出手段２２の代わりに代表画像群組合せ抽出手段８２を備え、第１の実施の形態の評価値算出手段２３の代わりに評価値算出手段８３を備え、第１の実施の形態の代表画像組合せ選択手段２４の代わりに代表画像群組合せ選択手段８４を備えている点で、第１の実施の形態と異なる。【０１２２】
その他の構成は第１の実施の形態の構成と同様であるため、その他の構成要素には図１と同じ符号を付し、説明を省略する。【０１２３】
代表画像群組合せ抽出手段８２は、キーフレーム記憶部３１から、映像選定手段２１が選定した映像の映像識別子に対応するキーフレーム群を特定する。そして、特定したキーフレーム群から、各映像の代表画像として表示するキーフレームをそれぞれａ枚ずつ選定して抽出する。【０１２４】
ここで、代表画像を一覧表示すべき映像がｎ個であって、ｐ番目の映像に存在するキーフレームがｃｐ個（１≦ｐ≦ｎ）存在する場合には、代表画像群組合せ抽出手段８２は、各映像からａ枚ずつ、合計ｎ×ａ枚のキーフレームを１つの代表画像群組合せとして抽出する。【０１２５】
そして、評価値算出手段８３は、代表画像群組合せ抽出手段８２が抽出した各代表画像群組合せに対して、各代表画像群組合せを構成するキーフレーム群の特徴量の分布状況を映像の組合せごとに算出して第１の評価値を求める。【０１２６】
具体的には、例えば、一の映像のキーフレームのすべての組合せごとに、ＲＧＢ空間（ＨＳＶ空間や、Ｌａｂ空間であってもよい。）におけるユークリッド距離の平均値を算出し、算出した平均値を、各キーフレームの組合せの第１の評価値とする。【０１２７】
ＲＧＢ空間におけるユークリッド距離の平均値の算出について説明する。一の映像のキーフレームが含む全ての画素のＲＧＢ値の平均値を算出し、算出した平均値をそのキーフレームの特徴量とする。そして、一の映像のキーフレームのすべての組合せごとに、ＲＧＢ空間における特徴量間のユークリッド距離を算出する。【０１２８】
一の映像のキーフレームのすべての組合せについて、算出したユークリッド距離を合計し、ユークリッド距離を合計した値の平均値を第１の評価値とする。【０１２９】
例えば、一の映像の代表画像群組合せを構成するキーフレーム群のキーフレームがＣｐ個あり、Ｃｐ個のキーフレームによる各キーフレームの組合せがｂ個あった場合の、ｑ番目の組合せの第１の評価値をＶ１（ｐ，ｑ）とする。【０１３０】
第１の評価値が小さければ、キーフレームの組合せ（すなわち、代表画像群組合せ）のＲＧＢ空間での平均距離が短いため、ＲＧＢ色が似ていることになる。すなわち、ＲＧＢ色が似ているキーフレームの組合せ（代表画像群組合せ）は、第１の評価値が小さい。【０１３１】
次に、評価値算出手段８３は、一の映像に対して代表画像群組合せ抽出手段８２が抽出した各代表画像群組合せと、異なる映像に対して代表画像群組合せ抽出手段８２が抽出した各代表画像群組合せとの特徴量の分布状況を第２の評価値として算出する。【０１３２】
具体的には、例えば、各映像の各代表画像群組合せに対して、各映像ごとに第１の評価値を１つずつ選択し、それらを合計した値を第２の評価値Ｖ２とする。【０１３３】
つまり、第２の評価値Ｖ２＝Ｖ１（１，ｑ１）＋Ｖ１（２，ｑ２）＋・・・＋Ｖ１（ｎ，ｑｎ）となる。【０１３４】
ここで、ｑｍ（０＜ｍ≦ｎ）は、ｍ番目の映像におけるあるキーフレームの組合せ（代表画像群組合せ）である。【０１３５】
第２の評価値が大きいと、各映像のキーフレーム間で、ＲＧＢ空間での特徴量の距離が長くなる。すなわち、各映像からそれぞれ抽出されたキーフレームの組合せにおいて、ＲＧＢ色が大きく異なるキーフレームの組合せは、第２の評価値が大きい。【０１３６】
代表画像群組合せ選択手段８４は、評価値算出手段８３が算出した各代表画像群組合せに対する２種類の評価値にもとづいて、代表画像群組合せ抽出手段８２が抽出した代表画像群組合せから、代表画像群として表示する代表画像群組合せを１つ選択する。【０１３７】
評価値に基づく選択方法として、例えば、同一映像内のキーフレームの特徴量の分布を示す第１の評価値の合計が極力小さくなり、映像間の特徴量の分布を示す第２の評価値が極力大きくなるような代表画像群の組合せを選択する選択方法がある。【０１３８】
具体的には、例えば、代表画像群組合せ選択手段８４は、第２の評価値を第１の評価値で割った商が最大の値の代表画像群組合せを選択する。つまり、代表画像群組合せ選択手段８４は、Ｖ２／Ｖ１が最大の値になるキーフレームの組合せ（代表画像群組合せ）を選択する。【０１３９】
例えば、各キーフレームの色特徴を用いて各評価値を算出した場合には、同一映像内から選択されるキーフレームの色が類似しており、同時に他の映像との色の違いが最も強調されるような代表画像群の組合せが選択される。そして、代表画像群組合せ選択手段８４は、選択した代表画像群組合せが含むキーフレーム群と、映像選定手段２１が選定した各映像の書誌情報とを出力装置４に出力する。【０１４０】
なお、データ処理装置８が含む各手段の動作を、プログラム制御に従って処理を実行するＣＰＵが行ってもよい。【０１４１】
具体的には、データ処理装置８が、コンピュータに、指定されたそれぞれの映像を代表する画像の組合せであって、各映像を代表する複数の画像をそれぞれ記憶する記憶装置３が記憶している画像の組合せの評価値を算出する評価値算出処理と、評価値算出処理で算出した評価値にもとづいて、指定されたそれぞれの映像を代表する画像を、記憶装置３に記憶された画像から複数枚ずつ選択する代表画像群組合せ選択処理と、代表画像群組合せ選択処理で選択した画像を表示手段に表示させる表示処理とを実行させるための代表画像群表示プログラムを搭載していてもよい。【０１４２】
次に、本発明の第５の実施の形態の動作について、図面を参照して説明する。図１０は、本発明の第５の実施の形態の動作を説明するフローチャートである。【０１４３】
入力装置１は、入力された検索条件を映像選定手段２１に出力する。映像選定手段２１は、映像データ記憶部３２が記憶している書誌情報を探索して、入力された検索条件を満たす映像を選定する（ステップＳ５０１）。【０１４４】
映像選定手段２１は、映像データ記憶部３２が検索条件を満たす書誌情報を記憶していた場合に、その書誌情報に対応する映像の映像識別子を読み出し（ステップＳ５０２）、代表画像群組合せ抽出手段８２に出力する。【０１４５】
代表画像群組合せ抽出手段８２は、キーフレーム記憶部３１から、映像選定手段２１が出力した映像識別子に対応する映像のキーフレーム群を特定する。そして、代表画像群組合せ抽出手段８２は、特定したキーフレーム群から、各映像の代表画像として表示するキーフレームをそれぞれｋ枚ずつ選定して抽出する（ステップＳ５０３）。【０１４６】
キーフレーム群の選定方法は複数存在するが、全ての組合せを代表画像群組合せとして抽出してもよいし、限定条件を設けて一部の組合せのみを代表画像群組合せとして抽出してもよい。なお、限定条件を設けて一部の組合せのみを代表画像群組合せとして抽出する方法として、例えば、全ての組合せを順番に並べ、一定の間隔で組合せを抽出する方法がある。【０１４７】
評価値算出手段８３は、代表画像群組合せ抽出手段８２が抽出したすべての代表画像群組合せが含む各キーフレームの特徴量を、キーフレーム特徴データ記憶部３３から取得する（ステップＳ５０４）【０１４８】
評価値算出手段８３は、代表画像群組合せ抽出手段８２が抽出した各代表画像群組合せに対して、キーフレーム群の特徴量の分布状況を映像ごとに算出し、例えば、ｂ個の第１の評価値を求める（ステップＳ５０５）。また、評価値算出手段８３は、代表画像群組合せ抽出手段８２が抽出した各代表画像群組合せに対して、異なる映像に対するキーフレーム群同士の特徴量の分布状況として、第１の評価値にもとづいて、第２の評価値を算出する（ステップＳ５０６）。【０１４９】
代表画像群組合せ選択手段８４は、評価値算出手段８３が算出した各代表画像群組合せの２種類の評価値にもとづいて、代表画像群組合せ抽出手段８２が抽出した代表画像群組合せから、表示する代表画像群として用いる代表画像群組合せを１つ選択する（ステップＳ５０７）。【０１５０】
評価値に基づく選択方法として、例えば、同一映像内のキーフレームの分布を表す第１の評価値の合計が極力小さくなり、映像間の分布を表す第２の評価値が極力大きくなるような代表画像群の組合せを選択する選択方法がある。例えば、各キーフレームの色特徴を用いて評価値を算出する場合、同一映像内から選択されるキーフレームの色が類似しており、他の映像との色の違いが最も強調されるような代表画像群の組合せを選択する。【０１５１】
また、例えば、代表画像群の一覧表示の際に、ある代表画像群に対して、その前後に存在する映像の代表画像群との差分のみ強調するように評価方法を設定することにより、代表画像群同士の区切りを明確に表示してもよい。【０１５２】
具体的には、例えば、第２の評価値の算出方法として、ｉ番目の映像については、ｉ番目の映像の一の代表画像群の第１の評価値とｉ−１番目の映像の一の代表画像群の第１の評価値との差分と、ｉ番目の映像の当該一の代表画像群の第１の評価値とｉ＋１番目の映像の一の代表画像群の第１の評価値との差分との和を算出し、算出した結果をｉ番目の映像の当該一の代表画像群の第２の評価値とする第２の評価値の算出方法がある。【０１５３】
同様な方法で、全ての映像の全ての代表画像群の第２の評価値を算出する。そして、各映像において、第２の評価値が最も大きい代表画像群を、その映像の代表画像群として選択する。【０１５４】
このような方法で代表画像群を選択した場合には、代表画像群を一覧表示した場合に、前後の映像の代表画像群との差異が大きくなり、一覧表示の際に隣接する映像との差異を強調することができる。すなわち、隣接する画像との差異が大きい画像を出力装置４に表示させることができる。【０１５５】
代表画像群組合せ選択手段８４は、選択した代表画像群組合せが含む各映像のキーフレームと、映像選定手段２１が選定した各映像の書誌情報とを、出力装置４に出力する。出力装置４は、映像の書誌情報と、映像の代表画像（キーフレーム）とを映像毎に一覧表示する（ステップＳ５０８）。【０１５６】
以上に述べたように、本実施の形態によれば、一覧表示される各映像の代表画像群を、各代表画像群組合せが含むキーフレームの特徴量の分布状況を評価して決定する。そのため、利用者の所望の特徴量分布に応じた代表画像が一覧表示され、利用者は、複数の映像の内容を容易に把握したり、所望の映像を容易に選択することができる。【０１５７】
また、代表画像群組合せが含む各キーフレーム群内のキーフレーム同士の評価値（第１の評価値）が最小のキーフレームの組合せ（代表画像群組合せ）を選択することでキーフレーム間の類似性が最も強調されるとともに、他の映像のキーフレーム群との距離の合計の総和を評価値（第２の評価値）として利用することで映像間の差異が最も強調されるように代表画像群組合せを選択することができる。そのため、多量の映像の代表画像を一覧表示する場合に、互いに類似した（類似性が強い）代表画像を提示するため、特定のカテゴリに属する映像を見つけやすく、利用者は、代表画像群の一覧から所望の映像を容易に見つけることができる。
【産業上の利用可能性】
【０１５８】
本発明は、利用者の、記録メディアに記録された映像群の内容把握や、所望の映像の選択、検索を支援するために、一覧表示される映像の内容把握が利用者に容易になるように代表画像を表示するシステムおよびプログラムに適用することができる。具体的には、ハードディスクレコーダ、ホームサーバ、パソコン、携帯電話機、ＤＶＤ（登録商標）などに蓄えられた映像の一覧表示に適用可能である。また、サーバ等の記録手段に、インターネットなどの通信ネットワークを経由してパソコンや携帯電話機などからアクセスし、サーバの記録メディアに含まれる映像の一覧表示にも適用可能である。また、携帯電話機などの小画面デバイスにおいては、表示領域が限られるため、代表画像の適応的な選択が有効である。
【図１】
0005212610.tif 000003
【図２】
0005212610.tif 000004
【図３】
0005212610.tif 000005
【図４】
0005212610.tif 000006
【図５】
0005212610.tif 000007
【図６】
0005212610.tif 000008
【図７】
0005212610.tif 000009
【図８】
0005212610.tif 000010
【図９】
0005212610.tif 000011
【図１０】
0005212610.tif 000012