(57)【要約】【課題】動画像データからキーフレームを精度よく且つ低コストに抽出する。【解決手段】動画像データを解析してシーンを検出するシーン解析部５１０と、シーン解析部５１０が検出した複数のシーンのうち最もシーン長が長いシーンに対応する複数のフレーム画像から、時系列的に中央または中央近傍のフレーム画像をキーフレームとして抽出するキーフレーム抽出部５２０と、キーフレームを正規化して画像の特徴量を抽出し、クラスタリング処理を実行して特徴量ヒストグラムを生成する特徴量解析部５３０と、特徴量ヒストグラムに基づいて機械学習を行って分類する分類処理部５４０とを備えた。【選択図】図２
2012105205.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを解析してシーンを検出するシーン解析部と、
前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、
備えることを特徴とするキーフレーム抽出装置。
【請求項２】
前記キーフレーム抽出部は、
前記シーン解析部が検出した複数のシーンのうち最もシーン長が長いシーンに対応する複数の画像データから、時系列的に中央または中央近傍の画像データをキーフレームとして抽出する
ことを特徴とする請求項１記載のキーフレーム抽出装置。
【請求項３】
前記キーフレーム抽出部は、
前記最もシーン長が長いシーンに対応する複数の画像データから、前記シーンの少なくとも両端に対応する画像データを含めずに複数の画像データをキーフレームとして抽出する
ことを特徴とする請求項２記載のキーフレーム抽出装置。
【請求項４】
前記キーフレーム抽出部は、
前記シーン解析部が検出した複数のシーンのうちシーン長が長い順に複数のシーンを選択し、選択した１シーンごとに、シーンに対応する複数の画像データから、時系列的に中央または中央近傍の画像データをキーフレームとして抽出する
ことを特徴とする請求項１記載のキーフレーム抽出装置。
【請求項５】
前記キーフレーム抽出部は、
前記選択した１シーンごとに、シーンに対応する複数の画像データから、前記シーンの少なくとも両端に対応する画像データを含めずに複数の画像データをキーフレームとして抽出する
ことを特徴とする請求項４記載のキーフレーム抽出装置。
【請求項６】
前記キーフレーム抽出部は、
前記シーンに対応する複数の画像データから、所定範囲の輝度値を有する複数の画像データを抽出し、これら抽出した複数の画像データからキーフレームを抽出する
ことを特徴とする請求項１から５いずれか一項記載のキーフレーム抽出装置。
【請求項７】
前記キーフレーム抽出部が抽出したキーフレームから画像の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した画像の特徴量に基づきクラスタリング処理を実行して特徴量ヒストグラムを生成するクラスタリング処理部と、
をさらに備えることを特徴とする請求項１または２記載のキーフレーム抽出装置。
【請求項８】
前記キーフレーム抽出部が抽出した複数のキーフレームそれぞれから画像の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した画像の特徴量に基づいて、キーフレームごとにクラスタリング処理を実行して複数の特徴量ヒストグラムを生成し、これら複数の特徴量ヒストグラムをクラスごとに加算して統合ヒストグラムを生成するクラスタリング処理部と、
をさらに備えることを特徴とする請求項１，３，４，５いずれか一項記載のキーフレーム抽出装置。
【請求項９】
コンピュータを、
動画像データを解析してシーンを検出するシーン解析部と、
前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、
として機能させるためのキーフレーム抽出プログラム。
【請求項１０】
シーン解析部が、動画像データを解析してシーンを検出するシーン解析ステップと、
キーフレーム抽出部が、前記シーン解析ステップにおいて前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出ステップと、
を有することを特徴とするキーフレーム抽出方法。
【請求項１１】
撮像して動画像データを生成する撮像部と、
前記撮像部が生成した動画像データを解析してシーンを検出するシーン解析部と、
前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、
前記キーフレーム抽出部が抽出したキーフレームに基づいて縮小画像データを生成するサムネイル生成部と、
前記サムネイル生成部が生成した縮小画像データを表示する表示部と、
備えることを特徴とする撮像装置。
【請求項１２】
動画像データを記憶する動画像データ記憶部と、
前記動画像データ記憶部に記憶された動画像データを解析してシーンを検出するシーン解析部と、
前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、
前記キーフレーム抽出部が抽出したキーフレームに基づいて縮小画像データを生成し、この縮小画像データを前記動画像データに関連付けて前記動画像データ記憶部に記憶させるサムネイル生成部と、
を備えたことを特徴とするサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置に関する。
【背景技術】
【０００２】
ビデオクリップ（動画像データ）からキーフレームを抽出する技術が知られている（例えば、特許文献１参照）。この特許文献１には、カメラにカメラモーションセンサを備え、グローバルモーションを計算して複数のビデオセグメントを形成し、一連のカメラモーションクラスにしたがって各セグメントをラベリングし、このラベリングしたセグメントからキーフレーム候補を抽出する技術が開示されている。このグローバルモーションは、カメラモーションセンサによるカメラワークや映像から得られるカメラワークを計算したものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００９−５３９２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されたキーフレーム候補の抽出方法では、カメラにカメラモーションセンサを設ける必要がある。また、この抽出方法では、グローバルモーションを計算するが、このグローバルモーションの計算負荷は重く高速な演算処理能力が要求される。すなわち、同文献に開示されたキーフレーム候補の抽出方法を実現するためのコストは高いものとなる。
そこで、本発明は、上記事情に鑑みてなされたものであり、特別なセンサを用いる必要がなく、高い演算処理能力を必要とせずに、動画像データからキーフレームを精度よく且つ低コストに抽出する、キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
［１］上記の課題を解決するため、本発明の一態様であるキーフレーム抽出装置は、動画像データを解析してシーンを検出するシーン解析部と、前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、備えることを特徴とする。
［２］上記の課題を解決するため、本発明の一態様であるキーフレーム抽出プログラムは、コンピュータを、動画像データを解析してシーンを検出するシーン解析部と、前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、として機能させる。
［３］上記の課題を解決するため、本発明の一態様であるキーフレーム抽出方法は、シーン解析部が、動画像データを解析してシーンを検出するシーン解析ステップと、キーフレーム抽出部が、前記シーン解析ステップにおいて前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出ステップと、を有することを特徴とする。
［４］上記の課題を解決するため、本発明の一態様である撮像装置は、撮像して動画像データを生成する撮像部と、前記撮像部が生成した動画像データを解析してシーンを検出するシーン解析部と、前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、前記キーフレーム抽出部が抽出したキーフレームに基づいて縮小画像データを生成するサムネイル生成部と、前記サムネイル生成部が生成した縮小画像データを表示する表示部と、備えることを特徴とする。
［５］上記の課題を解決するため、本発明の一態様であるサーバ装置は、動画像データを記憶する動画像データ記憶部と、前記動画像データ記憶部に記憶された動画像データを解析してシーンを検出するシーン解析部と、前記シーン解析部が検出したシーンのシーン長と前記シーンに対応する複数の画像データにおける時間方向の画像データの位置とに基づいて、キーフレームを抽出するキーフレーム抽出部と、前記キーフレーム抽出部が抽出したキーフレームに基づいて縮小画像データを生成し、この縮小画像データを前記動画像データに関連付けて前記動画像データ記憶部に記憶させるサムネイル生成部と、を備えたことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、特別なセンサを用いる必要がなく、高い演算処理能力を必要とせずに、動画像データからキーフレームを精度よく且つ低コストに抽出することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態であるキーフレーム抽出装置を適用した撮像装置の機能構成を表すブロック図である。
【図２】同実施形態におけるキーフレーム抽出装置の機能構成を表すブロック図である。
【図３】同実施形態において、時空間画像データを説明するための模式図である。
【図４】同実施形態において、キーフレーム抽出部が正規化動画像データの中からキーフレームを抽出する様子を模式的に表した図である。
【図５】同実施形態において、キーフレーム抽出部が抽出したキーフレームの画像の例である。
【図６】同実施形態における、キーフレーム抽出装置の動作手順を表すフローチャートである。
【図７】同実施形態において、表示部に表示された圧縮動画像データの一覧を模式的に表した図である。
【図８】第１実施形態の第１変形例において、キーフレーム抽出部が正規化動画像データの中から３個のキーフレームを抽出する様子を模式的に表した図である。
【図９】同変形例において、キーフレーム抽出部が抽出した３個のキーフレームの画像の例である。
【図１０】同変形例において、図９（ａ）における３個のキーフレームの画像それぞれのヒストグラムと、クラスタリング処理部がこれら３個のヒストグラムをクラスごとに加算して生成した統合ヒストグラムとを模式的に表した図である。
【図１１】同変形例において、表示部に表示された圧縮動画像データの一覧を模式的に表した図である。
【図１２】第１実施形態の第２変形例において、キーフレーム抽出部が正規化動画像データの中から３個のキーフレームを抽出する様子を模式的に表した図である。
【図１３】同変形例において、キーフレーム抽出部が抽出した３個のキーフレームの画像の例である。
【図１４】同変形例において、図１３（ａ）における３個のキーフレームの画像それぞれのヒストグラムと、クラスタリング処理部がこれら３個のヒストグラムをクラスごとに加算して生成した統合ヒストグラムとを模式的に表した図である。
【図１５】第１実施形態の第３変形例において、キーフレーム抽出部が正規化動画像データの中から９個のキーフレームを抽出する様子を模式的に表した図である。
【図１６】本発明の第２実施形態であるキーフレーム抽出装置を適用したサーバ装置を含む、ネットワークシステムの全体構成を表すブロック図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態であるキーフレーム抽出装置を適用した撮像装置の機能構成を表すブロック図である。同図に示すように、撮像装置１００は、撮像部１１０と、制御部１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０とを、バス３００を介して接続した構成を有する。
また、撮像装置１００には、記憶媒体２００が着脱可能に取り付けられている。なお、記憶媒体２００は、撮像装置１００に内蔵されるものであってもよい。
【０００９】
撮像部１１０は、制御部１９０が設定した撮像条件（例えば、絞り値、露出値）に基づいて制御部１９０により制御され、被写体から到来する光束を撮像して画像データを生成する。本実施形態において、画像データはフレーム画像データである。後述するように、撮像装置１００は写真のデータである静止画像データと、映像（ビデオ）のデータである動画像データとを扱う。静止画像データは１個の画像データである。また、動画像データは複数の画像データである。また、撮像部１００は、静止画像データおよび動画像データのデータ圧縮処理を行って記憶媒体２００に記憶させる。データ圧縮処理後の静止画像データは圧縮静止画像データであり、データ圧縮処理後の動画像データは圧縮動画像データである。ただし、撮像部１００は、静止画像データを非圧縮のまま記憶媒体２００に記憶させる場合もある。
以下の説明においては、撮像装置１００が動画像データを扱う場合について説明する。
なお、本実施形態では、圧縮動画像データを復号したデータは動画像データであることとして以下説明する。
【００１０】
撮像部１１０は、その機能構成として、光学系１１１と、撮像素子１１９と、アナログ／デジタル（Ａ／Ｄ）変換部１２０とを備える。
光学系１１１は、対物レンズおよび集束レンズを含むレンズ群を有し、被写体から到来する光束を集光して撮像素子１１９の撮像面に結像させる。
撮像素子１１９は、撮像面に結像した被写体像を光電変換することにより撮像してアナログ信号である画像信号を生成する。撮像素子１１９は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により実現される。
Ａ／Ｄ変換部１２０は、撮像素子１１９が生成した画像信号を取り込んでデジタルデータである画像データに変換する。
【００１１】
なお、光学系１１１は、撮像装置１００に一体的に設けられてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００１２】
制御部１９０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを含んで実現される。制御部１９０は、ＲＯＭに記憶した制御プログラムをＲＡＭに読み出して各ステップを実行することにより、バス３００を介して各部を制御する。例えば、制御部１９０は、Ａ／Ｄ変換部１２０が出力する画像データを、表示部１５０に表示させたり、画像処理部１４０でデータ圧縮させて記憶媒体２００に記憶させたりする。また、制御部１９０は、記憶媒体２００に記憶された圧縮静止画像データおよび圧縮動画像データをバッファメモリ部１３０に読み込ませ、画像処理部１４０により復号させて表示部１５０に表示させる。
【００１３】
また、制御部１９０は、その機能構成として、キーフレーム抽出装置５００と、サムネイル生成部５５０とを備える。キーフレーム抽出装置５００は、制御部１９０によって記憶媒体２００からバッファメモリ部１３０に読み出され、画像処理部１４０によって復号された動画像データを取り込む。そして、キーフレーム抽出装置５００は、取り込んだ動画像データからシーンを検出する。キーフレーム抽出装置５００は、シーンが切り替わるタイミング（シーンカットタイミング）を推定することによりシーンを検出する。そして、キーフレーム抽出装置５００は、推定したシーンカットタイミングに基づいてキーフレームを抽出し、このキーフレームを特定する情報（例えば、後述するフレーム識別情報）を出力する。そして、キーフレーム抽出装置５００は、キーフレームを分類して分類データも出力する。
【００１４】
撮影によって得られた動画像におけるシーンは、例えば、同一被写体が時間的な連続性を有して表現さる映像の一区間であり、シーンには撮影者が意図するテーマ（主題）が表現されていることが多い。連接する２個のシーンの区切り（シーンカット）は、撮像装置１００の撮像停止状態からの撮像開始時、撮影時のディゾルブやワイプ等の特殊効果映像の挿入、撮像装置１００の素早いパンやズーム等のカメラワーク等により生じる。また、撮影後の編集によって、シーンカットが生じる場合もある。
キーフレームは、動画像データのうち代表的な一または複数の画像データである。キーフレームの画像は、シーンのテーマを表現した画像であることが望ましい。本実施形態であるキーフレーム抽出装置５００は、動画像データにおけるキーフレームを精度よく抽出するものである。
【００１５】
サムネイル生成部５５０は、キーフレーム抽出装置５００が抽出したキーフレームに基づいて、当該キーフレームに対応する画像データの解像度を縮小したサムネイル画像データ（縮小画像データ）を生成し、当該キーフレームを含む動画像データに関連付けて記憶媒体２００に記憶させる。
【００１６】
操作部１８０は、電源スイッチ、シャッターボタン、十字キー、確定ボタン、キャンセルボタン、メニューボタン等の操作キーを有し、撮影者等の操作者による操作キーの操作にしたがって操作キー信号を発生させて制御部１９０に供給する。
画像処理部１４０は、記憶部１６０に記憶された画像処理条件に基づいて、バッファメモリ部１３０に記憶された画像データに対する画像処理を実行する。画像処理条件は、例えば、画像データ圧縮処理に関する条件であり、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｏｕｐ）−４、Ｍｏｔｉｏｎ  ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＭＰＥＧ−２等のデータ圧縮方式の指定や、データ圧縮の度合いの指定である。
バッファメモリ部１３０は、静止画像データ、動画像データ、圧縮静止画像データ、圧縮動画像データ等の各種画像に関するデータを一時記憶（バッファリング）する記憶部である。バッファメモリ部１３０は、例えば、Ａ／Ｄ変換部１２０が出力する画像データ、制御部１９０が通信部１７０を介して記憶媒体２００と受給する各種データ、画像処理部１４０がデータ圧縮処理および復号処理を実行する際に発生する各種データを記憶する。
【００１７】
表示部１５０は、例えば液晶ディスプレイ装置により実現され、撮像部１１０がとらえている画像を表示したり、画像処理部１４０が復号した静止画像データまたは動画像データを表示したり、各種メニューを表示したりする。
記憶部１６０は、制御部１９０が参照する撮像条件、画像処理部１４０が参照する画像処理条件等の情報を記憶する。
通信部１７０は、記憶媒体２００と接続可能な接続インタフェースを有する。通信部１７０は、接続インタフェースに記憶媒体２００が接続されている場合に、制御部１９０の制御に基づいて、記憶媒体２００に対する圧縮静止画像データ、圧縮動画像データ等の書込み処理、読み込み処理、または消去処理等を実行する。
【００１８】
記憶媒体２００は、例えばメモリカードにより実現される。記憶媒体２００は、圧縮静止画像データおよび圧縮動画像データを記憶する。また、記憶媒体２００は、動画像データに関連付けられたサムネイル画像データも記憶する。
【００１９】
次に、キーフレーム抽出装置５００の構成について説明する。図２は、キーフレーム抽出装置５００の機能構成を表すブロック図である。同図に示すように、キーフレーム抽出装置５００は、シーン解析部５１０と、キーフレーム抽出部５２０と、特徴量解析部５３０と、分類処理部５４０とを備える。
キーフレーム抽出装置５００は、制御部１９０によって記憶媒体２００からバッファメモリ部１３０に読み出され、画像処理部１４０によって復号された動画像データを取り込むと、その動画像データをキーフレーム抽出装置５００のシーン解析部５１０と特徴量解析部５３０とにそれぞれ供給する。
【００２０】
シーン解析部５１０は、供給された動画像データを取り込んで解析し、シーンカットタイミングを推定することによってシーンを検出する。シーン解析部５１０は、その機能構成として、時空間画像生成部５１１と、シーン検出部５１２とを備える。
【００２１】
時空間画像生成部５１１は、動画像データを所定の属性にしたがって正規化したのち、この正規化した動画像データ（正規化動画像データ）から、時間経過に伴うフレーム画像の画素値の変化を表す時空間画像データを生成する。所定の属性は、例えば、画像データの縦横比、解像度、色空間、フレームレートである。時空間画像生成部５１１が時空間画像データを生成する処理の詳細については後述する。
【００２２】
シーン検出部５１２は、時空間画像生成部５１１が生成した時空間画像データを取り込み、この時空間画像データを解析してシーンカットタイミングを推定することによりシーンを検出する。シーン検出部５１２は、推定した全てのシーンカットタイミングに対応するフレーム画像のフレーム識別情報を抽出し、これらのフレーム識別情報と正規化動画像データとを対応付けてキーフレーム抽出部５２０に供給する。フレーム識別情報は、正規化動画像データを構成するフレーム画像を特定する情報、言い換えると、動画像データを構成する画像データを特定する情報であり、例えばタイムスタンプ情報である。タイムスタンプ情報は、例えば、“時：分：秒．フレーム番号”により表される。
シーン検出部５１２がシーンを検出する処理の詳細については後述する。
【００２３】
キーフレーム抽出部５２０は、シーン解析部５１０のシーン検出部５１２から供給されるフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データから１個のキーフレームとなるフレーム画像を抽出し、この抽出したフレーム画像に対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００２４】
本実施形態では、キーフレーム抽出部５２０は、動画の特性に関する以下の３つの仮定に基づいてキーフレームを抽出する。
仮定１：シーン内における構図の変化は小さい。
仮定２：シーンカット付近のフレーム画像は、テーマ性が高い画像ではない。
仮定３：動画のテーマは、シーン長が長いシーンに含まれている。
【００２５】
仮定３および仮定１は、シーン長が長いシーンにおいては、撮影者が被写体に対する興味を持続したと推測することができることに基づく。また、仮定２は、シーン終了付近については、シーンに対する撮影者の興味が薄れてきたか、興味がなくなったか、フェードアウト等の特殊映像効果が作動しているか、撮影を終了する間際かといった状況にある可能性が高いことに基づく。また、仮定２は、シーン開始後直近については、撮影者が新たなシーンの構図を決定している最中か、フェードイン等の特殊映像効果が作動しているか、撮影を開始して間もないかといった状況にある可能性が高いことに基づく。
キーフフレーム抽出部５２０がキーフレームを抽出する方法については後述する。
【００２６】
特徴量解析部５３０は、動画像データとキーフレーム抽出部５２０から供給されるフレーム識別情報とをそれぞれ取り込み、そのフレーム識別情報に対応するフレーム画像から画像の特徴量（以下、単に“特徴量”と記載する。）を抽出してクラスタリング処理を実行する。
特徴量解析部５３０は、その機能構成として、画像正規化部５３１と、特徴量抽出部５３２と、クラスタリング処理部５３３とを備える。
【００２７】
画像正規化部５３１は、フレーム識別情報に対応する画像データを動画像データから抽出し、この抽出した画像データを所定の属性にしたがって正規化して正規化画像データを生成する。所定の属性は、例えば、フレーム画像の縦横比、解像度、色空間である。
具体的には、例えば、画像正規化部５３１は、キーフレームである画像データから輝度成分のみを抽出して輝度画像データを生成する。次に、画像正規化部５３１は、輝度画像データをフレーム画像の縦横比が４対３となる輝度画像データにトリミング処理する。例えば、縦横比が１６対９、２１対９、１対１等である輝度画像データを４対３の輝度画像データにトリミング処理する場合、トリミング前の輝度画像データの水平方向両端の矩形画像部分をカットして縦横比が４対３になるように合わせる。なお、トリミング前の輝度画像データの水平方向両端部に、無模様（例えば、黒色または灰色）の矩形枠を付加して縦横比を合わせるようにしてもよい。次に、画像正規化部５３１は、トリミング処理された輝度画像データをフィルタリング処理等によって解像度が水平方向３２０画素×垂直方向２４０画素である正規化画像データに変換する。
【００２８】
画像正規化部５３１を設けた理由は、フレーム画像の縦横比が異なるとキーフレームにおける被写体の密度が異なることとなり、また、解像度が異なるとキーフレームが有する情報量が異なることとなり、これらによってキーフレームが有する特徴量の評価に影響が出てしまうことを防ぐためである。
【００２９】
特徴量抽出部５３２は、画像正規化部５３１が生成した正規化画像データを取り込み、正規化画像データから特徴量を抽出する。例えば、特徴量抽出部５３２は、正規化画像データにおいて複数の画素を含む小領域ごとに輝度のガウス分布の状態を調べ、特徴点ごとのＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を求める。
【００３０】
クラスタリング処理部５３３は、特徴量抽出部５３２が抽出した正規化画像データの特徴量を取り込み、特徴点ごとの特徴量のクラスタリング処理（Ｂａｇ−ｏｆ−ｗｏｒｄｓ処理）を実行して特徴量のヒストグラム（特徴量ヒストグラム）を生成する。クラスタリング処理部５３３は、例えば、Ｋ平均法によって正規化画像データの特徴量をＫ個（例えば、１０００個）のクラスタに分類して特徴量ヒストグラムを生成する。
【００３１】
分類処理部５４０は、クラスタリング処理部５３３が生成した特徴量ヒストグラムを分析して正規化画像データ、すなわちキーフレームを分類し分類データを出力する。例えば、分類処理部５４０は、機械学習により特徴量の分類を学習し、その分類結果を分類データとして出力する。分類データは、区分に応じた識別情報や、あらかじめ学習によって決定しておいた“テニス試合”、“クッキー作り”、“サッカー”等のキーワード等である。分類処理部５４０は、例えば、サポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）やニューラルネットワーク等によって特徴量の分類を学習する。
【００３２】
次に、時空間画像生成部５１１が時空間画像データを生成する処理について説明する。まず、時空間画像生成部５１１は、動画像データの画像データを間引く。例えば、時空間画像生成部５１１は、３０フレーム／秒（ｆｐｓ；ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）のフレームレートを有する動画像データを、２フレーム／秒のフレームレートになるように画像データを間引く。ただし、この間引き処理は省略してもよい。次に、時空間画像生成部５１１は、間引き後の動画像データから輝度成分のみを抽出して輝度動画像データを生成する。次に、時空間画像生成部５１１は、輝度動画像データの各画像データを、例えばフレーム画像の縦横比が４対３となる画像データにトリミング処理する。トリミング処理は、前述した画像正規化部５３１における処理と同様の処理である。次に、時空間画像生成部５１１は、トリミング処理された輝度動画像データをフィルタリング処理等によって、例えば解像度が水平方向３２０画素×垂直方向２４０画素である正規化動画像データに変換する。次に、時空間画像生成部５１１は、正規化動画像データから時空間画像データを生成する。
【００３３】
図３は、時空間画像データを説明するための模式図である。同図（ａ）は、時空間画像データの元である正規化動画像データのフレーム構成を模式的に表した図である。同図（ｂ）は、同図（ａ）に示した正規化動画像データに基づいて、時空間画像生成部５１１が生成した時空間画像データのデータ構成を模式的に表した図である。
同図（ａ）に示すように、正規化動画像データの属性は、フレーム画像の縦横比が４対３であり、解像度が水平方向３２０画素×垂直方向２４０画素であり、フレームレートが２フレーム／秒である。ここでは、再生時間が３５１秒である例を示している。１フレーム画像における水平ラインは、フレーム画像の上端から下端に向けてライン１，ライン２，・・・，ライン３０と表される。
【００３４】
時空間画像生成部５１１は、正規化動画像データを図３（ｂ）のように、時間（フレーム位置）対空間座標に置き換えて二次元データである時空間画像データを生成する。言い換えると、時空間画像生成部５１１は、正規化動画像データのフレーム画像ごとに、ライン１からライン３０までの画素値を空間座標軸方向に一列に配列して時空間画像データを生成する。同図（ａ）に示す正規化動画像データから得られる時空間画像データは、時間軸方向７０２フレーム×空間座標軸方向１２００画素分の１個の画像データである。
【００３５】
次に、シーン検出部５１２がシーンを検出する処理について説明する。シーン検出部５１２は、時空間画像データについて、例えば輝度勾配を計算することによって画像のエッジを検出する。例えば、シーン検出部５１２は、キャニー（Ｃａｎｎｙ）法によって時空間画像データから画像のエッジを検出する。ここで検出される画像のエッジの直線方向は縦、横、および斜め方向を含んでいる。
次に、シーン検出部５１２は、検出した画像のエッジの中から、空間座標軸に平行な直線となるエッジを検出する。例えば、シーン検出部５１２は、ハフ（Ｈｏｕｇｈ）変換処理を実行することによって、検出した画像のエッジの中から空間座標軸に平行な直線成分のみを抽出する。
【００３６】
次に、シーン検出部５１２は、フレーム画像ごとに、当該フレーム画像がショットカットに該当するか否かを推定する。具体的には、シーン検出部５１２は、フレーム画像ごと（時間方向に１画素ごと）に空間座標方向の直線成分の総和を計算し、その総和が所定の閾値以上である場合は、当該フレーム画像はショットカットであると推定し、その総和が所定の閾値未満である場合は、当該フレーム画像はショットカットではないと推定する。推定されたショットカットはシーンカットタイミングの候補となる。所定の閾値は、任意に決定することができ、例えば、時空間画像データの空間座標方向の高さの割合で規定する。例えば、所定の閾値は、時空間画像データにおける時空間座標方向の高さの１／６０（高さが１２００画素である場合は２０画素）である。
【００３７】
次に、シーン検出部５１２は、ショットカットであると推定した直線成分から、単なるショットであって有効なシーンではないカットを除外する。この「ショットであって有効なシーンではないカット」とは、例えば、ディゾルブやワイプ等の特殊効果映像が該当する。具体的には、シーン検出部５１２は、ショットカットであると推定した直線成分において、時間方向に隣り合う２個の直線成分に挟まれた時間間隔が所定時間よりも短い場合の当該２個の直線成分の少なくとも一方を、シーンカットタイミングの候補から除外する。この所定時間は、任意に設定可能であるが、例えば２秒（図３（ｂ）においては、時間方向に４画素分）である。
【００３８】
次に、シーン検出部５１２は、シーンカットタイミングの候補として残っている全ての直線成分に対応するフレーム画像のフレーム識別情報と正規化動画像データとを出力する。
【００３９】
次に、キーフレーム抽出部５２０がキーフレームを抽出する処理について図４を併せ参照して説明する。図４は、キーフレーム抽出部５２０が正規化動画像データの中からキーフレームを抽出する様子を模式的に表した図である。シーン抽出部５２０は、シーン解析部５１０のシーン検出部５１２が出力したフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データにおける各シーンのシーン長を計算する。このシーン長は、時間長またはフレーム数である。つまり、フレーム識別情報に対応するフレーム画像がシーンの最初のフレーム画像であることに基づいて、シーン抽出部５２０は、各シーンのシーン長を計算する。例えば、同図（ａ）に示すシーン構成である場合、フレーム識別情報に対応するフレーム画像は各シーンの最初のフレーム画像であり、キーフレーム抽出部５２０は、第１番目のシーン（シーン１）から第５番目のシーン（シーン５）までの各シーンのフレーム数を、１０フレーム、６フレーム、１５フレーム、１２フレーム、および４フレームとして計数する。
【００４０】
次に、キーフレーム抽出部５２０は、前述した仮定３にしたがい、シーンの中から最もシーン長が長い（フレーム数が多い）シーンを検出する。例えば、キーフレーム抽出部５２０は、各シーンのフレーム数を比較することにより、最もフレーム数が多いシーンとして、図４（ｂ）に示すように第３番目のシーン（シーン３：１５フレーム）を検出する。
次に、キーフレーム抽出部５２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から所定範囲の輝度値を有するフレーム画像を検出する。具体的には、キーフレーム抽出部５２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から、平均輝度値が第１の閾値よりも低い低輝度フレーム画像、もしくは平均輝度値が第２の閾値（第２の閾値＞第１の閾値）よりも高い高輝度フレーム画像、または低輝度フレーム画像および高輝度フレーム画像を検出する。同図（ｂ）は、第３番目のシーン（シーン３）に対応する１５フレームのフレーム画像から、４つの低輝度フレーム画像および高輝度フレーム画像を検出した例を示している。
【００４１】
次に、キーフレーム抽出部５２０は、低輝度フレーム画像もしくは高輝度フレーム画像または低輝度フレーム画像および高輝度フレーム画像を除いたフレーム画像の中から、前述した仮定２にしたがい、時系列的に中央または中央近傍（例えば、時系列中心に最も近い）の１個のフレーム画像をキーフレームとして抽出する。このように、低輝度フレーム画像や高輝度フレーム画像を除く理由は、これらのフレーム画像は、一般的に見づらく、また後段の特徴量解析部５３０において特徴量を検出し難いためである。図４（ｃ），（ｄ）は、キーフレーム抽出部５２０が、１１フレームのフレーム画像の中から、時系列中心のフレーム画像である左から６番目のフレーム画像をキーフレームとして抽出した例を示している。
次に、キーフレーム抽出部５２０は、抽出したキーフレームに対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００４２】
図５は、キーフレーム抽出部５２０が抽出したキーフレームの画像の例である。同図（ａ）は、撮像装置１００がテニスの試合の様子を撮影した動画像データを用いて、キーフレーム抽出装置５００が抽出したキーフレームの画像である。この動画像データには、同図（ａ）に示すような、手前側と奥側との二人のテニス選手がラリーを続けているシーンが、最も時間が長いシーンとして含まれている。
また、同図（ｂ）は、撮像装置１００がクッキーを作っている少女の様子を撮影した動画像データを用いて、キーフレーム抽出装置５００が抽出したキーフレームの画像である。この動画像データには、同図（ｂ）に示すような、少女の手元がフレーム画像から外れて見えない構図のシーンが、最も時間が長いシーンとして含まれている。
【００４３】
次に、本実施形態であるキーフレーム抽出装置５００の主要な動作について説明する。図６は、キーフレーム抽出装置５００の動作手順を表すフローチャートである。
キーフレーム抽出装置５００が動画像データを取り込むと、ステップＳ１において、シーン解析部５１０の時空間画像生成部５１１は、動画像データの画像データを間引いたのち、間引き後の動画像データを所定の属性にしたがって正規化した正規化動画像データを生成する。例えば、時空間画像生成部５１１は、図３（ａ）のように、水平方向３２０画素×垂直方向２４０画素の解像度で、２フレーム／秒のフレームレートで、輝度情報により表現される正規化動画像データを生成する。
次に、時空間画像生成部５１１は、正規化動画像データを時間（フレーム位置）対空間座標に置き換えて、二次元データである時空間画像データを生成する。例えば、時空間画像生成部５１１は、同図（ａ）に示す正規化動画像データから、同図（ｂ）のように、時間方向７０２フレーム×空間座標方向１２００画素分の時空間画像データを生成する。
【００４４】
次に、ステップＳ２において、シーン検出部５１２は、時空間画像生成部５１１が生成した時空間画像データを取り込み、この時空間画像データを解析してシーンカットタイミングを推定することによってシーンを検出する。具体的には、シーン検出部５１２は、時空間画像データについて、例えば輝度勾配を計算することによって画像のエッジを検出する。
次に、シーン検出部５１２は、検出した画像のエッジの中から、空間座標方向に直線となるエッジを検出する。
次に、シーン検出部５１２は、フレーム画像ごとに、当該フレーム画像がショットカットに該当するか否かを推定する。具体的には、シーン検出部５１２は、フレーム画像ごとに、空間座標方向の直線成分の総和を計算し、その総和が所定の閾値以上である場合は、当該フレーム画像はショットカットであると推定し、その総和が所定の閾値未満である場合は、当該フレーム画像はショットカットではないと推定する。
次に、シーン検出部５１２は、ショットカットであると推定した直線成分（シーンカットタイミングの候補）から、単なるショットであって有効なシーンではないカットを除外する。具体的には、シーン検出部５１２は、ショットカットであると推定した直線成分において、時間方向に隣り合う２個の直線成分に挟まれた時間間隔が所定時間よりも短い場合の当該２個の直線成分の少なくとも一方を、シーンカットタイミングの候補から除外する。
次に、シーン検出部５１２は、シーンカットタイミングの候補として残っている全ての直線成分に対応するフレーム画像のフレーム識別情報と正規化動画像データとを対応付けてキーフレーム抽出部５２０に供給する。
【００４５】
次に、ステップＳ３において、キーフレーム抽出部５２０は、シーン検出部５１２から供給されるフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データから１個のキーフレームとなるフレーム画像に対応するフレーム識別情報を抽出して特徴量解析部５３０に供給する。具体的には、シーン抽出部５２０は、フレーム識別情報と正規化動画像データとに基づいて、正規化動画像データにおける各シーンのシーン長を計算する。
次に、キーフレーム抽出部５２０は、シーンの中から最もシーン長が長いシーンを検出する。
次に、キーフレーム抽出部５２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から所定範囲の輝度値を有するフレーム画像を検出する。具体的には、キーフレーム抽出部５２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から、平均輝度値が第１の閾値よりも低い低輝度フレーム画像、もしくは平均輝度値が第２の閾値よりも高い高輝度フレーム画像、または低輝度フレーム画像および高輝度フレーム画像を検出する。
次に、キーフレーム抽出部５２０は、低輝度フレーム画像もしくは高輝度フレーム画像または低輝度フレーム画像および高輝度フレーム画像を除いたフレーム画像の中から、時系列的に中央または中央近傍の１個のフレーム画像をキーフレームとして抽出する。
次に、キーフレーム抽出部５２０は、抽出したキーフレームに対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００４６】
次に、ステップＳ４において、特徴量解析部５３０の画像正規化部５３１は、動画像データとキーフレーム抽出部５２０から供給されるフレーム識別情報とをそれぞれ取り込み、フレーム識別情報に対応する画像データを動画像データから抽出する。
次に、画像正規化部５３１は、抽出した画像データを所定の属性にしたがって正規化した正規化画像データを生成する。例えば、画像正規化部５３１は、水平方向３２０画素×垂直方向２４０画素の解像度で、輝度情報により表現される正規化画像データを生成する。
次に、ステップＳ５において、特徴量抽出部５３２は、画像正規化部５３１が生成した正規化画像データを取り込み、正規化画像データから特徴量を抽出する。
次に、ステップＳ６において、クラスタリング処理部５３３は、特徴量抽出部５３２から供給された正規化画像データの特徴量のクラスタリング処理を実行して特徴量ヒストグラムを生成する。
【００４７】
次に、ステップＳ７において、分類処理部５４０は、クラスタリング処理部５３３が生成した特徴量ヒストグラムを取り込み、この特徴量ヒストグラムを分析して正規化画像データ、すなわちキーフレームを分類し、その分類結果を分類データとして出力する。
【００４８】
次に、キーフレーム抽出装置５００を適用した撮像装置１００の主要な動作について説明する。まず、撮像装置１００が、キーフレーム抽出装置５００のキーフレーム抽出結果に基づいて、記憶媒体２００に記憶された圧縮動画像データにおけるキーフレームのサムネイル画像データを生成する処理について説明する。
キーフレーム抽出装置５００がキーフレームを抽出してこのキーフレームに対応するフレーム識別情報を出力すると、制御部１９０のサムネイル生成部５５０は、そのフレーム識別情報を取り込む。
次に、サムネイル生成部５５０は、フレーム識別情報に対応する画像データを、記憶媒体２００またはバッファメモリ部１３０から抽出して取り込む。
次に、サムネイル生成部５５０は、取り込んだ画像データの解像度を縮小したサムネイル画像データを生成する。
次に、サムネイル生成部５５０は、生成したサムネイル画像データを対応する圧縮動画像データに関連付けて記憶媒体２００に記憶させる。なお、サムネイル画像データを、対応する圧縮動画像データのヘッダ部分に格納してもよい。
【００４９】
なお、サムネイル生成部５５０は、キーフレーム抽出装置５００が出力した分類データをも取り込み、その分類データ（例えば、“テニス試合”や“クッキー作り”等のキーワード）を、サムネイル画像データとともに圧縮動画像データに関連付けて記憶媒体２００に記憶させてもよい。
また、制御部１９０は、分類データに基づいて記憶媒体２００に記憶された圧縮動画像データを整理（例えば、ディレクトリ管理）してもよい。
【００５０】
次に、記憶媒体２００に記憶された、サムネイル画像データが関連付けられた圧縮動画像データの一覧を表示部１５０に表示させる処理について説明する。
操作者による操作部１８０の操作により、操作部１８０が、記憶媒体２００に記憶されている圧縮動画像データの一覧を表示部１５０に表示させるための操作信号を出力すると、制御部１９０はその操作信号を取り込む。
次に、制御部１９０は、圧縮動画像データに関連付けられたサムネイル画像データと、圧縮動画像データが格納されている電子ファイルのファイル名とを記憶媒体２００から読み込んで表示部１５０に表示させる。
【００５１】
図７は、表示部１５０に表示された圧縮動画像データの一覧を模式的に表した図である。同図において、表示部１５０の表示画面６００には、３個の圧縮動画像データの一覧が表示されており、サムネイル画像６０１，６０２，６０３と、サムネイル画像６０１，６０２，６０３にそれぞれ関係付けられた圧縮動画像データの電子ファイルのファイル名である、“２０１０１１０３．ｍｐ４”，“２０１０１１０５．ｍｐ４”，“２０１０１１１２．ｍｐ４”が表示されている。そして、同図においては、サムネイル画像６０１にカーソル６０４が表示されている。操作部１８０の十字キーの操作によってカーソル６０４はサムネイル画像６０１，６０２，６０３上を移動可能である。そして、確定ボタンが操作されることによって、制御部１９０は、カーソル６０４が指示するサムネイル画像データに関連付けられた圧縮動画像データを選択する。
【００５２】
以上説明したように、本発明の第１実施形態であるキーフレーム抽出装置５００では、シーン解析部５１０が動画像データのシーンを検出し、キーフレーム抽出部５２０が、シーン長が最も長いシーンから時系列的に中央または中央近傍の１個のフレーム画像をキーフレームとして抽出するようにした。このように構成したことにより、キーフレーム抽出装置５００は、動画の特性に関する“動画のテーマは、シーン長が長いシーンに含まれている。”（仮定３）と、“シーンカット付近のフレーム画像は、テーマ性が高い画像ではない。”（仮定２）とを満足させて、キーフレームを精度よく抽出することができる。特に、キーフレーム抽出装置５００は、動画の特性を考慮してキーフレームを抽出するため、演算処理の負荷が軽く低コストに実現することができる。
【００５３】
また、このキーフレーム抽出装置５００では、特徴量解析部５３０がキーフレームである画像データを正規化して画像の特徴量を抽出し、特徴量をクラスタリング処理して特徴量の特性を表す特徴量ヒストグラムを生成するようにした。また、このキーフレーム抽出装置５００は、特徴量ヒストグラムを機会学習して分類し分類データを出力するようにした。このように構成したことにより、キーフレーム抽出装置５００は、抽出したキーフレームである画像データを、画像の特徴に応じて機動的に分類することができる。よって、キーフレーム抽出装置５００を備える撮像装置１００は、キーフレームおよび分類データまたはいずれか一方の情報を適用して、保持する動画像データを視覚的に見易くまた検索容易に管理することができる。
【００５４】
［第１実施形態の第１の変形例］
上述した第１実施形態では、キーフレーム抽出部５２０は、仮定３および仮定２にしたがって、正規化動画像データにおける最もシーン長が長いシーンから１個のキーフレームとなるフレーム画像を抽出した。本実施形態の第１変形例では、キーフレーム抽出部５２０が、正規化動画像データにおける最もシーン長が長いシーンからキーフレームとなる複数のフレーム画像を抽出する例について説明する。本変形例におけるキーフレーム抽出部５２０は、仮定３および仮定２に加えて仮定１をも考慮に入れてキーフレームを抽出するものである。
【００５５】
本変形例において、第１実施形態と相違する構成は、キーフレーム抽出部５２０と、特徴量解析部５３０の主にクラスタリング処理部５３３と、サムネイル生成部５５０とである。本変形例における全体的な機能構成は第１実施形態と同一であるため、本変形例では、ブロック図を省略し、第１実施形態における各構成と同一の符号を付した構成を用いて説明する。そして、本変形例では、第１実施形態との相違点についてのみ説明する。
【００５６】
キーフレーム抽出部５２０は、シーン解析部５１０のシーン検出部５１２から供給されるフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データからキーフレームとなるＮ個（Ｎは２以上の整数）のフレーム画像を抽出し、これら抽出したＮ個のフレーム画像に対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００５７】
キーフレーム抽出部５２０がＮ個のキーフレームを抽出する処理について図８を併せ参照して説明する。図８は、キーフレーム抽出部５２０が正規化動画像データの中からＮ個（Ｎ＝３）のキーフレームを抽出する様子を模式的に表した図である。同図（ａ），（ｂ）は、第１実施形態における図４（ａ），（ｂ）と同一であり、キーフレーム抽出部５２０による処理も同一であるため、図８（ｃ）に対応する処理以降について説明する。
【００５８】
キーフレーム抽出部５２０は、低輝度フレーム画像もしくは高輝度フレーム画像または低輝度フレーム画像および高輝度フレーム画像を除いたフレーム画像の中から、前述した仮定２および仮定１にしたがい、等間隔にＮ個のフレーム画像をキーフレームとして抽出する。この場合、キーフレーム抽出部５２０は、仮定２にしたがって、シーンの少なくとも両端に対応するフレーム画像を抽出しないようにする。具体的には、キーフレーム抽出部５２０は、下記の式（１）または式（２）を計算することによって、抽出するフレーム画像の間隔を決定する。式（１），式（２）において、Ｄは抽出するフレーム画像の間隔を示す値、Ｆはシーンにおけるフレーム画像の数、Ｎは抽出するキーフレームの数である。
【００５９】
【数１】
2012105205.tif 000003
【００６０】
【数２】
2012105205.tif 000004
【００６１】
キーフレーム抽出部５２０は、シーンの少なくとも両端に対応するフレーム画像を抽出しないようにするため、シーンにおけるフレーム画像の数Ｆが抽出するキーフレームの数Ｎで割り切れない場合は、式（１）により値Ｄを計算する。一方、キーフレーム抽出部５２０は、シーンにおけるフレーム画像の数Ｆが抽出するキーフレームの数Ｎで割り切れる場合は、式（２）により値Ｄを計算する。
なお、値Ｄが２未満の値である場合、キーフレーム抽出部５２０は、シーン長が次に長いシーンに対応するフレーム画像をつなげて式（１）または式（２）を計算する。
【００６２】
キーフレーム抽出部５２０は、フレーム画像の配列の端から数えてＤ番目、次は、その位置から数えてＤ番目という順序でフレーム画像を抽出する。図８（ｃ），（ｄ）の例では、キーフレーム抽出部５２０は、式（１）によりＤ＝３を算出し、１１フレームの端から数えて３番目、その位置から数えて３番目、さらにその位置から数えて３番目にそれぞれ該当するフレーム画像をキーフレームとして抽出する。
【００６３】
次に、キーフレーム抽出部５２０は、抽出したＮ個のキーフレームに対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００６４】
図９は、キーフレーム抽出部５２０が抽出した複数（Ｎ＝３）のキーフレームの画像の例である。同図（ａ）は、撮像装置１００がテニスの試合の様子を撮影した動画像データを用いて、キーフレーム抽出装置５００が抽出したキーフレームの画像である。この動画像データには、同図（ａ）に示すような、略一定したカメラアングルで撮影されたシーンが、最も時間が長いシーンとして含まれている。
また、同図（ｂ）は、撮像装置１００がクッキーを作っている少女の様子を撮影した動画像データを用いて、キーフレーム抽出装置５００が抽出したキーフレームの画像である。この動画像データにも、同図（ｂ）に示すような、略一定したカメラアングルで撮影されたシーン（少女の手元がフレーム画像から外れて見えない構図のシーン）が、最も時間が長いシーンとして含まれている。
同図（ａ），（ｂ）それぞれの３個のキーフレームの画像は、左側から右側に向けて時系列的に並べたものである。
【００６５】
特徴量解析部５３０は、動画像データとキーフレーム抽出部５２０から供給されるＮ個のフレーム識別情報とをそれぞれ取り込み、フレーム識別情報ごとに、フレーム識別情報に対応するフレーム画像から特徴量を抽出してクラスタリング処理を実行する。
画像正規化部５３１は、フレーム識別情報ごとに、フレーム識別情報に対応する画像データを動画像データから抽出し、この抽出した画像データを所定の属性にしたがって正規化して正規化画像データを生成する。画像正規化部５３１の詳細な処理は第１実施形態と同様であるため、その説明を省略する。
特徴量抽出部５３２は、画像正規化部５３１が生成したＮ個の正規化画像データを取り込み、正規化画像データごとに、正規化画像データから特徴量を抽出する。特徴量抽出部５３２の詳細な処理は第１実施形態と同様であるため、その説明を省略する。
【００６６】
クラスタリング処理部５３３は、特徴量抽出部５３２が抽出したＮ個の正規化画像データの特徴量を取り込み、正規化画像データごと且つ特徴点ごとに、特徴量のクラスタリング処理（Ｂａｇ−ｏｆ−ｗｏｒｄｓ処理）を実行して特徴量ヒストグラムを生成する。クラスタリング処理部５３３は、例えば、Ｋ平均法によって正規化画像データの特徴量をＫ個（例えば、１０００個）のクラスタに分類して特徴量ヒストグラムを生成する。次に、クラスタリング処理部５３３は、生成したＮ個の特徴量ヒストグラムをクラスごとに加算して統合ヒストグラムを生成する。この統合ヒストグラムは、キーフレームが含まれるシーンの動画の特性を表すヒストグラムである。
【００６７】
図１０は、図９（ａ）における３個のキーフレームの画像それぞれの特徴量ヒストグラムと、クラスタリング処理部５３３がこれら３個の特徴量ヒストグラムをクラスごとに加算して生成した統合ヒストグラムとを模式的に表した図である。同図に示すように、画像の特性の類似性が比較的高い３個のキーフレームの画像の特徴量ヒストグラムを加算することにより、特徴的な分布が強調される。言い換えると、動画のテーマが強調される。
【００６８】
分類処理部５４０は、クラスタリング処理部５３３が生成した統合ヒストグラムを分析して正規化画像データ、すなわちキーフレームを分類する。分類処理部５４０の詳細な処理は第１実施形態と同様であるため、その説明を省略する。
【００６９】
次に、キーフレーム抽出装置５００を適用した撮像装置１００の主要な動作について説明する。まず、撮像装置１００が、キーフレーム抽出装置５００のキーフレーム抽出結果に基づいて、記憶媒体２００に記憶された圧縮動画像データにおけるキーフレームのサムネイル画像データを生成する処理について説明する。
キーフレーム抽出装置５００がＮ個のキーフレームを抽出してこれらキーフレームに対応するフレーム識別情報を出力すると、制御部１９０のサムネイル生成部５５０は、Ｎ個のキーフレームに対応するフレーム識別情報を取り込む。
次に、サムネイル生成部５５０は、Ｎ個のフレーム識別情報に対応する画像データを、記憶媒体２００またはバッファメモリ部１３０から抽出して取り込む。
次に、サムネイル生成部５５０は、取り込んだＮ個の画像データそれぞれについて、解像度を縮小したサムネイル画像データを生成する。
次に、サムネイル生成部５５０は、生成したＮ個のサムネイル画像データを対応する圧縮動画像データに関連付けて記憶媒体２００に記憶させる。なお、Ｎ個のサムネイル画像データを、対応する圧縮動画像データのヘッダ部分に格納してもよい。
【００７０】
次に、記憶媒体２００に記憶された、Ｎ個のサムネイル画像データが関連付けられた圧縮動画像データの一覧を表示部１５０に表示させる処理について説明する。
操作者による操作部１８０の操作により、操作部１８０が、記憶媒体２００に記憶されている圧縮動画像データの一覧を表示部１５０に表示させるための操作信号を出力すると、制御部１９０はその操作信号を取り込む。
次に、制御部１９０は、圧縮動画像データに関連付けられたＮ個のサムネイル画像データと、圧縮動画像データが格納されている電子ファイルのファイル名とを記憶媒体２００から読み込んで表示部１５０に表示させる。制御部１９０は、Ｎ個のサムネイル画像データの表示部１５０への表示を、例えば次の二通りの方法のいずれかによって実現する。
【００７１】
第１の方法は、Ｎ個のサムネイル画像データを表示部１５０に並べて表示する方法である。Ｎ個のサムネイル画像データが並ぶ順番は、例えば時系列である。
第２の方法は、Ｎ個のサムネイル画像データを表示部１５０の同一座標に所定の時間おきに順次切り替えて表示する方法である。サムネイル画像データの表示の時間間隔は、任意に設定でき、例えば“１秒”である。
【００７２】
図１１は、表示部１５０に表示された圧縮動画像データの一覧を模式的に表した図である。同図（ａ）は上記の第１の方法による表示例であり、同図（ｂ）は上記の第２の方法による表示例である。同図（ａ）において、表示部１５０の表示画面６１０には、４個の圧縮動画像データの一覧が表示されており、圧縮動画像データごとに、サムネイル画像データが横並びに配列して表示されている。４個の圧縮動画像データの一覧のうち最上段に注目すると、３個のサムネイル画像６１１ａ，６１１ｂ，６１１ｃと、サムネイル画像６１１ａ，６１１ｂ，６１１ｃに関係付けられた圧縮動画像データの電子ファイルのファイル名である、“２０１０１１０３．ｍｐ４”が表示されている。そして、同図においては、サムネイル画像６１１ａ，６１１ｂ，６１１ｃを囲んでカーソル６１２が表示されている。操作部１８０の十字キーの操作によってカーソル６１２は表示画面６１０の上下方向に移動可能である。そして、確定ボタンが操作されることによって、制御部１９０は、カーソル６１２が指示するサムネイル画像データに関連付けられた圧縮動画像データを選択する。
【００７３】
図１１（ｂ）において、表示部１５０の表示画面６２０には、３個の圧縮動画像データの一覧が表示されており、時分割切り替えのサムネイル画像６２１，６２２，６２３と、時分割切り替えのサムネイル画像６２１，６２２，６２３にそれぞれ関係付けられた圧縮動画像データの電子ファイルのファイル名である、“２０１０１１０３．ｍｐ４”，“２０１０１１０５．ｍｐ４”，“２０１０１１１２．ｍｐ４”が表示されている。時分割切り替えのサムネイル画像６２１，６２２，６２３それぞれは、所定の時間おき（例えば１秒おき）にサムネイル画像データが切り替わる。そして、同図においては、時分割切り替えのサムネイル画像６２１にカーソル６２４が表示されている。操作部１８０の十字キーの操作によって、カーソル６２４は、時分割切り替えのサムネイル画像６２１，６２２，６２３上を移動可能である。そして、確定ボタンが操作されることによって、制御部１９０は、カーソル６２４が指示する時分割切り替えのサムネイル画像データに関連付けられた圧縮動画像データを選択する。
【００７４】
以上説明したように、本発明の第１実施形態の第１変形例であるキーフレーム抽出装置５００では、シーン解析部５１０が動画像データのシーンを検出し、キーフレーム抽出部５２０が、シーン長が最も長いシーンから、シーンの少なくとも両端に対応するフレーム画像を含めずに複数のフレーム画像をキーフレームとして抽出するようにした。このように構成したことにより、キーフレーム抽出装置５００は、動画の特性に関する“動画のテーマは、シーン長が長いシーンに含まれている。”（仮定３）と、“シーンカット付近のフレーム画像は、テーマ性が高い画像ではない。”（仮定２）とに加えて、“シーン内における構図の変化は小さい。”（仮定１）を満足させて、テーマ性をより強調したキーフレームを精度よく抽出することができる。
【００７５】
［第１実施形態の第２の変形例］
第１実施形態の第２変形例では、キーフレーム抽出部５２０が、正規化動画像データにおけるシーンをシーン長が長い順に複数選択し、シーンごとに、キーフレームとなる１個のフレーム画像を抽出する例について説明する。本変形例におけるキーフレーム抽出部５２０は、仮定３および仮定２にしたがい、特に複数のテーマを考慮してキーフレームを抽出するものである。
【００７６】
本変形例において、第１変形例と相違する構成はキーフレーム抽出部５２０である。本変形例における全体的な機能構成は第１実施形態と同一であるため、本変形例では、ブロック図を省略し、第１実施形態における各構成と同一の符号を付した構成を用いて説明する。そして、本変形例では、第１変形例との相違点についてのみ説明する。
【００７７】
キーフレーム抽出部５２０は、シーン解析部５１０のシーン検出部５１２から供給されるフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データにおけるシーンをシーン長が長い順にＭ個（Ｍは２以上の整数）選択し、シーンごとに、キーフレームとなる１個のフレーム画像を抽出し、これら抽出したＭ個のフレーム画像に対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００７８】
キーフレーム抽出部５２０がＭ個のキーフレームを抽出する処理について図１２を併せ参照して説明する。図１２は、キーフレーム抽出部５２０が正規化動画像データの中からＭ個（Ｍ＝３）のキーフレームを抽出する様子を模式的に表した図である。同図（ａ）は、第１実施形態における図４（ａ）と同一であり、キーフレーム抽出部５２０による処理も同一であるため、図１２（ｂ）に対応する処理以降について説明する。
【００７９】
キーフレーム抽出部５２０は、前述した仮定３にしたがい、シーンの中からシーン長が長い（フレーム数が多い）順にＭ個のシーンを検出する。例えば、キーフレーム抽出部５２０は、各シーンのフレーム数を比較することにより、フレーム数が多い順に、図１２（ｂ）に示すように第３番目のシーン（シーン３：１５フレーム）と第４番目のシーン（シーン４：１２フレーム）と第１番目のシーン（シーン１：１０フレーム）とを検出する。
次に、キーフレーム抽出部５２０は、検出したシーンごとに、正規化動画像データのうち、シーンに対応するフレーム画像から所定範囲の輝度値を有するフレーム画像を検出する。具体的には、キーフレーム抽出部５２０は、正規化動画像データのうち、検出した１個のシーンに対応するフレーム画像から、平均輝度値が第１の閾値よりも低い低輝度フレーム画像、もしくは平均輝度値が第２の閾値（第２の閾値＞第１の閾値）よりも高い高輝度フレーム画像、または低輝度フレーム画像および高輝度フレーム画像を検出する。同図（ｂ）は、第３番目のシーン（シーン３）に対応するフレーム画像から４つの低輝度フレーム画像および高輝度フレーム画像を検出し、第４番目のシーン（シーン４）に対応するフレーム画像から５つの低輝度フレーム画像および高輝度フレーム画像を検出し、第１番目のシーン（シーン１）に対応するフレーム画像から３個の低輝度フレーム画像および高輝度フレーム画像を検出した例を示している。
【００８０】
次に、キーフレーム抽出部５２０は、検出したシーンごとに、低輝度フレーム画像もしくは高輝度フレーム画像または低輝度フレーム画像および高輝度フレーム画像を除いたフレーム画像の中から、前述した仮定２にしたがい、時系列的に中央または中央近傍（例えば、時系列中心に最も近い）１個のフレーム画像をキーフレームとして抽出する。図１２（ｃ），（ｄ）は、キーフレーム抽出部５２０が、第３番目のシーン（シーン３）に対応するフレーム画像の中から、時系列中心のフレーム画像である左から６番目のフレーム画像をキーフレームとして抽出した例を示している。また、図１２（ｃ），（ｄ）は、キーフレーム抽出部５２０が、第４番目のシーン（シーン４）に対応するフレーム画像の中から、時系列中心のフレーム画像である左から４番目のフレーム画像をキーフレームとして抽出した例を示している。また、図１２（ｃ），（ｄ）は、キーフレーム抽出部５２０が、第１番目のシーン（シーン１）に対応するフレーム画像の中から、時系列中心のフレーム画像である左から４番目のフレーム画像をキーフレームとして抽出した例を示している。
次に、キーフレーム抽出部５２０は、抽出したＭ個のキーフレームに対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００８１】
図１３は、キーフレーム抽出部５２０が抽出した複数（Ｍ＝３）のキーフレームの画像の例である。同図（ａ）は、撮像装置１００がテニスの試合の様子を撮影した動画像データを用いて、キーフレーム抽出装置５００が抽出したキーフレームの画像である。この動画像データには、同図（ａ）に示すような、時間が長いシーンとして、構図や被写体が異なるシーンが含まれている。
また、同図（ｂ）は、撮像装置１００がクッキーを作っている少女の様子を撮影した動画像データを用いて、キーフレーム抽出装置５００が抽出したキーフレームの画像である。この動画像データにも、同図（ｂ）に示すような、時間が長いシーンとして、構図や被写体が異なるシーンが含まれている。第１実施形態および第１変形例では、少女の手元がフレーム画像から外れて見えない構図のシーンしか検出できなかったが、本変形例によれば、その他の構図のシーン（クッキーが写ったシーン等）が検出できている。
同図（ａ），（ｂ）それぞれの３個のキーフレームの画像は、左側から右側に向けてシーン長が長い順に並べたものである。
【００８２】
図１４は、図１３（ａ）における３個のキーフレームの画像それぞれの特徴量ヒストグラムと、クラスタリング処理部５３３がこれら３個の特徴量ヒストグラムをクラスごとに加算して生成した統合ヒストグラムとを模式的に表した図である。同図に示すように、画像の特性がそれぞれ比較的大きく異なる３個のキーフレームの画像の特徴量ヒストグラムを加算することにより、各シーンの特徴的な分布を網羅した分布を得ることができる。言い換えると、動画のテーマをもらすことなく把握することができる。
【００８３】
以上説明したように、本発明の第１実施形態の第２変形例であるキーフレーム抽出装置５００では、シーン解析部５１０が動画像データのシーンを検出し、キーフレーム抽出部５２０が、シーン長が長い順に複数のシーンを選択し、シーンごとに、時系列的に中央または中央近傍の１個のフレーム画像をキーフレームとして抽出するようにした。このように構成したことにより、キーフレーム抽出装置５００は、動画の特性に関する“動画のテーマは、シーン長が長いシーンに含まれている。”（仮定３）と、“シーンカット付近のフレーム画像は、テーマ性が高い画像ではない。”（仮定２）とを満足させ、複数のテーマを考慮したキーフレームを精度よく抽出することができる。
【００８４】
［第１実施形態の第３の変形例］
第１実施形態の第３変形例では、キーフレーム抽出部５２０が、正規化動画像データにおけるシーンをシーン長が長い順に複数選択し、シーンごとに、キーフレームとなる複数のフレーム画像を抽出する例について説明する。本変形例におけるキーフレーム抽出部５２０は、仮定３および仮定２にしたがい、特に複数のテーマを考慮してキーフレームを抽出するものである。
【００８５】
本変形例において、第２変形例と相違する構成はキーフレーム抽出部５２０である。本変形例における全体的な機能構成は第１実施形態と同一であるため、本変形例では、ブロック図を省略し、第１実施形態における各構成と同一の符号を付した構成を用いて説明する。そして、本変形例では、第２変形例との相違点についてのみ説明する。
【００８６】
キーフレーム抽出部５２０は、シーン解析部５１０のシーン検出部５１２から供給されるフレーム識別情報と正規化動画像データとを取り込み、正規化動画像データにおけるシーンをシーン長が長い順にＭ個（Ｍは２以上の整数）選択し、シーンごとに、キーフレームとなるＮ個（Ｎは２以上の整数）のフレーム画像を抽出し、これら抽出したＭ×Ｎ個のフレーム画像に対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００８７】
キーフレーム抽出部５２０がＭ×Ｎ個のキーフレームを抽出する処理について図１５を併せ参照して説明する。図１５は、キーフレーム抽出部５２０が正規化動画像データの中からＭ×Ｎ個（Ｍ×Ｎ＝３×３）のキーフレームを抽出する様子を模式的に表した図である。同図（ａ），（ｂ）は、第２変形例における図１２（ａ），（ｂ）と同一であり、キーフレーム抽出部５２０による処理も同一であるため、図１５（ｃ）に対応する処理以降について説明する。
【００８８】
キーフレーム抽出部５２０は、検出したシーンごとに、低輝度フレーム画像もしくは高輝度フレーム画像または低輝度フレーム画像および高輝度フレーム画像を除いたフレーム画像の中から、前述した仮定２および仮定１にしたがい、等間隔にＮ個のフレーム画像をキーフレームとして抽出する。Ｎ個のキーフレームを抽出する方法は、前述した第１変形例と同様であるため、ここでの説明を省略する。図１５（ｃ），（ｄ）では、キーフレーム抽出部５２０は、第３番目のシーン（シーン３）について式（１）によりＤ＝３を算出し、１１フレームの端から数えて３番目、その位置から数えて３番目、さらにその位置から数えて３番目にそれぞれ該当するフレーム画像をキーフレームとして抽出する。また、図１５（ｃ），（ｄ）では、キーフレーム抽出部５２０は、第４番目のシーン（シーン４）について式（１）によりＤ＝２を算出し、７フレームの端から数えて２番目、その位置から数えて２番目、さらにその位置から数えて２番目にそれぞれ該当するフレーム画像をキーフレームとして抽出する。また、図１５（ｃ），（ｄ）では、キーフレーム抽出部５２０は、第１番目のシーン（シーン１）について式（１）によりＤ＝２を算出し、７フレームの端から数えて２番目、その位置から数えて２番目、さらにその位置から数えて２番目にそれぞれ該当するフレーム画像をキーフレームとして抽出する。
次に、キーフレーム抽出部５２０は、抽出したＭ×Ｎ個のキーフレームに対応するフレーム識別情報を、制御部１９０のサムネイル生成部５５０に供給するとともに特徴量解析部５３０に供給する。
【００８９】
以上説明したように、本発明の第１実施形態の第３変形例であるキーフレーム抽出装置５００では、シーン解析部５１０が動画像データのシーンを検出し、キーフレーム抽出部５２０が、シーン長が長い順に複数のシーンを選択し、シーンごとに、シーンの少なくとも両端に対応するフレーム画像を含めずに複数のフレーム画像をキーフレームとして抽出するようにした。このように構成したことにより、キーフレーム抽出装置５００は、動画の特性に関する“動画のテーマは、シーン長が長いシーンに含まれている。”（仮定３）と、“シーンカット付近のフレーム画像は、テーマ性が高い画像ではない。”（仮定２）とに加えて、“シーン内における構図の変化は小さい。”（仮定１）を満足させて、テーマ性をより強調して且つ複数のテーマを考慮したキーフレームを精度よく抽出することができる。
【００９０】
［第２の実施の形態］
図１６は、本発明の第２実施形態であるキーフレーム抽出装置を適用したサーバ装置を含む、ネットワークシステムの全体構成を表すブロック図である。同図に示すように、ネットワークシステム７００は、サーバ装置５６０と、情報通信端末５７０−１，５７０−２とが、ネットワーク５８０を介して接続された構成を有する。
ネットワークシステム７００は、多数の動画像データを格納したサーバ装置５６０から、端末利用者によって使用される情報通信端末５７０−１，５７０−２が、所望の動画像データをダウンロードして端末利用者に閲覧等使用させるシステムである。
【００９１】
サーバ装置５６０は、その機能構成として、動画像データ記憶部５６１と、キーフレーム抽出装置５００と、サムネイル生成部５６２と、通信処理部５６３とを備える。
動画像データ記憶部５６１は、動画像データを記憶する記憶装置であり、例えば磁気ハードディスク装置により実現される。
キーフレーム抽出装置５００は、前述した第１実施形態および第１−第３変形例のうちいずれかによる装置である。
【００９２】
サムネイル生成部５６２は、キーフレーム抽出装置５００が出力するフレーム識別情報と分類データとを取り込む。そして、サムネイル生成部５６２は、動画像データ記憶部５６１からフレーム識別情報に対応する画像データを抽出し、抽出した画像データを縮小してサムネイル画像データを生成する。そして、サムネイル生成部５６２は、生成したサムネイル画像データを、対応する動画像データに関連付ける。そして、サムネイル生成部５６２は、サムネイル画像データを関係付けた動画像データを、動画像データ記憶部５６１に分類データに基づき分類して記憶する。
【００９３】
通信処理部５６３は、ネットワークインタフェースの機能を含み、ネットワーク５８０を介する情報通信端末５７０−１，５７０−２との通信を制御する。通信処理部５６３は、情報通信端末５７０−１，５７０−２からのダウンロード要求を受信すると、ダウンロード要求に応じた、サムネイル画像データが関係付けられた動画像データを動画像データ記憶部５６１から読み出して要求元の情報通信端末５７０−１，５７０−２に送信する。
【００９４】
情報通信端末５７０−１，５７０−２は、ネットワーク５８０に対する接続装置との通信が可能な装置であり、例えば、コンピュータ装置、携帯電話機、スマートフォン、携帯情報端末（ＰＤＡ；Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等により実現される。
情報通信端末５７０−１，５７０−２は、サーバ装置５６０に対して動画像データの一覧を要求して取得し、図示しないディスプレイ装置に表示する。その表示内容は、前述した第１実施形態および各変形例に示したような、サムネイル画像が動画像データの一覧に表示されるものである。
ネットワーク５８０は、インターネットやＬＡＮ（Ｌｏａｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のコンピュータネットワークである。
【００９５】
本発明の第２実施形態であるサーバ装置５６０によれば、キーフレーム抽出装置５００が提供する、キーフレームおよび分類データまたはいずれか一方の情報を適用して、保持する動画像データを視覚的に見易くまた検索容易に管理することができる。
【００９６】
なお、上述した第１実施形態および第１−第３変形例、ならびに第２実施形態において、シーン解析部５１０は、公知のシーン検出技術を適用して実現してもよい。例えば、シーン解析部５１０は、パターンマッチングによるフレーム相関を検出する技術によりシーンを検出してもよい。また、シーン解析部５１０は、画像データのフレーム全体または一部の空間周波数を抽出して比較することによってシーンを検出してもよい。
【００９７】
また、上述した実施形態であるキーフレーム抽出装置の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するためのキーフレーム抽出プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたキーフレーム抽出プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺装置のハードウェアを含むものである。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵される磁気ハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００９８】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９９】
１００  撮像装置
１１０  撮像部
１１１  光学系
１１９  撮像素子
１２０  アナログ／デジタル（Ａ／Ｄ）変換部
１３０  バッファメモリ部
１４０  画像処理部
１５０  表示部
１６０  記憶部
１７０  通信部
１８０  操作部
１９０  制御部
２００  記憶媒体
３００  バス
５００  キーフレーム抽出装置
５１０  シーン解析部
５１１  時空間画像生成部
５１２  シーン検出部
５２０  キーフレーム抽出部
５３０  特徴量解析部
５３１  画像正規化部
５３２  特徴量抽出部
５３３  クラスタリング処理部
５４０  分類処理部
５５０  サムネイル生成部
５６０  サーバ装置
５６１  動画像データ記憶部
５６２  サムネイル生成部
５６３  通信処理部
５７０−１，５７０−２  情報通信端末
５８０  ネットワーク
７００  ネットワークシステム
【図１】
2012105205.tif 000005
【図２】
2012105205.tif 000006
【図３】
2012105205.tif 000007
【図４】
2012105205.tif 000008
【図５】
2012105205.tif 000009
【図６】
2012105205.tif 000010
【図７】
2012105205.tif 000011
【図８】
2012105205.tif 000012
【図９】
2012105205.tif 000013
【図１０】
2012105205.tif 000014
【図１１】
2012105205.tif 000015
【図１２】
2012105205.tif 000016
【図１３】
2012105205.tif 000017
【図１４】
2012105205.tif 000018
【図１５】
2012105205.tif 000019
【図１６】
2012105205.tif 000020