(57)【要約】【課題】動的な要素を有すると共に、シーン変化に対応した最適なサムネイルの作成を可能とする画像処理装置を提供する。【解決手段】撮像装置１７によって撮影された動画データが記憶装置１４の動画データ記憶領域１４ｂに記憶される。ＣＰＵ１１はこの動画データからシーンが大きく変化するシーン転換点を検出し、そのシーン転換点を基点にして動画データを部分的に切り出す。そして、この切り出された部分動画をサムネイル動画として当該動画データに対応付けてサムネイル記憶領域１４ｃに格納する。このサムネイル動画はシーン変化に対応しており、しかも、静止画と違って動的な要素を有する。よって、どのシーンを撮影したものであるかを直ぐに判断できる。【選択図】      図１
2008263657.tif 000002
【特許請求の範囲】
【請求項１】
動画データを入力する入力手段と、
この入力手段によって入力された動画データを記憶する動画記憶手段と、
この動画記憶手段に記憶された動画データのシーン転換点を検出するシーン転換点検出手段と、
このシーン転換点検出手段によって検出されたシーン転換点を基点にして前記動画データを部分的に切り出す動画切出し手段と、
この動画切出し手段によって切り出された部分動画をサムネイル動画として前記動画データに対応付けて記憶するサムネイル記憶手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
前記シーン転換点検出手段は、時間軸上に隣接する前後のシーンの変化の度合いが所定値以上であった場合にその部分をシーン転換点として検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動画切出し手段は、前記シーン転換点の前後のシーンから所定の比率で所定時間分の部分動画を切り出すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記動画切出し手段は、前記シーン転換点の後のシーンから所定時間分の部分動画を切り出すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記動画切出し手段は、前記シーン転換点からそれ以後のシーン変化の度合いが所定値以下になるまでの期間、部分動画の切出しを行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記動画切出し手段による部分動画の切出し時間を制御する切出し制御手段をさらに具備したことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記切出し制御手段は、時間軸上に隣接する前後のシーンの変化の度合いに基づいて切出し時間を調整するものであり、そのシーン変化の度合いが大きいほど切出し時間を長く取ることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記サムネイル記憶手段に記憶されたサムネイル動画を所定数読み出し、これらのサムネイル動画を組み合わせて１つのサムネイル合成動画を作成するサムネイル合成手段をさらに具備したことを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記サムネイル合成手段は、サムネイル合成動画を構成する各サムネイル動画の時間を合わせるべく、基準時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施し、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施すことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
動画データからサムネイル動画を作成するためのサムネイル動画作成方法であって、
前記動画データのシーン転換点を検出するステップと、
前記シーン転換点を基点にして前記動画データを部分的に切り出すステップと、
前記動画データから切り出された部分動画をサムネイル動画として前記動画データに対応付けて記憶するステップと
を有するサムネイル動画作成方法。
【請求項１１】
動画データからサムネイル動画を作成するためのサムネイル動画作成方法であって、
前記動画データのシーン転換点を検出するステップと、
前記動画データからサムネイル動画として用いる部分動画を切り出すための時間を決定するステップと、
前記シーン転換点を基点にして前記動画データから前記切出し時間分の部分動画を切り出すステップと、
前記動画データから切り出された部分動画をサムネイル動画として前記動画データに対応付けて記憶するステップと
を有するサムネイル動画作成方法。
【請求項１２】
動画データを処理するコンピュータに用いられるサムネイル動画作成プログラムであって、
前記コンピュータに、
前記動画データのシーン転換点を検出する機能と、
前記シーン転換点を基点にして前記動画データを部分的に切り出す機能と、
前記動画データから切り出された部分動画をサムネイル動画として前記動画データに対応付けて記憶する機能と
を実現させるサムネイル動画作成プログラム。
【請求項１３】
動画データを処理するコンピュータに用いられるサムネイル動画作成プログラムであって、
前記コンピュータに、
前記動画データのシーン転換点を検出する機能と、
前記動画データからサムネイル動画として用いる部分動画を切り出すための時間を決定する機能と、
前記シーン転換点を基点にして前記動画データから前記切出し時間分の部分動画を切り出す機能と、
前記動画データから切り出された部分動画をサムネイル動画として前記動画データに対応付けて記憶する機能と
を実現させるサムネイル動画作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば動画撮影可能なデジタルカメラやムービーカメラの他、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの種々の画像処理装置に係り、特に動画像によるサムネイルの作成機能を備えた画像処理装置と、同装置に用いられるサムネイル動画作成方法及びサムネイル動画作成プログラムに関する。
【背景技術】
【０００２】
従来、動画撮影可能なデジタルカメラなど、動画像を扱う画像処理装置では、動画データの中の１コマを用いてサムネイル画像を作成するものが知られている（例えば特許文献１、２参照）。サムネイル画像とは、頭出しや画像内容を把握する場合のインデックスとして用いられる画像のことであり、インデックス画像あるいはプレビュー画像などとも呼ばれる。
【０００３】
通常、この種の画像処理装置では、各画像が時系列に連続してなる動画データの中から先頭に位置する画像（静止画）を自動的に選んでサムネイル画像としている。しかし、先頭位置にある画像が必ずしもサムネイル画像として最適な画像とは限らない。そこで、特許文献１では、動画データの中からユーザが任意にサムネイル画像として最適な画像を設定可能とすることが提案させている。また、特許文献２では、ユーザ選択による自由なサムネイル画像の作成と共にシーンチェンジなどに対応した最適なサムネイル画像の作成を可能とすることが提案されている。
【０００４】
【特許文献１】特開２００１−１６９２３１号公報
【０００５】
【特許文献２】特開２０００−２７８６４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２などにおいて、サムネイル（インデックス）として用いられる画像は動画データの中の１コマに相当する静止画である。このため、この種のサムネイル画像では動的な要素に欠けてしまい、その１コマを見ただけでは、どのシーンを撮影したものであるかが直ぐに判らないなどの不具合がある。
【０００７】
本発明は前記のような点に鑑みなされたもので、動的な要素を有すると共に、シーン変化に対応した最適なサムネイルの作成を可能とする画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、動画データを入力する入力手段と、この入力手段によって入力された動画データを記憶する動画記憶手段と、この動画記憶手段に記憶された動画データのシーン転換点を検出するシーン転換点検出手段と、このシーン転換点検出手段によって検出されたシーン転換点を基点にして前記動画データを部分的に切り出す動画切出し手段と、この動画切出し手段によって切り出された部分動画をサムネイル動画として前記動画データに対応付けて記憶するサムネイル記憶手段とを具備して構成される。
【０００９】
このような構成の画像処理装置によれば、まず、動画データのシーン転換点が検出される。このシーン転換点の検出方法としては、例えば時間軸上に隣接する前後のシーンの変化の度合いに基づいて、そのシーン変化の度合が所定値以上であった場合にシーン転換ありとして判断する方法などがある。
【００１０】
シーン転換点が検出されると、そのシーン転換点を基点にして動画データから動画像が部分的に切り出される。この部分動画の切出し方法としては、例えばシーン転換点の前後のシーンから所定の比率で所定時間分の部分動画を切り出したり、シーン転換点の後のシーンから所定時間分の部分動画を切り出すなどの方法がある。また、シーン転換点からそれ以後のシーン変化の度合いが所定値以下になるまでの期間、部分動画の切出しても良い。
【００１１】
このようにして切り出された部分動画はサムネイル動画として用いられる。このサムネイル動画はシーン変化に対応したものであり、静止画と違って動的な要素を有するので、どのシーンを撮影したものであるかを直ぐに判断できる。
【００１２】
また、本発明の画像処理装置は、前記動画切出し手段による部分動画の切出し時間を制御する切出し制御手段をさらに具備したことを特徴とする。
【００１３】
このような切出し制御手段を備えることで、動画データから部分画像を切り出すときの時間を制御でき、例えばシーン変化の度合いが大きいほど切出し時間を長く取って、サムネイル動画の時間長を調整できる。
【００１４】
また、本発明の画像処理装置は、前記サムネイル記憶手段に記憶されたサムネイル動画を所定数読み出し、これらのサムネイル動画を組み合わせて１つのサムネイル合成動画を作成するサムネイル合成手段をさらに具備したことを特徴とする。
【００１５】
このようなサムネイル合成手段を備えることで、複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を作成することができる。
【００１６】
また、このサムネイル合成動画を構成する各サムネイル動画の時間が異なる場合において、ある基準となる時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施し、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施すことで、各サムネイル動画の時間を前記基準時間に揃えることができる。
【発明の効果】
【００１７】
以上詳記したように本発明によれば、動画データのシーン転換点を検出し、そのシーン転換点を基点にして動画像を部分的に切り出すことにより、シーン変化に対応したサムネイル動画を作成することができる。このようなサムネイル動画を当該動画データのインデックスとして用いれば、静止画と違って動的な要素を有するので、どのシーンを撮影したものであるかを直ぐに判断できる。
【００１８】
また、動画データから部分画像を切り出すときの時間を制御する機能を備えることで、例えばシーン変化の度合いが大きいほど切出し時間を長く取るなどの調整をすることができ、ユーザが動画の内容を把握しやすいサムネイル動画を作成することができる。
【００１９】
また、複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を作成する機能を備えることで、各サムネイル動画を一括して表示することができる。この場合、サムネイル合成動画を構成する各サムネイル動画に対し、コマの間引き処理や補間処理を施してそれぞれの時間を統一化することで、サムネイル合成動画を表示した際に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまうことを回避して、それぞれを同じ時間の間で表示することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の実施形態を説明する。
【００２１】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。なお、本発明の画像処理装置としては、例えば動画撮影機能を備えたデジタルカメラの他、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）やパーソナルコンピュータなど、動画データを扱う装置であれば全てを含む。ここでは、一般的なコンピュータとしての構成を示す。
【００２２】
図１に示すように、本実施形態における画像処理装置は、ＣＰＵ１１、入力装置１２、表示装置１３、記憶装置１４、通信装置１５、インタフェース１６、撮像装置１７を備える。
【００２３】
ＣＰＵ１１は、本装置全体の制御を行うものであり、記憶装置１４に記憶されたプログラムを読み込むことにより、そのプログラムに記述された手順に従って各種処理を実行する。入力装置１２は、例えばキーボード、マウス、タッチパネル、ペンなどからなる入力デバイスであり、各種データの入力や指示を行うためのものである。表示装置１３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスであり、その画面上に各種データの表示を行う。
【００２４】
記憶装置１４は、例えばＲＯＭやＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤーＲＯＭ、メモリーカードなどの種々のメモリデバイスによって構成することが可能であり、本装置に必要な各種情報を記憶する。この記憶装置１４には、プログラム記憶領域１４ａ、動画データ記憶領域１４ｂ、サムネイル動画記憶領域１４ｃ、サムネイル合成動画記憶領域１４ｄなどが設けられている。
【００２５】
プログラム記憶領域１４ａには、本発明を実現するためのプログラムを含む各種プログラムが記憶されている。動画データ記憶領域１４ｂには、撮像装置１７によって撮影された動画データが記憶される。サムネイル動画記憶領域１４ｃには、動画データ記憶領域１４ｂに記憶された動画データを元にして作成された複数枚のサムネイル動画が記憶される。このサムネイル動画は、動画データから抽出されたものであって、静止画ではなく、所定の時間長を有する。サムネイル合成動画記憶領域１４ｄには、このサムネイル動画を複数枚組み合わせて作成されるサムネイル合成動画が記憶される。
【００２６】
また、通信装置１５は、ネットワークを介して外部端末との間でデータ通信を行う。前記ネットワークとしては、インターネットの他、有線あるいは無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信回線も含む。インタフェース１６には、動画像の撮影機能を備えた撮像装置１７が着脱自在に接続される。この撮像装置１７によって撮影された動画データは記憶装置１４の動画データ記憶領域１４ｂに格納される。
【００２７】
図２に撮像装置１７によって撮影された動画データの一例を示す。
【００２８】
動画データは、時系列に連続する複数枚の静止画（フレーム）からなる。時間軸上に隣接する前後のシーンの画像において、両者の画像の相関が高いほど（類似度の高いほど）ほど、両者間の画像の動き量が低い。逆に、相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。したがって、この動き量が所定値以上である場合にシーンが大きく変化したものと判断できる。このシーンが大きく変化した部分をシーン転換点と呼ぶ。
【００２９】
図２の例では、時系列に連続した各画像ａ１…ａｎ，ｂ１…ｂｎ，ｃ１…ｃｎ…からなる動画データの中で、時間軸上で隣接する画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の相関が低く、動き量が高い。この動き量が所定値以上である場合に、そこがシーン転換点として検出される。
【００３０】
次に、本装置の第１の実施形態としての処理動作について説明する。
【００３１】
今、記憶装置１４の動画データ記憶領域１４ｂに、撮像装置１７によって撮影された動画データを有する動画ファイルが記憶されており、その動画データからサムネイル動画を作成する場合を想定して説明する。
【００３２】
図３は本装置の第１の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００３３】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＡ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量によって判断される。
【００３４】
このシーン転換点検出処理について、図４を参照して詳しく説明する。図４は本装置の第１の実施形態におけるシーン転換点検出処理の流れを示すフローチャートである。
【００３５】
図４に示すように、ＣＰＵ１１は、時間軸上で隣接する前後のシーンの画像から輝度信号を抽出し（ステップＢ１１）、その輝度信号に基づいて各位置毎の画像間の相関を表す動き量を求める（ステップＢ１２）。上述したように、両者の画像の相関が高いほど（類似度の高いほど）、両者間の画像の動き量は低く、逆に相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。
【００３６】
なお、ここでは画像の輝度信号によって動き量を求めているが、色信号や色差信号などの他の情報を用いて動き量を求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００３７】
両画像における各位置毎の動き量が得られると、ＣＰＵ１１はこれらの合計値、平均値あるいは自乗平均値などを求めた後（ステップＢ１３）、その値を両者間の画像の動き量Ｓとして予め設定された閾値Ｔｈと比較する（ステップＢ１４）。その結果、動き量Ｓが閾値Ｔｈより低ければ（ステップＢ１４のＮｏ）、ＣＰＵ１１はシーン転換なしと判断する（ステップＢ１５）。一方、動き量Ｓが閾値Ｔｈ以上であった場合には（ステップＢ１４のＹｅｓ）、ＣＰＵ１１はシーン転換ありと判断する（ステップＢ１６）。
【００３８】
以下同様にして、ＣＰＵ１１は時系列の順に当該動画データの前後のシーンの画像を順次チェックしていきシーン転換の有無を判断する。これにより、図２に示される動画データの例では、画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の間がシーン転換点として検出されることになる。
【００３９】
図３に戻って、動画データの中のシーン転換点が検出されると（ステップＡ１２のＹｅｓ）、ＣＰＵ１１はサムネイル動画として用いる部分動画の切出し時間を決定する（ステップＡ１３）。この切出し時間は、前記シーン転換点検出処理にてシーン転換ありとして判断されたときの動き量Ｓに基づいて決定する。この場合、図５（ａ）に示すように、そのときの動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を比例的に決める方法と、同図（ｂ）に示すように、動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を段階的に決める方法とがある。どちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００４０】
なお、動画データの各画像間の動き量Ｓがシーン変化の目安である閾値Ｔｈの付近で短周期に変動しているような場合には、動き量Ｓが閾値Ｔｈを越える度にシーン転換点として検出されて、同じようなサムネイル動画が多数作成されてしまうといった問題が生じる。そこで、このような問題を回避するため、最初に動き量Ｓが閾値Ｔｈ以上となったときに、その時点から少なくとも当該動き量Ｓに応じた切出し時間までの期間はシーン転換点の検出動作を禁止するような制御を加えておくことが好ましい。
【００４１】
図３に戻って、切出し時間が決定されると、ＣＰＵ１１は当該動画データのシーン転換点を基点にして前記切出し時間に従ってサムネイル動画として用いる部分の切り出し処理を行う（ステップＡ１４）。この場合の切出し方法として、図６に示すように、例えば切出し時間をＴとしたときに、シーン転換点の前後のシーンから所定の比率（ｎ：ｍ）で切出し時間Ｔ分の動画像を切り出す方法や、シーン転換点の後のシーンから切出し時間Ｔ分の動画像を切り出す方法などがあり、そのどちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００４２】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＡ１５）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＡ１６）。
【００４３】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、その部分を切り出すことでサムネイル動画を作り出す。この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。その長さはシーン変化の度合い（具体的には画像の動き量）に依存し、シーンが大きく変化している部分ほど、長いサムネイル動画が作成されることになる。
【００４４】
図７にサムネイル動画の一例を示す。
【００４５】
今、図７（ａ）に示すように、動画データの中から４枚のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄが作成されたとする。これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄはそれぞれに時間的な長さが異なる。ここで、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを時系列の順に表示すると、同図（ｂ）に示すように、例えばサムネイル動画Ｖａが３秒、サムネイル動画Ｖｂが２秒、サムネイル動画Ｖｃが１秒、サムネイル動画Ｖｄが３秒といったように、各シーンの動画像がそれぞれの時間ぶん表示されることになる。
【００４６】
これらのサムネイル動画はシーン変化に対応したものであり、静止画と違って動的な要素を有する。したがって、各サムネイル動画を表示した場合にどのシーンを撮影したものであるかを直ぐに判断できる。しかも、シーン変化の大きいところでは長く表示されるので、これらのサムネイル動画から全体的な内容を容易に把握することができる。
【００４７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４８】
前記第１の実施形態では、動き量Ｓが閾値Ｔｈ以上の場合にシーン転換ありと判断し、そのときの動き量Ｓに応じて切出し時間を決定することにより、シーン転換点を基点に前記切出し時間に従ってサムネイル動画として用いる部分動画を切り出すようにした。これに対し、第２の実施形態では、動き量Ｓによってシーン転換ありと判断してから、その動き量Ｓが所定値以下になるまでの期間を切出し時間として部分動画の切り出しを行うことを特徴とする。
【００４９】
図８を参照して具体的に説明する。
【００５０】
今、図８（ａ）に示すように、時系列に連続した複数の画像ａ１，ｂ１…ｃ１…ｃｎを含んだ動画データがあり、その動画データの動き量Ｓが同図（ｂ）に示すような特性を有するものとする。
【００５１】
ここで、Ｔｈ１とＴｈ２の２つの閾値を用意しておく。閾値Ｔｈ１はシーン転換点を検出するためのものであり、前記第１の実施形態における閾値Ｔｈに相当する。閾値Ｔｈ２は部分動画の切出し終了点を検出するためのものであり、閾値Ｔｈ１よりも低く設定される。
【００５２】
画像ａ１と画像ｂ１との間に大きな変化があり、そのときの動き量Ｓが閾値Ｔｈ１以上になると、その時点でサムネイル動画として用いる部分動画の切出しが開始される。前記第１の実施形態では、このときの動き量Ｓに応じて切出し時間が決定されていた。これに対し、第２の実施形態では、動き量Ｓが閾値Ｔｈ２以下になるまでの間、部分動画の切り出しが継続して行われる。この例では、画像ｂ１から画像ｃ１にかけて動き量Ｓが閾値Ｔｈ１以上あるので、そのまま切り出しが行われることになる。そして、画像ｃ１から画像ｃｎにかけて動き量Ｓが閾値Ｔｈ２以下になると、そこを切出し終了点として切出し動作が終了する。このようにして、動画データから切り出された部分動画がサムネイル動画として使用される。
【００５３】
以下に、図９を参照して第２の実施形態としての処理動作について詳しく説明する。
【００５４】
図９は本装置の第２の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００５５】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＣ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。
【００５６】
このシーン転換点検出処理については、前記第１の実施形態と同様である。すなわち、図４で説明したように、時間軸上で隣接する前後のシーンの画像の輝度信号などに基づいて両者間の動き量Ｓを求め、その動き量Ｓと予め設定された閾値Ｔｈ（ここでは閾値Ｔｈ１とする）とを比較し、動き量Ｓが閾値Ｔｈ１以上であった場合にシーン転換ありとして検出するものである。なお、動き量は輝度信号の他、色信号や色差信号などの他の情報を用いて求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００５７】
動画データの中のシーン転換点が検出されると（ステップＣ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点で当該動画データからサムネイル動画として用いる部分動画の切出しを開始する（ステップＣ１３）。この切出し動作は、図８で説明したように、動き量Ｓが閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）以下になるまで継続される（ステップＣ１４，Ｃ１５）。そして、動き量Ｓが閾値Ｔｈ２以下になると（ステップＣ１５のＹｅｓ）、ＣＰＵ１１はその時点で部分動画の切出し動作を終了する（ステップＣ１６）。
【００５８】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＣ１７）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＣ１８）。
【００５９】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、そこからシーン変化の度合いが所定値以下になるまでの間、部分動画の切り出しを継続的に行うことでも、前記第１の実施形態と同様に、動画像によるサムネイルつまりサムネイル動画を作り出すことができる。そして、このようにすることにより、シーンの変化が検出された場面から、一連の激しい動きが収まる場面までの動画を適応的に切り出すことができ、サムネイルとして切り出された動画を、まとまりが良く、内容の理解し易いものとすることができる。
【００６０】
この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。第２の実施形態において、その長さはシーン変化の連続性に依存し、シーンが大きく変化している時間が長いほど、長いサムネイル動画が作成されることになる。
【００６１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００６２】
第３の実施形態では、複数枚のサムネイル動画を組み合わせて１つの合成画像（これをサムネイル合成動画と呼ぶ）を作成すると共に、このサムネイル動画を構成する各サムネイル動画の時間を合わせることを特徴とするものである。
【００６３】
図１０を参照して具体的に説明する。
【００６４】
今、動画データから得られたサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを４分割画面に嵌め込んで、１つのサムネイル合成動画として表示する場合を想定する。この場合、サムネイル動画Ｖａは３秒、サムネイル動画Ｖｂは２秒、サムネイル動画Ｖｃは１秒、サムネイル動画Ｖｄは３秒であり、それぞれに時間が異なる。したがって、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを単に組み合わせてサムネイル合成動画を表示した場合に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまう。
【００６５】
そこで、このような表示時間の相違を解消するために、サムネイル合成動画を構成するサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄに対し、コマの間引き処理や補間処理を施すことで同じ時間に調整する。
【００６６】
この時間の調整方法としては、各サムネイル動画の時間の最小公倍数を取る第１の方法や最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがある。最小公倍数を取る第１の方法では、例えば各サムネイル動画の時間が１秒，２秒，３秒，４秒であるとした場合に、サムネイル合成動画の長さをこれらの最小公倍数である１２秒に合わせる。また、最大公約数を取る第２の方法では、例えば各サムネイル動画の時間が２秒，４秒，６秒，１２秒であるとした場合に、サムネイル合成動画の長さをこれらの最大公約数である２秒に合わせる。また、予め設定された時間に合わせる第３の方法では、各サムネイル動画の時間に関係なく、サムネイル合成動画の長さを例えば５秒などの固定化された時間に合わせる。
【００６７】
ここで、ある基準となる時間（これを合成サムネイル時間Ｔｃと呼ぶ）に合わせるものとすると、その合成サムネイル時間Ｔｃよりも長い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの間引き処理（コマを間引いて時間を短縮する処理）を施し、また、前記合成サムネイル時間Ｔｃよりも短い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの補間処理（コマを補間して時間を延ばす処理）を施すことで、各サムネイル動画の時間の統一化を行う。図１０の例では、合成サムネイル時間を１秒としている。したがって、サムネイル動画Ｖｃを除くサムネイル動画Ｖａ、Ｖｂ、Ｖｄに対し、時間短縮のためのためのコマの間引き処理が行われる。これにより、これらを組み合わせたサムネイル合成動画を４分割画面で表示した場合に、その中のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄがそれぞれに同じ時間（１秒）だけ表示されることになる。
【００６８】
なお、図１０の例では、４枚のサムネイル動画を用いてサムネイル合成動画を作成しているが、その枚数については特に限定されるものではなく、動画データから得られた全てのサムネイル動画を用いも良いし、また、その中の任意の枚数分のサムネイル動画を用いても良い。さらに、各サムネイル動画の配置についてもマトリクス状に限定されるものではない。要は複数枚の各サムネイル動画を組み合わせて１つのサムネイル合成動画として一括して表示できる形態であれば、どのような形態であっても構わない。
【００６９】
以下に、図１１を参照して本装置の第３の実施形態としての処理動作について詳しく説明する。なお、ここでは動画データから得られた全てのサムネイル動画を分割画面に順に嵌め込んで１つのサムネイル合成動画を作成する場合を想定して説明する。
【００７０】
図１１は本装置の第３の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００７１】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＤ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。このシーン転換点検出処理については、前記第１の実施形態と同様であるため、その説明は省略する。
【００７２】
動画データの中のシーン転換点が検出されると（ステップＤ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点を基点にしてサムネイル動画として用いる部分動画の切り出しを行う（ステップＤ１３）。この部分動画の切り出し方法としては、前記第１の実施形態で説明したような方法や、前記第２の方実施形態で説明したような方法があり、そのどちらの方法を用いても良い。ここで切り出された部分動画は１つのサムネイル動画として、記憶装置１４のサムネイル動画記憶領域１４ｃに当該動画データに対応付けて記憶される（ステップＤ１４）。その際、必要に応じてＭＰＥＧ方式等で圧縮されると共に、縦横サイズが所定のサイズに縮小される。
【００７３】
このようにして、動画データの先頭から順にシーン転換点が検出され、そのシーン転換点で部分動画が切り出されて、サムネイル動画としてサムネイル動画記憶領域１４ｃに順次格納されていく。
【００７４】
動画データの最後まで処理すると（ステップＤ１５のＹｅｓ）、ＣＰＵ１１は、サムネイル動画記憶領域１４ｃに格納された複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を以下のような手順で作成する。
【００７５】
すなわち、ＣＰＵ１１は、まず、合成サムネイル時間Ｔｃを決定する（ステップＤ１６）。この合成サムネイル時間Ｔｃは、サムネイル合成動画に含まれる各サムネイル動画を共通に表示する時間（基準時間）のことであり、その決め方には、上述したように各サムネイル動画の時間の最小公倍数を取る第１の方法、最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがあり、そのうちのどの方法を適用しても良く、また、その都度任意に選択できるようにしても良い。
【００７６】
このようにして合成サムネイル時間Ｔｃが決定されると、ＣＰＵ１１は、各サムネイル動画を時系列の順に処理していく。まず、ＣＰＵ１１は１番目のサムネイル動画をサムネイル動画記憶領域１４ｃから取り出し（ステップＤ１７）、そのサムネイル動画の時間と合成サムネイル時間Ｔｃとを比較する（ステップＤ１８ａ、Ｄ１８ｂ）。
【００７７】
ここで、サムネイル動画の時間と合成サムネイル時間Ｔｃが同じであれば（ステップＤ１８ａのＹｅｓ）、ＣＰＵ１１は当該サムネイル動画をそのまま分割画面の所定の位置に嵌め込む（ステップＤ２１）。詳しくは、このサムネイル動画を分割画面の所定の位置に嵌め込んで表示するべく、記憶装置１４のサムネイル動画記憶領域１４ｄに展開する。前記分割画面は、サムネイル合成動画を構成する各サムネイル動画を個別に表示するための画面であって、例えば図１０に示すように各サムネイル動画をマトリクス状に配置して一覧表示するような構成になっている。
【００７８】
一方、サムネイル動画の時間と合成サムネイル時間Ｔｃが異なり（ステップＤ１８ａのＮｏ）、しかも、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも長い場合には（ステップＤ１８ｂのＹｅｓ）、サムネイル動画の時間を短縮して合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画から合成サムネイル時間Ｔｃとの差分に相当するコマの間引きを行う（ステップＤ１９）。
【００７９】
逆に、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも短い場合には（ステップＤ１８ｂのＮｏ）、サムネイル動画の時間を延ばして合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画の各コマ間に合成サムネイル時間Ｔｃとの差分に相当するコマの補間を行う（ステップＤ２０）。
【００８０】
このコマの間引き若しくはコマの補間処理としては、例えば、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、コマ数の間引きないし補間の比を決定する方法が考えられる。すなわち、例えば、現在処理対象となっているサムネイル動画の時間が５秒であり、合成サムネイル時間Ｔｃが２秒であるような場合には、サムネイル動画５コマにつき３コマ間引きして２コマを残す、といった具合に間引きをすればよい。
【００８１】
また、この際、動画の連続性をなるべく損なわずにサムネイル動画を生成するといった観点から、間引きないし補間を行うコマは、なるべく均等に近い間隔にすることが望ましく、一ヶ所に偏って間引きや補間を行うなどの処理は避けるようにすることが望ましい。このように均等に間引きないし補間を行う場合には、上記のような、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、何コマに１コマ間引きまたは補間を行う必要があるかを求めて、これに従って処理すれば良い。
【００８２】
このように、サムネイル動画の時間を合成サムネイル時間Ｔｃに合わせるべく、サムネイル動画に対してコマの間引きあるいは補間といった編集処理を施した後、ＣＰＵ１１はその編集後のサムネイル動画を分割画面の所定の位置に嵌め込む（ステップＤ２１）。
【００８３】
以後同様に、全てのサムネイル動画の処理が終了するまで（ステップＤ２２のＮｏ）、ＣＰＵ１１は時系列の順にサムネイル動画記憶領域１４ｃからサムネイル動画を順次取り出し、前記ステップＤ１８ａ〜Ｄ２１の処理を繰り返す。このようにして、各サムネイル動画が前記分割画面の各位置にそれぞれ嵌め込まれて、１つのサムネイル合成動画が作成される。この場合、各サムネイル動画のそれぞれの時間が合成サムネイル時間Ｔｃに調整されているため、サムネイル合成動画を表示した際に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまうようなことはなく、それぞれが同じ時間（合成サムネイル時間Ｔｃ）の間、表示される。したがって、ユーザは１つの動画像として違和感なく見ることができる。
【００８４】
なお、図１１のフローチャートで示したの処理では、動画データから抽出されたすべてのサムネイル動画を用いてサムネイル合成動画を作成するものとしたが、その中の何枚かを任意選択的に用いてサムネイル合成動画を作成することでも良い。
【００８５】
また、動画データとしては、モノクロ画像でもカラー画像でも良く、その動画データから得られるサムネイル動画、さらに、各サムネイル動画を組み合わせなるサムネイル合成動画についてもモノクロ画像／カラー画像に限定されるものではない。
【００８６】
また、本発明が処理対象としている動画データはデジタルカメラやムービーカメラなどで撮影されたものを直接取り込んだものでも、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体から取得したものでも、ネットワークなどを通じて外部の端末から提供されたものであっても良い。
【００８７】
さらに、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】前記画像処理装置に用いられる撮像装置によって撮影された動画データの一例を示す図。
【図３】第１の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図４】第１の実施形態におけるシーン転換点検出処理の流れを説明するためのフローチャート。
【図５】第１の実施形態における動画の動き量と切出し時間との関係を示す図。
【図６】第１の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図７】第１の実施形態におけるサムネイル動画の一例を示す図。
【図８】本発明の第２の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図９】第２の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図１０】本発明の第３の実施形態における複数のサムネイル動画を組み合わせてなるサムネイル合成動画の作成を説明するための図。
【図１１】第３の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【符号の説明】
【００８９】
１１…ＣＰＵ
１２…入力装置
１３…表示装置
１４…記憶装置
１４ａ…プログラム記憶領域
１４ｂ…動画データ記憶領域
１４ｃ…サムネイル動画記憶領域
１４ｄ…サムネイル合成動画記憶領域
１５…通信装置
１６…インタフェース
１７…撮像装置
【図１】
2008263657.tif 000003
【図２】
2008263657.tif 000004
【図３】
2008263657.tif 000005
【図４】
2008263657.tif 000006
【図５】
2008263657.tif 000007
【図６】
2008263657.tif 000008
【図７】
2008263657.tif 000009
【図８】
2008263657.tif 000010
【図９】
2008263657.tif 000011
【図１０】
2008263657.tif 000012
【図１１】
2008263657.tif 000013
【手続補正書】
【提出日】平成20年7月28日(2008.7.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時系列的に連続する静止画データである動画データを記憶する動画記憶手段と、
この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段と、
この動き量検出手段によって時系列的に検出された動き量が、所定の閾値より大きくなった時点であるシーン転換点を検出するシーン転換点手段と、
前記動画データから、前記シーン転換点検出手段によって検出されたシーン転換点を基点とした所定の切出し時間分の動画データである部分動画を、切り出す動画切出し手段と、
前記切出し時間において、新たなシーン転換点の検出を禁止するよう前記シーン転換点手段を制御する切出し制御手段と、
前記動画切出し手段によって切り出された部分動画をサムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
前記シーン転換点において前記動き量検出手段により検出された動き量に応じて、前記切出し時間を決定する切出し時間決定手段を備え、
前記動画切出し手段は、
前記動画データから、前記シーン転換点検出手段によって検出されたシーン転換点を基点として、前記切出し時間決定手段により決定された切出し時間分の部分動画を切り出し、
切出し制御手段は、
前記シーン転換点検出手段によって検出されたシーン転換点を基点として、前記切出し時間決定手段により決定された切出し時間が経過するまで、前記シーン転換点の検出を禁止するよう前記シーン転換点検出手段を制御する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記切出し時間決定手段は、前記シーン転換点において前記動き量検出手段により検出された動き量が大きいほど、決定する切出し時間を長くする
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
時系列的に連続する静止画データである動画データを記憶する動画記憶手段を備えた画像処理装置のサムネイル動画作成方法であって、
前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出ステップと、
この動き量検出ステップにおいて時系列的に検出された動き量が、所定の閾値より大きくなった時点であるシーン転換点を検出するシーン転換点ステップと、
前記動画データから、前記シーン転換点検出ステップにおいて検出されたシーン転換点を基点とした所定の切出し時間分の動画データである部分動画を、切り出す動画切出しステップと、
前記切出し時間において、新たなシーン転換点の検出を禁止するよう前記シーン転換点手段を制御する切出し制御ステップと、
前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御ステップと
を含むサムネイル動画作成方法。
【請求項５】
コンピュータを、
時系列的に連続する静止画データである動画データを記憶する動画記憶手段、
この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段、
この動き量検出手段によって時系列的に検出された動き量が、所定の閾値より大きくなった時点であるシーン転換点を検出するシーン転換点手段、
前記動画データから、前記シーン転換点検出手段によって検出されたシーン転換点を基点とした所定の切出し時間分の動画データである部分動画を、切り出す動画切出し手段、
前記切出し時間において、新たなシーン転換点の検出を禁止するよう前記シーン転換点手段を制御する切出し制御手段、
前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段、
として機能させるサムネイル動画作成プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
請求項１記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段と、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段と、この動き量検出手段によって時系列的に検出された動き量が、所定の閾値より大きくなった時点であるシーン転換点を検出するシーン転換点手段と、前記動画データから、前記シーン転換点検出手段によって検出されたシーン転換点を基点とした所定の切出し時間分の動画データである部分動画を、切り出す動画切出し手段と、前記切出し時間において、新たなシーン転換点の検出を禁止するよう前記シーン転換点手段を制御する切出し制御手段と、前記動画切出し手段によって切り出された部分動画をサムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段とを具備したことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
請求項２記載の発明は、前記シーン転換点において前記動き量検出手段により検出された動き量に応じて、前記切出し時間を決定する切出し時間決定手段を備え、前記動画切出し手段は、前記動画データから、前記シーン転換点検出手段によって検出されたシーン転換点を基点として、前記切出し時間決定手段により決定された切出し時間分の部分動画を切り出し、第３の切出し制御手段は、前記シーン転換点検出手段によって検出されたシーン転換点を基点として、前記切出し時間決定手段により決定された切出し時間が経過するまで、切り出し動作を禁止するよう前記動画切出し手段を制御することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
請求項３記載の発明は、前記切出し時間決定手段は、前記シーン転換点において前記動き量検出手段により検出された動き量が大きいほど、決定する切出し時間を長くすることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
請求項４記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段を備えた画像処理装置のサムネイル動画作成方法であって、前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出ステップと、この動き量検出ステップにおいて時系列的に検出された動き量が、所定の閾値より大きくなった時点であるシーン転換点を検出するシーン転換点ステップと、前記動画データから、前記シーン転換点検出ステップにおいて検出されたシーン転換点を基点とした所定の切出し時間分の動画データである部分動画を、切り出す動画切出しステップと、前記切出し時間において、新たなシーン転換点の検出を禁止するよう前記シーン転換点手段を制御する第３の切出し制御ステップと、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御ステップとを含むサムネイル動画作成方法。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
請求項５記載の発明は、コンピュータを、時系列的に連続する静止画データである動画データを記憶する動画記憶手段、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段、この動き量検出手段によって時系列的に検出された動き量が、所定の閾値より大きくなった時点であるシーン転換点を検出するシーン転換点手段、前記動画データから、前記シーン転換点検出手段によって検出されたシーン転換点を基点とした所定の切出し時間分の動画データである部分動画を、切り出す動画切出し手段、前記切出し時間において、新たなシーン転換点の検出を禁止するよう前記シーン転換点手段を制御する第３の切出し制御手段、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段、として機能させる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明によれば、動的な要素を有すると共に、シーン変化に対応した最適なサムネイルの作成が可能となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】