(57)【要約】【課題】  複数の画像から、効率的に所望する画像を選択する画像処理の実行を目的とする。【解決手段】  所定の設定条件に基づいて、動画像の一部を静止画像として選択する画像選択処理装置であって、前記動画像を構成する画像群から、複数の画像を抽出する画像抽出部と、前記抽出された各画像毎に、該画像内において動きのある部分を検出する動き検出部と、前記検出された画像内の動きのある部分を、前記所定の設定条件に基づいて評価し、前記抽出された各画像毎に順位付けをする順位設定部と、前記順位付けに基づいて、前記静止画像を出力する出力部とを備えた画像選択処理装置とする。【選択図】  図３
2005159781.tif 000002
【特許請求の範囲】
【請求項１】
所定の設定条件に基づいて、動画像の一部を静止画像として選択する画像選択処理装置であって、
前記動画像を構成する画像群から、複数の画像を抽出する画像抽出部と、
前記抽出された各画像毎に、該画像内において動きのある部分を検出する動き検出部と、
前記検出された画像内の動きのある部分を、前記所定の設定条件に基づいて評価し、前記抽出された各画像毎に順位付けをする順位設定部と、
前記順位付けに基づいて、前記静止画像を出力する出力部と
を備えた画像選択処理装置。
【請求項２】
請求項１に記載の画像選択処理装置であって、
前記画像抽出部は、前記動画像におけるシーンの切り替わりに関する情報を取得し、該シーン毎に複数の画像を抽出する手段であり、
前記動画像におけるシーン毎に、前記順位付けに基づく、前記静止画像の出力を行なう画像選択処理装置。
【請求項３】
請求項１または２に記載の画像選択処理装置であって、
前記動き検出部は、前記抽出された各画像と所定の関連性を有する対象画像を選出する対象画像選出部と、
前記抽出された画像と前記選出された対象画像との画像間における撮影対象の位置のずれ量を検出するずれ量検出部とを備え、
前記画像間においてずれ量の補正を行ない、該補正後の画像間の部分的な位置のずれに基づいて、前記抽出された画像内での動きのある部分を検出する手段である画像選択処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像選択処理装置であって、
前記出力部は、前記順位付けに基づく静止画像の出力に先立って、該出力する候補である静止画像と時系列的に近接する関連画像について、前記設定条件に基づく評価を行なう関連画像評価部を備え、
前記評価された関連画像が前記出力候補の静止画像より上位順位である場合には、該出力候補の静止画像に替えて、あるいは該出力候補の静止画像と共に、該関連画像を出力する手段である画像選択処理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像選択処理装置であって、
前記動き検出部は、前記抽出された画像を所定の大きさのブロック単位に分割し、ブロック単位で動きの有無を検出する手段である画像選択処理装置。
【請求項６】
請求項５に記載の画像選択処理装置であって、
前記順位設定部は、前記分割したブロック毎に評価値を与える評価係数マトリックスを複数有し、前記検出された動きのあるブロックに対応する評価係数を、前記設定条件として指定された一の評価係数マトリックスから読み取り、画像全体の評価値を該読み取った評価係数を用いて算出し、該評価値に基づいて順位付けをする手段を備えた画像選択処理装置。
【請求項７】
請求項６に記載の画像選択処理装置であって、
前記順位設定部は、前記評価値の差が所定の範囲内である複数の画像が抽出された場合には、該各画像内の動きのあるブロックの状態に基づいて順位付けをする手段である画像選択処理装置。
【請求項８】
請求項５ないし７のいずれかに記載の画像選択処理装置であって、
前記順位設定部は、前記検出された画像内の動きのあるブロックにおける色相系の肌色領域を判断することで、前記抽出された画像の順位付けを行なう手段であり、該肌色領域を示す動きブロックの数が多い画像を、高順位とする画像選択処理装置。
【請求項９】
請求項６または７に記載の画像選択処理装置であって、
前記複数の評価係数マトリックスは、所定の構図に対応するブロック毎に重み付けをして係数を設定したマトリックスである画像選択処理装置。
【請求項１０】
請求項９に記載の画像選択処理装置であって、
前記順位設定部は、前記検出された画像内の動きのあるブロックが前記所定の構図内に収まるか否かを判断する手段を備え、
前記出力部は、前記所定の構図に収まる静止画像を出力する画像選択処理装置。
【請求項１１】
請求項１０に記載の画像選択処理装置であって、
前記順位設定部は、前記評価値を前記動きのあるブロックの数で除した値を用いて、前記所定の構図内に収まる対象物の割合を算出し、該割合に基づいて前記抽出された画像の順位付けを行なう手段である画像選択処理装置。
【請求項１２】
請求項１ないし１０のいずれかに記載の画像選択処理装置であって、
前記設定条件が画像内の動きのある部分が少ないものを選択する条件である場合には、前記順位設定部は、前記抽出された画像毎に検出した動きのある部分の総面積が少ない画像から順に上位とする画像選択処理装置。
【請求項１３】
所定の設定条件に基づいて、動画像の一部を静止画像として選択する画像選択方法であって、
前記動画像を構成する画像群から、複数の画像を抽出し、
前記抽出された各画像毎に、該画像内において動きのある部分を検出し、
前記検出された画像内の動きのある部分を、前記所定の設定条件に基づいて評価し、前記抽出された各画像毎に順位付けを行ない、
前記順位付けに基づいて、前記静止画像を出力する画像選択方法。
【請求項１４】
所定の設定条件に基づいて、動画像の一部を静止画像として選択する画像選択処理装置を制御するコンピュータプログラムであって、
前記動画像を構成する画像群から、複数の画像を抽出する機能と、
前記抽出された各画像毎に、該画像内において動きのある部分を検出する機能と、
前記検出された画像内の動きのある部分を、前記設定条件に基づいて評価し、前記抽出された各画像毎に順位付けをする機能と、
前記順位付けに基づいて、前記静止画像を出力する機能と
をコンピュータに実現させるコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に含まれる複数の画像から所定の静止画像を選択する画像選択処理装置，画像選択方法およびコンピュータプログラム，記録媒体に関する。
【背景技術】
【０００２】
従来から、動画像に含まれる複数の画像から静止画像を切出すには、様々な方法が用いられている。例えば、デジタルビデオカメラで撮影された動画像から、その動画像の内容を象徴するようなフレーム画像（動画像を構成する一画像）の抽出する場合には、動画像について再生,早送り等を繰り返して、ユーザが手動で内容を確認することで、一のフレーム画像を決定していた。（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２０００−２９９８２９号公報
【０００４】
こうしたユーザの手動操作では目的とするフレーム画像に到達するまでに時間がかかるため、例えば５秒間間隔毎のフレーム画像を画一的に抽出し、抽出された複数のフレーム画像から目的とするものを探す方法や、動画像の再生時間を切出したいフレーム画像の枚数で等分割し、該当するフレーム画像を切出す方法などが行なわれていた。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、こうした単に画一的にフレーム画像の切出す方法では、切出したフレーム画像の中に動画像の内容を象徴するような画像が含まれない場合があるという問題があった。例えば、等時間間隔ごとに切出してきた数枚のフレーム画像が、偶然、シーンチェンジのフレーム画像であるような場合には、無意味なフレーム画像を抽出することとなる。
【０００６】
本発明は、こうした問題を解決し、複数の画像から、効率的に所望する画像を選択する画像処理の実行を目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の画像選択処理装置は、上記課題の少なくとも一部を解決するため、以下の手法を採った。すなわち、所定の設定条件に基づいて、動画像の一部を静止画像として選択する画像選択処理装置であって、前記動画像を構成する画像群から、複数の画像を抽出する画像抽出部と、前記抽出された各画像毎に、該画像内において動きのある部分を検出する動き検出部と、前記検出された画像内の動きのある部分を、前記所定の設定条件に基づいて評価し、前記抽出された各画像毎に順位付けをする順位設定部と、前記順位付けに基づいて、前記静止画像を出力する出力部とを備えたことを要旨としている。
【０００８】
また、本発明の第１の画像選択方法は、所定の設定条件に基づいて、動画像の一部を静止画像として選択する画像選択方法であって、前記動画像を構成する画像群から、複数の画像を抽出し、前記抽出された各画像毎に、該画像内において動きのある部分を検出し、前記検出された画像内の動きのある部分を、前記所定の設定条件に基づいて評価し、前記抽出された各画像毎に順位付けを行ない、前記順位付けに基づいて、前記静止画像を出力することを要旨としている。
【０００９】
第１の画像選択処理装置および画像選択方法によれば、最終的に出力する静止画像の候補となる複数の画像を抽出し、抽出した画像内の動き部分を設定条件に基づき評価することで、候補画像に順位を付け、条件に合う画像を選出する。つまり、所定の設定条件と適合する特徴を有する画像を、複数の候補画像の中から、自動的に選択することができる。したがって、所望する特徴を有する画像を効率的に選択することができる。
【００１０】
上記の構成を有する画像選択処理装置の画像抽出部は、前記動画像におけるシーンの切り替わりに関する情報を取得し、該シーン毎に複数の画像を抽出する手段であり、前記動画像におけるシーン毎に、前記順位付けに基づく、前記静止画像の出力を行なうものとしても良い。
【００１１】
かかる画像処理装置によれば、画像抽出部は、例えば、各画像の輝度情報や、動画像を撮影したカメラの動き等のシーンの切り替わりに関する情報を取得し、各シーンの範囲を判断して、シーン毎に候補となる複数の画像を抽出する。そして、出力部は、抽出された複数の画像に対する順位付けに基づいて、静止画像を出力する。したがって、シーン毎に所定の設定条件に合った静止画像を選出することができる。特に、動画の内容を表示するキャプチャ等の生成に有効である。
【００１２】
上記の構成を有する画像選択処理装置の動き検出部は、前記抽出された各画像と所定の関連性を有する対象画像を選出する対象画像選出部と、前記抽出された画像と前記選出された対象画像との画像間における撮影対象の位置のずれ量を検出するずれ量検出部とを備え、前記画像間においてずれ量の補正を行ない、該補正後の画像間の部分的な位置のずれに基づいて、前記抽出された画像内での動きのある部分を検出する手段とすることができる。
【００１３】
かかる画像選択処理装置によれば、動き検出部は、画像間における撮影対象のずれ量に基づいて、抽出された各画像の特徴としての動きのある部分を検出する。例えば、検出された動きのある部分を、画像内における位置、大きさ等を指標として評価し、抽出した各画像に対する順位付けをすることができる。
【００１４】
上記の構成を有する画像選択処理装置の出力部は、前記順位付けに基づく静止画像の出力に先立って、該出力する候補である静止画像と時系列的に近接する関連画像について、前記設定条件に基づく評価を行なう関連画像評価部を備え、前記評価された関連画像が前記出力候補の静止画像より上位順位である場合には、該出力候補の静止画像に替えて、あるいは該出力候補の静止画像と共に、該関連画像を出力する手段とすることができる。
【００１５】
かかる画像選択処理装置によれば、最終的な静止画像を選出する前に、該静止画像と時系列的に近傍にある画像を関連画像として抽出し、選出しようとする静止画像に比して関連画像の評価が上位である場合には、静止画像に替えて、あるいは静止画像と共に、その関連画像を選出する。したがって、静止画像の近傍を精査して、設定条件に合った画像を選出することができる。
【００１６】
上記の構成を有する画像選択処理装置の動き検出部は、前記抽出された画像を所定の大きさのブロック単位に分割し、ブロック単位で動きの有無を検出する手段であるものとしても良い。かかる画像選択処理装置によれば、ブロック単位で動きを検出し、画像全体の評価、順位付けを行なう。したがって、画像全体の評価にかかる処理時間を短くすることができる。
【００１７】
上記の構成を有する画像選択処理装置の順位設定部は、分割したブロック毎に評価値を与える評価係数マトリックスを複数有し、前記検出された動きのあるブロックに対応する評価係数を、前記設定条件として指定された一の評価係数マトリックスから読み取り、画像全体の評価値を該読み取った評価係数を用いて算出し、該評価値に基づいて順位付けをする手段とすることができる。
【００１８】
かかる画像選択処理装置によれば、検出された動きのある各ブロックと、それに対応する評価係数マトリックスの値とから、画像全体の評価値を算出する。例えば、画像の中央付近のブロックに高い値を設定した評価係数マトリックスを指定した場合には、動きのあるブロックにフラグ１を立て、対応する評価係数マトリックスの値を乗じて得た値の和を画像全体の評価値とすることができる。こうした場合、評価値の高い画像は、動きのあるブロックが画像の中央付近に位置する画像となる。したがって、特に、動きのあるブロックが所望する位置にある画像を選択する場合に有効となる。
【００１９】
上記の構成を有する画像選択処理装置の順位設定部は、前記評価値の差が所定の範囲内である複数の画像が抽出された場合には、該各画像内の動きのあるブロックの状態に基づいて順位付けをする手段であるものとしても良い。かかる画像選択処理装置によれば、例えば２つの画像に対する評価値が同等である場合には、それぞれの動きのあるブロックの数，大きさ等の状態を基準に順位付けを行なうことができる。
【００２０】
上記の構成を有する画像選択処理装置の順位設定部は、前記検出された画像内の動きのあるブロックにおける色相系の肌色領域を判断することで、前記抽出された画像の順位付けを行なう手段であり、該肌色領域を示す動きブロックの数が多い画像を、高順位とするものとしても良い。かかる画像選択処理装置によれば、順位付けは、動きのあるブロックの中で特に肌色領域を判断することで行なわれ、肌色と判断された動きブロックが多い画像を高順位とする。高順位の画像には、「人の顔」が撮影されている可能性が高く、例えば、対象物として「人の顔」が所望する範囲内に入る画像を選択する場合に、特に有効である。
【００２１】
上記の構成を有する画像選択処理装置において、複数の評価係数マトリックスは、所定の構図に対応するブロック毎に重み付けをして係数を設定したマトリックスであるものとすることができる。また、順位設定部は、前記検出された画像内の動きのあるブロックが前記所定の構図内に収まるか否かを判断する手段を備え、前記出力部は、前記所定の構図に収まる静止画像を出力するものとすることができる。
【００２２】
かかる画像選択処理装置によれば、評価係数マトリックスとして所定の構図を想定し、その構図内に入る動きあるブロックは、高い評価値を得るように、重み付けをする。この重み付けをした評価係数マトリックスを用いて順位付けを行なうことで、構図に合う画像を複数の画像から自動的に選択することができる。
【００２３】
上記の構成を有する画像選択処理装置の順位設定部は、前記評価値を前記動きのあるブロックの数で除した値を用いて、前記所定の構図内に収まる対象物の割合を算出し、該割合に基づいて前記抽出された画像の順位付けを行なう手段であるとしても良い。かかる画像選択処理装置によれば、算出する割合は、動きのあるブロックが所望する範囲内にどの程度入るかを表わす指標となる。この指標を用いることで、容易に順位付けを行なうことができる。
【００２４】
上記の構成を有する画像選択処理装置において、前記設定条件が画像内の動きのある部分が少ないものを選択する条件である場合には、前記順位設定部は、前記抽出された画像毎に検出した動きのある部分の総面積が少ない画像から順に上位とするものとしても良い。かかる画像選択処理装置によれば、動きのある部分が多い画像は下位とし、動きのある部分が少ない画像を意図的に選択することができる。例えば、「風景画」等の選択を所望する場合に有効である。
【００２５】
本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体としても実装することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像選択処理装置の構成
Ａ２．画像選択処理
Ａ３．風景フレーム画像検出処理
Ａ４．動きフレーム画像検出処理
Ａ５．スコア係数表
Ｂ．第２実施例：
Ｂ１．構図に合う画像検索処理
Ｃ．変形例：
【００２７】
Ａ．第１実施例：
Ａ１．画像選択処理装置の構成：
図１は、本発明の第１実施例としての画像選択処理システム１００を示す説明図である。図示するように、この画像選択処理システム１００は、動画像データを供給する画像データベース２０、画像データベース２０から入力した複数の画像に対して画像選択処理を実行する画像選択処理装置としてのパーソナルコンピュータ３０、画像選択処理の実行をユーザが指示するためのユーザインターフェース４０、画像選択処理により選択された画像等を用紙に出力するカラープリンタ５０等から構成されている。
【００２８】
画像データベース２０は、デジタルビデオカメラ２１，ＤＶＤ２３，ハードディスク２４などの画像を取り扱う機器を有し、パーソナルコンピュータ３０へ画像データを供給する。なお、本実施例の画像データデース２０に保有される画像データは、デジタルビデオカメラ２１で取得した動画像データである。この動画像データは、時系列的に連続した画像データの集まりで構成されており、その各画像データをフレーム画像と呼ぶ。以下、本実施例での「画像選択処理」は、複数のフレーム画像から所定の条件を満足するフレーム画像を「静止画像」として選択する処理として説明する。
【００２９】
パーソナルコンピュータ３０は、画像選択処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、画像選択処理のソフトウェアをインストールするハードディスク３４、画像データベース２０，ユーザインターフェース４０やカラープリンタ５０などの外部機器とやり取りするためのＩ／Ｆ回路部３５等を有している。ハードディスク３４にインストールされたソフトウェアの画像選択処理は、動画像データの読込み機能、所定枚数のフレーム画像の抽出機能、抽出したフレーム画像の特徴量の検出機能、特徴量に基づいてフレーム画像毎に順位を付ける機能、上位の順位のフレーム画像を出力する機能を備えている。このソフトウェアをインストールしたパーソナルコンピュータ３０は、画像選択処理装置としての「画像抽出部」，「動き検出部」，「順位設定部」，「出力部」の各機能を有する。なお、この画像選択処理の流れについては、後に詳しく説明する。
【００３０】
ユーザインターフェース４０は、ユーザが画像選択処理の実行操作を行なうためのキーボード４１やマウス４２、動画像などを表示するディスプレイ４３などを備えている。このディスプレイ４３には、例えば、図２に示す画像選択処理の操作画面が表示される。図示するように、この操作画面は、所定のフレーム画像を抜き出す対象となる動画像の再生等を行なう部分と、ユーザの所望するフレーム画像の条件を設定する部分を備えている。ユーザがキーボード４１やマウス４２を用いて設定操作を行なうことで、画像選択処理が実行される。
【００３１】
この画像選択処理の一連の概念図を、図３に示した。図示するように、この画像選択処理は、動画像の所定の時間間隔から複数枚のフレーム画像を抽出し、抽出した複数枚のフレーム画像に対して所定の条件に基づいて順位を付け、高順位のフレーム画像を選択する処理である。以下に、この画像選択処理の詳細を説明する。
【００３２】
Ａ２．画像選択処理：
図４は、動画像を構成する複数のフレーム画像から、所定の条件に合った一のフレーム画像を選択する第１実施例の画像選択処理のフローチャートである。上述のハード構成を有する画像選択処理システム１００において、ユーザがキーボード４１を操作することで、パーソナルコンピュータ３０にインストールされた画像選択処理が開始される。
【００３３】
画像選択処理が開始すると、パーソナルコンピュータ３０は、画像データベース２０からフレーム画像データの集合である動画像データを入力し（ステップＳ３００）、これをディスプレイ４３上に表示する。本実施例では、デジタルビデオカメラ２１から直接、動画像データを入力しているが、例えば、複数の動画像データを収納したハードディスク２４から入力する場合には、ハードディスク２４のファイル一覧を表示し、その一覧からユーザが一を選択するものとしても良い。
【００３４】
続いて、ユーザは、選択を所望するフレーム画像の条件を設定する「切取りモードの選択」操作を行なう（ステップＳ３１０）。「切取りモード」には、フレーム画像を抽出する（切取る）範囲の条件設定と、フレーム画像に含まれる対象物の条件設定とがある。図２の操作画面に示したように、範囲の条件設定の選択肢には、ユーザが動画像を所定の時間間隔で区切り、その範囲の中から設定条件に合う一枚のフレーム画像を選択する「手動」モードと、ユーザが所定の時間を指定し、その時間間隔毎に設定条件に合う一枚のフレーム画像を選択する「自動」モードとがある。他方、対象物の条件設定の選択肢には、フレーム画像内の対象物として動きのあるものを選択する「動き」フレームモードと、「風景」などの動きの少ないものを選択する「風景」フレームモードとがある。ユーザは、操作画面上にて、各種モードを選択し、マウス４２でクリックすることでモード設定を行なう。
【００３５】
パーソナルコンピュータ３０は、ユーザが設定した対象物の条件が、「動き」フレーム画像、「風景」フレーム画像のいずれであるかの判断を行なう（ステップＳ３３０）。
【００３６】
ステップＳ３３０にて、パーソナルコンピュータ３０は、ユーザが「動き」フレーム画像を指定していると判断した場合には、設定条件の動画像の範囲から「動き」フレーム画像を検出する「動き」フレーム画像検出処理を実行する（ステップＳ３４０）。「動き」フレーム画像検出処理では、「手動」モードで指定された範囲内または、「自動」モードで指定された時間間隔内から、所定枚数のフレーム画像を抽出し、抽出した各フレーム画像に対して所定の設定条件による順位付けを行なう。
【００３７】
他方、ステップＳ３３０にて、パーソナルコンピュータ３０は、ユーザが「風景」フレーム画像を指定していると判断した場合には、設定条件の動画像の範囲から「風景」フレーム画像を検出する「風景」フレーム画像検出処理を実行する（ステップＳ３５０）。「風景」フレーム画像検出処理では、「手動」モードで指定された範囲内または、「自動」モードで指定された時間間隔内から、所定枚数のフレーム画像を抽出し、抽出した各フレーム画像に対して所定の設定条件による順位付けを行なう。
【００３８】
この両検出処理は、ユーザがステップＳ３１０にて、「手動」、「自動」モードを選択して設定した範囲内から、所定枚数のフレーム画像を候補として抽出し（この候補として抽出されたフレーム画像を候補フレーム画像と呼ぶ）、そのフレーム画像に順位を付ける処理である点で共通するが、順位を付ける判断基準等が異なる。この両検出処理については、後に詳しく説明する。
【００３９】
各検出処理を経て、パーソナルコンピュータ３０は、候補フレーム画像に付けられた順位が一番目であるフレーム画像を選択し、そのフレーム画像をディスプレイ４３に表示して（ステップＳ３６０）、この処理を終了する。なお、パーソナルコンピュータ３０は、ステップＳ３１０にて設定されたモードが「自動」モードである場合には、設定した時間間隔毎に一枚のフレーム画像を選択し、動画像の全再生時間に亘って、複数枚のフレーム画像をディスプレイ４３上にサムネイル表示する。
【００４０】
Ａ３．風景フレーム画像検出処理：
図５は、第１実施例の画像選択処理のサブルーチンである「風景」フレーム画像検出処理のフローチャートである。図４に示したステップＳ３１０で、ユーザが「風景」フレーム画像を選択すると、このサブルーチンが開始する。パーソナルコンピュータ３０は、「手動」モードである場合には、図２に示した操作画面上でユーザが設定した再生時間間隔（例えば、再生時間で１５秒から２０秒の間）から所定枚数Ｎの候補フレーム画像を抽出する。他方、「自動」モードである場合には、操作画面上でユーザが入力した時間間隔毎（例えば、再生時間で３秒間毎）の範囲から所定枚数Ｎの候補フレーム画像を抽出する（ステップＳ４００）。以下、本実施例では、「自動」モードが選択され、３秒間の範囲から９枚の候補フレーム画像（Ｎ＝９）を抽出するものとして説明する。なお、所定枚数Ｎは、「手動」モードの時間間隔に応じて変化するものとしても良いし、ユーザが任意に設定するものとしても良い。
【００４１】
パーソナルコンピュータ３０は、３秒間の範囲から抽出した９枚の候補フレーム画像ｆに対して、時系列順にナンバリングを行ない、時系列順に以下のステップを実行するための初期条件（ｆ＝１）を設定する（ステップＳ４１０）。
【００４２】
続いて、パーソナルコンピュータ３０は、９枚の候補フレーム画像から１枚の候補フレーム画像ｆを選定し、その候補フレーム画像ｆのナンバが所定枚数（Ｎ＝９）以下であることを確認する（ステップＳ４２０）。つまり、このステップＳ４２０では、全ての候補フレーム画像に対して、以下の特徴量を算出する処理を実施したか否かを判断する。
【００４３】
ステップＳ４２０にて、パーソナルコンピュータ３０は、一の候補フレーム画像について特徴量を算出していないと判断した場合には、その選定した候補フレーム画像（初期の処理では、時系列順で一番目の候補フレーム画像ｆ＝１）について、画像の輝度値Ｂを算出する処理を行なう（ステップＳ４３０）。ここでは、一の候補フレーム画像ｆを構成する各画素の輝度値の平均値を算出し、これを輝度値Ｂとしている。
【００４４】
パーソナルコンピュータ３０は、算出した輝度値Ｂが所定の範囲内であるか否かについて判断する（ステップＳ４４０）。ステップＳ４４０にて、候補フレーム画像ｆの輝度値Ｂが所定の範囲（α≦Ｂ≦β）に入らない場合には、次のステップである「動き検出」処理を行なうことなく、その候補フレーム画像ｆについての輝度値ＢをＲＡＭ３３，ハードディスク３４等のメモリに書き込み（ステップＳ４６０）、次の候補フレーム画像（ｆ＝ｆ＋１）について、ステップＳ４２０からの処理を行なう。ステップＳ４４０では、輝度値Ｂがαよりも小さい場合の画像である真っ暗な画像や、輝度値Ｂがβよりも大きい場合の画像である明るすぎる画像など、不所望な画像を排除することができる。
【００４５】
他方、ステップＳ４４０にて、候補フレーム画像ｆの輝度値Ｂが所定の範囲内に収まる場合には、パーソナルコンピュータ３０は、その候補フレーム画像ｆに関して「動き検出」処理を行なう（ステップＳ４５０）。「動き検出」処理では、候補フレーム画像ｆに時系列的に連続するフレーム画像（これを対象フレーム画像と呼ぶ）を抽出し、候補フレーム画像ｆと対象フレーム画像とを比較することで、候補フレーム画像ｆ内において動きのある部分を検出する。
【００４６】
ステップＳ４５０の「動き検出」処理に移行すると、パーソナルコンピュータ３０は、候補フレーム画像ｆに対して時系列で後ろにあたるフレーム画像を対象フレーム画像として抽出し、周知の勾配法を用いて、両フレーム画像間の並進ずれ量（ｕ，ｖ）、回転ずれ量δを算出する。この算出したずれ量（ｕ，ｖ，δ）を基に、対象フレーム画像を候補フレーム画像ｆに重ね合わせる補正をする。この補正は、手ブレやパン，チルト等による２つのフレーム画像間の位置ずれを補正するものとなる。補正後の両フレーム画像を本実施例ではそれぞれ１６×１２のブロックに分割し、両フレーム画像の対応するブロック同士で、同様にずれ量（ｕｂ，ｖｂ，δｂ）を算出する。ここで算出したブロック間のずれ量は、両フレーム画像間の位置ずれを除いたものであり、画像内の「動き」を表わす。つまり、パーソナルコンピュータ３０は、ブロック間のずれ量がある閾値を超えたものを、「動きブロック」と判断している。こうして全ブロックについて、「動きブロック」であるか否かの判断を行ない、「動きブロック」のブロック数ｍを算出している。
【００４７】
パーソナルコンピュータ３０は、一の候補フレーム画像ｆについて、算出した輝度値Ｂと動きブロック数ｍをメモリに書き込み（ステップＳ４６０）、順に次の候補フレーム画像について、ステップＳ４２０からの処理を繰り返す。
【００４８】
パーソナルコンピュータ３０は、ステップＳ４２０にて、全ての候補フレーム画像について輝度値Ｂと動きブロック数ｍとの特徴量をメモリに書き込んだと判断した場合には、各候補フレーム画像の順位付けを行なう（ステップＳ４７０）。図６には、こうして算出した各候補フレーム画像の特徴量の一例を示した。このサブルーチンでは、対象物が「風景」であるため、図６に示すように動きブロック数ｍによって、各候補フレーム画像の順位が付けられている。つまり、「風景」フレーム画像の検出では、所定の輝度値Ｂを有し、動きブロック数ｍの少ないものを高順位としている。
【００４９】
続いて、パーソナルコンピュータ３０は、全時間について順位付けの処理を実行したか否かを判断する（ステップＳ４８０）。具体的には、設定条件が「手動」モードである場合、または、「自動」モードであって全再生時間に亘って、順位付けの処理を実行した場合には、ユーザの指定した全範囲について処理を実行しているため、このサブルーチンを終了し、図４に示したフローチャートに戻る。他方、「自動」モードであって全再生時間に亘って、順位付けの処理を終えていない場合、例えば、再生時間で０〜３秒の間については処理を実行したが、次の３〜６秒については未実施の場合、ステップＳ４００に戻り、３〜６秒の範囲からフレーム画像を抽出し、上述の処理を繰り返す。
【００５０】
こうしてサブルーチンの終了後、前述のように、パーソナルコンピュータ３０は、図４に示したフローチャートのステップＳ３６０に戻り、順位が一番である候補フレーム画像を最も条件に合う静止画像として、ディスプレイ４３上に表示し、全ての画像選択処理を終了する。
【００５１】
Ａ４．動きフレーム画像検出処理：
図７は、第１実施例の画像選択処理のサブルーチンである「動き」フレーム画像検出処理のフローチャートである。図４に示したステップＳ３１０で、ユーザが「動き」フレーム画像を選択すると、このサブルーチンが開始する。このサブルーチンは、「風景」フレーム画像検出処理とは、動き検出（ステップＳ４５０，Ｓ４６０）、順位付け（ステップＳ４７０）の処理が異なるのみである。したがって、その他の処理に関しては、図５に示したステップ番号と同一番号とし、簡単に説明する。
【００５２】
パーソナルコンピュータ３０は、「手動」，「自動」モードのそれぞれに対応した範囲から所定枚数Ｎの候補フレーム画像を抽出する（ステップＳ４００）。本実施例では、図５に示した「風景」フレーム画像検出処理と同様、「自動」モード、３秒間隔の条件で、９枚の候補フレーム画像を抽出するものとする。
【００５３】
パーソナルコンピュータ３０は、初期条件を設定し（ステップＳ４１０）、候補フレーム画像ｆのナンバが所定枚数以下であるか否かを判断する（ステップＳ４２０）。ステップＳ４２０にて、一の候補フレーム画像について特徴量である輝度値Ｂを算出していないと判断した場合には、その候補フレーム画像について、画像の輝度値Ｂを算出する処理を行なう（ステップＳ４３０）。
【００５４】
続いて、算出した輝度値Ｂが所定の範囲内であるか否かについて判断する（ステップＳ４４０）。ステップＳ４４０にて、輝度値Ｂが、所定の範囲（α≦Ｂ≦β）に入らない場合には、次の候補フレーム画像（ｆ＝ｆ＋１）について、ステップＳ４２０からの処理を繰り返す。他方、ステップＳ４４０にて、候補フレーム画像ｆの輝度値Ｂが所定の範囲内に収まる場合には、パーソナルコンピュータ３０は、その候補フレーム画像ｆに関して「動き」スコア計算処理を行なう（ステップＳ６５０）。ステップＳ４４０では、風景フレーム画像検出処理と同様、輝度値Ｂが所定の範囲に入る画像を選択することで、暗すぎる画像や明るすぎる画像を排除することができる。
【００５５】
図８は、「動き」フレーム画像検出処理のサブルーチンである「動き」スコア計算処理のフローチャートである。このサブルーチンに移行すると、パーソナルコンピュータ３０は、まず、以下のスコア計算に用いる係数の初期化を行なう（ステップＳ７００）。続いて、「風景」フレーム画像検出処理と同様、候補フレーム画像ｆに時系列的に連続する対象フレーム画像を抽出して候補フレーム画像ｆ内における動きブロックを検出する動き検出処理を実行する（ステップＳ７１０）。
【００５６】
パーソナルコンピュータ３０は、ステップＳ７１０で求めた動きブロック数ｍが所定の範囲内であるか否かを判断する（ステップＳ７２０）。本実施例では、所定の範囲を示す下限値γをフレーム画像の全面積の５０分の１、上限値εをフレーム画像の全面積の半分として設定している。この所定の範囲内の条件を満たす画像を選択することで、動きブロック数ｍ（動きを検出した面積）が極端に少なく動きのほとんどないフレーム画像や、動きブロック数ｍが極端に多く画像のほぼ全域に動きがあるようなフレーム画像を、最終的に選出する対象から除外する。
【００５７】
パーソナルコンピュータ３０は、ステップＳ７２０で、一の候補フレーム画像ｆの動きブロック数ｍが所定の範囲に無いと判断した場合には、スコア計算をすることなく、動きブロック数ｍをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了して、図７の「動き」フレーム画像検出処理に戻る。
【００５８】
他方、一の候補フレーム画像ｆの動きブロック数ｍが所定の範囲内である判断した場合には、パーソナルコンピュータ３０は、動きブロックに関して、連続したブロックとみなせるか否かの判断を行なう(ステップＳ７３０)。連続したブロックであるか否かの判断には、各画素の色情報に基づいてグループ属性を付加するラベリング処理を用いている。このラベリング処理は、画像を閾値処理で２値化し、１走査線ごとの対象物の重なりを調べてラベル付けを行なう周知の手法である。この処理により、パーソナルコンピュータ３０は、個々の動きブロックの内、連続する動きブロック群を一塊のブロックとして認識することができる。
【００５９】
パーソナルコンピュータ３０は、ステップＳ７３０で、一の候補フレーム画像ｆの動きブロックが連続するものではない（つまり、各動きブロックに関連性が無く、一塊とみなせない）と判断した場合には、連続したブロックではないことを示すフラグａ＝０と置き、動きブロック数ｍ，フラグａをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了して、図７の「動き」フレーム画像検出処理に戻る。
【００６０】
他方、一の候補フレーム画像ｆの動きブロックが連続するもの（一塊）であると判断した場合には、パーソナルコンピュータ３０は、連続したブロックであることを示すフラグａ＝１と置き、次のステップへ移行する。続いて、パーソナルコンピュータ３０は、一の候補フレーム画像ｆの連続したブロック（一塊）が画像端部にかかるか否かを判断し、端部にかかるブロック（一塊）がある場合には、そのブロックを排除した候補フレーム画像内に動きブロックが存在するか否かを確認する(ステップＳ７４０)。
【００６１】
パーソナルコンピュータ３０は、ステップＳ７４０で、一の候補フレーム画像ｆの連続したブロック（一塊）が画像端部にかかると判断し、その連続したブロック（一塊）を排除した結果、他に動きブロックが存在しないと判断した場合には、実質的には動きブロックが存在しないことを示すフラグｂ＝０と置き、動きブロック数ｍ，フラグａ，フラグｂをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了して、図７の「動き」フレーム画像検出処理に戻る。
【００６２】
他方、一の候補フレーム画像ｆの連続したブロック（一塊）が画像端部にかからないと判断した場合、または、端部にかかる連続したブロック（一塊）を排除した結果、他に動きブロックが存在すると判断した場合には、実質的な動きブロックが存在することを示すフラグｂ＝１と置き、複数の連続したブロック（一塊）の内、端部にかかる連続したブロック（一塊）を除いた候補フレーム画像ｆ内に存在する動きブロックの数（以下、実質的な動きブロック数ｍｔと呼ぶ）を算出する（ステップＳ７５０）。
【００６３】
パーソナルコンピュータ３０は、算出した実質的動きブロックとなるブロックにフラグ１を立て、その他のブロックはフラグ０を立て（ステップＳ７６０）、各ブロックのフラグの値（０か１）に、各ブロックに対応するスコア係数表の係数値を乗算する。この計算を画像を構成する全ブロックについて行ない、乗算値の総和をとり、これをスコア値Ｓとする（ステップＳ７７０）。
【００６４】
スコア値Ｓの算出後、パーソナルコンピュータ３０は、一の候補フレーム画像ｆについて、動きブロック数ｍ，フラグａ，フラグｂ，実質的動きブロック数ｍｔ，スコア値Ｓをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了して、図７の「動き」フレーム画像検出処理に戻る。
【００６５】
図７の「動き」フレーム画像検出処理に戻って、パーソナルコンピュータ３０は、時系列で次の候補フレーム画像（ｆ＝ｆ＋１）について、スコア値Ｓの計算を行なうか否かを判断するステップＳ４２０へ戻る。ステップＳ４２０で、まだ未処理の候補フレーム画像があると判断した場合には、上述のスコア値Ｓの計算処理を繰り返す。
【００６６】
他方、ステップＳ４２０で全ての候補フレーム画像について、処理が終了したと判断した場合には、パーソナルコンピュータ３０は、各候補フレーム画像のスコア値Ｓに基づいて、「動き」フレーム画像の順位付けを行なう（ステップＳ６７０）。本実施例では、スコア値Ｓの高い候補フレーム画像から順に上位としている。
【００６７】
順位付けを行なった（つまり、順位が一番である候補フレーム画像を決定した）後、パーソナルコンピュータ３０は、ユーザが指定した全時間の範囲について、一連の「動き」フレーム画像検出処理を実行したか否かを判断する（ステップＳ４８０）。全時間に亘って、処理を実行していない場合には、ステップＳ４００に戻り、処理を繰り返し、ユーザの指定した範囲内での処理は完了したと判断した場合には、「動き」フレーム画像検出処理を終了する。この処理の終了後、前述のように、パーソナルコンピュータ３０は、図４に示したフローチャートのステップＳ３６０に戻り、順位が一番である候補フレーム画像を最も条件に合う静止画像として、ディスプレイ４３上に表示し、全ての画像選択処理を終了する。
【００６８】
こうした一連の「動き」スコア計算処理について、図９から図１１を用いて、具体的に説明する。図９は、候補フレーム画像の一例を示す説明図、図１０は、「動き」スコア計算処理に従って、絞り込まれた候補フレーム画像の一例を示す説明図、図１１は、スコア係数表とスコア値の一例を示す説明図である。
【００６９】
図９に示すように、本実施例では、動画像の再生時間３秒間の範囲から９枚の候補フレーム画像（Ｆ１〜Ｆ９）を抽出し、各候補フレーム画像（以下、単にフレームＦ１〜Ｆ９と呼ぶ）について輝度値Ｂの条件判断を行なう。図９に示した各フレームは、輝度値Ｂの条件を満たしたものであり、動きブロック検出後の状態を示している。図示する各フレーム（Ｆ１〜Ｆ５，Ｆ７〜Ｆ９）のブロックのハッチングは、動きブロックであることを示している。例えば、フレームＦ３は、２０個のブロックが動きブロックであり、ｍ＝２０と表示してある。なお、フレームＦ６は、輝度値Ｂが所定の範囲内に入らず、「動き検出」を実行していないフレーム画像である。
【００７０】
図９に示した８枚の各フレーム（Ｆ１〜Ｆ５，Ｆ７〜Ｆ９）について、動きブロック数ｍが所定の範囲である否か（ステップＳ７２０）の判断を実行すると、フレームＦ１については動きブロック数ｍがαより小さく、フレームＦ２については動きブロックｍがβより大きいため、両フレームはステップＳ７２０を満たさず、フレームＦ１，Ｆ２の動きブロック数ｍをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了する。すなわち、フレームＦ１，Ｆ２に関してはスコア計算を行なわない。他方、フレームＦ３〜Ｆ５，Ｆ７〜Ｆ９は、ステップＳ７２０を満たし、次のステップに移行する。
【００７１】
動きブロック数の条件を満たしたフレームＦ３〜Ｆ５，Ｆ７〜Ｆ９について、動きブロックの連続性（ステップＳ７３０）の判断を実行すると、フレームＦ８は、個々の動きブロックが連続しておらず、この条件を満たさない。この場合は、連続したブロックではないことを示すフラグａ＝０と置き、フレームＦ８の動きブロック数ｍ，フラグａをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了する。他方、フレームＦ３，Ｆ４，Ｆ５，Ｆ７，Ｆ９は、ステップＳ７３０を満たし、連続したブロックであることを示すフラグａ＝１と置いて、次のステップへ移行する。
【００７２】
連続性の条件を満たしたフレームＦ３，Ｆ４，Ｆ５，Ｆ７，Ｆ９について、画像端部にかかるか否か（ステップＳ７４０）の判断を実行すると、フレームＦ４は、連続するブロックが端部にかかるため、これを除外するとフレーム内には、動きブロックが存在しない。よって、実質的には動きブロックが存在しないことを示すフラグｂ＝０と置き、フレームＦ４の動きブロック数ｍ，フラグａ，フラグｂをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了する。
【００７３】
他方、フレームＦ７は、連続するブロックが端部にかかるため、これ（２箇所）を除外するが、除外してもフレームＦ７内に連続するブロック（２箇所）が存在する。よって、実質的に動きブロックが存在することを示すフラグｂ＝１と置き、次のステップへ移行する。また、フレームＦ３，Ｆ５，Ｆ９は、連続したブロックがフレーム画像端部にかかることは無く、ステップＳ７４０を満たす。この場合もフラグｂ＝１と置き、次のステップへ移行する。
【００７４】
図９に示した例では、フレームＦ３，Ｆ５，Ｆ７，Ｆ９の実質的な動きブロック数ｍｔは、それぞれ、２０，３０，７，３０となる。図１０には、こうした処理を経て、９枚のフレームから絞り込んだ４枚のフレームを示している。図示する各フレームのハッチングをしたブロックは、実質的な動きブロックを示している。
【００７５】
この実質的な動きブロックにフラグ１を立て、図１１に示すスコア係数表１を用いて、フレームＦ３，Ｆ５，Ｆ７，Ｆ９のスコア値Ｓを計算した結果が、図１２に示す表である。図示するように、このスコア係数表１を用いた結果、フレームＦ５が最も高いスコア値Ｓとなる。このスコア値Ｓに基づいて順位を付けると、フレームＦ５、フレームＦ３、フレームＦ９、フレームＦ７の順に順位を付けることができる。
【００７６】
図１１に示したスコア係数表１は、画像の中央に近づくほど、係数値が高くなるように設定されている。つまり、対象とする動きブロックの総和が同じでも、その動きブロックがフレーム画像全体における中央付近に位置するほうが、スコア値Ｓが高くなる。なお、本実施例では、予め記憶してあるスコア係数表１を用いて、スコア値Ｓの計算をしたが、種々スコア係数表をユーザが選択できるものとしても良い。種々のスコア係数表については、後述する。
【００７７】
なお、図７のステップＳ６７０での順位付けで、２つのフレーム画像のスコア値Ｓがほぼ同じとなる場合には、スコア値Ｓを実質的動きブロック数ｍｔで除した値の高いほうを選択する。この値でも、優劣がつかない場合には、実質的な動きブロック数ｍｔが多いものを選択する。さらに、優劣がつかない場合には、フラグｂ、フラグａ、最終的には動きブロック数ｍで判断して、一のフレーム画像を選択するものとすれば良い。
【００７８】
こうして、図７に示した「動き」フレーム画像検出処理では、再生時間の３秒間の範囲からフレームＦ５を選択し、次に３秒間の範囲からも、同様にしてフレーム画像を選択する。パーソナルコンピュータ３０は、以上の処理を繰り返すことで、動画像の全再生時間に亘って３秒間隔毎に最も条件に合ったフレーム画像を選択し、図４に示したステップＳ３６０を経て、これをディスプレイ４３にサムネイル表示し、全選択処理を終了する。つまり、３秒毎に「お勧め」のフレーム画像を抽出する。
【００７９】
Ａ５．スコア係数表：
本実施例では、動きフレーム画像を抽出する場合には、フレーム画像の中央付近に高い係数を設定（重み付け）したスコア係数表１を用いて、スコア値Ｓを計算しているが、スコア係数表は、所望する構図に合わせて種々のものを設定することができる。図１３には、スコア係数表の一例を示した。図１３（ａ）のスコア係数表２は、写真の構図として良いと言われる黄金分割比を基に、重み付けをしたスコア係数表である。例えば、本実施例の画像選択処理において、ユーザがスコア係数表１またはスコア係数表２を選択するものとしても良い。この場合、図２に示した操作画面上でユーザが「動きフレーム」を選択すると、パーソナルコンピュータ３０は、「構図選択」のメニューウィンドを開き、ユーザの指定するスコア係数表を用いて処理を行なう構成とすれば良い。
【００８０】
図１３（ｂ）のスコア係数表３は、ハート型の内部の中心付近に重み付けをしたスコア係数表であり、図１３（ｃ）のスコア係数表３ａは、ハート型の内外に重み付けをしたスコア係数表である。スコア係数表３を用いた場合には、ハート型の内部に入り、かつ、ハート型の中央付近に動きブロックが入るフレームが高順位となる。他方、スコア係数表３ａを用いた場合には、ハート型の内部に入る動きブロックが多いフレームが高順位となる。例えば、意図した範囲に動きブロックが入る割合の高いものを選択する（範囲内であれば、どこでも良い）場合には、スコア係数表３ａを使用することで、演算処理を簡素化することができる。
【００８１】
以上説明した第１実施例の画像選択処理では、フレーム画像の特徴量として動きブロックに注目し、対象物が「風景」であれば動きブロックの大きさでフレーム画像に順位を付け、対象物が「動き」であれば動きブロックの大きさ，位置などからスコア値を計算してフレーム画像に順位を付ける。特に、対象物が「動き」である場合には、所定の構図に対応するスコア係数表を用いて、フレーム画像を評価する。したがって、シーンチェンジ時のような意味を持たないフレーム画像を抜き出してくるようなことはない。また、所定の構図に合うフレーム画像を自動的に選出することができ、効率的な画像の選択処理を実行することができる。
【００８２】
Ｂ．第２実施例：
Ｂ１．構図に合うが画像検索処理：
本発明は、所定の構図にあうフレーム画像を動画像中から検索する場合にも応用できる。図１４は、本発明の第２実施例の「動き」スコア計算処理のフローチャートである。第２実施例の画像選択処理は、第１実施例のスコア計算処理（図７のステップＳ６５０）のみ異なる。したがって、その他の処理および画像選択処理システムの構成は、第１実施例と符号を同一として、説明を省略する。
【００８３】
第１実施例と同様、図７に示した「動き」フレーム画像検出処理において、フレーム画像が輝度値Ｂの条件を満たす場合には、図７に示したステップＳ６５０の処理として図１４に示す「動き」スコア計算処理に移行する。パーソナルコンピュータ３０は、以下のスコア計算に用いる係数を初期化し（ステップＳ９００）、候補フレーム画像内における動きブロックを検出する「動き検出」処理を実行する（ステップＳ９１０）。なお、第２実施例では、第１実施例と同様、３秒間隔毎の「自動」モードが選択され、９枚の候補フレーム画像が抽出されるものとして、説明する。
【００８４】
パーソナルコンピュータ３０は、候補フレーム画像内の動きブロックとなるブロックにフラグ１を立て、その他のブロックはフラグ０を立てる処理を行なう（ステップＳ９２０）。続いて、各ブロックのフラグの値（０か１）に、各ブロックに対応するスコア係数表の係数値を乗算する。全ブロックについての乗算した値の和をとり、これをスコア値とする（ステップＳ９３０）。スコア値Ｓの算出後、動きブロック数ｍ，スコア値Ｓをメモリに書き込み（ステップＳ７８０）、このサブルーチンを終了して、図７の「動き」フレーム画像検出処理に戻る。
【００８５】
図１５のスコア係数表４は、ステップＳ９３０で用いるスコア係数表の一例である。図示するように、フレーム画像の右側の一部分のブロックを除き、全て負の係数を割り付けている。このスコア係数表４を用いると、右側の一部分の領域に動きブロックがあり、かつ、左側にはほとんど動きブロックがないフレーム画像のスコア値Ｓは正となる。他方、右側の一部分の領域に動きブロックがあっても、左側にも多数の動きブロックがあるようなフレーム画像のスコア値Ｓは負となる。
【００８６】
このスコア係数表４を用いた本実施例の処理を、図９示した候補フレーム画像に当てはめると、図１６に示すスコア値Ｓが得られる。図示するように、スコア値Ｓが正の値となるフレームＦ５，Ｆ９が、所望する条件（右側）を満たすものとなる。この各フレームのスコア値Ｓに基づいて、順位付けをすることも可能であるが、第２実施例では、図７の「動き」フレーム画像検出処理のステップＳ６７０で、スコア値Ｓが正（プラス）となるフレーム画像を全て選出している。つまり、スコア係数表４を用いてスコア値Ｓが正となるフレーム画像を選出することで、右側に動きブロックが集中しているフレーム画像を動画像中から検索することができる。こうした検索を試み、スコア値Ｓが正となるフレーム画像を検索できなかった時は、「この範囲には、条件に合う画像がありません。」といったメッセージをディスプレイ４３上に表示するものとしても良い。
【００８７】
以上説明した第２実施例の画像選択処理によれば、所望する構図を設定し、その構図に対応するスコア係数表を用いることで、動画像を構成する複数のフレーム画像の中から、設定した構図に合うフレーム画像を選出できる。つまり、第２実施例のシステムは、動画像中から、所定の構図に収まる「動き」フレーム画像を検索する検索ツールとして利用することができる。例えば、デジタルビデオカメラで撮影した徒競走の動画像を素材とし、被写体である子供が画像枠の左から右へ走り去り、ゴールする構図であるような場合、スコア係数表４を用いることで、容易にゴールシーンを検索することができる。
【００８８】
なお、本実施例では、３秒間隔から９枚の候補フレーム画像を抽出し処理するものとして説明したが、全再生時間に亘って、フレーム画像のスコア値Ｓを算出し、正の値となるフレーム画像を検出するものとしても良い。また、図１３に示したハート型の構図において、ハートの外側部分に負の値を割り付けて、スコア値Ｓが正となるフレーム画像を検索するものとしても良い。
【００８９】
また、検索したフレーム画像の中で、各動きブロック内の肌色領域を判定し、スコア計算するものとしても良い。この場合、色相系ＨＳＶ（色相（Ｈ），彩度（Ｓ），明度（Ｖ））において、色相Ｈが色相環の６°〜４２°の範囲を肌色領域の判断基準とし、肌色領域である動きブロックにフラグ１を、他の動きブロック（つまり、肌色領域を有していないもの）にフラグ０を割り振る。こうして設定した各ブロックの値に対応するスコア係数を乗じて、全ブロックの総和をスコア値Ｓとし、スコア値Ｓが正であるフレーム画像を検索する。つまり、対象物として「人の顔」を想定し、「人の顔」が所定の構図の範囲内（例えば、右側）にあるか否かの判断を、スコア値Ｓの正負で行なう。例えば、ハート型の装飾枠の画像に「人の顔」を収めて合成する場合、自動的に動画中からハート型に収まる「人の顔」のフレーム画像を検索することができる。
【００９０】
Ｃ．変形例：
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんであり、例えば以下のような変形も可能である。
【００９１】
第１実施例では、ユーザが指定した再生時間間隔から所定枚数の候補となるフレーム画像を抽出して、最も条件を満たす一のフレーム画像を選択した。この第１実施例の画像選択処理において一のフレーム画像に選出する前に、そのフレーム画像の時系列で前後数枚の範囲内を精査するものとしても良い。例えば、動きフレーム画像の場合、候補フレーム画像からスコア値Ｓの高い一フレーム画像を決定し、その一フレーム画像の前後２，３のフレーム画像を抜き出し、抜き出したフレーム画像についてもスコア値Ｓを求める。先に決定した一のフレーム画像のスコア値Ｓより、後に抜き出したフレーム画像のスコア値Ｓが高い場合には、そのスコア値Ｓの高いフレーム画像をディスプレイ４３上に表示する。こうした精査を行なうことで、さらに条件に適合するフレーム画像を選択することができる。
【００９２】
本実施例では、動きフレーム画像のスコア値Ｓの算出には一の構図（スコア係数表）を用いたが、複数の構図（スコア係数表）を用いて、それぞれの構図に合うフレーム画像を選択するものとしても良い。
【００９３】
本実施例では、動画像のシーンの切り替わりを考慮することなく、ユーザが指定した時間間隔で区切って、その範囲から条件に合うフレーム画像を選出したが、例えば、動画像の輝度変化の情報、動画像を撮影した状態、ズームなどのカメラの動き情報等を取得し、動画像中のシーンの切り替わりを判断して、各シーン毎に候補となる複数のフレーム画像を抽出するものとして良い。こうすることで、シーン毎に所定の設定条件に合ったフレーム画像を選出することができる。特に、動画の内容を表示するサムネイル画像、またはインデックス画像を簡単に生成することができる。また、本実施例では、デジタルビデオカメラで取得した動画像を対象として説明したが、相対的な位置関係を判別可能なレベルの時系列順に並んだ複数の画像データや複数の静止画像データからなる擬似的な動画像を対象とするものとしても良い。
【００９４】
本実施例では、パーソナルコンピュータを本発明の画像処理装置として説明したが、例えば、プリンタ，デジタルビデオカメラなど種々の機器に画像処理機能を備え、本発明の画像処理装置とするものであっても良い。
【図面の簡単な説明】
【００９５】
【図１】本発明の第１実施例としての画像選択処理システムを示す説明図である。
【図２】第１実施例の画像選択処理の操作画面の一例である。
【図３】画像選択処理の説明図である。
【図４】第１実施例の画像選択処理のフローチャートである。
【図５】「風景」フレーム画像検出処理のフローチャートである。
【図６】「風景」フレーム画像検出処理の各候補フレーム画像の特徴量の一例である。
【図７】「動き」フレーム画像検出処理のフローチャートである。
【図８】「動き」スコア計算処理のフローチャートである。
【図９】「動き」スコア計算処理の各候補フレーム画像の一例である。
【図１０】「動き」スコア計算処理に従って選択した候補フレーム画像の一例である。
【図１１】第１実施例で用いるスコア係数表の一例である。
【図１２】第１実施例のスコア値の一例である。
【図１３】スコア係数表の一例である。
【図１４】第２実施例の「動き」スコア計算処理のフローチャートである。
【図１５】第２実施例で用いるスコア係数表の一例である。
【図１６】第２実施例のスコア値の一例である。
【符号の説明】
【００９６】
２０...画像データベース
２１...デジタルビデオカメラ
２３...ＤＶＤ
２４，３４...ハードディスク
３０...パーソナルコンピュータ
３１...ＣＰＵ
３２...ＲＯＭ
３３...ＲＡＭ
３５...Ｉ／Ｆ回路部
４０...ユーザインターフェース
４１...キーボード
４２...マウス
４３...ディスプレイ
５０...カラープリンタ
１００...画像処理装置
【図１】
2005159781.tif 000003
【図２】
2005159781.tif 000004
【図３】
2005159781.tif 000005
【図４】
2005159781.tif 000006
【図５】
2005159781.tif 000007
【図６】
2005159781.tif 000008
【図７】
2005159781.tif 000009
【図８】
2005159781.tif 000010
【図９】
2005159781.tif 000011
【図１０】
2005159781.tif 000012
【図１１】
2005159781.tif 000013
【図１２】
2005159781.tif 000014
【図１３】
2005159781.tif 000015
【図１４】
2005159781.tif 000016
【図１５】
2005159781.tif 000017
【図１６】
2005159781.tif 000018