(57)【要約】【課題】  時系列に並んだ複数の画像の中から、画像的特徴の異なる画像を複数抽出するようにする。【解決手段】  評価値導出部１０１ａは選択した動画像における各フレーム毎に特徴評価値を導き出して、その総和である総評価値を算出するとともに、導き出した特徴評価値を正規化する。フレーム抽出部１０１ｂは全フレームの総評価値をそれぞれ比較して、全フレームの中から総評価値が最高となるフレームを抽出フレームとして抽出する。評価値比較部１０１ｃは各フレーム毎にそのフレームの抽出フレームに対する相違度を導き出し、導き出した相違度を正規化する。重み付け処理部１０１ｄは各フレーム毎に、そのフレームの正規化後相違度に基づいてそのフレームの総評価値に重み付けを施す。【選択図】  図１
2006031310.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並んだ複数の画像の中から、所望の画像を複数抽出するための画像処理装置であって、
前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する評価値導出部と、
前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する画像抽出部と、
前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して相違する度合いを示す相違度を導き出す評価値比較部と、
前記複数の画像毎に、その画像について得られた前記相違度に基づいて、前記画像の前記総評価値に対し、前記相違度が低いほど前記総評価値を下げるか、または、前記相違度が高いほど前記総評価値を上げるよう、重み付けを施す重み付け処理部と、
を備え、
前記画像抽出部は、次回画像を抽出する場合、前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記評価値比較部は、導き出した前記相違度をさらに正規化すると共に、
前記重み付け処理部は、前記複数の画像毎に、その画像について得られた正規化後の相違度に基づいて、重み付けを施すことを特徴とする画像処理装置。
【請求項３】
時系列に並んだ複数の画像の中から、所望の画像を複数抽出するための画像処理装置であって、
前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する評価値導出部と、
前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する画像抽出部と、
前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して類似する度合いを示す類似度を導き出す評価値比較部と、
前記複数の画像毎に、その画像について得られた前記類似度に基づいて、前記画像の前記総評価値に対し、前記類似度が低いほど前記総評価値を上げるか、または、前記類似度が高いほど前記総評価値を下げるよう、重み付けを施す重み付け処理部と、
を備え、
前記画像抽出部は、次回画像を抽出する場合、前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記評価値比較部は、導き出した前記類似度をさらに正規化すると共に、
前記重み付け処理部は、前記複数の画像毎に、その画像について得られた正規化後の類似度に基づいて、重み付けを施すことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のうちの任意の１つに記載の画像処理装置において、
前記複数の画像の全てについて、前記重み付けの施された前記総評価値が、予め設定された閾値を下回るか否かを判定し、下回る場合には、その後の画像抽出を中止する閾値判定部をさらに備える画像処理装置。
【請求項６】
請求項１ないし請求項５のうちの任意の１つに記載の画像処理装置において、
前記評価値導出部は、導き出した各特徴評価値をさらに正規化すると共に、
前記評価値比較部は、前記複数の画像毎に、その画像について得られた正規化後の各特徴評価値と、前記抽出画像について得られた正規化後の各特徴評価値と、を比較することを特徴とする画像処理装置。
【請求項７】
時系列に並んだ複数の画像の中から、所望の画像を複数抽出するための画像抽出方法であって、
（ａ）前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する工程と、
（ｂ）前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する工程と、
（ｃ）前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して相違する度合いを示す相違度を導き出す工程と、
（ｄ）前記複数の画像毎に、その画像について得られた前記相違度に基づいて、前記画像の前記総評価値に対し、前記相違度が低いほど前記総評価値を下げるか、または、前記相違度が高いほど前記総評価値を上げるよう、重み付けを施す工程と、
（ｅ）前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出する工程と、
を備える画像抽出方法。
【請求項８】
時系列に並んだ複数の画像の中から、所望の画像を複数抽出するための画像抽出方法であって、
（ａ）前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する工程と、
（ｂ）前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する工程と、
（ｃ）前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して類似する度合いを示す類似度を導き出す工程と、
（ｄ）前記複数の画像毎に、その画像について得られた前記類似度に基づいて、前記画像の前記総評価値に対し、前記類似度が低いほど前記総評価値を上げるか、または、前記類似度が高いほど前記総評価値を下げるよう、重み付けを施す工程と、
（ｅ）前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出する工程と、
を備える画像抽出方法。
【請求項９】
時系列に並んだ複数の画像の中から、所望の画像を複数抽出するためのプログラムであって、
（ａ）前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する機能と、
（ｂ）前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する機能と、
（ｃ）前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して相違する度合いを示す相違度を導き出す機能と、
（ｄ）前記複数の画像毎に、その画像について得られた前記相違度に基づいて、前記画像の前記総評価値に対し、前記相違度が低いほど前記総評価値を下げるか、または、前記相違度が高いほど前記総評価値を上げるよう、重み付けを施す機能と、
（ｅ）前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出する機能と、
をコンピュータに実現させるためのプログラム。
【請求項１０】
時系列に並んだ複数の画像の中から、所望の画像を複数抽出するためのプログラムであって、
（ａ）前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する機能と、
（ｂ）前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する機能と、
（ｃ）前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して類似する度合いを示す類似度を導き出す機能と、
（ｄ）前記複数の画像毎に、その画像について得られた前記類似度に基づいて、前記画像の前記総評価値に対し、前記類似度が低いほど前記総評価値を上げるか、または、前記類似度が高いほど前記総評価値を下げるよう、重み付けを施す機能と、
（ｅ）前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出する機能と、
をコンピュータに実現させるためのプログラム。
【請求項１１】
請求項９または請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像など、時系列に並んだ複数の画像の中から、所望の画像を複数抽出する技術に関する。
【背景技術】
【０００２】
従来、動画像など、時系列に並んだ複数の画像の中から、所望の画像を抽出する場合、例えば、下記の特許文献１に開示されているように、各画像について評価値を計算し、得られた評価値が最も高い画像を抽出画像として抽出するものが知られている。
【０００３】
【特許文献１】特開平１０−２２４７３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、かかる従来技術においては、１つの画像を抽出する場合しか想定されておらず、所望の画像を複数抽出する場合については、何ら考慮されていなかった。
【０００５】
一般に、時系列に並んだ複数の画像の中から、画像を複数抽出する場合、ユーザとしては、似たような画像ではなく異なる画像を複数抽出することを希望する場合が多い。そこで、そのような画像的な特徴が類似していない画像を、如何にして抽出するかが問題となる。
【０００６】
従って、本発明の目的は、上記した従来技術の問題点を解決し、時系列に並んだ複数の画像の中から、画像的特徴の異なる画像を複数抽出する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記した目的の少なくとも一部を達成するために、本発明の第１の画像処理装置は、時系列に並んだ複数の画像の中から、所望の画像を複数抽出するための画像処理装置であって、
前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する評価値導出部と、
前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する画像抽出部と、
前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して相違する度合いを示す相違度を導き出す評価値比較部と、
前記複数の画像毎に、その画像について得られた前記相違度に基づいて、前記画像の前記総評価値に対し、前記相違度が低いほど前記総評価値を下げるか、または、前記相違度が高いほど前記総評価値を上げるよう、重み付けを施す重み付け処理部と、
を備え、
前記画像抽出部は、次回画像を抽出する場合、前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出することを特徴とする。
【０００８】
この第１の画像処理装置によれば、複数の評価項目に関する特徴評価値に基づいて、各画像の抽出画像に対する画像的特徴の相違度をそれぞれ求め、その相違度に基づいて、各画像の総評価値に重み付けを施しているので、抽出画像と画像的特徴が異なる画像ほど、総評価値が相対的に上がることになる。従って、次回画像を抽出する場合、重み付けの施された総評価値が最高となる画像を抽出することにより、前回の抽出画像とは画像的特徴が異なる画像を抽出することができるため、結果的に、時系列に並んだ複数の画像の中から、画像的特徴の異なる画像を複数抽出することができる。
【０００９】
前記評価値比較部は、導き出した前記相違度をさらに正規化すると共に、前記重み付け処理部は、前記複数の画像毎に、その画像について得られた正規化後の相違度に基づいて、重み付けを施すことが好ましい。
この構成によれば、重み付けを施した後の総評価値を所望の範囲内に規定することができる。
【００１０】
本発明の第２の画像処理装置は、時系列に並んだ複数の画像の中から、所望の画像を複数抽出するための画像処理装置であって、
前記複数の画像毎に、異なる複数の評価項目について、それぞれ、その評価項目に対応した画像的特徴に関する特徴評価値を導き出すとともに、前記複数の画像毎に、導き出した各特徴評価値の総和である総評価値を算出する評価値導出部と、
前記複数の画像の中から、算出した前記総評価値が最高となる画像を抽出画像として抽出する画像抽出部と、
前記複数の画像毎に、その画像について得られた各特徴評価値と、前記抽出画像について得られた各特徴評価値と、を比較して、前記画像の画像的特徴が前記抽出画像の画像的特徴に対して類似する度合いを示す類似度を導き出す評価値比較部と、
前記複数の画像毎に、その画像について得られた前記類似度に基づいて、前記画像の前記総評価値に対し、前記類似度が低いほど前記総評価値を上げるか、または、前記類似度が高いほど前記総評価値を下げるよう、重み付けを施す重み付け処理部と、
を備え、
前記画像抽出部は、次回画像を抽出する場合、前記重み付けの施された前記総評価値に基づいて、前記複数の画像の中から、前記総評価値が最高となる画像を、他の抽出画像として抽出することを特徴とする。
【００１１】
この第２の画像処理装置によれば、複数の評価項目に関する特徴評価値に基づいて、各画像の抽出画像に対する画像的特徴の類似度をそれぞれ求め、その類似度に基づいて、各画像の総評価値に重み付けを施しているので、抽出画像と画像的特徴が似ている画像ほど、総評価値が相対的に下がることになる。従って、次回画像を抽出する場合、重み付けの施された総評価値が最高となる画像を抽出することにより、前回の抽出画像とは画像的特徴が似ていない画像を抽出することができるため、結果的に、時系列に並んだ複数の画像の中から、画像的特徴の異なる画像を複数抽出することができる。
【００１２】
前記評価値比較部は、導き出した前記類似度をさらに正規化すると共に、前記重み付け処理部は、前記複数の画像毎に、その画像について得られた正規化後の類似度に基づいて、重み付けを施すことが好ましい。
この構成によれば、上記の場合と同様に、重み付けを施した後の総評価値を所望の範囲内に規定することができる。
【００１３】
本発明の画像処理装置において、前記複数の画像の全てについて、前記重み付けの施された前記総評価値が、予め設定された閾値を下回るか否かを判定し、下回る場合には、その後の画像抽出を中止する閾値判定部をさらに備えるようにしてもよい。
【００１４】
重み付けの施された総評価値が必要以上に低くなった場合には、その総評価値を用いて画像を抽出しても、最早、目的とする画像を抽出することはできない。そこで、この構成によれば、そのような場合において、無駄な画像抽出を防止して、処理時間の短縮化を図ることができる。
【００１５】
前記評価値導出部は、導き出した各特徴評価値をさらに正規化すると共に、前記評価値比較部は、前記複数の画像毎に、その画像について得られた正規化後の各特徴評価値と、前記抽出画像について得られた正規化後の各特徴評価値と、を比較することが好ましい。
【００１６】
或る画像について、抽出画像と画像的特徴が似ていても、その画像について導き出された各特徴評価値が、抽出画像について導き出された各特徴評価値と、全体的にレベルの差がある場合があるが、この構成によれば、正規化後の特徴評価値を用いることにより、そのような場合であっても、その画像の画像的特徴が抽出画像の画像的特徴と似ているものとして、適正な相違度もしくは類似度を得ることができる。
【００１７】
なお、本発明は、上記した画像処理装置などの装置発明の態様に限ることなく、画像抽出方法や画像処理方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例の構成：
Ｂ．実施例の動作：
Ｃ．実施例の効果：
Ｄ．変形例：
【００１９】
Ａ．実施例の構成：
図１は本発明の一実施例としての画像処理装置の構成を示すブロック図である。本実施例の画像処理装置１０は、主として、コンピュータ１００と、コンピュータ１００に各種指示などを入力するためのキーボード１１０及びマウス１１１と、各種データなどを入力するためのＤＶＤドライブ装置１１２と、各種データなどを表示出力するためのディスプレイ１１３と、を備えている。このうち、ＤＶＤドライブ装置１１２は、挿入されるＤＶＤ１１２ｄに記録されている動画像データを読み出すことができる。
【００２０】
コンピュータ１００は、主として、ＣＰＵ１０１，メモリ１０２，ハードディスク１０３及び入出力インタフェース部１０４を備えており、それぞれ内部バス１０５を介して接続されている。このうち、入出力インタフェース部１０４は、コンピュータ１００に対して、前述のキーボード１１０，マウス１１１，ＤＶＤドライブ装置１１２，及びディスプレイ１１３を、それぞれ接続するためのインタフェース群から成る。
【００２１】
ハードディスク１０３には、後述するフレーム抽出処理のためのアプリケーションプログラム（図示せず）が格納されており、所定のオペレーティングシステムの下、起動されると、そのアプリケーションプログラムはメモリ１０２にロードされて、ＣＰＵ１０１により実行される。ＣＰＵ１０１は、このアプリケーションプログラムを実行することにより、評価値導出部１０１ａ，フレーム抽出部１０１ｂ、評価値比較部１０１ｃ，重み付け処理部１０１ｄ及び閾値判定部１０１ｅとして、それぞれ機能し得る。また、上記オペレーティングシステムには、各種ドライバが組み込まれており、ＣＰＵ１０１が、前述のキーボード１１０，マウス１１１，ＤＶＤドライブ装置１１２，及びディスプレイ１１３をそれぞれ制御することができるようになっている。
その他、ハードディスク１０３には、ＤＶＤ１１２ｄからＤＶＤドライブ装置１１２を介して読み出された動画像データ１０３ｍが格納されている。
【００２２】
また、メモリ１０２は、ロードされたプログラムを格納する他、予め設定されたデータや処理中に生成されたデータを格納する。
【００２３】
Ｂ．実施例の動作：
図２は本実施例におけるフレーム抽出処理の処理手順を示すフローチャートである。図２に示す処理が開始されると、まず、ユーザがキーボード１１０，マウス１１１を介して指示することにより、ハードディスク１０３に格納された動画像データ１０３ｍの中から、処理対象となる動画像が選択される（ステップＳ１０２）。動画像は、複数のフレーム画像で構成されている。以下ではフレーム画像を単に「フレーム」と呼ぶ場合がある。
【００２４】
次に、ＣＰＵ１０１によって機能される評価値導出部１０１ａが、選択した動画像における各フレーム毎に、特徴評価値を導き出して、その総和である総評価値を算出するとともに、導き出した特徴評価値を正規化する（ステップＳ１０４）。図３は特徴評価値の導出対象となりうる評価項目の一例を示す説明図である。図３に示すように、評価項目としては、フレームの画像的特徴を表すものとして多数のものを利用することができる。これらの中には、撮影条件のように、フレームの画素値とは直接関係のないものと、コントラストのように、フレームの画素値を解析して得られるものとが存在する。このうち、画素値を解析して得られるものを用いるようにすれば、実際のフレームの画像的特徴をより正しく反映した評価値を得ることができる。そこで、本実施例では、このうちの「肌色の大きさ」，「色の分散」及び「動体の大きさ」の３つの評価項目のみを使用する例について説明する。従って、評価値導出部１０１ａは、各フレーム毎に、それぞれ、これら３つの評価項目について、特徴評価値を導く出すことになる。なお、これらの３つの評価項目に対応した特徴評価値は、例えば、以下のようにして導き出される。
【００２５】
（１）肌色の大きさについての特徴評価値ＥＶ１の導出：
肌色の大きさについての特徴評価値ＥＶ１は、フレーム内における肌色部分の大きさが大きいほど高くなるように設定される。具体的には、まず、対象となるフレームにおいて、肌色部分の画素がいくつあるかをカウントする。フレームがＲＧＢ表色系で表されている場合、下記の式（１），（２）を満たす画素を肌色部分の画素であると判定する。
【００２６】
Ｇ＞Ｂ      （１）
０．１＜１．７３２（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）＜０．９      （２）
【００２７】
そして、カウントした肌色部分の画素の数を、フレーム内の全画素数を「１００」となるように換算し、得られた値を特徴評価値ＥＶ１とする。
【００２８】
例えば、人物の顔や手などの肌色部分の大きさが、フレームの画像サイズのちょうど５割を占めていれば、フレーム内の全画素数を「１００」となるように換算すると、肌色画素の数は「５０」となるため、特徴評価値ＥＶ１は「５０」となる。
【００２９】
（２）色の分散についての特徴評価値ＥＶ２の導出：
色の分散についての特徴評価値ＥＶ２は、フレーム内における色の分散が大きいほど高くなるように設定される。この特徴評価値ＥＶ２を導きだす際には、まず、対象となるフレーム内の全画素について、色相に関連する色成分毎にヒストグラムを作成する。例えば、フレームがＲＧＢ表色系で表されている場合、Ｒ，Ｇ，Ｂの３つの成分についてヒストグラムを作成する。次に、作成したヒストグラムから、各色成分についての統計的な分散を算出する。特徴評価値ＥＶ２は、この算出した分散が大きいほど高くなるよう設定される。例えば、算出した色成分の分散が所定の値に達するまでは、特徴評価値ＥＶ２が「０」から分散に比例して増加し、所定の値を達すると所定の最大値「１００」を維持するように、設定してもよい。
【００３０】
（３）動体の大きさについての特徴評価値ＥＶ３の導出：
動体の大きさについての特徴評価値ＥＶ３は、フレーム内において動きのある部分の大きさが大きいほど高くなるように設定される。具体的には、まず、対象となるフレームにおいて、動きのある部分の画素がいくつあるかをカウントする。フレーム内における動きのある部分の検出方法としては、種々考えられるが、例えば、直前のフレームとの画素値（例えば、輝度値）の差分を取り、その差分が所定の範囲を超えている場合には、動きのある部分の画素であると判定するようにしてもよい。そして、カウントした動きのある部分の画素の数を、フレーム内の全画素数を「１００」となるように換算し、得られた値を特徴評価値ＥＶ３とする。
【００３１】
以上のようにして、肌色の大きさ」，「色の分散」及び「動体の大きさ」の３つの評価項目につき、特徴評価値ＥＶ１〜ＥＶ３を導き出すことにより、各特徴評価値ＥＶ１〜ＥＶ３は、それぞれ、０〜１００の値を採ることになる。
【００３２】
続いて、評価値導出部１０１ａは、対象となるフレームについて導き出したこれら３つの特徴評価値ＥＶ１〜ＥＶ３をそれぞれ加算して、その合計を総評価値ＴＥＶとする。
【００３３】
さらに、評価値導出部１０１ａは、対象となるフレームについて導き出した３つの特徴評価値ＥＶ１〜ＥＶ３をそれぞれ正規化する。正規化は、まず、３つの特徴評価値ＥＶ１〜ＥＶ３の中から最大値を求め、その最大値である特徴評価値が１００となるよう、各特徴評価値を調整することにより、行われる。
【００３４】
具体的には、例えば、フレーム番号が１７００のフレームについて、各評価項目に対応する特徴評価値ＥＶ１〜ＥＶ３が以下のごとくであるとする。
・肌色の大きさ：特徴評価値ＥＶ１＝７０
・色の分散：特徴評価値ＥＶ２＝５０
・動体の大きさ：特徴評価値ＥＶ３＝５０
【００３５】
これら特徴評価値ＥＶ１〜ＥＶ３を、式（３）を使って、特徴評価値のうちの最大値が１００になるようにする。
【００３６】
正規化後特徴評価値＝（特徴評価値／特徴評価値のうちの最大値）×１００    （３）
【００３７】
つまり、この場合、肌色の大きさに対応する特徴評価値ＥＶ１＝７０が最大値であるので、この特徴評価値ＥＶ１が１００になるように正規化する。
・肌色の大きさ：正規化後特徴評価値ＥＶ１'＝１００
・色の分散：正規化後特徴評価値ＥＶ２'＝７１．４３
・動体の大きさ：正規化後特徴評価値ＥＶ３'＝７１．４３
【００３８】
特徴評価値に対して以上のような正規化を行うのは、これら特徴評価値を用いて後述のごとく相違度を導き出す場合に、以下のような問題を回避するためである。
すなわち、導き出した特徴評価値を正規化することなくそのまま用いて、フレーム間の相違度を導き出すと、画像的な特徴は似ているが、特徴評価値のレベルに全体的に差があるようなフレーム同士の場合（図４に示すようなフレーム同士の場合）に、相違度が大きくなってしまい、画像的な特徴が異なるものとして、誤って判断される恐れがあるからである。
【００３９】
図４は、フレーム間において、画像的な特徴は似ているが、特徴評価値のレベルに全体的に差があるような場合を示す説明図である。図４において、縦軸は特徴評価値であり、横軸はフレーム番号である。この例では、フレーム番号Ｆ０のフレームとフレーム番号Ｆ１のフレームとが、そのような関係にある。
【００４０】
以上のようにして、評価値導出部１０１ａは、選択した動画像について、対象となるフレームを順次切り換えて、各フレーム毎に、それぞれ、３つの特徴評価値ＥＶ１〜ＥＶ３を導き出して、総評価値ＴＥＶを算出するとともに、導き出した特徴評価値を正規化して、正規化後の特徴評価値ＥＶ１'〜ＥＶ３'を求めて、最終的に、全フレームについて、図５及び図６に示すようなデータを得る。
【００４１】
図５は各フレーム毎の特徴評価値，総評価値及び正規化後の特徴評価値をそれぞれ示す説明図であり、図６は図５における特徴評価値と総評価値とをフレーム番号を横軸としてプロットして示したグラフである。なお、図５に示す例では、フレーム番号１００番毎のフレームを代表として挙げてある。このことは、後の図においても、同様である。
【００４２】
次に、フレーム抽出部１０１ｂが、全フレームの総評価値ＴＥＶをそれぞれ比較して、全フレームの中から、総評価値ＴＥＶが最高となるフレームを抽出フレームとして抽出する（ステップＳ１０６）。図５及び図６に示す例では、フレーム番号「１７００」のフレームの総評価値ＴＥＶが「１７０」と最高であり、従って、フレーム番号「１７００」のフレームが、１つ目の抽出フレームとして抽出される。
【００４３】
次に、評価値比較部１０１ｃが、各フレーム毎に、そのフレームの抽出フレームに対する相違度を導き出し、その後、導き出した相違度を正規化する（ステップＳ１０８）。ここで、相違度とは、対象となるフレームの画像的な特徴が、抽出フレームの画像的特徴に対して、相違する度合いを示すものである。
【００４４】
まず、評価値比較部１０１ｃは、各フレーム毎に、そのフレームの各正規化後特徴評価値と、抽出フレームの各正規化後特徴評価値と、を比較して、そのフレームの抽出フレームに対する相違度を導き出す。具体的には、対象となるフレームのフレーム番号をｍ、抽出フレームのフレーム番号をｎ、評価項目の個数をｋ、評価項目の番号をｉ、評価項目番号ｉの正規化後特徴評価値をＥＶｉ（ｍ），ＥＶｉ（ｎ）、正規化後特徴評価値の取りうる最大値をＥＶｍａｘとすると、対象となるフレームの抽出フレームに対する相違度Ｄ（ｍ）は、式（４）に従って導き出される。
【数１】
2006031310.tif 000003
【００４５】
従って、上記の如く、フレーム番号「１７００」のフレームが抽出フレームである場合、例えば、対象となるフレームをフレーム番号「１５００」とすると、そのフレームの抽出フレームに対する相違度Ｄ（１５００）は、次のようにして計算する。
【数２】
2006031310.tif 000004
【００４６】
こうして、評価値比較部１０１ｃは、対象となるフレームを順次切り換えて、各フレーム毎に、抽出フレームに対する相違度を導き出し、最終的に全フレームについてそれぞれ相違度を得る。
【００４７】
次に、評価値比較部１０１ｃは、全フレームにおける各相違度の中から最大値（最大相違度）を求めて、各フレーム毎に導き出した相違度を、その最大相違度で除することにより、相違度の正規化を行う。具体的には、最大相違度をＤｍａｘとすると、対象となるフレームの正規化後相違度ＤＤ（ｍ）は、式（５）に従って導き出される。
ＤＤ（ｍ）＝Ｄ（ｍ）／Ｄｍａｘ      （５）
この結果、正規化後相違度ＤＤは０〜１の値となる。
【００４８】
こうして、相違度を正規化することにより、後述するように、相違度に基づいて、総評価値に重み付けを施す際に、重み付け後の総評価値を所望の範囲内に規定することができる。
【００４９】
以上のようにして、評価値比較部１０１ｃは、対象となるフレームを順次切り換えて、各フレーム毎に、それぞれ、導き出した相違度Ｄを正規化して、正規化後の相違度ＤＤを求めて、最終的に、全フレームについて、図７に示すようなデータを得る。
【００５０】
図７は各フレーム毎の特徴評価値，総評価値，正規化後特徴評価値，相違度及び正規化後の相違度をそれぞれ示す説明図である。なお、図７に示す例では、全フレームにおける各相違度のうち、フレーム番号「９００」のフレームの相違度Ｄ（９００）＝０．３８８が最大相違度となっており、この値を用いて相違度の正規化を行っている。
【００５１】
次に、重み付け処理部１０１ｄが、各フレーム毎に、そのフレームの正規化後相違度に基づいて、そのフレームの総評価値に重み付けを施す（ステップＳ１１０）。具体的には、対象となるフレームについて、その総評価値ＴＥＶに正規化後相違度ＤＤを乗することにより、正規化後相違度ＤＤが低いほど総評価値ＴＥＶが低くなるように、重み付けを行う。すなわち、対象となるフレームをｍとすると、重み付け後の総評価値ＴＥＶ'（ｍ）は式（６）に従って導き出される。
ＴＥＶ'（ｍ）＝ＴＥＶ（ｍ）×ＤＤ（ｍ）      （６）
【００５２】
以上のようにして、重み付け処理部１０１ｄは、対象となるフレームを順次切り換えて、各フレーム毎に、それぞれ、正規化後相違度に基づいて総評価値に重み付けを施すと、最終的に、全フレームについて、図８及び図９に示すようなデータを得る。
【００５３】
図８は各フレーム毎の特徴評価値，総評価値，正規化後特徴評価値，相違度，正規化後相違度及び重み付け後の総評価値をそれぞれ示す説明図であり、図９は図８における総評価値と重み付け後の総評価値をフレーム番号を横軸としてプロットして示したグラフである。
【００５４】
図９から明らかなように、全フレームについて総評価値のみを見た場合、その総評価値のピークはフレーム番号「１７００」，「５００」，「１１００」にある。ところが、フレーム番号「１７００」のフレームとフレーム番号「５００」のフレームとは、互いに画像的な特徴が似ていたため、１回目のフレーム抽出でフレーム番号「１７００」のフレームが抽出されると、フレーム番号「５００」の抽出フレームに対する相違度は低い値（ＤＤ＝０．１２３）となって、上記した重み付けにより、フレーム番号「５００」の総評価値が下がる。一方、フレーム番号「１１００」のフレームは、フレーム番号「１７００」のフレームと画像的な特徴が異なっていたため、フレーム番号「１１００」の抽出フレームに対する相違度は高い値（ＤＤ＝０．９３）となって、上記した重み付けによっても、フレーム番号「１１００」の総評価値はほとんど下がらない。この結果、重み付け後は、総評価値の低くかったフレーム番号「１１００」の方がフレーム番号「５００」よりも、総評価値が高くなる。
【００５５】
次に、閾値判定部１０１ｅが、全フレームについて、重み付け後の総評価値が、予め設定された閾値Ｔｈを下回っているか否かを判定する（ステップＳ１１２）。そして、１つのフレームでも下回っていない場合には、ステップＳ１０６の処理に戻り、その後の処理を繰り返す。
【００５６】
図９に示す例では閾値Ｔｈ＝１００としている。従って、この場合、全フレームについて、重み付け後の総評価値が閾値Ｔｈを下回っているわけではないので、ステップＳ１０６の処理に戻り、フレーム抽出部１０１ｂは、全フレームについて、今度は、重み付け後の総評価値ＴＥＶ'をそれぞれ比較して、全フレームの中から、重み付け後の総評価値ＴＥＶ'が最高となるフレームを抽出フレームとして抽出する。図８及び図９に示す例では、前述したとおり、重み付け後は、フレーム番号「１１００」のフレームの総評価値ＴＥＶ'が「１２０．９」と最高であり、従って、フレーム番号「１１００」のフレームが、２つ目の抽出フレームとして抽出される。
【００５７】
次に、評価値比較部１０１ｃは、各フレーム毎に、今回抽出した抽出フレーム（すなわち、フレーム番号「１１００」のフレーム）に対する相違度を導き出し、その後、導き出した相違度を正規化する（ステップＳ１０８）。さらに、重み付け処理部１０１ｄは、各フレーム毎に、そのフレームの正規化後相違度に基づいて、そのフレームの前回の重み付け後の総評価値に対し、さらに重み付けを施す（ステップＳ１１０）。
【００５８】
以上の繰り返し処理を経ることによって、最終的に、全フレームについて、図１０及び図１１に示すようなデータを得る。
【００５９】
図１０は各フレーム毎の特徴評価値，総評価値，正規化後特徴評価値，フレーム番号１７００に対する相違度，その正規化後相違度，１回目の重み付け後総評価値，フレーム番号１１００に対する相違度，その正規化後相違度，及び２回目の重み付け後総評価値をそれぞれ示す説明図であり、図１１は図１０における総評価値と１回目の重み付け後総評価値と２回目の重み付け後総評価値とをフレーム番号を横軸としてプロットして示したグラフである。
【００６０】
図１１から明らかなように、２回目の重み付けを行うと、全フレームについて、総評価値ＴＥＶ″は、閾値Ｔｈを下回ることになる。
【００６１】
そこで、次に、閾値判定部１０１ｅが、全フレームについて、２回目の重み付け後の総評価値が閾値Ｔｈを下回っているか否かを判定すると（ステップＳ１１２）、下回ることになるので、一連のフレーム抽出処理は終了する。
【００６２】
重み付け後の総評価値が、必要以上に低くなった場合には、その総評価値を用いてフレームを抽出しても、最早、ユーザの欲するようなフレームを抽出することはできない。そのため、本実施例では、このように、予め、閾値Ｔｈを設定し、全フレームについて重み付け後の総評価値がその閾値Ｔｈを下回る場合には、フレーム抽出を中止すべく、一連のフレーム抽出処理を終了する。これにより、無駄なフレーム抽出を防止して、処理時間の短縮化を図ることができる。
【００６３】
以上のようにして、図２に示すフレーム抽出処理により、選択した動画像の中から、フレーム番号「１７００」のフレームと、フレーム番号「１１００」のフレームと、がそれぞれ抽出される。
【００６４】
その後は、ＣＰＵ１０１が、例えば、抽出したこれらフレームのデータを、選択した動画像のデータからそれぞれ取得し、それらフレームのデータに間引き処理を施して、サムネイル化する。そして、選択した動画像のインデックス画像として、それらフレーム番号「１７００」，「１１００」のフレームのサムネイル画像を、ディスプレイ１１３の画面上に表示させる。
【００６５】
Ｃ．実施例の効果：
以上説明したとおり、本実施例では、「肌色の大きさ」，「色の分散」及び「動体の大きさ」の３つの評価項目について特徴評価値を求め、それら特徴評価値に基づいて、各フレームの抽出フレームに対する相違度をそれぞれ求め、その相違度に基づいて、各フレームの総評価値に対し、相違度が低いほど総評価値が低くなるよう、重み付けを施すようにしている。従って、先に得られた抽出フレームと画像的特徴が異なるフレーム画像ほど、重み付けにより総評価値が相対的に上がることになるため、次回、重み付け後の総評価値が最高となるフレームを、抽出フレームとして抽出すると、前回の抽出フレームとは画像的特徴が異なるフレームを抽出することができる。よって、結果的に、選択した動画像の中から、画像的特徴の異なるフレームを複数抽出することができる。
【００６６】
Ｄ．変形例：
なお、本発明は上記した実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。
【００６７】
Ｄ１．変形例１：
上記した実施例においては、重み付け処理部１０１ｄは、総評価値に正規化後相違度を乗することにより、正規化後相違度が低いほど総評価値が低くなるように、重み付けを行っていたが、本発明はこれに限定されるものではなく、例えば、０〜１の範囲にある正規化後相違度に１を加算し、その上で、総評価値に１加算後の正規化後相違度を乗することにより、正規化後相違度が高いほど総評価値が高くなるように、重み付けを行うようにしてもよい。また、その他の方法を用いて、正規化後相違度が低いほど総評価値が低くなるように、または、正規化後相違度が高いほど総評価値が高くなるように、重み付けを行うようにしてもよい。
【００６８】
Ｄ２．変形例２：
上記した実施例では、評価値比較部１０１ｃは、対象となるフレームの抽出フレームに対する相違度を導き出し、重み付け処理部１０１ｄは、正規化後の相違度に基づいて、総評価値に重み付けを施すようにしていたが、本発明は、このような相違度を用いる場合に限定されるものではなく、相違度に代えて、類似度を用いるようにしてもよい。ここで、類似度とは、対象となるフレームの画像的な特徴が、抽出フレームの画像的特徴に対して、類似する度合いを示すものである。
【００６９】
このような類似度を用いる場合、評価値比較部１０１ｃでは、各フレーム毎に、そのフレームの抽出フレームに対する類似度を導き出し、その後、導き出した類似度を相違度の場合と同様にして正規化する。また、重み付け処理部１０１ｄでは、各フレーム毎に、そのフレームの正規化後類似度に基づいて、そのフレームの総評価値に重み付けを施す。すなわち、この場合、正規化後類似度が高いほど総評価値が低くなるように、重み付けを施すか、または、正規化後類似度が低いほど総評価値が高くなるように、重み付けを施すようにすればよい。
【００７０】
Ｄ３．変形例３：
上記した実施例では、評価項目として、「肌色の大きさ」，「色の分散」及び「動体の大きさ」の３つの評価項目を用いたが、他の評価項目を用いるようにしてもよい。また、２つ以上であれば、いくつの評価項目を用いるようにしてもよい。
【００７１】
Ｄ４．変形例４：
上記した実施例では、動画像を選択し、選択した動画像の全フレームを処理対象としていたが、動画像を複数のシーンに分割した上で、所望のシーンを選択し、その選択したシーンの全フレームを処理対象としてもよい。また、上記した実施例では、ＤＶＤ１１２ｄから読み出してハードディスク１０３に格納された動画像データ１０３ｍの中から、動画像を選択するようにしたが、このような動画像に限らず、例えば、ディジタルビデオカメラなどで録画した動画像データの中から、選択するようにしてもよいし、ネットワーク（図示せず）上に存在する動画像データの中から、選択するようにしてもよい。さらに、動画像でなく、例えば、ディジタルカメラなどを用いて連写により撮影された複数の静止画像を処理対象としてもよい。
【００７２】
また、上記した実施例では、動画像は、複数のフレーム画像で構成されているものとして説明したが、複数のフィールド画像で構成されている場合は、フレームに代えて、フィールド画像を抽出するようにしてもよい。
【００７３】
Ｄ５．変形例５：
上記した実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアで置き換えるようにしてもよい。例えば、評価値導出部１０１ａの機能の一部や、評価値比較部１０１ｃの機能の一部や、重み付け処理部１０１ｄの機能の一部をハードウェア回路で実行することも可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の一実施例としての画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施例におけるフレーム抽出処理の処理手順を示すフローチャートである。
【図３】特徴評価値の導出対象となりうる評価項目の一例を示す説明図である。
【図４】フレーム間において、画像的な特徴は似ているが、特徴評価値のレベルに全体的に差があるような場合を示す説明図である。
【図５】各フレーム毎の特徴評価値，総評価値及び正規化後の特徴評価値をそれぞれ示す説明図である。
【図６】図５における特徴評価値と総評価値とをフレーム番号を横軸としてプロットして示したグラフである。
【図７】各フレーム毎の特徴評価値，総評価値，正規化後特徴評価値，相違度及び正規化後の相違度をそれぞれ示す説明図である。
【図８】各フレーム毎の特徴評価値，総評価値，正規化後特徴評価値，相違度，正規化後相違度及び重み付け後の総評価値をそれぞれ示す説明図である。
【図９】図８における総評価値と重み付け後の総評価値をフレーム番号を横軸としてプロットして示したグラフである。
【図１０】各フレーム毎の特徴評価値，総評価値，正規化後特徴評価値，フレーム番号１７００に対する相違度，その正規化後相違度，１回目の重み付け後総評価値，フレーム番号１１００に対する相違度，その正規化後相違度，及び２回目の重み付け後総評価値をそれぞれ示す説明図である。
【図１１】図１０における総評価値と１回目の重み付け後総評価値と２回目の重み付け後総評価値とをフレーム番号を横軸としてプロットして示したグラフである。
【符号の説明】
【００７５】
１０...画像処理装置
１００...コンピュータ
１０１...ＣＰＵ
１０１ａ...評価値導出部
１０１ｂ...フレーム抽出部
１０１ｃ...評価値比較部
１０１ｄ...重み付け処理部
１０１ｅ...閾値判定部
１０２...メモリ
１０３...ハードディスク
１０３ｍ...動画像データ
１０４...入出力インタフェース部
１０５...内部バス
１１０...キーボード
１１１...マウス
１１２...ＤＶＤドライブ装置
１１２ｄ...ＤＶＤ
１１３...ディスプレイ
【図１】
2006031310.tif 000005
【図２】
2006031310.tif 000006
【図３】
2006031310.tif 000007
【図４】
2006031310.tif 000008
【図５】
2006031310.tif 000009
【図６】
2006031310.tif 000010
【図７】
2006031310.tif 000011
【図８】
2006031310.tif 000012
【図９】
2006031310.tif 000013
【図１０】
2006031310.tif 000014
【図１１】
2006031310.tif 000015