(57)【要約】【課題】撮影により得られた写真画像から成功写真を容易に選択可能とする。【解決手段】デジタルカメラにより撮影され得られた写真画像データが、外部記憶装置に格納される。ＣＰＵは、画像処理プログラムに従いＧＵＩを形成し、外部記憶装置に格納されている処理対象の写真画像データを表示装置上に一覧表示させる。また、ＣＰＵは、外部記憶装置に格納されている処理対象の写真画像データのそれぞれに対して顔検出を行い、写真画像データに含まれる、撮影が成功している顔画像の数を計数し、この顔画像の計数結果に基づき、予め設定されている評価基準に応じて評価を行う。そして、処理対象の全ての写真画像データに対する評価が行われたら、評価結果に基づき、撮影が成功している顔画像が多い順に写真画像を並べ替えて、表示装置に対して表示させる。【選択図】図２
2009259122.tif 000002
【特許請求の範囲】
【請求項１】
画像に対して顔検出を行う顔検出手段と、
前記顔検出手段により検出された顔画像のうち、撮影が成功していると判断される成功顔画像の数を決定する決定手段と、
複数の前記画像を表示装置に表示させる表示制御手段と
を有し、
前記表示制御手段は、
複数の前記画像を前記成功顔画像の数にしたがった順で前記表示装置に表示させる
ことを特徴とする画像処理装置。
【請求項２】
前記顔検出手段により検出された顔画像の総数に対する前記成功顔画像の数の比率を計算する比率計算手段とをさらに備え、
前記表示制御手段は、
前記画像と、前記比率計算手段で該画像について計算された前記比率を示す情報とを関連付けて前記表示装置に表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザによる数値の入力を受け付ける入力手段をさらに有し、
前記比率計算手段が、前記顔検出手段により検出された顔画像の総数の代わりに、前記入力手段で受け付けた数値を用いて前記比率を計算する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記表示制御手段は、複数の前記画像を前記比率の大きさの順に前記表示装置に表示させる
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記比率を示す情報を、該比率と閾値との大小関係に応じたアイコンを用いて前記表示装置に表示させる
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項６】
前記決定手段は、前記顔検出手段により検出された顔画像のうち、少なくとも赤目現象が発生している顔画像は前記成功顔画像に含めない
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
【請求項７】
画像に対して顔検出を行う顔検出ステップと、
前記検出された顔画像のうち、撮影が成功していると判断される成功顔画像の数を決定する決定ステップと、
複数の前記画像を表示装置に表示させる表示制御ステップと
を有し、
前記表示制御ステップは、
複数の前記画像を前記成功顔画像の数にしたがった順で前記表示装置に表示させる
ことを特徴とする画像処理方法。
【請求項８】
画像に対して顔検出を行う顔検出ステップと、
前記検出された顔画像のうち、撮影が成功していると判断される成功顔画像の数を決定する決定ステップと、
複数の前記画像を表示装置に表示させる表示制御ステップと
を有し、
前記表示制御ステップは、
複数の前記画像を前記成功顔画像の数にしたがった順で前記表示装置に表示させる画像処理方法をコンピュータに実行させる
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特には、顔画像が含まれる画像の処理に好適な画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
書き換え可能な不揮発性メモリを記録媒体として用い、撮像素子で撮像された静止画像や動画像をこの記録媒体に記録し、再生する画像処理装置は、例えばデジタルカメラとして普及している。このようなデジタルカメラには、撮影者が構図を決定するのを容易とするために撮影前の画像を連続表示する機能や、撮影した画像を再生表示して確認するための機能が設けられている。特に、撮影した画像を撮影直後に再生する機能は利便性が高く、ほとんどのデジタルカメラに実装されている。
【０００３】
このようなデジタルカメラを商業撮影に用いる場合、デジタルカメラで撮影した大量の画像データによる画像をパーソナルコンピュータのモニタ上に表示して、最終的に利用可能な画像、すなわち、商業的に対価を貰える画像を選択する作業が行われる。特に、記念写真や集合写真のように、複数の人物が撮影されている画像について選択作業を行う場合、画像全体の構図と人物の顔の写り具合が重要な選択条件となる。顔の写り具合を判断する場合、従来では、撮影した画像に写っている人物の顔それぞれを一々拡大して確認する必要があり、多大な手間と時間がかかっていた。
【０００４】
一方、近年では、撮影時に、顔検出により被写体の中に人物がいるかどうかを瞬時に判断し、顔として検出された領域に対して、露出や焦点を自動的に合わせるようにしたデジタルカメラも開発されている。特許文献１には、顔検出による人物特定を利用した技術が記載されている。特許文献１によれば、画像を選択する際の補助手段として、撮影された画像の中に含まれる顔画像を検出し、検出された顔画像に基づき撮影された人物の数を計算する。そして、計算された人数を印刷指定枚数の初期設定値として用いたり、計算された人数とユーザから印刷を指定された枚数とが異なる場合に警告を出すようにしている。
【特許文献１】特開２００６−２６８４９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１によれば、上述したように、画像中に写った人数を顔検出により特定し、人数を印刷指定の初期値に使ったり、ユーザが入力した印刷指定枚数との相違を警告するようにしている。そのため、ユーザが意図した人数より装置が特定した人数が少なければ、ユーザは、検出されなかった人物が存在すること、すなわち、撮影に失敗した画像があることを認識することが可能である。しかしながら、この特許文献１に記載された技術は、個々の画像が撮影に成功している成功写真（例えば意図した全員がきちんと正面を向いて写っている写真）であるか、撮影に失敗している失敗写真であるかをユーザが判別することを支援するものではない。
【０００６】
すなわち、この特許文献１の技術を用いたとしても、撮影された個々の画像が撮影に成功したものか失敗したものかを判断するためには、依然として、撮影した画像に写っている人物の顔それぞれを一々拡大して確認する必要がある。
【０００７】
したがって、この発明の目的は、人物を被写体として含む画像をユーザが容易に評価若しくは選択することを可能にする画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の発明は、画像に対して顔検出を行う顔検出手段と、顔検出手段により検出された顔画像のうち、撮影が成功していると判断される成功顔画像の数を決定する決定手段と、複数の画像を表示装置に表示させる表示制御手段とを有し、表示制御手段は、複数の画像を成功顔画像の数にしたがった順で表示装置に表示させることを特徴とする画像処理装置である。
【０００９】
また、第２の発明は、画像に対して顔検出を行う顔検出ステップと、検出された顔画像のうち、撮影が成功していると判断される成功顔画像の数を決定する決定ステップと、複数の画像を表示装置に表示させる表示制御ステップとを有し、表示制御ステップは、複数の画像を成功顔画像の数にしたがった順で表示装置に表示させることを特徴とする画像処理方法である。
【００１０】
また、第３の発明は、画像に対して顔検出を行う顔検出ステップと、検出された顔画像のうち、撮影が成功していると判断される成功顔画像の数を決定する決定ステップと、複数の画像を表示装置に表示させる表示制御ステップとを有し、表示制御ステップは、複数の画像を成功顔画像の数にしたがった順で表示装置に表示させる画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１１】
このような構成により、本発明によれば、人物を被写体として含む画像をユーザが容易に評価若しくは選択することを可能となる。
【発明を実施するための最良の形態】
【００１２】
＜第１の実施形態＞
以下、この発明の第１の実施形態について、図面を参照しながら説明する。図１は、この発明に適用可能な画像処理装置１００の一例の構成を示す。システムバス１０１に対して、ＣＰＵ１１０、ＲＯＭ１１１、グラフィクスコントローラ１１２、ＲＡＭ１１４、外部記憶装置１１５および入力装置１１６が接続される。画像処理装置１００は、このように、一般的なコンピュータと同様に構成できる。
【００１３】
ＲＯＭ１１１は、ランダムアクセス可能な不揮発性メモリであって、ＣＰＵ１１０がこの画像処理装置１００における動作を制御するための基本プログラムが予め記憶される。グラフィクスコントローラ１１２は、システムバス１０１を介して供給された画像データを図示されないメモリに展開し、表示装置１１３に供給する。表示装置１１３は、例えばＬＣＤ(Liquid Crystal Display)からなる表示素子と、表示素子を駆動する駆動回路とからなる。
【００１４】
ＲＡＭ１１４は、ランダムアクセス可能な揮発性メモリであって、ＣＰＵ１１０のワークメモリとして用いられる。外部記憶装置１１５は、ハードディスクといった大容量の記憶媒体からなる。例えば図示されない通信インターフェイスを介して供給された画像データが、この外部記憶装置１１５に格納される。外部記憶装置１１５に対して、ＣＰＵ１１０を動作させるためのプログラムがさらに格納される。入力装置１１６は、ユーザからの入力操作を受け付け、入力操作に応じた制御信号を出力する。入力装置１１６としては、マウスやタブレットといったポインティングデバイスや、キーボードを適用することができる。
【００１５】
このような構成において、画像処理装置１００が起動されると、ＣＰＵ１１０は、先ず、ＲＯＭ１１１から基本プログラムを読み出してハードウェアの初期化などを行う。その後、ＣＰＵ１１０は、外部記憶装置１１５からプログラムを読み出し、ＯＳ(Operating System)の構築や、この発明による画像処理を行うための画像処理プログラムを実行させる。ＣＰＵ１１０は、画像処理プログラムに従い、外部記憶装置１１５に格納される画像データに対して画像処理を行う。
【００１６】
より具体的には、デジタルカメラにより撮影され得られた写真画像データが、外部記憶装置１１５に格納される。ＣＰＵ１１０は、画像処理プログラムに従いＧＵＩ(Graphical User Interface)を形成し、外部記憶装置１１５に格納されている処理対象の写真画像データを表示装置１１３上に一覧表示させる。また、ＣＰＵ１１０は、外部記憶装置１１５に格納されている処理対象の写真画像データのそれぞれに対して顔検出を行い、写真画像データに含まれる顔画像の数を計数し、顔画像の計数結果に基づき、予め設定されている評価基準に応じて評価を行う。そして、処理対象の全ての写真画像データに対する評価が行われたら、評価結果を示す表示を表示装置１１３に対して表示させる。
【００１７】
ユーザは、表示装置１１３に表示されたこの評価結果を示す表示に基づき、ＧＵＩを所定に操作して、目的の写真画像（例えば最も評価の高い写真画像）を選択することができる。
【００１８】
図２は、ＣＰＵ１１０上で実行される、この第１の実施形態による画像処理プログラムの一例の機能を示す。画像処理プログラムは、画像読み出し部２００、評価基準指定部２０１、評価部２０２、画像一覧表示部２０３、顔検出部２０４、失敗顔画像検出部２０５および並び替え部２０６を有する。
【００１９】
画像読み出し部２００は、外部記憶装置１１５に格納された写真画像データを読み出す。読み出された写真画像データは、ＲＡＭ１１４上に展開される。評価基準指定部２０１は、画像読み出し部２００により読み出された写真画像データに対して解析を行うために用いる評価基準を設定する。決定手段としての評価部２０２は、画像読み出し部２００により読み出された写真画像データに対して、評価基準指定部２０１で指定された評価基準に従い評価を行う。
【００２０】
画像一覧表示部２０３は、表示装置１１３に対して写真画像データを一覧表示させる。例えば、画像一覧表示部２０３は、表示対象となる写真画像データによる写真画像を縮小してサムネイル画像を生成し、このサムネイル画像を表示装置１１３に対して表示させる。また、画像一覧表示部２０３は、写真画像データに対応する所定の情報を、当該写真画像データによる写真画像に関連付けて表示させることができる。
【００２１】
顔検出手段としての顔検出部２０４は、画像読み出し部２００により読み出された写真画像データ対して顔検出を行い、当該写真画像データに含まれる顔画像を検出する。
【００２２】
失敗顔画像検出部２０５は、顔検出部２０４で検出された顔画像から、撮影に失敗していると判断される顔画像による失敗顔画像を検出する。失敗顔画像は、写真の目的に相応しくない状態で撮影された顔の画像をいう。一例として、写真が記念写真などを目的として撮影された集合写真である場合、失敗顔画像検出部２０５は、カメラに対して横や下を向いていたり、一部が他の人物や物の陰になっている状態で撮影された顔画像を失敗顔画像として検出する。他の例として、失敗顔画像検出部２０５は、赤目現象が発生している顔画像も、失敗顔画像として検出することができる。赤目現象は、ストロボを発光した際に、瞳が赤色に写り込む現象である。顔画像の目に相当する部分の色を検出することで、赤目現象が発生しているか否かを判断することができる。
【００２３】
並び替え部２０６は、評価部２０２の評価結果に応じて、画像一覧表示部２０３により一覧表示された写真画像を並び替える。この並び替え部２０６と上述の画像一覧表示部２０３とで表示制御手段が構成される。
【００２４】
なお、本第１の実施形態、ならびに、後述する第２の実施形態および第３の実施形態における顔検出には、公知の顔検出技術を利用できる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００２５】
成功顔画像と失敗顔画像とを判別する方法としては、画像処理装置１００において、典型的な成功顔画像を予め登録しておき、顔検出で検出された顔画像とこの典型的な成功顔画像とを比較する方法が考えられる。例えば、顔検出で検出された顔画像について、パターンマッチングなどにより典型的な成功顔画像に対する一致度のスコアを算出し、このスコアに対して閾値判定を行うことで、成功顔画像と失敗顔画像とを判別する。一例として、一致度が高いほど、スコアも大きな値になるものとする。閾値は、予め設定された値を固定的に用いてもよいし、ユーザが設定できるようにしてもよい。
【００２６】
図２で示される各部は、ソフトウェア的に構成するのに限らず、一部または全部をハードウェアで構成することも可能である。
【００２７】
次に、この発明の第１の実施形態について、図３および図４を用いてより詳細に説明する。図３は、この第１の実施形態による一例の画像選択処理を示すフローチャートである。なお、この図３のフローチャートの処理に先立って、外部記憶装置１１５に対して、処理対象とされる複数の写真画像データが既に格納されているものとする。ステップＳ１０で、画像読み出し部２００により、外部記憶装置１１５から処理対象の１の写真画像データが読み出される。
【００２８】
次のステップＳ１１で、評価基準が設定される。この第１の実施形態では、後述する顔検出処理により検出された成功顔画像の数が多いことを評価の基準とする。より具体的には、ある写真画像データにおいて検出された成功顔画像の数が、別の写真画像データにおいて検出された成功顔画像の数より多いか少ないかを、評価の基準とする。
【００２９】
このステップＳ１１では、さらに、所定の選択肢として予め提供される条件から、評価の判断基準をユーザが選択するようにできる。また、所定の選択肢として予め提供される複数の条件を組み合わせて、ユーザが判断基準を設定することも可能である。予め提供される基準項目としては、顔検出ができたか否か、赤目現象の有無、失敗顔画像か否かが考えられる。
【００３０】
評価基準が設定されると、処理は次のステップＳ１２に移行される。ステップＳ１２では、顔検出部２０４において、ステップＳ１０で外部記憶装置１１５から読み出された写真画像データに対して顔検出が行われ、写真画像データに含まれる顔画像が検出される。
【００３１】
そして、次のステップＳ１３で、失敗顔画像検出部２０５により、ステップＳ１２で検出された顔画像から失敗顔画像として固有の状態を有する顔画像を検出し、失敗顔画像が特定される。ステップＳ１３では、ステップＳ１２で検出された顔画像のうち、カメラに対して横や下を向いていたり、顔の一部が他の人物などに隠れた状態で撮影されたものを特定する。また、ステップＳ１３では、ステップＳ１１で赤目現象が判断条件として選択されている場合には、ステップＳ１２で検出された顔画像において赤目現象が発生している顔画像を失敗顔画像として特定する。
【００３２】
処理はステップＳ１４に移行され、評価部２０２において、ステップＳ１２による検出結果と、ステップＳ１３で特定された失敗顔画像の情報とに基づき、ステップＳ１１で設定された評価基準による評価判定が行われる。評価基準として、「写真画像に含まれる成功顔画像の数が多いこと」のみが設定されている場合には、成功顔画像の情報に基づき評価を行う。この場合、評価部２０２は、ステップＳ１２で検出された顔画像の数と、ステップＳ１３で特定された失敗顔画像の数とから成功顔画像の数を決定することができる。
【００３３】
評価部２０２による評価結果は、処理対象の写真画像データと関連付けられて、ＣＰＵ１１０によりレジスタやＲＡＭ１１４などに所定に保持される（ステップＳ１５）。
【００３４】
次のステップＳ１６で、外部記憶装置１１５に格納される全ての処理対象の写真画像データに対して上述したステップＳ１０〜ステップＳ１５までの処理を行ったか否かが判断される。
【００３５】
若し、ステップＳ１６で未だ処理していない写真画像データが存在すると判断されれば、処理はステップＳ１０に戻され、外部記憶装置１１５から次の写真画像データが読み出される。なお、ステップＳ１１において設定される評価基準値は、処理毎に変更しないのが好ましい。そして、ステップＳ１２およびステップＳ１３で顔検出が行われ、ステップＳ１４で評価基準値に基づき評価が行われ、評価結果が処理対象の写真画像データと関連付けられて、所定に保持される（ステップＳ１５）。
【００３６】
一方、ステップＳ１６で、処理対象の全ての写真画像データに対する処理が終了したと判断されれば、処理はステップＳ１７に移行される。ステップＳ１７では、ＣＰＵ１１０は、画像一覧表示部２０３により、ステップＳ１５で写真画像データ毎に保持された評価結果の値に基づき、表示装置１１３に表示される写真画像の表示順を並び替える。
【００３７】
図４は、ステップＳ１７の処理により並び替えられて写真画像が表示された一例の様子を概略的に示す。図４の例では、表示装置１１３の表示画面４００に対し、３枚の写真画像３０１〜３０３が、左から、写真画像３０１、写真画像３０２および写真画像３０３の表示順に並べられて表示されている。これら写真画像３０１〜３０３は、人物３１０Ａ〜３１０Ｅの５人からなる同一の人物群を撮影して得られたものであって、撮影順と表示画面４００に対する表示順とは特に関連性がないものとする。
【００３８】
写真画像３０１は、人物３１０Ａ〜３１０Ｅの全員について、典型的な成功顔画像との一致度を示すスコアが閾値よりも大きな顔画像が検出された例である。すなわち、写真画像３０１において、撮影が成功している成功顔画像の数は５である。一方、写真画像３０２は、人物３１０Ｃが下を向いた状態で撮影されている。このような場合、典型的な成功顔画像との一致度を示すスコアが閾値よりも小さくなり、撮影が失敗している失敗顔画像であると判断される。すなわち、写真画像３０２において、成功顔画像の数は４である。さらに、写真画像３０３は、人物３１０Ｃが下を向くと共に、人物３１０Ｅが横を向いた状態で撮影されている。そのため、人物３１０Ｃおよび３１０Ｅについては、撮影が失敗している失敗顔画像であると判断される。すなわち、写真画像３０３において、成功顔画像の数は３である。
【００３９】
この第１の実施形態では、上述のステップＳ１７において、写真画像３０１〜３０３の表示順を、当初の表示順に対し、各写真画像に対応する成功顔画像の数に従い、当該成功顔画像の数の多い順に並べ替えて、表示装置１１３の表示画面４００に表示させる。図４の例では、表示画面４００の左側から右側に向けて、成功顔画像の数が多い順に並べ替えて写真画像を表示させている。
【００４０】
表示画面４００に対する写真画像３０１〜３０３の表示をこのように行うことで、ユーザは、多人数による被写体を撮影して得られた多数の写真画像から、人物の撮影が最も良好に行われたと考えられる写真画像を容易に判別および選択することができる。
【００４１】
なお、上述では、表示画面４００の左側から右側にかけて、順次、成功顔画像が多い順に写真画像３０１〜３０３を並び替えて表示しているが、これはこの例に限定されない。例えば、成功顔画像の数に対して並び順を左右逆にしてもよい。
【００４２】
また、上述とは逆に、成功顔画像の数が少ない順に並べ替えることも考えられる。こうすると、失敗顔画像の多い失敗写真から先に排除することができる。
【００４３】
＜第２の実施形態＞
次に、この発明の第２の実施形態について説明する。この第２の実施形態は、、成功顔画像の数の、写真画像に含まれる検出可能な顔画像の全数に対する比率を計算し、計算された比率を、対応する写真画像と共に表示装置１１３に表示するようにしている。ユーザは、表示装置１１３に表示されるこの比率に基づき、共に表示される写真画像が成功写真であるか否かを容易に判断することができる。なお、ここでいう検出可能な顔画像とは、失敗顔画像として検出された顔画像を含む。
【００４４】
図５は、ＣＰＵ１１０上で実行される、この第２の実施形態による画像処理プログラムの一例の機能を示す。このように、この第２の実施形態による画像処理プログラムは、図２を用いて説明した第１の実施形態による画像処理プログラムに対して比率計算部２１０が追加されている。画像読み出し部２００、評価基準指定部２０１、評価部２０２、画像一覧表示部２０３、顔検出部２０４、失敗顔画像検出部２０５および並び替え部２０６は、図２を用いて説明した第１の実施形態による画像処理プログラムと同一の機能を有する。そのため、煩雑さを避けるためここでの説明を省略する。
【００４５】
比率計算手段としての比率計算部２１０は、顔検出部２０４および失敗顔画像検出部２０５による検出結果に基づき、上述した、成功顔画像の数の、写真画像に含まれる検出可能な顔画像の全数に対する比率を計算する。
【００４６】
図５で示される各部は、ソフトウェア的に構成するのに限らず、一部または全部をハードウェアで構成することも可能である。
【００４７】
図６は、この第２の実施形態による一例の画像選択処理を示すフローチャートである。なお、この図６のフローチャートの処理に先立って、外部記憶装置１１５に対して、処理対象とされる１または複数の写真画像データが既に格納されているものとする。ステップＳ２０で、画像読み出し部２００により、外部記憶装置１１５から処理対象の１の写真画像データが読み出され、ＲＡＭ１１４に記憶される。
【００４８】
次のステップＳ２１で、図３でステップＳ１１により説明した処理と同様にして評価基準が設定される。ここでは、検出された顔画像が成功顔画像であるか否かが評価基準として設定されるものとする。そして、ステップＳ２２で、顔検出部２０４により、図３のステップＳ１２で説明したようにして、処理対象の写真画像データに対する顔検出が行われ、当該写真画像データに含まれる顔画像が検出される。
【００４９】
次のステップＳ２３では、図３でステップＳ１３により説明した処理と同様にして、ステップＳ２２で検出された顔画像に対して失敗顔画像の特定がなされる。なお、ステップＳ２１で評価基準値に対する判断条件として赤目現象の有無が設定されている場合には、このステップＳ２３で、失敗顔画像検出部２０５によって、赤目現象が発生している顔画像も、失敗顔画像として特定される。
【００５０】
次のステップＳ２４で、評価部２０２により、ステップＳ２２による検出結果と、ステップＳ２３で特定された失敗顔画像の情報とに基づき、ステップＳ２１で設定された評価基準による評価判定が行われる。ここでは、ステップＳ２１において顔画像が成功顔画像であるか否かが評価基準として設定されている。したがって、ステップＳ２４では、ステップＳ２２で検出された顔画像の数から、ステップＳ２３で特定された失敗顔画像の数を差し引いた値を、成功顔画像の数として決定する。
【００５１】
次のステップＳ２５では、比率計算部２１０により、ステップＳ２２で検出された顔画像に対して成功顔画像が含まれる比率が計算される。
【００５２】
ステップＳ２６では、ステップＳ２５で計算された比率を示す値が、処理を行った写真画像データと関連付けられて、ＣＰＵ１１０によりレジスタやＲＡＭ１１４などに所定に保持される。
【００５３】
次のステップＳ２７で、外部記憶装置１１５に格納される全ての処理対象の写真画像データに対して上述したステップＳ２０〜ステップＳ２６までの処理を行ったか否かが判断される。若し、未だ処理していない写真画像データが存在すると判断されれば、処理はステップＳ２０に戻され、外部記憶装置１１５から次の写真画像データが読み出される。そして、この次の写真画像データに対して、上述したステップＳ２１〜ステップＳ２６の処理が行われる。
【００５４】
一方、ステップＳ２７で、所定対象の全ての写真画像データに対する処理が終了したと判断されれば、処理はステップＳ２８に移行される。ステップＳ２８では、ＣＰＵ１１０は、画像一覧表示部２０３により、ステップＳ２６で写真画像データ毎に保持された比率を示す値を、対応する写真画像データと共に表示装置１１３に表示させる。
【００５５】
図７は、この第２の実施形態による一例の表示を概略的に示す。なお、図７では、表示装置１１３に対して複数が表示される写真画像から１の写真画像３２０を代表させて示している。図７の例では、写真画像３２０に対して、５人の人物３２１Ａ〜３２１Ｅの顔画像が含まれている。また、この５人の人物３２１Ａ〜３２１Ｅのうち、人物３２１Ｃが下を向くと共に、人物３２１Ｅが横を向いた状態で撮影されている。そのため、人物３２１Ｃおよび３２１Ｅについては、顔画像が失敗顔画像として検出されている。
【００５６】
これらの結果により、写真画像３２０において、成功顔画像の数が３であり、失敗顔画像の数が２であることが分かる。したがって、写真画像３２０に含まれる顔画像の総数が３＋２＝５となり、成功顔画像の比率は、(３／５)×１００％＝６０％と計算される。画像一覧表示部２０３は、計算された成功顔画像の比率を示す値を、表示装置１１３の表示画面における写真画像３２０に関連付けて、当該写真画像３２０の近傍の領域３２２に表示させる。
【００５７】
集合写真などによる写真画像では、カメラに対して下や横を向いた状態になっていたり、顔が他の人物の陰に隠れている状態になっている人物の顔画像が含まれることは、好ましくないと考えられる。この第２の実施形態では、上述したように、写真画像から検出された成功顔画像の比率を示す値を、当該写真画像に関連付けて表示するようにしている。そのため、撮影が成功している写真画像と失敗している写真画像との判定が容易となり、上述したような、好ましくない状態で撮影されている人物の顔画像が含まれる写真画像を、効率的に排除することができる。
【００５８】
なお、上述では、比率計算部２１０において成功顔画像の比率を計算および表示しているが、これはこの例に限らず、失敗顔画像の比率を計算および表示するようにしてもよい。また、この第２の実施形態と上述した第１の実施形態とを組み合わせ、写真画像３２０に対応する比率を領域３２２に表示させると共に、複数の写真画像３２０、３２０、・・・を比率に応じて並び替えて表示画面４００に表示させてもよい。
【００５９】
さらに、上述では、比率計算部２１０において計算された比率を示す値そのものを、領域３２２に表示するようにしているが、これはこの例に限定されない。例えば、成功顔画像の比率に対して閾値を設け、当該比率と閾値との大小関係に応じて所定の通知を行うようにしてもよい。通知は、当該比率と閾値との大小関係を直感的に認識可能なアイコンを用いて行うことが考えられる。なお、閾値は、ユーザが設定可能とするのが好ましい。予め設定された固定値を閾値として用いてもよい。
【００６０】
一例として、閾値を７５％とし、比率計算部２１０において計算された比率の値が６０％だったとする。この場合、比率の値が閾値よりも小さい。そこで、図８に例示されるように、画像一覧表示部２０３により、当該比率が閾値よりも小さいことを直感的に認識可能なアイコン３２３（この例では下向きの矢印）を、写真画像３２０と対応付けて、表示装置１１３に表示させる。
【００６１】
このように、写真画像における成功顔画像の比率を、閾値との大小関係に応じたアイコンで示すことで、ユーザは、成功写真と失敗写真とを直感的に判別することができ、作業効率の向上が期待できる。
【００６２】
＜第３の実施形態＞
次に、この発明の第３の実施形態について説明する。上述した第２の実施形態では、写真画像に、顔が他人の陰に完全に隠れているなど、顔検出部２０４で検出できない人物の画像が含まれている場合、成功顔画像と失敗顔画像との合計が、実際に被写体として撮影された人数と一致しない場合が起こり得る。この場合、成功顔画像の比率が実際よりも大きな値として算出されてしまうことになる。
【００６３】
そこで、この第３の実施形態は、写真画像に含まれるべき顔画像の総数が既知の場合に、この総数を入力するようにしている。例えば、集合写真の場合、被写体となるメンバーの総数が、写真画像に含まれるべき顔画像の総数となる。そして、入力されたこの総数を母数として、成功顔画像数の比率を計算する。既知の顔画像の総数を母数とすることにより、顔検出部２０４により顔画像が検出されなかった人物が存在した場合でも、成功顔画像の比率を正確に計算することができる。
【００６４】
図９は、ＣＰＵ１１０上で実行される、この第３の実施形態による画像処理プログラムの一例の機能を示す。このように、この第３の実施形態による画像処理プログラムは、図５を用いて説明した第２の実施形態による画像処理プログラムに対して総人数入力部２１１が追加されている。画像読み出し部２００、評価基準指定部２０１、評価部２０２、画像一覧表示部２０３、顔検出部２０４、失敗顔画像検出部２０５、並び替え部２０６および比率計算部２１０は、図５の第２の実施形態による画像処理プログラムと同一の機能を有する。そのため、煩雑さを避けるためここでの説明を省略する。
【００６５】
入力手段としての総人数入力部２１１は、表示装置１１３に対して入力画面を表示させると共に、入力画面に応じて入力装置１１６に対してなされたユーザの入力操作を受け付ける。図１０は、総人数入力部２１１により表示装置１１３に表示される一例の入力画面４１０を示す。入力装置１１６からの入力に応じて、領域４１１に入力された数値が表示される。ボタン４１２を所定に操作することで、領域４１１に表示された数値が総人数入力部２１１に渡される。
【００６６】
図９で示される各部は、ソフトウェア的に構成するのに限らず、一部または全部をハードウェアで構成することも可能である。
【００６７】
図１１は、この第３の実施形態による一例の画像選択処理を示すフローチャートである。なお、この図１１のフローチャートの処理に先立って、外部記憶装置１１５に対して、処理対象とされる１または複数の写真画像データが既に格納されているものとする。ステップＳ３０で、画像読み出し部２００により、外部記憶装置１１５から処理対象の１の写真画像データが読み出され、ＲＡＭ１１４に記憶される。
【００６８】
次のステップＳ３１で、総人数入力部２１１により入力画面４１０が表示装置１１３に表示され、ユーザに対して、写真画像に含まれるべき顔画像の総数を示す数値の入力が促される。入力画面４１０に応じて入力された数値は、総人数入力部２１１により保持される。そして、処理はステップＳ３２に移行され、図３でステップＳ１１により説明した処理と同様にして評価基準値が設定される。ここでは、検出された顔画像が成功顔画像であるか否かが評価基準として設定されるものとする。
【００６９】
次のステップＳ３３で、顔検出部２０４により、図３のステップＳ１２で説明したようにして、処理対象の写真画像データに対する顔検出が行われ、写真画像データに含まれる顔画像が検出される。そして、ステップＳ３４で、図３でステップＳ１３により説明した処理と同様にして、ステップＳ３３で検出された顔画像に対して失敗顔画像の特定がなされる。ステップＳ３１で評価基準値に対する判断条件として赤目現象の有無が設定されている場合には、このステップＳ３４で、失敗顔画像検出部２０５によって、赤目現象が発生している顔画像も、失敗顔画像として特定される。
【００７０】
次のステップＳ３５で、評価部２０２により、ステップＳ３３による検出結果と、ステップＳ３４で特定された失敗顔画像の情報とに基づき、ステップＳ２１で設定された評価基準による評価判定が行われる。ここでは、ステップＳ３１において顔画像が成功顔画像であるか否かが評価基準として設定されている。したがって、ステップＳ３５では、ステップＳ３３で検出された顔画像の数から、ステップＳ２３で特定された失敗顔画像の数を差し引いた値を、成功顔画像の数として決定する。
【００７１】
次のステップＳ３６では、比率計算部２１０により、写真画像に含まれるべき顔画像の総数を母数とした成功顔画像数の比率が計算される。比率計算部２１０は、総人数入力部２１１に保持された、写真画像に含まれるべき顔画像の総数を示す数値と、ステップＳ３５による評価結果に基づく最終的な成功顔画像数との比率が計算される。この比率を示す値は、ステップＳ３５で得られた評価結果を示す情報および処理を行った写真画像データと関連付けられて、ＣＰＵ１１０によりレジスタやＲＡＭ１１４などに所定に保持される（ステップＳ３７）。
【００７２】
次のステップＳ３８で、外部記憶装置１１５に格納される全ての処理対象の写真画像データに対して上述したステップＳ３０〜ステップＳ３７までの処理を行ったか否かが判断される。
【００７３】
若し、未だ処理していない写真画像データが存在すると判断されれば、処理はステップＳ３０に戻され、外部記憶装置１１５から次の写真画像データが読み出される。そして、この次の写真画像データに対して、上述したステップＳ３１〜ステップＳ３７の処理が行われる。このとき、総人数入力部２１１は、前回入力された数値を保持しておき、ステップＳ３１で新たな入力がない場合に保持された数値をそのまま用いるようにしておくと、入力を行う手間が省け、好ましい。
【００７４】
一方、ステップＳ３８で、所定対象の全ての写真画像データに対する処理が終了したと判断されれば、処理はステップＳ３９に移行される。ステップＳ３９では、ＣＰＵ１１０は、画像一覧表示部２０３により、ステップＳ３７で写真画像データ毎に保持された比率を示す値を、対応する写真画像データと関連付けて表示装置１１３に表示させる。
【００７５】
このように、この第３の実施形態によれば、予め確定されている、写真画像に含まれるべき顔画像の総数を入力するようにし、この入力された顔画像の総数を母数として成功顔画像の比率を計算するようにしている。そのため、顔が他の人物の陰に完全に隠れているなど、顔検出部２０４により検出できなかった顔が存在する場合であっても、成功顔画像の比率を正確に求めることができる。
【００７６】
なお、ステップＳ３１における顔画像の総数の入力は、写真画像データ毎に行うことが可能である。また、１回目のステップＳ３１の処理において入力を行わない場合に、上述した第２の実施形態の処理に移行させることも考えられる。
【００７７】
さらに、この第３の実施形態においても、上述した第２の実施形態と同様に、成功顔画像の比率を、当該比率と閾値との大小関係を直感的に認識可能なアイコンを用いて通知するようにできる。
【００７８】
上述の各実施形態においては、１つの機器から構成される画像処理装置についてのみ説明したが、本発明の画像処理装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００７９】
上述の各実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現される。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の各実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００８０】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００８１】
上述の各実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００８２】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００８３】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
【００８４】
つまり、上述の各実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００８５】
また、上述の各実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００８６】
また、上述の各実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
【００８７】
さらに、上述の各実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００８８】
【図１】この発明に適用可能な画像処理装置の一例の構成を示すブロック図である。
【図２】の第１の実施形態による画像処理プログラムの一例の機能を示す機能ブロック図である。
【図３】第１の実施形態による一例の画像選択処理を示すフローチャートである。
【図４】第１の実施形態の処理により並び替えられて表示される写真画像データの一例の様子を概略的に示す略線図である。
【図５】第２の実施形態による画像処理プログラムの一例の機能を示す機能ブロック図である。
【図６】第２の実施形態による一例の画像選択処理を示すフローチャートである。
【図７】第２の実施形態による一例の表示を概略的に示す略線図である。
【図８】アイコンを用いて通知を行う例を示す略線図である。
【図９】第３の実施形態による画像処理プログラムの一例の機能を示す機能ブロック図である。
【図１０】総人数入力部により表示装置に表示される一例の入力画面を示す略線図である。
【図１１】第３の実施形態による一例の画像選択処理を示すフローチャートである。
【符号の説明】
【００８９】
１００  画像処理装置
１１０  ＣＰＵ
１１３  表示装置
１１４  ＲＡＭ
１１５  外部記憶装置
１１６  入力装置
２００  画像読み出し部
２０１  評価基準指定部
２０２  評価部
２０３  画像一覧表示部
２０４  顔検出部
２０５  失敗顔検出部
２０６  並び替え部
２１０  比率計算部
２１１  総人数入力部
【図１】
2009259122.tif 000003
【図２】
2009259122.tif 000004
【図３】
2009259122.tif 000005
【図４】
2009259122.tif 000006
【図５】
2009259122.tif 000007
【図６】
2009259122.tif 000008
【図７】
2009259122.tif 000009
【図８】
2009259122.tif 000010
【図９】
2009259122.tif 000011
【図１０】
2009259122.tif 000012
【図１１】
2009259122.tif 000013