(57)【要約】【課題】  写真画像がポートレートである場合のピント判定の精度を向上させる。【解決手段】  ＣＰＵ１１は、コンピュータプログラムＰｒを実行することにより、ハードディスクドライブ１４から読み出された一つの画像データＤｐで示される写真画像がポートレートの画像であるか否かを、ポートレート判定部３０により判定する。ポートレートの画像であると判定されたとき、第１処理部３２により、前記写真画像に対してポートレート用のピント判定処理を施す。一方、ポートレート判定部３０でポートレート以外の画像であると判定されたとき、第２処理部３４により、前記写真画像に対して非ポートレート用のピント判定処理を施す。第１処理部３２では、「肌色でかつエッジの部分についてのエッジの強さ」によって、写真画像のピントがどれほど合っているかを判定する。【選択図】  図１
2005159626.tif 000002
【特許請求の範囲】
【請求項１】
写真画像のピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定装置であって、
前記写真画像がポートレートの画像であるか否かを判定するポートレート判定手段と、
前記ポートレート判定手段でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す第１処理手段と
を備える画像ピント判定装置。
【請求項２】
請求項１に記載の画像ピント判定装置であって、
前記ポートレート判定手段でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す第２処理手段
を備える画像ピント判定装置。
【請求項３】
請求項１または２に記載の画像ピント判定装置であって、
前記第１処理手段は、
前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する第１の画素選択手段と、
前記第１の画素選択手段により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する第１のピント合焦率演算手段と
を備える画像ピント判定装置。
【請求項４】
請求項２または３に記載の画像ピント判定装置であって、
前記第２処理手段は、
前記写真画像を構成する各画素の中から、隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する第２の画素選択手段と、
前記写真画素を構成する各画素の総数に対する前記第２の画素選択手段により選択された各画素の合計数の割合を求めて、該割合に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する第２のピント合焦率演算手段と
を備える画像ピント判定装置。
【請求項５】
請求項１または２に記載の画像ピント判定装置であって、
前記第１処理手段は、
前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で第１の所定値以上の輝度差があるエッジ部分に属する画素を選択する第１の画素選択手段と、
前記第１の画素選択手段により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する第１のピント合焦率演算手段と
を備え、
前記第２処理手段は、
前記写真画像を構成する各画素の中から、隣接する画素との間で前記第１の所定値より大きな第２の所定値以上の輝度差があるエッジ部分に属する画素を選択する第２の画素選択手段と、
前記写真画素を構成する各画素の総数に対する前記第２の画素選択手段により選択された各画素の合計数の割合を求めて、該割合に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する第２のピント合焦率演算手段と
を備える画像ピント判定装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像ピント判定装置であって、
前記ポートレート判定手段は、
前記写真画像の肌色部分の前記写真画像全体に対する面積比を算出する面積比算出手段と、
前記面積比算出手段により算出された面積比に基づいて、前記写真画像がポートレートの画像であるか否かを判定する判定手段と
を備える画像ピント判定装置。
【請求項７】
複数の写真画像を分類する画像分類装置であって、
前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定手段と、
前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する分類手段と
を備え、さらに、
前記画像ピント判定手段は、
前記写真画像がポートレートの画像であるか否かを判定するポートレート判定手段と、
前記ポートレート判定手段でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す第１処理手段と
を備える画像分類装置。
【請求項８】
請求項７に記載の画像分類装置であって、
前記画像ピント判定手段は、
前記ポートレート判定手段でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す第２処理手段
を備える画像分類装置。
【請求項９】
請求項７または８に記載の画像分類装置であって、
前記第１処理手段は、
前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する画素選択手段と、
前記画素選択手段により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算するピント合焦率演算手段と
を備える画像分類装置。
【請求項１０】
写真画像を修整する画像修整装置であって、
前記写真画像のピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定手段と、
前記ピント判定処理の判定結果に基づいて、前記写真画像を修整する画像修整手段と
を備え、さらに、
前記画像ピント判定手段は、
前記写真画像がポートレートの画像であるか否かを判定するポートレート判定手段と、
前記ポートレート判定手段でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す第１処理手段と
を備える画像修整装置。
【請求項１１】
請求項１０に記載の画像修整装置であって、
前記画像ピント判定手段は、
前記ポートレート判定手段でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す第２処理手段
を備える画像修整装置。
【請求項１２】
請求項１０または１１に記載の画像修整装置であって、
前記第１処理手段は、
前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する画素選択手段と、
前記画素選択手段により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算するピント合焦率演算手段と
を備える画像修整装置。
【請求項１３】
写真画像のピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定方法であって、
（ａ）前記写真画像がポートレートの画像であるか否かを判定する行程と、
（ｂ）前記行程（ａ）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す行程と
を備える画像ピント判定方法。
【請求項１４】
請求項１３に記載の画像ピント判定方法であって、
（ｃ）前記行程（ａ）でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す行程
を備える画像ピント判定方法。
【請求項１５】
請求項１３または１４に記載の画像ピント判定方法であって、
前記行程（ｂ）は、
（ｂ−１）前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する行程と、
（ｂ−２）前記行程（ｂ−１）により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する行程と
を備える画像ピント判定方法。
【請求項１６】
複数の写真画像を分類する画像分類方法であって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう行程と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する行程と
を備え、さらに、
前記行程（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する行程と、
（ａ−２）前記行程（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す行程と
を備える画像分類方法。
【請求項１７】
写真画像を修整する画像修整方法であって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう行程と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する行程と
を備え、さらに、
前記行程（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する行程と、
（ａ−２）前記行程（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す行程と
を備える画像修整方法。
【請求項１８】
写真画像のピントがどれほど合っているかを判定するピント判定処理を行なうためのコンピュータプログラムであって、
（ａ）前記写真画像がポートレートの画像であるか否かを判定する機能と、
（ｂ）前記機能（ａ）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す機能と
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１９】
請求項１８に記載のコンピュータプログラムであって、
（ｃ）前記機能（ａ）でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す機能
をコンピュータに実現させるためのコンピュータプログラム。
【請求項２０】
請求項１８または１９に記載のコンピュータプログラムであって、
前記機能（ｂ）は、
（ｂ−１）前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する機能と、
（ｂ−２）前記機能（ｂ−１）により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する機能と
を備えるコンピュータプログラム。
【請求項２１】
複数の写真画像を分類するためのコンピュータプログラムであって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう機能と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する機能と
をコンピュータに実現させるとともに、
前記機能（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する機能と、
（ａ−２）前記機能（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す機能と
を備えるコンピュータプログラム。
【請求項２２】
請求項２１に記載のコンピュータプログラムであって、
（ａ−３）前記機能（ａ−１）でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す機能
をコンピュータに実現させるためのコンピュータプログラム。
【請求項２３】
請求項２１または２２に記載のコンピュータプログラムであって、
前記機能（ａ−２）は、
（ａ−２−１）前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する機能と、
（ａ−２−２）前記機能（ａ−２−１）により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する機能と
を備えるコンピュータプログラム。
【請求項２４】
写真画像を修整するためのコンピュータプログラムであって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう機能と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する機能と
をコンピュータに実現させるとともに、
前記機能（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する機能と、
（ａ−２）前記機能（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す機能と
を備えるコンピュータプログラム。
【請求項２５】
請求項２４に記載のコンピュータプログラムであって、
（ａ−３）前記機能（ａ−１）でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す機能
をコンピュータに実現させるためのコンピュータプログラム。
【請求項２６】
請求項２４または２５に記載のコンピュータプログラムであって、
前記機能（ａ−２）は、
（ａ−２−１）前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する機能と、
（ａ−２−２）前記機能（ａ−２−１）により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する機能と
を備えるコンピュータプログラム。
【請求項２７】
請求項１８ないし２６のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真画像のピントがどれほど合っているかを判定する技術と、その技術を用いた画像分類と画像修整の技術に関するものである。
【背景技術】
【０００２】
近年、電子スチールカメラ、いわゆるデジタルカメラが開発され、一般に普及している。デジタルカメラで撮影した写真画像は、コンピュータを用いれば、その画像処理ソフトウェアによって容易に加工・編集することができる。これら加工の処理の一つとして、特許文献１に示すように、写真画像の「明るさ」や「シャープネス」等の画質を自動的に修整する処理がある。「シャープネス」を修整する際には、エッジの部分の輝度差を検出することで、その写真画像のピントがどれほど合っているかの判定を行なっている。
【０００３】
【特許文献１】特開２０００−２１５３０６号公報
【０００４】
しかしながら、前記従来の技術では、写真画像がポートレートの画像である場合に、ピントがどれほど合っているかを誤って判定することが多かった。ピントがどれほど合っているかの判定は、エッジの部分の画像全体に対する面積比で行なうことが一般的であるために、ポートレートのような人物の狭い部分にピントが合っている写真画像では、面積比が小さいとして、「ピントが合っていない」と誤判定されるためである。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の解決しようとする課題は、写真画像がポートレートである場合のピントの判定の精度を向上させることである。
【課題を解決するための手段】
【０００６】
前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。
【０００７】
本発明の画像ピント判定装置は、
写真画像のピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定装置であって、
前記写真画像がポートレートの画像であるか否かを判定するポートレート判定手段と、
前記ポートレート判定手段でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す第１処理手段と
を備えることを特徴としている。
【０００８】
前記構成の画像ピント判定装置によれば、写真画像がポートレートの画像である場合、ポートレート専用のピント判定処理を写真画像に対して施すことができることから、写真画像がポートレートである場合のピント判定の精度を向上させることができる。
【０００９】
前記画像ピント判定装置において、前記ポートレート判定手段でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す第２処理手段を備える構成とすることができる。
【００１０】
この構成によれば、ポートレートの写真画像とポートレート以外の写真画像とに異なるピント判定処理を施すことで、それぞれの写真画像に適したピント判定を行なうことができる。したがって、写真画像のピント判定の精度を向上することができる。
【００１１】
前記第１処理手段は、前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する第１の画素選択手段と、前記第１の画素選択手段により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する第１のピント合焦率演算手段とを備える構成とすることができる。
【００１２】
前記構成によれば、肌色でエッジ部分に属する各画素の輝度差から、ポートレートのピントがどれほど合っているかを判定することができる。エッジ部分に属する各画素の輝度差から、ピントがどれほど合っているかを判定するだけでは、ポートレートで、主要被写体である「人物」にピントが合わず、背景の方にピントが合っているような写真画像では、「ピントが合っていない」と正確に判定することができなかったが、これに対して、前記構成によれば、肌色かの判定を加えることで、こうした誤判定を防止することができる。
【００１３】
前記第２処理手段は、前記写真画像を構成する各画素の中から、隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する第２の画素選択手段と、前記写真画素を構成する各画素の総数に対する前記第２の画素選択手段により選択された各画素の合計数の割合を求めて、該割合に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算する第２のピント合焦率演算手段とを備える構成とすることができる。
【００１４】
前記構成によれば、非ポートレートの写真画像にあっては、写真画像全体に対するエッジ部分の面積比から、写真画像のピントがどれほど合っているかを判定することができる。ポートレートでない写真画像、例えば風景写真は、一般的にパンフォーカス（画面全体にピントを合わせる）で撮影され、また、森林など細かい描写になる被写体を写すことが多いことから、ピントが合っている領域、エッジが立っている領域ともに広い面積となることが多い。このために、ポートレートでない写真画像においては、エッジ部分の面積比をみることで、ピントが合っているかを正確に判定することができる。
【００１５】
第１処理手段を、前述したように、第１の画像選択手段と第１のピント合焦率演算手段とを備え、かつ、第２処理手段を、前述したように、第２の画像選択手段と第２のピント合焦率演算手段とを備えるようにした構成の画像ピント判定装置において、第１の画像選択手段における所定値より第２の画像選択手段における所定値の方が大きい構成とすることができる。
【００１６】
前記構成によれば、ポートレートの写真画像のエッジ部分を確実に選択することができる。ポートレートの場合、被写界深度が浅い写真が多いが、被写界深度が浅いということは、肌色部分全体にピントが合っているとは限らないし、ピントが合っていると見えている部分も、被写界深度の深い非ポートレートの写真画像に比べると、エッジの立ち方が甘い可能性がある。これに対して、前記構成によれば、ポートレートの場合の方がエッジの判定の閾値が小さいことから、ポートレートの写真画像のエッジ部分を確実に選択することが可能となる。
【００１７】
前記ポートレート判定手段は、前記写真画像の肌色部分の前記写真画像全体に対する面積比を算出する面積比算出手段と、前記面積比算出手段により算出された面積比に基づいて、前記写真画像がポートレートの画像であるか否かを判定する判定手段とを備える構成とすることができる。
【００１８】
ポートレートの写真画像は、人物を中心として撮影されたものであるから、人物の肌部分が写真画像全体に対して大きい面積比となっている。このために、上記構成のように、写真画像の肌色部分の写真画像全体に対する面積比を求めることで、写真画像がポートレートであるか否かを容易に判定することができる。
【００１９】
本発明の画像分類装置は、
前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定手段と、
前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する分類手段と
を備え、さらに、
前記画像ピント判定手段は、
前記写真画像がポートレートの画像であるか否かを判定するポートレート判定手段と、
前記ポートレート判定手段でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す第１処理手段と
を備えることを特徴としている。
【００２０】
前記構成の画像分類装置によれば、写真画像がポートレートの画像である場合、ポートレート専用のピント判定処理を写真画像に対して施すことができることから、写真画像がポートレートである場合のピント判定の精度を向上させることができる。そうして、この精度の高いピント判定の判定結果に基づいて、写真画像の分類が行なわれることから、分類の精度を向上させることができる。
【００２１】
前記画像分類装置において、前記画像ピント判定手段は、前記ポートレート判定手段でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す第２処理手段を備える構成とすることができる。
【００２２】
この構成によれば、ポートレートの写真画像とポートレート以外の写真画像とに異なるピント判定処理を施すことで、それぞれの写真画像に適したピント判定を行なうことができる。したがって、写真画像のピント判定の精度を向上して、より分類の精度を向上させることができる。
【００２３】
前記第１処理手段は、前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する画素選択手段と、前記画素選択手段により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算するピント合焦率演算手段とを備える構成とすることができる。
【００２４】
前記構成によれば、肌色でエッジ部分に属する各画素の輝度差から、ポートレートのピントがどれほど合っているかを判定することができる。エッジ部分に属する各画素の輝度差から、ピントがどれほど合っているかを判定するだけでは、ポートレートで、主要被写体である「人物」にピントが合わず、背景の方にピントが合っているような写真画像では、「ピントが合っていない」と正確に判定することができなかったが、これに対して、前記構成によれば、肌色かの判定を加えることで、こうした誤判定を防止することができる。
【００２５】
本発明の画像修整装置は、
写真画像を修整する画像修整装置であって、
前記写真画像のピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定手段と、
前記ピント判定処理の判定結果に基づいて、前記写真画像を修整する画像修整手段と
を備え、さらに、
前記画像ピント判定手段は、
前記写真画像がポートレートの画像であるか否かを判定するポートレート判定手段と、
前記ポートレート判定手段でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す第１処理手段と
を備えることを特徴としている。
【００２６】
前記構成の画像修整装置によれば、写真画像がポートレートの画像である場合、ポートレート専用のピント判定処理を写真画像に対して施すことができることから、写真画像がポートレートである場合のピント判定の精度を向上させることができる。そうして、この精度の高いピント判定の判定結果に基づいて、写真画像の修整が行なわれることから、修整の出来ばえを向上させることができる。
【００２７】
前記画像修整装置において、前記画像ピント判定手段は、前記ポートレート判定手段でポートレート以外の画像であると判定されたとき、非ポートレート用に予め用意された前記ピント判定処理としての第２処理を、前記写真画像に施す第２処理手段を備える構成とすることができる。
【００２８】
この構成によれば、ポートレートの写真画像とポートレート以外の写真画像とに異なるピント判定処理を施すことで、それぞれの写真画像に適したピント判定を行なうことができる。したがって、写真画像のピント判定の精度を向上して、より分類の精度を向上させることができる。
【００２９】
前記第１処理手段は、前記写真画像を構成する各画素の中から、肌色で、かつ隣接する画素との間で所定値以上の輝度差があるエッジ部分に属する画素を選択する画素選択手段と、前記画素選択手段により選択された各画素についての前記輝度差に基づいて、前記写真画像のピントがどれほど合っているかを示すピント合焦率を演算するピント合焦率演算手段とを備える構成とすることができる。
【００３０】
前記構成によれば、肌色でエッジ部分に属する各画素の輝度差から、ポートレートのピントがどれほど合っているかを判定することができる。エッジ部分に属する各画素の輝度差から、ピントがどれほど合っているかを判定するだけでは、ポートレートで、主要被写体である「人物」にピントが合わず、背景の方にピントが合っているような写真画像では、「ピントが合っていない」と正確に判定することができなかったが、これに対して、上記構成によれば、肌色かの判定を加えることで、こうした誤判定を防止することができる。
【００３１】
本発明の画像ピント判定方法は、
写真画像のピントがどれほど合っているかを判定するピント判定処理を行なう画像ピント判定方法であって、
（ａ）前記写真画像がポートレートの画像であるか否かを判定する行程と、
（ｂ）前記行程（ａ）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す行程と
を備えることを特徴としている。
【００３２】
本発明の第１のコンピュータプログラムは、
写真画像のピントがどれほど合っているかを判定するピント判定処理を行なうためのコンピュータプログラムであって、
（ａ）前記写真画像がポートレートの画像であるか否かを判定する機能と、
（ｂ）前記機能（ａ）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す機能と
をコンピュータに実現させることを特徴としている。
【００３３】
本発明の画像ピント判定方法および第１のコンピュータプログラムによっても、本発明の画像ピント判定装置と同様に、写真画像がポートレートである場合のピントの判定の精度を向上させることができるという効果を奏する。
【００３４】
本発明の画像分類方法は、
複数の写真画像を分類する画像分類方法であって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう行程と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する行程と
を備え、さらに、
前記行程（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する行程と、
（ａ−２）前記行程（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す行程と
を備えることを特徴としている。
【００３５】
本発明の第２のコンピュータプログラムは、
複数の写真画像を分類するためのコンピュータプログラムであって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう機能と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する機能と
をコンピュータに実現させるとともに、
前記機能（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する機能と、
（ａ−２）前記機能（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す機能と
をコンピュータに実現させることを特徴としている。
【００３６】
本発明の画像分類方法および第２のコンピュータプログラムによっても、本発明の画像分類装置と同様に、写真画像がポートレートである場合のピントの判定の精度を向上させて、写真画像の分類の精度を向上させることができるという効果を奏する。
【００３７】
本発明の画素修整方法は、
写真画像を修整する画像修整方法であって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう行程と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する行程と
を備え、さらに、
前記行程（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する行程と、
（ａ−２）前記行程（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す行程と
を備える画像修整方法。
【００３８】
本発明の第３のコンピュータプログラムは、
写真画像を修整するためのコンピュータプログラムであって、
（ａ）前記写真画像毎に、ピントがどれほど合っているかを判定するピント判定処理を行なう機能と、
（ｂ）前記ピント判定処理の判定結果に基づいて、前記複数の写真画像を分類する機能と
をコンピュータに実現させるとともに、
前記機能（ａ）は、
（ａ−１）前記写真画像がポートレートの画像であるか否かを判定する機能と、
（ａ−２）前記機能（ａ−１）でポートレートの画像であると判定されたとき、ポートレート専用に予め用意された前記ピント判定処理としての第１処理を、前記写真画像に施す機能と
をコンピュータに実現させることを特徴としている。
【００３９】
本発明の画像分類方法および第３のコンピュータプログラムによっても、本発明の画像分類装置と同様に、写真画像がポートレートである場合のピントの判定の精度を向上させて、写真画像の修整の出来ばえを向上させることができるという効果を奏する。
【００４０】
この発明の記録媒体は、この発明の第１ないし第３のいずれかのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。
【００４１】
本発明は、以下のような他の態様も含んでいる。その第１の態様は、この発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第１の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。
【発明を実施するための最良の形態】
【００４２】
本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
Ａ．装置の構成：
Ｂ．コンピュータ処理：
Ｃ．作用・効果
Ｄ．他の実施形態：
【００４３】
Ａ．装置の構成：
図１は、本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の画像ピント判定装置を構成するパーソナルコンピュータ１０を中心に備え、その周辺装置として、ディスプレイ２０とキーボード２２とマウス２４を備える。さらに、パーソナルコンピュータ１０には、デジタルカメラ２６とプリンタ２８が接続されている。
【００４４】
パーソナルコンピュータ１０は、中央演算処理装置としてのＣＰＵ１１を中心にバス１２により相互に接続されたメモリ１３、ハードディスクドライブ１４、入力制御部１５、表示制御部１６等を備える。メモリ１３は、各種データ等を記憶するもので、ＣＰＵ１１の作業領域となる。ハードディスクドライブ１４は、画像ピント判定装置のソフトウェアとしてのコンピュータプログラムＰｒを記憶する。また、ハードディスクドライブ１４には、デジタルカメラ２６によって撮影した写真画像（カラー写真画像）の画像データＤｐが、多数、格納される。画像データＤｐは、画像を構成する各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の階調値によって表現されている。
【００４５】
入力制御部１５は、キーボード２２やマウス２４から入力操作を取り込むと共に、デジタルカメラ２６から画像データを取り込む制御部である。表示制御部１６は、ディスプレイ２０への信号出力を制御する制御部である。
【００４６】
コンピュータプログラムＰｒは、もともとは、記録媒体としてのＣＤ−ＲＯＭ（図示せず）に記憶されており、所定のインストールプログラムを起動することで、そのＣＤ−ＲＯＭからハードディスクドライブ１４にインストールされたものである。このコンピュータプログラムＰｒをＣＰＵ１１が実行することにより、本発明の画像ピント判定装置の各種構成要件は実現される。
【００４７】
図１では、各種構成要件が、ＣＰＵ１１の内部で実現される機能のブロックによって示されている、すなわち、ＣＰＵ１１は、コンピュータプログラムＰｒを実行することにより、ハードディスクドライブ１４から読み出された一つの画像データＤｐで示される写真画像がポートレートの画像であるか否かを、ポートレート判定部３０により判定して、ポートレートの画像であると判定されたとき、第１処理部３２により、前記写真画像に対してポートレート用のピント判定処理を施し、一方、ポートレート判定部３０でポートレート以外の画像であると判定されたとき、第２処理部３４により、前記写真画像に対して非ポートレート用のピント判定処理を施す。ここで、ピント判定処理とは、写真画像のピントがどれほど合っているかを判定する処理である。
【００４８】
このコンピュータプログラムＰｒは、実際は、フォトレタッチ用のアプリケーションプログラムであり、その中の一部のモジュールによって、上述したポートレート判定部３０、第１処理部３２および第２処理部３４の各機能をパーソナルコンピュータ１０に実現させる。
【００４９】
なお、コンピュータプログラムＰｒは、ＣＤ−ＲＯＭに替えて、フレキシブルディスク、光磁気ディスク、ＩＣカード等の他の携帯型記録媒体（可搬型記録媒体）に格納された構成として、これらから提供されたものとすることができる。また、このコンピュータプログラムＰｒは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。
【００５０】
Ｂ．コンピュータ処理：
コンピュータプログラムＰｒは、前述したようにフォトレタッチ用のアプリケーションプログラムであることから、前述したポートレート判定部３０、第１処理部３２、第２処理部３４以外にも様々な機能を有する。コンピュータプログラムＰｒが備えるこれらの機能は、大まかには、３つに分けられる。第１の機能は、ハードディスクドライブ１４に格納された複数の画像データＤｐから、画像修整の対象となる画像データＴＤｐを入力する機能である。この第１の機能には、ポートレート判定部３０、第１処理部３２、第２処理部３４が含まれる。どのように含まれるかは後述する。第２の機能は、第１の機能で入力した画像データＴＤｐに対して画像処理を実行して画像修整を施す機能である。この第２の機能には、画像データＴＤｐの画質を自動的に修整する画像自動修整の機能も含まれる。第３の機能は、画像修整が施された画像データＴＤｐをハードディスクドライブ１４に保存したり、プリンタ２８から印刷出力する機能である。
【００５１】
この実施例では、上記第１の機能および第２の機能について説明し、第３の機能については、この発明とは関係しないことから説明を省略する。まず、第１の機能について説明する。図２は、この第１の機能を実現するための画像入力ルーチンを示すフローチャートである。このフローチャートは、処理の概要を示すゼネラルフローチャートである。
【００５２】
図示するように、処理が開始されると、パーソナルコンピュータ１０のＣＰＵ１１は、まず、複数の画像データＤｐのサムネールを、ディスプレイ２０に一覧表示する処理を実行する（ステップＳ１００）。詳細には、ディスプレイ２０に表示された表示エリアであるアプリケーションウィンドウに、その一覧表示を行なう。
【００５３】
図３は、このアプリケーションウィンドウＷＤを示す説明図である。アプリケーションウィンドウＷＤは、グラフィカル・ユーザ・インタフェース（ＧＵＩ）を構成しており、図示するように、アプリケーションウィンドウＷＤには、ツールバーＦＬ１と、ファイル指定のフィールドＦＬ２と、作業フィールドＦＬ３とが設けられている。ファイル指定のフィールドＦＬ２は、画像データＤｐの格納場所を、「フォルダ」や「フィルム」を用いて指定するためのフィールドである。この指定は、作業者によるマウス２４の入力操作に従うものである。また、ハードディスクドライブ１４は勿論のこと、ＣＤ−ＲＯＭ等の他の記録媒体上の格納場所を指定することができ、デジタルカメラ２６の記録媒体を直接指定することもできる。
【００５４】
作業フィールドＦＬ３は、ファイル選択のフィールドＦＬ２で指定されたファイルまたはフォルダに格納されている画像データをサムネールにて一覧表示するとともに、作業者によるマウス２４のクリック操作を受けて、その一覧表示された画像データの中から所望のものを選択するためのフィールドである。この作業フィールドＦＬ３内には、図中に示されている候補用エリアＡ１と、図には示されていない候補外エリアとが選択的に表示可能となっている。
【００５５】
候補用エリアＡ１とは、この画像入力ルーチンによって入力する画像データの候補となる画像データ（以下、候補画像データと呼ぶ）を一覧表示するための領域である。候補外エリアとは、候補用エリアＡ１に一旦表示され、その後、後述する作業により候補外に変更された画像データ（以下、候補外画像データと呼ぶ）を一覧表示するための領域である。作業者は、「入力候補」のタブＴＢ１をマウス２４によりクリック操作することで、図に示すように、作業フィールドＦＬ３に候補用エリアＡ１を表示させることができる。また、作業者は、「候補外」のタブＴＢ２をマウス２４によりクリック操作することで、作業フィールドＦＬ３の表示を候補用エリアＡ１から候補外エリアに切り替えることができる。
【００５６】
候補用エリアＡ１には、図示するように、候補画像データのサムネールが表示されるが、ステップＳ１００に処理が移行した最初は、ファイル選択のフィールドＦＬ２で指定されたファイルまたはフォルダに格納されている全ての画像データが候補画像データとして、この候補用エリアＡ１に表示される。
【００５７】
候補用エリアＡ１の上部には、「候補外へ」のボタンスイッチＢＴ１が設けられている。このボタンスイッチＢＴ１は、候補用エリアＡ１に表示された候補画像データを、候補外画像データに切り換える（変更する）旨を指示するためのものである。作業者は、候補用エリアＡ１に表示された複数の候補画像データの中から不要であると判断したもの（１または複数）を、マウス２４を用いてクリック操作することで選択指示して、その後、「候補外へ」のボタンスイッチＢＴ１をクリック操作することで、選択指示された１または複数の候補画像データを、候補外画像データに切り換えることができる。作業者は、こうした候補画像データを候補外画像データに切り替える作業を何度も繰り返し実行することにより、入力の候補となる候補画像を絞り込んでいくことができる。
【００５８】
「候補外へ」のボタンスイッチＢＴ１の右隣には、「ソート」のボタンスイッチＢＴ２が設けられている。「ソート」のボタンスイッチＢＴ２は、候補画像データを画質の良い順に並べ替える旨を指示するためのものである。ここで言う画質の良い順というのは、写真画像のピントに着目したもので、ピントの合焦率が高いものから低いものへという順である。
【００５９】
図２に戻り、ステップＳ１００の実行後、ＣＰＵ１１は、ソート処理を実行する（ステップＳ２００）。このソート処理は、「ソート」のボタンスイッチＢＴ２が、作業者によりクリック操作されたことを受けて、実行開始されるものである。このソート処理では、候補用エリアＡ１に表示された複数の候補画像データを画質の良い順（ピントの合焦率が高い順）に並べ替える処理を行なうが、その処理の詳細については後述する。
【００６０】
その後、ＣＰＵ１１は、作業者によるマウス２４の入力操作に従って、候補用エリアＡ１内のサムネールを選択して、続いて、「候補外へ」のボタンスイッチＢＴ１のクリック操作を受けて、この選択したサムネールについての画像データを候補外画像データに変更する処理を行なう（ステップＳ３００）。
【００６１】
ステップＳ３００の実行後、ＣＰＵ１１は、候補用エリアＡ１に表示された複数の候補画像データから最終的な一つの画像を選択する処理を行なう（ステップＳ４００）。この処理は、作業者によるマウス２４を用いたクリック操作を受けて指示された画像を選択するものである。
【００６２】
その後、ＣＰＵ１１は、ステップＳ４００で選択された一つの画像に対応する画像データをその格納場所からメモリ上に読み出すとともに、ディスプレイ２０に表示する処理を行なう（ステップＳ５００）。詳細には、アプリケーションウィンドウＷＤの作業フィールドＦＬ３を一旦クリアして、その作業フィールドＦＬ３に上記画像データの表示を行なう。その後、この画像入力ルーチンは終了する。こうした構成の画像入力ルーチンによって、ハードディスクドライブ１４等の記録媒体に格納された、画像修整の対象となる画像データＴＤｐを入力する作業が完了する。
【００６３】
図４は、ステップＳ２００で実行されるソート処理の詳細を示すフローチャートである。図示するように、このソート処理に移行すると、ＣＰＵ１１は、まず、「ソート」のボタンスイッチＢＴ２がマウス２４によりクリックされたか否かを判定する（ステップＳ２１０）。ここで、クリックされていないと判定された場合には、「リターン」に抜けて、このソート処理を一旦終了する。
【００６４】
ステップＳ２１０で、「ソート」のボタンスイッチＢＴ２がクリックされたと判定された場合には、ステップＳ２２０に処理を進めて、まず、ＣＰＵ１１は、候補用エリアＡ１に表示されている画像データＤｐを一つ取り込む処理を行なう。詳細には、候補用エリアＡ１に表示されているサムネールに対応する一つの画像データＤｐを、その画像データＤｐの格納元から読み出す処理を行なう。
【００６５】
次いで、ＣＰＵ１１は、ステップＳ２２０で取り込んだ画像データＤｐで示される写真画像のピントがどれほど合っているかを判定する画像ピント判定処理を実行する（ステップＳ２３０）。この画像ピント判定処理の詳細な内容については後述するが、この処理によって、上記写真画像のピントがどれほど合っているかを示すピント合焦率ＦＳが求められることになる。
【００６６】
その後、ＣＰＵ１１は、ステップＳ２３０で求められたピント合焦率ＦＳを、ステップＳ２２０で取り込んだ画像データＤｐのソートキーとして、メモリ１３内のソートキーテーブルに記憶する（ステップＳ２４０）。続いて、ＣＰＵ１１は、ステップＳ２２０で取り込んだ画像データＤｐが、候補用エリアＡ１に表示されている画像データＤｐの中で最終のものか否かを判定する（ステップＳ２５０）。ここで、最終のものでないと判定されると、ステップＳ２２０に処理を戻して、候補用エリアＡ１に表示されている複数の画像データの中から次の画像データを取り込んで、この画像データについてステップＳ２２０ないしＳ２５０の処理を繰り返し実行する。
【００６７】
一方、ステップＳ２５０で、最終の画像データであると判定された場合には、ステップＳ２６０に処理を進める。ステップＳ２６０では、ステップＳ２４０でソートキーテーブルに格納されたソートキーを用いて、候補用エリアＡ１に表示されている画像データの表示を、そのソートキーの順に並べ替える処理を実行する。ソートキーは、ピント合焦率ＦＳの値がそのまま用いられていることから、写真画像のピントがよく合っているほど大きな値となっている。したがって、上記の並べ替えの処理により、候補用エリアＡ１内の画像データは、ピントがよく合っている順に並べ替えられることになる。
【００６８】
ステップＳ２６０の実行後、ＣＰＵ１１は、「リターン」に処理を進めて、このソート処理を一旦終了する。
【００６９】
図５は、図４のステップＳ２３０で実行される画像ピント判定処理の詳細を示すフローチャートである。図示するように、この画像ピント判定処理のルーチンに処理が移行すると、ＣＰＵ１１は、まず、ポートレート判定処理を実行する（ステップＳ２３２）。このポートレート判定処理は、ステップＳ２２０で取り込んだ画像データＤｐで示される写真画像がポートレートの画像であるか否かを判定する処理で、前述したポートレート判定部３０の機能を実現するためのものである。
【００７０】
図６は、ポートレート判定処理の詳細を示すフローチャートである。図示するように、このポートレート判定処理のルーチンに処理が移行すると、ＣＰＵ１１は、まず、ステップＳ２２０で取り込んだ画像データＤｐのサイズを所定値以下のサイズに縮小する処理を行なう（ステップＳ６００）。この縮小処理は、画像データＤｐを構成する画素（ピクセル）を単純に間引きする単純間引き処理法、隣接する画素との間で色を平均化してから間引きを行なう色平均化処理法等の周知の種々の処理法で実現することができる。画像データＤｐのサイズが大きすぎる場合、以後の判定処理に要する処理時間が長くなるだけで、縮小しても判定結果に大きな差が生じないことから、縮小するようにした。上記所定値としては、例えば、縦、横それぞれ１０００ピクセルのサイズである。なお、画像サイズが、所定値のサイズに満たない場合には、縮小処理は行なわない。
【００７１】
ステップＳ６００で縮小された画像データＤｐもしくは所定値サイズ以下で縮小のなされていないそのままの画像データＤｐを、以後、対象画像データＤｘと呼ぶ。なお、この実施例では、前述したように処理時間の短縮化のために、画像データＤｐに縮小処理を施したが、縮小処理を施さない構成として、画像データＤｐをそのまま対象画像データＤｘとすることもできる。
【００７２】
ステップＳ６００の実行後、ＣＰＵ１１は、３つの変数ＴＳ、ＴＨ、Ｎを値０にクリアする処理を行なう（ステップＳ６１０）。変数ＴＳは、対象画像データＤｘの総ピクセル（画素）数をカウントするための変数であり、変数ＴＨは、対象画像データＤｘの肌色ピクセル数をカウントするための変数である。変数Ｎは、対象画像データＤｘの縦方向の位置を示すための変数である。
【００７３】
その後、ＣＰＵ１１は、対象画像データＤｘの横方向の位置を示すための変数Ｍを値０にクリアする。続いて、ＣＰＵ１１は、対象画像データＤｘの変数Ｍ、Ｎで位置が定まる画素（以下、対象画素と呼ぶ）Ｐ（Ｍ，Ｎ）についてのＲ、Ｇ、Ｂの各階調値（ＲＧＢ値）を取得して（ステップＳ６３０）、そのＲＢＧ値をＹＣｂＣｒ値に変換する（ステップＳ６４０）。ＲＢＧ値からＹＣｂＣｒ値への変換は、テレビジョンなどの場合に利用されている次式（１）〜（３）の変換式を用いて行なう。
【００７４】
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ    ...（１）
Ｃｒ＝Ｒ−Ｙ    ...（２）
Ｃｂ＝Ｂ−Ｙ    ...（３）
【００７５】
その後、ＣＰＵ１１は、ステップＳ６４０で求められた色差Ｃｂ、Ｃｒを用いて、対象画素Ｐ（Ｍ，Ｎ）が人物の肌色であるか否かを判定する（ステップＳ６５０）。この判定は、色差Ｃｂ、Ｃｒが、以下の関係式（４）を満たすか否かから行なう。
【００７６】
−２．４０６２５（Ｃｒ−８）≦Ｃｂ≦−０．７７４１９（Ｃｒ−８）    ...（４）
【００７７】
関係式（４）は、日本人女性のポートレートを多数集め、肌部分の統計をとった結果、得られた関係式である。対象画素Ｐ（Ｍ，Ｎ）が関係式（４）を満たすと判定されたとき、対象画素Ｐ（Ｍ，Ｎ）は肌色であると判定される。なお、関係式（４）は、上記の数値に限る必要もなく、人種とか対象とする肌色により多少の変化はある。
【００７８】
ステップＳ６５０で、対象画素Ｐ（Ｍ，Ｎ）が肌色であると判定されると、ＣＰＵ１１は、肌色ピクセル数を示す変数ＴＨを値１だけインクリメントする（ステップＳ６６０）。その後、ＣＰＵ１１は、総ピクセル数を示す変数ＴＳを値１だけインクリメントする（ステップＳ６７０）。なお、ステップＳ６５０で、対象画素Ｐ（Ｍ，Ｎ）が肌色でないと判定されると、ステップＳ６６０を飛ばして、ステップＳ６７０で、総ピクセル数を示す変数ＴＳだけインクリメントする。
【００７９】
変数ＴＨ、ＴＳをインクリメントしていくことで肌色ピクセル数と総ピクセル数を集計する集計処理を、対象画像データＤｘの全体に対して行なうには、図７に示すように、処理を施す対象画素Ｐ（Ｍ，Ｎ）を左端から右端へ横方向に走査して、次いで縦方向に１段下げて、左端から右端へ横方向に走査して、続いて、縦方向に１段下げるということを繰り返すことで、対象画像データＤｘを構成する全てのピクセルを対象画素Ｐ（Ｍ，Ｎ）として、ステップＳ６３０ないしＳ６７０の処理を施す必要がある。そこで、ＣＰＵ１１は、対象画像データＤｘの横方向の位置を示すための変数Ｍを値１だけインクリメントして（ステップＳ６８０）、その変数Ｍが、対象画像データＤｘの右端位置を示す定数Ｍｍａｘを越えたか否かを判定する（ステップＳ６９０）。ここで、越えていないと判定された場合には、ステップＳ６３０に処理を戻して、右横方向に１つだけずらした対象画素Ｐ（Ｍ，Ｎ）に対する処理を実行する。
【００８０】
一方、ステップＳ６９０で、変数Ｍが定数Ｍｍａｘを越えたと判定されたときには、対象画像データＤｘの縦方向の位置を示すための変数Ｎを値１だけインクリメントして（ステップＳ６９２）、その変数Ｎが、対象画像データＤｘの下端位置を示す定数Ｎｍａｘを越えたか否かを判定する（ステップＳ６９４）。ここで、越えていないと判定された場合には、ステップＳ６２０に処理を戻して、縦下方向に１つだけずらした（横方向は左端に移行した）対象画素Ｐ（Ｍ，Ｎ）に対する処理を実行する。
【００８１】
ステップＳ６９４で、変数Ｎが定数Ｎｍａｘを越えたと判定されたときには、対象画像データＤｘを構成する全てのピクセルに対して前記集計処理が終了したとして、ＣＰＵ１１は、ステップＳ６９６に処理を進める。ステップＳ６９６では、ステップＳ６６０で算出された肌色ピクセル数を示す変数ＴＨを、総ピクセル数を示す変数ＴＳで除算することにより、総ピクセル数に対する肌色ピクセル数の割合を求めて、その割合（＝ＴＨ／ＴＳ）が値０．１以上であるか否かを判定する（ステップＳ６９６）。
【００８２】
ステップＳ６９６で肯定判定されたとき、すなわち、画像内の肌色の領域の面積比が１割以上であると判定された場合には、画像データＤｐで示される画像はポートレートであるとして、ポートレート判定フラグＦに値１をセットする（ステップＳ６９８）。一方、ステップＳ６９６で否定判定されたとき、すなわち、画像内の肌色の領域の面積比が１割未満であると判定された場合には、画像データＤｐで示される画像はポートレート以外の風景写真等の画像であるとして、ポートレート判定フラグＦに値０をセットする（ステップＳ６９９）。ステップＳ６９８またはＳ６９９の実行後、「リターン」に抜けてこのポートレート判定処理を一旦終了する。
【００８３】
以上のようにして、画像データＤｐがポートレートであるか否かが判定されるが、この判定の手法のように、必ずしも、肌色領域の面積比からポートレートを判定する必要もなく、例えば、肌色領域のエッジの形状から判定する等、他の方法によってポートレートであるか否かを判定する構成としてもよい。また、上記肌色領域の面積比の判定値は、前述した１割に限る必要もなく、これに換えて、０．９割、１．２割等、種々の値とすることができる。
【００８４】
図５に戻って、ステップＳ２３２のポートレート判定処理を抜けると、次いで、ＣＰＵ１１は、ポートレート判定処理の判定結果を示すポートレート判定フラグＦが値１であるか否かを判定する（ステップＳ２３４）。すなわち、画像データＤｐで示される画像がポートレートの画像であるか否かを判定する。ここで、ポートレート判定フラグＦが値１でない、すなわち、ポートレート以外の画像であると判定されると、非ポートレート用ピント合焦率算出処理を実行し（ステップＳ２３６）、一方、ポートレート判定フラグＦが値１である、すなわち、ポートレートの画像であると判定されると、ポートレート用ピント合焦率算出処理を実行する（ステップＳ２３８）。ステップＳ２３６またはＳ２３８の実行後、「リターン」に抜けてこの画像ピント判定処理を一旦終了する。
【００８５】
ピント合焦率算出処理は、写真画像のピントがどの程度合っているかを示すパラメータであるピント合焦率ＦＳを算出する処理である。ピントがどの程度合っているかを判定するには、次の２通りが考えられる。第１の判定方法は、「エッジ部分の面積比」によってピントがどの程度合っているかを判定する方法である。写真画像内のエッジ部分を検出して、写真画像の総面積に対するエッジ部分の面積の割合（面積比）を演算して、その面積比が所定値以上である場合には、その写真画像はピントが合っているとした。面積比が大きいほど、ピントがよく合っているとして、ピントがどの程度合っているかを判定する。
【００８６】
第２の判定方法は、「エッジ部分のエッジの強さ」によってピントがどの程度合っているかを判定する方法である。写真画像内のエッジ部分を検出して、そのエッジ部分の中でエッジの強さがどのような分布にあるかを検出して、その分布からピントが合っているかを判定する。エッジの強さが、より強い方に多く分布しているほど、ピントがよく合っているとして、ピントがどの程度合っているかを判定する。
【００８７】
図８および図９は、ステップＳ２３６で実行される非ポートレート用ピント合焦率算出処理の詳細を示すフローチャートである。この非ポートレート用ピント合焦率算出処理は、前述した第１の判定方法によりピント合焦率ＦＳを算出するもので、前述した第２処理部３４の機能を実現するためのものである。
【００８８】
図示するように、この非ポートレート用ピント合焦率算出処理は、図６に示すポートレート判定処理と似通った部分が多い。図８、図９におけるステップＳ７００、Ｓ７２０、Ｓ７３０、Ｓ７７０〜Ｓ７９４は、図６におけるステップＳ６００、Ｓ６２０、Ｓ６３０、Ｓ６７０〜Ｓ６９４とそれぞれ同一である。
【００８９】
図８に示すように、ＣＰＵ１１は、ステップＳ７１０では、３つの変数ＴＳ、ＴＥ、Ｎを値０にクリアする処理を行なう。変数ＴＳ、Ｎは、ポートレート判定処理で用いたものと同一である。変数ＴＥは、対象画像データＤｘで示される画像内のエッジ部分のピクセル数をカウントするための変数である。
【００９０】
ステップＳ７４０では、ステップＳ７３０で取得したＲＧＢ値から対象画素Ｐ（Ｍ，Ｎ）の輝度Ｙを算出する処理を行なう。この算出処理は、前述した式（１）に従うものである。
【００９１】
ステップＳ７４０の実行後、その対象画素Ｐ（Ｍ，Ｎ）の周辺の４つの画素について、それぞれ、ステップＳ７３０とステップＳ７４０と同様に、ＲＧＢ値を取得して、そのＲＧＢ値から輝度Ｙ１〜Ｙ４を算出する（ステップＳ７４２）。ここで、周辺の４つの画素とは、上下左右の４方向に隣接する４近傍の画素である。
【００９２】
続いて、ＣＰＵ１１は、ステップＳ７４０で求めた対象画素Ｐ（Ｍ，Ｎ）の輝度Ｙに対する４近傍の各画素の輝度Ｙ１〜Ｙ４の偏差の絶対値ｄＹ１〜ｄＹ４を、次式（５）〜（８）を用いて算出する処理を行なう（ステップＳ７４４）。
【００９３】
ｄＹ１＝｜Ｙ１−Ｙ｜    ...（５）
ｄＹ２＝｜Ｙ２−Ｙ｜    ...（６）
ｄＹ３＝｜Ｙ３−Ｙ｜    ...（７）
ｄＹ４＝｜Ｙ４−Ｙ｜    ...（８）
【００９４】
その後、ＣＰＵ１１は、ステップＳ７４４で算出された絶対値（以下、輝度差と呼ぶ）ｄＹ１〜ｄＹ４の最大値ｄＹｍａｘを演算する（ステップＳ７４６）。ステップＳ７４２ないしＳ７４６の処理の結果、対象画素Ｐ（Ｍ，Ｎ）の周辺４近傍の画素の中で、対象画素Ｐ（Ｍ，Ｎ）に対して最も輝度差が大きい部分の輝度差が得られることになる。なお、周辺４近傍の画素に換えて、対象画素Ｐ（Ｍ，Ｎ）の周辺８近傍の画素の中で、対象画素Ｐ（Ｍ，Ｎ）に対して最も輝度差が大きい部分の輝度差を求める構成としてもよい。
【００９５】
ステップＳ７４６の実行後、ステップＳ７４６で求めた最大値ｄＹｍａｘが所定値Ｅ０以上であるか否かを判定する（ステップＳ７５０）。所定値Ｅ０は、エッジ部分と判断するための輝度差であり、予め定められた値である。ここで、最大値ｄＹが所定値Ｅ０以上であると判断された場合には、対象画素Ｐ（Ｍ，Ｎ）はエッジ部分であるとして、ＣＰＵ１１は、ステップＳ７６０に処理を進めて、エッジ部分のピクセル数を示す変数ＴＥを値１だけインクリメントする。一方、ステップＳ７５０で、対象画素Ｐ（Ｍ，Ｎ）がエッジ部分でないと判定された場合には、ステップＳ７６０の処理は実行しない。
【００９６】
図９のステップＳ７９４で肯定判別されると、対象画像データＤｘを構成する全ての画素に対して、エッジ部分のピクセル数を示す変数ＴＥと総ピクセル数を示す変数ＴＳをカウントする集計が終了したとして、ＣＰＵ１１は、ステップＳ７９６に処理を進める。ステップＳ７９６では、ステップＳ７６０で算出されたエッジ部分のピクセル数を示す変数ＴＥを、ステップＳ７７０で算出された総ピクセル数を示す変数ＴＳで除算することにより、総ピクセル数に対するエッジ部分のピクセル数の割合を求めて、その割合（＝ＴＥ／ＴＳ）に係数Ｒ１を乗算することにより、ピント合焦率ＦＳを求める。係数Ｒ１は、ピクセル数の割合をピント合焦率ＦＳに変換するための数値調整用の係数であり、予め定められた値である。ステップＳ７９６の実行後、「リターン」に抜けてこの非ポートレート用ピント合焦率算出処理を一旦終了する。
【００９７】
こうした構成の非ポートレート用ピント合焦率算出処理は、前述した第１の判定方法に該当し、「エッジ部分の面積比」によってピントがどの程度合っているかを判定している。
【００９８】
ポートレートでない写真画像は、「エッジ部分の面積比」からピントがどの程度合っているかを判定するのが好ましい。ポートレートでない写真画像、例えば風景写真は、一般的にパンフォーカスで撮影され、また、森林など細かい描写になる被写体を写すことが多いことから、ピントが合っている領域、エッジが立っている領域ともに広い面積となることが多い。このために、ポートレートでない写真画像においては、エッジ部分の面積比をみることで、ピントが合っているかを正確に判定することができる。
【００９９】
一方、ポートレートの写真画像においては、一般的に人物（特に顔）を大きく、背景をぼかして撮影される。顔は細かい描写の部分が少なく、また近接撮影がなされる。このため、ピントが合っている領域、エッジが立っている領域ともに非常に狭い面積となることが多い。したがって、ポートレートの写真画像においては、エッジ部分の面積比をみる構成とすると、ピントが合っている画像であっても「ピントが合っていない」と誤って判定することになる。この実施例では、「エッジ部分の面積比」によってピント判定を行なうステップＳ２３６の処理を、非ポートレートの写真画像に限定することで、上記のようなポートレートにおける誤判定を回避している。
【０１００】
図１０および図１１は、ステップＳ２３８で実行されるポートレート用ピント合焦率算出処理の詳細を示すフローチャートである。このポートレート用ピント合焦率算出処理は、前述した第２の判定方法を改良した方法によりピント合焦率ＦＳを算出するものであり、前述した第１処理部３２の機能を実現するためのものである。
【０１０１】
図示するように、このポートレート用ピント合焦率算出処理は、図８、図９に示す非ポートレート用ピント合焦率算出処理と似通った部分が多い。図１０、図１１におけるステップＳ８００、Ｓ８２０〜Ｓ８５０、Ｓ８６０、Ｓ８８０〜Ｓ８９４は、図８、図９におけるステップＳ７００、Ｓ７２０〜Ｓ７５０、Ｓ７６０、Ｓ７８０〜Ｓ７９４とそれぞれ同一である。
【０１０２】
図１０に示すように、ＣＰＵ１１は、ステップＳ８１０では、３つの変数ＴＥ、ＩＥ、Ｎを値０にクリアする処理を行なう。変数ＴＥ、Ｎは、非ポートレート用ピント合焦率算出処理で用いたものと同一である。変数ＩＥは、エッジ部分のエッジの強さの合計をカウントするための変数である。
【０１０３】
ステップＳ８５０で最大値ｄＹが所定値Ｅ０以上であると判断された場合には、対象画素Ｐ（Ｍ，Ｎ）はエッジ部分であるとして、ＣＰＵ１１は、ステップＳ８５２に処理を進める。ステップＳ８５２では、ＣＰＵ１１は、対象画素Ｐ（Ｍ，Ｎ）が人物の肌色であるか否かを判定する。この判定処理は、ポートレート判定処理のステップＳ６５０と同一の処理である。
【０１０４】
なお、この実施例では、ステップＳ７５０とステップＳ８５０を同一の処理としていたが、これに換えて、最大値ｄＹｍａｘと比較を行なう所定値Ｅ０を、ステップＳ７５０での値よりもステップＳ８５０での値を小さくする構成とすることができる。すなわち、ステップＳ７５０では、最大値ｄＹｍａｘが所定値Ｅ０１以上であるか否かを判定する処理を行ない、ステップＳ８５０では、最大値ｄＹｍａｘが、上記所定値Ｅ０１より小さい値である所定値Ｅ０２以上であるか否かを判定する処理を行なう構成とする。
【０１０５】
ポートレートの場合、被写界深度が浅い写真が多いが、被写界深度が浅いということは、肌色部分全体にピントが合っているとは限らないし、ピントが合っていると見えている部分も、被写界深度の深い非ポートレートの写真画像に比べると、エッジの立ち方が甘い可能性がある。したがって、この変形例によれば、ポートレートの写真画像のエッジ部分を確実に選択することができる。
【０１０６】
ステップＳ８５０およびＳ８５２で、対象画素Ｐ（Ｍ，Ｎ）はエッジ部分でかつ肌色であると判断された場合には、ＣＰＵ１１は、ステップＳ８６０で、エッジ部分のピクセル数を示す変数ＴＥを値１だけインクリメントするとともに、エッジの強さの合計を演算する（ステップＳ８７０）。エッジの強さの合計を示す変数ＩＥは、ステップＳ８４６で求められた輝度差の最大値ｄＹｍａｘを積算することにより求められる。
【０１０７】
なお、ステップＳ８５０で、対象画素Ｐ（Ｍ，Ｎ）がエッジ部分でないと判定された場合、または、ステップＳ８５２で、対象画素Ｐ（Ｍ，Ｎ）が肌色でないと判定された場合には、ステップＳ８６０およびＳ８７０の処理は実行しない。
【０１０８】
図１１のステップＳ８９４で肯定判別されると、対象画像データＤｘを構成する全ての画素に対して、エッジ部分のピクセル数を示す変数ＴＥとエッジの強さの合計を示す変数ＩＥを求める集計が終了したとして、ＣＰＵ１１は、ステップＳ８９６に処理を進める。ステップＳ８９６では、ステップＳ８７０で算出されたエッジ部分のエッジの強さの合計を示す変数ＩＥを、ステップＳ８６０で算出されたエッジ部分のピクセル数を示す変数ＴＥで除算することにより、肌色でエッジ部分の画素におけるエッジの強さの平均値を求めて、その割合（＝ＩＥ／ＴＥ）に係数Ｒ２を乗算することにより、ピント合焦率ＦＳを求める。係数Ｒ２は、画素のエッジの強さの平均値をピント合焦率ＦＳに変換するための数値調整用の係数であり、予め定められた値である。この係数Ｒ２と、前述した非ポートレート用ピント合焦率算出処理で用いた係数Ｒ１とを適切な値とすることで、ポートレートと非ポートレートとが対等にピント合焦の比較ができるようになされている。
【０１０９】
ステップＳ８９６の実行後、「リターン」に抜けてこのポートレート用ピント合焦率算出処理を一旦終了する。なお、このポートレート用ピント合焦率算出処理では、エッジ部分のピクセル数を示す変数ＴＥとエッジの強さの合計を示す変数ＩＥとから、エッジの強さの平均値を求めて、この平均値からピント合焦率ＦＳを求めていたが、他の手法にて「エッジ部分のエッジの強さ」を求めて、その値からピント合焦率ＦＳを求めるように構成してもよい。他の手法としては、エッジ部分の中でエッジの強さの分布を表わすヒストグラムを作成して、そのヒストグラムから「エッジ部分のエッジの強さ」を求める構成等がある。
【０１１０】
こうした構成のポートレート用ピント合焦率算出処理は、前述した第２の判定方法を改良した方法に従うものである。第２の判定方法では、「エッジ部分のエッジの強さ」によってピントがどの程度合っているかを判定していたが、これに換えて、このポートレート用ピント合焦率算出処理では、「肌色でかつエッジの部分についてのエッジの強さ」によってピントがどの程度合っているかを判定している。
【０１１１】
「エッジ部分のエッジの強さ」によって判定する第２の方法では、面積比は考慮することなく、ピントを合わせた部分のそのピントの合っている強さで判定を行なうが、「そこが本当にピントを合わせたかった場所なのか」が判断されていない。これに対して、このポートレート用ピント合焦率算出処理では、「肌色でかつエッジの部分についてのエッジの強さ」によってピント判定していることから、人物の顔の部分に対して、ピントがどの程度合っているかを判定することができる。しかも、「肌色でかつエッジの部分についてのエッジの強さ」によってピントの判定を行なうステップＳ２３８の処理を、ポートレートの写真画像に限定することで、ポートレートにおいてピントを合わせたい場所、すなわち人物の顔の部分でのピントが合っているかの判定を行なうことができるようにしている。したがって、ポートレートであっても、主要被写体である「人物」にピントが合わず、ぼかすべき背景の方にピントが合っているような写真画像でも、「ピントが合っていない」と正確に判定することができる。
【０１１２】
前述したように、非ポートレート用ピント合焦率算出処理もしくはポートレート用ピント合焦率算出処理にて算出されたピント合焦率ＦＳは、画像データＤｐのソートキーとして記憶され、このソートキーでもって分類がなされる。
【０１１３】
次に、フォトレタッチ用のアプリケーションプログラムの第２の機能について説明する。第２の機能は、前述したように、第１の機能で入力した画像データＴＤｐに対して、画像処理を実行して画像修整を施す機能であるが、この実施例では、ソート処理で求められたピント合焦率ＦＳを修整パラメータとして、この修整パラメータの程度に基づいた画像処理を行なう。すなわち、ピント合焦率ＦＳが小さいほど、「シャープネス」の度合いを高める等のピントぼけを補正する画像処理を強い強度でもって作用させる。
【０１１４】
Ｃ．作用・効果
以上のように構成された本実施例によれば、写真画像がポートレートの画像である場合に、ポートレート専用のピント判定処理を写真画像に対して施すことができる。このために、写真画像がポートレートである場合のピント判定の精度を向上させることができる。また、本実施例では、ポートレートの写真画像とポートレート以外の写真画像とに異なるピント判定処理を施すことで、それぞれの写真画像に適したピント判定を行なうことができる。したがって、写真画像のピントの判定の精度をより向上することができる。
【０１１５】
特に、本実施例では、写真画像がポートレートの画像である場合に、「肌色でかつエッジの部分についてのエッジの強さ」によってピント判定していることから、前述したように、人物にピントが合わず背景の方にピントが合っているような写真画像でも、「ピントが合っていない」と正確に判定することができる。
【０１１６】
本実施例では、写真画像のピントがどれほど合っているかを正確に示すピント合焦率ＦＳをソートキーにして分類を行なっていることから、写真画像をピントがよく合っている順に正確に並べ替えることができる。
【０１１７】
また、本実施例では、ピント合焦率ＦＳを画像修整の修整パラメータとしていることから、ピントぼけを正しく修整することができ、修整の出来ばえを向上させることができる。
【０１１８】
Ｄ．他の実施形態：
本発明は上記の実施例や実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。
【０１１９】
（１）前記実施例では、ピント判定の対象となる複数の画像データは、候補用エリアＡ１に表示されたものであるが、必ずしもこの構成である必要もなく、他の表示エリアに表示されたものでもよい。また、表示エリア内に表示された写真画像である必要もなく、記録媒体の所定の領域に記憶された写真画像の画像データであればピント判定の対象とすることもできる。
【０１２０】
（２）前記実施例では、ピント判定の対象となる複数の画像データは、アプリケーションウィンドウＷＤのファイル指定のフィールドＦＬ２で指定された「フォルダ」や「フィルム」内の画像データである。このために、デジタルカメラ２６で撮影した写真画像の画像データに限られず、他の格納場所で格納された写真画像の画像データもソート対象とすることもできる。また、必ずしもカラー写真画像に限る必要もなく、白黒の多階調の写真画像であってもよい。
【０１２１】
（３）前記実施例では、画像修整のパラメータは、前記ピント合焦率ＦＳ単独で構成していたが、これに換えて、ピント合焦率ＦＳに加えて他の画質の特徴を示すパラメータを含ませる構成としてもよい。上記他のパラメータとしては、「コントラスト」、「明るさ」、「カラーバランス」、「彩度」、「シャープネス」の各パラメータがある。
【０１２２】
（４）前記実施例では、ポートレート用ピント合焦率演算処理では、「肌色でかつエッジの部分についてのエッジの強さ」によってピントがどの程度合っているかを判定し、非ポートレート用ピント合焦率演算処理では、「エッジ部分の面積比」によってピントがどの程度合っているかを判定していたが、これに換えて、両処理ともに、同一の処理、すなわち「エッジ部分の面積比」によってピントがどの程度合っているかを判定するものとして、そのエッジ部分の判定を行なう際の輝度についての閾値を、ポートレート用ピント合焦率演算処理側の方が非ポートレート用ピント合焦率演算処理側より小さい値とする構成としてもよい。すなわち、図１０に示したポートレート用ピント合焦率演算処理を、図８に示した非ポートレート用ピント合焦率演算処理とほぼ同じ構成として、相違する点はステップＳ７５０の判定における所定値Ｅ０を、ポートレート用ピント合焦率演算処理側の方が非ポートレート用ピント合焦率演算処理側より小さい値とする。この構成によれば、エッジを判定する閾値を変えるだけで、ポートレートと非ポートレートとの固有の判定を行なうことができ、写真画像のピント判定の精度を高めることができる。
【図面の簡単な説明】
【０１２３】
【図１】本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。
【図２】画像入力ルーチンを示すフローチャートである。
【図３】アプリケーションウィンドウＷＤを示す説明図である。
【図４】ソート処理の詳細を示すフローチャートである。
【図５】画像ピント判定処理の詳細を示すフローチャートである。
【図６】ポートレート判定処理の詳細を示すフローチャートである。
【図７】対象画素を移動させていく様子を示す説明図である。
【図８】非ポートレート用ピント合焦率算出処理の前半部分の詳細を示すフローチャートである。
【図９】非ポートレート用ピント合焦率算出処理の後半部分の詳細を示すフローチャートである。
【図１０】ポートレート用ピント合焦率算出処理の前半部分の詳細を示すフローチャートである。
【図１１】ポートレート用ピント合焦率算出処理の後半部分の詳細を示すフローチャートである。
【符号の説明】
【０１２４】
１０...パーソナルコンピュータ
１２...バス
１３...メモリ
１４...ハードディスクドライブ
１５...入力制御部
１６...表示制御部
１８...マウス
２０...ディスプレイ
２２...キーボード
２４...マウス
２６...デジタルカメラ
２８...プリンタ
３０...ポートレート判定部
３２...第１処理部
３４...第２処理部
Ａ１...候補用エリア
ＢＴ１...「候補外へ」のボタンスイッチ
ＢＴ２...「ソート」のボタンスイッチ
ＤＢ...ダイアログボックス
ＷＤ...アプリケーションウィンドウ
Ｆ...ポートレート判定フラグ
Ｄｐ...画像データ
【図１】
2005159626.tif 000003
【図２】
2005159626.tif 000004
【図３】
2005159626.tif 000005
【図４】
2005159626.tif 000006
【図５】
2005159626.tif 000007
【図６】
2005159626.tif 000008
【図７】
2005159626.tif 000009
【図８】
2005159626.tif 000010
【図９】
2005159626.tif 000011
【図１０】
2005159626.tif 000012
【図１１】
2005159626.tif 000013