(57)【要約】【課題】類似シーンが撮影された一連のフレーム画像の色や濃度を良好な階調で揃え、特に人の顔等の肌領域が良好な色や濃度の写真プリントが得られるフレーム画像の揃い処理装置を提供する。【解決手段】色相彩度平面を複数グループに分割して各グループに属する画素の特性値と基準補正値の差分値を各グループに割り付ける差分値割付処理部１２ｂと、割り付けられた差分値の平均をグループ毎に算出する平均差分値算出処理部１２ｃを備え、フレーム画像の構成画素が属するグループ毎に設定された重み係数に当該構成画素の特性値と平均差分値の差分を乗じて得られる値に基づいて揃い補正値を算出する揃い補正値算出処理部１２ａにより、複数フレーム画像に対する揃い補正値を算出するように構成し、グループ毎に設定する重み係数を、肌色領域を含むグループが同程度の彩度の他のグループより大きくなるように設定する。【選択図】図１
2009016940.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像の夫々に対して基準補正値を算出する基準補正値算出処理部と、色相彩度が近い画素をグループ化して、各グループに属する画素の特性値と前記基準補正値とグループ毎に設定された重み係数に基づいて揃い補正値を算出する揃い補正値算出処理部と、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する適正補正値算出処理部を備えて構成されるフレーム画像の揃い補正処理装置であって、
前記グループ毎に設定する重み係数を、肌色領域を含むグループが同程度の彩度の他のグループより大きくなるように設定するフレーム画像の揃い補正処理装置。
【請求項２】
前記揃い補正値算出処理部は、色相彩度平面を複数グループに分割して各グループに属する画素の特性値と前記基準補正値の差分値を各グループに割り付ける処理を全フレーム画像の構成画素に対して行なう差分値割付処理部と、各グループに割り付けられた差分値の平均をグループ毎に算出する平均差分値算出処理部を備え、フレーム画像の構成画素が属するグループ毎に設定された重み係数に当該構成画素の特性値と前記平均差分値の差分を乗じて得られる値に基づいて揃い補正値を算出し、前記適正補正値算出処理部は、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する請求項１記載のフレーム画像の揃い補正処理装置。
【請求項３】
各フレーム画像に人の顔領域が含まれるか否かを判断する顔領域抽出処理部と、前記顔領域抽出処理部で抽出された顔領域の画素が属するグループの重み係数を大きくなるように補正する重み係数補正処理部を備え、前記揃い補正値算出処理部は前記重み係数補正処理部により補正された重み係数に基づいて前記揃い補正値を算出する請求項１または２記載のフレーム画像の揃い補正処理装置。
【請求項４】
前記重み係数補正処理部は、前記顔領域抽出処理部で抽出された顔領域の構成画素が属するグループの重み係数を、顔領域の面積が大きい程大きくなるように補正する請求項３記載のフレーム画像の揃い補正処理装置。
【請求項５】
前記基準補正値が前記基準補正値算出処理部でフレーム画像毎に算出された基準濃度値であり、前記特性値が各フレーム画像を構成する画素の色成分の相加平均濃度値であり、前記グループ毎に設定する重み係数が予め低彩度側より高彩度側が大きくなるように設定されている請求項１から４の何れかに記載のフレーム画像の揃い補正処理装置。
【請求項６】
複数のフレーム画像の夫々に対して基準補正値を算出する基準補正値算出ステップと、色相彩度が近い画素をグループ化して、各グループに属する画素の特性値と前記基準補正値とグループ毎に設定された重み係数に基づいて揃い補正値を算出する揃い補正値算出ステップと、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する適正補正値算出ステップを備えて構成されるフレーム画像の揃い補正処理方法であって、
前記グループ毎に設定する重み係数を、肌色領域を含むグループが同程度の彩度の他のグループより大きくなるように設定するフレーム画像の揃い補正処理方法。
【請求項７】
前記揃い補正値算出ステップは、色相彩度平面を複数グループに分割して各グループに属する画素の特性値と前記基準補正値の差分値を各グループに割り付ける処理を全フレーム画像の構成画素に対して行なう差分値割付ステップと、各グループに割り付けられた差分値の平均をグループ毎に算出する平均差分値算出ステップを備え、フレーム画像の構成画素が属するグループ毎に設定された重み係数に当該構成画素の特性値と前記平均差分値の差分を乗じて得られる値に基づいて揃い補正値を算出し、前記適正補正値算出ステップは、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する請求項６記載のフレーム画像の揃い補正処理方法。
【請求項８】
各フレーム画像に人の顔領域が含まれるか否かを判断する顔領域抽出ステップと、前記顔領域抽出ステップで抽出された顔領域の画素が属するグループの重み係数を大きくなるように補正する重み係数補正ステップを備え、前記揃い補正値算出ステップは前記重み係数補正ステップにより補正された重み係数に基づいて前記揃い補正値を算出する請求項６または７記載のフレーム画像の揃い補正処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレーム画像の夫々に対して基準補正値を算出する基準補正値算出処理部と、色相彩度が近い画素をグループ化して、各グループに属する画素の特性値と前記基準補正値とグループ毎に設定された重み係数に基づいて揃い補正値を算出する揃い補正値算出処理部と、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する適正補正値算出処理部を備えて構成されるフレーム画像の揃い補正処理装置及びその方法に関する。
【背景技術】
【０００２】
フィルムに撮影されたフレーム画像をプリント出力する写真処理装置には、フレーム画像のカラーや濃度を予め定められた補正アルゴリズムで自動補正する補正処理部が設けられている。
【０００３】
例えば、カラー補正アルゴリズムでは、エバンスの定理に基づくＬＡＴＤ（Large  Area  Transmittance  Density）方式が採用されている。この方式は、平均的な戸外の被写体の色を混ぜ合わせると灰色になるというエバンスの説に基づいて、ネガ全体の色を混ぜ合わせると灰色に近くなるように各構成画素のカラー成分を補正するものである。
【０００４】
また、濃度補正アルゴリズムでは、フレーム画像の全体平均濃度や、フレーム画像の上方、下方、中央、周辺等の分割領域の平均濃度等の濃度特性値に基づいて重回帰分析し、或はニューラルネットワーク処理して基準濃度値を算出し、前記基準濃度値が目標濃度値となるように生成した基準補正ガンマカーブに基づいてフレーム画像が濃度補正されていた。
【０００５】
このようにカラーや濃度が調整された画像データに基づいて出力された個々の写真プリントは適切な画像品質が確保されるが、同一の被写体が撮影された同一または類似シーン等、複数のフレーム画像に対する写真プリントのカラーや濃度の差異が目立つと、仕上がりの一連性が損なわれて違和感が生じるという問題がある。
【０００６】
そこで、特許文献１には、同一または類似シーンのフレーム画像間での仕上がりの一連性を確保するためのフレーム画像の揃い補正方法が提案されている。
【０００７】
特許文献１には、複数の画像における各画素の画素データを取り出すステップと、画素データに基づいて各画像における色濃度の補正量を任意の色濃度補正アルゴリズムによって算出するステップと、色相彩度平面を複数の領域に分割するステップと、画素データに基づいて各画素を分割領域に配分するステップと、分割領域毎に、各画素の画素データと色濃度補正アルゴリズムによって算出された色濃度の補正量の基準値との差分値の平均値を算出するステップと、画素毎に、画素データと前記差分値の平均値とを加えることによって得られる補正量の新たな基準値を算出するステップと、画像毎に前記補正量の新たな基準値の平均値を算出し、各画像における色濃度の補正量を算出するステップとを有しているフレーム画像の揃い補正方法が開示されている。
【特許文献１】特開２００１−１６０９０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、森林等の緑を撮影したシーンや赤や黄の花等を撮影したシーン等のように彩度の高い被写体を撮影した画像に対して、基準補正値算出処理部で各画素のＲＧＢ成分の相加平均値による画素濃度値に基づいて基準濃度補正値が算出されるような場合には、特定のカラー成分の階調値は高いが他のカラー成分の階調値が低いためにその平均値が低くなり、そのような基準濃度補正値に基づいて揃い補正値を算出すると、全体的に濃度の薄い画像に補正され、好ましいプリントの仕上がりが得られないという問題があった。
【０００９】
また、各フレーム画像をプリントしたときに、一般に彩度の高い領域で色合いがずれている場合に仕上がりの一連性が損なわれていると感じる場合が多く、このような違和感を取り除くためには、特に高彩度領域で仕上がりの一連性が確保されるように揃い補正する必要がある。
【００１０】
さらに、写真プリントの品質評価に被写体である人物の顔の濃度や色が重要な影響を与えるため、フレーム画像の揃い補正に際しても、顔領域の濃度や色を重視して揃える必要がある。
【００１１】
本発明は、上述した従来の問題点に鑑み、類似シーンが撮影された一連のフレーム画像の色や濃度を良好な階調で揃え、特に人の顔等の肌領域が良好な色や濃度の写真プリントが得られるフレーム画像の揃い処理装置及び揃い処理方法を提供する点にある。
【課題を解決するための手段】
【００１２】
上述の目的を達成するため、本発明によるフレーム画像の揃い処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、複数のフレーム画像の夫々に対して基準補正値を算出する基準補正値算出処理部と、色相彩度が近い画素をグループ化して、各グループに属する画素の特性値と前記基準補正値とグループ毎に設定された重み係数に基づいて揃い補正値を算出する揃い補正値算出処理部と、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する適正補正値算出処理部を備えて構成されるフレーム画像の揃い補正処理装置であって、前記グループ毎に設定する重み係数を、肌色領域を含むグループが同程度の彩度の他のグループより大きくなるように設定する点にある。
【００１３】
上述の構成によれば、揃い補正値算出処理部により、フレーム画像の肌色領域が同程度の彩度の他の領域より大きな重みで重み付けされた揃い補正値が算出されるため、類似シーン間で肌色のばらつきを抑制して良好な揃い補正がなされるようになる。
【００１４】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記揃い補正値算出処理部は、色相彩度平面を複数グループに分割して各グループに属する画素の特性値と前記基準補正値の差分値を各グループに割り付ける処理を全フレーム画像の構成画素に対して行なう差分値割付処理部と、各グループに割り付けられた差分値の平均をグループ毎に算出する平均差分値算出処理部を備え、フレーム画像の構成画素が属するグループ毎に設定された重み係数に当該構成画素の特性値と前記平均差分値の差分を乗じて得られる値に基づいて揃い補正値を算出し、前記適正補正値算出処理部は、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する点にある。
【００１５】
色相彩度平面が分割された各グループに属する複数のフレーム画像の構成画素は、基本的に同一の被写体を構成する画素である可能性が高い。従って、平均差分値算出処理部では、そのような同一被写体を構成するグループ毎に構成画素の特性値と前記基準補正値の差分値を平均化処理することによりグループ内での的確な揃い処理が行なわれる。揃い補正値算出処理部では、そのようなグループ毎の構成画素の平均特性と平均差分値の差分と上述の重み係数に基づいて、フレーム画像毎に良好な肌の濃度及びカラーで揃い補正値が算出される。その後、フレーム画像毎に元の基準補正値と揃い補正値が所定の融合係数で融合処理されてフレーム毎の適正補正値が算出されるのである。
【００１６】
同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、各フレーム画像に人の顔領域が含まれるか否かを判断する顔領域抽出処理部と、前記顔領域抽出処理部で抽出された顔領域の画素が属するグループの重み係数を大きくなるように補正する重み係数補正処理部を備え、前記揃い補正値算出処理部は前記重み係数補正処理部により補正された重み係数に基づいて前記揃い補正値を算出する点にある。
【００１７】
上述の構成によれば、顔領域抽出処理部によりフレーム画像から人の顔領域が抽出された場合に、重み係数補正処理部で顔領域の画素が属するグループの重み係数が大きくなるように補正されるため、予め重み係数が大きく設定された肌色領域と異なる色相彩度の顔であっても、それに対応して、類似シーン間で人の顔を良好な濃度またはカラーで揃えることができるようになる。
【００１８】
同第四の特徴構成は、同請求項４に記載した通り、上述の第三特徴構成に加えて、前記重み係数補正処理部は、前記顔領域抽出処理部で抽出された顔領域の構成画素が属するグループの重み係数を、顔領域の面積が大きい程大きくなるように補正する点にあり、このように構成することにより、顔領域の面積が大きいほど顔を重視した揃え処理が可能になる。
【００１９】
同第五の特徴構成は、同請求項５に記載した通り、上述の第一から第四の何れかの特徴構成に加えて、前記基準補正値が前記基準補正値算出処理部でフレーム画像毎に算出された基準濃度値であり、前記特性値が各フレーム画像を構成する画素の色成分の相加平均濃度値であり、前記グループ毎に設定する重み係数が予め低彩度側より高彩度側が大きくなるように設定されている点にある。
【００２０】
上述の構成によれば、フレーム画像の構成画素の特性値が色成分の相加平均濃度値で表される場合であっても、グループ毎の重み係数が低彩度側より高彩度側が大きくなるように設定されているので、彩度の高い被写体を撮影した画像であっても、濃度の低下を来たすことなく、揃い補正することができるようになる。
【００２１】
本発明によるフレーム画像の揃い処理方法の第一の特徴構成は、同請求項６に記載した通り、複数のフレーム画像の夫々に対して基準補正値を算出する基準補正値算出ステップと、色相彩度が近い画素をグループ化して、各グループに属する画素の特性値と前記基準補正値とグループ毎に設定された重み係数に基づいて揃い補正値を算出する揃い補正値算出ステップと、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する適正補正値算出ステップを備えて構成されるフレーム画像の揃い補正処理方法であって、前記グループ毎に設定する重み係数を、肌色領域を含むグループが同程度の彩度の他のグループより大きくなるように設定する点にある。
【００２２】
同第二の特徴構成は、同請求項７に記載した通り、上述の第一特徴構成に加えて、前記揃い補正値算出ステップは、色相彩度平面を複数グループに分割して各グループに属する画素の特性値と前記基準補正値の差分値を各グループに割り付ける処理を全フレーム画像の構成画素に対して行なう差分値割付ステップと、各グループに割り付けられた差分値の平均をグループ毎に算出する平均差分値算出ステップを備え、フレーム画像の構成画素が属するグループ毎に設定された重み係数に当該構成画素の特性値と前記平均差分値の差分を乗じて得られる値に基づいて揃い補正値を算出し、前記適正補正値算出ステップは、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する点にある。
【００２３】
同第三の特徴構成は、同請求項８に記載した通り、上述の第一または第二特徴構成に加えて、各フレーム画像に人の顔領域が含まれるか否かを判断する顔領域抽出ステップと、前記顔領域抽出ステップで抽出された顔領域の画素が属するグループの重み係数を大きくなるように補正する重み係数補正ステップを備え、前記揃い補正値算出ステップは前記重み係数補正ステップにより補正された重み係数に基づいて前記揃い補正値を算出する点にある。
【発明の効果】
【００２４】
以上説明した通り、本発明によれば、類似シーンが撮影された一連のフレーム画像の色や濃度を良好な階調で揃え、特に人の顔等の肌領域が良好な色や濃度の写真プリントが得られるフレーム画像の揃い処理装置及び揃い処理方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００２５】
以下に本発明によるフレーム画像の揃い処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図２に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない露光された印画紙を現像処理する写真プリンタ２と、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２や、コントローラ３３としての汎用コンピュータ等を備え、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行なう操作ステーション３を備えて構成され、前記操作ステーション３で元画像から編集処理されたプリントデータが前記写真プリンタ２に出力されて所望の写真プリントが生成される。
【００２６】
前記写真プリンタ２は、図２及び図３に示すように、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、前記印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、前記プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えて構成される。
【００２７】
前記露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。
【００２８】
前記搬送経路に沿って配置された前記露光部２４や現像処理部２５に応じたプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、前記露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。
【００２９】
前記操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置１の各種制御を実行するアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。
【００３０】
前記コントローラ３３のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図４に示すように、前記フィルムスキャナ３１やメディアドライバ３２によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ４１に転送する画像入力部４０と、前記モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、前記画像入力部４０から転送される写真画像データ及び後述の画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、前記メモリ４１に格納された各写真画像データに対して濃度補正処理やコントラスト補正処理等を行なう画像処理部４７と、前記グラフィックユーザーインターフェース部４２からの表示コマンドに基づいて前記メモリ４１に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等で構成される。
【００３１】
前記フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ２に出力される。
【００３２】
同様に、前記メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ４１に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。
【００３３】
前記画像処理部４７は、図１に示すように、オーダー単位で入力された複数のカラーコマ画像（以下、「フレーム画像」と記す。）に対して、各フレーム画像単位で濃度を補正する濃度補正部１０と、各フレーム画像単位で色調を補正するカラー補正部１１と、一つのオーダーに含まれる複数のフレーム画像に対する濃度及び色調を揃い補正する揃い補正部１２と、各フレーム画像から人の顔領域を抽出する顔領域抽出処理部１３と、各フレーム画像単位で歪補正する歪補正部１４と、各フレーム画像単位で鮮鋭化処理する鮮鋭化処理部１５と、各フレーム画像単位で拡縮処理する拡縮処理部１６等を備えている。
【００３４】
上述した揃い補正部１２と顔領域抽出処理部１３により、本発明による揃い処理装置が具現化され、揃い補正部１２は、同一シーンや類似シーンが多く含まれるオーダー単位で入力された複数のフレーム画像間の濃度や色調が略統一されるように各フレーム画像に対する適正濃度補正値及び適正カラー補正値を算出する。
【００３５】
揃い補正部１２は、プレスキャンモードで入力された複数のフレーム画像の夫々に対して基準補正値を算出する基準補正値算出処理部１０ａ，１１ａと、色相彩度が近い画素をグループ化して、各グループに属する画素の特性値と前記基準補正値とグループ毎に設定された重み係数に基づいて揃い補正値を算出する揃い補正値算出処理部１２ａと、前記基準補正値と前記揃い補正値を所定の融合係数で融合処理してフレーム画像毎の適正補正値を算出する適正補正値算出処理部１２ｅを備えている。
【００３６】
ここに、基準補正値算出処理部１０ａは、前記濃度補正部１０に構築された基準補正値算出処理部１０ａと兼用され、入力画像の特性値に基づいて基準濃度値を上述の基準補正値として算出する。当該濃度補正部１０では、前記基準濃度値または前記揃い補正部１２で算出された適正補正値が目標濃度値となるように生成した基準補正ガンマカーブに基づいて、当該フレーム画像を構成する画素データが濃度補正される。
【００３７】
具体的に、基準補正値算出処理部１０ａは、図１０（ａ）から（ｅ）に示すように、入力画像全体の平均濃度と最大濃度と最小濃度と濃度平均偏差、入力画像の主要被写体が位置する中央部分と周辺部分の平均濃度と最大濃度と最小濃度、入力画像の左側部と右側部の平均濃度と最大濃度と最小濃度、入力画像の上側部と下側部の平均濃度と最大濃度と最小濃度、入力画像を所定の画素サイズでブロック分割した各領域のうち上下に隣接するブロックの平均濃度の差分の平均値を画像特徴データとして算出し、これら画像特徴データを変数とする多変量解析、ここでは重回帰分析によって適切な基準濃度値を算出する。
【００３８】
つまり、事前に複数のサンプル画像に対して上述の画像特徴データとそのときに手動補正等により補正された適切な基準濃度値との相関係数を求めておき、新たに入力された画像特徴データからその画像の適切な基準濃度値を算出するのである。尚、入力画像の画像特徴データから基準濃度値を算出する手法は多変量解析以外にニューラルネットワーク等の他の推定方法を用いることも可能である。
【００３９】
ここで、濃度とはフレーム画像を構成する画素のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分の平均値（Ｄ＝（Ｒ＋Ｇ＋Ｂ）／３）をいい、入力画像を構成する画素のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分を輝度色差データであるＹＣｂＣｒデータに変換し、その輝度成分Ｙを濃度として用いるものであってもよい。
【００４０】
また、基準補正値算出処理部１１ａは、前記カラー補正部１１に構築された基準補正値算出処理部１１ａと兼用され、エバンスの定理に基づくＬＡＴＤ（Large  Area  Transmittance  Density）方式に基づいてフレーム画像毎の基準カラー補正値を基準補正値として算出する。当該カラー補正部１１では、前記基準カラー補正値または前記揃い補正部１２で算出された適正補正値に基づいて、フレーム画像を構成する画素データがカラー補正される。
【００４１】
具体的に、基準補正値算出処理部１１ａは、フレーム画像を構成する全ての画素のＲ(赤)，Ｇ(緑)，Ｂ(青)成分毎の平均値で表される画素が所定のグレーとなるような基準カラー補正値を基準補正値として算出する。
【００４２】
つまり、基準補正値は前記基準補正値算出処理部１０ａ，１１ａでフレーム画像毎に算出された基準濃度値または基準カラー補正値であり、前記特性値は各フレーム画像を構成する画素の濃度値または各カラー成分値であり、基準補正値が基準濃度値のみであれば濃度の揃い補正が行なわれ、基準補正値が基準カラー補正値であればカラーの揃い補正が行なわれる。
【００４３】
尚、前記濃度補正部１０及びカラー補正部１１では、前記揃い補正部１２が作動して適正補正値が算出されるときには、当該適正補正値に基づいて濃度補正またはカラー補正が行なわれ、前記揃い補正部１２が作動しないときには、各基準補正値に基づいて濃度補正またはカラー補正が行なわれる。
【００４４】
揃い補正を行なうか否かは、プレスキャンモードで入力され、モニタ３４に表示されたサムネイル画像を目視したオペレータにより、グラフィックユーザーインターフェース部４２を介してなされた揃い補正処理を行なうか否かを選択するスイッチの操作入力に基づいてコントローラ側で判断される。
【００４５】
前記揃い補正値算出処理部１２ａは、色相彩度平面を複数グループに分割して各グループに属する画素の特性値と前記基準補正値の差分値を各グループに割り付ける処理を全フレームの構成画素に対して行なう差分値割付処理部１２ｂと、各グループに割り付けられた差分値の平均をグループ毎に算出する平均差分値算出処理部１２ｃを備え、フレーム画像の構成画素が属するグループ毎に設定された重み係数に当該構成画素の特性値と前記平均差分値の差分を乗じて得られる値に基づいて揃い補正値を算出する。
【００４６】
前記適正補正値算出処理部１２ｅは、前記基準補正値算出処理部１０ａ，１１ａで算出された基準補正値と前記揃い補正値算出処理部１２ａで算出された揃い補正値を、所定の融合係数で融合処理してフレーム毎の適正補正値を算出する。
【００４７】
さらに、前記揃い補正値算出処理部１２ａに、前記顔領域抽出処理部１３で抽出された顔領域の画素が属するグループの重み係数を大きくなるように補正する重み係数補正処理部１２ｄを備え、前記揃い補正値算出処理部１２ａは、前記重み係数補正処理部１２ｄにより補正された重み係数に基づいて前記揃い補正値を算出する。前記重み係数補正処理部１２ｄは、前記顔領域抽出処理部１３で抽出された顔領域の構成画素が属するグループの重み係数を、顔領域の面積が大きい程大きくなるように補正する。
【００４８】
以下、前記揃い補正部１２による揃い補正処理を、図９のフローチャートを参照しながら詳述する。
【００４９】
オーダー毎にプレスキャンモードで入力された３０００×２０００画素で構成される複数のフレーム画像の夫々に対して、基準補正値算出処理部１０ａ，１１ａにより基準濃度値及び基準カラー補正値が基準補正値として算出されると（Ｓ１）、次に顔領域抽出処理部１３により各フレーム画像に人の顔画像が存在するか否かが判断され、人の顔画像が存在するときには対応する顔領域が抽出される（Ｓ２）。
【００５０】
ここで、フレーム画像に存在する人の顔画像の検出アルゴリズムは、例えば、特開平２０００−４８１８４号公報に記載されたような、肌色領域を検出する検出工程と、検出された肌色領域の射影分布を作成する作成工程と、作成された射影分布から放物線を探索する探索工程と、探索された放物線の位置から顔領域候補を抽出する抽出工程と、抽出された顔領域候補に対して、知識処理により顔領域かどうかの判断を行う判断工程を備えることにより実現でき、また、特開２００１−１６５７３号公報に記載されたような、Gabor  Wavelet変換による画像上の顔を表す目、鼻、口等の器官の抽出処理と、同じく顔を表す目、鼻、口等の器官の配置関係を表す複数の特徴点を表現したテンプレートとのマッチング処理により実現でき、さらには、多数の顔画像で学習されたニューラルネットワークを用いて顔画像を検出する等、公知のアルゴリズムを用いて実現できる。
【００５１】
ステップＳ２でフレーム画像に顔領域が検出されると、重み係数補正処理部１２ｄは、図６（ａ）に示すような重みテーブルに対して、図６（ｂ）に示すように、顔領域抽出処理部１３で抽出された顔領域の構成画素が属するグループの重み係数を初期値よりも所定量だけ大きくなるように補正する（Ｓ３）。ここで、補正量は抽出された顔領域の面積が大きい程大きくなるように設定される。尚、重みテーブルについては後に詳述する。
【００５２】
さらに、揃い補正値算出処理部１２は、図５（ａ）に示すように、３０００×２０００画素（６万画素）のフレーム画像をモザイク処理して２４×１６画素（３８４画素）に縮小処理する（Ｓ４）。モザイク処理はフレーム画像の色分布及び濃度分布の特徴が維持される程度の縮小率で、揃い補正のための演算負荷を低減させるために行なわれる。
【００５３】
差分値割付処理部１２ｂは、先ず、モザイク画像を構成する各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分を０．０から１．０の範囲に正規化して、各画素の平均値ｄ（＝（ｒ＋ｇ＋ｂ）／３）を画素濃度として算出するとともに、〔数１〕に基づいて各画素の色相彩度値（ｃ１，ｃ２）を算出し、図５（ｂ）に示すように、フレーム毎に準備された色相彩度テーブルに格納する。
【数１】
2009016940.tif 000003
【００５４】
次に、図５（ｃ）に示すように、差分値割付処理部１２ｂは、Ｃ１，Ｃ２を直交軸とする所定間隔で複数グループ、ここでは２５×２５の数のグループに分割された色相彩度平面の各グループに属する画素の特性値と基準補正値の差分値を各グループに割り付ける（Ｓ５）。
【００５５】
具体的には、〔数１〕で変換された画素の色相彩度値（ｃ１，ｃ２）が色相彩度平面の分割グループの何れに属するかを判断し、図５（ｃ）に示すように、色相彩度平面を模擬するオーダー色相彩度別差分値テーブルの該当するグループに差分値を割り付けるのである。
【００５６】
ここで、濃度に対して〔画素濃度ｄ−基準濃度値Ｄｃｏｒｒ〕が差分値として算出され、カラー成分に対して、〔ｒ−基準カラー補正値のＲ成分Ｒｃｏｒｒ〕，〔ｇ−基準カラー補正値のＧ成分Ｇｃｏｒｒ〕，〔ｂ−基準カラー補正値のＢ成分Ｂｃｏｒｒ〕の夫々が差分値として算出され、これらの値が該当するグループに割り付けられる。
【００５７】
各グループには割り付けられた画素数をカウントするカウンタが設けられ、同一グループに割り付けられた差分値は順次加算処理され、画素数に対応してカウンタ値がカウントアップされる。
【００５８】
このような処理がオーダーに含まれる全てのフレームの構成画素について実行される（Ｓ６）。
【００５９】
平均差分値算出処理部１２ｃは、〔数２〕に従って差分値の平均値ｄａｖ，ｒａｖ，ｇａｖ，ｂａｖをグループ毎に算出する（Ｓ７）。
【数２】
2009016940.tif 000004
【００６０】
ここで、Σｋは同一グループに割り付けられた全画素数であり、Ｄｃｏｒｒは濃度の基準補正値（基準濃度値）、Ｒｃｏｒｒ，Ｇｃｏｒｒ，Ｂｃｏｒｒはカラーの基準補正値（基準カラー補正値）である。
【００６１】
揃い補正値算出処理部１２ａは、各グループに属する画素の特性値と基準補正値とグループ毎に設定された重み係数に基づいて揃い補正値を算出する（Ｓ８）。
【００６２】
図６（ａ）に示すように、色相彩度平面の各分割グループに対応して重み係数が設定された濃度重みテーブルとカラー重みテーブルの二種類の重みテーブルが設けられている。図では、説明のため簡略化して表記しているため、色相彩度平面の各分割グループの数と対応していないが、実際には図５（ｃ）と同じクループ数に対応して設定されている。
【００６３】
画素濃度がｄ（＝（ｒ＋ｇ＋ｂ）／３）で算出される場合には、濃度重みテーブルの重み係数は彩度が低い色相彩度平面の中心部から彩度が高い色相彩度平面の周辺部にかけて次第に大きくなるように、且つ、肌色領域（図６（ａ）中、太線の円領域）を含むグループが同程度の彩度の他のグループより大きくなるように初期設定されている。画素濃度が輝度値Ｙで算出される場合には、各グループに対して一定値の重み係数（例えば５０）が設定され、且つ、肌色領域（図６（ａ）に破線で示す領域）を含むグループが同程度の彩度の他のグループより大きくなるように初期設定されている。尚、図６に示す重みテーブルに表記された重み係数は、実際には０．００以上１００．００未満の数値を０．００から１．００の範囲に正規化した値として演算に供される。
【００６４】
このような重みテーブルに対して、上述のステップＳ３で説明した重み係数補正処理が行なわれ、フレーム画像に人の顔領域が検出されたときに、その顔領域を構成する複数画素のｒ、ｇ、ｂのカラー色成分毎の平均値を〔数１〕で変換したｃ１、ｃ２に対応するグループの重み係数が初期設定値より大きくなるように補正する。ここで、重み係数の補正値は特に限定されるものではないが、本実施形態では、一律に１０（実際には０．１で演算される）に設定している。顔領域のサイズにより重み係数の補正値を異ならせる場合には、例えば、フレーム画像の全体に対する全顔領域の面積比に基づいて、ステップ的に大きくなるように設定すればよい。増大幅は特に限定されるものではなく、実験等により設定すればよい。
【００６５】
図６（ｂ）は、一枚目のフレーム画像で検出された顔領域に対応して、（Ｃ１，Ｃ２）＝（−１，−１）のグループが１０大きく補正され、三枚目のフレーム画像で検出された顔領域に対応して、（Ｃ１，Ｃ２）＝（１，−２）のグループが１０大きく補正された状態を示すものである。
【００６６】
尚、本実施形態では、予め想定される人の肌色領域を含むグループの重み係数が同程度の彩度の他のグループより大きくなるように初期設定（静的設定という。）され、且つ、フレーム画像から検出された顔領域に対応するグループの重み係数が大きくなるように補正される（動的設定という。）場合を説明するが、肌領域に対する重み係数の設定は、静的設定または動的設定の何れか一方の設定のみを採用するものであってもよい。図７は静的に設定された濃度重みテーブルが動的設定で補正された例を示すものである。
【００６７】
ステップＳ８では、〔数３〕及び〔数４〕に従って、フレーム画像の構成画素が属するグループ毎に設定された重み係数に当該構成画素の特性値と前記平均差分値の差分を乗じて得られる値に基づいてフレーム画像毎に揃い補正値Ｗｄ，Ｗｒ，Ｗｇ，Ｗｂを算出する。
【数３】
2009016940.tif 000005
【数４】
2009016940.tif 000006
【００６８】
ここで、ｐｏｗ（ｘ，ｙ）はべき関数であり、ｐｏｗ（ｘ，ｙ）＝ｘｙである。従って、例えば、〔数３〕で、あるフレーム画像の（ｃ１，ｃ２）＝（−１，−１）のときには、図６（ｂ）の濃度重みテーブルの（−１，−１）に対応する値４０に対して、ｐｏｗ（濃度重みテーブル〔彩度〕，２）＝４０２と算出される。
【００６９】
さらに、適正補正値算出処理部１２ｅにより、〔数５〕及び〔数６〕に従って、揃い補正値Ｗｄ，Ｗｒ，Ｗｇ，Ｗｂの夫々と基準補正値Ｄｃｏｒｒ，Ｒｃｏｒｒ，Ｇｃｏｒｒ，Ｂｃｏｒｒの夫々とを所定の融合係数で融合処理してフレーム毎の適正補正値Ｄｃｏｒｒ＿ｎｅｗ，Ｒｃｏｒｒ＿ｎｅｗ，Ｇｃｏｒｒ＿ｎｅｗ，Ｂｃｏｒｒ＿ｎｅｗが夫々算出される（Ｓ９）。〔数５〕中、ｑ１，ｑ２は融合係数、Ａ１，Ａ２は定数である。
【数５】
2009016940.tif 000007
【数６】
2009016940.tif 000008
【００７０】
〔数３〕、〔数４〕に示すｗｄ２及びｗｃ２は各フレーム画像に対応した重みの総和を表し、その値が大きいほど揃い補正の必要性が高いフレーム画像であることを示すものである。仮に、重みテーブルに設定された全ての重み係数が１００（実際には１．０で演算される）として、モザイク処理されたフレーム画像の全画素（３８４画素）にわたり演算すると３８４×１２となり、最大３８４未満の値となる。〔数５〕、〔数６〕は、ｗｄ２及びｗｃ２の値を最大値９８で制限し、その値が所定の定数Ａ１またはＡ２以下のときに対応するフレーム画像に対して融合処理を実行しない、つまり、揃い補正を行なわないことを示し、その値が所定の定数Ａ１またはＡ２より大きいときに、定数Ａ１またはＡ２で正規化した値を融合係数ｑ１,ｑ２として算出して適正補正値を求めることを示すものである。
【００７１】
定数Ａ１またはＡ２は重みテーブルに設定された重み係数の値に基づいて適宜設定される値で、図６または図７に示す濃度重みテーブルでは、Ａ１＝４９に設定されている。その結果、図８に示すように、濃度に関する融合係数ｑ１が設定され、重みの総和ｗｄ２が０から４９の間の値をとるフレーム画像では、融合係数ｑ１＝０となり揃い補正が行なわれず揃い補正値が基準濃度値として算出され、重みの総和ｗｄ２が５０から９８の間の値をとるフレーム画像では、融合係数ｑ１＝０．０２から１．００の間で揃い補正が行なわれ、重みの総和ｗｄ２が９９以上の値をとるフレーム画像では、融合係数ｑ１＝１．００となるので、揃い補正値が適正補正値として算出される。
【００７２】
尚、本実施形態では、濃度揃い補正とカラー揃い補正の双方が同じ値（Ａ１＝Ａ２＝４９に設定された例を説明しているが、濃度揃い補正とカラー揃い補正で定数Ａ１とＡ２の値を異ならせてもよい。
【００７３】
このようにして全フレーム画像について濃度及びカラー夫々について融合処理が行なわれ、適正補正値が算出されると（Ｓ１０）、フレーム画像毎の適正補正値Ｄｃｏｒｒ＿ｎｅｗ，Ｒｃｏｒｒ＿ｎｅｗ，Ｇｃｏｒｒ＿ｎｅｗ，Ｂｃｏｒｒ＿ｎｅｗが補正パラメータとして図４に示すメモリ４１に格納される。
【００７４】
揃い補正部１２での処理が終了すると、歪補正部１４、鮮鋭化処理部１５、拡縮処理部１６で夫々のフレーム画像に対する画像処理が実行され、そのとき得られた画像処理パラメータが図４に示すメモリ４１に格納される。
【００７５】
その後、フィルムスキャナ３１により本スキャンモードで読取られ、或いは、メディアドライバ３２から読み込まれた高解像度画像データに対してメモリ４１に格納された各種のパラメータに基づいてフレーム画像が処理され、プリント出力用の画像データが生成される。
【００７６】
上述の実施形態で説明した画像の特徴データに基づく重回帰分析による濃度の基準補正値（基準濃度値）の算出方法、及び、ＬＡＴＤ方式によるカラーの基準補正値（基準カラー補正値）の算出方法は、何れも例示に過ぎず、本発明によるフレーム画像の揃い補正装置または方法は、他の公知の算出方法により算出された基準補正値に対しても適用可能であることはいうまでもない。
【００７７】
上述した実施形態では、画素濃度としてｒ、ｇ、ｂカラー成分をＹＣＣ変換した輝度値Ｙを採用する場合に、各グループに対して一律に同じ値の重み係数が設定された濃度重みテーブルを用いるものを説明したが、この場合にも濃度重みテーブルの重み係数を彩度が低い色相彩度平面の中心部から彩度が高い色相彩度平面の周辺部にかけて次第に大きくなるように設定することが可能で、これにより、高彩度領域で仕上がりの一連性が確保されるように揃い補正することができるようになる。
【００７８】
上述した実施形態では、揃い補正値算出処理部により、３０００×２０００画素（６万画素）のフレーム画像が２４×１６画素（３８４画素）にモザイク処理されるものを説明したが、モザイク画像のサイズは２４×１６画素（３８４画素）に限るものではなく、フレーム画像の色分布及び濃度分布の特徴が維持される程度の縮小率であれば、元のフレーム画像の画素数に応じて適宜設定されるものである。
【００７９】
上述した実施形態では、濃度及びカラーの揃い補正の双方に、肌色領域または顔領域に対応付けた重み係数を用いた処理を採用する場合を説明したが、濃度の揃い補正にのみ当該処理を採用するものであってもよい。
【００８０】
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【００８１】
【図１】揃い処理部の機能ブロック構成図
【図２】写真画像処理装置の外観構成の説明図
【図３】写真プリンタの説明図
【図４】写真画像処理装置の機能ブロック構成の説明図
【図５】色相彩度テーブルの説明図
【図６】重みテーブルの説明図
【図７】重みテーブルの説明図
【図８】フレーム画像に対応した重みの総和と融合係数の関係の説明図
【図９】揃い処理を説明するフローチャート
【図１０】基準補正値（基準濃度値）を算出するための画像特徴データの生成に必要なフレーム画像の分割方法の説明図
【符号の説明】
【００８２】
１：写真画像処理装置
１０：濃度補正部
１０ａ：基準濃度補正値算出部
１１：カラー補正部
１１ａ：基準カラー補正値算出部
１２：揃い補正部
１２ａ：揃い補正値算出処理部
１２ｂ：差分値割付処理部
１２ｃ：平均差分値算出処理部
１２ｄ：重み係数補正処理部
１２ｅ：適正補正値算出処理部
１３：顔領域抽出処理部
４７：画像処理部
【図１】
2009016940.tif 000009
【図２】
2009016940.tif 000010
【図３】
2009016940.tif 000011
【図４】
2009016940.tif 000012
【図５】
2009016940.tif 000013
【図６】
2009016940.tif 000014
【図７】
2009016940.tif 000015
【図８】
2009016940.tif 000016
【図９】
2009016940.tif 000017
【図１０】
2009016940.tif 000018