(57)【特許請求の範囲】
【請求項１】
複数の補正前のサンプル画像、及びこれらの各サンプル画像に対応する複数の補正後のサンプル画像を学習用画像として含む画像情報を記憶する記憶部と、
補正対象画像を前記学習用画像として前記画像情報に含めた状態で、その画像情報に基づいて前記各学習用画像の特徴を表す複数の特徴基底を取得する特徴基底取得部と、
前記補正前のサンプル画像の特徴を前記各特徴基底で表した第１特徴情報、及び前記補正後のサンプル画像の特徴を前記各特徴基底で表した第２特徴情報を抽出し、前記第１特徴情報から前記第２特徴情報に補正する補正関数を学習する補正関数学習部と、
前記補正対象画像の特徴を前記各特徴基底で表した第３特徴情報を抽出し、この第３特徴情報から、前記補正関数に基づいて前記補正対象画像の補正後の特徴を前記各特徴基底で表した第４特徴情報を推定する推定部と、
推定された前記第４特徴情報に基づいて前記補正対象画像を補正する補正部と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記補正対象画像、前記補正前のサンプル画像、及び前記補正後のサンプル画像は、顔画像である請求項１に記載の画像処理装置。
【請求項３】
複数の補正前のサンプル画像、及びこれらの各サンプル画像に対応する複数の補正後のサンプル画像を学習用画像として含む画像情報に、補正対象画像を前記学習用画像として含めた状態で、その画像情報に基づいて前記各学習用画像の特徴を表す複数の特徴基底を学習する特徴基底学習ステップと、
前記補正前のサンプル画像の特徴を前記各特徴基底で表した第１特徴情報、及び前記補正後のサンプル画像の特徴を前記各特徴基底で表した第２特徴情報を抽出し、前記第１特徴情報から前記第２特徴情報に補正する補正関数を学習する補正関数学習ステップと、
前記補正対象画像の特徴を前記各特徴基底で表した第３特徴情報を抽出し、この第３特徴情報から、前記補正関数に基づいて前記補正対象画像の補正後の特徴を前記各特徴基底で表した第４特徴情報を推定する推定ステップと、
推定された前記第４特徴情報に基づいて前記補正対象画像を補正する補正ステップと、
を含むことを特徴とする画像処理方法。
【請求項４】
複数の補正前のサンプル画像、及びこれらの各サンプル画像に対応する複数の補正後のサンプル画像を学習用画像として含む画像情報を記憶する記憶部を備えたコンピュータに、補正対象画像を補正する処理を実行させるためのコンピュータプログラムであって、
コンピュータを、補正対象画像を前記学習用画像として前記画像情報に含めた状態で、その画像情報に基づいて前記各学習用画像の特徴を表す複数の特徴基底を取得する特徴基底取得部と、
前記補正前のサンプル画像の特徴を前記各特徴基底で表した第１特徴情報、及び前記補正後のサンプル画像の特徴を前記各特徴基底で表した第２特徴情報を抽出し、前記第１特徴情報から前記第２特徴情報に補正する補正関数を学習する補正関数学習部と、
前記補正対象画像の特徴を前記各特徴基底で表した第３特徴情報を抽出し、この第３特徴情報から、前記補正関数に基づいて前記補正対象画像の補正後の特徴を前記各特徴基底で表した第４特徴情報を推定する推定部と、
推定された前記第４特徴情報に基づいて前記補正対象画像を補正する補正部として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、高画質で加工の容易なデジタル画像の普及に伴い、例えば顔画像の一部の形状を縮小または拡大することで小顔にしたり目を大きくしたりする美顔補正が広く行われている。近年、美顔補正などの顔画像の形状を補正するニーズの増加及び多用化に伴い、顔画像の形状を自動的に補正する手法が提案されている。
【０００３】
このような補正手法として、顔画像の形状を補正するための補正関数を予め規定しておき、この規定された補正関数を補正対象の顔画像に適用することで、自動的に顔画像を補正する手法が知られている。しかし、この補正手法では、顔画像が異なる場合であっても予め規定された補正関数が適用されるので、個人の顔画像の特徴を十分に反映させた補正を実現することができない場合があり、場合によっては不自然な補正画像が作成される可能性がある。
【０００４】
そこで、非特許文献１に示すように、個人の顔画像の特徴に応じた補正を行う手法が提案されている。この補正手法では、まず、補正前の顔画像である複数のサンプル画像と、これらの各サンプル画像を手動により補正した後の複数のサンプル画像とを学習用画像として含む画像情報に基づいてコンピュータ等により予め機械学習を行う。この機械学習では、各学習用画像の特徴を表す複数の特徴成分（特徴基底）を抽出し、補正前のサンプル画像の特徴を前記特徴基底で表した特徴情報と、補正後のサンプル画像の特徴を前記特徴基底で表した特徴情報とを抽出する。そして、補正前のサンプル画像の特徴情報から、対応する補正後のサンプル画像の特徴情報に補正する補正関数を求める。
【０００５】
次に、上記機械学習で抽出した学習用画像の特徴基底を、補正対象の顔画像である補正対象画像の特徴基底として用いることで、当該補正対象画像の特徴を特徴基底で表した特徴情報を抽出する。そして、この補正対象画像の特徴情報から、前記補正関数に基づいて、補正対象画像の補正後の特徴を特徴基底で表した特徴情報を推定し、その推定した特徴情報に基づいて補正対象画像を補正するようになっている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】瀬尾昌孝および陳延偉、「顔形状の部分空間を用いた個人の顔形状に応じた小顔補正法」、日本顔会誌、ｖｏｌ．１１、Ｎｏ．２、ｐｐ．４１−５０、２０１１年９月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の補正手法では、学習用画像から抽出された特徴基底に基づいて補正対象画像の特徴を表しているため、補正対象画像によっては、その特徴を十分に表せない場合がある。この場合には、補正対象画像の補正後における特徴も適切に推定することができないため、補正対象画像の補正精度が低下するという問題がある。
本発明は、上記問題点に鑑みてなされたものであり、補正対象画像の補正精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するための本発明の画像処理装置は、複数の補正前のサンプル画像、及びこれらの各サンプル画像に対応する複数の補正後のサンプル画像を学習用画像として含む画像情報を記憶する記憶部と、補正対象画像を前記学習用画像として前記画像情報に含めた状態で、その画像情報に基づいて前記各学習用画像の特徴を表す複数の特徴基底を取得する特徴基底取得部と、前記補正前のサンプル画像の特徴を前記各特徴基底で表した第１特徴情報、及び前記補正後のサンプル画像の特徴を前記各特徴基底で表した第２特徴情報を抽出し、前記第１特徴情報から前記第２特徴情報に補正する補正関数を学習する補正関数学習部と、前記補正対象画像の特徴を前記各特徴基底で表した第３特徴情報を抽出し、この第３特徴情報から、前記補正関数に基づいて前記補正対象画像の補正後の特徴を前記各特徴基底で表した第４特徴情報を推定する推定部と、推定された前記第４特徴情報に基づいて前記補正対象画像を補正する補正部と、を備えていることを特徴とする。
本発明の画像処理装置によれば、補正対象画像を学習用画像として画像情報に含めた状態で、各学習用画像の特徴を表すための複数の特徴基底を抽出しているため、これらの特徴基底を用いることで補正対象画像の特徴を表す第３特徴情報を正確に抽出することができる。これにより、補正対象画像の補正後の特徴を表す第４特徴情報も正確に推定することができるので、補正対象画像の補正精度を向上させることができる。
【０００９】
前記画像処理装置において、前記補正対象画像、前記補正前のサンプル画像、及び前記補正後のサンプル画像は、顔画像であるのが好ましい。
この場合、補正対象画像である顔画像を美顔補正する場合に有用である。
【００１０】
本発明の画像処理方法は、複数の補正前のサンプル画像、及びこれらの各サンプル画像に対応する複数の補正後のサンプル画像を学習用画像として含む画像情報に、補正対象画像を前記学習用画像として含めた状態で、その画像情報に基づいて前記各学習用画像の特徴を表す複数の特徴基底を学習する特徴基底学習ステップと、前記補正前のサンプル画像の特徴を前記各特徴基底で表した第１特徴情報、及び前記補正後のサンプル画像の特徴を前記各特徴基底で表した第２特徴情報を抽出し、前記第１特徴情報から前記第２特徴情報に補正する補正関数を学習する補正関数学習ステップと、前記補正対象画像の特徴を前記各特徴基底で表した第３特徴情報を抽出し、この第３特徴情報から、前記補正関数に基づいて前記補正対象画像の補正後の特徴を前記各特徴基底で表した第４特徴情報を推定する推定ステップと、推定された前記第４特徴情報に基づいて前記補正対象画像を補正する補正ステップと、を含むことを特徴とする。
本発明の画像処理方法は、上述の画像処理装置と同様の作用効果を奏する。
【００１１】
本発明のコンピュータプログラムは、複数の補正前のサンプル画像、及びこれらの各サンプル画像に対応する複数の補正後のサンプル画像を学習用画像として含む画像情報を記憶する記憶部を備えたコンピュータに、補正対象画像を補正する処理を実行させるためのコンピュータプログラムであって、コンピュータを、補正対象画像を前記学習用画像として前記画像情報に含めた状態で、その画像情報に基づいて前記各学習用画像の特徴を表す複数の特徴基底を取得する特徴基底取得部と、前記補正前のサンプル画像の特徴を前記各特徴基底で表した第１特徴情報、及び前記補正後のサンプル画像の特徴を前記各特徴基底で表した第２特徴情報を抽出し、前記第１特徴情報から前記第２特徴情報に補正する補正関数を学習する補正関数学習部と、前記補正対象画像の特徴を前記各特徴基底で表した第３特徴情報を抽出し、この第３特徴情報から、前記補正関数に基づいて前記補正対象画像の補正後の特徴を前記各特徴基底で表した第４特徴情報を推定する推定部と、推定された前記第４特徴情報に基づいて前記補正対象画像を補正する補正部として機能させることを特徴とする。
本発明のコンピュータプログラムは、上述の画像処理装置と同様の作用効果を奏する。
【発明の効果】
【００１２】
本発明によれば、補正対象画像の補正精度を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る画像処理装置の機能ブロック図である。
【図２】補正関数学習部の機能ブロック図を示している。
【図３】補正関数を示す説明図である。
【図４】画像処理装置が実行する補正処理の内容を示すフローチャートである。
【図５】学習用画像の特徴点を示す説明図である。
【図６】部分空間法を用いた顔輪郭の形状変化の一例を示す説明図である。
【図７】補正関数学習部が実行する学習処理の内容を示すフローチャートである。
【図８】学習用画像と特徴基底の係数との関係を示す説明図である。
【図９】プロット部の処理内容を示す説明図である。
【図１０】区切り部の処理内容を示す説明図である。
【図１１】基準スコア算出部の処理内容を示す説明図である。
【図１２】補正関数算出部の処理内容を示す説明図である。
【図１３】推定部及び補正部の処理内容を示す説明図である。
【図１４】本実施形態の補正手法と従来の補正手法とを比較したものであり、（ａ）は元画像、（ｂ）は従来の補正画像、（ｃ）は本実施形態の補正画像である。
【発明を実施するための形態】
【００１４】
以下、本発明の好ましい実施形態を図面に基づいて説明する。
本実施形態に係る画像処理装置は、以下に説明する画像補正処理を実行するコンピュータプログラムをコンピュータにインストールして構成されたものであり、画像処理装置における各種の機能は、このコンピュータプログラムによって実現されている。
なお、前記コンピュータは、演算処理装置、記憶部、入出力デバイスなどを有している。
【００１５】
図１は、本発明の一実施形態に係る画像処理装置１の機能ブロック図を示している。この画像処理装置１は、例えば、顔画像の一部又は全部の形状を縮小または拡大することで小顔にしたり目を大きくしたりする美顔補正を行うものである。画像処理装置１は、記憶部２、特徴基底取得部３、補正関数学習部４、推定部５、及び補正部６としての機能を備えている。
【００１６】
記憶部２は、補正対象画像である元画像７の補正に用いる補正関数等を予め学習するための複数の学習用画像を含む画像情報１０を記憶している。
画像情報１０には、複数（ここでは５０個）の補正前のサンプル画像１１（以下、補正前サンプル画像ともいう）と、これらの補正前サンプル画像１１に対応する複数（ここでは５０個）の補正後のサンプル画像１２（以下、補正後サンプル画像ともいう）が学習用画像として含まれている。
【００１７】
各補正前サンプル画像１１は、それぞれ異なる女性を正面から撮影した顔画像である。各補正後サンプル画像１２は、対応する補正前サンプル画像１１に対して、例えばディスプレイ上で手動により美顔補正をした後の状態を示す顔画像である。
元画像７は、複数の補正前サンプル画像１１のいずれとも異なる女性を正面から撮影した顔画像である。
なお、本実施形態では、元画像７及び各サンプル画像１１，１２として女性の顔画像を用いているが、男性の顔画像を用いても良い。
【００１８】
特徴基底取得部３は、画像情報１０に含まれる各学習用画像の顔形状の特徴を表す複数の特徴基底を、部分空間法を用いて取得するものである。本実施形態の特徴基底取得部３は、元画像７を学習用画像として画像情報１０に含めた状態で特徴基底を取得する。例えば、特徴基底取得部３は、主成分分析を用いて、各サンプル画像１１，１２及び元画像７の形状情報（特徴点座標）から、これらの画像１１，１２，７の平均形状を算出し、その平均形状に基づいて特徴基底を算出する。
なお、本実施形態では部分空間法として、主成分分析を用いているが、独立成分分析など他の分析法を用いても良い。
【００１９】
補正関数学習部４は、特徴基底取得部３で学習した特徴基底に基づいて、補正前サンプル画像１１から、対応する補正後サンプル画像１２に補正する補正関数を学習するものである。本実施形態の補正関数学習部４は、補正前サンプル画像１１の特徴を各特徴基底とその係数（第１特徴量）とで表した第１特徴情報、及び補正後サンプル画像１２の特徴を各特徴基底とその係数（第２特徴量）とで表した第２特徴情報を抽出し、第１特徴情報から第２特徴情報に補正する補正関数を算出する。
【００２０】
図２は、補正関数学習部４の機能ブロック図を示している。図３は、補正関数学習部４が学習する補正関数を示す説明図である。
図２及び図３において、補正関数学習部４は、抽出部４０、プロット部４１、区切り部４２、基準スコア算出部４３、及び補正関数算出部４４を有している。
【００２１】
抽出部４０は、特徴基底取得部３が取得した複数の特徴基底に基づいて、各補正前サンプル画像１１の上記第１特徴情報の第１特徴量と、各補正後サンプル画像１２の上記第２特徴情報の第２特徴量とを抽出するものである。
【００２２】
プロット部４１は、横軸（第１座標軸）を第１特徴量とし、横軸に直交する縦軸（第２座標軸）を第１特徴量から第２特徴量への変化量とした直交座標において、補正前サンプル画像１２ごとに第１特徴量に対応する前記変化量を示す複数の座標点Ｐ（図３中の白抜き四角点）をプロットするものである。
【００２３】
区切り部４２は、上記直交座標の横軸をその軸方向に所定の間隔ｄごとに区切るものである。本実施形態の区切り部４２は、前記間隔ｄを全て一定間隔に設定している。なお、説明の便宜上、横軸の各区切り点には、縦軸と平行な仮想区切り線Ｌをそれぞれ配置している。
【００２４】
基準スコア算出部４３は、各仮想区切り線Ｌの近傍に位置する前記座標点Ｐに基づいて、当該各仮想区切り線Ｌ上における縦軸の値を示す基準スコアを算出するものである。
補正関数算出部４４は、各仮想区切り線Ｌ上において、図３中の黒丸点で示すように前記基準スコアをプロットし、当該プロットした複数の基準スコアを繋ぐ曲線の関数を上記補正関数として算出するものである。
【００２５】
図２において、推定部５は、補正関数学習部４で学習した補正関数に基づいて、元画像７の補正後の特徴を、各特徴基底を用いて推定するものである。本実施形態の推定部５は、まず元画像７の特徴を各特徴基底とその係数とで表した第３特徴情報を抽出し、この第３特徴情報から、補正関数に基づいて元画像７の補正後の特徴を各特徴基底とその係数とで表した第４特徴情報を推定する。
補正部６は、推定部５で推定された第４特徴情報に基づいて元画像７を補正し、その補正画像８を出力するものである。
【００２６】
図４は、画像処理装置１が実行する補正処理の内容を示すフローチャートである。以下、図４を参照しつつ、画像処理装置１が実行する補正処理の手順について説明する。
まず、特徴基底取得部３は、元画像７が入力されると、記憶部２から画像情報１０を読み出し、その画像情報１０に学習用画像として元画像７を含める（ステップＳ１）。これにより、画像情報１０には、５０個の補正前サンプル画像１１と、５０個の補正後サンプル画像１２と、１個の元画像７とからなる合計１０１個の学習用画像が含まれる。
【００２７】
次に、特徴基底取得部３は、主成分分析（ＰＣＡ）により各学習用画像の特徴を表す特徴基底を取得する（ステップＳ２、特徴基底学習ステップ）。具体的には、特徴基底取得部３は、図５に示すように、まず画像情報１０に含まれる１０１個の学習用画像それぞれについて、ｘｙ座標空間における顔の輪郭、眉毛、目、鼻及び口などに複数（ここではｎ個）の特徴点（図中の黒丸点）を付与し、これらの特徴点の座標（特徴点座標）を取得する。そして、特徴基底取得部３は、各学習用画像から取得したｎ個の特徴点座標を形状ベクトルＵｂ＝（ｘ１，ｙ１，ｘ２，ｙ２，・・・，ｘｎ，ｙｎ）Ｔとして表す。ここで、下付の変数ｂは学習用画像の画像番号（１≦ｂ≦１０１）であり、上付のＴは転置行列を表す。
【００２８】
次に、特徴基底取得部３は、全ての学習用画像の形状ベクトルＵｂの平均を表す平均形状ベクトルＵａｖｅを下記式（１）により算出する。
【数１】
0006506053.tif 000002
ここで、変数Ｎは学習用画像の全画像個数である。
【００２９】
次に、特徴基底取得部３は、形状ベクトルＵおよび平均形状ベクトルＵａｖｅから共分散行列Ｓを下記式（２）により算出し、その算出した共分散行列Ｓから固有値λｂと固有ベクトルｖｂとを下記式（３）により算出する。
【数２】
0006506053.tif 000003
【数３】
0006506053.tif 000004
【００３０】
そして、特徴基底取得部３は、算出された固有ベクトルｖｂのうち、例えば固有値の大きいｍ個（ｍ≦２ｎ）の固有ベクトルＶ＝（ｖ１，ｖ２，・・・，ｖｍ）を取得し、この固有ベクトルＶを構成する複数の成分を特徴基底として取得する。
さらに、特徴基底取得部３は、固有ベクトルＶを用いて、形状ベクトルＵｂの形状特徴ベクトルＷｂ＝（ｗ１，ｗ２，・・・，ｗｍ）を下記式（４）により算出する。
Ｗｂ＝ＶＴ（Ｕｂ−Ｕａｖｅ）    ・・・（４）
【００３１】
そして、特徴基底取得部３は、上記各特徴基底ｖ１，ｖ２，・・・，ｖｍを基底とし、上記形状特徴ベクトルＷｂの成分ｗ１，ｗ２，・・・，ｗｍを各基底の係数として、その線形和である下記式（５）を作成する。
Ｕｂ＝Ｕａｖｅ＋ｗ１ｖ１＋ｗ２ｖ２＋・・・＋ｗｍｖｍ    ・・・（５）
上記式（５）により、各学習用画像の顔形状の特徴を表現することができる。
【００３２】
図６は、部分空間法における上記式（５）を用いた顔輪郭の形状変化の一例を示している。
図例では、平均の顔輪郭形状Ｕａｖｅに対して、第１特徴基底ｖ１の係数ｗ１の値を変化させた場合と、第２特徴基底ｖ２の係数ｗ２を変化させた場合とを示している。図中のｕは係数ｗ１の値、ｒは係数ｗ２の値である。図６に示すように、係数ｗ１又は係数ｗ２を変化させると、顔輪郭が平均の顔輪郭形状Ｕａｖｅからそれぞれ異なる形状に変化しているのが分かる。
【００３３】
次に、図４のステップＳ３において、補正関数学習部４により、特徴基底取得部３で取得した特徴基底の係数に基づいて、補正前サンプル画像１１から対応する補正後サンプル画像１２に補正する補正関数を学習する（特徴基底学習ステップ）。
【００３４】
図７は、補正関数学習部４が実行する学習処理の内容を示すフローチャートである。図７に示すように、補正関数学習部４の抽出部４０は、上記式（５）から各補正前サンプル画像１１の特徴基底ｖｉの係数ｗｉｊ（以下、補正前サンプル係数ともいう）と、各補正後サンプル画像１２の特徴基底ｖｉの係数ｗｉｊ’（以下、補正後サンプル係数ともいう）とを抽出する（ステップＳ４０）。ここで、下付の変数ｉは、特徴基底の基底番号（１≦ｉ≦ｍ）であり、上付の変数ｊは、補正前サンプル画像１１とこれに対応する補正後サンプル画像１２とを一組とした画像組番号（１≦ｊ≦５０）である。補正前サンプル画像１１，１２とサンプル係数ｗｉｊ，ｗｉｊ’との関係を図８に示す。
【００３５】
次に、補正関数学習部４のプロット部４１は、図９に示すように、横軸を補正前サンプル係数ｗｉ（第１特徴量）とし、縦軸を補正前サンプル係数ｗｉから補正後サンプル係数ｗｉ’（第２特徴量）への変化量（ｗｉ’−ｗｉ）とした直交座標を作成する。そして、プロット部４１は、この直交座標上に、上記各画像組の補正前サンプル係数ｗｉに対応する前記変化量（ｗｉ’−ｗｉ）を示す複数（ここでは５０個）の座標点Ｐ（図９中の白抜き四角点）をプロットする（図７のステップＳ４１、プロットステップ）。
【００３６】
次に、補正関数学習部４の区切り部４２は、図１０に示すように、直交座標の横軸をその軸方向に一定の間隔ｄごとに区切る（図７のステップＳ４２、区切りステップ）。図１０では、横軸の各区切り点に仮想区切り線Ｌを配置している。
【００３７】
なお、本実施形態の区切り部４２は、上記間隔ｄを一定にしているが、各間隔ｄをそれぞれ調整可能としても良い。この場合、区切り部４２は、複数の間隔ｄ内にそれぞれ位置する座標点Ｐの個数が均等になるように各間隔ｄを調整することができる。
例えば、図１０では、縦軸付近に多くの座標点Ｐが存在するので、縦軸付近では間隔ｄを短くして仮想区切り線Ｌを多く配置すればよい。また、縦軸から横軸方向に離れるに従って座標点Ｐの個数は減少するので、縦軸から離れるに従って間隔ｄを長くして仮想区切り線Ｌを少なく配置すればよい。このように間隔ｄを適宜調整することで、各間隔ｄ内にそれぞれ位置する座標点Ｐの個数を均等にすることができる。
【００３８】
次に、補正関数学習部４の基準スコア算出部４３は、各仮想区切り線Ｌの近傍に位置する座標点Ｐに基づいて、各仮想区切り線Ｌ上における縦軸の値を示す基準スコアを算出する（図７のステップＳ４３、基準スコア算出ステップ）。ここでは、一例として、図１１に示すように、一の仮想区切り線Ｌ１の近傍（図中の二点鎖線で囲む部分）に２以上（ここでは６個）の座標点Ｐが位置する場合における当該仮想区切り線Ｌ１上に配置される基準スコアの算出方法について説明する。
【００３９】
基準スコア算出部４３は、まず、一の座標点Ｐｎに着目し、当該座標点Ｐｎの近くに存在する４本の仮想区切り線Ｌ１〜Ｌ４それぞれに配置される仮基準スコアφ０ｎ〜φ３ｎを下記式（６）を用いて算出する。
【数４】
0006506053.tif 000005
【００４０】
上記式（６）において、下付の変数ｋ及び変数ａは仮想区切り線Ｌの番号（０≦ｋ≦３，０≦ａ≦３）である。また、上付の変数ｎは、各仮想区切り線Ｌｋの近傍に位置する複数の座標点Ｐの番号（ここでは１≦ｎ≦６）である。
なお、仮基準スコアを算出するために用いる仮想区切り線の本数は４本に限定されるものではなく、少なくとも２本の仮想区切り線を用いればよい。
【００４１】
上記式（６）中のＢｋ（ｓｎ）は、前記各仮基準スコアφ０ｎ〜φ３ｎに付与される第１の重みを示している。この第１の重みＢｋ（ｓｎ）は、座標点Ｐｎから各仮想区切り線Ｌｋまでの横軸方向の距離に応じて算出される。すなわち、上記式（６）を用いることで、仮想区切り線Ｌ１上における仮基準スコアφ１ｎは、他の仮想区切り線Ｌ０，Ｌ２，Ｌ３上における仮基準スコアφ０ｎ，φ２ｎ，φ３ｎを考慮して算出される。なお、上記式（６）中のＢａ（ｓｎ）は、上記Ｂｋ（ｓｎ）と同様に、第１の重みを示している。
【００４２】
前記第１の重みＢｋ（ｓｎ）は、座標点Ｐｎから各仮想区切り線Ｌｋまでの横軸方向の距離が短いほど大きい値が付与される。本実施形態の第１の重みＢｋ（ｓｎ）は、前記間隔ｄ＝１とし、座標点Ｐｎから仮想区切り線Ｌ１までの横軸方向の距離をｓｎ（０≦ｓｎ＜１）とした場合、Ｂ−ｓｐｌｉｎｅ基底関数である下記式（７）〜（１０）を用いて算出することができる。
【数５】
0006506053.tif 000006
【数６】
0006506053.tif 000007
【数７】
0006506053.tif 000008
【数８】
0006506053.tif 000009
【００４３】
基準スコア算出部４３は、上記手法により一の座標点Ｐｎに対する仮基準スコアφ０ｎ〜φ３ｎを算出した後は、残りの５個の座標点Ｐそれぞれに対する仮基準スコアφ０〜φ３を、上記手法と同様に算出する。
そして、基準スコア算出部４３は、６個の各座標点Ｐ１〜Ｐ６のそれぞれに着目して算出された、仮想区切り線Ｌ１（Ｌｋ）上における複数の仮基準スコアφ１１〜φ１６（φｋｎ）から、最終的な基準スコアφ１（φｋ）を下記式（１１）を用いて算出する。
【数９】
0006506053.tif 000010
【００４４】
上記式（１１）中の（ｃ２／Σｃ２）は、基準スコアφｋを算出する際に考慮される第２の重みを示している。この第２の重み（ｃ２／Σｃ２）は、一の仮想区切り線Ｌｋに近似する複数の座標点Ｐｎの平均値（図中の白抜き三角点）から各座標点Ｐｎまでの縦軸方向の距離ｈｎに応じて、当該各座標点Ｐｎに対してそれぞれ付与される。本実施形態の第２の重みは、前記距離ｈｎが短いほど大きい値が付与される。したがって、前記距離ｈｎが極端に長い場合、つまり外れ値となる座標点Ｐは、第２の重みの値が小さくなるので、当該座標点Ｐが基準スコアφｋの算出に影響を及ぼすのを抑制することができる。
【００４５】
なお、第２の重み（ｃ２／Σｃ２）の式中のｃは、補正前サンプル係数ｗｉｎ及び補正後サンプル係数ｗｉｎ’を用いた下記式（１２）及び式（１３）により算出することができる。
【数１０】
0006506053.tif 000011
【数１１】
0006506053.tif 000012
ここで、ΔＷａｖｅは、ΔＷの平均値である。
【００４６】
基準スコア算出部４３は、仮想区切り線Ｌ１上における基準スコアφ１を算出した後は、その他の複数の仮想区切り線Ｌ上に配置される基準スコアφを、それぞれ上記手法と同様に算出する。
【００４７】
次に、補正関数学習部４の補正関数算出部４４は、図１２に示すように、基準スコア算出部４３で算出された複数の基準スコアφを、直交座標上の対応する仮想区切り線Ｌ上にプロットする（図７のステップＳ４４）。
そして、補正関数算出部４４は、図３に示すように、直交座標上にプロットされた全ての基準スコアφを繋ぐ自由曲線の関数を補正関数として算出する。この補正関数は、例えばＢ−ｓｐｌｉｎｅ関数を用いて算出することができる。補正関数学習部４は、特徴基底ｖｉごとに上記手順を繰り返すことで、特徴基底ｖｉごとの補正関数Ｆｉ（ｗｉ）を作成する（図７のステップＳ４５、補正関数算出ステップ）。
なお、補正関数は、Ｂ−ｓｐｌｉｎｅ関数以外の他の変換関数を用いても良い。
【００４８】
図４に戻り、次に、推定部５は、元画像７の補正後における各特徴基底ｖｉの係数ｗｉ’を推定する（ステップＳ５、推定ステップ）。そして、補正部６により、推定された各特徴基底ｖｉの係数ｗｉ’に基づいて元画像７を補正する（ステップＳ６、補正ステップ）。
【００４９】
図１３は、図４のステップＳ５及びステップＳ６の処理内容を示す説明図である。図１３に示すように、推定部５は、まず元画像７の各特徴基底ｖｉの係数ｗｉを抽出する。この係数ｗｉは、上記式（５）から抽出することができる。
次に、推定部５は、抽出した上記係数ｗｉと補正関数Ｆｉ（ｗｉ）を用いた下記式（６）により、元画像７の補正後における各特徴基底ｖｉの係数ｗｉ’を算出する。
ｗｉ’＝ｗｉ＋Ｆｉ（ｗｉ）    ・・・（６）
【００５０】
次に、補正部６は、推定部５で算出された上記係数ｗｉ’に基づいて、元画像７の補正後における形状ベクトルＵｉを上記式（５）により算出する。そして、補正部６は、算出した形状ベクトルＵｉに基づいて、元画像７の顔形状をワーピング等により変形させて補正画像８を作成する。補正部６は、作成された補正画像８を出力して補正処理を終了する。
【００５１】
図１４は、本実施形態の補正手法と従来の補正手法とを比較したものである。図１４（ａ）は本実施形態及び従来の各補正手法に用いた元画像である。図１４（ｂ）は従来の補正手法により顔輪郭等を補正した後の補正画像である。図１４（ｃ）は本実施形態の補正手法により顔輪郭等を補正した後の補正画像である。
図１４（ｂ）の従来の補正画像では、顔輪郭の一部（特に左頬の部分）が不自然な形状をしているのが分かる。これに対して、図１４（ｃ）の本実施形態の補正画像では、顔輪郭の全体が自然な形状となっており、従来の補正画像よりも補正精度が向上しているのが分かる。
【００５２】
以上、本実施形態の画像処理装置１によれば、補正対象画像（元画像）７を学習用画像として画像情報１０に含めた状態で、各学習用画像の特徴を表すための複数の特徴基底ｖｉを抽出しているため、これらの特徴基底ｖｉを用いることで補正対象画像７の特徴を表す第３特徴情報を正確に表すことができる。これにより、補正対象画像７の補正後の特徴を表す第４特徴情報も正確に表すことができるので、補正対象画像７の補正精度を向上させることができる。特に、本実施形態のように顔画像を美顔補正する場合に有用である。
【００５３】
また、補正関数学習部４において補正関数を学習するときに、直交座標の横軸を所定の間隔ｄごとに区切った複数の仮想区切り線Ｌ上に、各仮想区切り線Ｌの近傍に位置する座標点Ｐに基づいて算出された基準スコアφを直交座標の縦軸の値としてそれぞれプロットすることで、当該プロットされた複数の基準スコアφを繋ぐ自由曲線の関数を補正関数として算出することができる。したがって、直交座標にプロットされた座標点Ｐにばらつきがあっても、補正対象画像７を補正するための補正関数を適切に求めることができる。その結果、補正対象画像７の補正精度をさらに向上させることができる。
【００５４】
また、補正関数学習部４の基準スコア算出部４３は、仮想区切り線Ｌの近傍に２以上の座標点Ｐが位置する場合には、その２以上の座標点Ｐそれぞれに対して、当該２以上の座標点Ｐの平均値からの距離ｈに応じた重みを付け、その重みを考慮して基準スコアφを算出する。したがって、仮想区切り線Ｌの近傍に２以上の座標点Ｐが位置する場合には、その仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度を向上させることができるので、補正関数をさらに適切に求めることができる。
【００５５】
また、補正関数学習部４の区切り部４２は、直交座標の横軸を区切る間隔ｄを調整可能とした場合には、上記間隔ｄを適切に調整することで、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。
また、区切り部４２は、複数の間隔ｄ内にそれぞれ位置する座標点Ｐの個数が均等になるように各間隔ｄを調整することで、各仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度にばらつきが生じるのを抑えることができる。
【００５６】
また、基準スコア算出部４３は、一の仮想区切り線Ｌ上における基準スコアφを、当該一の仮想区切り線Ｌ以外の他の仮想区切り線Ｌ上における基準スコアφを考慮して算出するので、各仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度をさらに向上させることができる。
【００５７】
上述の実施形態はすべて例示であって制限的なものではない。本発明の権利範囲は特許請求の範囲によって規定され、そこに記載された構成と均等の範囲内のすべての変更は本発明の技術的範囲に含まれる。例えば、上記実施形態の画像処理装置１は、顔画像の美顔補正に適用しているが、顔画像以外の画像を補正する場合にも適用することができる。
【符号の説明】
【００５８】
１  画像処理装置
２  記憶部
３  特徴基底取得部
４  補正関数学習部
５  推定部
６  補正部
７  元画像（補正対象画像）
１０  画像情報
１１  補正前のサンプル画像
１２  補正後のサンプル画像
【図１】
0006506053.tif 000013
【図２】
0006506053.tif 000014
【図３】
0006506053.tif 000015
【図４】
0006506053.tif 000016
【図５】
0006506053.tif 000017
【図６】
0006506053.tif 000018
【図７】
0006506053.tif 000019
【図８】
0006506053.tif 000020
【図９】
0006506053.tif 000021
【図１０】
0006506053.tif 000022
【図１１】
0006506053.tif 000023
【図１２】
0006506053.tif 000024
【図１３】
0006506053.tif 000025
【図１４】
0006506053.tif 000026