(57)【特許請求の範囲】
【請求項１】
複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理装置であって、
第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、
前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、
前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記基準スコア算出部は、前記仮想区切り線の近傍に２以上の前記座標点が位置する場合、前記２以上の座標点それぞれに対して、当該２以上の座標点の平均値からの距離に応じた重みを付け、その重みを考慮して前記基準スコアを算出する請求項１に記載の画像処理装置。
【請求項３】
前記区切り部は、前記間隔を調整可能である請求項１又は２に記載の画像処理装置。
【請求項４】
前記区切り部は、複数の前記間隔内にそれぞれ位置する前記座標点の個数が均等になるように、複数の前記間隔を調整する請求項３に記載の画像処理装置。
【請求項５】
前記基準スコア算出部は、一の仮想区切り線上における基準スコアを、当該一の仮想区切り線以外の他の仮想区切り線上における基準スコアを考慮して算出する請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理方法であって、
第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロットステップと、
前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切りステップと、
前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出ステップと、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める処理をコンピュータに実行させるためのコンピュータプログラムであって、
コンピュータを、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、
前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、
前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、高画質で加工の容易なデジタル画像の普及に伴い、例えば顔画像の一部の形状を縮小または拡大することで小顔にしたり目を大きくしたりする美顔補正が広く行われている。近年、美顔補正などの顔画像の形状を補正するニーズの増加及び多用化に伴い、顔画像の形状を自動的に補正する手法が提案されている。
【０００３】
このような補正手法として、顔画像の形状を補正するための補正関数を予め規定しておき、この規定された補正関数を補正対象の顔画像に適用することで、自動的に顔画像を補正する手法が知られている。しかし、この補正手法では、顔画像が異なる場合であっても予め規定された補正関数が適用されるので、個人の顔画像の特徴を十分に反映させた補正を実現することができない場合があり、場合によっては不自然な補正画像が作成される可能性がある。
【０００４】
そこで、非特許文献１に示すように、個人の顔画像の特徴に応じた補正を行う手法が提案されている。この補正手法では、まず、補正前の顔画像である複数のサンプル画像と、これらの各サンプル画像を手動により補正した後の複数のサンプル画像とに基づいてコンピュータ等により予め機械学習を行う。この機械学習では、補正前のサンプル画像の特徴を表す特徴量と、補正後のサンプル画像の特徴を表す特徴量とを抽出する。そして、補正前のサンプル画像の特徴量から、対応する補正後のサンプル画像の特徴量に補正する補正関数（例えばＢ−ｓｐｌｉｎｅ関数）を求める。
【０００５】
次に、上記機械学習による学習結果に基づいて、補正対象の顔画像である補正対象画像の特徴を表す特徴量を抽出する。そして、この補正対象画像の特徴量から、前記補正関数に基づいて補正対象画像の補正後の特徴を表す特徴量を推定し、その推定した特徴量に基づいて補正対象画像を補正するようになっている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】瀬尾昌孝および陳延偉、「顔形状の部分空間を用いた個人の顔形状に応じた小顔補正法」、日本顔会誌、ｖｏｌ.１１、Ｎｏ．２、ｐｐ.４１−５０、２０１１年９月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１の補正手法では、機械学習で補正関数を求める際に用いられるデータ（例えば補正前後における特徴量の変化量）のばらつきが少ない場合には、適切な補正関数を求めることができる。しかし、上記データのばらつきが大きくなると、適切な補正関数を求めることが困難となり、補正対象画像の補正精度が低下するという問題がある。
本発明は、上記問題点に鑑みてなされたものであり、補正対象画像を補正する補正関数を適切に求めることができるようにする。
【課題を解決するための手段】
【０００８】
前記目的を達成するための本発明の画像処理装置は、複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理装置であって、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部と、
を備えていることを特徴とする。
【０００９】
本発明の画像処理装置によれば、直交座標の第１座標軸を所定の間隔ごとに区切った複数の仮想区切り線上に、各仮想区切り線の近傍に位置する座標点に基づいて算出された基準スコアを第２座標軸の値としてそれぞれプロットすることで、当該プロットされた複数の基準スコアを繋ぐ曲線の関数を補正関数として算出することができる。したがって、直交座標にプロットされた座標点にばらつきがあっても、補正対象画像を補正するための補正関数を適切に求めることができる。その結果、補正対象画像の補正精度を向上させることができる。
【００１０】
前記画像処理装置において、前記基準スコア算出部は、前記仮想区切り線の近傍に２以上の前記座標点が位置する場合、前記２以上の座標点それぞれに対して、当該２以上の座標点の平均値からの距離に応じた重みを付け、その重みを考慮して前記基準スコアを算出するのが好ましい。
この場合、仮想区切り線の近傍に２以上の座標点が位置する場合には、これら２以上の座標点の平均値から各座標点までの距離に応じた重みを考慮して基準スコアを算出するので、その仮想区切り線上にプロットされる基準スコアの算出精度を向上させることができる。これにより、補正関数をさらに適切に求めることができる。
【００１１】
前記画像処理装置において、前記区切り部は、前記間隔を調整可能であるのが好ましい。
この場合、仮想区切り線により第１座標軸を区切る間隔を適切に調整することで、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。
【００１２】
前記画像処理装置において、前記区切り部は、複数の前記間隔内にそれぞれ位置する前記座標点の個数が均等になるように、複数の前記間隔を調整するのが好ましい。
この場合、各仮想区切り線上にプロットされる基準スコアの算出精度にばらつきが生じるのを抑えることができる。
【００１３】
前記画像処理装置において、前記基準スコア算出部は、一の仮想区切り線上における基準スコアを、当該一の仮想区切り線以外の他の仮想区切り線上における基準スコアを考慮して算出するのが好ましい。
この場合、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。
【００１４】
本発明の画像処理方法は、複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理方法であって、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロットステップと、前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切りステップと、前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出ステップと、前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出ステップと、を含むことを特徴とする。
本発明の画像処理方法は、上述の画像処理装置と同様の作用効果を奏する。
【００１５】
本発明のコンピュータプログラムは、複数の補正前のサンプル画像それぞれの特徴を表す第１特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第２特徴量とに基づいて、補正対象画像を補正するための補正関数を求める処理をコンピュータに実行させるためのコンピュータプログラムであって、コンピュータを、第１座標軸を前記第１特徴量とし、前記第１座標軸に直交する第２座標軸を前記第１特徴量から前記第２特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第１特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、前記第１座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、前記第１座標軸の各区切り点を通過し且つ前記第２座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第２座標軸の値を示す基準スコアを算出する基準スコア算出部と、前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部として機能させることを特徴とする。
本発明のコンピュータプログラムは、上述の画像処理装置と同様の作用効果を奏する。
【発明の効果】
【００１６】
本発明によれば、補正対象画像を補正するための補正関数を適切に求めることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置の機能ブロック図である。
【図２】補正関数学習部の機能ブロック図を示している。
【図３】補正関数を示す説明図である。
【図４】画像処理装置が実行する補正処理の内容を示すフローチャートである。
【図５】学習用画像の特徴点を示す説明図である。
【図６】部分空間法を用いた顔輪郭の形状変化の一例を示す説明図である。
【図７】補正関数学習部が実行する学習処理の内容を示すフローチャートである。
【図８】学習用画像と特徴基底の係数との関係を示す説明図である。
【図９】プロット部の処理内容を示す説明図である。
【図１０】区切り部の処理内容を示す説明図である。
【図１１】基準スコア算出部の処理内容を示す説明図である。
【図１２】補正関数算出部の処理内容を示す説明図である。
【図１３】推定部及び補正部の処理内容を示す説明図である。
【図１４】本実施形態の補正手法と従来の補正手法とを比較したものであり、（ａ）は元画像、（ｂ）は従来の補正画像、（ｃ）は本実施形態の補正画像である。
【発明を実施するための形態】
【００１８】
以下、本発明の好ましい実施形態を図面に基づいて説明する。
本実施形態に係る画像処理装置は、以下に説明する画像補正処理を実行するコンピュータプログラムをコンピュータにインストールして構成されたものであり、画像処理装置における各種の機能は、このコンピュータプログラムによって実現されている。
なお、前記コンピュータは、演算処理装置、記憶部、入出力デバイスなどを有している。
【００１９】
図１は、本発明の一実施形態に係る画像処理装置１の機能ブロック図を示している。この画像処理装置１は、例えば、顔画像の一部又は全部の形状を縮小または拡大することで小顔にしたり目を大きくしたりする美顔補正を行うものである。画像処理装置１は、記憶部２、特徴基底取得部３、補正関数学習部４、推定部５、及び補正部６としての機能を備えている。
【００２０】
記憶部２は、補正対象画像である元画像７の補正に用いる補正関数等を予め学習するための複数の学習用画像を含む画像情報１０を記憶している。
画像情報１０には、複数（ここでは５０個）の補正前のサンプル画像１１（以下、補正前サンプル画像ともいう）と、これらの補正前サンプル画像１１に対応する複数（ここでは５０個）の補正後のサンプル画像１２（以下、補正後サンプル画像ともいう）が学習用画像として含まれている。
【００２１】
各補正前サンプル画像１１は、それぞれ異なる女性を正面から撮影した顔画像である。各補正後サンプル画像１２は、対応する補正前サンプル画像１１に対して、例えばディスプレイ上で手動により美顔補正をした後の状態を示す顔画像である。
元画像７は、複数の補正前サンプル画像１１のいずれとも異なる女性を正面から撮影した顔画像である。
なお、本実施形態では、元画像７及び各サンプル画像１１，１２として女性の顔画像を用いているが、男性の顔画像を用いても良い。
【００２２】
特徴基底取得部３は、画像情報１０に含まれる各学習用画像の顔形状の特徴を表す複数の特徴基底を、部分空間法を用いて取得するものである。本実施形態の特徴基底取得部３は、元画像７を学習用画像として画像情報１０に含めた状態で特徴基底を取得する。例えば、特徴基底取得部３は、主成分分析を用いて、各サンプル画像１１，１２及び元画像７の形状情報（特徴点座標）から、これらの画像１１，１２，７の平均形状を算出し、その平均形状に基づいて特徴基底を算出する。
なお、本実施形態では部分空間法として、主成分分析を用いているが、独立成分分析など他の分析法を用いても良い。
【００２３】
補正関数学習部４は、特徴基底取得部３で学習した特徴基底に基づいて、補正前サンプル画像１１から、対応する補正後サンプル画像１２に補正する補正関数を学習するものである。本実施形態の補正関数学習部４は、補正前サンプル画像１１の特徴を各特徴基底とその係数（第１特徴量）とで表した第１特徴情報、及び補正後サンプル画像１２の特徴を各特徴基底とその係数（第２特徴量）とで表した第２特徴情報を抽出し、第１特徴情報から第２特徴情報に補正する補正関数を算出する。
【００２４】
図２は、補正関数学習部４の機能ブロック図を示している。図３は、補正関数学習部４が学習する補正関数を示す説明図である。
図２及び図３において、補正関数学習部４は、抽出部４０、プロット部４１、区切り部４２、基準スコア算出部４３、及び補正関数算出部４４を有している。
【００２５】
抽出部４０は、特徴基底取得部３が取得した複数の特徴基底に基づいて、各補正前サンプル画像１１の上記第１特徴情報の第１特徴量と、各補正後サンプル画像１２の上記第２特徴情報の第２特徴量とを抽出するものである。
【００２６】
プロット部４１は、横軸（第１座標軸）を第１特徴量とし、横軸に直交する縦軸（第２座標軸）を第１特徴量から第２特徴量への変化量とした直交座標において、補正前サンプル画像１２ごとに第１特徴量に対応する前記変化量を示す複数の座標点Ｐ（図３中の白抜き四角点）をプロットするものである。
【００２７】
区切り部４２は、上記直交座標の横軸をその軸方向に所定の間隔ｄごとに区切るものである。本実施形態の区切り部４２は、前記間隔ｄを全て一定間隔に設定している。なお、説明の便宜上、横軸の各区切り点には、縦軸と平行な仮想区切り線Ｌをそれぞれ配置している。
【００２８】
基準スコア算出部４３は、各仮想区切り線Ｌの近傍に位置する前記座標点Ｐに基づいて、当該各仮想区切り線Ｌ上における縦軸の値を示す基準スコアを算出するものである。
補正関数算出部４４は、各仮想区切り線Ｌ上において、図３中の黒丸点で示すように前記基準スコアをプロットし、当該プロットした複数の基準スコアを繋ぐ曲線の関数を上記補正関数として算出するものである。
【００２９】
図２において、推定部５は、補正関数学習部４で学習した補正関数に基づいて、元画像７の補正後の特徴を、各特徴基底を用いて推定するものである。本実施形態の推定部５は、まず元画像７の特徴を各特徴基底とその係数とで表した第３特徴情報を抽出し、この第３特徴情報から、補正関数に基づいて元画像７の補正後の特徴を各特徴基底とその係数とで表した第４特徴情報を推定する。
補正部６は、推定部５で推定された第４特徴情報に基づいて元画像７を補正し、その補正画像８を出力するものである。
【００３０】
図４は、画像処理装置１が実行する補正処理の内容を示すフローチャートである。以下、図４を参照しつつ、画像処理装置１が実行する補正処理の手順について説明する。
まず、特徴基底取得部３は、元画像７が入力されると、記憶部２から画像情報１０を読み出し、その画像情報１０に学習用画像として元画像７を含める（ステップＳ１）。これにより、画像情報１０には、５０個の補正前サンプル画像１１と、５０個の補正後サンプル画像１２と、１個の元画像７とからなる合計１０１個の学習用画像が含まれる。
【００３１】
次に、特徴基底取得部３は、主成分分析（ＰＣＡ）により各学習用画像の特徴を表す特徴基底を取得する（ステップＳ２、特徴基底学習ステップ）。具体的には、特徴基底取得部３は、図５に示すように、まず画像情報１０に含まれる１０１個の学習用画像それぞれについて、ｘｙ座標空間における顔の輪郭、眉毛、目、鼻及び口などに複数（ここではｎ個）の特徴点（図中の黒丸点）を付与し、これらの特徴点の座標（特徴点座標）を取得する。そして、特徴基底取得部３は、各学習用画像から取得したｎ個の特徴点座標を形状ベクトルＵｂ＝（ｘ１，ｙ１，ｘ２，ｙ２，・・・，ｘｎ，ｙｎ）Ｔとして表す。ここで、下付の変数ｂは学習用画像の画像番号（１≦ｂ≦１０１）であり、上付のＴは転置行列を表す。
【００３２】
次に、特徴基底取得部３は、全ての学習用画像の形状ベクトルＵｂの平均を表す平均形状ベクトルＵａｖｅを下記式（１）により算出する。
【数１】
0006469483.tif 000002
ここで、変数Ｎは学習用画像の全画像個数である。
【００３３】
次に、特徴基底取得部３は、形状ベクトルＵおよび平均形状ベクトルＵａｖｅから共分散行列Ｓを下記式（２）により算出し、その算出した共分散行列Ｓから固有値λｂと固有ベクトルｖｂとを下記式（３）により算出する。
【数２】
0006469483.tif 000003
【数３】
0006469483.tif 000004
【００３４】
そして、特徴基底取得部３は、算出された固有ベクトルｖｂのうち、例えば固有値の大きいｍ個（ｍ≦２ｎ）の固有ベクトルＶ＝（ｖ１，ｖ２，・・・，ｖｍ）を取得し、この固有ベクトルＶを構成する複数の成分を特徴基底として取得する。
さらに、特徴基底取得部３は、固有ベクトルＶを用いて、形状ベクトルＵｂの形状特徴ベクトルＷｂ＝（ｗ１，ｗ２，・・・，ｗｍ）を下記式（４）により算出する。
Ｗｂ＝ＶＴ（Ｕｂ−Ｕａｖｅ）    ・・・（４）
【００３５】
そして、特徴基底取得部３は、上記各特徴基底ｖ１，ｖ２，・・・，ｖｍを基底とし、上記形状特徴ベクトルＷｂの成分ｗ１，ｗ２，・・・，ｗｍを各基底の係数として、その線形和である下記式（５）を作成する。
Ｕｂ＝Ｕａｖｅ＋ｗ１ｖ１＋ｗ２ｖ２＋・・・＋ｗｍｖｍ    ・・・（５）
上記式（５）により、各学習用画像の顔形状の特徴を表現することができる。
【００３６】
図６は、部分空間法における上記式（５）を用いた顔輪郭の形状変化の一例を示している。
図例では、平均の顔輪郭形状Ｕａｖｅに対して、第１特徴基底ｖ１の係数ｗ１の値を変化させた場合と、第２特徴基底ｖ２の係数ｗ２を変化させた場合とを示している。図中のｕは係数ｗ１の値、ｒは係数ｗ２の値である。図６に示すように、係数ｗ１又は係数ｗ２を変化させると、顔輪郭が平均の顔輪郭形状Ｕａｖｅからそれぞれ異なる形状に変化しているのが分かる。
【００３７】
次に、図４のステップＳ３において、補正関数学習部４により、特徴基底取得部３で取得した特徴基底の係数に基づいて、補正前サンプル画像１１から対応する補正後サンプル画像１２に補正する補正関数を学習する（特徴基底学習ステップ）。
【００３８】
図７は、補正関数学習部４が実行する学習処理の内容を示すフローチャートである。図７に示すように、補正関数学習部４の抽出部４０は、上記式（５）から各補正前サンプル画像１１の特徴基底ｖｉの係数ｗｉｊ（以下、補正前サンプル係数ともいう）と、各補正後サンプル画像１２の特徴基底ｖｉの係数ｗｉｊ’（以下、補正後サンプル係数ともいう）とを抽出する（ステップＳ４０）。ここで、下付の変数ｉは、特徴基底の基底番号（１≦ｉ≦ｍ）であり、上付の変数ｊは、補正前サンプル画像１１とこれに対応する補正後サンプル画像１２とを一組とした画像組番号（１≦ｊ≦５０）である。補正前サンプル画像１１，１２とサンプル係数ｗｉｊ，ｗｉｊ’との関係を図８に示す。
【００３９】
次に、補正関数学習部４のプロット部４１は、図９に示すように、横軸を補正前サンプル係数ｗｉ（第１特徴量）とし、縦軸を補正前サンプル係数ｗｉから補正後サンプル係数ｗｉ’（第２特徴量）への変化量（ｗｉ’−ｗｉ）とした直交座標を作成する。そして、プロット部４１は、この直交座標上に、上記各画像組の補正前サンプル係数ｗｉに対応する前記変化量（ｗｉ’−ｗｉ）を示す複数（ここでは５０個）の座標点Ｐ（図９中の白抜き四角点）をプロットする（図７のステップＳ４１、プロットステップ）。
【００４０】
次に、補正関数学習部４の区切り部４２は、図１０に示すように、直交座標の横軸をその軸方向に一定の間隔ｄごとに区切る（図７のステップＳ４２、区切りステップ）。図１０では、横軸の各区切り点に仮想区切り線Ｌを配置している。
【００４１】
なお、本実施形態の区切り部４２は、上記間隔ｄを一定にしているが、各間隔ｄをそれぞれ調整可能としても良い。この場合、区切り部４２は、複数の間隔ｄ内にそれぞれ位置する座標点Ｐの個数が均等になるように各間隔ｄを調整することができる。
例えば、図１０では、縦軸付近に多くの座標点Ｐが存在するので、縦軸付近では間隔ｄを短くして仮想区切り線Ｌを多く配置すればよい。また、縦軸から横軸方向に離れるに従って座標点Ｐの個数は減少するので、縦軸から離れるに従って間隔ｄを長くして仮想区切り線Ｌを少なく配置すればよい。このように間隔ｄを適宜調整することで、各間隔ｄ内にそれぞれ位置する座標点Ｐの個数を均等にすることができる。
【００４２】
次に、補正関数学習部４の基準スコア算出部４３は、各仮想区切り線Ｌの近傍に位置する座標点Ｐに基づいて、各仮想区切り線Ｌ上における縦軸の値を示す基準スコアを算出する（図７のステップＳ４３、基準スコア算出ステップ）。ここでは、一例として、図１１に示すように、一の仮想区切り線Ｌ１の近傍（図中の二点鎖線で囲む部分）に２以上（ここでは６個）の座標点Ｐが位置する場合における当該仮想区切り線Ｌ１上に配置される基準スコアの算出方法について説明する。
【００４３】
基準スコア算出部４３は、まず、一の座標点Ｐｎに着目し、当該座標点Ｐｎの近くに存在する４本の仮想区切り線Ｌ１〜Ｌ４それぞれに配置される仮基準スコアφ０ｎ〜φ３ｎを下記式（６）を用いて算出する。
【数４】
0006469483.tif 000005
【００４４】
上記式（６）において、下付の変数ｋ及び変数ａは仮想区切り線Ｌの番号（０≦ｋ≦３，０≦ａ≦３）である。また、上付の変数ｎは、各仮想区切り線Ｌｋの近傍に位置する複数の座標点Ｐの番号（ここでは１≦ｎ≦６）である。
なお、仮基準スコアを算出するために用いる仮想区切り線の本数は４本に限定されるものではなく、少なくとも２本の仮想区切り線を用いればよい。
【００４５】
上記式（６）中のＢｋ（ｓｎ）は、前記各仮基準スコアφ０ｎ〜φ３ｎに付与される第１の重みを示している。この第１の重みＢｋ（ｓｎ）は、座標点Ｐｎから各仮想区切り線Ｌｋまでの横軸方向の距離に応じて算出される。すなわち、上記式（６）を用いることで、仮想区切り線Ｌ１上における仮基準スコアφ１ｎは、他の仮想区切り線Ｌ０，Ｌ２，Ｌ３上における仮基準スコアφ０ｎ，φ２ｎ，φ３ｎを考慮して算出される。なお、上記式（６）中のＢａ（ｓｎ）は、上記Ｂｋ（ｓｎ）と同様に、第１の重みを示している。
【００４６】
前記第１の重みＢｋ（ｓｎ）は、座標点Ｐｎから各仮想区切り線Ｌｋまでの横軸方向の距離が短いほど大きい値が付与される。本実施形態の第１の重みＢｋ（ｓｎ）は、前記間隔ｄ＝１とし、座標点Ｐｎから仮想区切り線Ｌ１までの横軸方向の距離をｓｎ（０≦ｓｎ＜１）とした場合、Ｂ−ｓｐｌｉｎｅ基底関数である下記式（７）〜（１０）を用いて算出することができる。
【数５】
0006469483.tif 000006
【数６】
0006469483.tif 000007
【数７】
0006469483.tif 000008
【数８】
0006469483.tif 000009
【００４７】
基準スコア算出部４３は、上記手法により一の座標点Ｐｎに対する仮基準スコアφ０ｎ〜φ３ｎを算出した後は、残りの５個の座標点Ｐそれぞれに対する仮基準スコアφ０〜φ３を、上記手法と同様に算出する。
そして、基準スコア算出部４３は、６個の各座標点Ｐ１〜Ｐ６のそれぞれに着目して算出された、仮想区切り線Ｌ１（Ｌｋ）上における複数の仮基準スコアφ１１〜φ１６（φｋｎ）から、最終的な基準スコアφ１（φｋ）を下記式（１１）を用いて算出する。
【数９】
0006469483.tif 000010
【００４８】
上記式（１１）中の（ｃ２／Σｃ２）は、基準スコアφｋを算出する際に考慮される第２の重みを示している。この第２の重み（ｃ２／Σｃ２）は、一の仮想区切り線Ｌｋに近似する複数の座標点Ｐｎの平均値（図中の白抜き三角点）から各座標点Ｐｎまでの縦軸方向の距離ｈｎに応じて、当該各座標点Ｐｎに対してそれぞれ付与される。本実施形態の第２の重みは、前記距離ｈｎが短いほど大きい値が付与される。したがって、前記距離ｈｎが極端に長い場合、つまり外れ値となる座標点Ｐは、第２の重みの値が小さくなるので、当該座標点Ｐが基準スコアφｋの算出に影響を及ぼすのを抑制することができる。
【００４９】
なお、第２の重み（ｃ２／Σｃ２）の式中のｃは、補正前サンプル係数ｗｉｎ及び補正後サンプル係数ｗｉｎ’を用いた下記式（１２）及び式（１３）により算出することができる。
【数１０】
0006469483.tif 000011
【数１１】
0006469483.tif 000012
ここで、ΔＷａｖｅは、ΔＷの平均値である。
【００５０】
基準スコア算出部４３は、仮想区切り線Ｌ１上における基準スコアφ１を算出した後は、その他の複数の仮想区切り線Ｌ上に配置される基準スコアφを、それぞれ上記手法と同様に算出する。
【００５１】
次に、補正関数学習部４の補正関数算出部４４は、図１２に示すように、基準スコア算出部４３で算出された複数の基準スコアφを、直交座標上の対応する仮想区切り線Ｌ上にプロットする（図７のステップＳ４４）。
そして、補正関数算出部４４は、図３に示すように、直交座標上にプロットされた全ての基準スコアφを繋ぐ自由曲線の関数を補正関数として算出する。この補正関数は、例えばＢ−ｓｐｌｉｎｅ関数を用いて算出することができる。補正関数学習部４は、特徴基底ｖｉごとに上記手順を繰り返すことで、特徴基底ｖｉごとの補正関数Ｆｉ（ｗｉ）を作成する（図７のステップＳ４５、補正関数算出ステップ）。
なお、補正関数は、Ｂ−ｓｐｌｉｎｅ関数以外の他の変換関数を用いても良い。
【００５２】
図４に戻り、次に、推定部５は、元画像７の補正後における各特徴基底ｖｉの係数ｗｉ’を推定する（ステップＳ５、推定ステップ）。そして、補正部６により、推定された各特徴基底ｖｉの係数ｗｉ’に基づいて元画像７を補正する（ステップＳ６、補正ステップ）。
【００５３】
図１３は、図４のステップＳ５及びステップＳ６の処理内容を示す説明図である。図１３に示すように、推定部５は、まず元画像７の各特徴基底ｖｉの係数ｗｉを抽出する。この係数ｗｉは、上記式（５）から抽出することができる。
次に、推定部５は、抽出した上記係数ｗｉと補正関数Ｆｉ（ｗｉ）を用いた下記式（６）により、元画像７の補正後における各特徴基底ｖｉの係数ｗｉ’を算出する。
ｗｉ’＝ｗｉ＋Ｆｉ（ｗｉ）    ・・・（６）
【００５４】
次に、補正部６は、推定部５で算出された上記係数ｗｉ’に基づいて、元画像７の補正後における形状ベクトルＵｉを上記式（５）により算出する。そして、補正部６は、算出した形状ベクトルＵｉに基づいて、元画像７の顔形状をワーピング等により変形させて補正画像８を作成する。補正部６は、作成された補正画像８を出力して補正処理を終了する。
【００５５】
図１４は、本実施形態の補正手法と従来の補正手法とを比較したものである。図１４（ａ）は本実施形態及び従来の各補正手法に用いた元画像である。図１４（ｂ）は従来の補正手法により顔輪郭等を補正した後の補正画像である。図１４（ｃ）は本実施形態の補正手法により顔輪郭等を補正した後の補正画像である。
図１４（ｂ）の従来の補正画像では、顔輪郭の一部（特に左頬の部分）が不自然な形状をしているのが分かる。これに対して、図１４（ｃ）の本実施形態の補正画像では、顔輪郭の全体が自然な形状となっており、従来の補正画像よりも補正精度が向上しているのが分かる。
【００５６】
以上、本実施形態の画像処理装置１によれば、補正対象画像（元画像）７を学習用画像として画像情報１０に含めた状態で、各学習用画像の特徴を表すための複数の特徴基底ｖｉを抽出しているため、これらの特徴基底ｖｉを用いることで補正対象画像７の特徴を表す第３特徴情報を正確に表すことができる。これにより、補正対象画像７の補正後の特徴を表す第４特徴情報も正確に表すことができるので、補正対象画像７の補正精度を向上させることができる。特に、本実施形態のように顔画像を美顔補正する場合に有用である。
【００５７】
また、補正関数学習部４において補正関数を学習するときに、直交座標の横軸を所定の間隔ｄごとに区切った複数の仮想区切り線Ｌ上に、各仮想区切り線Ｌの近傍に位置する座標点Ｐに基づいて算出された基準スコアφを直交座標の縦軸の値としてそれぞれプロットすることで、当該プロットされた複数の基準スコアφを繋ぐ自由曲線の関数を補正関数として算出することができる。したがって、直交座標にプロットされた座標点Ｐにばらつきがあっても、補正対象画像７を補正するための補正関数を適切に求めることができる。その結果、補正対象画像７の補正精度をさらに向上させることができる。
【００５８】
また、補正関数学習部４の基準スコア算出部４３は、仮想区切り線Ｌの近傍に２以上の座標点Ｐが位置する場合には、その２以上の座標点Ｐそれぞれに対して、当該２以上の座標点Ｐの平均値からの距離ｈに応じた重みを付け、その重みを考慮して基準スコアφを算出する。したがって、仮想区切り線Ｌの近傍に２以上の座標点Ｐが位置する場合には、その仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度を向上させることができるので、補正関数をさらに適切に求めることができる。
【００５９】
また、補正関数学習部４の区切り部４２は、直交座標の横軸を区切る間隔ｄを調整可能とした場合には、上記間隔ｄを適切に調整することで、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。
また、区切り部４２は、複数の間隔ｄ内にそれぞれ位置する座標点Ｐの個数が均等になるように各間隔ｄを調整することで、各仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度にばらつきが生じるのを抑えることができる。
【００６０】
また、基準スコア算出部４３は、一の仮想区切り線Ｌ上における基準スコアφを、当該一の仮想区切り線Ｌ以外の他の仮想区切り線Ｌ上における基準スコアφを考慮して算出するので、各仮想区切り線Ｌ上にプロットされる基準スコアφの算出精度をさらに向上させることができる。
【００６１】
上述の実施形態はすべて例示であって制限的なものではない。本発明の権利範囲は特許請求の範囲によって規定され、そこに記載された構成と均等の範囲内のすべての変更は本発明の技術的範囲に含まれる。例えば、上記実施形態の画像処理装置１は、顔画像の美顔補正に適用しているが、顔画像以外の画像を補正する場合にも適用することができる。
【符号の説明】
【００６２】
１  画像処理装置
７  元画像（補正対象画像）
１１  補正前のサンプル画像
１２  補正後のサンプル画像
４１  プロット部
４２  区切り部
４３  基準スコア算出部
４４  補正関数算出部
ｄ  間隔
Ｌ  仮想区切り線
Ｐ  座標点
φ  基準スコア
【図１】
0006469483.tif 000013
【図２】
0006469483.tif 000014
【図３】
0006469483.tif 000015
【図４】
0006469483.tif 000016
【図５】
0006469483.tif 000017
【図６】
0006469483.tif 000018
【図７】
0006469483.tif 000019
【図８】
0006469483.tif 000020
【図９】
0006469483.tif 000021
【図１０】
0006469483.tif 000022
【図１１】
0006469483.tif 000023
【図１２】
0006469483.tif 000024
【図１３】
0006469483.tif 000025
【図１４】
0006469483.tif 000026