(57)【要約】【課題】被写体中の一部の画像要素に対する手動修整の内容を、自動的にかつ自然な仕上がりとなるように被写体全体に反映する。【解決手段】パラメータ取得部２４が、画像Ｐ0のうち手動修整が行われた領域の修整前の状態を表す画像Ｑ0、修整後の状態を表す画像Ｑ0′、および顔検出部２２によって検出された顔部分Ｐ0fを、統計的特徴量とそれに対する重みづけパラメータによって顔を表現するＡＡＭ等の数学モデルＭに適応させることによって、重みづけパラメータＣQ0、ＣQ0′、ＣP0fを取得し、修整後パラメータ決定部２６が、パラメータＣQ0、ＣQ0′、ＣP0fに基づいて、手動修整の内容を顔部分Ｐ0f全体に反映した場合の反映後の顔部分Ｐ1fを表すパラメータＣP1fを決定し、画像再構成部２８が、パラメータＣP1fと数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成する。【選択図】図１１
2007257585.tif 000002
【特許請求の範囲】
【請求項１】
所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物のうち少なくとも形状を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物を表現するための前記重みづけパラメータの値を求める第１のパラメータ取得手段と、
前記入力画像中の前記構造物の一部に対する修整を行う画像修整手段と、
該修整前の前記入力画像中の前記構造物の該一部を前記モデルに適応させることによって、該修整前の前記入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第２のパラメータ取得手段と、
該修整後の前記入力画像中の前記構造物の該一部を前記モデルに適応させることによって、該修整後の前記入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第３のパラメータ取得手段と、
前記第１のパラメータ取得手段によって求められた前記重みづけパラメータと、前記第２のパラメータ取得手段によって求められた前記重みづけパラメータから前記第３のパラメータ取得手段によって求められた前記重みづけパラメータへの値の変化量とに基づいて、前記修整を前記構造物全体に反映した後の前記構造物全体を前記モデルによって表現するための前記重みづけパラメータの値を求める第４のパラメータ取得手段と、
前記第４のパラメータ取得手段によって求められた前記重みづけパラメータの値を前記モデルに代入することによって、前記修整を前記構造物全体に反映した後の該構造物を表す出力画像を再構成する画像再構成手段とを備えたことを特徴とする画像処理装置。
【請求項２】
所定の構造物の全体が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の全体の個別の特徴に応じて該統計的特徴量に対する重みづけをする全体パラメータとによって、前記構造物の全体のうち少なくとも形状を表現する全体モデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物を表現するための前記全体パラメータの値を求める第１のパラメータ取得手段と、
前記入力画像中の前記構造物の一部に対する修整を行う画像修整手段と、
前記構造物の該一部が表された複数の画像に対して前記統計処理を行うことによって得られた統計的特徴量と、前記構造物の該一部の個別の特徴に応じて該統計的特徴量に対する重みづけをする部分パラメータとによって、前記構造物の該一部のうち少なくとも形状を表現する部分モデルに、前記修整前の前記入力画像中の前記構造物の該一部を適応させることによって、該入力画像中の前記構造物の該一部を表現するための前記部分パラメータの値を求める第２のパラメータ取得手段と、
該修整後の前記入力画像中の前記構造物の該一部を前記部分モデルに適応させることによって、該修整後の前記入力画像中の前記構造物の該一部を表現するための前記部分パラメータの値を求める第３のパラメータ取得手段と、
前記第１のパラメータ取得手段によって求められた前記全体パラメータと、前記第２のパラメータ取得手段によって求められた前記部分パラメータから前記第３のパラメータ取得手段によって求められた前記部分パラメータへの値の変化量とに基づいて、前記修整を前記構造物の全体に反映した後の前記構造物の全体を前記全体モデルによって表現するための前記全体パラメータの値を求める第４のパラメータ取得手段と、
前記第４のパラメータ取得手段によって求められた前記全体パラメータの値を前記全体モデルに代入することによって、前記修整を前記構造物の全体に反映した後の該構造物の全体を表す出力画像を再構成する画像再構成手段とを備えたことを特徴とする画像処理装置。
【請求項３】
前記モデルを前記所定の構造物の属性毎に複数備えるとともに、
前記入力画像中の前記構造物の属性を取得し、該属性に応じた前記モデルを選択する選択手段をさらに備えたことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記全体モデルと前記部分モデルの少なくとも一方を前記所定の構造物の属性毎に複数備えるとともに、
前記入力画像中の前記構造物の属性を取得し、取得された属性に応じて、複数備えられた前記全体モデルおよび／または前記部分モデルを選択する選択手段をさらに備えたことを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記入力画像中の前記構造物を検出する検出手段をさらに備えたことを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
【請求項６】
前記所定の構造物が人間の顔であることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
【請求項７】
所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物のうち少なくとも形状を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物を表現するための前記重みづけパラメータの値を求める第１のパラメータ取得ステップと、
前記入力画像中の前記構造物の一部に対する修整を行う画像修整ステップと、
該修整前の前記入力画像中の前記構造物の該一部を前記モデルに適応させることによって、該修整前の前記入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第２のパラメータ取得ステップと、
該修整後の前記入力画像中の前記構造物の該一部を前記モデルに適応させることによって、該修整後の前記入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第３のパラメータ取得ステップと、
前記第１のパラメータ取得ステップによって求められた前記重みづけパラメータと、前記第２のパラメータ取得ステップによって求められた前記重みづけパラメータから前記第３のパラメータ取得ステップによって求められた前記重みづけパラメータへの値の変化量とに基づいて、前記修整を前記構造物全体に反映した後の前記構造物全体を前記モデルによって表現するための前記重みづけパラメータの値を求める第４のパラメータ取得ステップと、
前記第４のパラメータ取得ステップによって求められた前記重みづけパラメータの値を前記モデルに代入することによって、前記修整を前記構造物全体に反映した後の該構造物を表す出力画像を再構成する画像再構成ステップとを有することを特徴とする画像処理方法。
【請求項８】
所定の構造物の全体が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の全体の個別の特徴に応じて該統計的特徴量に対する重みづけをする全体パラメータとによって、前記構造物の全体のうち少なくとも形状を表現する全体モデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物を表現するための前記全体パラメータの値を求める第１のパラメータ取得ステップと、
前記入力画像中の前記構造物の一部に対する修整を行う画像修整ステップと、
前記構造物の該一部が表された複数の画像に対して前記統計処理を行うことによって得られた統計的特徴量と、前記構造物の該一部の個別の特徴に応じて該統計的特徴量に対する重みづけをする部分パラメータとによって、前記構造物の該一部のうち少なくとも形状を表現する部分モデルに、前記修整前の前記入力画像中の前記構造物の該一部を適応させることによって、該入力画像中の前記構造物の該一部を表現するための前記部分パラメータの値を求める第２のパラメータ取得ステップと、
該修整後の前記入力画像中の前記構造物の該一部を前記部分モデルに適応させることによって、該修整後の前記入力画像中の前記構造物の該一部を表現するための前記部分パラメータの値を求める第３のパラメータ取得ステップと、
前記第１のパラメータ取得ステップによって求められた前記全体パラメータと、前記第２のパラメータ取得ステップによって求められた前記部分パラメータから前記第３のパラメータ取得ステップによって求められた前記部分パラメータへの値の変化量とに基づいて、前記修整を前記構造物の全体に反映した後の前記構造物の全体を前記全体モデルによって表現するための前記全体パラメータの値を求める第４のパラメータ取得ステップと、
前記第４のパラメータ取得ステップによって求められた前記全体パラメータの値を前記全体モデルに代入することによって、前記修整を前記構造物の全体に反映した後の該構造物の全体を表す出力画像を再構成する画像再構成ステップとを有することを特徴とする画像処理方法。
【請求項９】
所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物のうち少なくとも形状を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物を表現するための前記重みづけパラメータの値を求める第１のパラメータ取得ステップと、
前記入力画像中の前記構造物の一部に対する修整を行う画像修整ステップと、
該修整前の前記入力画像中の前記構造物の該一部を前記モデルに適応させることによって、該修整前の前記入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第２のパラメータ取得ステップと、
該修整後の前記入力画像中の前記構造物の該一部を前記モデルに適応させることによって、該修整後の前記入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第３のパラメータ取得ステップと、
前記第１のパラメータ取得ステップによって求められた前記重みづけパラメータと、前記第２のパラメータ取得ステップによって求められた前記重みづけパラメータから前記第３のパラメータ取得ステップによって求められた前記重みづけパラメータへの値の変化量とに基づいて、前記修整を前記構造物全体に反映した後の前記構造物全体を前記モデルによって表現するための前記重みづけパラメータの値を求める第４のパラメータ取得ステップと、
前記第４のパラメータ取得ステップによって求められた前記重みづけパラメータの値を前記モデルに代入することによって、前記修整を前記構造物全体に反映した後の該構造物を表す出力画像を再構成する画像再構成ステップとをコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１０】
所定の構造物の全体が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の全体の個別の特徴に応じて該統計的特徴量に対する重みづけをする全体パラメータとによって、前記構造物の全体のうち少なくとも形状を表現する全体モデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物を表現するための前記全体パラメータの値を求める第１のパラメータ取得ステップと、
前記入力画像中の前記構造物の一部に対する修整を行う画像修整ステップと、
前記構造物の該一部が表された複数の画像に対して前記統計処理を行うことによって得られた統計的特徴量と、前記構造物の該一部の個別の特徴に応じて該統計的特徴量に対する重みづけをする部分パラメータとによって、前記構造物の該一部のうち少なくとも形状を表現する部分モデルに、前記修整前の前記入力画像中の前記構造物の該一部を適応させることによって、該入力画像中の前記構造物の該一部を表現するための前記部分パラメータの値を求める第２のパラメータ取得ステップと、
該修整後の前記入力画像中の前記構造物の該一部を前記部分モデルに適応させることによって、該修整後の前記入力画像中の前記構造物の該一部を表現するための前記部分パラメータの値を求める第３のパラメータ取得ステップと、
前記第１のパラメータ取得ステップによって求められた前記全体パラメータと、前記第２のパラメータ取得ステップによって求められた前記部分パラメータから前記第３のパラメータ取得ステップによって求められた前記部分パラメータへの値の変化量とに基づいて、前記修整を前記構造物の全体に反映した後の前記構造物の全体を前記全体モデルによって表現するための前記全体パラメータの値を求める第４のパラメータ取得ステップと、
前記第４のパラメータ取得ステップによって求められた前記全体パラメータの値を前記全体モデルに代入することによって、前記修整を前記構造物の全体に反映した後の該構造物の全体を表す出力画像を再構成する画像再構成ステップとをコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の顔等の所定の構造物を修整する画像処理を行う方法や装置、この方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
写真画像を取り込んで、その画像を画面に表示した状態で、様々な画像の加工を行い、その結果を、表示した画面に反映させる装置が知られており、この装置は、この画像処理を行わせるプログラムをパーソナルコンピュータ等のコンピュータに実行させることによって実現される。
【０００３】
このような画像の加工はフォトレタッチと呼ばれ、画面に表示されるスライドレバー等をマウス操作等によって移動させることによって補正量を調節しながら、ホワイトバランスや輝度、シャープネスの補正を行ったり、マウス操作等によって画像の一部分を指定して、その部分の切抜きや拡大・縮小を行ったり、他の画像との合成を行ったり、マウスのポインタを刷毛や画筆に見立てて、所定の方法で選択された色でポイントされた部分を着色することによって、画像中の人物の顔のシワやシミ、風景画像中の電線等の不要物を除去したりと、様々な処理がユーザの手作業と連携した処理によって実現されている（例えば特許文献１）
【特許文献１】特開２０００−３３１１８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のレタッチソフトを用いて、画像中の被写体の一部の修整を行い、それ以外の部分についてもその修整内容に応じた修整を行いたい場合があるが、すべてを手作業で修整するには、時間と熟練を要する。例えば、画像中の人物の顔の輪郭を細くしたい場合、顔の左右両側の輪郭を手作業で細く修整するのは面倒である。
【０００５】
本発明はこのような事情に鑑みてなされたものであり、被写体中の一部の画像要素に対する手作業による修整内容に応じて、自動的に、かつ自然な仕上がりとなるように、被写体全体の修整を行うことを可能にする画像処理方法および装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明による第１の画像処理の方法は、所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物のうち少なくとも形状を表現するモデルに、入力画像中の前記構造物を適応させることによって、入力画像中の前記構造物を表現するための前記重みづけパラメータの値を求める第１のパラメータ取得ステップと、入力画像中の前記構造物の一部に対する修整を行う画像修整ステップと、その修整前の入力画像中の前記構造物の該一部を前記モデルに適応させることによって、入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第２のパラメータ取得ステップと、修整後の前記構造物の該一部を前記モデルに適応させることによって、修整後の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第３のパラメータ取得ステップと、第１のパラメータ取得ステップによって求められた前記重みづけパラメータと、第２のパラメータ取得ステップによって求められた前記重みづけパラメータから前記第３のパラメータ取得ステップによって求められた前記重みづけパラメータへの値の変化量とに基づいて、修整を前記構造物全体に反映した後の前記構造物全体を前記モデルによって表現するための前記重みづけパラメータの値を求める第４のパラメータ取得ステップと、第４のパラメータ取得ステップによって求められた前記重みづけパラメータの値を前記モデルに代入することによって、修整を前記構造物全体に反映した後の前記構造物を表す出力画像を再構成する画像再構成ステップとを有することを特徴とする。
【０００７】
本発明による第２の画像処理の方法は、所定の構造物の全体が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の全体の個別の特徴に応じて統計的特徴量に対する重みづけをする全体パラメータとによって、前記構造物の全体のうち少なくとも形状を表現する全体モデルに、入力画像中の前記構造物を適応させることによって、入力画像中の前記構造物を表現するための全体パラメータの値を求める第１のパラメータ取得ステップと、入力画像中の前記構造物の一部に対する修整を行う画像修整ステップと、前記構造物の該一部が表された複数の画像に対して前記統計処理を行うことによって得られた統計的特徴量と、前記構造物の該一部の個別の特徴に応じて統計的特徴量に対する重みづけをする部分パラメータとによって、前記構造物の該一部のうち少なくとも形状を表現する部分モデルに、入力画像中の前記構造物の該一部を適応させることによって、入力画像中の前記構造物の該一部を表現するための部分パラメータの値を求める第２のパラメータ取得ステップと、修整後の入力画像中の前記構造物の該一部を部分モデルに適応させることによって、修整後の入力画像中の前記構造物の該一部を表現するための部分パラメータの値を求める第３のパラメータ取得ステップと、第１のパラメータ取得ステップによって求められた全体パラメータと、第２のパラメータ取得ステップによって求められた部分パラメータから第３のパラメータ取得ステップによって求められた部分パラメータへの値の変化量とに基づいて、修整を前記構造物の全体に反映した後の前記構造物の全体を全体モデルによって表現するための全体パラメータの値を求める第４のパラメータ取得ステップと、第４のパラメータ取得ステップによって求められた全体パラメータの値を全体モデルに代入することによって、修整を前記構造物の全体に反映した後の構造物の全体を表す出力画像を再構成する画像再構成ステップとを有することを特徴とする。
【０００８】
本発明による第１の画像処理装置は、上記の第１の画像処理方法を実現するものである。すなわち、所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物のうち少なくとも形状を表現するモデルに、入力画像中の前記構造物を適応させることによって、入力画像中の前記構造物を表現するための前記重みづけパラメータの値を求める第１のパラメータ取得手段と、入力画像中の前記構造物の一部に対する修整を行う画像修整手段と、修整前の入力画像中の前記構造物の該一部を前記モデルに適応させることによって、入力画像中の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第２のパラメータ取得手段と、修整後の前記構造物の該一部を前記モデルに適応させることによって、修整後の前記構造物の該一部を表現するための前記重みづけパラメータの値を求める第３のパラメータ取得手段と、第１のパラメータ取得手段によって求められた前記重みづけパラメータと、第２のパラメータ取得手段によって求められた前記重みづけパラメータから前記第３のパラメータ取得手段によって求められた前記重みづけパラメータへの値の変化量とに基づいて、修整を前記構造物全体に反映した後の前記構造物全体を前記モデルによって表現するための前記重みづけパラメータの値を求める第４のパラメータ取得手段と、第４のパラメータ取得手段によって求められた前記重みづけパラメータの値を前記モデルに代入することによって、修整を前記構造物全体に反映した後の前記構造物を表す出力画像を再構成する画像再構成手段とを設けたことを特徴とする。
【０００９】
本発明による第２の画像処理装置は、上記の第２の画像処理方法を実現するものである。すなわち、所定の構造物の全体が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量と、前記構造物の全体の個別の特徴に応じて統計的特徴量に対する重みづけをする全体パラメータとによって、前記構造物の全体のうち少なくとも形状を表現する全体モデルに、入力画像中の前記構造物を適応させることによって、入力画像中の前記構造物を表現するための全体パラメータの値を求める第１のパラメータ取得手段と、入力画像中の前記構造物の一部に対する修整を行う画像修整手段と、前記構造物の該一部が表された複数の画像に対して前記統計処理を行うことによって得られた統計的特徴量と、前記構造物の該一部の個別の特徴に応じて統計的特徴量に対する重みづけをする部分パラメータとによって、前記構造物の該一部のうち少なくとも形状を表現する部分モデルに、修整前の入力画像中の前記構造物の該一部を適応させることによって、入力画像中の前記構造物の該一部を表現するための部分パラメータの値を求める第２のパラメータ取得手段と、修整後の入力画像中の前記構造物の該一部を部分モデルに適応させることによって、修整後の入力画像中の前記構造物の該一部における部分パラメータの値を求める第３のパラメータ取得手段と、第１のパラメータ取得手段によって求められた全体パラメータと、第２のパラメータ取得手段によって求められた部分パラメータから第３のパラメータ取得手段によって求められた部分パラメータへの値の変化量とに基づいて、修整を前記構造物の全体に反映した後の前記構造物の全体を全体モデルによって表現するための全体パラメータの値を求める第４のパラメータ取得手段と、第４のパラメータ取得手段によって求められた全体パラメータの値を全体モデルに代入することによって、修整を前記構造物の全体に反映した後の構造物の全体を表す出力画像を再構成する画像再構成手段とを設けたことを特徴とする。
【００１０】
本発明のよる第１および第２の画像処理プログラムは、各々、上記第１および第２の画像処理方法の各ステップをコンピュータに実行させるものである。
【００１１】
次に、本発明による画像処理方法、装置、プログラムの詳細について説明する。
【００１２】
本発明の前記第１の態様における「モデル」、および前記第２の態様における「全体モデル」と「部分モデル」（以下、各モデルに共通の説明では単に「モデル」と呼ぶ）の具体例としては、ＡＳＭ(Active Shape Models)やＡＡＭ(Active Appearance Models)の手法を用いたものが挙げられる。ＡＳＭやＡＡＭは、モデルに基づいて画像の内容の解釈を試みるアプローチの１つであり、例えば、顔を解釈の対象とする場合、ＡＳＭでは学習対象となる複数の画像中の顔部分の形状に対して、ＡＡＭでは形状と形状を正規化した後の輝度の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である（T.F.Coots, A.Hill, C.J.Taylor, J.Haslam, “The Use of Active Shape Models for Locating Structures in Medical Images", Image and Vision Computing, 1994, pp.276-286；以下、参考文献１、および、Ｔ．Ｆ．クーツ(Cootes), Ｇ．Ｊ．エドワーズ(Edwards), Ｃ．Ｊ．テイラー(Taylor)、「動的見えモデル(Active Appearance Models)」、第５回計算機視覚欧州会議報(In Proc. 5th European Conference on Computer Vision)、ドイツ、シュプリンガー(Springer)、1998年、vol.2、p.p.484-498；以下、参考文献２）。
【００１３】
「所定の構造物」は、モデル化に適したもの、すなわち、その構造物の画像中における形状や輝度の変動が一定の範囲に収まるもの、特に、統計処理を行うことによって形状や輝度についての説明力のより高い統計的特徴量が得られるものであることが好ましい。具体例としては人間の顔が挙げられる。
【００１４】
「所定の統計処理」としては、所定の構造物を、その構造物を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。
【００１５】
なお、上記の説明力の高低とは、所定の統計処理が主成分分析である場合を例にすると、上位の主成分ほど説明力が高く、下位主成分ほど説明力が低いという意味になる。
【００１６】
「入力画像中の（所定の）構造物」は、自動的に検出するようにしてもよいし、手動で検出するようにしてもよい。また、本発明は、入力画像中の前記構造物を検出する処理（手段）をさらに有していてもよいし、予め入力画像から検出された前記構造物の部分をモデルに適応させる処理に対する入力としてもよい。
【００１７】
「（モデルに）入力画像中の前記構造物（の一部）を適応させる」とは、入力画像中のこの構造物（の一部）をモデルによって表現するための演算処理等を意味する。具体的には、上記のＡＡＭの手法を用いた場合を例にすると、数学モデルにおける各主成分に、入力画像中のこの構造物（の一部）を表現するための重みづけをする重みづけパラメータの値を求めることを意味する。
【００１８】
また、本発明におけるモデルを所定の構造物の属性毎に複数準備しておき、入力画像中のその構造物の属性を表す情報を取得し、取得された属性に応じてモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中の所定の構造物を適応させるようにしてもよい。ここで、「属性」とは、例えば、所定の構造物が人間の顔の場合、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。この「属性」の具体的取得方法としては、画像に対する公知の認識処理（例えば、特開平11-175724号公報記載）や、ＧＰＳ情報等の画像の付帯情報からの推定・取得が考えられる。
【００１９】
「入力画像中の前記構造物の一部に対する修整」とは、前記構造物の一部の形状および／または輝度を変更することを意味する。「修整」は、ユーザがマウスやキーボード等の入力装置の操作によって手作業で行うことが考えられる。
【００２０】
「第２のパラメータ取得ステップ（手段）によって求められた前記重みづけパラメータ（部分パラメータ）から前記第３のパラメータ取得ステップによって求められた前記重みづけパラメータ（部分パラメータ）への値の変化量」とは、画像修整ステップ（手段）による修整による前記構造物の一部の形状および／または輝度の変更内容を、本発明の「モデル」における重みづけパラメータ（部分パラメータ）で表現したものである。なお、この変化量は、例えば、修整前後の重みづけパラメータ（部分パラメータ）の値の差や比で表すことができる。
【００２１】
「第１のパラメータ取得ステップ（手段）によって求められた前記重みづけパラメータ（全体パラメータ）」と、上記の重みづけパラメータの値の「変化量」とに基づいて、「修整を前記構造物の全体に反映した後の前記構造物の全体を（全体）モデルによって表現するための前記重みづけパラメータ（全体パラメータ）の値を求める」とは、予め求めておいた、前記の修整による前記構造物の一部の形状および／または輝度の変更を前記構造物の全体に反映させた場合における、前記構造物の一部に対する変更の内容と前記構造物の全体に対する変更の内容との対応関係を、前記修整前後での、前記構造物一部を表現する重みづけパラメータ（部分パラメータ）と前記構造物の全体を表現する重みづけパラメータ（全体パラメータ）との対応関係として表現したもの（具体的には、参照テーブルや関数等）に基づいて、「第１のパラメータ取得ステップ（手段）によって求められた前記重みづけパラメータ（全体パラメータ）」と、上記の重みづけパラメータの値の修整前後での「変化量」とから、「修整を前記構造物の全体に反映した後の前記構造物の全体を（全体）モデルによって表現するための前記重みづけパラメータ（全体パラメータ）の値」を求めることを意味する。
【発明の効果】
【００２２】
本発明の画像処理方法および装置ならびにプログラムによれば、第１のパラメータ取得ステップ（手段）によって求められた、修整前の所定の構造物全体を所定のモデルによって表現するための重みづけパラメータ（全体パラメータ）と、第２のパラメータ取得ステップ（手段）によって求められた、修整前の前記構造物の修整対象部分を表現するための重みづけパラメータ（部分パラメータ）と、第３のパラメータ取得ステップ（手段）によって求められた、修整後の前記構造物の修整対象部分を表現するための重みづけパラメータ（部分パラメータ）とに基づいて、第４のパラメータ取得ステップ（手段）において、修整を前記構造物の全体に反映した後の前記構造物の全体を全体モデルによって表現するための重みづけパラメータ（全体パラメータ）の値を求め、画像再構成ステップ（手段）において、第４のパラメータ取得ステップ（手段）によって求められた重みづけパラメータ（全体パラメータ）の値を（全体）モデルに代入することによって、画像修整ステップ（手段）による前記構造物の一部に対する修整を前記構造物の全体に反映した後の構造物の全体を表す出力画像を再構成するので、画像中の所定の構造物の一部の修整を行い、その修整内容に応じた修整をその構造物の他の部分に対しても行いたい場合において、その構造物の他の部分について手作業で修整を行う必要がなくなり、修整作業時間が短縮されるとともに、その修整作業に対する高度な熟練性も要求されなくなる。
【００２３】
さらに、所定の構造物を表現するモデルにおける重みづけパラメータを用いて、所定の構造物の一部に対する修整を全体に反映するので、そのモデルによる所定の構造物の自然な表現の範囲から逸脱することなく、自然な仕上がりとなるようにその構造物全体の修整が可能になる。
【００２４】
また、本発明におけるモデルを所定の構造物の属性毎に複数備えるとともに、入力画像中のその構造物の属性を取得し、取得された属性に応じたモデルを選択する処理（手段）を付加し、選択された属性のモデルに入力画像中の所定の構造物を適応させるようにした場合、入力画像中のその構造物を、より適切なモデルに適応させることが可能になるため、処理精度が向上し、より高品質の画像が得られる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して、本発明の画像処理（自動修整処理）を写真画像ビューワーの一機能として実装した場合を例として、本発明の実施形態を説明する。
【００２６】
この写真画像ビューワーは、本発明による画像処理方法をコンピュータに実行させる画像処理プログラムを含む写真画像ビューワーソフトウェアを、そのソフトウェアの各プログラムや設定ファイル等が記録されたＣＤ−ＲＯＭ等の記録媒体からユーザのパーソナルコンピュータ（ＰＣ）にインストールすることによって、そのプログラム等をＰＣのハードディスク等の補助記憶装置に記憶させたものであり、この画像処理プログラムがＰＣ上で実行されることによって本発明による画像処理が実現される。なお、ＰＣへのインストールは、インターネット等のネットワーク経由でこのレタッチソフトウェアをダウンロードして行ってもよい。
【００２７】
また、この写真画像ビューワーソフトウェアを構成する本発明の画像処理プログラム等の各プログラムは、ユーザによるマウスのクリック操作や他のプログラムからの処理要求等のイベントに応じて処理を行うイベントドリブン型の実行形式のプログラムであり、ＧＵＩやイベントドリブン型のプログラムの実行形式に対応したVisual Basic(R)等のプログラミング言語で作成されたものである。
【００２８】
図１は、本発明の写真画像ビューワーにおける画面遷移図であり、本発明の写真画像ビューワーを起動した際に最初に表示される画像一覧表示画面１００でのメニュー選択により、選択されたメニューに応じた画面（１５１から１６６、２００，３００）が表示される。
【００２９】
また、図２は、本発明の写真画像ビューワーを起動した際に最初に表示される画像一覧表示画面１００の一例を示したものである。図に示したように、画像一覧表示画面１０は、タイトルバー１０１、メニューフレーム１０２、サムネイルフレーム１０３、付帯情報フレーム１０４から構成されており、メニューフレーム１０２には、ユーザが選択可能な機能と関連づけられたコマンドボタン１１２から１２５が配置され、サムネイルフレーム１０３には、サムネイル画像を表示するイメージ領域１３１ａから１３１ｉと、サムネイル画像のファイル名を表すラベル領域１３２ａから１３２ｉと、スクロールバー１３３とが配置され、付帯情報フレーム１０４には画像ファイルの付帯情報をリスト表示するリストボックス１４１が配置されている。
【００３０】
サムネイルフレーム１０３のイメージ領域１３１ａから１３１ｉには、写真画像ビューワーの起動時に、初期設定ファイルの設定内容に基づき所定のフォルダ（論理的な格納場所）に格納されている画像ファイルが順次読み込まれ、イメージ領域のサイズに縮小された画像が表示される。また、ラベル領域１３２ａから１３２ｉには、各々の領域に対応するイメージ領域に表示される画像に対応するファイル名が表示される。画像ファイルの読込み元のフォルダに１０以上の画像ファイルが格納されている場合には、スクロールバー１３３に対するスクロール操作に応じて、新たな画像ファイルが読み込まれ、イメージ領域１３１ａから１３１ｉとラベル領域１３２ａから１３２ｉの表示が更新される。また、ユーザがイメージ領域の１つ以上をクリックすることにより画像の選択が行われる。このとき、イメージ領域に対するクリックイベントの発生に応じて、そのイメージ領域に表示されている画像のファイル名がＰＣのメインメモリの所定の領域（以下、画像ファイルメモリという）に記憶され、後続の処理において、この選択された画像（ファイル）を取り扱う場合には、この画像ファイルメモリから処理対象の画像のファイル名が取得される。なお、複数の画像の選択を可能にするために、ファイル名を記憶する領域は配列として定義されている。
【００３１】
メニューフレーム１０２の各コマンドボタン１１２から１２５には、各々のボタンに対するクリックイベントの発生、すなわち、ユーザのマウス操作による各コマンドボタン１１２から１２５のクリックの検知に応じて、次に表示する画面のオブジェクトをＰＣのメインメモリの所定の領域にロードし、その画面を表示するようにコーディングされたプログラムが関連づけられており、ユーザが所望のボタンをクリックすることにより、そのボタンに関連づけられたプログラムが実行され、図１に示す画面遷移が行われる。
【００３２】
具体的には、プリントメニューのインターネットプリント注文ボタン１１１に対するクリックイベントが発生すると、注文対象の画像の選択と画像毎のプリント枚数の設定を行うための画像選択・枚数設定画面１５１がロード・表示され、その画像選択・枚数設定画面１５１の内容にしたがって選択・設定操作を行い、所定のボタンのクリック等により次の画面の表示を指示すると、写真プリントの受取方法（ラボ、コンビニエンスストア、自宅配送等）の指定を行うための受取方法指定画面１５２がロード・表示され、その受取方法指定画面１５２の内容にしたがって指定操作を行い、次の画面の表示を指定すると、注文内容の最終確認と実際の発注の指示を行うための確認・発注画面１５３がロード・表示される。また、ホームプリントボタン１１２に対するクリックイベントが発生すると、プリント対象の画像の選択と画像毎のプリント枚数の設定を行うための画像選択・枚数設定画面１５４がロード・表示され、その画像選択・枚数設定画面１５４の内容にしたがって選択・設定操作を行い、次の画面の表示を指示すると、プリントを行うプリンタの指定とプリント条件の設定を行うためのプリンタ指定・設定画面１５５がロード・表示される。
【００３３】
画像活用メニューでは、スライドショー表示ボタン１１３に対するクリックイベントが発生すると、所定のフォルダから読み込まれた画像ファイルをスライドショー形式で順次表示するためのスライドショー表示画面１５６がロード・表示される。また、サムネイルフレーム１０３でユーザが所望のサムネイル画像のイメージ領域（１３１ａから１３１ｉ）をクリックして選択した後、電子メール添付ボタン１１４に対するクリックイベントが発生すると、そのＰＣにインストールされているメールソフトの電子メール作成画面１５７が、選択された画像のファイルが添付された状態でロード・表示される。画像の回転ボタン１１５に対するクリックイベントが発生すると、選択された画像の回転角度を選択・入力するための回転角度設定画面１５８がロード・表示される。同様に、画像の拡大・縮小ボタン１１６に対するクリックイベントが発生すると、選択された画像の変換後のサイズや変換倍率を選択・入力するためのサイズ・倍率設定画面１５９がロード・表示され、画像のトリミングボタン１１７に対するクリックイベントが発生すると、選択された画像から切り取る領域を指定するための領域設定画面１６０がロード・表示され、画質の調整ボタン１１８に対するクリックイベントが発生すると、選択された画像の輝度・シャープネス・ホワイトバランス・コントラストを調整するための画質設定画面１６１がロード・表示され、画像の定型修整ボタン１１９に対するクリックイベントが発生すると、選択された画像に対する後述の定型的な修整内容を設定するための定型修整画面２００（図３）がロード・表示され、画像の自由修整ボタン１２０に対するクリックイベントが発生すると、選択された画像に対する後述の非定型的な修整を行うための自由修整画面３００（図４）がロード・表示され、コメントの編集ボタン１２１に対するクリックイベントが発生すると、選択された画像に付帯させるコメントの入力・編集を行うための付帯情報表示・編集画面１６２がロード・表示される。
【００３４】
ファイル・フォルダ操作メニューには、サムネイルフレーム１０３でユーザが所望のサムネイル画像のイメージ領域（１３１ａから１３１ｉ）をクリックして選択した画像のファイルに対する操作を行うためのコマンドボタン１２２から１２５が配置されている。具体的には、ファイル名の変更ボタン１２２に対するクリックイベントが発生すると、選択された画像のファイル名を編集するためのファイル名入力画面１６３がロード・表示され、ファイルの移動ボタン１２３に対するクリックイベントが発生すると、選択された画像の移動先のフォルダを選択・入力するための移動先指定画面１６４がロード・表示され、ファイルのコピーボタン１２４に対するクリックイベントが発生すると、選択された画像のコピー先のフォルダを選択・入力するためのコピー先指定画面１６５がロード・表示され、ファイルの削除ボタン１２５に対するクリックイベントが発生すると、選択された画像の削除を実行してよいかどうかを再確認するための削除確認画面１６６がロード・表示される。
【００３５】
付帯情報フレーム１４１のリストボックス１４１には、サムネイルフレーム１０３で選択された画像に付帯する情報（Ｅｘｉｆのタグ情報）が画像ファイルから読み込まれ、リスト表示される。
【００３６】
図３は、画像の定型修整ボタン１１９に対するクリックイベントの発生によってロード・表示される定型修整画面２００の一例を示したものである。図に示したように、定型修整画面２００は、タイトルバー２０１、画像フレーム２０２、修整量調整フレーム２０３、制御フレーム２０４から構成されており、画像フレーム２０２には、修整対象の画像を表示するイメージ領域２１１が配置され、修整量調整フレーム２０３には、定型的な修整内容毎の修整量の調整を行うためのスライドレバー２２１から２２４が配置され、制御フレーム２０４には、修整の実行等を制御するためのコマンドボタン２３１から２３４が配置されている。
【００３７】
画像フレーム２０２のイメージ領域２１１に表示されている画像は、画像一覧表示画面１００のサムネイルフレーム１０３で選択されたイメージ領域（例えば１３１ａ）に表示されている画像であり、画像ファイルメモリからその画像のファイル名が取得され、そのファイル名のファイルが読み込まれ、そのファイル中の画像データに基づいて表示される。
【００３８】
修整量調整フレーム２０３の各スライドレバー２２１から２２４の移動イベントが発生すると、レバーの移動量に応じて、後述の顔画像の数学モデルＭの各主成分の重みづけをする重みづけパラメータの値が変更され、変更後のパラメータ値に基づいてイメージ領域２１１の画像が再構成されて表示される。
【００３９】
制御フレーム２０４では、「元に戻す」ボタン２３１に対するクリックイベントが発生すると、イメージ領域２１１に表示されている画像が修整前の状態で再表示される。具体的には、ＰＣのメインメモリ中の、イメージ領域２１１に表示する画像の画像データを記憶する領域が２画像分あり、その１つには修整前の画像の画像データがそのまま記憶され、もう１つには修整後の画像の画像データが記憶されており、「元に戻す」ボタン２３１に対するクリックイベントの発生に応じて修整前の画像データが前者の記憶領域から読み込まれ、イメージ領域２１１の画像が更新される。また、「自由修整へ」ボタン２３２に対するクリックイベントが発生すると、イメージ領域２１１に表示されている画像に対する後述の非定型的な修整を行うための自由修整画面３００（図４）がロード・表示される。さらに、「保存して閉じる」ボタン２３３に対するクリックイベントが発生すると、修整対象の画像のファイルの内容が、その時点でイメージ領域２１１に表示されている画像を表す画像データに置換されるとともに、定型修整画面２００が閉じられ、「保存せずに閉じる」ボタン２３４に対するクリックイベントが発生すると、現在イメージ領域２１１に表示されている画像が破棄され、修整対象の画像のファイルの内容は変更されずに定型修整画面２００が閉じられる。なお、「画面が閉じられる」とは、その画面のオブジェクトが記憶されているメインメモリ内の領域が解放されることを意味する。
【００４０】
図５は、この定型修整画面２００でのユーザの操作に基づいて行われる定型修整処理の構成とデータの流れを表すブロック図である。図に示したように、イメージ領域２１１に表示されている画像Ｐ0中の顔部分Ｐ0fを検出する顔検出部１１と、人物の顔部分が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献１参照）の手法によって生成された数学モデルＭに、検出された顔部分Ｐ0fを適応させることによって、顔部分Ｐ0f特有の特徴に応じた、数学モデルＭを構成する主成分に対する重みづけパラメータＣ0を取得するパラメータ取得部１４と、ユーザによるスライドレバー（２２１から２２４）の移動操作を受け付け、レバーの位置と重みづけパラメータの値との対応関係を定義した参照テーブルＴに基づいて、移動後のレバーの位置に対応する重みづけパラメータＣ1を取得するパラメータ変更受付部１７と、変更後のパラメータＣ1と数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成し、画像Ｐ0の顔部分Ｐ0fを再構成された顔部分Ｐ1fに置換した画像Ｐ1を生成する画像再構成部１８とによって、この定型修整処理が実現される。
【００４１】
この数学モデルＭは、図６のフローチャートに基づいて生成されたものであり、上記のプログラムとともに予めインストールされている。以下では、この数学モデルＭの生成過程について説明する。
【００４２】
まず、サンプルとなる、複数の顔画像（サンプル画像）の各々に対して、図７に示すように、顔形状を表す特徴点を設定する（ステップ#1）。ここでは、特徴点の数は１２２箇所とする（ただし、図７では簡潔に表現するため６０箇所しか表していない）。各特徴点は、例えば、１番目の特徴点は左目の左端、３８番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。
【００４３】
次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する（ステップ#2)。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。
【００４４】
さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う（ステップ#3)。その結果、任意の顔形状は次式（１）によって近似することができる。
【数１】
2007257585.tif 000003
【００４５】
ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ1,ｙ1,・・・,ｘ122，ｙ122）であり、Ｓ0は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐiは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂiは各固有ベクトルｐiに対する重みづけ係数を表す。図８は、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ1、ｐ2に対する重みづけ係数ｂ1、ｂ2の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式（１）で表した場合における重みづけ係数ｂ1、ｂ2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔形状の中央のものは平均値の場合である。この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ1を変化させることによって、細長い顔（-3sd）から丸顔（+3sd）まで顔形状が変化することがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ2を変化させることによって、口が開いた状態で顎の長い顔（-3sd）から口が閉じられた状態で顎が短い顔（+3sd）まで顔の形状が変化することがわかる。なお、ｉの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。
【００４６】
次に、各サンプル画像をステップ#2で得られた平均顔形状に変換（ワーピング）する（ステップ#4）。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式（２）から（５）の２次元５次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。
【数２】
2007257585.tif 000004
【００４７】
ここで、ｘ，ｙは各サンプル画像中の各特徴点の座標、ｘ′，ｙ′はワーピングされる平均顔形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａij，ｂijは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図９は、２つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度を表したものである。
【００４８】
さらに、平均顔形状に変換後の各サンプル画像の輝度に基づいて主成分分析を行う（ステップ#5)。その結果、任意の顔画像の平均顔形状下での輝度は次式（６）によって近似することができる。
【数３】
2007257585.tif 000005
【００４９】
ここで、Ａは平均顔形状下での各画素の輝度を並べて表現される輝度ベクトル（ａ1,・・・,ａm）（ｍは平均顔形状での総画素数）であり、Ａ0は平均顔形状における各サンプル画像の画素毎の輝度の平均値を並べて表現される平均顔輝度ベクトル、ｑiは主成分分析によって得られた顔輝度についての第ｉ主成分を表す固有ベクトル、λiは各固有ベクトルｑiに対する重みづけ係数を表す。図１０は、主成分分析によって得られた主成分のうち第ｉ1、第ｉ2の主成分を表す固有ベクトルｑi1、ｑi2に対する重みづけ係数λi1、λi2の値を変化させた場合の顔輝度の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔輝度を上式（６）で表した場合における重みづけ係数λi1、λi2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第ｉ1主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λi1を変化させることによって、ヒゲの濃い顔（-3sd）からヒゲのない顔（+3sd）まで顔輝度が変化することがわかる。同様に、第ｉ2主成分としては顔にかかる影の状態に寄与する成分が抽出されており、重みづけ係数λi2を変化させることによって、顔の右側に影がかかった顔（-3sd）から左側に影がかかった顔（+3sd）まで顔の輝度が変化することがわかる。なお、ｉの値が小さいほど、輝度に対する説明力が高い、すなわち、顔輝度への寄与が大きいことを意味する。
【００５０】
以上のステップ#1から#5までの処理によって、顔の数学モデルＭが生成される。すなわち、この数学モデルＭは、顔形状を表す複数の固有ベクトルｐiと、平均顔形状下での顔輝度を表す固有ベクトルｑiによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献２記載の実施例では、約10,000画素により形成される顔画像に対して122の特徴点を設定して上記の処理を行うことによって、顔形状についての23の固有ベクトルと顔輝度についての114の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、約90％の顔形状や輝度のバリエーションを表現できることが示されている。
【００５１】
顔検出部１１は、画像データＰ0を読み込み、画像Ｐ0中の顔部分Ｐ0fを検出する。具体的には、特開２００５−１０８１９５号公報（参考文献３）に記載されているように、画像Ｐ0の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器（後述）に入力することによって画像Ｐ0中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器（後述）に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ0fとして検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力とする、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。
【００５２】
なお、顔部分Ｐ0fの検出方法としては、特表２００４−５２７８６３号公報（参考文献４）に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。なお、定型修整画面２００でのマウスやキーボードの操作により、手作業で顔部分Ｐ0fを指定するようにしてもよいし、自動検出の結果を手作業で修正するようにしてもよい。
【００５３】
パラメータ取得部１４は、顔部分Ｐ0fを数学モデルＭに適応させる処理を行う。具体的には、上記式（１）（６）の上位の主成分の固有ベクトルｐi、ｑiに対する重みづけ係数ｂi、λiから順に係数の値を変化させながら、上記式（１）（６）に基づいて画像を再構成し、再構成された画像と顔部分Ｐ0fとの差異が最小となる時の重みづけ係数ｂi、λi（合わせて、パラメータＣ0と呼ぶ）を求める（詳細は、参考文献４参照）。なお、重みづけ係数ｂi、λiの値は、モデル生成時のサンプル画像を上記（１）（６）で表したときのｂi、λiの分布の標準偏差sdに基づき、例えば-3sdから+3sdまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定するようにすることが好ましい。これにより、モデルの誤適応を回避することができる。
【００５４】
参照テーブルＴは、定型修整画面２００の修整量調整フレーム２０３に配置されたスライドレバー２２１から２２４の位置とパラメータＣ0との対応関係を予め定義しておいたものである。具体的には、スライドレバー毎、すなわち笑顔、泣き顔、怒り顔、輪郭等の修整内容毎に、レバーの位置と、その修整内容に影響を与える重みづけ係数（ｂi、λi）の値との対応関係を、予め実験的、統計的に求めておいたものである。なお、ここでは、笑顔の度合を調整するスライドレバー２２１の位置と重みづけ係数（ｂi、λi）との対応関係を定義したテーブルをＴ1、泣き顔の度合を調整するスライドレバー２２２の位置と重みづけ係数（ｂi、λi）との対応関係を定義したテーブルをＴ2、怒り顔の度合を調整するスライドレバー２２３の位置と重みづけ係数（ｂi、λi）との対応関係を定義したテーブルをＴ3、顔の輪郭を調整するスライドレバー２２４の位置と重みづけ係数（ｂi、λi）との対応関係を定義したテーブルをＴ4とする。
【００５５】
パラメータ変更受付部１７は、次の２つの処理を行う。第１に、スライドレバー２２１から２２４の初期位置を決定する処理である。具体的には、参照テーブルＴ1に基づき、パラメータ取得部１４によって取得されたパラメータＣ0の値に対応するスライドレバー２２１の位置を取得し、同様にして、参照テーブルＴ2、Ｔ3、Ｔ4の各々に基づき、パラメータＣ0に対応する各スライドバー２２２，２２３，２２４の位置を取得し、定型修整画面２００の修整量調整フレーム２０３の各スライドレバー２２１から２２４の表示位置を、取得された位置に更新して表示する。第２に、ユーザの操作によるスライドレバー２２１から２２４の位置の移動に応じて、その位置に対応するパラメータＣ1の値を取得する処理である。例えば、ユーザによるマウスのドラッグ操作によるスライドレバー２２１の移動イベントが発生すると、参照テーブルＴ1に基づき、移動後のレバーの位置に対応するパラメータＣ1の値を取得する。さらに、参照テーブルＴ2、Ｔ3、Ｔ4に基づき、パラメータＣ1に対応するスライドレバー２２２，２２３，２２４の位置を取得し、定型修整画面２００の修整量調整フレーム２０３の各スライドレバー２２２，２２３，２２４の表示位置を、取得された位置に更新して表示する。ユーザが他のスライドレバー２２２，２２３，２２４を移動させた場合についても、参照テーブルが異なることを除き、同様の処理が行われる。
【００５６】
画像再構成部１８は、移動後のスライドレバーの位置に対応するパラメータＣ1を上記（１）（６）に代入することによって、顔画像Ｐ1fを再構成し、さらに、画像Ｐ0の顔部分Ｐ0fを、再構成された顔画像Ｐ1fに置換して合成することによって、画像Ｐ1を生成し、定型修整画面２００のイメージ領域２１１に表示されている画像Ｐ0を画像Ｐ1に更新して表示する。
【００５７】
ここで、画像の定型修整を行う場合のユーザの操作と処理の流れについて説明する。
【００５８】
ユーザが写真画像ビューワーのプログラムを起動すると、最初に、画像一覧表示画面１００（図２）が表示される。ユーザは、サムネイルフレーム１０３に表示されているサムネイル画像から修整対象の画像Ｐ0をクリックすることによって選択すると、クリックされた画像Ｐ0が表示されているイメージ領域（ここでは１３１ａ）の外枠が太く表示され、この画像のファイル名が画像ファイルメモリに記憶される。次に、メニューフレーム１０２から「画像の定型修整」ボタン１１９を選択してクリックすると、定型修整画面２００がロード・表示され、イメージフレーム２０２のイメージ領域２１１には、画像ファイルメモリに記憶されているファイル名の画像ファイルから読み出された画像、すなわち、画像一覧表示画面１００で選択した画像Ｐ0が表示される。
【００５９】
このとき、この定型修整画面２００のロード・表示処理と並行して、顔検出部１１が画像Ｐ0から顔部分Ｐ0fを検出し、パラメータ取得部１４が、検出された顔部分Ｐ0fを数学モデルＭに適応させることによって、重みづけパラメータＣ0を取得し、パラメータ変更受付部１７が、参照テーブルＴに基づき、取得された重みづけパラメータＣ0に対応する各スライドレバー２２１から２２４の位置を取得し、定型修整画面２００の修整量調整フレーム２０３内の各レバーの位置を、取得された位置に移動させる。
【００６０】
ユーザが、所望の修整内容を表すスライドレバー（ここでは「輪郭を変える」スライドレバー２２４）をマウス操作によってドラッグしてレバーの位置を例えば左側（輪郭を逆三角形に近づける側）に移動させると、パラメータ変更受付部１７が、参照テーブルＴに基づき、移動後のレバーの位置に対応する重みづけパラメータＣ1を取得し、画像再構成部１８が、取得された重みづけパラメータＣ1と数学モデルＭに基づいて顔部分を再構成することによって、元の顔部分Ｐ0fの輪郭が逆三角型に修整された顔部分Ｐ1fを生成し、さらに画像Ｐ0の顔部分Ｐ0fを再構成後の顔部分Ｐ1fに置換した画像Ｐ1を生成し、イメージ領域２１１の表示を更新する。
【００６１】
ユーザは、更新されたイメージ領域２１１の画像Ｐ1を確認し、必要に応じて、スライドレバー２２１から２２４の移動操作を繰り返してパラメータ変更受付部１７による修整処理を繰り返したり、「元に戻す」ボタン２３１をクリックすることによって、修整前の画像Ｐ0に戻したりし、所望の修整結果が得られたら、「保存して閉じる」ボタン２３３をクリックする。これにより、画像ファイルメモリに記憶されたファイル名のファイル内のデータが修整後の画像を表すデータに置換されて、ハードディスクに記録される。所望の修整結果が得られない場合には、「自由修整へ」ボタン２３２をクリックして後述の自由修整を行うか、「保存せずに閉じる」ボタン２３４をクリックすることによって、修整内容を破棄し、元の画像ファイルのデータを変更せずに定型修整作業を終了する。
【００６２】
なお、以上の説明では、数学モデルＭは１つであることを前提としていたが、スライドレバー毎、すなわち修整内容毎にモデルを用意しておき、定型修整画面２００のロード・表示と並行して、パラメータ取得部１４が、顔検出部１１で検出された顔部分Ｐ0fを修整内容毎の各モデルに適応させて、修整内容毎のパラメータを取得し、パラメータ変更受付部１７では、ユーザが移動操作を行ったレバーに応じて、そのレバーによる修整内容に対応するパラメータを変更し、画像再構成部１８では、変更されたパラメータとそのパラメータに対応するモデルに基づいて顔部分Ｐ1fを再構成するようにしてもよい。この場合、修整内容毎に用意するモデルを作成するためのサンプル画像は、修整内容に応じたものとすることが好ましい。例えば、「輪郭を変える」スライドレバー２２４に対応するモデルを作成する場合、輪郭が逆三角形から四角形までの複数のサンプル画像を用いることによって、主成分分析の際に、より高い精度で顔の輪郭を表す主成分が抽出され、顔の輪郭の観点において、パラメータ取得部１４でのモデルの適応精度が向上するとともに、参照テーブルＴについてもスライドレバー２２４の位置と重みづけパラメータとの対応関係をより高い精度で定義しておくことが可能になり、画像再構成部１８で再構成される輪郭修整後の顔部分Ｐ1fもより精度の高いものとなる。
【００６３】
図４は、画像の自由修整ボタン１２０に対するクリックイベントの発生によってロード・表示される自由修整画面３００の一例を示したものである。図に示したように、自由修整画面３００は、タイトルバー３０１、画像フレーム３０２、修整操作設定フレーム３０３、制御フレーム３０４から構成されており、画像フレーム３０２には、修整対象の画像を表示するイメージ領域３１１が配置され、修整操作設定フレーム３０３には、修整操作の詳細を設定するためのコマンドボタンやスライドレバー（３２１から３３３）が配置され、制御フレーム３０４には、修整の実行等を制御するためのコマンドボタン３４１から３４４が配置されている。この自由修整画面３００では、公知のレタッチソフトウェアと同様に、ユーザが、修整操作設定フレーム３０３で行った設定に基づいて、マウスのポインタを画筆等に見立てて画像フレーム３０２のイメージ領域３１１で操作し、画像に対する非定型的な修整を行うことが可能である。
【００６４】
画像フレーム３０２のイメージ領域３１１に表示されている画像は、画像一覧表示画面１００のサムネイルフレーム１０３で選択されたイメージ領域（例えば１３１ａ）に表示されている画像であり、画像ファイルメモリからその画像のファイル名が取得され、そのファイル名のファイルが読み込まれ、そのファイル中の画像データに基づいて表示される。
【００６５】
修整操作設定フレーム３０３には、色の指定、修整機能の選択、修整を行うポインタの形状・太さの指定を行うためのユーザインターフェース（３２１から３３２）が設けられている他、本発明の実施形態となる部分的な修整内容を画像全体に反映する自動修整機能（詳細は後述）の実行のためのコマンドボタン３３３が設けられている。色パレット３２１は、修整操作でイメージ領域３１１に着色する色を指定するためのボタンの集合体であり、各ボタンに色情報（ＲＧＢ値）が関連づけられている。ユーザが所望の色のボタンをクリックすると、クリックされたボタンに関連づけられている色情報が読み出され、ＰＣのメインメモリ内の所定の記憶領域（以下、色メモリという）に記憶される。「他の色へ」ボタン３２２に対するクリックイベントが発生すると、ＲＧＢ値を直接入力するための色指定画面のオブジェクトがロード・表示される。「画像中から指定」ボタン３２３に対するクリックイベントが発生し、その後、イメージ領域３１１中のユーザが所望する位置でクリックイベントが発生すると、イメージ領域３１１中でクリックが行われた位置の色情報が取得され、色メモリに記憶される。機能の選択メニュー中の鉛筆ボタン３２４、刷毛ボタン３２５、スプレーボタン３２６、消しゴムボタン３２７、テキストボタン３２８は、イメージ領域３１１で修整操作を行う際のマウスのポインタの機能を選択するためのものであり、上記ボタンのいずれかに対するクリックイベントが発生すると、クリックが行われたボタンに対応する機能に関する情報がＰＣのメインメモリ内の所定の記憶領域（以下、修整機能メモリという）に記憶される。丸ボタン３２９と角ボタン３３１は、修整操作を行う際の「ペン先」の形状を選択するためのものであり、上記ボタンのいずれかに対するクリックイベントが発生すると、クリックが行われたボタンに対応する「ペン先」の情報がＰＣのメインメモリ内の所定の記憶領域（以下、ペン先形状メモリという）に記憶される。また、スライドレバー３３２は、「ペン先」の太さを指定するためのものであり、レバーの位置と「ペン先」の太さの対応関係が予め定義されており、この対応関係と実際のレバーの位置に基づいて「ペン先」の太さの情報が取得され、ＰＣのメインメモリ内の所定の記憶領域（以下、ペン先太さメモリという）に記憶される。「全体に反映」ボタン３３３に対するクリックイベントが発生すると、後述の本発明による自動修整処理が行われ、それまでに行われたイメージ領域３１１の画像の一部に対する手動修整の内容が画像全体に反映される。
【００６６】
制御フレーム３０４では、「元に戻す」ボタン３４１に対するクリックイベントが発生すると、定型修整画面２００の「元に戻す」ボタン２３１と同様に、イメージ領域３１１に表示されている画像が修整前の状態で再表示される。また、「定型修整へ」ボタン２４２に対するクリックイベントが発生すると、現在イメージ領域３１１に表示されている画像に対する前述の定型的な修整を行うための定型修整画面２００（図３）がロード・表示される。さらに、「保存して閉じる」ボタン３４３に対するクリックイベントが発生すると、修整対象の画像のファイルの内容が、現在イメージ領域３１１に表示されている画像を表す画像データに置換されるとともに、自由修整画面３００が閉じられ、「保存せずに閉じる」ボタン３４４に対するクリックイベントが発生すると、現在イメージ領域３１１に表示されている画像が破棄され、修整対象の画像のファイルの内容は変更されずに自由修整画面３００が閉じられる。
【００６７】
図１１は、この自由修整画面３００でのユーザの操作に基づいて行われる本発明の自動修整処理、すなわち、部分的な自由修整の内容を画像全体に反映する処理の第１の実施形態の構成とデータの流れを表すブロック図である。図に示したように、イメージ領域３１１に表示されている画像Ｐ0に対する手動修整を受け付ける手動修整受付部２１と、画像Ｐ0中の顔部分Ｐ0fを検出する顔検出部２２と、手動修整前の画像Ｐ0と手動修整後の画像Ｐ0′との差分、および画像Ｐ0中の顔部分Ｐ0fの位置情報とに基づいて、顔部分およびその近傍で手動修整が行われた領域の、修整前の状態を表す画像Ｑ0と、修整後の状態を表す画像Ｑ0′とを抽出する修整領域抽出部２３と、人物の顔部分が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献２参照）の手法によって生成された数学モデルＭに、抽出された画像Ｑ0とＱ0′の各々および顔部分Ｐ0fを適応させることによって、それらの領域に特有の特徴に応じた、数学モデルＭを構成する主成分成分に対する重みづけパラメータＣQ0、ＣQ0′、ＣP0fを取得するパラメータ取得部２４と、取得された各パラメータＣQ0、ＣQ0′、ＣP0fに基づいて、手動修整の内容を顔部分Ｐ0f全体に反映した場合の反映後の顔部分Ｐ1fを表すパラメータＣP1fを決定する修整後パラメータ決定部２６と、修整後のパラメータＣP1fと数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成し、画像Ｐ0の顔部分Ｐ0fを再構成された顔部分Ｐ1fに置換した画像Ｐ1を生成する画像再構成部２８とによって、本発明の第１の実施形態となる自動修整処理が実現される。
【００６８】
ここで、顔検出部２２、数学モデルＭ、および画像再構成部２８の詳細については、各々、図５の定型修整処理における顔検出部１１、数学モデルＭ、および画像再構成部１８と同様である。
【００６９】
手動修整受付部２１は、自由修整画面３００のイメージ領域３１１内でのマウスによるドラッグイベントの発生に応じて、イメージ領域３１１内でのドラッグ操作が行われた位置を求め、求められた位置と、ペン先形状メモリおよびペン先太さメモリに記憶されている内容に基づいて、イメージ領域３１１の画像Ｐ0中の修整対象領域を決定し、修整機能メモリに記憶されている内容に応じて、修整対象領域内の画素値を変更し、変更後の画像Ｐ0′に表示を更新する処理を行う。具体的には、修整機能メモリの内容が鉛筆（３２４）または刷毛（３２５）の場合には、修整対象領域内の画素値を色メモリに記憶されている色情報に基づく画素値に変更することにより、ユーザが、色パレット３２１から選択したり、「他の色へ」ボタン３２２のクリックによって表示される画面で設定したり、「画像中から指定」ボタン３２３のクリック後にイメージ領域３１１内で指定したりした色で修整対象領域を塗りつぶす処理が行われる。修整機能メモリの内容がスプレー（３２６）の場合には、修整対象領域内の画素の一部を色メモリに記憶されている色情報に基づく画素値に変更することにより、修整対象領域をユーザが色パレット３２１で選択した色のスプレーを噴射したように着色する処理が行われる。また、修整機能メモリの内容が消しゴム（３２７）の場合には、修整対象領域内の画素の画素値を修整前の値に戻す処理が行われる。一方、修整機能メモリの内容がテキスト（３２８）の場合には、イメージ領域３１１内でのドラッグイベントに応じた処理は行われず、クリックイベントに応じて、クリックが行われた位置にテキストの入力が可能なテキストボックスを表示し、キーボードによるテキストの入力を受け付ける処理が行われる。なお、上記の手動修整処理は複数回繰り返して行うことができる。また、その際に修整操作設定を変更しながら行うこともできる。
【００７０】
修整領域抽出部２３は、まず、手動修整前の画像Ｐ0と手動修整後の画像Ｐ0′との差分を求めることによって画像中の修整が行われた領域を特定し、画像Ｐ0中の顔部分Ｐ0fの位置情報に基づいて、顔部分Ｐ0fおよびその近傍において修整が行われた領域を特定する。次に、手動修整前の画像Ｐ0からこの特定された領域を切り出して、顔部分Ｐ0fおよびその近傍で手動修整が行われた領域の修整前の状態を表す画像Ｑ0とし、手動修整後の画像Ｐ0′からこの特定された領域を切り出して、顔部分Ｐ0fおよびその近傍で手動修整が行われた領域の修整後の状態を表す画像Ｑ0′とする。なお、先に、修整前後の画像Ｐ0およびＰ0′から顔部分Ｐ0fとその近傍を含む領域を抽出してから、抽出された領域の差分を求めることによって、顔部分Ｐ0fとその近傍を含む領域において手動修整が行われた領域を特定し、特定されて領域を画像Ｐ0、Ｐ0′からさらに切り出すことによって画像Ｑ0、Ｑ0′を求めてもよい。
【００７１】
パラメータ取得部２４は、図５の定型修整処理におけるパラメータ取得部１４と同様にして、画像Ｑ0、Ｑ0′、顔部分Ｐ0fを数学モデルＭに適応させ、各々に対応する重みづけパラメータＣQ0、ＣQ0′、ＣP0fを取得する。ここで、画像Ｑ0およびＱ0′は、顔部分Ｐ0fの一部分を表すものであるから、顔の残りの部分に相当する領域の画素値を0として数学モデルＭに適応させる。
【００７２】
修整後パラメータ決定部２６は、顔部分Ｐ0fとその近傍を含む領域のうち手動修整が行われた領域の修整前の状態に対応するパラメータＣQ0と修整後の状態に対応するパラメータＣQ0′との間での変化量、および、修整前の顔部分Ｐ0f全体に対応するパラメータＣP0fに基づいて、顔部分Ｐ0fの一部に対して行われた手動修整の内容を顔部分Ｐ0fの全体に反映した状態に対応するパラメータＣP1fを決定する。パラメータＣP1fは、例えば、次の式（７）によって求めることができる。
【数４】
2007257585.tif 000006
【００７３】
なお、ｋは予め実験的・統計的に求めておいた係数である。また、ここでは、ＣQ0、ＣQ0′、ＣP0f、ＣP1fを、数学モデルＭの各主成分に対する重みづけ係数ｂi、λi（i=1,2,・・・）を成分とするベクトル量として捉えており、手動修整によるパラメータの変化量を表すベクトル（ＣQ0′−ＣQ0）では、手動修整の影響を受けない重みづけ係数に対応する成分の値は0となるので、手動修整の影響を受けた重みづけ係数のみに対してその変化量に応じて重みづけがされ、修整前の顔部分Ｐ0fを表すベクトルＣP0fの各成分である重みづけ係数のうち、手動修整の影響を受けた重みづけ係数のみ、修整による重みづけ係数の変化量に応じて値が調整される。
【００７４】
ここで、この自由修整画面３００で、本発明の自動修整処理、すなわち部分的な手動修整の内容を画像全体に反映する処理を行う場合のユーザの操作と処理の流れについて説明する。
【００７５】
ユーザが写真画像ビューワーのプログラムを起動すると、最初に、画像一覧表示画面１００（図２）が表示される。ユーザは、サムネイルフレーム１０３に表示されているサムネイル画像から修整対象の画像Ｐ0をクリックすることによって選択すると、クリックされた画像Ｐ0が表示されているイメージ領域（ここでは１３１ａ）の外枠が太く表示され、この画像のファイル名が画像ファイルメモリに記憶される。次に、メニューフレーム１０２から「画像の自由修整」ボタン１２０を選択してクリックすると、自由修整画面３００がロード・表示され、イメージフレーム３０２のイメージ領域３１１には、画像ファイルメモリに記憶されているファイル名の画像ファイルから読み出された画像、すなわち、画像一覧表示画面１００で選択した画像Ｐ0が表示される。
【００７６】
ユーザは、修整操作設定フレーム３０３の「機能の選択」領域にあるボタンのいずれかをクリックすることによって手動修整で使用する画筆等を選択し、必要に応じて、「色の指定」領域で手動修整に使用する色を指定し、さらに、「形状・太さ」領域で、選択された画筆等の形状と太さを指定する。そして、画像フレーム３０２のイメージ領域３１１内において修整を行いたい部分に対してマウスのドラッグ操作を行うことにより、手動修整受付部２１が、その操作を受け付け、選択された画筆、色等に応じて、修整を行いたい部分の画素値を変更し、イメージ領域３１１を修整後の画像Ｐ0′に更新する。
【００７７】
ユーザは、更新されたイメージ領域３１１の画像Ｐ0′を確認し、必要に応じて上記の手動修整操作を繰り返したり、「元に戻す」ボタン３４１をクリックすることによって、修整前の画像Ｐ0に戻したりし、所望の修整結果が得られたら、「保存して閉じる」ボタン３４３をクリックする。これにより、画像ファイルメモリに記憶されたファイル名のファイルの内容が修整後の画像を表す内容に置換されて、ハードディスクに記録される。
【００７８】
この手動修整操作において、例えば、画像中の人物の顔の輪郭を細くしたい場合に、その人物の左右両側の輪郭を手動で修整するのは面倒であり、右側の輪郭だけを手動で修整すれば、その人物に左側の輪郭については右側と同様の修整を自動的に行いたいとユーザが考えることがありうる。このような場合には、ユーザは修整操作設定フレーム３０３の「全体に反映」ボタン３３３をクリックすることにより、本発明の自動修整処理を行わせることができる。
【００７９】
顔検出部２２は、この「全体に反映」ボタン３３３に対するクリックイベントの発生に応じて、画像Ｐ0中の顔部分Ｐ0fを検出し、修整領域抽出部２３は、手動修整前の画像Ｐ0と手動修整後の画像Ｐ0′との差分を求めることによって手動修整が行われた領域（上記の例では、顔の右側の輪郭とその周辺）を特定し、さらに画像Ｐ0中の顔部分Ｐ0fの位置情報とに基づいて、顔部分およびその近傍で手動修整が行われた領域の、修整前の状態を表す画像Ｑ0と、修整後の状態を表す画像Ｑ0′とを抽出する。パラメータ取得部２４は、数学モデルＭに、抽出された画像Ｑ0とＱ0′の各々および顔部分Ｐ0fを適応させることによって、重みづけパラメータＣQ0、ＣQ0′、ＣP0fを取得し、修整後パラメータ決定部２６は、取得されたパラメータＣQ0、ＣQ0′、ＣP0fに基づいて、手動修整の内容を顔部分Ｐ0f全体に反映した場合（上記の例では顔の右側の輪郭の修整と同様の修整を左側の輪郭にも行った場合）の反映後の顔部分Ｐ1fを表すパラメータＣP1fを決定し、画像再構成部２８が、修整後のパラメータＣP1fと数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成し、画像Ｐ0の顔部分Ｐ0fを再構成された顔部分Ｐ1fに置換した画像Ｐ1を生成し、イメージ領域３１１の表示を更新する。
【００８０】
ユーザは、更新されたイメージ領域２１１の画像Ｐ1を確認し、必要に応じて、さらに上記の手動修整や本発明の自動修整処理を繰り返し行わせたり、「元に戻す」ボタン３４１をクリックすることによって、修整前の画像Ｐ0に戻したりし、所望の修整結果が得られたら、「保存して閉じる」ボタン３４３をクリックする。これにより、画像ファイルメモリに記憶されたファイル名のファイル内のデータが修整後の画像を表すデータに置換されて、ハードディスクに記録される。所望の修整結果が得られない場合には、「定型修整へ」ボタン３４２をクリックして上記の定型修整（図３）を行うか、「保存せずに閉じる」ボタン３４４をクリックすることによって、修整内容を破棄し、元の画像ファイルのデータを変更せずに自由修整作業を終了する。
【００８１】
以上のように、本発明の第１の実施形態となる画像の自動修整処理によれば、顔検出部２２が画像Ｐ0から顔部分Ｐ0fを検出し、修整領域抽出部２３が、手動修整受付部２１で受け付けられた画像Ｐ0に対する部分的な手動修整後の画像Ｐ0′と手動修整前の画像Ｐ0との差分を求めることによって手動修整が行われた領域を特定し、さらに画像Ｐ0中の顔部分Ｐ0fの位置情報とに基づいて、顔部分およびその近傍で手動修整が行われた領域の、修整前の状態を表す画像Ｑ0と、修整後の状態を表す画像Ｑ0′とを抽出し、パラメータ取得部２４が、抽出された画像Ｑ0とＱ0′の各々および顔部分Ｐ0fを数学モデルＭに適応させることによって、重みづけパラメータＣQ0、ＣQ0′、ＣP0fを取得し、修整後パラメータ決定部２６が、取得されたパラメータＣQ0、ＣQ0′、ＣP0fに基づいて、手動修整の内容を顔部分Ｐ0f全体に反映した場合の反映後の顔部分Ｐ1fを表すパラメータＣP1fを決定し、画像再構成部２８が、修整後のパラメータＣP1fと数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成し、画像Ｐ0の顔部分Ｐ0fを再構成された顔部分Ｐ1fに置換した画像Ｐ1を生成するので、画像Ｐ0中の顔部分Ｐ0fの一部の手動修整を行い、それ以外の部分についてもその修整内容に応じた修整を行いたい場合において、それ以外の部分について手作業で修整を行う必要がなくなり、修整作業時間が短縮されるとともに、その修整作業に対する高度な熟練性も要求されなくなる。また、顔を表現する数学モデルＭにおける重みづけパラメータを用いて、顔の一部に対する修整を全体に反映するので、そのモデルによる顔の自然な表現の範囲から逸脱することなく、自然な仕上がりとなるように顔全体の修整が可能になる。
【００８２】
上記の第１の実施形態では、顔の任意の部分に対する修整を全体に反映する処理に対応しているが、例えば、右目に対する非定型の修整を左目にも適用する場合等、修整対象が決まっている場合には、次の第２の実施形態を採用することも可能である。
【００８３】
図１２は、自由修整画面３００でのユーザの操作に基づいて行われる本発明の自動修整処理の第２の実施形態の構成とデータの流れを表すブロック図であり、ここでは右目に対する非定型の修整を左目にも適用する場合を例としている。図に示したように、イメージ領域３１１に表示されている画像Ｐ0の右目の部分に対する手動修整を受け付ける手動修整受付部３１と、画像Ｐ0中の顔部分Ｐ0fを検出する顔検出部３２と、手動修整前の画像Ｐ0と手動修整後の画像Ｐ0′との差分に基づいて、手動修整が行われた右目の領域の、修整前の状態を表す画像Ｅ0と、修整後の状態を表す画像Ｅ0′とを抽出する修整領域抽出部３３と、ＡＡＭ（前記の参考文献２参照）の手法によって生成された人物の顔部分の数学モデルＭfに顔部分Ｐ0fを適応させることによって、顔部分Ｐ0fに特有の特徴に応じた、数学モデルＭfを構成する主成分に対する重みづけをする全体パラメータＣP0fを取得する全体パラメータ取得部３４と、ＡＡＭ（前記の参考文献２参照）の手法によって生成された人物の右目部分の数学モデルＭeに修整前の右目を表す画像Ｅ0と修整後の右目を表す画像Ｅ0′の各々を適応させることによって、修整前後の右目に特有の特徴に応じた、数学モデルＭeを構成する主成分に対する重みづけをする部分パラメータＣE0、ＣE0′を取得する部分パラメータ取得部３５と、取得された各パラメータＣP0f、ＣE0、ＣE0′に基づいて、右目に対する手動修整の内容を左目にも反映した場合の反映後の顔部分Ｐ1fを表すパラメータＣP1fを決定する修整後パラメータ決定部３６と、修整後のパラメータＣP1fと数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成し、画像Ｐ0の顔部分Ｐ0fを再構成された顔部分Ｐ1fに置換した画像Ｐ1を生成する画像再構成部３８とによって、本発明の第２の実施形態となる自動修整処理が実現される。
【００８４】
ここで、手動修整受付部３１、顔検出部３２、顔部分の数学モデルＭf、全体パラメータ取得部３４、画像再構成部３８の詳細については、各々、図１１の第１の実施形態における手動修整受付部２１、顔検出部２２、数学モデルＭ、パラメータ取得部２４、画像再構成部２８と同様である。
【００８５】
修整領域抽出部３５は、手動修整前の画像Ｐ0と手動修整後の画像Ｐ0′との差分を求めることによって、修整が行われた右目の領域を特定し、画像Ｐ0、Ｐ0′における右目の領域を切り出して、各々、画像Ｅ0、Ｅ0′とする。なお、ユーザがマウスのドラッグ操作によりイメージ領域３１１に表示されている画像中の右目の領域を指定し、手動修整前後の画像Ｐ0、Ｐ0′における、指定された領域を切り出すようにしてもよい。
【００８６】
右目の数学モデルＭeは、人物の右目部分が表された複数のサンプル画像に基づいて、上記の数学モデルＭと同様に、ＡＡＭ（前記の参考文献１参照）の手法によって生成されたものである。なお、本実施形態では、顔の中の複数の部分について数学モデルが用意されており、修整操作設定フレーム３０３の「全体に反映」ボタン３３３に対するクリックイベントの発生に応じてロード・表示される自動修整詳細設定画面において、どの部分についての数学モデルを使用するかを選択できるようになっている。ここで、数学モデル化される複数の部分の具体例としては、右目／左目、右眉／左眉、鼻の右側／左側、口の右側／左側、顔の輪郭の右側／左側、右頬／左頬等が考えられる。
【００８７】
部分パラメータ取得部３５は、上記のパラメータ取得部１４と同様に、修整前後の右目を表す画像Ｅ0、Ｅ0′を数学モデルＭeに適応させる処理を行い、数学モデルＭeを構成する主成分に対する重みづけパラメータＣE0、ＣE0′を取得する。
【００８８】
修整後パラメータ決定部３６は、修整によるパラメータＣE0からＣE0′への変化量を求め、予め実験的・統計的に求めておいた全体パラメータと部分パラメータの対応関係に基づき、全体パラメータＣP0fの部分パラメータと対応する成分（重みづけ係数）の値を上記の変化量に応じて調整することによって、右目の修整を左目にも反映した後の画像Ｐ1を表す全体パラメータＣP1fを決定する。例えば、全体パラメータＣP0fの成分である重みづけ係数λK（以下、ＣP0f[λK]と表す。部分パラメータについても同様）が部分パラメータの成分である重みづけ係数λLに対応する場合、修整後の重みづけ係数ＣP1f[λK]は、次の式（８）によって求めることができる（ｍは予め実験的・統計的に求めておいた係数）。
【数５】
2007257585.tif 000007
【００８９】
なお、全体パラメータと部分パラメータの対応関係は１対１とは限らず、全体パラメータの１つの重みづけ係数に対して部分パラメータの複数の重みづけ係数の組合せが対応したり、全体パラメータの複数の重みづけ係数の組合せに対して部分パラメータの１つの重みづけ係数が対応したり、全体パラメータの複数の重みづけ係数の組合せに対して部分パラメータの複数の重みづけ係数の組合せが対応することもありうる。
【００９０】
次に、この本発明の第２の実施形態となる自動修整処理を行う場合のユーザの操作と処理の流れについて説明する。
【００９１】
まず、第１の実施形態と同様に、ユーザが、写真画像ビューワーのプログラムを起動し、表示された画像一覧表示画面１００（図２のサムネイルフレーム１０３に表示されているサムネイル画像から修整対象の画像Ｐ0を選択してクリックし、さらに、メニューフレーム１０２から「画像の自由修整」ボタン１２０をクリックすると、自由修整画面３００がロード・表示され、イメージフレーム３０２のイメージ領域３１１には、画像一覧表示画面１００で選択した画像Ｐ0が表示される。
【００９２】
ユーザは、第１の実施形態と同様に、修整操作設定フレーム３０３で修整機能、色等を選択し、画像フレーム３０２のイメージ領域３１１内において右目部分に対してマウスのドラッグ操作を行うことにより、手動修整受付部３１が、その操作を受け付け、選択された機能、色等に応じて、右目部分の画素値を変更し、イメージ領域３１１を修整後の画像Ｐ0′に更新する。
【００９３】
右目部分の修整が終了した後、ユーザは修整操作設定フレーム３０３の「全体に反映」ボタン３３３をクリックすると、反映元の部分、すなわち手動修整を行った部分を選択するための自動修整詳細設定画面がロード・表示される。ユーザは、この自動修整詳細設定画面で、反映元として「右目」を選択することにより、部分パラメータ取得部３５が使用する部分モデルが決定され、本発明の第２の実施形態となる自動修整処理が開始される。
【００９４】
顔検出部３２は、上記の部分モデルの選択・決定に応じて、画像Ｐ0中の顔部分Ｐ0fを検出し、修整領域抽出部３３は、手動修整前の画像Ｐ0と手動修整後の画像Ｐ0′との差分を求めることによって手動修整が行われた右目の領域を特定し、修整前後の右目部分を表す画像Ｅ0、Ｅ0′を抽出する。全体パラメータ取得部３４は、顔部分の数学モデルＭfに顔部分Ｐ0fを適応させることによって重みづけパラメータＣP0fを取得し、部分パラメータ取得部３５は、上記の自動修整詳細設定画面で選択・決定された右目部分の数学モデルＭeに、抽出された画像Ｅ0とＥ0′の各々を適応させることによって重みづけパラメータＣE0、ＣE0′を取得し、修整後パラメータ決定部３６は、取得されたパラメータＣE0、ＣE0′、ＣP0fに基づいて、右目の手動修整の内容を左目にも反映した場合の反映後の顔部分Ｐ1fを表すパラメータＣP1fを決定し、画像再構成部３８が、修整後のパラメータＣP1fと数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成し、画像Ｐ0の顔部分Ｐ0fを再構成された顔部分Ｐ1fに置換した画像Ｐ1を生成し、イメージ領域３１１の表示を更新する。
【００９５】
ユーザは、更新されたイメージ領域３１１の画像Ｐ1を確認し、必要に応じて、さらに上記の手動修整や本発明の自動修整処理を繰り返し行わせたり、「元に戻す」ボタン３４１をクリックすることによって、修整前の画像Ｐ0に戻したりし、所望の修整結果が得られたら、「保存して閉じる」ボタン３４３をクリックする。これにより、画像ファイルメモリに記憶されたファイル名のファイル内のデータが修整後の画像を表すデータに置換されて、ハードディスクに記録される。所望の修整結果が得られない場合には、「定型修整へ」ボタン３４２をクリックして後述の自由修整を行うか、「保存せずに閉じる」ボタン３４４をクリックすることによって、修整内容を破棄し、元の画像ファイルのデータを変更せずに自由修整作業を終了する。
【００９６】
以上のように、本発明の第２の実施形態となる画像の自動修整処理によれば、顔検出部３２が画像Ｐ0から顔部分Ｐ0fを検出し、修整領域抽出部３３が、手動修整受付部３１で受け付けられた画像Ｐ0に対する部分的の手動修整後の画像Ｐ0′と手動修整前の画像Ｐ0との差分を求めることによって手動修整が行われた右目の領域を特定し、修整前後の右目領域を表す画像Ｅ0、Ｅ0′を各々画像Ｐ0、Ｐ0′から抽出し、全体パラメータ取得部３４が、顔部分の数学モデルＭfに顔部分Ｐ0fを適応させることによって重みづけパラメータＣP0fを取得し、部分パラメータ取得部３５が、右目部分の数学モデルＭeに画像Ｅ0とＥ0′の各々を適応させることによって重みづけパラメータＣE0、ＣE0′を取得し、修整後パラメータ決定部３６が、取得されたパラメータＣE0、ＣE0′、ＣP0fに基づいて、右目の手動修整の内容を左目にも反映した場合の反映後の顔部分Ｐ1fを表すパラメータＣP1fを決定し、画像再構成部３８が、パラメータＣP1fと数学モデルＭとに基づいて顔部分を再構成した画像Ｐ1fを生成し、画像Ｐ0の顔部分Ｐ0fを再構成された顔部分Ｐ1fに置換した画像Ｐ1を生成するので、第１の実施形態と同様に、両目について手作業で修整を行う必要がなくなり、修整作業時間が短縮されるとともに、その修整作業に対する高度な熟練性も要求されなくなる。
【００９７】
上記の本発明の実施形態では、数学モデルが、顔全体または顔の部分に対して１つだけ存在するようにしていたが、人種別、年齢別、性別等の属性別に複数の数学モデルを生成しておいてもよい。図１３は、第１の実施形態における数学モデルＭを属性別に複数実装した場合の自動修整処理の構成とデータの流れを表すブロック図である。図に示したように、画像Ｐ0に基づいて、画像中の被写体の属性情報ＡKを取得する属性取得部４１と、取得した属性情報ＡKに基づいて、その属性を有する被写体を表すサンプル画像のみから生成された数学モデルＭKを選択するモデル選択部４２とを有している点で、上記の第１の実施形態（図１１）とは異なる。
【００９８】
ここで、複数の数学モデルＭiは、例えば、同じ人種、年代、性別等を有する被写体表すサンプル画像のみから前述の方法（図６参照）に基づいて各々生成されたものであり、サンプル画像における共通の属性を表す属性情報Ａiと関連づけられて記憶されている。
【００９９】
属性取得部４１は、画像Ｐ0に対する公知の認識処理（例えば、特開平11-175724号公報記載）を行うことによって、被写体の属性を判定し、属性情報ＡKを取得してもよいし、撮影時に被写体の属性を画像データＰ0の付帯情報としてヘッダ等に記録しておき、記録された情報を取得するようにしてもよい。また、付帯情報に基づいて被写体の属性を推定するようにしてもよい。例えば、撮影場所のＧＰＳ情報があれば、そのＧＰＳ情報に対応する国や地域を特定することができるので、撮影された被写体の人種をある程度推定することができることに着目し、ＧＰＳ情報と人種情報を関連づける参照テーブルを予め用意しておき、撮影時にＧＰＳ情報を取得して画像データＰ0のヘッダ領域に記録するデジタルカメラ（例えば、特開2004-153428号公報記載）で得られた画像データＰ0を入力として、画像データＰ0のヘッダ領域に記録されているＧＰＳ情報を取得し、取得したＧＰＳ情報に基づいて前記の参照テーブルを参照し、そのＧＰＳ情報に関連づけられた人種情報を被写体の人種として推定することが考えられる。
【０１００】
モデル選択部４２は、属性取得部４１によって得られた属性情報ＡKと関連づけられた数学モデルＭKを選択し、パラメータ取得部２４や画像再構成部２８では、選択された数学モデルＭKを用いて、上記の第１の実施形態と同様の処理を行う。
【０１０１】
このように、複数の属性に応じた数学モデルＭiを予め用意しておき、モデル選択部４２が、属性取得部４１で取得した属性ＡKと関連づけられた数学モデルＭKを選択し、パラメータ取得部２４や画像再構成部２８が、選択された数学モデルＭKを用いるようにした場合には、数学モデルＭKには属性ＡKの違いに起因する顔形状や輝度のバリエーションを説明する固有ベクトルは存在しないので、顔形状や輝度を決定する他の要因を表す固有ベクトルのみに基づいて、顔部分を表現することが可能になり、処理精度が向上し、より高品質の画像が得られる。
【０１０２】
なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。この場合には、画像Ｐ0と個人を特定する情報とを関連づけておく必要がある。
【０１０３】
また、人種別の数学モデルを予め準備しておき、この写真画像ビューワーソフトウェアの出荷先の国や地域、または、このソフトウェアのダウンロード元のサーバの設置場所等によって、ソフトウェアとともに配布する数学モデルを変えるようにしたり、このソフトウェアのインストール時にインストールする数学モデルを選択できるようにしたりすることも処理精度の向上の観点からは好ましい。
【０１０４】
さらに、この数学モデルを生成する機能を写真画像ビューワーソフトウェアに実装するようにしてもよい。具体的には、図６のフローチャートに基づいて説明した処理を行わせるプログラムもこのソフトウェアに含めておき、ＰＣにインストールできるようにしておけばよい。また、出荷時にはデフォルトの数学モデルを用意しておき、この写真画像ビューワーへの入力画像を用いて、その数学モデルをカスタマイズ（変更）できるようにしたり、デフォルトの数学モデルとは異なる新たなモデルを生成するようにしたりすることも考えられる。これは、前記のように個人別のモデルを生成する場合に特に有効である。
【０１０５】
また、上記の実施形態では、形状と輝度についての別個の重みづけ係数ｂi、λiによって、個別の画像を表現していたが、形状と輝度のバリエーションには相関性があることから、重みづけ係数ｂi、λiを結合して得られるベクトル（ｂ1,ｂ2,・・・,ｂi,・・・,λ1,λ2,・・・,λi,・・・）に対してさらに主成分分析を行うことにより、次式（９）（１０）に示したように、形状と輝度の両方を制御する新しいアピアランスパラメータｃを得ることができる。  
【数６】
2007257585.tif 000008
【０１０６】
ここで、アピアランスパラメータｃとベクトルＱSによって平均形状からの形状の変動分が表現され、アピアランスパラメータｃとベクトルＱAによって平均輝度からの輝度の変動分要素が表現される。
【０１０７】
このモデルを用いた場合には、パラメータ取得部１４、２４、全体パラメータ取得部３４、および部分パラメータ取得部３５は、アピアランスパラメータｃの値を変化させながら、上記式（１０）に基づいて平均形状下での輝度を求め、さらに、上記式（９）に基づいて平均形状からの変換を行うことによって、画像を再構成し、再構成された画像と入力画像（Ｐ0f、Ｑ0、Ｑ0′、Ｅ0、Ｅ0′）との差異が最小となる時のアピアランスパラメータｃを求めることになる。
【０１０８】
さらに、上記の実施形態では、数学モデルとしてＡＡＭの手法を用いたものを用いていたが、上記の自動修整の対象が、顔の輪郭や、目、鼻等の顔の構成部品等の形状である場合、ＡＳＭの手法を用いた数学モデルを用いてもよい。この場合、上記の式（１）の形状についての重みづけ係数ｂiまでを求め、輝度についての重みづけ係数λiを求める必要はない。一方、顔の一部の領域の肌色の手動修整を顔全体に反映したい場合のように、顔の輝度を対象とした自動修整を行う場合には、ＡＡＭの手法を用いることになる。
【０１０９】
上記の実施形態では、ＰＣで稼働する写真画像ビューワーの画像修整機能としての実装例を説明したが、美容整形や化粧のシミュレーションに利用することも可能である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態となる写真画像ビューワーの画面遷移図
【図２】本発明の実施形態となる写真画像ビューワーの画像一覧表示画面の一例を示す図
【図３】本発明の実施形態となる写真画像ビューワーの定型修整画面の一例を示す図
【図４】本発明の実施形態となる写真画像ビューワーの自由修整画面の一例を示す図
【図５】顔画像の数学モデルを用いた画像の定型修整処理の構成とデータの流れを模式的に示したブロック図
【図６】顔画像の数学モデルを生成する処理の流れを表すフローチャート
【図７】顔の特徴点の設定例を表す図
【図８】顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図
【図９】サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図
【図１０】顔輝度に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔輝度の変化の様子を模式的に表した図
【図１１】本発明の第１の実施形態となる数学モデルを用いた画像の自動修整処理の構成とデータの流れを模式的に示したブロック図
【図１２】本発明の第２の実施形態となる数学モデルを用いた画像の自動修整処理の構成とデータの流れを模式的に示したブロック図
【図１３】本発明の第１の実施形態に対する変形例となる画像の自動修整処理の構成とデータの流れを模式的に示したブロック図
【符号の説明】
【０１１１】
１１、２２、３２  顔検出部
２１、３１  手動修整受付部
２３、３３  修整領域抽出部
１４、２４  パラメータ取得部
３４  全体パラメータ取得部
３５  部分パラメータ取得部
２６、３６  修整後パラメータ決定部
１７  パラメータ変更受付部
１８、２８、３８  画像再構成部
４１  属性取得部
４２  モデル選択部
１００  画像一覧表示画面
１１９  画像の定型修整ボタン
１２０  画像の自由修整ボタン
１３１ａ〜１３１ｉ  イメージ領域
２００  定型修整画面
２１１  イメージ領域
２２１〜２２４  修整量調整用スライドレバー
３００  自動修整画面
３１１  イメージ領域
３２１  色パレット
３２２  他の色指定ボタン
３２３  画像中からの色指定ボタン
３２４〜３２８  修整機能選択ボタン
３２９、３３１  形状設定ボタン
３３２  太さ設定ボタン
３３３  自動修整による全体への反映ボタン
【図１】
2007257585.tif 000009
【図２】
2007257585.tif 000010
【図３】
2007257585.tif 000011
【図４】
2007257585.tif 000012
【図５】
2007257585.tif 000013
【図６】
2007257585.tif 000014
【図７】
2007257585.tif 000015
【図８】
2007257585.tif 000016
【図９】
2007257585.tif 000017
【図１０】
2007257585.tif 000018
【図１１】
2007257585.tif 000019
【図１２】
2007257585.tif 000020
【図１３】
2007257585.tif 000021