(57)【要約】【課題】画像に表示された顔の見栄えが悪い場合があった。【解決手段】対象画像における顔の鼻筋に対応する領域を検出する検出部と、上記検出された領域に対して明るさの補正を行う明るさ補正部とを備える画像処理装置とした。上記検出部は、上記顔における鼻以外の器官を検出するとともに、当該検出した鼻以外の各器官の位置関係に基づいて、上記鼻筋に対応する領域を検出し、上記明るさ補正部は、上記対象画像における顔を含む領域の輝度の標準偏差を算出し、当該標準偏差に基づいて明るさの補正を行う。【選択図】図２
2009231878.tif 000002
【特許請求の範囲】
【請求項１】
対象画像における顔の鼻筋に対応する領域を検出する検出部と、
上記検出された領域に対して明るさの補正を行う明るさ補正部とを備えることを特徴とする画像処理装置。
【請求項２】
上記検出部は、上記顔における鼻以外の器官を検出するとともに、当該検出した鼻以外の各器官の位置関係に基づいて、上記鼻筋に対応する領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記対象画像における顔の向きを推定する顔向き推定部を備え、
上記検出部は、上記推定された顔の向きに応じて上記鼻筋に対応する領域を検出することを特徴とする請求項１または請求項２のいずれかに記載の画像処理装置。
【請求項４】
上記検出部は、上記顔における鼻のエッジ位置に略対応する複数の点を特定するとともに、当該特定した点の位置に基づいて上記鼻筋に対応する領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記明るさ補正部は、上記対象画像における顔を含む領域の輝度の標準偏差を算出し、当該標準偏差に基づいて明るさの補正を行うことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
上記明るさ補正部は、トーンカーブを取得し、当該トーンカーブを用いて明るさの補正を行うことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項７】
上記明るさ補正部は、上記検出された領域に属する各画素に対して明るさの補正を行う際に、各画素に対する補正の度合いを上記検出された領域の境界からの距離に応じて変更することを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
【請求項８】
対象画像における顔の鼻筋に対応する領域を検出する検出工程と、
上記検出された領域に対して明るさの補正を行う明るさ補正工程とを備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
顔を含む画像に対し補正を行なって見栄えを向上させる技術が提案されている。このような技術として、顔領域に含まれる画素の明度の平均値と背景領域の明度の平均値とから明度補正量を計算し、この明度補正量に従ってトーンカーブを生成し、当該トーンカーブに従って画像データの各画素の明度を補正する画像処理装置が知られている（特許文献１参照。）。
【特許文献１】特開２００７‐２２８１３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像が顔を含む場合、顔の特定の器官、例えば鼻は特に画像の観察者の注意を引く部分である。このように観察者の注意を引く部分の見栄えが悪いと、画像全体の印象も悪いものとなってしまう。なお上記文献は、顔領域を含む画像全体に対して明度の補正を行う技術であり、顔の特定部分の見栄えを向上させるものではなかった。
【０００４】
本発明は上記課題に鑑みてなされたもので、画像内の顔の特定部分、特に鼻に対応する部分を補正することにより、良好な印象を観察者に与える画像を得ることが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の画像処理装置は、対象画像における顔の鼻筋に対応する領域を検出する検出部と、上記検出された領域に対して明るさの補正を行う明るさ補正部とを備える構成としてある。本発明によれば、対象画像における顔の鼻筋の明るさが補正される。そのため、鼻筋が通った見栄えの良い顔が表された画像を、自動的に得ることができる。
【０００６】
上記検出部は、上記顔における鼻以外の器官を検出するとともに、当該検出した鼻以外の各器官の位置関係に基づいて、上記鼻筋に対応する領域を検出するとしてもよい。当該構成によれば、鼻以外の器官の位置関係に基づき、鼻筋に対応するであろう領域を推定し、当該推定した領域を鼻筋の領域として検出する。具体的には、上記検出部は、上記顔における鼻以外の器官として、右目を含む領域と左目を含む領域と口を含む領域とを検出する。つまり、左目と右目と口との位置が判れば、この３つの器官の位置関係から鼻筋に対応する領域を所定の規則に基づいて高い精度で推定し、検出することができる。
【０００７】
画像処理装置は、上記対象画像における顔の向きを推定する顔向き推定部を備えるとしてもよい。そして上記検出部は、上記推定された顔の向きに応じて上記鼻筋に対応する領域を検出するとしてもよい。対象画像における顔の向きの違いは、鼻筋の位置に大きな影響を与える。そこで検出部が鼻筋に対応する領域を検出する際に、顔向き推定部が推定した顔の向きを考慮することにより、より正確に鼻筋に対応する領域を検出することが可能となる。
【０００８】
あるいは上記検出部は、上記顔における鼻のエッジ位置に略対応する複数の点を特定するとともに、当該特定した点の位置に基づいて上記鼻筋に対応する領域を検出するとしてもよい。このように鼻のエッジ位置に略対応する複数の点に基づいて鼻筋の領域を検出すれば、より正確な検出結果が得られる。
【０００９】
上記明るさ補正部は、上記対象画像における顔を含む領域の輝度の標準偏差を算出し、当該標準偏差に基づいて明るさの補正を行うとしてもよい。当該構成によれば、補正前の顔の明るさに応じた適切な程度の明るさ補正を、鼻筋の領域に対して行うことができる。そのため、鼻筋だけが突出して白くなり却って違和感を生じさせる画像となる弊害を、防止できる。あるいは上記明るさ補正部は、トーンカーブを取得し、当該トーンカーブを用いて明るさの補正を行うとしてもよい。当該構成によれば、補正前の鼻筋の領域の明るさに応じて補正量が決まるため、過剰な補正が抑制される。そのため、鼻筋だけが突出して白くなり却って違和感を生じさせる画像となる弊害を、防止できる。
【００１０】
上記明るさ補正部は、上記検出された領域に属する各画素に対して明るさの補正を行う際に、各画素に対する補正の度合いを上記検出された領域の境界からの距離に応じて変更するとしてもよい。当該構成によれば、鼻筋の領域と鼻筋の領域外の領域との境界部分において明るさが急激に変ってしまうことを防止できる。
【００１１】
本発明の技術的思想は、上述した画像処理装置の発明以外にも、上述した画像処理装置が備える各部が行なう各処理工程を備えた画像処理方法の発明や、上述した画像処理装置が備える各部に対応した機能をコンピュータに実行させる画像処理プログラムの発明としても捉えることができる。また、上述した画像処理装置を兼ねる印刷装置の発明や、上述した画像処理装置を兼ねるデジタルスチルカメラの発明をも把握可能である。
【発明を実施するための最良の形態】
【００１２】
下記の順序に従って本発明の実施形態を説明する。
１．画像処理装置の概略構成：
２．鼻筋領域の検出処理：
３．補正および印刷処理：
４．他の実施例：
【００１３】
１．画像処理装置の概略構成：
図１は、本発明の画像処理装置の一例としてのプリンタ１０の構成を、概略的に示している。プリンタ１０は、記録メディア（例えば、メモリカードＭＣ等）から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１０は、プリンタ１０の各部を制御するＣＰＵ１１と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２と、ボタンやタッチパネルにより構成された操作部１４と、液晶ディスプレイにより構成された表示部１５と、プリンタエンジン１６と、カードインターフェース（カードＩ／Ｆ）１７と、ＰＣやサーバやデジタルスチルカメラ等の外部機器との情報のやり取りのためのＩ／Ｆ部１３とを備えている。プリンタ１０の各構成要素は、バスを介して互いに接続されている。
【００１４】
プリンタエンジン１６は、印刷データに基づき印刷を行う印刷機構である。カードＩ／Ｆ１７は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのＩ／Ｆである。メモリカードＭＣには画像データが格納されており、プリンタ１０は、カードＩ／Ｆ１７を介してメモリカードＭＣに格納された画像データを取得することができる。画像データ提供のための記録メディアとしてはメモリカードＭＣ以外にも種々の媒体を用いることができる。プリンタ１０は、Ｉ／Ｆ部１３を介してＰＣやサーバ等とケーブルで接続し、当該ＰＣやサーバ等から印刷データを入力することもできる。
【００１５】
内部メモリ１２には、画像補正部２０と、表示処理部３１と、印刷処理部３２とが格納されている。画像補正部２０は、所定のオペレーティングシステムの下で、後述する画像補正処理等を実行するためのコンピュータプログラム（画像処理プログラム）である。表示処理部３１は、表示部１５を制御して、表示部１５に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２は、画像データから印刷データを生成し、プリンタエンジン１６を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１は、内部メモリ１２から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
【００１６】
画像補正部２０は、プログラムモジュールとして、顔領域検出部２１と、顔器官検出部２２と、補正量決定部２３と、補正実行部２４と、顔向き推定部２５とを含んでいる。顔領域検出部２１および顔器官検出部２２は、特許請求の範囲に言う検出部に該当する。補正量決定部２３および補正実行部２４は、特許請求の範囲に言う明るさ補正部に該当する。これら各部の機能については後述する。さらに、内部メモリ１２には、鼻筋位置定義テーブル４１や、顔テンプレート１４ｂや、目テンプレート１４ｃや、口テンプレート１４ｄ等の各種データが格納されている。プリンタ１０は、印刷機能以外にも、コピー機能やスキャナ機能など多種の機能を備えたいわゆる複合機であってもよい。
【００１７】
図２は、画像処理装置（プリンタ１０）が実行する画像補正印刷処理の概略を、フローチャートにより示している。
ステップＳ（以下、ステップの表記は省略。）１００では、画像補正部２０は、画像処理の対象とする画像（対象画像）内の顔の鼻筋に対応する領域（鼻筋領域）を検出する。鼻筋とは、顔器官としての鼻の略中央における顔の高さ方向に沿った部分を言い、一般には鼻梁とも言う。
Ｓ３００では、画像補正部２０は、上記検出された鼻筋領域に対する明るさ補正を行うための補正量を決定し、当該決定した補正量に基づいて鼻筋領域の明るさを補正する。
Ｓ５００では、印刷処理部３２は、補正処理後の対象画像を表す画像データに基づいて印刷データを生成し、生成した印刷データに基づいて印刷を実行する。ただし、プリンタ１０は、Ｓ１００の処理において、対象画像から顔領域の検出（詳しくは後述する。）に失敗したり、顔領域の検出に成功しても鼻筋領域の検出（詳しくは後述する。）に失敗した場合には、Ｓ３００を行なうことなく、対象画像を表す画像データに基づいてＳ５００の処理を行なう。以下では、対象画像は人顔を含みかつ人顔の左右の目と鼻と口とが表れている画像であるとして、図２のフローチャートの詳細を説明する。
【００１８】
２．鼻筋領域の検出処理：
図３は、Ｓ１００の詳細をフローチャートにより示している。
Ｓ１１０では、顔領域検出部２１が対象画像を表した画像データ１４ａをメモリカードＭＣ等、所定の記録メディアから取得する。むろん、顔領域検出部２１は、プリンタ１０がハードディスクドライブ（ＨＤＤ）を有していれば、当該ＨＤＤに保存されている画像データ１４ａを取得してもよいし、Ｉ／Ｆ部１３を介してＰＣやサーバやデジタルスチルカメラ等から画像データ１４ａを取得してもよい。画像データ１４ａは、各画素が示す色がＲＧＢ各チャネルの階調値の組み合わせ（ＲＧＢ色空間におけるベクトル）で表現されたビットマップデータである。後述する図面において、便宜的に２値の画像が示される場合があるが、実際には多階調のカラー画像データが処理の対象となる。画像データ１４ａは、記録メディア等に記録されている段階で圧縮されていてもよいし、他の色空間で各画素の色が表現されていてもよい。これらの場合、画像データ１４ａの展開や色空間の変換を実行して、顔領域検出部２１がＲＧＢビットマップデータの画像データ１４ａを取得する。ユーザが表示部１５に表示されたユーザインターフェース（ＵＩ）画面を参照して操作部１４を操作することにより、対象画像としての画像データ１４ａが指定される。
【００１９】
Ｓ１２０では、顔領域検出部２１が画像データ１４ａに含まれる顔を検出する。顔領域検出部２１は、複数のテンプレート（顔テンプレート１４ｂ）を利用したいわゆるパターンマッチングによって画像データ１４ａから顔領域を検出する。顔テンプレート１４ｂとのパターンマッチングを行うにあたっては、画像データ１４ａにおいて矩形状の比較領域ＣＡを設定し、比較領域ＣＡの位置と大きさと回転角度を変えながら、比較領域ＣＡ内の画像と各顔テンプレート１４ｂの画像との類似性を評価する。そして、類似性が一定の基準を満足する比較領域ＣＡを顔領域と判定し、その比較領域ＣＡの位置と大きさと回転角度を取得する。画像データ１４ａの全体に比較領域ＣＡを移動させることにより、画像データ１４ａ内に存在する単数または複数の顔についての領域の位置と大きさと回転角度を取得することができる。本実施形態では、単一の顔が検出されたものとして説明を続ける。
【００２０】
図４は、Ｓ１２０において顔領域と判定された比較領域ＣＡの矩形を示している。
Ｓ１３０では、顔領域検出部２１は、顔領域と判定された比較領域ＣＡの位置と大きさと回転角度に基づいて、当該比較領域ＣＡに含まれる画像を画像データ１４ａから顔画像データＦＤとして抽出する。このとき、顔画像データＦＤの大きさが一定の大きさとなるように解像度変換を行なう。例えば、１００×１００画素の大きさとなるように、顔画像データＦＤの画素が内挿または間引きされる。また、画像データ１４ａにおける顔の回転角に対応して比較領域ＣＡが回転されていた場合には、この回転を解消するように顔画像データＦＤを回転させる。
【００２１】
Ｓ１４０では、顔器官検出部２２が鼻以外の顔器官を検出する。鼻以外の顔器官とは、例えば、左右の目と口である。顔器官検出部２２は、複数のテンプレート（複数の目テンプレート１４ｃおよび複数の口テンプレート１４ｄ）を利用したパターンマッチングによって顔画像データＦＤから左目領域、右目領域および口領域を検出する。目テンプレート１４ｃとのパターンマッチングを行うにあたって顔器官検出部２２は、顔画像データＦＤにおいて矩形状の比較領域ＣＡを設定し、比較領域ＣＡの位置と大きさと回転角度を変えながら、比較領域ＣＡ内の画像と各目テンプレート１４ｃの画像との類似性を評価する。そして、類似性が一定の基準を満足する２つの比較領域ＣＡを、その位置に応じて右目領域、左目領域と判定する。
【００２２】
本明細書では、図を正面から見たときに右側に図示されている目が対象画像内の人物の左目であり、図を正面から見たときに左側に図示されている目が当該人物の右目である。なお、左右の目が検出できるように、目テンプレート１４ｃには左目のものと右目のものが多数含まれている。口テンプレート１４ｄとのパターンマッチングを行うにあたっても顔器官検出部２２は、顔画像データＦＤ内において矩形状の比較領域ＣＡを設定し、比較領域ＣＡの位置と大きさと回転角度を変えながら、比較領域ＣＡ内の画像と各口テンプレート１４ｄとの類似性を評価する。そして、類似性が一定の基準を満足する比較領域ＣＡを口領域と判定する。
【００２３】
図５は、左目領域、右目領域および口領域が検出された顔画像データＦＤの様子を示している。同図において、左目を中央に含む矩形状の比較領域ＣＡ１、右目を中央に含む矩形状の比較領域ＣＡ２、口を中央に含む矩形状の比較領域ＣＡ３が検出されている。以下では、比較領域ＣＡ１を左目領域ＣＡ１、比較領域ＣＡ２を右目領域ＣＡ２、比較領域ＣＡ３を口領域ＣＡ３とも呼ぶ。領域ＣＡ１，ＣＡ２，ＣＡ３の大きさは、それぞれが含む顔器官の大きさに応じて確定されている。
【００２４】
Ｓ１５０において、顔器官検出部２２は、左目領域ＣＡ１、右目領域ＣＡ２および口領域ＣＡ３の相対的な位置関係に基づいて鼻筋領域を検出する。Ｓ１５０では、顔器官検出部２２は、鼻あるいは鼻筋領域を直接的に検出するわけではないため、ここで言う検出とは、あくまで鼻筋らしい領域を推定する作業である。例えば顔器官検出部２２は、左目領域ＣＡ１の中心点Ｃｅ（ｌ）と右目領域ＣＡ２の中心点Ｃｅ（ｒ）と口領域ＣＡ３の中心点Ｃｅ（ｍ）とを結んで三角形領域Ｔを生成する。そして顔器官検出部２２は、予め定められた所定の規則に基づいて、三角形領域Ｔ内において長丸状あるいは楕円状の領域を鼻筋領域ＮＡ（図５）として検出する。ここで言う所定の規則とは、例えば、三角形領域Ｔと鼻筋領域ＮＡとの相対的な位置および大きさの関係を規定した規則である。
左目領域ＣＡ１、右目領域ＣＡ２および口領域ＣＡ３の相対的な位置関係に基づいて鼻筋領域ＮＡを検出する手法は、上述した手法に限れない。
【００２５】
例えば、図６に示すように、顔器官検出部２２は、中心点Ｃｅ（ｌ）と中心点Ｃｅ（ｒ）とを結ぶ線分ＷＬから垂直に中心点Ｃｅ（ｍ）まで延びる線分ＨＬを生成する。そして、線分ＨＬ上の所定の範囲（例えば、線分ＨＬを所定の比で３分割した場合の３本の線分のうち中央の線分に対応する範囲）と重なる位置に、長丸状あるいは楕円状の領域を設定し、当該設定した領域を鼻筋領域ＮＡとして検出するとしてもよい。
本実施形態によれば、上記のようにして対象画像における顔の左右の目および口の位置関係に基づいて鼻筋領域ＮＡを推定することにより、対象画像において実際に鼻筋が表示されている領域を、高い精度でかつ簡易に検出することができる。なお、顔器官検出部２２は、左目領域、右目領域および口領域のうちいずれか一つでも検出できなかった場合には、鼻筋領域ＮＡの検出は失敗であると判断してもよいし、左目領域、右目領域および口領域のうち２つ以上の領域を検出できた場合には、その検出した２つ以上の領域の位置関係に基づいて鼻筋領域ＮＡを推定するとしてもよい。
【００２６】
３．補正および印刷処理：
図７は、Ｓ３００（図２）の詳細をフローチャートにより示している。
Ｓ３１０では、補正量決定部２３が、補正量決定のために用いる画像データ（画素）を、対象画像における顔を含む領域から抽出する。顔を含む領域とは、例えば顔画像データＦＤに該当する領域であり、補正量決定部２３は、顔画像データＦＤから画素を抽出する。むろん、顔画像データＦＤから画素を抽出する際には、顔画像データＦＤに含まれる全ての画素を抽出してもよいし、所定の抽出率にてサンプリングしてもよい。
【００２７】
Ｓ３２０では、補正量決定部２３は、上記抽出された各画素の輝度値について所定の統計値を算出する。画素の輝度値Ｙは、ＲＧＢ値を所定の重み付けで積算することにより得られる。本実施形態では、補正量決定部２３は、上記抽出された各画素の輝度値の分布(ヒストグラム)を生成し、当該ヒストグラムに基づいて輝度値の標準偏差σを算出する。標準偏差σは、分散の平方根である。補正量決定２３は、このようにして求めた標準偏差σを補正量とする。
【００２８】
Ｓ３３０では、補正実行部２４が、上記補正量による補正対象となる画素を特定する。補正実行部２４は、画像データ１４ａを構成する各画素のうち顔器官検出部２２が検出した鼻筋領域ＮＡ内の画素を、補正対象の画素として特定する。
Ｓ３４０では、補正実行部２４は、Ｓ３３０で特定した各画素を対象として上記補正量に基づく明るさ補正を行う。つまり、Ｓ３３０で特定した各画素の明るさを上記補正量（標準偏差σ）によって上昇させる。この場合、補正実行部２４は、例えば上記輝度値の算出に用いた重み付けが示すＲＧＢの比率に応じて上記補正量を画素のＲＧＢ値に分配し、ＲＧＢ値に加算する。あるいは、補正実行部２４は、画素のＲＧＢ値それぞれに単純に上記補正量を加算してもよい。あるいは、補正実行部２４は、画素のＲＧＢ値を、輝度値を含む色空間の画像データに変換し、変換後の画像データの輝度値に上記補正量を加算し、補正量加算後の画像データを再びＲＧＢデータに変換するとしてもよい。この結果、鼻筋領域ＮＡに属する全ての画素の明るさが、上記補正量に基づいて補正（上昇）される。
ただし、鼻筋領域ＮＡに属する画素に対する明るさ補正の手法は、上述した標準偏差σに基づく補正に限られない。
【００２９】
例えば、補正実行部２４は、図８に示すようなトーンカーブＣを内部メモリ１２の所定領域から取得し、トーンカーブＣを用いて、上記Ｓ３３０で特定した各画素の輝度を補正するとしてもよい。トーンカーブＣによって輝度を補正する場合、上記Ｓ３１０，Ｓ３２０の処理は不要となる。図８に示すトーンカーブＣは、横軸を入力輝度値、縦軸を出力輝度値とした、上側に凸の曲線である。トーンカーブＣでは、入力値が、輝度値が取りうる最大値（例えば、２５５）であるときに、出力値として最大値（２５５）を出力するが、入力値が最大値未満の領域においては飽和しない（最大値を出力しない）形状となっている。図８では、入力＝出力の関係を破線により併せて示している。
【００３０】
Ｓ５００（図２）では、印刷処理部３２が、プリンタエンジン１６を制御して、対象画像の印刷を行う。すなわち印刷処理部３２は、補正処理後の画像データ１４ａ（補正処理が実行されていない場合には、Ｓ１１０（図３）で取得された画像データ１４ａ）に、解像度変換処理や色変換処理やハーフトーン処理など必要な各処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２からプリンタエンジン１６に供給され、プリンタエンジン１６は印刷データに基づいた印刷を実行する。これにより、補正処理後の対象画像の印刷が完了する。 
【００３１】
このように本実施形態によれば、プリンタ１０は、対象画像から顔領域を検出し、この顔領域から鼻以外の顔器官にかかる領域を検出し、当該検出した鼻以外の顔器官にかかる各領域の位置関係に基づいて鼻筋領域ＮＡを検出する。そして、鼻筋領域ＮＡに属する各画素の輝度値を上昇させるように補正する。すなわち、ユーザが印刷指示を行なった対象画像中に顔が存在する場合には、当該顔における鼻筋が明るくなるように自動的に補正され、その結果、鼻筋の通った（鼻が高くなったように見える）見栄えの良好な顔を含む画像が自動的に得られる。
【００３２】
本実施形態では、画素に対する補正量として、顔領域の輝度のヒストグラムから得られるパラメータ（標準偏差σ）を採用することで、補正前の顔の明るさを基準とした適切な上げ幅にて鼻筋領域ＮＡの明るさを補正する。そのため、鼻筋領域ＮＡだけが顔の他の部分と比較して突出して白くなるような過剰な補正が抑制され、観察者にとって違和感の無い画像を得ることができる。また、上記トーンカーブＣを用いて輝度値を補正する場合であっても、補正後の輝度値はあくまで補正前の輝度値に応じて決まる値であるため、同様に、上述したような過剰な補正が抑制され、観察者にとって違和感の無い画像を得ることができる。
【００３３】
補正実行部２４は、Ｓ３４０（図７）において鼻筋領域ＮＡに属する画素の明るさを補正する場合に、画素の鼻筋領域ＮＡ内における位置に応じて、補正の度合いを変更するとしてもよい。ここで言う鼻筋領域ＮＡ内における位置とは、鼻筋領域ＮＡの境界線（図５または図６に示した鼻筋領域ＮＡを示す鎖線）からの距離である。例えば、補正実行部２４は、鼻筋領域ＮＡに属する全画素を、境界線からの近さに応じて複数のグループに分け、グループ毎に適用する補正の度合いを変える。上記補正量（標準偏差σ）による補正を行う場合には、境界線から最も遠いグループに属する画素に対しては上記補正量をそのまま適用する。一方、その他のグループに属する画素に対しては上記補正量よりも小さい値を適用するものとし、かつ、境界線に近いグループほど、適用する補正量を小さい値とする。このように鼻筋領域ＮＡの境界線からの距離に応じて補正量を変更することで、当該境界周辺における輝度変化を豊かなものとすることができる。
【００３４】
鼻筋領域ＮＡの画素の輝度をトーンカーブを用いて補正する場合でも、上記グループに応じて適用するトーンカーブを変更することで、鼻筋領域ＮＡの境界周辺における輝度変化を豊かなものとすることができる。この場合、境界線から最も遠いグループに属する画素に対しては上記トーンカーブＣを適用し、その他のグループに属する画素に対してはトーンカーブＣよりもカーブの盛り上がりが少ないトーンカーブＣ１やトーンカーブＣ２（図８）を、属するグループに応じて適用する。
【００３５】
４．他の実施例：
画像変形部２０は、顔向き推定部２５（図１）を備えている。顔向き推定部２５は、対象画像における顔の向き（正面向き、上向き、下向き、右向き、左向き等）を推定する機能である。対象画像の顔が上向きとは、顔が仰向けの傾向にある状態を意味し、下向きとは顔がうつ伏せの傾向にある状態を意味し、右向きとは対象画像の人物にとっての左の横顔が画像内で主に見えている状態を意味し、左向きとは対象画像の人物にとっての右の横顔が画像内で主に見えている状態を意味する。画像変形部２０は、Ｓ１５０（図３）を実行する過程で、顔向き推定部２５に対象画像における顔の向きを推定させるとともに、当該推定された顔の向きの程度（顔の振りの程度）に応じた鼻筋領域ＮＡの検出を、顔器官検出部２２に実行させるとしてもよい。
【００３６】
Ｓ１５０の処理のうち、まず、顔向き推定部２５による顔向き推定処理を説明する。顔向き推定部２５は、図６に示した左目領域ＣＡ１の中心点Ｃｅ（ｌ）と右目領域ＣＡ２の中心点Ｃｅ（ｒ）とを結ぶ上記線分ＷＬの長さＷｒと、線分ＷＬから垂直に口領域ＣＡ３の中心点Ｃｅ（ｍ）まで延びる上記線分ＨＬの長さＨｒとの比（Ｈｒ／Ｗｒ）を判定指標値ＤＩとして算出する。そして、顔向き推定部２５は、判定指標値ＤＩに基づき顔向き推定を行う。図６から明らかなように、長さＷｒは顔の画像の幅に相関のある指標であり、長さＨｒは顔の画像の高さに相関のある指標である。具体的には、顔向き推定部２５は、判定指標値ＤＩがしきい値ＤＴ１以上かつしきい値ＤＴ２未満である場合には、顔の画像の向きが正面向きであると推定する。しきい値ＤＴ１，ＤＴ２はいずれも正の値であり、ＤＴ１＜ＤＴ２の関係を有する。顔向き推定部２５は、判定指標値ＤＩがしきい値ＤＴ１未満である場合には、顔の画像の向きが上向きまたは下向きであると推定する。顔向き推定部２５は、判定指標値ＤＩがしきい値ＤＴ２以上である場合には、顔の画像の向きが右向きまたは左向きであると推定する。
【００３７】
顔の画像の向きが右向きまたは左向きである場合には、正面向きである場合と比較して、長さＨｒはほとんど変わらない一方、長さＷｒは小さいと考えられる。従って、顔の画像の向きが右向きまたは左向きである場合には、正面向きである場合と比較して、判定指標値ＤＩ（＝Ｈｒ／Ｗｒ）が大きくなる。反対に、顔の画像の向きが上向きまたは下向きである場合には、正面向きである場合と比較して、長さＷｒはほとんど変わらない一方、長さＨｒは小さいと考えられる。従って、顔の画像の向きが上向きまたは下向きである場合には、正面向きである場合と比較して、判定指標値ＤＩ（＝Ｈｒ／Ｗｒ）が小さくなる。しきい値ＤＴ１，ＤＴ２は、複数の顔のサンプル画像の判定指標値ＤＩから統計的に定められる。予め定められたしきい値ＤＴ１，ＤＴ２は内部メモリ１２内の所定の領域に格納されている。
【００３８】
Ｓ１５０では、顔向き推定部２５によって主に顔が右向きまたは左向きと推定される場合に、顔器官検出部２２は、推定された顔の向きの度合い（判定指標値ＤＩ）を、鼻筋領域ＮＡの検出に際して考慮する。具体的には、顔器官検出部２２は、内部メモリ１２に予め保存されている鼻筋位置定義テーブル４１（図１）から判定指標値ＤＩに対応する鼻筋位置情報を読み出し、読み出した鼻筋位置情報に基づいて画像上における鼻筋領域ＮＡの検出を行う。
【００３９】
図９は、鼻筋位置定義テーブル４１の一例を示している。鼻筋位置定義テーブル４１は、基本的にはしきい値ＤＴ２以上の複数の異なる判定指標値ＤＩ（ＤＩｎ）について、夫々に鼻筋位置情報を定義したテーブルである。具体的には、鼻筋位置定義テーブル４１では、一つの判定指標値ＤＩｎにつき、顔が右向きである場合の鼻筋位置情報と顔が左向きである場合の鼻筋位置情報とを記録している。鼻筋位置情報とは、鼻筋領域ＮＡの長手方向を向く鼻筋領域ＮＡの中心線ＣＬの顔画像データＦＤにおける位置を特定するための情報であり、例えば、線分ＨＬからの位置のずれ（αｎ）および線分ＨＬに対する傾き（βｎ）を表す情報である。
【００４０】
図１０は、左目領域ＣＡ１、右目領域ＣＡ２および口領域ＣＡ３が検出された顔画像データＦＤの様子であって図５，６とは異なる例を示している。図１０では、顔画像データＦＤ内の顔自体の図示は省略している。図１０では、右目領域ＣＡ２の方が左目領域ＣＡ１よりも大きく、かつ、左目領域ＣＡ１、右目領域ＣＡ２および口領域ＣＡ３は全体的に画像の右側（図面を正面から見た場合の右側）に偏っているため、対象画像に表示されている顔は左向きの状態であることが判る。図１０においては上記中心線ＣＬを鎖線にて例示している。
【００４１】
つまり顔器官検出部２２は、顔向き推定部２５によって得られた判定指標値ＤＩおよび顔が右向きか左向きかの判定結果に応じて、鼻筋位置定義テーブル４１から鼻筋位置情報を読み出す。顔が右向きか左向きかは、例えば、中心点Ｃｅ（ｌ）と交点ＣＰとの距離と、交点ＣＰと中心点Ｃｅ（ｒ）との距離と、の大小関係に応じて判定可能である。交点ＣＰは、線分ＷＬ上における線分ＨＬとの交点である。中心点Ｃｅ（ｌ）と交点ＣＰの距離＞交点ＣＰと中心点Ｃｅ（ｒ）の距離、であれば顔は右向きであり、中心点Ｃｅ（ｌ）と交点ＣＰの距離＜交点ＣＰと中心点Ｃｅ（ｒ）の距離、であれば顔は左向きである。
顔器官検出部２２は、顔向き推定部２５によって得られた判定指標値ＤＩと一致する判定指標値ＤＩｎが鼻筋位置定義テーブル４１に定義されていない場合は、顔向き推定部２５によって得られた判定指標値ＤＩに最も近い判定指標値ＤＩｎに対応する鼻筋位置情報を読み出したり、適宜、補間によって最適な鼻筋位置情報を得たりする。
【００４２】
そして顔器官検出部２２は、上記読み出した鼻筋位置情報に基づいて、所定長さの中心線ＣＬの位置を決定する。本実施形態では、中心線ＣＬの初期位置は、線分ＨＬ上の所定位置（つまり、初期位置の中心線ＣＬは線分ＨＬに重なった状態である。）としており、顔器官検出部２２は、初期位置の中心線ＣＬを、上記読み出した鼻筋位置情報が示す位置のずれ（αｎ）に応じて線分ＨＬから平行移動させ、かつ、鼻筋位置情報が示す傾き（βｎ）に応じて回転させる。顔器官検出部２２は、このような移動および回転を施した後の中心線ＣＬを中心に含む長丸状あるいは楕円状の領域を設定し、この設定した領域を鼻筋領域ＮＡとする。
【００４３】
なお、鼻筋位置定義テーブル４１が定義する鼻筋位置情報は、様々な度合い（首振りの程度）にて右または左を向く複数の顔のサンプル画像の鼻筋位置の分析結果に基づいて、予め統計的に定められた情報である。このように顔器官検出部２２が、顔向き推定部２５によって推定された顔の向きの程度に応じて鼻筋位置定義テーブル４１から鼻筋位置情報を読み出し、読み出した情報に基づいて鼻筋領域ＮＡを検出することにより、対象画像において顔の鼻筋が実際に表されている領域を極めて高い精度で鼻筋領域ＮＡとして特定できる。なお、顔向き推定部２５によって顔が上向きまたは下向きと推定された場合には、顔器官検出部２２は、判定指標値ＤＩが小さい値であるほど、中心軸ＣＬに沿った長さを短縮した鼻筋領域ＮＡを設定すればよい。
【００４４】
上記では対象画像における顔の鼻筋領域ＮＡを鼻以外の器官の位置に基づいて検出する場合について説明した。ただし本実施形態における鼻筋領域ＮＡの検出方法は、上述した手法に限られない。例えば、顔器官検出部２２は、顔画像データＦＤ内に評価点を複数設定するとともに、各点の位置が画像内のエッジ部分に接近するよう各評価点を移動させることによりに鼻筋領域ＮＡを検出するとしてもよい。この場合、顔器官検出部２２は、上記Ｓ１４０，Ｓ１５０で説明した処理の替わりに以下の処理を実行する。まず顔器官検出部２２は、予め定められた配置規則に従って、顔画像データＦＤ上に所定数の評価点を配置する。ここで言う配置規則としては、例えば、顔画像データＦＤの重心位置付近において、顔の高さ方向に略沿って所定数の評価点を配置させる配置規則が考えられる。顔器官検出部２２は、評価点を配置する前に、左右の目の領域および口領域を検出しておき、少なくとも左右の目領域および口領域を避けた領域に評価点を配置するとしてもよい。
【００４５】
図１１は、上記配置規則に従って複数の評価点Ｐを顔画像データＦＤ上に配置した初期状態を例示している。図１１に示すように、評価点Ｐは、顔の鼻筋に近いと推測される位置に配置される。顔器官検出部２２は、一つの評価点Ｐについて、点位置の移動および移動先の位置における特徴量の評価を所定回数繰り返し行い、評価した位置の中で最も特徴量の高い位置を当該評価点Ｐの最終位置として決定する。このような移動と評価の繰り返しは、評価点Ｐ毎に行い、各評価点Ｐについて最終位置を決定する。特徴量とは、例えば、評価点が位置する画素と当該画素に隣接する画素との輝度差（輝度勾配とも言う。）の大きさを表した値であり、かかる輝度差が大きいほど、評価点Ｐは画像のエッジらしい位置に存在していると言える。
【００４６】
顔器官検出部２２は、基本的には、顔領域検出部２１が検出した顔画像の高さ方向に略直交する方向に沿って評価点Ｐを所定の範囲内で移動させ、特徴量の評価を繰り返す。各評価点Ｐの最終位置は、通常、顔画像において明るくなっている鼻筋のエッジ部分に略沿った配置となる。そこで顔器官検出部２２は、各評価点Ｐの最終位置を含む長丸状あるいは楕円状の領域を設定し、この設定した領域を鼻筋領域ＮＡとして検出する。あるいは、顔器官検出部２２は、各評価点Ｐの最終位置を近似して直線を生成し、当該生成した直線を含むかあるいは当該直線に沿った、長丸状あるいは楕円状の領域を鼻筋領域ＮＡとして検出してもよい。このように、評価点Ｐを上記特徴量が増大するように移動させることにより、鼻筋の位置を直接的に検出することができ、より一層、鼻筋領域ＮＡの検出精度が向上する。
【００４７】
なお、評価点Ｐの移動に基づく検出の対象となるエッジは鼻筋だけに限る必要はない。顔器官検出部２２は、顔画像データＦＤ上における右目や左目や口をそれぞれ囲むと推測される範囲や、鼻の穴や小鼻の位置に近いと推測される位置にも評価点Ｐを配置してもよい。そして、顔器官検出部２２は、それぞれの評価点Ｐを目や口や鼻の各器官に向かって収束する方向に移動させ上記評価を行なうことで、右目や左目や口や鼻の穴や小鼻に対応するエッジも検出する。そして、上記鼻筋に対応する各評価点Ｐの最終位置と、上記検出した右目や左目や口や鼻の穴や小鼻のエッジとの相対的な位置関係を考慮した上で、鼻筋領域ＮＡを検出するとしてもよい。
本実施形態では、プリンタ１０による処理を説明したが、上述した画像補正部２０による処理（Ｓ１００，Ｓ３００の処理）は、ＰＣやデジタルスチルカメラなど、プリンタ以外の各種ハードウェアにおいても行なうことが可能である。
【図面の簡単な説明】
【００４８】
【図１】画像処理装置としてのプリンタの概略構成を示すブロック図である。
【図２】プリンタが実行する処理を示すフローチャートである。
【図３】鼻筋領域検出処理の詳細を示すフローチャートである。
【図４】顔検出の様子を示す図である。
【図５】顔画像データにおいて顔器官を検出する様子を示す図である。
【図６】顔画像データにおいて顔器官を検出する様子を示す図である。
【図７】明るさ補正処理の詳細を示すフローチャートである。
【図８】トーンカーブを示す図である。
【図９】鼻筋位置定義テーブルの一例を示す図である。
【図１０】顔画像データにおいて顔器官を検出する様子を示す図である。
【図１１】評価点を配置した様子を示す図である。
【符号の説明】
【００４９】
１０…プリンタ、１１…ＣＰＵ、１２…内部メモリ、１４ａ…画像データ、１４ｂ…顔テンプレート、１４ｃ…目テンプレート、１４ｄ…口テンプレート、１６…プリンタエンジン、１７…カードＩ／Ｆ、２０…画像補正部、２１…顔領域検出部、２２…顔器官検出部、２３…補正量決定部、２４…補正実行部、２５…顔向き推定部、３２…印刷処理部、４１…鼻筋位置定義テーブル、１７２…カードスロット
【図１】
2009231878.tif 000003
【図２】
2009231878.tif 000004
【図３】
2009231878.tif 000005
【図４】
2009231878.tif 000006
【図５】
2009231878.tif 000007
【図６】
2009231878.tif 000008
【図７】
2009231878.tif 000009
【図８】
2009231878.tif 000010
【図９】
2009231878.tif 000011
【図１０】
2009231878.tif 000012
【図１１】
2009231878.tif 000013