(57)【要約】【課題】顔画像における顔領域の位置及び顔領域の拡大縮小率に基づいて顔画像を補正するようにして、見栄えのよいレイアウト画像を出力することができるようにする。【解決手段】複数の顔画像を入力する画像入力手段１１と、各顔画像における顔領域を検出する検出手段と、各顔画像における顔領域の補正倍率を算出する倍率算出手段と、各顔画像における顔領域の位置偏差を算出する位置算出手段と、前記補正倍率に基づいて各顔画像を拡大又は縮小し、前記位置偏差に基づいて各顔画像を移動させて顔画像のレイアウトを補正する補正手段とを有する。【選択図】図１
2011166395.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）複数の顔画像を入力する画像入力手段と、
（ｂ）各顔画像における顔領域を検出する検出手段と、
（ｃ）各顔画像における顔領域の補正倍率を算出する倍率算出手段と、
（ｄ）各顔画像における顔領域の位置偏差を算出する位置算出手段と、
（ｅ）前記補正倍率に基づいて各顔画像を拡大又は縮小し、前記位置偏差に基づいて各顔画像を移動させて顔画像のレイアウトを補正する補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記画像入力手段は、前記顔画像の輝度値の正規化を行う請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、各顔領域の重心を検出する請求項１に記載の画像処理装置。
【請求項４】
前記倍率算出手段は、顔領域の面積の平均と各顔領域の面積との比率に基づいて補正倍率を算出する請求項１に記載の画像処理装置。
【請求項５】
前記位置算出手段は、顔領域の重心座標の平均と各顔領域の重心座標との差を位置偏差として算出する請求項１に記載の画像処理装置。
【請求項６】
前記補正手段は、各顔画像における顔領域を除く部分を統一する請求項１に記載の画像処理装置。
【請求項７】
前記補正手段は、前記位置偏差だけ各顔画像を平行移動させる請求項１に記載の画像処理装置。
【請求項８】
前記補正手段は、各顔画像の顔が子供の顔であるか否かを判定し、判定結果に応じて、各顔画像を拡大又は縮小する率及び各顔画像を移動させる量に重み付けをする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
従来、複数の顔画像を編集可能な画像処理装置においては、例えば、スクールフォトアルバムのように、複数人の顔画像を並べて表示したレイアウト画像を作成することができるようになっている（例えば、特許文献１参照。）。そして、レイアウト画像に採用する個人写真群を選択するために、各個人毎に複数の候補画像を登録し、その中から、各個人毎に最も笑顔の程度が高い顔画像を自動的に選択するようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−５２４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の画像処理装置においては、選択された顔画像が各々に相違する環境下で撮影された画像であるために、各顔画像に含まれる顔の大きさ、顔の位置、明るさ、背景等が不揃（ぞろ）いとなり、レイアウト画像の見栄えが悪くなってしまう。
【０００５】
本発明は、前記従来の画像処理装置の問題点を解決して、顔画像における顔領域の位置及び顔領域の拡大縮小率に基づいて顔画像を補正するようにして、見栄えのよいレイアウト画像を出力することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そのために、本発明の画像処理装置においては、複数の顔画像を入力する画像入力手段と、各顔画像における顔領域を検出する検出手段と、各顔画像における顔領域の補正倍率を算出する倍率算出手段と、各顔画像における顔領域の位置偏差を算出する位置算出手段と、前記補正倍率に基づいて各顔画像を拡大又は縮小し、前記位置偏差に基づいて各顔画像を移動させて顔画像のレイアウトを補正する補正手段とを有する。
【発明の効果】
【０００７】
本発明によれば、画像処理装置においては、顔画像における顔領域の位置及び顔領域の拡大縮小率に基づいて顔画像を補正するようになっている。これにより、見栄えのよいレイアウト画像を出力することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施の形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態におけるパラメータ入力手段で設定することができるパラメータを示す図である。
【図３】本発明の第１の実施の形態におけるアプリケーション画面の例を示す図である。
【図４】本発明の第１の実施の形態における輝度調整手段による輝度調整前後の輝度ヒストグラムの例を示す図である。
【図５】本発明の第１の実施の形態におけるメモリが記憶する配列テーブルの例を示す図である。
【図６】本発明の第１の実施の形態における顔画像検出手段が検出した顔領域及び顔領域の重心の例を示す図である。
【図７】本発明の第１の実施の形態における入力された顔画像及び顔画像を集約して配置したレイアウト画像の例を示す図である。
【図８】本発明の第１の実施の形態における画像処理装置の動作を示すフローチャートである。
【図９】本発明の第２の実施の形態における画像処理装置の構成を示すブロック図である。
【図１０】本発明の第２の実施の形態における顔画像を集約して配置したレイアウト画像の例を示す図である。
【図１１】本発明の第２の実施の形態における画像処理装置に格納された処理アプリケーションの動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１０】
図１は本発明の第１の実施の形態における画像処理装置の構成を示すブロック図、図２は本発明の第１の実施の形態におけるパラメータ入力手段で設定することができるパラメータを示す図、図３は本発明の第１の実施の形態におけるアプリケーション画面の例を示す図、図４は本発明の第１の実施の形態における輝度調整手段による輝度調整前後の輝度ヒストグラムの例を示す図、図５は本発明の第１の実施の形態におけるメモリが記憶する配列テーブルの例を示す図、図６は本発明の第１の実施の形態における顔画像検出手段が検出した顔領域及び顔領域の重心の例を示す図、図７は本発明の第１の実施の形態における入力された顔画像及び顔画像を集約して配置したレイアウト画像の例を示す図である。なお、図７において、（ａ）は入力された顔画像を示す図、（ｂ）はレイアウト画像を示す図である。
【００１１】
図において、１０は本実施の形態における画像処理装置としてのパーソナルコンピュータ（以下「ＰＣ」という。）であり、インストールされたソフトウェアである処理アプリケーションに従って作動することによって、複数の顔画像を編集可能な画像処理装置として機能するものである。ここで、前記ＰＣは、ＣＰＵ、ＭＰＵ等の演算手段、磁気ディスク、半導体メモリ等の記憶手段、ＣＲＴ、液晶ディスプレイ等の表示手段、マウス、キーボード等の入力手段、通信インターフェイス等を備え、ユーザが使用するコンピュータであるが、前記処理アプリケーションに従って作動することが可能な装置であれば、いかなる装置であってもよい。
【００１２】
本実施の形態における画像処理装置１０は、複数の顔画像を並べたレイアウト画像を出力可能な装置であり、機能の観点から、図に示されるように、画像入力手段１１、画像サイズ調整手段１２、メモリ１３、検出手段としての顔画像検出手段１４、倍率算出手段としての顔補正倍率算出手段１５、位置算出手段としての顔補正位置算出手段１６、背景除去手段１７、補正手段としての画像補正手段１８、レイアウト手段１９、パラメータ入力手段２０、輝度調整手段２１及び画像出力手段２２を備える。
【００１３】
そして、前記パラメータ入力手段２０は、前記背景除去手段１７及び画像出力手段２２による処理に必要なパラメータを与えたり、画像入力手段１１へ入力する画像を選択したりするためのユーザインターフェイスである。前記パラメータ入力手段２０は、ＰＣの表示手段に表示され、マウス、キーボード等のＰＣの入力手段によって操作される。
【００１４】
図２は、パラメータ入力手段２０で指定することができるパラメータの例を示している。ここで、背景除去手段１７による処理に必要なパラメータは、背景除去を行うか否かを示す背景除去ＯＮ／ＯＦＦ（ＢＧ＿ＦＬＧ）２０ａ、及び、塗りつぶす背景色及び／又は画像を示す背景除去色／画像（ＢＧ＿ＭＡＴＥＲＩＡＬ）２０ｂである。
【００１５】
また、レイアウト手段１９による処理に必要なパラメータは、出力されるレイアウト画像の画素数を示す出力用紙画素数（ＯＵＴＸ、ＯＵＴＹ）２０ｄ、レイアウト画像に並べられる顔写真、すなわち、顔画像の横の数を示す１ページ写真横枚数（ＯＵＴＸ＿ＮＵＭ）２０ｅ、レイアウト画像に並べられる顔画像の縦の数を示す１ページ写真縦枚数（ＯＵＴＹ＿ＮＵＭ）２０ｆ、レイアウト画像の上端マージンを示す上端マージン（ＭＡＲＧＩＮ＿Ｔ）２０ｇ、レイアウト画像の下端マージンを示す下端マージン（ＭＡＲＧＩＮ＿Ｂ）２０ｈ、レイアウト画像の右端マージンを示す右端マージン（ＭＡＲＧＩＮ＿Ｒ）２０ｉ、レイアウト画像の左端マージンを示す左端マージン（ＭＡＲＧＩＮ＿Ｌ）２０ｊ、顔画像間の幅マージンを示す幅マージン（ＭＡＲＧＩＮ＿Ｗ）２０ｋ、及び、顔画像間の高さマージンを示す高マージン（ＭＡＲＧＩＮ＿Ｈ）２０ｌである。
【００１６】
さらに、画像入力手段１１による処理に必要なパラメータは、入力された顔画像の数を示す入力写真画像数（ＩＮＮＵＭ）２０ｃ、及び、処理を行う顔画像群が保存されているＰＣのディスク上のファイルパス一覧を配列変数に格納した入力写真一覧（ＩＮＦＩＬＥＳ）２０ｍである。
【００１７】
また、図３は、パラメータ入力手段２０を実現するためのユーザインターフェイスとしてのアプリケーション画面３１の例を示している。該アプリケーション画面３１は、ＰＣの表示手段に表示される。ここで、アプリケーション画面３１は、大別して、左右のペイン（Ｐａｉｎ：表示領域）に分かれている。
【００１８】
右側のペインは、ＰＣの記憶手段におけるパスを指定し、その中の画像ファイル一覧から入力する顔画像としての入力写真を選択する入力写真選択ペイン３２である。該入力写真選択ペイン３２においては、指定されたパスの画像ファイルの各サムネイルにチェックボックスがある。そして、該チェックボックスを有効にすると入力写真として選択され、入力写真一覧（ＩＮＦＩＬＥＳ）２０ｍに写真画像のパスが登録され、入力写真画像数（ＩＮＮＵＭ）２０ｃに現在選択されている入力写真の数が格納される。
【００１９】
また、左側のペインは画像処理装置１０が処理を実行するのに必要なパラメータを設定するためのパラメータ設定ペイン３３である。該パラメータ設定ペイン３３に含まれるチェックボックスやテキストボックスをユーザが適切に指定することによって、背景除去ＯＮ／ＯＦＦ（ＢＧ＿ＦＬＧ）２０ａから右端マージン（ＭＡＲＧＩＮ＿Ｒ）２０ｉまで、及び、左端マージン（ＭＡＲＧＩＮ＿Ｌ）２０ｊから高マージン（ＭＡＲＧＩＮ＿Ｈ）２０ｌまでの各パラメータの指定を行うことができる。
【００２０】
このとき、出力用紙画素数（ＯＵＴＸ、ＯＵＴＹ）２０ｄについては、Ａ４、Ａ５等のように、用紙サイズで指定することができ、パラメータ入力手段２０内部で指定された用紙サイズから出力用紙画素数（ＯＵＴＸ、ＯＵＴＹ）２０ｄを自動的に算出するようにしてもよい。
【００２１】
さらに、アプリケーション画面３１における上方のメニューバー３４は、その他の各種コマンドの選択が可能となっている。前記メニューバー３４は、アプリケーション画面３１で指定したパラメータに基づいて処理を開始し、処理結果を印刷する「印刷」コマンド、処理結果を画像ファイルとしてディスク上に保存する「保存」コマンド、アプリケーションを終了する「終了」コマンド等を有する。
【００２２】
また、前記画像入力手段１１は、パラメータ入力手段２０が指定した入力写真一覧（ＩＮＦＩＬＥＳ）２０ｍに基づいてＰＣが備える磁気ディスク等の記憶手段又はＰＣに接続された外部メモリ等の記憶手段から各個人の顔画像を取得して入力する。該顔画像の各々は、一人の人物が対象物である個人写真画像である。そして、前記画像入力手段１１によって、レイアウト画像に採用される複数の顔画像が入力される。
【００２３】
さらに、前記画像サイズ調整手段１２は、画像入力手段１１によって入力された顔画像の画像サイズがまばらである可能性があるため、画像の拡大又は縮小により前記顔画像を規定のサイズに整形し、輝度調整手段２１へ送る。なお、規定のサイズと縦横比が相違する顔画像に対しては、縦横比をそのままにして、規定のサイズに収まる最大サイズになるような倍率で画像の拡大又は縮小を行う。
【００２４】
そして、前記輝度調整手段２１は、画像入力手段１１によって入力された顔画像が、撮影条件により明るすぎたり暗すぎたりして輝度がまばらである可能性があるため、前記顔画像の輝度及び／又はコントラストを自動補正し、メモリ１３へ送る。
【００２５】
なお、本実施の形態における輝度調整手段２１は、画像入力手段の一部として機能し、顔画像の輝度分布を正規化する。以下に、画像の輝度分布を正規化する動作の具体例を説明する。
【００２６】
前記画像サイズ調整手段１２によって画像サイズが調整された顔画像を取得すると、輝度調整手段２１は、まず、顔画像の全画素（ピクセル）を走査することによって輝度の最大値ｂ及び最小値ａを取得する。この結果を用い、取得した顔画像の輝度分布を正規化するような輝度変換式を作成する。ここでは、画像処理装置１０が取り扱うことのできる輝度の最小値を０とし、輝度の最大値をＡとする。また、変換前画素値をＬ＿ＢＥＦＯＲＥとし、変換後画素値をＬ＿ＡＦＴＥＲとする。すると、輝度変換式は以下の式（１）で表すことができる。
Ｌ＿ＡＦＴＥＲ＝（Ｌ＿ＢＥＦＯＲＥ−ａ）＊Ａ／（Ａ＋ａ−ｂ）  ・・・式（１）
そして、取得した顔画像の全画素の輝度を前記式（１）で変換し、変換した結果の顔画像を出力する。
【００２７】
図４において、破線４１は、輝度調整前、すなわち、輝度を前記式（１）で変換する前の顔画像の輝度ヒストグラムの分布を示し、実線４２は、輝度調整後、すなわち、輝度を前記式（１）で変換した後の顔画像の輝度ヒストグラム分布を示している。
【００２８】
また、前記メモリ１３は、画像入力手段１１によって入力され、輝度調整手段２１によって補正された顔画像にユニークな画像ＩＤを付加して記憶し、併せて関連情報を記憶することができる領域を保持する。
【００２９】
図５は、前記メモリ１３が保持する配列テーブル１３ａの例を示している。該配列テーブル１３ａは、入力された顔画像毎にユニークに付加される画像ＩＤ１３ｂ、及び、格納された顔画像へのメモリ１３上のポインタを示す写真画像情報１３ｃを有する。さらに、配列テーブル１３ａは、関連情報である顔領域の中心座標１３ｄ、顔領域の長軸長１３ｅ及び顔領域の短軸長１３ｆを記憶することができる領域を有する。
【００３０】
さらに、前記顔画像検出手段１４は、メモリ１３に記憶された顔画像における顔を検出する。具体的には、前記顔画像検出手段１４は、顔画像中に含まれる顔領域及び該顔領域の重心を検出する。以下に、顔領域及び該顔領域の重心を検出する動作の具体例について説明する。
【００３１】
図６は、顔画像検出手段１４が検出した顔領域及び該顔領域の重心の例を示している。まず、顔画像検出手段１４は、前処理として、顔画像を２値化し、周知のラベリング処理、収縮拡散処理等によってノイズを除去してエッジ検出を行う。この結果を用い、顔画像検出手段１４は、顔画像における顔領域を求めるために、楕（だ）円形パターンマッチングによって画像中で最も大きな楕円を検出し、図６に示されるような楕円で囲まれる領域を顔領域とする。そして、顔画像検出手段１４は、前記楕円を表現するパラメータ、すなわち、顔領域中心座標５２、顔領域長軸長５３及び顔領域短軸長５４をメモリ１３に記憶する。
【００３２】
そして、前記顔補正倍率算出手段１５は、メモリ１３が保持する配列テーブル１３ａを参照し、すべての画像ＩＤに対応する顔画像における顔領域の補正倍率を算出する。具体的には、配列テーブル１３ａ内に格納されている顔領域の長軸長１３ｅのｆｌｉ（ｉ：画像ＩＤ）、及び、短軸長１３ｆのｆｓｉ（ｉ：画像ＩＤ）から各画像ＩＤに対応する顔画像における顔領域の面積ｆａ（ｉ）（ｉ：画像ＩＤ）を個別に求め、すべての画像ＩＤに対応する顔画像における顔領域の面積平均ｆａ＿ＡＶＥとの比率を求める。この結果が顔領域の補正倍率ｆｒ（ｉ）（ｉ：画像ＩＤ）である。顔領域の面積ｆａ（ｉ）、顔領域の面積平均ｆａ＿ＡＶＥ、及び、顔領域の補正倍率ｆｒ（ｉ）は、以下の式（２）〜（４）で表される。
【００３３】
ｆａ（ｉ）＝π＊ｆｌｉ＊ｆｓｉ／２  ・・・式（２）
ｆａ＿ＡＶＥ
＝［｛ｆａ（１）＋ｆａ（２）＋．．．＋ｆａ（ＩＮＮＵＭ）｝／ＩＮＮＵＭ］  ・・・式（３）
ｆｒ（ｉ）＝ｆａ＿ＡＶＥ／ｆａ（ｉ）  ・・・式（４）
（ただし、πは円周率）
また、前記顔補正位置算出手段１６は、メモリ１３が保持する配列テーブル１３ａを参照し、すべての画像ＩＤに対応する顔画像における顔領域の位置補正量を算出する。具体的には、前記配列テーブル１３ａ内に格納されている各画像ＩＤに対応する顔画像における顔領域の重心を示す重心座標としての中心座標１３ｄ（ｆｘｉ、ｆｙｉ）（ｉ：画像ＩＤ）とすべての画像ＩＤに対応する顔画像における顔領域の中心座標平均（ｆｘ＿ＡＶＥ、ｆｙ＿ＡＶＥ）との差分、すなわち、各顔画像における顔領域の位置偏差を算出する。この結果が、各画像ＩＤに対応する顔画像における顔領域の位置補正量ｆｐ（ｉ）（ｉ：画像ＩＤ）である。顔領域の中心座標平均（ｆｘ＿ＡＶＥ、ｆｙ＿ＡＶＥ）、及び、顔領域の位置補正量ｆｐ（ｉ）の座標成分（ｆｐｘ（ｉ）、ｆｐｙ（ｉ））は、以下の式（５）及び（６）で表される。
【００３４】
（ｆｘ＿ＡＶＥ、ｆｙ＿ＡＶＥ）
＝（（ｆｘ１＋ｆｘ２＋．．．＋ｆｘＩＮＮＵＭ）／ＩＮＮＵＭ、
（ｆｙ１＋ｆｙ２＋．．．＋ｆｙＩＮＮＵＭ）／ＩＮＮＵＭ）  ・・・式（５）
（ｆｐｘ（ｉ）、ｆｐｙ（ｉ））
＝（ｆｘ＿ＡＶＥ−ｆｘｉ、ｆｙ＿ＡＶＥ−ｆｙｉ）  ・・・式（６）
さらに、前記背景除去手段１７は、補正手段の一部として機能し、各顔画像における顔領域を除く部分を統一する。具体的には、顔画像検出手段１４によって検出された顔領域に基づいて、メモリ１３が保持する配列テーブル１３ａ中の写真画像情報１３ｃに格納されたすべての画像ＩＤの顔画像における顔領域の外側の背景部分を白で塗りつぶす。
【００３５】
塗りつぶす方法としては、例えば、自然な背景除去画像を得るために、顔領域のエッジをぼかすように顔領域の外側に向かってグラデーション状に塗りつぶす方法を採用してもよい。また、パラメータ入力手段２０によってユーザが指定した色や背景である背景除去色／画像（ＢＧ＿ＭＡＴＥＲＩＡＬ）２０ｂがある場合は、ユーザが指定の条件で塗りつぶすこともできる。さらに、背景除去ＯＮ／ＯＦＦ（ＢＧ＿ＦＬＧ）２０ａが背景除去ＯＦＦの設定である場合は、背景除去を行わず、単に画像データをバイパスしてオリジナル画像の背景を流用することもできる。この結果、前記背景除去手段１７は、顔画像を、メモリ１３上の読み出し時と同じアドレスに書き戻す。
【００３６】
そして、前記画像補正手段１８は、メモリ１３が保持する配列テーブル１３ａ中の写真画像情報１３ｃに格納されたすべての画像ＩＤに対応する顔画像に対し、顔補正倍率算出手段１５及び顔補正位置算出手段１６の結果に基づいて、背景除去手段１７による処理が施された後の補正を行う。該補正は、具体的には、顔画像全体の拡大又は縮小、及び、平行移動である。拡大又は縮小の倍率は、顔補正倍率算出手段１５によって導出された顔領域の補正倍率ｆｒ（ｉ）であり、顔画像の平行移動量の座標成分は、顔補正位置算出手段１６によって導出された位置補正量の座標成分（ｆｐｘ（ｉ）、ｆｐｙ（ｉ））である。前記画像補正手段１８は、処理の結果を、メモリ１３上の読み出し時と同じアドレスに書き戻す。
【００３７】
また、前記レイアウト手段１９は、メモリ１３が保持する配列テーブル１３ａ中の写真画像情報１３ｃに格納されているすべての画像ＩＤに対応する顔画像を集約配置したレイアウト画像を作成し、画像出力手段２２へ送る。前記レイアウト手段１９は、レイアウト画像を作成するために、各画像ＩＤに対応する顔画像の拡大又は縮小を行うとともに、配置位置を算出する。このために必要な情報は、パラメータ入力手段２０でユーザが指定した値に基づくものである。
【００３８】
図７は、入力された顔画像と該顔画像を集約して配置したレイアウト画像の例を示している。ここでは、パラメータ入力手段２０から次のパラメータ、すなわち、１ページ写真横枚数（ＯＵＴＸ＿ＮＵＭ）２０ｅ＝３、及び、１ページ写真縦枚数（ＯＵＴＹ＿ＮＵＭ）２０ｆ＝３が入力された例について説明する。この他に、出力用紙画素数（ＯＵＴＸ、ＯＵＴＹ）２０ｄ、上端マージン（ＭＡＲＧＩＮ＿Ｔ）２０ｇ、下端マージン（ＭＡＲＧＩＮ＿Ｂ）２０ｈ、右端マージン（ＭＡＲＧＩＮ＿Ｒ）２０ｉ、左端マージン（ＭＡＲＧＩＮ＿Ｌ）２０ｊ、幅マージン（ＭＡＲＧＩＮ＿Ｗ）２０ｋ、及び、高マージン（ＭＡＲＧＩＮ＿Ｈ）２０ｌとして定数値が設定されているものとする。
【００３９】
そして、画像ＩＤ＝ｉに対応する顔画像を図７（ｂ）に示されるようなレイアウト画像に配置するために配置位置（ｌａｙｘ（ｉ）、ｌａｙｙ（ｉ））、及び、前記顔画像の拡大又は縮小を行うための画像サイズ（ｌｓｉｚｅｘ、ｌｓｉｚｅｙ）は、以下の式（７）〜（１０）で計算される。
ｌｓｉｚｅｘ＝ＯＵＴＸ−ＭＡＲＧＩＮ＿Ｒ−ＭＡＲＧＩＮ＿Ｌ−（ＭＡＲＧＩＮ＿Ｗ
＊（ＯＵＴＸ＿ＮＵＭ−１））／ＯＵＴＸ＿ＮＵＭ  ・・・式（７）
ｌｓｉｚｅｙ＝ＯＵＴＹ−ＭＡＲＧＩＮ＿Ｔ−ＭＡＲＧＩＮ＿Ｂ−（ＭＡＲＧＩＮ＿Ｈ
＊（ＯＵＴＹ＿ＮＵＭ−１））／ＯＵＴＹ＿ＮＵＭ  ・・・式（８）
ｌａｙｘ（ｉ）＝ＭＡＲＧＩＮ＿Ｌ＋（ｌｓｉｚｅｘ＋ＭＡＲＧＩＮ＿Ｗ）
＊（ｉ−１）％ＯＵＴＸ＿ＮＵＭ）  ・・・式（９）
ｌａｙｙ（ｉ）＝ＭＡＲＧＩＮ＿Ｔ＋（ｌｓｉｚｅｙ＋ＭＡＲＧＩＮ＿Ｈ）
＊ＩＮＴ（（ｉ−１）／ＯＵＴＹ＿ＮＵＭ）  ・・・式（１０）
（ただし、「Ａ％Ｂ」はＡをＢで除した余りであり、「ＩＮＴ（Ａ）」は、Ａの整数部分とする。）
さらに、前記画像出力手段２２は、レイアウト手段１９から受け取ったレイアウト画像を所定の出力形式にして保存及び／又は出力する。なお、出力形式は、ＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）、圧縮画像ＪＰＥＧ、プリンタで出力することを想定したＰＤＬ（Ｐｒｉｎｔｅｒ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）等の形式である。
【００４０】
次に、前記構成の画像処理装置１０の動作について説明する。
【００４１】
図８は本発明の第１の実施の形態における画像処理装置の動作を示すフローチャートである。
【００４２】
まず、ユーザは、パラメータの設定、メモリ確保及び初期設定を行う。具体的には、ユーザインターフェイスであるパラメータ入力手段２０を操作し、初期設定を行い、変数ｎ及び変数ｉに１を代入する。また、ユーザは、図２に示されるようなパラメータの中から、背景除去ＯＮ／ＯＦＦ（ＢＧ＿ＦＬＧ）２０ａから右端マージン（ＭＡＲＧＩＮ＿Ｒ）２０ｉまで、及び、左端マージン（ＭＡＲＧＩＮ＿Ｌ）２０ｊから入力写真一覧（ＩＮＦＩＬＥＳ）２０ｍまでの各パラメータを選択し、アプリケーション画面３１におけるメニューバー３４上の「印刷」又は「保存」ボタンを押下する。これにより、各パラメータが設定される。また、設定されたパラメータは、画像入力手段１１、背景除去手段１７及びレイアウト手段１９に通知される。同時に、メモリ１３内の配列テーブル１３ａの領域が入力写真画像数（ＩＮＮＵＭ）２０ｃ分だけ確保される。
【００４３】
続いて、画像入力手段１１は、写真画像読み出しを行い、記憶手段から各個人の顔画像を取得して入力する。具体的には、パラメータ入力手段２０から受け取った入力写真一覧（ＩＮＦＩＬＥＳ）２０ｍの配列ｉ番目にあるパスを読み取り、該当する画像ファイルの顔画像を読み出す。読み出した顔画像に対して画像ＩＤ＝ｉを付加し、メモリ１３に保持されている配列テーブル１３ａ内の写真画像情報１３ｃのポインタに格納する。
【００４４】
続いて、画像サイズ調整手段１２及び輝度調整手段２１は、顔画像の前処理、すなわち、前画像処理を行う。この場合、メモリ１３に格納された顔画像のうち画像ＩＤがｉである顔画像を読み出す。そして、画像サイズ調整手段１２は、規定のサイズになるよう画像サイズの調整を行い、次に、輝度調整手段２１は、輝度の調整を行う。前処理の結果は、メモリ１３上の読み出し時と同じアドレスに書き戻される。
【００４５】
続いて、顔画像検出手段１４は、顔領域検出を行う。この場合、メモリ１３に格納された顔画像のうち画像ＩＤがｉである顔画像を読み出し、該顔画像における顔領域を検出する。具体的には、顔領域を示すパラメータとして、顔領域中心座標５２（ｆｘｉ、ｆｙｉ）、顔領域長軸長５３（ｆｌｉ）及び顔領域短軸長５４（ｆｓｉ）を検出する。検出されたパラメータは、メモリ１３上において画像ＩＤがｉとして確保されている領域の所定の位置へ格納される。
【００４６】
続いて、画像処理装置１０は、ｉ＝ＩＮＮＵＭであるか否かを判断する。すなわち、変数ｉが入力写真画像数（ＩＮＮＵＭ）２０ｃと等しいか否かが判定される。そして、ｉ＝ＩＮＮＵＭでない場合には、変数ｉが１インクリメントされ、再度画像入力手段１１によって写真画像読み出しが行われ、以降の動作が繰り返される。
【００４７】
また、ｉ＝ＩＮＮＵＭである場合には、背景除去手段１７が背景除去を行う。この場合、背景除去手段１７は、メモリ１３に格納された顔画像のうち画像ＩＤがｉである画像を読み出し、パラメータ入力手段２０から受け取った、背景除去ＯＮ／ＯＦＦ（ＢＧ＿ＦＬＧ）２０ａ及び背景除去色／画像（ＢＧ＿ＭＡＴＥＲＩＡＬ）２０ｂに基づいた動作を行う。そして、背景除去が行われた顔画像は、メモリ１３上の読み出し時と同じアドレスに書き戻される。
【００４８】
続いて、顔補正倍率算出手段１５、顔補正位置算出手段１６及び画像補正手段１８は、顔補正を行う。具体的には、メモリ１３に格納された顔画像のうち画像ＩＤがｉである画像を読み出し、拡大又は縮小及び移動を行う。まず、顔補正倍率算出手段１５が補正倍率ｆｒ（ｉ）を求める。次に、顔補正位置算出手段１６が補正位置（ｆｐｘ（ｉ）、ｆｐｙ（ｉ））を求める。これらの結果を用いて、画像補正手段１８が、画像ＩＤがｉである顔画像の補正を行う。そして、処理の結果は、メモリ１３上の読み出し時と同じアドレスに書き戻される。
【００４９】
続いて、画像処理装置１０は、ｎ＝ＩＮＮＵＭであるか否かを判断する。すなわち、変数ｎが入力写真画像数（ＩＮＮＵＭ）２０ｃと等しいか否かが判定される。そして、ｎ＝ＩＮＮＵＭでない場合には、変数ｎが１インクリメントされ、再度背景除去手段１７によって背景除去が行われ、以降の動作が繰り返される。
【００５０】
また、ｎ＝ＩＮＮＵＭである場合には、レイアウト手段１９が画像レイアウトを行う。この場合、レイアウト手段１９は、メモリ１３に格納された顔画像のうちから画像ＩＤが１からＩＮＮＵＭまでの顔画像をすべて読み出し、読み出した顔画像を集約配置したレイアウト画像を作成する。具体的には、レイアウト手段１９は、パラメータ入力手段２０から受け取った、出力されるレイアウト画像の画素数を示す出力用紙画素数（ＯＵＴＸ、ＯＵＴＹ）２０ｄ、レイアウト画像に並べられる顔画像の横の数を示す１ページ写真横枚数（ＯＵＴＸ＿ＮＵＭ）２０ｅ、レイアウト画像に並べられる顔画像の縦の数を示す１ページ写真縦枚数（ＯＵＴＹ＿ＮＵＭ）２０ｆ、レイアウト画像の上端マージンを示す上端マージン（ＭＡＲＧＩＮ＿Ｔ）２０ｇ、レイアウト画像の下端マージンを示す下端マージン（ＭＡＲＧＩＮ＿Ｂ）２０ｈ、レイアウト画像の右端マージンを示す右端マージン（ＭＡＲＧＩＮ＿Ｒ）２０ｉ、レイアウト画像の左端マージンを示す左端マージン（ＭＡＲＧＩＮ＿Ｌ）２０ｊ、顔画像間の幅マージンを示す幅マージン（ＭＡＲＧＩＮ＿Ｗ）２０ｋ、及び、顔画像間の高さマージンを示す高マージン（ＭＡＲＧＩＮ＿Ｈ）２０ｌに基づいた動作を行う。
【００５１】
続いて、画像出力手段２２は、画像出力を行う。この場合、レイアウト手段１９によって作成されたレイアウト画像を所定の出力形式にして保存及び／又は出力する。
【００５２】
このように、本実施の形態おける画像処理装置１０は、顔補正倍率算出手段１５、顔補正位置算出手段１６及び画像補正手段１８を有するので、各個人の顔画像における顔領域の大きさ及び顔領域の位置の違いを調整することができる。また、輝度調整手段２１及び背景除去手段１７を有するので、各個人の写真を違う環境下で撮影したことに起因する顔画像の明るさ及びコントラストの違いを調整することができ、背景を揃えることができる。
【００５３】
次に、フローチャートについて説明する。
ステップＳ１  ユーザは、パラメータの設定、メモリ確保及び初期設定を行う。
ステップＳ２  画像入力手段１１は、写真画像読み出しを行う。
ステップＳ３  画像サイズ調整手段１２及び輝度調整手段２１は、前画像処理を行う。
ステップＳ４  顔画像検出手段１４は、顔領域検出を行う。
ステップＳ５  画像処理装置１０は、ｉ＝ＩＮＮＵＭであるか否かを判断する。ｉ＝ＩＮＮＵＭである場合はステップＳ７に進み、ｉ＝ＩＮＮＵＭでない場合はステップＳ６に進む。
ステップＳ６  変数ｉが１インクリメントされる。
ステップＳ７  背景除去手段１７は、背景除去を行う。
ステップＳ８  顔補正倍率算出手段１５、顔補正位置算出手段１６及び画像補正手段１８は、顔補正を行う。
ステップＳ９  画像処理装置１０は、ｎ＝ＩＮＮＵＭであるか否かを判断する。ｎ＝ＩＮＮＵＭである場合はステップＳ１１に進み、ｎ＝ＩＮＮＵＭでない場合はステップＳ１０に進む。
ステップＳ１０  変数ｎが１インクリメントされる。
ステップＳ１１  レイアウト手段１９は、画像レイアウトを行う。
ステップＳ１２  画像出力手段２２は、画像出力を行い、処理を終了する。
【００５４】
このように、本実施の形態においては、輝度調整手段２１及び背景除去手段１７によって、各個人の写真を違う環境で撮影したことに起因する顔画像の明るさ及びコントラストの違いを調整することができ、背景を揃えることができる。したがって、レイアウト画像の見栄えをよくすることができる。
【００５５】
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同じ構成を有するものについては、同じ符号を付与することによって、その説明を省略する。また、前記第１の実施の形態と同じ動作及び効果についても、その説明を省略する。
【００５６】
図９は本発明の第２の実施の形態における画像処理装置の構成を示すブロック図である。
【００５７】
図に示されるように、本実施の形態における画像処理装置１０は、補正手段の一部として機能し、各顔画像の顔が子供の顔であるか否かを判定する子供顔検出手段２３を更に備える。該子供顔検出手段２３は、メモリ１３に記憶された顔画像の顔が、子供の顔であるか否かを判定する。なお、判定方法は、例えば、テンプレートマッチングによる方法、ニューラルネットワークによる方法等であるが、いかなる方法であってもよい。また、顔の各部位の特徴量に応じて子供の顔であるか否かを判定する方法としては、その他の文献（例えば、特開２００５−２７５９３５号公報）に記載されている方法であってもよい。なお、これらの方法については、既知であるので、説明を省略する。子供顔検出手段２３は、判定の結果、子供の顔であると判定した場合には１を、また、それ以外の場合には０を、子供フラグｃｈ（ｉ）（ｉ：画像ＩＤ）に格納する。
【００５８】
そして、本実施の形態における画像補正手段１８は、メモリ１３が保持する配列テーブル１３ａ中の写真画像情報１３ｃに格納されたすべての画像ＩＤに対応する顔画像に対し、顔補正倍率算出手段１５、顔補正位置算出手段１６及び子供顔検出手段２３の結果に基づいて、背景除去手段１７による処理が施された後の補正を行う。
【００５９】
該補正は、具体的には、顔画像全体の拡大又は縮小、及び、平行移動である。拡大又は縮小の倍率は、顔補正倍率算出手段１５によって導出された顔領域の補正倍率ｆｒ（ｉ）に子供フラグｃｈ（ｉ）に応じた重みＦＲＷを乗じた値であり、顔画像の平行移動量の座標成分は、顔補正位置算出手段１６によって導出された位置補正量の座標成分（ｆｐｘ（ｉ）、ｆｐｙ（ｉ））のそれぞれに、子供フラグｃｈ（ｉ）に応じた重み（ＦＰＷＸ、ＦＰＷＹ）を加算した値である。つまり、子供フラグｃｈ（ｉ）＝１のとき、画像全体の拡大又は縮小の倍率はｆｒ（ｉ）＊ＦＲＷであり、位置補正量の座標成分は（ｆｐｘ（ｉ）＋ＦＰＷＸ、ｆｐｙ（ｉ）＋ＦＰＷＹ）である。前記画像補正手段１８は、処理の結果を、メモリ１３上の読み出し時と同じアドレスに書き戻す。
【００６０】
なお、前記ＦＲＷ、ＦＰＷＸ及びＦＰＷＹは、あらかじめ画像処理装置１０に埋め込まれた静的な値であってもよいし、別の方法でユーザが指定可能な値であってもよい。
【００６１】
また、その他の点の構成については、前記第１の実施の形態と同様であるので、その説明を省略する。
【００６２】
次に、本実施の形態における画像処理装置１０の動作について説明する。
【００６３】
図１０は本発明の第２の実施の形態における顔画像を集約して配置したレイアウト画像の例を示す図、図１１は本発明の第２の実施の形態における画像処理装置に格納された処理アプリケーションの動作を示すフローチャートである。
【００６４】
なお、パラメータの設定、メモリ確保及び初期設定から背景除去までの動作については、前記第１の実施の形態と同様であるので、その説明を省略する。
【００６５】
背景除去が行われた後、顔補正倍率算出手段１５、顔補正位置算出手段１６、子供顔検出手段２３及び画像補正手段１８は、顔補正を行う。具体的には、メモリ１３に格納された顔画像のうち画像ＩＤがｉである画像を読み出し、拡大又は縮小及び移動を行う。
【００６６】
まず、顔補正倍率算出手段１５が補正倍率ｆｒ（ｉ）を求める。次に、顔補正位置算出手段１６が補正位置（ｆｐｘ（ｉ）、ｆｐｙ（ｉ））を求める。次に、子供顔検出手段２３が子供フラグｃｈ（ｉ）を求める。これらの結果を用いて、画像補正手段１８が、画像ＩＤがｉである顔画像の補正を行う。つまり、各顔画像の顔が子供の顔であるか否かの判定結果に応じて、各顔画像を拡大又は縮小する率及び各顔画像を移動させる量に重み付けをする。そして、処理の結果は、メモリ１３上の読み出し時と同じアドレスに書き戻される。
【００６７】
なお、これ以降の動作については、前記第１の実施の形態と同様であるので、説明を省略する。
【００６８】
このように、本実施の形態おける画像処理装置１０は、子供顔検出手段２３及び画像補正手段１８を有するので、各個人の顔画像について大人か子供かの判別を行い、子供である場合には、画像補正時に重み付けを行うことができる。
【００６９】
これにより、子供の顔の位置及び大きさを大人の顔の位置及び大きさと区別させることができるので、例えば、子供の顔を目立たせたい場合には、ＦＲＷを１．０より大きく指定することによって、子供の顔を大人の顔より大きくすることができる。一方、子供の顔を大人の顔より小さくしたい場合には、ＦＲＷを１．０より小さくすることで実現することができる。
【００７０】
また、（ＦＰＷＸ、ＦＰＷＹ）の値を調整することによって子供の顔の位置を調整することができる。
【００７１】
例えば、子供を目立たせるためにＦＲＷを１．０より大きくし、かつ、ＦＰＷＹを下方に向かうよう重み付けしたレイアウト画像を作成すると、図１０に示されるようになる。図１０に示される例において、９つの顔画像のうちの子供の顔画像６１及び６２は、指定されたＦＲＷ及び（ＦＰＷＸ、ＦＰＷＹ）の値に基づき、その他の大人の顔画像よりも顔が大きく、かつ、顔領域の位置が顔画像中の下方へ移動していることが分かる。
【００７２】
次に、フローチャートについて説明する。
ステップＳ２１  ユーザは、パラメータの設定、メモリ確保及び初期設定を行う。
ステップＳ２２  画像入力手段１１は、写真画像読み出しを行う。
ステップＳ２３  画像サイズ調整手段１２及び輝度調整手段２１は、前画像処理を行う。
ステップＳ２４  顔画像検出手段１４は、顔領域検出を行う。
ステップＳ２５  画像処理装置１０は、ｉ＝ＩＮＮＵＭであるか否かを判断する。ｉ＝ＩＮＮＵＭである場合はステップＳ２７に進み、ｉ＝ＩＮＮＵＭでない場合はステップＳ２６に進む。
ステップＳ２６  変数ｉが１インクリメントされる。
ステップＳ２７  背景除去手段１７は、背景除去を行う。
ステップＳ２８  顔補正倍率算出手段１５、顔補正位置算出手段１６、子供顔検出手段２３及び画像補正手段１８は、顔補正を行う。
ステップＳ２９  画像処理装置１０は、ｎ＝ＩＮＮＵＭであるか否かを判断する。ｎ＝ＩＮＮＵＭである場合はステップＳ３１に進み、ｎ＝ＩＮＮＵＭでない場合はステップＳ３０に進む。
ステップＳ３０  変数ｎが１インクリメントされる。
ステップＳ３１  レイアウト手段１９は、画像レイアウトを行う。
ステップＳ３２  画像出力手段２２は、画像出力を行い、処理を終了する。
【００７３】
このように、本実施の形態においては、子供顔検出手段２３及び画像補正手段１８によって、前記第１の実施の形態と同様に、顔画像の明るさ及びコントラストの違いを調整することができ、背景を揃えることができ、レイアウト画像の見栄えをよくすることができることに加え、レイアウト画像の趣旨に応じた配置にすることができる。
【００７４】
なお、前記実施の形態においては、画像処理装置１０がＰＣである場合についてのみ説明したが、画像処理装置１０の処理アプリケーションに従って作動することにより、複数の顔画像を編集可能な装置として機能することができる装置であれば、いかなる種類の装置であってもよく、例えば、プリンタ、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｒｉｎｔｅｒ）等の装置であってもよい。
【００７５】
また、前記実施の形態において示したレイアウト画像等の図は、例示に過ぎないものであって、本発明の内容を限定するものではない。
【００７６】
さらに、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【産業上の利用可能性】
【００７７】
本発明は、画像処理装置に利用することができる。
【符号の説明】
【００７８】
１０    画像処理装置
１１    画像入力手段
１３ｄ    中心座標
１４    顔画像検出手段
１５    顔補正倍率算出手段
１６    顔補正位置算出手段
１７    背景除去手段
１８    画像補正手段
２３    子供顔検出手段
【図１】
2011166395.tif 000003
【図２】
2011166395.tif 000004
【図３】
2011166395.tif 000005
【図４】
2011166395.tif 000006
【図５】
2011166395.tif 000007
【図６】
2011166395.tif 000008
【図７】
2011166395.tif 000009
【図８】
2011166395.tif 000010
【図９】
2011166395.tif 000011
【図１０】
2011166395.tif 000012
【図１１】
2011166395.tif 000013