(57)【要約】【課題】種々の人物サイズをもった人物撮影画像に対しても人物像に違和感のないアスペクト比変換画像が得られる画像処理技術を提供する。【解決手段】入力された第１アスペクト比をもつ撮影画像を画像処理して、第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成する画像処理装置。撮影画像から顔領域と顔姿勢を含む顔情報を取得する顔情報検出モジュールと、顔情報から撮影画像における人物領域を特定する人物領域特定部、特定された人物領域に基づいて撮影画像からアスペクト比変換のための処理対象区域を決定する処理対象区域決定部と、撮影画像を処理対象区域に対して画像整形処理を施す画像整形部とが備えられている。【選択図】        図１
2007074664.tif 000002
【特許請求の範囲】
【請求項１】
入力された第１アスペクト比をもつ撮影画像を画像処理して、前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成する画像処理方法において、
前記撮影画像から顔領域と顔姿勢を含む顔情報を取得し、前記顔情報から前記撮影画像における人物領域を特定し、前記特定された人物領域に基づいて前記撮影画像からアスペクト比変換のための処理対象区域を決定し、前記撮影画像を第１アスペクト比から第２アスペクト比をもつ画像に変換させるために前記処理対象区域に対して画像整形処理を施すことを特徴とする画像処理方法。
【請求項２】
前記処理対象区域に対する画像整形処理は、当該処理対象区域と前記人物領域との位置関係に基づいて、領域カット処理モジュールと領域縮小処理モジュールと領域拡大処理モジュールの内から選択された処理モジュールを用いて行われることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記入力された撮影画像に占める前記顔領域の割合が所定以上の場合前記顔領域が前記人物領域とみなされることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記領域縮小処理モジュール又は前記領域拡大処理モジュールを用いた前記処理対象区域に対する画像整形処理は、前記人物領域から遠い画素ほど強い縮小率又は拡大率でもって実行されることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
入力された第１アスペクト比をもつ撮影画像を画像処理して、前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成するため、
前記撮影画像から取得された顔領域と顔姿勢を含む顔情報から前記撮影画像における人物領域を特定する機能と、前記特定された人物領域に基づいて前記撮影画像からアスペクト比変換のための処理対象区域を決定する機能と、前記撮影画像を第１アスペクト比から第２アスペクト比をもつ画像に変換させるために前記処理対象区域に対して画像整形処理を施す機能とをコンピュータに実行させる画像処理プログラム。
【請求項６】
入力された第１アスペクト比をもつ撮影画像を画像処理して、前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成する画像処理装置において、
前記撮影画像から顔領域と顔姿勢を含む顔情報を取得する顔情報検出モジュールと、前記顔情報から前記撮影画像における人物領域を特定する人物領域特定部、前記特定された人物領域に基づいて前記撮影画像からアスペクト比変換のための処理対象区域を決定する処理対象区域決定部と、前記撮影画像を第１アスペクト比から第２アスペクト比をもつ画像に変換させるために前記処理対象区域に対して画像整形処理を施す画像整形部とを備えていることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された第１アスペクト比をもつ撮影画像を画像処理して、前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
従来から銀塩写真では３：２のアスペクト比が用いられており、最も普及している１３５フィルムに形成される撮影画像のアスペクト比は３：２であり、フィルムスキャナ等によってデジタル化された撮影画像のアスペクト比も同様に３：２である。従って、写真プリント装置では、デジタル化された撮影画像のアスペクト比を変換せずにプリント出力することで３：２のアスペクト比をもつプリント画像を形成した写真プリントが出力される。ところが、レンズ付きフィルムなどによく用いられているＡＰＳフィルムでは１６：９のアスペクト比（一般にハイビジョンサイズと呼ばれる）の撮影画像を形成することができることから、写真プリント装置では、１６：９のアスペクト比をもつプリント画像を形成した写真プリントも出力可能に構成されている。
【０００３】
このため、写真プリント装置では、３：２のアスペクト比のプリント画像出力（写真プリント）を出力する場合には１２７mm幅の長尺印画紙を用いてライン露光送り長さを１７８mmとすることでほぼ３：２のアスペクト比のプリント画像をもつ写真プリントを作り出し、１６：９のアスペクト比のプリント画像出力を出力する場合には同じ１２７mm幅の長尺印画紙を用いてライン露光送り長さを２２６mmとすることでちょうど１６：９のアスペクト比のプリント画像をもつ写真プリントを作り出している。
【０００４】
このようにライン露光タイプの写真プリント装置では、３：２や１６：９のアスペクト比だけでなく、種々のアスペクト比をもつプリント画像を出力する能力を備えていることに加え、地上波デジタル放送やＢＳデジタル放送の普及とともにハイビジョンサイズの画面に親近感をもつユーザが増加していることから、撮影画像のアスペクト比（デジタルカメラによる撮影画像では４：３のアスペクト比が主流である）にかかわらず、他の特定のアスペクト比、例えば１６：９のアスペクト比に変更されたプリント画像の出力も要望されている。
【０００５】
これを実現するためには、入力された第１アスペクト比をもつ撮影画像を、前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像に変換する必要があるが、このアスペクト比変換処理において元の撮影画像の内容をできるだけ失わないようにするためには、画像の縦方向と横方向において異なる拡縮処理を行うことになる。その際の好適なアスペクト比変換処理として、第１のアスペクト比を有する第１の画像を構成する全画素について、基準画素から離れた位置にある画素ほど座標移動量が大きくなる座標変換処理を行うことにより第１のアスペクト比とは異なる第２のアスペクト比を有する第２の画像を得る際に、第１の画像の基準画素に近い領域については画素の移動量が小さく、基準画素から遠い領域ほど座標変換処理による画素の移動量が大きくなるようにすることで、基準画素の位置する第１の画像における重要領域において、座標変換処理に起因する画像歪みを抑制する画像処理技術が知られている（例えば、特許文献１参照。）。さらにこの特許文献では、重要な被写体が画像の中央領域に撮影されているものとみなして、画像中心から全画像面積の３０％程度を占める円領域内部に位置するいずれかの画素を基準画素として設定することや、画像において重要な被写体たる人物像を構成する画素を基準画素として選択するために人間の肌色を標本色として採用して画像を構成する画素から標本色に最も近い色度を有する画素を基準画素として設定することが記載されている。これにより、人物から遠くなるに従って強い拡大又は縮小を施すことで人物像にはできるだけ違和感を与えずに入力された第１アスペクト比をもつ撮影画像を異なる第２アスペクト比をもつ撮影画像に変換することを意図している。
【特許文献１】特開２００１−３６７２６号公報（段落番号００８５−０１４２、図１、図５）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１によるアスペクト比変換画像処理技術では、肌色だけを頼って特定した人物領域内に設定された基準画素からの距離に応じて単純に単調増加する拡大率又は縮小率で拡大又は縮小を施しているだけであるので、種々の人物サイズで人物が撮影されている人物撮影画像を適切にアスペクト比変換することは困難であった。
上記実状に鑑み、本発明の課題は、種々の人物サイズをもった人物撮影画像に対しても人物像に違和感のないアスペクト比変換画像が得られる画像処理技術を提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、入力された第１アスペクト比をもつ撮影画像を画像処理して、前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成する、本発明による画像処理方法では、前記撮影画像から顔領域と顔姿勢を含む顔情報を取得し、前記顔情報から前記撮影画像における人物領域を特定し、前記特定された人物領域に基づいて前記撮影画像からアスペクト比変換のための処理対象区域を決定し、前記撮影画像を第１アスペクト比から第２アスペクト比をもつ画像に変換させるために前記処理対象区域に対して画像整形処理を施す。
【０００８】
この方法では、まず、人物の構成要素の中では検出しやすい顔を検出することで得られる顔領域と顔姿勢を含む顔情報から撮影画像に占める顔のサイズや撮影画像における顔の方向が求められるので、これに基づいて撮影画像における人物領域を特定し、次いでアスペクト比変換しても元の撮影画像の人物像にあまり影響を与えない区域をアスペクト比変換のための処理対象区域として決定する。処理対象区域は１つであってもよいし、複数であってもよい。基本的には、人物領域以外の領域、つまり背景領域が処理対象区域となるが、被写体として最も重要な顔を歪ませないことだけを優先するために、場合によっては顔以外の人物部分、胴体や脚の部分を処理対象区域としてもよい。このようにして決定された処理対象区域に対して、撮影画像全体が目標となるアスペクト比となるように、縮小処理や拡大処理、場合によってはカット処理といった画像整形処理を施す。これにより、種々の人物サイズで人物を撮影している人物撮影画像に対しても、できるだけ人物像に歪みを起こさないように処理対象区域を選んでその処理対象区域だけに画像整形処理を施すことができるので、最終的に人物像に違和感のないアスペクト比変換画像が得られる。
【０００９】
第１アスペクト比をもつ入力撮影画像から第２アスペクト比をもつアスペクト比変換撮影画像を生成するために行われる前記処理対象区域に対する画像整形処理として、領域カット処理と領域縮小処理と領域拡大処理が挙げられる。このような各種画像整形処理は、人物領域に対する処理対象区域の位置関係に基づいて選択することが重要である。例えば、アスペクト比３：２の入力撮影画像をアスペクト比１６：９の画像に変換する際、人物領域が入力撮影画像の上側部分や下側部分を除く中央部分に位置している場合、入力撮影画像の上側部分や下側部分が処理対象区域となり、その処理対象区域に対して領域カット処理又は領域縮小処理を施すことで人物には影響のないアスペクト比変換撮影画像が得られる。また、人物領域が入力撮影画像の左側部分や右側部分を除く中央部分に位置している場合、入力撮影画像の上側部分や下側部分が処理対象区域となり、その処理対象区域に対して領域拡大処理を施すことで人物には影響のないアスペクト比変換撮影画像が得られる。このことから、本発明の好適な実施形態の１つでは、前記処理対象区域に対する画像整形処理は、当該処理対象区域と前記人物領域との位置関係に基づいて、領域カット処理モジュールと領域縮小処理モジュールと領域拡大処理モジュールの内から選択された処理モジュールを用いて行われる。
【００１０】
人物写真などでは特に顔を中心としたものが少なくない。このような人物写真では、人物が撮影画像全体を構成するような構図となっているので、人物を除いた部分の画像整形だけでは所望するアスペクト比変換撮影画像が得られない。顔を中心とした写真の場合顔自体のみが被写体の重要部分とみなすことができるので、顔以外の人物領域も画像整形の対象としても、元の撮影画像のイメージを崩さずにアスペクト比変換撮影画像を得ることが可能である。このため、本発明の好適な実施形態の１つでは、入力撮影画像に占める顔領域の割合が所定以上の場合この顔領域が人物領域とみなされ、結果的に顔領域以外の領域が処理対象区域とされる。
【００１１】
本発明では、入力撮影画像における人物領域以外の領域を処理対象区域とされ、この処理対象区域に対して画像整形処理を施すことにより、重要被写体である人物に対する影響を抑えてアスペクト比の変換を行っているが、仕上げられた写真プリントにおける撮影画像全体をより自然に見せるためには、画像整形処理の影響は重要被写体である人物から近い方から遠い方にかけて順次強くすることが望ましい。このため、本発明の好適な実施形態の１つでは、前記領域縮小処理モジュール又は前記領域拡大処理モジュールを用いた前記処理対象区域に対する画像整形処理は、前記人物領域から遠い画素ほど強い縮小率又は拡大率でもって実行される。ここで用いられる、基準画素から遠ざかるほど変形度を強くしていく画像アルゴリズム自体は公知であり、その一例は、特開２００１−３６７２６号に説明されている。
【００１２】
本発明では、上述したような、第１アスペクト比をもつ入力撮影画像から第２アスペクト比をもつアスペクト比変換撮影画像を生成する画像処理方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。
【００１３】
さらに、本発明では、上述した画像処理方法を実施する画像処理装置も権利の対象としており、入力された第１アスペクト比をもつ撮影画像を画像処理して、前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成する、本発明による画像処理装置は、前記撮影画像から顔領域と顔姿勢を含む顔情報を取得する顔情報検出モジュールと、前記顔情報から前記撮影画像における人物領域を特定する人物領域特定部と、前記特定された人物領域に基づいて前記撮影画像からアスペクト比変換のための処理対象区域を決定する処理対象区域決定部と、前記撮影画像を第１アスペクト比から第２アスペクト比をもつ画像に変換させるために前記処理対象区域に対して画像整形処理を施す画像整形部とから構成されている。当然ながら、このような画像処理装置も上述した画像処理方法で述べたすべての作用効果を得ることができ、さらに上述した好適な実施形態を組み込むことも可能である。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
【発明を実施するための最良の形態】
【００１４】
図１には、デジタルデータ化されメモリに展開された撮影画像データ（以下入力撮影画像と称する）に対してアスペクト比を変換した画像（以下アスペクト比変換撮影画像と称する）を生成する、本発明によるアスペクト比変換画像処理技術の基本原理が、模式化されて示されている。図１では、３：２のアスペクト比をもつ入力撮影画像から１６：９のアスペクト比をもつアスペクト比変換撮影画像を生成する例を取り上げている。
【００１５】
まず、デジタルカメラや銀塩フィルムカメラによって取得された撮影画像をカードリーダやフィルムスキャナを通じて取り込んで、メモリに展開する（＃０１）。次いで、メモリに展開された入力撮影画像に対して顔情報検出が行われる（＃０２）。この顔情報検出処理では、顔検出アルゴリズムに基づいて入力撮影画像中の顔と見なされる領域を検出してその顔位置とサイズ（顔位置を基点とした矩形画素領域の縦横サイズ）からなる顔領域データ、及び顔の正立・倒立といった構図姿勢を顔角度として表している顔姿勢データが顔情報として出力される。画像データから顔を検出する顔検出アルゴリズムは数多く知られているが、例えば、特開平１１−３３９０８４号公報、特開２０００−９９７２２号公報、特開２０００−２２９２９号公報が挙げられる。図１では、入力撮影画像において検出された顔領域を検出された顔の数に応じてF1、F2で示している。
【００１６】
検出された顔領域F1、F2には、そのサイズと構図姿勢に関するデータが付随しているので、このデータを利用して該当入力撮影画像における人物領域（顔だけでなく胴体や脚を含む領域）を決定する（＃０３）。入力撮影画像における顔の大きさと顔の姿勢から、平均的な頭身比を基準として、顔の下側に位置する胴体や脚の大きさを推定して、それぞれ顔領域F1、F2に対応する人物領域P1、P2を特定することができる。人物領域P1、P2が特定されると、入力撮影画像の全領域からこの人物領域P1、P2を除外した領域で、入力撮影画像の左端から右端に至る区域や上端から下端に至る区域を設定し、それらの区域から３：２のアスペクト比から１６：９のアスペクト比に変換するために適した区域をアスペクト比変換のための処理対象区域と決定する（＃０４）。そして、各処理対象区域にはアスペクト比変換のために施される画像整形のための拡大・縮小・カットのうちの最適な処理モジュールとその処理パラメータが割り当てられる（＃０５）。例えば、図１において、中央の二人の人物が被写体となっている入力撮影画像では、４つの処理対象候補区域から左端から右端に延びている上側区域B1と下側区域B2が処理対象区域と決定され、それぞれに領域縮小処理が割り当てられる。領域縮小処理の処理パラメータ（段階的に変化する縮小率）は、処理後の画像が１６：９のアスペクト比となるように設定される。領域縮小処理と領域カット処理の選択に関しては、処理対象区域の幅が縮小処理で十分なアスペクト比変換のための整形が可能な場合に領域縮小処理を選択し、それ以外では領域カット処理を選択するとよいが、どちらかの処理だけを用いるようにしてもよい。これとは異なり、図１において、中央の一人の人物が被写体となっている入力撮影画像では、上端から下端に延びている左側区域B1と右側区域B2が処理対象区域と決定され、それぞれに領域拡大処理が割り当てられる。ここでも、領域拡大処理の処理パラメータ（段階的に変化する拡大率）は、処理後の画像が１６：９のアスペクト比となるように設定される。
【００１７】
アスペクト比変換のために必要な処理対象区域の特定及びその処理対象区域に施されるべき拡大・縮小・カット処理の選択とその処理パラメータの割り当てが完了すると、処理対象区域に対する画像整形処理が行われ、所望のアスペクト比、ここでは１６：９のアスペクト比をもつアスペクト比変換撮影画像が得られる（＃０６）。このようにして得られたアスペクト比変換撮影画像は、必要に応じて色補正などのフォトレタッチ処理を施された後、プリントデータに変換され、最終的に１６：９のアスペクト比をもつ写真プリントを出力する（＃０７）。
【００１８】
図１の例では、人物が一人又は二人であったが、集合写真のように多数の人物が存在している場合処理対象区域が少なくなるので、人物領域を顔ないしは顔と胴体の領域に限定し、それによって作り出される人物領域を外れた上側区域や下側区域をカット処理することが好都合である。また、上記の説明では入力撮影画像が横位置撮影画像であったが、これが縦位置撮影画像であっても人物が横たわっていると考えると、同じように処理することができる。
【００１９】
次に、上述した原理で入力撮影画像のアスペクト比を変換するアスペクト比変換画像処理技術を採用した写真プリント装置を説明する。この写真プリント装置の外観図が図２に示されており、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。
【００２０】
この写真プリント装置はデジタルミニラボとも称せられるものであり、図３からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図２参照）。
【００２１】
上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。
【００２２】
プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。
【００２３】
前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像（正確にはデジタルカラー撮影画像データ）を取得するフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用されるポインティングデバイスとしてのキーボード２４やマウス２５も接続されている。
【００２４】
この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図４に示されているように、本発明に特に関係する機能部としては、スキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する濃度補正や色補正さらにはフォトレタッチ処理等を行う画像管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて元の撮影画像や画像処理が完了した撮影画像を画像データとしてＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。
【００２５】
画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ撮影画像の画像データにサムネイル画像データ（低解像度データ）が含まれている場合はこのデータをモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出して低解像度画像データとしてメモリ３０に送り込む。
【００２６】
画像管理部３２は、メモリ３０に展開された低解像度の入力撮影画像から顔検出アルゴリズムに基づいて入力撮影画像中の顔と見なされる領域を検出してその顔位置とサイズ（顔位置を基点とした矩形画素領域の縦横サイズ）からなる顔領域データ、及び顔の正立・倒立といった構図姿勢を顔角度として表している顔姿勢データが顔情報として出力する顔情報検出モジュール４０、この顔情報検出モジュール４０から出力された顔情報を参照しながら、第１アスペクト比をもつ入力撮影画像から前記第１アスペクト比とは異なる第２アスペクト比をもつ撮影画像を生成するアスペクト比変換画像生成手段５０、アスペクト比変換された撮影画像に対して色補正やフィルタリング（ぼかしやシャープネスなど）などの画像処理を施す画像処理モジュール６０を備えている。なお、顔検出モジュール４０による顔検出と顔情報出力を自動的に行うのではなく、オペレータによって手動で行うことも可能であり、この場合顔情報検出モジュール４０は顔検出アルゴリズムを持たず、オペレータの操作入力に基づく顔情報を出力するだけの構成となる。
【００２７】
図５に示すように、アスペクト比変換画像生成手段５０は、顔情報検出モジュール４０から入力撮影画像における顔の位置と大きさと姿勢を規定している顔情報を取得することで顔領域における首の位置を求めるともにその首の下に顔の大きさに対応した胴体と脚を推定することで人物領域を特定する人物領域特定部５１と、前記特定された人物領域を除く入力撮影画像からアスペクト比変換のための画像整形が可能な区域を設定するとともにその設定された区域から最適なものを処理対象区域として決定する処理対象区域決定部５２と、アスペクト比変換のために処理対象区域決定部５２によって決定された処理対象区域に対して画像整形処理を施す画像整形部５３が備えられている。
【００２８】
この画像整形部５３には、処理対象区域に含まれる画像を拡大処理する領域拡大処理モジュール５３ａと、処理対象区域に含まれる画像を縮小処理する領域縮小処理モジュール５３ｂと、処理対象区域に含まれる画像を削除する領域カット処理モジュール５３ｃとが実装されている。領域カット処理モジュール５３ｃは単に入力撮影画像の一部を削除（カット）するだけであるが、領域拡大処理モジュール５３ａと領域縮小処理モジュール５３ｂにおける画像の拡縮処理は、特開２００１−３６７２６号などから知られているような基準画素から遠ざかるほど強い変形度で変形する機能、つまり入力撮影画像の所定箇所つまり人物領域から遠い画素ほど強い縮小率又は拡大率でもって連続的に処理対象区域に含まれる画像を変形する機能を備えている。
【００２９】
画像整形部５３に実装された各種画像整形処理モジュールを有効に活用するため、前述した処理対象区域決定部５２には、画像整形処理モジュール割当部５２ａが含まれている。この画像整形処理モジュール割当部５２ａでは、人物領域を除く入力撮影画像から左右横方向に延びる区域と上下縦方向に延びる区域が処理対象候補区域として設定されると、実行されるべきアスペクト比変換が要求する横方向又は縦方向における拡縮（カットを含む）に応じて各処理対象候補区域からアスペクト比変換のための画像整形に最適なもの選んで処理対象区域とする。例えば、より横長のアスペクト比に変換する際には、横方向に延びた処理対象候補区域を縦方向に縮小又はカットすることで所望のアスペクトが得られるかどうか、あるいは縦方向に延びた処理対象候補区域を横方向に拡大することで所望のアスペクトが得られるかどうかをチェックして、最終的な処理対象区域とその区域に施される処理パラメータ値を含む画像整形モジュールが決定される。
【００３０】
上述したアスペクト比変換画像生成手段５０を用いて行われるアスペクト変換処理ルーチンを図６のフローチャートを用いて説明する。
まず、処理対象の入力撮影画像のために顔情報が出力されているかどうか、つまりこの入力撮影画像に顔が検出されているかどうかをチェックする（＃１０）。顔情報が出力されていない場合（＃１０No分岐）、人物写真ではないので、入力撮影画像全体を横方向に拡張するか又は縦方向に縮小するか、あるいはその両方を行う通常のアスペクト比変換処理を行ってこの処理を終了する（＃１２）。顔情報が出力されている場合（＃１０Yes分岐）、その顔情報から入力撮影画像における顔領域を特定するとともに、その顔領域が入力撮影画像に占める割合である顔占有率を求め、その顔占有率が第１所定値以上であるかどうか（＃１４）、さらに第２所定値以上であるかどうか（＃１６）をチェックする。ここで第２所定値は第１所定値より大きく設定されている。従って、ステップ＃１４でNo分岐した場合入力撮影画像において人物全体が大きな背景をもって撮影されているとみなして、顔領域の大きさと顔の姿勢に基づいて推定される胴体領域と脚領域を顔領域に付加してそれらを人物領域とする（＃１８）。ステップ＃１４でYes分岐するとともにステップ＃１６でNo分岐した場合入力撮影画像において人物全体が大きな背景をもたずに撮影されているとみなして、推定される胴体領域だけを顔領域に付加してそれらを人物領域とする（＃２０）。さらに、ステップ＃１４でYes分岐するとともにステップ＃１６でYes分岐した場合入力撮影画像において顔が重要な被写体であるとみなして、顔領域をそのまま人物領域として特定する（＃２２）。
【００３１】
いずれにせよ人物領域が特定されると、入力撮影画像において人物領域以外から左端から右端に延びる横方向区域と上端から下端に延びる縦方向区域を見つけ出し処理対象候補区域として設定する（＃２４）。次いで、設定された処理対象候補区域から、今回のアスペクト比変換を可能にするとともに人物領域から離れた部分が多い区域をアスペクト比変換のための画像整形処理対象区域として決定する（＃２６）。同時に、処理対象区域に対して施すべき処理に応じて、拡大処理モジュール、縮小処理モジュール、カット処理モジュールのいずれかをその処理パラメータ値とともに選定して、その内容を記述した画像整形処理割当コマンドを画像整形部５３に与える（＃２８）。画像整形処理部５３は、与えられた画像整形処理割当コマンドに基づいて、メモリ３０に展開されている撮影画像の処理対象区域を整形し、所望のアスペクト比変換撮影画像を生成する（＃３０）。
【００３２】
プレジャッジ作業と呼ばれているオペレータによるプリント前の画像チェックが行われないケースでは、このステップ＃３０での画像整形処理が高解像度撮影画像に対して施され、後は必要に応じた色補正などの画像処理を経て、プリントデータに変換され、写真プリントを出力することになるので、この段階でこのアスペクト比変換処理ルーチンは終了することになる。しかしながら、プレジャッジ作業が行われる場合、ステップ＃３０での画像整形処理はまず低解像度撮影画像に対して施され、次いで、生成されたアスペクト比変換撮影画像はよく知られたプレジャッジ画面に表示される（＃４０）。プレジャッジ画面で表示されたアスペクト比変換撮影画像が満足できるものであれば（＃４２Yes分岐）、同様の画像整形処理が高解像度撮影画像に対して施される（＃４４）。その後、高解像度のアスペクト比変換撮影画像は必要に応じた色補正などの画像処理を経て、プリントデータに変換され、写真プリントを出力することになる。
【００３３】
プレジャッジ画面で表示されたアスペクト比変換撮影画像が不満足ならば（＃４２No分岐）、個別に表示される編集画面に先ほど設定された処理対象候補区域を含む入力撮影画像が表示される（＃４６）。オペレータはこの編集画面を見ながら、マニュアルで処理対象区域を決定する（＃４８）。処理対象区域が決定されると、その処理対象区域のための画像整形モジュールが選定され（＃５０）、さらにその処理パラメータ値が決定され（＃５２）、再度ステップ＃３０にジャンプして画像整形処理が行われる。このプレジャッジ作業はオペレータが満足するアスペクト比変換撮影画像が生成されるまで続けられる。
【００３４】
上述した説明において、図１では処理対象（候補）区域は矩形として示されていたが、本発明では処理対象（候補）区域の形状を矩形に限定されるわけではなく、種々の幾何学形状を採用することが可能である。
上述した実施の形態では、プリントステーション１Ｂは、印画紙Ｐに対し、露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明による濃度補正曲線決定技術を用いているプリントステーション１Ｂは、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を採用可能である。 
【図面の簡単な説明】
【００３５】
【図１】本発明によるアスペクト比変換画像処理技術の基本原理を示す模式図
【図２】本発明によるアスペクト比変換のための画像処理技術を採用した写真プリント装置の外観図
【図３】写真プリント装置のプリントステーションの構成を模式的に示す模式図
【図４】写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図
【図５】アスペクト比変換画像生成手段の機能構成を示す機能ブロック図
【図６】アスペクト比変換処理ルーチンを示すフローチャート
【符号の説明】
【００３６】
３０：メモリ
４０：顔情報検出モジュール
５０：アスペクト比変換画像生成手段
５１：人物領域特定部
５２：処理対象区域決定部
５２ａ：画像整形モジュール割当部
５３：画像整形部
５３ａ：領域拡大処理モジュール
５３ｂ：領域縮小処理モジュール
５３ｃ：領域カット処理モジュール
【図１】
2007074664.tif 000003
【図２】
2007074664.tif 000004
【図３】
2007074664.tif 000005
【図４】
2007074664.tif 000006
【図５】
2007074664.tif 000007
【図６】
2007074664.tif 000008