(57)【要約】【課題】画像を矯正する。【解決手段】基準画像から特徴点を抽出し（ステップＳ４）、対象画像から基準画像データの特徴点に対応する特徴点をそれぞれ抽出する（ステップＳ５）。基準画像の各特徴点と対応する対象画像の各特徴点とに基づいて目標点を決定し（ステップＳ７）、対象画像に対して、対象画像の各特徴点を目標点に一致させるよう幾何変換処理を行う（ステップＳ１０）。目標点は、基準画像の各特徴点、基準画像の各特徴点と対象画像の各特徴点とを所定比で内分する点、又は、基準画像の各特徴点と対象画像の各特徴点とをｍ：ｎ（ｍ，ｎはｍ＞ｎを満たす正の数）に外分する点から選択可能とする。【選択図】図２
2005229181.tif 000002
【特許請求の範囲】
【請求項１】
予め用意されている基準画像から特徴点を抽出し、
処理すべき対象画像から前記基準画像の特徴点に対応する特徴点を抽出し、
前記基準画像の各特徴点と前記対象画像の各特徴点とに基づいて目標点を決定し、
前記対象画像に対して、前記対象画像の各特徴点を前記目標点に一致させるよう幾何変換処理を行うことを特徴とする画像処理方法。
【請求項２】
前記目標点は、前記基準画像の各特徴点であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記目標点は、前記基準画像の各特徴点と前記対象画像の各特徴点とを所定比で内分する点であることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記目標点は、前記基準画像の各特徴点と前記対象画像の各特徴点とをｍ：ｎ（ｍ，ｎはｍ＞ｎを満たす正の数）に外分する点であることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記目標点は、前記基準画像の各特徴点と前記対象画像の各特徴点とを所定比で内分する点か、又は、前記基準画像の各特徴点と前記対象画像の各特徴点とをｍ：ｎ（ｍ，ｎはｍ＞ｎを満たす正の数）に外分する点のいずれか一方から選択可能としたことを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記基準画像の各特徴点と前記対象画像の各特徴点とを内分する内分比、又は、前記基準画像の各特徴点と前記対象画像の各特徴点とを外分する外分比を選択可能としたことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記目標点の決定方法を前記対象画像の領域毎に選択可能としたことを特徴とする請求項５又は６に記載の画像処理方法。
【請求項８】
前記基準画像は、目的とするサイズに応じて拡大又は縮小して用いることを特徴とする請求項１〜７のいずれか一項に記載の画像処理方法。
【請求項９】
前記幾何変換処理は、前記対象画像を当該対象画像の各特徴点を頂点とする多角形の領域に分割し、前記分割された領域毎に幾何変換を行うことを特徴とする請求項１〜８のいずれか一項に記載の画像処理方法。
【請求項１０】
前記多角形は三角形であって、前記幾何変換はアフィン変換であることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記三角形は、前記目標点を頂点とするドローネの三角形分割に対応した三角形であることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記対象画像は、予め定められた姿勢で撮影して得られた証明写真用画像であって、前記基準画像は、予め定められた証明写真種に応じた顔位置及び顔サイズを有する人物モデル画像であることを特徴とする請求項１〜１１のいずれか一項に記載の画像処理方法。
【請求項１３】
前記基準画像は、予め撮影された複数の画像又は当該複数の画像から抽出された特徴点の平均的な位置情報に基づいて作成されたことを特徴とする請求項１〜１２のいずれか一項に記載の画像処理方法。
【請求項１４】
前記基準画像は、予め複数用意されており、前記対象画像に応じて選択可能であることを特徴とする請求項１〜１３のいずれか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を矯正するための画像処理方法に関する。
【背景技術】
【０００２】
運転免許証やパスポート等を申請する際に貼付する証明写真は、人物の特定に使用されるため、証明写真毎に写真のサイズや人物の位置等が定められている。このような規格に合った写真を作成するために、画像中の人物領域の形状、サイズに基づいて、画像のトリミング及び拡縮を行い、画像中の人物が証明写真の規格に合致したサイズ、配置で露光されるよう画像加工する技術や、被写体画像から被写体の頭部を検出し、頭部を含む部分を、証明写真の要求仕様と相似形になるよう、被写体画像からトリミングし、要求仕様の大きさに変倍する技術が提案されている（例えば、特許文献１、特許文献２参照。）。
【特許文献１】特開２０００−１９６９８０号公報
【特許文献２】特開２００１−３１１９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記従来技術においては、画像中の人物領域を変倍するのみであって、部分的な調整や人物の姿勢の矯正を行うことはできなかった。
【０００４】
本発明は上記の従来技術における問題に鑑みてなされたものであって、画像を矯正することを課題とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、画像処理方法において、予め用意されている基準画像から特徴点を抽出し、処理すべき対象画像から前記基準画像の特徴点に対応する特徴点を抽出し、前記基準画像の各特徴点と前記対象画像の各特徴点とに基づいて目標点を決定し、前記対象画像に対して、前記対象画像の各特徴点を前記目標点に一致させるよう幾何変換処理を行うことを特徴とする。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記目標点は、前記基準画像の各特徴点であることを特徴とする。
【０００７】
請求項３に記載の発明は、請求項１に記載の画像処理方法において、前記目標点は、前記基準画像の各特徴点と前記対象画像の各特徴点とを所定比で内分する点であることを特徴とする。
【０００８】
請求項４に記載の発明は、請求項１に記載の画像処理方法において、前記目標点は、前記基準画像の各特徴点と前記対象画像の各特徴点とをｍ：ｎ（ｍ，ｎはｍ＞ｎを満たす正の数）に外分する点であることを特徴とする。
【０００９】
請求項５に記載の発明は、請求項１に記載の画像処理方法において、前記目標点は、前記基準画像の各特徴点と前記対象画像の各特徴点とを所定比で内分する点か、又は、前記基準画像の各特徴点と前記対象画像の各特徴点とをｍ：ｎ（ｍ，ｎはｍ＞ｎを満たす正の数）に外分する点のいずれか一方から選択可能としたことを特徴とする。
【００１０】
請求項６に記載の発明は、請求項５に記載の画像処理方法において、前記基準画像の各特徴点と前記対象画像の各特徴点とを内分する内分比、又は、前記基準画像の各特徴点と前記対象画像の各特徴点とを外分する外分比を選択可能としたことを特徴とする。
【００１１】
請求項７に記載の発明は、請求項５又は６に記載の画像処理方法において、前記目標点の決定方法を前記対象画像の領域毎に選択可能としたことを特徴とする。
【００１２】
請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の画像処理方法において、前記基準画像は、目的とするサイズに応じて拡大又は縮小して用いることを特徴とする。
【００１３】
請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の画像処理方法において、前記幾何変換処理は、前記対象画像を当該対象画像の各特徴点を頂点とする多角形の領域に分割し、前記分割された領域毎に幾何変換を行うことを特徴とする。
【００１４】
請求項１０に記載の発明は、請求項９に記載の画像処理方法において、前記多角形は三角形であって、前記幾何変換はアフィン変換であることを特徴とする。
【００１５】
請求項１１に記載の発明は、請求項１０に記載の画像処理方法において、前記三角形は、前記目標点を頂点とするドローネ（Delaunay）の三角形分割に対応した三角形であることを特徴とする。
【００１６】
請求項１２に記載の発明は、請求項１〜１１のいずれか一項に記載の画像処理方法において、前記対象画像は、予め定められた姿勢で撮影して得られた証明写真用画像であって、前記基準画像は、予め定められた証明写真種に応じた顔位置及び顔サイズを有する人物モデル画像であることを特徴とする。
【００１７】
請求項１３に記載の発明は、請求項１〜１２のいずれか一項に記載の画像処理方法において、前記基準画像は、予め撮影された複数の画像又は当該複数の画像から抽出された特徴点の平均的な位置情報に基づいて作成されたことを特徴とする。
【００１８】
請求項１４に記載の発明は、請求項１〜１３のいずれか一項に記載の画像処理方法において、前記基準画像は、予め複数用意されており、前記対象画像に応じて選択可能であることを特徴とする。
【発明の効果】
【００１９】
請求項１に記載の発明によれば、予め用意されている基準画像から特徴点を抽出し、処理すべき対象画像から基準画像の特徴点に対応する特徴点を抽出し、基準画像の各特徴点と対象画像の各特徴点とに基づいて目標点を決定し、対象画像に対して、対象画像の各特徴点を目標点に一致させるよう幾何変換処理を行うので、画像を矯正することができる。
【００２０】
請求項２に記載の発明によれば、対象画像の各特徴点を基準画像の各特徴点に一致させるよう幾何変換処理を行うので、画像を標準化することができる。
【００２１】
請求項３に記載の発明によれば、対象画像の各特徴点を、基準画像の各特徴点と対象画像の各特徴点とを所定比で内分する点に一致させるよう幾何変換処理を行うので、対象画像の特徴を残しつつ、画像を標準化することができる。
【００２２】
請求項４に記載の発明によれば、対象画像の各特徴点を、基準画像の各特徴点と対象画像の各特徴点とをｍ：ｎに外分する点に一致させるよう幾何変換処理を行うので、対象画像の各特徴点の基準画像からのずれを強調することができる。
【００２３】
請求項５に記載の発明によれば、目標点を基準画像の各特徴点と対象画像の各特徴点とを所定比で内分する点か、又は、基準画像の各特徴点と対象画像の各特徴点とをｍ：ｎに外分する点のいずれか一方から選択可能とすることにより、ユーザの要望に応じて対象画像を矯正することができる。
【００２４】
請求項６に記載の発明によれば、基準画像の各特徴点と対象画像の各特徴点とを内分する内分比、又は、基準画像の各特徴点と対象画像の各特徴点とを外分する外分比を選択可能とすることにより、ユーザの要望に応じて対象画像を標準化する度合いや、基準画像からのずれを強調する度合いを調整することができる。
【００２５】
請求項７に記載の発明によれば、目標点の決定方法を対象画像の領域毎に選択可能とすることにより、対象画像の領域毎に異なる処理を行うことができる。
【００２６】
請求項８に記載の発明によれば、基準画像は、目的とするサイズに応じて拡大又は縮小して用いるので、複数のサイズの基準画像を予め用意しておく必要がない。
【００２７】
請求項９、１０、１１に記載の発明によれば、幾何変換処理は、対象画像を当該対象画像の各特徴点を頂点とする多角形の領域に分割し、分割された領域毎に幾何変換を行うので、それぞれの変換を単純化することができる。
【００２８】
請求項１２に記載の発明によれば、予め定められた証明写真種に応じた顔位置及び顔サイズを有する人物モデル画像に基づいて、予め定められた姿勢で撮影して得られた証明写真用画像を矯正することができる。
【００２９】
請求項１３に記載の発明によれば、基準画像は、予め撮影された複数の画像又は当該複数の画像から抽出された特徴点の平均的な位置情報に基づいて作成されているので、平均的な画像を基準画像として用いることができる。
【００３０】
請求項１４に記載の発明によれば、予め複数用意された基準画像を、対象画像に応じて選択することができる。
【発明を実施するための最良の形態】
【００３１】
以下、図を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。本実施の形態においては、予め定められた姿勢で撮影して得られた証明写真用画像を対象画像とし、予め定められた証明写真種に応じた顔位置及び顔サイズを有する人物モデル画像を基準画像として説明する。
【００３２】
図１に、本発明の実施の形態における画像処理装置１の機能的構成を示す。
図１に示すように、画像処理装置１は、制御部２、操作部３、表示部４、画像入力部５、画像出力部６、画像データメモリ７、基準画像データベース８、画像処理部９、記憶部１０を備えて構成され、各部はバス１１により接続されている。
【００３３】
制御部２は、記憶部１０に格納された制御プログラムに従って、画像処理装置１の各部を統括的に制御する。
【００３４】
操作部３は、カーソルキーや数字キー等、各種入力キーにより構成され、これらのキーの押下による操作信号を制御部２に出力する。
【００３５】
表示部４は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescent）ディスプレイ等を備え、制御部２から入力される表示制御信号に従って、所要の表示処理を行う。
【００３６】
画像入力部５は、画像処理装置１において画像処理の対象となる対象画像データを取得する。対象画像データは、予め定められた姿勢で撮影して得られた証明写真用画像である。画像入力部５として、例えば、レンズを介して入力される画像をＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子により電気信号に変換し、画像データを取得するデジタルカメラ、紙やフィルムに印刷された画像を光学的にスキャンして、その反射光や透過光の強度に基づいた画像データを取得するスキャナ、メモリカード等の記録媒体から画像データを読み出すカードリーダ等が挙げられる。画像入力部５により取得された対象画像データは、画像データメモリ７に記憶される。
【００３７】
画像出力部６は、画像データメモリ７に記憶されている画像処理後の調整画像データに基づいて、画像を出力する。画像出力部６として、例えば、画像を印刷するプリンタ、ＣＤ−Ｒ（Compact Disc-Recordable）等の記録媒体に画像データを記録する記録装置、画像を表示するモニタ等が挙げられる。
【００３８】
画像データメモリ７は、半導体メモリ等から構成され、画像入力部５により取得された対象画像データや、画像処理部９により生成された調整画像データを記憶する。
【００３９】
基準画像データベース８は、半導体メモリ等から構成され、予め用意されている基準画像データを記憶している。基準画像データは、証明写真種に応じた顔位置及び顔サイズを有する人物モデル画像であって、用途や体型に応じて複数用意されている。また、基準画像データは、予め撮影された複数の画像又はこれら複数の画像から抽出された特徴点の平均的な位置情報に基づいて作成されたものである。
【００４０】
画像処理部９は、基準画像データベース８に記憶されている基準画像データと、画像データメモリ７に記憶されている対象画像データとに基づいて、対象画像データに画像処理を施し、調整画像データを生成する（図２参照）。この画像処理部９は、記憶部１０に格納された画像処理プログラムと制御部２との協働によってソフトウェア処理で実現される。
【００４１】
記憶部１０は、制御部２により実行される各種制御プログラムや、当該制御プログラムの実行時に必要なデータ、画像処理条件等を記憶する。
【００４２】
次に、本実施の形態の動作を説明する。
図２は、画像調整処理を示すフローチャートである。
【００４３】
まず、画像入力部５により対象画像データが取得される（ステップＳ１）。画像入力部５により取得された対象画像データは、画像データメモリ７に記憶される。
【００４４】
次に、表示部４に基準画像データ選択設定画面が表示され、ユーザが操作部３から証明写真種を選択指示することにより、基準画像データベース８に記憶されている基準画像データが選択される（ステップＳ２）。なお、対象画像データを解析することにより、体型別の複数の基準画像データの中から自動的に設定されることとしてもよい。そして、選択された基準画像データは、目的とする画像サイズに応じて拡大又は縮小される（ステップＳ３）。
【００４５】
次に、基準画像データから特徴点が抽出される（ステップＳ４）。特徴点とは、各画像における特徴を示す点をいい、人物の顔画像であれば、黒目の中心や目の端の位置を示す各点、口の輪郭や顔の輪郭を示す各点、頭部及び肩と背景との境界を示す各点等が挙げられる。図３（ａ）に、基準画像と基準画像から抽出された特徴点を示す。基準画像データの特徴点は、予め抽出され、基準画像データとともに基準画像データベース８に記憶されていることとしてもよい。
【００４６】
そして、対象画像データから基準画像データの特徴点に対応する特徴点がそれぞれ抽出される（ステップＳ５）。図３（ｂ）に示す対象画像から抽出された特徴点を図３（ｃ）に示す。
【００４７】
次に、表示部４に変換条件選択設定画面が表示され、ユーザが操作部３から指示することにより、画像処理における対象画像データに対する変換条件が選択される（ステップＳ６）。対象画像データの変換において各特徴点の目標となる目標点を、基準画像の各特徴点と対象画像の各特徴点との内分点とするか、又は、基準画像の各特徴点と対象画像の各特徴点との外分点とするか、さらに、その内分比又は外分比をユーザが直接指示することとしてもよいし、対象画像を標準化する度合い、又は基準画像からのずれを強調する度合いを段階的に複数設定しておき、その中から選択することとしてもよい。そして、選択された変換条件に基づいて、目標点が決定される（ステップＳ７）。
【００４８】
ここで、図４（ａ）に示すように、対象画像の各特徴点Ａiを基準画像の各特徴点Ｂiと一致させる場合には、基準画像の各特徴点Ｂiを目標点とする。これにより、対象画像の各特徴点Ａiを基準画像の各特徴点Ｂiの位置に矯正して、画像を標準化することができる。
【００４９】
また、対象画像の各特徴点Ａiを基準画像の各特徴点に近づける場合には、図４（ｂ）に示すように、基準画像の各特徴点Ｂiとそれぞれに対応する対象画像の各特徴点Ａiとを所定比ｈ：ｋ（ｈ，ｋは正の数）で内分する点を目標点Ｃiとする。これにより、対象画像の特徴を残しつつ、画像を標準化することができる。
【００５０】
また、対象画像の各特徴点Ａiの基準画像からのずれを強調する場合には、図４（ｃ）に示すように、基準画像の各特徴点Ｂiとそれぞれに対応する対象画像の各特徴点Ａiとを所定比ｍ：ｎ（ｍ，ｎはｍ＞ｎを満たす正の数）に外分する点を目標点Ｃiとする。
【００５１】
なお、対象画像データに対する変換条件は、対象画像の領域毎に選択可能としてもよい。例えば、目のみを強調したり、口のみを基準画像に合わせたり等、対象画像の領域毎に異なる処理を行うことができる。
【００５２】
次に、目標点を頂点としてドローネの三角形分割が行われ（ステップＳ８）、図３（ｄ）に示すように、対象画像もこの三角形に対応する領域に分割される（ステップＳ９）。ドローネの三角形分割とは、各点を頂点とする三角形で領域を分割する方法のうち、三角形の最小角の和を最大にするように分割する方法をいう。
【００５３】
そして、対象画像データに対して、対象画像の各特徴点を頂点とする三角形を、対応する目標点を頂点とする三角形に一致させるよう、分割された三角形の領域毎に、アフィン（Affine）変換が行われ（ステップＳ１０）、図３（ｅ）に示すように、調整画像データが生成される。アフィン変換は、線形変換と平行移動の組み合わせによる幾何変換である。
以上で、画像調整処理が終了する。
【００５４】
以上説明したように、画像処理装置１によれば、予め用意されている基準画像から特徴点を抽出し、処理すべき対象画像から基準画像の特徴点に対応する特徴点を抽出し、基準画像の各特徴点と対象画像の各特徴点とに基づいて目標点を決定し、対象画像に対して、対象画像の各特徴点を目標点に一致させるよう幾何変換処理を行うので、画像を矯正することができる。
【００５５】
また、対象画像を対象画像の各特徴点を頂点とする三角形の領域に分割し、分割された領域毎にアフィン変換を行うので、それぞれの変換を単純化することができる。
【００５６】
また、目標点の決定方法を選択可能とすることにより、ユーザの要望に応じて対象画像を標準化したり、基準画像からのずれを強調したりすることができる。
【００５７】
また、基準画像は、目的とするサイズに応じて拡大又は縮小して用いるので、複数のサイズの基準画像を予め用意しておく必要がない。
【００５８】
なお、上記実施の形態における記述は、本発明に係る好適な画像処理方法の例であり、これに限定されるものではない。画像処理装置１を構成する各部の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態における画像処理装置１の機能的構成を示すブロック図である。
【図２】画像調整処理を示すフローチャートである。
【図３】対象画像の変換手順を説明するための図である。
【図４】目標点の決定方法を示す図である。
【符号の説明】
【００６０】
１  画像処理装置
２  制御部
３  操作部
４  表示部
５  画像入力部
６  画像出力部
７  画像データメモリ
８  基準画像データベース
９  画像処理部
１０  記憶部
１１  バス
【図１】
2005229181.tif 000003
【図２】
2005229181.tif 000004
【図３】
2005229181.tif 000005
【図４】
2005229181.tif 000006