(57)【特許請求の範囲】
【請求項１】
入力画像から顔の輪郭を検出し、
この検出した顔の輪郭内で少なくとも２つの目の候補を検出し、
これらの検出された目の候補と予め記憶手段に記憶されている左目の標本データとの類似度を算出し、前記検出された目の候補と予め記憶手段に記憶されている右目の標本データとの類似度を算出し、
前記左目の標本データとの類似度が最も高い目の候補を左目の候補として抽出し、前記右目の標本データとの類似度が最も高い目の候補を右目の候補として抽出し、
前記抽出した左目の候補の類似度が所定の閾値以上であれば前記左目の候補を左目と判定し、前記抽出した右目の候補の類似度が所定の閾値以上であれば前記右目の候補を右目と判定し、
前記判定した左目の位置と前記判定した右目の位置とに基づいて顔の中心位置を判断し、
この判断した顔の中心位置を基準とする画像を生成する、
ことを特徴とする画像生成方法。
【請求項２】
前記目の検出では、前記顔の輪郭に対して予め設定されている所定の領域から少なくとも２つの目の候補を検出する、
ことを特徴とする前記請求項１に記載の画像生成方法。
【請求項３】
前記目の検出では、前記所定の領域から少なくとも２つの人物の目の形状らしい部位を目の候補として検出する、
ことを特徴とする前記請求項２に記載の画像生成方法。
【請求項４】
さらに、前記画像の生成では、前記判断された顔の中心位置を基準とした所定のサイズの画像を生成する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像生成方法。
【請求項５】
さらに、前記入力画像から検出した顔の輪郭の位置が規定の範囲内でない場合にはエラーとする、
ことを特徴とする請求項１乃至４の何れか1項に記載の画像生成方法。
【請求項６】
入力画像から顔の輪郭を検出する第１の検出手段と、
この第１の検出手段により検出した顔の輪郭内で少なくとも２つの目の候補を検出する第２の検出手段と、
この第２の検出手段により検出された各目の候補と予め記憶手段に記憶されている左目の標本データとの類似度を算出し、前記第２の検出手段により検出された目の候補と予め記憶手段に記憶されている右目の標本データとの類似度を算出する類似度算出手段と、
前記類似度算出手段により算出した左目の標本データとの類似度が最も高い目の候補を左目の候補として抽出し、前記類似度算出手段により算出した右目の標本データとの類似度が最も高い目の候補を右目の候補として抽出する候補抽出手段と、
前記候補抽出手段により抽出した左目の候補の類似度が所定の閾値以上であれば前記左目の候補を左目と判定し、前記候補抽出手段により抽出した右目の候補の類似度が所定の閾値以上であれば前記右目の候補を右目と判定する判定手段と、
前記判定手段により判定した左目の位置と前記判定手段により判定した右目の位置とに基づいて顔の中心位置を判断する判断手段と、
この判断手段により判断した顔の中心位置を基準とする画像を生成する画像生成手段と、
を具備することを特徴とする画像処理装置。
【請求項７】
前記第２の検出手段は、前記顔の輪郭に対して予め設定されている所定の領域から少なくとも２つの目の候補を検出する、
ことを特徴とする前記請求項６に記載の画像処理装置。
【請求項８】
前記第２の検出手段は、前記所定の領域から少なくとも２つの人物の目の形状らしい部位を目の候補として検出する、
ことを特徴とする前記請求項７に記載の画像処理装置。
【請求項９】
さらに、前記画像生成手段は、前記判断手段により判断した顔の中心位置を基準とした所定のサイズの画像を生成する、
ことを特徴とする請求項６乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
さらに、前記入力画像から検出した顔の輪郭の位置が規定の範囲内でない場合にはエラーとするエラー処理手段を有する、
ことを特徴とする請求項６乃至９の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、顔写真を撮影してその顔写真から、たとえば、ＩＤカードなどに所定の大きさで印刷する証明写真用の画像を生成する画像処理装置と画像生成方法に関する。
【背景技術】
【０００２】
従来、ＩＤカード等に用いられる顔写真を撮影する撮影機は、撮影した人物の顔の輪郭に基づいて所定の出力サイズの画像を生成するようになっている。すなわち、撮影した撮影画像から顔の輪郭を検出する。そして、その検出した顔の輪郭から顔の中心となる中心位置を算出し、その中心位置が中心となるように所定の出力サイズの画像として切出すことにより出力画像を生成している。
【０００３】
しかしながら、上記のように、撮影画像から顔の輪郭の中心位置が中心となるような画像を切り出すと、髪型を含めた部分を顔の輪郭として検出するため、髪型が左右非対称であったり、頭頂部に大きな髪飾りをつけている場合などに、その形状に伴って、出力画像として切り出す画像の中心が顔の中心位置に対してずれてしまうという欠点があった。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように、撮影した画像から出力画像の切り出しを自動で行う撮影機において、髪型などにより出力画像の切り出し位置がずれ、顔の中心が画像の中心にならない画像を生成してしまうという欠点を除去したもので、撮影した画像から出力画像の切り出しを自動で行う撮影機において、髪型などにより出力画像の切り出し位置がずれることなく、顔の中心が画像の中心となる安定した画像を生成することが出来る画像処理装置と画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明の画像生成方法は、入力画像から顔の輪郭を検出し、この検出した顔の輪郭内で少なくとも２つの目の候補を検出し、これらの検出された目の候補と予め記憶手段に記憶されている左目の標本データとの類似度を算出し、前記検出された目の候補と予め記憶手段に記憶されている右目の標本データとの類似度を算出し、前記左目の標本データとの類似度が最も高い目の候補を左目の候補として抽出し、前記右目の標本データとの類似度が最も高い目の候補を右目の候補として抽出し、前記抽出した前記左目の候補の類似度が所定の閾値以上であれば前記左目の候補を左目と判定し、前記抽出した前記右目の候補の類似度が所定の閾値以上であれば前記右目の候補を右目と判定し、前記判定した左目の位置と前記判定した右目の位置とに基づいて顔の中心位置を判断し、この判断した顔の中心位置を基準とする画像を生成する。
【０００６】
この発明の画像処理装置は、入力画像から顔の輪郭を検出する第１の検出手段と、この第１の検出手段により検出した顔の輪郭内で少なくとも２つの目の候補を検出する第２の検出手段と、この第２の検出手段により検出された各目の候補と予め記憶手段に記憶されている左目の標本データとの類似度を算出し、前記第２の検出手段により検出された目の候補と予め記憶手段に記憶されている右目の標本データとの類似度を算出する類似度算出手段と、前記類似度算出手段により算出した左目の標本データとの類似度が最も高い目の候補を左目の候補として抽出し、前記類似度算出手段により算出した右目の標本データとの類似度が最も高い目の候補を右目の候補として抽出する候補抽出手段と、前記候補抽出手段により抽出した左目の候補の類似度が所定の閾値以上であれば前記左目の候補を左目と判定し、前記候補抽出手段により抽出した右目の候補の類似度が所定の閾値以上であれば前記右目の候補を右目と判定する判定手段と、前記判定手段により判定した左目の位置と前記判定手段により判定した右目の位置とに基づいて顔の中心位置を判断する判断手段と、この判断手段により判断した顔の中心位置を基準とする画像を生成する画像生成手段を有する。
【発明の効果】
【０００７】
以上詳述したように、この発明によれば、撮影した画像から出力画像の切り出しを自動で行う撮影機において、髪型などにより出力画像の切り出し位置がずれることなく、顔の中心が画像の中心となる安定した画像を生成することが出来る画像処理装置と画像生成方法を提供できる。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態について図面を参照して説明する。
【０００９】
図１は、この発明の実施の形態に係わる撮影機を含む撮影システムの外観を示すものである。
【００１０】
この撮影システムは、被撮影者を照射する照明機１、被撮影者の顔を撮影して撮影画像としての画像データに変換するＣＣＤカメラ２、撮影状態、撮影者の操作情報等を表示する表示機３、撮影者による操作指示により、ＣＣＤカメラ２からの画像データ（撮影画像）を加工したり、表示機３の表示制御を行う制御台４、被撮影者の顔を撮影する際、被撮影者が着座するいす６、撮影の際に被撮影者の背景となる背景板７が設けられている。
【００１１】
図２は、撮影機の制御台４の内部構成を示すブロック図である。
【００１２】
図２に示すように、撮影機の制御台４は、ＣＣＤカメラ２によう撮影画像としてのアナログ信号の画像データをリアルタイムにＡ／Ｄ変換し、ビデオメモリやメインメモリ等に転送するビデオキャプチャ部９、このビデオキャプチャ部９からの画像データやその他の各種画像データの描画処理を行なって表示機３への表示制御を行うビデオアクセラレート部１０、上記ビデオキャプチャ部９からの画像データやその他のデータに対する各種の演算処理を行うＣＰＵ、このＣＰＵによる演算結果を一時保存するメインメモリ、各種周辺機器とのインターフェースを具備したＣＰＵ部１１、印刷機などの外部の周辺機器を接続する外部バス（たとえばＳＣＳＩ）を制御する外部バス制御部１２、ＯＳ、アプリケーション、制御用の種々のデータ、および撮影画像から抽出する部分（例えば瞳などの顔を構成する所定の部位）に対する標本データを保存する磁気ディスク等の大容量記億媒体１３、撮影画像から生成した所定の出力サイズの画像データ（出力画像）なとの出力データを保存する可搬性のある記憶媒体（たとえば、ＭＯなどの光磁気ディスク）１４とその記憶媒体への読み書き装置（たとえばＭＯドライブ）１５、操作者が操作する入力装置であるキーボード１６、およびマウス１７から構成されている。
【００１３】
図３は、撮影機により撮影した入力画像（撮影画像）から切出す所定の出力サイズの出力画像との関係を説明するための図である。
【００１４】
図３は、撮影機のＣＣＤカメラ２により撮影された入力画像１８から検出される顔の輪郭の中心位置が中心となるように所定の出力サイズで切出した切出し画像１９、この切出し画像１９に対して瞳の位置を検出する対象の領域となる検出領域２０、この検出領域２０から検出した左右の瞳から判断した顔の中心位置２１、およびこの顔の中心位置２１が中心となるように所定の出力サイズで切出した切出し画像２２を示す。
【００１５】
たとえば、髪型が左右均等でない被撮影者の顔を撮影した場合、ＣＰＵ部１１は、入力画像１８から背景板７の色を判別して髪型を含む顔の輪郭を検出する。この検出した顔の輪郭の中心位置が中心となるように所定の出力サイズの画像を切出すと、図３に示すように、切出し画像１９が髪型以外の顔の部分が中心からずれた画像となる。
【００１６】
これに対して、被撮影者の瞳の位置から顔の中心位置を求め、この中心位置が中心となるように所定の出力サイズで画像を切出すと、髪型に関係なく顔の中心が出力サイズの画像の中央部に位置する画像が得られる。
【００１７】
すなわち、ＣＰＵ部１１は、入力画像１８から検出した顔の輪郭で左右の瞳が存在するであろう検出領域２０において瞳の検出を行なう。これは、入力画像全体や顔の輪郭全体から瞳の検出を行なうと検出処理に余分な時間が掛かってしまうため、顔の輪郭に対して予め瞳が存在するであろう検出領域を設定しておき、この検出領域のみを瞳の検出対象とすることにより、処理の短縮が図れるためである。
【００１８】
そして、ＣＰＵ部１１は、検出領域２０から左右の瞳を検出すると、これらの検出した左右の瞳の位置から中心位置を判断する。この中心位置は、例えば左右の瞳の中間点が顔の中心位置として判断される。さらに、左右の瞳の位置から判断した顔の中心位置が中心となるように入力画像１８から切出して切出し画像２２を生成する。
【００１９】
上記のように、瞳の位置から判断した顔の中心位置が中心となる画像を切出すことにより、髪型などにより影響されることなく、所定の出力サイズの画像において顔の位置が中央に位置する画像を生成できる。
【００２０】
次に、所定の大きさの出力画像を切出す処理について図４に示すフローチャートを参照しつつ説明する。
【００２１】
まず、被撮影者が背景板７の前方に設置されたイス６に腰掛ける。撮影者（オペレータ）は、ＣＣＤカメラ２に映っている映像が表示されている表示機３を見ながら撮影機１のＣＣＤカメラ３の向きをハンドルにより調整して撮影開始を指示する。
【００２２】
撮影者が撮影開始を指示すると、ＣＰＵ部１１は、ＣＣＤカメラ２により入力画像を取り込む（ステップ１）。ＣＰＵ部１１は、この入力画像から背景板７の色以外の領域を顔の輪郭の位置として検出する（ステップ２）。ＣＰＵ部１１は、検出した顔の輪郭の位置が規定の範囲内か否かを判断する（ステップ３）。この判断により顔の輪郭の位置が規定の範囲内でないと判断した際、ＣＰＵ部１１は、エラー処理を行なう（ステップ４）。このエラー処理は、撮影者が表示機３に表示される入力画像を見て、入力画像における顔の輪郭が大きく写っている場合に入力画像の縮小したり、顔の輪郭が小さく写っている場合に入力画像を拡大することにより入力画像の倍率を調整する。また、入力画像における顔の輪郭が極端にずれていたり、入力画像が明るすぎたり、暗すぎたりした場合に入力画像を破棄し、再び撮影処理を行なう処理である。
【００２３】
上記ステップ３で、検出した顔の輪郭の位置が規定の範囲内であると判断した際、ＣＰＵ部１１は、予め設定されている瞳の検出領域２０において、瞳と同形状の丸い形状の部位を抽出する（ステップ５）。この結果、ＣＰＵ部１１は、抽出した部位の数が２個以上あるか否かを判断する（ステップ６）。
【００２４】
この判断により抽出数が２個以上であると判断した際、それぞれの抽出した部位とＨＤＤ１３に記憶している左右の瞳の標本データとを比較し、それらの中で類似度の左右の瞳として最も高い抽出部位をそれぞれ検出する（ステップ７）。
【００２５】
さらに、ＣＰＵ部１１は、左右の瞳として検出した部位の類似度合いが所定のしきい値以上か否かを判断する（ステップ８）。この判断により左右の瞳として検出した部位の類似度合いがそれぞれ所定のしきい値以上であると判断した際、ＣＰＵ部１１は、左右の瞳の位置から顔の中心位置を検出し、この中心位置を中心とした写真の切出し位置を算出する（ステップ９）。
【００２６】
また、上記ステップ６で、抽出数が２個以上でないと判断した際、あるいは上記ステップ８で、左右の瞳として検出した部位の類似度合いが所定のしきい値以上でないと判断した際、上記ステップ２で、検出した顔の輪郭位置に基づいて顔の中心位置を検出し、その中心位置を中心とした写真の切出し位置を算出する（ステップ１０）。
【００２７】
そして、ＣＰＵ部１１は、上記ステップ９で左右の瞳の位置に基づいた切出し位置、あるいは上記ステップ１０で顔の輪郭位置に基づいた切出し位置で入力画像を切り出すことにより所定の出力サイズの画像を生成する（ステップ１１）。
【００２８】
なお、上記実施の形態では、瞳を検出して顔の中心位置を検出するようにしたが、鼻、口、耳、眉毛などの顔を構成する瞳以外の部位を検出して顔の中心位置を判断するようにしても良い。また、例えば、耳と瞳、瞳を鼻、鼻と口、口と耳といった顔を構成する部位を複数検出してその組合わせで顔の中心位置を判断するようにしても良い
上記のように、撮影した入力画像から顔を構成する所定の部位を検出して顔の中心位置を判断し、この中心位置を中心とする出力サイズの画像を生成するようにした。
【００２９】
これにより、髪型などにより顔の輪郭が左右均等でない顔写真を撮影した場合にも顔の中心位置が中心となる出力サイズの画像を生成できる。
【００３０】
また、撮影した入力画像から顔を構成する所定の部位として瞳の位置を検出して顔の中心位置を判断し、この中心位置を中心とする出力サイズの画像を生成するようにした。
【００３１】
これにより、髪型などにより顔の輪郭が左右均等でない顔写真を撮影した場合にも顔の中心位置と出力画像の中心となる画像を生成でき、さらに、顔を構成する部位の中でも検出しやすい瞳を検出することにより、確実に顔の中心位置を検出できる。
【図面の簡単な説明】
【００３２】
【図１】この発明の実施の形態を説明するための撮影機を含む撮影システムの外観構成を示す図。
【図２】撮影機の内部構成を示すブロック図。
【図３】入力画像から切出される出力画像を説明するための図。
【図４】出力画像を生成する処理を説明するためのフローチャート。
【符号の説明】
【００３３】
２…ＣＣＤカメラ
３…表示機
１１…ＣＰＵ部
１３…記録媒体
【図１】
0004709812.tif 000002
【図２】
0004709812.tif 000003
【図３】
0004709812.tif 000004
【図４】
0004709812.tif 000005