(57)【要約】【課題】  被撮影者の顔を撮影する時に、被撮影者の顔が障害物で覆われていないか判定し、良好な顔状態で撮影できる顔画像撮影方法を提供する。【解決手段】  被撮影者を対象とした撮影を行う撮影工程と、前記撮影工程により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出工程と、前記顔領域抽出工程により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定工程と、前記判定工程によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力工程と、を具備したことを特徴とする顔画像撮影方法。【選択図】        図３
2006215947.tif 000002
【特許請求の範囲】
【請求項１】
被撮影者を対象とした撮影を行う撮影工程と、
前記撮影工程により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出工程と、
前記顔領域抽出工程により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定工程と、
前記判定工程によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力工程と、
を具備したことを特徴とする顔画像撮影方法。
【請求項２】
前記判定工程が、前記顔領域抽出工程により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項１に記載の顔画像撮影方法。
【請求項３】
前記判定工程が、前記顔領域抽出工程により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項１に記載の顔画像撮影方法。
【請求項４】
前記判定工程により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示する表示工程を具備したことを特徴とする請求項１、２または３に記載の顔画像撮影方法。
【請求項５】
被撮影者を対象とした撮影を行う撮影手段と、
前記撮影手段により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出手段と、
前記顔領域抽出手段により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定手段と、
前記判定手段によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力手段と、
を具備したことを特徴とする顔画像撮影装置。
【請求項６】
前記判定手段は、前記顔領域抽出手段により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項５に記載の顔画像撮影装置。
【請求項７】
前記判定手段は、複数の基準肌色領域より抽出された肌色領域に最も合致した基準肌色領域を用いて比較することを特徴とする請求項６に記載の顔画像撮影装置。
【請求項８】
前記判定手段は、前記顔領域抽出手段により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項５に記載の顔画像撮影装置。
【請求項９】
前記部位単位が、少なくとも、目、口、鼻孔の１つであることを特徴とする請求項８に記載の顔画像撮影装置。
【請求項１０】
前記障害物は、少なくとも被撮影者の手、被撮影者の目を覆う前髪、被撮影者が付けたマスク、被撮影者の衣服のいずれか１つであることを特徴とする請求項５から８のいずれか１項に記載の顔画像撮影装置。
【請求項１１】
前記判定手段により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示する表示手段を具備したことを特徴とする請求項５から１０のいずれか１項に記載の顔画像撮影装置。
【請求項１２】
前記表示手段は、障害物で覆われている顔領域の位置を表示することを特徴とする請求項１１に記載の顔画像撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被撮影者の顔が入った写真を撮影する顔画像撮影方法および顔画像撮影装置に関する。
【背景技術】
【０００２】
例えば、無人撮影ボックスで、被撮影者の顔が入った写真を撮影する場合に、モニター画面を見ながら撮影するといった方法をとっていた。ところが、証明写真等の規定に適さない目つぶりなどの顔画像の画像出力（プリント）の場合、再度撮り直しをする必要がある。
【０００３】
そこで、最近、このような問題を解決するために、被撮影者の顔画像を撮影し、この撮影した顔画像から目の位置を抽出し、この抽出した目の位置に基づき目の状態を認識し、目が正常に開いて入るかどうか判定して、この判定により目が正常に開いていないと判断した場合に自動的に再度撮影を行う技術が開示されている（特許文献１）。
【０００４】
また、被撮影者の目の開閉、口の開閉、眼鏡での反射などを随時判定して、規定枚数の画像を蓄積することなく、２フレーム目以降で、被撮影者の希望とする顔状態になった時点で撮影を完了することができる技術が開示されている（特許文献２）。
【特許文献１】特開２０００−２９２８５３号公報
【特許文献２】特開２００１−６７４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、この顔画像撮影方法では被撮影者の顔が被撮影者の手で顔が覆われたり、また、目が前髪で覆われたり、さらに被撮影者の衣服の一部で覆われたりといった、所謂障害物で覆われている場合、判定ができないといった問題が生じ、特に、所定の規定条件を満たす必要のある身分証明用顔画像、各種免許証用顔画像にはふさわしくないことがあった。
【０００６】
そこで、本発明は上記の課題に鑑みなされたもので、本発明の目的は、被撮影者の顔を撮影する時に、被撮影者の顔が障害物で覆われていないことを判定し、良好な顔の状態で撮影できる顔画像撮影方法および顔画像撮影装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的は下記の手段のいずれかにより達成される。
（請求項１）被撮影者を対象とした撮影を行う撮影工程と、前記撮影工程により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出工程と、前記顔領域抽出工程により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定工程と、前記判定工程によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力工程と、を具備したことを特徴とする顔画像撮影方法。
（請求項２）前記判定工程が、前記顔領域抽出工程により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項１に記載の顔画像撮影方法。
（請求項３）前記判定工程が、前記顔領域抽出工程により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項１に記載の顔画像撮影方法。
（請求項４）前記判定工程により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示する表示工程を具備したことを特徴とする請求項１、２または３に記載の顔画像撮影方法。
（請求項５）被撮影者を対象とした撮影を行う撮影手段と、前記撮影手段により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定手段と、前記判定手段によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力手段と、を具備したことを特徴とする顔画像撮影装置。
（請求項６）前記判定手段は、前記顔領域抽出手段により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項５に記載の顔画像撮影装置。
（請求項７）前記判定手段は、複数の基準肌色領域より抽出された肌色領域に最も合致した基準肌色領域を用いて比較することを特徴とする請求項６に記載の顔画像撮影装置。
（請求項８）前記判定手段は、前記顔領域抽出手段により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項５に記載の顔画像撮影装置。
（請求項９）前記部位単位が、少なくとも、目、口、鼻孔の１つであることを特徴とする請求項８に記載の顔画像撮影装置。
（請求項１０）前記障害物は、少なくとも被撮影者の手、被撮影者の目を覆う前髪、被撮影者が付けたマスク、被撮影者の衣服のいずれか１つであることを特徴とする請求項５から８のいずれか１項に記載の顔画像撮影装置。
（請求項１１）前記判定手段により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示する表示手段を具備したことを特徴とする請求項５から１０のいずれか１項に記載の顔画像撮影装置。
（請求項１２）前記表示手段は、障害物で覆われている顔領域の位置を表示することを特徴とする請求項１１に記載の顔画像撮影装置。
【発明の効果】
【０００８】
上記の目的は下記の手段のいずれかにより達成される。
【０００９】
請求項１および５に記載の発明によれば、被撮影者を対象とした撮影を行い、撮影されたフレーム画像に対し、そのフレーム画像中に存在する被撮影者の顔領域を抽出し、抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定し、被撮影者の顔の状態が障害物で覆われいない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力するようにしたので、被撮影者の顔が例えば、手、前髪、衣服といった所謂障害物で覆われていな良好な顔画像を含む撮影ができるようになった。
【００１０】
請求項２に記載の発明によれば、顔領域抽出工程により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。
【００１１】
請求項３に記載の発明によれば、顔領域抽出工程により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。
【００１２】
請求項４に記載の発明によれば、判定工程により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示するので、障害物で覆われている内容が分かるようになった。
【００１３】
請求項６に記載の発明によれば、判定手段は、顔領域抽出手段により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。
【００１４】
請求項７に記載の発明によれば、判定手段は、複数の基準肌色領域より抽出された肌色領域に最も合致した基準肌色領域を用いるので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。
【００１５】
請求項８に記載の発明によれば、判定手段は、顔領域抽出手段により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。
【００１６】
請求項９に記載の発明によれば、部位単位が、少なくとも、目、口、鼻孔の１つであるので、簡易で確実に、被撮影者の少なくとも、目、口、鼻孔の１つが障害物で覆われているか否かを判定できるようになった。
【００１７】
請求項１０に記載の発明によれば、障害物は、少なくとも、被撮影者の手、被撮影者の目を覆う前髪、被撮影者ら付けたマスク、被撮影者の衣服のいずれか１つであるので、被撮影者の少なくとも、手、目を覆う前髪、マスク、衣服の１つが障害物で覆われているか否かを判定できるようになった。
【００１８】
請求項１１、１２に記載の発明によれば、被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示するので、障害物で覆われている判定内容が表示で分かるようになった。
【発明を実施するための最良の形態】
【００１９】
最初に、実施の形態１および２に共通な顔画像撮影装置の概略の構成について説明する。図１は、本実施の形態に係わる顔画像撮影装置の概略の構成を示すものである。
【００２０】
この顔画像撮影装置である無人撮影ボックス１は、被撮影者が撮影の際に着座する椅子５、撮影の際に被撮影者の背景となる背景板６、撮影時の各種操作を行う操作部８、被撮影者Ｐを照明する照明器２、被撮影者Ｐの少なくとも顔画像を撮影する撮影手段３、顔領域を抽出する顔領域抽出手段９、被撮影者の顔の状態が障害物で覆われている状態であるどうか判定する判定手段１０、被撮影者の顔の状態が障害物で覆われている場合に表示する表示手段４、および、被写体の顔画像を画像出力（プリント）する画像出力手段７等から構成されている。
【００２１】
ここで障害物とは、被撮影者の顔領域を覆うすべての障害物を意味し、例えば、被撮影者の手、被撮影者の目を覆う前髪、マスク、被撮影者の衣服の一部、被撮影者が身につけ顔領域を覆うイヤリングや帽子などをいう。
【００２２】
図２は、図１に示した顔画像撮影装置の制御関係の概略構成を示すブロックを示すものである。この顔画像撮影装置は、被撮影者を撮影する撮影手段としての撮影部１６と、入力された画像をメモリする画像メモリ１７、被撮影者の顔画像を含む画像をフレーム画像中に存在する顔領域を抽出する顔領域抽出手段としての顔画像抽出部１８、被撮影者の顔の状態が障害物で覆われている状態であるどうか判定する判定手段としての判定部１９、被撮影者の顔の状態が障害物で覆われている状態であると判断された場合に判定内容を表示する表示手段としての表示部２１、および被撮影者の顔画像を出力（プリント）する画像出力手段としての画像出力部２０によって構成されている。
【００２３】
（実施の形態１）
以下、本発明の実施の形態１に係わる顔画像撮影方法および顔画像撮影装置ついて図面を参照して説明する。
【００２４】
この実施の形態に係わる顔画像撮影装置である無人撮影ボックスは、被撮影者の顔を撮影する時に、被撮影者の顔が手、前髪、衣服等の所謂障害物で覆われていないことを確認して良好な顔状態で撮影できる装置である。
【００２５】
次に、顔画像撮影装置における主要な動作の流れを、図３の顔画像撮影装置の制御フローチャートを主にして、前述の図１、図２も参照して顔画像撮影装置の動作の流れを最初に簡単に説明する。
【００２６】
まず、ステップＳ１１にて、撮影部１６で被撮影者の顔を含む顔画像を撮影する（撮影工程）。ステップＳ１２にて、撮影部１６で取得した画像入力からデジタイズされた被撮影者の画像を画像メモリ１７にメモリする。次に、ステップＳ１３にて、顔領域抽出部１８で入力された画像内に存在する被撮影者の顔画像を抽出する（顔領域抽出工程）。次に、ステップＳ１４にて、顔領域より被撮影者の肌色領域を抽出し、ステップＳ１５にて、予め定めた複数の基準肌色領域の中から、最も被撮影者の肌色領域に合致するものを選択し、ステップＳ１６にて、被撮影者の肌色領域と、選択した基準肌色領域とを比較して、被撮影者の顔が手、前髪等である障害物で覆われている状態であるか否かを判定手段で判定する（判定工程）。次に、ステップＳ１７にて、被撮影者の顔の状態が障害物で覆われている場合には、表示部２１で警告表示する（表示工程）。また、ステップＳ１８にて、被撮影者の顔の状態が障害物で覆われていない場合は、画像出力部２０で被撮影者の顔を含む顔画像を出力する（画像出力工程）。以上が顔画像撮影装置における動作の流れの簡単な説明である。
【００２７】
次に、図３で説明した各ステップＳ１１からスッテプＳ１８までの各内容について、図１〜図５を参照して詳細に説明する。図４は被撮影者の顔の状態が障害物で覆われているかどうかを抽出する方法の説明図、図５は被撮影者の顔の状態が障害物で覆われている場合の警告表示に関する説明図である。
【００２８】
ステップＳ１１の顔画像の撮影工程について説明する。図１に示す撮影手段３（図２、撮影部１６）により顔を含む被撮影者を撮影する。なお、図４（ａ）に顔画像を示す。
【００２９】
ステップＳ１２の画像入力処理について説明する。撮影された被撮影者Ｐの顔画像を含む画像データをデジタイズして画像メモリ１７（図２）にメモリする。
【００３０】
ステップＳ１３の顔領域抽出工程について説明する。図１に示す顔領域抽出手段９（図２、顔領域抽出部１８）において、顔領域として、顔の上下側は額からあご付近、左右側は両端の耳付近に位置する領域として定め、被撮影者の顔領域を抽出する。顔領域の抽出は公知技術の種々の方法により行うことができる。その一例を説明する。予め、複数の画像を利用して平均画像を作成し、顔検索用の辞書で様々な画像を評価し、顔辞書と類似度の高い領域で顔でないと得られたら非顔辞書として画像を収集し、また、入力された画像に対して顔の大きさの影響をなくするために複数段階での拡大、縮小画像を作成し、それぞれの画像に対し、例えば複合類似法もしくはテンプレートマッチング法を利用して顔領域の探索を行い、顔領域は顔辞書と類似度が高く、非顔辞書と類似度が低い評価を行い顔画像領域を求めるようにするが、これに限定されるものではない。なお、図４（ｂ）に抽出した顔領域Ｆ１を例を示す。
【００３１】
ステップＳ１４の肌色領域の抽出について説明する（判定工程）。図１に示す判定手段１０（図２、判定部１９）において、抽出した顔領域Ｆ１に存在する被撮影者の肌色が存在する領域を抽出する。肌色領域の抽出は種々の方法により行う。ここでは、その一例の単純領域拡張法につて説明する。単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより画像領域の抽出を行う画像処理方法である。即ち、指定された特定の条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画素に属するものとし、さらに、当該同一画像領域に属するとした画素に対し隣接する画素についても同様の判定手段で判定を行っていき、初期画素から出発して同一領域を徐々に拡張させることによって画像領域を抽出を行う方法である。
【００３２】
次に、この単純領域拡張法をさらに発展させ確実なものとした他の単純領域拡張法について説明する。先ず、カメラで被撮影者を撮影し顔画像データを取得し、顔画像データのエッジを抽出する。次に、顔画像データの低周波画像を作成する。ここで、当該初期画素から単純領域拡張を開始し、隣接画素間の画像信号の差を順次比較しながら肌色領域を抽出するための単純領域拡張を行う。次に、隣接画素の画像信号の画像信号が抽出条件を満たしている場合には、当該、隣接画素がエッジであるか否かさらに判定し、当該隣接画素がエッジでない場合には、当該隣接画素を肌色領域に含めて行く。ここで、肌色領域に含められた画素は、それぞれの位置を表す情報（画素を識別するための情報）がデータ蓄積メモリに順次蓄積されて行く。最後に、当該隣接画素がエッジと判断される部分に至ると、単純領域拡張を用いた肌色領域の抽出処理を終了する。なお、目や口等は肌色領域の閉領域として検出できる。なお、図４（ｃ）に顔領域より抽出した肌色領域Ｆ２を示す。
【００３３】
ステップＳ１５の基準肌色領域の選択について説明する（判定工程）。基準となる複数の基準肌色領域を予め準備しておき、その中より、先に求めた被撮影者の肌色領域Ｆ２（図４（ｃ）参照）と、最も肌色領域の外枠が最も合致する基準肌色領域Ｓ２を選択する（図４（ｄ）参照）。
【００３４】
ステップＳ１６の顔を障害物で覆われていないかの判定について説明する（判定工程）。被撮影者の肌色領域Ｆ２と、選択した基準肌色領域Ｓ２を比較して、被撮影者の肌色領域に、障害物である手Ｗで覆われて欠落した部分を抽出する。抽出方法の一例を説明すると、被撮影者の肌色領域と基準肌色領域とを画像処理により重ね合わせ、重複していない部分を抽出するようにする。図４（ｅ）に抽出した障害物を示し、斜線の部分Ｗ３が障害物である手で覆われて欠落した部分である。別な方法として、被撮影者の肌色領域Ｆ２（図４（ｃ））と、選択した基準肌色領域Ｓ２（図４（ｄ））の面積を比較して求めることもできる。
【００３５】
ステップＳ１７の警告の表示工程について説明する。図１に示す表示手段４（図２、表示部２１）において、顔領域に障害物である手Ｗで口を覆っている場合には図５に示すような警告内容を表示するようにする。
【００３６】
ステップＳ１８の画像出力工程について説明する。図１に示す画像出力手段７（図２、画像出力部２０）において、顔領域が障害物で覆われていないことを確認して画像出力する。
【００３７】
このように、上記実施の形態によれば、顔画像撮影装置などで、被撮影者を対象とした撮影を行うときに、被撮影者の顔に障害物が無いかどうかを自動判定を行い良好な顔画像が作成することができる。また、障害物がある場合は、警告表示して障害物が取り除かれた後に撮影して、良好な顔画像が作成できるようになる。
【００３８】
なお、実施の形態では、被撮影者が手で口を覆った場合について説明したが、本発明はこれに限定されるものではなく、例えば、前髪で目を覆った場合等についても、同様である。
【００３９】
（実施の形態２）
以下、本発明の実施の形態２に係わる顔画像撮影方法および顔画像撮影装置ついて図面を参照して説明する。
【００４０】
実施の形態の顔画像撮影装置は、被撮影者の顔を撮影する時に、被撮影者の顔が障害物で覆われていないか判定手段で判定して良好な顔状態で撮影できる他の装置である。
【００４１】
次に、顔画像撮影装置における動作の流れを、図６の顔画像撮影装置の他の制御フローチャートを主にして、前述の図１、図２も参照として、顔画像撮影装置の動作の流れを最初に簡単に説明する。
【００４２】
まず、ステップＳ２１にて、撮影部１６で被撮影者の顔を含む顔画像を撮影する（撮影工程）。ステップＳ２２にて、撮影部１６で取得した画像入力からデジタイズされた被撮影者の画像を画像メモリ１７にメモリする。次に、ステップＳ２３にて、顔領域抽出部１８で入力された画像内に存在する被撮影者の顔画像を抽出する（顔領域抽出工程）。
【００４３】
次に、ステップＳ２４ａにて、顔領域抽出部で抽出された顔領域において、被撮影者の顔の部位単位である目領域を抽出し、ステップＳ２４ｂにて、被撮影者の目領域が障害物で覆われていない状態であるか否かを判定手段で判定する（判定工程）。覆われていない状態であればステップＳ２５ｂに進み、覆われている状態であればステップＳ２７で警告表示する（表示工程）。
【００４４】
次に、ステップＳ２５ａにて、顔領域抽出部で抽出された顔領域において、被撮影者の顔の部位単位である鼻孔領域を抽出し、ステップＳ２５ｂにて、鼻孔領域が障害物で覆われていない状態であるか否かを判定手段で判定する（判定工程）。被撮影者の鼻孔領域が障害物で覆われていない状態であればステップＳ２５ｃに進み、覆われている状態であればステップＳ２７で警告表示する（表示工程）。
【００４５】
次に、ステップＳ２６ａにて、顔領域抽出部で抽出された顔領域において被撮影者の顔の部位単位である口領域を抽出し、ステップＳ２６ｂにて、被撮影者の口領域が障害物で覆われていない状態であるか否かを判定手段で判定する（判定工程）。覆われていない状態であればステップＳ２７に進み、覆われている状態であればステップＳ２７で警告表示する（表示工程）。最後に、ステップＳ２８にて、被撮影者の顔を含む顔画像を画像出力部２０で画像出力する（画像出力工程）。
【００４６】
次に、図６で説明した各ステップＳ２１からスッテプＳ２７までの各内容について、図１、図２および、図６〜図８を参照して詳細に説明する。図７は被撮影者の目が障害物で覆われているかどうかの抽出方法の説明図、図８は被撮影者の鼻孔が障害物で覆われているかどうかの抽出方法の説明図、図９は被撮影者の口が障害物で覆われているかどうかを抽出する方法の説明図である。
【００４７】
ステップＳ２１からＳ２３は前述のステップＳ１１からＳ１３と同じにつき説明を省略する。
【００４８】
ステップＳ２４ａの目領域の抽出工程について説明する。図７（ａ）において、被撮影者の顔領域Ｆ１の顔輪郭Ｆ３より目領域Ｆ４ａを抽出する。例えば、顔輪郭Ｆ３に対す目領域Ｆ４ａの相対位置を予め決めておき画像処理により求める。
【００４９】
ステップＳ２４ｂの目を障害物で覆われていないかの判定について説明する（判定工程）。図７（ａ）、（ｂ）で、障害物として前髪で覆われている場合について説明すると、被撮影者の目領域Ｆ４ａにける肌色領域Ｆ４ｂと、基準の目領域Ｓ４ａの基準目肌色領域（単に肌色領域ともいう）Ｓ４ｂとを比較して、被撮影者の目領域が障害物で覆われている部分Ｗ４を検知する。詳しくは、被撮影者の目領域の肌色領域Ｆ４ｂと、基準の目領域の肌色領域Ｓ４ｂとを画像処理により重ね合わせ、重複していない部分Ｗ４を抽出することにより抽出する。また、別な方法として、被撮影者の肌色領域Ｆ４ｂの面積と、基準の肌色領域Ｓ４ｂの面積を比較して差があるかどうかで抽出することもできる。
【００５０】
ステップＳ２５ａの鼻孔領域の抽出工程について説明する。図８（ａ）で、被撮影者の顔領域Ｆ１の顔輪郭Ｆ３より鼻孔領域Ｆ５ａを抽出する。例えば、顔輪郭Ｆ３に対す鼻孔領域Ｆ５ａの相対位置を予め決めておき画像処理により求める。
【００５１】
ステップＳ２５ｂの鼻孔を障害物で覆われていないかの判定について説明する（判定工程）。図８（ａ）、（ｂ）で、障害物で覆われている場合について説明すると、被撮影者の鼻孔領域Ｆ５ａにける肌色領域Ｆ５ｂと、基準の鼻孔領域Ｓ５ａの基準鼻孔肌色領域（単に肌色領域ともいう）Ｓ５ｂとを比較して、被撮影者の鼻孔領域が障害物で覆われている部分Ｗ５を検知する。詳しくは、被撮影者の鼻孔領域の肌色領域Ｆ５ｂと、基準鼻孔肌色領域Ｓ５ｂとを画像処理により重ね合わせ、重複していない部分Ｗ５を抽出することにより抽出する。また別な方法として、被撮影者の肌色領域Ｆ５ｂの面積と、基準の肌色領域Ｓ５ｂの面積を比較してその差で検知することもできる。
【００５２】
ステップＳ２６ａの口領域の抽出工程について説明する。図９（ａ）で、被撮影者の顔領域Ｆ１の顔輪郭Ｆ３より口領域Ｆ６ａを抽出する。例えば、顔輪郭Ｆ３に対す口領域Ｆ６ａの相対位置を予め決めておき画像処理により求める。
【００５３】
ステップＳ２６ｂの口を障害物で覆われていないかの判定について説明する（判定工程）。図９（ａ）、（ｂ）で、障害物で覆われている場合について説明すると、被撮影者の口領域Ｆ６ａにける肌色領域Ｆ６ｂと、基準の口領域Ｓ６ａの基準口肌色領域（単に肌色領域ともいう）Ｓ６ｂとを比較して、被撮影者の口領域が障害物で覆われている部分Ｗ６を検知する。詳しくは、被撮影者の口領域の肌色領域Ｆ６ｂと、基準の口領域の肌色領域Ｓ６ｂとを画像処理により重ね合わせ、重複していない部分Ｗ６を抽出することにより抽出する。なお、別な方法として、被撮影者の肌色領域Ｆ６ｂの面積と、基準の肌色領域Ｓ６ｂの面積を比較して、その差から検知することもできる。
【００５４】
ステップＳ２７の警告の表示工程について説明する。図１に示す表示手段４（図２、表示部２１）において、ステップＳ２４ｂ、Ｓ２５ｂ、Ｓ２６ｂの判断で顔の部位（目、鼻孔、口）が障害物で覆われている場合に表示する。表示の一例を図５に示す。図５のＧ１は表示画面である。
【００５５】
ステップＳ２８の画像出力工程について説明する。図１に示す画像出力手段７（図２、画像出力部２０）において、顔領域が障害物で覆われていないことを確認して画像出力する。
【００５６】
このように、上記実施の形態によれば、顔画像撮影装置などで、被撮影者を対象とした撮影を行うときに、被撮影者の顔に障害物が無いかどうかを自動判定を行い良好な顔画像が作成することができる。また、障害物がある場合は。警告表示して、障害物が取り除かれた後に撮影して良好な顔画像が作成することができる。
【図面の簡単な説明】
【００５７】
【図１】本実施の形態に係わる顔画像撮影装置の概略の構成を示す図である。
【図２】図１に示した顔画像撮影装置の制御関係の概略構成を示すブロック図である。
【図３】顔画像撮影装置の制御フローチャートである。
【図４】被撮影者の顔の状態が障害物で覆われているかどうかを抽出する方法の説明図である。
【図５】被撮影者の顔が障害物で覆われている場合の警告表示に関する説明図である。
【図６】顔画像撮影装置の他の制御フローチャートである。
【図７】被撮影者の目が障害物で覆われているかどうかの抽出方法の説明図である。
【図８】被撮影者の鼻孔が障害物で覆われているかどうかの抽出方法の説明図である。
【図９】被撮影者の口が障害物で覆われているかどうかの抽出方法の説明図である。
【符号の説明】
【００５８】
３  撮影手段
４  表示手段
７  画像出力手段
９  顔領域抽出手段
１０  判定手段
１６  撮影部（撮影工程）
１７  画像メモリ
１８  顔領域抽出部（顔領域抽出工程）
１９  判定部（判断工程）
２０  画像出力部（画像出力工程）
２１  表示部（表示工程）
Ｐ    被撮影者
Ｆ１  顔領域
Ｆ２  肌色領域
Ｆ４ａ  目領域
Ｆ５ａ  鼻孔領域
Ｆ６ａ  口領域
Ｗ  障害物
【図１】
2006215947.tif 000003
【図２】
2006215947.tif 000004
【図３】
2006215947.tif 000005
【図４】
2006215947.tif 000006
【図５】
2006215947.tif 000007
【図６】
2006215947.tif 000008
【図７】
2006215947.tif 000009
【図８】
2006215947.tif 000010
【図９】
2006215947.tif 000011