(57)【要約】【課題】  トリミング領域設定用部位の検出が失敗した顔写真画像に対するトリミング領域の設定を正確かつ効率良く行うことができるようにする。【解決手段】    トリミング処理部１００は、画像群Ａ内の各写真画像に対して順次トリミング処理を行う際に、目検出部１による目の検出が失敗した写真画像（失敗画像）に対して、デフォルト位置設定部３０が、失敗画像の直前に処理された１０枚の写真画像から検出された目の位置の平均値を失敗画像における目のデフォルト位置として設定する。調整部４０は、このデフォルト位置を調整可能な状態で失敗画像と共に表示し、操作者によりデフォルト位置に対して調整を行って得た調整位置を失敗画像の目の位置としてトリミング領域設定部１０に出力する。【選択図】          図３
2005244571.tif 000002
【特許請求の範囲】
【請求項１】
証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出し、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング処理方法において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して検出された前記トリミング領域設定用部位の位置をトリミング領域設定用部位の位置として設定することを特徴とするトリミング処理方法。
【請求項２】
前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域設定用部位の位置を操作者による調整が可能な状態で該顔写真画像と共に表示し、
操作者により調整された前記トリミング領域設定用部位の位置に基づいて該顔写真画像の前記トリミング領域を設定することを特徴とする請求項１記載のトリミング処理方法
【請求項３】
証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出し、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング処理方法において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して設定された前記トリミング領域をトリミング領域として設定することを特徴とするトリミング処理方法。
【請求項４】
前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域を操作者による調整が可能な状態で該顔写真画像と共に表示し、
操作者により調整された前記トリミング領域を該顔写真画像のトリミング領域とすることを特徴とする請求項３記載のトリミング処理方法。
【請求項５】
証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出する検出手段と、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング領域設定手段とを有するトリミング処理装置において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して検出された前記トリミング領域設定用部位の位置をトリミング領域設定用部位の位置として設定する失敗救済手段を備えたことを特徴とするトリミング処理装置。
【請求項６】
前記失敗救済手段が、前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域設定用部位の位置を操作者による調整が可能な状態で該顔写真画像と共に表示する調整手段を備え、
前記トリミング領域設定手段が、前記操作者により調整された前記トリミング領域設定用部位の位置に基づいて該顔写真画像の前記トリミング領域を設定するものであることを特徴とする請求項５記載のトリミング処理装置。
【請求項７】
証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出する検出手段と、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング領域設定手段とを有するトリミング処理装置において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して設定された前記トリミング領域をトリミング領域として設定する失敗救済手段を備えたことを特徴とするトリミング処理装置。
【請求項８】
前記失敗救済手段が、前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域を操作者による調整が可能な状態で該顔写真画像と共に表示する調整手段を備え、
前記トリミング領域設定手段が、操作者により調整された前記トリミング領域を該顔写真画像のトリミング領域とするものであることを特徴とする請求項７記載のトリミング処理装置。
【請求項９】
証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出する検出処理と、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング領域設定処理とをコンピュータに実行させるプログラムであって、
前記検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して検出された前記トリミング領域設定用部位の位置をトリミング領域設定用部位の位置として設定する失敗救済処理をさらにコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出する検出処理と、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング領域設定処理とをコンピュータに実行させるプログラムであって、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して設定された前記トリミング領域をトリミング領域として設定する失敗救済処理をさらにコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔写真画像に対してトリミング処理を行うトリミング処理方法および装置並びにプログラムに関するものである。
【背景技術】
【０００２】
パスポートや免許証の交付申請、あるいは履歴書の作成などの場合において、本人の顔が写っている予め定められた出力規格の写真（以下証明写真という）の提出が要求されることが多い。このため、利用者の撮影を行うための撮影室が設けられ、撮影室内の椅子に着座した利用者を撮影し、利用者の証明写真用の顔写真画像をシートに記録した証明写真シートを作成することを自動的に行う証明写真の自動作成装置が従来より利用されている。このような自動作成装置は、大型であり、設置場所が限られているため、利用者が証明写真を取得するためには、自動作成装置が設置された場所を探して出向く必要があり、不便である。
【０００３】
この問題を解決するために、例えば、特許文献１に記載されたように、証明写真の作成に用いる顔写真画像（顔が写されている画像）がモニタなどの表示装置で表示されている状態で、表示されている顔写真画像における頭頭部位置と顎の先端位置を指示すると、コンピュータが指示された２つの位置および証明写真の出力規格に基づいて顔の拡大縮小率、顔の位置を求めて画像を拡大縮小すると共に、拡大縮小した画像中の顔が証明写真における所定の位置に配置されるように拡大縮小した顔写真画像をトリミングして得たトリミング画像を証明写真画像として形成する方法が提案されている。このような方法によって、利用者は、証明写真の自動作成装置よりも多数存在しているＤＰＥ店などに証明写真の作成を依頼することができると共に、手持ちの写真のうち、写りが良いなどのような気に入った写真が記録された写真フィルムまたは記録媒体をＤＰＥ店などに持ち込むことで、気に入った写真から証明写真を作成させることも可能となる。
【０００４】
しかしながら、この技術では、表示されている顔写真画像に対して頭頭部位置と顎の先端位置を各々指示する、という煩雑な操作をオペレータが行う必要があるので、特に多数の利用者の証明写真を作成するなどの場合にオペレータの負担が大きい。また、特に表示されて顔写真画像中の顔の領域の面積が小さい場合や、顔写真画像の解像度が粗いなどの場合には、頭頭部位置と顎の先端位置をオペレータが迅速かつ正確に指示することは困難であり、適切な証明写真の迅速な作成ができないという問題がある。
【０００５】
そこで、オペレータの負担を減らし、迅速かつ正確にトリミング領域を設定する方法が数多く提案されている。特に近年、写真画像から顔や、目などの自動検出技術の進歩に伴い、写真画像から顔、目などを検出して、それに基づいてトリミング領域を設定してトリミングを行う自動トリミング処理方法が脚光を浴びている。これらの方法によれば、オペレータにより頭頭部位置と顎の先端位置を指示することを必要とせずに顔写真画像から証明写真の作成ができる。例えば、特許文献２には、顔写真画像中の頭頭部位置および両目の位置を検出すると共に、検出された頭頭部位置と両目の位置から顎の先端位置を推定してトリミング領域を設定する方法を提案している。
【０００６】
また、特許文献３には、顔の上下端、左右端の位置を検出し、これらの位置に基づいてトリミング領域を設定してトリミングを行う方法を提案している。
【０００７】
自動トリミング処理においては、最も重要でかつ時間がかかり、かつ精度が要求される処理としては、トリミング領域の設定をするための部位の検出である。この部位は、特許文献２および特許文献３に記載さえたように、顔（顔の上下端および左右端）または両目（瞳）であってもよいし、それらの組合せであってもよい。
【０００８】
また、顔や、目などを検出する技術が進歩し、自動トリミング処理を行う際にかなり高い精度でこれらのトリミング領域を設定するための部位の検出をすることができるが、少ないながらもどうしても失敗してしまうときがある。トリミング領域を設定するための部位の検出が失敗した場合、トリミング領域の設定もできないため、通常、オペレータの手動設定によりトリミング領域を設定するための部位の指定またはトリミング領域の再設定が行われる。
【０００９】
一方、例えば、多人数の社員を有する企業の社員証の更新や、運転免許試験場における運転免許の新規発行、更新などに際して、対象者を撮像して顔写真画像を得、その顔写真画像をトリミングしてトリミング画像を得、このトリミング画像を用いて社員証、免許など（以下合わせてカードという）を作成する作業を一人ずつ行う作業フローよりも、撮像処理と、トリミング処理と、カードの作成処理とを別々に分けて、各々の対象者を夫々撮像して顔写真画像を得、これらの多量の顔写真画像に対してトリミング処理を施して多量のトリミング画像を得、これらのトリミング画像を用いて夫々のカードを発行することが望まれる。こうすることによって、顔写真画像を取得する撮像処理、トリミング処理、カード発行処理を担う装置、人員の専門化を図ることができ、効率が良いからである。例えば、広い区域に点在する撮像ポイントにおいて撮像を行い、トリミング処理を行う装置は、各ポイントで得られた顔写真画像に対してトリミング処理を行い、カード発行装置は、トリミング処理を行う装置により得られたトリミング画像を用いてカードを発行するシステムが考えられる。
【特許文献１】特開平１１―３４１２７２号公報
【特許文献２】特開２００２−１５２４９２号公報
【特許文献３】特開平５−２６８５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、手動によるトリミング領域の設定またはトリミング領域を設定するための部位の指定は、オペレータに大変な負担をかけるものことであると共に、熟練したオペレータではなければ、手動によるトリミング領域の設定またはトリミング領域を設定するための部位の指定を正しく行うことができないという問題がある。
【００１１】
一方、例えば上述したような撮像ポイント、トリミング処理装置とカード発行処理装置とが別々にあるシステムにおいては、撮像ポイント毎の顔写真画像に対してトリミング処理を行うことが考えられる。同じ撮像ポイントにより取得された各々の写真画像は、トリミング領域を設定するための部位の位置が、各写真画像間において、その差が小さい。
【００１２】
本発明は、上記事情に鑑みてなされたものであり、自動トリミング処理を行う際に、トリミング領域を設定するための部位の検出が失敗した場合に、オペレータの手動によるトリミング領域の設定作業またはトリミング領域を設定するための部位の指定作業の効率を向上させることができるトリミング処理方法及び装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１３】
本発明の第１のトリミング処理方法は、証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出し、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング処理方法において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して検出された前記トリミング領域設定用部位の位置をトリミング領域設定用部位の位置として設定することを特徴とするものである。
【００１４】
ここで、前記トリミング設定用部位としては、例えば前記顔写真画像における顔部位や、両目または両瞳や、頭頂部および／または顎など、またはこれらの組合せを用いることができる。トリミング設定用部位の位置とは、トリミング領域を設定するための、写真画像において当該部位を確定することができる位置情報を意味し、例えば両目の場合は、両目夫々の中心位置および両目間の距離とすることができ、両瞳の場合に応じて同じである。また、顔部位の位置としては、顔の中心位置およびその大きさを用いることもできれば、例えば特許文献３に用いられた顔の上下端、左右端の位置を用いることができる。
【００１５】
また、「直前に処理された顔写真画像」とは、直前に処理された１つの顔写真画像でもよいし、直前に処理された複数の顔写真画像であってもよい。例えば、２５番（処理順）の顔写真画像の検出処理が失敗した場合、この顔写真画像の直前に処理された顔写真画像とは、２４番目の顔写真画像のみであってもよいし、２４番、２３番、・・・のような複数の顔写真画像であってもよい。ここで、直前に処理された顔写真画像として複数用いられる際には、これらの複数の顔写真画像に対して検出された夫々のトリミング用部位の位置の平均値を前記検出処理が失敗した顔写真画像のトリミング用部位の位置とすればよい。なお、平均値を取得する際に、単純平均をしてもよく、例えば失敗した顔写真画像に処理順が近い顔写真画像ほど重みが大きくなるように重み付け平均をしてもよい。
【００１６】
なお、上述した「トリミング領域設定用部位」および「直前に処理された顔写真画像」に関する説明は、後述する第２のトリミング処理方法、第１および第２のトリミング処理装置に適用するものである。
【００１７】
本発明の第１のトリミング処理方法は、前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域設定用部位の位置を操作者による調整が可能な状態で該顔写真画像と共に表示し、操作者により調整された前記トリミング領域設定用部位の位置に基づいて該顔写真画像の前記トリミング領域を設定することが好ましい。
【００１８】
本発明の第２のトリミング処理方法は、証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出し、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング処理方法において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して設定された前記トリミング領域をトリミング領域として設定することを特徴とするものである。
【００１９】
本発明の第２のトリミング処理方法は、前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域を操作者による調整が可能な状態で該顔写真画像と共に表示し、操作者により調整された前記トリミング領域を該顔写真画像のトリミング領域とすることが好ましい。
【００２０】
本発明の第１のトリミング処理装置は、証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出する検出手段と、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング領域設定手段とを有するトリミング処理装置において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して検出された前記トリミング領域設定用部位の位置をトリミング領域設定用部位の位置として設定する失敗救済手段を備えたことを特徴とするものである。
【００２１】
本発明の第１のトリミング処理装置における前記失敗救済手段は、前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域設定用部位の位置を操作者による調整が可能な状態で該顔写真画像と共に表示する調整手段を備え、
前記トリミング領域設定手段が、前記操作者により調整された前記トリミング領域設定用部位の位置に基づいて該顔写真画像の前記トリミング領域を設定するものであることが好ましい。
【００２２】
本発明の第２のトリミング処理装置は、証明写真画像作成用の顔写真画像を複数有してなる画像群内の各前記顔写真画像に対して順次トリミング処理を行うのに際し、前記顔写真画像からトリミング領域を設定するためのトリミング領域設定用部位を検出する検出手段と、
該トリミング領域設定部位の位置に基づいて前記トリミング領域を設定するトリミング領域設定手段とを有するトリミング処理装置において、
前記トリミング領域設定用部位の検出処理が失敗した前記顔写真画像に対して、該顔写真画像の直前に処理された顔写真画像に対して設定された前記トリミング領域をトリミング領域として設定する失敗救済手段を備えたことを特徴とするものである。
【００２３】
本発明の第２のトリミング処理装置における前記失敗救済手段は、前記検出処理が失敗した顔写真画像に対して設定された前記トリミング領域を操作者による調整が可能な状態で該顔写真画像と共に表示する調整手段を備え、
前記トリミング領域設定手段が、操作者により調整された前記トリミング領域を該顔写真画像のトリミング領域とするものであることが好ましい。
【００２４】
本発明の第１のプログラムは、本発明の第１のトリミング処理方法をコンピュータに実行させるものである。
【００２５】
本発明の第２のプログラムは、本発明の第２のトリミング処理方法をコンピュータに実行させるものである。
【発明の効果】
【００２６】
本発明の第１のトリミング処理方法および装置並びにプログラムによれば、複数の顔写真画像から画像群に含まれた各顔写真画像が順次トリミング処理を施される際に、顔、目などのトリミング領域設定用部位の検出が失敗した顔写真画像に対して、この顔写真画像の直前に処理された顔写真画像のトリミング領域設定用部位の位置がこの顔写真画像のトリミング領域設定用部位の位置にされる。なんらかの理由で同じ画像群にまとめられた複数の顔写真画像は、それらのトリミング領域設定用部位の位置の差が小さいことが多く、例えば前述した撮像処理、トリミング処理が別々に存在する装置により行われるようなシステムにおいて、同じ撮像ポイントにより取得された顔写真画像からなる画像群内の各写真画像におけるトリミング設定用部位の位置が略同じである。本発明の第１のトリミング処理方法および装置並びにプログラムは、このことに着目したものであり、画像群内の各顔写真画像に対して順次トリミング処理を行うのに際し、直前に処理された顔写真画像におけるトリミング領域設定用部位の位置からトリミング領域設定用部位の検出が失敗した顔写真画像のトリミング領域設定部位の位置を推定することによって、トリミング領域設定用部位の検出が失敗した顔写真画像に対してもトリミング領域の設定を可能にする。
【００２７】
推定されたトリミング領域設定用部位の位置をそのままこの顔写真画像のトリミング領域設定用部位の位置とし、それに基づいてトリミング領域の設定を行うようにしてもよいが、推定されたトリミング領域設定用部位の位置を操作者による調整が可能な状態で該当する顔写真画像と共に表示し、操作者により調整されたトリミング領域設定用部位の位置に基づいてトリミング領域の設定を行うようにすれば、まず、推定されたトリミング領域設定用部位の位置が正しい位置とずれがある場合には、操作者による調整ができ、より正確にトリミング領域の設定ができる。そして、前述したように、操作者によるトリミング領域設定用部位の指定は、操作者に負担をかけることであり、熟練した操作者ではなければ正しく指定することが難しい。一方、本発明のように推定されたトリミング設定用部位の位置が、トリミング設定用部位の正しい位置と差があるとしても、その差が小さいため、推定されたトリミング設定用部位の位置を顔写真画像と共に表示すれば、操作者は表示されたこの位置を調整するだけで正しいトリミング領域設定用部位の指定することができるので、効率が良い。
【００２８】
本発明の第２のトリミング処理方法および装置並びにプログラムによれば、複数の顔写真画像から画像群に含まれた各顔写真画像が順次トリミング処理を施される際に、顔、目などのトリミング領域設定用部位の検出が失敗した顔写真画像に対して、この顔写真画像の直前に処理された顔写真画像のトリミング領域がこの顔写真画像のトリミング領域にされる。前述したように、複数の顔写真画像からなる内の顔写真画像は、それらのトリミング領域設定用部位の位置が略同じか差が小さいことが多いため、それに対して設定されるトリミング領域も略同じか差が小さいことが考えられる。本発明の第２のトリミング処理方法および装置並びにプログラムは、このことに着目したものであり、直前に処理された顔写真画像におけるトリミング領域設定用部位からトリミング領域設定用部位に検出が失敗した顔写真画像のトリミング領域を推定することによって、トリミング領域設定用部位の検出が失敗した顔写真画像に対してもトリミング領域の設定を可能にする。
【００２９】
また、推定されたトリミング領域をそのままこの顔写真画像のトリミング領域としてもよいが、推定されたトリミング領域を操作者による調整が可能な状態で該当する顔写真画像と共に表示し、操作者により調整されたトリミング領域を該顔写真画像のトリミング領域として設定するようにすれば、推定されたトリミング領域が正しいトリミング領域とずれがある場合には、操作者による調整ができ、より正確なトリミング領域を得ることができると共に、操作者は表示されたトリミング領域を調整するだけで正しいトリミング領域を指定することができ、効率が良い。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照して、本発明の実施形態について説明する。
【００３１】
図１は、本発明の第１の実施形態となるＩＤカード発行システムの構成を示すブロック図である。図示のように、本実施形態のＩＤカード発行システムは、ＩＤカード作成対象の人物を撮像して顔写真画像（以下略して単に写真画像という）を得る複数の撮像ポイントと、ＩＤカード製作センター３００とを有してなるものであり、ＩＤカード製作センター３００は、各撮像ポイントからの写真画像を撮像ポイント毎に保管する画像保管部２２０と、画像保管部２２０により保管された撮像ポイント毎の写真画像に対してトリミング処理を行って夫々のトリミング画像を得るトリミング処理部１００と、トリミング処理部１００により得られたトリミング画像を用いてＩＤカードを作成するカード作成部２４０とを備え、各撮像ポイントとＩＤカード製作センター３００とがネットワーク２５０により接続されている。
【００３２】
なお、各撮像ポイントは、撮像して得た画像写真画像をＩＤカード製作センター３００に送信する際に、撮像ポイントＡ、撮像ポイントＢなどのような、撮像を行った撮像ポイントを識別するための情報も写真画像に付属させて送信する。
【００３３】
ＩＤカード製作センター３００の画像保管部２２０は、各撮像ポイントから送信されてきた写真画像の付属情報を読み取り、写真画像を撮像ポイント別に保管する。図２は、画像保管部２２０により保管された写真画像のデータ構造の例を示している。図示のように、各撮像ポイントからの写真画像が、その撮像ポイントに対応する記憶領域に記憶保存されている。
【００３４】
図３は、ＩＤカード製作センター３００のトリミング処理部１００の構成を示すブロック図である。トリミング処理部１００は、画像保管部２２０により保管された、同じ撮像ポイントにより取得された複数の写真画像からなる画像群毎に、該画像群内の写真画像のトリミング処理を順次行うものである。以下、撮像ポイントＡにより取得された画像の画像群Ａを例にして説明する。
【００３５】
図３に示すように、トリミング処理部１００は、画像群Ａ内の各々の写真画像に対して、目の検出を行う目検出部１と、目検出部１または後述する失敗画像処理部５０により得られた目の位置に基づいてトリミング領域を設定するトリミング領域設定部１０と、トリミング領域設定部１０により設定されたトリミング領域の画像を写真画像から切り出し、必要に応じて拡大縮小処理も行ってトリミング画像を得るトリミング実行部７０と、目検出部１において目の検出が失敗した写真画像に対して、目の位置を設定してトリミング領域設定部１０に供する失敗画像処理部５０とを備えてなる。なお、トリミング処理部１００は、画像群Ａ内の各写真画像を順次処理するものであり、ここで、画像群Ａ内の写真画像Ｓ０を例にしてトリミング処理部１００の各構成について説明する。
【００３６】
図４は、目検出部１の詳細構成を示すブロック図である。図示のように、目検出部１は、写真画像Ｓ０から特徴量Ｃ０を算出する特徴量算出部２と、後述する第１および第２の参照データＥ１，Ｅ２が格納されている記憶部４と、特徴量算出部２が算出した特徴量Ｃ０と記憶部４内の第１の参照データＥ１とに基づいて、写真画像Ｓ０に人物の顔が含まれているか否かを識別する第１の識別部５と、第１の識別部５により写真画像Ｓ０に顔が含まれていると識別された場合に、特徴量算出部２が算出した顔の画像内の特徴量Ｃ０と記憶部４内の第２の参照データＥ２とに基づいて、その顔に含まれる目の位置を識別する第２の識別部６と、並びに出力部７とを備えてなる。
【００３７】
なお、目検出部１により識別される目の位置とは、顔における目尻から目頭の間の中心位置（図５中×で示す）であり、図５（ａ）に示すように真正面を向いた目の場合においては瞳の中心位置と同様であるが、図５（ｂ）に示すように右を向いた目の場合は瞳の中心位置ではなく、瞳の中心から外れた位置または白目部分に位置する。
【００３８】
特徴量算出部２は、顔の識別に用いる特徴量Ｃ０を写真画像Ｓ０から算出する。また、写真画像Ｓ０に顔が含まれると識別された場合には、後述するように抽出された顔の画像から同様の特徴量Ｃ０を算出する。具体的には、勾配ベクトル（すなわち写真画像Ｓ０上および顔画像上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部２は、写真画像Ｓ０に対して図６（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部２は、写真画像Ｓ０に対して図６（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における垂直方向のエッジを検出する。そして、写真画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図７に示すように、各画素における勾配ベクトルＫを算出する。また、顔画像についても同様に勾配ベクトルＫを算出する。なお、特徴量算出部２は、後述するように写真画像Ｓ０および顔画像の変形の各段階において特徴量Ｃ０を算出する。
【００３９】
なお、このようにして算出された勾配ベクトルＫは、図８（ａ）に示すような人物の顔の場合、図８（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。
【００４０】
そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図７におけるｘ方向）を基準とした０から３５９度の値となる。
【００４１】
ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、写真画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が写真画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図９（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図９（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図９（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図９（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。
【００４２】
記憶部４内に格納されている第１および第２の参照データＥ１，Ｅ２は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。
【００４３】
第１および第２の参照データＥ１，Ｅ２中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。
【００４４】
なお、本実施形態においては、第１の参照データＥ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１０に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図１０においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。
【００４５】
また、第２の参照データＥ２を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１１に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９．７画素および１０．３画素であり、各両目の中心間距離において垂直に立った顔を平面上±３度の範囲において１度単位で段階的に回転させた（すなわち、回転角度が−３度，−２度，−１度，０度，１度，２度，３度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×７＝２１通り用意される。なお、図１１においては−３度、０度および＋３度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、図面上上下方向における目の位置はすべてのサンプル画像において同一である。なお、両目の中心間の距離を９．７画素および１０．３画素とするためには、両目の中心間の距離が１０画素のサンプル画像を９．７倍あるいは１０．３倍に拡大縮小して、拡大縮小後のサンプル画像のサイズを３０×３０画素とすればよい。
【００４６】
そして、第２の参照データＥ２の学習に用いられるサンプル画像における目の中心位置を、本実施形態において識別する目の位置とする。
【００４７】
また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。
【００４８】
ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、第１および第２の参照データＥ１，Ｅ２を参照して顔または目の位置であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。写真画像Ｓ０に含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かあるいは目の位置を識別する際には、後述するように写真画像Ｓ０を拡大縮小して、サンプル画像のサイズに適合するサイズの顔および目の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、写真画像Ｓ０のサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。
【００４９】
また、写真画像Ｓ０に含まれる可能性がある顔は、図１２（ａ）に示すように平面上の回転角度が０度のみではなく、図１２（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１２（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。
【００５０】
このため、本実施形態においては、顔であることが分かっているサンプル画像として、図１０に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、第１の参照データＥ１の学習に許容度を持たせるようにしたものである。これにより、後述する第１の識別部５において識別を行う際には、写真画像Ｓ０を拡大率として１１／９単位で段階的に拡大縮小すればよいため、写真画像Ｓ０のサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１２（ｂ）、（ｃ）に示すように回転している顔も識別することができる。
【００５１】
一方、第２の参照データＥ２の学習には、図１１に示すように両目の中心間距離が９．７，１０，１０．３画素であり、各距離において平面上±３度の範囲にて１度単位で段階的に顔を回転させたサンプル画像を用いているため、第１の参照データＥ１と比較して学習の許容度は小さい。また、後述する第２の識別部６において識別を行う際には、写真画像Ｓ０を拡大率として１０．３／９．７単位で拡大縮小する必要があるため、第１の識別部５において行われる識別よりも演算に長時間を要する。しかしながら、第２の識別部６において識別を行うのは第１の識別部５が識別した顔内の画像のみであるため、写真画像Ｓ０の全体を用いる場合と比較して目の位置の識別を行うための演算量を低減することができる。
【００５２】
以下、図１３のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。なお、ここでは第１の参照データＥ１の学習について説明する。
【００５３】
学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、上述したように１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（Ｓ１）。
【００５４】
次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（Ｓ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。
【００５５】
図１４を参照しながらある識別器の作成について説明する。図１４の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）4通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。
【００５６】
組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９4通りとなるため、特徴量Ｃ０のデータ数を低減できる。
【００５７】
同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１４の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。
【００５８】
続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。
【００５９】
次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。
【００６０】
ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。
【００６１】
次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。
【００６２】
続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。
【００６３】
以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより第１の参照データＥ１の学習を終了する。
【００６４】
そして、上記と同様に識別器の種類と識別条件とを求めることにより第２の参照データＥ２の学習がなされる。
【００６５】
なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１４の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
【００６６】
また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
【００６７】
第１の識別部５は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第１の参照データＥ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して写真画像Ｓ０に顔が含まれるか否かを識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行うものとする。例えば、識別ポイントの総和が正の値である場合には写真画像Ｓ０には顔が含まれると判断し、負の値である場合には顔は含まれないと判断する。なお、第１の識別部５が行う写真画像Ｓ０に顔が含まれるか否かの識別を第１の識別と称する。
【００６８】
ここで、写真画像Ｓ０のサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、第１の識別部５は、図１５に示すように、写真画像Ｓ０を縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１５においては縮小する状態を示す）、各段階において拡大縮小された写真画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された写真画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否かの識別を行うことにより、写真画像Ｓ０に顔が含まれるか否かを識別する。
【００６９】
なお、第１参照データＥ１の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、写真画像Ｓ０の拡大縮小時の拡大率は１１／９とすればよい。また、第１および第２の参照データＥ１，Ｅ２の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、写真画像Ｓ０は３０度単位で３６０度回転させればよい。
【００７０】
なお、特徴量算出部２は、写真画像Ｓ０の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【００７１】
そして、写真画像Ｓ０に顔が含まれるか否かの識別を拡大縮小および回転の全段階の写真画像Ｓ０について行い、一度でも顔が含まれると識別された場合には、写真画像Ｓ０には顔が含まれると識別し、顔が含まれると識別された段階におけるサイズおよび回転角度の写真画像Ｓ０から、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔の画像として抽出する。
【００７２】
第２の識別部６は、第１の識別部５が抽出した顔の画像上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第２の参照データＥ２が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは５値化される。
【００７３】
ここで、第２の識別部６は、第１の識別部５が抽出した顔画像のサイズを段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ、各段階において拡大縮小された顔画像上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔上において１画素ずつ移動させながら、マスク内の画像における目の位置の識別を行う。
【００７４】
なお、第２参照データＥ２の生成時に学習したサンプル画像として両目の中心位置の画素数が９．０７，１０，１０．３画素のものを使用しているため、顔画像の拡大縮小時の拡大率は１０．３／９．７とすればよい。また、第２の参照データＥ２の生成時に学習したサンプル画像として、顔が平面上で±３度の範囲において回転させたものを使用しているため、顔画像は６度単位で３６０度回転させればよい。
【００７５】
なお、特徴量算出部２は、顔画像の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【００７６】
そして、本実施形態では、抽出された顔画像の変形の全段階においてすべての識別ポイントを加算し、加算値が最も大きい変形の段階における３０×３０画素のマスクＭ内の顔画像において、左上隅を原点とする座標を設定し、サンプル画像における目の位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の写真画像Ｓ０におけるこの位置に対応する位置を目の位置と識別する。
【００７７】
出力部７は、第１の識別部５が写真画像Ｓ０に顔が含まれると認識した場合には、第２の識別部６が識別した両目の位置から両目間の距離Ｄを求め、両目の位置および両目間の距離Ｄをトリミング領域設定用部位の位置情報Ｑとしてトリミング領域設定部１０および失敗画像処理部５０の後述する記憶部２０に出力する一方、第１の識別部５が写真画像Ｓ０に顔が含まれないと認識した場合には、該写真画像を失敗画像処理部５０に出力する。なお、説明上の便宜のため、以下顔が含まれないと識別された写真画像を失敗画像という。
【００７８】
図１６は本実施形態における目検出部１の動作を示すフローチャートである。写真画像Ｓ０に対して、まず、特徴量算出部２が写真画像Ｓ０の拡大縮小および回転の各段階において、写真画像Ｓ０の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（Ｓ１２）。そして、第１の識別部５が記憶部４から第１の参照データＥ１を読み出し（Ｓ１３）、写真画像Ｓ０に顔が含まれるか否かの第１の識別を行う（Ｓ１４）。
【００７９】
第１の識別部５は、写真画像Ｓ０に顔が含まれると判別する（Ｓ１４：Ｙｅｓ）と、写真画像Ｓ０から顔を抽出する（Ｓ１５）。ここでは、１つの顔に限らず複数の顔を抽出してもよい。次いで、特徴量算出部２が顔画像の拡大縮小および回転の各段階において、顔画像の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（Ｓ１６）。そして、第２の識別部６が記憶部４から第２の参照データＥ２を読み出し（Ｓ１７）、顔に含まれる目の位置を識別する第２の識別を行う（Ｓ１８）。
【００８０】
続いて、出力部７が写真画像Ｓ０から識別された目の位置および、この目の位置に基づいて求められた両目間の距離Ｄを情報Ｑとしてトリミング領域設定部１０および失敗画像処理部５０の後述する記憶部２０に出力する（Ｓ１９）。
【００８１】
一方、ステップＳ１４において、写真画像Ｓ０に顔が含まれていないと判別される（Ｓ１４：Ｎｏ）と、出力部７は、写真画像Ｓ０を失敗画像処理部５０に出力する。
【００８２】
トリミング処理部１００の構成を示す図３に戻り、失敗画像処理部５０について説明する。図３に示すように、失敗画像処理部５０は、目検出部１における出力部７から出力されてきた各々の写真画像における目の位置および両目間の距離とからなる情報Ｑおよび後述する調整部４０から出力されてきた、失敗画像に対して得られた情報Ｑを各写真画像の処理順に対応して記憶する記憶部２０と、目検出部１における出力部７から出力されてきた失敗画像に対して両目のデフォルト位置を設定するデフォルト位置設定部３０と、デフォルト位置設定部３０により設定されたデフォルト位置に対して、操作者による調整を行うための調整部４０とを有してなる。なお、調整部４０は、操作者によりデフォルト位置に対して調整を行って得た両目の位置（以下調整位置という）を処理対象の写真画像Ｓ０における両目の位置とすると共に、両目の調整位置に基づいて写真画像Ｓ０から両目間の距離を求めて、この調整位置と距離とを情報Ｑとして記憶部２０およびトリミング領域設定部１０に出力する処理も行う。
【００８３】
デフォルト位置設定部３０は、目検出部１の出力部７から出力されてきた失敗画像に対して、この失敗画像の直前に処理された１０枚の写真画像（１０枚分無い場合には、有る分だけ）の夫々の両目の位置を記憶部２０から読み出す。そして、読み出した写真画像における各々の両目の位置に対して平均処理を行って平均値を得、この平均値を失敗画像における両目のデフォルト位置として設定する。
【００８４】
調整部４０は、まず、デフォルト位置設定部３０が失敗画像に対して設定した両目のデフォルト位置を失敗画像と共に図示しないモニタなどの表示装置に表示させる。図１７は、調整部４０により表示された画像の例を示している。図示のように、画面には、失敗画像と共に、この失敗画像における両目のデフォルト位置が＋印で表示されており、操作者は調整部４０に備えられた図示しない入力手段（キーボード、マウスなど）を用い、この＋印を動かすことによって、両目の位置をデフォルト位置から調整することができる。さらに、画面下部には、操作者による調整が完了したことを示す入力を行うための「確定」ボタンが設けられており、操作者は、図示しない入力手段を用いてこの「確定」ボタンを選択（例えばマウスによるマーキングおよびクリック）することによって調整の完了を入力することができる。
【００８５】
調整部４０は、操作者による調整が完了すると、両目の調整位置に基づいて両目の距離を求め、両目の調整位置と共に情報Ｑとして記憶部２０およびトリミング領域設定部１０に出力する。
【００８６】
図１８は、失敗画像処理部５０において行われる処理を示すフローチャートである。図示のように、失敗画像に対して、まず、デフォルト位置設定部３０により、失敗画像の直前に処理された１０枚の写真画像の情報Ｑに含まれる両目の位置が記憶部２０から読み出される。これらの両目の位置の平均値が算出されてデフォルト位置として設定される（Ｓ２０）。調整部４０は、このデフォルト位置を図１７に示すように失敗画像と共に表示し（Ｓ２２）、図示しない入力手段を介して操作者により調整されたデフォルト位置（調整位置）から両目間の距離を求めて調整位置と共に失敗画像の情報Ｑとして記憶部２０およびトリミング領域設定部１０に出力する（Ｓ２４：Ｙｅｓ、Ｓ２６）。
【００８７】
トリミング領域設定部１０は、目検出部１から出力されてきた情報Ｑまたは失敗画像処理部５０から出力されてきた失敗画像の情報Ｑに基づいて、トリミング領域を設定してトリミング実行部７０に出力する。
【００８８】
トリミング実行部７０は、トリミング領域設定部１０により設定されたトリミング領域を写真画像Ｓ０から切取り、必要に応じて拡大縮小処理も行ってトリミング画像を得てカード作成部２４０に出力する。
【００８９】
カード作成部２４０は、トリミング画像を印刷するなどの処理を行って写真画像に対応するＩＤカードを作成する。
【００９０】
このように、本実施形態のＩＤカード発行システムによれば、トリミング処理部１００は、同じ撮像ポイントにおいて取得された複数の写真画像から画像群の各写真画像に対して順次トリミング処理を施す際に、顔の検出失敗による目の検出が失敗した顔写真画像（失敗画像）に対して、この失敗画像の直前に処理された１０枚の顔写真画像の目の位置の平均を取って得た平均値を失敗画像における目のデフォルト位置として設定すると共に、デフォルト位置を失敗画像と一緒に表示させる。操作者が表示されたデフォルト位置を調整して得た調整位置を失敗画像の両目の位置とする。こうすることによって、失敗画像のトリミング領域の設定が正しくできると共に、操作者が調整操作を行う際に、表示されたデフォルト位置を参考にすることによって効率良く調整することができる。
【００９１】
図１９は、本発明の第２の実施形態となるＩＤカード発行システムの構成を示すブロック図である。図示のように、本実施形態のＩＤカード発行システムは、ＩＤカード作成対象の人物を撮像して顔写真画像（以下略して単に写真画像という）を得る複数の撮像ポイントと、ＩＤカード製作センター４００とを有してなるものであり、ＩＤカード製作センター４００は、各撮像ポイントからの写真画像を撮像ポイント毎に保管する画像保管部２２０と、画像保管部２２０により保管された撮像ポイント毎の写真画像に対してトリミング処理を行って夫々のトリミング画像を得るトリミング処理部４５０と、トリミング処理部４５０により得られたトリミング画像を用いてＩＤカードを作成するカード作成部２４０とを備え、各撮像ポイントとＩＤカード製作センター４００とがネットワーク２５０により接続されている。ここで、本第２の実施形態のＩＤカード発行システムは、ＩＤカード製作センター４００におけるトリミング処理部４５０が、図１に示す第１のＩＤカード発行システムのＩＤカード製作センター３００におけるトリミング処理部１００と異なる以外、他の各構成が同じであるため、ここでＩＤカード製作センター４００におけるトリミング処理部４５０の詳細のみをし、他の構成の詳細説明を省略すると共に、他の構成に対して、図１に示す第１の実施形態における相対応する構成と同じ符号を付与することにする。
【００９２】
図２０は、図１９に示す第２の実施形態のＩＤ発行システムのＩＤカード製作センター４００におけるトリミング処理部４５０の構成を示すブロック図である。図示のように、トリミング処理部４５０は、画像群Ａ内の各々の写真画像に対して、顔の位置を検出する顔位置検出部４１０と、顔位置検出部４１０により得られた顔の位置に基づいてトリミング領域を設定してトリミング実行部４３０および後述する失敗画像処理部４２０に出力する処理、および顔位置検出部４１０により顔位置の検出が失敗した写真画像（失敗画像）に対して失敗画像処理部４２０により設定されたトリミング領域をこの失敗画像のトリミング領域としてトリミング実行部４３０に出力する処理を行うトリミング領域設定部４１５と、トリミング領域設定部４１５から出力されてきたトリミング領域の画像を写真画像から切り出し、必要に応じて拡大縮小処理も行ってトリミング画像を得るトリミング実行部４３０と、顔位置検出部４１０において顔位置の検出が失敗した写真画像に対して、トリミング領域を設定してトリミング領域設定部４１５に出力する失敗画像処理部４２０とを備えてなる。なお、トリミング処理部４５０は、同じ画像群（ここでは例として画像群Ａ）内の各写真画像を順次処理するものであり、ここで、画像群Ａ内の写真画像Ｓ０を例にしてトリミング処理部４５０の各構成について説明する。
【００９３】
顔位置検出部４１０は、写真画像Ｓ０における顔の上下端（例えば頭頂部と顎）の位置、および左右端の位置を検出して顔位置としてトリミング領域設定部４１５に出力するものである。なお、これらの位置の検出は、従来の種々の技術を適用することができ、例えば写真画像Ｓ０に対してエッジ検出を行って顔の輪郭の位置を得、この輪郭の上下端、左右端を顔の位置とするようにして行うことができる。
【００９４】
トリミング領域設定部４１５は、顔位置検出部４１０から出力されてきた顔位置に基づいて写真画像Ｓ０のトリミング領域を設定すると共に、設定したトリミング領域をトリミング実行部４３０および失敗画像処理部４２０に出力する。
【００９５】
図２０に示すように、失敗画像処理部４２０は、トリミング領域設定部４１５から出力されてきた各々の写真画像のトリミング領域および後述する調整部４０から出力されてきた、失敗画像に対して得られたトリミング領域を各写真画像の処理順に対応して記憶する記憶部４２２と、顔位置検出部４１０により顔の検出が失敗した写真画像、すなわち失敗画像に対してデフォルトのトリミング領域（以下デフォルト領域という）を設定するデフォルト領域設定部４２４と、デフォルト領域設定部４２４により設定されたデフォルト領域に対して、操作者による調整を行うための調整部４２６とを有してなる。なお、調整部４２６は、操作者によりデフォルト領域に対して調整を行って得た領域（以下調整領域という）を失敗画像のトリミング領域として記憶部４２２およびトリミング領域設定部４１５に出力する処理も行う。
【００９６】
デフォルト領域設定部４２４は、顔位置検出部４１０による顔の検出が失敗した失敗画像に対して、この失敗画像の直前に処理された１０枚の写真画像（１０枚分無い場合には、有る分だけ）に対してトリミング領域設定部４１５により設定された夫々のトリミング領域を記憶部４２２から読み出す。そして、読み出した各写真画像のトリミング領域に対して平均処理を行って平均値を得、この平均値を失敗画像のデフォルト領域として設定する。
【００９７】
調整部４２６は、まず、デフォルト領域設定部４２４が失敗画像に対して設定したデフォルト領域を失敗画像と共に図示しないモニタなどの表示装置に表示させる。図２１は、調整部４２６により表示された画像の例を示している。図示のように、画面には、失敗画像と共に、この失敗画像に対して設定されたデフォルト領域Ｌが表示されており、操作者は調整部４２６に備えられた図示しない入力手段（キーボード、マウスなど）を用い、このデフォルト領域Ｌを動かすことによって、調整領域をデフォルト領域から調整することができる。さらに、画面下部には、操作者による調整が完了したことを示す入力を行うための「確定」ボタンが設けられており、操作者は、図示しない入力手段を用いてこの「確定」ボタンを選択（例えばマウスによるマーキングおよびクリック）することによって調整の完了を入力することができる。
【００９８】
調整部４２６は、操作者による調整が完了すると、調整領域を失敗画像のトリミング領域として記憶部４２２およびトリミング領域設定部４１５に出力する。
【００９９】
図２２は、失敗画像処理部４２０において行われる処理を示すフローチャートである。図示のように、失敗画像に対して、まず、デフォルト領域設定部４２４により、失敗画像の直前に処理された１０枚の写真画像のトリミング領域が記憶部４２２から読み出される。これらのトリミング領域の平均値が算出されて失敗画像のデフォルト領域として設定される（Ｓ４０）。調整部４２６は、このデフォルト領域を図２１に示すように失敗画像と共に表示し（Ｓ４２）、図示しない入力手段を介して操作者により調整されたデフォルト領域（調整領域）失敗画像のトリミング領域として記憶部４２２およびトリミング領域設定部４１５に出力する（Ｓ４３：Ｙｅｓ、Ｓ４４）。
【０１００】
トリミング領域設定部４１５は、失敗画像処理部５０から出力されてきたトリミング領域を失敗画像のトリミング領域としてトリミング実行部７０に出力する。
【０１０１】
トリミング実行部７０は、トリミング領域設定部１０から出力されてきたトリミング領域を写真画像Ｓ０から切取り、必要に応じて拡大縮小処理も行ってトリミング画像を得てカード作成部２４０に出力する。
【０１０２】
このように、本実施形態のＩＤカード発行システムによれば、トリミング処理部４５０は、同じ撮像ポイントにおいて取得された複数の写真画像から画像群の各写真画像に対して順次トリミング処理を施す際に、顔位置の検出が失敗した顔写真画像（失敗画像）に対して、この失敗画像の直前に処理された１０枚の顔写真画像のトリミング領域の平均を取って得た平均値を失敗画像のデフォルトトリミング領域のデフォルト位置として設定すると共に、デフォルト領域を失敗画像と一緒に表示させる。操作者が表示されたデフォルト領域を調整して得た調整領域を失敗画像のトリミング領域とする。こうすることによって、失敗画像のトリミング領域の設定が正しくできると共に、操作者が調整操作を行う際に、表示されたデフォルト領域を参考にすることによって効率良く調整することができる。
【０１０３】
以上、本発明の望ましい実施形態について説明したが、本発明は、上述した実施形態に限られるものではなく、本発明の主旨を逸脱しない限り、様々増減、変更を加えることができる。
【０１０４】
例えば、上述した２つの実施形態のＩＤカード発行システムにおいて、画像群内の各写真画像に対して順次トリミング処理を行う際に、失敗画像に対しては、トリミング領域設定用部位（目、顔）の検出が失敗した時点で失敗画像処理部による処理が行われるようにしているが、例えば、失敗画像に対してすぐに処理せずにしておき、画像群内の他の写真画像に対して処理が終わってから、または操作者の都合の良いとき（例えば操作者が「失敗画像処理」を指示したとき）に処理を行うようにしてもよい。こうすることによって、トリミング処理部による処理中に、操作者による監視の必要がなくなるので、便利である。この場合においては、失敗画像に対して一切処理せずにしておくのもよいが、例えばデフォルト値（デフォルト位置またはデフォルト領域）の算出まで行って保存しておくのもよい。
【０１０５】
また、例えば第１の実施形態において、トリミング領域設定部１０は、失敗画像に対して、デフォルト位置設定部３０により設定されたデフォルトの目の位置に基づいてトリミング領域を設定し、トリミング実行部７０は、デフォルトの目の位置に基づいて設定されたトリミング領域に従ってトリミングを実行するようにし、後に失敗画像のトリミング画像に対して操作者による良否の確認がなされ、不良トリミング画像として判断されたトリミング画像に対応する失敗画像に対してのみ調整部４０の処理が実行されるようにしてもよい。
【０１０６】
第２の実施形態においても同様である。
【０１０７】
また、上述した２つの実施形態において、写真画像が各撮像ポイントから送信されるようになっているが、例えば、各撮像ポイントにおいて取得された写真画像を撮像ポイント別に記録したＤＶＤ、ＣＤ−Ｒ０Ｍなどの記録媒体から読み出すようにしてもよい。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１の実施形態となるＩＤカード発行システムの構成を示すブロック図
【図２】図１に示すＩＤカード発行システムにおける画像保管部２２０による写真画像の保管態様を示す図
【図３】トリミング処理部１００の構成を示すブロック図
【図４】図３に示すトリミング処理部１００における目検出部１の構成を示すブロック図
【図５】目の位置を説明するための図
【図６】エッジ検出フィルタを示す図
【図７】勾配ベクトルの算出を説明するための図
【図８】（ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図
【図９】（ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図
【図１０】目検出部１における記憶部４に記憶された第１の参照データＥ１の学習に用いられる顔であることが分かっているサンプル画像の例
【図１１】目検出部１における記憶部４に記憶された第２の参照データＥ２の学習に用いられる顔であることが分かっているサンプル画像の例
【図１２】顔の回転を説明するための図
【図１３】参照データの学習手法を示すフローチャート
【図１４】識別器の導出方法を示す図
【図１５】目検出部１により顔を検出する際の、写真画像の段階的な変形を説明するための図
【図１６】目検出部１の処理を示すフローチャート
【図１７】図３に示すトリミング処理部１００における失敗画像処理部５０の調整部４０を説明するための図
【図１８】失敗画像処理部５０の処理を示すフローチャート
【図１９】本発明の第２の実施形態となるＩＤカード発行システムの構成を示すブロック図
【図２０】図１９に示すＩＤカード発行システムのＩＤカード製作センター４５０におけるトリミング処理部４５０の構成を示すブロック図
【図２１】図２０に示すトリミング処理部４５０における失敗画像処理部４２０の調整部４２６を説明するための図
【図２２】失敗画像処理部４２０の処理を示すフローチャート
【符号の説明】
【０１０９】
１    目検出部
２    特徴量算出部
４    記憶部
５    第１の識別部
６    第２の識別部
７    出力部
１０    トリミング領域設定部
２０    記憶部
３０    デフォルト位置
４０    調整部
５０    失敗画像処理部
７０    トリミング実行部
１００    トリミング処理部
２２０    画像保管部
２４０    カード作成部
２５０    ネットワーク
３００    ＩＤカード製作センター
４００    ＩＤカード製作センター
４１０    顔位置検出部
４１５    トリミング領域設定部
４２０    失敗画像処理部
４２２    記憶部
４２４    デフォルト領域設定部
４２６    調整部
４３０    トリミング実行部
【図１】
2005244571.tif 000003
【図２】
2005244571.tif 000004
【図３】
2005244571.tif 000005
【図４】
2005244571.tif 000006
【図５】
2005244571.tif 000007
【図６】
2005244571.tif 000008
【図７】
2005244571.tif 000009
【図８】
2005244571.tif 000010
【図９】
2005244571.tif 000011
【図１０】
2005244571.tif 000012
【図１１】
2005244571.tif 000013
【図１２】
2005244571.tif 000014
【図１３】
2005244571.tif 000015
【図１４】
2005244571.tif 000016
【図１５】
2005244571.tif 000017
【図１６】
2005244571.tif 000018
【図１７】
2005244571.tif 000019
【図１８】
2005244571.tif 000020
【図１９】
2005244571.tif 000021
【図２０】
2005244571.tif 000022
【図２１】
2005244571.tif 000023
【図２２】
2005244571.tif 000024