(57)【要約】【課題】複雑な形状取得手段を用いる必要がなく、高精度の照合が行える画像照合装置を提供することを目的とする。【解決手段】第１の二次元画像と第２の二次元画像とを比較照合する画像照合装置１であって、第１の二次元画像を三次元画像に変換して出力する画像変換部３と、第２の二次元画像における被写体の撮影角度を検出して出力する方向検出部７と、画像変換部３から出力された三次元画像から、方向検出部７から出力された撮影角度と一致する方向から見た第３の二次元画像を作成して出力する画像作成部４と、第３の二次元画像と第２の二次元記録画像とを照合する画像照合部８とを備えた。【選択図】  図１
2004185386.tif 000002
【特許請求の範囲】
【請求項１】
第１の二次元画像と第２の二次元画像とを比較照合する画像照合装置であって、
前記第１の二次元画像を三次元画像に変換して出力する画像変換部と、
前記第２の二次元画像における被写体の撮影方向を検出する方向検出部と、
前記撮影方向から見た第３の二次元画像を前記三次元画像にもとづいて作成する画像作成部と、
前記第２の二次元画像と前記第３の二次元画像とを照合する画像照合部とを備えたことを特徴とする画像照合装置。
【請求項２】
前記第１の二次元画像を取得する画像取得部と、
二次元記録画像を記録する画像記録部と、
前記二次元記録画像から前記第２の二次元画像を切り出して前記方向検出部および前記画像照合部に出力する画像切出部とを備えたことを特徴とする請求項１に記載の画像照合装置。
【請求項３】
前記第１の二次元画像および前記第２の二次元画像が、それぞれ人の顔を表わした画像であることを特徴とする請求項２に記載の画像照合装置。
【請求項４】
前記画像取得部が、写真または印刷物から前記第１の二次元画像を読み取る画像読取装置であることを特徴とする請求項３に記載の画像照合装置。
【請求項５】
前記画像記録部に記録された前記二次元記録画像が、撮影装置によって撮影された動画像であることを特徴とする請求項３または請求項４に記載の画像照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置に関する。
【０００２】
【従来の技術】
従来から、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置が提案されており、特に、バイオメトリクスを用いた認証方法の一つである顔認証方法を用いた画像照合装置が各種提案されてきている。
【０００３】
このような画像照合装置においては、あらかじめ認証されるべき人の顔の画像（以下、記録顔画像と記す）としてデータベースに記録しておいて、入力された参照すべき被認証者の顔の画像（以下、入力顔画像と記す）と、データベースに記録させておいた記録顔画像とを比較照合して、被認証者の本人認証を行う。
【０００４】
このような画像照合装置においては、入力顔画像と記録顔画像との様々な撮影条件の違い、例えば、光学系を用いて被写体の顔の画像を撮影する際の、被写体の顔の正面方向と、撮影装置の光軸方向とがなす角度（以下、撮影角度と記す）の違い等により、認証の精度が低くなってしまうという課題があった。
【０００５】
このような課題を解決するために、例えば、データベースに記録する記録顔画像として、三次元顔画像モデル（ワイヤーフレームの三次元顔形状モデルと二次元の顔画像テクスチャデータ）を記録しておき、入力された参照すべき被認証者の入力顔画像の撮影角度に合致するような二次元の参照顔画像を三次元顔画像モデルから作成し、この参照顔画像と入力顔画像との間で比較照合を行うことにより、認証精度を高くする技術が提案されてきた（例えば、特許文献１、特許文献２および特許文献３を参照。）。
【０００６】
【特許文献１】
特開２０００−３０６０９５号公報
【特許文献２】
特開２００１−２８３２２４号公報
【特許文献３】
特開２００１−２７３４９６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、前述のような画像照合装置においては、三次元形状モデルを作成する必要があるので、被写体の三次元形状を取得するための、複雑な撮影装置が必要となる等、特殊な形状取得手段が必要であった。
【０００８】
本発明はこのような課題を解決するためになされたもので、複雑な形状取得手段を用いる必要のない、高精度の照合が行える画像照合装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像照合装置は、第１の二次元画像と第２の二次元画像とを比較照合する画像照合装置であって、第１の二次元画像を三次元画像に変換して出力する画像変換部と、第２の二次元画像における被写体の撮影方向を検出する方向検出部と、撮影方向から見た第３の二次元画像を前記三次元画像にもとづいて作成する画像作成部と、第２の二次元画像と第３の二次元画像とを照合する画像照合部とを備えたことを特徴としている。
【００１０】
このような構成により、照合を行う画像として、入力画像および記録画像として、それぞれ二次元画像を用いるので、複雑な三次元形状を取得する形状取得手段を用いる必要がない。さらに、第１の二次元画像を一度三次元画像に変換して、その後第２の二次元画像における被写体の撮影方向から見た第３の二次元画像を三次元画像にもとづいて作成して、第２の二次元画像と第３の二次元画像との間で照合を行うので、異なる撮影方向から撮影された二次元画像同士を比較照合する場合と比較して、高精度の照合を行うことが可能となる。
【００１１】
また、第１の二次元画像を取得する画像取得部と、二次元記録画像を記録する画像記録部と、二次元記録画像から第２の二次元画像を切り出して方向検出部および画像照合部に出力する画像切出部とを備えた構成により、画像記録部には二次元記録画像を記録させておけばよいので、三次元形状モデル等の大きな容量の情報を記録すべき容量が不要で、記録容量の小さい装置構成が実現できる。
【００１２】
さらに、第１の二次元画像および第２の二次元画像が、それぞれ人の顔を表わした画像である構成により、人の顔画像同士を比較照合して本人認証を行うことのできる画像照合装置を提供することができる。
【００１３】
また、画像取得部が、写真または印刷物から第１の二次元画像を読み取る画像読取装置である構成によれば、被写体の顔の撮影された写真や印刷物から第１の二次元画像を取得することができるので、入力顔画像である第１の二次元画像を撮影するために被写体を、撮影装置の配置場所等の特定の場所に連れてくる必要がない。
【００１４】
さらに、画像記録部に記録された二次元記録画像が、撮影装置によって撮影された動画像である構成によれば、監視カメラ等で撮影された動画像から記録顔画像を切り出して記録顔画像である第２の二次元画像として用いることが可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１６】
（第１の実施の形態）
まず、本発明の第１の実施の形態として、本発明の画像照合装置について説明する。図１は、本発明の第１の実施の形態における画像照合装置の構成を示すブロック図である。
【００１７】
図１において、画像照合装置１は、入力された顔画像（以下、入力顔画像と記す）とあらかじめ記録された顔画像（以下、記録顔画像と記す）とを照合して、その照合結果を出力する装置である。
【００１８】
画像照合装置１は、二次元の入力顔画像を取得する画像取得部２、画像取得部２から出力された入力顔画像を三次元画像に変換する画像変換部３、あらかじめ記録された二次元の記録画像を記録する画像記録部５、画像記録部５に記録された記録画像から任意に一の記録顔画像を切り出す画像切出部６、画像切出部６から出力された一の記録顔画像から、その記録顔画像を撮影した際の被写体の撮影角度を検出する方向検出部７、方向検出部７および画像変換部３に接続され、画像変換部３から出力された三次元画像から、方向検出部７で検出された記録顔画像の撮影角度と一致するような二次元の顔画像（以下、参照顔画像と記す）を作成する画像作成部４、ならびに、画像切出部６および画像作成部４に接続され、画像切出部６から出力された記録顔画像と画像作成部４から出力された参照顔画像とを比較照合する画像照合部８とから構成される。画像照合部８から記録顔画像と参照顔画像との比較照合の結果を示す信号が出力端９から出力される。
【００１９】
次に各構成要素の機能について、詳細に説明する。
【００２０】
画像取得部２は、被写体となる被認証者の二次元画像を撮影するビデオカメラ装置やデジタルスチルカメラ装置を用いることができ、また被認証者の写真を読み取るイメージスキャナ装置等の画像読取装置を用いることもできる。このような画像読取装置を用いた場合には、被写体がその場に居なくても、その被写体の入力顔画像を取得することができる。画像取得部２で取得された入力顔画像の一例を図２に示す。
【００２１】
画像変換部３では、画像取得部２から出力された二次元の入力顔画像を、三次元画像に変換する。この処理については、例えば、亀嶋英人，他２名，“ＢＰＬＰによる二次元顔画像からの三次元形状推定”，第８回画像センシングシンポジウム予稿集，画像センシング技術研究会，２００２年７月１７日，ｐ．５２１−５２６に示された方法を用いることができる。画像変換部３で変換された、ワイヤーフレームモデル３２およびテクスチャマッピングした三次元画像３３の一例をそれぞれ図３（ａ）および図３（ｂ）に示す。
【００２２】
一方、画像記録部５には、二次元の画像が記録されている（以下、この画像を記録画像と記す）。この二次元の記録画像は、人間の顔画像を単数または複数含む画像であればよい。例えば、このような記録画像の例としては、ＡＴＭ等に設置される監視カメラで撮影され記録された静止画または動画を用いることができる。
【００２３】
画像切出部６は、画像記録部５に記録された記録画像から、図４に示したような、記録顔画像３４〜３７を切り出す。なお、画像記録部５に用いる記録媒体としては、磁気ディスクや半導体メモリ等、公知の記録媒体から任意に選択したものを用いることができる。
【００２４】
次に、画像切出部６は、複数の記録顔画像が切り出された場合には、記録顔画像３４〜３７のうちから、一の記録顔画像を選択する。この選択の方法は特に限定されるものではなく、選択された画像は、画像照合部８および方向検出部７に送られる。ここでは一例として、記録顔画像３７が選択されて方向検出部７へ送られるとする。
【００２５】
方向検出部７は、画像切出部６から出力された記録顔画像３７を解析して、記録顔画像３７における被写体の顔の向き（撮影角度）の演算を行う。本発明の画像照合装置は特にこの方法を限定するものではなく、公知の様々な方法を用いることができる。例えば、顔領域内の肌色占有面積を計算して顔の向きを推定する方法（例えば、特許文献１を参照。）や、正面を向いた顔画像の特徴点と記録顔画像の特徴点とを比較して顔の向きを推定する方法（例えば、特許文献３を参照。）を用いることができる。方向検出部７から出力された記録顔画像３７の撮影角度の情報は、画像作成部４に送られる。
【００２６】
画像作成部４においては、方向検出部７から送られた撮影角度と一致するように、画像変換部３から出力された三次元画像３３から、参照顔画像３８を作成する。三次元画像３３から参照顔画像３８を作成する方法は、公知の方法（例えば、特許文献１または特許文献２を参照。）を用いることによって行うことができる。図５にこのような処理を行った参照顔画像の一例を示す。この参照顔画像３８が画像照合部８に送られる。
【００２７】
画像照合部８においては、画像作成部４から出力された参照顔画像３８と画像切出部６から出力された記録顔画像３７とを比較照合する。この比較照合方法は、公知の方法を用いることができ、例えば、顔画像をＫａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開して固有空間に投影して、その投影点間の距離を用いて比較照合する方法を用いることができる（例えば、特許文献１を参照。）。画像照合部８で参照顔画像３８と記録顔画像３７とが比較照合された結果は、出力端９を通じて外部へ送られる。
【００２８】
なお、画像変換部３、画像作成部４、画像切出部６、方向検出部７および画像照合部８は、それぞれソフトウェアを用いて前述したような機能を実現する構成であってもよいことはいうまでもない。
【００２９】
次に、本発明の画像照合装置１の動作について説明する。
【００３０】
図６は、本発明の第１の実施の形態における画像照合装置１の動作ステップを示すフローチャートである。
【００３１】
図６において、まず、画像取得部２から入力顔画像３１が取得される（ステップＳ１０２）。
【００３２】
次に、画像変換部３において、入力顔画像３１が、三次元画像３３に変換される（ステップＳ１０３）。三次元画像３３の情報、すなわち、ワイヤーフレームの情報およびテクスチャ情報は、画像照合装置１のバッファ部（図示せず）に一時的に記憶される構成であることが重複した演算を抑制する観点から望ましい。
【００３３】
次に、画像切出部６は、画像記録部５に記録された複数の記録顔画像３４〜３７の中から、一の記録顔画像（ここでは記録顔画像３７とする）を選択する（ステップＳ１０４）。
【００３４】
さらに、方向検出部７において、画像切出部６で選択された記録顔画像３７について、その撮影角度の検出が行われる（ステップＳ１０５）。
【００３５】
画像作成部４では、方向検出部７から出力された撮影角度の情報にもとづいて、バッファ部に記憶された三次元画像３３の情報から参照顔画像３８を作成する（ステップＳ１０６）。
【００３６】
次に、画像照合部８においては、参照顔画像３８と記録顔画像３７との照合が行われる（ステップＳ１０７）。なお、本実施の形態に示した例においては、参照顔画像３８と記録顔画像３７との照合結果は、「ＮＧ（本人認証不可）」となる。
【００３７】
もし、ステップＳ１０７における照合結果が「ＯＫ（本人認証可）」の場合には照合結果を出力端９から出力して処理を終了する（ステップＳ１１０）。ステップＳ１０７における照合結果が「ＮＧ」であった場合には、画像切出部６が再度画像記録部５から記録顔画像３７とは別の記録顔画像を選択するが、もし、全ての記録顔画像が選択済みであれば、照合結果「ＮＧ」を出力端９から出力して処理を終了する（ステップＳ１０９）。ステップＳ１０９において、画像記録部５に選択されていない記録顔画像が存在する場合には、ステップＳ１０４に戻って、画像切出部６によって、さらに別の記録顔画像の選択が行われる。
【００３８】
前述のように、本発明の画像照合装置１によれば、画像記録部５に記録された記録画像は二次元画像であるので、複数の三次元画像を記録する必要がなく、画像記録部５の容量が少なくて済む。
【００３９】
また、取得される入力顔画像は二次元画像でよいので、入力顔画像を取得する際に、三次元画像を取得するための特別な機構等が不要である。
【００４０】
さらに、本発明の画像照合装置によれば、入力顔画像を、記録顔画像の撮影角度と一致するように変換して照合を行うので、高い認証率を実現することが可能である。
【００４１】
（第２の実施の形態）
次に、本発明の第２の実施の形態として、画像照合装置の別の例について説明する。
【００４２】
図７は、本発明の第２の実施の形態における画像照合装置２１の構成を示すブロック図である。図７に示した画像照合装置２１において、第１の実施の形態に示した画像照合装置１と同様の構成要素については、同一の符号を付し、その説明を省略する。
【００４３】
本発明の第２の実施の形態の画像照合装置２１が第１の実施の形態において説明した画像照合装置１と異なる点は、記録画像を記録すべき記録部２５が画像照合装置２１とは別の画像記録装置２６に設けられている点である。
【００４４】
画像記録装置２６とは、画像を記録している装置、例えば、ハードディスクドライブ（ＨＤＤ）を用いた画像録画装置や、ビデオレコーダ装置等をいう。また、画像記録装置２６と画像照合装置２１の入力端２４との間の接続方法は、有線、無線およびインターネット等のネットワークを経由してもよい。なお、画像記録装置２６に必須の構成要件は記録部２５であり、その他の構成要素の有無は問わないので、図７中においても記載を省略している。
【００４５】
このような画像照合装置２１を用いることにより、例えばネットワークを介して遠隔に設けられた撮影装置を搭載したＡＴＭや監視装置等の画像記録装置２６に記録部２５に記録された画像を記録顔画像として取得して、画像照合装置２１の画像取得部２にて取得した、あるいはあらかじめ記録された免許証の写真、スナップ写真等の画像情報等を入力顔画像として照合処理を行うことができる。
【００４６】
なお、本発明の実施の形態における画像照合装置２１においては、画像切出部６がその構成中に含まれる例を示したが、本発明はこの構成に限定されない。例えば、画像切出部６が画像記憶装置２６の構成中に含まれる構成であってもよいことはいうまでもない。この場合には、画像記録装置２６で切り出された記録顔画像が、画像照合装置２１方向検出部７および画像照合部８に送られる。
【００４７】
なお、本発明の実施の形態における画像照合装置２１において、その照合率を高くするためには、画像取得部２で取得される入力顔画像としては、できるだけ撮影角度が０°、すなわち撮影装置の光軸と被写体の顔の正面方向とが一致する正面顔画像を用いることが望ましい。また入力される入力顔画像としては、解像度ができるだけ高い方が望ましいことはいうまでもないが、１／４ＶＧＡサイズ（３２０×２４０画素）程度の解像度の画像を用いることができる。この場合、顔の幅が約１５０画素あればよい。
【００４８】
また、本発明の実施の形態における画像照合装置を用いれば、入力顔画像として、免許証の写真（縦×横＝４ｃｍ×３ｃｍ）を用いた場合、記録顔画像の撮影角度が正面方向に対して約４０°以内であれば、良好に認証することができる。
【００４９】
なお、本発明の実施の形態においては、画像照合装置が照合する画像の被写体として、人間の顔を取りあげて説明を行ったが、本発明の画像照合装置はこれに限定されない。例えば、他の立体的な被写体を撮影した画像同士を比較照合することも可能であることはいうまでもない。
【００５０】
【発明の効果】
以上述べたように、本発明の画像照合装置を用いれば、それぞれが二次元画像である入力画像および記録画像を用いて照合を行うので、複雑な三次元形状を取得する形状取得手段を用いる必要がない。さらに、入力された二次元画像を一度三次元画像に変換して、その後、記録画像における被写体の撮影角度に一致するような参照画像を作成して記録画像と参照画像との間で照合を行うので、高精度の照合を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像照合装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における入力顔画像の一例を示す図
【図３】（ａ）は本発明の第１の実施の形態における画像変換部で変換されたワイヤーフレームモデルの一例を示す図（ｂ）は本発明の第１の実施の形態における画像変換部で変換された三次元画像の一例を示す図
【図４】本発明の第１の実施の形態における記録顔画像の一例を示す図
【図５】本発明の第１の実施の形態における参照顔画像の一例を示す図
【図６】本発明の第１の実施の形態における画像照合装置の動作ステップを示すフローチャート
【図７】本発明の第２の実施の形態における画像照合装置の構成を示すブロック図
【符号の説明】
１，２１  画像照合装置
２  画像取得部
３  画像変換部
４  画像作成部
５  画像記録部
６  画像切出部
７  方向検出部
８  画像照合部
９  出力端
２４  入力端
２５  記録部
２６  画像記録装置
３１  入力顔画像（第１の二次元画像）
３２  ワイヤーフレームモデル
３３  三次元画像
３４，３５，３６，３７  記録顔画像（第２の二次元画像）
３８  参照顔画像（第３の二次元画像）
【図１】
2004185386.tif 000003
【図２】
2004185386.tif 000004
【図３】
2004185386.tif 000005
【図４】
2004185386.tif 000006
【図５】
2004185386.tif 000007
【図６】
2004185386.tif 000008
【図７】
2004185386.tif 000009