(57)【要約】【課題】登録画像との照合を容易にするインターフェースを提供し、照合のための処理時間と照合の精度を向上させた画像撮影装置、および画像照合装置を提供する。【解決手段】物体を撮影する撮影部１０１と、撮影された画像の特徴点を抽出する特徴点検出部１０２と、画像と特徴点とを合成する画像合成部１０３と、合成された画像を表示する画像表示部１０４とを備えた画像撮影装置により撮影した、照合に適した画像を予め画像データベース３０４に登録しておき、画像データベース３０４に格納されている照合対象の登録画像を、現在の被写体の画像と合成して表示することにより、照合時には、登録時とほぼ同じ位置・大きさ・姿勢の、照合に適する画像を取得することが可能になるので、照合部７０１での照合の処理時間の短縮と、照合の精度の向上が図ることができる。【選択図】  図１
2004341992.tif 000002
【特許請求の範囲】
【請求項１】
物体を撮影した画像データを出力する撮影部と、
前記画像データから前記撮影された物体の特徴である特徴点を抽出する特徴点検出部と、
前記画像データと前記特徴点とを合成した合成画像データを出力する画像合成部と、
前記合成画像データを表示する画像表示部と
を備える画像撮影装置。
【請求項２】
物体を撮影した画像データを出力する撮影部と、
前記画像データから前記撮影された物体の特徴である特徴点を抽出する特徴点検出部と、
前記画像データと前記特徴点と予め撮影された照合対象物体の画像データとを合成した合成画像データを出力する画像合成部と、
前記合成画像データを表示する画像表示部と
を備える画像撮影装置。
【請求項３】
予め撮影された照合対象物体の画像データを識別情報と対応づけて格納している画像データベースと、
前記識別情報を入力する情報入力部と、
前記画像データベースから前記識別情報に基づいて画像データを抽出する登録データ管理部とをさらに備え、
前記画像合成部が、現在撮影された物体の画像データと、当該画像データの特徴点と、前記情報入力部からの前記識別情報に基づいて抽出された画像データとを合成した合成画像データを出力する請求項１に記載の画像撮影装置。
【請求項４】
予め撮影された照合対象物体の画像データの特徴である特徴データを、識別情報と対応づけて格納している特徴量データベースと、
前記識別情報を入力する情報入力部と、
前記特徴量データベースから前記識別情報に基づいて前記特徴データを抽出する登録データ管理部とをさらに備え、
前記画像合成部が、現在撮影された画像と、当該画像の特徴点と、前記情報入力部からの前記識別情報に基づいて抽出された前記特徴データとを合成する請求項１に記載の画像撮影装置。
【請求項５】
前記特徴データは、顔の輪郭の形状や位置、目の位置、鼻の位置、および口の位置の少なくともいずれか一つである請求項４に記載の画像撮影装置。
【請求項６】
前記画像合成部は、画像に対する透過処理を行う透過処理部と合成処理を行う合成部とからなる請求項２あるいは３に記載の画像撮影装置。
【請求項７】
前記請求項３に記載の画像撮影装置と、
前記現在撮影された画像と、前記登録データ管理部により前記識別情報に基づいて抽出された画像とを照合する照合部と、前記照合部の照合結果を出力する出力部と
を備える画像照合装置。
【請求項８】
前記請求項４あるいは５に記載の画像撮影装置と、
予め撮影された前記照合対象の画像を前記識別情報と対応づけて格納している画像データベースと、
前記現在撮影された画像と、前記登録データ管理部により前記識別情報に基づいて抽出された画像とを照合する照合部と、
前記照合部の照合結果を出力する出力部と
を備える画像照合装置。
【請求項９】
前記画像合成部は、画像に対する透過処理を行う透過処理部と合成処理を行う合成部とからなる請求項７あるいは８に記載の画像照合装置。
【請求項１０】
前記登録データ管理部は、現在撮影された前記画像を、前記情報入力部からの識別情報と対応づけて前記画像データベースに格納する請求項７あるいは８に記載の画像照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、照合用の画像を撮影する際に、登録画像との照合を容易にするためのインターフェースを備えた画像撮影装置及び画像照合装置に関する。
【０００２】
【従来の技術】
従来より、この画像照合装置としては、例えば、特許文献１に記載されているようなものがあった。図１５は、特許文献１に記載された従来の画像照合装置のブロック構成を示すものである。
【０００３】
図１５において、入力手段１５０１は生体情報を入力するものであり、表示手段１５０２は入力した生体情報を表示するものであり、枠表示手段１５０３は生体情報の大きさや位置を指定するための枠を表示するものであり、認証手段１５０４は入力した生体情報をもとに予め登録されたユーザを認証するものである。
【０００４】
また、他の画像照合装置としては、特許文献２に記載されているようなものがあった。図１６は、特許文献２に記載された従来の画像照合装置のブロック構成を示すものである。
【０００５】
図１６において、画像入力部１６１０は画像を入力するものであり、顔領域検出部１６２０は入力画像から顔画像の領域を検出するものであり、特徴点検出部１６３０は検出された顔画像に基づいて顔の特徴点を検出するものであり、正規化部１６４０は検出された特徴点の位置を移動させて、あらかじめ設定された位置に来るように画像を変形させるものであり、認識部１６５０は正規化画像とあらかじめ登録された各登録者のデータベース画像とを用いて人物を識別認識するものである。
【０００６】
【特許文献１】
特開２００２−２２９９５５号公報（第３−５頁、第１図）
【特許文献２】
特開２０００−６７２３７号公報（第２、３頁、第１図）
【０００７】
【発明が解決しようとする課題】
しかしながら、上記特許文献１の構成では、照合する生体の個体差にかかわらず一様に同じ枠を表示するため、枠の規格と一致しない生体を撮影する場合には、位置や姿勢を合わせることが難しい、という課題を有していた。例えば、顔の位置を一定サイズの楕円の枠で指定した場合、楕円のサイズと一致しない顔の場合には、顔の向きや位置・大きさが、登録時と照合時で異なる可能性が高く、照合精度の低下を招くおそれがあった。
【０００８】
また、特許文献２の構成では、検出された特徴点の位置を移動させたり、画像を変形させるための処理に多くの負荷がかかり、照合処理をする時間が長くかかるという課題を有していた。
【０００９】
本発明は、上記従来の課題を解決するもので、登録画像との照合を容易にするインターフェースを提供し、照合のための処理時間と照合の精度を向上させることを目的とする。
【００１０】
【課題を解決するための手段】
上記従来の課題を解決する本発明に係る画像撮影装置は、物体を撮影した画像データを出力する撮影部と、撮影された物体の画像データの特徴である特徴点を抽出する特徴点検出部と、画像データと特徴点とを合成した合成画像データを出力する画像合成部と、合成画像データを表示する画像表示部とを備えている。
【００１１】
これにより、ユーザは現在撮影している物体が、特徴点をはっきりと検出できる画像データになっているか否かを認識できるので、それに合わせて顔等の向きを変更したり、光の加減を調整することが可能になる。
【００１２】
また、本発明に係る画像照合装置は、本発明に係る画像撮影装置と、予め撮影された照合対象物体の画像データを識別情報と対応づけて格納している画像データベースと、現在撮影された物体の画像データと、登録データ管理部により識別情報に基づいて抽出された画像データとを照合する照合部と、この照合部の照合結果を出力する出力部とを備えている。
【００１３】
これにより、本発明は、予め登録している画像データと撮影中の物体の画像データを合成して表示し、物体が登録画像データと類似した大きさ・位置・姿勢で撮影できるインターフェースを提供することにより、ユーザは、照合に適した状態で物体を撮影することができる。また、照合時の物体の位置調整が容易になり、処理速度と照合精度が向上する。
【００１４】
【発明の実施の形態】
本発明に係る画像撮影装置は、物体を撮影した画像データを出力する撮影部と、この画像データから撮影された物体の特徴である特徴点を抽出する特徴点検出部と、この画像データと特徴点とを合成した合成画像データを出力する画像合成部と、この合成画像データを表示する画像表示部とを備えている。これにより、撮影するときに、物体の特徴点がはっきり検出できているか否かを確認しながら撮影できるので、照合に適した状態の物体を撮影することが容易になる。
【００１５】
また、本発明に係る画像撮影装置は、物体を撮影した画像データを出力する撮影部と、この画像データから撮影された物体の特徴である特徴点を抽出する特徴点検出部と、この画像データと特徴点と予め撮影された照合対象物体の画像データとを合成した合成画像データを出力する画像合成部と、この合成画像データを表示する画像表示部とを備えている。
【００１６】
また、本発明に係る画像撮影装置は、予め撮影された照合対象物体の画像データを識別情報と対応づけて格納している画像データベースと、その識別情報を入力する情報入力部と、画像データベースから識別情報に基づいて画像データを抽出する登録データ管理部とをさらに備え、画像合成部が、現在撮影された物体の画像データと、当該画像データの特徴点と、情報入力部からの識別情報に基づいて抽出された画像データとを合成した合成画像データを出力する。
【００１７】
これにより、ユーザは撮影するときに、被写体の特徴点がはっきり検出できているか否かを確認しながら撮影できるとともに、登録時と同じ大きさ・位置・姿勢で被写体を撮影できる情報を提供されるので、照合の精度を向上させる画像を撮影することが可能になる。
【００１８】
また、本発明に係る画像撮影装置は、予め撮影された照合対象物体の画像データの特徴である特徴データを、識別情報と対応づけて格納している特徴量データベースと、その識別情報を入力する情報入力部と、特徴量データベースから識別情報に基づいて特徴データを抽出する登録データ管理部とをさらに備え、画像合成部が、現在撮影された画像と、当該画像の特徴点と、情報入力部からの識別情報に基づいて抽出された前記特徴データとを合成する。
【００１９】
これにより、ユーザは撮影するときに、被写体の特徴点がはっきり検出できているか否かを確認しながら撮影できるとともに、登録時と同じ大きさ・位置・姿勢で被写体を撮影できるように、特徴データのみ提供される。そのため、照合の精度を向上させる画像を撮影することが可能になるとともに、画像データを蓄積しておく場合に比べ、少ないデータ量を蓄積しておくことで、同様の効果を得ることが可能になる。
【００２０】
また、本発明に係る画像撮影装置の特徴データは、顔の輪郭の形状や位置、目の位置、鼻の位置、および口の位置の少なくともいずれか一つである。これにより、より少ないデータ量を蓄積しておくだけで、同様の効果を得ることが可能になる。
【００２１】
また、本発明に係る画像撮影装置の画像合成部は、画像に対する透過処理を行う透過処理部と合成処理を行う合成部とからなる。これにより、登録画像を透過処理すれば、現在の撮影画像との比較がよりしやすくなる。
【００２２】
本発明に係る画像照合装置は、本発明に係る画像撮影装置と、現在撮影された画像と、登録データ管理部により識別情報に基づいて抽出された画像とを照合する照合部と、この照合部の照合結果を出力する出力部とを備えている。
【００２３】
また、本発明に係る画像照合装置は、本発明に係る画像撮影装置と、予め撮影された照合対象の画像を識別情報と対応づけて格納している画像データベースと、現在撮影された画像と、登録データ管理部により識別情報に基づいて抽出された画像とを照合する照合部と、この照合部の照合結果を出力する出力部とを備えている。
【００２４】
これにより、照合に適した画像を用いて照合できるので、照合時に物体の位置調整に要する処理時間が短くて済むとともに、照合の精度を向上することが可能になる。
【００２５】
また、本発明に係る画像照合装置の画像合成部は、画像に対する透過処理を行う透過処理部と合成処理を行う合成部とからなる。
【００２６】
また、本発明に係る画像照合装置の登録データ管理部は、現在撮影された画像を、情報入力部からの識別情報と対応づけて画像データベースに格納する。これにより、照合を行いながら、新たに照合対象の画像をデータベースに追加していくことができるので、照合の対象が増えて、精度の向上が図られる。
【００２７】
以下、本発明の実施の形態について、図面を用いて説明する。なお、同一構成要素には同一の符号を付けて表示する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１における画像撮影装置のブロック構成図を示している。
【００２９】
図１において、撮影部１０１は照合対象である人の顔などの物体を撮影するカメラであり、特徴点検出部１０２は撮影部１０１で取り込んだ画像データの特徴である特徴点を検出するものであり、画像合成部１０３は画像上に、特徴点であることを示す指標を合成するものであり、画像表示部１０４は画像を表示するディスプレイである。
【００３０】
この特徴点検出部１０２は目や鼻や口の部分のテンプレートを予め蓄積しており、入力画像が与えられるとその全体をスキャンして、所定の類似度をもとに、最もテンプレートに類似した局所エリア位置を見いだすことにより、特徴点を検出している。
【００３１】
画像合成部１０３は、入力画像と検出した特徴点の位置を示す指標とを内部のメモリ上でＡＮＤ処理することにより合成している。
【００３２】
以上のように構成された画像撮影装置について、以下にその動作と作用を説明する。図２は画像撮影装置の動作を示すフローチャートである。
【００３３】
まず、撮影部１０１が被写体を撮影する（ステップＳ２０１）。図１１（ａ）はこの撮影した画像である。
【００３４】
次に、特徴点検出部１０２が撮影部１０１の取り込んだ画像から特徴点を検出する（ステップＳ２０２）。
【００３５】
次に、画像合成部１０３が撮影部１０１の取り込んだ画像と、特徴点検出部１０２が検出した特徴点を示す指標とを合成し、画像表示部１０４に出力する（ステップＳ２０３）。図１１（ｂ）は特徴点を示す指標を×印で表示して撮影画像に重ねた合成画像である。
【００３６】
次に、画像表示部１０４がこれを受けてディスプレイに合成画像を表示する（ステップＳ２０４）。
【００３７】
以上のように、本実施の形態においては、取り込んだ画像に、検出できた、その画像の特徴点を合成して表示する。これにより、ユーザが現在の撮影している画像の状況を認識できるので、それに合わせて顔等の向きを変更したり、あるいは光の加減を調整することで、特徴点をはっきりと検出できる画像を撮影することが可能になる。すなわち、本来、図１１（ｂ）には、口の部分に特徴点が現れなければならないが、この撮影状態ではそれを検出できていない。被写体はこれを改善すべく、顔の向きを変えたり、光の当たり具合を調整し、口の特徴点も現れるようにすることができ、全ての特徴点が表示された画像を撮影することが容易になる。
【００３８】
なお、この合成画像の表示は、撮影とリアルタイムで行うことが好ましいが、ユーザが撮影指示をした時にのみ特徴点を検出して、合成表示を行うことも可能である。この場合は、画像撮影装置の負荷を軽減することができる。
【００３９】
（実施の形態２）
図３は、本発明の実施の形態２における画像撮影装置のブロック構成図を示している。
【００４０】
図３において、画像合成部３０１は合成部３０２と透過処理部３０３とからなり、透過処理部３０３は入力画像に透過処理を行うものであり、合成部３０２は複数の画像を内部メモリ上でＡＮＤ処理して合成するものである。
【００４１】
画像データベース３０４は、予め撮影した照合対象となる物体の画像と、それを識別するための識別情報とが対応づけて蓄積されているハードディスクであり、情報入力部３０５はその識別情報をユーザが指定するためのものである。
【００４２】
そして、登録データ管理部３０６は入力された識別情報に基づいて、対応する画像を画像データベース３０４から抽出するものである。
【００４３】
その他の撮影部１０１、特徴点検出部１０２、および画像表示部１０４は、実施の形態１と同一である。
【００４４】
以上のように構成された画像撮影装置について、以下にその動作と作用を説明する。図４は画像撮影装置の動作を示すフローチャートである。また、図１２（ａ）乃至（ｄ）は本実施の形態における現在の撮影画像と登録画像とそれらの合成画像とを示す。
【００４５】
まず、ユーザにより識別情報が、情報入力部３０５から入力される（ステップＳ４０１）。
【００４６】
次に、登録データ管理部３０６がその識別情報に基づいて、画像データベース３０４から画像を抽出する（ステップＳ４０２）。図１２（ａ）はこの抽出された登録画像である。
【００４７】
次に、透過処理部３０３が抽出された画像に透過処理を行い、内部メモリに書き込む（ステップＳ４０３）。図１２（ｂ）はこの透過処理された登録画像である。
【００４８】
次に、撮影部１０１から被写体を取り込み、内部メモリに蓄積する（ステップＳ４０４）。図１２（ｃ）はこの撮影画像である。
【００４９】
次に、特徴点検出部１０２がこの取り込んだ画像から特徴点を検出する（ステップＳ４０５）。
【００５０】
次に、画像合成部３０１が、内部メモリに蓄積してある透過画像と、撮影部１０１から取り込んだ画像と、その特徴点とを合成し、画像表示部１０４に出力する（ステップＳ４０６）。図１２（ｄ）はこの合成画像である。
【００５１】
次に、画像表示部１０４がこれを受けてディスプレイに合成画像を表示する（ステップＳ４０７）。
【００５２】
以上のように、本実施の形態においては、ユーザが指定した、予め登録してある照合対象の画像に、被写体の画像と、検出されたその画像の特徴点とを合成して表示する。これにより、現在の撮影している画像の状況を認識することができるとともに、ユーザが指定の位置に被写体である顔をあわせやすくなるので、それに合わせるように顔等の位置を移動させたり、向きを変更したり、あるいは光の加減を調整することで、指定の位置に、特徴点がはっきりと検出できる画像を撮影することが可能になる。
【００５３】
この位置あわせは、過去に取得しておいた被写体そのものの画像を表示しているため、顔の輪郭と目、鼻、口などの各部との位置とを、従来の均一の枠や指標を表示されてそれに合わせるよりも、はるかに容易にできるようになる。
【００５４】
また、登録してある画像と被写体の画像との区別をしやすくするため、登録画像はモノクロの透過画像にすることがより好ましい。
【００５５】
なお、この合成画像の表示は、撮影とリアルタイムで行うことが好ましいが、ユーザが撮影指示をした時にのみ特徴点を検出して、合成表示を行うことも可能である。この場合は、画像撮影装置の負荷を軽減することができる。
【００５６】
また、本実施の形態では、透過処理部３０３が登録画像を透過して合成したが、これに限らず、登録画像と現在撮影された画像を交互に切り換えて表示することも可能である。この場合は、透過処理部３０３が不要になる。
【００５７】
（実施の形態３）
図５は、本発明の実施の形態３における画像撮影装置のブロック構成図を示している。
【００５８】
図５において、特徴量データベース５０１は、予め撮影した照合対象となる物体の画像から検出した特徴データと、その画像を識別するための識別情報とが対応づけて蓄積されているハードディスクである。この特徴データは、顔の輪郭の形状や位置、目、鼻、口などの各部の位置の情報である。
【００５９】
その他の撮影部１０１、特徴点検出部１０２、画像合成部１０３、画像表示部１０４、情報入力部３０５、および登録データ管理部３０６ものは、実施の形態１及び、実施の形態２と同一である。
【００６０】
以上のように構成された画像撮影装置について、以下にその動作と作用を説明する。図６は画像撮影装置の動作を示すフローチャートである。また、図１３（ａ）乃至（ｄ）は本実施の形態における登録画像と撮影画像とそれらの合成画像を示す。
【００６１】
まず、ユーザにより識別情報が、情報入力部３０５から入力される（ステップＳ６０１）。
【００６２】
次に、登録データ管理部３０６がその識別情報に基づいて、特徴量データベース５０１から特徴データを抽出する（ステップＳ６０２）。本実施の形態においては、この特徴データとして、顔の輪郭の形状と位置と特徴点とを用いている。図１３（ａ）は登録画像であり、図１３（ｂ）はその画像の登録されている輪郭と特徴点（×印）を示したものである。
【００６３】
次に、撮影部１０１から被写体を取り込み、内部メモリに蓄積する（ステップＳ６０３）。図１３（ｃ）は現在の撮影画像である。
【００６４】
次に、特徴点検出部１０２がこの取り込んだ画像から特徴点を検出する（ステップＳ６０４）。
【００６５】
次に、画像合成部１０３が、内部メモリに蓄積してある画像上に、その特徴点の位置を示す指標と、特徴量データベース５０１から抽出した特徴データとを合成し、画像表示部１０４に出力する（ステップＳ６０５）。このとき、特徴データを示す指標と、現在撮影した画像の特徴点を示す指標とを区別するために、それぞれの色、形状、大きさなどを変えることがより好ましい。図１３（ｄ）は合成画像であり、現在の撮影画像から検出された特徴点は○印で示している。
【００６６】
次に、画像表示部１０４がこれを受けてディスプレイに合成画像を表示する（ステップＳ６０６）。
【００６７】
以上のように、本実施の形態においては、ユーザが指定した、照合対象の特徴データである顔の輪郭や特徴点と、被写体の画像と、検出された被写体の画像の特徴点とを合成して表示することにより、ユーザが登録画像の輪郭の位置と被写体とのズレや、撮影されている画像の特徴点の検出度合いを知ることができる。このため、ユーザがその輪郭の枠に合わせるように顔等の位置を移動させたり、向きを変更したり、あるいは光の加減を調整することが容易になり、指定の位置に、特徴点がはっきりと検出できる画像を撮影することが可能になる。
【００６８】
この位置あわせは、過去に取得しておいた被写体そのものの画像を表示しているため、顔の輪郭と目、鼻、口などの各部との位置とを、従来の均一の枠や指標を表示されてそれに合わせるよりも、はるかに容易にできるという特徴がある。
【００６９】
なお、この合成画像の表示は、撮影とリアルタイムで行うことが好ましいが、ユーザが撮影指示をした時にのみ特徴点を検出して、合成表示を行うことも可能である。この場合は、画像撮影装置の負荷を軽減することができる。
【００７０】
また、本実施の形態では、特徴データとして、輪郭と特徴点との両方を用いたがこれに限らずいずれか一方のみとすることも可能である。
【００７１】
（実施の形態４）
図７は、本発明の実施の形態４における画像照合装置のブロック構成図を示している。
【００７２】
図７において、照合部７０１は撮影部１０１から入力した画像と登録データ管理部７０４から入力した登録画像を照合するものであり、出力部７０２は照合部７０１の照合結果をディスプレイやスピーカなどに出力するものであり、照合指示部７０３はユーザが現在表示されている画像での照合を指示するものであり、登録データ管理部７０４は入力画像を画像データベース３０４に識別情報に対応づけて登録したり、識別情報に基づいて登録画像を抽出したりするものである。その他の撮影部１０１、特徴点検出部１０２、画像表示部１０４、画像合成部３０１、画像データベース３０４、情報入力部３０５は実施の形態１および２のものと同一である。
【００７３】
以上のように構成された画像照合装置について、以下その動作を説明する。図８（ａ）は本実施の形態における画像の登録の動作を説明するフローチャートである。図１２は、照合画像の撮影時に、表示される画像の例である。
【００７４】
照合の前に、対象の画像を登録画像として保存しておく。具体的には、まず、実施の形態１で説明した処理により、撮影部１０１で撮影した画像を登録データ管理部３０６が取得する（ステップＳ８０１）。
【００７５】
次に、登録データ管理部３０６は、ユーザが入力した被写体の名称などの識別情報を情報入力部３０５から取得する（ステップＳ８０２）。
【００７６】
次に、登録データ管理部３０６は、ステップＳ８０１で入力した画像を登録画像として、ステップＳ８０２で入力した識別情報と共に、画像データベース３０４に格納する（ステップＳ８０３）。
【００７７】
以上の処理を、照合対象の物体すべてに対して行う。また、一つの照合対象の物体に対して、複数の登録画像を登録することが好ましい。次に述べる照合の動作において、照合する登録画像が多いほど、照合を正確に行うことができるからである。
【００７８】
次に、照合対象の照合方法について以下に具体的に説明する。
【００７９】
図８（ｂ）は本実施の形態における照合の動作を説明するフローチャートである。
【００８０】
まず、ユーザが情報入力部３０５から照合対象人物の名前を入力する（ステップＳ８０４）。
【００８１】
次に、登録データ管理部７０４は、この名前に該当する登録画像を画像データベース３０４から抽出して画像合成部３０１に出力する。同時に、撮影部１０１は、撮影を開始し現在の被写体の画像を画像合成部３０１に送出する（ステップＳ８０５）。図１２（ａ）は抽出した登録画像であり、図１２（ｃ）は現在の撮影画像である。
【００８２】
次に、画像合成部３０１が実施の形態２で示した処理により、登録画像に透過処理をした後、撮影画像と合成する。そして、その合成した画像を画像表示部１０４に出力し、表示する（ステップＳ８０６）。図１２（ｂ）は登録画像に透過処理した後の画像であり、図１２（ｄ）は透過処理した画像と、撮影画像との合成画像である。
【００８３】
次に、ユーザは、画像表示部１０４の画面に表示された撮影画像と登録画像を見比べながら、所定の特徴点の全てが検出できている画像であって、登録画像と同じ位置、大きさで撮影された画像が表示しているとき、照合指示部７０３に照合の指示をする（ステップＳ８０７）。照合部７０１は、ユーザに指定された照合用の顔画像と、登録画像を照合して（ステップＳ８０８）、照合の顔画像が登録画像の顔と同一人物かを出力部７０２に出力する（ステップＳ８０９）。
【００８４】
ここで、照合部７０１が行う照合処理について説明する。
【００８５】
図１４（ａ）は現在の撮影画像であり、図１４（ｂ）は登録画像である。
【００８６】
撮影画像の各画素の濃淡の値をａ１１、ａ１２、ａ１３、・・・ａ２１、ａ２２、・・・とし、登録画像の各画素の濃淡の値をｂ１１、ｂ１２、ｂ１３、・・・ｂ２１、ｂ２２、・・・とすると、撮影画像と登録画像の距離ｄは、（式１）で表される。
【００８７】
ｄ＝（ａ１１−ｂ１１）×（ａ１１−ｂ１１）＋  （ａ１２−ｂ１２）×（ａ１２−ｂ１２）＋・・・  （１）
この距離ｄの値が小さいほど両画像が類似していることを示す。
【００８８】
照合部７０１はこの距離の計算を、画像データベース３０４に登録してある、この識別情報に対応する全ての登録画像に対して実施する。その中で、最も距離の小さい値が、所定の値以下であったとき、ステップＳ８０７において照合の成功を出力する。
【００８９】
また、別の照合処理方法としては、正規化相関を用いたテンプレートマッチングの方法がある。
【００９０】
撮影画像における各画素の濃淡値の平均をｍ１、登録画像における各画素の濃淡値の平均をｍ２とし、ベクトル量Ａとベクトル量Ｂとを（式２）と（式３）とから求める。
【００９１】
ベクトルＡ＝（  ａ１１−ｍ１，  ａ１２−ｍ１，  ａ１３−ｍ１，・・・）                （２）
ベクトルＢ＝（  ｂ１１−ｍ２，  ｂ１２−ｍ２，  ｂ１３−ｍ２，・・・）                （３）
このとき、撮影画像と登録画像の正規化相関Ｃは（式４）で表される。
【００９２】
Ｃ＝Ａ・Ｂ÷（｜Ａ｜｜Ｂ｜）                （４）
但し、Ａ・ＢはＡとＢの内積、｜Ａ｜，  ｜Ｂ｜はベクトルの大きさを表す。
【００９３】
この正規化相関Ｃの値が大きいほど撮影画像と登録画像とは類似していることを示す。
【００９４】
照合部７０１はこの正規化相関Ｃの計算を、画像データベース３０４に登録してある、この識別情報に対応する全ての登録画像に対して実施する。その中で、最も正規化相関Ｃの大きい値が、所定の値以上であったとき、ステップＳ８０９において照合の成功を出力する。
【００９５】
以上のように、本実施の形態においては、透過処理された登録画像と、撮影部１０１から入力した画像と、その画像について検出した特徴点を示す指標とを、画像合成部３０１で合成し、それを表示することにより、ユーザが登録時とほぼ同じ大きさ・位置・姿勢で撮影することが容易になる。これにより、照合に適する画像を取得することが可能になる。
【００９６】
また、この撮影された画像は、照合のための位置合わせが僅かで済むので、位置や、大きさを合わせる処理時間が短縮でき、照合の精度が向上するとともに、照合に要する時間も短くすることが可能になる。
【００９７】
（実施の形態５）
図９は、本発明の実施の形態５における画像照合装置のブロック構成図を示している。
【００９８】
図９において、登録データ管理部９０１は撮影された画像を登録画像として、情報入力部３０５から入力した識別情報と共に画像データベース３０４に格納したり、この登録画像から抽出された特徴点の座標を識別情報と共に特徴量データベース５０１に格納したり、逆に、画像データベース３０４や特徴量データベース５０１から識別情報に基づいて登録画像や特徴点の座標を抽出したりするものである。その他に、この画像照合装置は、画像合成部１０３が透過処理部３０３を有していない点と、特徴量データベース５０１を有している点とが実施の形態４と異なる。
【００９９】
以上のように構成された画像照合装置について、以下にその動作を説明する。図１０（ａ）は本実施の形態における画像の登録の動作を示すフローチャートである。図１３（ａ）乃至（ｄ）は、登録画像と、登録画像から抽出した特徴点を示す指標と、照合画像撮影時に撮影した画像と、撮影画像と登録画像の特徴点を重ねた合成画像である。
【０１００】
実施の形態４と同様に、照合の前に、照合対象の画像を登録画像として保存しておく。具体的には、まず、実施の形態１で説明した処理により撮影部１０１が撮影した画像を登録データ管理部９０１と特徴点検出部１０２とへ送出する（ステップＳ１００１）。
【０１０１】
次に、特徴点検出部１０２が、その画像の特徴点や輪郭を検出し、登録データ管理部９０１へ送出する（ステップＳ１００２）。
【０１０２】
次に、登録データ管理部９０１は、ユーザが入力した被写体の名称などの識別情報を情報入力部３０５から受け取る（ステップＳ１００３）。
【０１０３】
次に、登録データ管理部３０６は、撮影部１０１から受け取った画像を登録画像として、情報入力部３０５からの識別情報と共に、画像データベース３０４に格納する（ステップＳ１００４）。
【０１０４】
次に、登録データ管理部９０１は、特徴点検出部１０２から受け取った特徴点や輪郭を、その識別情報と共に、特徴量データベース５０１に格納する（ステップＳ１００５）。
【０１０５】
以上の処理を、照合対象の物体すべてに対して行う。また、一つの照合対象の物体に対して、複数の登録画像を登録することが好ましい。次に述べる照合の動作において、照合する登録画像が多いほど、照合を正確に行うことができるからである。
【０１０６】
次に、照合対象の照合方法について以下に具体的に説明する。
【０１０７】
図１０（ｂ）は、本実施の形態における照合処理を説明するフローチャートである。
【０１０８】
まず、ユーザが情報入力部３０５から照合対象人物の名前を入力する（ステップＳ１００６）。
【０１０９】
次に、登録データ管理部９０１は、この名前に該当する登録画像の特徴点の座標を特徴量データベース５０１から抽出して画像合成部１０３に出力する。同時に、撮影部１０１は、撮影を開始し現在の被写体の画像を画像合成部１０３に送出する（ステップＳ１００７）。
【０１１０】
次に、画像合成部１０３は、実施の形態３と同じく、登録データ管理部９０１から入力した登録画像の特徴点の座標を撮影部１０１から入力した画像上に重ねて画像表示部１０４に出力する（ステップＳ１００８）。
【０１１１】
次に、ユーザは、画像表示部１０４の画面に表示された撮影画像と特徴点の位置を見比べながら、登録画像中の特徴点の位置と撮影画像中の目・鼻・口が重なった時点で、撮影された画像を照合用の画像として指定する（ステップＳ１００９）。
【０１１２】
次に行う照合部７０１の処理（ステップＳ１０１０）と照合結果の処理（ステップＳ１０１１）とは、実施の形態４に示したステップＳ８０６とステップＳ８０７と同一である。
【０１１３】
なお、本実施の形態では、顔の特徴点と輪郭の両方を用いたが、特徴点および輪郭のいずれか一方のみを用いても良い。また、特徴点を示す指標の表示は、登録画像のものと、現在の撮影したものとの区別をつけるために、色や形や大きさを変えることが好ましい。
【０１１４】
これにより、本実施の形態では、撮影部１０１から入力した画像と、その画像から検出された特徴点と、登録画像から抽出した特徴点とを、画像表示部１０４で重ねて表示することにより、ユーザが登録時とほぼ同じ大きさ・位置・姿勢で撮影することが容易になる。これにより、照合に適する画像を取得することが可能になる。
【０１１５】
また、この撮影された画像は、照合のための位置合わせが僅かで済むので、位置や、大きさを合わせる処理時間が短縮でき、照合の精度が向上するとともに、照合に要する時間も短くすることが可能になる。
【０１１６】
【発明の効果】
本発明により、特徴点がはっきり写った照合に適する画像を撮影することが可能になる。また、照合時には、登録時とほぼ同じ位置・大きさ・姿勢の、照合に適する画像を取得することが可能になる。これにより、照合のための処理時間の短縮と、照合の精度の向上を図れる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像撮影装置のブロック構成図
【図２】本発明の実施の形態１による画像撮影装置の処理を示すフローチャート
【図３】本発明の実施の形態２による画像撮影装置のブロック構成図
【図４】本発明の実施の形態２による画像撮影装置の処理を示すフローチャート
【図５】本発明の実施の形態３による画像撮影装置のブロック構成図
【図６】本発明の実施の形態３による画像撮影装置の処理を示すフローチャート
【図７】本発明の実施の形態４による画像照合装置のブロック構成図
【図８】（ａ）本発明の実施の形態４における画像の登録動作を示すフローチャート
（ｂ）本発明の実施の形態４における画像の照合の動作を示すフローチャート
【図９】本発明の実施の形態５による画像照合装置のブロック構成図
【図１０】（ａ）本発明の実施の形態５における画像の登録の動作を示すフローチャート（ｂ）本発明の実施の形態５における画像の照合の動作を示すフローチャート
【図１１】（ａ）本発明の実施の形態１における撮影画像を示す図
（ｂ）本発明の実施の形態１における合成画像を示す図
【図１２】（ａ）本発明の実施の形態２における登録画像を示す図
（ｂ）本発明の実施の形態２における透過処理後の画像を示す図
（ｃ）本発明の実施の形態２における撮影画像を示す図
（ｄ）本発明の実施の形態２における合成画像を示す図
【図１３】（ａ）本発明の実施の形態３における登録画像を示す図
（ｂ）本発明の実施の形態２における特徴点を示す図
（ｃ）本発明の実施の形態２における撮影画像を示す図
（ｄ）本発明の実施の形態２における合成画像を示す図
【図１４】（ａ）本発明の実施の形態４における撮影画像を示す図
（ｂ）本発明の実施の形態４における登録画像を示す図
【図１５】従来の画像照合装置を示すブロック構成図
【図１６】従来の画像照合装置を示すブロック構成図
【符号の説明】
１０１  撮影部
１０２  特徴点検出部
１０３、３０１  画像合成部
１０４  画像表示部
３０２  合成部
３０３  透過処理部
３０４  画像データベース
３０５  情報入力部
３０６、７０４、９０１  登録データ管理部
５０１  特徴量データベース
７０１  照合部
７０２  出力部
７０３  照合指示部
１５０１  入力手段
１５０２  表示手段
１５０３  枠表示手段
１５０４  認証手段
１５０５  生体情報確認手段
１６１０  画像入力部
１６２０  顔領域検出部
１６３０  特徴点検出部
１６４０  正規化部
１６５０  認証部
【図１】
2004341992.tif 000003
【図２】
2004341992.tif 000004
【図３】
2004341992.tif 000005
【図４】
2004341992.tif 000006
【図５】
2004341992.tif 000007
【図６】
2004341992.tif 000008
【図７】
2004341992.tif 000009
【図８】
2004341992.tif 000010
【図９】
2004341992.tif 000011
【図１０】
2004341992.tif 000012
【図１１】
2004341992.tif 000013
【図１２】
2004341992.tif 000014
【図１３】
2004341992.tif 000015
【図１４】
2004341992.tif 000016
【図１５】
2004341992.tif 000017
【図１６】
2004341992.tif 000018