(57)【要約】【課題】  簡易に顔画像付きのカードを作成できるようにする。【解決手段】  目位置検出部２１が顔画像Ｓ０の目の中心位置を検出し、規格化部２２が両目の中心位置間の距離を規格化して規格化顔画像Ｓ１を得る。切り出し部２３が規格化顔画像Ｓ１における両目の中心位置間の距離を基準として、所定の規格サイズを有するトリミング枠を規格化顔画像Ｓ１に設定してカード用画像Ｓ２を切り出す。データ生成部１４がカード用画像Ｓ２とユーザＵ０の個人情報Ｉ０とからカード用データＳ３を生成し、カードプリンタ１６がカード用データＳ３をカード原盤にプリントして顔画像付きカード１００を作成する。【選択図】          図１
2005084980.tif 000002
【特許請求の範囲】
【請求項１】
顔画像が付与された顔画像付きカードを作成するための顔画像付きカード用データを生成する装置において、
人物の顔を撮影して顔画像を取得する撮影手段と、
前記顔画像における目の中心位置を検出する目位置検出手段と、
前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得る規格化手段と、
該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有するカード用画像を前記規格化顔画像から切り出す切り出し手段と、
前記カード用画像および前記顔画像を得た人物の個人情報に基づいて前記顔画像付きカード用データを生成するデータ生成手段とを備えたことを特徴とする顔画像付きカード用データ生成装置。
【請求項２】
前記個人情報を、多数の人物についての個人情報が保管された外部の個人情報保管手段から取得する個人情報取得手段をさらに備えたことを特徴とする請求項１記載の顔画像付きカード用データ生成装置。
【請求項３】
前記目位置検出手段は、前記目の中心位置の識別に用いる少なくとも１つの特徴量を前記顔画像から算出する特徴量算出手段と、
顔であることが分かっている、前記目の中心位置および／または位置関係が正規化された複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記少なくとも１つの特徴量をマシンラーニングの手法によりあらかじめ学習することにより得られた、前記少なくとも１つの特徴量と該少なくとも１つの特徴量の各々に対応する識別条件とをあらかじめ規定する参照データを、前記顔画像から算出された少なくとも１つの特徴量に基づいて参照して、前記顔画像に含まれる前記目の中心位置の識別を行う識別手段とを備えたことを特徴とする請求項１または２記載の顔画像付きカード用データ生成装置。
【請求項４】
請求項１から３のいずれか１項記載の顔画像付きカード用データ生成装置により生成された前記顔画像付きカード用データをプリント出力して顔画像付きカードを作成するプリント手段を備えたことを特徴とする顔画像付きカード作成装置。
【請求項５】
前記顔画像付きカードに前記顔画像の人物の個人情報を含む各種情報を記憶する情報記憶部が付与されてなる場合において、該情報記憶部に前記各種情報を記憶する情報記憶手段をさらに備えたことを特徴とする請求項４記載の顔画像付きカード作成装置。
【請求項６】
顔画像が付与された顔画像付きカードを作成するための顔画像付きカード用データを生成する方法において、
人物の顔を撮影して顔画像を取得し、
前記顔画像における目の中心位置を検出し、
前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得、
該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有するカード用画像を前記規格化顔画像から切り出し、
前記カード用画像および前記顔画像を得た人物の個人情報に基づいて前記顔画像付きカード用データを生成することを特徴とする顔画像付きカード用データ生成方法。
【請求項７】
顔画像が付与された顔画像付きカードを作成するための顔画像付きカード用データを生成する方法をコンピュータに実行させるためのプログラムにおいて、
人物の顔を撮影して顔画像を取得する手順と、
前記顔画像における目の中心位置を検出する手順と、
前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得る手順と、
該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有するカード用画像を前記規格化顔画像から切り出す手順と、
前記カード用画像および前記顔画像を得た人物の個人情報に基づいて前記顔画像付きカード用データを生成する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像付きのカードを作成するための顔画像付きカード用データ生成装置および方法、顔画像付きカード作成装置および方法、並びに顔画像付きカード用データ生成方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、個人を特定するために顔画像を付与したＩＤカードが用いられている（特許文献１参照）。このＩＤカードの作成方法は、氏名と社員コード等を示すバーコードとが表示された名札とともに人物を撮影して印画紙にプリントし、この印画紙にプリントされた顔画像とバーコードとをスキャナで読み取り、読み取ったバーコードにより各社員の氏名、生年月日その他の属性データが登録されているデータファイルから対応する顔画像の属性データを求め、これをプリンタ部へ出力する。プリンタ部は上記属性データをＩＤカード上に文字データとしてプリント出力すると同時に、読み取った顔画像の画像データを内部処理によって顔画像の部分のみをトリミングし、ＩＤカード上にプリント出力するようにしている。
【０００３】
一方、人物の上半身が撮影された画像から人物の顔が所定サイズのトリミング枠の所定の位置に入るように自動的にトリミングする自動トリミング装置が提案されている（特許文献２参照）。この自動トリミング装置は、トリミングに際して以下のように顔の位置を決定している。まず、人物の上半身が撮影された画像から人物の頭頂部を検出し、続いて頭頂部の下方近傍の肌色の領域を抽出し、この領域を人物の顔画像として認識する。このようにして認識した顔画像から顎の位置を検出し、検出した頭頂部および顎の位置から顔の位置を決定している。
【０００４】
また、ＩＤカードに個人を特定するための個人情報を記憶し、機密エリアへの入退室時や情報システムのアクセス時に、ＩＤカードから個人情報を読み出し、あらかじめ登録された個人情報と比較することにより個人を認証することが行われている。このように個人情報を記憶するＩＤカードとしては、磁気テープを付与してそこに個人情報を記憶するものが用いられていたが、半導体チップを付与して半導体チップに個人情報を記憶するようにしたいわゆるＩＣカードも提案されている。
【特許文献１】特開平６−１９９０８０号公報
【特許文献２】特開２０００−３６０３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１には、読み取った顔画像の画像データを内部処理によって顔画像の部分のみをトリミングしているが、内部処理についての具体的な記載はなされていない。
【０００６】
一方、特許文献２には、具体的にトリミングを行う手法が記載されているが、肌の色を用いているため、人物の肌の色が異なるとトリミングの精度が低下する。
【０００７】
また、トリミングを行う画像を得るために人物の撮影を行う場合、撮影時における撮像装置からの距離および画角内における人物の位置（以下撮影位置とする）に応じて、顔画像に含まれる顔のサイズや顔の位置が変化するため、撮影位置に応じて顔画像に含まれる顔のサイズや位置が異なる場合が生じる。このように、撮影位置が異なることにより顔画像に含まれる顔のサイズや位置が異なると、トリミングを精度よく行うことができなくなってしまう。この場合、撮影位置を正確に定めて撮影を行えばよいが、撮影を行う毎にそのように正確に撮影位置を定めることは非常に煩わしい。
【０００８】
本発明は上記事情に鑑みなされたものであり、簡易に顔画像付きのカードを作成できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明による顔画像付きカード用データ生成装置は、顔画像が付与された顔画像付きカードを作成するための顔画像付きカード用データを生成する装置において、
人物の顔を撮影して顔画像を取得する撮影手段と、
前記顔画像における目の中心位置を検出する目位置検出手段と、
前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得る規格化手段と、
該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有するカード用画像を前記規格化顔画像から切り出す切り出し手段と、
前記カード用画像および前記顔画像を得た人物の個人情報に基づいて前記顔画像付きカード用データを生成するデータ生成手段とを備えたことを特徴とするものである。
【００１０】
「規格サイズ」とは、所定の解像度のプリンタ等の出力手段により画像を出力した際に、一定サイズの画像内の決められた位置に、一定サイズの顔が含まれるとともに、頭頂部、顎の先端部および左右の耳等の顔の縁部から画像の縁部までの距離が一定サイズとなるように規格化された画像が得られるようなサイズをいう。なお、画像のサイズ、顔のサイズおよび顔の縁部から画像の縁部までのサイズは許容される範囲内の多少の誤差を持っていてもよい。
【００１１】
なお、本発明による顔画像付きカード用データ生成装置においては、前記個人情報を、多数の人物についての個人情報が保管された外部の個人情報保管手段から取得する個人情報取得手段をさらに備えるものとしてもよい。
【００１２】
また、本発明による顔画像付きカード用データ生成装置においては、前記目位置検出手段を、前記目の中心位置の識別に用いる少なくとも１つの特徴量を前記顔画像から算出する特徴量算出手段と、
顔であることが分かっている、前記目の中心位置および／または位置関係が正規化された複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記少なくとも１つの特徴量をマシンラーニングの手法によりあらかじめ学習することにより得られた、前記少なくとも１つの特徴量と該少なくとも１つの特徴量の各々に対応する識別条件とをあらかじめ規定する参照データを、前記顔画像から算出された少なくとも１つの特徴量に基づいて参照して、前記顔画像に含まれる前記目の中心位置の識別を行う識別手段とを備えるものとしてもよい。
【００１３】
「特徴量」とは、画像の特徴を表すパラメータを指し、その画像における各画素の濃度勾配を表す勾配ベクトル、各画素の色情報（色相、彩度）、濃度、テクスチャーの特徴、奥行情報、その画像に含まれるエッジの特徴等、いかなる特徴を表すものであってもよい。
【００１４】
「識別条件」とは、特徴量を指標とした、目の中心位置を識別する条件を指す。
【００１５】
「マシンラーニング（machine learning）の手法」としては、例えば、ニューラルネットワーク、ブースティング等の既知の手法を用いることができる。
【００１６】
本発明による顔画像付きカード作成装置は、本発明による顔画像付きカード用データ生成装置により生成された前記顔画像付きカード用データをプリント出力して顔画像付きカードを作成するプリント手段を備えたことを特徴とするものである。
【００１７】
なお、本発明による顔画像付きカード作成装置においては、前記顔画像付きカードに前記顔画像の人物の個人情報を含む各種情報を記憶する情報記憶部が付与されてなる場合において、該情報記憶部に前記各種情報を記憶する情報記憶手段をさらに備えるものとしてもよい。
【００１８】
本発明による顔画像付きカード用データ生成方法は、顔画像が付与された顔画像付きカードを作成するための顔画像付きカード用データを生成する方法において、
人物の顔を撮影して顔画像を取得し、
前記顔画像における目の中心位置を検出し、
前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得、
該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有するカード用画像を前記規格化顔画像から切り出し、
前記カード用画像および前記顔画像を得た人物の個人情報に基づいて前記顔画像付きカード用データを生成することを特徴とするものである。
【００１９】
なお、本発明による顔画像付きカード用データ生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２０】
本発明によれば、人物の顔を撮影することにより顔画像が取得され、顔画像における目の中心位置が検出され、検出された両目の中心位置間の距離が所定値となるように顔画像が規格化される。また、規格化顔画像において、両目の中心位置間の距離を基準とした所定の規格サイズを有するカード用画像が規格化顔画像から切り出される。そして、カード用画像および顔画像を得た人物の個人情報に基づいて、顔画像付きカード用データが生成される。さらに、顔画像付きカード用データがプリント出力されて顔画像付きカードが作成される。
【００２１】
このように、本発明においては、両目の中心位置間の距離が所定値となるように顔画像を規格化した後に、規格化画像における両目の中心位置間の距離を基準とした所定の規格サイズを有するカード用画像を規格化後の顔画像から切り出しているため、人物の撮影位置に拘わらず常に同一規格サイズを有するカード用画像を得ることができる。したがって、顔画像に含まれる顔のサイズや位置が顔画像毎に異なっていても、精度よく同一規格サイズを有するカード用画像を切り出すことができ、これにより、撮影時に撮影位置を正確に定める煩わしさをなくすことができる。
【００２２】
また、多数の人物についての個人情報が保管された外部の個人情報保管手段から個人情報を取得することにより、個々の装置毎に個人情報を管理する必要がなくなるため、個人情報のセキュリティを向上させることができる。
【００２３】
また、請求項３に係る本願発明によれば、顔画像から少なくとも１つの特徴量が算出される。そして、顔画像から算出された少なくとも１つの特徴量に基づいて参照データが参照されて、顔画像に含まれる目の中心位置の識別が行われる。
【００２４】
ここで、参照データを得る際の学習に用いられる顔であることが分かっているサンプル画像は、目の中心位置および／または位置関係が正規化されているため、顔画像における顔の位置が特定されれば、その顔における目の中心位置は、サンプル画像における目の中心位置に対応したものとなる。また、顔画像における目が前髪に隠れている等して不鮮明であっても、顔画像には顔の特徴を表す特徴量が含まれているため、顔画像に含まれる顔の位置さらには目の中心位置を識別できる。したがって、顔画像における目の中心位置を精度よく識別することができる。
【００２５】
また、参照データをマシンラーニングの手法によりあらかじめ学習して得ることにより、目の中心位置の識別性能をより向上させることができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による顔画像付きカード作成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による顔画像付きカード作成装置１は、カードを作成しようとする人物であるユーザＵ０の顔を撮影して顔画像を表す顔画像データＳ０を取得するデジタルカメラ等の撮影部１０、撮影部１０が取得した顔画像データＳ０の入力を受け付ける画像入力部１１、顔画像データＳ０により表される顔画像（以下顔画像についても参照符号Ｓ０を用いる）からあらかじめ定められた規格サイズを有するカード用画像Ｓ２を抽出する画像抽出部１２、ネットワーク２を経由して接続された個人情報を管理する外部の個人情報管理サーバ３からユーザＵ０の個人情報Ｉ０を取得するネットワークインターフェース等からなる個人情報取得部１３、カード用画像Ｓ２および個人情報Ｉ０から顔画像付きカードを作成するためのカード用データＳ３を生成するデータ生成部１４、カード原盤に付与されたＩＣチップ１０１に個人情報Ｉ０を含む各種情報を記憶する情報記憶部１５、カード用データＳ３をプリント出力して顔画像付きカード１００を取得するカードプリンタ１６、および各種情報のマニュアル入力を受け付けるキーボード等の入力部１７を備える。
【００２７】
なお、本実施形態において作成する顔写真付きカードとしては、運転免許証、住基ネットカード、社員カード、学生証、パスポート、および診察券等が挙げられる。
【００２８】
画像抽出部１２は、顔画像Ｓ０に含まれる顔の目の中心位置を検出する目位置検出部２１、検出した両目の中心位置間の距離が所定値となるように顔画像Ｓ０を規格化して規格化顔画像Ｓ１を得る規格化部２２、および規格化顔画像Ｓ１における両目の中心位置間の距離を基準として規格サイズのカード用画像Ｓ２を顔画像Ｓ０から切り出す切り出し部２３を備える。
【００２９】
図２は目位置検出部２１の構成を示す概略ブロック図である。図２に示すように目位置検出部２１は、顔画像Ｓ０から特徴量Ｃ０を算出する特徴量算出部３１、後述する参照データＲ１が格納されているメモリ３２、特徴量算出部３１が算出した特徴量Ｃ０とメモリ３２内の参照データＲ１とに基づいて、顔画像Ｓ０に含まれる顔における目の中心位置を識別する識別部３３、識別部３３による識別結果を出力する出力部３４とを備える。
【００３０】
なお、本実施形態において目の中心位置とは、顔における目尻から目頭の間の中心位置であり、図３（ａ）に示すように正面を向いた目の場合においては瞳の位置（図中×で示す）となる。一方、図３（ｂ）に示すように右を向いた目の場合は瞳の位置ではなく、白目部分が目の中心位置となる。
【００３１】
特徴量算出部３１は、目の中心位置の識別に用いる特徴量Ｃ０を顔画像Ｓ０から算出する。具体的には、勾配ベクトル（すなわち顔画像Ｓ０上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部３１は、顔画像Ｓ０に対して図４（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して顔画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部３１は、顔画像Ｓ０に対して図４（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して顔画像Ｓ０における垂直方向のエッジを検出する。そして、顔画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図５に示すように、各画素における勾配ベクトルＫを算出する。なお、特徴量算出部３１は、後述するように顔画像Ｓ０の変形の各段階において特徴量Ｃ０を算出する。
【００３２】
なお、このようにして算出された勾配ベクトルＫは、図６（ａ）に示すような人物の顔の場合、図６（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫの大きさは口よりも目の方が大きくなる。
【００３３】
そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図５におけるｘ方向）を基準とした０から３５９度の値となる。
【００３４】
ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、顔画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が顔画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図７（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図７（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図７（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図７（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。
【００３５】
メモリ３２内に格納されている参照データＲ１は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。
【００３６】
参照データＲ１中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。
【００３７】
なお、本実施形態においては、参照データＲ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図８に示すように両目の中心間の距離が１０画素のものを用いるものとする。ここで、すべてのサンプル画像において目の中心位置は同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）（サンプル画像の右目）、（ｘ２，ｙ２）（左目）とする。そして、参照データＲ１の学習に用いられるサンプル画像における目の中心位置を、本実施形態において識別する目の中心位置とする。
【００３８】
また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。
【００３９】
以下、図９のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。
【００４０】
学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳ１）。
【００４１】
次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（ステップＳ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。
【００４２】
図１０を参照しながらある識別器の作成について説明する。図１０の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）4通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。
【００４３】
組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９4通りとなるため、特徴量Ｃ０のデータ数を低減できる。
【００４４】
同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１０の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。
【００４５】
続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（ステップＳ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。
【００４６】
次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。
【００４７】
ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。
【００４８】
次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（ステップＳ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。
【００４９】
続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。
【００５０】
以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（ステップＳ７）、これにより参照データＲ１の学習を終了する。
【００５１】
なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１０の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
【００５２】
また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
【００５３】
識別部３３は、顔画像Ｓ０上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて参照データＲ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の中心位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。
【００５４】
ここで、顔画像Ｓ０に含まれる顔のサイズは３０×３０画素のサンプル画像に含まれる顔とは異なり、各種サイズを有するものとなっている。また、平面上における顔の回転角度が０度であるとは限らない。このため、識別部３３は、図１１に示すように、顔画像Ｓ０を縦または横のサイズが３０画素（必要であればそれ以下）となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１１においては縮小する状態を示す）、各段階において拡大縮小された顔画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像における目の中心位置の識別を行う。
【００５５】
なお、特徴量算出部３１は、顔画像の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【００５６】
そして、本実施形態では、抽出された顔画像の変形の全段階においてすべての識別ポイントを加算し、加算値が最も大きい変形の段階における３０×３０画素のマスクＭ内にサンプル画像に適合するサイズの顔が含まれると識別し、マスクＭ内の画像に左上隅を原点とする座標を設定し、サンプル画像における目の中心位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の顔画像Ｓ０におけるこの位置に対応する位置を目の中心位置と識別する。この両目の中心位置の座標を（ｘ３，ｙ３）（顔画像Ｓ０に含まれる顔の右目）、（ｘ４，ｙ４）（左目）とする。なお、ｙ３＝ｙ４である。
【００５７】
出力部３４は、識別部３３が識別した目の中心位置を表す座標値（ｘ３，ｙ３）、（ｘ４，ｙ４）を出力する。
【００５８】
規格化部２２は、目位置検出部２１が検出した両目の中心位置の座標（ｘ３，ｙ３）、（ｘ４，ｙ４）に基づいて、顔画像Ｓ０から検出された両目の中心位置間の距離Ｄ０を算出し、この距離Ｄ０があらかじめ定められた所定値Ｄ１となるように、顔画像Ｓ０を拡大縮小することにより顔画像Ｓ０を規格化して規格化顔画像Ｓ１を得る。ここで、ｙ３＝ｙ４であることから顔画像Ｓ０における両目の中心間の画素数はｘ４−ｘ３となる。なお、所定値Ｄ１は後述する規格サイズのカード用画像Ｓ２が得られるような画素数に定められる。また、規格化顔画像Ｓ１においては、両目の中心間距離はＤ１となる。また、拡大縮小時の拡大率に応じて、規格化顔画像Ｓ１上における両目の中心位置を算出することが可能であり、規格化顔画像Ｓ１における両目の中心位置の座標を（ｘ５，ｙ５）（規格化顔画像Ｓ１に含まれる顔の右目）、（ｘ６，ｙ６）（左目）とする。なお、ｙ５＝ｙ６であることから規格化顔画像Ｓ１における両目の中心間の画素数はｘ５−ｘ６となる。
【００５９】
切り出し部２３は、顔画像付きカード１００を作成した際に、図１２に示すように顔の長さ（すなわち顔の頭頂部から顎の先端部までの距離）が２７±２ｍｍ、頭頂部からトリミング枠上辺までの距離が７±２ｍｍ、横方向の長さが３５ｍｍ、縦方向の長さが４５ｍｍとなる顔画像が得られるように、規格化顔画像Ｓ１からあらかじめ定められた規格サイズのカード用画像Ｓ２を切り出す。具体的には下記のようにして規格化顔画像Ｓ１からカード用画像Ｓ２を切り出す。図１３はカード用画像Ｓ２の切り出しを説明するための図である。図１３に示すように、切り出し部２３は、規格化顔画像Ｓ１上において、両目の中心位置間の距離Ｄ１の垂直二等分線Ｌを設定する。ここで、切り出し部２３は、トリミング枠の左辺および右辺の位置を定めるパラメータＳｘを保管しており、垂直二等分線Ｌから左右にそれぞれ距離１／２Ｄ１×Ｓｘの位置にトリミング枠の左辺および右辺の位置を定める。
【００６０】
また、切り出し部２３は、トリミング枠の上辺および下辺の位置を定めるパラメータＳｙ１，Ｓｙ２を保管しており、各目の中心位置のｙ座標ｙ５，ｙ６を基準として上方向に距離Ｄ１×Ｓｙ１の位置にトリミング枠の上辺の位置を、下方向に距離Ｄ１×Ｓｙ２の位置にトリミング枠の下辺の位置を定める。
【００６１】
ここで、パラメータＳｘは、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図１２に示す規格サイズの画像を得ることが可能なサイズを有する多数のサンプル画像について、両目の中心位置間の距離Ｄ１の垂直二等分線Ｌからのサンプル画像の左辺および右辺までの距離Ｄ１０，Ｄ１１を求め、すべてのサンプル画像について、Ｄ１０＋Ｄ１１とＤ１×Ｓｘとの誤差が最小となるようにＳｘの値を定めることにより求められる。
【００６２】
また、パラメータＳｙ１は、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図１２に示す規格サイズの画像を得ることが可能なサイズを有する多数のサンプル画像について、両目の中心位置のｙ座標の位置からサンプル画像の上辺までの距離Ｄ１２を求め、すべてのサンプル画像について、Ｄ１２とＤ１×Ｓｙ１との誤差が最小となるようにＳｙ１の値を定めることにより求められる。
【００６３】
また、パラメータＳｙ２は、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図１２に示す規格サイズの画像を得ることが可能なサイズを有する多数のサンプル画像について、両目の中心位置のｙ座標の位置からサンプル画像の下辺までの距離Ｄ１３を求め、すべてのサンプル画像について、Ｄ１３とＤ１×Ｓｙ２との誤差が最小となるようにＳｙ１の値を定めることにより求められる。
【００６４】
なお、具体的には、各パラメータの比率がＳｘ：Ｓｙ１：Ｓｙ２＝５．０４：３．０１：３．４７となるようなパラメータＳｘ，Ｓｙ１，Ｓｙ２を用いる。
【００６５】
個人情報取得部１３は、多数の人物についての個人情報を管理する外部の個人情報管理サーバ３にネットワーク２経由でアクセスして、顔画像付きカード１００を作成しようとしているユーザＵ０の個人情報Ｉ０を取得する。具体的には、ユーザＵ０が入力部１７からユーザＵ０を特定する情報（例えば名前、顔画像付きカードが運転免許証の場合には免許証番号、パスポートの場合のパスポート番号、住基ネットカードの場合には住基ネット番号等）を入力すると、個人情報取得部１３がユーザＵ０を特定する情報を個人情報管理サーバ３に送信し、個人情報管理サーバ３がユーザＵ０を特定する情報により個人情報Ｉ０を検索して個人情報取得部１３に送信することにより、個人情報取得部１３はユーザＵ０の個人情報Ｉ０を取得することができる。このため、個人情報管理サーバ３は、複数の人物の個人情報と、個人を特定する情報とを対応づけて保管している。
【００６６】
データ生成部１４は、カード用画像Ｓ２と個人情報Ｉ０とを合成して、ユーザＵ０の顔画像、名前、住所、およびユーザＵ０固有の番号等をカード原盤上にプリントすることが可能なフォーマットを有するカード用データＳ３を生成する。例えば、図１４に示すように左側にユーザＵ０の名前および番号が、右側にユーザＵ０の顔画像をプリントすることが可能なようにカード用データＳ３を生成する。なお、カード用データＳ３には、顔画像付きカード１００を発行する官公庁、会社、病院、学校等の固有のロゴおよび固有名称等を含ませるようにしてもよい。なお、固有のロゴや固有名称はあらかじめカード原盤に印刷しておいてもよい。
【００６７】
情報記憶部１５は、ユーザＵ０の個人情報Ｉ０をカード原盤に設けられたＩＣチップ１０１に記憶する。
【００６８】
カードプリンタ１６は、ＩＣチップ１０１に個人情報Ｉ０が記憶されたカード原盤にカード用データＳ３をプリントして顔画像付きカード１００を生成する。
【００６９】
図１５は顔画像付きカード１００の例を示す図である。図１５に示すように顔画像付きカード１００にはＩＣチップ１０１が付与され、ここに情報記憶部１５がユーザＵ０の個人情報Ｉ０を記憶する。また、顔画像付きカード１００の左側にはユーザＵ０の名前および番号が、右側にはユーザＵ０の顔画像がプリントされている。
【００７０】
次いで、本実施形態において行われる処理について説明する。図１６は本実施形態において行われる処理を示すフローチャートである。
【００７１】
まず、撮影部１０が顔画像付きカード１００を作成しようとしているユーザＵ０の顔を撮影して顔画像データＳ０を取得し（ステップＳ１１）、画像入力部１１がユーザＵ０の顔画像データＳ０の入力を受け付ける（ステップＳ１２）。次いで、画像抽出部１２の目位置検出部２１における特徴量算出部３１が顔画像Ｓ０の拡大縮小および回転の各段階において、顔画像Ｓ０の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（ステップＳ１３）。そして、識別部３３がメモリ３２から参照データＲ１を読み出し（ステップＳ１４）、顔画像Ｓ０における目の中心位置を識別する（ステップＳ１５）。次いで、出力部３４が目の中心位置の座標値を出力する（ステップＳ１６）。
【００７２】
続いて、規格化部２２が両目の中心位置間の距離Ｄ０がＤ１となるように顔画像Ｓ０を規格化して規格化顔画像Ｓ１を得る（ステップＳ１７）。そして、切り出し部２３が規格化顔画像Ｓ１における両目の中心位置間の距離Ｄ１を基準として、規格化顔画像Ｓ１から図１３に示す規格サイズのカード用画像Ｓ２を切り出す（ステップＳ１８）。
【００７３】
一方、入力部１７からユーザＵ０を特定する情報が入力されて、個人情報取得部１３が個人情報管理サーバ３にアクセスしてユーザＵ０の個人情報Ｉ０を取得する（ステップＳ１９）。なお、ステップＳ１９の処理はステップＳ１１からステップＳ１８の処理と並列に行ってもよく、ステップＳ１１からステップＳ１８の処理より先に行ってもよい。
【００７４】
そして、情報記憶部１５が個人情報Ｉ０をカード原盤に付与されたＩＣチップ１０１に記憶する（ステップＳ２０）。
【００７５】
次いで、データ生成部１４がカード用画像Ｓ２および個人情報Ｉ０を合成してカード用データＳ３を生成し（ステップＳ２１）、カードプリンタ１６がカード用データＳ３をカード原盤にプリントして顔画像付きカード１００を作成し（ステップＳ２２）、処理を終了する。
【００７６】
作成された顔画像付きカード１００はそれに付与された顔画像とユーザＵ０の顔とを確認の上、ユーザＵ０に渡される。
【００７７】
このように、本実施形態においては、両目の中心位置間の距離が所定値となるように顔画像Ｓ０を規格化した後に、規格化顔画像Ｓ１における両目の中心位置間の距離Ｄ１を基準とした規格サイズのカード用画像Ｓ２を規格化顔画像Ｓ１から切り出しているため、カードを作成しようとしているユーザＵ０の撮影位置に拘わらず常に同一規格サイズを有するカード用画像Ｓ２を得ることができる。例えば、図１７（ａ）に示すように、顔画像Ｓ０上において顔が中心になくても、図１７（ｂ）に示すように顔画像Ｓ０の一杯に顔が含まれている場合でも、常に同一の規格サイズとなるようにカード用画像Ｓ２を得ることができる。したがって、顔画像Ｓ０に含まれる顔のサイズや位置が顔画像毎に異なっていても、精度よく同一規格サイズを有するカード用画像Ｓ２を切り出すことができ、これにより、撮影時に撮影位置を正確に定める煩わしさをなくすことができる。
【００７８】
なお、上記実施形態においては、上述したようにマシンラーニングの手法による学習結果を用いて目の中心位置を検出しているが、目の形状のテンプレートを用いたテンプレートマッチング等、目の中心位置を検出することが可能な任意の手法を用いることができる。
【００７９】
また、規格サイズとして図１２に示す規格の顔画像が得られるものを用いているが、これに限定されるものではなく、任意の規格サイズを用いることができる。この場合、図１３に示したトリミング枠を定めるパラメータＳｘ，Ｓｙ１，Ｓｙ２の値は、規格サイズに応じて定めればよい。
【００８０】
また、上記実施形態においては、外部の個人情報管理サーバ３にアクセスして個人情報Ｉ０を取得しているが、多数の人物についての個人情報を保管するメモリを顔画像付きカード作成装置１に設け、外部から個人情報Ｉ０を得ることなく顔画像付きカード１００を作成するようにしてもよい。
【００８１】
また、上記実施形態においては、顔画像付きカード１００にＩＣチップ１０１を設けてここにユーザＵ０の個人情報を記憶しているが、ＩＣチップ１０１に代えて磁気テープを顔画像付きカード１００に付与し、ここにユーザＵ０の個人情報を記憶してもよい。また、顔画像付きカード１００にＩＣチップ１０１や磁気テープを付与することなく、ユーザＵ０の顔画像および個人情報Ｉ０のプリントのみがなされた顔画像付きカード１００を作成してもよい。この場合、個人情報取得部１３や個人情報を保管するメモリは顔画像付きカード作成装置１には不要となる。
【００８２】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の画像入力部１１、画像抽出部１２、個人情報取得部１３、データ生成部１４、および情報記憶部１５として機能させ、カード用データＳ３を生成する処理および顔画像付きカード１００を作成する処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施形態による顔画像付きカード作成装置の構成を示す概略ブロック図
【図２】目位置検出部の構成を示す概略ブロック図
【図３】目の中心位置を説明するための図であり、（ａ）は目が正面を向いた図、（ｂ）は目が右を向いた図
【図４】（ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図
【図５】勾配ベクトルの算出を説明するための図
【図６】（ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図
【図７】（ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図
【図８】参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図
【図９】参照データの学習手法を示すフローチャート
【図１０】識別器の導出方法を示す図
【図１１】顔画像の段階的な変形を説明するための図
【図１２】カード用画像として切り出す規格化サイズを示す図
【図１３】カード用画像の切り出しを説明するための図
【図１４】カード用データにより表される画像を示す図
【図１５】顔画像付きカードの例を示す図
【図１６】本実施形態において行われる処理を示すフローチャート
【図１７】様々な顔画像の例を示す図
【符号の説明】
【００８４】
１    顔画像付きカード作成装置
２    ネットワーク
３    個人情報管理サーバ
１１  画像入力部
１２  画像抽出部
１３  個人情報取得部
１４  データ生成部
１５  情報記憶部
１６  カードプリンタ
１７  入力部
２１  目位置検出部
２２  規格化部
２３  切り出し部
３１  特徴量算出部
３２  メモリ
３３  識別部
３４  出力部
１００  顔画像付きカード
１０１  ＩＣチップ
【図１】
2005084980.tif 000003
【図２】
2005084980.tif 000004
【図３】
2005084980.tif 000005
【図４】
2005084980.tif 000006
【図５】
2005084980.tif 000007
【図６】
2005084980.tif 000008
【図７】
2005084980.tif 000009
【図８】
2005084980.tif 000010
【図９】
2005084980.tif 000011
【図１０】
2005084980.tif 000012
【図１１】
2005084980.tif 000013
【図１２】
2005084980.tif 000014
【図１３】
2005084980.tif 000015
【図１４】
2005084980.tif 000016
【図１５】
2005084980.tif 000017
【図１６】
2005084980.tif 000018
【図１７】
2005084980.tif 000019