(57)【要約】【課題】同一人物で複数パターンの顔画像を辞書登録したいとき、その顔画像を外部から複数回入力することが不要となり、辞書登録時間が短縮できる顔照合装置を提供する。【解決手段】照合対象者の顔画像に対して合成する各種合成パーツ画像をあらかじめ用意しておき、この用意された合成パーツ画像の中から所望の合成パーツ画像を選択して入力された照合対象者の顔画像と合成し、この合成画像および入力された顔画像をそれぞれ辞書として登録する。【選択図】    図１
2004240741.tif 000002
【特許請求の範囲】
【請求項１】
照合対象者の少なくとも顔画像を取得する画像取得手段と、
この画像取得手段により取得された照合対象者の顔画像に対して合成される複数種の合成パーツ画像があらかじめ記憶されている合成パーツ記憶手段と、
この合成パーツ記憶手段に記憶されている複数種の合成パーツ画像から所望の合成パーツ画像を選択する合成パーツ画像選択手段と、
前記画像取得手段により取得された照合対象者の顔画像と前記合成パーツ画像選択手段により選択された合成パーツ画像とを合成する画像合成手段と、
前記画像取得手段により取得された照合対象者の顔画像に基づき照合用の第１の辞書を作成するとともに、前記画像合成手段により得られた合成画像に基づき前記第１の辞書とは異なる第２の辞書を作成する辞書作成手段と、
この辞書作成手段により作成された第１および第２の辞書を記憶する辞書記憶手段と、
前記画像取得手段により取得された照合対象者の照合用の顔画像と前記辞書記憶手段に記憶されている第１および第２の辞書とを照合することにより当該照合対象者が本人であるか否かを判定する照合手段と、
を具備したことを特徴とする顔照合装置。
【請求項２】
前記合成パーツ画像記憶手段に記憶されている複数種の合成パーツ画像は、男性帽子パーツ画像、女性帽子パーツ画像、スイミングキャップパーツ画像、および、眼鏡パーツ画像などであることを特徴とする請求項１記載の顔照合装置。
【請求項３】
前記合成パーツ画像選択手段は、
照合対象者に対し前記合成パーツ記憶手段に記憶されている複数種の合成パーツ画像にそれぞれ対応する合成パーツ情報を表示した合成パーツ選択画面を表示する合成パーツ選択画面表示手段と、
この合成パーツ選択画面表示手段により表示された合成パーツ選択画面において、所望の合成パーツ画像に対応する合成パーツ情報を選択する合成パーツ情報選択手段とを具備し、
前記画像合成手段は、前記合成パーツ情報選択手段により選択された合成パーツ情報に対応する合成パーツ画像を前記合成パーツ記憶手段から取得し、この取得した合成パーツ画像と前記画像取得手段により取得された照合対象者の顔画像とを合成することを特徴とする請求項１記載の顔照合装置。
【請求項４】
前記合成パーツ記憶手段は、複数種の合成パーツ画像とともにそれぞれに対応させて輝度補正値を記憶しており、
前記画像合成手段は、前記画像取得手段により取得された照合対象者の顔画像と前記合成パーツ画像選択手段により選択された合成パーツ画像とを、前記合成パーツ記憶手段に記憶されている当該合成パーツ画像に対応する輝度補正値を加味して合成することを特徴とする請求項１記載の顔照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、たとえば、照合対象者によって入力される顔画像をあらかじめ登録された辞書と照合することにより照合対象者が本人であるか否かを判定する顔照合装置に関する。
【０００２】
【従来の技術】
この種の顔照合装置においては、顔照合を実施する前に照合対象顔画像の辞書登録作業がある。そのとき、照合対象者が眼鏡などを掛けていたり、帽子を被っていた場合、複数の顔画像（辞書）を登録する作業が必要である。このため、照合対象者の顔画像を１つ１つ画像入力部（カメラ）から取込んで辞書登録している（たとえば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−９９７２２号公報
【０００４】
【発明が解決しようとする課題】
ところが、特許文献１に示されるものでは、照合対象者の顔画像の複数状態（眼鏡の有無など）を画像入力部から取込んで辞書登録しているため次のような問題がある。
顔画像を登録する登録者は、登録したい状態で複数回、顔画像（辞書）の登録作業を実施する必要がある。この場合、特別なパターンを登録する必要のある登録者にとっては極めて面倒である。
【０００５】
そこで、本発明は、同一人物で複数パターンの顔画像を辞書登録したいとき、その顔画像を外部から複数回入力することが不要となり、辞書登録時間が短縮できる顔照合装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の顔照合装置は、照合対象者の少なくとも顔画像を取得する画像取得手段と、この画像取得手段により取得された照合対象者の顔画像に対して合成される複数種の合成パーツ画像があらかじめ記憶されている合成パーツ記憶手段と、この合成パーツ記憶手段に記憶されている複数種の合成パーツ画像から所望の合成パーツ画像を選択する合成パーツ画像選択手段と、前記画像取得手段により取得された照合対象者の顔画像と前記合成パーツ画像選択手段により選択された合成パーツ画像とを合成する画像合成手段と、前記画像取得手段により取得された照合対象者の顔画像に基づき照合用の第１の辞書を作成するとともに、前記画像合成手段により得られた合成画像に基づき前記第１の辞書とは異なる第２の辞書を作成する辞書作成手段と、この辞書作成手段により作成された第１および第２の辞書を記憶する辞書記憶手段と、前記画像取得手段により取得された照合対象者の照合用の顔画像と前記辞書記憶手段に記憶されている第１および第２の辞書とを照合することにより当該照合対象者が本人であるか否かを判定する照合手段とを具備している。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る顔照合装置の構成を概略的に示すものである。この顔照合装置は、照合対象者の顔画像（少なくとも顔を含む画像）を取得する画像取得手段としての画像入力部（たとえば、テレビカメラなど）１１、画像入力部１１で入力された顔画像を格納する基本画像蓄積部１２、各種操作を行なう操作部１３、照合対象者に対し合成パーツ画像を選択するための合成パーツ選択画面を表示したり入力画像などを表示する表示手段としての表示部１４、合成パーツ選択画面において選択された合成パーツ画像に対応する合成パーツ情報としての合成パーツ番号を格納する合成パーツ情報テーブル１５、照合対象者の顔画像に対して合成する複数種の合成パーツ画像およびそれに対応する輝度補正値があらかじめ記憶されている合成パーツ記憶手段としての合成パーツ画像テーブル１６、照合対象者の顔画像と選択された合成パーツ画像とを合成する画像合成手段としての画像合成部１７、登録する顔画像を一時格納する登録画像蓄積部１８、登録画像蓄積部１８に格納された照合対象者の顔画像に基づき輝度頻度辞書、顔切出し辞書および照合用の辞書をそれぞれ作成する辞書作成手段としての辞書作成部１９、作成された輝度頻度辞書を格納する輝度頻度辞書記憶部２０、作成された顔切出し辞書を格納する顔切出し辞書記憶部２１、作成された照合用の辞書を格納する辞書記憶手段としての照合辞書記憶部２２、入力された照合対象者の照合用の顔画像から顔領域を抽出する顔抽出部２３、および、顔抽出部２３で抽出された顔領域の画像と照合辞書記憶部２２に記憶されている辞書とを照合することにより当該照合対象者が本人であるか否かを判定する照合手段としての照合部２４によって構成されている。
【０００８】
合成パーツ画像テーブル１６は、たとえば、図２に示すように、照合対象者の顔画像に対して合成する複数種の合成パーツ画像３１、これら各合成パーツ画像３１にそれぞれ付加された合成パーツ情報としての合成パーツ番号３２、各合成パーツ画像３１にそれぞれ対応する輝度補正値３３、および、合成パーツ画像３１の登録数（ｎ）３４が格納されている。
【０００９】
ここに、複数種の合成パーツ画像３１としては、図２の例では、たとえば、野球帽（男性帽子）パーツ画像（輝度補正値ｍ１）、スイミングキャップパーツ画像（輝度補正値ｍ２）、バンダナパーツ画像（輝度補正値ｍ３）、ヘアバンドパーツ画像（輝度補正値ｍ４）、眼鏡パーツ画像（輝度補正値ｍ５）、および、女性帽子パーツ画像（輝度補正値ｍ６）となっている。
【００１０】
なお、辞書作成部１９における輝度頻度辞書、顔切出し辞書および照合用の辞書の作成方法は、前述した特許文献１などにより既に公知であるので、詳細な説明は省略する。
【００１１】
次に、このような構成において全体的な動作について説明する。
まず、照合対象者の顔画像登録（辞書登録）動作について説明する。照合対象者（登録者）は、操作部１３において所定の操作を行なうことより、顔画像登録モードを設定する。次に、照合対象者は、画像入力部（カメラ）１１の前の所定部位に位置することにより、画像入力部１１により照合対象者の顔画像が入力され、その入力画像は基本画像蓄積部１２に格納される。なお、本装置が自動的に複数回（複数個）、顔画像を登録する場合の基本画像は、照合対象者が顔や頭に何も着けていない素顔の状態である。
【００１２】
また、顔画像登録モードが設定されていると、その後、表示部１４に顔画像合成パーツ選択画面が表示される。照合対象者は、表示部１４に表示された顔画像合成パーツ選択画面から派生登録したい合成パーツ画像を複数選択可能とし、選択された合成パーツ番号とその登録件数は顔画像登録処理が終了するまで合成パーツ情報テーブル１５に格納される。
【００１３】
図３は、顔画像合成パーツ選択画面の一例を示すものである。この顔画像合成パーツ選択画面は、前述したように表示部１４に表示され、照合対象者は当該画面の合成パーツ選択メニューから自動登録したい派生画像に合成する合成パーツ画像の合成パーツ番号（図３の合成パーツ番号３２に対応）を選択欄４１から入力する。合成パーツ番号は複数選択でき、選択が終了すると選択された合成パーツ番号が選択確定欄４２に表示され、図示しない確定ボタンが押されると選択操作が終了する。この場合、合成パーツ番号「０」のみが選択されると、即に選択確定欄４２が表示されるようになっている。
【００１４】
図４は、合成パーツ情報テーブル１５の一例を示すものである。図３の顔画像合成パーツ選択画面にて選択された合成パーツ番号は、当該テーブルの合成パーツ番号Ｐ１から合成パーツ番号Ｐｎへと格納され、その件数も合成パーツ登録数ｎに格納される。
【００１５】
さて、基本画像蓄積部１２に格納された入力顔画像は登録画像蓄積部１８に入力顔画像データとして読込まれる。辞書作成部１９は、登録画像蓄積部１８内の入力顔画像データから輝度頻度辞書、顔切出し辞書、照合用辞書（第１の辞書）の各辞書をそれぞれ作成し、輝度頻度辞書記憶部２０、顔切出し辞書記憶部２１、照合辞書記憶部２２にそれぞれ登録する。この場合、登録される顔画像は表示部１４に表示されるようになっており、これにより登録者（照合対象者）は確認できる。
【００１６】
１つの顔画像が登録されると、合成パーツ情報テーブル１５から派生パターン登録があるか確認し、派生パターン登録要求があれば、画像合成部１７は、合成パーツ情報テーブル１５内に格納されている合成パーツ番号と対応する合成パーツ画像データを合成パーツ画像テーブル１６から読込み、基本画像蓄積部１２内の入力顔画像データと合成し、その合成画像データを登録画像蓄積部１８に格納する。このときの合成画像データには、合成パーツ画像データとともに登録されている輝度補正値も加味される。
なお、画像合成部１７における画像の合成方法は、既に周知の各種合成方法が適用可能であるが、２つの画像の位置合わせやサイズ合わせを行なった後に２つの画像が合成される。
【００１７】
その後は、初期登録時と同様に、辞書作成部１９は、登録画像蓄積部１８内の顔画像データから輝度頻度辞書、顔切出し辞書、照合用辞書（第２の辞書）の各辞書をそれぞれ作成し、輝度頻度辞書記憶部２０、顔切出し辞書記憶部２１、照合辞書記憶部２２にそれぞれ登録するとともに、登録される合成された顔画像は表示部１４に表示される。
このようにして、照合対象者の顔画像の登録（辞書登録）が行なわれるものである。
【００１８】
次に、照合対象者の顔照合動作について説明する。照合対象者は、操作部１３において所定の操作を行なうことより、顔照合モードに設定する。次に、照合対象者は、画像入力部（カメラ）１１の前の所定部位に位置することにより、画像入力部１１により照合対象者の照合用の顔画像が入力され、その入力画像は照合用の顔画像データとして基本画像蓄積部１２に格納される。
【００１９】
画像入力部１１から入力された照合対象者の照合用の顔画像データは、基本画像蓄積部１２に格納されるとともに、この照合用の顔画像は表示部１４に表示される。次に、顔抽出部２３は、基本画像蓄積部１２内の照合用の顔画像データから、輝度頻度辞書記憶部２０内の輝度頻度辞書と顔切出し辞書記憶部２１内の顔切出し辞書を参照することで、顔領域を抽出する。
【００２０】
次に、照合部２４は、顔抽出部２３で抽出された顔領域内の画像データと照合辞書記憶部２２内の辞書データとを照合する。このとき、照合部２４は、輝度頻度辞書記憶部２０内の輝度頻度辞書を参照して照合を行なう。そして、照合の結果、顔抽出部２３で抽出された顔領域内の画像データと照合辞書記憶部２２内の辞書データとが一致すれば、当該照合対象者は本人であると判定し、不一致であれば当該照合対象者は本人でないと判定する。
【００２１】
次に、入力画像と合成パーツ画像との合成画像を自動的に生成して登録する処理について、図５に示すフローチャートを参照して詳細に説明する。
本処理は、ステップＳ１にて顔画像登録モードになっている場合に実行される。顔画像登録モードにおいて、画像入力部１１からの画像入力があると、ステップＳ２にて図３の顔画像合成パーツ選択画面を表示して、自動生成して登録したい合成パーツ番号を登録者に問い合わせ、図４の合成パーツ情報テーブル１５を作成する。
【００２２】
次に、ステップＳ３では、辞書登録初期設定処理として、合成パーツ情報テーブル１５内の合成パーツ登録数ｎを抽出し、登録数ｎの初期化と基本画像蓄積部１２内の入力顔画像データを登録画像蓄積部１８へ書込む初期書込みを実施する。
【００２３】
その後、ステップＳ４にて、辞書作成部１９は、登録画像蓄積部１８に書込まれている入力顔画像データから照合用の辞書を作成し、照合辞書記憶部２２に登録する。１件分の顔画像データを辞書登録すると、ステップＳ５で登録件数ｎを「−１」して、ステップＳ６にて登録作業が終了したか否か（ｎ＝０か否か）を判定する。
【００２４】
この判定の結果、まだ登録作業が終了していない場合、ステップＳ７にて、合成パーツ情報テーブル１５からそれに格納されている合成パーツ番号をテーブルの先頭から順番に１件取出する。次に、ステップＳ８にて、ステップＳ７で取出した合成パーツ番号に対応した合成パーツ画像と輝度補正値を合成パーツ画像テーブル１６から抽出する。
【００２５】
その後、ステップＳ９にて、基本画像蓄積部１２内の入力顔画像データとステップＳ８にて抽出した合成パーツ画像データとを、当該合成パーツ画像に対応する輝度補正値を加味して合成して、登録画像蓄積部１８に書込み、ステップＳ４の処理へ戻る。これをステップＳ２で選択された登録数分実施する。
【００２６】
このように、照合対象者の顔画像に対して合成する各種合成パーツ画像をあらかじめ用意しておき、この用意された合成パーツ画像の中から所望の合成パーツ画像を選択して入力された照合対象者の顔画像と合成し、この合成画像および入力された顔画像をそれぞれ辞書として登録することにより、特に同一人物で複数パターンの顔画像を辞書登録したいとき、その顔画像を外部から複数回入力することが不要となり、辞書登録時間が著しく短縮できる。
【００２７】
【発明の効果】
以上詳述したように本発明によれば、同一人物で複数パターンの顔画像を辞書登録したいとき、その顔画像を外部から複数回入力することが不要となり、辞書登録時間が短縮できる顔照合装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る顔照合装置の構成を概略的に示すブロック図。
【図２】合成パーツ画像テーブルの構成例を示す図。
【図３】顔画像合成パーツ選択画面の表示例を示す図。
【図４】合成パーツ情報テーブルの構成例を示す図。
【図５】入力画像と合成パーツ画像との合成画像を自動的に生成して登録する処理について説明するフローチャート。
【符号の説明】
１１…画像入力部（画像取得手段）、１２…基本画像蓄積部、１３…操作部、１４…表示部（合成パーツ選択画面表示手段）、１５…合成パーツ情報テーブル、１６…合成パーツ画像テーブル（合成パーツ記憶手段）、１７…画像合成部（画像合成手段）、１８…登録画像蓄積部、１９…辞書作成部（辞書作成手段）、２０…輝度頻度辞書記憶部、２１…顔切出し辞書記憶部、２２…照合辞書記憶部（辞書記憶手段）、２３…顔抽出部、２４…照合部（照合手段）。
【図１】
2004240741.tif 000003
【図２】
2004240741.tif 000004
【図３】
2004240741.tif 000005
【図４】
2004240741.tif 000006
【図５】
2004240741.tif 000007