(57)【要約】【課題】登録画像の記録容量を抑えて物体を頑健に識別できるようにする。【解決手段】登録画像を記録する際には、圧縮された上下方向ＬＢＰ特徴（第一の特徴量）、圧縮された左右方向ＬＢＰ特徴（第二の特徴量）、及び属性情報として照明条件を、登録辞書として記録する。そして、入力画像の物体を識別する際には、登録画像と入力画像との間の照明条件の差に応じて、このような性質の異なる特徴量を属性情報に応じた比率で合成して識別するようにする。以上のように多様の特徴量を生成しないようにして登録辞書の記録容量を削減する。【選択図】図４
2014199519.tif 000002
【特許請求の範囲】
【請求項１】
登録用の物体画像及び識別用の物体画像を取得する取得手段と、
前記取得手段によって取得された物体画像から属性情報を検出する属性検出手段と、
前記物体画像から第一の特徴量を抽出する第一特徴抽出手段と、
前記物体画像から前記第一の特徴量とは異なる第二の特徴量を抽出する第二特徴抽出手段と、
前記第一特徴抽出手段及び前記第二特徴抽出手段によって抽出された前記登録用の物体画像の第一の特徴量及び第二の特徴量、並びに前記属性検出手段によって検出された前記登録用の物体画像の属性情報を登録辞書として記憶する記憶手段と、
前記記憶手段に記憶された登録辞書の属性情報と、前記属性検出手段によって検出された前記識別用の物体画像の属性情報との違いに基づいて、前記識別用の物体画像の第一の特徴量及び第二の特徴量を合成するとともに、前記登録辞書の第一の特徴量及び第二の特徴量を合成する合成手段と、
前記合成手段によって合成されたそれぞれ特徴量から類似度を算出する算出手段とを備えることを特徴とする物体識別装置。
【請求項２】
前記属性検出手段は、前記属性情報として照明条件を検出することを特徴とする請求項１に記載の物体識別装置。
【請求項３】
前記第一特徴抽出手段は、前記物体画像の特定の方向の輝度変化を前記第一の特徴量として抽出し、
前記第二特徴抽出手段は、前記特定の方向とは異なる方向の輝度変化を前記第二の特徴量として抽出することを特徴とする請求項２に記載の物体識別装置。
【請求項４】
前記合成手段は、前記属性情報の違いに基づいた比に応じた前記第一の特徴量と前記第二の特徴量との線形和を求めることを特徴とする請求項２又は３に記載の物体識別装置。
【請求項５】
前記第一特徴抽出手段によって抽出された第一の特徴量、及び前記第二特徴抽出手段によって抽出された第二の特徴量を圧縮する圧縮手段をさらに備え、
前記記憶手段は、前記圧縮手段によって圧縮された前記登録用の物体画像の第一の特徴量及び第二の特徴量を記憶することを特徴とする請求項１〜４の何れか１項に記載の物体識別装置。
【請求項６】
前記圧縮手段は、前記第一の特徴量及び第二の特徴量を低次元に線形射影して圧縮することを特徴とする請求項５に記載の物体識別装置。
【請求項７】
前記算出手段は、前記合成手段によって合成された前記登録用の物体画像及び識別用の物体画像のそれぞれの特徴量の間の距離を類似度として算出することを特徴とする請求項１〜６の何れか１項に記載の物体識別装置。
【請求項８】
前記算出手段は、前記合成手段によって合成された前記登録用の物体画像及び識別用の物体画像のそれぞれの特徴量がなす角度を類似度として算出することを特徴とする請求項１〜６の何れか１項に記載の物体識別装置。
【請求項９】
登録用の物体画像及び識別用の物体画像を取得する取得工程と、
前記取得工程において取得された物体画像から属性情報を検出する属性検出工程と、
前記物体画像から第一の特徴量を抽出する第一特徴抽出工程と、
前記物体画像から前記第一の特徴量とは異なる第二の特徴量を抽出する第二特徴抽出工程と、
前記第一特徴抽出工程及び前記第二特徴抽出工程において抽出された前記登録用の物体画像の第一の特徴量及び第二の特徴量、並びに前記属性検出工程において検出された前記登録用の物体画像の属性情報を登録辞書として記憶手段に記憶する記憶工程と、
前記記憶手段に記憶された登録辞書の属性情報と、前記属性検出工程において検出された前記識別用の物体画像の属性情報との違いに基づいて、前記識別用の物体画像の第一の特徴量及び第二の特徴量を合成するとともに、前記登録辞書の第一の特徴量及び第二の特徴量を合成する合成工程と、
前記合成工程において合成されたそれぞれ特徴量から類似度を算出する算出工程とを備えることを特徴とする物体識別方法。
【請求項１０】
登録用の物体画像及び識別用の物体画像を取得する取得工程と、
前記取得工程において取得された物体画像から属性情報を検出する属性検出工程と、
前記物体画像から第一の特徴量を抽出する第一特徴抽出工程と、
前記物体画像から前記第一の特徴量とは異なる第二の特徴量を抽出する第二特徴抽出工程と、
前記第一特徴抽出工程及び前記第二特徴抽出工程において抽出された前記登録用の物体画像の第一の特徴量及び第二の特徴量、並びに前記属性検出工程において検出された前記登録用の物体画像の属性情報を登録辞書として記憶手段に記憶する記憶工程と、
前記記憶手段に記憶された登録辞書の属性情報と、前記属性検出工程において検出された前記識別用の物体画像の属性情報との違いに基づいて、前記識別用の物体画像の第一の特徴量及び第二の特徴量を合成するとともに、前記登録辞書の第一の特徴量及び第二の特徴量を合成する合成工程と、
前記合成工程において合成されたそれぞれ特徴量から類似度を算出する算出工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、登録辞書の情報量を抑えるために用いて好適な物体識別装置、物体識別方法及びプログラムに関する。
【背景技術】
【０００２】
入力された画像データを、予め登録済みの画像データと比較することにより、入力された画像データに表現されるオブジェクトがどのカテゴリに属するか識別する技術が多く提案されている。このようなオブジェクトを識別する技術の具体例として、人物認証がある。この人物認証は、顔や指紋など個人に固有の特徴を用いて人物の識別を行うものであり、それぞれ顔認証、指紋認証などと呼ばれている。
【０００３】
人物認証におけるカテゴリとは、個人を特定できる名前やＩＤである。人物認証を含むオブジェクト識別においては、識別を運用する前に予め識別したいオブジェクトの画像を登録画像として名前やＩＤと併せて登録しておく必要がある。この登録を経たのち、識別を実際に運用できることになる。そして、識別すべきオブジェクトの画像（以下、入力画像）が入力されると、予め登録されている複数の登録画像と識別し、合致する登録画像がある場合には、その登録画像に対応する登録済みオブジェクトを識別結果として出力する。合致する登録画像がない場合には、該当オブジェクトなしという結果を出力する。
【０００４】
以下の説明では、オブジェクトのカテゴリを識別することとは、オブジェクトの個体の違い（例えば、人物の違い）を判断することを意味するものとする。一方、オブジェクトの検出とは、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、画像から顔を検出する）ことを意味するものとする。
【０００５】
まず、顔画像から人物を識別する方法として、顔画像そのものの画素を特徴量として、画素同士を直接比較する方法が考えられる。ただし、この方法では、顔の向きや表情、照明条件などの変動が、人物の違いによる変動よりも強く、識別が困難である。そこで、このような変動の影響を避ける技術的な方法が多数提案されている。
【０００６】
例えば、非特許文献１には、ある画素と隣接画素との輝度差を用いることにより、照明変動に対して頑健にした特徴量を求める技術が提案されている。ただし、非特許文献１に記載されているような特徴量は全ての変動に対して頑健であることを保証するものではなく、頑健な変動と脆弱な変動とがある。そこで、非特許文献２には、異なる複数種類の特徴量を併用する技術が開示されており、特許文献１には、顔の変動の状態に応じて複数種類の特徴量の併用する方法を動的に変える技術が開示されている。これらの技術は、より変動に頑健になることを目的とした手法である。
【０００７】
顔の変動の状態に応じて特徴量の併用方法を変える方法として、いくつかの方法が知られている。前述の特許文献１には、顔の上に数十個から数百個の局所領域を設定して各特徴量で局所特徴量を抽出し、変動の状態に応じて使用する局所特徴量の数を増減させる技術も開示されている。また、非特許文献３に記載の技術では、変動の状態に応じて各特徴量それぞれでの類似度を統合している。さらには、複数の特徴量を変動の状態に応じて重みつき和で合成する方法なども考えられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４７２０８８０号公報
【非特許文献】
【０００９】
【非特許文献１】Face Recognition with Local Binary Patterns (T. Ahonen, A. Hadid, M. Pietikainen)
【非特許文献２】Similarity Scores based on Background Samples (L. Wolf, T. Hassner, Y. Taigman)
【非特許文献３】Face Recognition with Learning-based Descriptor (Z. Cao, Q. Lin, X. Tang, J. Sun)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、顔の変動の状態に応じて特徴量の併用方法を変える方式では、認識精度を向上させることができるが、用いる可能性がある特徴量を全て抽出する必要がある。特に登録画像については、抽出した全ての特徴量を記録しておく必要があり、記録容量が増加してしまうという課題がある。
【００１１】
本発明は前述の問題点に鑑み、登録画像の記録容量を抑えて物体を頑健に識別できるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の物体識別装置は、登録用の物体画像及び識別用の物体画像を取得する取得手段と、前記取得手段によって取得された物体画像から属性情報を検出する属性検出手段と、前記物体画像から第一の特徴量を抽出する第一特徴抽出手段と、前記物体画像から前記第一の特徴量とは異なる第二の特徴量を抽出する第二特徴抽出手段と、前記第一特徴抽出手段及び前記第二特徴抽出手段によって抽出された前記登録用の物体画像の第一の特徴量及び第二の特徴量、並びに前記属性検出手段によって検出された前記登録用の物体画像の属性情報を登録辞書として記憶する記憶手段と、前記記憶手段に記憶された登録辞書の属性情報と、前記属性検出手段によって検出された前記識別用の物体画像の属性情報との違いに基づいて、前記識別用の物体画像の第一の特徴量及び第二の特徴量を合成するとともに、前記登録辞書の第一の特徴量及び第二の特徴量を合成する合成手段と、前記合成手段によって合成されたそれぞれ特徴量から類似度を算出する算出手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、登録画像の記録容量を抑えて物体を頑健に識別することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るオブジェクト識別装置の機能構成例を示すブロック図である。
【図２】本発明の実施形態において、顔画像を識別する処理手順の一例を示すフローチャートである。
【図３】図２のＳ２０４の詳細な処理手順の一例を示すフローチャートである。
【図４】本発明の実施形態に係る画像識別部の詳細な構成例を示すフローチャートである。
【図５】本発明の実施形態において、顔画像を登録する処理手順の一例を示すフローチャートである。
【図６】ＬＢＰ画像の画素値の算出方法を説明するための図である。
【図７】図３のＳ３０３の詳細な処理手順の一例を示すフローチャートである。
【図８】上下方向ＬＢＰ特徴及び左右方向ＬＢＰ特徴の線形和を求める方法を説明するための図である。
【図９】線形和の処理に続いて特徴ベクトルを補正する手順を説明するための図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態を詳細に説明する。本実施形態では、物体識別装置が、オブジェクトを人間の顔とし、オブジェクトのカテゴリとして人物の違いを画像から識別する顔認証を例に説明する。また、変動要因として、顔の向きや表情などがあるが、本実施形態では照明条件を例に説明する。顔の照明条件としては、特に頭上の光源の状態（光が顔の上から照射され、顔にどの程度の陰影を落としているか）をオブジェクトの状態として表すこととする。
【００１６】
＜全体の構成＞
図１は、本実施形態に係るオブジェクト識別装置１００の機能構成例を示すブロック図である。
図１に示すように、オブジェクト識別装置１００は、画像を入力する画像入力部１１０、画像を識別する画像識別部１２０、登録画像を保持する登録画像記録部１３０、及びオブジェクトの識別結果、属性判定結果を出力する外部出力部１４０を備えている。
【００１７】
画像入力部１１０は、識別すべき画像データを供給する構成であれば特に限定しない。例えば、光学レンズと映像センサとを備えた撮像装置でもよく、画像データを保持する読み出し可能な半導体メモリでもよい。また、画像入力部１１０から、連続して識別すべき画像が供給されるものとする。
【００１８】
画像識別部１２０は、専用回路（ASIC）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。あるいは単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。画像識別部１２０の詳細な構成に関しては、後述する。
【００１９】
登録画像記録部１３０は、画像入力部１１０より登録画像として入力された画像に係る情報を記録し、辞書として保持する。典型的には、繰り返し書き換え可能な半導体メモリに辞書を保持する構成であるのが好ましい。外部出力部１４０は、画像識別部１２０から出力される、入力画像に対応するカテゴリを適切な形で外部に出力する。外部出力部１４０は、典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、画像入力部１１０から取得した画像を表示する。なお、画像に画像識別部１２０の出力結果を重畳表示してもよい。また、他の形態として、それらの結果を電子データとして外部の記録媒体などに出力したり、紙媒体に印刷したりする構成であってもよく、これらの形態を組み合わせてもよい。
【００２０】
＜識別フロー＞
図２は、本実施形態に係るオブジェクト識別装置１００の画像識別部１２０が顔画像を識別する処理手順の一例を示すフローチャートである。
まず、画像入力部１１０から処理すべき識別用の画像を取得する（Ｓ２０１）。続いて、取得した画像に対して、顔検出処理を行う（Ｓ２０２）。そして、画像中に顔が存在するか否かを判定する（Ｓ２０３）。この判定の結果、顔が存在しない場合はＳ２０１へ戻り、顔が存在する場合は、検出された顔画像を入力画像として、顔のカテゴリ、すなわち人物を判定する処理を行う（Ｓ２０４）。
【００２１】
Ｓ２０４のカテゴリを判定する処理の詳細については後述するが、登録画像それぞれについて、入力画像とどれほど同一人物らしいかを表す類似度を算出する。それら類似度を比較して、最も類似度が高い登録画像を選び出す。そして、その登録人物のカテゴリとして入力画像のカテゴリを判定する。
【００２２】
続いて、処理すべき画像中の全ての顔について処理を行ったか否かを判定する（Ｓ２０５）。この判定の結果、まだ画像中に顔が残っている場合には２０４に戻り、全ての顔を処理した場合は、次の時刻の画像を取得するため、Ｓ２０１に戻る。これら一連の処理はリアルタイムで実行され、外部出力部１４０にリアルタイムでカテゴリの判定結果を出力することもできる。なお、一連の処理の終了は、機器を操作するユーザの意思で一時停止できるよう、操作を受け付けるようにしてもよい。
【００２３】
図３は、画像識別部１２０が行う図２のＳ２０４の詳細な処理手順の一例を示すフローチャートである。
まず、図２のＳ２０１で取得した画像から顔検出された顔画像を取得する（Ｓ３０１）。この画像は静止画であり、人物の顔が１つだけ捉えられている画像とする。続いて、登録データとして登録画像記録部１３０に予め登録されている顔画像（登録画像）を１つ取得する（Ｓ３０２）。続いて、入力画像と登録画像とを識別し、同一人物かどうかを表す類似度を求める（Ｓ３０３）。この類似度を求める詳細な処理については後述する。
【００２４】
次に、登録画像記録部１３０に保持されている全ての登録画像と識別を行ったか否かを判定する（Ｓ３０４）。この判定の結果、識別を行っていない登録画像がまだある場合は、Ｓ３０２に戻り、次の登録画像を登録画像記録部１３０から取得する。
【００２５】
一方、Ｓ３０４の判定の結果、すべての登録画像と識別を行った場合は、最も大きい類似度と予め定められた閾値とを比較し、カテゴリを最終的に判定する（Ｓ３０５）。このとき、最も高い類似度が閾値以上である場合は、入力画像のカテゴリを類似度に対応する登録画像が属するカテゴリと判定する。一方、閾値未満である場合は、入力画像が属するカテゴリは無いものとして判定する。
【００２６】
この閾値については、予め目的に応じて調整しておくとよい。閾値が低いと登録されている人物を認識できる可能性が高まるが、登録されていない人物であっても登録されている人物と誤判定する可能性も高まる。逆に閾値を高めると、登録されていない人物を誤認識する可能性は減るが、登録されている人物を認識できない可能性が高まる。
【００２７】
＜登録処理：概要＞
図３の説明では、オブジェクト識別装置１００の登録画像記録部１３０に予め顔画像が登録されていることを前提とした。以下、登録画像記録部１３０に顔画像を登録しておく処理について説明する。
【００２８】
図４は、画像識別部１２０の詳細な構成例を示すブロック図である。
図４に示すように、画像識別部１２０は、画像の属性を検出する属性検出部４０１、画像から特徴量を抽出する第一特徴抽出部４０２、第二特徴抽出部４０３、特徴量を圧縮する特徴圧縮部４０４、特徴合成部４０５、及び類似度算出部４０６を備えている。なお、特徴合成部４０５及び類似度算出部４０６については、登録処理では関わりがないため、識別処理の説明で詳細に説明する。
【００２９】
図５は、顔画像を登録する処理手順の一例を示すフローチャートである。
まず、画像識別部１２０は、画像入力部１１０から入力画像として登録用の画像を取得する（Ｓ５０１）。この画像は、図３のＳ３０１で取得する顔画像のように１つの顔のみが写っている画像であることが望ましい。
【００３０】
次に、第一特徴抽出部４０２は、入力画像から特徴量を抽出し（Ｓ５０２）、特徴圧縮部４０４は、抽出した特徴量を圧縮する（Ｓ５０３）。以下、Ｓ５０２で得られる特徴量を第一の特徴量と呼ぶ。次に、第二特徴抽出部４０３は、第一の特徴量とは異なる特徴量を入力画像から抽出し（Ｓ５０４）、特徴圧縮部４０４は、抽出した特徴量を圧縮する（Ｓ５０５）。以下、Ｓ５０４で得られる特徴量を第二の特徴量と呼ぶ。また、Ｓ５０２〜Ｓ５０５の処理の詳細については後述する。
【００３１】
続いて、属性検出部４０１は、入力画像から顔の属性情報として照明条件を検出する（Ｓ５０６）。この処理の詳細についても後述する。以下、顔の状態を単に属性情報と呼ぶ。そして、画像識別部１２０は、圧縮された第一の特徴量、圧縮された第二の特徴量、及び属性情報を登録画像記録部１３０に記録する（Ｓ５０７）。
【００３２】
以上のように、登録画像記録部１３０に記録される登録画像の情報として、圧縮された第一の特徴量、圧縮された第二の特徴量、及び属性情報が登録画像記録部１３０に記録される。以降、この３つの情報を合わせて登録辞書と呼ぶ。
【００３３】
＜特徴抽出処理＞
次に、図５のＳ５０２〜Ｓ５０５の処理の詳細について説明する。本実施形態では、特徴量を抽出する方法として、ＬＢＰ（Local Binary Pattern）変換を用いる例について説明する。また、特徴量を圧縮する方法として、主成分分析を用いた次元削減を例に説明する。なお、特徴量を抽出する方法はＬＢＰに限らず任意でよく、特徴量の次元削減は線形の射影であれば主成分分析に限定されない。
【００３４】
ＬＢＰ変換では、入力画像を所定の方法で変換した画像（以下、ＬＢＰ画像）を生成する。なお、ＬＢＰ変換についての詳細は非特許文献１に開示されている。典型的には、ＬＢＰ画像の画素値を並べたベクトルを特徴量とする。ＬＢＰ画像の画素値としては、入力画像の対応する画素とその画素に隣接する８画素の大小関係を２進数とみなし、その２進数が表す数をＬＢＰ画像の画素値とする。
【００３５】
図６に示す例では、隣接８画素を左上から時計回りで参照しながら大小関係を求め、２進数の上位bitから順に割り当てていく。得られた８桁の２進数を１０進数に変換したものが、ＬＢＰ画像の画素値となる。図６に示す例では、隣接８画素を左上から時計回りで参照して２進数を求めたが、どの隣接画素をどの順番で参照するかによってＬＢＰ画像の性質が大きく異なる。
【００３６】
具体的には、縦方向の隣接画素との比較結果を２進数の上位bitに割り当てると、画像の上下方向の勾配に強く影響を受けるＬＢＰ画像となる。つまり、顔に当たる上下方向の照明に影響を受ける。また、同様に横方向の隣接画素との比較結果を２進数の上位bitに割り当てると、顔に当たる左右方向の照明に影響を受けることとなる。本実施形態で第一の特徴量を抽出する際には、上下方向の照明の影響を受けるＬＢＰ変換を行い、第一の特徴量（上下方向ＬＢＰ特徴）を抽出する。一方、第二の特徴量を抽出する際には、左右方向の照明の影響を受けるＬＢＰ変換を行い、第二の特徴量（左右方向ＬＢＰ特徴）を抽出する。
【００３７】
続いて、Ｓ５０３及びＳ５０５では、それぞれの特徴量を、より低次元の特徴量に変換する。この処理の目的は、登録辞書の容量を小さくするためであるが、登録辞書の容量を小さくしても、抽出した特徴量の情報はできる限り保持されていなければならない。特徴量を圧縮する方法として、典型的には主成分分析を利用した線形射影を用いることができる。
【００３８】
主成分分析では、与えられた多数のベクトルの分布に基づいて、新しい空間の軸、すなわち新しい直交基底を求める。それぞれの新しい軸はベクトルの分布の分散が軸上で最大になるように求められている。そして、新しい軸の中でも特に分布の分散が大きい幾つかの軸のみで構成される部分空間にベクトルを射影することにより、元のベクトルの情報を最大限保ちつつ、より低次元のベクトルを得ることができる。
【００３９】
本実施形態では、上下方向ＬＢＰ特徴および左右方向ＬＢＰ特徴を、予め登録処理の前に求めておいた部分空間に射影する。部分空間を求める方法としては、以下のように行うとよい。部分空間を求める学習データとして、できるだけ多くの人物、顔向き、表情、照明条件などバリエーション豊かな顔画像群から上下方向ＬＢＰ特徴および左右方向ＬＢＰ特徴を抽出する。そして、これらの特徴量を用いて主成分分析を行い、新しい直交基底を決定する。部分空間は、対応する固有値が大きい固有ベクトルに軸を採択して構成する。何次元の部分空間を構成するかは、記録容量の制限と識別精度とを考慮して適切なものを設定するとよい。典型的には、より高次元の部分空間を構成すれば識別精度は向上するが、その分登録辞書の容量は増える。学習データ中の顔画像にバリエーションを持たせる理由は、あらゆる条件の顔画像において適切に情報を保持しながら特徴量を圧縮するには、部分空間を求める際に多くの変動をできる限り網羅する必要があるためである。
【００４０】
＜属性検出処理＞
次に、図５のＳ５０６における属性検出について説明する。属性情報は直接には識別に用いられないが、識別に用いる特徴量を照明条件に応じた適切なものに制御するために用いられる。
【００４１】
前述したように本実施形態では、属性情報とは顔の照明条件である。顔画像から照明条件を検出する方法は任意だが、例えば以下のような方法で行うことができる。まず、顔画像を低解像度に縮小する。目や口の特徴が判別しにくくなり、個人がわかりづらくなるが、顔の陰影や側光は確認できる程度まで縮小することが望ましい。続いて、縮小された顔画像の各画素値をベクトルとみなし、ベクトルを予め主成分分析で求めておいた部分空間に射影する。この射影されたベクトルが顔の照明の状態を表す属性情報である。
【００４２】
なお、部分空間は、光が上、正面それぞれから当たっている顔画像を予め多数収集しておき、それらを学習データとして主成分分析を行う。典型的には、固有値が特に大きいものに対応する固有ベクトルが、照明条件を表現できる部分空間である。なお、属性検出で用いられる部分空間と、前述した特徴抽出処理で用いられる部分空間とは別のものである。以上のように、圧縮された上下方向ＬＢＰ特徴、圧縮された左右方向ＬＢＰ特徴、及び属性情報が、登録辞書として登録画像記録部１３０に記録される。
【００４３】
＜識別処理：概要＞
次に、図３のＳ３０３の処理の詳細について説明する。
図７は、図３のＳ３０３の詳細な処理手順の一例を示すフローチャートである。なお、Ｓ７０１〜Ｓ７０５については、それぞれ図５のＳ５０２〜Ｓ５０６の処理と同様であるため、説明は省略する。
【００４４】
Ｓ７０５の処理を行うと、次に、特徴合成部４０５は、入力画像の属性情報と登録画像の属性情報とに基づいて、登録辞書に保存された特徴量から、識別用の特徴量を合成する。同様に入力画像についても識別用の特徴量を合成する（Ｓ７０６）。そして、類似度算出部４０６は、識別用に合成された登録画像及び入力画像の特徴量を比較し、類似度を計算する（Ｓ７０７）。Ｓ７０６及びＳ７０７の処理の詳細については、以下に説明する。
【００４５】
＜特徴合成処理＞
まず、Ｓ７０６の処理の詳細について説明する。この処理では、登録画像及び入力画像の属性情報の違いから照明条件の違いを推定し、違いの度合いに応じて識別に用いる特徴量の合成方法を定める。その合成方法に従って、登録画像の圧縮された上下方向ＬＢＰ特徴および圧縮された左右方向ＬＢＰ特徴から、識別用の特徴量を合成する。同じ方法で、入力画像の圧縮された上下方向ＬＢＰ特徴および圧縮された左右方向ＬＢＰ特徴から、識別用の特徴量を合成する。
【００４６】
登録画像及び入力画像の照明条件の違いを推定する方法として、典型的には以下のように行う。本実施形態では、属性情報はスカラーあるいはベクトルの数値情報であるので、登録画像及び入力画像の属性情報同士の距離を求めることができる。この距離が離れていればいるほど照明条件は異なると考えることができる。
【００４７】
続いて、求めた属性情報の距離から特徴量を以下の式（１）に従って合成する。
【００４８】
【数１】
2014199519.tif 000003
【００４９】
特徴量の合成では、圧縮された上下方向ＬＢＰ特徴ｆ１及び圧縮された左右方向ＬＢＰ特徴ｆ２の線形和を求める。図８には、その模式図を示す。具体的に登録画像の属性情報attrregと入力画像の属性情報attrinとの距離で制御されるのは、線形和する際の比αである。登録画像の属性情報attrregと入力画像の属性情報attrinと線形和の比との対応関係attr＿distance()は、オブジェクト識別装置１００の運用前に予め調整しておくことが望ましい。
【００５０】
本実施形態では、属性情報として、光が頭上から当たり顔にどの程度の陰影を落としているかを検出し、上下方向の輝度勾配を検出するＬＢＰ特徴と左右方向の輝度勾配を検出するＬＢＰ特徴とで線形和を求める。その際の属性情報の距離と線形和する比との対応関係の考え方を以下に説明する。
【００５１】
上下方向ＬＢＰ特徴は、登録画像と入力画像との照明条件が近い場合に個人の識別能力が高いものである。人間の顔は目、口、眉毛など、横長に配置された器官が多く、画像の上では横線（上下方向に輝度変化する画素が横に並ぶ状態）として主に写っている。目や口は人間の顔の個人差を決定づける上で重要であるため、上下方向の輝度勾配を検出するＬＢＰ特徴量は個人差をよく表現する。
【００５２】
しかしながら、登録画像と入力画像とで照明条件が異なる状態、つまり頭上からの光の照らされ方が異なる状態では、同じ人物の画像であっても上下方向の輝度変化の状態が異なる。そして輝度変化の状態が異なる現象は顔の多くの領域で発生しているため、たとえ同じ人物でも類似した上下方向ＬＢＰ特徴が得られず個人の識別が難しくなる。
【００５３】
一方、左右方向ＬＢＰ特徴は、個人の識別能力は上下方向ＬＢＰ特徴ほど高くない。人間の顔に縦長に配置された器官は鼻以外に無く、画像の上での縦線（左右方向に輝度変化する画素が縦に並ぶ状態）は、横線に比べると多くないためである。しかしながら、登録画像と入力画像とで照明条件が異なり、たとえ同じ人物で上下方向の輝度変化の状態が異なる場合でも、検出するのは左右方向の輝度変化であるため影響されにくい。
【００５４】
つまり、照明条件が近い、すなわち属性情報の距離が小さい場合には上下方向ＬＢＰ特徴を高い比率で線形和に用いる。反対に照明条件が異なる、すなわち属性情報の距離が大きい場合には、上下方向ＬＢＰ特徴の識別能力の低下を補う形で左右方向ＬＢＰ特徴の比率を上げて特徴量を線形和に用いるようにすればよい。なお、属性情報の距離と特徴量を線形和する比との対応関係は、属性情報として検出する顔の条件と属性検出の精度、及び使用する特徴量に応じて変わり、対応関係はオブジェクト識別装置１００の運用前に事前に調整しておく必要がある。
【００５５】
＜類似度算出処理＞
次に、図７のＳ７０７の処理の詳細について説明する。この処理では、登録画像及び入力画像の特徴量を比較して、登録画像及び入力画像に写る人物の同一人物らしさを表す類似度を算出する。Ｓ７０６で求められた登録画像及び入力画像の特徴量はそれぞれベクトルであるので、類似度を求める典型的な方法として、２つのベクトルがなす距離を測る。この尺度では２つのベクトルが似ているほど小さな数値を示す。
【００５６】
以上のように本実施形態では、登録画像と入力画像との間の変動に応じて性質の異なる特徴量を属性情報に応じた比率で合成して識別するようにし、多様の特徴量を生成しないようにして登録辞書の記録容量を削減している。特徴量を圧縮せずそのまま登録辞書に保持して識別時に線形和を行うと、より高精度に識別できる可能性があるが、次元数の大きい特徴量を保持する必要があり、記録容量が大きくなってしまう。そこで本実施形態では、低次元に圧縮した後に線形和を行うために、全ての比αに対応する一つの部分空間を用いている。
【００５７】
一方、上下方向ＬＢＰ特徴及び左右方向ＬＢＰ特徴を比αで線形和した後に、比αに対応する固有の狭い部分空間に射影する方法を用いることにより、識別に有用な情報をより保持できる可能性があることが考えられる。ところが、固有の狭い部分空間を用いる方式では圧縮された特徴量をあらゆる比αについて保持しておく必要があるため、現実的ではないと考えられる。
【００５８】
また、本実施形態では、上下方向ＬＢＰ特徴及び左右方向ＬＢＰ特徴の二つの特徴量から、登録画像及び入力画像の属性情報の違いに応じて合成特徴量を求めるようにしたが、３つ以上の特定の方向の特徴量を合成するようにしてもよい。
【００５９】
（第２の実施形態）
第１の実施形態では、特徴量の間の距離を尺度として登録画像と入力画像との類似度を求めた。これに対して本実施形態では、距離の尺度として特徴量が成す角度のcosθを用いる例について説明する。なお、本実施形態に係るオブジェクト識別装置の構成及び処理手順は、基本的には第１の実施形態と同様であるため、説明は省略する。以下、第１の実施形態と異なる点についてのみ説明する。
【００６０】
第１の実施形態では、二つのベクトルがなす距離を類似度として求めたが、本実施形態では、ベクトルが存在する空間の原点における、二つのベクトルがなす角度θのcosθを類似度として求める。角度のcosθは−１から１までの値をとり、２つのベクトルが似ている、つまり小さい角度をとるほど大きな値を示す。
【００６１】
＜特徴合成処理＞
本実施形態に係る図７のＳ７０６の処理の詳細について説明する。本実施形態では、図９に示すように、線形和の処理に続いて、特徴ベクトルを補正する。図９に示す例では、登録画像の線形和特徴量Ａと入力画像の線形和特徴量Ｂとを補正している。
【００６２】
まず、図９（ａ）に示す特徴量の線形和を行った時点では、二つの特徴ベクトルが原点から大きく離れているため、どのような二つの特徴ベクトルでも角度θを測ると角度θが小さな値となり、人物を識別できない可能性がある。そこで、図９（ｂ）から図９（ｃ）に示すように線形和特徴量Ａ、Ｂを原点に近づけるよう補正し、角度θ′を得る。以下、図９（ｂ）に示す補正方法について説明する。
【００６３】
特徴ベクトルの補正では、以下の式（２）に示すように特徴ベクトルｆsynthから線形和の比αに依存する所定のベクトルoffset（α）を減算する。
【００６４】
【数２】
2014199519.tif 000004
【００６５】
なお、ベクトルoffset（α）については、オブジェクト識別装置１００の運用前に予め求めておくことが好ましい。具体的には、線形和の比αの特徴ベクトルを多数の画像について求めておき、さらにこれらの多数の特徴ベクトルの重心を求め、その重心ベクトルをベクトルoffset（α）とする。なお、線形和の比αそれぞれについて重心ベクトルを求めておくことも考えられるが、それら全ての重心ベクトルをオブジェクト識別装置１００にパラメータとして保存する必要があるため、以下のように近似するのがよい。α＝０．０とα＝１．０との線形和の特徴ベクトル、つまり上下方向ＬＢＰ特徴及び左右方向ＬＢＰ特徴の２種類のみについて、予め多数の画像から重心ベクトルを求める。そして、その２つの重心ベクトルを利用して、以下の式（３）に従ってベクトルoffset（０．０）とベクトルoffset（１．０）とからベクトルoffset（α）を求める。
【００６６】
【数３】
2014199519.tif 000005
【００６７】
以上のように図７のＳ７０６の処理で角度θ′を求めると、次のＳ７０７において、類似度としてcosθ′を求める。
【００６８】
以上のように本実施形態によれば、第１の実施形態と同様に、登録画像の記録容量を抑えて類似度を算出することができる。
【００６９】
（その他の実施形態）
前述した実施形態では人物の認証を例に説明したが、本発明の用途は人物認証に限ったものではない。顔以外の一般的な物体を識別する場合についても、上下方向ＬＢＰ特徴及び左右方向ＬＢＰ特徴の二つの特徴量を利用できるような物体画像であれば、同様に適用できる。
【００７０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７１】
４０１  属性検出部
４０２  第一特徴抽出部
４０３  第二特徴抽出部
４０４  特徴圧縮部
４０５  特調合成部
４０６  類似度算出部
【図１】
2014199519.tif 000006
【図２】
2014199519.tif 000007
【図３】
2014199519.tif 000008
【図４】
2014199519.tif 000009
【図５】
2014199519.tif 000010
【図６】
2014199519.tif 000011
【図７】
2014199519.tif 000012
【図８】
2014199519.tif 000013
【図９】
2014199519.tif 000014