(57)【要約】【課題】色彩を有効活用し、安定して正しい結果が得られる個人識別の技術（方法）を提供することを課題としている。【解決手段】肌色を明度に影響されない表色系を利用して定義し、撮影されたカラー画像から肌色を示す領域を検出するステップと、該検出された肌色領域の画像が人の前向き顔画像であることを判別するステップと、該前向き顔画像に対して予め登録された個人の中から該当する個人を識別するステップとを含むことを特徴とする。【選択図】　図１
2004013768.tif 000002
【特許請求の範囲】
【請求項１】
撮影されたカラー画像から肌色を示す領域を検出するステップと、該検出された肌色領域の画像が人の前向き顔画像であることを判別するステップと、該前向き顔画像に対して予め登録された個人の中から該当する個人を識別するステップとを含むことを特徴とする個人識別方法。
【請求項２】
前記肌色領域を検出するステップは、予め登録された肌色成分のパラメータと前記カラー画像の色成分と比較照合し、人間の皮膚色部分を検出することを特徴とする請求項１に記載の個人識別方法。
【請求項３】
前記肌色領域の検出は前記カラー画像の各画素に対して、肌色確率を付与し、肌色確率の平均値が最大である領域を検出し、該平均値が所定値に比較して十分に大きい場合は肌色領域とすることを特徴とする請求項１に記載の個人識別方法。
【請求項４】
前記肌色部分の肌色を明度に影響されない表色系を利用して所定の範囲で定義し、撮影時における撮影補助ランプの発光色等の撮影条件、又は人種による肌色成分の相違等の条件を考慮して調整可能にしたことを特徴とする請求項１〜請求項３の何れか１に記載の個人識別方法。
【請求項５】
前記人の前向き顔画像であることを判別するステップは、肌色部分を表示した領域を人の前向き顔画像を表す領域に補正する予備ステップを含むことを特徴とする請求項１〜請求項４の何れか１に記載の個人識別方法。
【請求項６】
前記人の前向き顔画像であることを判別するステップは、前記肌色領域の画像に対して多数の人間の顔から学習により作成された顔データベースとマッチングしている程度を求め、人の前向き画像であると判断することを特徴とする請求項１〜請求項４の何れか１に記載の個人識別方法。
【請求項７】
前記人の前向き顔画像であることを判別するステップは、前記肌色領域に対して、走査窓を上下方向に移動させて探索し、目と鼻等の前向き顔の特徴を示す走査窓が見つかった場合に該肌色領域を人の前向き画像又はその候補であると判断することを特徴とする請求項１〜請求項４の何れか１に記載の個人識別方法。
【請求項８】
前記人の前向き顔画像であるかどうかの判断は、前記候補に対して多数の正しい事例と間違った事例をウエーブレット変換して作成されたヒストグラムを利用して決定することを特徴とする請求項７に記載の個人識別方法。
【請求項９】
前記個人識別ステップは、前記ステップで得られた前記人の前向き顔画像を予め登録されている個人の前向き顔データベースと照合して個人を識別することを特徴とする請求項１〜請求項８の何れか１に記載の個人識別方法。
【請求項１０】
前記データベースは、１個人について多数枚の画像から該個人の前向き顔の特徴を抽出して作成したことを特徴とする請求項９に記載の個人識別方法。
【請求項１１】
前記照合はサポートベクタマシンの技術を適用したことを特徴とする請求項９に記載の個人識別方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、カラー撮影画像から所定の個人を識別する画像認識の技術分野に属
する。
【０００２】
【従来の技術】
撮影画像を利用して個人を識別する技術は、従来から主にセキュリティの分野やロボットの分野で開発されてきた。即ち、セキュリティの分野では、対象とする人物が登録された人間の中から特定の個人を識別することはセキュリティを保つ意味で重要である。一方、個人を識別する能力をロボットに持たせて知能を持ったロボットにすることは単なる興味を超えてロボットを人間社会で役立つようにするために重要な技術である。しかし、個人を認識する技術は人間にとっては容易であっても、機械にとっては簡単ではない。このために、従来から個人を識別する技術及びこれに関連する技術が少なからず開発されてきたが、未だ十分に信頼ができ、しかもコンパクトで実用的な装置が開発されていない。
【０００３】
例えば、公開特許公報、平１１−３３９０４８号には、セキュリティを目的とした個人識別技術（方法、装置）が開示されている。図１０はこの個人識別装置（以下、従来装置１という。）の構成を示し、図１１は手順を示すフローチャートである。図１０で、撮影装置１１０はＣＣＤカメラと横方向から光を照射する照明装置を具備し、画像メモリ１１１には光を照射した撮影画像と光を照射しない撮影画像が記録される。撮影対象判定部１１２は画像メモリ１１１の撮影画像が人間を撮影した画像であるか人間の顔写真を撮影した画像であるかを判別する。顔領域抽出部１１３は、従来技術を利用して識別対象者の顔画像を抽出する。例えば、背景の画像と人物を含んだ画像の差分を利用する。特徴抽出部１１４は従来技術を利用して顔の特徴量を求める。例えば、平均的な顔との差を主成分分析する統計的手法と目、鼻、口等の濃淡画像からテンプレートマッチングする方法が知られている。類似度判定部１１５は識別対象者の顔の特徴量と登録されている顔の特徴量を比較して類似度を算出する。
【０００４】
この個人識別装置（従来装置１）の主要なポイントは、撮影画像が人間を撮影した画像であるか人間の顔写真を撮影した画像であるかを判別する点にある。即ち、カメラの横方向から光を照射して撮影する場合には人間の撮影画像には顔の輪郭、目鼻口等の形状、顔の凹凸により撮影画像に陰影が表れるが、これに対して写真の画像では表れない。なお、図１１のフローチャートは眺めて戴ければ理解できるので説明は省略する。
【０００５】
公開特許公報、２００２−５６３３８号にはロボットに適用した個人識別装置が開示されている。図１２はこの個人識別装置（以下、従来装置２という。）を利用したロボット装置の構成図を示す。図１３はロボット装置の中の人物識別装置を図示し、図１４は人物識別手段の処理手順を示す。この従来装置は家庭環境のような照明条件が一定でない環境における人物識別を主目的にしている。以下、本発明と関連のあると思われる部分について簡略に説明する。図１３において、人物識別装置２１４は映像取得手段２０２，対面距離センサ２０５、人物検出手段２０１等を備えている。ここで、映像取得手段２０２は左右のカメラ２０３，２０４を具備し、対面距離センサ２０５はカメラの光軸方向の対象物体との距離を測定する。
【０００６】
人物検出識別手段２０１は、映像取得手段２０２により得られた映像画像から人物の頭部を検出し、頭部の矩形座標を出力する頭部検出追跡手段２０６と，顔領域の探索処理を行い、顔中心部の矩形画像を正面顔画像として出力する正面顔位置合わせ手段２０７と，正面顔画像をラスタスキャンして、特徴量を検出し、特徴量データを出力する顔特徴検出手段２１８と，識別辞書記憶手段２１０の辞書データを参照して顔識別処理を行う顔識別手段２０９と、過去の識別結果と統合処理を行え、その結果を人物検出識別部に出力する識別結果補正手段２１１とから構成されている。
【０００７】
上記で、正面顔位置合わせ手段２０７は、入力された画像データから頭部を矩形として部分画像を切り取る頭部矩形切り取り手段と、頭部矩形画像の中から正面顔領域を探索し、正面顔画像と標準顔辞書とのパターン距離又は類似度を出力する正面顔探索手段と、正面顔画像が本当に正面顔であるかどうかを判断する正面顔らしさ判定手段から構成されている。正面顔らしさ判断手段は、具体的には正面顔画像データの濃淡値の分散を求め、閾値以下の場合に正面顔でないと判断する。
【０００８】
従来装置２は上記構成で、図１４に示す手順で処理を行う。なお、処理手順の説明は省略する。従来装置２では撮影画像を濃淡画像として処理しており、色彩を利用していないために複雑な解析と手順が必要になっている。しかし、我々は、色彩を持った空間の中で生きており、色彩が重要な情報を提供していることを知っている。従って、色彩を利用すれば、もっと簡単に個人識別が可能になると考えられる。
【０００９】
【発明が解決しようとする課題】
この発明は、上述のような背景の下になされたもので、色彩を有効活用し、安定して正しい結果が得られる個人識別の技術（方法）を提供することを課題としている。
【００１０】
【課題を解決するための手段】
上記課題を解決するために本発明は以下の手段を採用している。即ち、
請求項１記載の発明は、撮影されたカラー画像から肌色を示す領域を検出するステップと、該検出された肌色領域の画像が人の前向き顔画像であることを判別するステップと、該前向き顔画像に対して予め登録された個人の中から該当する個人を識別するステップとを含むことを特徴としている。
【００１１】
請求項２記載の発明は、請求項１に記載の発明において、前記肌色領域を検出するステップは、予め登録された肌色成分のパラメータと前記カラー画像の色成分と比較照合し、人間の皮膚色部分を検出することを特徴としている。
【００１２】
請求項３記載の発明は、請求項１に記載の発明において、前記肌色領域の検出は前記カラー画像の各画素に対して、肌色確率を付与し、肌色確率の平均値が最大である領域を検出し、該平均値が所定値に比較して十分に大きい場合は肌色領域とすることを特徴とする。
【００１３】
請求項４記載の発明は、請求項１〜請求項３に記載の発明において、前記肌色部分の肌色を明度に影響されない表色系を利用して所定の範囲で定義し、撮影時における撮影補助ランプの発光色等の撮影条件、又は人種による肌色成分の相違等の条件を考慮して調整可能にしたことを特徴とする。
【００１４】
請求項５記載の発明は、請求項１〜請求項４に記載の発明において、前記人の前向き顔画像であることを判別するステップは、肌色部分を表示した領域を人の前向き顔画像を表す領域に補正する予備ステップを含むことを特徴とする。
【００１５】
請求項６記載の発明は、請求項１〜請求項４に記載の発明において、前記人の前向き顔画像であることを判別するステップは、前記肌色領域の画像に対して多数の人間の顔から学習により作成された顔データベースとマッチングしている程度を求め、人の前向き画像であると判断することを特徴とする。
【００１６】
請求項７記載の発明は、請求項１〜請求項４に記載の発明において、前記人の前向き顔画像であることを判別するステップは、前記肌色領域に対して、走査窓を上下方向に移動させて探索し、目と鼻等の前向き顔の特徴を示す走査窓が見つかった場合に該肌色領域を人の前向き画像又はその候補であると判断することを特徴とする。
【００１７】
請求項８記載の発明は、請求項７に記載の発明において、前記人の前向き顔画像であるかどうかの判断は、前記候補に対して多数の正しい事例と間違った事例をウエーブレット変換して作成されたヒストグラムを利用して決定することを特徴とする。
【００１８】
請求項９記載の発明は、請求項１〜請求項８に記載の発明において、前記個人識別ステップは、前記ステップで得られた前記人の前向き顔画像を予め登録されている個人の前向き顔データベースと照合して個人を識別することを特徴とする。
【００１９】
請求項１０記載の発明は、請求項９に記載の発明において、前記データベースは、１個人について多数枚の画像から該個人の前向き顔の特徴を抽出して作成したことを特徴とする。
また、請求項１１記載の発明は、請求項９に記載の発明において、前記照合はサポートベクタマシンの技術を適用したことを特徴とする。
【００２０】
【発明の実施形態】
図１は本発明の実施形態である個人識別方法の手順を示すフローチャート図である。図２は本実施形態の方法を遂行する装置図である。図２で、処理装置１１はパソコン等のコンピュータで構成されている。処理装置１１は処理部１２，バスライン１５、作業用記憶装置１３，データ保存用記憶装置１４，入出力バッファ１６，１７を具備している。なお、付属装置としてＣＣＤカメラ１０、ディスプレイ２０、外部装置２１等が接続されている。以下、図面を参照してこの発明の実施形態について説明する。
【００２１】
図１において、ステップＳ１１では撮影カメラ１０によって撮影された画像が処理装置１１の記憶装置１４に記憶される。ステップＳ１２では肌色の設定を行う。人間の皮膚の色は男女の差、老人と子供のように年齢差によっても異なるだけでなく、白人や黒人等の人種によって大きく異なる。更に室内の照明によっても著しく変化して見える。また、装置を作成する場合には肌色を合理的に定めておく必要がある。ここでは、マンセルの表色系を採用して定義し、照明灯等による環境条件の変化に対して補正する。
【００２２】
マンセル表色系は、アメリカ人の画家マンセルが提唱した色の配列法をその後に改良した色の表示方法である。物の色を色相（色あい）、明度、クロマ（色みの量を表す、以下色みという。）を基本軸として色を３次元座標で表示している。ここで、色相とは赤、黄、緑、青、赤紫を云う。明度とは色の明るさで、白色（反射率が１００％の色）を１０とし、黒色（反射率が０の色）を０と定めている。色みとは色の鮮やかさを表し、無彩色からの距離で測られる。色みは彩度と異なり、彩度は明度の値に依って変化するが、色みは明度の値に依って変化しない。従って、マンセル表色系で肌色を定義することにより、明度によって変化しない肌色が定義できる。即ち、室内の照明灯の明るさに影響されにくい肌色の定義ができるという特徴がある。
【００２３】
図３はマンセルの表色系で明度がある値を採った場合の図を示す。図３の斜線で囲んだ部分は人（白人）の肌色を示す部分である。図３の円周方向には色相がＲ（赤）、Ｙ（黄）、Ｇ（緑）、Ｂ（青）、Ｐ（パープル）の順に規定され、半径方向には色みの量（クロマ）が規定されている。また、図４は具体的なケースについて斜線部分における肌色の分布を示した図である（池田光男著、「色彩工学の基礎」、朝倉書店、ｐ１６）。従って、この部分を肌色と定義すれば概ね肌色を正しく表現できる。なお、衣服の色や背景色と区別できれば実用的に十分であり、更に、照明光に色がある場合や、特殊のケース（黒人の場合等）の場合にはその条件を加味して補正を行うことで実用的な肌色の識別が可能になる。
【００２４】
ステップＳ１３では肌色のマスクを利用して撮影画像をスキャンする。例えば、各画素に対してマンセルの表色系で定義された部分の色を確率１とし、この部分から遠ざかるに従って低い確率値を付与し、マスクの平均値が所定値以上であれば、その部分は肌色として検出する。これにより撮影画像中の肌色部分を検出する。この検出によって肌色部分の大きさと位置が決定できる。肌色部分を含む矩形領域を決定し、その部分画像を出力する。この場合矩形領域が顔部分の一部である場合も含まれるし、或いは他の部分も含んでいる場合もある。図５はこれらの場合の例示である。図５（Ａ）は帽子を被っているために額部分が割愛され、正面顔の一部が表示されている。図５（Ｂ）は正面顔全体が正しく表示されている。図５（Ｃ）は肌着しか着ていないために正面顔以外の余計な首部分まで表示されている。しかし、上に述べた操作により正面顔の位置と大体の大きさ（正確には正面顔の候補の大きさ）が結果として得られることは重要である。
【００２５】
ステップＳ１４では前述の矩形画像が人の正面画像であるかどうかを判断する。この判断ステップは、顔の一部の一般的特徴（例えば、目と鼻）を利用して人間の顔であるかどうかを検出する予備ステップと、正面を向いている顔であるか否かを検証する判定ステップからなる。前者の予備ステップではステップＳ１３で得られた矩形画像２０に対して、図６（Ａ）に示すように、ウインドウ２１を上から下に（或いは）下から上に）移動させながら探索する。探索において、目と鼻の部分を含んでいるウインドウが少なくとも１個以上見つかれば、この撮影画像が人の正面顔を含んでいる確率が非常に大きくなる。
【００２６】
判定ステップでは目と鼻を含んだ画像領域に対する検証を行う。検証方法として、例えば、統計的手法を利用したシュナイダーマンの方法を利用する。このために、目と鼻を含んだ正しい正面顔の画像サンプルとそうでない誤りの画像のサンプルを、各々数十万程度を準備しこれら等の画像をウェーブレット変換し、ヒストグラム作成します。ヒストグラムは複数の色について行え、これらの色毎の結果を重ねて表示して図７に示している。図７（Ａ）は正しい正面顔のサンプルに対するヒストグラムで、図７（Ｂ）は誤りのサンプルに対するヒストグラムである。この図において、縦軸は頻度で正しいとされた場合を「正」で、誤りとされた場合を「負（−）」で示す。また、横軸は要因（又は属性）を示す周波数特性を示している。図７から理解できるように要因Ｅ、Ｆ、Ｉについて検証すれば正しく判定できることが解る。
【００２７】
正面画像の候補が人の正面画像を含んでいると判定された場合は、予備ステップで目と鼻の位置が決定できるので、図６（Ｂ）に示すように人の正面顔を含んでいる画像領域だけを限定して切り出すことが可能になる。なお、上記に述べた判断ステップ（Ｓ１４）は非常に安定して正しい結果が得られることが理解できる。
【００２８】
ステップＳ１５では撮影画像の顔の特徴を表すデータを抽出する。特徴を容易に抽出可能にするために、図８に示すように入力画像（Ａ）を出力画像（Ｂ）のように変換する。例えば、入力画像（Ａ）の鼻を中央に持ってきて左右対称となるように回転、移動をし、且つ明るさやコントラストを変換する。また、顔の表示サイズを一定になるようにサイズも変換する。このようにして得られた出力画像に対して顔の特徴抽出を行う。顔の特徴抽出は顔の識別方法によって異なる。顔の識別方法としては、正面顔画像の濃淡パターンを特徴ベクトルとして考え、濃淡パターン（特徴ベクトル）の内積を求める方法と、顔の形状等の個別的特徴を定めておいて、この特徴を正面顔画像から抽出して比較する方法等がある。
【００２９】
顔の形状等の個別的特徴としては、例えば顔の輪郭（顎の形状、丸顔、細面の顔等）や目、鼻、口、眉等の形状及びそれらの幾何学的位置関係や左右の対称の程度、或いは顔の凹凸（頬の凹凸）、顔の色彩（頬や額の色等）を抽出する。特徴抽出は特徴ベクトルとして予め定められている特徴（要素）について行う。しかし、このような特徴抽出を直接行なうのは、機械化することが困難である（例えば、プログラムの作成が困難である）という問題がある。そこで本実施形態では、登録する個人顔データベースとして、各個人について数枚〜２０枚程度の顔写真画像を用意して統計的に特徴を抽出している。即ち、顔写真画像を輝度変換して、ヒストグラム等を作成し、輝度分布から上記した個別的特徴を間接的に把握する。
【００３０】
ステップＳ１６では撮影画像から抽出した特徴と既に登録されている個人の特徴データベースとを比較して撮影画像の人物を識別する。個人の特徴データベースは１人について１０枚程度の画像を使い顔の特徴ベクタを抽出してメモリ１４に登録されている。撮影画像の特徴と特徴データベースとの参照比較はサポートベクタマシンと呼ばれる方法で行う。即ち、各個人を判別するための識別関数（分割面）を定めておいて、撮影画像から抽出した特徴ベクタが特徴データベースの何れかの個人に属する場合にはその個人を決定する。また、何れの個人にも属しない場合に登録された人物以外の他人であることを決定する。ステップＳ１７では決定された結果を出力する。
【００３１】
以上、この発明の実施形態、実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、顔の特徴抽出、データベースの作成、個人の識別は上記した方法に限定される訳ではなく、他の方法を採用してもよい。また、ステップ１４における判定ステップでは「目と鼻」を利用しているが「目」だけを利用してもよい。この場合は顔にマスクをしている場合でも検出できる。
【００３２】
【発明の効果】
以上説明したように、この発明の構成によれば、対象人物の正面顔が確実に、かつ容易に行われることから安定した個人の識別手段が得られるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施形態の方法による手順を説明するフローチャートを示す。
【図２】本発明の実施形態の方法を実施する装置の概略を示す。
【図３】マンセルの表色系を示す。
【図４】肌色部分のデータの内容を示す。
【図５】肌色部分の画像を示す。
【図６】顔の一部探索方法（Ａ）とその結果（Ｂ）を示す。
【図７】正面顔の画像サンプル（Ａ）と誤り画像のサンプル（Ｂ）のヒストグラムを示す。
【図８】特徴抽出変換の入力例（Ａ）と出力例（Ｂ）を示す。
【図９】従来の個人識別装置の構成を示す。
【図１０】上記従来装置のフローチャートを示す。
【図１１】他の従来装置でロボットに利用した例を示す。
【図１２】上記他の従来装置の構成を示す。
【図１３】上記他の従来装置のフローチャートを示す。
【符号の説明】
１０　　　　カメラ
１１　　　　処理装置
１２　　　　処理部
１３　　　　作業用記憶装置
１４　　　　保存用記憶装置
１５　　　　バスライン
２０　　　　ディスプレイ
２１　　　　外部装置
【図１】
2004013768.tif 000003
【図２】
2004013768.tif 000004
【図３】
2004013768.tif 000005
【図４】
2004013768.tif 000006
【図５】
2004013768.tif 000007
【図６】
2004013768.tif 000008
【図７】
2004013768.tif 000009
【図８】
2004013768.tif 000010
【図９】
2004013768.tif 000011
【図１０】
2004013768.tif 000012
【図１１】
2004013768.tif 000013
【図１２】
2004013768.tif 000014
【図１３】
2004013768.tif 000015