(57)【要約】【課題】顔を認識して判別する顔認識システムにおいて、顔を撮像した画像から、顔以外の背景に関する画像を削除して、顔に関する特徴を表すデータだけから構成される画像を作成し、該顔に関する特徴を表すデータだけから構成される画像を用いて種々の認識処理を行うことにより認識率の高い顔認識システムおよび顔認識方法を提供することを目的とする。【解決手段】顔を撮像する顔撮像部と、顔撮像部により撮像された画像から、顔の主要なパーツを判別して切り出す顔パーツ切り出し部と、顔パーツ情報取得部と、顔パーツ切り出し部により切り出された顔パーツを白紙のワークエリアに再配置して画像を作成する顔パーツ再配置画像作成部と、顔パーツ再配置画像作成部により顔パーツが配置された画像に対して認識処理を行う認識処理部と、を有することにより画像から背景を的確に削除して高精度で効率的な認識処理ができるように顔認識システムを構成する。【選択図】図１
2009048234.tif 000002
【特許請求の範囲】
【請求項１】
顔を認識する顔認識システムであって、
顔を撮像する顔撮像部と、
前記顔撮像部により撮像された顔の画像から背景を削除する背景削除部と、
前記背景削除部により背景が削除された画像（以下「顔画像」ともいう）から、顔の主要なパーツ（以下「顔パーツ」ともいう）を判別し、切り出す、顔パーツ切り出し部と、
前記各顔パーツの形状と位置に関する情報（以下「顔パーツ情報」ともいう）を取得する顔パーツ情報取得部と、
前記顔パーツ切り出し部により切り出された前記各顔パーツを、前記顔パーツ 情報に基づいて無地のワークエリアに再配置して、前記無地のワークエリアに前記顔パーツが再配置された画像（以下「再配置顔画像」ともいう）を作成する顔パーツ再配置画像作成部と、
前記顔パーツ再配置画像作成部により作成された前記再配置顔画像に対して認識処理を行う認識処理部と、を有し、
撮像した画像から背景に関する画像を削除して、認識処理を行うことを特徴とする顔認識システム。
【請求項２】
顔を認識する顔認識方法であって、
顔を撮像する顔撮像工程と、
前記顔撮像工程により撮像された顔の画像から背景を削除する背景削除工程と、
前記背景削除工程により背景が削除された前記顔画像から、顔の前記顔パーツを判別し、切り出す、顔パーツ切り出し工程と、
前記各顔パーツの形状と位置に関する前記顔パーツ情報を取得する顔パーツ情報取得工程と、
前記顔パーツ切り出し工程により切り出された前記各顔パーツを前記顔パーツ情報に基づいて無地のワークエリアに再配置して、前記無地のワークエリアに前記顔パーツが再配置された前記再配置顔画像を作成する顔パーツ再配置画像作成工程と、
前記顔パーツ再配置画像作成工程により作成された前記再配置顔画像に対して認識処理を行う認識処理工程と、を有し、
撮像した画像から背景に関する画像を削除して、認識処理を行うことを特徴とする顔認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を認識する顔認識システムと方法に関する。
【背景技術】
【０００２】
近年、建物の入退館管理システムにおいて、入館を許可すべき人か否かの判断を、指紋による個人認証や、パスワードによる個人識別をするといったバイオメトリクス認証システムが普及しつつある。このバイオメトリクス認証システムをさらに発展させて、人間が他人を認証し判別する場合と同様に、入退館管理システムが人を顔により認証し判別することができれば入退館管理システムの利便性が向上する。また、個人を顔により認証し判別する技術を、ロボットに応用すれば、ロボットの機能が飛躍的に高まり、ロボットに受付業務をさせたり、高度な癒しロボットを実現することが可能となる。
【０００３】
人の顔を認証し判別する顔認証システムにおいては、判別の基準となる人の顔を顔の特徴を抽出して、抽出した特徴を、種々の特徴を要素とする多次元の特徴空間における個々の顔に固有な特徴領域として把握し、この特徴領域を比較することにより、特定の顔か否かを判断する。
【０００４】
このような顔認証システムにおいては、人の顔の特徴を目、鼻、口、顔の輪郭という顔のパーツそのものの形状と、このパーツ相互間の配置情報を主な顔に固有な特徴として把握する。
【０００５】
しかし、顔の特徴を把握するために、人の顔を 撮像すると、必ず、顔以外の背景が画像に含まれる。背景は、人に固有なデータではなく、また、顔を撮像するときの撮像条件によって様々に変化するので、顔に固有な特徴を 抽出する際や、認識処理をする際の障害となる。図に基づいて説明する。
【０００６】
図３はＣＣＤカメラで撮像した顔の画像である。
図３において、３００は全体の画像であり、３０１は背景のカーテンの画像であり、３０３は背景の窓ガラスの画像であり、３０２は髪の毛である。
この画像の場合には背景として、窓とカーテンが写っている。このように顔を写した画像においては背景や、髪の毛のように、顔の一部であっても一定の形状を保たないものの存在により、顔の輪郭線と背景との境界を正確に把握することは難しく、顔による認識技術分野における課題である。
【０００７】
この問題を解決するために従来は、背景と顔の境界を可能な 範囲で把握して、単に、背景を無模様化したり、顔にマスクをして、顔の中央部分だけを深く切り出していた。
【特許文献１】特開平４−２７７８７３
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら背景は、撮像条件によって予想外の変化をするものであり、また、顔の輪郭も髪型等によって種々に変化するので、顔と背景の境界を正確に捉えることには限界があり、従来の方法では背景の排除が完全ではなかった。
【０００９】
そこで本発明は、顔を認識して判別する顔認識システムにおいて、顔を撮像した画像から、背景を確実に排除して、人の顔に関する特徴的な画像のみを的確に取得し、背景に起因する悪影響を受けることのない、効率的で認識率の高い顔認識システムおよび顔認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は顔を認識する顔認識システムであって、
顔を撮像する顔撮像部と、
前記顔撮像手段により撮像された画像から背景を削除する背景削除部と、
前記背景削除部により背景が削除された画像（以下「顔画像」ともいう）から、顔の主要なパーツ（以下「顔パーツ」ともいう）を判別し、切り出す、顔パーツ切り出し部と、
前記各顔パーツの形状と位置に関する情報（以下「顔パーツ情報」ともいう）を取得する顔パーツ情報取得部と、
前記顔パーツ切り出し部により切り出された前記各顔パーツを前記顔パーツ情報に基づいて無地のワークエリアに再配置して、前記無地のワークエリアに前記顔パーツが再配置された画像（以下「再配置顔画像」ともいう）を作成する顔パーツ再配置画像作成部と、
前記顔パーツ再配置画像作成部により作成された前記再配置顔画像に対して認識処理を行う認識処理部と、を有し、
撮像した画像から背景に関する画像を削除して、認識処理を行うことを特徴とする。
【００１１】
請求項２に記載の発明は顔を認識する顔認識方法であって、
顔を撮像する顔撮像工程と、
前記顔撮像工程により撮像された顔の画像から背景を削除する背景削除工程と、
前記背景削除工程により背景が削除された前記顔画像から、顔の前記顔パーツを判別し、切り出す、顔パーツ切り出し工程と、
前記各顔パーツの形状と位置に関する前記顔パーツ情報を取得する顔パーツ情報取得工程と、
前記顔パーツ切り出し工程により切り出された前記各顔パーツを前記顔パーツ情報に基づいて無地のワークエリアに再配置して、前記無地のワークエリアに前記顔パーツが再配置された前記再配置顔画像を作成する顔パーツ再配置画像作成工程と、
前記顔パーツ再配置画像作成工程により作成された前記再配置顔画像に対して認識処理を行う認識処理工程と、を有し、
撮像した画像から背景に関する画像を削除して、認識処理を行うことを特徴とする。
【発明の効果】
【００１２】
本発明に係る顔認識システムによれば、撮像手段が撮像した画像から顔以外の背景を的確に排除した画像を作成することが可能となる。その結果、その後の、画像の処理において、背景が含まれない画像に対して種々の認識処理を行うことができ、認識率が高く、効率のよい顔認識システムを実現できる。
【発明を実施するための最良の形態】
【００１３】
以下、図を参照しつつ、発明を実施するための最良の形態につき説明する。
【００１４】
（実施の形態１）
図１は本発明に係る顔認識システムの構成を示すブロック図である。
図１において、１０１は撮像部であり、１０２は背景排除部であり、１０３は顔パーツ切り出し部であり、１０４は顔パーツ情報取得部であり、１０５は顔パーツ再配置画像作成部であり、１０６は認識処理部である。また、１０７は、背景排除部１０２、顔パーツ切り出し部１０３、顔パーツ情報取得部１０４、顔パーツ再配置画像作成部１０５および認識処理部１０６を構成するパソコンである。
【００１５】
次に、各部について説明する。
【００１６】
撮像部１０１は顔を撮像する装置であり、例えばCCDカメラにより構成する。ただし、CCDカメラ以外の機器で構成してもよい。
【００１７】
背景排除部１０２は撮像された画像から、背景を排除し、顔の画像だけを残存させるものである。図に基づいて説明する。
【００１８】
図３は撮像部１０１が撮像した顔の画像である。
図３において、３００は全体の画像であり、３０１は背景のカーテンの画像であり、３０３は背景の窓ガラスの画像であり、３０２は髪の毛である。
図４は背景を排除した後の顔の画像である。
背景排除部１０２は、顔の後ろに写っている窓、カーテン等の背景を削除する。この場合において、顔と背景の境界を精確に把握することは困難であり、背景が残存することを避けるために、図４に示された画像のように、顔の周囲を切り取って背景が残存しないようにする場合が多い。
【００１９】
顔パーツ切り出し部１０３は背景が排除された画像から、顔の主要な部分である顔パーツを探し出して、切り出す。
【００２０】
次に顔パーツ情報取得部１０４は、顔パーツ切り出し部１０３が切り出した各顔パーツの形状と位置を取得する。
図５は顔パーツの形状と位置に関する情報について説明するための説明 図である。
図５において、５０１と５０２は顔パーツの形状と位置に関する情報を示すための座標軸（Ｘ軸，Ｙ軸）であり、５０２がＸ軸、５０１がＹ軸である。この図５では、両目を横に結ぶ横線と顔（鼻）の中央を縦断する縦線との交点をＸＹ座標の原点（０，０）としている。Ａは唇の右端であり、Ｂは唇の左端である。ａ１は位置ＡのＹ座標の絶対値であり、ａ２は位置ＡのＸ座標の絶対値であり、ｂ１は位置ＢのＹ座標の絶対値であり、ｂ２は位置ＢのＸ座標の絶対値である。
【００２１】
顔パーツ情報取得部１０４は顔パーツの形状と位置を把握し、各顔パーツの形状と位置を適当な座標軸を用いて数値化し、顔パーツ情報として保管する。
例えば、唇の右端の位置ＡはＸＹ座標で（ａ２，−ａ１）であり、唇の左端の位置ＢはＸＹ座標で（―ｂ２，−ｂ１）となる。他の顔パーツに関しても同様に各顔パーツの位置をＸＹ座標を使用して把握して顔パーツ情報を取得する。また、顔パーツの各部分についての位置に関する情報を取得すれば、顔パーツの形状についての情報を取得したことにもなる。
【００２２】
顔パーツ再配置画像作成部１０５は、顔パーツ切り出し部１０３が探し出して切り出した各顔パーツをなにもない白紙のワークエリアに、顔パーツ情報取得部１０４が取得した各顔パーツの位置に関する情報に基づいて、再配置する。
図６は顔パーツが再配置された画像について説明するための説明図である。
図６において、６０１はなにもないワークエリアに顔パーツを再配置した再配置顔画像である。６０２は顔パーツの一つである、鼻に関する顔パーツであり、６０３は顔パーツの一つである、目に関する顔パーツであり、６０４は顔パーツの一つである、口に関する顔パーツである。なお、６０２乃至６０４は顔パーツの例示であり、これらに限定されるものではない。
再配置顔画像６０１は各顔パーツの形状に関する情報と各顔パーツ間の形状と位置に関する情報を含んでおり、この情報は、背景などのようにノイズ的なデータではなく、顔に固有なデータのみで構成されたデータである。
【００２３】
認識処理部１０６は再配置顔画像６０１に対して、顔を認識するための種々の画像処理を行う。再配置顔画像６０１はなにもないワークエリアに顔パーツを再配置したものであるので、背景に関する情報は含まれていない。そのため、認識処理部１０６は再配置顔画像６０１を処理することにより、背景等の障害となるデータに乱されることが無く、高精度の画像処理を実現できる。
【００２４】
次に、本発明に係る顔認識方法について、説明する。
図２は本発明に係る顔認識方法の概略を示すフローチャートである。
図２において、Ｓ２００は撮像工程であり、Ｓ２０１は背景排除工程であり、Ｓ２０２は顔パーツ切り出し工程であり、Ｓ２０３は顔パーツ情報取得工程であり、Ｓ２０４は顔パーツ再配置顔画像作成工程であり、Ｓ２０５は認識処理工程である。
【００２５】
最初に、対象とする顔をＣＣＤカメラ等で撮像して、顔を写した画像を得る（Ｓ２００）。
【００２６】
次に、顔を写した画像から背景を排除する（Ｓ２０１）。例えば、顔の中心部にマスクをして、マスクされたところ以外を削除することにより背景を取り除く。
【００２７】
そして、背景が排除された顔の画像から、顔を構成する目、鼻、口などの主要なパーツを抽出して、切り出す（Ｓ２０２）。
【００２８】
次に、切り出された各顔パーツの位置を把握し、顔パーツ情報として、取得する（Ｓ２０３）。具体的には、例えば図５に示されているように、どこかを原点としたＸＹ座標に基づいて各顔パーツの形状と位置に関する情報を把握する。ただし、把握する方法はＸＹ座標を用いる方法に限定されるものではなく、各顔パーツの形状と位置を把握できるものであれば、他の方法であってもよい。
【００２９】
次に、何もない白紙のワークエリアに切り出した顔パーツを顔パーツ情報に基づいて再配置する（Ｓ２０４）。その結果、背景などの顔に無関係な情報を含んでいない再配置顔画像６０１（図６、参照）を得ることができる。
【００３０】
次に、再配置顔画像６０１に基づいて、顔を認識するための種々の画像処理を行う（Ｓ２０５）。
再配置顔画像６０１は顔に固有なデータのみにより構成されているので、背景のようなノイズに邪魔をされない、効率的で、高精度の認識処理を実現できる。
【図面の簡単な説明】
【００３１】
【図１】顔認識システムの構成を示すブロック図である。
【図２】顔認識方法の概略を示すフローチャートである。
【図３】ＣＣＤカメラで撮像した顔の画像である。
【図４】背景を排除した後の顔の画像である。
【図５】顔パーツに関する顔パーツ情報について説明するための説明図である。
【図６】顔パーツが再配置された画像について説明するための説明図である。
【符号の説明】
【００３２】
１０１      撮像部
１０２      背景排除部
１０３      顔パーツ切り出し部
１０４      顔パーツ情報取得
１０５      顔パーツ再配置画像作成部
１０６      認識処理部
１０７      背景排除部１０２、顔パーツ切り出し部１０３、顔パーツ情報取得部１０４、顔パーツ再配置画像作成部１０５および認識処理部１０６を構成するパソコン
【図１】
2009048234.tif 000003
【図２】
2009048234.tif 000004
【図３】
2009048234.tif 000005
【図４】
2009048234.tif 000006
【図５】
2009048234.tif 000007
【図６】
2009048234.tif 000008