(57)【要約】      （修正有）【課題】顔を認識して判別する顔認識システムおよび顔認識方法において、顔を撮像した撮像データの顔以外の背景に関する撮像データを、撮像した顔に固有な特徴を有するデータに変換して、積極的に利用し、認識率の高い顔認識システムおよび顔認識方法を提供する。【解決手段】顔を撮像する顔撮像部と、顔撮像部により撮像された撮像データから、顔に関するデータを切り出す顔データ切り出し部と、切り出された顔に関する画像データから、顔画像データに固有なデータを抽出する背景固有化データ抽出部と、背景固有化データ抽出部により抽出されたデータを用いて、撮像データから、顔データ切り出し部によって顔に関するデータが切り出されて残った背景の画像データに、画像処理を施して背景画像データを固有化する部と、を備えることにより顔の撮像データのうち背景に関するデータを、顔に固有なデータに変換して画像処理を行う。【選択図】図４
2009026243.tif 000002
【特許請求の範囲】
【請求項１】
顔を認識する顔認識システムであって、
顔を撮像する顔撮像部と、
前記顔撮像部により撮像された撮像データから、顔に関するデータを切り出す顔データ切り出し部と、
切り出された顔に関する画像データ（以下「顔画像データ」ともいう）から、前記顔画像データに固有なデータであって、前記撮像データから前記顔画像データを切り出した後の残存データ（以下「背景データ」ともいう）を顔に固有なデータに固有化するために用いる背景固有化データを抽出する背景固有化データ抽出部と、
前記背景固有化データ抽出部により抽出された前記背景固有化データを用いて、前記顔撮像部により撮像された撮像データから、前記顔データ切り出し部によって顔に関するデータが切り出されて残った前記背景データに画像処理を施して、前記背景データを固有化する部（以下「背景固有化部」ともいう）と、を備えることにより顔の撮像データのうち背景に関するデータを、撮像された顔に固有なデータに変換して画像処理を行うことを特徴とする顔認識システム。
【請求項２】
請求項１に記載された顔認識システムにおいて、
前記背景固有化データ抽出部は前記顔画像データについて、撮像された顔の中央部を縦に割るような縦線（以下「顔中央縦線」ともいう）を入れ、前記縦線と交差する部分の前記顔画像データの濃度（以下「縦割り固有化濃度」ともいう）を背景固有化データとして抽出し、
前記背景固有化部は、前記背景固有化データ抽出部が抽出した前記背景固有化データに基づいて、前記背景データを縞模様を有するデータに変換し、前記背景データのいずれかの部分に前記顔中央縦線と平行な縦線を入れたときに、前記平行な縦線と交差する前記背景データの濃度は前記縦割り固有化濃度と同じ濃度を有する縞模様となるように前記背景データを固有化することを特徴とする顔認識システム。
【請求項３】
顔を認識する顔認識方法であって、
顔を撮像する顔撮像工程と、
前記顔撮像工程により撮像された撮像データから、顔に関するデータを切り出す顔データ切り出し工程と、
切り出された顔に関する画像データから、前記顔画像データに固有なデータであって、前記撮像データから前記顔画像データを切り出した後の前記背景データを、顔に固有なデータに固有化するために用いる背景固有化データを抽出する背景固有化データ抽出工程と、
前記背景固有化データ抽出工程により抽出されたデータを用いて、前記顔撮像工程により撮像された撮像データから前記顔データ切り出し工程によって、顔に関するデータが切り出されて残った前記背景データに画像処理を施して、前記背景データを固有化する工程（以下「背景固有化工程」ともいう）と、を備えることにより顔の撮像データのうち背景に関するデータを撮像された顔に固有なデータに変換して画像処理を行うことを特徴とする顔認識方法。
【請求項４】
請求項３に記載された顔認識方法において、
前記固有データ抽出工程は前記顔画像データについて、撮像された顔の中央部を縦に割るような縦線を入れ、前記縦線と交差する前記顔画像データの濃度を背景固有化データとして抽出し、
前記背景固有化工程は、前記背景固有化データ抽出工程において抽出した前記背景固有化データに基づいて、前記背景データを縞模様を有するデータに変換し、前記背景データのいずれかの部分に前記顔中央縦線と平行な縦線を入れたときに、前記平行な縦線と交差する前記背景データの濃度は前記縦割り固有化濃度と同じ濃度を有する縞模様となるように前記背景データを固有化することを特徴とする顔認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を認識する顔認識システムと方法に関する。
【背景技術】
【０００２】
近年、建物の入退館管理システムにおいて、入館を許可してもよい人か否かの判断を、指紋、指の静脈模様、声紋のような人の身体的特徴を利用して行うバイオメトリクス認証システムが普及しつつある。このバイオメトリクス認証システムにおいて、人間が他人を認識し判別する場合と同様に、入退館管理システムが人を顔の特徴により認識し判別することができれば入退館管理システムの利便性が向上する。また、人を顔の特徴により認識し判別する技術を、ロボットに応用すれば、ロボットの機能が飛躍的に高まり、ロボットに受付業務をさせたり、高度な癒しロボットを実現することが可能となる。
【０００３】
人を顔によって認識し判別する従来の認識システムに、判別の基準となる人の顔の特徴を複数の観点から抽出して、抽出した顔の複数の特徴を要素とする特徴空間を作成し、予め基準となる人の顔の特徴を基準特徴空間として登録しておき、判別対象となる任意の人の顔を撮像して特徴空間を作成し、作成された特徴空間を基準となる基準特徴空間と比較して、特定の人か否かを判断するという顔認識システムがある。
【０００４】
この顔に関する特徴空間は、人の顔の目、鼻、口、輪郭というパーツそのものの形状と、このパーツ間の配置データが要素となる。
【特許文献１】特開平４−２７７８７３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、人の顔の特徴空間を作成するために、人の顔を撮像すると、必ず顔以外の背景が撮像データに含まれる。人の顔の輪郭は、髪型等によって激しく変化し、顔の輪郭を正確に把握することは難しい。また、撮影条件によって背景は変化するので、背景を正確に排除することは困難である。この背景に関する撮像データが、顔の特徴空間を作成する際の障害となる。背景と顔の輪郭の関係を図に基づいて説明する。
【０００６】
図５は、人の顔を写した画像を示す図である。
図５において、５００は画像全体であり、５０５は背景の窓であり、５０１は背景のカーテンであり、５０２は顔の耳であり、５０３は窓のガラスである。人の顔を写した場合、背景に何が写るかは、予想しにくく、図５のように、顔の輪郭を示す線と、背景が構成する線とが複雑に交差する場合も多く、認識システムに背景と顔の境界線を正しく把握させることは困難である。
【０００７】
この問題を解決するために従来技術においては、顔の画像にマスクをかけて、顔を切り取り、背景を排除している。この場合、背景が残ってしまうことを防止するために、マスクを顔に深くかぶせ、顔の外側の一部が切り取られるほど深く顔を切り取っている。
【０００８】
このように、マスクを用いて背景に関する撮像データを削除してしまうという解決策もあるが、逆に、背景に関する撮像データについても、判別対象である顔が含有する固有な特徴をもたせることができれば、逆に背景に関する撮像を顔の認識に積極的に利用することができ、認識率の向上に寄与すると考えられる。
【０００９】
そこで本発明は、顔を認識対象とする顔認識システムおよび顔認識方法において、顔を撮像した撮像データが含む顔以外の背景に関する撮像データを、顔に固有な特徴を有するデータに変換して積極的に有効利用することにより、認識率の高い顔認識システムおよび顔認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、
請求項１に記載の発明は顔を認識する顔認識システムであって、
顔を撮像する顔撮像部と、
前記顔撮像部により撮像された撮像データから、顔に関するデータを切り出す顔データ切り出し部と、
切り出された顔に関する画像データ（以下「顔画像データ」ともいう）から、前記顔画像データに固有なデータであって、前記撮像データから前記顔画像データを切り出した後の残存データ（以下「背景データ」ともいう）を、顔に固有なデータに固有化するために用いる背景固有化データを抽出する背景固有化データ抽出部と、
前記背景固有化データ抽出部により抽出された前記背景固有化データを用いて、前記顔撮像部により撮像された撮像データから、前記顔データ切り出し部によって顔に関するデータが切り出されて残った前記背景データに画像処理を施して、前記背景データを固有化する部（以下「背景固有化部」ともいう）と、を備えることにより顔の撮像データのうち背景に関するデータを、撮像された顔に固有なデータに変換して画像処理を行うことを特徴とする。
【００１１】
請求項２に記載の発明は請求項１に記載された顔認識システムに係り、
前記背景固有化データ抽出部は前記顔画像データについて、撮像された顔の中央部を縦に割るような縦線（以下「顔中央縦線」ともいう）を入れ、前記縦線と交差する部分の前記顔画像データの濃度（以下「縦割り固有化濃度」ともいう）を背景固有化データとして抽出し、
前記背景固有化部は、前記背景固有化データ抽出部が抽出した前記背景固有化データに基づいて、前記背景データを縞模様を有するデータに変換し、前記背景データのいずれかの部分に前記顔中央縦線と平行な縦線を入れたときに、前記平行な縦線と交差する前記背景データの濃度は前記縦割り固有化濃度と同じ濃度を有する縞模様となるように前記背景データを固有化することを特徴とする。
【００１２】
請求項３に記載の発明は、顔を認識する顔認識方法であって、
顔を撮像する顔撮像工程と、
前記顔撮像工程により撮像された撮像データから、顔に関するデータを切り出す顔データ切り出し工程と、
切り出された顔に関する画像データから、前記顔画像データに固有なデータであって、前記撮像データから前記顔画像データを切り出した後の前記背景データを、顔に固有なデータに固有化するために用いる背景固有化データを抽出する背景固有化データ抽出工程と、
前記背景固有化データ抽出工程により抽出されたデータを用いて、前記顔撮像工程により撮像された撮像データから前記顔データ切り出し工程によって顔に関するデータが切り出されて残った前記背景データに画像処理を施して、前記背景データを固有化する工程（以下「背景固有化工程」ともいう）と、を備えることにより顔の撮像データのうち背景に関するデータを撮像された顔に固有なデータに変換して画像処理を行うことを特徴とする。
【００１３】
請求項４に記載の発明は、請求項３に記載された顔認識方法に係り、
前記固有データ抽出工程は前記顔画像データについて、撮像された顔の中央部を縦に割るような縦線を入れ、前記縦線と交差する前記顔画像データの濃度を背景固有化データとして抽出し、
前記背景固有化工程は、前記背景固有化データ抽出工程において抽出した前記背景固有化データに基づいて、前記背景データを縞模様を有するデータに変換し、前記背景データのいずれかの部分に前記顔中央縦線と平行な縦線を入れたときに、前記平行な縦線と交差する前記背景データの濃度は前記縦割り固有化濃度と同じ濃度を有する縞模様となるように前記背景データを固有化することを特徴とする。
【発明の効果】
【００１４】
本発明に係る顔認識システムによれば、顔に関する特徴空間を作成する際の障害となる、顔を撮像した場合に撮像データに必ず含まれてしまう背景に関する撮像データを、撮像された顔が含有する固有な特徴をもつデータに変換して、顔の認識に積極的に利用することにより、顔の認識率を向上させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、図を参照しつつ、発明を実施するための最良の形態につき説明する。
【００１６】
（実施の形態１）
図６は本発明に係る顔認識システムの構成を示すブロック図である。
図６において、６０１は撮像部であり、６０２は顔データ切り出し部であり、６０３は背景固有化データ抽出部であり、６０４は背景固有化部であり、６０５は認識処理部であり、６０６は顔データ切り出し部６０２、背景固有化データ抽出部６０３、背景固有化部６０４および認識処理部６０５を構成するパソコンである。
【００１７】
撮像部６０１は顔を撮像する装置であり、例えばCCDカメラである。
【００１８】
顔データ切り出し部６０２は撮像された顔の画像から、背景を排除し、顔の画像だけを切り出すものである。例えば、顔の中心が開口したマスクを被せて、顔の画像だけを切り出す。図に基づいて説明する。
【００１９】
図１は顔を撮像した直後の顔画像である。
図１において、１００は全体の画像であり、１０１は顔の部分の画像であり、１０２は背景の部分の画像である。
図１のように、顔の周囲の一部が切れてしまうほど背景を排除した全体の画像であっても、画像の一部に背景が残る場合が多い。
【００２０】
図２は撮像されたままの顔画像から顔だけを切り出すためのマスクを示す説明図である。
図２において、２００はマスクであり、２０１はマスクの開口部であり、２０２は背景を排除するためのマスク部である。
【００２１】
図３は図１の顔画像からマスク２００を用いて、顔を深く切り込んだ後の顔画像と、マスクによって無地にされた背景部分と、を示す図である。
図３において、３００は全体の画像であり、３０１はマスクによって深く切り取られた顔だけの顔画像であり、３０２はマスク２００によって無地にされた背景部分の無地画像である。
【００２２】
次に、背景固有化データ抽出部６０３について説明する。背景固有化データとは、背景の部分の無地画像を、撮像された顔に固有なデータに変換するために用いるデータである。例えば、この背景固有化データとして、画像３０１の中央を縦断する線と交差する画像が有する濃淡データが考えられる。図に基づいて説明する。
【００２３】
図４は、マスク２００を用いて背景を排除した顔画像３０１から、背景固有化データを抽出する方法を説明するための説明図である。
図４において、４００は顔と背景を含む全体画像であり、３０１はマスク２００を用いて、背景を排除した顔画像であり、４０１は顔画像３０１の中央を縦断する縦断線であり、４１１は縦断線４０１と額の部分とが交わる交差部分であり、４２１は交差部分４１１を背景に平行移動した部分であり、４１２は縦断線４０１と鼻の下の部分とが交差する部分であり、４２２は交差部分４１２を背景に平行移動した部分であり、４１３は縦断線４０１と下唇の下の部分とが交差する部分であり、４２３は交差部分４１３を背景に平行移動した部分である。背景固有化データとしては、縦断線４０１が画像３０１を切断する顔画像部分の濃淡を表す濃淡データを使用する。
【００２４】
次に、背景固有化部６０４について説明する。背景固有化部６０４は、背景固有化データ抽出部６０３が顔画像３０１から抽出した顔画像３０１に固有な背景固有化データを用いて、背景の部分を、顔画像３０１に固有なデータに変換する。例えば、背景データを縦断線４０１と顔画像３０１とが交差する部分の顔画像３０１の濃淡と同じ濃淡を有する横縞模様を表す背景データとする。部分４２１の背景データを、縦断線の交差部分４１１の濃淡と同じ濃淡の横縞模様を表す背景データにし、部分４２２の背景データを、縦断線の交差部分４１２の濃淡と同じ濃淡の横縞模様を表す背景データにし、部分４２３の背景データを、縦断線の交差部分４１３の濃淡と同じ濃淡の横縞模様を表す背景データにする。
【００２５】
認識処理部６０５は、固有化された全体画像４００を用いて、撮像された顔について、種々の認識処理を行う。なお、本発明は顔画像のうちの背景部分を顔に固有なデータに変換する点に特徴があるが、それ以後の処理に特徴があるものではなく、公知の顔を認識するための画像処理でよい。したがって、認識処理部６０５には特徴はなく、公知のものでよいので、詳細な説明は省略する。
【００２６】
また、顔データ切り出し部６０２、背景固有化データ抽出部６０３、背景固有化部６０４および認識処理部６０５はパソコン６０６とソフトウエアにより構成される。
【００２７】
次に、本発明に係る顔認識方法について、説明する。
図７は本発明に係る顔認識方法の概略を示すフローチャートである。
図７において、Ｓ７０１は顔撮像工程であり、Ｓ７０２は顔データ切り出し工程であり、Ｓ７０３は背景固有化データ抽出工程であり、Ｓ７０４は背景固有化工程であり、Ｓ７０５は認識処理工程である。
【００２８】
最初に、認識対象とする顔をＣＣＤカメラ等で撮像して、顔画像を得る（Ｓ７０１）。
【００２９】
次に、顔画像から背景を無地化して取り除く（Ｓ７０２）。例えば、図２に示されたマスク２００を用いて、顔を深く切り込み、背景を無地化して取り除く。
【００３０】
そして、顔の画像部分から、顔に固有な背景固有化データを抽出する（Ｓ７０３）。ここで、背景固有化データとは、背景を顔に固有なデータに変換するために用いるデータである。たとえば、図４に示された顔画像３０１の中央を、縦断線４０１で縦に切断し、その切断面の顔画像３０１が有する濃淡のデータである。この濃淡データは顔によって異なり、顔に固有なデータと考えられる。ただし、背景固有化データはこの濃淡データ以外であってもよい。
【００３１】
次に、背景固有化データを用いて、背景を固有化する（Ｓ７０４）。具体的には、顔画像３０１と縦断線４０１によって得られた濃淡データを基にして、背景に横縞を入れる。図４の交差部分４１１の濃淡と同じ濃淡を横に水平に展開して背景部分４２１に横縞を入れる。
交差部分４１２と背景部分４２２、交差部分４１３と背景部分４２３においても同様に横縞を入れる。残りの背景部分についても同様にして、横縞を入れる。その結果、画像４００全体を固有化できる。
【００３２】
次に、全体が固有化された画像４００を対象として、顔を認識するための種々の処理を行う。なお、本発明は顔画像のうちの背景部分を顔に固有なデータに変換する点に特徴があるが、それ以後の処理には特徴はなく、公知の顔を認識するための画像処理でよい。したがって、認識処理工程（Ｓ７０５）自体には特徴はなく、公知のものでよいので、詳細な説明は省略する。
【００３３】
本発明に係る、顔認識システムまたは顔認識方法によれば、顔を認識するための処理において、背景も固有化され、顔画像とともに顔を認識するために積極的に使用できるので、画像データから、処理の障害となる不要な背景データを除く必要がなく、処理が容易となるとともに、固有化された背景データを用いることにより、認識率を向上させることができる。
【図面の簡単な説明】
【００３４】
【図１】撮像した直後の顔の画像である。
【図２】撮像されたままの顔画像から顔だけを切り出すためのマスクを示す説明図である。
【図３】図１の顔画像からマスク２００を用いて、顔を深く切り込んだ後の顔画像と、マスクによって無地にされた背景部分と、を示す図である。
【図４】マスク２００を用いて背景を排除した顔の画像３０１から、背景固有化データを抽出する方法を説明するための説明図である。
【図５】人の顔を写した画像を示す図である。
【図６】本発明に係る顔認識システムの構成を示すブロック図である。
【図７】本発明に係る顔認識方法の概略を示すフローチャートである。
【符号の説明】
【００３５】
３０１      背景が排除された顔画像
４００      顔と背景を含む全体画像
４０１      顔画像３０１の中央を縦断する縦断線
４１１      交差部分
４１２      交差部分
４１３      交差部分
４２１      背景部分
４２２      背景部分
４２３      背景部分
【図１】
2009026243.tif 000003
【図２】
2009026243.tif 000004
【図３】
2009026243.tif 000005
【図４】
2009026243.tif 000006
【図５】
2009026243.tif 000007
【図６】
2009026243.tif 000008
【図７】
2009026243.tif 000009