(57)【要約】【課題】撮像された画像中から赤目部分を検出することによって人物の顔の位置を特定する顔認識撮像装置において、高い精度で人物の顔の位置を特定する。【解決手段】マイクロプロセッサは、複数の個眼像から各被写部分ごとの顔認識撮像装置からの距離を算出して距離画像を作成し（Ｓ１）、個眼像中の赤色円形部分（赤目候補部分）を検出する（Ｓ２）。検出した赤目候補部分から２つずつの赤目候補部分の組合わせを抽出し（Ｓ３）、組合わせ内の２つの赤目候補部分の間隔（見かけ間隔）が標準の間隔に比較して所定の範囲内か否かを判定し（Ｓ４）、所定の範囲内であれば（Ｓ４でＹＥＳ）、その２つの赤目候補部分の周囲において顔領域を検出する（Ｓ５）。所定の範囲を外れている場合は（Ｓ４でＮＯ）、全ての組合わせについて判定が終了したか否かを判断し（Ｓ６）、終了していない場合は（Ｓ６でＮＯ）、次の組合わせについてＳ４の判定を行う。【選択図】図６
2008182359.tif 000002
【特許請求の範囲】
【請求項１】
被写領域からの光を集光して焦点位置に像を形成するレンズ光学系と、
前記レンズ光学系によって形成された像を撮像する固体撮像素子と、
撮像時に被写領域を照明するフラッシュ装置と、を備え、
前記固体撮像素子によって撮像された画像の中から、前記フラッシュ装置の照明によって変色された瞳部分（以下、赤目部分という）を検出することによって人物の顔の位置を特定する顔認識撮像装置において、
前記レンズ光学系は、前記固体撮像素子上に、被写領域からの光を互いに視差を持った複数の像（以下、個眼像という）として形成する光軸が互いに平行な複数の光学レンズを有し、
前記顔認識撮像装置は、
前記固体撮像素子によって撮像された複数の個眼像を記憶する記憶手段と、
前記記憶手段に記憶された複数の個眼像間の比較に基づいて被写領域中の各被写部分についての本顔認識撮像装置からの距離（以下、部分固有距離という）を算出する距離算出手段と、
前記記憶手段に記憶された個眼像から赤色円形部分（以下、赤目候補部分という）を検出する赤目候補検出手段と、
前記赤目候補検出手段によって検出された全ての赤目候補部分から２つずつの赤目候補部分の組合わせを抽出する組合わせ抽出手段と、
前記組合わせ抽出手段によって抽出された組合わせごとに、各組合わせにおける２つの赤目候補部分の前記部分固有距離の差が所定の差よりも大きい組合わせを排除する排除手段と、
前記排除手段によって排除された残りの組合わせについて、各組合わせごとに２つの赤目候補部分の個眼像内における間隔（以下、見かけ間隔という）を算出する間隔算出手段と、
前記間隔算出手段によって算出された見かけ間隔が、その見かけ間隔の算出元の赤目候補部分の部分固有距離に応じた標準の見かけ間隔に比較して所定の範囲内にある組合わせの赤目候補部分を真の赤目部分であると判定する赤目判定手段と、をさらに備え、
前記赤目判定手段によって真の赤目部分であると判定された赤目候補部分に基づいて顔認識を行うことを特徴とする顔認識撮像装置。
【請求項２】
被写領域からの光を集光して焦点位置に像を形成するレンズ光学系と、
前記レンズ光学系によって形成された像を撮像する固体撮像素子と、
撮像時に被写領域を照明するフラッシュ装置と、を備え、
前記固体撮像素子によって撮像された画像の中から、前記フラッシュ装置の照明によって変色された瞳部分（以下、赤目部分という）を検出することによって人物の顔の位置を特定する顔認識撮像装置において、
前記レンズ光学系は、前記固体撮像素子上に、被写領域からの光を互いに視差を持った複数の像（以下、個眼像という）として形成する光軸が互いに平行な複数の光学レンズを有し、
前記顔認識撮像装置は、
前記固体撮像素子によって撮像された複数の個眼像を記憶する記憶手段と、
前記記憶手段に記憶された複数の個眼像間の比較に基づいて被写領域中の各被写部分についての本顔認識撮像装置からの距離（以下、部分固有距離という）を算出する距離算出手段と、
前記記憶手段に記憶された個眼像から赤色円形部分（以下、赤目候補部分という）を検出する赤目候補検出手段と、
前記赤目候補検出手段によって検出された全ての赤目候補部分から２つずつの赤目候補部分の組合わせを抽出する組合わせ抽出手段と、
前記組合わせ抽出手段によって抽出された組合わせごとに、各組合わせにおける２つの赤目候補部分の個眼像内における間隔（以下、見かけ間隔という）を算出する間隔算出手段と、
前記間隔算出手段によって算出された見かけ間隔が、その見かけ間隔の算出元の赤目候補部分の部分固有距離に応じた標準の見かけ間隔に比較して所定の範囲内にある組合わせの赤目候補部分を真の赤目部分であると判定する赤目判定手段と、をさらに備え、
前記赤目判定手段によって真の赤目部分であると判定された赤目候補部分に基づいて顔認識を行うことを特徴とする顔認識撮像装置。
【請求項３】
前記組合わせ抽出手段によって抽出された組合わせごとに、各組合わせにおける２つの赤目候補部分の部分固有距離の差が所定の差よりも大きい組合わせを排除する排除手段をさらに備え、
前記間隔算出手段は、前記排除手段によって排除された残りの組合わせについて、各組合わせごとに２つの赤目候補部分の見かけ間隔を算出することを特徴とする請求項２に記載の顔認識撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認識撮像装置に関し、詳しくは、撮像された画像の中から赤目部分を検出することによって人物の顔の位置を特定する顔認識撮像装置に関する。
【背景技術】
【０００２】
撮像時にフラッシュ装置によって被写体を照明し、固体撮像素子によって撮像された画像中の赤目部分を検出することによって人物の位置を特定するデジタルカメラが知られている（例えば、特許文献１参照）。
【０００３】
また、ストロボ発光時に撮像した画像とストロボ未発光時に撮像した画像を比較することによって赤目領域を検出し、検出した赤目領域に最も近い位置に距離測定点を選択して焦点距離の合った最良のポートレートを得ることができるデジタルカメラが知られている（例えば、特許文献２参照）。
【０００４】
さらに、距離測定手段が合焦点する範囲において赤目を探索することによって赤目の検出に要する時間を短縮できる撮像装置が知られている（例えば、特許文献３参照）。
【特許文献１】特開２００１−１４８８００号公報
【特許文献２】特開２００４−１１７７７６号公報
【特許文献３】特開２００５−１５０９７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、デジタルカメラ等において画像解析によって単純に画像中の赤色円形部分を検出するだけでは、高い精度で人物の目位置を検出することはできず、例えば、被写領域中にあるりんごの絵等を誤って人物の目として認識してしまうといったエラーが生じる場合がある。
【０００６】
特許文献１に記載のデジタルカメラでは、上記のようなエラーが生じないように、各被写体部分とカメラとの間の距離を算出し、赤目部分を検出するに当たってほぼ等距離に位置する被写体部分の組を抽出し、抽出した組の中から赤目部分を検出するようにしているが、高い精度で人物の目を検出できるまでには至っていない。
【０００７】
具体的には、特許文献１に記載のデジタルカメラにおいて、例えば壁に掛けられた絵に２個のりんごが並んで描かれている場合には、その２個のりんごを誤って人物の目として検出してしまう可能性が大きい。
【０００８】
また、特許文献１に記載のデジタルカメラでは、各被写体部分のカメラからの距離を算出するために視差が生じる異なった位置から２度の撮影が必要であるという問題もある。
【０００９】
そこで、本発明は、撮像された画像の中から赤目部分を検出することによって人物の顔の位置を特定する顔認識撮像装置において、人物の目以外の被写部分を誤って赤目部分として検出する可能性が低く、高い精度で人物の顔の位置を特定することができ、しかも処理時間が短い顔認識撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１の発明は、被写領域からの光を集光して焦点位置に像を形成するレンズ光学系と、前記レンズ光学系によって形成された像を撮像する固体撮像素子と、撮像時に被写領域を照明するフラッシュ装置と、を備え、前記固体撮像素子によって撮像された画像の中から、前記フラッシュ装置の照明によって変色された瞳部分（以下、赤目部分という）を検出することによって人物の顔の位置を特定する顔認識撮像装置において、前記レンズ光学系は、前記固体撮像素子上に、被写領域からの光を互いに視差を持った複数の像（以下、個眼像という）として形成する光軸が互いに平行な複数の光学レンズを有し、前記顔認識撮像装置は、前記固体撮像素子によって撮像された複数の個眼像を記憶する記憶手段と、前記記憶手段に記憶された複数の個眼像間の比較に基づいて被写領域中の各被写部分についての本顔認識撮像装置からの距離（以下、部分固有距離という）を算出する距離算出手段と、前記記憶手段に記憶された個眼像から赤色円形部分（以下、赤目候補部分という）を検出する赤目候補検出手段と、前記赤目候補検出手段によって検出された全ての赤目候補部分から２つずつの赤目候補部分の組合わせを抽出する組合わせ抽出手段と、前記組合わせ抽出手段によって抽出された組合わせごとに、各組合わせにおける２つの赤目候補部分の前記部分固有距離の差が所定の差よりも大きい組合わせを排除する排除手段と、前記排除手段によって排除された残りの組合わせについて、各組合わせごとに２つの赤目候補部分の個眼像内における間隔（以下、見かけ間隔という）を算出する間隔算出手段と、前記間隔算出手段によって算出された見かけ間隔が、その見かけ間隔の算出元の赤目候補部分の部分固有距離に応じた標準の見かけ間隔に比較して所定の範囲内にある組合わせの赤目候補部分を真の赤目部分であると判定する赤目判定手段と、をさらに備え、前記赤目判定手段によって真の赤目部分であると判定された赤目候補部分に基づいて顔認識を行うことを特徴とする。
【００１１】
請求項２の発明は、被写領域からの光を集光して焦点位置に像を形成するレンズ光学系と、前記レンズ光学系によって形成された像を撮像する固体撮像素子と、撮像時に被写領域を照明するフラッシュ装置と、を備え、前記固体撮像素子によって撮像された画像の中から、前記フラッシュ装置の照明によって変色された瞳部分（以下、赤目部分という）を検出することによって人物の顔の位置を特定する顔認識撮像装置において、前記レンズ光学系は、前記固体撮像素子上に、被写領域からの光を互いに視差を持った複数の像（以下、個眼像という）として形成する光軸が互いに平行な複数の光学レンズを有し、前記顔認識撮像装置は、前記固体撮像素子によって撮像された複数の個眼像を記憶する記憶手段と、前記記憶手段に記憶された複数の個眼像間の比較に基づいて被写領域中の各被写部分についての本顔認識撮像装置からの距離（以下、部分固有距離という）を算出する距離算出手段と、前記記憶手段に記憶された個眼像から赤色円形部分（以下、赤目候補部分という）を検出する赤目候補検出手段と、前記赤目候補検出手段によって検出された全ての赤目候補部分から２つずつの赤目候補部分の組合わせを抽出する組合わせ抽出手段と、前記組合わせ抽出手段によって抽出された組合わせごとに、各組合わせにおける２つの赤目候補部分の個眼像内における間隔（以下、見かけ間隔という）を算出する間隔算出手段と、前記間隔算出手段によって算出された見かけ間隔が、その見かけ間隔の算出元の赤目候補部分の部分固有距離に応じた標準の見かけ間隔に比較して所定の範囲内にある組合わせの赤目候補部分を真の赤目部分であると判定する赤目判定手段と、をさらに備え、前記赤目判定手段によって真の赤目部分であると判定された赤目候補部分に基づいて顔認識を行うことを特徴とする。
【００１２】
請求項３の発明は、請求項２の発明において、前記組合わせ抽出手段によって抽出された組合わせごとに、各組合わせにおける２つの赤目候補部分の部分固有距離の差が所定の差よりも大きい組合わせを排除する排除手段をさらに備え、前記間隔算出手段は、前記排除手段によって排除された残りの組合わせについて、各組合わせごとに２つの赤目候補部分の見かけ間隔を算出することを特徴とする。
【発明の効果】
【００１３】
請求項１の発明によれば、抽出された２つずつの赤目候補部分の組合わせのうち、各組合わせ内の２つの赤目候補部分の個眼像内における見かけ間隔が標準の見かけ間隔範囲内にある組合わせの赤目候補部分を真の赤目部分であると判定するので、人物の目以外の被写部分を誤って赤目部分として検出する可能性が低く、高い精度で人物の顔の位置を特定することができる。また、固体撮像素子によって一度に撮像される複数の個眼像に基づいて処理を行い、抽出された２つずつの赤目候補部分の組合わせのうち、２つの赤目候補部分の部分固有距離の差が所定の差よりも大きい組合わせを排除して、残りの組合わせについて個眼像内における見かけ間隔に基づく真の赤目部分か否かの判定を行うので、処理時間が短い。
【００１４】
請求項２の発明によれば、抽出された２つずつの赤目候補部分の組合わせのうち、各組合わせ内の２つの赤目候補部分の個眼像内における見かけ間隔が標準の見かけ間隔範囲内にある組合わせの赤目候補部分を真の赤目部分であると判定するので、人物の目以外の被写部分を誤って赤目部分として検出する可能性が低く、高い精度で人物の顔の位置を特定することができる。また、固体撮像素子によって一度に撮像される複数の個眼像に基づいて処理を行うので処理時間が短い。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態に係る顔認識撮像装置について、図１乃至図６を参照して説明する。本実施形態の顔認識撮像装置１は、図１乃至図３に示されるように、被写領域からの光を集光して焦点位置にある固体撮像素子２上に２行２列の４個の像（以下、個眼像という）Ａ〜Ｄを形成するレンズ光学系３と、固体撮像素子２上に形成された４個の個眼像Ａ〜Ｄを電子的に処理して顔の位置を特定し、予め登録された顔と一致するか否かの判定を行う電子回路４と、電子回路４からの信号によって撮像と同時に発光するフラッシュ装置５とを備えている。
【００１６】
レンズ光学系３は、図１及び図２に示されるように、光軸Ｌが互いに平行である２行２列のアレイ状に配置された４個の光学レンズ６と、光学レンズ６の支持フレーム７に形成された絞り開口８と、光学レンズ６と固体撮像素子２の間に、各光学レンズ６から固体撮像素子２へ向けてそれぞれ出射される光同士が干渉しないように配置された隔壁９と、固体撮像素子２の上方に配置された光学フィルタ１１とを備えている。４つの個眼像Ａ〜Ｄは、４個の光学レンズ６がアレイ状に配置されていることによって互いに視差を有する。各個眼像Ａ〜Ｄに現れる視差については後述する。
【００１７】
固体撮像素子２は、基板１０上に形成されたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成され、行列方向（図３のＸ、Ｙ方向）に多数の単位画素１２を有している。
【００１８】
各光学レンズ６によって固体撮像素子２上に集光されて形成される２行２列の個眼像Ａ〜Ｄが、図３において、それぞれ円形で表わされる。各個眼像Ａ〜Ｄは、固体撮像素子２によってアナログの画像情報（画素に蓄積される電荷電圧）に変換され後述するローリングシャッタ装置によって、まず、個眼像Ａと個眼像Ｂがほぼ同時に並行して読出され、一定時間後に個眼像Ｃと個眼像Ｄがほぼ同時に並行して読出される。
【００１９】
固体撮像素子２には、単位画素１２の読出し順序を上記の通りの順序にするための垂直走査回路１３と水平走査回路１４が設けられており、垂直走査回路１３と水平走査回路１４によってローリングシャッタ装置１５が構成されている。
【００２０】
次に、電子回路４について、図１を参照して説明する。電子回路４は、固体撮像素子２から出力されるアナログの画像信号をＡＤコンバータ１６を介してディジタル信号として取込むＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１７と、ＤＳＰ１７に接続され、ＤＳＰ１７に取込まれた個眼像Ａ〜Ｄの画像情報を後述の処理手順に従って処理するマイクロプロセッサ（距離算出手段、赤目候補検出手段、組合わせ抽出手段、排除手段、間隔算出手段、赤目判定手段）１８と、マイクロプロセッサ１８に接続されたＲＡＭ（記憶手段）２１とＲＯＭ２２と、を備える。
【００２１】
ＲＡＭ２１には、固体撮像素子２から読出された４つの個眼像Ａ〜Ｄの画像情報が一時的に記憶され、ユーザによって予め登録された顔情報が記憶されている。ＲＯＭ２２には、後述の顔領域検出のための処理手順のプログラム、及び検出した顔が登録された顔と一致するか否かを判定するためのプログラムが記憶されている。なお、後者のプログラムは、検出した顔の情報と登録された顔の情報とを目や口等の特徴部分ごとに形状や大きさを比較することによって一致するか否かを判定する公知の顔認識プログラムである。
【００２２】
本実施形態の顔認識撮像装置１は、撮像を開始すると、フラッシュ装置５が発光して被写領域を照明し、ローリングシャッタ装置１５が動作して固体撮像素子２上に形成された個眼像Ａ〜Ｄを順に読出し、読出された４つの個眼像Ａ〜Ｄは、マイクロプロセッサ１８を介してＲＡＭ２１に一時的に記憶される。
【００２３】
ＲＡＭ２１に記憶された個眼像Ａ〜Ｄについて、その一例が図４に示される。この例は、室内の手前側に人物Ｐがおり後方の壁にりんごの絵ａが懸けられた画像であり、撮像時にフラッシュ装置５が発光することによって人物Ｐの瞳部分Ｐｉは赤色に変色される。
【００２４】
また、各個眼像Ａ〜Ｄは、アレイ状に配置された別々の光学レンズ６によって固体撮像素子２上に形成されたものであるので互いに視差を持ち、個眼像Ａを基準にすると、個眼像Ｂでは人物Ｐ及びりんごの絵ａを含む被写体が左方寄りに撮像され、個眼像Ｃでは該被写体が上方寄りに撮像され、個眼像Ｄでは該被写体が左上方寄りに撮像される。各個眼像Ａ〜Ｄにおいて、視差の影響がなかった場合の人物Ｐ及びりんごの絵ａの位置が点線で示される。
【００２５】
本実施形態の顔認識撮像装置１からの距離が小さい被写体（人物Ｐ）ほど各個眼像Ａ〜Ｄ間における視差が大きく現れ、逆に距離が大きい被写体（りんごの絵ａ）ほど各個眼像Ａ〜Ｄ間における視差が小さく現れる。
【００２６】
そして、マイクロプロセッサ１８は、ＲＡＭ２１に記憶された上記４つの個眼像Ａ〜Ｄにおける視差に基づき各被写部分（人物Ｐ、りんごの絵ａ等）についての顔認識撮像装置１からの距離を算出し、算出した各被写部分ごとの距離に基づいて、画像中から検出した赤色円形部分（赤目候補部分）が真に赤目部分であるのか否かの判定を行い、真に赤目部分であると判定した赤色円形部分について顔領域の検出を行う。その顔領域検出のための手順について、図５（ａ）、図５（ｂ）の説明図、及び図６のフローチャートを参照して説明する。
【００２７】
マイクロプロセッサ１８は、まず、前述の通りの個眼像Ａ〜Ｄ間における視差の情報から距離画像を作成する（Ｓ１）。
【００２８】
距離画像は、具体的には、被写部分と顔認識撮像装置１との間の距離情報（部分固有距離）が個眼像Ａ〜Ｄを構成する単位画素ごとに算出され、その距離情報を各単位画素の色の変化や濃淡の変化に変換して再構成された画像である。
【００２９】
例えば、顔認識撮像装置１との距離が大きい被写部分についてはより淡色に再現され、顔認識撮像装置１との距離が小さい被写部分についてはより濃色に再現される場合には、図４に示された画像は、図５（ａ）に示されるように、人物Ｐがより濃色に再現され、りんごの絵ａがより淡色に再現された距離画像ＰＤになる。ただし、図５（ａ）においては、距離画像に重ねてりんごの絵ａの位置を破線で示している。作成された距離画像ＰＤは、ＲＡＭ２１に記憶される。
【００３０】
次に、マイクロプロセッサ１８は、画像解析によって個眼像から赤色円形部分（赤目候補部分）を検出する（Ｓ２）。以下、個眼像から３箇所の赤目候補部分ｒ１、ｒ２、ｒ３が検出された場合について説明する（図５（ｂ）参照）。赤目候補部分ｒ１、ｒ２は、赤色に変色された瞳部分Ｐｉであり、赤目候補部分ｒ３は、赤色円形のりんごの絵ａの部分である。
【００３１】
マイクロプロセッサ１８は、検出された赤目候補部分ｒ１、ｒ２、ｒ３の中から２つずつの赤目候補部分の組合わせを抽出し、各組合わせについて２つの赤目候補部分の部分固有距離の差が所定の差よりも大きい組合わせを排除することによって抽出された組合わせの数を絞る（Ｓ３）。マイクロプロセッサ１８は、距離画像ＰＤを参照することによって各赤目候補部分ｒ１、ｒ２、ｒ３の部分固有距離を取得する。
【００３２】
具体的には、いま、検出された赤目候補部分ｒ１、ｒ２、ｒ３は３つであるので、マイクロプロセッサ１８は、赤目候補部分ｒ１、ｒ２の第１の組合わせ、赤目候補部分ｒ２、ｒ３の第２の組合わせ、赤目候補部分ｒ３、ｒ１の第３の組合わせを抽出し、第１から第３の各組合わせについて、２つの赤目候補部分の部分固有距離の差が所定の差よりも大きいか否かを判断する。
【００３３】
例えば、いま、赤目候補部分ｒ１の部分固有距離が２０１ｃｍ、赤目候補部分ｒ２の部分固有距離が２０２ｃｍ、赤目候補部分ｒ３の部分固有距離が３００ｃｍであり、基準となる部分固有距離の差が５ｃｍであるとすると、赤目候補部分ｒ１と赤目候補部分ｒ２の部分固有距離の差は１ｃｍ、赤目候補部分ｒ２と赤目候補部分ｒ３の部分固有距離の差は９８ｃｍ、赤目候補部分ｒ３と赤目候補部分ｒ１の部分固有距離の差は９９ｃｍになるので、マイクロプロセッサ１８は、第２の組合わせと第３の組合わせを排除し、最終的に赤目候補部分ｒ１と赤目候補部分ｒ２からなる第１の組合わせを抽出する。
【００３４】
次に、マイクロプロセッサ１８は、最終的に決定した組合わせについて２つの赤目候補部分の個眼像内における間隔ｄ（見かけ間隔、図５（ｂ）参照）を算出し、算出した見かけ間隔ｄが、算出元の赤目候補部分の部分固有距離に応じた標準の見かけ間隔に比較して所定の範囲内にあるか否かを判定する（Ｓ４）。
【００３５】
上記の例に沿って説明する。最終的に決定された第１の組合わせの２つの赤目候補部分ｒ１と赤目候補部分ｒ２の個眼像内における見かけ間隔ｄが３ｍｍであり、赤目候補部分ｒ１と赤目候補部分ｒ２の部分固有距離（２０１ｃｍと２０２ｃｍの平均２０１．５ｃｍ）における標準の見かけ間隔が３ｍｍ、所定の範囲が±１ｍｍであるとすると、マイクロプロセッサ１８は、第１の組合わせの２つの赤目候補部分ｒ１、ｒ２の見かけ間隔ｄが、標準の見かけ間隔２〜４ｍｍ内に入っているので、真の赤目部分であると判定する。
【００３６】
ここで、マイクロプロセッサ１８は、２つの赤目候補部分の見かけ間隔ｄを検出し、検出した見かけ間隔ｄが実際にその距離にいる人物の両目の間隔よりも過大又は過小になる場合は当該２つの赤目候補部分が真の赤目部分ではなく、検出した見かけ間隔ｄの標準の見かけ間隔からの大きさのずれが所定幅以内である場合には当該２つの赤目候補部分が真に人物の赤目部分であると判定するのである。
【００３７】
なお、上記例では、算出元の赤目候補部分の部分固有距離として、２つの赤目候補部分の部分固有距離の平均を用いたが、いずれか一方の赤目候補部分の部分固有距離を用いてもよい。
【００３８】
Ｓ４において２つの赤目候補部分の見かけ間隔ｄが標準の見かけ間隔に比較して所定の範囲内にあると判断された場合（Ｓ４においてＹＥＳ）には、マイクロプロセッサ１８は、当該２つの赤目候補部分（上記例では赤目候補部分ｒ１、ｒ２）の周囲について、肌色部分の形状や大きさを検出することによって顔領域を検出する（Ｓ５）。個眼像全体ではなく、赤目候補部分の周囲についてのみ画像解析をすることによって、マイクロプロセッサ１８の処理量が大きく低減される。
【００３９】
Ｓ４において２つの赤目候補部分の見かけ間隔ｄが標準の見かけ間隔に比較して所定の範囲を外れていると判断された場合（Ｓ４においてＮＯ）には、マイクロプロセッサ１８は、Ｓ３で抽出した全ての組合わせについての判定が終了したか否かを判断する（Ｓ６）。
【００４０】
全ての組合わせについての判定が終了していない場合（Ｓ６でＮＯ）には、マイクロプロセッサ１８は、Ｓ４に戻って次の組合わせについての判定を行い、全ての組合わせについての判定が終了している場合（Ｓ６でＹＥＳ）には、プログラムを終了する。
【００４１】
上記処理手順によって個眼像中の顔領域が特定されるので、マイクロプロセッサ１８は、別の顔認識プログラムによって、特定された顔が登録された顔と一致するか否かを判定する。
【００４２】
なお、上記の例では、説明を簡明にするために、Ｓ２において検出される赤目候補部分は３つであったが、実際にはＳ２において検出される赤目候補部分は多数であり、Ｓ３において最終的に絞り込まれる組合わせの数も複数である場合が多いと考えられる。
【００４３】
以上のように、本実施形態の顔認識撮像装置１では、抽出された２つずつの赤目候補部分の組合わせのうち、各組合わせ内の２つの赤目候補部分（例えば、ｒ１、ｒ２）の個眼像内における見かけ間隔ｄが標準の見かけ間隔範囲内にある組合わせの赤目候補部分を真の赤目部分であると判定するので、人物の目以外の被写部分を誤って赤目部分として検出する可能性が低く、高い精度で人物の顔の位置を特定することができる。
【００４４】
また、１回のシャッタ動作によって固体撮像素子２上に撮像される複数の個眼像Ａ〜Ｄに基づいて処理を行うと共に、Ｓ３において検出された２つずつの赤目候補部分の組合わせのうち２つの赤目候補部分の部分固有距離の差が所定の差よりも大きい組合わせを排除して組合せの数を絞り込むので、処理時間が短い。
【００４５】
なお、フラッシュ装置５による発光期間をローリングシャッタ装置１５の動作に連動させ、ローリングシャッタ装置１５が個眼像Ａと個眼像Ｂを撮像する期間にはフラッシュ装置５が発光し、ローリングシャッタ装置１５が個眼像Ｃと個眼像Ｄを撮像する期間にはフラッシュ装置５の発光が停止しているように制御を行う場合には、個眼像Ａと個眼像Ｂにおける人物Ｐの瞳部分Ｐｉが赤色に変色されて撮像され、個眼像Ｃと個眼像Ｄにおける人物Ｐの瞳部分Ｐｉが変色されずに撮像されるので、個眼像Ａ（又は個眼像Ｂ）と個眼像Ｃ（又は個眼像Ｄ）の差分画像を作成することによって、より高い精度で赤目候補部分を検出することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態に係る顔認識撮像装置の概略構成を示す図。
【図２】同顔認識撮像装置における光学系部分の正面図。
【図３】同顔認識撮像装置における固体撮像素子の正面図。
【図４】同顔認識撮像装置における固体撮像素子上に結像される４つの個眼像の例を示す図。
【図５】（ａ）は同顔認識撮像装置において作成される距離画像の例を示す図、（ｂ）は同顔認識撮像装置において検出される赤目候補部分を示す説明図。
【図６】同顔認識撮像装置における顔領域の検出手順を示すフローチャート。
【符号の説明】
【００４７】
１  顔認識撮像装置
２  固体撮像素子
３  レンズ光学系
５  フラッシュ装置
６  光学レンズ
１８  マイクロプロセッサ（距離算出手段、赤目候補検出手段、組合わせ抽出手段、排除手段、間隔算出手段、赤目判定手段）
２１  ＲＡＭ（記憶手段）
Ａ、Ｂ、Ｃ、Ｄ  個眼像
Ｌ  光軸
Ｐ  人物（被写部分）
Ｐｉ  瞳部分
ａ  りんごの絵（被写部分）
ｄ  見かけ間隔
ｒ１、ｒ２、ｒ３  赤目候補部分
【図１】
2008182359.tif 000003
【図２】
2008182359.tif 000004
【図３】
2008182359.tif 000005
【図４】
2008182359.tif 000006
【図５】
2008182359.tif 000007
【図６】
2008182359.tif 000008