(57)【要約】【課題】画像から精度良く人物の顔を検出する。【解決手段】顔検出プログラムは、以下の処理を含む。第１画像に含まれる人物の顔についての第１画像内での位置と寸法とを含む空間情報を特定し、特定した空間情報に基づいて、第１画像内における人物の顔の探索空間範囲を設定する処理。特徴量が異なる複数の種類の顔モデルのそれぞれと、第１画像における探索空間範囲内に含まれる物体とを照合して、複数の種類の顔モデルの中から一致度が高い第１顔モデルを抽出する処理。第１画像よりも後の時間に取得される第２画像における空間情報が特定されない場合に、第１顔モデルを含む所定数の顔モデルを複数の種類の顔モデルの中から選出し、選出した顔モデルのそれぞれと、第１画像に対して設定した探索空間範囲に基づいて設定される第２画像における探索空間範囲内に含まれる物体とを照合して第２画像内の顔についての空間情報を特定する処理。【選択図】図６Ａ
2018128784.tif 000002
【特許請求の範囲】
【請求項１】
第１画像に含まれる人物の顔についての前記第１画像内での位置と寸法とを含む空間情報を特定し、
特定した前記空間情報に基づいて、前記第１画像内における前記人物の顔の探索空間範囲を設定し、
特徴量が異なる複数の種類の顔モデルのそれぞれと、前記第１画像における前記探索空間範囲内に含まれる物体とを照合して、前記複数の種類の顔モデルの中から一致度が高い第１顔モデルを抽出し、
前記第１画像よりも後の時間に取得される第２画像における前記空間情報が特定されない場合に、前記第１顔モデルを含む所定数の顔モデルを前記複数の種類の顔モデルの中から選出し、選出した前記顔モデルのそれぞれと、前記第１画像に対して設定した前記探索空間範囲に基づいて設定される前記第２画像における探索空間範囲内に含まれる物体とを照合して前記第２画像内の顔についての前記空間情報を特定する、
処理をコンピュータに実行させることを特徴とする顔検出プログラム。
【請求項２】
前記空間情報を特定する処理は、前記画像から角膜反射を抽出し、前記画像内における前記角膜反射の位置に基づいて、前記画像内における前記人物の顔の位置と寸法とを算出する処理を含み、
前記角膜反射の位置に基づいて前記第２画像における前記空間情報が特定されない場合に、選出した前記顔モデルのそれぞれと、前記第１画像において設定した前記探索空間範囲に基づいて設定される前記第２画像における探索空間範囲内に含まれる物体とを照合して前記第２画像内の顔についての前記空間情報を特定する、
ことを特徴とする請求項１に記載の顔検出プログラム。
【請求項３】
前記空間情報を特定する処理は、１つの前記画像に対し複数の空間情報の候補が存在する場合に、前記複数種類の顔モデルのなかから選出した顔モデルと、前記画像における複数通りの探索範囲内の像とを照合したときの各探索範囲の一致度に基づいて、前記複数の空間情報の候補のうちの１つの候補を前記空間情報に特定する処理を含む、
ことを特徴とする請求項１に記載の顔検出プログラム。
【請求項４】
前記探索空間範囲を設定する処理は、前記顔モデルの種類と、前記顔モデルのそれぞれを処理対象である画像における前記探索空間範囲内に含まれる物体と照合する処理に割り当てられる処理時間と、に基づいて設定する、
ことを特徴とする請求項１に記載の顔検出プログラム。
【請求項５】
前記画像は、撮像装置の撮像範囲内に赤外光を投光した状態で撮像した画像である、
ことを特徴とする請求項１に記載の顔検出プログラム。
【請求項６】
特徴量が異なる複数の種類の顔モデルのなかから選出された顔モデルと、画像内に設定した探索空間範囲内に含まれる物体とを照合し、前記画像に含まれる人物の顔についての前記画像内での位置と寸法とを含む空間情報を特定するマッチング処理部と、
処理の対象となっている画像から抽出される情報に基づいて、前記画像内の顔についての前記空間情報を特定する空間位置決定部と、
前記空間情報の特定結果に基づいて、前記画像内における前記人物の顔の前記探索空間範囲を設定するとともに、前記画像内に設定した前記探索空間範囲内に含まれる物体と照合する顔モデルを選出するモデル系列決定部と、を備え、
前記モデル系列決定部は、前記空間情報が特定された場合に前記複数種類の顔モデルのなかから選出する前記顔モデルの数を、前記空間情報が特定されなかった場合に選出する前記顔モデルの数よりも多くする、
ことを特徴とする顔検出装置。
【請求項７】
コンピュータが、
第１画像に含まれる人物の顔についての前記第１画像内での位置と寸法とを含む空間情報を特定し、
特定した前記空間情報に基づいて、前記第１画像内における前記人物の顔の探索空間範囲を設定し、
特徴量が異なる複数の種類の顔モデルのそれぞれと、前記第１画像における前記探索空間範囲内に含まれる物体とを照合して、前記複数の種類の顔モデルの中から一致度が高い第１顔モデルを抽出し、
前記第１画像よりも後の時間に取得される第２画像における前記空間情報が特定されない場合に、前記第１顔モデルを含む所定数の顔モデルを前記複数の種類の顔モデルの中から選出し、選出した前記顔モデルのそれぞれと、前記第１画像において設定した前記探索空間範囲に基づいて設定される前記第２画像における探索空間範囲内に含まれる物体とを照合して前記第２画像内の顔についての前記空間情報を特定する、
処理を実行することを特徴とする顔検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔検出プログラム、顔検出装置、及び顔検出方法に関する。
【背景技術】
【０００２】
カメラで撮像した画像から人物の顔を検出する技術は、商店内や公共スペースにおける不特定の人物の行動解析等に利用される。
【０００３】
画像から顔を検出する方法の１つとして、予め用意した顔のモデル画像を参照したマッチング処理により検出する方法がある。この種の検出方法では、顔の輪郭、髪型、顔の向き、メガネや髭の有無等の特徴の異なるモデル画像を多数用意することで、顔の特徴の多様性に対して頑健に顔を検出することが可能となる（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−０５４９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像に写っている人物の顔の位置や大きさは画像毎に異なり、かつ不特定であるため、モデル画像を参照したマッチング処理では、モデル画像毎に、画像内の比較する領域の位置や寸法を変えながら一致度を算出する。このため、モデル画像の種類を多くした場合、１つの画像に対するマッチング処理に要する処理時間が非常に長くなってしまう。一方、リアルタイムでの顔検出のように１つの画像に対する検出処理に割り当てられる処理時間が制限されている場合、参照するモデル画像の種類に制限が生じるため、画像内の人物の顔の特徴との一致度の高い適切な検出結果を得られないことがある。
【０００６】
１つの側面において、本発明は、不特定の人物が写っている画像から精度良く人物の顔を検出することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様の顔検出プログラムは、以下の処理をコンピュータに実行させる。第１画像に含まれる人物の顔についての第１画像内での位置と寸法とを含む空間情報を特定し、特定した空間情報に基づいて、第１画像内における人物の顔の探索空間範囲を設定する処理。特徴量が異なる複数の種類の顔モデルのそれぞれと、第１画像における探索空間範囲内に含まれる物体とを照合して、複数の種類の顔モデルの中から一致度が高い第１顔モデルを抽出する処理。第１画像よりも後の時間に取得される第２画像における空間情報が特定されない場合に、第１顔モデルを含む所定数の顔モデルを複数の種類の顔モデルの中から選出し、選出した顔モデルのそれぞれと、第１画像に対して設定した探索空間範囲に基づいて設定される第２画像における探索空間範囲内に含まれる物体とを照合して第２画像内の顔についての空間情報を特定する処理。
【発明の効果】
【０００８】
上述の態様によれば、不特定の人物が写っている画像から精度良く人物の顔を検出することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る顔検出システムのシステム構成を示す図である。
【図２】第１の実施形態に係る顔検出装置の機能的構成を示す図である。
【図３】顔モデルデータの作成方法を説明する図である。
【図４】マッチング処理における探索条件を説明する図である。
【図５】マッチング処理の処理時間と探索条件の数との関係を説明する図である。
【図６Ａ】第１の実施形態に係る顔検出装置が行う処理を説明するフローチャート（その１）である。
【図６Ｂ】第１の実施形態に係る顔検出装置が行う処理を説明するフローチャート（その２）である。
【図７】顔検出の対象となる人物の移動経路を示す図である。
【図８】人物が撮像範囲内に入った直後の顔の検出方法を説明する図である。
【図９】人物の位置が角膜反射を検出可能な範囲内である場合の顔の検出方法を説明する図である。
【図１０】人物が角膜反射を検出可能な範囲内から外側に移動した後の顔の検出方法を説明する図である。
【図１１】複数通りの有効角膜反射ペアが抽出される例を示す図である。
【図１２】空間位置を決定する処理の内容を説明するフローチャートである。
【図１３】空間上の一致度を説明する図である。
【図１４】複数の空間位置の候補のなかから空間位置を決定する方法を説明する図である。
【図１５】空間位置とマッチング処理での一致度との関係を説明する図である。
【図１６】第２の実施形態に係る顔検出システムのシステム構成を示す図である。
【図１７】第２の実施形態に係る顔検出装置の機能的構成を示す図である。
【図１８】表示制御装置の機能的構成を示す図である。
【図１９】表示制御装置が行う処理を説明するフローチャートである。
【図２０】第３の実施形態に係る顔検出システムのシステム構成を示す図である。
【図２１】第３の実施形態に係る顔検出装置の機能的構成を示す図である。
【図２２】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
図１は、第１の実施形態に係る顔検出システムのシステム構成を示す図である。
図１に示すように、本実施形態に係る顔検出システム１は、撮像装置２と、顔検出装置３と、データ蓄積装置４と、データ解析装置５とを備える。
【００１１】
撮像装置２は、撮像部２１０と、投光部２２０とを含む。撮像部２１０は、赤外線画像を撮像する。撮像部２１０は、例えば、Charged-Coupled Devices（ＣＣＤ）、Complementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等の固体撮像素子を含む。投光部２２０は、撮像部２１０の撮像範囲内に赤外光を投光する。投光部２２０は、例えば、赤外発光ダイオード等の赤外光源を含む。
【００１２】
顔検出装置３は、撮像装置２で撮像した赤外線画像に基づいて、撮像装置２の有効撮像範囲Ｖ１内に存在する人物７の顔についての情報（以下「顔情報」という）を検出する。有効撮像範囲Ｖ１は、撮像装置２の撮像範囲のうちの、顔検出装置３において人物７の顔を検出可能な範囲である。検出する顔情報は、赤外線画像に写っている人物７の顔の特徴、位置、及び大きさを含む。
【００１３】
データ蓄積装置４は、顔検出装置３で検出した顔情報を含むデータを蓄積する。顔検出装置３と、データ蓄積装置４とは、インターネット等のネットワーク６を介して接続される。
【００１４】
データ解析装置５は、データ蓄積装置４に蓄積されたデータに基づいて、有効撮像範囲Ｖ１内における人物７の行動（例えば、移動経路や顔の向き等）を解析する。
【００１５】
本実施形態に係る顔検出システム１は、例えば、商店における客の嗜好や行動パターン等の解析に利用可能である。商店における顧客の嗜好や行動パターン等の解析に顔検出システム１を利用する場合、例えば、商品陳列棚等に撮像装置２を設置し、顔検出装置３により、撮像装置２で撮像した赤外線画像に写っている人物の顔情報を検出する。顔検出装置３は、予め用意した顔モデルデータを参照して行うマッチング処理により、人物７の顔情報を検出する。顔モデルデータは、顔の特徴が異なる複数種類の顔モデルのデータ（特徴ベクトル）を含む。顔の特徴は、輪郭、髪型、向き、表情、メガネや髭の有無を含む。
【００１６】
また、本実施形態の顔検出システム１における顔検出装置３は、赤外線画像に写っている人物の眼球部分から角膜反射を抽出し、画像内における角膜反射の位置関係に基づいて、画像内に写っている人物の顔の空間位置を決定する。有効撮像範囲Ｖ１内を移動する人物７が有効赤外線到達範囲Ｖ２内に入り、かつ人物７の眼球が赤外線画像に写っている場合、該赤外線画像における人物の眼球（角膜）部分には、投光部２２０が発した赤外光の反射（角膜反射）が見られる。赤外線画像に右眼の角膜反射と左眼の角膜反射とが写っている場合、該２つの角膜反射の位置及び距離（画素数）に基づいて、人物７の空間位置を特定することが可能である。角膜反射に基づいて人物７の顔の空間位置を決定した場合、顔検出装置３は、探索空間範囲（以下「探索範囲」ともいう）を、決定した空間位置の近傍に絞り込んでマッチング処理を行う。
【００１７】
図２は、第１の実施形態に係る顔検出装置の機能的構成を示す図である。
図２に示すように、本実施形態に係る顔検出装置３は、画像取得部３１０と、補助情報抽出部３２０と、モデル系列制御部３３０と、マッチング処理部３４０と、出力部３５０と、記憶部３９０と、を備える。
【００１８】
画像取得部３１０は、撮像装置２の撮像部２２０で撮像した赤外線画像を取得する。
【００１９】
補助情報抽出部３２０は、取得した赤外線画像から、マッチング処理で参照する顔モデルの決定に用いる補助情報を抽出する。本実施形態の顔検出装置３では、補助情報として、赤外線画像に写っている角膜反射の位置を含む情報を抽出する。
【００２０】
モデル系列制御部３３０は、補助情報の抽出結果と、記憶部３９０に記憶させた探索系列情報３９２と、記憶部３９０に記憶させた空間情報３９３と、に基づいて、マッチング処理に用いるモデル系列（顔モデル及び探索空間範囲）を制御する。探索系列情報３９２は、現在処理対象としている赤外線画像の１つ前の赤外線画像に対するマッチング処理に用いたモデル系列の情報を含む。現在処理対象としている赤外線画像は、モデル系列制御部３３０においてモデル系列を決定しようとしている赤外線画像である。空間情報３９３は、初期モデル系列に含まれる顔を参照してマッチング処理を行ったときの各顔データでの処理結果（一致度）を示す情報である。モデル系列制御部３３０は、空間位置決定部３３１と、モデル系列決定部３３２とを含む。
【００２１】
空間位置決定部３３１は、現在処理対象としている赤外線画像から角膜反射ペアが抽出された場合に、当該角膜反射ペアの赤外線画像内での位置、及び角膜反射間の距離に基づいて、現在処理対象としている赤外線画像内における顔の空間位置を決定する。複数の角膜反射ペアが抽出された場合、空間位置決定部３３１は、角膜反射ペア毎に決定した顔の空間位置と、空間情報３９３とに基づいて、複数の角膜反射ペアのうちの１つの角膜反射ペアを選出する。この場合、空間位置決定部３３１は、選出した角膜反射ペアに基づいて決定した空間位置を、現在処理対象としている赤外線画像に対する顔の空間位置に決定する。
【００２２】
モデル系列決定部３３２は、空間位置決定部３３１の処理結果に基づいて、現在処理対象としている赤外線画像に対するマッチング処理で参照するモデル系列を決定する。空間位置決定部３３１で赤外線画像に対する顔の空間位置を決定した場合、モデル系列決定部３３２は、マッチング処理に用いるモデル系列を、定められた処理時間で実行可能である範囲において、より多数の顔モデルを参照するモデル系列に決定する。具体的には、探索空間範囲を、空間位置決定部３３１で決定した空間位置と、当該空間位置の近傍となる空間位置とを探索空間範囲とに絞り込むことにより、参照する顔モデルの種類を多くする。この際、全ての顔モデルを参照可能にすることが好ましい。一方、顔の空間位置を決定することができなかった場合、モデル系列決定部３３２は、探索系列情報３９２に基づいて、マッチング処理に用いるモデル系列を決定する。この場合、モデル系列決定部３３２は、参照する顔モデルの種類を絞り込むことにより、定められた処理時間で実行可能である範囲において、探索空間範囲を多くする。
【００２３】
マッチング処理部３４０は、モデル系列制御部３３０において決定したモデル系列に基づいて、赤外線画像から顔を検出するマッチング処理を行う。赤外線画像から顔を検出した場合、マッチング処理部３４０は、検出した顔と対応する顔モデルの情報を含む顔情報を出力部３５０に通知する。また、マッチング処理部３４０は、１つの赤外線画像に対するマッチング処理を終える毎に、記憶部３９０の探索系列情報３９２を更新する。更に、初期モデル系列を参照してマッチング処理を行った場合、マッチング処理部３４０は、記憶部３９０の空間情報３９３を更新する。
【００２４】
出力部３５０は、マッチング処理部３４０から受け取った顔情報をデータ蓄積装置４に送信する。
【００２５】
図３は、顔モデルデータの作成方法を説明する図である。
本実施形態の顔検出装置３で用いる顔モデルデータ３９１は、人の顔を識別する際の特徴と見え方とに基づいて、画像上における人の顔をモデル化したデータである。顔モデルデータ３９１は、例えば、図３に示したような画像群８から作成する。画像群８は、特徴が異なる複数の顔のそれぞれについて、複数通りの顔の向きで撮像した複数枚の画像を含む。例えば、画像群８は、顔の特徴が異なる５人の人物の画像８０１０１〜８０５０１を含む。顔の特徴は、顔型、頭髪、髭の有無、メガネの有無等を含む。例えば、図３の画像８０１０１は、顔型は丸顔、頭髪は直毛の短髪で立たせており、髭はなく、メガネは非装着である、という特徴を持つ人物の顔の画像である。また、図３の画像８０２０１は、顔型は丸顔、頭髪は縮毛の短髪で額が隠れており、髭はなく、メガネを装着している、という特徴を持つ人物の顔の画像である。また、図３の画像８０３０１は、顔型は面長、頭髪はなく、口髭があり、メガネを装着している、という特徴を持つ人物の顔の画像である。
【００２６】
また、画像群８には、１つ（１組）の特徴を持つ人物についての顔の向きが異なる複数種類の画像を含む。例えば、図３の画像群８における３つの画像８０１０１，８０１０２，及び８０１０３には、同一人物の顔が写っているが、それぞれ、顔の向きが異なる。画像８０１０１では顔が正面を向いており、画像８０１０２では顔が右下方を向いている。また、画像８０１０３では顔が左上方を向いている。
【００２７】
上記の画像群８から顔モデルデータ３９１を作成する際には、画像群８に含まれる画像毎に、画像から得られる輝度情報に基づいて、特徴ベクトル３９１０１，３９１０２，３９１０３，・・・を作成する。特徴ベクトル３９１０１，３９１０２，３９１０３は、既知の顔検出技術における顔の特徴量の抽出方法に従って作成する。例えば、特徴ベクトルは、顔画像毎に、顔画像に含まれる各画素の輝度値を抽出して作成した輝度値毎の画素数を示すヒストグラムとする。また、例えば、特徴ベクトルは、Haar-like特徴量、或いはHistograms of Oriented Gradients（ＨＯＧ）特徴量としてもよい。画像群８に含まれる各画像から作成した複数の特徴ベクトルは、画像内の顔の特徴を示す情報と対応付けて顔モデルデータ３９１に登録する。
【００２８】
なお、顔モデルデータ３９１は、特徴ベクトルとその判定のための機能を内包させた判定機構群により構成されてもよい。あるいは、特徴ベクトルそのものを保持せずとも、スライドウィンドウ等により切り出された画像領域を入力として、入力された画像領域が検出対象であるか否かを判定する判定機構群により構成されてもよい。例えば、このような判定機構としてDeepLearning等で構築された判定機構を用いてもよい。
【００２９】
図４は、マッチング処理における探索条件を説明する図である。
顔モデルデータ３９１に登録された顔モデル（特徴ベクトル）を参照してマッチング処理を行う際には、参照する顔モデルと、空間情報（位置及び大きさ）とを含む探索条件Ｍｈ，ｋに従って行う。探索条件Ｍｈ，ｋは、図４に示すように、Ｈ×Ｋ通り存在する。探索条件Ｍｈ，ｋにおける変数ｈは顔モデルについてのバリエーションを示し、探索条件Ｍｈ，ｋにおける変数ｋは顔の空間情報についてのバリエーションを示す。
【００３０】
変数ｈが同一であるＫ個の探索条件（例えば、探索条件Ｍ３，ｋ｛ｋ＝１，２，３，・・・，Ｋ｝）は、それぞれ、顔モデルが同一であり、空間位置が異なる。一方、変数ｋが同一であるＨ個の探索条件（例えば、Ｍｈ，２｛ｈ＝１，２，３，・・・，Ｈ｝）は、それぞれ、探索する空間位置が同一であり、顔モデルが異なる。
【００３１】
本実施形態に係る顔検出装置３では、撮像装置２から取得した画像に含まれる物体と、顔モデルデータ３９１に登録された複数の顔モデルの特徴量とを照合するマッチング処理を行って、撮像装置２から取得した画像に写っている人物の顔を検出する。この際、顔モデルデータ３９１に登録された顔モデルの種類を多くすることにより、画像に含まれる人物の顔の特徴を詳細に検出することが可能である。しかしながら、顔検出装置３においてリアルタイム処理により画像から顔を検出する場合、１枚の画像に対するマッチング処理に割り当てられる処理時間が限られており、照合可能な顔モデルの特徴量の数に上限値が存在する。
【００３２】
図５は、マッチング処理の処理時間と探索条件の数との関係を説明する図である。
例えば、図５に示したように、１枚の画像に対するマッチング処理に割り当てられる処理時間が時間ΔＴ２（＝ｔ３−ｔ０）であり、当該画像と１個の特徴ベクトルとの照合に要する時間が時間ΔＴ１（＝ｔ１−ｔ０＜ΔＴ２）であるとする。
【００３３】
図５のマッチング処理９０１では、１枚の画像に対し全ての探索条件Ｍｈ，ｋでマッチング処理を行った場合の処理時間（ｔ２−ｔ０）が、割り当てられた処理時間ΔＴ２よりも短い。この場合、１枚の画像に対するマッチング処理において、全ての探索条件Ｍｈ，ｋでマッチング処理を行うことが可能である。
【００３４】
ところが、図５のマッチング処理９０２では、１枚の画像に対し全ての探索条件Ｍｈ，ｋでマッチング処理を行った場合の処理時間（ｔ４−ｔ０）が、割り当てられた処理時間ΔＴ２よりも長い。この場合、１枚の画像に対するマッチング処理に要する処理時間が、１枚の画像に対するマッチング処理に割り当てられる処理時間ΔＴ２を越えるため、処理に遅延が生じる。
【００３５】
赤外線画像に写る人物の顔の特徴は非常に多様であるため、赤外線画像内の顔の検出精度を高めるためには、探索条件（顔モデルと空間情報との組み合わせ）の種類を多くすることが好ましい。しかしながら、１枚の画像に対するマッチング処理に割り当てられる処理時間に上限がある場合には、時間内にマッチング処理を終えるため探索条件を絞り込まなければならない。探索条件を絞り込む方法には、参照する顔モデルの種類を絞り込む方法と、探索する空間位置を絞り込む方法とがあるが、位置変動への耐性のため顔モデルの種類を絞り込むことが多い。ところが、顔モデルの種類を絞り込んで探索条件を減縮した場合、画像に写っている人物の顔の特徴と、探索条件に含まれる顔モデルの特徴との差が大きいと、画像から顔を検出することが困難となる。
【００３６】
本実施形態に係る顔検出装置３では、上記のようにマッチング処理に割り当てられる時間が制限されている場合にも画像に写っている人物の顔の特徴を可能な限り詳細に検出するため、例えば、図６Ａ及び図６Ｂに示した処理を行う。
【００３７】
図６Ａは、第１の実施形態に係る顔検出装置が行う処理を説明するフローチャート（その１）である。図６Ｂは、第１の実施形態に係る顔検出装置が行う処理を説明するフローチャート（その２）である。
【００３８】
本実施形態の顔検出装置３は、撮像装置２から取得した赤外線画像のなかから現在処理対象とする赤外線画像を選択した後、まず、図６Ａに示すように、当該処理対象である赤外線画像内の角膜反射を探索する処理（ステップＳ１）を行う。撮像装置２から赤外線画像を取得する処理は、画像取得部３１０が行う。ステップＳ１の処理は、補助情報抽出部３２０が行う。補助情報抽出部３２０は、既知の処理方法に従って、赤外線画像内の角膜反射を探索し角膜反射の候補を抽出する。補助情報抽出部３２０は、ステップＳ１の処理の結果をモデル系列制御部３３０に通知する。
【００３９】
次に、顔検出装置３は、ステップＳ１の処理において角膜反射を検出したか否かを判定する（ステップＳ２）。ステップＳ２の処理は、例えば、モデル系列制御部３３０のモデル系列決定部３３２が行う。現在処理対象である赤外線画像から角膜反射が検出されなかった場合（ステップＳ２；ＮＯ）、顔検出装置３は、次に、図６ＢのステップＳ２１以降の処理を行う。
【００４０】
一方、現在処理対象である赤外線画像から角膜反射が検出された場合（ステップＳ２；ＹＥＳ）、顔検出装置３は、次に、有効角膜反射ペアの抽出を行い（ステップＳ３）、有効角膜反射ペアがあるか否かを判定する（ステップＳ４）。ステップＳ３及びＳ４の処理は、例えば、モデル系列制御部３３０のモデル系列決定部３３２が行う。ステップＳ３において、モデル系列決定部３３２は、例えば、まず、現在処理対象である赤外線画像から検出した角膜反射が２個以上であるか否かを判定する。検出した角膜反射が１個である場合、ステップＳ４において、モデル系列決定部３３２は、有効角膜反射ペアが存在しない（ステップＳ４；ＮＯ）と判定する。一方、検出した角膜反射が２個以上である場合、モデル系列決定部３３２は、ステップＳ３において２個以上の角膜反射のなかから選択した２個の角膜反射の組（角膜反射ペア）毎に、角膜反射間の距離を算出する。そして、モデル系列決定部３３２は、角膜反射間の距離が所定の範囲内である角膜反射ペアを有効角膜反射ペアとして抽出する。全ての角膜反射ペアに対して角膜反射間の距離が所定の範囲内であるか否かを判定した後、モデル系列決定部３３２は、有効角膜反射ペアとして抽出された角膜反射ペアの有無を判定する（ステップＳ４）。有効角膜反射ペアが抽出されなかった場合（ステップＳ４；ＮＯ）、顔検出装置３は、次に、図６ＢのステップＳ２１以降の処理を行う。
【００４１】
一方、有効角膜反射ペアが抽出された場合（ステップＳ４；ＹＥＳ）、顔検出装置３は、次に、抽出した有効角膜反射ペアに基づいて、処理対象の赤外線画像に写っている顔の空間位置を決定する（ステップＳ５）。ステップＳ５の処理は、モデル系列制御部３３０の空間位置決定部３３１が行う。空間位置決定部３３１は、例えば、抽出した有効角膜反射ペアについての赤外線画像内での角膜反射の位置、及び角膜反射間の距離に基づいて、赤外線画像に写っている人物の顔の空間位置（位置、向き、寸法等）を決定する。
【００４２】
ステップＳ５の処理を終えると、顔検出装置３は、次に、決定した空間位置に基づいて、マッチング処理における探索空間範囲を設定する（ステップＳ６）。ステップＳ６の処理はモデル系列制御部３３０のモデル系列決定部３３２が行う。モデル系列決定部３３２は、空間位置決定部３３１で決定した空間位置を含む複数の空間位置を探索空間範囲に設定する。すなわち、ステップＳ６の処理において、モデル系列決定部３３２は、探索条件Ｍｈ，ｋの変数ｋの範囲を設定する。探索空間範囲を設定した後、モデル系列決定部３３２は、例えば、設定した探索空間範囲を示す情報をマッチング処理部３４０に通知する。
【００４３】
ステップＳ６の処理を終えると、顔検出装置３は、次に、探索空間範囲内の探索条件Ｍｈ，ｋに基づいて、マッチング処理を実施する（ステップＳ７）。ステップＳ７の処理は、マッチング処理部３４０が行う。マッチング処理部３４０は、顔モデルデータ３９１に含まれる顔モデル（特徴ベクトル）毎に、探索条件Ｍｈ，ｋの空間情報に基づいて、処理対象である画像とのマッチング処理を行い、画像に写っている顔との一致度を算出する。マッチング処理部３４０は、既知の処理方法に従って、マッチング処理を行う。例えば、マッチング処理部３４０は、探索条件に従って処理対象の画像内に設定した複数通りの部分領域のそれぞれにおける特徴ベクトルを算出し、顔モデルデータ３９１の特徴ベクトルとの一致度を算出する。
【００４４】
ステップＳ７の処理を終えると、顔検出装置３は、探索空間範囲内の特徴ベクトル（顔モデル）のなかに処理対象である画像に写っている顔とマッチする顔モデルがあるか否かを判定する（ステップＳ８）。ステップＳ８の判定は、マッチング処理部３４０が行う。例えば、マッチング処理部３４０は、探索空間範囲内の特徴ベクトル毎に算出した複数の一致度のうちの最大値が閾値以上である場合に、処理対象である画像に写っている顔とマッチする顔モデルがあると判定する。マッチする顔モデルがない場合（ステップＳ８；ＮＯ）、顔検出装置３は、現在処理対象である画像に対する顔検出処理を終了する。
【００４５】
探索空間範囲内に処理対象である画像に写っている顔とマッチする顔モデルがある場合（ステップＳ８；ＹＥＳ）、顔検出装置３は、次に、マッチした顔モデルの顔の特徴に基づいて、有効モデル系列を設定する（ステップＳ９）。ステップＳ９の処理は、マッチング処理部３４０が行う。マッチング処理部３４０は、処理対象である画像に写っている顔との一致度が最大値となる顔モデル（特徴ベクトル）と、該モデル系列と顔の特徴量が類似した顔モデルとを有効モデル系列に設定する。マッチング処理部３４０は、記憶部３９２の探索系列情報３９２を、新たに設定した有効モデル系列の情報に更新する。
【００４６】
ステップＳ９の処理を終えると、顔検出装置３は、処理対象である画像から検出した顔情報を出力し（ステップＳ１０）、現在処理対象である画像に対する顔検出処理を終了する。
【００４７】
このように、処理対象である画像から有効角膜反射ペアが抽出された場合、顔検出装置３は、有効角膜反射ペアの位置等に基づいて、画像内における顔の空間位置の範囲（探索空間範囲）を絞り込んでマッチング処理を行う。この場合、１つの顔モデルに対するマッチング処理は、当該顔モデルについてのＫ通りの探索条件Ｍｈ，ｋ｛ｋ＝１，２，３，・・・，Ｋ｝のうちの一部（数個程度）である。このため、探索空間範囲を絞り込んだ場合、１つの顔モデルに対する全ての探索条件でマッチング処理を行う場合と比べて、マッチング処理に割り当てられた処理時間内で参照可能な顔モデルの種類を多くすることが可能となる。例えば、探索空間範囲を全ての空間情報のうちの１／１０に絞り込んだ場合、顔モデルの種類を１０倍に増やすことが可能となる。よって、探索空間範囲を設定する際に、全ての顔モデルに対する探索条件が含まれるよう探索空間範囲を絞り込むことにより、処理対象である画像に写っている顔の特徴と、平均的な顔モデルの特徴との差が大きい場合にも、顔を検出することが可能となる。
【００４８】
なお、処理対象である画像から有効角膜反射ペアが抽出されなかった場合には、上記の探索空間範囲を設定することが困難である。このため、処理対象である画像から有効角膜反射ペアが抽出されなかった場合（ステップＳ２；ＮＯ、又はステップＳ４；ＮＯ）、顔検出装置３は、図６ＢのステップＳ２１以降の処理を行う。
【００４９】
処理対象である画像から有効角膜反射ペアが抽出されなかった場合（ステップＳ２；ＮＯ、又はステップＳ４；ＮＯ）、顔検出装置３は、有効モデル系列の顔モデルをマッチング処理で参照する顔モデルに決定する（ステップＳ２１）。ステップＳ２１の処理は、例えば、モデル系列制御部３３０のモデル系列決定部３３２が行う。モデル系列決定部３３２は、記憶部３９０の探索系列情報３９２を読み出し、当該探索系列情報３９２に含まれるモデル系列を有効モデル系列に決定する。例えば、現在処理対象である画像の１つ前の画像に対する顔検出処理においてステップＳ９の処理を行った場合、有効モデル系列は、現在処理対象である画像の１つ前の画像に含まれる顔の特徴との一致度が高い顔モデルを含む。一方、現在処理対象である画像の１つ前の画像に対する顔検出処理においてステップＳ９の処理を行っていない場合、有効モデル系列は、平均的な顔モデルを含む初期モデル系列となる。モデル系列決定部３３２は、有効モデル系列を示す情報をマッチング処理部３４０に通知する。
【００５０】
なお、有効モデル系列は、１つ前の画像に対する処理で得たものに限らず、現在処理対象となっている画像から一定時間（例えば、同一人物が画像に写っている間）内の画像、或いは固定時間（数フレームや数秒）内の画像に対する処理で得たものでああってもよい。
【００５１】
ステップＳ２１の処理を終えると、顔検出装置３は、有効モデル系列に含まれる顔モデルについての探索条件に基づいてマッチング処理を行う（ステップＳ２２）。ステップＳ２２の処理は、マッチング処理部３４０が行う。ステップＳ２２において、マッチング処理部３４０は、有効モデル系列の顔モデル毎に、Ｋ通りの探索条件Ｍｈ，ｋ（ｋ＝１，２，３，・・・，Ｋ）のそれぞれに従って一致度を算出する。
【００５２】
ステップＳ２２の処理を終えると、顔検出装置３は、空間上の一致度を記憶する（ステップＳ２３）。ステップＳ２３の処理は、マッチング処理部３４０が行う。マッチング処理部３４０は、有効モデル系列に含まれる顔モデル毎に、各空間位置についての処理対象の画像との一致度をまとめ、空間上の一致度（空間情報３９３）として記憶部３９０に記憶させる。
【００５３】
ステップＳ２３の処理を終えると、顔検出装置３は、有効モデル系列の顔モデルのなかに処理対象である画像に写っている顔とマッチする顔モデルがあるか否かを判定する（ステップＳ２４）。ステップＳ２４の判定は、マッチング処理部３４０が行う。例えば、マッチング処理部３４０は、有効モデル系列の顔モデル毎に算出した複数の一致度のうちの最大値が閾値以上である場合に、処理対象である画像に写っている顔とマッチする顔モデルがあると判定する。マッチする顔モデルがない場合（ステップＳ２４；ＮＯ）、顔検出装置３は、有効モデル系列の設定を初期化し（ステップＳ２５）、現在処理対象である画像に対する顔検出処理を終了する。ステップＳ２５の処理は、マッチング処理部３４０が行う。ステップＳ２５において、マッチング処理部３４０は、記憶部３９０の探索系列情報３９２を、初期モデル系列を示す情報に更新する。
【００５４】
有効モデル系列内に処理対象である画像に写っている顔とマッチする顔モデルがある場合（ステップＳ２４；ＹＥＳ）、顔検出装置３は、処理対象である画像から検出した顔情報を出力し（ステップＳ１０）、現在処理対象である画像に対する顔検出処理を終了する。
【００５５】
このように、処理対象である画像から有効角膜反射ペアが抽出されなかった場合、顔検出装置３は、マッチング処理における探索条件を、有効モデル系列に含まれる顔モデルについての探索条件に絞り込む。現在処理対象である画像よりも時間的に前となる所定時間内の画像に対する顔検出処理において探索空間範囲を設定してマッチング処理を行った場合、有効モデル系列に含まれる顔モデルの特徴は、処理対象の画像に写っている顔の特徴との類似度が高い。また、現在処理対象である画像よりも時間的に前となる過去画像に対する顔検出処理において探索空間範囲を設定してマッチング処理を行った場合、現在処理対象である画像に写っている人物は、過去画像に写っている人物と同一である可能性が非常に高い。このため、現在処理対象である画像における顔の空間位置が不明であっても、過去像から検出した顔の特徴を利用して、現在処理対象である画像に含まれる顔を検出することが可能となる。
【００５６】
ここで、撮像装置２に対する人物の位置と、本実施形態に係る顔検出装置３においてマッチング処理を行う際に参照する顔モデルについて、図７〜図１０を参照して説明する。
【００５７】
図７は、顔検出の対象となる人物の移動経路を示す図である。図８は、人物が撮像範囲内に入った直後の顔の検出方法を説明する図である。図９は、人物の位置が角膜反射を検出可能な範囲内である場合の顔の検出方法を説明する図である。図１０は、人物が角膜反射を検出可能な範囲内から外側に移動した後の顔の検出方法を説明する図である。
【００５８】
本実施形態に係る顔検出装置３が取得する画像は、上述のように撮像部２１０と投光部２２０とを含む撮像装置２で撮像した赤外線画像である。また、顔検出装置３は、赤外線画像に写っている人物の顔が撮像装置２の有効撮像範囲Ｖ１内に存在する場合に、該人物の顔を検出する。
【００５９】
図７には、顔検出装置３による顔検出の対象となる人物７の移動経路の例として、図１のｘｙｚ空間をｚｘ平面でみたときの有効撮像範囲Ｖ１、有効赤外線到達範囲Ｖ２、及び人物７の移動経路を示している。
【００６０】
撮像装置２の有効撮像範囲Ｖ１の外側となる位置Ｐ１にいる人物７が、有効撮像範囲Ｖ１内であり、かつ有効赤外線到達範囲Ｖ２の外側となる位置Ｐ２に移動すると、撮像装置２で撮像した赤外線画像には人物７の顔が写る。ところが、人物７の位置Ｐ２は有効赤外線到達範囲Ｖ２の外側である。このため、人物７の顔が撮像装置２のほうを向いていても、赤外線画像からは人物７の角膜反射が抽出されない。よって、人物７が位置Ｐ２にいるときに撮像した赤外線画像が顔検出の対象である場合、顔検出装置３は、図６ＢのステップＳ２１以降の処理を行う。人物７が有効撮像範囲Ｖ１内に入るまで、有効撮像範囲Ｖ１内には人物がいなかったため、顔検出装置３の記憶部３９０に記憶させた探索系列情報３９２（有効モデル系列）は、初期モデル系列となっている。したがって、図８に示すように、顔検出装置３は、全ての探索条件のうちの、初期モデル系列１００１に含まれる平均的な顔モデルについての探索条件に基づいて、マッチング処理を行う（ステップＳ２３）。初期モデル系列１００１は、顔モデルデータ３９１に含まれる全ての顔モデルのうちの、顔の特徴が平均的な顔モデルを示す情報である。このため、例えば、図８に示したように、人物７の顔との一致度が最も高い顔モデル（探索条件）が初期モデル系列に含まれていない場合、顔検出装置３は、人物７の顔の検出に失敗する。一方、人物７の顔との一致度が最も高い顔モデル（探索条件）が初期モデル系列に含まれる場合、顔検出装置３は、人物７の顔を検出に成功し、顔情報を出力する。なお、人物７が位置Ｐ１から位置Ｐ２に移動した時点では、上記のように、探索系列情報３９２は初期モデル系列１００１を示す情報となっている。このため、人物７が位置Ｐ２にいるときに撮像した赤外線画像から人物７の顔を検出する処理を終えた時点では、顔を検出したか否かによらず、探索系列情報３９２は、初期モデル系列１００１を示す情報のままである。
【００６１】
次に、人物７が、有効赤外線到達範囲Ｖ２の外側となる位置Ｐ２から、有効赤外線到達範囲Ｖ２内の位置Ｐ３に移動したとする。このとき、人物７の顔が撮像装置２のほうを向いていると、撮像装置２で撮像した赤外線画像には、人物７の眼球（角膜反射）が写る。よって、顔検出装置３は、赤外線画像から有効角膜反射ペアを抽出する処理（ステップＳ３）を行う。有効角膜反射ペアが抽出されなかった場合、顔検出装置３は、図６ＢのステップＳ２１以降の処理を行う。この場合も、顔検出装置３の記憶部３９０に記憶させた探索系列情報３９２は初期モデル系列１００１を示す情報であるため、顔検出装置３は、図８の初期モデル系列１００１に含まれる探索条件に基づいて、マッチング処理を行う（ステップＳ２３）。
【００６２】
これに対し、赤外線画像から有効角膜反射ペアが抽出された場合、顔検出装置３は、有効角膜反射ペアの位置に基づいて、顔の空間位置を決定し（ステップＳ５）、探索空間範囲を設定する（ステップＳ６）。ステップＳ５では、上述のように、処理対象の画像内における角膜反射の位置や、角膜反射間の距離に基づいて、処理対象の画像に写っている顔の空間位置を決定する。ステップＳ６では、上述のように、ステップＳ５で決定した空間位置を含む探索空間範囲を設定する。すなわち、有効角膜反射ペアが抽出された場合、顔検出装置３は、図９に示すように、マッチング処理における探索条件を、各顔モデルの探索条件のうちの探索空間範囲１１内の探索条件に変更する。
【００６３】
ステップＳ５，Ｓ６の処理では、例えば、下記式（１）を最大化する変数ｘ，ｙ，ｓ，ｒの組を求める。
【００６４】
【数１】
2018128784.tif 000003
【００６５】
なお、変数ｘ，ｙは、顔の中心座標である。また、変数ｓは顔の大きさ、変数ｒは顔の回転角を表す。
【００６６】
数式（１）のｖ（ｘ，ｙ，ｓ，ｒ）ｔは、時刻ｔにおける顔の位置（ｘ，ｙ，ｓ，ｒ）に関する評価値であり、これを最大化する位置が時刻ｔにおける顔の空間位置となる。式（１）におけるｆ（ｘ，ｙ，ｓ，ｒ）ｔ、及びｗ（ｘ，ｙ，ｓ，ｒ）ｔは、それぞれ、下記式（２）、及び式（３）で表される関数である。
【００６７】
【数２】
2018128784.tif 000004
【００６８】
式（２）のArea(ref)ｔは、時刻ｔにおける有効角膜反射ペアから算出される、顔の位置（ｘ，ｙ）、サイズｓ、及び回転角ｒの組み合わせ（ｘ，ｙ，ｓ，ｒ）を表す。式（２）の関数ｆ（ｘ，ｙ，ｓ，ｒ）ｔは、時刻ｔの画像内に有効角膜反射ペアの組み合わせから算出される顔があるか否かを表すΔ関数であり、顔があると考えられる場合に１をとり、それ以外では０となる。
【００６９】
式（３）のｖ（ｘ，ｙ，ｓ，ｒ）ｔ−１は、時刻ｔ−１の画像についてのモデル系列による検出処理での顔の位置（ｘ，ｙ，ｓ，ｒ）に関する評価値である。また、式（３）のｇは、時刻ｔ−１から時刻ｔまでの間の顔の移動量を加味するための重み項である。重み項ｇは、例えば、ガウシアンフィルタ等の評価値を平滑化する処理に相当する。
【００７０】
式（１）〜式（３）により得られる空間位置は、時刻ｔの画像における角膜反射ペアから想定される複数通りの顔の空間位置のうちの、時刻ｔ−１の画像での顔の評価結果に対して移動量想定分の重みをかけて算出した評価値が最大となる空間位置である。そのため、式（１）〜式（３）により空間位置を算出することにより、時刻ｔの画像における顔の空間位置を適切な空間位置に決定することが可能となる。
【００７１】
なお、式（１）〜式（３）は、顔の空間位置の算出方法の一例に過ぎない。顔の空間位置を算出する際には、例えば、式（３）において閾値Ｔｈを設定し、ｗ（ｘ，ｙ，ｓ，ｒ）ｔ＞Ｔｈとなる変数の組み合わせ（ｘ，ｙ，ｓ，ｒ）のみに絞り込んで式（１）の計算を行ってもよい。また、式（１）におけるｗ（ｘ，ｙ，ｓ，ｒ）ｔをｖ（ｘ，ｙ，ｓ，ｒ）ｔ−１とし、式（３）の計算を省略してもよい。
【００７２】
このように、有効角膜反射ペアの位置に基づいて顔の空間位置を算出し、探索空間範囲を絞り込むことにより、マッチング処理において参照可能な顔モデル（顔の特徴）の種類を増やすことが可能となる。そのため、人物７の顔との一致度が最も高い顔モデル（探索条件Ｍｈ１，ｋ１）が初期モデル系列に含まれていない場合でも、マッチング処理で当該顔モデルを参照することが可能となり、人物７の顔を検出して顔情報を出力することが可能となる。また、探索空間範囲を絞り込んでマッチング処理を行い、人物７の顔を検出した場合、顔検出装置３は、検出した人物７の顔との一致度が最も高い顔モデルの顔の特徴に基づいて、有効モデル系列１００２を変更する（ステップＳ９）。例えば、図９の検索条件Ｍｈ１，ｋ１における顔モデルが、検出した人物７の顔との一致度が最も高い顔モデルである場合、顔検出装置３は、当該顔モデルについての各探索条件Ｍｈ１，ｋ｛ｋ＝１，２，３，・・・，Ｋ｝を含む有効モデル系列１００２を設定し、記憶部３９０の有効モデル情報３９２を更新する。
【００７３】
次に、人物７が、有効赤外線到達範囲Ｖ２内の位置Ｐ３から、有効赤外線到達範囲Ｖ２の外側であり、かつ有効撮像範囲Ｖ１内となる位置Ｐ４に移動したとする。このとき、人物７の顔が撮像装置２のほうを向いていても、赤外線画像からは人物７の角膜反射が抽出されない。よって、顔検出装置３は、図６ＢのステップＳ２１以降の処理を行う。人物７は、位置Ｐ４に移動する前、有効赤外線到達範囲Ｖ２内の位置Ｐ３にいたため、位置Ｐ４に移動した時点での探索系列情報３９２は、人物７が位置Ｐ３にいたときに設定した有効モデル系列となっている。したがって、人物７の顔の特徴と初期モデル系列に含まれる顔モデルの特徴との差が大きい場合、有効モデル系列は、初期モデル系列とは異なるモデル系列となっている（例えば、図９の有効モデル系列１００２を参照）。この場合、図１０に示すように、顔検出装置３は、全ての探索条件のうちの、有効モデル系列１００２に含まれる探索条件に基づいて、マッチング処理を行う（ステップＳ２３）。有効モデル系列１００２に含まれる顔モデルにおける顔の特徴は、図９に示したように顔モデルの種類を増やしてマッチング処理を行うことにより得られた特徴であり、人物７の顔の特徴との一致度が非常に高い。このため、位置Ｐ４にいる人物７の顔との一致度が最も高い顔モデル（探索条件Ｍｈ１，ｋ２）が初期モデル系列１００１に含まれていない場合でも、顔検出装置３は、人物７の顔を検出して顔情報を出力する。すなわち、本実施形態に係る顔検出装置３では、人物７の顔の特徴と、初期モデル系列の顔の特徴との差が大きい場合にも、有効赤外線到達範囲Ｖ２内から有効赤外線到達範囲の外側に移動した人物７の顔を検出することが可能となる。
【００７４】
その後、人物７が、有効撮像範囲Ｖ１内である位置Ｐ４から有効撮像範囲Ｖ１の外側となる位置Ｐ５に移動すると、撮像装置２で撮像した赤外線画像に人物７の顔が写らなくなる。このため、顔検出装置３は、図６ＢのステップＳ２４の処理、すなわち有効モデル系列を初期化する処理を行う。これにより、探索系列情報３９２は、初期モデル系列１００１を示す情報に更新される。よって、人物７が有効撮像範囲Ｖ１の外側となる位置Ｐ５に移動した後、当該人物７或いは他の人物が有効撮像範囲Ｖ１内、かつ有効赤外線到達範囲Ｖ２の外側となる位置に移動すると、顔検出装置３は、初期モデル系列１００１に含まれる探索条件に基づいて、マッチング処理を行う。
【００７５】
このように、本実施形態の顔検出装置３が行う処理では、赤外線画像に写っている顔の特徴と、マッチング処理で参照する顔の特徴との差が大きいことによる顔の検出の失敗を低減することが可能となる。
【００７６】
また、１つの赤外線画像に対するマッチング処理に割り当てられる処理時間と、１つの探索条件による照合に要する時間とに基づいて、探索空間範囲、及び初期モデル系列とは異なる有効モデル系列を設定することにより、処理の遅延を防ぐことが可能となる。
【００７７】
なお、赤外線画像から有効角膜反射ペアを抽出する場合、例えば、赤外線画像に写っている人物が一人であるにもかかわらず、複数通りの有効角膜反射ペアが抽出されることがある。複数通りの有効角膜反射ペアが抽出された場合、顔検出装置３は、複数通りの有効角膜反射ペアから１組の有効角膜反射ペアを抽出する。
【００７８】
図１１は、複数通りの有効角膜反射ペアが抽出される例を示す図である。
図１１には、メガネ１２を装着した人物７の顔７００が写っている赤外線画像１３を示している。人物７の顔７００が有効赤外線到達範囲Ｖ２内にあり、かつ撮像装置２のほうを向いている場合、赤外線画像１３には、右眼７０１における角膜反射を示す明領域Ｒ１と、左眼７０２における角膜反射を示す明領域Ｒ２とが存在する。角膜反射を示す２つの明領域Ｒ１，Ｒ２を有効角膜反射ペアとした場合、赤外線画像１３内における明領域Ｒ１，Ｒ２の位置、及び明領域Ｒ１，Ｒ２間の距離に基づいて、人物７の顔７００の空間位置を正しく算出することが可能である。
【００７９】
ところが、人物７がメガネ１２を装着している場合、赤外線画像１３には、メガネ１２のフレームでの光の反射を示す明領域Ｒ３，Ｒ４等が存在することがある。また、赤外線画像１３には、人物７の顔から離間した位置に光の反射を示す明領域Ｒ５が存在することがある。角膜反射とは別の光の反射を示す明領域Ｒ３〜Ｒ５の画像上の特徴が角膜反射の特徴と類似している場合、顔検出装置３は、角膜反射とは異なる明領域Ｒ３〜Ｒ５も角膜反射として検出する。このように角膜反射とは異なる明領域Ｒ３〜Ｒ５を検出した場合、顔検出装置３は、正しい角膜反射のペア（右眼７０１の明領域Ｒ１と左眼７０２の明領域Ｒ２とのペア）を含む、複数通りの有効角膜反射ペアを抽出する。例えば、赤外線画像１３における右眼７０１の明領域Ｒ１と、メガネ１２の左眼側の明領域Ｒ４との距離が有効角膜反射ペアの条件を満たしている場合、顔検出装置３は、該２つの明領域Ｒ１，Ｒ４のペアを有効角膜反射ペアとして抽出する。また、例えば、赤外線画像１３における左眼７０２の明領域Ｒ２と、人物７の顔７００から離間した位置の明領域Ｒ５との距離が有効角膜反射ペアの条件を満たしている場合、顔検出装置３は、該２つの明領域Ｒ２，Ｒ５のペアを有効角膜反射ペアとして抽出する。
【００８０】
赤外線画像から有効角膜反射ペアを抽出した場合、顔検出装置３は、有効角膜反射ペアに基づいて顔の空間位置を決定し、マッチング処理で参照する探索空間範囲を設定する（絞り込む）。この際、有効角膜反射ペアが複数通りであると、角膜反射の位置等から正しい空間位置を算出して適切な探索空間範囲を設定することが困難となる。このため、本実施形態の顔検出装置３では、有効角膜反射ペアに基づいて適切な探索空間範囲を設定するため、例えば、空間位置を決定する処理（ステップＳ５）において、図１２に示すような処理を行う。
【００８１】
図１２は、空間位置を決定する処理の内容を説明するフローチャートである。
空間位置を決定する処理は、モデル系列制御部３３０の空間位置決定部３３１が行う。空間位置決定部３３１は、まず、ステップＳ４で抽出した有効角膜反射ペアが複数であるか否かを判定する（ステップＳ５０１）。有効角膜反射ペアが１組である場合（ステップＳ５０１；ＮＯ）、空間位置決定部３３１は、当該有効角膜反射ペアに基づいて空間位置を決定し（ステップＳ５０２）、空間位置を決定する処理を終了する。
【００８２】
これに対し、有効角膜反射ペアが複数である場合（ステップＳ５０１；ＹＥＳ）、空間位置決定部３１１は、次に、複数の有効角膜反射ペアのそれぞれに基づいて、複数の空間位置の候補を算出する（ステップＳ５０３）。ステップＳ５０３において、空間位置決定部３０１は、有効角膜反射ペア毎に、画像内における反射の位置、反射間の距離等に基づいて顔の空間位置を算出する。
【００８３】
ステップＳ５０３の処理を終えると、空間位置決定部３１１は、現在処理対象である画像よりも前の画像に対するマッチング処理で得た空間情報を取得する（ステップＳ５０４）。ステップＳ５０４において、空間位置決定部３１１は、記憶部３９０に記憶させた空間情報３９３を読み出す。空間情報３９３は、初期モデル系列或いは有効モデル系列を参照してマッチング処理を行った際の各顔モデルとの一致度を含む情報である。
【００８４】
ステップＳ５０４の処理を終えると、空間位置決定部３１１は、空間位置の候補のうちの、空間情報において一致度の高い候補を、現在処理対象である画像に対する空間位置に決定し（ステップＳ５０５）、空間位置を決定する処理を終了する。
【００８５】
図１３は、空間上の一致度を説明する図である。
図１３には、全ての探索条件１０００のうちの初期モデル系列１００１に含まれる探索条件を参照してマッチング処理を行ったときの、１つの顔モデルについての空間位置と一致度との関係を示している。ここで、マッチング処理の対象である画像に写っている人物の顔と対応する顔モデル（探索条件Ｍｈ３，ｋ３）は、初期モデル系列１００１に含まれていないとする。この場合、１つの顔モデルについてのモデル系列１００１Ａに含まれる各探索条件に基づいて算出される一致度は低くなる。しかしながら、画像内の人物の顔と対応する顔モデルを含まないモデル系列１００１Ａであっても、図１３の折れ線Ｌ１のように、探索条件のうちの、画像内の顔の空間位置と略一致する空間位置の探索条件での一致度は、他の探索条件での一致度よりも高くなる。よって、本実施形態では、有効モデル系列の探索条件に基づいてマッチング処理を行ったときの処理結果を空間情報３９３として保持し、当該空間情報３９３に基づいて、複数の有効角膜反射ペアと対応する複数の空間位置の候補のなかから適切な空間位置を決定する。
【００８６】
図１４は、複数の空間位置の候補のなかから空間位置を決定する方法を説明する図である。
図１４には、全ての探索条件１０００における、３組の有効角膜反射ペアのそれぞれから算出した３個の空間位置１００３，１００４，１００５と、１つのモデル系列１００１Ａに含まれる顔モデルの空間位置と一致度との関係Ｌ１を示している。
【００８７】
空間位置決定部３３１は、現在処理対象である画像よりも前の画像に対するマッチング処理で得た空間情報を取得し、モデル系列毎に、３個の空間位置１００３，１００４，１００５のそれぞれと対応する顔モデルについての一致度を抽出する。なお、図１４には、マッチング処理で参照した複数のモデル系列のうちの１つのモデル系列１００１Ａについての一致度Ｌ１のみを示している。
【００８８】
その後、空間位置決定部３３１は、空間位置毎に抽出した複数の一致度を評価し、当該評価が最も高い空間位置を現在処理対象の画像における顔の空間位置に決定する。
【００８９】
１つのモデル系列内の各空間位置での一致度は、上記のように、画像内における人物の顔の空間位置と対応する空間位置での一致度が、他の空間位置での一致度よりも高くなる。また、画像から抽出した正しい有効角膜反射ペアに基づいて算出した空間位置は、画像内の人物の顔の空間位置と略一致する。よって、空間情報において一致度が高い空間位置を処理対象の画像における顔の空間位置に決定すると、図１４に示すように、画像内の人物の顔の空間位置と対応する探索条件Ｍｈ３，ｋ３を含む探索空間範囲１１を設定することが可能となる。
【００９０】
また、有効角膜反射ペアに基づいて探索空間範囲１１を設定して（絞り込んで）マッチング処理を行った後、例えば、空間位置毎に算出した一致度の平均値に基づいて、有効モデル系列を更新するか否かを判定してもよい。
【００９１】
図１５は、空間位置とマッチング処理での一致度との関係を説明する図である。
図１５は、全ての探索条件１０００における、２個の空間系列１０１０，１０１１と、各空間系列に含まれる顔モデルとの一致度Ｌ２，Ｌ３についての関係を示している。
【００９２】
図１５に示した２個の空間系列のうちの左側の空間系列１０１０には、画像内の人物の顔と対応する顔モデル（探索条件Ｍｈ４，ｋ４）が含まれる。よって、空間系列１０１０の各顔モデル（探索条件）を参照したマッチング処理により得られる顔の特徴と一致度との関係は、例えば、図１５に示した折れ線Ｌ２のようになり、画像内の人物の顔と対応する顔モデルについての一致度が最も高く、かつ１に近い値となる。
【００９３】
これに対し、図１５に示した２個の空間系列のうちの右側の空間系列１０１１は、画像内の人物の顔と対応する顔モデルを含むが、空間位置が異なる。このため、各モデル系列における空間位置の顔モデルを参照したマッチング処理により得られる顔の特徴と一致度との関係は、例えば、図１５に示した折れ線Ｌ３のようになる。すなわち、マッチング処理の結果を空間系列毎にみた場合、画像内の人物の顔の空間位置とは異なる空間位置の顔モデルについての一致度は、画像内の人物の顔の空間位置と対応する空間位置の顔モデルについての一致度と比べて、平均的に低くなる。よって、探索空間範囲を絞り込んでマッチング処理を行い有効モデル系列を設定する場合、空間位置毎の一致度の平均値に基づいて、有効モデル系列を更新するか否かを判定してもよい。例えば、空間位置毎の一致度の平均値が閾値以下である場合、当該空間位置は画像内の人物の顔の空間位置として不適切（誤り）であると判定し、有効モデル系列を設定する処理（ステップＳ９）をスキップしてもよい。
【００９４】
以上説明したように、本実施形態の顔検出装置３が行う顔検出処理では、画像から角膜反射ペアを抽出した場合には、該角膜反射ペアに基づいて顔の空間位置を算出し、マッチング処理における探索空間範囲を絞り込む。これにより、１つの画像に対するマッチング処理に割り当てられた処理時間内で参照可能な顔モデル（顔の特徴）の種類を増やすことが可能となり、画像内の人物の顔との一致度の高い適切な顔モデルを検出することが可能となる。よって、例えば、一人の人物についての顔モデルとして顔の向きが異なる複数通りの顔モデルを用意することで、画像内の顔の詳細な向きを検出することが可能となり、画像内の人物が見ているものを推定しやすくなる。
【００９５】
また、本実施形態の顔検出装置３が行う顔検出処理では、探索空間範囲を絞り込んだマッチング処理で検出した顔の特徴に基づいて、その後のマッチング処理において参照する顔モデル（モデル系列）を設定する。このため、顔検出の対象となっている人物が角膜反射を検出可能な領域内から該領域の外側に移動した後も、人物の顔の特徴と類似した適切な顔モデルを参照したマッチング処理を行うことが可能となる。
【００９６】
更に、本実施形態の顔検出装置３が行う顔検出処理では、有効角膜反射ペアに基づいて算出される空間位置が複数である場合に、例えば、有効モデル系列を参照したマッチング処理における各空間位置での顔モデルとの一致度に基づいて、空間位置を１つに決定する。また、有効モデル系列が設定されていない状態、言い換えると、有効赤外線到達範囲Ｖ２内に初めて人物が入ってきた際に空間位置が複数である場合には、平均モデル系列で得られた時間的に前の画像における各空間位置での一致度に基づいて、有効角膜反射ペアと組み合わせて、最新の画像での空間位置を一つに決定する。この際、顔検出装置３は、マッチング処理で一致度が最も高かった探索条件における空間位置に基づいて、複数の空間位置のなかから１つの空間位置を決定する。これにより、処理対象の画像における人物の顔と対応する顔モデルが有効モデル系列に含まれない場合でも、画像内の顔の空間位置と対応した正しい空間位置に基づいて、探索空間範囲を絞り込むことが可能となる。
【００９７】
なお、図６Ａ及び図６Ｂのフローチャートは、本実施形態の顔検出装置３が行う顔検出処理の処理手順の一例に過ぎない。本実施形態の顔検出装置３が行う顔検出処理は、上記の手順に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。例えば、補助情報抽出部３２０において角膜反射を抽出する処理（ステップＳ１）を行う際に顔領域を抽出し、抽出した顔領域に対するマッチング処理を行うようにしてもよい。また、空間位置を決定する処理（ステップＳ５）は、角膜反射の位置に基づいて算出する代わりに、例えば、テンプレートマッチング等の方法により空間位置を決定してもよい。また、補助情報抽出部３２０において画像から抽出する補助情報は、上記の角膜反射に限らず、他の情報であってもよい。
【００９８】
更に、マッチング処理で参照する顔モデルデータ３９１のデータ構造や、探索条件についての初期モデル系列１００１の設定等は、適宜変更可能である。
【００９９】
また、図１の顔検出システム１は、本実施形態に係る顔検出システム１のシステム構成の一例に過ぎない。本実施形態に係る顔検出システム１におけるシステム構成は、適宜変更可能である。例えば、データ蓄積装置４は、データ解析装置５に内蔵された装置であってもよい。また、データ蓄積装置４及びデータ解析装置５は、ネットワーク６を介さずに顔検出装置３と接続してもよい。
【０１００】
加えて、顔検出システム１において顔の検出に用いる画像は、赤外線画像に限らず、可視画像であってもよい。すなわち、顔検出システム１における撮像装置２の撮像部２１０は、赤外線画像と、可視画像とを撮像可能なものであってもよい。また、顔検出システム１の顔検出装置３における補助情報抽出部３２０は、上記の角膜反射に限らず、他の情報を抽出するものであってもよい。
【０１０１】
［第２の実施形態］
図１６は、第２の実施形態に係る顔検出システムのシステム構成を示す図である。
図１６に示すように、本実施形態に係る顔検出システム１は、撮像装置２と、顔検出装置３と、データ蓄積装置４と、データ解析装置５と、表示装置１４と、表示制御装置１５とを備える。
【０１０２】
撮像装置２は、撮像部２１０と、投光部２２０とを含む。撮像部２１０は、赤外線画像、或いは赤外線画像及び可視画像を撮像する。投光部２２０は、撮像部２１０の撮像範囲内に赤外光を投光する。
【０１０３】
顔検出装置３は、撮像装置２で撮像した画像に基づいて、撮像装置２の有効撮像範囲Ｖ１内に存在する人物７の顔情報を検出する。有効撮像範囲Ｖ１は、撮像装置２の撮像範囲のうちの、顔検出装置３において人物７の顔を検出可能な範囲である。顔情報は、画像に写っている人物７の顔の特徴を示す情報と、撮像装置２の有効撮像範囲Ｖ１内における顔の空間位置を示す情報とを含む。更に、本実施形態に係る顔検出装置３は、有効赤外線到達範囲Ｖ２内に存在する人物の視線を検出する。有効赤外線到達範囲Ｖ２は、撮像装置２の投光部２２０から出力された赤外光による角膜反射を赤外線画像から検出可能な範囲である。
【０１０４】
データ蓄積装置４は、顔検出装置３で検出した顔情報及び視線の情報を含むデータを蓄積する。顔検出装置３と、データ蓄積装置４とは、インターネット等のネットワーク６を介して接続される。データ解析装置５は、データ蓄積装置４に蓄積されたデータに基づいて、有効撮像範囲Ｖ１内における人物７の行動（例えば、移動経路、顔の向き、見ているもの等）を解析する。
【０１０５】
表示制御装置１５は、液晶ディスプレイ等の表示装置１４の表示を制御する。表示制御装置１５は、例えば、顔検出装置３で検出した人物７の視線の情報に基づいて、表示装置１４に表示させる情報（コンテンツ）の拡大や縮小、表示させる情報の切替等を行う。
【０１０６】
本実施形態に係る顔検出システム１は、例えば、デジタルサイネージ等の情報提供サービスに適用可能である。表示装置１４を公共スペースに設置して情報を提供するサービスには、例えば、表示装置１４に表示された情報を観察する人物７の視線に基づいて、表示している情報の拡大表示や縮小表示、他の情報への表示の切替等を行うものがある。また、表示装置１４を公共スペースに設置して情報を提供するサービスには、例えば、表示装置１４に表示された情報を観察する人物７の顔の特徴に基づいて、該人物７に適した情報を表示装置１４に表示するものがある。本実施形態に顔検出システム１では、顔検出装置３において有効撮像範囲Ｖ１内を移動する人物７の顔の特徴や視線を検出し、検出した視線の情報を利用して表示装置１４の表示を制御する。
【０１０７】
図１７は、第２の実施形態に係る顔検出装置の機能的構成を示す図である。
図１７に示すように、本実施形態に係る顔検出装置３は、画像取得部３１０と、補助情報抽出部３２０と、モデル系列制御部３３０と、マッチング処理部３４０と、出力部３５０と、記憶部３９０と、を備える。また、本実施形態の顔検出装置３は、視線算出部３６０を備える。
【０１０８】
本実施形態の顔検出装置３における画像取得部３１０、補助情報抽出部３２０、モデル系列制御部３３０、及びマッチング処理部３４０は、それぞれ、第１の実施形態で説明した機能を持つ。また、記憶部３９０は、第１の実施形態で説明した顔モデルデータ３９１、探索系列情報３９２、及び空間情報３９３（図２を参照）を含む各種の情報を記憶する。
【０１０９】
本実施形態の顔検出装置３における視線算出部３６０は、補助情報抽出部３２０において補助情報（角膜反射）を抽出した場合に、赤外線画像に写っている人物の視線を算出する。視線算出部３６０は、既知の瞳孔−角膜反射法に従って、赤外線画像内の瞳孔及び角膜反射を検出し、これらの位置関係に基づいて赤外線画像に写っている人物の視線を算出する。
【０１１０】
本実施形態の顔検出装置３における出力部３５０は、マッチング処理部３４０で検出した顔情報をデータ蓄積装置４に出力する。また、出力部３５０は、視線算出部３６０で算出した視線の情報を、表示制御装置１５及びデータ蓄積装置４に出力する。
【０１１１】
本実施形態の顔検出装置３は、撮像装置２で撮像した赤外線画像或いは可視画像から人物の顔を検出する処理と、赤外線画像に写っている人物の視線を検出する処理とを行う。顔検出装置３は、人物の顔を検出する処理として、例えば、図６Ａ及び図６Ｂのフローチャートに沿った処理を行う。また、赤外線画像から有効角膜反射ペアを検出した場合（ステップＳ４；ＹＥＳ）、顔検出装置３は、瞳孔−角膜反射法により赤外線画像に写っている人物の視線を算出する。顔検出装置３は、算出した視線の情報を表示制御装置１５に送信する。表示制御装置１５は、顔検出装置３で算出した（検出した）視線の位置や、時間履歴に基づいて、表示装置１０に表示させる像を制御する。
【０１１２】
図１８は、表示制御装置の機能的構成を示す図である。
図１８に示すように、本実施形態に係る表示制御装置１５は、表示データ取得部１５１０と、視線情報受付部１５２０と、表示データ決定部１５３０と、表示データ出力部１５４０と、記憶部１５９０と、を備える。
【０１１３】
表示データ取得部１５１０は、情報処理装置１６から、表示装置１４に表示させる表示データ（例えば、画像データやテキストデータ）を取得する。表示データ取得部１５１０は、取得した表示データ１５９２を記憶部１５９０に記憶させる。
【０１１４】
視線情報受付部１５２０は、顔検出装置３が表示制御装置１５に送信した視線情報の入力を受け付ける。
【０１１５】
表示データ決定部１５３０は、顔検出装置３から取得した視線情報と、記憶部１５９０の制御情報１５９１及び履歴１５９３と、に基づいて、表示装置１４に表示させる表示データを決定する。制御情報１５９１は、視線の位置や時間履歴と、表示するデータとの対応関係等を含む情報である。例えば、制御情報１５９１には、視線の位置が所定の位置で一定期間停留した場合には表示を拡大する、所定の範囲内で視線の位置が移動した場合には表示している像（オブジェクト）を視線の移動方向にずらす、等の情報を含む。履歴１５９３は、顔検出装置３から取得した視線情報の時間履歴である。履歴１５９３の時間履歴は、随時更新され、例えば、直近の数秒分程度の視線情報が記録される。
【０１１６】
表示データ出力部１５４０は、表示データ決定部１５３０で決定した表示データを表示装置１４に出力する。
【０１１７】
本実施形態に係る顔検出システム１では、例えば、表示装置１４、表示制御装置１５、及び撮像装置２を所定の位置に設置する際、或いは他の任意のタイミングで、表示制御装置１５に表示データ１５９２を記憶させる。
【０１１８】
本実施形態の顔検出システム１が動作を開始すると、表示制御装置１５は、例えば、図１９に示した処理を行う。
【０１１９】
図１９は、表示制御装置が行う処理を説明するフローチャートである。
表示制御装置１５は、まず、所定の表示データを表示装置１４に出力する（ステップＳ３１）。ステップＳ３１の処理は、表示データ決定部１５３０と、表示データ出力部１５４０とが行う。
【０１２０】
次に、表示制御装置１５は、顔検出装置３からの視線情報の入力を受け付けたか否かを判定する（ステップＳ３２）。ステップＳ３２の処理は、視線情報受付部１５２０が行う。視線情報受付部１５２０は、例えば、視線情報の入力を受け付けるまで、所定の時間間隔でステップＳ２の判定結果（すなわち視線情報の入力がないことを示す情報）を表示データ決定部１５３０に通知する。
【０１２１】
視線情報の入力がない場合（ステップＳ３２；ＮＯ）、表示制御装置１５は、入力無しの状態が一定期間継続したか否かを判定する（ステップＳ３３）。ステップＳ３３の判定は、表示データ決定部１５３０が行う。視線情報の入力がない状態が一定期間継続した場合（ステップＳ３３；ＹＥＳ）、表示制御装置１５は、所定の表示データを出力する（ステップＳ３１）。一方、視線情報の入力がない状態が一定期間に満たない場合（ステップＳ３３；ＮＯ）、表示制御装置１５は、現在表示している表示データを表示装置１４に出力する（ステップＳ３４）。ステップＳ３４の処理は、表示データ決定部１５３０と、表示データ出力部１５４０とが行う。ステップＳ３４の処理を終えると、表示制御装置１１は、表示処理を続けるか否かを判定する（ステップＳ３９）。表示処理を続ける場合（ステップＳ３９；ＹＥＳ）、表示制御装置１５は、ステップＳ３２の判定処理を行う。表示処理を終了する場合（ステップＳ３９；ＮＯ）、表示制御装置１５は、所定の処理を実行した後、表示制御処理を終了する。
【０１２２】
これに対し、視線情報の入力を受け付けた場合（ステップＳ３２；ＹＥＳ）、表示制御装置１５は、次に、視線位置の時間変化を算出する（ステップＳ３５）。ステップＳ３５の処理は、例えば、表示データ決定部１５３０が行う。表示データ決定部１５３０は、顔検出装置３から取得した直近の視線の情報と、記憶部３９０の時間履歴３９３とに基づいて、視線の位置、停留時間、或いは視線の位置の移動方向や移動量等を算出する。
【０１２３】
ステップＳ３５の処理を終えると、表示データ決定部１５３０は、制御情報と対応付けられた変化を検出したか否かを判定する（ステップＳ３６）。制御情報と対応付けられた変化を検出しなかった場合（ステップＳ３６；ＮＯ）、表示制御装置１５は、現在表示している表示データを表示装置１４に出力する（ステップＳ３４）。
【０１２４】
一方、制御情報と対応付けられた変化を検出した場合（ステップＳ３６；ＹＥＳ）、表示制御装置１５は、検出した変化に基づいて表示データを決定する（ステップＳ３７）。ステップＳ３７の処理は、表示データ決定部１５３０が行う。表示データ決定部１５３０は、検出した変化と対応付けられた制御情報に従って、次に表示する表示データを決定する。例えば、視線の位置が所定の位置で一定期間停留した場合、表示データ決定部１５３０は、現在表示している像（オブジェクト）を、視線の位置を中心として拡大した表示データに決定する。
【０１２５】
表示データを決定すると、表示制御装置１５は、次に、決定した表示データを表示装置１４に出力する（ステップＳ３８）。ステップＳ３８の処理は、表示データ出力部１５４０が行う。表示データを出力した後、表示制御装置１５は、表示処理を続けるか否かを判定する（ステップＳ３９）。表示処理を続ける場合（ステップＳ３９；ＹＥＳ）、表示制御装置１５は、ステップＳ３２の判定処理を行う。以降、表示制御装置１５は、表示処理を終了するまで、ステップＳ３１〜Ｓ３９の処理を繰り返す。
【０１２６】
このように、本実施形態に係る顔検出システム１では、顔検出装置３において画像から顔を検出するとともに、視線を検出する（算出する）ため、視線の位置の時間変化に基づいて表示装置１４の表示を制御することが可能となる。
【０１２７】
また、本実施形態に係る顔検出システム１では、第１の実施形態で説明した方法により、撮像装置２で撮像した画像（赤外線画像或いは可視画像）から顔を検出する。このため、赤外線画像から有効角膜反射ペアが抽出された後のマッチング処理において、画像に写っている顔の特徴を高い精度で検出することが可能となる。このため、例えば、顔検出の対象である人物７が、図８の有効赤外線到達範囲Ｖ２内の位置Ｐ３から外側となる位置Ｐ４に移動した後も、顔の詳細な向きを検出することが可能となり、顔の向きから視線を推定することが可能となる。
【０１２８】
なお、図１６のシステム構成は、本実施形態の顔検出システム１のシステム構成の一例に過ぎない。例えば、本実施形態の顔検出システム１は、顔検出装置３の代わりに、既知の視線検出装置に顔を検出する機能（モデル系列制御部３３０、マッチング処理部３４０等）を付加した装置を備えたシステムであってもよい。また、本実施形態に係る顔検出システム１は、例えば、データ蓄積装置４とデータ解析装置５とが一体化されていてもよい。また、本実施形態の顔検出システム１は、データ蓄積装置４、及びデータ解析装置５等が省略されたシステムであってもよい。また、撮像装置２は、赤外線画像のみを撮像する装置であってもよいし、赤外線画像及び可視画像を撮像する装置であってもよい。更に、顔検出システム１は、赤外線画像を撮像する撮像装置２と、可視画像を撮像する別の撮像装置とを含むものであってもよい。また、補助情報抽出部３２０において画像から抽出する補助情報は、上記の角膜反射に限らず、他の情報であってもよい。
【０１２９】
更に、本実施形態に係る顔検出システム１の表示制御装置１５が行う処理は、例えば、赤外線画像から検出した顔の特徴に基づいて、表示データを決定する処理を含むものであってもよい。
【０１３０】
［第３の実施形態］
図２０は、第３の実施形態に係る顔検出システムのシステム構成を示す図である。
図２０に示すように、本実施形態に係る顔検出システム１は、撮像装置２と、表示装置１０と、顔検出装置１７と、データ蓄積装置４と、データ解析装置５とを備える。
【０１３１】
撮像装置２は、撮像部２１０と、投光部２２０とを含む。撮像部２１０は、赤外線画像を撮像する。投光部２２０は、撮像部２１０の撮像範囲内に赤外光を投光する。
【０１３２】
顔検出装置１７は、撮像装置２で撮像した画像から顔の特徴及び視線を検出するとともに、液晶ディスプレイ等の表示装置１０の表示を制御する。顔検出装置１７は、例えば、赤外線画像から検出した人物７の視線の情報に基づいて、表示装置１０に表示させる情報（コンテンツ）の拡大や縮小、表示の切替等を行う。すなわち、本実施形態に係る顔検出装置１７は、第２の実施形態で説明した顔検出装置３及び表示制御装置１７の各機能を含む。顔検出装置１７は、撮像装置２の有効撮像範囲Ｖ１内に存在する人物７の顔情報を検出する。有効撮像範囲Ｖ１は、撮像装置２の撮像範囲のうちの、顔検出装置３において人物７の顔を検出可能な範囲である。顔情報は、赤外線画像或いは可視画像に写っている人物７の顔の特徴を示す情報と、撮像装置２の有効撮像範囲Ｖ１内における顔の空間位置を示す情報とを含む。更に、表示制御装置１３は、有効赤外線到達範囲Ｖ２内に存在する人物の視線を検出する。有効赤外線到達範囲Ｖ２は、撮像装置２の投光部２２０から出力された赤外光による角膜反射を赤外線画像から検出可能な範囲である。
【０１３３】
データ蓄積装置４は、顔検出装置１７で検出した顔情報及び視線の情報を含むデータを蓄積する。顔検出装置１７と、データ蓄積装置４とは、インターネット等のネットワーク６を介して接続される。データ解析装置５は、データ蓄積装置４に蓄積されたデータに基づいて、有効撮像範囲Ｖ１内における人物７の行動（例えば、移動経路、顔の向き、見ているもの等）を解析する。
【０１３４】
本実施形態に係る顔検出システム１は、例えば、デジタルサイネージ等の情報提供サービスに適用可能である。表示装置１４を公共スペースに設置して情報を提供するサービスには、例えば、表示装置１４に表示された情報を観察する人物７の視線に基づいて、表示している情報の拡大や縮小、表示の切替等を行うものがある。また、表示装置１４を公共スペースに設置して情報を提供するサービスには、例えば、表示装置１４に表示された情報を観察する人物７の顔の特徴に基づいて、該人物７に適した情報を表示装置１４に表示するものがある。本実施形態の顔検出システム１では、顔検出装置１７において、有効撮像範囲Ｖ１内を移動する人物７の顔の特徴や視線を検出し、視線の検出結果に基づいて、表示装置１４の表示を制御する。
【０１３５】
図２１は、第３の実施形態に係る顔検出装置の機能的構成を示す図である。
図２１に示すように、本実施形態に係る顔検出装置１７は、画像取得部１７１０と、視線算出部１７２０と、表示データ決定部１７３０と、補助情報抽出部１７４０と、モデル系列制御部１７５０と、マッチング処理部１７６０と、出力部１７７０と、を備える。また、本実施形態の顔検出装置１７は、記憶部１７９０を備える。
【０１３６】
画像取得部１７１０は、上述した顔検出装置３の画像取得部１１０と同様、撮像装置２の撮像部２１０で撮像した赤外線画像（或いは赤外線画像及び可視画像）を取得する。
【０１３７】
視線算出部１７２０は、撮像装置２から取得した赤外線画像に写っている人物の視線を算出する。視線算出部１７２０は、既知の瞳孔−角膜反射法に従って、赤外線画像に写っている人物の視線を算出する。表示データ決定部１７３０は、視線算出部１７２０で算出した視線の位置や停留時間等に基づいて、表示装置１４に表示させる表示データを決定する。表示データ決定部１７３０は、記憶部１７９０に記憶させた制御情報１７９１、及び履歴１７９３を参照して表示データを決定する。
【０１３８】
補助情報抽出部１７４０は、撮像装置２から取得した画像に写っている人物の顔の特徴等を検出するマッチング処理における探索条件を決定する際の補助情報を抽出する。本実施形態の顔検出装置１７における補助情報抽出部１７４０は、第１の実施形態で説明した顔検出装置３の補助情報抽出部３２０と同様、補助情報として、角膜反射を抽出する。
【０１３９】
モデル系列制御部１７５０は、補助情報の抽出結果等に基づいて、マッチング処理で用いる探索条件（顔モデル及び空間位置の組み合わせ）を設定する。本実施形態の顔検出装置１７におけるモデル系列制御部１７５０は、第１の実施形態で説明した顔検出装置３のモデル系列制御部３３０と同様の機能を持つ。すなわち、赤外線画像から有効角膜反射ペアが抽出された場合、モデル系列制御部１７５０は、探索空間範囲を絞り込み、マッチング処理で参照する顔モデル（顔の特徴）の種類を多くする。この際、モデル系列制御部１７５０は、有効角膜反射ペアに基づいて算出した顔の空間位置と、記憶部１７９０の空間情報１７９５とに基づいて、探索空間範囲を設定する。一方、赤外線画像から有効角膜反射ペアが抽出されなかった場合、モデル系列制御部１７５０は、記憶部１７９０の探索系列情報１７９５を読み出してマッチング処理で参照するモデル系列（顔モデル）を設定する。
【０１４０】
マッチング処理部１７６０は、モデル系列制御部１７５０で設定した探索条件に基づいてマッチング処理を行い、赤外線画像に写っている人物の顔と対応する顔モデルを検出する。
【０１４１】
出力部１７７０は、表示データ決定部１７３０で決定した表示データを表示装置１４に出力するとともに、マッチング処理部１７６０で検出した顔情報等をデータ蓄積装置４に送信する。
【０１４２】
本実施形態の顔検出装置１７は、撮像装置２から取得した画像に基づいて表示装置１４の表示を制御する処理と、当該画像に写っている人物の顔の特徴等を検出する処理と、を並列に行う。表示装置１４の表示を制御する処理は、赤外線画像から瞳孔及び角膜反射を抽出し、赤外線画像に写っている人物の視線を算出する（検出する）処理と、算出した人物の視線の位置、視線の位置の時間変化等に基づいて、表示データを決定する処理とを含む。これに対し、画像に写っている人物の顔の特徴等を検出する処理は、例えば、図６Ａ及び図６Ｂのフローチャートの各処理を含む。
【０１４３】
本実施形態のように、顔検出装置１７において視線や顔の特徴を検出するとともに、表示装置１４の表示の制御をすることにより、例えば、表示装置１４、撮像装置２、及び顔検出装置１７を設置する際の設置スペースを省スペース化することが可能となる。また、表示装置１４、撮像装置２、及び顔検出装置１７を設置する作業の作業効率が向上する。
【０１４４】
なお、図２０のシステム構成は、本実施形態の顔検出システム１のシステム構成の一例に過ぎない。例えば、本実施形態の顔検出システム１は、例えば、データ蓄積装置４とデータ解析装置５とが一体化されていてもよい。また、本実施形態の顔検出システム１は、データ蓄積装置４やデータ解析装置５等が省略されたシステムであってもよい。また、撮像装置２は、赤外線画像のみを撮像する装置であってもよいし、赤外線画像及び可視画像を撮像する装置であってもよい。更に、顔検出システム１は、赤外線画像を撮像する撮像装置２と、可視画像を撮像する別の撮像装置とを含むものであってもよい。また、補助情報抽出部３２０は、上記の角膜反射に限らず、他の情報を画像から抽出するものであってもよい。
【０１４５】
上記の各実施形態に係る顔検出装置３，１７は、それぞれ、コンピュータと、該コンピュータに実行させる顔検出プログラムとにより実現可能である。以下、図２２を参照して、コンピュータとプログラムとにより実現される顔検出装置３，１７について説明する。
【０１４６】
図２２は、コンピュータのハードウェア構成を示す図である。
図２２に示すように、コンピュータ２０は、プロセッサ２００１と、主記憶装置２００２と、補助記憶装置２００３と、入力装置２００４と、出力装置２００５と、入出力インタフェース２００６と、通信制御装置２００７と、媒体駆動装置２００８と、を備える。コンピュータ２０におけるこれらの要素２００１〜２００８は、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０１４７】
プロセッサ２００１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ２００１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ２０の全体の動作を制御する。プロセッサ２００１は、例えば、図６Ａ及び図６Ｂのフローチャートにおける各処理を含む顔検出プログラムを実行する。
【０１４８】
主記憶装置２００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置２００２のＲＯＭには、例えば、コンピュータ２０の起動時にプロセッサ２００１が読み出す所定の基本制御プログラム等が予め記録されている。一方、主記憶装置２００２のＲＡＭは、プロセッサ２００１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置２００２のＲＡＭは、例えば、撮像装置２から取得した画像、補助情報（角膜反射についての情報）、探索系列情報１９２、空間情報１９３等の記憶に利用可能である。また、主記憶装置２００２のＲＡＭは、例えば、視線算出部１７２０で算出した視線情報の履歴１７９３の記憶に利用可能である。
【０１４９】
補助記憶装置２００３は、主記憶装置２００２のＲＡＭと比べて容量の大きい記憶装置であり、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリのような不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等である。補助記憶装置２００３は、プロセッサ２００１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置２００３は、例えば、図６Ａ及び図６Ｂのフローチャートにおける各処理を含む顔検出プログラムや、視線を算出する（検出する）プログラム等の記憶に利用可能である。また、補助記憶装置２００３は、例えば、撮像装置２から取得した画像、補助情報（角膜反射についての情報）、顔モデルデータ１９１、探索系列情報１９２、空間情報１９３等の記憶に利用可能である。更に、補助記憶装置２００２は、例えば、視線算出部１７２０で算出した視線情報の履歴１７９３の記憶に利用可能である。
【０１５０】
入力装置２００４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ２０のオペレータ（利用者）が入力装置２００４に対して所定の操作を行うと、入力装置２００４は、その操作内容に対応付けられている入力情報をプロセッサ２００１に送信する。入力装置２００４は、例えば、顔検出処理の開始命令の入力、初期モデル系列の設定等に利用可能である。
【０１５１】
出力装置２００５は、例えば、液晶表示装置等の表示装置やプリンタ等の印刷装置である。出力装置２００５は、マッチング処理の結果や、視線情報に基づいて決定した表示データの出力に利用可能である。
【０１５２】
入出力インタフェース２００６は、コンピュータ２０と、他の電子機器とを接続する。入出力インタフェース２００６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタや、映像入力端子等を備える。入出力インタフェース２００６は、例えば、コンピュータ２０と、撮像装置２との接続に利用可能である。
【０１５３】
通信制御装置２００７は、コンピュータ２０をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ２０と他の通信機器との各種通信を制御する装置である。通信制御装置２００７は、例えば、コンピュータ２０と、データ蓄積装置４との間での顔情報を含むデータの送受信に利用可能である。
【０１５４】
媒体駆動装置２００８は、可搬型記憶媒体２１に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記憶媒体２１への書き込みを行う。媒体駆動装置２００８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置２００８としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体２１としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure  Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体２１としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ２０が媒体駆動装置２００８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体２１として利用可能である。可搬型記録媒体２１として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（登録商標）等がある。可搬型記録媒体２１は、例えば、図６Ａ及び図６Ｂのフローチャートにおける各処理を含む顔検出プログラムや、視線を算出する（検出する）プログラム等の記憶に利用可能である。また、可搬型記録媒体２１は、例えば、撮像装置２から取得した画像、補助情報（角膜反射についての情報）、顔モデルデータ１９１、探索系列情報１９２、空間情報１９３等の記憶に利用可能である。更に、補助記憶装置２００３は、例えば、視線算出部１７２０で算出した視線情報の履歴１７９３の記憶に利用可能である。
【０１５５】
例えば、オペレータが入力装置２００４等を利用して顔検出処理を開始する命令をコンピュータ２０に入力すると、プロセッサ２００１が、補助記憶装置２００３等の非一時的な記録媒体に記憶させた顔検出プログラムを読み出して実行する。顔検出プログラムが図６Ａ及び図６Ｂに示した各処理を含むプログラムである場合、コンピュータ２０は、撮像装置２から赤外線画像（或いは赤外線画像及び可視画像）を取得する処理を開始し、該赤外線画像から人物の顔を検出する処理を繰り返す。顔検出プログラムを実行している間、プロセッサ２００１は、顔検出装置３の補助情報抽出部３２０、モデル系列制御部３３０、マッチング処理部１７６０として機能する（動作する）。また、プロセッサ２００１が顔検出プログラムを実行している間、主記憶装置２００２のＲＡＭや補助記憶装置２００３等は、顔検出装置３の記憶部３９０として機能する。
【０１５６】
なお、顔検出装置３として動作させるコンピュータ２０は、図２２に示した全ての要素２００１〜２００８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ２０は、通信制御装置２００７や媒体駆動装置２００８が省略されたものであってもよい。
【０１５７】
また、コンピュータ２０に実行させるプログラムは、赤外線画像から抽出した瞳孔及び角膜反射の位置に基づいて人物の視線を算出する処理を含むプログラムであってもよい。
【０１５８】
以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
第１画像に含まれる人物の顔についての前記第１画像内での位置と寸法とを含む空間情報を特定し、
特定した前記空間情報に基づいて、前記第１画像内における前記人物の顔の探索空間範囲を設定し、
特徴量が異なる複数の種類の顔モデルのそれぞれと、前記第１画像における前記探索空間範囲内に含まれる物体とを照合して、前記複数の種類の顔モデルの中から一致度が高い第１顔モデルを抽出し、
前記第１画像よりも後の時間に取得される第２画像における前記空間情報が特定されない場合に、前記第１顔モデルを含む所定数の顔モデルを前記複数の種類の顔モデルの中から選出し、選出した前記顔モデルのそれぞれと、前記第１画像に対して設定した前記探索空間範囲に基づいて設定される前記第２画像における探索空間範囲内に含まれる物体とを照合して前記第２画像内の顔についての前記空間情報を特定する、
処理をコンピュータに実行させることを特徴とする顔検出プログラム。
（付記２）
前記空間情報を特定する処理は、前記画像から角膜反射を抽出し、前記画像内における前記角膜反射の位置に基づいて、前記画像内における前記人物の顔の位置と寸法とを算出する処理を含み、
前記角膜反射の位置に基づいて前記第２画像における前記空間情報が特定されない場合に、選出した前記顔モデルのそれぞれと、前記第１画像において設定した前記探索空間範囲に基づいて設定される前記第２画像における探索空間範囲内に含まれる物体とを照合して前記第２画像内の顔についての前記空間情報を特定する、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記３）
前記空間情報を特定する処理は、１つの前記画像に対し複数の空間情報の候補が存在する場合に、前記複数の種類の顔モデルのなかから選出した顔モデルと、前記画像における複数通りの前記探索空間範囲内に含まれる物体とを照合したときの各探索空間範囲の一致度に基づいて、前記複数の空間情報の候補のうちの１つの候補を前記空間情報に特定する処理を含む、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記４）
前記顔モデルの特徴は、顔の輪郭、髪型、及び顔の向きのうちの１つ以上の情報を含む、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記５）
前記探索空間範囲を設定する処理は、前記顔モデルの種類と、前記顔モデルのそれぞれを処理対象である画像における前記探索空間範囲内に含まれる物体と照合する処理に割り当てられる処理時間と、に基づいて設定する、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記６）
前記探索空間範囲を設定する処理は、割り当てられる前記処理時間内に前記複数の種類の顔モデルの全てを前記探索空間範囲内に含まれる物体と照合可能な範囲に設定する、
ことを特徴とする付記５に記載の顔検出プログラム。
（付記７）
前記所定数の顔モデルを前記複数の種類の顔モデルのなかから選出する処理は、前記第２画像内の顔についての前記空間情報を特定する処理において設定される前記探索空間範囲の数と、割り当てられる前記処理時間とに基づいて設定する、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記８）
前記所定数の顔モデルを前記複数の種類の顔モデルのなかから選出する処理は、前記第１画像から抽出された前記顔モデルと、当該顔モデルと前記特徴量の類似した顔モデルとを選出する、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記９）
前記画像は、撮像装置の撮像範囲内に赤外光を投光した状態で撮像した画像である、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記１０）
前記画像から角膜反射を抽出し、
抽出した前記角膜反射の位置に基づいて、前記画像に写っている人物の視線を算出する処理、を更に含む、
ことを特徴とする付記１に記載の顔検出プログラム。
（付記１１）
特徴量が異なる複数の種類の顔モデルのなかから選出された顔モデルと、画像内に設定した探索空間範囲内に含まれる物体とを照合し、前記画像に含まれる人物の顔についての前記画像内での位置と寸法とを含む空間情報を特定するマッチング処理部と、
処理の対象となっている画像から抽出される情報に基づいて、前記画像内の顔についての前記空間情報を特定する空間位置決定部と、
前記空間情報の特定結果に基づいて、前記画像内における前記人物の顔の前記探索空間範囲を設定するとともに、前記画像内に設定した前記探索空間範囲内に含まれる物体と照合する顔モデルを選出するモデル系列決定部と、を備え、
前記モデル系列決定部は、前記空間情報が特定された場合に前記複数の種類の顔モデルのなかから選出する前記顔モデルの数を、前記空間情報が特定されなかった場合に選出する前記顔モデルの数よりも多くする、
ことを特徴とする顔検出装置。
（付記１２）
前記モデル系列決定部は、前記空間情報が特定された場合には、前記複数の種類の顔モデルの全てを、前記探索空間範囲内に含まれる物体と照合する顔モデルとして選出する、
ことを特徴とする付記１１に記載の顔検出装置。
（付記１３）
前記顔検出装置は、前記空間情報の特定に用いる補助情報を前記画像から抽出する補助情報抽出部、を更に備え、
前記空間位置決定部は、前記補助情報に基づいて前記空間情報を特定する、
ことを特徴とする付記１１に記載の顔検出装置。
（付記１４）
前記補助情報抽出部が抽出する前記補助情報は、前記画像内の角膜反射であり、
前記空間位置決定部は、前記画像内における前記角膜反射の位置に基づいて、前記画像内の前記人物の顔の位置及び寸法を算出し前記空間情報を特定する、
ことを特徴とする付記１３に記載の顔検出装置。
（付記１５）
前記複数の種類の顔モデルは、同一人物の顔であり、かつ顔の向きが異なる複数通りの顔モデルを含む、
ことを特徴とする付記１１に記載の顔検出装置。
（付記１６）
コンピュータが、
第１画像に含まれる人物の顔についての前記第１画像内での位置と寸法とを含む空間情報を特定し、
特定した前記空間情報に基づいて、前記第１画像内における前記人物の顔の探索空間範囲を設定し、
特徴量が異なる複数の種類の顔モデルのそれぞれと、前記第１画像における前記探索空間範囲内に含まれる物体とを照合して、前記複数の種類の顔モデルの中から一致度が高い第１顔モデルを抽出し、
前記第１画像よりも後の時間に取得される第２画像における前記空間情報が特定されない場合に、前記第１顔モデルを含む所定数の顔モデルを前記複数の種類の顔モデルの中から選出し、選出した前記顔モデルのそれぞれと、前記第１画像において設定した前記探索空間範囲に基づいて設定される前記第２画像における探索空間範囲内に含まれる物体とを照合して前記第２画像内の顔についての前記空間情報を特定する、
処理を実行することを特徴とする顔検出方法。
【符号の説明】
【０１５９】
１  顔検出システム
２  撮像装置
２１０  撮像部
２２０  投光部
３，１７  顔検出装置
３１０，１７１０  画像取得部
３２０，１７４０  補助情報抽出部
３３０，１７５０  モデル系列制御部
３３１  空間位置決定部
３３２  モデル系列決定部
３４０，１７６０  マッチング処理部
３５０，１７７０  出力部
３６０，１７２０  視線算出部
３９０，１７９０  記憶部
３９１，１７９４  顔モデルデータ
３９２，１７９５  探索系列情報
３９３，１７９６  空間情報
１７３０  表示データ決定部
１７９１  制御情報
１７９２  表示データ
１７９３  履歴
４  データ蓄積装置
５  データ解析装置
６  ネットワーク
７  人物
７００  顔
７０１  右眼
７０２  左眼
８  画像群
１１  探索空間範囲
１２  メガネ
１３  画像
１４  表示装置
１５  表示制御装置
１５１０  表示データ取得部
１５２０  視線情報受付部
１５３０  表示データ決定部
１５４０  表示データ出力部
１５９０  記憶部
１５９１  制御情報
１５９２  表示データ
１５９３  履歴
【図１】
2018128784.tif 000005
【図２】
2018128784.tif 000006
【図３】
2018128784.tif 000007
【図４】
2018128784.tif 000008
【図５】
2018128784.tif 000009
【図６Ａ】
2018128784.tif 000010
【図６Ｂ】
2018128784.tif 000011
【図７】
2018128784.tif 000012
【図８】
2018128784.tif 000013
【図９】
2018128784.tif 000014
【図１０】
2018128784.tif 000015
【図１１】
2018128784.tif 000016
【図１２】
2018128784.tif 000017
【図１３】
2018128784.tif 000018
【図１４】
2018128784.tif 000019
【図１５】
2018128784.tif 000020
【図１６】
2018128784.tif 000021
【図１７】
2018128784.tif 000022
【図１８】
2018128784.tif 000023
【図１９】
2018128784.tif 000024
【図２０】
2018128784.tif 000025
【図２１】
2018128784.tif 000026
【図２２】
2018128784.tif 000027