(57)【要約】【課題】コストアップを抑制しつつも処理量を軽減することができる対象者存在範囲推定装置及び対象者存在範囲推定方法を提供する。【解決手段】対象者存在範囲推定装置は、単眼カメラ１０により撮像された画像上における対象者の眼の高さを検出する高さ検出部２１と、同画像上における対象者の内眼角幅Ｌを検出する眼間距離検出部２２と、高さ検出部２１により検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定部２３と、眼間距離検出部２２により検出された大きさに基づいて、単眼カメラ１０から対象者の顔側の方向である奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定部２４と、決定された位置区分、及び距離区分決定部２４により決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定部２５とを備える。【選択図】図１
2015206764.tif 000002
【特許請求の範囲】
【請求項１】
対象者の顔を含む画像を撮像する撮像手段と、
前記撮像手段により撮像された画像上における対象者の眼の高さを検出する高さ検出手段と、
前記撮像手段により撮像された画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出手段と、
前記高さ検出手段により検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定手段と、
前記顔器官検出手段により検出された大きさに基づいて、前記撮像手段から前記対象者の顔側の方向である奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定手段と、
前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定手段と、
を備えることを特徴とする対象者存在範囲推定装置。
【請求項２】
前記顔器官検出手段は、対象者の両眼間の距離を検出し、
前記距離区分決定手段は、前記顔器官検出手段により検出された両眼間の距離が大きくなるほど、前記複数の距離区分のうち前記撮像手段に近い側の距離区分を決定する
ことを特徴とする請求項１に記載の対象者存在範囲推定装置。
【請求項３】
前記奥行き方向及び前記高さ方向を変数とし、前記奥行き方向と前記高さ方向とを含む平面上において前記複数の位置区分及び前記複数の距離区分に応じた該当箇所を規定する二次元マップを記憶した記憶手段をさらに備え、
前記推定手段は、前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分の前記二次元マップ上における該当箇所を対象者の顔の存在領域と推定する
ことを特徴とする請求項１又は請求項２のいずれかに記載の対象者存在範囲推定装置。
【請求項４】
対象者の顔を含む画像を撮像手段により撮像する撮像工程と、
前記撮像工程において撮像された画像上における対象者の眼の高さを検出する高さ検出工程と、
前記撮像工程において撮像された画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出工程と、
前記高さ検出工程において検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定工程と、
前記顔器官検出工程において検出された両眼間の距離に基づいて、前記撮像手段から前記対象者の顔の方向に伸びる奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定工程と、
前記位置区分決定工程において決定された位置区分、及び前記距離区分決定工程において決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定工程と、
を備えることを特徴とする対象者存在範囲推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者存在範囲推定装置及び対象者存在範囲推定方法に関する。
【背景技術】
【０００２】
従来、例えば車両の運転者を対象者とし、運転者の頭部位置を検出する検出装置が提案されている（例えば特許文献１，２参照）。このような検出装置には、例えば、単眼距離画像センサから出力される距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトル（すなわち頭部ベクトル）を算出し、これにより指定される３次元空間での位置座標を内部座標とし、内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、このスコア値が所定の大きさの球形状の指標となることに応じて乗員の頭部領域を抽出するものがある（特許文献１参照）。また、観測空間において有効な特徴点セットを用いて最終的な三次元モデルの状態量を計算するものも提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２８５９２号公報
【特許文献２】特開２００７−２９９３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の検出装置は、赤外線の発光部と受光部とを備えた単眼距離センサを用い、発光パルスと受光パルスとの位相差（時間差）から距離を検出するため、発光部及び受光部、並びに位相差から距離を検出する構成を設けなければならず、コストアップの要因となっていた。
【０００５】
また、特許文献１に記載の検出装置は二次元画像の画素毎に位相差の情報を生成し、特許文献２に記載の検出装置は三次元モデルの状態量に基づいて姿勢を推定しており、共に処理量が過大となるものであった。
【０００６】
本発明は、このような課題を解決するものであり、その目的とするところは、コストアップを抑制しつつも処理量を軽減することができる対象者存在範囲推定装置及び対象者存在範囲推定方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の対象者存在範囲推定装置は、対象者の顔を含む画像を撮像する撮像手段と、前記撮像手段により撮像された画像上における対象者の眼の高さを検出する高さ検出手段と、前記撮像手段により撮像された画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出手段と、前記高さ検出手段により検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定手段と、前記顔器官検出手段により検出された大きさに基づいて、前記撮像手段から前記対象者の顔側の方向である奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定手段と、前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定手段と、を備えることを特徴とする。
【０００８】
本発明の対象者存在範囲推定装置によれば、顔又は顔の器官の大きさに基づいて奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定するため、対象者が撮像手段に近づくほど顔又は顔の器官が大きくなるという前提のもと、撮像手段から対象者までの大凡の距離を決定することができる。また、眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定するため、二次元画像において不明となる奥行き成分があるものの、対象者の眼の高さ（例えば画像下端から眼の位置までの距離）から、対象者の眼の大凡の高さを検出することができる。そして、これらに基づいて対象者の顔の存在領域を推定するため、撮像手段から対象者までの大凡の距離と、対象者の眼の大凡の高さとから、対象者の顔の存在位置を特定でき、コストアップを抑制しつつも処理量を軽減することができる。
【０００９】
また、本発明の対象者存在範囲推定装置において、前記顔器官検出手段は、対象者の両眼間の距離を検出し、前記距離区分決定手段は、前記顔器官検出手段により検出された両眼間の距離が大きくなるほど、前記複数の距離区分のうち前記撮像手段に近い側の距離区分を決定することが好ましい。
【００１０】
この対象者存在範囲推定装置によれば、検出された両眼間の距離が大きくなるほど、複数の距離区分のうち撮像手段に近い側の距離区分を決定するため、眼の高さ検出に用いた処理と一部共通化でき、簡易に撮像手段から対象者までの大凡の距離を決定することができる。
【００１１】
また、本発明の対象者存在範囲推定装置において、前記奥行き方向及び前記高さ方向を変数とし、前記奥行き方向と前記高さ方向とを含む平面上において前記複数の位置区分及び前記複数の距離区分に応じた該当箇所を規定する二次元マップを記憶した記憶手段をさらに備え、前記推定手段は、前記位置区分決定手段により決定された位置区分、及び前記距離区分決定手段により決定された距離区分の前記二次元マップ上における該当箇所を対象者の顔の存在領域と推定することが好ましい。
【００１２】
この対象者存在範囲推定装置によれば、奥行き方向及び高さ方向を変数とし、奥行き方向と高さ方向とを含む平面上において複数の位置区分及び複数の距離区分に応じた該当箇所を規定する二次元マップを記憶しているため、対象者の顔の位置を推定するにあたり、それぞれの決定手段により決定された区分に基づく二次元マップ上の該当箇所を選択するだけでよく、一層処理負荷を軽減させることができる。
【００１３】
本発明の対象者存在範囲推定方法は、対象者の顔を含む画像を撮像手段により撮像する撮像工程と、前記撮像工程において撮像された画像上における対象者の眼の高さを検出する高さ検出工程と、前記撮像工程において撮像された画像上における対象者の顔又は顔の器官の大きさを検出する顔器官検出工程と、前記高さ検出工程において検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定する位置区分決定工程と、前記顔器官検出工程において検出された両眼間の距離に基づいて、前記撮像手段から前記対象者の顔の方向に伸びる奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定する距離区分決定工程と、前記位置区分決定工程において決定された位置区分、及び前記距離区分決定工程において決定された距離区分に基づいて、対象者の顔の存在領域を推定する推定工程と、を備えることを特徴とする。
【００１４】
本発明の対象者存在範囲推定方法によれば、顔又は顔の器官の大きさに基づいて奥行き方向に予め区分けされる複数の距離区分のうち該当する距離区分を決定するため、対象者が撮像手段に近づくほど顔又は顔の器官が大きくなるという前提のもと、撮像手段から対象者までの大凡の距離を決定することができる。また、眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分のうち該当する位置区分を決定するため、二次元画像において不明となる奥行き成分があるものの、対象者の眼の高さ（例えば画像下端から眼の位置までの距離）から、対象者の眼の大凡の高さを検出することができる。そして、これらに基づいて対象者の顔の存在領域を推定するため、撮像手段から対象者までの大凡の距離と、対象者の眼の大凡の高さとから、対象者の顔の存在位置を特定でき、コストアップを抑制しつつも処理量を軽減することができる。
【発明の効果】
【００１５】
本発明によれば、コストアップを抑制しつつも処理量を軽減することができる対象者存在範囲推定装置及び対象者存在範囲推定方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係る対象者存在範囲推定装置を含むＨＵＤ投影装置を示すブロック図である。
【図２】図１に示した単眼カメラにより撮像された撮像画像（以下顔画像という）の一例を示す図である。
【図３】図１に示した高さ検出部により検出される眼の高さの一例を示す図である。
【図４】図１に示した眼間距離検出部により検出される両眼間の距離の一例を示す図である。
【図５】図１に示した二次元マップを示す図である。
【図６】二次元マップの規定原理を示す図であり、運転席を側方から見たときの模式図である。
【図７】二次元マップの規定原理を示す図であり、奥行き方向距離に対する内眼角幅を示すグラフである。
【図８】二次元マップ上における該当箇所と眼の存在位置とを示す図であり、（ａ）は該当箇所を示し、（ｂ）は眼の存在位置を示している。
【図９】眼の位置の違いによる視角誤差を示す図であって、上面図を示している。
【図１０】眼の位置の違いによる視角誤差を示す図であって、グラフを示している。
【図１１】本実施形態に係る対象者存在範囲推定方法を示すフローチャートである。
【図１２】カメラ座標系、アイリプス座標系、及び二次元座標系を示す図である。
【図１３】弱透視投影モデルを示す図である。
【図１４】実際の対象者の眼の位置と、推定された眼の位置との比較を示す第１の図であり、（ａ）は従来の眼の位置の検出方法でありカメラと物体までの距離をアイリプス中心としたときの例を示し、（ｂ）は本実施形態に係る例を示している。
【図１５】実際の対象者の眼の位置と、推定された眼の位置との比較を示す第２の図である。
【図１６】本実施形態に係る視線方向の視角誤差を示すグラフである。
【発明を実施するための形態】
【００１７】
以下、本発明を実施形態に基づいて説明するが、本発明は以下の実施形態に限られるものではない。図１は、本実施形態に係る対象者存在範囲推定装置を含むＨＵＤ投影装置を示すブロック図である。なお、図１では対象者存在範囲推定装置による対象者の存在範囲の推定結果を、ＨＵＤ（Head-Up Display）投影装置１の投影箇所の制御に利用する場合を例に説明するが、対象者存在範囲推定装置はＨＵＤ投影装置１に適用されるものに限らず、例えば脇見運転防止装置など、他の用途に用いられてもよい。
【００１８】
ＨＵＤ投影装置１は、人間の視野に直接情報を映し出す装置であって、例えば車両や航空機等の乗り物に多く適用されるものであり、運転者の眼の位置を検出して眼の位置に合わせた箇所に表示を行うものである。例えばＨＵＤ投影装置１が車両に適用される場合、車両に対して歩行者等が接近してくると、この接近に注意喚起を促す。この際、ＨＵＤ投影装置１は、歩行者等と注意喚起表示とが重なって運転者に視認されるように注意喚起画像をウインドシールドに投影し、歩行者等の接近を直接的に運転者に提示するようになっている。眼の位置は、例えば特開２００４−３２２６８０号公報、特開平８−１５６６４６号公報、及び特開２００９−２９２４０９号公報のように、運転者のシート位置やカメラにより撮像された撮像画像等から検出されるものがあり、本実施形態に係るＨＵＤ投影装置１は、カメラにより撮像された撮像画像から眼の位置を検出するものを採用している。
【００１９】
以下、車両に適用されるＨＵＤ投影装置１について説明する。具体的にＨＵＤ投影装置１は、単眼カメラ（撮像手段）１０と、制御部２０と、投影部３０とを備えている。単眼カメラ１０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などを使ったカメラであって、運転者の顔を含む画像を撮像するものである。
【００２０】
このような単眼カメラ１０は、車両後方に光軸が向けられてメータ内やステアリング上部等に設けられ、この位置から運転者の顔を撮像する構成となっている。より詳細に単眼カメラ１０は、ＪＩＳ Ｄ００２１やＳＡＥ Ｊ９４１で設定されているアイリプス（Eyellipse）領域の全体を撮像できるような位置及びレンズ仕様（焦点距離や画角）となっている。さらに、単眼カメラ１０は、夜間における撮像を可能とすべく近赤外ＬＥＤ（Light Emitting Diode）を有するものであってもよい。
【００２１】
制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働してＨＵＤ投影装置１の全体を制御する。
【００２２】
投影部３０は、例えば対象者上方位置や、インパネの奥側（ウインドシールド側）に設けられたプロジェクタやＬＥＤ等の光出射手段である。
【００２３】
また、制御部２０は、ＲＯＭに格納される処理プログラムが実行されることにより、高さ検出部（高さ検出手段）２１、眼間距離検出部（顔器官検出手段）２２、位置区分決定部（位置区分決定手段）２３、距離区分決定部（距離区分決定手段）２４、推定部（推定手段）２５、及び投影位置調整部２６がそれぞれ機能する。また、制御部２０は、記憶部（記憶手段）２７を備えている。
【００２４】
高さ検出部２１は、単眼カメラ１０により撮像された画像上における対象者の眼の高さを検出するものである。図２は、図１に示した単眼カメラ１０により撮像された撮像画像（以下顔画像という）の一例を示す図である。単眼カメラ１０がメータ内やステアリング上部に設けられている場合、運転者の顔をやや下側から撮像した顔画像が得られる。
【００２５】
高さ検出部２１は、このような顔画像から対象者である運転者の顔を検出する。顔検出の手法は、Ｈａａｒ−ｌｉｋｅ特徴による顔検出アルゴリズム（P.Viola and M.Jones. Rapid Object Detection using a Boosted Cascade of Simple. IEEE CVPR,2001参照）やＦａｃｅＴｒａｃｋｅｒなどのライブラリ（J.M.Saragih, s.Lucey, and J.F.Cohn. Face Alignment through Subspace Constrained Mean-shifts.参照）が用いられる。なお、顔検出は、上記手法に限らず、独自に開発された画像認識アルゴリズムにより行われてもよい。
【００２６】
また、高さ検出部２１は、顔検出後、眼の位置を検出する。眼位置検出の手法は、上記と同様に、Ｈａａｒ−ｌｉｋｅ特徴によるアルゴリズムやＦａｃｅＴｒａｃｋｅｒなどのライブラリが利用される。さらに、眼位置については、顔検出結果に対して、人体寸法データベース（河内まき子 特丸正明,2005 AIST人体寸法データベース,産業技術総合研究所 H16PRO 287.）を用いて、顔全体に対する平均的な眼の位置を採用してもよい。
【００２７】
以上のようにして眼の位置を検出すると高さ検出部２１は、例えば画像下端に対する眼の高さを検出する。図３は、図１に示した高さ検出部２１により検出される眼の高さの一例を示す図である。図３に示すように、画像下端から眼の位置Ｅ１までの距離（すなわち眼の位置Ｅ１から画像下端線への法線の長さ）を検出する。ここで、運転者の姿勢によっては両眼の高さが異なる場合がある。この場合、高さ検出部２１は、高い方又は低い方の眼の高さを検出するようにしてもよいし、利き眼（多くが右眼）の高さを検出するようにしてもよい。
【００２８】
再度、図１を参照する。眼間距離検出部２２は、単眼カメラ１０により撮像された画像上における対象者の両眼間の距離（顔の器官の大きさの一例）を検出するものである。この眼間距離検出部２２は、高さ検出部２１と同様にして眼の位置を検出する。図４は、図１に示した眼間距離検出部２２により検出される両眼間の距離の一例を示す図である。本実施形態において眼間距離検出部２２は、内眼角幅Ｌを両眼間の距離として検出する。なお、眼間距離検出部２２は、内眼角幅Ｌに限らず、瞳孔位置間距離や、外眼角幅などを両眼間距離として検出してもよい。
【００２９】
再度、図１を参照する。記憶部２７は、奥行き方向（単眼カメラ１０から対象者の顔側の方向であって、後述の図６に示すｚ軸方向）及び高さ方向を変数とし、奥行き方向と高さ方向とを含む平面上において複数の位置区分及び複数の距離区分に応じた該当箇所を規定する二次元マップを記憶している。
【００３０】
図５は、図１に示した二次元マップを示す図であり、図６及び図７は、二次元マップの規定原理を示す図である。
【００３１】
図６に示すように、例えば単眼カメラ１０がメータ下方に設けられているとする。このとき、アイリプス領域は、図６に示す位置となる。ここで、撮像画像において眼の高さが図３に示す位置Ｅ１であったとすると、本来の眼の位置は、図５に示す二次元マップにおいて例えばＨ１に示す直線上に位置することとなる。同様に、撮像画像において眼の高さが図３に示す位置Ｅ１よりも高い位置Ｅ２であるとすると、本来の眼の位置は、図５に示す二次元マップにおいて例えばＨ２に示す直線上に位置することとなる。さらに、撮像画像において眼の高さが図３に示す位置Ｅ１よりも低い位置Ｅ３であるとすると、本来の眼の位置は、図５に示す二次元マップにおいて例えばＨ３に示す直線上に位置することとなる。
【００３２】
二次元マップは、このような理論のもと、高さ方向に４つの位置区分Ａ〜Ｄに区分けされている。
【００３３】
さらに、対象者の内眼角幅Ｌは、対象者が単眼カメラ１０に近づくほど大きくなり、単眼カメラ１０から離れるほど小さくなる。図７に示すように、アイリプス中心より単眼カメラ１０に近づく方向を負とし離れる方向を正とすると、内眼角幅は個人差があるものの、大凡対象者が単眼カメラ１０に近づくほど大きくなり、単眼カメラ１０から離れるほど小さくなることがわかる。なお、図面上において丸の大きさは頻度を示しており、丸が大きいほど頻度が高いことを示している。すなわち、アイリプス中心−５０ｍｍでは、３０ｐｉｘｅｌの内眼角幅Ｌが最も多くの対象者でみられることとなる。
【００３４】
二次元マップは、このような理論のもと、図５に示すように奥行き方向に２つの距離区分ａ，ｂに区分けされている。
【００３５】
再度、図１を参照する。位置区分決定部２３は、高さ検出部２１により検出された眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分Ａ〜Ｄのうち該当する位置区分を決定するものである。具体的に位置区分決定部２３は、５つの閾値を規定しており、以下の表１に示すように該当する位置区分を決定する。すなわち、位置区分決定部２３は、眼の高さが第１閾値（７１ｐｉｘｅｌ）以上第２閾値（１１１ｐｉｘｅｌ）未満である場合、位置区分Ａに該当すると決定する。同様に、位置区分決定部２３は、眼の高さが第２閾値（１１１ｐｉｘｅｌ）以上第３閾値（１４１ｐｉｘｅｌ）未満である場合、位置区分Ｂに該当すると決定し、眼の高さが第３閾値（１４１ｐｉｘｅｌ）以上第４閾値（１７１ｐｉｘｅｌ）未満である場合、位置区分Ｃに該当すると決定する。さらに、位置区分決定部２３は、眼の高さが第４閾値（１７１ｐｉｘｅｌ）以上第５閾値（２２１ｐｉｘｅｌ）未満である場合、位置区分Ｄに該当すると決定する。
【表１】
2015206764.tif 000003
なお、ｐｉｘｅｌ数は、例えば画像下端からの値であるが、これに限らず、画像上に特定された画像下端線と平行となる仮想線からの値であってもよい。
【００３６】
また、位置区分決定部２３は、高さ検出部２１により検出された眼の高さが、第１閾値以上第５閾値未満に該当しない場合、検出された眼の位置がエラーであると判断してもよい。すなわち、そもそも眼の位置を検出できていなかったと判断してもよい。
【００３７】
距離区分決定部２４は、眼間距離検出部２２により検出された両眼間の距離に基づいて、奥行き方向に予め区分けされる複数の距離区分ａ，ｂのうち該当する距離区分を決定するものである。具体的に距離区分決定部２４は、３つの閾値を規定しており、以下の表２に示すように該当する距離区分を決定する。すなわち、距離区分決定部２４は、内眼角幅Ｌが第１閾値（２１ｐｉｘｅｌ）以上第２閾値（３０ｐｉｘｅｌ）未満である場合、距離区分ａに該当すると決定し、第２閾値（３０ｐｉｘｅｌ）以上第３閾値（４６ｐｉｘｅｌ）未満である場合、距離区分ｂに該当すると決定する。
【表２】
2015206764.tif 000004
【００３８】
なお、距離区分決定部２４についても位置区分決定部２３と同様に、眼間距離検出部２２により検出された両眼間の距離が、第１閾値以上第３閾値未満に該当しない場合、検出された眼の位置がエラーであると判断してもよい。すなわち、そもそも眼の位置を検出できていなかったと判断してもよい。
【００３９】
推定部２５は、位置区分決定部２３により決定された位置区分、及び距離区分決定部２４により決定された距離区分に基づいて、対象者の顔の存在領域を推定するものである。より詳細には、推定部２５は、位置区分決定部２３により決定された位置区分、及び距離区分決定部２４により決定された距離区分の二次元マップ上における該当箇所を対象者の顔の存在領域と推定する。
【００４０】
この推定にあたり、推定部２５は、二次元マップ上における該当箇所の重心位置を対象者の眼の存在位置と推定する。
【００４１】
図８は、二次元マップ上における該当箇所と眼の存在位置とを示す図であり、（ａ）は該当箇所を示し、（ｂ）は眼の存在位置を示している。図８（ａ）に示すように、上記の区分から領域１〜８が特定される。そして、図８（ｂ）に示すように、これらの領域１〜８の重心位置が眼の存在位置であると推定される。
【００４２】
再度、図１を参照する。投影位置調整部２６は、上記の如く推定された眼の存在位置に基づいて、投影部３０を駆動制御するものである。ここで、対象者の眼の位置の違いによる視線方向の視角誤差について説明する。
【００４３】
図９及び図１０は、眼の位置の違いによる視角誤差を示す図であって、図９は上面図を示し、図１０はグラフを示している。
【００４４】
図９に示すように、アイリプス中心に内眼角の中心が位置しており、アイリプス中心から対象面までの距離が２０００ｍｍであるとする。そして、視角２０°の位置に画像を投影したとする。そして、このときの投影位置を誤差０の位置ｘとする。誤差０の位置ｘは、三角比により計算でき、対象面上のアイリプス中心相当位置から約７２８ｍｍの位置となる。
【００４５】
このような状態において、実は対象者の内眼角の中心がアイリプス中心から１３０ｍｍ前にいたとすると、対象者が視角２０°で誤差０の位置にある画像を視認することができず、実際には視角２１．３°となってしまう。すなわち、誤差は１．３°となる。なお、対象者の内眼角の中心がアイリプス中心から１３０ｍｍ前にいた場合において、視角２０°の位置ｘ’は、アイリプス中心相当位置から約６８１ｍｍの位置となる。すなわち、位置ｘと位置ｘ’との差Δｘは約４７ｍｍとなる。
【００４６】
以上のようにして誤差計算した結果を図１０に示している。なお、図１０に示す誤差は、いずれも対象者の内眼角の中心がアイリプス中心から１３０ｍｍ前にいた場合を示している。また、グラフにおいて横軸は、アイリプス中心からの投影画像への視角（対象者の内眼角の中心がアイリプス中心にある場合の視角）を示しており、縦軸は誤差を示している。さらに、アイリプス中心から対象面までの距離は、５００ｍｍ、２０００ｍｍ、及び５０００ｍｍの３条件とした。
【００４７】
図１０に示すように、アイリプス中心から対象面までの距離が５００ｍｍである場合、視角１０°における誤差は約３．５°となり、視角２０°における誤差は約６．２°となり、視角３０°における誤差は約８．０°となり、視角４０°における誤差は約８．５°となり、視角５０°における誤差は約８．２°となった。
【００４８】
また、アイリプス中心から対象面までの距離が２０００ｍｍである場合、視角１０°における誤差は約０．７°となり、視角２０°における誤差は約１．３°となり、視角３０°における誤差は約１．８°となり、視角４０°における誤差は約２．０°となり、視角５０°における誤差は約１．９°となった。
【００４９】
さらに、アイリプス中心から対象面までの距離が５０００ｍｍである場合、視角１０°における誤差は約０．２°となり、視角２０°における誤差は約０．５°となり、視角３０°における誤差は約０．６°となり、視角４０°における誤差は約０．７°となり、視角５０°における誤差は約０．６°となった。
【００５０】
再度、図１を参照する。投影位置調整部２６は、上記のような誤差が発生しないように、推定部２５により推定された眼の位置に基づいて、投影部３０による投影位置を調整する。これにより、車両に接近してくる歩行者等に対して画像を重ね合わせるなどの適切な表示を行うことができる。
【００５１】
次に、本実施形態に係る対象者存在範囲推定方法を説明する。図１１は、本実施形態に係る対象者存在範囲推定方法を示すフローチャートである。図１１に示すように、制御部２０は、まず単眼カメラ１０により撮像された顔画像を取得する（Ｓ１）。
【００５２】
次に、高さ検出部２１及び眼間距離検出部２２は、上記したようにして、顔画像上における眼の高さ、及び内眼角幅Ｌを検出する（Ｓ２）。その後、位置区分決定部２３は、表１に従って、複数の位置区分Ａ〜Ｄから該当する位置区分を決定する（Ｓ３）。次いで、距離区分決定部２４は、表２に従って、複数の距離区分ａ，ｂから該当する距離区分を決定する（Ｓ４）。
【００５３】
次に、推定部２５は、上記した二次元マップに基づいて、眼の存在領域を決定すると共に、存在領域の重心位置を眼の位置と推定する（Ｓ５）。そして、図１１に示す処理は終了する。
【００５４】
図１１に示す処理の終了後、投影位置調整部２６は、推定した眼の位置に基づいて、画像投影箇所を調整することとなる。
【００５５】
次に、従来の眼の位置の検出方法の一例を説明する。
【００５６】
まず従来の眼の位置検出方法では、カメラ座標系、アイリプス座標系、及び二次元座標系の３つの座標系が必要となる。図１２は、カメラ座標系、アイリプス座標系、及び二次元座標系を示す図である。カメラ座標系（Ｘ，Ｙ，Ｚ）は、カメラ位置を原点とした座標系であり、Ｘ軸は車両横方向に伸びており、Ｙ軸は高さ方向に伸びており、Ｚ軸は車両前後方向（上記奥行き方向）に伸びている。また、アイリプス座標系（Ｘｅ，Ｙｅ，Ｚｅ）は、アイリプス中心を原点とした座標系であって、カメラ座標系と同様にＸｅ軸、Ｙｅ軸及びＺｅ軸が伸びている。二次元座標系（ｘ，ｙ）は撮像画像の座標系であって、Ｘ軸が車両横方向に伸びており、Ｙ軸が高さ方向に伸びている。
【００５７】
また、アイリプス座標系の原点は、カメラ座標系において点（Ｘ０，Ｙ０，Ｚ０）の位置にある。さらに、アイリプス座標系における眼の位置（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）は、カメラ座標系における点（Ｘｉ，Ｙｉ，Ｚｉ）にあり、二次元座標系における点（ｘｉ，ｙｉ）にある。
【００５８】
ここで、アイリプス座標系における眼の位置（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）と、カメラ座標系における点（Ｘｉ，Ｙｉ，Ｚｉ）との対応関係は、以下の式で表わすことができる。
【数１】
2015206764.tif 000005
【００５９】
上記Ｒはカメラ座標系における回転を表わすものであり、Ｘ軸における回転角がψであり、Ｙ軸における回転角がθであり、Ｚ軸における回転角がφであるとすると、Ｒは、
【数２】
2015206764.tif 000006
なる式で表わすことができる。
【００６０】
また、カメラによる物体の二次元画像上への投影は、弱透視投影モデルが適用される。図１３は、弱透視投影モデルを示す図である。弱透視投影モデルを用いた場合、カメラ座標系における点（Ｘｉ，Ｙｉ，Ｚｉ）と、二次元座標系における点（ｘｉ，ｙｉ）との対応関係は以下の式により表わすことができる。なお、ｆはカメラの焦点距離を表わす。
【数３】
2015206764.tif 000007
【００６１】
以上より、二次元座標系における点（ｘｉ，ｙｉ）と、アイリプス座標系における眼の位置（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）との対応関係は、以下の通りとなる。
【数４】
2015206764.tif 000008
【００６２】
以上より、カメラと物体（対象者の眼の位置）までの距離（奥行き方向距離）Ｚｕ（図１３参照）がわかれば、撮像画像から三次元的な眼の位置を検出することができる。
【００６３】
従って、従来の眼の位置検出方法を実行するためには、距離センサやステレオカメラ（対象物を複数の異なる方向から同時に撮影するもの）が必要となってしまう。従って、コストアップを招くこととなる。さらに、上記式からも明らかなように、その演算負荷は決して軽いものではない。そこで、カメラと物体までの距離Ｚｕを固定値としたとすると、図１０に示した誤差が発生することとなり、適切な画像表示を行うものとはいえない。
【００６４】
これに対して、本実施形態に係る対象者存在範囲推定装置及び方法では、距離センサやステレオカメラを備えることなく、且つ、演算負荷も従来より軽くしたうえで、眼の位置を推定することができる。
【００６５】
図１４は、実際の対象者の眼の位置と、推定された眼の位置との比較を示す第１の図であり、（ａ）は従来の眼の位置の検出方法でありカメラと物体までの距離Ｚｕをアイリプス中心で固定としたときの例を示し、（ｂ）は本実施形態に係る例を示している。
【００６６】
図１４（ａ）及び（ｂ）に示すように、ＨＵＤ投影装置１には、ＨＵＤ光軸を中心としたアイボックスという帯状の領域が存在する。このアイボックス内に眼が位置している場合、ドライバはＨＵＤへの投影画像を適正に視認することができる。
【００６７】
ここで、図１４（ａ）に示すように、実際の眼の位置がアイリプス領域の前端位置Ｐ１にある場合、カメラと物体までの距離Ｚｕをアイリプス中心とした場合の推定方法では、眼の位置がＰ２と推定されてしまう。この位置Ｐ２は、カメラからの距離がＺｕであり、且つ、位置Ｐ１に対してカメラ光軸に沿って高さ方向にもズレた位置となる。
【００６８】
ＨＵＤ投影装置１は、推定された眼の位置Ｐ２にＨＵＤ光軸中心が通過するように制御を行う関係上、カメラと物体までの距離Ｚｕを固定とした眼の位置の推定方法では、実際の眼の位置Ｐ１がアイボックス外となってしまうことがある。このような場合、ドライバは、ＨＵＤ投影装置１の操作部（図示せず）を操作してＨＵＤ光軸の調整を行い、自己が投影画像を視認できるようにしなければならない。
【００６９】
これに対して、図１４（ｂ）に示すように、本実施形態では眼の存在領域の重心位置を眼の位置と推定するため、仮に実際の眼の位置がアイリプス領域の前端位置Ｐ１にあったとしても、眼の位置はＰ３と推定される。ここで、本実施形態ではカメラからの距離が固定とされておらず重心位置を眼の位置とする関係上、位置Ｐ３は、高さ方向のズレ量は図１４（ａ）に示す例よりも小さくなる。
【００７０】
よって、ＨＵＤ投影装置１は、推定された眼の位置Ｐ３にＨＵＤ光軸が通過するように制御を行ったとしても、実際の眼の位置Ｐ１はアイボックス内に収まり易くなる。この結果、ドライバは、ＨＵＤ投影装置１の操作部（図示せず）を操作する必要が無くなり、ドライバの手間を軽減することができる。
【００７１】
図１５は、実際の対象者の眼の位置と、推定された眼の位置との比較を示す第２の図である。図１５に示すように、実際の眼の位置がアイリプス領域の前端にある場合、カメラと物体までの距離Ｚｕをアイリプス中心とした場合の推定方法では、奥行き方向の距離Ｌ１のズレが生じてしまう。このため、図９及び図１０を参照して説明した誤差が大きくなる傾向にある。
【００７２】
これに対して、本実施形態では眼の存在領域の重心位置を眼の位置と推定するため、仮に実際の眼の位置がアイリプス領域の前端にあったとしても、奥行き方向には距離Ｌ２（＜Ｌ１）しかズレないとなる。
【００７３】
この結果、図１０を参照して説明した誤差は、本実施形態では図１６に示すようになる。図１６は、本実施形態に係る視線方向の視角誤差を示すグラフである。図１５に示すように、本実施形態では従来よりも実際の眼の位置と推定された眼の位置との距離差が小さくなる関係上、誤差も小さくなった。
【００７４】
すなわち、図１６に示すように、アイリプス中心から対象面までの距離が５００ｍｍである場合、視角１０°における誤差は約１．５°となり、視角２０°における誤差は約２．７°となり、視角３０°における誤差は約３．５°となり、視角４０°における誤差は約４．０°となり、視角５０°における誤差は約３．９°となった。
【００７５】
また、アイリプス中心から対象面までの距離が２０００ｍｍである場合、視角１０°における誤差は約０．４°となり、視角２０°における誤差は約０．６°となり、視角３０°における誤差は約０．８°となり、視角４０°における誤差は約１．０°となり、視角５０°における誤差は約０．９°となった。
【００７６】
さらに、アイリプス中心から対象面までの距離が５０００ｍｍである場合、視角１０°における誤差は約０．１°となり、視角２０°における誤差は約０．２°となり、視角３０°における誤差は約０．２°となり、視角４０°における誤差は約０．４°となり、視角５０°における誤差は約０．３°となった。
【００７７】
このようにして、本実施形態に係る対象者存在範囲推定装置及び方法によれば、内眼角幅Ｌに基づいて奥行き方向に予め区分けされる複数の距離区分ａ，ｂのうち該当する距離区分を決定するため、対象者が単眼カメラ１０に近づくほど内眼角幅Ｌが大きくなるという前提のもと、単眼カメラ１０から対象者までの大凡の距離を決定することができる。また、眼の高さに基づいて、対象者の高さ方向に予め区分けされる複数の位置区分Ａ〜Ｄのうち該当する位置区分を決定するため、二次元画像において不明となる奥行き成分があるものの、対象者の眼の高さ（例えば画像下端から眼の位置までの距離）から、対象者の眼の大凡の高さを検出することができる。そして、これらに基づいて対象者の顔の存在領域を推定するため、単眼カメラ１０から対象者までの大凡の距離と、対象者の眼の大凡の高さとから、対象者の顔の存在位置を特定でき、コストアップを抑制しつつも処理量を軽減することができる。
【００７８】
また、検出された内眼角幅Ｌが大きくなるほど、複数の距離区分ａ，ｂのうち単眼カメラ１０に近い側の距離区分ａ，ｂを決定するため、眼の高さ検出に用いた処理と一部共通化でき、簡易に単眼カメラ１０から対象者までの大凡の距離を決定することができる。
【００７９】
また、奥行き方向及び高さ方向を変数とし、奥行き方向と高さ方向とを含む平面上において複数の位置区分Ａ〜Ｄ及び複数の距離区分ａ，ｂに応じた該当箇所を規定する二次元マップを記憶しているため、対象者の顔の位置を推定するにあたり、それぞれ決定された区分に基づく二次元マップ上の該当箇所を選択するだけでよく、一層処理負荷を軽減させることができる。
【００８０】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【００８１】
例えば、本実施形態においては存在領域を８つ有していたが、これに限らず、装置１の推定精度に応じて４つ以上であればその数を問うものではない。また、上記した閾値の値についても適宜変更可能である。
【００８２】
また、本実施形態では、対象者の内眼角幅Ｌを検出して、該当する距離区分を決定しているが、対象者の内眼角幅Ｌに限らず、顔の大きさ、又は、顔の他の器官（鼻、口、人中、鼻孔間、両耳間など）の大きさ（距離）を検出して該当する距離区分を決定してもよい。さらに、内眼角幅Ｌのように距離を大きさとして採用しているが、これに限らず、面積を大きさとして採用するようにしてもよい。
【００８３】
さらに、本実施形態では存在領域の重心位置を眼の位置と推定したが、これに限らず、存在領域の中心位置であってもよいし、場合によっては前端の上端位置や、後端の下端位置など、適宜他の位置を採用可能である。
【００８４】
加えて、本実施形態では眼の位置を推定する例を説明したが、これに限らず、単に顔の存在領域を推定するものであってもよい。特に、本実施形態のようにして顔の存在領域を推定した後に、この存在領域のみに限って従来の眼の位置の推定方法を行うようにしてもよい。すなわち、従来の眼の位置の推定方法の処理負荷を軽減させるために、前段階として本実施形態を用いるようにしてもよい。
【００８５】
さらに、上記実施形態において二次元マップの存在領域の重心位置を眼の位置と推定したが、この眼の位置には、マップ奥行き方向（すなわち、対象者の左右方向の位置）の情報を備えていてもよい。これにより、二次元マップにおける存在領域から、対象者の眼の三次元上における位置を推定することができるからである。さらに、対象者の左右方向における眼の位置は、二次元画像上における眼の左右位置から演算によって求めるようにしてもよい。この際、上記した眼の位置の推定結果を用いることにより、演算負荷を軽減したまま、対象者の眼の三次元上における位置を推定することができる。
【００８６】
また、上記の如く、対象者の三次元上における眼の位置を推定できることから、これに基づくＨＵＤの投影位置を調整することが望ましいが、これに限らず、対象者の眼の左右位置を含むことなく、ＨＵＤの投影位置を調整するようにしてもよい。
【符号の説明】
【００８７】
１    ：ＨＵＤ投影装置
１０  ：単眼カメラ（撮像手段）
２０  ：制御部
２１  ：高さ検出部（高さ検出手段）
２２  ：眼間距離検出部（顔器官検出手段）
２３  ：位置区分決定部（位置区分決定手段）
２４  ：距離区分決定部（距離区分決定手段）
２５  ：推定部（推定手段）
２６  ：投影位置調整部
２７  ：記憶部（記憶手段）
３０  ：投影部
【図１】
2015206764.tif 000009
【図２】
2015206764.tif 000010
【図３】
2015206764.tif 000011
【図４】
2015206764.tif 000012
【図５】
2015206764.tif 000013
【図６】
2015206764.tif 000014
【図７】
2015206764.tif 000015
【図８】
2015206764.tif 000016
【図９】
2015206764.tif 000017
【図１０】
2015206764.tif 000018
【図１１】
2015206764.tif 000019
【図１２】
2015206764.tif 000020
【図１３】
2015206764.tif 000021
【図１４】
2015206764.tif 000022
【図１５】
2015206764.tif 000023
【図１６】
2015206764.tif 000024