(57)【要約】  搭乗者検出装置（１０）は、複数の光源から移動体の搭乗者に向けて照射光が照射された状態で撮像された顔画像を取得する顔画像取得部（１２）と、顔画像から搭乗者が装着している眼鏡に映り込んだ複数の光源の各反射像の位置を検出する反射像位置検出部（１４）と、顔画像から眼鏡の特徴情報としてレンズ中心点の位置を検出する眼鏡特徴検出部（１５）と、各反射像の位置に基づいて搭乗者の頭位置を検出する頭位置検出部（１６）と、搭乗者の頭位置と各反射像の位置とレンズ中心点の位置との関係性に基づいて搭乗者の顔向きを検出する顔向き検出部（１７）とを備える。
2017141401.tif 000002
【特許請求の範囲】
【請求項１】
複数の光源から移動体の搭乗者に向けて照射光が照射された状態で撮像された当該搭乗者の顔画像を取得する顔画像取得部と、
前記顔画像取得部が取得した前記顔画像から、前記搭乗者が装着している眼鏡に映り込んだ前記複数の光源の各反射像の位置を検出する反射像位置検出部と、
前記顔画像取得部が取得した前記顔画像から、前記搭乗者の顔の向きに応じた前記眼鏡の位置または形状を示す特徴情報を検出する眼鏡特徴検出部と、
前記反射像位置検出部が検出した前記各反射像の位置に基づいて前記搭乗者の頭位置を検出する頭位置検出部と、
前記頭位置検出部が検出した前記搭乗者の頭位置、前記反射像位置検出部が検出した前記各反射像の位置および前記眼鏡特徴検出部が検出した前記眼鏡の特徴情報に基づいて、前記搭乗者の顔向きを検出する顔向き検出部とを備える搭乗者検出装置。
【請求項２】
前記眼鏡特徴検出部は、前記眼鏡の特徴情報として、レンズの中心点の位置を検出し、
前記顔向き検出部は、前記頭位置検出部が検出した前記搭乗者の頭位置と前記反射像位置検出部が検出した前記各反射像の位置と前記眼鏡特徴検出部が検出したレンズの中心点の位置との関係性に基づいて、前記搭乗者の顔向きを検出することを特徴とする請求項１記載の搭乗者検出装置。
【請求項３】
前記眼鏡特徴検出部は、前記眼鏡の特徴情報として、レンズまたはフレームの形状を検出し、
前記顔向き検出部は、前記眼鏡特徴検出部が検出したレンズまたはフレームの形状の前記搭乗者の顔向きに応じた変化に基づいて前記搭乗者の顔向きを検出することを特徴とする請求項１記載の搭乗者検出装置。
【請求項４】
前記眼鏡特徴検出部は、前記眼鏡の特徴情報として、レンズの中心点の位置、ならびに当該レンズまたはフレームの形状を検出し、
前記顔向き検出部は、前記頭位置検出部が検出した前記搭乗者の頭位置と前記反射像位置検出部が検出した前記各反射像の位置と前記眼鏡特徴検出部が検出したレンズの中心点の位置との関係性に基づいて前記搭乗者の顔向きを検出し、検出した前記搭乗者の顔向きを用いて、前記眼鏡特徴検出部が検出したレンズまたはフレームの形状と顔向きとの関係性を学習することを特徴とする請求項１記載の搭乗者検出装置。
【請求項５】
前記顔向き検出部は、前記学習したデータを用いて、前記眼鏡特徴検出部が検出したレンズまたはフレームの形状に対応する顔向きを検出することを特徴とする請求項４記載の搭乗者検出装置。
【請求項６】
前記眼鏡特徴検出部は、前記眼鏡の特徴情報として、レンズまたはフレームの形状か、当該レンズの中心点の位置かの少なくとも一方と、耳にかけるつるの形状とを検出し、
前記顔向き検出部は、前記眼鏡特徴検出部が検出したレンズまたはフレームの形状に基づいて前記搭乗者の顔向きを検出するか、前記頭位置検出部が検出した前記搭乗者の頭位置と前記反射像位置検出部が検出した前記各反射像の位置と前記眼鏡特徴検出部が検出したレンズの中心点の位置との関係性に基づいて前記搭乗者の顔向きを検出するかし、検出した前記搭乗者の顔向きを用いて、前記眼鏡特徴検出部が検出したつるの形状と顔向きとの関係性を学習することを特徴とする請求項１記載の搭乗者検出装置。
【請求項７】
前記顔向き検出部は、前記学習したデータを用いて、前記眼鏡特徴検出部が検出したつるの形状に対応する顔向きを検出することを特徴とする請求項６記載の搭乗者検出装置。
【請求項８】
複数の光源から移動体の搭乗者に向けて照射光を照射する照射部と、
前記照射部から照射光が照射された状態で前記搭乗者を撮像する撮像部と、
前記撮像部が撮像した前記搭乗者の顔画像を取得する顔画像取得部と、
前記顔画像取得部が取得した前記顔画像から、前記搭乗者が装着している眼鏡に映り込んだ前記複数の光源の各反射像の位置を検出する反射像位置検出部と、
前記顔画像取得部が取得した前記顔画像から、前記搭乗者の顔の向きに応じた前記眼鏡の位置または形状を示す特徴情報を検出する眼鏡特徴検出部と、
前記反射像位置検出部が検出した前記各反射像の位置に基づいて前記搭乗者の頭位置を検出する頭位置検出部と、
前記頭位置検出部が検出した前記搭乗者の頭位置、前記反射像位置検出部が検出した前記各反射像の位置および前記眼鏡特徴検出部が検出した前記眼鏡の特徴情報に基づいて、前記搭乗者の顔向きを検出する顔向き検出部とを備える搭乗者検出システム。
【請求項９】
前記照射部は、縦、横または斜めのいずれかの列に配置された複数の光源を有することを特徴とする請求項８記載の搭乗者検出システム。
【請求項１０】
顔画像取得部が、複数の光源から移動体の搭乗者に向けて照射光が照射された状態で撮像された当該搭乗者の顔画像を取得するステップと、
反射像位置検出部が、前記顔画像取得部が取得した前記顔画像から、前記搭乗者が装着している眼鏡に映り込んだ前記複数の光源の各反射像の位置を検出するステップと、
眼鏡特徴検出部が、前記顔画像取得部が取得した前記顔画像から、前記搭乗者の顔の向きに応じた前記眼鏡の位置または形状を示す特徴情報を検出するステップと、
頭位置検出部が、前記反射像位置検出部が検出した前記各反射像の位置に基づいて前記搭乗者の頭位置を検出するステップと、
顔向き検出部が、前記頭位置検出部が検出した前記搭乗者の頭位置、前記反射像位置検出部が検出した前記各反射像の位置および前記眼鏡特徴検出部が検出した前記眼鏡の特徴情報に基づいて、前記搭乗者の顔向きを検出するステップとを備える搭乗者検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体の搭乗者の顔の向きを検出する搭乗者検出装置、搭乗者検出システム、ならびに搭乗者検出方法に関するものである。
【背景技術】
【０００２】
搭乗者の顔向きを検出する従来のドライバセンシング装置は、搭乗者が眼鏡またはサングラスを着用している場合、顔の特徴点が検出できないために顔向きが検出できないという問題があった。そこで、特許文献１では、搭乗者が着用している眼鏡等のレンズに映り込んだ車体構造物の像とその位置とに基づいて顔向きを検出する顔状態検出装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−７０５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に係る顔状態検出装置は以上のように構成されているので、外光のない夜間または曇りの日等のように、眼鏡等のレンズに映り込み像が生じない場合には顔向きが検出できないという課題があった。また、レンズに映り込んだ車体構造物の像の抽出を画像処理で行うため、高画質なカメラを用いる必要があり、高コストであるという課題があった。【０００５】
この発明は、上記のような課題を解決するためになされたもので、時刻および天候等の影響を受けずに常時、かつ低コストに、搭乗者の顔の向きを検出することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る搭乗者検出装置は、複数の光源から移動体の搭乗者に向けて照射光が照射された状態で撮像された当該搭乗者の顔画像を取得する顔画像取得部と、顔画像取得部が取得した顔画像から、搭乗者が装着している眼鏡に映り込んだ複数の光源の各反射像の位置を検出する反射像位置検出部と、顔画像取得部が取得した顔画像から、搭乗者の顔の向きに応じた眼鏡の位置または形状を示す特徴情報を検出する眼鏡特徴検出部と、反射像位置検出部が検出した各反射像の位置に基づいて搭乗者の頭位置を検出する頭位置検出部と、頭位置検出部が検出した搭乗者の頭位置、反射像位置検出部が検出した各反射像の位置および眼鏡特徴検出部が検出した眼鏡の特徴情報に基づいて搭乗者の顔向きを検出する顔向き検出部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、複数の光源から移動体の搭乗者に向けて照射光が照射された状態で撮像された顔画像を用いて搭乗者の顔の向きを検出するようにしたので、時刻および天候等の影響を受けずに常時、かつ低コストに、搭乗者の顔の向きを検出することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る搭乗者検出システムの構成例を示すブロック図である。
【図２】図２Ａは、実施の形態１における照射部と撮像部と搭乗者との位置関係を例示した図、図２Ｂ〜図２Ｅは、照射部が備える複数の光源の配置例を示す図である。
【図３】実施の形態１に係る搭乗者検出装置の動作を示すフローチャートである。
【図４】図４Ａ〜図４Ｃは、実施の形態１に係る搭乗者検出装置の頭位置検出方法を説明する図である。
【図５】図５Ａ〜図５Ｆは、眼鏡のレンズと、当該レンズに映り込んだ反射像との位置関係を説明する図である。
【図６】眼鏡を装着した搭乗者が各方向に顔を向けたときの、眼鏡のレンズに映り込む反射像の位置を示す図である。
【図７】実施の形態１に係る搭乗者検出装置の顔向き左右角度および上下角度の検出方法を説明する図である。
【図８】図８Ａおよび図８Ｂは、実施の形態１に係る搭乗者検出装置の顔向き傾斜角度の検出方法を説明する図である。
【図９】この発明の実施の形態２に係る搭乗者検出システムの構成例を示すブロック図である。
【図１０】実施の形態２に係る搭乗者検出装置の動作を示すフローチャートである。
【図１１】実施の形態２における眼鏡のレンズの形状を説明する図である。
【図１２】図１２Ａ、図１２Ｂおよび図１２Ｃは、実施の形態２に係る搭乗者検出装置の顔向き検出方法を説明する図である。
【図１３】この発明の実施の形態３に係る搭乗者検出システムの構成例を示すブロック図である。
【図１４】実施の形態３に係る搭乗者検出装置の動作を示すフローチャートである。
【図１５】この発明の実施の形態４に係る搭乗者検出システムの構成例を示すブロック図である。
【図１６】実施の形態４に係る搭乗者検出装置の動作を示すフローチャートである。
【図１７】図１６に示すフローチャートの続きである。
【図１８】この発明の各実施の形態に係る搭乗者検出システムのハードウェア構成図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る搭乗者検出システムの構成例を示すブロック図である。図１に示す搭乗者検出システムは、照射部１、撮像部２、および搭乗者検出装置１０を備えている。以下では、車両に搭載された搭乗者検出システムを例に用いて、この発明の各実施の形態を説明するが、搭乗者検出システムは車両の他、鉄道、船舶または航空機等を含む移動体への搭載が可能である。
【００１０】
照射部１は、複数の光源を備えている。照射部１は、車室内において搭乗者の前方に設置され、複数の光源からの照射光を搭乗者に向けて照射する。
撮像部２は、単数または複数のカメラを備えている。撮像部２は、車室内に設置され、搭乗者の顔を撮像して顔画像として出力する。
【００１１】
例えば、照射部１の光源として可視光を照射するＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を用い、撮像部２として可視光領域の感度をもつカメラを用いてもよい。あるいは、照射部１の光源として赤外線等の非可視光を照射するＬＥＤを用い、撮像部２として非可視光領域の感度をもつカメラを用いてもよい。非可視光ＬＥＤを用いた場合、夜間に搭乗者に向けて照射したとしても眩惑させることがない。
【００１２】
ここで、図２Ａに、照射部１と撮像部２と搭乗者との位置関係を例示する。図２Ａの例では、搭乗者の前方に、照射部１と撮像部２が設置されている。また、撮像部２の左右両側には、５つの光源を備えた照射部１が２つ配置されている。
また、図２Ａの例では、可視光ＬＥＤを用い、２つの照射部１を撮像部２の両側に設置して搭乗者の顔に影ができないようにしている。赤外線ＬＥＤを用いる場合は１つの照射部１でもよい。
また、図２Ａのように照射部１と撮像部２とを一体化した１つの筐体を構成してもよいし、照射部１の筐体と撮像部２の筐体を分けてもよい。
以下では、図２Ａに示すように、水平方向をｘ軸方向とし、垂直方向をｙ軸方向とし、奥行き方向をｚ軸方向とする。
【００１３】
図２Ｂ、図２Ｃ、図２Ｄおよび図２Ｅは、照射部１が備える複数の光源の配置例を示す図である。図２Ｂに示す照射部１は、４つの光源が上下左右に配置された構成である。図２Ｃに示す照射部１は、５つの光源が十字に配置された構成である。図２Ｄに示す照射部１は、５つの光源が斜め十字に配置された構成である。図２Ｅに示す照射部１は、８つの光源が十字に配置された構成である。
このように、照射部１は、眼鏡のレンズに反射したときに照射部１の照射光とそれ以外の光とを区別できるような、縦、横もしくは斜め、またはこれらを組み合わせた十字もしくは三角形等、特徴的な形状の配置であればよい。ちなみに、照射部１の照射光以外の光としては、例えば車両外からの外光等があり、レンズに反射した外光は、面状または１つの点状の形状になる。
【００１４】
搭乗者検出装置１０は、制御部１１、顔画像取得部１２、顔検出部１３、反射像位置検出部１４、眼鏡特徴検出部１５、頭位置検出部１６および顔向き検出部１７を備えている。この搭乗者検出装置１０は、視力矯正用の眼鏡、目の保護用のサングラスまたはゴーグル等を含む眼鏡一般を装着している搭乗者の顔の向きを検出するものである。
【００１５】
制御部１１は、照射部１、撮像部２および搭乗者検出装置１０の動作を制御する。具体的には、制御部１１は、照射部１に指示して、複数光源の点灯と消灯を制御する。また、制御部１１は、撮像部２に指示して、照射部１から照射光が照射された状態の搭乗者をカメラで撮像させる。さらに、制御部１１は、搭乗者検出装置１０における顔画像取得部１２、顔検出部１３、反射像位置検出部１４、眼鏡特徴検出部１５、頭位置検出部１６および顔向き検出部１７に指示して、動作のタイミングを制御したり、情報の授受を制御したりする。
【００１６】
顔画像取得部１２は、撮像部２から顔画像を取得し、制御部１１へ出力する。
顔検出部１３は、制御部１１を介して撮像部２からの顔画像を受け取り、顔画像から顔を検出し、顔検出結果を制御部１１へ出力する。この顔検出部１３は、例えば、ＡｄａｂｏｏｓｔおよびＣａｓｃａｄｅといった一般的なアルゴリズムによる識別器である。なお、搭乗者検出装置１０が顔検出部１３を備える構成ではなく、撮像部２などの外部装置が顔検出部１３を備える構成であってもよい。外部装置が顔検出部１３を備える構成である場合、顔画像取得部１２は、外部装置の顔検出部１３から顔画像と顔検出結果とを取得して制御部１１へ出力する。
【００１７】
反射像位置検出部１４は、制御部１１を介して顔画像と顔検出結果とを受け取り、顔画像の顔検出枠内から、搭乗者が装着している眼鏡のレンズに映り込んだ、照射部１の配置と同じ形状の反射像を検出する。例えば、照射部１の複数の光源が図２Ｃのように配置されている場合、顔画像において眼鏡のレンズに映り込んだ反射像も、図２Ｃのような複数の白点の像となる。反射像位置検出部１４には、反射像を検出するための照射部１の配置に関する情報が、予め与えられているものとする。反射像位置検出部１４は、反射像の検出として、顔検出枠内のエッジ検出を行ってもよいし、輝度値の比較を行ってもよい。
【００１８】
反射像位置検出部１４は、照射部１の配置と同じ形状の反射像を検出した場合、搭乗者が眼鏡を装着していると判定し、照射部１の複数の光源に対応する複数の反射像それぞれの位置を検出する。そして、反射像位置検出部１４は、各反射像の位置の検出結果を制御部１１へ出力する。
一方、反射像位置検出部１４は、照射部１の配置と同じ形状の反射像を検出しなかった場合、搭乗者が眼鏡を装着していないと判定し、判定結果を制御部１１へ出力する。
【００１９】
眼鏡特徴検出部１５は、制御部１１を介して顔画像と顔検出結果とを受け取り、顔画像の顔検出枠内から搭乗者が装着している眼鏡のレンズ、または当該レンズを固定しているフレームを検出する。そして、眼鏡特徴検出部１５は、レンズまたはフレームの検出結果を用いて、搭乗者の顔の向きに応じた眼鏡の位置を示す特徴情報としてレンズ形状の中心点の位置を検出し、検出結果を制御部１１へ出力する。眼鏡特徴検出部１５は、レンズまたはフレームを検出するために、顔検出枠内のエッジ検出を行ってもよいし、輝度値の比較を行ってもよい。
なお、反射像位置検出部１４および眼鏡特徴検出部１５は、例えば顔画像に対して設定したｘ軸とｙ軸の座標系を基準にして各反射像の位置およびレンズ中心点の位置を検出する。
【００２０】
頭位置検出部１６は、制御部１１を介して各反射像の位置の検出結果を受け取り、各反射像の位置から反射像間の距離を求め、搭乗者の頭位置を検出する。頭位置検出部１６は、頭位置の検出結果を制御部１１へ出力する。頭位置の検出方法の詳細は後述する。
【００２１】
顔向き検出部１７は、搭乗者の顔向きを検出するものであり、搭乗者が眼鏡を装着している場合の顔向き検出機能と、搭乗者が眼鏡を装着していない場合の顔向き検出機能とを備えている。ただし、搭乗者が眼鏡を装着していない場合の顔向き検出機能は、必須ではない。
【００２２】
搭乗者が眼鏡を装着している場合、顔向き検出部１７は、制御部１１を介して各反射像の位置、レンズ中心点の位置および頭位置の検出結果を受け取り、各反射像とレンズ中心点と頭位置との位置関係に基づいて搭乗者の顔向きを検出する。顔向き検出部１７は、顔向きの検出結果を制御部１１へ出力する。顔向きの検出方法の詳細は後述する。
【００２３】
搭乗者が眼鏡を装着していない場合、顔向き検出部１７は、制御部１１を介して顔画像と顔検出結果とを受け取り、搭乗者の顔向きを検出し、検出結果を制御部１１へ出力する。この場合、顔向き検出部１７は、周知の技術を用いて顔向きを検出すればよく、例えば顔検出枠内から目、鼻または口などの顔の特徴点を検出して顔向き検出を行ってもよいし、画像処理による顔向き検出を行ってもよい。
【００２４】
次に、図３のフローチャートを用いて、本実施の形態に係る搭乗者検出装置１０の動作を説明する。搭乗者検出装置１０は、図３に示されるフローチャートの処理を繰り返し実行する。以下の説明において、照射部１は、図２Ｃのように配置された５つの光源であるものとする。
【００２５】
ステップＳＴ１０において、顔画像取得部１２は、撮像部２が撮像した顔画像を取得する。制御部１１は、顔画像取得部１２が取得した顔画像を顔検出部１３へ出力する。顔検出部１３は、制御部１１から受け取った顔画像から搭乗者の顔を検出し、顔検出結果を制御部１１へ出力する。
【００２６】
ステップＳＴ１１において、反射像位置検出部１４は、制御部１１から顔画像と顔検出結果とを受け取り、顔検出枠内から照射部１の配置と同じ形状の反射像を検出する。反射像位置検出部１４は、照射部１の配置と同じ形状の反射像を検出した場合（ステップＳＴ１１“ＹＥＳ”）、搭乗者が眼鏡を装着していると判定してステップＳＴ１２へ進む。
一方、反射像位置検出部１４は、照射部１の配置と同じ形状の反射像を検出しなかった場合（ステップＳＴ１１“ＮＯ”）、搭乗者が眼鏡を装着していないと判定してステップＳＴ１８へ進む。
【００２７】
ステップＳＴ１２において、反射像位置検出部１４は、各反射像の位置を検出し、検出結果を制御部１１へ出力する。
【００２８】
ステップＳＴ１３において、頭位置検出部１６は、制御部１１から各反射像の位置の検出結果を受け取り、搭乗者の頭位置を検出し、検出結果を制御部１１へ出力する。
水平方向（ｘ軸方向）における頭位置の位置座標および垂直方向（ｙ軸方向）における頭位置の位置座標は、顔画像における反射像の位置座標（ｘ，ｙ）を用いて算出される。
また、奥行き方向（ｚ軸方向）における頭位置の位置座標は、反射像間の距離を用いて算出される。
【００２９】
ここで、頭位置座標の奥行き方向における位置座標の算出方法を説明する。
図４Ａ、図４Ｂおよび図４Ｃは、頭位置検出方法を説明する図であり、眼鏡のレンズに映り込んだ５つの反射像を示す。例えば、搭乗者と照射部１との距離が８０ｃｍ離れているとき、各反射像間の距離は、図４Ａのように３ピクセルになるものとする。搭乗者が前に出て、搭乗者と照射部１との距離が７０ｃｍと近くなったとき、各反射像間の距離は、図４Ｂのように１ピクセルになり、各反射像の間隔が狭くなる。一方、搭乗者が後ろに行き、搭乗者と照射部１との距離が９０ｃｍと遠くなったとき、各反射像間の距離は、図４Ｃのように５ピクセルになり、各反射像の間隔が広くなる。頭位置検出部１６は、照射部１の複数の光源間の実際の距離と、顔画像から検出された各反射像間の距離との比の関係を基に、頭位置の奥行き方向における位置座標を算出する。
【００３０】
ステップＳＴ１４において、眼鏡特徴検出部１５は、制御部１１から顔画像と顔検出結果とを受け取り、顔検出枠内から眼鏡のレンズ中心点の位置を検出し、検出結果を制御部１１へ出力する。
【００３１】
ステップＳＴ１５において、顔向き検出部１７は、制御部１１から各反射像の位置、レンズ中心点の位置および頭位置の検出結果を受け取り、まず、搭乗者の上下左右の顔向きを検出する。そして、顔向き検出部１７は、検出した顔向き左右角度および上下角度を制御部１１へ出力する。但し、搭乗者が照射部１の方向に顔を向けたとき、つまり顔向き左右角度が０度かつ上下角度が０度のとき、検出した顔向き左右角度、上下角度および傾斜角度を制御部１１へ出力する。
【００３２】
図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、図５Ｅおよび図５Ｆは、眼鏡のレンズと、当該レンズに映り込んだ反射像との位置関係を説明する図である。図６は、眼鏡を装着した搭乗者が各方向に顔を向けたときの、眼鏡のレンズに映り込む反射像の位置を示す図である。
ここでは、搭乗者が照射部１の方向に顔を向けたとき、つまり顔向き左右角度０度かつ上下角度０度のとき、図５Ａのように、各反射像は、眼鏡のレンズ中心点上に位置するものとする。搭乗者が照射部１から見て上下角度を０度のまま保ち、左方向に顔を向けたとき、つまり例えば顔向き左角度６０度かつ上下角度０度のとき、図５Ｂのように、各反射像は、眼鏡のレンズ中心点より右側に位置する。一方、搭乗者が右方向に顔を向けたとき、つまり例えば顔向き右角度６０度かつ上下角度０度のとき、図５Ｃのように、各反射像は、眼鏡のレンズ中心点より左側に位置する。
搭乗者が照射部１から見て左右角度を０度のまま保ち、下方向に顔を向けたとき、つまり例えば顔向き左右角度０度かつ下角度３０度のとき、図５Ｄのように、各反射像は、眼鏡のレンズ中心点より上側に位置する。一方、搭乗者が上方向に顔を向けたとき、つまり例えば顔向き左右角度０度かつ上角度３０度のとき、図５Ｅのように、各反射像は、眼鏡のレンズ中心点より下側に位置する。
また、搭乗者が左斜め上方向に顔を向けたとき、つまり例えば顔向き左角度６０度かつ上角度３０度のとき、図５Ｆのように、各反射像は、眼鏡のレンズ中心点より右斜め下側に位置する。同様に、各反射像の位置は、搭乗者が左斜め下方向に顔を向けたときは図５Ｂと図５Ｄとが複合した状態であってレンズ中心点より右斜め上側になり、搭乗者が右斜め上方向に顔を向けたときは図５Ｃと図５Ｅとが複合した状態であってレンズ中心点より左斜め上側になる。
【００３３】
図７は、顔向き左右角度および上下角度の検出方法を説明する図であり、眼鏡のレンズに映り込んだ５つの反射像を示す。ｘ’は、水平方向（ｘ軸方向）における眼鏡のレンズ中心点から反射像までの距離（ｍｍ）である。ｙ’は、垂直方向（ｙ軸方向）における眼鏡のレンズ中心点から反射像までの距離（ｍｍ）である。
顔向き検出部１７は、式（１）を用いて顔向き左右角度θｘを算出し、式（２）を用いて顔向き上下角度θｙを算出する。
【００３４】
θｘ＝ｓｉｎ−１（ｗｘ×ｚ×ｘｐ／Ｒ）＝ｓｉｎ−１（ｘ’／Ｒ）      （１）
θｙ＝ｓｉｎ−１（ｗｙ×ｚ×ｙｐ／Ｒ）＝ｓｉｎ−１（ｙ’／Ｒ）      （２）
ここで、ｗｘは、奥行き方向ｚによって変化する水平方向（ｘ軸方向）のピクセルを、ミリメートルに単位変換する際に使用する重みである。ｘｐは、水平方向（ｘ軸方向）における眼鏡のレンズ中心点から反射像までの距離（ピクセル）である。ｗｙは、奥行き方向ｚによって変化する垂直方向（ｙ軸方向）のピクセルを、ミリメートルに単位変換する際に使用する重みである。ｙｐは、垂直方向（ｙ軸方向）における眼鏡のレンズ中心点から反射像までの距離（ピクセル）である。ｚは、奥行き方向（ｚ軸方向）における照射部１から搭乗者の頭部までの距離（ｍｍ）である。Ｒは、典型的な人の頭部の半径（ｍｍ）であり、固定値である。
【００３５】
また、搭乗者が照射部１に顔を向けているときのみ、つまり正面に顔を向けているときのみ、顔向き傾斜角度の検出が可能である。
ステップＳＴ１６において、顔向き検出部１７は、搭乗者が照射部１に顔を向けているとき、つまり顔向き左右角度０度かつ上下角度０度であるとき（ステップＳＴ１６“ＹＥＳ”）、ステップＳＴ１７へ進んで顔向き傾斜角度を検出する。一方、顔向き検出部１７は、搭乗者が照射部１に顔を向けていないとき、つまり顔向き左右角度０度以外かつ上下角度０度以外であるとき（ステップＳＴ１６“ＮＯ”）、処理を終了する。なお、顔向き検出部１７は、顔向き左右角度および上下角度が厳密に０度か否かを判定する必要はなく、０度を含む所定の範囲か否かを判定してもよい。
【００３６】
ステップＳＴ１７において、顔向き検出部１７は、眼鏡のレンズに映り込んだ各反射像の垂直方向の位置座標を比較して顔向き傾斜角度を検出し、顔向き傾斜角度の検出結果を制御部１１へ出力する。
【００３７】
図８Ａおよび図８Ｂは、顔向き傾斜角度の検出方法を説明する図である。図８Ａは、顔向き左右角度０度、上下角度０度、傾斜角度０度の搭乗者を示す。図８Ｂは、顔向き左右角度０度、上下角度０度、左傾斜角度３０度の搭乗者を示す。
顔向き検出部１７には、照射部１の配置に関する情報として、図２Ｃに示した５つの光源のうち、中央の１つとその左右両側の２つの合計３つの光源が、水平方向に一直線に配置されていることが、予め与えられているものとする。
顔向き検出部１７は、図８Ａのように、眼鏡のレンズに映り込んだ上記３つの光源の各反射像の垂直方向の位置座標が同じである場合、つまり上記３つの光源の各反射像が水平方向のｘ軸と平行である場合、顔向き傾斜角度０度とする。一方、顔向き検出部１７は、図８Ｂのように、上記３つの光源の各反射像の垂直方向の位置座標が同じでない場合、上記３つの光源の各反射像を結ぶ直線Ｌと水平方向のｘ軸との成す角度を算出し、顔向き傾斜角度とする。
【００３８】
以上のステップＳＴ１２〜ＳＴ１７の処理により、搭乗者検出装置１０は、搭乗者が眼鏡を装着している場合の頭の位置および顔の向きを検出する。なお、顔向き検出部１７は、単に顔が上下左右のどの方向を向いているかだけ検出してもよいし、向きに加えて角度まで検出してもよい。
一方、搭乗者が眼鏡を装着していない場合、搭乗者検出装置１０は、ステップＳＴ１８の処理により搭乗者の顔の向きを検出する。このステップＳＴ１８において、顔向き検出部１７は、制御部１１を介して顔画像と顔検出結果とを受け取り、周知の技術により顔向きを検出し、検出結果を制御部１１へ出力する。
【００３９】
以上のとおり、実施の形態１に係る搭乗者検出装置１０は、複数の光源から搭乗者に向けて照射光が照射された状態で撮像された当該搭乗者の顔画像を取得する顔画像取得部１２と、顔画像取得部１２が取得した顔画像から、搭乗者が装着している眼鏡に映り込んだ複数の光源の各反射像の位置を検出する反射像位置検出部１４と、顔画像取得部１２が取得した顔画像から、眼鏡の特徴情報としてレンズの中心点の位置を検出する眼鏡特徴検出部１５と、反射像位置検出部１４が検出した各反射像の位置に基づいて搭乗者の頭位置を検出する頭位置検出部１６と、頭位置検出部１６が検出した搭乗者の頭位置、反射像位置検出部１４が検出した各反射像の位置および眼鏡特徴検出部１５が検出したレンズの中心点の位置の関係性に基づいて搭乗者の顔向きを検出する顔向き検出部１７とを備える構成である。この構成によれば、外光を用いず、複数の光源から照射された照射光を用いるため、時刻および天候等の影響を受けずに、常時、搭乗者の顔向きを検出することができる。また、従来のような眼鏡のレンズに映り込んだ車体構造物を抽出するための高精度な画像処理を行う必要がなく、顔画像上に白点の像として現れる反射像を画像処理で検出するだけでよいため、高画質なカメラを用いる必要がなく、低コストに顔向きを検出することができる。
【００４０】
また、実施の形態１によれば、照射部１は、縦、横または斜めのいずれかの列に配置された複数の光源を有する構成である。照射部１が有する複数の光源を上記のような特徴的な形状に配置する利点として、以下の４点があげられる。
１点目は、眼鏡のレンズに映り込んだ外光の反射像と、照射部１の反射像との区別が容易になる点である。眼鏡のレンズに映り込む外光の反射像が、図２Ｂ〜図２Ｅ等に示したような特徴的な形状になることは殆どない。そのため、照射部１を特徴的な形状に配置することで、外光の反射像を照射部１の反射像と誤識別する確率が下がる。
【００４１】
２点目は、高精度な画像処理が不要になる点である。先立って説明した特許文献１に係る発明では、レンズに映り込んだ車体構造物の抽出を画像処理で行うため、高画質な撮像画像を用いて高精度な画像処理を行う必要があった。これに対し、本実施の形態では、照射部１のような特徴的な形状の反射像を顔検出枠内から検出するため、高画質な画像を撮像するカメラが不要であり、また画像処理の時間を短縮することができる。
【００４２】
３点目は、撮像部２として単眼カメラを用いたとしても、頭位置の奥行き方向（ｚ軸方向）の距離が検出可能となる点である。従来、頭位置の奥行き方向の距離を検出するためには、ステレオカメラまたはレーザの光到達速度を基に距離を検出するＴｉｍｅ  ｏｆ  Ｆｌｉｇｈｔカメラを用いる必要があり、単眼カメラでの距離検出は困難であった。これに対し、本実施の形態では、照射部１として光源を複数個配置することで、各反射像間の距離を基に照射部１から搭乗者までの奥行き方向の距離の算出が可能となる。
【００４３】
４点目は、搭乗者が正面、つまり照射部１の方向を向いているときの顔向き傾斜角度の検出が可能となる点である。照射部１が１つの光源で構成されている場合、顔向き左右角度および上下角度のみ検出が可能である。これに対し、照射部１が水平方向に並んだ複数の光源で構成されている場合、顔向き傾斜角度の検出が可能である。
【００４４】
実施の形態２．
上記実施の形態１では、眼鏡の特徴情報としてレンズ中心点の位置を検出する構成であった。これに対し、本実施の形態２では、眼鏡の特徴情報としてレンズまたはフレームの形状を検出する構成にする。
【００４５】
図９は、この発明の実施の形態２に係る搭乗者検出システムの構成例を示すブロック図である。図９において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
図１０は、実施の形態２に係る搭乗者検出装置１０の動作を示すフローチャートである。図１０に示されるフローチャートにおけるステップＳＴ１０〜ＳＴ１８は、図３のフローチャートに示されたステップＳＴ１０〜ＳＴ１８と同じ処理である。
【００４６】
ステップＳＴ２０において、眼鏡特徴検出部１５ａは、制御部１１を介して顔画像と顔検出結果とを受け取り、顔画像の顔検出枠内から搭乗者が装着している眼鏡のレンズまたはフレームを検出する。
そして、眼鏡特徴検出部１５ａは、搭乗者の顔の向きに応じた眼鏡の形状を示す特徴情報として眼鏡のレンズまたはフレームの形状を検出し、検出結果を制御部１１へ出力する。眼鏡特徴検出部１５ａは、レンズまたはフレームの形状の検出として、顔画像におけるレンズまたはフレーム内のエッジ検出を行ってもよいし、輝度値の比較を行ってもよい。
以下では、眼鏡の特徴情報として、左右のレンズの形状を例に用いて説明する。
【００４７】
図１１は、左右のレンズの形状を説明する図である。眼鏡特徴検出部１５ａは、搭乗者の右のレンズの外接四角形Ｍ１を求め、外接四角形Ｍ１の縦径Ｎ１，Ｎ２を検出する。同様に、眼鏡特徴検出部１５ａは、左のレンズの外接四角形Ｍ２を求め、外接四角形Ｍ２の縦径Ｎ３，Ｎ４を検出する。これらの縦径Ｎ１，Ｎ２，Ｎ３，Ｎ４が、左右のレンズの形状として制御部１１へ出力される。なお、レンズの縦は、図２Ａにおける垂直方向（ｙ軸方向）であり、横は、水平方向（ｘ軸方向）である。
【００４８】
ステップＳＴ２１において、顔向き検出部１７ａは、搭乗者が照射部１に顔を向けているとき、つまり顔向き左右角度０度かつ上下角度０度であるときの左右のレンズの形状が、正面時データ記憶部２０に記憶されているか否かを判定する。このときの左右のレンズの形状を、正面時データと呼ぶ。
顔向き検出部１７ａは、正面時データ記憶部２０に正面時データが記憶されている場合（ステップＳＴ２１“ＹＥＳ”）、ステップＳＴ２２へ進み、正面時データ記憶部２０に正面時データが記憶されていない場合（ステップＳＴ２１“ＮＯ”）、ステップＳＴ１４へ進む。
【００４９】
ステップＳＴ２２において、顔向き検出部１７ａは、制御部１１を介して左右のレンズの形状の検出結果を受け取り、正面時データ記憶部２０に記憶されている正面時の左右のレンズの形状と比較し、搭乗者の顔向きに応じたレンズの形状の変化に基づいて搭乗者の顔向き左右角度および上下角度を検出する。
【００５０】
図１２Ａ、図１２Ｂおよび図１２Ｃは、本実施の形態における顔向き検出方法を説明する図である。
例えば、搭乗者が照射部１の方向に顔を向けたとき、つまり顔向き左右角度０度かつ上下角度０度の正面に向いたとき、図１２Ａのように、縦径の比率は、（Ｎ１：Ｎ４）＝（１：１）となる。
搭乗者が上下角度を０度のまま保ち、右方向に顔を向けたとき、つまり顔向き右角度３０〜６０度かつ上下角度０度のとき、図１２Ｂのように、縦径の比率は、（Ｎ１：Ｎ４）＝（１０：１３）のようにＮ１よりＮ４が大きくなる。一方、搭乗者が左方向に顔を向けたとき、つまり顔向き左角度３０〜６０度かつ上下角度０度のとき、縦径の比率は、（Ｎ１：Ｎ４）＝（１３：１０）のようにＮ１よりＮ４が小さくなる。
搭乗者が左右角度を０度のまま保ち、上方向に顔を向けたとき、つまり例えば顔向き左右角度０度かつ上角度３０度のとき、図１２Ｃのように、縦径Ｎ１’は、正面時の縦径Ｎ１より小さくなる。また、搭乗者が上方向に顔を向けたときの縦径Ｎ１’が検出される位置は、正面時の縦径Ｎ１が検出される位置より上側になる。顔向き上下角度は、例えば、照射部１から搭乗者までの距離および縦径Ｎ１，Ｎ１’が検出された位置を用いて幾何学的に算出可能である。
一方、搭乗者が左右角度を０度のまま保ち、下方向に顔を向けたとき、つまり例えば顔向き左右角度０度かつ下角度３０度のとき、図示は省略するが、縦径Ｎ１’は、正面時の縦径Ｎ１より小さくなる。また、搭乗者が下方向に顔を向けたときの縦径Ｎ１’が検出される位置は、正面時の縦径Ｎ１が検出される位置より下側になる。
なお、縦径の比率は一例であり、上記の値に限定されるものではない。
【００５１】
顔向き検出部１７ａは、搭乗者が照射部１に顔を向けているとき、つまり顔向き左右角度０度かつ上下角度０度であるとき（ステップＳＴ１６“ＹＥＳ”）、ステップＳＴ１７へ進んで顔向き傾斜角度を検出する。
続くステップＳＴ２３において、顔向き検出部１７ａは、ステップＳＴ２０で眼鏡特徴検出部１５ａが検出した左右のレンズの形状を、正面時データとして正面時データ記憶部２０に記憶させる。
一方、顔向き検出部１７ａは、搭乗者が照射部１に顔を向けていないとき、つまり顔向き左右角度０度以外かつ上下角度０度以外であるとき（ステップＳＴ１６“ＮＯ”）、ステップＳＴ１７，ＳＴ２３をスキップする。
【００５２】
以上より、実施の形態２によれば、眼鏡特徴検出部１５ａは、眼鏡の特徴情報としてレンズまたはフレームの形状を検出し、顔向き検出部１７ａは、眼鏡特徴検出部１５ａが検出したレンズまたはフレームの形状の搭乗者の顔向きに応じた変化に基づいて搭乗者の顔向きを検出する構成である。この構成によれば、外光を用いないため、時刻および天候等の影響を受けずに、常時、搭乗者の顔向きを検出することができる。また、従来のような眼鏡のレンズに映り込んだ車体構造物を抽出するための高精度な画像処理を行う必要がないため、高画質なカメラを用いる必要がなく、低コストに顔向きを検出することができる。
【００５３】
なお、実施の形態２の構成の場合、図１２Ａ〜図１２Ｃで示したように、特に搭乗者の顔が上方向または下方向を向いているときの角度の検出精度が低下することがあり得る。そこで、顔向き角度の検出精度を向上させるために、実施の形態１，２の構成を組み合わせてもよい。
例えば、顔向き検出部１７ａは、レンズ中心点の位置を用いた顔向き検出と、レンズまたはフレームの形状を用いた顔向き検出の両方を行う。そして、顔向き検出部１７ａは、レンズ中心点の位置を用いた顔向き角度の重みを「８」、レンズまたはフレームの形状を用いた顔向き角度の重みを「２」とした場合の重みづけ平均結果を、顔向き角度として出力する。なお、重みづけの割合はこれに限られない。
また、顔向き検出部１７ａは、眼鏡特徴検出部１５ａによるレンズまたはフレーム検出の信頼度が閾値を下回ると、レンズまたはフレームの形状を用いた顔向き角度の重みを小さくするようにしてもよい。
レンズ中心点の位置だけでなく、レンズまたはフレームの形状を用いることで、眼鏡ごとの形状差を吸収し、様々な形状の眼鏡に適応することができる。また、レンズ中心点の位置を用いた顔向き検出と、レンズまたはフレームの形状を用いた顔向き検出の両方を用いるので、レンズまたはフレームの形状のみを用いる場合に比べ、顔向き角度の検出精度が向上する。
【００５４】
実施の形態３．
本実施の形態３では、顔向き角度の検出精度を向上させるために、眼鏡のレンズ中心点の位置を用いて、レンズまたはフレームの形状と搭乗者の顔向きとの関係性を学習する構成にする。
【００５５】
図１３は、この発明の実施の形態３に係る搭乗者検出システムの構成例を示すブロック図である。図１３において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
図１４は、実施の形態３に係る搭乗者検出装置１０の動作を示すフローチャートである。図１４に示されるフローチャートにおけるステップＳＴ１０〜ＳＴ１８は、図３のフローチャートに示されたステップＳＴ１０〜ＳＴ１８と同じ処理である。
【００５６】
ステップＳＴ３０において、眼鏡特徴検出部１５ｂは、制御部１１を介して顔画像と顔検出結果とを受け取り、顔画像の顔検出枠内から搭乗者が装着しているレンズまたはフレームを検出する。そして、眼鏡特徴検出部１５ｂは、図１１で示したように、眼鏡の特徴情報として眼鏡のレンズまたはフレームの形状を検出し、検出結果を制御部１１へ出力する。
以下では、眼鏡の特徴情報が左右のレンズの形状である場合を例に用いて説明する。
【００５７】
ステップＳＴ３１において、顔向き検出部１７ｂは、学習結果ＤＢ（Ｄａｔａｂａｓｅ）３０に学習データが記憶されているか否かを判定する。学習データについては後述する。
顔向き検出部１７ｂは、学習結果ＤＢ３０に十分な学習データが記憶されている場合（ステップＳＴ３１“ＹＥＳ”）、ステップＳＴ３２へ進み、学習結果ＤＢ３０に十分な学習データが記憶されていない場合（ステップＳＴ３１“ＮＯ”）、ステップＳＴ１４へ進む。ここでいう十分な学習データとは、後述するステップＳＴ３２において、学習データとして記憶されていない左右のレンズの形状に対応する顔向き左右角度および上下角度を補間できる程度のデータが記憶されていることを意味する。
【００５８】
ステップＳＴ３３において、顔向き検出部１７ｂは、ステップＳＴ１５で検出した顔向き左右角度および上下角度と、ステップＳＴ３０で検出した左右のレンズの形状とを紐付けて学習データとし、この学習データを学習結果ＤＢ３０に記憶させる。
【００５９】
ステップＳＴ３２において、顔向き検出部１７ｂは、学習結果ＤＢ３０に記憶されている学習データを用いて、ステップＳＴ３０で検出した左右のレンズの形状に対応する顔向き左右角度および上下角度を検出し、検出結果を制御部１１へ出力する。この際、顔向き検出部１７ｂは、学習データとして記憶されている左右のレンズの形状に対応する顔向き左右角度および上下角度を用いて、学習データとして記憶されていない左右のレンズの形状に対応する顔向き左右角度および上下角度を補間してもよい。
【００６０】
以上より、実施の形態３によれば、眼鏡特徴検出部１５ｂは、眼鏡の特徴情報として、レンズ中心点の位置、ならびにレンズまたはフレームの形状を検出し、顔向き検出部１７ｂは、頭位置検出部１６が検出した搭乗者の頭位置と反射像位置検出部１４が検出した各反射像の位置と眼鏡特徴検出部１５ｂが検出したレンズ中心点の位置との関係性に基づいて搭乗者の顔向きを検出し、検出した顔向きを用いて、眼鏡特徴検出部１５ｂが検出したレンズまたはフレームの形状と搭乗者の顔向きとの関係性を学習する構成である。
そして、顔向き検出部１７ｂは、学習したデータを用いて、眼鏡特徴検出部１５ｂが検出したレンズまたはフレームの形状に対応する顔向きを検出する構成である。この構成によれば、外光を用いないため、時刻および天候等の影響を受けずに、常時、搭乗者の顔向きを検出することができる。また、従来のような眼鏡のレンズに映り込んだ車体構造物を抽出するための高精度な画像処理を行う必要がないため、高画質なカメラを用いる必要がなく、低コストに顔向きを検出することができる。さらに、レンズまたはフレームの形状と顔向きとの関係性を学習するため、実施の形態２に比べて顔向き角度の検出精度が向上する。
【００６１】
実施の形態４．
本実施の形態４では、眼鏡の特徴情報として、耳にかけるつる（テンプル）の形状を検出する構成にする。
【００６２】
図１５は、この発明の実施の形態４に係る搭乗者検出システムの構成例を示すブロック図である。図１５において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
図１６および図１７は、実施の形態４に係る搭乗者検出装置１０の動作を示すフローチャートである。図１６および図１７に示されるフローチャートにおけるステップＳＴ１０〜ＳＴ１８は、図３のフローチャートに示されたステップＳＴ１０〜ＳＴ１８と同じ処理である。
【００６３】
図６に示したように、照射部１と撮像部２とが設置された側から見て、搭乗者が右方向または左方向に大きく顔を向けると眼鏡のつるの長さは長くなり、正面に顔を向けると眼鏡のつるの長さは短くなる。
また、搭乗者が上方向または下方向に大きく顔を向けると眼鏡のつるの向きは上向きまたは下向きになり、正面に顔を向けると眼鏡のつるの向きは水平になる。
このように、眼鏡のつるの長さに基づいて搭乗者の顔向き左右角度の検出が可能であり、眼鏡のつるの向きに基づいて搭乗者の顔向き上下角度の検出が可能である。
【００６４】
ステップＳＴ４０において、眼鏡特徴検出部１５ｃは、制御部１１を介して顔画像と顔検出結果とを受け取り、顔画像の顔検出枠内から搭乗者が装着しているレンズまたはフレームを検出する。そして、眼鏡特徴検出部１５ｂは、図１１で示したように、搭乗者の顔の向きに応じた眼鏡の形状を示す特徴情報としてレンズまたはフレームの形状を検出し、制御部１１へ出力する。
以下では、眼鏡の特徴情報として、左右のレンズの形状である縦径と横径を例に用いて説明する。縦径は、図１１における外接四角形Ｍ１，Ｍ２の垂直方向の４辺（Ｎ１，Ｎ２，Ｎ３，Ｎ４）とし、横径は、外接四角形Ｍ１，Ｍ２の水平方向の４辺とする。
【００６５】
眼鏡特徴検出部１５ｃは、左右のレンズの縦径と横径を検出できた場合（ステップＳＴ４０“ＹＥＳ”）、ステップＳＴ４１へ進み、いずれかの径が検出できなかった場合（ステップＳＴ４０“ＮＯ”）、ステップＳＴ４６へ進む。搭乗者が左方向または右方向に大きく顔を向けている場合等には、左右のレンズの縦径または横径の何れかが検出できないことがある。左右のレンズの縦径または横径の何れかが検出できないと、レンズ中心点の位置も検出できない。本実施の形態では、その場合でも、後述するステップＳＴ４６〜ＳＴ４８により、眼鏡のつるの検出結果を用いて顔向きを検出できるようにする。
【００６６】
ステップＳＴ４１において、眼鏡特徴検出部１５ｃは、顔画像の顔検出枠内から搭乗者が装着している眼鏡のつるの長さおよび向きを検出し、検出結果を眼鏡の特徴情報として制御部１１へ出力する。眼鏡特徴検出部１５ｃは、眼鏡のつるを検出するために、顔画像におけるレンズまたはフレーム近辺でのエッジ検出を行ってもよいし、輝度値の比較を行ってもよい。
【００６７】
ステップＳＴ４２において、顔向き検出部１７ｃは、正面時データ記憶部４０に正面時データが記憶されているか否かを判定する。正面時データは、搭乗者が照射部１に顔を向けているとき、つまり顔向き左右角度０度かつ上下角度０度であるときの左右のレンズの形状である。
顔向き検出部１７ｃは、正面時データ記憶部４０に正面時データが記憶されている場合（ステップＳＴ４２“ＹＥＳ”）、ステップＳＴ４３へ進み、正面時データ記憶部４０に正面時データが記憶されていない場合（ステップＳＴ４２“ＮＯ”）、ステップＳＴ１４へ進む。
【００６８】
ステップＳＴ４３において、顔向き検出部１７ｃは、制御部１１を介して左右のレンズの形状の検出結果を受け取り、正面時データ記憶部４０に記憶されている正面時の左右のレンズの形状と比較し、搭乗者の顔の向きに応じた形状の変化に基づいて搭乗者の顔向き左右角度および上下角度を検出する。
【００６９】
ステップＳＴ４４において、顔向き検出部１７ｃは、ステップＳＴ１５またはステップＳＴ４３で検出した顔向き左右角度および上下角度と、ステップＳＴ４１で検出した眼鏡のつるの検出結果とを紐付けて学習データとし、この学習データを学習結果ＤＢ４１に記憶させる。
【００７０】
ステップＳＴ４５において、顔向き検出部１７ｃは、搭乗者が照射部１側に顔を向けているとき、つまり顔向き左右角度０度かつ上下角度０度であるときの、左右のレンズの形状を、正面時データとして正面時データ記憶部４０に記憶させる。
【００７１】
ステップＳＴ４６において、顔向き検出部１７ｃは、学習結果ＤＢ４１に学習データが記憶されているか否かを判定する。顔向き検出部１７ｃは、学習結果ＤＢ４１に十分な学習データが記憶されている場合（ステップＳＴ４６“ＹＥＳ”）、ステップＳＴ４７へ進み、学習結果ＤＢ４１に十分な学習データが記憶されていない場合（ステップＳＴ４６“ＮＯ”）、処理を終了する。
【００７２】
ステップＳＴ４７において、顔向き検出部１７ｃは、ステップＳＴ４１と同様に眼鏡のつるの検出を行う。
ステップＳＴ４８において、顔向き検出部１７ｃは、学習結果ＤＢ４１に記憶されている学習データを用いて、ステップＳＴ４７で検出した眼鏡のつるの長さと向きに対応する顔向き左右角度および上下角度を検出し、検出結果を制御部１１へ出力する。この際、顔向き検出部１７ｃは、学習データとして記憶されている眼鏡のつるの長さと向きに対応する顔向き左右角度および上下角度を用いて、学習データとして記憶されていない眼鏡のつるの長さと向きに対応する顔向き左右角度および上下角度を補間してもよい。
【００７３】
なお、図１６および図１７の例では、顔向き検出部１７ｃは、レンズまたはフレームの形状と、レンズ中心点の位置とを用いて、眼鏡のつるの形状と顔向きとの関係性を学習するようにしたが、いずれか一方のみを用いて学習するようにしてもよい。
【００７４】
以上より、実施の形態４によれば、眼鏡特徴検出部１５ｃは、眼鏡の特徴情報として、レンズまたはフレームの形状か、当該レンズの中心点の位置かの少なくとも一方と、耳にかけるつるの形状とを検出する構成である。顔向き検出部１７ｃは、眼鏡特徴検出部１５ｃが検出したレンズまたはフレームの形状に基づいて搭乗者の顔向きを検出するか、頭位置検出部１６が検出した搭乗者の頭位置と反射像位置検出部１４が検出した各反射像の位置と眼鏡特徴検出部１５ｃが検出したレンズの中心点の位置との関係性に基づいて搭乗者の顔向きを検出するかし、検出した搭乗者の顔向きを用いて、眼鏡特徴検出部１５ｃが検出したつるの形状と顔向きとの関係性を学習する構成である。そして、顔向き検出部１７ｃは、学習したデータを用いて、眼鏡特徴検出部１５ｃが検出したつるの形状に対応する顔向きを検出する構成である。この構成により、レンズもしくはフレームの形状の一部または各反射像の位置が検出できない場合でも、学習結果を基につるの形状を用いた顔向き検出を行うことができる。したがって、上記実施の形態１，２では高精度な検出が難しい大きな顔向き角度も、精度よく検出することができる。
【００７５】
最後に、図１８を参照して、この発明の各実施の形態に係る搭乗者検出システムのハードウェア構成例を説明する。
搭乗者検出システムにおける照射部１は、複数の光源を備えた照明装置１０１である。搭乗者検出システムにおける撮像部２は、カメラ１０２である。搭乗者検出装置１０における顔画像取得部１２は、カメラ１０２が接続され、カメラ１０２から顔画像を取得して搭乗者検出装置１０に入力する入力装置１０３である。搭乗者検出装置１０における制御部１１、顔検出部１３、反射像位置検出部１４、眼鏡特徴検出部１５，１５ａ〜１５ｃ、頭位置検出部１６および顔向き検出部１７，１７ａ〜１７ｃは、メモリ１０５に格納されているプログラムを実行するプロセッサ１０４である。また、搭乗者検出装置１０における正面時データ記憶部２０，４０および学習結果ＤＢ３０，４１は、メモリ１０５である。
【００７６】
制御部１１、顔検出部１３、反射像位置検出部１４、眼鏡特徴検出部１５，１５ａ〜１５ｃ、頭位置検出部１６および顔向き検出部１７，１７ａ〜１７ｃの各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１０５に格納される。プロセッサ１０４は、メモリ１０５に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、搭乗者検出装置１０は、プロセッサ１０４により実行されるときに図３、図１０、図１４、図１６または図１７に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、このプログラムは、搭乗者検出装置１０の各部の手順または方法をコンピュータに実行させるものであるともいえる。
【００７７】
プロセッサ１０４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等ともいう。メモリ１０５は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の光ディスクであってもよい。
【００７８】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００７９】
この発明に係る搭乗者検出装置は、複数の光源から移動体の搭乗者に向けて照射光が照射された状態で撮像された顔画像を用いて搭乗者の顔の向きを検出するようにしたので、車両、鉄道、船舶または航空機等を含む移動体用の搭乗者検出装置などに用いるのに適している。
【符号の説明】
【００８０】
１  照射部、２  撮像部、１０  搭乗者検出装置、１１  制御部、１２  顔画像取得部、１３  顔検出部、１４  反射像位置検出部、１５，１５ａ〜１５ｃ  眼鏡特徴検出部、１６  頭位置検出部、１７，１７ａ〜１７ｃ  顔向き検出部、２０，４０  正面時データ記憶部、３０，４１  学習結果ＤＢ、１０１  照明装置、１０２  カメラ、１０３  入力装置、１０４  プロセッサ、１０５  メモリ。
【図１】
2017141401.tif 000003
【図２】
2017141401.tif 000004
【図３】
2017141401.tif 000005
【図４】
2017141401.tif 000006
【図５】
2017141401.tif 000007
【図６】
2017141401.tif 000008
【図７】
2017141401.tif 000009
【図８】
2017141401.tif 000010
【図９】
2017141401.tif 000011
【図１０】
2017141401.tif 000012
【図１１】
2017141401.tif 000013
【図１２】
2017141401.tif 000014
【図１３】
2017141401.tif 000015
【図１４】
2017141401.tif 000016
【図１５】
2017141401.tif 000017
【図１６】
2017141401.tif 000018
【図１７】
2017141401.tif 000019
【図１８】
2017141401.tif 000020
【国際調査報告】
2017141401.tif 000021
2017141401.tif 000022
2017141401.tif 000023
2017141401.tif 000024