(57)【要約】【課題】対象者が眼鏡を着用している状況であっても、顔の向きを詳細に検出可能な顔向き検出装置を提供する。【解決手段】顔向き検出装置は、ドライバの顔の向きを検出する。顔向き検出装置は、ドライバの顔を撮像する撮像部と、撮像部が撮像した画像により、ドライバが眼鏡３ａを着用しているか判定する眼鏡着用判定部と、ドライバが眼鏡３ａを着用していると眼鏡着用判定部が判定した場合、画像における眼鏡３ａの左右の傾きに基づいて、顔の向きのうち傾きに対応するロール方向を検出するロール顔向き検出部と、を備える。【選択図】図７
2018036778.tif 000002
【特許請求の範囲】
【請求項１】
対象者（３）の顔の向きを検出する顔向き検出装置であって、
前記対象者の前記顔を撮像する撮像部（１２）と、
前記撮像部が撮像した画像（ＩＭ）により、前記対象者が眼鏡（３ａ）を着用しているか判定する眼鏡着用判定部（１６）と、
前記対象者が前記眼鏡を着用していると前記眼鏡着用判定部が判定した場合、前記画像における前記眼鏡の左右の傾きに基づいて、前記顔の向きのうち傾きに対応するロール方向を検出するロール顔向き検出部（２０）と、を備える顔向き検出装置。
【請求項２】
前記画像の輝度分布（ＤＶｓ，ＤＨｌ）により、前記眼鏡に対応する低輝度領域（ＬＬＡ）を抽出する低輝度領域抽出部（２１）をさらに備え、
前記ロール顔向き検出部は、
前記低輝度領域内の所定の第１方向に互いにずれた複数の箇所において、前記第１方向とは交差する第２方向の輝度分布（ＤＶｌ）により前記低輝度領域の第２方向の中心座標（ＣＰｒ）を算出する中心座標算出部（２２）と、
前記複数の箇所における前記中心座標を直線（ＬＮ）に近似し、前記直線の傾きから前記ロール方向の顔の向きの角度を算出するロール角算出部（２３）と、を有する請求項１に記載の顔向き検出装置。
【請求項３】
前記対象者が前記眼鏡を着用している場合、前記眼鏡の左レンズ（３ｌ）と右レンズ（３ｒ）とを比較して、前記顔の向きのうちヨー方向を検出するヨー顔向き検出部（３０）をさらに備える請求項１又は２に記載の顔向き検出装置。
【請求項４】
前記ヨー顔向き検出部は、前記ロール顔向き検出部が検出した前記ロール方向の顔の向きにより、前記ヨー方向の顔の向きを補正して算出するヨー方向補正部（３３）を有する請求項３に記載の顔向き検出装置。
【請求項５】
前記ヨー顔向き検出部は、
前記右レンズと前記左レンズとを比較して、前記顔の向きが正面であるか、前記顔の向きが右向きであるか、又は前記顔の向きが左向きであるか判別する向き判別部（３４）と、
前記顔の向きが正面である場合の前記画像における前記眼鏡の正面幅（Ｗｆ）を記憶する正面幅記憶部（３２）と、
前記顔の向きが右向き又は左向きである場合、右向き又は左向きの前記画像における前記眼鏡の幅（Ｗ１）と、前記正面幅記憶部が記憶した前記正面幅と、を比較して、正面に対する前記ヨー方向の顔の向きの角度を算出するヨー角算出部（３５）と、を有し、
前記ヨー方向補正部は、前記ヨー角算出部が算出するための右向き又は左向きの前記画像における前記眼鏡の幅を、前記ロール方向の顔の向きにより補正する請求項４に記載の顔向き検出装置。
【請求項６】
前記対象者が前記眼鏡を着用している場合、前記眼鏡の上下方向の中心座標（ＣＰｐ）の移動を用いて、前記顔の向きのうちピッチ方向を検出するピッチ顔向き検出部（４０）をさらに備える請求項１から５のいずれか１項に記載の顔向き検出装置。
【請求項７】
対象者（３）の顔の向きを検出し、前記顔の向きの変化による入力操作を可能とする入力操作システムであって、
前記対象者の前記顔を撮像する撮像部（１２）と、
前記撮像部が撮像した画像（ＩＭ）により、前記対象者が眼鏡（３ａ）を着用しているかを判定する眼鏡着用判定部（１６）と、
前記対象者が前記眼鏡を着用していると前記眼鏡着用判定部が判定した場合、前記画像における前記眼鏡の左右の傾きに基づいて、前記顔の向きのうち傾きに対応するロール方向を検出するロール顔向き検出部（２０）と、
前記ロール顔向き検出部により検出された前記ロール方向の顔の向きが所定値以上変化した場合に、前記対象者が所定の入力操作をしたと判定する入力操作判定部（５２）と、を備える入力操作システム。
【請求項８】
前記対象者に問い合わせを行なう問い合わせ部（５１）と、
前記問い合わせの後、前記対象者が前記所定の入力操作をしたと前記入力操作判定部が判定した場合、前記問い合わせに関して判断材料となる情報を前記対象者に提供する情報提供部（５３）を、さらに備える請求項７に記載の入力操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔向き検出装置及び入力操作システムに関する。
【背景技術】
【０００２】
従来、対象者の顔の向きを検出する顔向き検出装置が知られている。従来の一般的な顔向き検出装置では、眼等の顔の特徴点から、顔の向きを検出する。しかしながら、対象者がサングラス等の眼鏡を着用している場合、対象者の眼を検出し難くなる。
【０００３】
これに対し特許文献１に開示の装置は、撮像部、眼鏡着用判定部を備えている。撮像部は、対象者の顔を撮像する。眼鏡着用判定部は、撮像部が撮像した画像により、対象者が眼鏡を着用しているかを判定する。対象者が眼鏡を着用している場合、さらにこの装置は、眼鏡に映り込みが存在するならば、その映り込み映像の位置等により顔の向きを検出している。
【０００４】
上述の映り込みの検出が困難な場合には、眼鏡フレームの左右径及び上下径を用いて顔の向きを検出している。具体的には、左右方向（ヨー方向）の検出、上下方向（ピッチ方向）の検出を可能としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−７０５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、顔の傾き（ロール方向）を検出していないため、顔の向きの検出としては不十分な場合があった。
【０００７】
本発明は、以上説明した問題に鑑みてなされたものであって、その目的は、対象者が眼鏡を着用している状況であっても、顔の向きを詳細に検出可能な顔向き検出装置を提供することにある。
【課題を解決するための手段】
【０００８】
開示される発明のひとつは、対象者（３）の顔の向きを検出する顔向き検出装置であって、
対象者の顔を撮像する撮像部（１２）と、
撮像部が撮像した画像（ＩＭ）により、対象者が眼鏡（３ａ）を着用しているか判定する眼鏡着用判定部（１６）と、
対象者が眼鏡を着用していると眼鏡着用判定部が判定した場合、画像における眼鏡の左右の傾きに基づいて、顔の向きのうち傾きに対応するロール方向を検出するロール顔向き検出部（２０）と、を備える。
【０００９】
眼鏡着用時に、ロール方向の顔の向きが、撮像部が撮像した画像における眼鏡の左右の傾きに基づいて検出される。このようにすると、対象者が眼鏡を着用しているために、眼等の顔の特徴点の検出が困難な状況であっても、眼鏡の左右の傾きを検出することで、顔の傾きを容易に検出することができる。したがって、顔の向きを詳細に検出可能な顔向き検出装置を提供することができる。
【００１０】
開示される発明の他のひとつは、対象者（３）の顔の向きを検出し、顔の向きの変化による入力操作を可能とする入力操作システムであって、
対象者の顔を撮像する撮像部（１２）と、
撮像部が撮像した画像（ＩＭ）により、対象者が眼鏡（３ａ）を着用しているかを判定する眼鏡着用判定部（１６）と、
対象者が眼鏡を着用していると眼鏡着用判定部が判定した場合、画像における眼鏡の左右の傾きに基づいて、顔の向きのうち傾きに対応するロール方向を検出するロール顔向き検出部（２０）と、
ロール顔向き検出部により検出されたロール方向の顔の向きが所定値以上変化した場合に、対象者が所定の入力操作をしたと判定する入力操作判定部（５２）と、を備える。
【００１１】
このような発明によると、ロール顔向き検出部により検出されたロール方向の顔の向きが所定値以上変化した場合に、対象者が所定の入力操作をしたと判定される。ロール方向の変化は、対象者が首を傾げる動作に対応するので、こうした首を傾げる動作を入力操作として、利用可能となる。したがって、対象者が眼鏡を着用している状況であっても、眼鏡の左右の傾き等から顔の向きを詳細に検出可能とすることで、入力操作システムにおいて使用可能な入力操作の種類を増やすことができる。
【００１２】
なお、括弧内の符号は、記載内容の理解を容易にすべく、後述する実施形態において対応する構成を例示するものに留まり、発明の内容を限定することを意図したものではない。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における入力操作システムを示すブロック図である。
【図２】本実施形態における顔向き検出装置のプロセッサユニットを示すブロック図である。
【図３】本実施形態における顔向き検出装置によるフローチャートである。
【図４】本実施形態における低輝度領域の抽出を説明するための図である。
【図５】本実施形態における低輝度領域の抽出を説明するための図である。
【図６】本実施形態における中心座標の算出を説明するための図である。
【図７】本実施形態におけるロール角の算出を説明するための図である。
【図８】本実施形態におけるロール方向の検出を説明するためのフローチャートである。
【図９】本実施形態における左右幅の抽出を説明するための図である。
【図１０】本実施形態における左右幅の補正を説明するための図である。
【図１１】本実施形態における左レンズと右レンズとの比較を説明するための図である。
【図１２】本実施形態におけるヨー角の算出を説明するための図である。
【図１３】本実施形態におけるヨー方向の検出を説明するためのフローチャートである。
【図１４】本実施形態における上下寸法の抽出を説明するための図である。
【図１５】本実施形態における中心座標の算出を説明するための図である。
【図１６】本実施形態におけるピッチ角の算出を説明するための図である。
【図１７】本実施形態における上下の判別を説明するための図である。
【図１８】本実施形態におけるピッチ方向の検出を説明するためのフローチャートである。
【図１９】本実施形態における入力操作ユニットのプロセッサユニットを示すブロック図である。
【図２０】本実施形態における入力操作ユニットによるフローチャートである。
【図２１】変形例１における図１３に対応するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１５】
本発明の一実施形態による顔向き検出装置１０は、図１に示すように、入力操作システム９の構成の一部として、車両に搭載されている。こうした顔向き検出装置１０は、車両の座席のうち、運転席に着座するドライバ３を対象者として、顔の向きを検出可能となっている。
【００１６】
こうした顔向き検出装置１０は、撮像部１２及びプロセッサユニット１４を備えている。撮像部１２は、例えば車両のインストルメントパネルに配置されている赤外線カメラ１２ａを有している。赤外線カメラ１２ａは、運転席のヘッドレスト方向を撮像するようになっている。このため、運転席にドライバが着座すると、撮像部１２は、頭部画像ＩＭとして、ドライバの顔を撮像することができる。撮像部１２は、赤外光を投光する投光器１２ｂを有している。当該投光器１２ｂが投光した赤外光の反射光を赤外線カメラ１２ａが検出することで、検出精度を高めることができる。
【００１７】
プロセッサユニット１４は、少なくとも１つのプロセッサ、メモリ、入出力インターフェイス等が基板上に実装された電子回路を主体として構成されている。プロセッサは、例えばメモリに記憶されているコンピュータプログラムを実行することで、各種処理を実施可能となっている。また、プロセッサユニット１４は、入出力ユニットを介して、撮像部１２及び外部の機器等と通信可能となっている。
【００１８】
プロセッサユニット１４は、図２に示すように、このような電子回路により構築されている機能ブロックとして、眼鏡着用判定部１６、裸眼顔向き検出部１８、ロール顔向き検出部２０、ヨー顔向き検出部３０及びピッチ顔向き検出部４０を有している。
【００１９】
ここで、撮像部１２、眼鏡着用判定部１６、裸眼顔向き検出部１８、ロール顔向き検出部２０、ヨー顔向き検出部３０及びピッチ顔向き検出部４０により実施される処理の全体像を、図３のフローチャートに基づいて先に簡潔に説明しておく。図３のフローチャートは、所定の時間毎又は所定の契機毎に実施される。
【００２０】
ステップＳ１０では、撮像部１２がドライバ３の顔を撮像する。ステップＳ１０の処理後、ステップＳ２０へ移る。
【００２１】
ステップＳ２０では、眼鏡着用判定部１６は、撮像部１２が撮影した画像ＩＭにより、ドライバ３が眼鏡３ａを着用しているか否かを判定する。ステップＳ２０にて肯定判定が下された場合、ステップＳ３０へ移る。ステップＳ２０にて否定判定が下された場合、ステップＳ６０へ移る。
【００２２】
ドライバ３が眼鏡３ａを着用していると判定された場合のステップＳ３０では、ロール顔向き検出部２０が顔の向きのうちロール方向を検出する。ステップＳ３０の処理後、ステップＳ４０へ移る。
【００２３】
ステップＳ４０では、ヨー顔向き検出部３０が顔の向きのうちヨー方向を検出する。ステップＳ４０の処理後、ステップＳ５０へ移る。
【００２４】
ステップＳ５０では、ピッチ顔向き検出部４０が顔の向きのうちピッチ方向を検出する。ステップＳ５０の処理を以って一連の処理を終了する。
【００２５】
一方、ドライバ３が眼鏡３ａを着用していないと判定された場合のステップＳ６０では、裸眼顔向き検出部１８が、顔の特徴点により顔の向きを検出する。ステップＳ６０の処理を以って一連の処理を終了する。
【００２６】
こうしたフローチャートを実施するための各機能ブロックに関して、以下に詳細に説明していく。
【００２７】
眼鏡着用判定部１６は、撮像部１２が撮像した画像ＩＭを解析して、ドライバ３がサングラス等の眼鏡３ａを着用しているか否かを判定する。具体的に、眼鏡着用判定部１６は、メモリに予め記憶されている眼鏡着用者の画像と、撮像部１２が撮像した画像ＩＭを比較することにより、ドライバ３が眼鏡３ａを着用しているか否かを判定する。この方法の詳細は、特開２０１０−９７３７９号公報を参照することができる。
【００２８】
また、画像の比較に代えて、以下の判定方法を採用することができる。眼鏡着用判定部１６は、当該投光器１２ｂが投光した光が眼鏡３ａの右レンズ３ｒ及び左レンズ３ｌに反射されることで出現する一対の反射点を検出し、一対の反射点の中心座標を算出する。そして、眼鏡着用判定部１６は、画像ＩＭの上下方向の輝度分布及び左右方向の輝度分布から、ドライバ３が眼鏡３ａを着用しているか否かを判定する。この方法の詳細は、特開２０１１−１４５８６３号公報を参照することができる。
【００２９】
裸眼顔向き検出部１８は、ドライバ３が眼鏡３ａを着用していないと眼鏡着用判定部１６が判定した場合に、ドライバ３の顔の向きを検出する。具体的には、裸眼顔向き検出部１８は、眼、鼻、口、耳等のドライバ３の顔の特徴点を抽出し、これら特徴点の情報により顔の向きを検出する。
【００３０】
ロール顔向き検出部２０は、ドライバ３が眼鏡３ａを着用していると眼鏡着用判定部１６が判定した場合に、画像ＩＭにおける眼鏡３ａの左右の傾きに基づいて、ドライバ３の顔の向きのうち当該顔の左右の傾きに対応するロール方向を検出する。ロール顔向き検出部２０は、機能ブロックとして、中心座標算出部２２及びロール角算出部２３を有している。また、低輝度領域抽出部２１が機能ブロックとしてプロセッサユニット１４により実現されている。
【００３１】
低輝度領域抽出部２１は、撮像部１２が撮像した画像ＩＭの輝度分布により、眼鏡３ａに対応する低輝度領域ＬＬＡを抽出する。ドライバ３が例えばサングラス等の眼鏡３ａを着用している場合では、眼鏡３ａのレンズ３ｌ，３ｒの透過率の影響で、眼鏡３ａの存在する位置が顔の他の箇所よりも暗くなる傾向がある。こうした傾向を利用して、低輝度領域ＬＬＡが検出される。
【００３２】
まず、図４に示すように、低輝度領域抽出部２１は、画像ＩＭの上下方向の積算輝度分布ＤＶｓにおいて、輝度が比較的低い領域ＬＬＡを抽出し、当該領域ＬＬＡの中心値を特定する。ここで用いる上下方向の積算輝度分布ＤＶｓとは、所定の上下方向箇所毎に、左右方向の画素の輝度値を積算したヒストグラムである。ここで、積算対象の画素は、画像ＩＭの全ての画素であってもよく、顔の輪郭を抽出し、顔の輪郭より内側の画素のみを積算対象としてもよい。
【００３３】
そして、低輝度領域抽出部２１は、当該中心値を通り、画像ＩＭの左右方向に延伸する左右ラインＬＨを特定する。次に、図５に示すように、低輝度領域抽出部２１は、先の左右ラインＬＨ上における左右方向のライン輝度分布ＤＨｌを取得する。ここで用いる左右方向のライン輝度分布ＤＨｌとは、先の左右ラインＬＨ上の画素の輝度値の分布である。
【００３４】
こうすると、眼鏡の形状にもよるが、通常、右レンズ３ｒ及び左レンズ３ｌにそれぞれ対応して、輝度が比較的低い２つの領域ＬＬＡが抽出される。この結果、上下方向及び左右方向に低輝度領域ＬＬＡが抽出されるのである。
【００３５】
中心座標算出部２２は、図６に示すように、左右方向にずれた複数の箇所において、上下方向の中心座標ＣＰｒを算出する。まず、低輝度領域抽出部２１において抽出された低輝度領域ＬＬＡ内の画像ＩＭの左右方向に互いにずれた複数の上下ラインＬＶを設定する。この各上下ラインＬＶは、画像ＩＭの上下方向に延伸している。上下ラインＬＶは、右レンズ３ｒに対応する低輝度領域ＬＬＡ及び左レンズ３ｌに対応する低輝度領域ＬＬＡに、それぞれ３ライン以上、設定されることが好ましい。
【００３６】
次に、中心座標算出部２２は、上下ラインＬＶ上のライン輝度分布ＤＶｌを取得し、各ライン輝度分布ＤＶｌから、上下方向の中心座標ＣＰｒを算出する。ここで用いる各ライン輝度分布ＤＨｌとは、対応する上下ラインＬＶ上の画素の輝度値の分布である。具体的に、各ライン輝度分布ＤＶｌについてそれぞれ、輝度が比較的低い領域ＬＬＡを抽出し、当該領域ＬＬＡの上下方向の中心値を算出する。この中心値は、実際の眼鏡３ａの各上下ラインＬＶに沿った断面における中心座標に対応することとなるので、当該中心値が中心座標ＣＰｒとされる。こうした中心座標ＣＰｒが、互いに少なくとも左右方向にずれて、複数算出されるのである。
【００３７】
ロール角算出部２３は、図７に示すように、中心座標算出部２２により算出された複数の箇所における上下方向の中心座標ＣＰｒを、直線ＬＮに近似する。本実施形態では、各中心座標ＣＰｒが最小二乗法により直線近似される。ロール角算出部２３は、こうして得られた直線ＬＮが画像ＩＭの左右方向に対してなす角度を、ロール方向の顔の向きの角度（以下、ロール角）として算出する。具体的には、ロール角をγとし、近似した直線ＬＮの傾きをｇとすると、γ＝ａｒｃｔａｎ（ｇ）を用いてロール角が算出される。
【００３８】
図８のフローチャートには、ロール方向の顔の向きの検出に関して、特に関連する処理が抜粋されて示されている。図８のフローチャートについて、以下に簡潔に説明する。
【００３９】
まず、ステップＳ１１０は、ステップＳ１０に対応している。ステップＳ１１０の処理後、ステップＳ１２０へ移る。
【００４０】
ステップＳ１２０は、ステップＳ２０に対応している。ステップＳ１２０の処理後、ステップＳ１３０へ移る。
【００４１】
ステップＳ１３０は、ステップＳ３０に対応している。すなわち、ロール顔向き検出部２０が顔の向きのうちロール方向を検出する。上述のように、ロール方向の検出は、所定の時間毎又は所定の契機毎に実施されるので、ステップＳ１３０の処理後、再びステップＳ１１０へ戻ることとなる。
【００４２】
ヨー顔向き検出部３０は、ドライバ３が眼鏡３ａを着用していると眼鏡着用判定部１６が判定した場合に、ドライバ３の顔の向きのうち左右の振れに対応するヨー方向を検出する。ヨー顔向き検出部３０は、機能ブロックとして、左右幅抽出部３１、正面幅記憶部３２、ヨー方向補正部３３、向き判別部３４及びヨー角算出部３５を有している。
【００４３】
左右幅抽出部３１は、図９に示すように、撮像部１２が撮影した画像ＩＭにおいて、眼鏡３ａの画像ＩＭの左右方向の幅である左右幅Ｗ０，ＷＬ，ＷＲを抽出する。左右幅としては、眼鏡全体の左右幅Ｗ０、左レンズ３ｌの左右幅ＷＬ及び右レンズ３ｒの左右幅ＷＲがあり、それぞれが抽出される。具体的に本実施形態では、画像ＩＭの左右方向の積算輝度分布ＤＨｓにおいて、輝度が急峻に変化する位置を特定する。ここで用いる左右方向の積算輝度分布ＤＨｓとは、所定の左右方向箇所毎に、上下方向の画素の輝度値を積算したヒストグラムである。ここで、積算対象の画素は、画像ＩＭの全ての画素であってもよく、顔の輪郭を抽出し、顔の輪郭より内側の画素のみを積算対象としてもよい。
【００４４】
ドライバ３が例えばサングラス等の眼鏡３ａを着用している場合では、左レンズ３ｌ及び右レンズ３ｒにそれぞれ対応して、輝度が比較的低い２つの領域ＬＬＡが抽出されるので、輝度が急峻に変化する位置が低輝度領域ＬＬＡの縁部、換言すると眼鏡３ａの各レンズ３ｌ，３ｒの縁部に相当することとなる。したがって、左レンズ３ｌの外側縁部と右レンズ３ｒの外側縁部との間の距離に対応する眼鏡全体の左右幅Ｗ０が抽出され、左レンズ３ｌの外側縁部と左レンズ３ｌの内側縁部との距離に対応する左右幅ＷＬが抽出され、右レンズ３ｒの外側縁部と右レンズ３ｒの内側縁部との距離に対応する左右幅ＷＲが抽出される。なお、左右幅抽出部３１は、低輝度領域抽出部２１と一部計算を共通化されていてもよい。
【００４５】
正面幅記憶部３２は、左右幅抽出部３１が抽出した左右幅Ｗ０に基づいて、顔の向きが正面である場合の画像ＩＭにおける眼鏡３ａの正面幅Ｗｆを記憶する。本実施形態では、左右幅抽出部３１が抽出した眼鏡全体の左右幅Ｗ０のうち、最大値が正面幅Ｗｆとして記憶される。すなわち、上述のように、ヨー方向の顔の向きの検出は、所定の時間毎又は所定の契機毎に複数回繰り返されるわけであるので、検出を開始してからの当該複数回のうち最大値が正面幅Ｗｆとして記憶されるのである。このようにすると、検出を開始してから仮にドライバ３が真正面を向くタイミングが未だ存在しなかったとしても、暫定的な正面幅Ｗｆからヨー方向の顔の向きを算出することが可能となる。
【００４６】
ヨー方向補正部３３は、図１０に示すように、ロール顔向き検出部２０が検出したロール方向の顔の向きにより、ヨー方向の顔の向きを補正して算出する。具体的に本実施形態では、左右幅抽出部３１が抽出した眼鏡全体の左右幅Ｗ０が、その直前にロール顔向き検出部２０が検出したロール方向の顔の向きにより補正されるようになっている。左右幅抽出部３１が抽出した眼鏡全体の左右幅をＷ０とし、補正後の眼鏡全体の左右幅をＷ１とすると、Ｗ１＝Ｗ０／ｃｏｓ（γ）の式により補正が行なわれる。
【００４７】
向き判別部３４は、左レンズ３ｌと右レンズ３ｒとを比較して、顔の向きが正面であるか、顔の向きが右向きであるか、又は顔の向きが左向きであるかを判別する。一般的に、眼鏡３ａの左レンズ３ｌと右レンズ３ｒとは左右対称形状であるため、図１１（ａ）に示すように、撮像された眼鏡３ａの画像ＩＭにおいて、カメラ１２ａに対する顔の向きが正面であれば、左レンズ３ｌと右レンズ３ｒとは、実質同じ大きさに撮像され得る。また、図１１（ｂ）に示すように、カメラ１２ａに対する顔の向きが右向きであれば、画像ＩＭ上、左レンズ３ｌの大きさは、右レンズ３ｒの大きさよりも大きく撮像され得る。図１１（ｃ）に示すように、カメラ１２ａに対する顔の向きが左向きであれば、画像ＩＭ上、右レンズ３ｒの大きさは、左レンズ３ｌの大きさよりも大きく撮像され得る。
【００４８】
こうした左レンズ３ｌと右レンズ３ｒとの大きさの比較により、顔の向きを大まかに判別することができるのである。特に本実施形態では、上述の大きさとして、左右幅抽出部３１により抽出された左右幅ＷＬ，ＷＲが採用されている。
【００４９】
なお、図１１では、図示を分かり易くするために、画像ＩＭを赤外線カメラとドライバとの間に図示したが、実際には画像ＩＭは電子データとなっている（図１２，１６も同様である）。
【００５０】
ヨー角算出部３５は、向き判別部３４により、顔の向きが右向き又は左向きと判別された場合、当該右向き又は左向きの画像ＩＭにおける眼鏡３ａの幅と、正面幅記憶部３２が記憶した正面幅Ｗｆと、を比較して、正面に対するヨー方向の顔の向きの角度（以下、ヨー角）を算出する。具体的に本実施形態では、眼鏡３ａの幅として補正後の眼鏡全体の幅Ｗ１が用いられる。図１２に示すように、正面に対する角度が大きくなる程、画像ＩＭにおいて検出される眼鏡全体の幅Ｗ１は、小さくなる。ヨー角をθとし、正面幅記憶部３２が記憶した正面幅Ｗｆとすると、θ＝ａｒｃｃｏｓ（Ｗ１／Ｗｆ）を用いてヨー角が算出される。この算出式は、算出処理を軽くするために、カメラ１２ａから眼鏡３ａまでの奥行方向の距離の変化、及び眼鏡３ａが左右に移動する場合の影響はないものと仮定して得られた式である。
【００５１】
図１３のフローチャートには、ヨー方向の顔の向きの検出に関して、特に関連する処理が抜粋されて示されている。図１３のフローチャートについて、以下に簡潔に説明する。
【００５２】
まず、ステップＳ２１０，Ｓ２２０，Ｓ２３０は、ステップＳ１１０，Ｓ１２０，Ｓ１３０にそれぞれ対応している。実際には、図３のフローチャートのように、順番に各方向の検出が実施されるため、一連の処理において重複して同じ計算をする必要はない。したがって、ステップＳ２１０，Ｓ２２０，Ｓ２３０は、ステップＳ１１０，Ｓ１２０，Ｓ１３０と共通化される。ステップＳ２３０の処理後、ステップＳ２４０へ移る。
【００５３】
ステップＳ２４０では、上述のように左右幅抽出部３１が各左右幅Ｗ０，ＷＬ，ＷＲを抽出する。ステップＳ２４０の処理後、ステップＳ２５０へ移る。
【００５４】
ステップＳ２５０では、上述のようにヨー方向補正部３３が各左右幅Ｗ０，ＷＬ，ＷＲの補正を行なう。ステップＳ２５０の処理後、ステップＳ２６０へ移る。
【００５５】
ステップＳ２６０では、上述のように向き判別部３４が顔の向きを判別する。ステップＳ２６０の処理後、ステップＳ２７０へ移る。
【００５６】
ステップＳ２７０では、上述のようにヨー角算出部３５がヨー角を算出する。また、左右幅抽出部３１が抽出した眼鏡全体の左右幅Ｗ０が最大値である場合には、正面幅記憶部３２が眼鏡全体の左右幅Ｗ０を正面幅Ｗｆとして記憶する。向き判別部３４が顔の向きが正面であると判別した場合には、正面幅記憶部３２は、その時の眼鏡全体の左右幅Ｗ０を正面幅Ｗｆとして記憶し、以後、正面幅Ｗｆの更新を停止するようにしてもよい。ヨー方向の検出は、所定の時間毎又は所定の契機毎に実施されるので、ステップＳ２７０の処理後、再びステップＳ２１０へ戻ることとなる。なお、こうしたステップＳ２４０〜Ｓ２７０は、ステップＳ４０に対応している。
【００５７】
ピッチ顔向き検出部４０は、ドライバ３が眼鏡３ａを着用していると眼鏡着用判定部１６が判定した場合に、眼鏡３ａの上下方向の中心座標ＣＰｐの移動を用いて、顔の向きのうち上下の振れに対応するピッチ方向を検出する。ピッチ顔向き検出部４０は、機能ブロックとして、上下寸法抽出部４１、正面寸法記憶部４２、上下中心抽出部４３、ピッチ角算出部４４及び上下判別部４５を有している。
【００５８】
上下寸法抽出部４１は、図１４に示すように、撮像部１２が撮影した画像ＩＭにおいて、眼鏡３ａの画像ＩＭの上下方向の寸法である上下寸法Ｈを抽出する。具体的に本実施形態では、画像ＩＭの上下方向の積算輝度分布ＤＶｓにおいて、輝度が急峻に変化する位置を特定する。この場合では、輝度が比較的低い１つの領域ＬＬＡが抽出されるので、輝度が急峻に変化する位置が低輝度領域ＬＬＡの縁部、換言すると眼鏡３ａの各レンズの縁部に相当することとなる。したがって、眼鏡３ａの上側縁部と下側縁部との間の距離に対応する上下寸法Ｈが抽出される。なお、上下寸法抽出部４１は、低輝度領域抽出部２１と一部計算を共通化されていてもよい。
【００５９】
正面寸法記憶部４２は、正面幅記憶部３２と同様に、顔の向きが正面である場合の画像ＩＭにおける眼鏡３ａの上下方向における正面寸法Ｈｆを記憶する。正面幅記憶部３２と同様に、上下寸法抽出部４１が抽出した上下寸法Ｈのうち、最大値が正面寸法Ｈｆとして記憶される。
【００６０】
上下中心抽出部４３は、図１５に示すように、上下寸法抽出部４１が上下寸法Ｈを抽出した際に用いた上側縁部と下側縁部の位置を用いて上下方向の中心座標ＣＰｐを抽出する。具体的に、上側縁部の座標と下側縁部の座標とを平均することで、中心座標ＣＰｐが算出される。
【００６１】
ピッチ角算出部４４は、画像ＩＭにおける眼鏡３ａの上下寸法Ｈと、正面寸法記憶部４２が記憶した正面寸法Ｈｆと、を比較して、正面に対するピッチ方向の顔の向きの角度（以下、ピッチ角）を算出する。図１６に示すように、正面に対する角度が大きくなる程、画像ＩＭにおいて検出される上下寸法Ｈは、小さくなる。具体的に本実施形態では、ピッチ角をδとし、上下寸法をＨとし、正面寸法記憶部４２が記憶した正面寸法をＨｆとすると、δ＝ａｒｃｃｏｓ（Ｈ／Ｈｆ）を用いてピッチ角が算出される。この算出式は、算出処理を軽くするために、カメラ１２ａから眼鏡３ａまでの奥行方向の距離の変化、及び眼鏡３ａが左右に移動する場合の影響はないものと仮定して得られた式である。
【００６２】
上下判別部４５は、眼鏡３ａの上下方向の中心座標ＣＰｐの移動を用いて、顔の向きが上向きか下向きかを判別する。図１７に示すように、通常、顔向きを上げると中心座標ＣＰｐは上へ移動し、顔向きを下げると中心座標ＣＰｐは下へ移動する傾向がある。この傾向を利用し、上下中心抽出部４３が今回抽出した中心座標ＣＰｐと、以前に顔の向きが正面であったときに抽出した中心座標ＣＰｐとを比較し、正面の場合に対して中心座標ＣＰｐが上に変化している場合、顔の向きが上向きであると判定し、正面の場合に対して中心座標ＣＰｐが下に変化している場合、顔の向きが下向きであると判定する。
【００６３】
図１８のフローチャートには、ピッチ方向の顔の向きの検出に関して、特に関連する処理が抜粋されて示されている。図１８のフローチャートについて、以下に簡潔に説明する。
【００６４】
まず、ステップＳ３１０，Ｓ３２０は、ステップＳ１１０，Ｓ１２０あるいはステップＳ２１０，Ｓ２２０にそれぞれ対応している。実際には、図３のフローチャートのように、順番に各方向の検出が実施されるため、一連の処理において重複して同じ計算をする必要はない。したがって、ステップＳ３１０，Ｓ３２０は、ステップＳ１１０，Ｓ１２０と共通化される。ステップＳ３２０の処理後、ステップＳ３３０へ移る。
【００６５】
ステップＳ３３０では、上述のように上下寸法抽出部４１が上下寸法Ｈを抽出する。ステップＳ３３０の処理後、ステップＳ３４０へ移る。
【００６６】
ステップＳ３４０では、上述のように上下中心抽出部４３が上下方向の中心座標ＣＰｐを抽出する。ステップＳ３４０の処理後、ステップＳ３５０へ移る。
【００６７】
ステップＳ３５０では、上述のようにピッチ角算出部４４がピッチ角を算出する。また、上下寸法抽出部４１が抽出した上下寸法Ｈが最大値である場合には、正面寸法記憶部４２が上下寸法Ｈを正面寸法Ｈｆとして記憶する。ステップＳ３５０の処理後、ステップＳ３６０へ移る。
【００６８】
ステップＳ３６０では、上下判別部４５は、顔の向きが上向きか下向きかを判別する。ピッチ方向の検出は、所定の時間毎又は所定の契機毎に実施されるので、ステップＳ３６０の処理後、再びステップＳ３１０へ戻ることとなる。なお、こうしたステップＳ３３０〜Ｓ３６０は、ステップＳ５０に対応している。
【００６９】
こうした顔向き検出装置１０を備える入力操作システム９は、対象者としてのドライバ３の顔の向きを検出し、顔の向きの変化による入力操作を可能とするシステムである。入力操作システム９は、図１に示すように、顔向き検出装置１０に加えて、情報出力装置６０及びプロセッサユニット５０を備えている。
【００７０】
情報出力装置６０は、ディスプレイ及びスピーカを有している。ディスプレイは、画像表示により、ドライバ３へ向けて情報を出力する。スピーカは、音声により、ドライバ３へ向けて情報を出力する。
【００７１】
プロセッサユニット５０は、少なくとも１つのプロセッサ、メモリ、入出力インターフェイス等が基板上に実装された電子回路を主体として構成されている。プロセッサは、例えばメモリに記憶されているコンピュータプログラムを実行することで、各種処理を実施可能となっている。また、プロセッサユニット５０は、入出力ユニットを介して、顔向き検出装置１０、情報出力装置６０、及び外部の機器と通信可能となっている。
【００７２】
外部の機器としては、例えば、車両に搭載された運転モード設定装置２が挙げられる。運転モード設定装置２は、車両の運転モードを設定し、当該車両に搭載された車両挙動制御装置と連携することで、当該車両の挙動を制御可能となっている。車両の運転モードの設定としては、ＡＣＣ（Adaptive Cruise Contorol）機能の設定が挙げられる。ＡＣＣ機能が設定されると、先行車との目標車間距離を維持するように車両の走行速度が自動制御される。
【００７３】
入力操作システム９の説明に戻る。プロセッサユニット５０は、図１９に示すように、電子回路により構築されている機能ブロックとして、問い合わせ部、入力操作判定部及び情報提供部を有している。
【００７４】
問い合わせ部５１は、情報出力装置６０を用いて、ドライバ３に問い合わせを行なう。例えば、所定の契機に応じて、又は外部の機器からの問い合わせ信号が入力されると、問い合わせ部は、問い合わせ内容を生成し、情報出力装置６０に当該問い合わせ内容を出力させる。
【００７５】
入力操作判定部５２は、顔向き検出装置１０が検出した顔の向きに基づいて、ドライバ３が入力操作をしたかどうかを判定する。具体的に、ピッチ方向について、顔の向きが下向きに変化した場合、入力操作判定部５２は、ドライバ３が入力操作システム９に対し「ＯＫ」（又はＹＥＳ）を意味する入力操作をしたと判定する。すなわち、顔の向きが下向きに変化したということは、ドライバ３が頷く動作をしていることに対応するため、「ＯＫ」のコマンドが入力操作されたという判断がなされる。
【００７６】
また、ヨー方向について、顔の向きが所定値以上変化した場合、入力操作判定部５２は、ドライバ３が入力操作システム９に対し「ＮＯ」を意味する入力操作をしたと判定する。すなわち、顔の向きがヨー方向に変化したということは、ドライバ３が顔を左右に振る動作をしていることに対応するため、「ＮＯ」のコマンドが入力操作されたという判断がなされる。
【００７７】
さらには、ロール方向について、顔の向きが所定値以上変化した場合、入力操作判定部５２は、ドライバ３が入力操作システム９に対し「わからない」を意味する入力操作をしたと判定する。すなわち。顔の向きがロール方向に変化したということは、ドライバ３が首を傾げる動作をしていることに対応するため、「わからない」のコマンドが入力操作されたという判断がなされる。
【００７８】
情報提供部５３は、問い合わせ部５１が問い合わせをした後、ドライバ３が「わからない」を意味する入力操作をしたと入力操作判定部５２が判定した場合に、問い合わせに関して判断材料となる情報をドライバ３に提供する。情報提供部５３は、問い合わせ内容に関して判断材料となる情報を取得又は生成し、情報出力装置６０に当該判断材料となる情報を出力させる。
【００７９】
こうした入力操作システム９により実施される処理を、図２０のフローチャートに基づいて説明する。
【００８０】
まず、ステップＳ４１０では、問い合わせ部５１がドライバ３に問い合わせを行なう。ステップＳ４１０の処理後、ステップＳ４２０へ移る。
【００８１】
ステップＳ４２０では、顔向き検出装置１０がドライバ３の顔の向きを検出する。ステップＳ４２０の処理後、ステップＳ４３０へ移る。
【００８２】
ステップＳ４３０では、入力操作判定部５２は、ロール方向について、顔の向きが所定値以上変化したか判定する。ステップＳ４３０にて肯定判定が下された場合、ステップＳ４４０へ移る。ステップＳ４３０にて否定判定が下された場合、ステップＳ４６０へ移る。
【００８３】
ステップＳ４４０では、入力操作判定部５２は、「わからない」というコマンドが入力操作されたと判定する。ステップＳ４４０の処理後、ステップＳ４５０へ移る。
【００８４】
ステップＳ４５０では、情報提供部５３が問い合わせ内容に関して判断材料となる情報をドライバ３に提供する。ステップＳ４５０の処理後、再びステップＳ４２０へ戻る。提供された情報を基に、ドライバ３は再び意思表示をすることとなるので、当該意思表示を、顔向き検出装置１０が再度検出するようにするのである。
【００８５】
「わからない」というコマンドが入力操作されなかった場合のステップＳ４６０では、入力操作判定部５２は、ヨー方向について、顔の向きが所定値以上変化したか判定する。ステップＳ４６０にて肯定判定が下された場合、ステップＳ４７０へ移る。ステップＳ４６０にて否定判定が下された場合、ステップＳ４８０へ移る。
【００８６】
ステップＳ４７０では、入力操作判定部５２は、「ＮＯ」というコマンドが入力操作されたと判定する。そして、「ＮＯ」というコマンドが入力操作されたという情報が信号として例えば操作対象の外部の機器に出力される。ステップＳ４７０を以って一連の処理を終了する。
【００８７】
「わからない」及び「ＮＯ」というコマンドが入力操作されなかった場合のステップＳ４８０では、入力操作判定部５２は、ピッチ方向について、顔の向きが下向きに変化したか判定する。ステップＳ４８０にて肯定判定が下された場合には、ステップＳ４９０へ移る。ステップＳ４８０にて否定判定が下された場合には、まだドライバ３が意思表示をしていない状態のため、ステップＳ４２０へ戻る。
【００８８】
ステップＳ４９０では、入力操作判定部５２は、「ＹＥＳ」というコマンドが入力操作されたと判定する。そして、「ＹＥＳ」というコマンドが入力操作されたという情報が信号として例えば操作対象の外部の機器に出力される。ステップＳ４９０を以って一連の処理を終了する。
【００８９】
こうした一連の処理に関して、より具体的な例を説明する。例えば、問い合わせ部５１が「ＡＣＣ機能を設定しますか？」とドライバ３に問い合わせた場合に、当該ドライバ３がＡＣＣ機能とは何か知らなかったとする。すると、ドライバ３は首を傾げるため、ロール方向の顔の向きが所定値以上変化することとなる。これにより、入力操作判定部５２は、ドライバ３が「わからない」のコマンドを入力操作したと判定する。これに応じて、情報提供部５３は、「ＡＣＣ機能とは、先行車との目標車間距離を維持するように自車両の走行速度を自動制御する機能です」という説明の情報、すなわち判断材料となる情報をドライバ３に提示するのである。こうしてドライバ３がＡＣＣ機能とは何かを理解し、ＡＣＣ機能の設定に関する判断をすることが可能となる。
【００９０】
ドライバ３が頷くと、顔の向きが下向きとなり、入力操作判定部５２は、ドライバが「ＹＥＳ」のコマンドを入力操作したと判定する。そして、「ＹＥＳ」というコマンドが入力操作されたという情報が信号として車両の運転モード設定装置２に出力され、当該運転モード設定装置２がＡＣＣ機能を設定する。
【００９１】
（作用効果）
以上説明した本実施形態の作用効果を以下に説明する。
【００９２】
本実施形態の顔向き検出装置１０によると、眼鏡３ａ着用時に、ロール方向の顔の向きが、撮像部１２が撮像した画像ＩＭにおける眼鏡３ａの左右の傾きに基づいて検出される。このようにすると、対象者としてのドライバ３が眼鏡３ａを着用しているために、眼等の顔の特徴点の検出が困難な状況であっても、眼鏡３ａの左右の傾きを検出することで、顔の傾きを容易に検出することができる。したがって、顔の向きを詳細に検出可能な顔向き検出装置１０を提供することができる。
【００９３】
また、ドライバ３が例えばサングラス等の眼鏡３ａを着用している場合では、眼鏡３ａのレンズ３ｌ，３ｒの透過率の影響で、眼鏡３ａの存在する位置が顔の他の箇所よりも暗くなる傾向がある。こうした傾向を利用した本実施形態では、画像ＩＭの輝度分布により、低輝度領域ＬＬＡが抽出される。そして、低輝度領域ＬＬＡ内の第１方向に互いにずれた複数の箇所において、第１方向と交差する第２方向の輝度分布ＤＶｌにより低輝度領域ＬＬＡの第２方向の中心座標ＣＰｒが算出される。こうして第１方向に互いにずれた複数の中心座標ＣＰｒが算出される。これらを直線ＬＮに近似することで、当該直線ＬＮの傾きからロール角が算出される。すなわち、眼鏡３ａの存在する位置に対応した低輝度領域ＬＬＡにおいて、第２方向の中心座標ＣＰｒが、第１方向にずれて複数算出されるので、各中心座標ＣＰｒの第１方向のずれに対する第２方向の変化度合により、眼鏡３ａの傾きが算出できるのである。こうして、ロール角を容易に算出することができる。したがって、顔の向きを詳細に検出可能な顔向き検出装置１０を提供することができる。なお、本実施形態において第１方向は左右方向に対応し、第２方向は上下方向に対応する。
【００９４】
また、本実施形態によると、ドライバ３が眼鏡３ａを着用している場合、眼鏡３ａの左レンズ３ｌと右レンズ３ｒとを比較して、ヨー方向の顔の向きが検出される。すなわち、ロール方向に加えてヨー方向も検出するので、顔の向きが詳細に検出可能となる。
【００９５】
また、眼鏡３ａの左レンズ３ｌと右レンズ３ｒとを比較してヨー方向の顔の向きを検出する場合に、眼鏡３ａが実際は傾いているのに、傾きを０とみなして算出がなされると、ヨー方向の顔の向きに誤差が生ずる場合がある。そこで本実施形態によると、ロール顔向き検出部２０が検出したロール方向の顔の向きにより、ヨー方向の顔の向きは、補正された上、算出される。したがって、ロール方向の検出を利用して処理負荷を低減しつつ、ヨー方向の検出精度を高めることができる。
【００９６】
また、本実施形態によると、顔の向きが左向き又は右向きである場合、左向き又は右向きの画像ＩＭにおける眼鏡の幅Ｗ１と、記憶されている正面幅Ｗｆと、を比較して、正面に対するヨー角が算出される。こうした算出において、右向き又は左向きの画像ＩＭにおける眼鏡の幅Ｗ０が、ロール方向により幅Ｗ１に補正される。こうした眼鏡の幅Ｗ１の補正により、確実にヨー角の誤差を低減することができる。
【００９７】
また、本実施形態によると、ドライバ３が眼鏡３ａを着用している場合、眼鏡３ａの上下方向の中心座標ＣＰｐの移動を用いて、顔の向きのうちピッチ方向が検出される。すなわち中心座標ＣＰｐの移動方向によって顔の向きが上に移動したか下に移動したかを判別可能となるので、ピッチ方向の顔の向きを詳細に検出可能となる。
【００９８】
また、本実施形態の入力操作システム９によると、ロール顔向き検出部２０により検出されたロール方向の顔の向きが所定値以上変化した場合に、対象者としてのドライバ３が所定の入力操作をしたと判定される。ロール方向の変化は、ドライバ３が首を傾げる動作に対応するので、こうした首を傾げる動作を入力操作として、利用可能となる。したがって、ドライバ３が眼鏡３ａを着用している状況であっても、眼鏡３ａの左右の傾き等から顔の向きを詳細に検出可能とすることで、入力操作システム９において使用可能な入力操作の種類を増やすことができる。
【００９９】
また、本実施形態によると、ドライバ３に問い合わせを行なった後、当該ドライバ３が首を傾げる入力操作をしたと判定された場合、当該問い合わせに関して判断材料となる情報が当該ドライバ３に提供される。すなわち、ドライバ３が首を傾げることで問い合わせ内容が「わからない」と意思表示したことに対応して、判断材料となる情報が提供されるので、ドライバ３は、問い合わせに対する判断がし易くなるのである。
【０１００】
（他の実施形態）
以上、本発明の一実施形態について説明したが、本発明は、当該実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
【０１０１】
具体的に変形例１としては、ヨー方向の顔の向きは、ロール方向の顔の向きにより補正されなくてもよい。この例として、図１３のフローチャートに代えて、図２１のフローチャートに基づく処理を実現可能なヨー顔向き検出部３０は、機能ブロックとして、左右幅抽出部３１、正面幅記憶部３２、向き判別部３４及びヨー角算出部３５を有している。
【０１０２】
ステップＳ５１０，Ｓ５２０は、ステップＳ２１０，Ｓ２２０にそれぞれ対応している。ステップＳ５２０の処理後、ステップＳ５３０へ移る。
【０１０３】
ステップＳ５３０では、左右幅抽出部３１が各左右幅Ｗ０，ＷＬ，ＷＲを抽出する。ステップＳ５３０の処理後、ステップＳ５４０へ移る。
【０１０４】
ステップＳ５４０では、向き判別部３４が顔の向きを判別する。ステップＳ５４０の処理後、ステップＳ５５０へ移る。
【０１０５】
ステップＳ５５０では、ヨー角算出部３５がヨー角を算出する。このとき、補正をしていないので算出式において左右幅Ｗ１の代わりに左右幅Ｗ０が用いられる。ヨー方向の検出は、所定の時間毎又は所定の契機毎に実施されるので、ステップＳ５５０の処理後、再びステップＳ５１０へ戻ることとなる。
【０１０６】
変形例２としては、本発明は、透過率の影響により眼鏡３ａの存在する位置が顔の他の箇所よりも暗くなるものであれば、サングラス以外の眼鏡３ａにも適用可能である。
【０１０７】
変形例３としては、撮像部１２は、赤外線カメラ１２ａと共に、又は赤外線カメラ１２ａに代えて、可視光カメラが採用されてもよい。例えばカラー画像を撮像可能な可視光カメラでは、通常処理で低輝度領域ＬＬＡが検出し難い場合であっても、例えば赤、緑及び青の３原色毎に分離された各輝度分布を用いることで、低輝度領域ＬＬＡが抽出可能となる場合がある。
【０１０８】
変形例４としては、顔向き検出装置１０は、先に顔の特徴点である眼等の検出を試みて、当該特徴点が検出できなかった場合に、眼鏡着用判定部１６が対象者の眼鏡３ａの着用を判定するようにしてもよい。
【０１０９】
変形例５としては、向き判別部３４は、左レンズ３ｌの上下寸法と右レンズ３ｒの上下寸法とを比較して、顔の向きが正面であるか、右向きであるか、又は左向きであるか判別するようにしてもよい。向き判別部３４は、左レンズ３ｌの面積と右レンズ３ｒの面積とを比較して、顔の向きが正面であるか、右向きであるか、又は左向きであるか判別するようにしてもよい。
【０１１０】
変形例６としては、正面幅記憶部３２は、顔の向きが正面である場合の左右幅Ｗ０又はＷ１の複数回の平均値を、正面幅Ｗｆとして記憶するようにしてもよい。
【０１１１】
変形例７としては、正面寸法記憶部４２は、顔の向きが正面である場合の上下寸法Ｈの複数回の平均値を、正面寸法Ｈｆとして記憶するようにしてもよい。
【０１１２】
変形例８としては、第１方向及び第２方向は、互いに交差する方向であれば、任意に設定することができる。
【０１１３】
変形例９としては、撮像部１２は、他の装置と共通に設けられていてもよい。
【０１１４】
変形例１０としては、プロセッサユニット１４とプロセッサユニット５０とは、共通化されていてもよい。
【０１１５】
変形例１１としては、入力操作システム９は、外部の機器を操作するものでなく、入力操作システムが備える情報出力装置６０の例えばディスプレイに表示される内容を設定操作するものであってもよい。
【０１１６】
変形例１２としては、入力操作システム９自体が情報出力装置６０を備えていなくてもよい。機能ブロックとしての問い合わせ部５１及び情報提供部５３は、外部の機器としての情報提供装置を用いることで、その機能を実現するものであってもよい。
【０１１７】
変形例１３としては、問い合わせ内容は、ＡＣＣ機能の設定に限られない。例えば、外部から電話がかかってきた場合に、問い合わせ部５１は、対象者が電話に出るかどうかを問い合わせてもよい。
【０１１８】
変形例１４としては、対象者は、ドライバ３に限られず、助手席等に着座した乗員であってもよい。
【０１１９】
変形例１５としては、顔向き検出装置１０及び入力操作システム９は、車両に搭載されるものに限らず、各種移動体（輸送機器）に搭載されてもよく、各種業務用又は民生用として用いられてもよい。
【符号の説明】
【０１２０】
３  ドライバ（対象者）、３ａ  眼鏡、９  入力操作システム、１０  顔向き検出装置、１２  撮像部、２０  ロール顔向き検出部、５２  入力操作判定部、ＩＭ  画像
【図１】
2018036778.tif 000003
【図２】
2018036778.tif 000004
【図３】
2018036778.tif 000005
【図４】
2018036778.tif 000006
【図５】
2018036778.tif 000007
【図６】
2018036778.tif 000008
【図７】
2018036778.tif 000009
【図８】
2018036778.tif 000010
【図９】
2018036778.tif 000011
【図１０】
2018036778.tif 000012
【図１１】
2018036778.tif 000013
【図１２】
2018036778.tif 000014
【図１３】
2018036778.tif 000015
【図１４】
2018036778.tif 000016
【図１５】
2018036778.tif 000017
【図１６】
2018036778.tif 000018
【図１７】
2018036778.tif 000019
【図１８】
2018036778.tif 000020
【図１９】
2018036778.tif 000021
【図２０】
2018036778.tif 000022
【図２１】
2018036778.tif 000023