(57)【要約】【課題】複数の各運転者の顔の上下方向を精度良く検出すること。【解決手段】顔方向検出装置１０は、取得部２４、算出部２５、決定部２７、検出部２８を有する。算出部２５は、取得部２４で取得された運転者の顔を含む複数の画像データの各々に基づいて、運転者の顔の特徴量を各画像毎に算出する。また、決定部２７は、算出部２５によって算出された複数の特徴量の共通性に基づいて、運転者に対応する基準値を決定する。また、検出部２８は、運転者の顔の上下方向を検出する場合には、以下の処理を行う。すなわち、検出部２８は、検出時に取得部２４で取得された画像データに基づいて算出部２５で算出された運転者の顔の特徴量と、運転者に対応する基準値とに基づいて、運転者の顔の上下方向を検出する。【選択図】図２
2012022579.tif 000002
【特許請求の範囲】
【請求項１】
移動体を運転する運転者の顔を、所定方向から異なる時間で複数回撮影することにより得られた複数の画像データを取得する取得部と、
前記取得部で取得された複数の画像データの各々に基づいて、前記運転者の顔の特徴量を各画像毎に算出する算出部と、
前記算出部によって算出された複数の特徴量の共通性に基づいて、前記運転者に対応する基準値を決定する決定部と、
前記取得部で取得された前記画像データに基づいて前記算出部で算出された前記運転者の顔の特徴量と、前記運転者に対応する前記基準値とに基づいて、前記運転者の顔の上下方向を検出する検出部と
を有することを特徴とする顔方向検出装置。
【請求項２】
前記特徴量は、前記運転者の顔に含まれるパーツの位置から定まる値であって、
前記決定部は、前記値の分布に基づいて、前記基準値を決定することを特徴とする請求項１に記載の顔方向検出装置。
【請求項３】
前記特徴量は、前記運転者の顔に含まれるパーツの位置から定まる値であって、
前記決定部は、前記値が収束した場合の収束値を前記基準値として決定することを特徴とする請求項１に記載の顔方向検出装置。
【請求項４】
前記値は、
前記運転者の顔に含まれるパーツのうち、目と鼻との間隔と、前記目と前記顔に含まれる口との間隔との比である請求項２または３に記載の顔方向検出装置。
【請求項５】
移動体を運転する運転者の顔を、所定方向から異なる時間で複数回撮影することにより得られた複数の画像データを取得する取得手順と、
前記取得手順で取得された複数の画像データの各々に基づいて、前記運転者の顔の特徴量を各画像毎に算出する算出手順と、
前記算出手順によって算出された複数の特徴量の共通性に基づいて、前記運転者に対応する基準値を決定する決定手順と、
前記取得手順で取得された前記画像データに基づいて前記算出手順で算出された前記運転者の顔の特徴量と、前記運転者に対応する前記基準値とに基づいて、前記運転者の顔の上下方向を検出する検出手順と
をコンピュータに実行させることを特徴とする顔方向検出プログラム。
【請求項６】
コンピュータが、
移動体を運転する運転者の顔を、所定方向から異なる時間で複数回撮影することにより得られた複数の画像データを取得し、
取得された複数の画像データの各々に基づいて、前記運転者の顔の特徴量を各画像毎に算出し、
算出された複数の特徴量の共通性に基づいて、前記運転者に対応する基準値を決定し、
前記運転者の顔の上下方向を検出する場合には、当該検出時に取得された前記画像データに基づいて算出された前記運転者の顔の特徴量と、前記運転者に対応する前記基準値とに基づいて、前記運転者の顔の上下方向を検出する
処理を実行することを特徴とする顔方向検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔方向検出装置、顔方向検出プログラムおよび顔方向検出方法に関する。
【背景技術】
【０００２】
車両などの移動体を運転する運転者の顔をカメラで撮影し、眼球の位置から運転者の視線方向を検出する視線検出技術が存在する。運転者の視線方向を検出して、運転者がどの方向を見ているかを監視することは、車両の安全運転を行うために、重要なことである。
【０００３】
視線方向を検出する方法としては、顔方向を検出した上で、眼球の位置を検知し、注視している方向を検出する方法がある。ここで、顔方向の検出技術としては、顔の左右方向については、目や口といった顔パーツを用いて検出する技術が知られている。例えば、これらの顔パーツは、顔上でほぼ左右対称に位置している。この位置関係については、個人差はほぼない。そのため、左目から顔の中央までの距離と、右目から顔の中央までの距離との比は、個人差はあまり無く、ほぼ１対１である。そこで、この比を、運転者が正面方向を向いた場合の基準の比として顔の左右方向の検出に用いることができる。つまり、運転者の左目から顔の中央までの距離ａと、右目から顔の中央までの距離ｂとを算出し、距離ａと距離ｂとの比と、上述の基準の比とを比較することで、左右方向を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第０２／００７０９５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、顔の上下方向の検出を精度良く行うことは、以下の理由から、非常に困難である。すなわち、顔パーツには、上下対称に位置するパーツがないため、上下方向に１対１の比となる特徴量がない。また、上下方向においては、特徴量、例えば、目の位置から鼻の位置までの間隔と、目の位置から口の位置までの間隔との比は、個人差がある。そのため、異なる複数の運転者の顔の上下方向の検出において、複数の運転者の平均値などの所定の特徴量を、運転者が正面方向を向いた場合の共通の基準値として採用することは不適切である。また、所定の特徴量を、共通の基準値として採用した場合には、異なる複数の運転者の顔の上下方向の検出における精度は良好なものとはいえない。
【０００６】
開示の技術は、上記に鑑みてなされたものであって、複数の各運転者の顔の上下方向を精度良く検出することができる顔方向検出装置、顔方向検出プログラム及び顔方向検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願の開示する顔方向検出装置は、一つの態様において、移動体を運転する運転者の顔を、所定方向から異なる時間で複数回撮影することにより得られた複数の画像データを取得する取得部を有する。さらに、本願の開示する顔方向検出装置は、取得部で取得された複数の画像データの各々に基づいて、運転者の顔の特徴量を各画像毎に算出する算出部を有する。さらに、本願の開示する顔方向検出装置は、算出部によって算出された複数の特徴量の共通性に基づいて、運転者に対応する基準値を決定する決定部を有する。さらに、本願の開示する顔方向検出装置は、検出部を有する。検出部は、運転者の顔の上下方向を検出する場合には、以下の処理を行う。すなわち、検出部は、検出時に取得部で取得された画像データに基づいて算出部で算出された運転者の顔の特徴量と、運転者に対応する基準値とに基づいて、運転者の顔の上下方向を検出する。
【発明の効果】
【０００８】
本願の開示する顔方向検出装置の一つの態様によれば、複数の各運転者の顔の上下方向を精度良く検出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施例１に係る顔方向検出装置の車両への搭載例を示す図である。
【図２】図２は、実施例１に係る顔方向検出装置の構成を示すブロック図である。
【図３】図３は、特徴量テーブルの模式図である。
【図４】図４は、顔の特徴量の一例について説明するための図である。
【図５Ａ】図５Ａは、運転者の顔が正面を向いた場合の一例を示す図である。
【図５Ｂ】図５Ｂは、運転者の顔が上に向いた場合の一例を示す図である。
【図５Ｃ】図５Ｃは、運転者の顔が下に向いた場合の一例を示す図である。
【図６】図６は、算出部で算出される特徴量の大きさと、運転者の顔の上下方向の角度との関係の一例を示す図である。
【図７】図７は、基準値テーブルの模式図である。
【図８】図８は、カウント部の処理の一例を説明するための図である。
【図９】図９は、実施例１に係る基準値決定処理の手順を示すフローチャートである。
【図１０】図１０は、実施例１に係る運転支援処理の手順を示すフローチャートである。
【図１１】図１１は、実施例２に係る顔方向検出装置の構成を示すブロック図である。
【図１２】図１２は、実施例２に係る基準値決定処理の手順を示すフローチャートである。
【図１３】図１３は、顔方向検出プログラムを実行するコンピュータを示す図である。
【発明を実施するための形態】
【００１０】
以下に、本願の開示する顔方向検出装置、顔方向検出プログラムおよび顔方向検出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。また、以下の実施例では、移動体としての車両に顔方向検出装置を搭載した例について説明する。
【実施例１】
【００１１】
［車両への搭載例］
図１は、実施例１に係る顔方向検出装置の車両への搭載例を示す図である。図１に示す顔方向検出装置１０は、車両１１の運転席に着座する人物、すなわち運転者１６の顔方向を検出するものである。一例として、顔方向検出装置１０は、運転者１６の顔が正面を向いていない場合、すなわちよそ見運転をしている可能性がある場合に正面を向いて運転するように促す報知を行う。
【００１２】
図１に示すように、顔方向検出装置１０には、カメラ１２と、タッチパネル１４と、スピーカ１５とが接続されている。なお、図１の例では、カメラ１２、タッチパネル１４及びスピーカ１５が顔方向検出装置１０に外部接続される場合を例示したが、顔方向検出装置１０が各デバイスを含むこととしてもかまわない。
【００１３】
カメラ１２は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor  Image  Sensor）やＣＣＤ（Charge  Coupled  Device  Image  Sensor）などの撮像デバイスである。このカメラ１２は、運転者１６の顔を含む画像を撮影可能な位置に設けられている。また、カメラ１２は、運転者１６の顔が撮影範囲に含まれるように設置される。例えば、図１の例では、カメラ１２の光軸１７が運転者１６の顔の一部にあたるとともに運転者１６の顔がカメラ１２の撮影範囲１８に含まれるように、車両１１の運転席と向かい合わせに配される中央部の内装、すなわちコンソールパネル１３内に内蔵される。なお、カメラ１２の設置位置および撮影方向はこれに限られない。例えば、カメラ１２を車両１１のバックミラーやディスプレイ１４に内蔵または付設することとしてもよく、運転者１６の顔がカメラ１２の撮影範囲に含まれれば設置位置や撮影方向は任意に変更できる。また、運転者１６は、職業的な運転手に限定されず、車両１１を運転する者であればよい。
【００１４】
カメラ１２は、後述の取得部２４の指示にしたがって、運転者１６の顔を含む画像を撮影する。以下では、カメラ１２が撮影する運転者１６の顔を含む画像を顔画像と言う。一例としては、カメラ１２は、後述の取得部２４から所定の周期ごとに撮影指示を受け付ける。この撮影指示に応答して、カメラ１２は、運転者１６から撮影した顔画像を、顔画像を撮影した時刻Ｔと共に取得部２４へ出力する。これにより、同一の撮影方向から撮影された顔画像が時系列に取得部２４へ入力されることとなる。なお、カメラ１２を用いて顔画像が取得部２４へ入力される例について説明したが、ネットワークを介して顔画像が取得部２４へ入力されるようにしてもよい。
【００１５】
タッチパネル１４は、液晶パネルやディスプレイなどの表示デバイス上で操作入力を受け付けることができる表示可能かつ入力可能なデバイスである。かかるタッチパネル１４の一態様としては、各種の情報を表示するＬＣＤ（Liquid  Crystal  Display）やＣＲＴ（Cathode  Ray  Tube）などが挙げられる。一例としては、タッチパネル１４は、後述の支援部２９の指示に基づき、よそ見運転が危険である旨のメッセージや正面を向くように促すメッセージなどを表示する。なお、タッチパネル１４は、コンソールパネル１３の内部に設けることとしてもよいし、また、運転者１６またはその他の同乗者が視認できる位置にコンソールパネル１３とは別に設けることとしてもよい。
【００１６】
スピーカ１５は、各種の音声を出力する音声出力デバイスである。一例としては、スピーカ１５は、後述の支援部２９の指示に基づき、よそ見運転が危険である旨のメッセージや正面を向くように促すメッセージなどを音声で出力する。
【００１７】
これらカメラ１２、タッチパネル１４及びスピーカ１５は、オーディオシステムまたはカーナビゲーションシステムとして車両１１に搭載されたものを用いることもできる。
【００１８】
［顔方向検出装置１０の構成］
図２は、実施例１に係る顔方向検出装置の構成を示すブロック図である。図２に示すように、顔方向検出装置１０は、処理部２１と、記憶部２２とを有する。なお、図２の例では、顔方向検出装置１０をモジュール化して搭載する場合を説明するが、車両１１に搭載されるカーナビゲーションシステムにアドオンするソフトウェアとしてインストールすることもできる。
【００１９】
記憶部２２は、例えば、フラッシュメモリ（flash  memory）などの半導体メモリ素子、または、ハードディスク（hard  disk）、光ディスクなどの記憶装置である。なお、記憶部２２は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random  Access  Memory)、ＲＯＭ（Read  Only  Memory)であってもよい。
【００２０】
記憶部２２は、処理部２１で実行される各種プログラム、例えばＯＳ（Operating  System）やそのプログラムの実行に必要なデータを記憶する。このほか、記憶部２２は、例えば、特徴量テーブル２２ａと、基準値テーブル２２ｂとを併せて記憶する。
【００２１】
このうち、特徴量テーブル２２ａは、運転者１６の顔の特徴量と、特徴量が算出された顔画像が撮影された時刻Ｔとを対応付けて記憶したテーブルである。ここで言う顔の特徴量とは、顔パーツの位置から定まる値である。また、顔パーツとは、顔を特徴付けるパーツを指し、例えば、目、鼻、口などが挙げられる。なお、ここでは、目と鼻との間隔と、目と口との間隔との比を特徴量として算出する場合を想定する。図３は特徴量テーブルの模式図である。図３に示す例では、２０１０年４月１日１０時５１分２９秒に撮像された運転者Ａの顔の特徴量がＭ１であることを示す。また、２０１０年４月１日１０時５１分３０秒に撮像された運転者Ａの顔の特徴量がＭ２であることを示す。
【００２２】
図４は、顔の特徴量の一例について説明するための図である。図４に示すように、運転者１６の顔４０には、目４１、鼻４２、口４３が含まれる。図４の例では、後述の算出部２５によって、目４１と鼻４２との間隔ａと、目４１と口４３との間隔ｂとの比（ａ／ｂ）が特徴量として算出される。
【００２３】
次に、後述の算出部２５で算出される特徴量の大きさと、運転者１６の顔の上下方向の角度との関係の一例について、図５Ａ、図５Ｂ、図５Ｃおよび図６を用いて説明する。図５Ａは、運転者の顔が正面を向いた場合の一例を示す図である。図５Ｂは、運転者の顔が上に向いた場合の一例を示す図である。図５Ｃは、運転者の顔が下に向いた場合の一例を示す図である。図６は、算出部で算出される特徴量の大きさと、運転者の顔の上下方向の角度との関係の一例を示す図である。図５Ａ、図５Ｂ、図５Ｃおよび図６の各図の例では、カメラ１２が顔４０の下方向から撮影する場合を想定する。図６の例では、運転者１６の顔４０が正面方向を向いた場合の顔４０の上下方向の角度を０度とする。このため、図６の例では、運転者１６の顔４０が正面方向より上方向に向く場合には、顔４０の上下方向の角度は正の値となる。また、図６の例では、運転者１６の顔４０が正面方向より下方向に向く場合には、顔４０の上下方向の角度は負の値となる。
【００２４】
図５Ａに示す運転者１６の顔４０が正面を向いている場合の目４１と鼻４２との間隔ａ１と、目４１と口４３との間隔ｂ１とを基準にして、図５Ｂに示す場合および図５Ｃに示す場合の各々の場合について説明する。
【００２５】
図５Ｂに示すように、運転者１６の顔４０が正面方向より上を向いた場合には、目４１と鼻４２との間隔ａ２の値は間隔ａ１と比較して大きくなる。また、図５Ｂに示すように、運転者１６の顔４０が正面方向より上を向いた場合には、目４１と口４３との間隔ｂ２の値は間隔ｂ１と比較して小さくなる。したがって、顔４０が正面を向いた場合の特徴量（ａ１／ｂ１）と比較すると、図５Ｂの例の正面方向より上方向を向いた場合の特徴量（ａ２／ｂ２）の大きさは大きくなる。
【００２６】
また、図５Ｃに示すように、運転者１６の顔４０が正面方向より下を向いた場合には、目４１と鼻４２との間隔ａ３の値は間隔ａ１と比較して小さくなる。また、図５Ｃに示すように、運転者１６の顔４０が正面方向より下を向いた場合には、目４１と口４３との間隔ｂ３の値は間隔ｂ１と比較して大きくなる。したがって、顔４０が正面を向いた場合の特徴量（ａ１／ｂ１）と比較すると、図５Ｃの例の正面方向より下方向を向いた場合の特徴量（ａ３／ｂ３）の大きさは小さくなる。
【００２７】
このように、図６の例では、運転者１６の顔４０の角度が上向きになるにつれて、算出部２５によって算出される特徴量は大きくなる。しかしながら、算出部２５によって算出される特徴量（ａ／ｂ）の大きさと、運転者１６の顔４０の上下方向の角度との関係はこれに限られない。例えば、顔４０の上方からカメラ１２によって顔４０に対して撮影を行った場合には、顔４０が上を向くほど特徴量が小さくなる。
【００２８】
なお、目４１と鼻４２との間隔ａと、目４１と口４３との間隔ｂとの比（ａ／ｂ）を特徴量と想定した場合について説明したが、特徴量はこれに限られない。例えば、図４に示すように、口４３と顎４４との間隔ｃを特徴量としてもよいし、目４１、鼻４２、口４３の位置を特徴量としてもよい。すなわち、顔の特徴量は、顔パーツの位置から定まる値であれば、どのような値でも採用することができる。
【００２９】
基準値テーブル２２ｂは、運転者１６ごとにその運転者１６の顔方向を検出する場合に使用する基準値を対応付けて記憶したテーブルである。ここで言う「基準値」は、運転者１６が正面を向いていると推定される顔４０の特徴量を指す。図７は基準値テーブルの模式図である。図７に示す例では、運転者Ａが正面を向いている場合の顔の特徴量としてＭＡが登録されている。また、運転者Ｂが正面を向いている場合の顔の特徴量としてＭＢが登録されている。なお、上記の基準値は、後述の決定部２７によって決定される基準値が運転者１６ごとに登録される。
【００３０】
ここで、基準値について説明する。基準値は、運転者１６の顔の上下方向の検出を行う際に用いられる基準となる値である。基準値は、検出精度の観点から、運転者１６が正面を向いた場合の特徴量であることが好ましい。運転者１６は、車両１１などの移動体を運転する際には、正面を向くことが最も多い。このため、運転者１６の顔４０の複数の特徴量のうち、運転者１６が正面を向いた場合に算出される特徴量が出現する頻度が最も高くなる。よって、後述のカウント部２６によってカウントされた最も頻度が高い特徴量が、後述の決定部２７によって基準値として決定される。このように、顔方向検出装置１０は、基準値として顔パーツの位置から定まる値を採用したので、一般の顔認証における特徴量と比較すると、装置自身が記憶する情報量が少なくなる。
【００３１】
処理部２１は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などの集積回路またはＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などの電子回路である。
【００３２】
処理部２１は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有している。処理部２１は、これらのプログラムや制御データによって種々の処理を実行する。処理部２１は、図２に示すように、取得部２４と、算出部２５と、カウント部２６と、決定部２７と、検出部２８と、支援部２９とを有する。
【００３３】
取得部２４は、カメラ１２から入力された顔画像を、顔画像が撮影された時刻Ｔと共に取得する。例えば、取得部２４は、所定の周期ごとに撮影指示をカメラ１２へ出力する。また、取得部２４は時間を計測するためのタイマーを有している。
【００３４】
算出部２５は、取得部２４で取得された複数の顔画像の各々に基づいて、運転者１６の顔４０の特徴量を算出する。例えば、算出部２５は、取得部２４で取得された複数の顔画像の各々に基づいて、公知の技術を用いて、顔画像ごとに、目４１、鼻４２、口４３を検出する。そして、算出部２５は、目４１と鼻４２との間隔ａと、目４１と口４３との間隔ｂとを各顔画像ごとに算出する。続いて、算出部２５は、算出した間隔ａと間隔ｂとの比（ａ／ｂ）を特徴量として各顔画像ごとに算出する。その後、算出部２５は、算出した特徴量（ａ／ｂ）と、顔画像が撮影された時刻Ｔとを対応付けて特徴量テーブル２２ａに登録する。
【００３５】
カウント部２６は、特徴量テーブル２２ａに登録された特徴量の大きさに関する頻度をカウントする。図８は、カウント部の処理の一例を説明するための図である。図８には、運転者１６が運転中において、カウント部２６によって作成されるヒストグラム５０が示されている。ヒストグラム５０は、横軸を特徴量の大きさとし、縦軸を特徴量の所定範囲ＲをＮ個の区間で区切った各区間Ｌｉ（ｉ＝１〜Ｎ）の特徴量が出現する頻度とするグラフである。カウント部２６は、算出部２５によって特徴量が算出されるごとに、算出された特徴量が属する区間Ｌｉを特定する。なお、区間Ｌｊ−１（ｊ＝２〜Ｎ）と区間Ｌｊとの境界部分の特徴量については区間Ｌｊ−１に属することとする。そして、カウント部２６は、区間Ｌｉが特定されるごとに、特定した区間Ｌｉの頻度を１つインクリメントしてヒストグラム５０を作成する。
【００３６】
決定部２７は、複数の特徴量の共通性に基づいて、運転者１６に対応する基準値を決定する。ここで、運転者１６は、運転中は正面を向いていることが最も多いため、運転者１６が正面を向いている場合の特徴量の頻度が最も高くなる。そこで、決定部２７は、頻度が最も高い区間Ｌｉの特徴量の中間値Ｐを、運転者１６が正面を向いている場合の基準値として決定する。そして、決定部２７は、決定した基準値を基準値テーブル２２ｂに登録する。
【００３７】
また、決定部２７は、基準値を決定した場合に、運転者１６がよそ見をしているかを判定するために、運転者１６の顔４０が上下方向の範囲で正面を向いていると推定される角度を許容範囲として決定する。例えば、図６に示すように、決定部２７は、基準値Ｐを決定した場合に、基準値Ｐに対応する角度θ１を決定する。そして、決定部２７は、角度θ１を含む上下方向の許容範囲として、角度θ１より小さい角度θ２以上であって、角度θ１より大きい角度θ３以下の範囲を決定する。なお、決定部２７は、決定した基準値Ｐに対応する角度θ１を含む上下方向の許容範囲として、次に示すような範囲を決定してもよい。すなわち、決定部２７は、図６に示すように、角度θ１以上であって、角度θ１より大きい角度θ４以下の範囲を決定してもよい。また、決定部２７は、図６に示すように、角度θ１より小さい角度θ５以上であって、角度θ１以下の範囲を決定してもよい。
【００３８】
検出部２８は、運転者１６の顔の上下方向を検出する。例えば、検出部２８は、基準値テーブル２２ｂから運転者１６に対応する基準値を取得する。そして、検出部２８は、取得した基準値と、算出部２５で算出された運転者１６の顔４０の特徴量との差から変化量を算出する。その後、検出部２８は、算出した変化量に基づいて、運転者１６の顔の上下方向の角度を検出する。
【００３９】
支援部２９は、運転者１６の運転を支援する。例えば、支援部２９は、検出部２８で検出された運転者１６の顔の上下方向の角度が、決定部２７で決定された許容範囲内であるか否かを判定する。すなわち、支援部２９は、運転者１６がよそ見をしているような危険な状況であるか否かを判定する。そして、支援部２９は、運転者１６の顔の上下方向の角度が、許容範囲内でない場合に、よそ見運転が危険である旨のメッセージや正面を向くように促すメッセージなどをタッチパネル１４やスピーカ１５に入力する。これにより、タッチパネル１４やスピーカ１５によって、よそ見運転が危険である旨のメッセージや正面を向くように促すメッセージなどが報知される。この報知によって、運転者１６の運転が安全となるように支援される。
【００４０】
［処理の流れ］
次に、図９及び１０を用いて、本実施例に係る顔方向検出装置の処理の流れを説明する。なお、以下では、基準値を決定する基準値決定処理を説明した後、基準値決定処理で決定された基準値を用いて運転者１６の運転支援を行う運転支援処理を説明する。
【００４１】
［基準値決定処理］
図９は、実施例１に係る基準値決定処理の手順を示すフローチャートである。図９に示す基準値決定処理は、運転者１６による車両１１の運転が開始された場合に起動される処理である。例えば、車両１１の図示しないイグニッションスイッチがオンされた場合や、図示しない車速センサによって車両１１の車速が所定値以上となった場合に、基準値決定処理は起動される。
【００４２】
図９に示すように、取得部２４は、タイマーをスタートして時間の計測を開始する（ステップＳ１００）。そして、取得部２４は、カメラ１２から運転者１６の顔を含む画像の画像データを取得する（ステップＳ１０１）。
【００４３】
続いて、算出部２５は、取得部２４で取得された画像データに基づいて、運転者１６の顔の特徴量を算出する（ステップＳ１０２）。
【００４４】
そして、算出部２５は、ステップＳ１０２で算出した特徴量と、特徴量が算出された顔画像が撮影された時刻Ｔとを対応付けて特徴量テーブル２２ａに登録する（ステップＳ１０３）。
【００４５】
その後、取得部２４は、タイマーが計測した時間が所定期間αより大きいか否かを判定する（ステップＳ１０４）。タイマーが計測した時間が所定期間α以下である場合（ステップＳ１０４Ｎｏ）には、ステップＳ１０１に移行する。
【００４６】
これにより、ステップＳ１０１〜Ｓ１０３の各処理が、タイマーが計測した時間が所定期間αより大きくなるまで繰り返し行われる。その結果、取得部２４は、所定方向１７から異なる時間で複数回撮影することにより得られた複数の画像データを取得することとなる。また、算出部２５は、複数の画像データの各々に基づいて、運転者１６の顔４０の特徴量を各画像毎に算出することとなる。
【００４７】
一方、タイマーが計測した時間が所定期間αより大きい場合（ステップＳ１０４Ｙｅｓ）には、取得部２４は、タイマーを停止し、リセットする（ステップＳ１０５）。これにより、取得部２４によるタイマーを用いた時間の計測が停止される。
【００４８】
そして、カウント部２６は、特徴量テーブル２２ａに登録された特徴量の大きさに関する特徴量の頻度をカウントする（ステップＳ１０６）。
【００４９】
続いて、決定部２７は、ステップＳ１０６でカウントされた頻度が最も高い特徴量を特定する（ステップＳ１０７）。そして、決定部２７は、特定された特徴量を基準値として決定する（ステップＳ１０８）。
【００５０】
その後、決定部２７は、ステップＳ１０８で決定した基準値を、基準値テーブル２２ｂに登録し（ステップＳ１０９）、処理を終了する。このように、基準値決定処理によって、運転者１６が正面を向いた場合の特徴量が基準値として決定される。
【００５１】
［運転支援処理］
図１０は、実施例１に係る運転支援処理の手順を示すフローチャートである。図１０に示す運転支援処理は、以下の場合に起動される処理である。すなわち、運転支援処理は、基準値決定処理によって基準値が基準値テーブル２２ｂに登録され、かつ、運転者１６による車両１１の運転が開始された場合に起動される処理である。「運転者１６による車両１１の運転が開始された場合」とは、例えば、車両１１の図示しないイグニッションスイッチがオンされた場合である。また、「運転者１６による車両１１の運転が開始された場合」とは、例えば、図示しない車速センサによって車両１１の車速が所定値以上となった場合である。
【００５２】
図１０に示すように、取得部２４は、カメラ１２から運転者１６の顔を含む画像の画像データを取得する（ステップＳ２００）。
【００５３】
そして、算出部２５は、ステップＳ２００で取得された画像データに基づいて、運転者１６の顔４０の特徴量を算出する（ステップＳ２０１）。
【００５４】
そして、検出部２８は、基準値テーブル２２ｂから基準値を取得する（ステップＳ２０２）。続いて、検出部２８は、ステップＳ２０１で算出された運転者１６の顔４０の特徴量と、ステップＳ２０２で取得した基準値との差から変化量を算出する（ステップＳ２０３）。その後、検出部２８は、ステップＳ２０３で算出した変化量に基づいて、運転者１６の顔４０の上下方向の角度を検出する（ステップＳ２０４）。
【００５５】
そして、支援部２９は、ステップＳ２０４で検出された運転者１６の顔４０の上下方向の角度が、決定部２７によって決定された許容範囲内であるか否かを判定する（ステップＳ２０５）。
【００５６】
そして、運転者１６の顔４０の上下方向の角度が許容範囲内でないと判定した場合（ステップＳ２０５Ｎｏ）には、支援部２９は、次のような処理を行う。すなわち、支援部２９は、タッチパネル１４やスピーカ１５を介して、よそ見運転が危険である旨のメッセージや正面を向くように促すメッセージなどを報知する（ステップＳ２０６）。
【００５７】
一方、運転者１６の顔４０の上下方向の角度が許容範囲内であると判定した場合（ステップＳ２０５Ｙｅｓ）には、運転者１６の顔４０は正面を向いていると推定できるので、処理を終了する。
【００５８】
［実施例１の効果］
上述してきたように、本実施例に係る顔方向検出装置１０は、所定方向から異なる時間で複数回撮影することにより得られた運転者の複数の顔画像を取得する。そして、本実施例に係る顔方向検出装置１０は、取得した複数の画像データの各々に基づいて、運転者の顔の特徴量を各画像毎に算出する。続いて、本実施例に係る顔方向検出装置１０は、算出した複数の特徴量の共通性に基づいて、基準値を決定する。その後、本実施例に係る顔方向検出装置１０は、決定した基準値を用いて、運転者の顔の上下方向を検出する。このように、本実施例に係る顔方向検出装置１０は、乗車中に出現する顔の特徴量のうち最も共通する標本数が多い顔の正面の特徴量を基準値として運転者の顔の上下方向の検出に使用できる。したがって、本実施例に係る顔方向検出装置１０によれば、運転者の顔の上下方向を精度良く検出することができる。
【００５９】
また、本実施例に係る顔方向検出装置１０は、運転者の顔に含まれるパーツの位置から定まる値の分布に基づいて、基準値を決定する。このように、本実施例に係る顔方向検出装置１０は、乗車中に出現する顔に含まれるパーツの位置から定まる値のうち最も共通する標本数が多い顔の正面の値を基準値として運転者の顔の上下方向の検出に使用できる。したがって、本実施例に係る顔方向検出装置１０によれば、運転者の顔の上下方向を精度良く検出することができる。また、本実施例に係る顔方向検出装置１０は、基準値として運転者の顔に含まれるパーツの位置から定まる値を採用したので、一般の顔認証における特徴量と比較すると、装置自身が記憶する情報量が少なくなる。
【００６０】
また、本実施例に係る顔方向検出装置１０は、運転者の顔に含まれるパーツのうち、目と鼻との間隔と、目と顔に含まれる口との間隔との比の分布に基づいて、基準値を決定する。このように、本実施例に係る顔方向検出装置１０は、基準値として運転者の顔に含まれる目と鼻との間隔と、目と顔に含まれる口との間隔との比を採用したので、一般の顔認証における特徴量と比較すると、装置自身が記憶する情報量が少なくなる。  
【実施例２】
【００６１】
さて、上記の実施例１では、基準値を決定するまでの期間を固定とした場合を例示したが、これに限定されるものではない。そこで、実施例２では、基準値を決定するまでの期間を可変とする場合について説明する。
【００６２】
本実施例に係る顔方向検出装置は、特徴量の値が収束した場合の特徴量の平均値を基準値として決定する。この理由は、特徴量が収束した場合には、運転者の顔が正面を向いていると推定されるため、収束した場合の特徴量の平均値は、運転者の顔が正面を向いている場合の特徴量であると推定されるからである。また、この平均値は、特徴量が収束した場合の収束値とすることができる。
【００６３】
［顔方向検出装置６２の構成］
図１１は、実施例２に係る顔方向検出装置の構成を示すブロック図である。図１１に示すように、処理部６３は、図２に示す実施例１に係る処理部２１に比較して、実施例１のカウント部２６および決定部２７に代えて、判定部６０および決定部６１を有する点が異なる。なお、以下では、上記の実施例１と同様の機能を果たす機能部については図２と同様の符号を付し、その説明は省略することとする。
【００６４】
判定部６０は、複数の特徴量の値が収束したか否かを判定する。例えば、判定部６０は、特徴量テーブル２２ａに登録された複数の特徴量の平均値を算出する。そして、判定部６０は、算出した平均値から分散値を算出する。そして、判定部６０は、算出した分散値が所定値β以下であるか否かを判定することによって、複数の特徴量の値が収束したか否かを判定する。
【００６５】
決定部６１は、基準値を決定する。例えば、決定部６１は、判定部６０によって分散値が所定値β以下となると判定された場合には、判定部６０で算出した平均値を基準値として決定する。これは、特徴量が収束した場合には、運転者１６の顔４０が正面を向いていると推定されるため、収束した場合の特徴量の平均値は、運転者１６の顔４０が正面を向いている場合の特徴量であると推定されるからである。
【００６６】
また、決定部６１は、基準値を決定した場合に、運転者１６がよそ見をしているかを判定するために、運転者１６の顔４０が上下方向の範囲で正面を向いていると推定される角度を許容範囲として決定する。
【００６７】
［処理の流れ］
次に、図１２を用いて、本実施例に係る顔方向検出装置の処理の流れを説明する。図１２は、本実施例に係る基準値決定処理の手順を示すフローチャートである。
【００６８】
図１２に示す基準値決定処理は、運転者１６による車両１１の運転が開始された場合に起動される処理である。例えば、車両１１の図示しないイグニッションスイッチがオンされた場合や、図示しない車速センサによって車両１１の車速が所定値以上となった場合に、基準値決定処理は起動される。
【００６９】
図１２に示すように、取得部２４は、カメラ１２から運転者１６の顔４０を含む画像の画像データを取得する（ステップＳ３００）。
【００７０】
そして、算出部２５は、取得部２４で取得された画像データに基づいて、運転者１６の顔４０の特徴量を算出する（ステップＳ３０１）。
【００７１】
算出部２５は、ステップＳ３０１で算出した特徴量を特徴量テーブル２２ａに登録する（ステップＳ３０２）。なお、後述のステップＳ３０３での判定の精度が低下するのを防止するために、所定個、例えば２００個の複数の特徴量が特徴量テーブル２２ａに登録されるまで、上記ステップＳ３００〜Ｓ３０２の処理を繰り返し行ってもよい。
【００７２】
そして、判定部６０は、特徴量テーブル２２ａに登録された複数の特徴量の平均値を算出し、算出した平均値から分散値を算出する（ステップＳ３０３）。そして、判定部６０は、複数の特徴量の値が収束したか否かを判定する（ステップＳ３０４）。
【００７３】
複数の特徴量の値が収束していない場合（ステップＳ３０４Ｎｏ）には、ステップＳ３００に移行する。一方、複数の特徴量の値が収束した場合、例えば分散値が所定値β以下となると判定された場合（ステップＳ３０４Ｙｅｓ）には、決定部６１は、判定部６０で算出した平均値を基準値として決定する（ステップ３０５）。
【００７４】
そして、決定部６１は、ステップＳ３０５で決定した基準値を、基準値テーブル２２ｂに登録し（ステップＳ３０６）、処理を終了する。
【００７５】
基準値決定処理によって、収束した場合の複数の特徴量の平均値が基準値として決定される。このように、ステップＳ３００〜ステップＳ３０６の処理によれば、特徴量の値が早く収束すればするほど基準値が早く決定される。また、ステップＳ３００〜ステップＳ３０６の処理によれば、特徴量の値が収束するまで時間をかけて基準値が決定される。したがって、本実施例の顔方向検出装置６２によれば、基準値を決定するまでの時間を可変にできる。
【００７６】
なお、本実施例２に係る運転支援処理は、実施例１に係る運転支援処理と同様であるため、本実施例２に係る運転支援処理についての説明は省略する。
【００７７】
［実施例２の効果］
上述してきたように、本実施例に係る顔方向検出装置６２は、所定方向から異なる時間で複数回撮影することにより得られた運転者の複数の顔画像を取得する。そして、本実施例に係る顔方向検出装置６２は、取得した複数の画像データの各々に基づいて、運転者の顔の特徴量を各画像毎に算出する。続いて、本実施例に係る顔方向検出装置６２は、算出した複数の特徴量の共通性に基づいて、基準値を決定する。その後、本実施例に係る顔方向検出装置６２は、決定した基準値を用いて、運転者の顔の上下方向を検出する。このように、本実施例に係る顔方向検出装置６２は、乗車中に出現する顔の特徴量のうち最も共通する標本数が多い顔の正面の特徴量を基準値として運転者の顔の上下方向の検出に使用できる。したがって、本実施例に係る顔方向検出装置６２によれば、運転者の顔の上下方向を精度良く検出することができる。
【００７８】
また、本実施例に係る顔方向検出装置６２は、運転者の顔に含まれるパーツの位置から定まる値が収束した場合の収束値を基準値として決定する。このように、本実施例に係る顔方向検出装置６２は、乗車中に出現する顔に含まれるパーツの位置から定まる値が収束した場合の顔の正面の値である収束値を基準値として顔の上下方向の検出に使用できる。したがって、本実施例に係る顔方向検出装置６２によれば、運転者の顔の上下方向を精度良く検出することができる。また、本実施例に係る顔方向検出装置６２は、基準値として運転者の顔に含まれるパーツの位置から定まる値を採用したので、一般の顔認証における特徴量と比較すると、装置自身が記憶する情報量が少なくなる。また、本実施例に係る顔方向検出装置６２によれば、運転者の顔に含まれるパーツの位置から定まる値が収束するまで基準値が決定されないので、基準値を決定するまでの時間を可変にできる。
【００７９】
また、本実施例に係る顔方向検出装置６２は、運転者の顔に含まれる目と鼻との間隔と、目と顔に含まれる口との間隔との比が収束した場合の収束値を基準値として決定する。このように、本実施例に係る顔方向検出装置６２は、基準値として運転者の顔に含まれる目と鼻との間隔と、目と顔に含まれる口との間隔との比を採用したので、一般の顔認証における特徴量と比較すると、装置自身が記憶する情報量が少なくなる。
【００８０】
［適用例および応用例］
また、実施例１の顔方向検出装置１０は、最も頻度の高い特徴量を基準値として決定したが、これに限られず、頻度が上位数％、例えば、上位１５％内のいずれかの特徴量を基準値として決定してもよい。また、頻度が上位１５％内の特徴量の平均値を基準値として決定してもよい。
【００８１】
また、実施例１及び実施例２では、一人の運転者に対して基準値を決定し、決定した基準値を用いて顔の上下方向を検出する場合を例示したが、開示の顔方向検出装置はこれに限定されない。例えば、複数の各運転者を識別し、各運転者ごとに基準値を決定し、決定した各運転者に対応する基準値を用いて各運転者の顔の上下方向を検出することもできる。具体的な例を挙げて説明する。開示の顔方向検出装置は、運転者を識別するための情報、例えば、氏名などをタッチパネルを介して取得する。そして、開示の顔方向検出装置は、運転者ごとに基準値決定処理を実行し、その処理のステップＳ１０９またはステップＳ３０６で、運転者を識別するための情報に対応付けて基準値を基準値テーブル２２ｂに登録する。その後、開示の顔方向検出装置は、運転支援処理を実行する場合に、運転者を識別するための情報をタッチパネルを介して取得する。そして、開示の顔方向検出装置は、運転支援処理を実行し、その処理のステップＳ２０２で、運転者を識別するための情報に対応する基準値を基準値テーブル２２ｂから取得し、ステップＳ２０４で顔の上下方向を検出する。この開示の顔方向検出装置は、各運転者の上下方向の検出を行う場合に、各運転者に対応する基準値を用いているため、複数の運転者の顔の上下方向を個別に精度良く検出することができる。
【００８２】
そして、開示の顔方向検出装置は、運転者毎に許容範囲を決定する。例えば、図６に示すように、開示の顔方向検出装置は、ある運転者の基準値をＰに決定し、他の運転者の基準値をＱに決定する。そして、開示の顔方向検出装置は、基準値Ｐ及び基準値Ｑのそれぞれに対応する角度を含む上下方向の許容範囲を決定する。基準値Ｐに対応する運転者の許容範囲については、既に説明した内容と同一であるため、説明を省略する。
【００８３】
基準値Ｑに対応する角度の許容範囲について説明する。図６の例では、基準値Ｑに角度θ６が対応する。開示の顔方向検出装置は、角度θ６を含む上下方向の許容範囲として、角度θ６より小さい角度θ７以上であって、角度θ６より大きい角度θ８以下の範囲を決定する。なお、開示の顔方向検出装置は、基準値Ｑに対応する角度θ６を含む上下方向の許容範囲として、次に示すような範囲を決定してもよい。すなわち、開示の顔方向検出装置は、図６に示すように、角度θ６以上であって、角度θ６より大きい角度θ９以下の範囲を決定してもよい。また、開示の顔方向検出装置は、図６に示すように、角度θ６より小さい角度θ１０以上であって、角度θ６以下の範囲を決定してもよい。
【００８４】
このように、開示の顔方向検出装置は、運転者毎に許容範囲を決定し、運転者１６がよそ見をしているかを判定するために、決定した許容範囲を用いるため、複数の運転者に対して、よそ見をしているかの判定を個別に精度良く行うことができる。
【００８５】
また、実施例１及び実施例２では、特徴量テーブル２２ａに時刻Ｔの登録を行う場合を例示したが、開示の顔方向検出装置は、これに限定されない。例えば、特徴量テーブル２２ａに時刻Ｔの登録を行わないようにしてもよい。
【００８６】
また、実施例１及び実施例２では、顔の上下方向の角度が許容範囲内であるかを判定し、判定結果に基づいて運転支援を行う場合を例示したが、開示の顔方向検出装置は、これに限定されない。例えば、開示の顔方向検出装置は、顔の上下方向および左右方向の角度が許容範囲内であるかを判定し、判定結果に基づいて運転支援を行うことができる。
【００８７】
また、実施例１及び実施例２では、期間αは所定の値である場合を例示したが、これに限定されるものではない。例えば、期間αの値を任意に変更することができる。
【００８８】
また、各実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。また、本実施例において説明した各処理のうち、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。例えば、図９のステップＳ１０１、図１０のステップＳ２００、図１２のステップＳ３００において、手動で画像データを入力してもよい。
【００８９】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２、図１１に示す特徴量テーブル２２ａと基準値テーブル２２ｂとが統合されてもよい。
【００９０】
また、図２に示す処理部２１が有する各部を適宜分散・統合して構成するようにしてもよい。例えば、カウント部２６と、決定部２７とを統合して構成するようにしてもよい。また、図１１に示す処理部６３が有する各部を適宜分散・統合して構成するようにしてもよい。例えば、判定部６０と、決定部６１とを統合して構成するようにしてもよい。
【００９１】
［顔方向検出プログラム］
また、上記の各実施例で説明した顔方向検出装置１０、６２の各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図１３を用いて、上記の実施例で説明した顔方向検出装置１０、６２と同様の機能を有する顔方向検出プログラムを実行するコンピュータの一例を説明する。図１３は、顔方向検出プログラムを実行するコンピュータを示す図である。
【００９２】
図１３に示すように、実施例３におけるコンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＲＯＭ（Read Only Memory）３２０、ＨＤＤ（Hard Disk Drive）３３０、ＲＡＭ（Random Access Memory）３４０とを有する。これら３００〜３４０の各部は、バス４００を介して接続される。
【００９３】
ＲＯＭ３２０には、上記の実施例１で示す取得部２４と、算出部２５と、カウント部２６と、決定部２７と、検出部２８と、支援部２９と同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ３２０には、図１３に示すように、取得プログラム３２０ａと、算出プログラム３２０ｂと、カウントプログラム３２０ｃとが記憶される。また、ＲＯＭ３２０には、図１３に示すように、決定プログラム３２０ｄと、検出プログラム３２０ｅと、支援プログラム３２０ｆとが記憶される。なお、これらのプログラム３２０ａ〜３２０ｆについては、図２に示した顔方向検出装置１０の各構成要素と同様、適宜統合又は分離しても良い。
【００９４】
そして、ＣＰＵ３１０が、これらのプログラム３２０ａ〜３２０ｆをＲＯＭ３２０から読み出して実行する。これによって、ＣＰＵ３１０は、図１３に示すように、プログラム３２０ａ〜３２０ｃについては、取得プロセス３１０ａと、算出プロセス３１０ｂと、カウントプロセス３１０ｃとして機能するようになる。また、ＣＰＵ３１０は、図１３に示すように、プログラム３２０ｄ〜３２０ｆについては、決定プロセス３１０ｄと、検出プロセス３１０ｅと、支援プロセス３１０ｆとして機能するようになる。なお、各プロセス３１０ａ〜３１０ｆは、図２に示した、取得部２４と、算出部２５と、カウント部２６と、決定部２７と、検出部２８と、支援部２９とにそれぞれ対応する。また、ＣＰＵ３１０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ３１０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
【００９５】
そして、ＨＤＤ３３０には、特徴量テーブル３３０ａと、基準値テーブル３３０ｂが設けられる。なお、これら特徴量テーブル３３０ａ及び基準値テーブル３３０ｂは、図２に示したこれら特徴量テーブル２２ａ及び基準値テーブル２２ｂに対応する。 
【００９６】
そして、ＣＰＵ３１０は、特徴量テーブル３３０ａと、基準値テーブル３３０ｂを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された特徴量データ３４０ａと、基準値データ３４０ｂとを用いて、顔方向検出プログラムを実行する。なお、ＲＡＭ３４０に格納される各データは、常に全てのデータがＲＡＭ３４０に格納される必要はなく、処理に必要なデータのみがＲＡＭ３４０に格納されれば良い。
【００９７】
また、上記の実施例１の場合と同様に、ＲＯＭ３２０に、上記の実施例２で示す取得部２４と、算出部２５と、判定部６０と、決定部６１と、検出部２８と、支援部２９と同様の機能を発揮する制御プログラムを予め記憶しておくようにしてもよい。これにより、ＣＰＵ３１０は、実施例２に対応する顔方向検出プログラムを実行する。
【００９８】
なお、上記した顔方向検出プログラムについては、必ずしも最初からＨＤＤ３３０に記憶させておく必要はない。
【００９９】
例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラムを読み出して実行するようにしてもよい。 
【０１００】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【０１０１】
以下の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１０２】
（付記１）移動体を運転する運転者の顔を、所定方向から異なる時間で複数回撮影することにより得られた複数の画像データを取得する取得部と、
前記取得部で取得された複数の画像データの各々に基づいて、前記運転者の顔の特徴量を各画像毎に算出する算出部と、
前記算出部によって算出された複数の特徴量の共通性に基づいて、前記運転者に対応する基準値を決定する決定部と、
前記取得部で取得された前記画像データに基づいて前記算出部で算出された前記運転者の顔の特徴量と、前記運転者に対応する前記基準値とに基づいて、前記運転者の顔の上下方向を検出する検出部と
を有することを特徴とする顔方向検出装置。
【０１０３】
（付記２）前記特徴量は、前記運転者の顔に含まれるパーツのうち、パーツの位置から定まる値であって、
前記決定部は、前記値の分布に基づいて、前記基準値を決定することを特徴とする付記１に記載の顔方向検出装置。
【０１０４】
（付記３）前記特徴量は、前記運転者の顔に含まれるパーツの位置から定まる値であって、
前記決定部は、前記値が収束した場合の収束値を前記基準値として決定することを特徴とする付記１に記載の顔方向検出装置。
【０１０５】
（付記４）前記決定部は、複数の特徴量および該複数の特徴量の平均値に基づいて、分散値を算出し、該分散値が所定値以下の場合における平均値を前記基準値として決定する付記３に記載の顔方向検出装置。
【０１０６】
（付記５）前記値は、
前記運転者の顔に含まれるパーツのうち、目と鼻との間隔と、前記目と前記顔に含まれる口との間隔との比である付記２〜４のいずれか１つに記載の顔方向検出装置。
【０１０７】
（付記６）移動体を運転する運転者の顔を、所定方向から異なる時間で複数回撮影することにより得られた複数の画像データを取得する取得手順と、
前記取得手順で取得された複数の画像データの各々に基づいて、前記運転者の顔の特徴量を各画像毎に算出する算出手順と、
前記算出手順によって算出された複数の特徴量の共通性に基づいて、前記運転者に対応する基準値を決定する決定手順と、
前記取得手順で取得された前記画像データに基づいて前記算出手順で算出された前記運転者の顔の特徴量と、前記運転者に対応する前記基準値とに基づいて、前記運転者の顔の上下方向を検出する検出手順と
をコンピュータに実行させることを特徴とする顔方向検出プログラム。
【０１０８】
（付記７）コンピュータが、
移動体を運転する運転者の顔を、所定方向から異なる時間で複数回撮影することにより得られた複数の画像データを取得し、
取得された複数の画像データの各々に基づいて、前記運転者の顔の特徴量を各画像毎に算出し、
算出された複数の特徴量の共通性に基づいて、前記運転者に対応する基準値を決定し、
前記運転者の顔の上下方向を検出する場合には、当該検出時に取得された前記画像データに基づいて算出された前記運転者の顔の特徴量と、前記運転者に対応する前記基準値とに基づいて、前記運転者の顔の上下方向を検出する
処理を実行することを特徴とする顔方向検出方法。
【符号の説明】
【０１０９】
１０、６２        顔方向検出装置
１１              車両
１２              カメラ
１３              コンソールパネル
１４              タッチパネル
１５              スピーカ
２１              処理部
２２              記憶部
２２ａ            特徴量テーブル
２２ｂ            基準値テーブル
２４              取得部
２５              算出部
２６              カウント部
２７              決定部
２８              検出部
２９              支援部
【図１】
2012022579.tif 000003
【図２】
2012022579.tif 000004
【図３】
2012022579.tif 000005
【図４】
2012022579.tif 000006
【図５Ａ】
2012022579.tif 000007
【図５Ｂ】
2012022579.tif 000008
【図５Ｃ】
2012022579.tif 000009
【図６】
2012022579.tif 000010
【図７】
2012022579.tif 000011
【図８】
2012022579.tif 000012
【図９】
2012022579.tif 000013
【図１０】
2012022579.tif 000014
【図１１】
2012022579.tif 000015
【図１２】
2012022579.tif 000016
【図１３】
2012022579.tif 000017