(57)【要約】【課題】  運転者の画像から運転者の状態を安定に判断する装置及び方法を提供する。【解決手段】  時系列画像を得る画像入力部１０１と、入力された画像中から顔を検出する顔検出部１０２と、検出された顔の位置が安全であるかどうか判断する顔領域判定部１０４と、顔領域判定部の結果から運転者の状態を判定する運転者状況判定部１０６と、運転者状況判定部の結果を運転者に出力する結果出力部１０７とを具備する。【選択図】  図１
2005108033.tif 000002
【特許請求の範囲】
【請求項１】
入力された時系列画像中から運転者の顔の特徴点または顔領域を検出する顔検出部と、検出された顔の特徴点または顔領域の位置が画像内の適正な位置にあるか判断する顔領域判定部と、顔領域判定部の結果または顔検出部の結果から運転者の状態を判定する運転者状況判定部と、運転者に通知するため前記運転者状況判定結果を出力する結果出力部を有することを特徴とする運転者状況判定装置。
【請求項２】
予め取得された顔画像または顔の特徴点情報と比較して、検出された顔が運転者本人のものであるか同定する運転者認識部を有し、前記運転者状況判定部は、前記認識結果に基づいて運転者の状態を判定することを特徴とする請求項１記載の運転者状況判定装置。
【請求項３】
前記運転者状況判定部は、運転者が運転している機体の状態に関する情報に基づいて運転者の状態を判定することを特徴とする請求項１または２記載の運転者状況判定装置。
【請求項４】
運転者以外の第三者に通知するため、前記運転者状況判定結果を出力する外部出力部を有することを特徴とする請求項１、２または３記載の運転者状況判定装置。
【請求項５】
前記運転者状況判定部の結果に応じて機体を制御する機体制御部を有することを特徴とする請求項１、２、３または４記載の運転者状況判定装置。
【請求項６】
入力された時系列画像中から運転者の顔の特徴点または顔領域を検出する顔検出手段と、検出された顔の特徴点または顔領域の位置が画像内の適性な位置にあるか判断する顔領域判定手段と、顔領域判定手段の結果または顔検出手段の結果から運転者の状態を判定する運転者状況判定手段と、運転者に通知するため前記運転者状況判定結果を出力する結果出力手段を有することを特徴とする運転者状況判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車などの移動体に取り付けられたＴＶカメラのような受光装置によって撮影される画像内で、運転者の状態を解析することにより、居眠りやよそ見、わき見などの危険な状態を察知し、運転者への警告や移動体の制御を行う運転者状態解析装置および運転者状態解析方法に関する。
【背景技術】
【０００２】
カメラ等の撮像素子を用いて自動車の運転者の居眠りなど運転者の状態を画像処理により判定する方法としては、カメラにより撮像された運転者の顔の画像から，その人の目の状態を解析し、まぶたを閉じている場合には居眠りと判断する手法（特許文献１）が検討されている。
【０００３】
しかし、被験者たる人間の目には個人差があり、目の細い人物や、まつげの長い人物の場合は、必ずしもまぶたの開閉状態を正確に判断できるとは限らない。また、居眠りの状態になった場合には、顔がうつむきの状態になることも考えられ、うつむいた時に目が隠れてしまうと、カメラの画像でまぶたの開閉状態を確認することができず、被験者の目の状態を解析することができないという問題がある。
【０００４】
また被験者を画像処理で状態監視する方法として、カメラを用いて運転者のまばたきを検出し、その回数や周期を調べることにより運転者が居眠り状態であるかどうかを判断する方法（特許文献２）もある。しかし、前述の手法と同様に、目の個人差や開閉状態を正確に検出するのは難しい上に、まばたきの周期は個人によって異なるため、居眠り状態を正確に判断することは難しい。
【特許文献１】特開２００２−２７９４１０号公報
【特許文献２】特開平０８−２２５０２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上説明した通り、運転者の居眠りなど運転者の状態を検出するためには、運転者に負担の少ない非接触型のカメラを使って画像を撮影し、解析する方法が有効であるが、個人差や状態判定の難しい目のみに頼らないで、正確に居眠りを判定する方法が望まれている。
【０００６】
本発明は、カメラを用いて運転者の顔位置を検出し、その顔位置の動きに注目することにより、運転者の状態を個人差などに影響されず解析することを可能とする、運転者状態判別装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、入力された時系列画像中から運転者の顔の特徴点または顔領域を検出する顔検出部と、検出された顔の特徴点または顔領域の位置が画像内の適正な位置にあるか判断する顔領域判定部と、顔領域判定部の結果または顔検出部の結果（わき見をして顔検出できなかった場合）から運転者の状態を判定する運転者状況判定部と、運転者に通知するため前記運転者状況判定結果を出力する結果出力部を有することを特徴とする運転者状況判定装置を提供する。
【０００８】
また本発明において、検出された顔が運転者本人のものであるか同定する運転者認識部を有し、前記運転者状況判定部は、前記認識結果に基づいて運転者の状態を判定することを特徴とする。
【０００９】
また本発明において、前記運転者状況判定部は、運転者が運転している機体の状態に関する情報に基づいて運転者の状態を判定することを特徴とする。
【００１０】
また本発明において、運転者以外の第三者に通知するため、前記運転者状況判定結果を出力する外部出力部を有することを特徴とする。
【００１１】
また本発明において、前記運転者状況判定部の結果に応じて機体を制御する機体制御部を有することを特徴とする。
【００１２】
また本発明は、入力された時系列画像中から運転者の顔の特徴点または顔領域を検出する顔検出手段と、検出された顔の特徴点または顔領域の位置が画像内の適性な位置にあるか判断する顔領域判定手段と、顔領域判定手段の結果または顔検出手段の結果（わき見をして顔検出できなかった場合）から運転者の状態を判定する運転者状況判定手段と、運転者に通知するため前記運転者状況判定結果を出力する結果出力手段を有することを特徴とする運転者状況判定方法を提供する。
【発明の効果】
【００１３】
本発明によれば、カメラ画像から検出した運転者の顔の特徴点、顔領域等を検出し、検出位置、検出状態等を観測することにより、その顔全体に注目して調べることで安定して運転者の状態を検出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明に関わる一実施例について述べる。
【実施例】
【００１５】
本実施例は、自動車、電車、航空機、船舶などの移動体に設置したカメラから運転者の画像を撮影し、顔が適切な領域内にあるかどうかを解析すると共に、その画像内から運転者の顔を検出し、状態を判定することにより運転者が居眠りやよそ見、わき見をしていないかどうか判別するものである。
【００１６】
図１は本実施例の構成を表す図である。画像入力部１０１は、運転者を撮影する撮像装置であり、例えば動画または静止画を撮影可能なカメラなどである。このカメラは通常の可視光を撮影するようなＴＶカメラやビデオカメラでも良いし、赤外光など可視光以外も撮像可能な特殊なカメラや、物体の３次元情報を取得するレンジファインダでも良い。またカメラにパンチルトズーム機構や、モーターなどでカメラ自体を可動させる機構があっても良い。
【００１７】
顔検出部１０２は、画像入力部で撮影された画像から被写体である人物の顔領域を検出するものである。撮影された画像から被写体としての人物の顔の領域を検出する方法は、例えば、福井、山口、「形状抽出とパターン照合の組合せによる顔特徴点抽出」, 信学論(D-II) vol.J80-D-II, No. 9, p.2170-2177, 1997 に記載されているものがある。これは、目（瞳）や鼻（鼻孔）などの顔の特徴点を、分離度フィルタによる幾何学的特徴と、パターンの形状との両方を用いることにより抽出し、特徴点の位置関係などから安定して顔領域を検出することができる手法である。この手法により例えば、顔検出部では、顔を含む画像から目と鼻の４点の位置情報を出力する。そのほかに口端や眉毛の位置、輪郭情報など、他の情報を出力することにより、顔の情報の精度を高めることができる。
【００１８】
顔領域判定部１０４は、顔検出部より出力された顔領域の位置情報を基に、運転者の状況を解析するものである。まず、例えば図２に示すように、顔画像検出領域、すなわちあらかじめ画像内に、移動体の運転中に運転者の顔が存在しても安全に運転することができると思われる範囲（被験者である運転者の顔画像を撮像するのに通常適する範囲）を設定しておく。この範囲は、画像内に矩形や円状など任意の形状で良い。図２では、例えば画面内中央の円形部分であるが、どのような場所にいくつ存在してもかまわない。
【００１９】
そして、図３に示すように、カメラで運転者を撮影し、撮影された運転者の画像の顔領域がこの範囲内（例えば図２の円形領域）に存在する場合には、一時的な判定として、運転者は正常な状態であると判断する。逆に図４のように、検出された運転者の顔領域がこの範囲（例えば図２の円形領域）から外れている場合、運転者の位置は移動体の運行に適する場所に無いとして、運転者は正常な状態ではない、あるいは異常な状態であると判断する。一方、上記範囲内に含まれるように運転者の画像が撮影されているものの、わき見をしている等の理由により、得られた画像から運転者の顔領域を検出することができなかった場合（図５参照）にも、同様に運転者は正常な状態ではないと判断する。また図２、図３などでは運転者の顔領域検出結果を円形の領域で表現したが、矩形や円形など任意の形状でよい。また目や鼻などの特徴点の中心点などの座標といった点情報で表されていてもよい。
【００２０】
運転者認識部１０３は、顔検出部より出力された領域に存在する顔パターンが、（通常運転している、あるいは予め登録された）運転者本人の顔パターンと一致するかどうか、具体的には予め取得された顔画像や顔の特徴点の情報と現在取得された顔画像や顔の特徴点情報とを比較して、運転者を同定するためのものである。例えば、図６に示すようにカメラの撮影範囲内に同乗者など運転者以外の顔が存在していた場合、運転者のみならず、運転者以外の顔が検出されてしまうことが考えられる。その場合、運転状況判断で間違った結果を出力してしまう可能性があるため、運転者を同定する機構は必要となる。
【００２１】
この顔パターンから人物を特定する方法については、例えば、山口、福井、「顔向き表情変化にロバストな顔認識システム'smartface'」, 信学論 (D-II), vol.J84-D-II, No.6, p.1045-1052, 2001. に記されている方法がある。これは、動画像を構成する複数の静止画群から得た複数の顔パターンから個人の顔特徴を表す分布を作成し、その分布同士を比較する手法であり、従来の一枚の静止画に基づいた手法より高精度に認識することができる。また、顔認識をするまでもなく、被験者の顔領域が検出された位置がカメラフレーム内において運転席付近に存在し、かつ顔のサイズが一定以上であるという条件を調べることで運転者かどうかチェックしても良い。
【００２２】
機体情報出力部１０５は、現在運転している自動車等の移動体の状態に関する情報を出力するものである。出力する情報は、例えば、エンジンが動いているか、どのくらいの速度・加速度で移動しているか、ブレーキを踏んでいるか、ボディの傾き、ハンドルの向きや進行方向などがある。これらの情報は自動車等の移動体本体で計測されたデータを出力するようにしても良いし、移動体とは別に設けられた各種センサで計測したデータを出力するようにしても良い。
【００２３】
運転者状況判定部１０６は、顔領域判定部１０４の出力する情報及び必要に応じて運転者認識部１０３、機体情報出力部１０５の出力する情報に応じて、運転者の状況を判定するものである。それは例えば、顔領域判定部１０４から、撮像された顔領域が撮像領域の安全範囲内に存在しないという出力がある一定時間以上連続して得られた、もしくはある一定時間の間にある割合以上得られた(例えば、１分間のうち５０秒以上など)場合について、運転者が正常な状態ではないと判断し、異常状態であると出力する。この異常状態であると判断するまでの時間間隔は、あらかじめ決めておいても良いし、ユーザが必要に応じて設定することによりユーザに合った間隔に制限することにより、誤検出を減らすこともできる。
【００２４】
さらに、運転者認識部１０３と機体情報出力部１０５が存在すれば、それらの情報を組み合わせてより細かく判断できる。まず、運転者認識部１０３が存在する場合、顔領域判定部１０４が顔領域を検出しても、撮影された被験者の顔が運転者本人の顔と同定できないときは、「顔領域を検出した」という情報を出力しない、またはより詳細に顔領域を判定する、運転者との認識・照合を行なうようにすることで検出精度を向上できる。
【００２５】
また、機体情報出力部１０５が存在する場合、機体（移動体）が全く移動していない場合は異常状態であっても「正常ではない」と出力しない、逆に機体が高速移動している場合は、通常よりも早めに警告をする必要があるため、異常状態を検知後、直ちに「正常ではない」と出力する、あるいは異常状態と判断にしているときに、機体の進路を変更しようとすると更により上位の警告を出す、といった処理を行うことにより、実際の機体との状況を踏まえたより適切な判断を下すことが期待できる。
【００２６】
結果出力部１０７は、運転者状況判定部１０６の要求に応じて、運転者に出力を与えるものである。運転者状況判定部１０６から異常な状態である、または正常な状態ではないとする判断が、あらかじめ指定された時間以上長期間に渡って続く場合は、運転者に警告として出力する。出力は、アラーム音等の音声情報でも良いし、モニター表示やランプなどの視覚的なもの、振動を与えたりシートベルトを軽く締めたりするなど、運転者に対する触覚に関するもの、運転者が気付く程度の匂いを発して嗅覚に刺激を与える、またはそれらの組合せによるもので良い。  外部出力部１０８は、運転している移動体の外部の者に検知できるように、運転者状況判定部１０６の結果を出力するものである。自動車等の運転者に対して異常が検知された場合、それを当該自動車の外部に出力することにより、それを見た周囲の人物は注意を払うことができ、あらかじめ何らかの対処を行うことができ、周囲の安全を確保できると考えられる。出力は警告ランプ、フラッシュなどの視覚的なものや、サイレンなどの音が考えられる。また、運転者がある一定以上の時間ずっと異常な状態が続くなど緊急の場合には、乗り物に搭載された電話や無線機器、運転者の携帯電話など外部と連絡を取ることのできる装置を利用して、警察、消防署、警備会社などに自動的に連絡を取り、事故防止や、万が一事故が起きた場合でもすばやい対策を行うことができる。
【００２７】
機体制御部１０９は、運転者状況判定部１０６の結果に応じて、機体のエンジン、ハンドル、アクセル、ブレーキなどの機構を直接的に制御するものである。例えば、運転者状況判定部１０６が運転者の異常な状態を検知した場合、機体制御部１０９は機体の速度をそれ以上に上げないように制御し、長時間異常な状態が続けば段階的に減速させ、最終的には停止させることで事故を未然に防ぐことができると考えられる。もし、安全な場所があらかじめ分かっている場合は、そちらのほうへ機体を移動させても良い。機体を制御しているときに、外部出力部と連携して、例えば自動車の場合ならハザードランプなど、何らかのシグナルを外部に提示することもできる。
【００２８】
また機体における運転者の位置は、通常、運転席として定まっている。機体情報出力部１０５では、運転席に設置された感圧センサーを用いて運転者が運転席にいるかどうかを物理的にチェックし、その情報を出力することもできる。感圧センサー以外にも、赤外線などを利用したセンサーなど、人物が座っていることを検出できればどのようなセンサーでも良い。運転者が不在の場合は、運転者状況判定部１０６で運転者の状況をチェックしないようにし、不必要な警告をおさえることが期待できる。また、もし運転者不在で機体が移動していた場合には、運転者状況判定部１０６で、警告するような出力を送ることもできる。
【００２９】
機体によっては、必ずしも運転席が定まっていない場合もある。その場合には、床に感圧センサーなど、位置を特定できるようなセンサーを設置し、運転者の位置を物理的にチェックする。得られた位置情報は、機体情報出力部１０５で出力される。運転者状況判定部１０６では、運転者が不在の場合は不必要な警告をしない。
【００３０】
得られた運転者の位置情報は、画像入力部１０１に送ることもできる。例えば、パンチルト機能などを有したカメラの場合、運転者の位置情報を用いて、運転者の顔が現在撮影しているカメラの撮影範囲の中に適切に収まるように、パンチルトの制御を行う。また、複数のカメラを利用している場合、運転者の位置から最も近いカメラの画像を利用するなどし、より運転者の顔が適切に撮影できるようにすることもできる。また、カメラ自体の運動や、複数のカメラの切り替えをしない場合でも、運転者の位置情報から撮影された画像の中で運転者の位置を限定することができる。このようにカメラと運転者の位置関係から画像の処理範囲を限定することで、顔の誤検出や必要な処理量を減らすことができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態の構成を示すブロック図
【図２】顔領域判定部の顔が安全に存在する領域の図
【図３】運転者の顔が正常な位置にある場合の図
【図４】運転者の顔が安全な範囲の外にある図
【図５】運転者が横を向いて顔検出に失敗した図
【図６】運転者以外が検出されてしまう場合を説明するための図
【符号の説明】
【００３２】
１０１…画像入力部
１０２…顔検出部
１０３…運転者認識部
１０４…顔領域判定部
１０５…機体情報出力部
１０６…運転者状況判定部
１０７…結果出力部
１０８…外部出力部
１０９…機体制御部
【図１】
2005108033.tif 000003
【図２】
2005108033.tif 000004
【図３】
2005108033.tif 000005
【図４】
2005108033.tif 000006
【図５】
2005108033.tif 000007
【図６】
2005108033.tif 000008