(57)【要約】【課題】覚醒度を正確に判断する運転支援装置を提供する。【解決手段】運転者の顔を撮像する撮像手段１１と、撮像手段により撮像された顔画像から運転者の顔の特徴点である口等の動きを検出し、動きの変化から特徴動作を検出し、特徴動作の経時的変化から運転者の覚醒度を判定し、顔画像領域と所定の位置関係にある物体を検出し、物体が検出された場合には、特徴動作の検出を中止する制御装置１０を備える。【選択図】  図３
2013156707.tif 000002
【特許請求の範囲】
【請求項１】
運転者の顔を含む撮像画像を取得する画像取得手段と、
前記画像取得手段により取得された撮像画像の顔画像領域に含まれる運転者の顔の特徴点の動きを検出する第１検出手段と、
前記第１検出手段により検出された前記顔の特徴点の変化から前記運転者の特徴動作を検出する特徴検出手段と、
前記特徴検出手段により検出された特徴動作に基づいて前記運転者の覚醒度を判定する判定手段と、
前記顔画像領域と所定の位置関係にある顔以外の物体を検出する第２検出手段と、
前記第２検出手段により物体が検出された場合には、前記顔の特徴点の変化に基づく特徴動作の検出を中止させる検出制御手段と、を備えたことを特徴とする運転支援装置。
【請求項２】
前記検出制御手段は、前記第２検出手段により検出された物体が、前記顔画像領域と所定の位置関係にない場合には、前記特徴動作の検出を実行させることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記検出制御手段は、前記第２検出手段により物体が検出された場合には、前記覚醒度の判定に用いられる所定時間分の前記特徴点の検出結果を削除することを特徴とする請求項１又は２に記載の運転支援装置。
【請求項４】
前記第２検出手段は、前記顔画像領域の周囲の所定位置に設定された外乱判定領域以内の物体を前記顔画像領域と所定の位置関係にある物体として検出し、前記外乱判定領域外の物体を前記顔画像領域と所定の位置関係にない物体として検出する請求項１〜３の何れか１項に記載の運転支援装置。
【請求項５】
前記外乱判定領域は、前記顔画像領域の右側又は左側に設定されることを特徴とする請求項４に記載の運転支援装置。
【請求項６】
前記外乱判定領域は、前記顔画像領域の上側又は下側に設定されることを特徴とする請求項４又は５に記載の運転支援装置。
【請求項７】
前記第２検出手段は、前記外乱判定領域に対する占有面積率が閾値以上の像が存在する場合には、前記外乱判定領域内の物体として検出することを特徴とする請求項４〜６の何れか一項に記載の運転支援装置。
【請求項８】
前記外乱判定領域が前記顔画像領域の右側又は左側に設定された場合における前記閾値は、前記顔画像領域の上側又は下側に前記外乱判定領域が設定された場合における前記閾値よりも低いことを特徴とする請求項７に記載の運転支援装置。
【請求項９】
第１検出手段は、前記顔画像領域の外側に設定された身体画像検出領域に含まれる運転者の顔以外の身体の動きを検出し、
前記特徴検出手段は、前記第１検出手段により検出された前記身体画像検出領域における前記身体の動きの変化から前記運転者の特徴動作を検出することを特徴とする請求項１〜８の何れか一項に記載の運転支援装置。
【請求項１０】
前記検出制御手段は、第２検出手段により物体が検出された場合であっても、前記運転者の顔以外の身体の動きの変化から前記運転者の特徴動作を検出する処理を続行することを特徴とする請求項９に記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置に関するものである。
【背景技術】
【０００２】
撮像された運転者の顔画像から口の動きを検出し、この検出された口の形状変化から特徴動作を検出し、この検出された特徴動作の経時的な変化に基づいて運転者が軽度の眠気を感じ始める覚醒度低下の初期状態を判定するものが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０４９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、運転者の顔画像を撮像する際に、運転者が口を手で覆う動作や口の近傍で手を動かす動作をすることによって顔画像に外乱が発生すると、口などの顔の特徴点を正確に捉えることができずに運転者の特徴的な動作を誤検出する可能性があり、結果として運転者の覚醒度の判定精度が低下するという問題がある。
【０００５】
本発明が解決しようとする課題は、運転者が口を手で覆う動作や口の近傍で手を動かす動作をした場合であっても、運転者の覚醒度の判定精度を向上させることである。
【課題を解決するための手段】
【０００６】
本発明では、顔画像領域と所定の位置関係にある顔以外の物体が検出された場合には、顔の特徴点の動きの検出処理を中止することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、顔画像に外乱が発生する可能性の高い場面を判断して、顔の特徴点の動きの検出処理を中止するので、運転者が口を手で覆う動作や口の近傍で手を動かす動作をした場合であっても、運転者の覚醒度を正確に判定することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態を適用した運転支援システムの概略構成を示すブロック図である。
【図２】本発明に係る運転者の閉眼率と副次的動作の頻度との関係を経時的に示すグラフである。
【図３】本発明の一実施の形態を適用した運転支援装置の概略構成を示す制御ブロック図である。
【図４】撮像画像の一例を示す図である。
【図５】図３の動作検出のサブブロックを示す制御ブロック図である。
【図６】図５の溜め息・深呼吸検出およびあくび検出のサブブロックを示す制御ブロック図である。
【図７】図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。
【図８】図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。
【図９】図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。
【図１０】図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。
【図１１】図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。
【図１２】図３の溜め息・深呼吸検出およびあくび検出の手順を説明するための図である。
【図１３】図３の手の動作検出の手順を説明するための図である。
【図１４】図３の手の動作検出の手順を説明するための図である。
【図１５】図３の手の動作検出の手順を説明するための図である。
【図１６】図３の首の動作検出の手順を説明するための図である。
【図１７】図３の苦闘検出にあたり設定される副次的動作の重み付けの例を示す図である。
【図１８】撮像画像の他の例を示す図である。
【図１９】本発明の実施形態の運転支援装置の制御手順を示すフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る運転支援装置を、車両の運転を支援するための運転支援システム１０００に適用した場合を例にして説明する。本例では、車両に搭載される例を説明するが、飛行機、船、重機などの移動体に搭載することができる。また、運転支援装置の適用は、移動体の操縦装置に限定されず、作業・操作に高い確実性が求められる工場、作業所、管理塔に設けられた各種のオペレーション装置に組み込むことができる。
【００１０】
図１は、本実施形態に係る運転支援装置１００を含む運転支援システム１０００のブロック構成図である。図１に示すように、本実施形態の運転支援システム１０００は、車両に設置されたカメラ１と、光源２と、運転支援装置１００と、車両コントローラ２００と、報知装置３００と、記憶装置４００と、通信装置５００とを備えることができる。また、一例ではあるが、本実施形態の運転支援システム１０００は、走行支援装置６１０、制動装置６２０、出力装置６３０、エアコンディショナー６４０、座席ヒータ６５０、メモリ６６０、ナビゲーション装置６７０を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。さらに、通信装置５００を介して通信による情報の授受が可能な外部装置（コンピュータ）を備えることができる。
【００１１】
カメラ１は、たとえば二次元ＣＣＤ（Charge Coupled Devices）イメージセンサ、ＭＯＳセンサまたはＣＩＤなどの複数の光電変換素子が二次元に配列された光電変換モジュールで構成することができる。カメラ１は運転者の顔が撮像できる、たとえばインストルメントパネルの上面などに設置される。カメラ１は、予め設定された追跡時間内に乗員の頭部領域を複数回撮像し、撮像した撮像画像を撮像タイミングの情報を付して運転支援装置１００に送出する。
【００１２】
光源２は、運転に支障がないように運転者の顔に向かって赤外線を照射する赤外線照射装置であって、カメラ２は赤外線で照射された運転者の顔の画像を撮像する。この光源２も運転者の顔に赤外線がムラなく照射できる、たとえばインストルメントパネルやハンドルの中心部に設置される。
【００１３】
図１に示すように、本実施形態に係る運転支援装置１００の制御装置１０は、乗員の覚醒度を判定するプログラムが格納されたＲＯＭ１２と、このＲＯＭ１２に格納されたプログラムを実行することで、運転支援装置１００として機能する動作回路としてのＣＰＵ１１と、アクセス可能な記憶装置として機能するＲＡＭ１３と、を備えている。
【００１４】
本実施形態に係る運転支援装置１００の制御装置１０は画像取得機能と、第１検出機能と、特徴検出機能と、判定機能と、第２検出機能と、検出制御機能と、出力機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介して各制御命令を送出することも可能である。
【００１５】
本実施形態の運転支援装置１００は、運転者の覚醒度を判定する。ここで、運転者の覚醒度について説明する。図２は副次的動作の頻度Ｘと運転者の閉眼率Ｙとの関係を経時的に示すグラフであり、横軸は経過時間Time、縦軸は副次的動作の頻度Ｘ又は閉眼率Ｙをそれぞれ示す。なお、閉眼率Ｙは運転者の覚醒度と相関があり、閉眼率Ｙが高いほど覚醒度が低く、閉眼率Ｙが低いほど覚醒度が高い。
【００１６】
図２に示すように、運転中に眠気が襲ってくると運転者は居眠りをしないように幾つかの行動をとることが少なくない。たとえば、眠くなると目が乾くので目を擦ったり、顔を撫でたり、首を曲げてストレッチ運動をしたり、脳に酸素を送るために溜め息（深く吐息する意味）や深呼吸をしたり、あくびをしたりする。以下、これらの動作を居眠りに至るまでの副次的動作とも言う。
【００１７】
本発明者らが、こうした副次的動作の頻度Ｘと閉眼率Ｙ（または覚醒度）との関係を観察したところ、同図の左端に示す運転者の閉眼率Ｙが極めて低い（覚醒度が極めて高い）平常状態Ａと、同図の右端に示す閉眼率Ｙが極めて高い（覚醒度が極めて低い）居眠り状態Ｄの間で、副次的動作の頻度Ｘがピーク値Ｘmaxをとる傾向が強いことが判明した。
【００１８】
これは平常状態から覚醒度が低下し始めると、まず運転者は睡魔と苦闘又は葛藤することでできる限り覚醒しようと努力し、そのための手の動作、首の動作、溜め息又は深呼吸、あくびなどの副次的動作の頻度が高くなるからである。一方で、睡魔に勝てずにさらに覚醒度が低下すると、こうした副次的動作できるほど覚醒していないので、その頻度が低くなるのである。
【００１９】
そして、同図に示すように平常状態Ａと居眠りの進行状態Ｄとの間を、睡魔と苦闘又は葛藤している苦闘又は葛藤状態Ｂと、それを超えてさらに覚醒度が低下する居眠りの初期状態Ｃとに分けると、副次的動作の頻度Ｘが増加してピーク値Ｘmaxに至る期間を苦闘又は葛藤状態Ｂ、副次的動作の頻度Ｘがピーク値Ｘmaxから減少し始めるとともに大きく減少している期間を居眠りの初期状態と特定することができる。なお、副次的動作の頻度Ｘと平常状態Ａおよび居眠りの進行状態Ｄとの関係については副次的動作の頻度Ｘの経時的変化よりむしろ、副次的動作の頻度Ｘの絶対値が所定値より小さいことで特定することができるが、平常状態Ａも居眠りの進行状態Ｄもいずれも副次的動作の頻度Ｘの絶対値は小さいので、これらを識別する場合は、別途閉眼率Ｙなどの特性値を用いることが望ましい。
【００２０】
すなわち、本例では居眠りの進行状態Ｄの前の初期状態Ｃを、副次的動作の頻度Ｘを経時的に検出し続け、同図に示す頻度Ｘのピーク値Ｘmaxからそれを過ぎた所定時間までを居眠りの初期状態Ｃとして検出する。検出結果は、各車載装置６００において利用される。利用の態様については、後述する。
【００２１】
次に具体的実施形態を説明する。
【００２２】
図３は、図１の運転支援装置１をさらに詳細に示す制御ブロック図、図４は撮像画像の一例を示す図、図５は図３の動作検出のサブブロックを示す制御ブロック図、図６は図３の溜め息・深呼吸検出およびあくび検出のサブブロックを示す制御ブロック図である。
【００２３】
図１の制御装置１０のＲＯＭ（１２）に記録されたソフトウェアは、運転者の顔を含む撮像画像を取得する画像取得機能（Ｆ１）と、取得された撮像画像の顔画像領域に含まれる運転者の顔の特徴点の動きを検出する第１検出機能（Ｆ２）と、検出された顔の特徴点の変化から運転者の特徴動作を検出する特徴検出機能（Ｆ３）と、検出された特徴動作の経時的変化から運転者の覚醒度を判定する判定機能（Ｆ４）と、顔画像領域と所定の位置関係にある顔以外の物体を検出する第２検出機能（Ｆ５）と、物体が検出された場合には、特徴動作の検出を中止する検出制御機能（Ｆ６）と、を実行させる。
【００２４】
図３に示すように、カメラ１により撮像された運転者の頭部を含む撮像画像の顔画像の画像信号は、顔の時間的形状変化から首や頭の動作、溜め息や深呼吸、あくびを検出するための形状推定機能Ｆ１２と、顔画像のうち顔の背景画像等から運転者の顔以外の身体（たとえば手）の動きを検出する動作検出機能Ｆ１１とに出力される。
【００２５】
図４は、運転者の顔を含むように撮像された撮像画像Ｋの一例を示す図である。図４に示すように、運転者の顔の特徴点となる目、口、鼻、眉が含まれる画像中央部分には顔画像領域ＦＣが設定されている。この顔画像領域ＦＣと所定の位置関係にある顔以外の物体（手などの運転者の身体、運転者の手が持つ物などの物体）を検出するために、顔画像領域ＦＣに対して所定の位置に外乱判定領域Ｖが設定されている。本実施形態において顔画像に外乱が起きる可能性が高い場合とは、特徴点が隠される（画像を取得できない）、特徴点周囲が隠される、特徴点近傍で他の物体が動く場合である。本実施形態の外乱判定領域Ｖは、撮像画像の中央に設定された顔画像領域ＦＣの周囲であって、顔画像領域ＦＣの外縁の少なくとも一部に沿うように設定されている。特に限定されないが、顔画像領域ＦＣの少なくとも右側又は左側に外乱判定領域Ｖ３，Ｖ４を設定することができる。また、顔画像領域ＦＣの少なくとも上側又は下側に外乱判定領域Ｖ１，Ｖ２を設定することができる。本例では、矩形の顔画像領域ＦＣの四辺の外縁を取り囲むように、顔画像領域ＦＣとは重複することなく、上下左右に４つの外乱判定領域Ｖ１〜Ｖ４を設定している。さらに、顔画像領域ＦＣの外側には、運転者の顔以外の手などの身体の動きを検出するための身体画像検出領域Ｄを設定することができる。本例では、顔画像領域ＦＣの外側に外乱判定領域Ｖ１〜Ｖ４を設定し、この外乱判定領域Ｖ１〜Ｖ４の外側に身体画像検出領域Ｄ１〜Ｄ４を設定している。本例の外乱判定領域Ｖ１〜Ｖ４、身体画像検出領域Ｄ１〜Ｄ４は、矩形の撮像画像の縁と略平行に帯状の形状で設定されている。外乱判定領域Ｖ１〜Ｖ４、身体画像検出領域Ｄ１〜Ｄ４の幅、長さは、撮像画像Ｋのサイズや顔画像の大きさ・位置に応じて適宜に設定することができる。
【００２６】
以下、本実施形態の運転支援装置１００が実行する機能について説明する。
まず、本発明の本実施形態に係る第１検出機能について説明する。第１検出機能は、顔画像領域ＦＣに含まれる運転者の顔の特徴点の動きを検出する機能を備える。また、第１検出機能は身体画像検出領域Ｄに含まれる運転者の顔以外の身体の動きを検出する機能を、さらに備える。なお、以下に説明する第１検出機能の処理は、後述する外乱判定領域Ｖの物体を検出する第２検出機能の処理に適用することができる。
【００２７】
先に、運転者の顔の特徴点の動きを検出する形状推定機能Ｆ１２について説明する。図５に示すように、形状推定信号に基づく形状変化演算処理Ｆ２１１、ノイズ除去処理Ｆ２１２、及び各種動作検出処理Ｆ２１３が行われる。ノイズ除去処理Ｆ２１２では、カメラ１による画像信号、形状推定機能Ｆ１２による形状推定信号および車両コントローラ２００を介して取得可能な操舵制御機能２の操舵信号を用いて、運転者の顔の動きやハンドル操作する手の動きなど、予測可能な動作を検出しこれを除去する。
【００２８】
形状推定機能Ｆ１２は、時間的に連続して撮像されたデジタル画像信号（以下、ビデオストリームともいう）を入力し、統計的に表現された学習モデルを用いたＡＡＭ(Active Appearance Model)法などにより、口、鼻、顎の位置これら口、鼻、顎の形状及び形状の変化などを出力する機能を有する。
【００２９】
また、本実施形態の制御装置１０は、第１検出機能により検出された記顔の特徴点の変化、及び後述する身体の動きから運転者の特徴動作を検出する特徴検出機能を備える。本例の制御装置１０は、形状推定機能Ｆ１２により推定された口の形状、鼻の形状、顎の形状などを用いて、首や頭の動作、溜め息や深呼吸、あくびを検出する。この処理について図６を参照しながら説明する。なお、首や頭の動作は図３の首の動作検出機能Ｆ２２により、溜め息や深呼吸は同図の溜め息・深呼吸検出機能Ｆ２３により、あくびは同図のあくび検出機能Ｆ２４により処理される。
【００３０】
図６に示すように、まず、ステップＳ１１において、上述した形状推定機能Ｆ１２からの形状推定信号を入力し、前の画像と今の画像を比較し特徴点の変化ベクトルを算出する。そして、この特徴点の変化ベクトルが顔の動作か否かを識別する。
【００３１】
形状推定機能Ｆ１２により推定された形状推定信号に基づいて特徴座標を抽出する。この処理は、図７の上図に示す口の形状、鼻の形状及び顎の形状についての形状推定信号から、口の形状の形状推定信号を抽出した場合を示す。
【００３２】
次いで、ステップＳ１２において、座標正規化処理を実行する。上記ステップで抽出された特徴点は、運転者の顔の大きさ、ヨー角、ピッチ角、ロール角に応じた座標となるので判定に使用する前に正規化処理する必要がある。ただし、本例では運転者の顔の正面のみを取り扱えばよいのでロール角のみを考えるものとする。
【００３３】
そして、図８に示すように、口の形状推定信号のうち口の両端（左図の×）に着目し、このロール角θを検出する。また、口の形状推定信号を用いて口の中心を検出し、ここを中心にして先に求められたロール角θがゼロになるように特徴点を回転させる。次いで、同図の右図に示すように全ての特徴点を含む最小の長方形を特定し、各特徴点の座標を０〜１の間の値に座標変換する。
【００３４】
図８のように特徴点の座標正規化処理を行ったら、ステップＳ１３において、これを用いて特徴ベクトルが特徴点の間の距離を組み合わせることで算出される。この処理は、図９に示すように、鉛直方向の動作を最も反映すると考えられるベクトルｆ０，ｆ１，…ｍ０，ｍ１，…を抽出し、これらを一つのベクトルＰ＝｛ｆ０，ｆ１，…ｍ０，ｍ１，…｝とする。また、過去ｎ個のベクトルＰの平均値を平均ベクトルＰaveとして、差ベクトルＸ＝Ｐ−Ｐaveを算出する。なお、平均ベクトルＰaveは僅かな差を無視するために用いられている。
【００３５】
こうして算出された差ベクトルＸが特徴ベクトルであるが、これはたとえば図１１に示すように、「あくびをしている（Ｙｅｓ（１））」または「あくびをしていない（Ｎｏ（０））」のいずれかに分類される。ステップＳ１４において行われる分類は、たとえばＡＮＮ(Artificial Neural Networks)、ＳＶＭ(Support Vector Machines)、ＳＯＭ(Self-Organizing Maps)などの機械学習技術により実行することができる。これが図６に示す二値化分類処理である。
【００３６】
続いてステップＳ１５において、二値化分類処理がなされたら、そのバイナリデータに基づいて、具体的な動作である首又は頭の動作、溜め息又は深呼吸、あくびといった動作を抽出する（図６の動作抽出処理）。
【００３７】
あくびの検出は図３のあくび検出機能Ｆ２４で実行される。あくびをすると口が縦方向に大きく変化する。図９の特徴ベクトルでいえば鉛直方向のベクトルがあくびを強く反映するので、あくびの検出にあたっては口の形状変化のうち鉛直方向の変化が重要となる。また、こうした鉛直方向の特徴ベクトルを抽出して、図１１に示す二値化分類処理を行った場合に、あくびは比較的長い時間その形状を維持するので、図１２に示すように所定時間より長い動作をあくびと判定し、所定時間より短い動作はあくびではないと判定する。同図でいえば、３つの動作が抽出されているが、１番目と３番目の動作は時間が長いのであくび動作であると判定するが、２番目の動作は時間が短いのであくびではない他の動作、たとえば会話である可能性が高い。したがって、あくび動作ではないと判定する。このように時間の閾値を設定することにより、他の動作との識別性が高くなる。
【００３８】
溜め息又は深呼吸の検出は図３の溜め息又は深呼吸検出機能Ｆ２３で実行される。ここでいう溜め息とは大きく息を吐く動作を意味し、落胆したときなどに肩を落とす仕草を意味するものではない。こうした溜め息や深呼吸をすると口が窄んで横方向の変化が大きくなる。図１０の特徴ベクトルでいえば水平方向のベクトルが溜め息や深呼吸を強く反映するので、溜め息や深呼吸の検出にあたっては口の形状変化のうち水平方向の変化が重要となる。また、こうした水平方向の特徴ベクトルを抽出して、図１１に示す二値化分類処理を行った場合に、溜め息や深呼吸はあくびほど長くはないが会話よりも長い時間その形状を維持するので、そうした所定時間を設定すれば、会話など他の動作との識別性を高めることができる。
【００３９】
首又は頭の動作の検出は図３の首の動作検出機能Ｆ２２にて実行される。ここでいう首又は頭の動作は、眠気を覚ますためのストレッチ運動のように、首を左右に曲げたり廻したりする動作を意味する。
【００４０】
首や頭を左右に曲げたり廻したりすると、図１３に示すように形状推定機能Ｆ１２にて推定された形状推定信号のうち口の両端を結ぶ直線のｘ軸に対する傾きθが時間とともに変化する。同図の上中図と上右図は首が左右に傾斜していることを示している。そして、前の傾斜角θt-1との差Δθt＝θt−θt-1の変化が同図の下図に矢印で示すように所定の規則に従って変化した場合は、運転者が眠気を覚ますために首を左右に曲げているか廻していると判定し、そうでない場合は眠気を覚ますための首の動作ではないと判定する。
【００４１】
以上、本実施形態の第１検出機能における運転者の顔の特徴点の動きを検出する手法、具体的には、図３に示す形状推定機能Ｆ１２から首の動作検出機能Ｆ２２，溜め息・深呼吸検出機能Ｆ２３，あくび検出機能Ｆ２４について説明した。
【００４２】
次に、第１検出機能における運転者の顔以外の身体（手）の動きを検出する手法、具体的には、図３に示す動作検出機能Ｆ１１、手の動作検出機能Ｆ２１について説明する。
【００４３】
動作検出機能Ｆ１１は、カメラ１により時間的に連続して撮像されるデジタル画像信号から物体の動きをベクトルで表現するオプティカルフロー法により運転者の動作を検出する。この手の動作は、最終的には既述した目を擦ったりする副次的動作を検出するために利用される。
【００４４】
この場合、カメラ１にて撮像した画像のうち顔の領域以外の領域の画像データも用いられるが、カメラ１は運転者の顔を撮影するためにインストルメントパネルの上面などに設置されているから、視野内にハンドルを握る運転者の手の動作も映る可能性がある。このため、図３及び図５に示すようにハンドル操作による実際の操舵信号を車両の操舵制御装置２から手の動作検出機能Ｆ２１へ入力される。これについては後述する。
【００４５】
さて、本例では運転者の手が目や顔を触ったか否かを判定するために、図４に示すように、カメラ１にて撮像された画像データの顔の周囲の四辺に身体画像検出領域Ｄ１〜Ｄ４を設定する。なお、同図において画面外に示したドット及び矢印の記号は、これらの検出領域Ｄ１〜Ｄ４の検出結果を判りやすく示すために欄外に記載したものである。
【００４６】
オプティカルフロー法により、この身体画像検出領域Ｄ１〜Ｄ４を物体が交差するとその方向まで検出する。たとえば、図４の身体画像検出領域Ｄ３の手は画面の外側から顔に向かって移動してきたオプティカルフローを示している。
【００４７】
手の動作検出機能Ｆ２１は、図５に示す形状変化演算機能Ｆ２１１、ノイズ除去機能Ｆ２１２および手の動作抽出処理Ｆ２１３を有し、以下の処理が実行される。
【００４８】
まず上述した形状推定機能Ｆ１２からの形状推定信号を入力し、前の画像と今の画像を比較し特徴点の変化ベクトルを算出する。そして、この特徴点の変化ベクトルが顔の動作か否かを識別する。
【００４９】
ノイズ除去処理Ｆ２１２では、カメラ１による画像信号、形状推定機能Ｆ１２による形状推定信号および操舵制御装置２による操舵信号を用いて、運転者の顔の動きやハンドル操作する手の動きなど、予測可能な動作を検出しこれを除去する。
【００５０】
ノイズ除去処理Ｆ２１２から出力される信号は、手の動作抽出処理Ｆ２１３にて以下の処理が実行される。すなわち、図４に示す検出領域Ｄ１〜Ｄ４の各領域のオプティカルフローについて、図１４に示すように、オプティカルフローの方向が顔の動作方向やハンドル操作方向であるものを除き、同一方向であって比較的多数のオプティカルフローを抽出し、それが顔に近づく方向か、顔から遠ざかる方向かを判定する。各検出領域Ｄ１〜Ｄ４についてのオプティカルフローを、図１５に示すように分類する。
【００５１】
そして、図１６の下図に示すように、各検出領域について、顔に近づく方向のオプティカルフローが検出されたらフラグ１、顔から遠ざかる方向のオプティカルフローが検出されたらフラグ０、いずれも検出されないときはフラグｎを設定するものとし、フラグ１となったあとにフラグ０となったとき、つまり運転者の手が身体画像検出領域Ｄ１〜Ｄ４を外側から内側へ向かって一旦通過したのち、内側から外側へ向かって通過したときに、顔に触ったと判定する。このように、第１検出機能により検出された身体画像検出領域Ｄにおける身体の動きの変化から運転者の特徴動作を検出することができる。
【００５２】
以上のとおり、本例の運転支援装置１によれば、運転者の顔、身体の撮像画像から、首や頭を曲げる動作、溜め息や深呼吸、あくび、手で顔を触るといった、覚醒度が低下する初期状態Ｃで観察される副次的動作を検出することができる。
【００５３】
次に、本実施形態の制御装置１０の判定機能について説明する。本例の制御装置１０は、特徴検出機能により検出された特徴動作に基づいて運転者の覚醒度を判定する。特に限定されないが、以上の処理により検出された副次的動作は、図３に示す苦闘検出機能Ｆ３１によりその単位時間当たりの頻度がカウントされる。そして、覚醒度低下の初期状態判定機能Ｆ４にて、たとえば図２に示す頻度の変化から覚醒度低下の初期状態Ｃを判定する。
【００５４】
なお、苦闘検出機能Ｆ３１により副次的動作の頻度をカウントするにあたり、図１７に示すように首や頭を曲げる動作、溜め息や深呼吸、あくび、手で顔を触る動作を全て同じ重み付けω０〜ω３で判定してもよいが、運転者の癖に応じて重み付けω０〜ω３の大小を変えることもできる。
【００５５】
たとえば、事前の学習操作の際に、極端に首や頭を動かす動作が多いときはその動作は運転者の癖でもあると判断し、検出された首や頭の動作の重み付けを小さくする。
【００５６】
また、運転者の閉眼状態を検出する装置と組み合わせることで、図２に示す平常状態Ａ、苦闘又は葛藤状態Ｂ、居眠りの初期状態Ｃおよび居眠りの進行状態Ｄの全てを検出することができる。
【００５７】
以上のように、本例の運転支援装置によれば、覚醒度、特に覚醒度が低下した状態で生じる副次的動作の頻度を検出するので、苦闘又は葛藤状態Ｂや居眠りの初期状態Ｃを精度よく判定することができる。
【００５８】
また、判定される状態は居眠りの初期状態Ｃだけでなく、それより覚醒度が高い苦闘又は葛藤状態Ｂも判定できるので、運転者に対してより事前に注意喚起することができる。
【００５９】
また、あくびの検出は口の鉛直方向の形状変化に基づいて行われ、溜め息や深呼吸は口の水平方向の形状変化に基づいて行われ、首や頭の動作は口の両端の傾斜角に基づいて行われるので、あくび、溜め息・深呼吸および首の動きを精度よく検出することができるとともに、これらを誤認識することが抑制される。
【００６０】
また、手の動作は操舵制御装置２を用いてハンドル操作を除去し、さらに顔に接近する方向の動作と顔から離れる動作との組み合わせによって判定するので、副次的動作に関係する手の動作を精度よく検出することができる。
【００６１】
また、運転者の癖によって副次的動作に対する重み付けを変えることで、さらに精度よく覚醒度低下の初期状態を判定することができる。
【００６２】
続いて、本発明の本実施形態の第２検出機能について説明する。本実施形態の制御装置１０は、顔画像領域ＦＣと所定の位置関係にある顔以外の物体を検出する。なお、顔以外の物体には、運転者の手、肩、肘などの身体、及び運転者が持つハンカチ、飲み物、タバコなどの身体ではない物体を含む。
【００６３】
ところで、図１８に示す撮像画像のように、運転者が手を動かすことにより、運転者の顔の一部が隠されてしまう場合がある。先述したように、撮像画像の顔画像領域ＦＣに含まれる運転者の顔の特徴点、たとえば、Ｐ１〜Ｐ４、Ｐ１１〜Ｐ１４の動きを検出する際に、運転者の手などの物体が顔画像領域ＦＣに入り込んで、顔画像に外乱が発生すると、特徴点の位置を正確に検出できない場合がある。特に図１８に示すように、顔画像領域ＦＣ内外に運転者の手の像が入り込み、破線で表現するように動く場合には、顔画像に外乱が発生して特徴点の位置を正確に検出することが難しくなる。このため、制御装置１０は、顔画像に外乱が発生する可能性を判断するために、顔画像領域ＦＣと所定の位置関係にある物体を検出する。顔画像領域ＦＣとの位置関係は特に限定されないが、本実施形態では、画像領域ＦＣの外縁内の位置、画像領域ＦＣの外縁上の位置、画像領域ＦＣの外縁の外側位置、画像領域ＦＣの中心から所定距離の位置などを所定の位置関係として定義することができる。
【００６４】
本発明の本実施形態に係る運転支援装置１００の制御装置１０は、画像情報に含まれる顔画像に影響を与える物体か否かを判断するために、顔画像領域ＦＣと所定の位置関係に外乱判定領域Ｖを設定する。先述したように、この外乱判定領域Ｖは、顔画像領域ＦＣの外側の右側又は左側に設けることが好ましい。本実施形態では、左右の領域に外乱判定領域Ｖを設定するので、左右方向に沿って動かされる傾向の高い手の動きを高い精度で検出することができる。また、外乱判定領域Ｖは、顔画像領域ＦＣの外側の上側又は下側に設けることが好ましい。本実施形態では、上下の領域に外乱判定領域Ｖを設定するので、上下方向に沿って手が動かされたことを高い精度で検出することができる。
【００６５】
制御装置１０は、顔画像領域ＦＣの周囲の所定位置に設定された外乱判定領域Ｖ以内の物体を顔画像領域ＦＣと所定の位置関係にある物体として検出し、外乱判定領域Ｖ外の物体を顔画像領域ＦＣと所定の位置関係にない物体として検出する。物体が外乱判定領域Ｖ以内に存在するか否かの判断手法は特に限定されないが、物体の一部が外乱判定領域Ｖ以内に存在する場合には、物体が外乱判定領域Ｖ以内に存在すると判断してもよいし、物体の像が占める面積が外乱判定領域Ｖに対して占める占有面積率が閾値以上である場合には、物体が外乱判定領域Ｖ以内に存在すると判断してもよい。このように、顔画像に影響を与える物体が存在するか否かを所定の基準に従って判断することにより、正確な判断をすることができる。
【００６６】
特に限定されないが、本実施形態の運転支援装置１００の制御装置１０は、外乱判定領域Ｖが顔画像領域ＦＣの右側又は左側に設定された場合における占有面積率の閾値を、顔画像領域ＦＣの上側又は下側に外乱判定領域Ｖが設定された場合における占有面積率の閾値よりも低くすることができる。先述したように、運転者の手の動きは左右方向に沿って検出される頻度が高い。このため、本実施形態では、左右に沿う外乱判定領域Ｖについては相対的に高い閾値を設定して物体の動きを厳しい基準で検出し、上下に沿う外乱判定領域Ｖについては相対的に低い閾値を設定して物体の動きを緩やかな厳しい基準で検出する。これにより、顔画像に外乱を生じさせる手その他の物体の動きを高い精度で検出することができる。
【００６７】
続いて、検出制御機能について説明する。本発明の本実施形態に係る運転支援装置１００は、第２検出機能により物体が検出された場合には、第１検出機能による顔の特徴点の変化に基づく特徴動作の検出を中止させる。他方、第２検出機能により検出された物体が、顔画像領域ＦＣと所定の位置関係にない場合には、特徴動作の検出を実行させる。これにより、顔画像に外乱を発生させる可能性が高い場合には特徴動作の検出を中止させ画像に外乱を発生させる可能性が低い場合には特徴動作の検出を実行させることができるので、特徴動作の検出、ひいては運転者の覚醒度の判定を正確に実行することができる。この結果、信頼性のある運転支援を行うことができる。
【００６８】
また、本発明の本実施形態に係る運転支援装置１００は、第２検出機能により物体が検出された場合であっても、運転者の顔以外の手などの身体の動きの変化から運転者の特徴動作を検出する処理を続行する。つまり、手などの身体の動きの変化に基づく運転者の特徴動作を検出処理は中止しない。顔画像に外乱を発生させる可能性が高い場合であっても、運転者の顔以外の手の画像などには外乱は発生しないので、顔以外の身体の画像に基づく特徴動作の検出は継続する。顔画像に外乱を発生させる可能性が低い顔以外の身体の画像に基づいて特徴動作の検出の精度は維持できるので、覚醒度に基づく運転支援を継続することができる。この結果、運転者に違和感を与えることがなく、安定した運転支援を行うことができる。
【００６９】
また、運転支援装置１００の制御装置１０は、第２検出手段により物体が検出された場合には、覚醒度の判定に用いられる所定時間分の特徴点の検出結果を削除する。本実施形態の制御装置１０は、顔や身体(手)の特徴点の変化から特徴動作を検出し、この特徴動作の経時的な変化に基づいて運転者の覚醒度を判定する。つまり、所定時間において検出された特徴点の検出結果に基づいて覚醒度の判定が行われる。このため、一時的に顔画像に外乱を発生させる可能性が高い状況が発生した場合であっても、その時点を含む所定時間における特徴点の検出結果の信頼性は低下する。本実施形態では、顔画像に外乱を発生させる可能性の高い状況が一時的に生じた場合であっても、判定の精度を維持するために、覚醒度の判定に用いられる所定時間分の特徴点の検出結果を削除する。これにより、運転者の覚醒度の判定を正確に実行することができ、信頼性のある運転支援を行うことができる。
【００７０】
図１９は、本発明の本実施形態に係る運転支援装置１０の制御手順、特に、本実施形態の検出制御機能の処理を説明するためのフローチャートである。本実施形態では、起動後ステップＳ１１０〜Ｓ１１２の覚醒度の判定を実行し、この処理と並行して所定周期でステップＳ１０１〜Ｓ１０７の処理を実行する。以下には、覚醒度の判定が実行されていることを前提に、検出制御機能の処理を中心に説明する。
【００７１】
まず、ステップＳ１０１において、制御装置１０は、顔画像領域ＦＣと所定の位置関係にある顔以外の物体を検出するため、外乱判定領域Ｖを設定する。この外乱判定領域Ｖは顔画像領域ＦＣと所定の位置関係にある。ステップＳ１０２において、制御装置１０は、第２検出機能を動作させて、外乱判定領域Ｖ以内の物体を検出する。なお、物体の検出手法については、第１検出機能の手法を用いることができる。
【００７２】
続いて、ステップＳ１０３において、制御装置１０は、外乱判定領域Ｖの面積に対する物体の像の面積が占める占有率を算出する。ステップＳ１０４において、制御装置１０は占有率が所定値以上であり、かつその状態が所定時間継続したか否かを判断する。この判断により、画像情報に外乱が生じる可能性が高い状況であるか否かを判断することができる。外乱判定領域Ｖに対する物体像の占有率が所定値以上の状態が所定時間継続する場合にはステップＳ１０５へ進み、そうでない場合にはステップＳ１１０へ進む。
【００７３】
ステップＳ１０４において、占有率が所定値以上の状態が継続し、画像情報に外乱が生じる可能性が高い状況であると判断された場合には、ステップＳ１０５において、顔の動きに基づく覚醒度の判定処理を中止する。上述した処理を例にすると、苦悶状態の判定処理を中止する。さらに、ステップＳ１０６において、覚醒度の判定に用いられる所定時間分の顔の特徴点の検出結果を削除する。これにより、誤った覚醒度の判定がされることを防止できる。検出結果を削除した後は、覚醒度の判定処理及び検出制御処理を繰り返す。
【００７４】
ステップＳ１０４においてＮｏ，ステップＳ１０８においてＹｅｓとなり、画像情報に外乱が生じる可能性が低い場合には、ステップＳ１１０以降の処理を行う。ステップＳ１１０における覚醒度の判定処理は上述したので省略する。続くステップＳ１１１において、覚醒度が低下状態を検出する。本実施形態では、覚醒度低下の初期状態、つまり運転者が眠さに抗う苦悶状態を検出する。なお、本願発明における覚醒度の判定処理の手法は特に限定されず、顔画像に基づいて覚醒度などの運転者の状況を判断する手法を適宜に適用することができる。
【００７５】
また、ステップＳ１０４において、占有率が所定値以上の状態が継続し、画像情報に外乱が生じる可能性が高い状況であると判断された場合であっても、ステップＳ１０７からステップＳ１１０へ進み、手などの顔以外の身体の動きに基づく覚醒度判定処理を所定周期で続行する。運転者の手の画像情報には外乱が生じないので、誤った判定結果を出力することを抑制しつつ、運手者の顔以外の手などの身体に基づいて覚醒度の判定を継続することができる。
【００７６】
ステップＳ１１２において、運転支援装置１００は覚醒度の判定結果を出力する。検出された運転者の覚醒度は、より安全な運転を支援するために利用される。本実施形態の気分判定装置１００の制御装置１０は、判定された運転者の覚醒度を、車両の駆動を制御可能な車両コントローラ２００、運転者に報知するための報知装置３００、記憶装置４００、及び外部と情報の送受信が可能な通信装置５００のうちの何れか一つ以上に出力する。そして、覚醒度の判定結果は、運転者の運転操作、車両の駆動制御、次回の運転操作、他の運転者の運転操作などの制御にフィードバックされる。特に限定されないが、本実施形態における覚醒度の判定結果のフィードバック手法を、以下に例示する。
【００７７】
第１の例として、覚醒度の判定結果を取得した車両コントローラ２００は、安全な走行を確保するため、覚醒度が低い場合には維持する車間距離を長く設定する指令を車間維持装置６１１に送出し、覚醒度が低い場合には維持する車速を低く設定する指令を車速維持装置６２０に送出する。同様に、操舵補助システムによりハンドル操作を補助するなどの安全走行を実現するための制御指令を他の走行支援装置６１０に対して送出することができる。また、安全な走行を確保するため、車両コントローラ２００は、覚醒度が低い場合には制動装置６２０に車両を減速させ、車両を停止に導く指令を送出することができる。これにより、運転者の覚醒度に応じた走行支援を行うことができる。
【００７８】
第２の例として、覚醒度の判定結果を取得した報知装置３００は、ディスプレイ６３１及び／又はスピーカ６３２を介して、現在の運転者の覚醒度を文字、図形、点滅信号、音声などにより運転者に報知することができる。また、覚醒度の判定結果を取得した報知装置３００は、運転者に覚醒度を知らせるとともに運転者の気分を転換させるため、エアコンディショナー６４０に温風又は冷風を送風する指令を送出することができる。さらにまた、覚醒度の判定結果を取得した報知装置３００は、運転者に覚醒度を知らせるとともに運転者の覚醒度を高めるため、座席ヒータ６５０に冷却指令を送出することができる。このように、報知装置３００は、運転者の覚醒度を運転者自身に直接的又は間接的に知らせることができる。
【００７９】
第３の例として、運転手に自分が居眠りの初期状態にある旨の注意を喚起し、たとえば自車の進行方向に存在するパーキングアリアをカーナビゲーション装置で検索して案内することができる。
【００８０】
第４の例として、覚醒度の判定結果を取得した記憶装置４００は、記憶メモリ６６０に追跡時間Ｔと対応づけて記憶することができる。また、記憶装置４００は、取得した覚醒度の判定結果を、ナビゲーション装置６７０が利用する車載又はサーバに配置されている地図情報６７１、道路情報６７２に追跡時間Ｔ及び追跡時間Ｔにおける走行位置と、を対応づけて記憶することができる。これにより、走行中の運転者の覚醒度を地図情報６７１、道路情報６７２に書き込むことができる。
【００８１】
第５の例として、覚醒度の判定結果を取得した通信装置５００は、取得した覚醒度の判定結果を、外部装置７００へ通信回線を介して送出することができる。これにより、外部から運転者の注意を喚起することもできる。例えば、居眠りの初期状態を検出したら、その信号を外部の道路管理システムに送信し、たとえばスピード超過の走行車に対して行われているように、「居眠り注意！」等を路側看板に表示する。さらに、走行中の多数の運転者の覚醒度の情報を外部装置７００に集約して、道路設計や道路環境整備に利用することができる。
【００８２】
このように、追跡時間Ｔの間における運転者の覚醒度の判定結果を車両コントローラ２００、報知装置３００、記憶装置４００、通信装置５００などに出力し、各装置が覚醒度の判定結果をフィードバックすることにより、後に行われる車両制御、運転者の操作、他の運転者の操作に役立てることができる。
【００８３】
出力処理が終了したら、ステップＳ１１３へ進み、終了のコマンドが入力されるまで、所定周期で覚醒度の判定及び検出制御処理を繰り返す。
【００８４】
以上のように構成され、動作する本実施形態の運転支援装置１００は、以下の効果を奏する。
【００８５】
（１）本発明の本実施形態に係る運転支援装置１００によれば、顔画像領域ＦＣと所定の位置関係にある顔以外の物体が検出された場合には、顔画像に外乱が発生する可能性の高い場面を判断して、顔の特徴点の動きの検出処理を中止するので、運転者が口を手で覆う動作や口の近傍で手を動かす動作をした場合であっても、運転者の覚醒度を正確に判定することができる。
【００８６】
（２）本発明の本実施形態に係る運転支援装置１００によれば、第２検出機能により検出された物体が、顔画像領域ＦＣと所定の位置関係にない場合には、特徴動作の検出を再開するので、顔画像に外乱を発生させる可能性が高い場合には特徴動作の検出を中止させる一方で、顔画像に外乱を発生させる可能性が低い場合には特徴動作の検出を実行させることができるので、特徴動作の検出、ひいては運転者の覚醒度の判定を正確に実行することができる。この結果、信頼性の高い運転支援を行うことができる。
【００８７】
（３）本発明の本実施形態に係る運転支援装置１００によれば、顔画像に外乱を発生させる可能性の高い状況が一時的に生じた場合であっても、判定の精度を維持するために、覚醒度の判定に用いられる所定時間分の特徴点の検出結果を削除する。これにより、運転者の覚醒度の判定を正確に実行することができる。この結果、信頼性の高い運転支援を行うことができる。
【００８８】
（４）本発明の本実施形態に係る運転支援装置１００によれば、顔画像領域ＦＣの周囲の所定位置に設定された外乱判定領域Ｖ以内の物体を顔画像領域ＦＣと所定の位置関係にある物体として検出し、外乱判定領域Ｖ外の物体を顔画像領域ＦＣと所定の位置関係にない物体として検出するので、撮像画像に外乱を及ぼす状況であるか否かを明確な基準に基づいて判断することができる。また、判断処理の負荷も低減させることができる。
【００８９】
（５）本発明の本実施形態に係る運転支援装置１００によれば、左右の領域に外乱判定領域Ｖを設定するので、左右方向に沿って動かされる傾向が高い手の動きを高い精度で検出することができる。
【００９０】
（６）本発明の本実施形態に係る運転支援装置１００によれば、上下の領域に外乱判定領域Ｖを設定するので、上下方向に沿って手が動かされたことを高い精度で検出することができる。
【００９１】
（７）本発明の本実施形態に係る運転支援装置１００によれば、物体の像が占める面積が外乱判定領域Ｖに対して占める占有面積率が閾値以上である場合には、物体が外乱判定領域Ｖ以内に存在すると判断するので、顔画像に影響を与える物体が存在するか否かを所定の基準に従って判断できるため、正確な判断をすることができる。
【００９２】
（８）本発明の本実施形態に係る運転支援装置１００によれば、左右に沿う外乱判定領域Ｖについては相対的に高い閾値を設定して物体の動きを厳しい基準で検出し、上下に沿う外乱判定領域Ｖについては相対的に低い閾値を設定して物体の動きを緩やかな厳しい基準で検出するので、顔画像に外乱を生じさせる手その他の物体の動きを高い精度で検出することができる。
【００９３】
（９）本発明の本実施形態に係る運転支援装置１００によれば、顔画像領域ＦＣの外側に設定された身体画像検出領域Ｄに含まれる運転者の顔以外の身体の動きの変化から運転者の特徴動作を検出する。顔画像に外乱を発生させる可能性が高い場合であっても、運転者の顔以外の手の画像などには外乱は発生しないので、顔以外の身体の画像に基づいて特徴動作の検出を行い、覚醒度の判定を行うことができる。
【００９４】
（１０）さらに、本発明の本実施形態に係る運転支援装置１００は、第２検出機能により物体が検出された場合であっても、運転者の顔以外の手などの身体の動きの変化から運転者の特徴動作を検出する処理を続行する。つまり、手などの身体の動きの変化に基づく運転者の特徴動作を検出処理は中止しない。これにより、顔画像に外乱を発生させる可能性が低い顔以外の身体の画像に基づいて特徴動作の検出の精度を維持できるので、覚醒度に基づく運転支援を継続することができる。この結果、運転者に違和感を与えることがなく、安定した運転支援を行うことができる。
【００９５】
なお、本発明に係る撮像手段はカメラ１に相当し、本発明に係る第１検出手段、第２検出手段は動作検出機能Ｆ１１及び形状推定機能Ｆ１２に相当し、本発明に係る特徴検出手段は手の動作検出機能Ｆ２１，首の動作検出機能Ｆ２２，溜め息・深呼吸検出機能Ｆ２３及びあくび検出機能Ｆ２４に相当し、本発明に係る判定手段は覚醒度低下の初期状態判定機能Ｆ４に相当し、本発明に係る検出制御手段は検出制御機能Ｆ５に相当する。
【符号の説明】
【００９６】
１０００…運転支援システム
１００…運転支援装置
１０…制御装置
１…カメラ
２…光源
１３…制御装置
Ｆ１１…動作検出機能
Ｆ１２…形状推定機能
Ｆ２１…手の動作検出機能
Ｆ２２…首の動作検出機能
Ｆ２３…溜め息・深呼吸検出機能
Ｆ２４…あくび検出機能
Ｆ３１…苦闘検出機能
Ｆ４…覚醒度低下の初期状態判定機能
Ｆ５…検出制御機能
２００…車両コントローラ
３００…報知装置
４００…記憶装置
５００…通信装置
６００…車載装置
６１０…走行支援装置
６１１…車間維持装置
６１２…キープレーン装置
６２０…制動装置
６３０…出力装置
６３１…ディスプレイ
６３２…スピーカ
６４０…エアコンディショナー
６５０…座席ヒータ
６６０…メモリ
６７０…ナビゲーション装置
７００…外部装置
【図１】
2013156707.tif 000003
【図２】
2013156707.tif 000004
【図３】
2013156707.tif 000005
【図４】
2013156707.tif 000006
【図５】
2013156707.tif 000007
【図６】
2013156707.tif 000008
【図７】
2013156707.tif 000009
【図８】
2013156707.tif 000010
【図９】
2013156707.tif 000011
【図１０】
2013156707.tif 000012
【図１１】
2013156707.tif 000013
【図１２】
2013156707.tif 000014
【図１３】
2013156707.tif 000015
【図１４】
2013156707.tif 000016
【図１５】
2013156707.tif 000017
【図１６】
2013156707.tif 000018
【図１７】
2013156707.tif 000019
【図１８】
2013156707.tif 000020
【図１９】
2013156707.tif 000021