(57)【特許請求の範囲】
【請求項１】
運転者の視線に関する情報と、運転操作に関する情報及び走行状態に関する情報のうちの少なくとも一つとを観測量として取得する観測量取得手段と、
所定の脇見発生状態と観測量との間の確率的関係及び前記観測量取得手段が取得した観測量に基づいて該所定の脇見発生状態が脇見であるか否かを判定する脇見状態判定手段と、
を備え、
前記所定の脇見発生状態は、少なくとも１種類の観測量の現在時刻における値を用いて定義され、
前記脇見状態判定手段は、運転者が脇見をしている確率を算出し、算出した確率が閾値を超えた場合で、且つ、前記所定の脇見発生状態が検出されている場合に、運転者が脇見をしていると判定する、
ことを特徴とする脇見状態判定装置。
【請求項２】
前記脇見状態判定手段は、ベイジアンネットワークを用いて運転者が脇見をしている確率を算出する、
ことを特徴とする請求項１に記載の脇見状態判定装置。
【請求項３】
前記脇見状態判定手段は、遷移モデル及び観測モデルを事前に学習し、前記遷移モデル及び前記観測モデルと前記観測量取得手段が取得した観測量とに基づいて運転者が脇見をしている確率を算出する、
ことを特徴とする請求項１又は２に記載の脇見状態判定装置。
【請求項４】
前記運転操作に関する情報は、操舵角、アクセル踏み込み量、ブレーキ踏み込み量又はウィンカー操作に関する情報を含む、
ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
【請求項５】
前記走行状態に関する情報は、車両の速度又は加速度を含む、
ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
【請求項６】
前記走行状態に関する情報は、車両とセンターラインとの間の距離又は車両とセンターラインとの間の角度を含む、
ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
【請求項７】
前記走行状態に関する情報は、周囲環境に関する情報を含む、
ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
【請求項８】
前記運転者の視線に関する情報は、頭部の傾斜角度を含む、
ことを特徴とする請求項１乃至３に記載の脇見状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の脇見状態を判定する脇見状態判定装置に関し、特に、運転者の視線に関する情報と、運転操作に関する情報又は走行状態に関する情報等の少なくとも一つを観測量として取得し、既知の脇見状態と既知の観測量との間の確率的関係及び現在の観測量に基づいて現在の脇見状態を判定する脇見状態判定装置に関する。
【背景技術】
【０００２】
従来、過去の所定時間内における運転者の視線方向の方向別頻度、及び、過去の所定期間内における操舵角速度の角速度別頻度に基づいて運転者が脇見をしているか否かを判定する運転者状態検出装置が知られている（例えば、特許文献１参照。）。
【０００３】
この運転者状態検出装置は、隣接車線に他車が存在し、かつ、運転者が車線を維持しようとしている場合であって、運転者が脇見をせずに運転しているときには、車両位置を一定に保とうとする意識が強くなることでステアリング操作が比較的頻繁になり操舵角速度も比較的大きくなるのに対し、運転者が脇見をしながら運転をしているときには、ステアリング操作が比較的緩慢になり操舵角速度も比較的小さくなるという前提条件を設定して、過去の所定時間内における運転者の視線方向の方向別頻度が所定状態となった場合に、過去の所定期間内における操舵角速度の操舵角速度別頻度に基づいて運転者が脇見運転をしているか否かを判定する。
【０００４】
このように、この運転者状態検出装置は、所定期間における操舵角速度の統計値に基づいて予め設定しておいた特定の前提条件が満たされるか否かを判定することで、過去の所定時間内における運転者の視線方向の方向別頻度が所定状態となった場合に、運転者が脇見運転をしているか否かを高精度に判定しようとする。
【特許文献１】特開２００３−８０９６９号公報
【非特許文献１】須田善大、高橋良至、大貫正明、“研究用ユニバーサル・ドライビングシミュレータ”、自動車技術、Vol.59,No.7,(2005),pp.83-88、自動車技術会
【非特許文献２】岡兼司、菅野裕介、佐藤洋一、“頭部変形モデルの自動構築を伴う実時間頭部姿勢推定”、情報処理学会論文誌：コンピュータビジョンとイメージメディア、Vol.47,No.SIG10(CVIM15),pp.185-194
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の運転者状態検出装置は、脇見の有無を判定するために観測可能なデータ（操舵角速度）に関する特定の前提条件を定義するので、そのような特定の前提条件に当てはまらないステアリング操作には対応することができず、運転者が脇見運転をしていないにもかかわらず脇見運転をしているものと判定したり、反対に、運転者が脇見運転をしているにもかかわらず脇見運転をしていないものと判定したりしてしまう。
【０００６】
上述の点に鑑み、本発明は、運転者が脇見をしているか否かをより正確に判定できる脇見状態判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の第一の実施例に係る脇見状態判定装置は、運転者の視線に関する情報と、運転操作に関する情報又は走行状態に関する情報のうちの少なくとも一つとを観測量として取得する観測量取得手段と、所定の脇見状態と観測量との間の確率的関係及び前記観測量取得手段が取得した観測量に基づいて該所定の脇見状態が脇見であるか否かを判定する脇見状態判定手段と、を備え、前記所定の脇見発生状態は、少なくとも１種類の観測量の現在時刻における値を用いて定義され、前記脇見状態判定手段は、運転者が脇見をしている確率を算出し、算出した確率が閾値を超えた場合で、且つ、前記所定の脇見発生状態が検出されている場合に、運転者が脇見をしていると判定することを特徴とする。
【０００９】
また、本発明の第二の実施例は、第一の実施例に係る脇見状態判定装置であって、前記脇見状態判定手段は、ベイジアンネットワークを用いて運転者が脇見をしている確率を算出することを特徴とする。
【００１０】
また、本発明の第三の実施例は、第一又は第二の実施例に係る脇見状態判定装置であって、前記脇見状態判定手段は、遷移モデル及び観測モデルを事前に学習し、前記遷移モデル及び前記観測モデルと前記観測量取得手段が取得した観測量とに基づいて運転者が脇見をしている確率を算出することを特徴とする。
【００１１】
また、本発明の第四の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記運転操作に関する情報は、操舵角、アクセル踏み込み量、ブレーキ踏み込み量又はウィンカー操作に関する情報を含むことを特徴とする。
【００１２】
また、本発明の第五の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記走行状態に関する情報は、車両の速度又は加速度を含むことを特徴とする。
【００１３】
また、本発明の第六の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記走行状態に関する情報は、車両とセンターラインとの間の距離又は車両とセンターラインとの間の角度を含むことを特徴とする。
【００１４】
また、本発明の第七の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記走行状態に関する情報は、周囲環境に関する情報を含むことを特徴とする。
【００１５】
また、本発明の第八の実施例は、第一乃至第三の何れかの実施例に係る脇見状態判定装置であって、前記運転者の視線に関する情報は、頭部の傾斜角度を含むことを特徴とする。
【発明の効果】
【００１６】
上述の手段により、本発明は、運転者が脇見をしているか否かをより正確に判定できる脇見状態判定装置を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１８】
図１は、本発明に係る脇見状態判定装置の構成例を示すブロック図であり、脇見状態判定装置１００は、制御部１、各種観測量を取得する装置２０〜２８、運転者の入力を受け付ける入力装置２９、及び、各種音声を出力する音声出力装置３０から構成される車載装置である。
【００１９】
ここで、「観測量」とは、数値として観測できる量であり、例えば、図２に示すようなカテゴリ「運転操作」、「車両状態」又は「運転者情報」に分類され、「運転操作」カテゴリにおける「ステアリング角度」、「アクセル踏み込み量」、「ブレーキ踏み込み量」及び「方向指示器設定」、「車両状態」カテゴリにおける「速度」、「加速度」、「車両とセンターラインとの間の距離」及び「車両のセンターラインに対する角度」、並びに、「運転者情報」カテゴリにおける「頭部ヨー角（運転者の頭部の鉛直軸周りの回転角をいう。）」が含まれる。
【００２０】
また、「観測量」は、アクセル踏み込み速度、ブレーキ踏み込み速度、ステアリング角速度、車両位置（緯度、経度、高度がある。）、道路種類（直線道路、湾曲道路、交差点付近等がある。）、周囲環境（脇見を誘発しやすい繁華街、景勝地、又は、脇見を誘発し難い高速道路等がある。）、歩行者の有無、他車の速度、加速度、自車と他車との間の距離、頭部ピッチ角（運転者の頭部の車両左右方向に伸びる軸周りの回転角をいう。）、頭部ロール角（運転者の頭部の車両前後方向に伸びる軸周りの回転角をいう。）等、観測可能な量であって脇見状態に影響を与え得る如何なるものを含んでいてもよい。
【００２１】
また、「観測量」は、連続値（アナログデータ）が採用されてもよいが、その連続値を複数段階に区分した離散値（デジタルデータであり、例えば、観測量が「速度」の場合、５、１０、１５といった５ｋｍ／ｈ毎の段階で区分される。）や複数の指標（例えば、道路種類における直線道路の指標として「１」を設定し、道路種類における湾曲道路の指標として「２」を設定したりする。）が採用されてもよい。
【００２２】
なお、脇見状態判定装置１００は、好適には、各種観測量をそれぞれ１２段階の離散値に区分して取り扱うこととする。段階数が少ないと各種観測量の特徴を抽出するのが困難となり、一方で、段階数が多いとノイズ（異常値）の混入が無視できなくなるからである。
【００２３】
脇見状態判定装置１００は、例えば、運転者の頭部ヨー角、及び、脇見状態に関連する各種観測量を継続的に取得しながら、その頭部ヨー角が所定角度以上となった場合における各種観測量の瞬間値や統計値（平均値、最大値、最小値、分散、中間値等がある。）と所定の遷移モデル及び所定の観測モデルとに基づいて、直接的に観測できない脇見状態を条件付確率で表すようにする。
【００２４】
ここで、「遷移モデル」とは、二以上の状態が互いに遷移する場合における各状態の条件付確率分布であり、例えば、時刻ｔにおいて脇見状態でなかった（Ｘｔ＝ＯＦＦ）場合に時刻ｔ＋１において脇見状態（Ｘｔ＋１＝ＯＮ）となる条件付確率分布であって、Ｐ（Ｘｔ＋１＝ＯＮ｜Ｘｔ＝ＯＦＦ）のように表される。
【００２５】
また、「観測モデル」とは、観測量の条件付確率分布であり、例えば、時刻ｔにおいて脇見状態（Ｘｔ＝ＯＮ）であった場合に観測量Ｚｔ（ｋ）が所定値ｚとなる条件付確率分布であって、Ｐ（Ｚｔ（ｋ）＝ｚ｜Ｘｔ＝ＯＮ）のように表される。なお、Ｚ（ｋ）は、Ｎ種類ある観測量のｋ番目の観測量の値を示す。
【００２６】
また、脇見状態判定装置１００は、例えば、遷移モデル及び観測モデルを予め用意しているものとし、それら遷移モデル及び観測モデルは、例えば、ドライビングシミュレータ（例えば、非特許文献１参照。）を用いて運転者毎に事前に学習される。
【００２７】
図３は、ドライビングシミュレータの構成例を示す概略図であり、図３（Ａ）は、被験者（運転者）ＤＲが、車両模型ＶＣの各種操作部（図示しない、アクセルペダル、ブレーキペダル、ステアリング等である。）に連動するスクリーンＳＣ上の映像を見ながら車両の運転を擬似的に体験できるようになっていることを示す。
【００２８】
また、図３（Ａ）は、ドライビングシミュレータＤＳが、運転者撮影用カメラ２１を運転席前方に備え、かつ、被験者ＤＲの運転操作を検証するための検証用カメラＭＣを運転席後方上部に備えることを示す。
【００２９】
また、図３（Ａ）は、ドライビングシミュレータＤＳが、運転者ＤＲの脇見を誘発するターゲット画像ＴＧを表示させるためのプロジェクタＰ１、Ｐ２を後部座席の左右に備えることを示し、運転者ＤＲは、首を振らなければ（頭部ヨー角が所定角度φ以上にならなければ）、ターゲット画像ＴＧを視認できないものとする。
【００３０】
このようにして、ドライビングシミュレータＤＳは、運転者撮影用カメラ２１が取得した画像から、従来技術（例えば、非特許文献２参照。）を用いて、脇見状態を最も良く反映すると考えられる頭部ヨー角を検出できるようにする。
【００３１】
ドライビングシミュレータＤＳは、ターゲット画像ＴＧの表示頻度、表示時間、ターゲット画像ＴＧの表示位置、ターゲット画像ＴＧの種類等をランダムに決定し、例えば、表示頻度を１分間当たり２．２回、表示時間を１回当たり５秒間、ターゲット画像ＴＧの種類を５０種類としながら、左右のプロジェクタＰ１、Ｐ２を利用してターゲット画像ＴＧを含む投影画像ＰＧを左右の壁面Ｗ１、Ｗ２にそれぞれ投影させる。
【００３２】
図３（Ｂ）は、右側の壁面Ｗ２に投影される投影画像ＰＧの一例を示し、投影画像ＰＧが、その左側領域に歩行者の形をしたターゲット画像ＴＧを含む状態を示す。
【００３３】
なお、ドライビングシミュレータＤＳは、歩行者の他に、道路標識、四字熟語等、被験者ＤＲの興味を引く画像をターゲット画像ＴＧとして使用してもよく、また、被験者ＤＲに心的負荷を与えることなく自然に脇見をさせるために、左右何れの方向にターゲット画像ＴＧが表示されたかを音声で知らせるようにしてもよい。
【００３４】
また、ドライビングシミュレータＤＳは、被験者ＤＲの頭部ヨー角がφ（例えば、±１０°である。）以上で、かつ、ターゲット画像ＴＧが表示されている状態を脇見が発生している状態と定義した上で、被験者ＤＲに擬似的な運転を所定回数繰り返し実施させるようにする（この行為を教師付き学習と呼ぶ。）。
【００３５】
なお、脇見が発生している状態は、頭部ヨー角以外の観測量を用いて定義されてもよく、また、脇見の発生していない状態が、任意の観測量を用いて定義されてもよい（例えば、頭部ヨー角がφ以上であっても、操舵角が所定角度以上となっている状態を、脇見の発生していない状態と定義する。）。
【００３６】
上述の方法に従って獲得した各種観測量に基づき、ドライビングシミュレータＤＳは、遷移モデル及び観測モデルを学習（生成）する。
【００３７】
なお、遷移モデル及び観測モデルは、フレーム（所定の時間的単位をいい、例えば、運転者撮影用カメラ２１の撮影単位（フレーム／秒）でいうところのフレームである。）の数に基づいて導出される。
【００３８】
具体的には、遷移モデルが（１）式で表され、観測モデルが（２）式で表される。
【００３９】
【数１】
0005311793.tif 000002
【００４０】
【数２】
0005311793.tif 000003
なお、ｆｒａｍｅ｛ｙ｝は、条件ｙを満たすフレームの数を意味する。
【００４１】
ここで再度、図１を参照しながら、脇見状態判定装置１００の構成要素について説明する。
【００４２】
制御部１は、ＣＰＵ（Central  Processing  Unit）、並びに、ＲＡＭ(Random  Access  Memory)及びＲＯＭ（Read  Only  Memory）等の記憶部１５を備えたコンピュータであって、例えば、観測量取得手段１０、脇見状態学習手段１１及び脇見状態判定手段１２のそれぞれに対応するプログラムを記憶部１５に記憶しながら、各手段に対応する処理をＣＰＵに実行させる。
【００４３】
記憶部１５は、例えば、ドライビングシミュレータＤＳを用いて学習が行われた遷移モデル１５０及び観測モデル１５１を運転者毎に記憶し、車両を運転する各運転者に対応する遷移モデル１５０及び観測モデル１５１を脇見状態判定装置１００が選択的に利用できるようにする。
【００４４】
道路撮影用カメラ２０は、道路上に設置された区画線や道路標示等を認識するためのカメラであり、例えば、フロントグリル付近に設置され、自車が走行する道路上の車線境界線等を撮影する。
【００４５】
運転者撮影用カメラ２１は、運転者を撮影するためのカメラであり、例えば、インストルメントパネル内やダッシュボード上等に設置され、運転者の頭部を撮影する。なお、運転者撮影用カメラ２１は、好適には、ドライビングシミュレータＤＳで使用されるものと同じ配置、同じ型が使用される。ドライビングシミュレータＤＳで得られた遷移モデル１５０及び観測モデル１５１を有効に利用できるようにするためである。
【００４６】
操舵角センサ２２は、車輪の操舵角に関連するステアリングシャフトの回転角を測定するためのセンサであり、例えば、ステアリングシャフトに埋め込まれた磁石による磁気抵抗をＭＲ（Magnetic  Resistance）素子により読み取りステアリングシャフトの回転角を検出し、検出結果を制御部１に出力する。
【００４７】
アクセル踏み込み量センサ２３は、アクセルの踏み込み量を検出するためのセンサであり、例えば、可変抵抗器を用いたポテンショメータによりアクセルペダルの踏み込み量を検出し、検出結果を制御部１に出力する。
【００４８】
ブレーキ踏み込み量センサ２４は、アクセル踏み込み量センサ２３と同様、ブレーキの踏み込み量を検出するための手段である。
【００４９】
方向指示器２５は、自車の進行方向を外部に通知するための装置であり、例えば、ウィンカーランプを点滅させて自車の進行方向を外部に通知するようにし、その状態を示す電気信号を制御部１に出力する。
【００５０】
速度センサ２６は、車両の速度を測定するセンサであり、例えば、各車輪に取り付けられ各車輪とともに回転する磁石による磁界の変化をＭＲ素子が磁気抵抗として読み取り、これを回転速度に比例したパルス信号として取り出すことで車輪の回転速度及び車両の速度を検出し、検出結果を制御部１に出力する。
【００５１】
加速度センサ２７は、車両の加速度を検出するためのセンサであり、例えば、半導体ひずみゲージを用いて車両の前後方向、上下方向、左右方向の３軸方向の加速度を検出し、検出結果を制御部１に出力する。
【００５２】
ナビゲーション装置２８は、ＧＰＳ(Global  Positioning  System)機能により取得される車両の位置情報と、ハードディスクやＤＶＤ等に記憶された地図情報とに基づいて目的地までの経路を示しながら車両を誘導するための装置であり、自車位置（緯度、経度、高度）、自車が走行する道路の種類（直線道路、湾曲道路、交差点付近等がある。）、又は、周囲環境（脇見を誘発しやすい繁華街、景勝地、又は、脇見を誘発し難い高速道路等がある。）に関する情報等を制御部１に出力する。
【００５３】
入力装置２９は、運転者による入力を受け付けるための装置であり、例えば、ステアリング上に配置されるステアリングスイッチであって、脇見状態判定装置１００による判定結果が正しいか否かのフィードバックを運転者が入力できるようにし、運転者によるその入力情報を制御部１に出力する。
【００５４】
音声出力装置３０は、音声メッセージや警報等を出力するための装置であり、例えば、車載スピーカやアラームであって、脇見状態判定装置１００により運転者が脇見をしていると判定された場合に、制御部１から送られてくる制御信号に応じて注意喚起メッセージやアラーム音を出力する。
【００５５】
次に、制御部１が有する各種手段について説明する。
【００５６】
観測量取得手段１０は、各種観測量を取得するための手段であり、各種観測量を取得する装置２０〜２８からの出力を継続的に取得しながら、取得した観測量を記憶部１５に記憶する。なお、観測量取得手段１０は、取得した直近の観測量をその統計値に反映させた上で観測量を消去又は破棄するようにしてもよい。
【００５７】
また、観測量取得手段１０は、運転開始時から現在時刻までの全期間に取得された観測量の全てを利用できるようにしてもよく、過去の所定期間で取得された観測量のみを利用できるようにしてもよい。
【００５８】
また、観測量取得手段１０は、例えば、道路撮影用カメラ２０が出力する道路の画像を受け、二値化処理、エッジ検出処理等の画像処理を施すことにより道路標示や車線境界線等を抽出する。
【００５９】
更に、観測量取得手段１０は、抽出した車線境界線と既知であるカメラ位置との関係から、自車と車線境界線との間の距離を算出したり、自車と車線境界線とが形成する角度を算出したりする。
【００６０】
また、観測量取得手段１０は、例えば、運転者撮影用カメラ２１が出力する運転者の頭部の画像を受け、既知の頭部姿勢推定方法（例えば、非特許文献２参照。）を用いて頭部の姿勢を検出し、運転者の頭部のヨー角、ピッチ角、ロール角を導出する。
【００６１】
更に、観測量取得手段１０は、運転者撮影用カメラ２１が出力する運転者の顔面の画像を受け、二値化処理、エッジ検出処理等の画像処理を施すことにより顔面内の目、鼻、口の位置を抽出したり、或いは、目の中における瞳の位置を抽出したりすることで、運転者の視線方向を推定するようにしてもよい。
【００６２】
脇見状態学習手段１１は、遷移モデル１５０及び観測モデル１５１の学習を行うための手段であり、例えば、脇見状態判定装置１００が一旦脇見であると判定し音声出力装置３０から警告を出力させた後に、入力装置２９を介して運転者が脇見をしていなかったことを事後的に検知した場合に、その判定結果が誤りであったことを遷移モデル１５０及び観測モデル１５１に反映させるようにする。
【００６３】
また、脇見状態学習手段１１は、指紋認証装置、虹彩認証装置又はパスワード等の運転者識別手段により運転者を識別した上で、運転者毎に、遷移モデル１５０及び観測モデル１５１を更新するようにする。運転者毎の特徴を取り入れながら遷移モデル１５０及び観測モデル１５１を準備することにより、後述の脇見状態判定手段１２による脇見判定の精度を更に向上させるためである。
【００６４】
このようにして、脇見状態学習手段１１は、脇見状態判定装置１００による脇見の判定精度を継続的に向上させることができる。
【００６５】
脇見状態判定手段１２は、脇見をしているか否かを判定するための手段であり、例えば、ダイナミックベイジアンネットワーク（以下、「ＤＢＮ」とする。）を用い、現在時刻までに得られた各種観測量に基づいて現在時刻における脇見の確率を導出し、導出した確率が所定値ξ（例えば、０．８である。）以上の場合に脇見であると判定する。
【００６６】
なお、所定値ξは、例えば、ドライビングシミュレータＤＳにおける複数のシミュレーション結果に対してleave-one-out法に基づく脇見判定精度の評価を行い、ＴＰ（True  Positive：真陽性率であり、脇見状態を脇見であると判定する比率をいう。）、ＦＰ(False  Positive：偽陽性率であり、非脇見状態を脇見であると判定する比率をいう。)、ＦＮ(False  Negative：偽陰性率であり、脇見状態を脇見でないと判定する比率をいう。)、及び、ＴＮ（True  Negative：真陰性であり、非脇見状態を脇見でないと判定する確率をいう。）の値を考慮しながら決定される。
【００６７】
ＤＢＮは、隠れ状態変数（観測量の履歴から直接的に取得することができない変数であり、例えば、脇見状態である。）と観測変数（観測量の履歴から直接的に取得することができる変数であり、例えば、頭部ヨー角、速度、加速度等である。）との間に確率的な関係が存在する場合に、有向グラフを用いてその関係を記述する手法である。
【００６８】
ＤＢＮは、この関係を定常状態と仮定し定量的に学習することで、ある時刻までの観測変数の状態の履歴からその時刻の隠れ状態変数の値の尤もらしさを確率的に算出する。
【００６９】
なお、本実施例においては、隠れ状態変数（脇見状態）が１次マルコフ過程に従い、かつ、各時刻における隠れ状態変数（脇見状態）がそれぞれの時刻の観測変数に影響を及ぼすものと仮定する。
【００７０】
図４は、ＤＢＮのネットワークトポロジを示す概念図であり、１次マルコフ過程に従う隠れ状態変数の推移が破線の矢印で表され、各時刻における隠れ状態変数（脇見状態）が各時刻の観測変数に影響を及ぼす様子が実線の矢印で表されている。
【００７１】
ここで、Ｘｔ及びＺｔ（Ｚｔ＝｛Ｚｔ（１）、・・・、Ｚｔ（Ｎ）｝）は、それぞれ、時刻ｔにおける状態変数（脇見状態）の値及び時刻ｔにおける観測変数（頭部ヨー角、速度、加速度等）の値を示し、Ｘｔは、ＯＮ（脇見をしている）又はＯＦＦ（脇見をしていない）の何れかの値を取り、Ｎは、観測変数の種類の数である。また、各観測変数Ｚｔ（ｋ）は、連続量を離散化した離散値を有し、各観測変数の離散値は、例えば、１２段階に区分される。
【００７２】
（３）式は、観測量の取得を開始した時刻から時刻ｔ迄の全観測量に関する情報Ｚ１：ｔに基づいて時刻ｔにおける脇見状態Ｘｔの事後確率Ｐ（Ｘｔ｜Ｚ１：ｔ）を求めるための式であり、ＤＢＮは、（３）式を用いて各観測量が所定値となる場合における脇見の確率を導出する。なお、「事後確率」とは、条件付き確率の一種であり、本実施例においては、既に得られている観測量を考慮に入れた上での脇見の起こりやすさを表すものである。
【００７３】
【数３】
0005311793.tif 000004
ここで、αは、Ｐ（Ｚｔ＋１）を示す定数であり、Ｐ（Ｚｔ＋１（ｋ）｜Ｘｔ＋１）は、記憶部１５に記憶された観測モデル１５１を用いて決定され、Ｐ（Ｘｔ＋１｜ｘｔ）は、記憶部１５に記憶された遷移モデル１５０を用いて決定される。
【００７４】
従って、現在時刻における脇見の事後確率Ｐ（Ｘｔ＝ＯＮ｜Ｚ１：ｔ）は、これまでに観測された観測量Ｚ１：ｔに基づいてＰ（ｘｔ｜Ｚ１：ｔ（ｋ））を導出することにより導出されることとなる。
【００７５】
脇見状態判定手段１２は、上述のようにＤＢＮを用いて導出した現在時刻における脇見の事後確率Ｐ（Ｘｔ＝ＯＮ｜Ｚ１：ｔ）と所定値ξ（例えば、０．８である。）とを比較し、事後確率Ｐ（Ｘｔ＝ＯＮ｜Ｚ１：ｔ）が所定値ξ以上となる場合に、現在の状態（この場合、頭部ヨー角がφ以上である状態をいう。）が脇見であると判定する。
【００７６】
次に、図５を参照しながら、脇見状態判定装置１００が運転者の脇見に対して注意喚起する処理（以下、「脇見注意喚起処理」とする。）について説明する。なお、図５は、脇見注意喚起処理の流れを示すフローチャートであり、脇見状態判定装置１００は、車両が所定速度以上で走行している間、脇見注意喚起処理を繰り返し実行するものとする。
【００７７】
最初に、脇見状態判定装置１００の制御部１は、脇見状態判定手段１２により、ＤＢＮを用いて現在時刻における脇見の事後確率を算出する（ステップＳ１）。
【００７８】
その後、制御部１は、観測量取得手段１０により、運転者撮影用カメラ２１が出力する画像を受けて運転者の頭部のヨー角を導出し、その頭部のヨー角と所定角度φとを比較する（ステップＳ２）。
【００７９】
その頭部のヨー角が所定角度φ未満である場合（ステップＳ２のＮＯ）、制御部１は、脇見注意喚起処理を一旦終了させる。頭部のヨー角が所定角度φ未満であれば、注意喚起する必要がないからである。
【００８０】
その頭部のヨー角が所定角度φ以上である場合（ステップＳ２のＹＥＳ）、制御部１は、脇見状態判定手段１２により、算出された事後確率と所定値ξとを比較し（ステップＳ３）、算出された事後確率が所定値ξ以下の場合（ステップＳ３のＮＯ）、脇見注意喚起処理を一旦終了させる。算出された事後確率が低ければ、注意喚起する必要がないからであり、注意喚起が必要ないときに警報を出力してしまうのを防止するためである。
【００８１】
算出された事後確率が所定値ξより大きい場合（ステップＳ３のＹＥＳ）、制御部１は、音声出力装置３０に制御信号を出力して警報を出力させ、脇見を止めるよう運転者に注意喚起した上で（ステップＳ４）、脇見注意喚起処理を終了させる。
【００８２】
なお、図５に示す脇見注意喚起処理では、頭部ヨー角が所定角度φ以上の場合に限りＤＢＮを用いて現在時刻における脇見の事後確率を算出するようにしてもよい。
【００８３】
観測量取得手段１０が導出した頭部ヨー角が離散値として扱われる場合であって、その所定角度φが一区分の中間に含まれる場合（例えば、区分が±４°刻みで設定された場合であって、所定角度φ（±１０°）が、±８°から±１２°の区分に含まれる場合をいう。）もあるからであり、このとき、頭部ヨー角±８°と頭部ヨー角±１０°とは、同じ離散値として扱われるからである。これは、頭部ヨー角が所定角度φ未満であっても、脇見をしていると判定される場合が有ることを意味する。
【００８４】
以上の構成により、脇見状態判定装置１００は、各種観測量と脇見状態との間の確率的関係を用いて、直接的に観測できない脇見状態の脇見確率を算出しながら、運転者が脇見をしているか否かを判定するので、脇見の有無をより正確に判定することができる。
【００８５】
また、脇見状態判定装置１００は、各種観測量と脇見状態との間の確率的関係を用いて脇見状態を判定するので、一見しただけでは法則性の見いだせない各種観測量と脇見状態との間の関係にも柔軟に対応することができ、脇見の有無をより正確に判定することができる。
【００８６】
また、脇見状態判定装置１００は、右左折時や車線変更時の安全確認等、脇見でないが視線を前方から逸脱させた場合と、脇見をして視線を前方から逸脱させた場合とを、より正確に区別することができ、脇見でないが視線を前方から逸脱させた場合に警報を出力させてしまうの（誤判定に基づく警報出力）を防止することができる。
【００８７】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００８８】
例えば、上述の実施例では、装置２０〜２８が出力する観測量と脇見状態との確率的関係をＤＢＮで記述し、脇見の事後確率を算出することで脇見をしているか否かを判定するが、本発明に係る脇見状態判定装置は、レーダセンサが出力する車間距離、路車間通信機が出力する車線の種類（走行車線又は追い越し車線等である。）等、更に別の観測量をＤＢＮに入力しながら、脇見をしているか否かを判定するようにしてもよい。
【００８９】
また、本発明に係る脇見状態判定装置は、ニューラルネットワーク等の他の確率モデルを用いて脇見をしているか否かを判定するようにしてもよい。
【図面の簡単な説明】
【００９０】
【図１】本発明に係る脇見状態判定装置の構成例を示すブロック図である。
【図２】脇見状態判定装置が取得する観測量の分類表の一例である。
【図３】ドライビングシミュレータの構成例を示す概略図である。
【図４】ＤＢＮのネットワークトポロジを示す概念図である。
【図５】脇見注意喚起処理の流れを示すフローチャートである。
【符号の説明】
【００９１】
１      制御部
１０    観測量取得手段
１１    脇見状態学習手段
１２    脇見状態判定手段
１５    記憶部
２０    道路撮影用カメラ
２１    運転者撮影用カメラ
２２    操舵角センサ
２３    アクセル踏み込み量センサ
２４    ブレーキ踏み込み量センサ
２５    方向指示器
２６    速度センサ
２７    加速度センサ
２８    ナビゲーション装置
２９    入力装置
３０    音声出力装置
１００  脇見状態判定装置
１５０  遷移モデル
１５１  観測モデル
ＤＲ    被験者
ＤＳ    ドライビングシミュレータ
ＭＣ    検証用カメラ
Ｐ１、Ｐ２  プロジェクタ
ＰＧ    投影画像
ＳＣ    スクリーン
ＴＧ    ターゲット画像
ＶＣ    車両模型
Ｗ１、Ｗ２  壁面
【図１】
0005311793.tif 000005
【図２】
0005311793.tif 000006
【図３】
0005311793.tif 000007
【図４】
0005311793.tif 000008
【図５】
0005311793.tif 000009