(57)【要約】【課題】効率良く次回の制御量又は行動指針情報を得る。【解決手段】前回の行動出力による結果に対する報酬を用いて状態評価値Ｖπ（ｓｔ）を計算し（５４２）、ＴＤ誤差δｔを計算し（５４４）、評価値Ｔ（ｓｔ）を計算する（５４６）。試行値Δａ（ｓｔ）を，  教示行動から定まる値と前回の行動出力との差の変化量の値への影響を、所定の確率に基づいて定められる行動出力の変化量の値への影響より大きくして、計算し（５４８）、出力する（５５４）。【選択図】  図３
2004348394.tif 000002
【特許請求の範囲】
【請求項１】
環境を変化させる変化手段と、
制御量に基づいて、前記環境が変化するように前記変化手段を制御する制御手段と、
前記制御量を算出する算出手段と、
を備えた環境変化装置であって、
前記算出手段は、以前の制御量に基づいて変化した環境に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準制御量に基づいて、以前の制御量からの変化量を定めることにより、次回の制御量を算出する、
ことを特徴とする環境変化装置。
【請求項２】
前記算出手段は、前記基準制御量から所定の確率に基づいて定められる値と前回の制御量との差に基づいて前記変化量を定めることにより、次回の制御量を算出することを特徴とする請求項１記載の環境変化装置。
【請求項３】
前記算出手段は、前記基準制御量から所定の確率に基づいて定められる値と前回の制御量との差の前記変化量の値への影響を、所定の確率に基づいて定められる制御量の前記変化量の値への影響より大きくして、前記変化量を定めることを特徴とする請求項２記載の環境変化装置。
【請求項４】
前記算出手段は、前記基準制御量から所定の確率に基づいて定められる値と前回の制御量との差のみに基づいて前記変化量を定めることを特徴とする請求項２記載の環境変化装置。
【請求項５】
前記以前の制御量は、前記基準制御量に基づいて定められた制御量である請求項１乃至請求項４の何れか１項に記載の環境変化装置。
【請求項６】
各々異なる予め定められた複数の基準制御量を有し、
前記算出手段は、前記複数の基準制御量の内の１つの基準制御量に基づいて定められた以前の制御量に基づいて変化した環境に対する評価が予め定められた良好評価範囲外の場合には、前記複数の基準制御量の内の該１つの基準制御量以外の他の基準制御量に基づいて、以前の制御量からの変化量を定めることにより、次回の制御量を算出することを特徴とする請求項５記載の環境変化装置。
【請求項７】
操作するための操作手段と、
前記操作手段が操作されて得られた操作情報から前記制御量を計算する計算手段と、
を備え、
前記制御手段は、前記計算手段により計算された制御量に基づいて、前記環境が変化するように前記変化手段を制御する、
請求項１乃至請求項６の何れか１項に記載の環境変化装置。
【請求項８】
前記基準制御量は、前記計算手段が前記操作情報から計算された制御量である請求項７記載の環境変化装置。
【請求項９】
前記環境は物体の運動状態を示す請求項１乃至請求項８の何れか１項に記載の環境変化装置。
【請求項１０】
前記運動状態は前記物体の静止状態を示す請求項９記載の環境変化装置。
【請求項１１】
前記変化手段はロボット・ハードウエアーであるロボットとしての請求項１乃至請求項１０の何れか１項に記載の環境変化装置。
【請求項１２】
行動の指針となる行動指針情報を算出する算出手段と、
前記算出手段により算出された行動指針情報を提示する提示手段と、
を備えた行動指針情報生成提示装置であって、
前記算出手段は、以前の行動指針情報に基づいて変化した行動に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準行動指針情報に基づいて、以前の行動指針情報からの変化量を定めることにより、次回の行動指針情報を算出する、
ことを特徴とする行動指針情報生成提示装置。
【請求項１３】
前記算出手段は、前記基準行動指針情報から所定の確率に基づいて定められる値と前回の行動指針情報との差に基づいて前記変化量を定めることにより、次回の行動指針情報を算出することを特徴とする請求項１２記載の行動指針情報生成提示装置。
【請求項１４】
前記算出手段は、前記基準行動指針情報から所定の確率に基づいて定められる値と前回の行動指針情報との差の前記変化量の値への影響を、所定の確率に基づいて定められる行動指針情報の前記変化量の値への影響より大きくして、前記変化量を定めることを特徴とする請求項１３記載の行動指針情報生成提示装置。
【請求項１５】
前記算出手段は、前記基準行動指針情報から所定の確率に基づいて定められる値と前回の行動指針情報との差のみに基づいて前記変化量を定めることを特徴とする請求項１３記載の行動指針情報生成提示装置。
【請求項１６】
前記以前の行動指針情報は、前記基準行動指針情報に基づいて定められた行動指針情報である請求項１２乃至請求項１５の何れか１項に記載の行動指針情報生成提示装置。
【請求項１７】
各々異なる予め定められた複数の基準行動指針情報を有し、
前記算出手段は、前記複数の基準行動指針情報の内の１つの基準行動指針情報に基づいて定められた以前の行動指針情報に基づいて変化した環境に対する評価が予め定められた良好評価範囲外の場合には、前記複数の基準行動指針情報の内の該１つの基準行動指針情報以外の他の基準行動指針情報に基づいて、以前の制御量からの変化量を定めることにより、次回の行動指針情報を算出することを特徴とする請求項１６記載の行動指針情報生成提示装置。
【請求項１８】
前記行動は、車両が所定運転状態のときの該車両を操縦する乗員の行動であることを特徴とする請求項１２乃至請求項１７の何れか１項に記載の行動指針情報生成提示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、環境変化装置及び行動指針情報生成提示装置に係り、より詳細には、制御量に基づいて変化手段を制御して環境を変化する環境変化装置、及び、行動の指針となる行動指針情報を算出し、算出された行動指針情報を提示する行動指針情報生成提示装置に関する。
【０００２】
【従来の技術】
従来、環境変化装置の環境変化制御としての例えばロボット制御において行われる強化学習方式によれば，ある状態においてロボットにある行動を選択して行わせたときに，状態価値関数あるいは行動価値関数とよばれる，ロボットが将来にわたって与えられる報酬，すなわち収益の期待値としてどれだけを獲得できるかを逐次計算することによって，これらの価値関数のいずれかがもっとも大きくなる行動を選択することにより，所望の行動パターン（次回のロボットの制御量）を得ることができるとされている（非特許文献１参照。）。
【０００３】
【非特許文献１】
「強化学習によるロボット・ハンドの把握制御」電学論Ｃ，１２１巻，４号，第７１０頁〜第７１７頁（２００１．４）
【０００４】
【発明が解決しようとする課題】
しかしながら，とくに環境に対する情報をもっていない学習初期の段階では，ランダムな試行によって所望の行動パターン（所望のロボットの制御量）の探索を行わなければならないため，学習効率が悪い、即ち、前回の行動パターン（制御量）から次回の行動パターン（次回のロボットの制御量）を求める効率が悪い。とくに状態の次元数が大きくなると，次の行動パターンを得るための短時間に最適解が得られなく，実用性にかけていた。
【０００５】
本発明は、上記事実に鑑み成されたもので、効率良く次回の制御量又は行動指針情報を得ることの可能な環境変化装置及び行動指針情報生成提示装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的達成のため請求項１記載の発明にかかる環境変化装置は、環境を変化させる変化手段と、制御量に基づいて、前記環境が変化するように前記変化手段を制御する制御手段と、前記制御量を算出する算出手段と、を備えた環境変化装置であって、前記算出手段は、以前の制御量に基づいて変化した環境に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準制御量に基づいて、以前の制御量からの変化量を定めることにより、次回の制御量を算出することを特徴とする。
【０００７】
本発明の算出手段は、制御手段の制御量を算出し、制御手段は、制御量に基づいて、環境が変化するように変化手段を制御する。
【０００８】
ここで、環境を所望の状態に変化させるための制御量を算出する際に、以前の制御量をランダムに変化させることも考えられる。しかしながら、以前の制御量をランダムに変化させても、最適解を効率良くもとめることはできない。
【０００９】
そこで、本発明に係る算出手段は、以前の制御量に基づいて変化した環境に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準制御量に基づいて、以前の制御量からの変化量を定めることにより、次回の制御量を算出するようにしている。なお、基準制御量は、次回の制御量を算出するための基準値である。
【００１０】
なお、以前の制御量は、請求項５のように、基準制御量に基づいて定められた制御量としてもよい。
【００１１】
また、算出手段は、請求項２のように、基準制御量から所定の確率に基づいて定められる値と前回の制御量との差に基づいて変化量を定めるようにしてもよい。この場合、請求項３のように、算出手段は、基準制御量から所定の確率に基づいて定められる値と前回の制御量との差の変化量の値への影響を、所定の確率に基づいて定められる制御量の変化量の値への影響より大きくして、変化量を定めるようにしてもよく、一方、請求項４のように、基準制御量から所定の確率に基づいて定められる値と前回の制御量との差のみに基づいて変化量を定めるようにしてもよい。
【００１２】
このように、以前の制御量に基づいて変化した環境に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準制御量に基づいて、以前の制御量からの変化量を定めることにより、次回の制御量を算出するので、以前の制御量をランダムに変化させて、次回の制御量を算出するよりは、効率良く次回の制御量を得ることができる。
【００１３】
ところで、予め定められた基準制御量が必ずしも次回の制御量を算出するための適正な基準値でない場合がある。
【００１４】
そこで、請求項６のように、各々異なる予め定められた複数の基準制御量を有し、算出手段は、複数の基準制御量の内の１つの基準制御量に基づいて定められた以前の制御量に基づいて変化した環境に対する評価が予め定められた良好評価範囲外の場合には、複数の基準制御量の内の該１つの基準制御量以外の他の基準制御量に基づいて、前回の制御量からの変化量を定めることにより、次回の制御量を算出するようにしてもよい。
【００１５】
上記基準制御量は次のようにして求めるようにしてもよい。
【００１６】
即ち、請求項７のように、操作するための操作手段と、前記操作手段が操作されて得られた操作情報から前記制御量を計算する計算手段と、を備え、前記制御手段は、前記計算手段により計算された制御量に基づいて、前記環境が変化するように前記変化手段を制御し、請求項８のように、基準制御量を、前記計算手段が操作情報から計算する。
【００１７】
なお、環境は物体の運動状態、例えば、物体の静止状態を示す。
【００１８】
また、請求項１乃至請求項１０の何れか１項に記載の環境変化装置は、請求項１１のように、変化手段としてのロボット・ハードウエアーを備えたロボットとしてもよい。
【００１９】
請求項１２記載の発明に係る行動指針情報生成提示装置は、行動の指針となる行動指針情報を算出する算出手段と、前記算出手段により算出された行動指針情報を提示する提示手段と、を備えた行動指針情報生成提示装置であって、前記算出手段は、以前の行動指針情報に基づいて変化した行動に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準行動指針情報に基づいて、以前の行動指針情報からの変化量を定めることにより、次回の行動指針情報を算出することを特徴とする。
【００２０】
算出手段は行動の指針となる行動指針情報を算出し、提示手段は、算出手段により算出された行動指針情報を提示する。
【００２１】
ここで、行動を所望の行動になるための行動指針情報を算出する際に、以前の行動指針情報をランダムに変化させることも考えられる。しかしながら、以前の行動指針情報をランダムに変化させても、最適解を効率良くもとめることはできない。
【００２２】
そこで、本発明に係る算出手段は、以前の行動指針情報に基づいて変化した行動に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準行動指針情報に基づいて、以前の行動指針情報からの変化量を定めることにより、次回の行動指針情報を算出する。なお、基準行動指針情報は、次回の基準行動指針情報を算出するための基準値である。
【００２３】
なお、以前の行動指針情報は、請求項１６のように、基準行動指針情報に基づいて定められた行動指針情報としてもよい。
【００２４】
また、算出手段は、請求項１３にように、基準行動指針情報から所定の確率に基づいて定められる値と前回の行動指針情報との差に基づいて変化量を定めることにより、次回の行動指針情報を算出ようにしてもよい。この場合、請求項１４のように、算出手段は、基準行動指針情報から所定の確率に基づいて定められる値と前回の行動指針情報との差の前記変化量の値への影響を、所定の確率に基づいて定められる行動指針情報の前記変化量の値への影響より大きくして、変化量を定めるようにしてもよく、一方、請求項１５のように、基準行動指針情報から所定の確率に基づいて定められる値と前回の行動指針情報との差のみに基づいて変化量を定めるようにしてもよい。
【００２５】
このように、以前の行動指針情報に基づいて変化した環境に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準行動指針情報に基づいて、以前の行動指針情報からの変化量を定めることにより、次回の行動指針情報を算出するので、以前の行動指針情報をランダムに変化させて、次回の行動指針情報を算出するよりは、効率良く次回の行動指針情報を得ることができる。
【００２６】
ところで、予め定められた基準行動指針情報が必ずしも次回の制御量を算出するための適正な基準値でない場合がある。
【００２７】
そこで、請求項１７のように、各々異なる予め定められた複数の基準行動指針情報を有し、算出手段は、複数の基準行動指針情報の内の１つの基準行動指針情報に基づいて定められた以前の行動指針情報に基づいて変化した環境に対する評価が予め定められた良好評価範囲外の場合には、複数の基準行動指針情報の内の該１つの基準行動指針情報以外の他の基準行動指針情報に基づいて、以前の制御量からの変化量を定めることにより、次回の行動指針情報を算出するようにしてもよい。
【００２８】
なお、上記行動は、車両が所定運転状態のときの該車両を操縦する乗員の行動としてもよい。乗員の行動には、例えば、視線方向、注視時間、注視配分などのような注視行動や、ハンドル操作等である。
【００２９】
【発明の実施の形態】
以下、図面を参照して、本発明の第１の実施の形態を詳細に説明する。
【００３０】
図１に示すように、本実施の形態にかかるロボット１００は、「人間−ロボット−作業環境（操作対象等）」構造および情報の流れを前提としている。
【００３１】
図２に示すように、本実施の形態にかかる環境変化装置としてのロボット１００は、人が操作する部分である図示しない被操作部（操作手段）への人間からの操作力と、環境、本実施の形態では、例えば、机上の物体をつかんだり移動させたりする部分への当該物体からの反力と、を検出する力検出センサ５１２を備えている。即ち、変化手段としての周知のロボット・ハドウエアー（ロボットマニュピレータ）の先端に検出センサ１２を搭載し、その先端にフィンガを取り付けた構造になっている。フィンガの先端は、操作対象の物体との剛体接触を避けるため、ウレタンの被膜で覆われている。
【００３２】
また、ロボット１００は、力検出センサ５１２により検出された操作力の情報に基づいてロボットへの教示情報としての幾何学情報を生成する、計算手段としての教示幾何学情報生成装置５１４、情報を入力する入力装置５２０、入力装置５２０により入力されたモードの指定情報により設定される人間／ロボット協調作業モードにおいて，上記の教示幾何学情報生成装置５１４から得られた幾何学情報に基づきロボットの協調運動を生成する協調運動計画装置５１６、また同様に、入力装置５２０により入力されたモードの指定情報により設定されるロボット単体のみによる自律作業モードにおいて，上記の教示幾何学情報生成装置５１４から得られた幾何学情報に基づき，ロボットにとって作業環境との間に望ましい相互作用力パターンを自律的に生成する、算出手段としてのロボット行動計画装置５２２、及び、設定された作業モードにより定まる協調運動計画装置５１６又はロボット行動計画装置５２２からの指令（後述する行動出力）によってロボットの動作をロボット・ハドウェアに出力する、制御手段としてのロボット動作制御装置５１８を備えている。
【００３３】
なお、前述したように協調運動計画装置５１６及びロボット行動計画装置５２２には入力装置５２０が接続され、ロボット行動計画装置５２２にはさらに、ロボット動作制御装置５１８の動作状態を検出することにより、ロボット動作制御装置５１８により移動するロボット・ハドウェアの動作状態を検出する動作状態検出センサ５２４と、前述した力検出センサ５１２と、が接続されている。
【００３４】
次に、本実施の形態の作用を説明する。
【００３５】
本実施の形態では、例として、人間により接触されるロボットフィンガーで、人間の操作に従って、図示しない机上の始点位置上に位置する物体を、水平方向（Ｘ方向）に移動し、指定された位置（終点位置）に停止する場合を説明する。
【００３６】
最初に、準備として始点位置及び物体の移動先である指定された位置（終点位置）を次のように入力する。即ち、本実施の形態では、ロボットの動作のため、後述するＴＤ（Ｔｅｍｐｏｒａｌ  Ｄｉｆｆｅｒｅｎｃｅ）誤差に基づく強化学習手法の一つであるＡｃｔｏｒ−Ｃｒｉｔｉｃ法を用いている。Ａｃｔｏｒ−Ｃｒｉｔｉｃ法では、ロボットの動作を制御するための制御情報を出力した後、その制御情報により動作したロボットの動作結果に対する報酬を受け取り、次の制御情報を計算するものである。このため、報酬ならびに罰は次のように入力装置５２０を介して入力する。即ち、上記の例を用いると、机上の物体を目標位置（終点位置）に向けて静止状態（始点位置）から動かした場合と目標位置を中心とした一定の範囲以内に静止させることができた場合に報酬として１を与え、逆に目標位置を含む所定範囲外での静止や指が物体から滑ってしまった場合、力検出センサにより検出された力情報に基づいて、鉛直方向（Ｚ方向）に所定値（許容値）より大きい力が入力された場合等、ロボットの限界可動範囲に達してしまった場合に−１を設定する。このように、机上の物体の位置である始点位置と目標位置（終点位置）とを上記のように報酬及び罰を設定することにより入力する。
【００３７】
次に、人間／ロボット協調作業モードを説明する。
【００３８】
入力装置５２０により人間／ロボット協調作業モードがセットされ、ロボット・ハドウエアーにより机上の物体を始点位置から目標位置（終点位置）に移動するように、人間が被操作部を操作すると、力検出センサ５１２は、被操作部への操作力及びこれに伴い物体からの反力の合力を検出する。教示幾何学情報生成装置５１４は、力検出センサ５１２により検出された力情報（教示情報）に基づいてロボットへの幾何学情報、上記例ではＸ方向の移動速度（後述する教示行動Ａ（ｓ））を生成する。協調運動計画装置５１６は、教示幾何学情報生成装置５１４から得られた幾何学情報に基づき、ロボット・ハドウエアーが協調運動するための、ロボット動作制御装置５１８の制御量を計算し、当該制御量をロボット動作制御装置５１８に出力し、ロボット・ハドウエアーが協調運動するようにロボット動作制御装置５１８を制御する。
【００３９】
動作状態検出センサ５２４は、ロボット・ハドウエアーが協調運動する際のロボット動作制御装置５１８の動作状態を検出することにより、ロボット動作制御装置５１８により移動するロボット・ハドウェアの動作状態を検出する。上記例では、動作状態検出センサ５２４は、ロボット・ハドウエアーにより机上の物体が始点位置から目標位置（終点位置）に位置するかの位置情報を検出する。
【００４０】
教示幾何学情報生成装置５１４は、生成した移動速度を教示行動として記憶するが、本実施の形態は、人間が上記処理を複数回行うことにより、各々異なる複数の教示行動（上記例では移動速度）を生成し、記憶する。
【００４１】
次に、自律作業モードについて説明する。自律モードは、ロボット自身が自身を制御して物体を移動するモードである。人間／ロボット協調作業モードでは、被操作部への操作力及びこれに伴い物体からの反力の合力を検出し、物体を目標位置に位置させることができる。しかしながら、自律モードでは、ロボットが物体を移動する際に、力検出センサ５１２は、物体からの反力のみを検出する。従って、上記の教示行動のみでは、物体を目標位置に位置させることは難しい。そこで、自律モードでは、教示行動に基づいて、物体を目標位置に位置させるためのロボット動作制御装置５１８の制御量（行動出力ａ（ｓ））を次にように計算する。
【００４２】
即ち、入力装置５２０により自律モードがセットされると、ロボット行動計画装置５２２は、図３に示した行動パターン（相互作用力パターン）生成処理ルーチンを実行する。
【００４３】
最初のステップ５３２で、上記複数の教示行動（上記例では移動速度）の各々を識別する変数ｉを０に初期化し、ステップ５３４で、変数ｉを１インクリメントし、変数ｉが教示行動の総数Ｉ以内か否かを判断する。
【００４４】
変数ｉが教示行動の総数Ｉより大きい場合には、全ての教示行動に対して最適解が得られないとして、本ルーチンを終了し、又は、まったくランダムな値を探索するモードに移行する。一方、変数ｉが教示行動の総数Ｉ以内の場合には、本ルーチンがスタートしてから、後述する行動出力の計算が２回目以降か否かを判断し、２回目以降でない、即ち、最初に計算する場合と判断された場合には、ロボット・ハドウエアーが行動するための、ロボット動作制御装置５１８の制御量である行動出力ａ（ｓｔ）を、所定の確率により定まる値として計算して、ステップ５５４に進む。
【００４５】
ステップ５５４で、上記計算された行動出力ａ（ｓｔ）をロボット動作制御装置５１８に出力する。この行動出力ａ（ｓｔ）に従ってロボット動作制御装置５１８は、ロボット・ハドウエアーの動作を制御する。
【００４６】
ここで、上記のように、上記式より計算された行動出力ａ（ｓｔ）は、ロボットフィンガーが物体を移動する移動速度を示す。即ち、ロボットフィンガーは、上記式より計算された行動出力ａ（ｓｔ）で定まる移動速度で物体を始点位置から、Ｘ方向に、上記移動速度で移動し、指定された位置（終点位置）に停止させようとする。
【００４７】
ステップ５５６は、報酬ｒｔ＋１を計算する。即ち、動作状態検出センサ５２４は、ロボット・ハドウエアーが行動する際のロボット動作制御装置５１８の動作状態を検出しており、具体的には、机上の物体が目標位置を中心とした一定の範囲以内に静止させることができたか否かを検出する。よって、動作状態検出センサ５２４の検出結果に基づいて報酬ｒｔ＋１を計算する。なお、机上の物体を目標位置に移動する途中で、ロボットフィンガから物体が滑ってしまった場合には、人間が入力装置５２０を介して報酬を与える。なお、ロボットフィンガに接触センサを設け、物体が滑ってしまったか否かを判断し、接触センサの出力に基づいて報酬を計算するようにしてもよい。また、力検出センサにより検出された力情報に基づいて、鉛直方向（Ｚ方向）に所定値（許容値）より大きい力が入力された場合、力検出センサにより検出された力情報に基づいて、報酬を計算するようにしてもよい。
【００４８】
ステップ５５８で、ステップ５５６で計算された報酬ｒｔ＋１に基づいて、机上の物体が目標位置（終点位置）に静止させることができたか否かを判断する。第１回目の行動出力の場合には、通常は、本ステップ５５８は否定判定され、この場合には、ステップ５６０で、ステップ５５６で計算された報酬ｒｔ＋１に基づいて、目標位置を含む範囲以外での静止や指が物体から滑ってしまったり、力検出センサにより検出された力情報に基づいて、鉛直方向（Ｚ方向）に所定値（許容値）より大きい力が入力されたり、ロボットの限界可動範囲に達してしまったか否かを判断する。
【００４９】
ロボットの限界可動範囲に達してしまってない場合には、ステップ５４２に進む。
【００５０】
ステップ５４２で、ある方策πすなわち状態から行動を選択する確率のもとでの状態Ｓｔにおける状態評価値Ｖπ（ｓｔ）を以下の式から計算する。
【００５１】
【数１】
2004348394.tif 000003
【００５２】
ステップ５４４で、ＴＤ誤差δｔを以下の式から計算する。
【００５３】
【数２】
2004348394.tif 000004
【００５４】
なお、上記式において、状態価値Ｖ（ｓｔ）は、状態価値Ｖπ（Ｓｔ）の推定値，γは、は割引率である。また、Ｖ（ｓｔ＋１）は、現在の状態価値Ｖ（ｓｔ）から推定される次の状態の状態価値の推定値である。従って、ＴＤ誤差δｔは、時間的に進んだ次の時点の値である。
【００５５】
ステップ５４６で、教示情報に対する評価値Ｔ（ｓｔ）を以下の式より計算する。
【００５６】
【数３】
2004348394.tif 000005
【００５７】
ステップ５４８で、試行値Δａ（ｓｔ）以下の式より計算する。
【００５８】
【数４】
2004348394.tif 000006
【００５９】
但し、ｎ  はガウス分布を仮定した試行を示す。  また、Ａ（ｓｔ）は、前述した教示行動（基準制御量）から予め定められた量の平均（オフセット）および分散（ばらつき）を伴って，予め定められた確率分布に基づいて定められる量（以下、教示行動から定まる値という）である。
【００６０】
上記式の中で，
【００６１】
【数５】
2004348394.tif 000007
【００６２】
は，教示行動が環境に対して有効であれば，ロボットの行動出力値を教示行動から定まる値に接近させるように学習をさせ，教示行動があまり有効でないようであれば，ランダムな試行錯誤でロボットの目標出力を探索させるようにすること意味している。即ち、報酬ｒｔ＋１が正で、これによりＴＤ誤差δｔが正で、評価値Ｔ（ｓｔ）も正の場合には、ρ（Ｔ（ｓｔ））は１に近い値をとり、ρ（−Ｔ（ｓｔ））は０に近い値をとる。即ち、前回の行動出力に基づいて物体が移動した結果に対する評価が予め定められた良好評価範囲の場合には、予め定められた教示行動に基づいて、前回の行動出力からの変化量を定める。より詳細には、教示行動から定まる値と前回の行動出力との差に基づいて、更に詳細には、教示行動から定まる値と前回の行動出力との差の変化量の値への影響を、所定の確率に基づいて定められる行動出力の変化量の値への影響より大きくして、変化量を定めている。
【００６３】
ステップ５５０で、状態価値Ｖ（ｓｔ）を以下の式より更新する。
【００６４】
【数６】
2004348394.tif 000008
【００６５】
ステップ５５２で、ロボット・ハドウエアーが行動するための、ロボット動作制御装置５１８の制御量である行動出力ａ（ｓｔ）を以下の式より計算する。
【００６６】
【数７】
2004348394.tif 000009
【００６７】
なお、βはテップサイズパラメータ、δｔはＴＤ（Ｔｅｍｐｏｒａｌ  Ｄｉｆｆｅｒｅｎｃｅ）誤差（詳細は後述する）である。上記式右辺の第１番目の項であるａ（ｓｔ）は前回の行動出力ａ（ｓｔ）である。従って、上記式右辺の第２番目の項であるβδｔΔａ（ｓｔ）は、前回の行動出力ａ（ｓｔ）から今回の行動出力ａ（ｓｔ）への変化量である。
【００６８】
そして、上記のように、ステップ５５４で、上記計算された行動出力ａ（ｓｔ）をロボット動作制御装置５１８に出力する。この行動出力ａ（ｓｔ）に従ってロボット動作制御装置５１８は、ロボット・ハドウエアーの動作を制御する。即ち、上記のように、ロボットフィンガーは、上記式より計算された行動出力ａ（ｓｔ）で定まる移動速度で物体を始点位置から、Ｘ方向に、上記移動速度で移動し、指定された位置（終点位置）に停止させようとする。
【００６９】
ステップ５５６では、上記のように報酬ｒｔ＋１を計算し、ステップ５５８で、ステップ５５６で計算された報酬ｒｔ＋１に基づいて、机上の物体が目標位置（終点位置）に静止させることができたか否かを判断し、机上の物体が目標位置（終点位置）に静止させることができた場合には、今回得られた行動出力である移動速度を最適値として、本ルーチンを終了する。
【００７０】
一方、机上の物体が目標位置（終点位置）に静止させることができず、ステップ５６０において、ロボットの限界可動範囲に達し、許容範囲外と判断された場合には、変数ｉにより識別される教示行動は、変化量を求めるための教示行動としては不適当と考えられるため、ステップ５３４に戻って、上記したように変数ｉを１インクリメントして、他の教示行動について最適解を求める。
【００７１】
次に、以上の実施の形態のシミュレーションによる実機実験について説明する。教示情報を与えた場合と与えない場合それぞれにおいて、１００回のシミュレーションにおける、タスク達成（目標位置を中心とした一定の範囲以内に静止させることができた）に至るまでにかかったエピソード数の平均と標準偏差を表１に示す。
【００７２】
【表１】
2004348394.tif 000010
【００７３】
上記表１に示すように、環境を扱う上で妥当な教示行動を与えた場合の方が、与えない場合に比べて早く、安定した解に至る。図４には、タスク達成の観点から学習を完了した行動出力によるロボットフィンガの振るまいの結果を示す。図４には、対象物のＸ方向の速度、指定位置からの距離および、対象物とロボットフィンガ先端との間の接触力の変化を示している。また、対象物の質量を１５０［ｇ］、対象物−フィンガ間の静止摩擦係数を１．００、対象物−床間の静止摩擦係数を０．２０、動摩擦係数を０．１８としている。
【００７４】
以上説明したように、本実施の形態では、前回の行動出力ａ（ｓｔ）から今回の行動出力ａ（ｓｔ）への変化量を、教示行動の環境に対する有効度合いに基づいて決定させている、即ち、学習初期の段階でも，ランダムな試行による所望の行動パターンの探索をしていないので，学習効率がよく，とくに状態の次元数が大きくなっても，最適解を得やすく，実用性に高い。
【００７５】
また、準備段階において教示情報を複数入力し、各々異なる教示行動を求めてお、どれかの教示行動に従うという行動出力の決め方をするので，１つ１つの教示行動付近の探索コストを下げることができる。
【００７６】
以上説明した実施の形態では、教示行動から定まる値と前回の行動出力との差の変化量の値への影響を、所定の確率に基づいて定められる行動出力の変化量の値への影響より大きくして、変化量を定めて、次回の行動出力を計算している（数４参照）。しかし、本発明はこれに限定されるのではなく、次にように、教示行動と前回の行動出力との差のみに基づいて変化量を定めて、次回の行動出力を計算するようにしてもよい。
【００７７】
即ち、例えば、上記数４の式に代えて、変数ｉにより識別される教示行動に対して，
【００７８】
【数８】
2004348394.tif 000011
【００７９】
なる値によってをさだめるようにしてもよい。
【００８０】
【数９】
2004348394.tif 000012
【００８１】
である。なお、ｕは評価値Ｔ（ｓ）である。
【００８２】
以上説明した実施の形態では、環境として物体の１次元状の水平移動を例にとり説明したが、本発明はこれに限定されるものではなく、物体の２次元状や３次元状の移動等も同様に適用してもよい。
【００８３】
なお、複数の作業部分で構成される作業の各作業部分において、人間／ロボット協調作業モードで行う部分なのか、ロボットによる自律モードなのかを、検討し、自律モードで行う作業部分は、上記のように、一旦、人間／ロボット協調作業モードで、教示行動を得ておき、最適解が得られた場合には、自律モードで行うようにして、作業の効率化を図ることができる。
【００８４】
次に、本発明の第２の実施の形態の一例を詳細に説明する。本実施の形態は、走行時における車両の挙動に対する乗員（ドライバ）の確認行動の良否の判定結果から乗員への行動の指針となる行動指針情報としてのアドバイス情報を生成しかつ提示するアドバイス情報生成提示装置に本実施の形態を適用したものである。
【００８５】
図６に示すように、本実施の形態にかかるアドバイス情報生成提示装置１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、及び入出力インタフェース１８をデータやコマンドを授受可能にバスにより接続したコンピュータを含んで構成されると共に、車両に搭載可能に構成されている。入出力インタフェース１８には、各種データを記憶したメモリ２０が接続されている。
【００８６】
また、入出力インタフェース１８には、各種センサ２２、メディアリードライト装置２４、出力装置としてのプリンタ２６、入力装置としてのキーボード２８、及び表示装置としてのモニタ３０が接続されている。なお、プリンタ２６は必須の構成ではなく、本実施の形態のアドバイス情報生成提示装置１０の評価結果を印刷する場合に接続する。また、メディアリードライト装置２４も必須の構成ではなく、後述する処理ルーチンの読み書きやアドバイス情報生成提示装置１０の評価結果のデータを読み書きしたり、各種データを読み書きしたりするときに接続する。
【００８７】
各種センサ２２には、運転状態計測装置として、車両の挙動を検出するための挙動検出センサ及び車両の乗員の行動を検出する行動検出センサが含まれている。挙動検出センサの一例としては、操舵角センサ、車速センサ、ヨーレートセンサ、ブレーキペダル踏込み量センサ、アクセルペダル踏込み量センサ、及びウィンカセンサなどがある。また、車両の挙動として道路などの走行路における車線に対する挙動を把握するために、車線を検出する車線検出装置などの検出センサを含むことができ、また車両の位置を把握するためにＧＰＳなどの位置検出センサを含むことができる。車線検出装置の一例には特開平０８−２６１７５６号公報に開示された技術がある。さらに、ナビゲーションシステムのように、地図データを有して車両の経路を案内したり経路履歴を記憶したりする経路案内装置を含むことができる。
【００８８】
行動検出センサの一例としては、乗員の視線方向や顔向きを検出する検出装置、乗員を撮影した画像により乗員を識別する識別装置がある。これらの装置の一例には、特開平１１−２７６４３８号公報や特開平２０００−１６８５０２号公報に開示された技術や市販製品（ｓｅｅｉｎｇｍａｃｈｉｎｅｓ社製ｆａｃｅＬａｂ）がある。
【００８９】
図５に示すように、アドバイス情報生成提示装置１０は、上記ハードウェア資源及び後述するソフトウェア資源を利用しており、運転状態を計測する運転状態計測装置３２、運転状態計測装置３２により計測された運転状態の計測値を用いて乗員の確認行動の良否からアドバイス情報を生成する、算出手段としてのアドバイス情報生成装置３４、及び、アドバイス情報生成装置３４生成されたアドバイス情報を提示する、提示手段としてのアドバイス情報提示装置３６に機能的に分類して構成される。
【００９０】
なお、アドバイス情報提示装置３６は、乗員の確認行動の判定結果を、印刷したり、表示したりする提示装置であり、プリンタなどの印刷装置、ディスプレイなどの表示装置、スピーカなどの拡声装置が一例として挙げられる。
【００９１】
アドバイス情報生成提示装置１０を構成する運転状態計測装置３２は、車両の挙動及び乗員の行動を含む運転状態を計測する装置であり、各種センサの検出値から、車両の挙動や車両の乗員の行動を含む運転状態を計測する。
【００９２】
すなわち、操舵角センサ、車速センサ、ヨーレートセンサ、ブレーキペダル踏込み量センサ、アクセルペダル踏込み量センサ、及びウィンカセンサなどにより車両の挙動を把握して運転状態を求める。また、車線検出装置などの検出値により道路などの走行路における車線を把握したり、ＧＰＳ（衛生利用測位システム）やＧＩＳ（地理情報システム）などの位置検出値により車両の位置や方向そして周囲の状況などを把握することもできる。また、運転状態計測装置３２は、乗員の視線方向や顔向きを検出する検出装置による検出値から乗員の行動を計測したり、乗員を撮影した画像から乗員を識別する計測をしたりすることもできる。
【００９３】
アドバイス情報生成装置３４は、運転状態計測装置３２による計測結果から乗員の確認行動を判定し、アドバイス情報を生成するもので、基本行動分類部４０、基本行動内状態演算部４２、視線配分演算部４４、報酬演算部４６、及びアドバイス情報生成部４８から構成される。これらの基本行動分類部４０、基本行動内状態演算部４２、視線配分演算部４４、比較演算部４６及び表示用処理部４８には、運転状態計測装置３２の計測信号が入力されるように、運転状態計測装置３２に接続されている。
【００９４】
基本行動分類部４０は運転状態計測装置３２から出力された計測信号を用いて車両の挙動、及びこの挙動がなされた際の道路形態を求め、乗員による運転状態を、挙動と道路形態の組合わせからなる基本行動に分類するものである。基本行動分類部４０は、運転状態計測装置３２の計測信号が入力されるように運転状態計測装置３２に接続され、その出力が基本行動内状態演算部４２及び比較演算部４６に出力されるように接続されている。
【００９５】
この基本行動分類部４０は、まず運転状態計測装置３２から出力された計測信号を用いて車両の挙動（行動）を求め、次に、この車両の挙動（行動）が行われた際の道路形態を、運転状態計測装置３２から出力された計測信号を用いて求める。これらの車両の挙動（行動）と道路形態を組合わせたものを基本行動とする。そして、基本行動分類部４０は、運転状態計測装置３２から出力された計測信号に対応する乗員による運転状態を、挙動と道路形態の組合わせからなる基本行動に分類する。
【００９６】
図７には、上述のような車両の挙動と道路形態の組合わせからなる基本行動の分類テーブル４１の一例を示した。本実施の形態では、上記車両の挙動の一例として、右折、左折、右側車線変更、左側車線変更、交差点直進、右転回の６つの車両の挙動（行動）を採用している。また、道路形態の一例として、信号のある４叉路以上の交差点、信号のある４叉路未満の交差点、信号のない交差点で優先側より進入、信号のない交差点で非優先側より進入、非交差点の５つの道路形態を採用している。
【００９７】
また、本実施の形態では、基本行動として、図７に「○」印で示すように、２１個の基本行動を採用する。従って、運転状態計測装置３２による計測結果から、乗員による運転状態として、２１個のうちの何れかの基本行動に分類される。
【００９８】
また、本実施の形態では、車両の挙動（行動）と道路形態を組合わせからなる基本行動の各々を、シート５０に対応させている。シート５０は、基本行動を車両の挙動及び道路形態の遷移を含んで表現するための情報集合体である。図８乃至図１２には本実施の形態において基本行動分類部４０で分類される基本行動に対して用いられるシート５０の一例を示した。これらのシート５０は、アドバイス情報生成提示装置１０のメモリ２０に記憶されている。
【００９９】
図８は、右折行動で分類された基本行動用のシート例を示した。すなわち、信号有りで４叉路以上の交差点での右折行動、信号有りで４叉路未満の交差点での右折行動、信号無の交差点で優先側より進入したときの右折行動、信号無の交差点で非優先側より進入したときの右折行動、非交差点での右折行動の何れかの右折行動として基本行動が分類されたときに用いられるシート５０Ａの一例である。
【０１００】
このシート５０Ａは、横軸に所定間隔の車速（速度軸）、縦軸に所定間隔の車両回頭（ステアリング操舵軸）で範囲を規定した複数のセルに分割されている。各セルにはセルの位置を特定するためのセル番号が付されている。図８の例では各セルの左下付近に２桁の数で表記している。ここでは、第１の桁を、車両回頭（ステアリング操舵軸）の範囲として右折準備、右折開始から右折中、右折中から右折終了の挙動を識別する数の「１」〜「３」で表している。また、第２の桁を、車速（速度軸）として０〜１ｋｍ／ｈでブレーキオン、０〜１ｋｍ／ｈでブレーキオフまたは１〜１０ｋｍ／ｈ、１０〜２５ｋｍ／ｈ、２５〜４０ｋｍ／ｈ、４０ｋｍ／ｈ以上の範囲を識別する数の「０」〜「４」で表している。従って、例えば、車速が１０ｋｍ／ｈ〜２５ｋｍ／ｈで右折開始から右折中の状態は、セル番号「２２」が対応される。
【０１０１】
図９は、左折行動で分類された基本行動用のシート例を示した。すなわち、信号有りで４叉路以上の交差点での左折行動、信号有りで４叉路未満の交差点での左折行動、信号無の交差点で優先側より進入したときの左折行動、信号無の交差点で非優先側より進入したときの左折行動、非交差点での左折行動の何れかの左折行動として基本行動が分類されたときに用いられるシート５０Ｂの一例である。
【０１０２】
このシート５０Ｂも、シート５０Ａと同様に、横軸に所定間隔の車速（速度軸）、縦軸に所定間隔の車両回頭（ステアリング操舵軸）で範囲を規定した複数のセルに分割されている。また、シート５０Ｂのセル番号も同様に、第１の桁を、車両回頭（ステアリング操舵軸）の範囲を識別する数の「１」〜「３」で表し、第２の桁を、車速（速度軸）の範囲を識別する数の「０」〜「４」で表している。
【０１０３】
図１０は、右転回行動で分類された基本行動用のシート例である。すなわち信号有りで４叉路以上の交差点での右転回行動、信号有りで４叉路未満の交差点での右転回行動、信号無の交差点で優先側より進入したときの右転回行動、信号無の交差点で非優先側より進入したときの右転回行動、非交差点での右転回行動の何れかの右転回行動として基本行動が分類されたときに用いられるシート５０Ｃである。
【０１０４】
このシート５０Ｃは、横軸に所定間隔の車速（速度軸）、縦軸に所定間隔の車両回頭（ステアリング操舵軸）で範囲を規定した複数のセルに分割されている。シート５０Ｃの基本行動は、転回行動であり、車両の挙動として切り返しなど様々な挙動を含むことが考えられるため、セルは、次のように分割されている。車両回頭（ステアリング操舵軸）の範囲として行動開始から右転回準備までの準備段階を準備Ａと準備Ｂとの２つを設けている。準備Ｂは、左方向ステアリング動作からステアリング中立位置までの挙動であり、準備Ａは、右方向ステアリング動作からステアリング中立位置までの挙動である。そして、右転回開始から、右転回中までの挙動、右転回中から右転回終了までの挙動に分割している。これらを識別するために、セル番号の第１の桁を、数「０」〜「３」で表している。車速（速度軸）としては、後退を含むため、後退の範囲を設けて、前進と差異を付するためにセル番号にはマイナス符号「−」を付している。すなわち、第２の桁を、車速（速度軸）として、後退、０〜１ｋｍ／ｈでブレーキオン、０〜１ｋｍ／ｈでブレーキオフまたは１〜１０ｋｍ／ｈ、１０〜２５ｋｍ／ｈ、２５〜４０ｋｍ／ｈ、４０ｋｍ／ｈ以上の範囲を識別する数の「−１」、「０」〜「４」で表している。
【０１０５】
図１１は、非交差点での右側車線変更行動として基本行動が分類されたときに用いられるシート５０Ｄを示した。このシート５０Ｄは、横軸に所定間隔の車速（速度軸）、縦軸に車線の跨ぎ状態（跨ぎ始めを基準として）で範囲を規定した複数のセルに分割されている。なお、左側車線変更行動に対応するシート５０はシート５０Ｄと同様であり、跨ぐ車線を左側とすれば良い。
【０１０６】
このシート５０Ｄの基本行動は、車線変更行動であり、車両の高速走行などの挙動を含むことが考えられるため、車速（速度軸）についてセルを増加している。すなわち、上記のセルにおいて４０ｋｍ／ｈ以上であった範囲を４０ｋｍ／ｈ〜７０ｋｍ／ｈに変更し、７０ｋｍ／ｈ以上の範囲を追加している。従って、セル番号として、第１の桁を、車線の跨ぎの範囲として車線変更準備と車線変更中の挙動を識別する数の「１」、「２」で表している。また、第２の桁を、車速（速度軸）として０〜１ｋｍ／ｈでブレーキオン、０〜１ｋｍ／ｈでブレーキオフまたは１〜１０ｋｍ／ｈ、１０〜２５ｋｍ／ｈ、２５〜４０ｋｍ／ｈ、４０ｋｍ／ｈ〜７０ｋｍ／ｈ、７０ｋｍ／ｈ以上の範囲を識別する数の「０」〜「５」で表している。
【０１０７】
図１２は、交差点直進行動で分類されたシート例を示した。すなわち、信号有りで４叉路以上の交差点での交差点直進行動、信号有りで４叉路未満の交差点での交差点直進行動、信号無の交差点で優先側より進入したときの交差点直進行動、信号無の交差点で非優先側より進入したときの交差点直進行動の何れかの交差点直進行動として基本行動が分類されたときに用いられるシート５０Ｅである。
【０１０８】
シート５０Ｅは、横軸に所定間隔の車速（速度軸）、縦軸に交差点中心に対する車両位置を所定間隔で範囲を規定した複数のセルに分割されている。また、シート５０Ｅのセル番号は、第１の桁を、交差点の通過前、通過直前、通過中の何れかの車両位置の範囲を識別する数の「１」〜「３」で表し、第２の桁を、車速（速度軸）の範囲を識別する数の「０」〜「４」で表している。
【０１０９】
次に、基本行動分類部４０における基本行動を分類するアルゴリズムの一例を図１３乃至図１５を参照して説明する。
【０１１０】
図１３に示すように、基本行動分類部４０では基本行動を分類する処理ルーチンが実行され、ステップ１０２へ進み、車両の走行データを読み取る。次のステップ１０４では、運転状態計測装置３２からの走行データから車両の走行軌跡を求めると共に、その走行軌跡と予め記憶された地図データとを照合する。なお、走行軌跡は、ナビゲーションシステムから抽出することができ、また地図データは、ナビゲーションシステムで用いる地図データやＧＩＳから入手することができる。これらの走行軌跡と地図データとの照合は、これら走行軌跡と地図データの幾何学的なデータを用いて行われる。
【０１１１】
次のステップ１０６では、走行軌跡上に交差点が存在するか否かを判断し、否定されると、次のステップ１０８において道路形態を非交差点と設定し、次のステップ１１０において道路境界線と走行軌跡が交差したか否かを判断する。ステップ１１０で肯定されると、ステップ１１２において後述する右左折行動判定ルーチンにより左折行動か右折行動と設定した後に本ルーチンを終了する。
【０１１２】
なお、ステップ１０８を経由したステップ１１２では、基本行動として、非交差点で左折行動または非交差点で右折行動の何れかに設定される（後述）。
【０１１３】
ステップ１１０で否定されると、ステップ１１４へ進み、同一道路の境界線内で道路中心線を跨いで走行方向が反対になったか否かを判断する。ステップ１１４で肯定されると、ステップ１１６において後述する右転回行動判定ルーチンにより右転回行動に関する行動を判定した後に本ルーチンを終了する。
【０１１４】
なお、ステップ１０８を経由したステップ１１６では、基本行動として、非交差点で右転回行動または交差点で右転回行動の何れかに設定される（後述）。
【０１１５】
ステップ１１４で否定されると、ステップ１１８へ進み、車両が車両の右側車線を跨いだか否かを判断し、肯定された場合には、ステップ１２０において、右側車線を跨ぐ前の４秒間及び跨いだ後の２秒間を右側車線変更と設定して本ルーチンを終了する。なお、ステップ１２０では、基本行動として、非交差点で右側車線変更行動が設定される。
【０１１６】
ステップ１１８で否定されると、ステップ１２２へ進み、車両が車両の左側車線を跨いだか否かを判断し、肯定された場合には、ステップ１２４において、左側車線を跨ぐ前の４秒間及び跨いだ後の２秒間を左側車線変更と設定して本ルーチンを終了する。なお、ステップ１２４では、基本行動として、非交差点で左側車線変更行動が設定される。
【０１１７】
ステップ１２２で否定されると、ステップ１２６へ進み、道なりの走行と設定され、本ルーチンを終了する。このステップ１２６では、基本行動の設定を行う必要はないが、道成の走行について確認行動を評価する場合には、その設定を行うようにしてもよい。
【０１１８】
走行軌跡上に交差点が存在して上記ステップ１０６において肯定された場合には、ステップ１２８において道路形態として交差点の形態を抽出する。このステップ１２８では、まず地図データを参照して、その交差点の信号有無を判別する。次に、信号有りのとき、その交差点が４叉路以上か否かを判別し、信号無のとき、進入形態が優先側からか非優先側からかを判別する。これによって、ステップ１２８では、道路形態として、信号有りで４叉路以上の交差点、信号有りで４叉路未満の交差点、信号無の交差点で優先側から進入、信号無の交差点で非優先側から進入、の何れかを道路形態と設定する。
【０１１９】
次のステップ１３０では、車両が交差点を通過する前後（例えば各々２０ｍ走行時）において車両進行方向の変動が３０度以上で１３５度未満であるか否かを判断する。ステップ１３０で肯定されると、ステップ１１２へ進み、右左折行動判定ルーチンが実行される。
【０１２０】
なお、ここでは、ステップ１２８を経由したステップ１１２において設定される基本行動として、信号有りで４叉路以上の交差点、信号有りで４叉路未満の交差点、信号無の交差点で優先側から進入、信号無の交差点で非優先側から進入、の何れかを道路形態と、左折行動または右折行動の何れかの組み合わせが設定される。
【０１２１】
また、上記ステップ１３０の判断で車両進行方向の変動量として、３０度以上で１３５度未満を採用したが、この数値に限定されるものではなく、車両の右折行動または左折行動を実行するときにおける車両進行方向の角度の上限及び下限を設定すればよい。この数値は、実験的に求めたり、統計的に求めたりしてもよい。
【０１２２】
ステップ１３０で否定されると、ステップ１３２へ進み、同一道路の境界線内で道路中心線を跨いで走行方向が反対になったか否かを判断する。ステップ１３２で肯定されると、ステップ１１６へ進み、右転回行動判定ルーチンが実行される。
【０１２３】
なお、ここでは、ステップ１２８を経由したステップ１１６において設定される基本行動として、信号有りで４叉路以上の交差点、信号有りで４叉路未満の交差点、信号無の交差点で優先側から進入、信号無の交差点で非優先側から進入、の何れかを道路形態と、右転回行動の組み合わせが設定される。
【０１２４】
上記ステップ１３２で否定されると、ステップ１３４へ進み、交差点の前６０ｍから交差点後３０以内の期間を交差点直進行動と設定した後に本ルーチンを終了する。なお、このステップ１３４では、信号有りで４叉路以上の交差点、信号有りで４叉路未満の交差点、信号無の交差点で優先側から進入、信号無の交差点で非優先側から進入、の何れかを道路形態と、直進である車両の挙動の組み合わせが基本行動として設定される。
【０１２５】
なお、上記のルーチンでは、図７に示す分類テーブル４１に基づく基本行動に分類する場合を想定し、交差点付近で車線変更を除いているが、これに限定されるものではなく、交差点付近で車線変更を行った場合を基本行動に追加してもよいことは勿論である。
【０１２６】
図１４に示すように、上記ステップ１１６では右転回行動判定ルーチンが実行される。
【０１２７】
この右転回行動判定ルーチンでは、まず、ステップ１３６において、交差点を追加したか否かを判断する。すなわち、上述のようにステップ１０６の判断結果に基づいて判別され、否定されると（非交差点）ステップ１３８へ進み、肯定されると（交差点通過）ステップ１４０へ進む。
【０１２８】
ステップ１３８では、道路中心線を横切る６０ｍ前となる時点から道路中心線を横切った地点から２０ｍ離れるまでの期間を右転回行動と設定する。ステップ１４０では、車両の進行方向を右方向に変更した交差点の６０ｍ前となる時点から３０ｍ後となる時点までの期間を右転回行動と設定する。
【０１２９】
図１５に示すように、上記ステップ１１２では右左折行動判定ルーチンが実行される。
【０１３０】
この右左折行動判定ルーチンでは、まず、ステップ１４２において、交差点通過前後で（各々２０ｍ走行時）の車両進行方向の変化が進行方向に対して右側になるかまたは進行方向の右側の道路境界線上を走行軌跡が交差するか否かを判断する。すなわち、車両の挙動が右折行動か左折行動かを判断する。
【０１３１】
右折行動であり、ステップ１４２で肯定されると、ステップ１４４へ進み、交差点を通過したか否かを判断する。ステップ１４４で肯定されると、ステップ１４６へ進み、進行方向を右に変更した交差点の６０ｍ前となる時点から３０ｍ後となる時点までの期間を右折行動と設定して、本ルーチンを終了する。
【０１３２】
一方、ステップ１４４で否定されると、ステップ１４８において道路境界内から境界外へ移動する場合であるか否かを判断する。ステップ１４８において肯定されると、ステップ１５０へ進み、道路中心線を横切る６０ｍ前となる時点から道路境界外に出て１秒後までの期間を右折行動と設定し、本ルーチンを終了する。ステップ１４８で否定すなわち道路境界外から境界内に進入した場合には、ステップ１５２へ進み、道路境界内に進入する２秒前から道路中心線を横切って２０ｍ走行する時点までの期間を右折行動と設定し、本ルーチンを終了する。
【０１３３】
左折行動であり、ステップ１４２で否定されると、ステップ１５４へ進み、交差点を通過したか否かを判断する。ステップ１５４で肯定されると、ステップ１５６へ進み、進行方向を左に変更した交差点の６０ｍ前となる時点から３０ｍ後となる時点までの期間を左折行動と設定して、本ルーチンを終了する。
【０１３４】
一方、ステップ１５４で否定されると、ステップ１５８において道路境界内から境界外へ移動する場合であるか否かを判断する。ステップ１５８において肯定されると、ステップ１６０へ進み、道路中心線を横切る６０ｍ前となる時点から道路境界外に出て１秒後までの期間を左折行動と設定し、本ルーチンを終了する。ステップ１５８で否定すなわち道路境界外から境界内に進入した場合には、ステップ１６２へ進み、道路境界内に進入する２秒前から道路中心線を横切って２０ｍ走行する時点までの期間を左折行動と設定し、本ルーチンを終了する。
【０１３５】
以上のようにして、例えば、交差点を通り、交差点前後２０ｍでの車両の方位角変化が３０度以上１３５度未満であって、その際の交差点形状を行動が行われた交差点の地図データより、例えば信号のある４叉路以上の交差点と判断された場合、進行方向を右に変えた交差点の６０ｍ前となる時点から３０ｍ後となる時点までの期間を抽出し、信号のある４叉路以上交差点での右折行動という基本行動が抽出される。
【０１３６】
従って、基本行動分類部４０では、例えば信号のある叉路以上の交差点での右折行動等の基本行動を乗員の行動後にその行動による車両の挙動や道路形態で分類し、その基本行動毎にシート５０を選択し、基本行動内状態演算部４２へ出力する。
【０１３７】
なお、上記では、走行軌跡と地図データとから基本行動を設定した場合を説明したが、本発明はこれに限定されるものではなく、運転状態計測装置３２の計測値の何れかを用いて基本行動を設定してもよい。一例として、ウィンカ（方向指示器）の信号を用いて基本行動を設定する場合を説明する。
【０１３８】
図１６に示すように、基本行動分類部４０でウィンカ信号を用いた基本行動を分類する処理ルーチンが実行され、ステップ２０２へ進み、車両の走行データを読み取る。次のステップ２０４では、運転状態計測装置３２からの走行データから車両の走行軌跡を求めると共に、その走行軌跡と予め記憶された地図データとを照合する。
【０１３９】
次のステップ２０６では、走行軌跡上に交差点が存在するか否かを判断し、否定されると、次のステップ２０８において道路形態を非交差点と設定し、次のステップ２１０においてウィンカ（方向指示器）がオン）した（指示されたか否かを判断する。ステップ２１０で否定されるとステップ２１８において道なりの走行と設定し、本ルーチンを終了する。
【０１４０】
一方、ステップ２１０で肯定されると、ステップ２１２においてウィンカがオンした１秒前とオフした１秒後の車両の進行方向変化が３０度未満か否かを判断する。ステップ２１２で肯定されるとステップ２１６へ進み、車両が車線を跨いだか否かを判断し、否定されるとステップ２１８へ進み、肯定されると、ステップ２２０へ進む。
【０１４１】
ステップ２２０では、右ウィンカがオンしたか否かを判断し、肯定されるとステップ２２２において、ウィンカがオンしていた期間を含めて前後３秒間を右車線変更行動と設定し、本ルーチンを終了する。一方、ステップ２２０で否定されると、ステップ２２４へ進み、ウィンカがオンしていた期間を含めて前後３秒間を左車線変更行動と設定する。
【０１４２】
車両の進行方向変化が３０度以上の場合には、ステップ２１２で否定され、ステップ２１４へ進み、車両の進行方向変化が３０度以上でかつ１３５度未満か否かを判断する。ステップ２１４で肯定されると、ステップ２４０へ進み、右ウィンカがオンしたか否かを判断し、肯定されるとステップ２４２においてウィンカがオンしていた期間を含めて前後３秒間を右折行動と設定し、本ルーチンを終了する。一方、ステップ２４０で否定されると、ステップ２４４へ進みウィンカがオンしていた期間を含めて前後３秒間を左折行動と設定する。
【０１４３】
一方、ステップ２１４で否定されるとステップ２３４へ進み、右ウィンカがオンしたか否かを判断し、肯定されると、ステップ２３８においてウィンカがオンしていた期間を含め前後３秒間とステアリングが中立位置を１秒間保持するまでの期間を右転回行動に設定した後に本ルーチンを終了する。ステップ２３４で否定されると、ステップ２３６においてステップ２３８と逆、すなわちウィンカがオンしていた期間を含め前後３秒間とステアリングが中立位置を１秒間保持するまでの期間を左転回行動に設定する。なお、左転回行動は、図７の分類テーブル４１に含まれていないが、右転回行動と同様に扱うことができる。
【０１４４】
走行軌跡上に交差点が存在して上記ステップ２０６において肯定された場合には、ステップ２２６において道路形態として交差点の形態を抽出する。このステップ２２６では、上記ステップ１２８と同様に、道路形態として、信号有りで４叉路以上の交差点、信号有りで４叉路未満の交差点、信号無の交差点で優先側から進入、信号無の交差点で非優先側から進入、の何れかを道路形態と設定する。
【０１４５】
次のステップ２２８では、交差点付近でウィンカがオンしたか否かを判断する。ステップ２２８で肯定されると、ステップ２３０へ進み、交差点位置前後（例えば各々２０ｍ）の車両の進行方向の変動が３０度以上でかつ１３５度未満であるか否かを判断する。ステップ２３０で否定されると、ステップ２３２において車両進行方向変化が１３５度以上か否かを判断し、肯定されるとステップ２３４へ進み、否定されるとステップ２１６へ進む。
【０１４６】
一方、ステップ２３０で肯定されると、ステップ２４０へ進み、右ウィンカがオンしたか否かを判断し、肯定されるとステップ２４２において、ウィンカがオンしていた期間を含めて前後３秒間を右折行動と設定し、本ルーチンを終了する。一方、ステップ２４０で否定されると、ステップ２４４へ進み、ウィンカがオンしていた期間を含めて前後３秒間を左折行動と設定する。
【０１４７】
上記ステップ２２８で否定されると、ステップ２４６へ進む。ステップ２４６では、交差点位置前後における車両の進行方向の変化が３０度未満であったか否かを判断する。ステップ２４６で肯定されると、交差点真４０ｍから交差点後２０ｍ以内であった期間を交差点直進行動に設定して本ルーチンを終了する。一方、ステップ２４６で否定されると、基本行動を設定することなく、ステップ２５０においてウィンカ消し忘れ状態であることを設定し、本ルーチンを終了する。
【０１４８】
図１に示す基本行動内状態演算部４２は、基本行動分類部４０で分類した基本行動において、どのような状態を遷移したかを表す遷移の過程、すなわち基本行動内における状態を求めるものである。
【０１４９】
すなわち、基本行動内状態演算部４２では、運転状態計測装置３２による計測結果から基本行動である、乗員によってなされた車両の操縦に対する車両の挙動についてその遷移を求めるもので、基本行動内状態演算部４２は、運転状態計測装置３２の計測信号が入力されるように運転状態計測装置３２に接続され、その出力が視線配分演算部４４及び比較演算部４６に出力されるように接続されている。
【０１５０】
この基本行動内状態演算部４２は、基本行動分類部４０で分類された基本行動のシート５０に、どのような状態からどのように遷移したかを記録した状態マップ５２を生成し、出力する。この状態マップ５２を生成するために、基本行動内状態演算部４２は、基本行動を遷移を把握する。この遷移の把握は、シート５０のセル単位で行われる。言い換えれば、基本行動内状態演算部４２では、基本行動を、シート５０のセル単位で区分けし、その区分けしたセル間の関係を遷移として扱う。
【０１５１】
図１７乃至図２０には、基本行動内における状態の遷移を、セル単位で区分けするための基準の一例を示した。
【０１５２】
図１７は、右折行動または左折行動の基準行動について、すなわちシート５０Ａ，５０Ｂを、操舵角θ及び車両回頭角φを用いてセル単位で区分けするための車両の挙動に関する基準例を示した。まず、右折行動について説明する。シート５０Ａの横軸の車速に関する分類は上記図８と同様である。縦軸の車両回頭角（操舵角）は、右折準備、右折開始から右折中、右折中から右折終了の挙動で分類する。この分類基準を、本実施の形態では、ステアリングの中立位置を０度の原点としたときに、３０度、及び車両回頭角変化量の６０％の時点を採用している。
【０１５３】
すなわち、右折行動が抽出された時間区間において、ステアリングの中立位置を０度として、操舵角θが右方向に最大となった時点から遡って、右側に３０度未満となる時点以前を右折準備状態と分類する。また、右折準備状態の終了時の車両回頭角φを０とし右折行動終了時までの車両回頭角変化量をＡＣと表す。そして、右折準備状態以降で車両回頭角φが車両回頭角変化量ＡＣの６５％となった時点までを右折開始〜右折中の状態、それ以降を右折中〜右折終了の状態として分類する。
【０１５４】
なお、左折行動は、右折行動と対称的でほぼ同様であり、上述の右折を左折におきかえれば良いため、説明を省略する。
【０１５５】
また、上記基準として、ステアリングの中立位置を０度の原点としたときに、３０度、及び車両回頭角変化量の６５％の時点を採用しているが、本発明はこれに限定されるものではなく、実験的や統計的に求めた任意の角度や任意の比率を基準として採用してもよい。
【０１５６】
図１８は、右回転行動の基準行動について、すなわちシート５０Ｃを、操舵角θ及び車両回頭角φを用いてセル単位で区分けするための車両の挙動に関する基準例を示した。シート５０Ｃの横軸の車速に関する分類は上記図１０にも示したが、前進か後進かをギアレンジまたは車速で判別する。前進時の車速の詳細分類は上述と同様である。縦軸の車両回頭角（操舵角）は、右転回準備、右転回開始から右転回中、右転回中から右転回終了の挙動で分類する。この分類基準を、本実施の形態では、ステアリングの中立位置を０度の原点としたときに、１０度、３０度、及び車両回頭角変化量の９０％の時点を採用している。
【０１５７】
すなわち、右転回行動が抽出された時間区間において、交差点前１０ｍ時の車両回頭角φを０とし、車両回頭角φが右側９０度未満で、操舵角θが右方向に最大となった時点から遡って、右側に３０度未満となる時点以前を右転回準備状態と分類する。そして、分類した右転回準備状態内をさらに、ステアリングが中立位置より左側１０度未満の右側である時（準備Ａ）と、それ以外の時（準備Ｂ）の２つに分類する。次に、右転回準備状態から、右転回行動の開始時点から終了時までの車両回頭角変化量ＡＣの９０％となった時点までを右転回開始〜右転回中状態、それ以降を右転回中〜右転回終了状態として分類する。
【０１５８】
なお、本実施の形態では左転回行動について説明を省略するが、右転回行動とほぼ同様に扱うことができ、上述の右転回を左転回におきかえて分類することができる。
【０１５９】
また、上記基準として、ステアリングの中立位置を０度の原点としたときに、１０度、３０度、及び車両回頭角変化量の９０％の時点を採用しているが、本発明はこれに限定されるものではなく、実験的や統計的に求めた任意の角度や任意の比率を基準として採用してもよい。
【０１６０】
図１９は、右車線変更行動の基準行動について、すなわちシート５０Ｄを、セル単位で区分けするための車両の挙動に関する基準例を示した。まず、右側車線行動について説明する。シート５０Ｄの横軸の車速に関する分類は上記図１１と同様である。縦軸の車線の跨ぎは、右側車線変更準備、右側車線変更中の挙動で分類する。この分類基準を、本実施の形態では、車線と車両の位置関係のうち車両右端が右側車線上に至る時点を採用している。
【０１６１】
すなわち、右側車線変更行動が抽出された時間区間において、行動開始から車両右端が右側車線上に至る時点以前を右側車線変更準備状態とし、右側車線準備状態以降から行動終了までを右側車線変更中〜行動終了として分類する。この場合の行動終了は、右側車線変更が完了してから所定時間を経過（２秒後）したまでの期間を含めることが好ましい。
【０１６２】
なお、左側車線変更行動は、右側車線変更行動とほぼ同様であり、上述の右側車線変更を左側車線変更におきかえれば良いため、説明を省略する。
【０１６３】
また、上記基準として、車線と車両の位置関係のうち車両右端が右側車線上に至る時点を採用しているが、本発明はこれに限定されるものではなく、車両に予め定めた位置や車線を基準として所定距離を隔てた位置を採用してもよい。
【０１６４】
図２０は、交差点直進行動の基準行動について、すなわちシート５０Ｅを、車両と交差点の距離関係を用いてセル単位で区分けするための車両の挙動に関する基準例を示した。シート５０Ｅの横軸の車速に関する分類は上記図１２と同様である。縦軸の車両と交差点の距離関係は、通過前、通過直前、通過中と通過後の挙動で分類する。この分類基準を、本実施の形態では、車両の交差点までの距離が１０ｍ、３０ｍである時点を採用している。
【０１６５】
すなわち、交差点直進行動が抽出された期間において、交差点の基準位置を０として、行動開始から交差点の基準位置から車両の位置が１０ｍ前となる時点までを通過前状態と分類する。また、通過前状態の終了時（基準位置から１０ｍ前）から交差点の基準位置までを通過直前状態と設定する。そして、通過直前状態以降で行動終了までを通過中〜通過後の状態として分類する。
【０１６６】
なお、上記基準として、車両の交差点までの距離が１０ｍ、３０ｍである時点を採用しているが、本発明はこれに限定されるものではなく、車速に応じて距離を変更したり、交差点の基準位置を所定許容量を有するようにしてもよい。。
【０１６７】
図２１には、基本行動内状態演算部４２で記録される状態マップ５２の一例を、イメージで示した。図２１は、信号有りで４叉路以上の交差点において右折行動と分類された基本行動の状態マップ５２の例である。図２１の図中の●印と矢印はある右折行動がどのような状態を遷移したかを示している。すなわち、ステアリングが中立状態かつ時速４０ｋｍ以上から減速をし、一旦停止をした後に発進し、ステアリングを右に切り、加速しながら交差点を右折している様子を示している。
【０１６８】
各セル間の関係は、始点側のセルから終点側のセルの向きを矢印で示しており、その向きにより行動を表している。図２１では、「Ａ」は加速、「Ｄ」は減速、「Ｈ」はステアリング操舵状態変化を表す。状態マップ５２は、セル番号は基本状態における遷移についての該当状態に相当し、そのセルからの矢印の向きで行動を示すことが可能となる。従って、セル番号と行動を表すアルファベットの組合せで、個別の遷移を表すことができる。この始点側のセル番号と行動を表すアルファベットの組合せを状態マップ番号と定める。例えば、４０ｋｍ／ｈ以上の車速で右折準備状態であったセル番号１４の状態から減速行動を行った遷移を表す場合、状態マップ番号として、「１４−Ｄ」と表記する。
【０１６９】
基本行動内状態演算部４２は、この状態マップ番号を出力する。この出力の一例を次の表２に示す。
【０１７０】
【表２】
2004348394.tif 000013
【０１７１】
図５に示す視線配分演算部４４は、基本行動分類部４０で分類した基本行動について、乗員の確認行動として乗員の視線方向を求めるものである。
【０１７２】
すなわち、視線配分演算部４４では、運転状態計測装置３２による計測結果から、基本行動内状態演算部４２による状態の遷移を含む基本行動に対応する、乗員によってなされた確認行動である視線方向を求めるもので、基本行動内状態演算部４２及び運転状態計測装置３２に接続され、その出力が比較演算部４６に出力されるように接続されている。
【０１７３】
図２２に示すように、視線配分演算部４４では、乗員の視線方向として、１０種類ＬＬ、ＦＬ、ＦＦ、ＦＲ、ＲＲ、ＢＲ、ＢＢ、ＢＬ、ＥＩ、ＥＴ、を予め定めている。まず、乗員が着座したときの正面方向を０度とし、右周りの旋回角を正符号、左周りの旋回角を負符号として、９度〜−９度までを正面方向ＦＦと定め、１７１度〜１８０と−１７１度〜−１８０とを後方方向ＢＢと定めている。
【０１７４】
また、９度〜２５度までを右前方方向ＦＲ、２５度〜１３５度までを右方向ＲＲ、１３５度〜１７１度までを右後方方向ＢＲと定め、−９度〜−２５度までを左前方方向ＦＬ、−２５度〜―１３５度までを左方向ＬＬ、―１３５度〜―１７１度までを左後方方向ＢＬと定めている。また、車両内の装備例えばインパネや計器類を向く方向ＥＩ、及びその他の方向ＥＴも定めている。その他の方向の一例には、天井、シート上に置かれたものなどに視線が向いた場合の方向がある。
【０１７５】
図２３には、視線配分演算部４４における視線方向の分類について示した。図２３（Ａ）に示すように、車両内外の装備品についての位置関係を予め記憶されたメモリから読み取り、乗員との相対関係を求めておく。図２３（Ｂ）に示すように、視線方向の分類は車両上に仮想原点Ｘを置き、乗員の視線方向を表す３次元空間での直線を前述した行動検出センサの出力より求める。求めた直線が、各ミラー領域やインパネ領域を通過する場合には方向ＢＲ，ＢＢ，ＢＬ，ＥＩの何れかを設定し、それ以外でかつガラス窓領域も通過しない場合には方向ＥＴと設定する。
【０１７６】
また、図２３（Ｃ）に示すように、方向ＬＬ，ＦＬ，ＦＦ，ＦＲ，ＲＲの各方向の分類に際しては、方向ＢＲ，ＢＢ，ＢＬ，ＥＩ、ＥＴと判定されていない場合かつ窓ガラス領域通過した場合を対象として、ドライバの頭部位置、顔向き、視線方向から、車両上の仮想原点からの角度に再計算した上で視線方向を求める。すなわち、仮想原点を中心とした半径１０ｍの円柱面と、乗員の頭部を原点とした視線方向の直線と、の交点に仮想原点を通過する直線を仮想原点での視線方向として求め、その角度を視線方向とする。
【０１７７】
視線配分演算部４４では、乗員の確認行動として乗員の視線方向について、上記１０種類に分類された各方向への１回につき所定時間以上（本実施の形態では１００ｍｓｅｃ以上）の保持時間（注視時間）を求めてテーブルを作成する。視線配分演算部４４は、この表３に示したテーブルを出力する。このテーブルの一例を次の表３に示した。表３の例は、上述の表１で出力されたものに方向と保持時間を追加した形態である。なお、視線方向と保持時間（注視時間）とにより視線配分が求められる。
【０１７８】
【表３】
2004348394.tif 000014
【０１７９】
図５に示すように、報酬演算部４６は、基本行動分類部４０で分類した基本行動について、規範の視線配分と乗員の視線配分とを比較して、前回のアドバイス情報に従って行動した乗員の確認行動に対する報酬を求めるものである。
【０１８０】
すなわち、報酬演算部４６では、運転状態計測装置３２による計測結果、基本行動分類部４０により分類された基準行動、基本行動内状態演算部４２で求めた状態マップ５２、視線配分演算部４４で求めた視線杯配分を用いて、規範の視線配分と乗員の視線配分とを比較する。このため、報酬演算部４６は、運転状態計測装置３２の計測信号が入力されるように運転状態計測装置３２に接続されると共に、基本行動分類部４０、基本行動内状態演算部４２、視線配分演算部４４に接続され、その出力がアドバイス情報生成部４８に出力されるように接続されている。
【０１８１】
報酬演算部４６では、規範視線配分データベース５４から基準行動に対する規範視線配分マップ５６を抽出し、基準行動に対する乗員の視線方向についての視線配分マップ５８を求、これらを比較して、報酬６０を算出して、アドバイス情報生成４８へ出力する。
【０１８２】
図２４に示すように、報酬演算部４６は、視線方向結果入力部７０、算出回路７２、状態マップ番号入力部７４、呼出回路７６、及び視線配分比較採点回路７８から構成されている。
【０１８３】
視線方向結果入力部７０は、上記表３に示す状態マップ５２を入力するための入力部であり、状態マップ番号入力部７４は、上記表２に示す基本行動内状態演算部４２から出力された状態マップ番号を入力するための入力部である。視線方向結果入力部７０による状態マップ５２は算出回路７２へ出力される。算出回路７２は、基本行動と状態マップ毎に状態が遷移する規定時間（本実施の形態では２秒）前毎の視線配分、各方向毎の保持時間を算出するための回路である。
【０１８４】
この算出回路７２において、視線方向結果入力部７０の出力から視線配分及び各方向の平均保持時間を算出した算出結果の一例を、次の表４に示した。
【０１８５】
【表４】
2004348394.tif 000015
【０１８６】
また、状態マップ番号入力部７４による状態マップ番号は呼出回路７６へ出力される。呼出回路７６は、基本行動と状態マップ毎の規範となる視線配分の対応などを記憶した規範視線配分データベース５４を備えており、その規範視線配分データベース５４から状態マップ番号の入力に応じたデータを参照するための回路である。この規範視線配分データベース５４には、例えば、視線配分得点表（図２５）や、各視線方向における平均保持時間の得点表を記憶している。
【０１８７】
図２５には、規範視線配分データベース５４に記憶した視線配分得点表の一例を示した。図２５は、信号有りで４叉路以上の交差点での右折行動かつ状態マップ番号１４―Ｄの規範視線配分マップを示すもので、この視線配分得点表は、視線方向と、規定時間（本実施の形態では２秒）内における視線配分の割合と、得点との対応関係を表している。次の表５には、図２５のマップのうち、右折行動かつ状態マップ番号１４―Ｄの規範視線配分マップの数値一覧を示した。
【０１８８】
【表５】
2004348394.tif 000016
【０１８９】
呼出回路７６は状態マップ番号入力部７４からの出力から、視線配分得点表（例えば、図２５）、各方向の平均保持時間の得点表を規範視線配分データベース５４より取り出して、出力する。
【０１９０】
なお、この視線配分得点表や、各視線方向における平均保持時間の得点表は、運転指導員などの専門家による確認行動の判定基準を教師あり学習手法により得られたものを使用することが好ましい。また、上記得点表は、運転指導員などの専門家の運転時のデータからその頻度分布を用いて算出したものを使用しても良い。
【０１９１】
上記算出回路７２及び呼出回路７６の出力側は、報酬計算回路７８の比較側に接続される。報酬計算回路７８は、算出回路７２と呼出回路７６の出力を比較し、採点結果を出力するための回路であり、その出力すなわち比較結果はアドバイス情報生成部４８へ入力されるように接続される。
【０１９２】
報酬計算回路７８は、次の数１０に示すように、算出回路７２より出力される基本行動（Ｌ）と状態マップ毎の視線配分（ｇＬ，ｉ，ｋ）、平均保持時間（ｈＬ，ｉ，ｋ）と、呼出回路７６より出力される最高得点が「１」とした参照マップＧＬ，ｊ、ＨＬ，ｊから、方向ｉ毎に得点（ＱＬ，ｊ，ｋ）を内挿し算出する。ここで添字ｉは方向を添字ｊは基本行動（Ｌ）中の状態マップ番号、添字ｋは基本行動において、任意の１つの基本行動中に状態マップ番号が遷移した順番を示し、ｋ番目の状態マップ番号はｊである。またＮをｋの最大値とし、Ｎは基本行動中に状態マップ番号が遷移した回数となる。
【０１９３】
【数１０】
2004348394.tif 000017
【０１９４】
そして、基本行動（Ｌ）での判定値を、次の数１１とする。
【０１９５】
【数１１】
2004348394.tif 000018
【０１９６】
報酬計算回路７８は、この計算結果の最低値を報酬としてアドバイス情報生成装置４８に出力する。なお、本実施の形態では、報酬計算回路７８は、そのときの基本行動（Ｌ）、状態マップ番号（ｊ）と、参照マップＧＬ，ｊ（ｇＬ，ｉ，ｋ）と、参照マップＨＬ，ｊ（ｈＬ，ｉ，ｋ）と、の各々の値もアドバイス情報生成装置４８に出力する。
【０１９７】
図５に示すように、アドバイス情報生成部４８は、個人特性データベース６４、及び事故事例データベース６２を備えており、報酬演算部４６から出力された報酬から、乗員（ドライバ）の確認行動に対するアドバイス情報を生成する。
【０１９８】
すなわち、アドバイス情報生成部４８では、運転状態計測装置３２による計測結果に基づいて演算された報酬演算部４６による報酬を用いて、乗員の視線配分に対するアドバイス情報を生成する。このため、報酬演算部４６の出力がアドバイス情報提示装置３６に出力されるように接続されている。なお、アドバイス情報生成部４８は、運転状態計測装置３２の計測信号が入力されるように運転状態計測装置３２に接続されている。
【０１９９】
図２６に示すように、アドバイス情報生成部４８は、乗員（ドライバ）の氏名を入力するための入力回路８０を備えており、入力回路８０は個人特性データベース６４を備えた個人ＤＢ処理回路８２に接続されている。個人ＤＢ処理回路８２は、事故事例データベース６２を備えた事例ＤＢ処理回路８４に接続されている。
【０２００】
また、アドバイス情報生成部４８は、報酬演算部４６から出力された報酬を入力するための報酬入力部８６を備えており、報酬入力部８６の出力側は、報酬に基づいてアドバイス情報を生成するアドバイス情報生成回路９０に接続されている。
【０２０１】
なお、アドバイス情報生成回路９０の出力側は、個人ＤＢ処理回路８２及びアドバイス情報提示用出力信号生成回路９２に接続されている。また、アドバイス情報提示用出力信号生成回路９２の出力側は、個人ＤＢ処理回路８２及びアドバイス情報提示装置３６に接続されている。
【０２０２】
報酬入力部８６から報酬が入力されると、アドバイス情報生成回路９０は、図３１に示すアドバイス情報生成処理ルーチンを実行する。本アドバイス情報生成ルーチンは、前述した第１の実施の形態にかかる行動パターン生成処理ルーチンと同様な部分を有するので、同一部分には同一の符号を付してその詳細な説明を省略する。
【０２０３】
即ち、報酬入力部８６から報酬が入力されると、図３１に示すアドバイス情報生成処理ルーチンがスタートし、ステップ３０２で、入力した報酬に基づいて、前回生成出力したアドバイス情報が最適か否かを判断する。前回のアドバイス情報が最適な場合には、ステップ３０４で、前回のアドバイス情報が最適である旨を示す情報をアドバイス情報提示装置３６に出力する。一方、前回のアドバイス情報が最適でない場合には、ステップ３０６で、入力した報酬に基づいて、乗員の確認行動が許容範囲内か否かを判断する。乗員の確認行動が許容範囲内である場合には、前述した第１の実施の形態にかかる行動パターン生成処理ルーチンにおけるステップ５４２〜ステップ５５４と同様の処理を実行する。
【０２０４】
即ち、ステップ５４２で、報酬演算部４６により演算された報酬を用いて状態評価値Ｖπ（ｓｔ）を上記式（数１）から計算し、ステップ５４４で、ＴＤ誤差δｔを上記式（数２）から計算し、ステップ５４６で、評価値Ｔ（ｓｔ）を上記式（３）より計算する。
【０２０５】
ステップ５４８で、試行値Δａ（ｓｔ）を上記式（数４）より計算する。なお、本実施の形態におけるＡ（ｓ）は、視線配分の基準値（基準行動指針情報）から所定の確率により定まる値（以下、基準値から定まる値という）であり、視線配分は各個人により差があるので、本実施の形態では、各々異なる代表的な複数の視線配分を基準値として記憶する。なお、各々異なる代表的な複数の視線配分の基準値各々は変数ｉにより識別される。
【０２０６】
また、前述したように、数５により示される式は，基準値が乗員に対して有効であれば，アドバイス情報を基準値に接近させるように学習をさせ，基準値が乗員に対してあまり有効でないようであれば，ランダムな試行錯誤でアドバイス情報を探索させるようにすること意味している。即ち、報酬が正で、これによりＴＤ誤差δｔが正で、評価値Ｔ（ｓｔ）も正の場合には、ρ（Ｔ（ｓｔ））は１に近い値をとり、ρ（−Ｔ（ｓｔ））は０に近い値をとる。即ち、前回のアドバイス情報に基づいて変化した乗員の視線配分に対する評価が予め定められた良好評価範囲の場合には、予め定められた上記基準値に基づいて、前回のアドバイス情報からの変化量を定める。より詳細には、基準値から定まる値と前回のアドバイス情報との差に基づいて、更に詳細には、基準値から定まる値と前回のアドバイス情報との差の変化量の値への影響を、所定の確率に基づいて定められるアドバイス情報の変化量の値への影響より大きくして、変化量を定めている。
【０２０７】
なお、基準値が乗員に対してあまり有効でなく，ランダムな試行錯誤でアドバイス情報を探索させるとしても、無制限な値を取り得るわけには行かず、基本行動に対する許容範囲を予め定めておき、許容範囲内においてランダムな値をとる。
【０２０８】
ステップ５５０で、状態価値Ｖ（ｓｔ）を上記式（数６）より更新し、ステップ５５２で、乗員へのアドバイス情報ａ（ｓｔ）を上記式（数７）より計算し、ステップ５５４で、アドバイス情報ａ（ｓｔ）を出力する。
【０２０９】
上記ステップ３０６で、乗員の確認行動が許容範囲内でない場合には、前回のアドバイス情報を求めるために用いた視線配分（基準値）が適正でないと判断できるので、ステップ３０８で、視線配分の基準値を識別する変数ｉを１インクリメントし、変数ｉが基準値の総数より大きいか否かを判断する。変数ｉが基準値の総数より大きくない場合には、ステップ３０８で１インクリメントされた変数ｉで、ステップ５４２〜ステップ５５４を実行する。
【０２１０】
なお、本実施の形態では、アドバイス情報生成回路９０は、報酬入力部８６を介して入力した、基本行動（Ｌ）、状態マップ番号（ｊ）、参照マップＧＬ，ｊ（ｇＬ，ｉ，ｋ）、参照マップＨＬ，ｊ（ｈＬ，ｉ，ｋ）、の値もアドバイス情報提示用出力信号生成回路９２に出力する。
【０２１１】
アドバイス情報生成回路９０は、参照マップＧＬ，ｊ（ｇＬ，ｉ，ｋ）と、参照マップＨＬ，ｊ（ｈＬ，ｉ，ｋ）と、の値より、値が低い視線方向ｉを抽出した後、アドバイス情報提示用出力信号生成回路９２、及び個人ＤＢ処理回路８２に、基本行動（Ｌ）及び状態マップ番号（ｊ）と、抽出結果（視線方向ｉ）を出力する。
【０２１２】
個人ＤＢ処理回路８２は、入力回路８０からの乗員の氏名に対応して乗員毎に、アドバイス情報生成回路９０から出力されたアドバイス情報を記録する。すなわち、入力回路８０により入力された乗員を識別するための識別データから、個人ＤＢ処理回路８２におけるその乗員の個人特性データベース６４に対してアクセス可能とし、アドバイス情報生成回路９０からのアドバイス情報を乗員毎に記録する。これによって、個人ＤＢ処理回路８２の個人特性データベース６４には、報酬の良否に拘わらず全てのアドバイス情報を記憶することができ、報酬の良否に対応して該当するアドバイス情報を抽出（検索）することができる。
【０２１３】
例えば、個人ＤＢ処理回路８２は、アドバイス情報提示装置３６に対して、過去の良好と認められない確認行動の検索結果を出力する機能を有することができる。この場合、過去の良好と認められない確認行動の累積データが個人特性データベース６４に存在しているので、検索命令の入力によって個人特性データベース６４から該当するデータを抽出し、これを検索結果として出力すればよい。
【０２１４】
アドバイス情報提示用出力信号生成回路９２は、アドバイス情報生成回路９０の出力であるアドバイス情報を、アドバイス情報提示装置３６に表示させるための表示信号を生成する回路である。なお、本実施の形態では、アドバイス情報提示用出力信号生成回路９２は、アドバイス情報以外の他の上記情報を、判定結果提示装置３６へ表示させるための表示信号も生成可能である。
【０２１５】
図２７に示すように、アドバイス情報提示装置３６が車両内のインパネ上に装備する。この場合、アドバイス情報提示装置３６は安全確認適正度メータとして機能し、アドバイス情報提示用出力信号生成回路９２は、このアドバイス情報提示装置３６に対して提示用信号出力を行う。図２７の左方には、この安全確認適正度メータとして機能する判定結果提示装置３６の一例の表示画面３００を示した。表示画面３００では、現在までの確認行動についての判定結果を棒グラフ形式で時系列的に表示した場合を示している。従って、判定結果提示装置３６の表示画面３００には、現在までの確認行動について、逐次最新の判定結果が表示される。
【０２１６】
表示画面３００には、詳細ボタン３０２が含まれている。この詳細ボタン３０２は、判定結果の詳細を提示するための指示ボタンである。なお、この詳細ボタン３０２は、乗員による要求指示があった場合でかつ車両の停車中のみ、その要求を受け付けるものとし、その結果図２８に一例を示す画像による提示を行う。また、この場合、判定結果提示装置３６はタッチパネル形式とすることで、乗員の入力指示が容易となる。
【０２１７】
図２８には、詳細ボタン３０２が指示されたときに提示する一例の詳細画面３０４を示した。図２８では、確認行動を、車両の挙動に応じた時系列的な遷移をイメージとして提示した場合を示している。また、詳細画面３０４は、その遷移の過程において判定結果のうち特に注意しなければならない確認行動や、統計的に注意を促すべき確認行動のアドバイス情報３０６を共に提示した場合を示している。なお、上記のように、アドバイス情報が最適である場合には、乗員の確認行動も最適であり、その旨、表示する。
【０２１８】
また、詳細画面３０４には、乗員の確認行動の癖を提示する要求を指示する癖ボタン３０８を含んでいる。この癖ボタン３０８は、乗員による要求があった場合でかつ車両が停車中にのみ要求を受け付けて情報を提示する。
【０２１９】
図２９には、癖ボタン３０８が指示されたときに提示する一例の癖表示画面３１０を示した。図２９では、個人特性データベース６４を参照して、乗員の確認行動について、良否の少なくとも一方のデータを提示した場合を示している。すなわち、個人特性データベースから検索された最も回数の多い良好でない確認行動の基本行動（Ｌ）、状態マップ番号（ｊ）、視線方向（ｉ）から順に、所定数（図の例では２つ）を提示し、また個人特性データベースから検索された最も回数の多い良好な確認行動の基本行動（Ｌ）、状態マップ番号（ｊ）、視線方向（ｉ）を所定数（図の例では１つ）を提示することができる。
【０２２０】
また、癖表示画面３１０には、事故占いボタン３１２が含まれている。この事故占いボタン３１２は、乗員による要求があった場合でかつ車両が停車中にのみ要求を受け付けて事故占いの結果を提示する。事故占いとは、乗員の過去の運転行動から乗員が陥りやすい緊急状態を、事故事例を基にして提示するものである。例えば、事例ＤＢ処理回路８４に含まれる事故事例データベース６２として、公知である危険予知トレーニング等のように事故事例の行動と道路形態と危険な方向のフラグのついた事故事例データベースを具備する。そして、個人特性データベースから検索された最も回数の多い悪い確認行動の基本行動（Ｌ）、状態マップ番号（ｊ）、視線方向（ｉ）を使用して事故事例データベース６２を検索し、ドライバが悪い確認行動を起こしやすい事例に適した事故事例、危険予知トレーニング例を出力する。
【０２２１】
図３０には、事故占いボタン３１２が指示されたときに提示する一例の事故占い結果表示画面３１４を示した
なお、判定結果提示用出力信号生成回路９２は、判定結果提示装置３６として拡声器が設置された場合に、それに対応する、すなわち音声情報を生成することができる。例えば、判定結果提示用出力信号生成回路９２は、走行中に確認行動の判定結果を通知する際、乗員が音声出力を希望する設定にしておけば、判定結果提示装置３６を利用し、音声にて“先ほどの右折での確認行動は○点です。”等のアナウンスを行うこともできる。
【０２２２】
また、ナビゲーションシステムを装備し、そのルートガイドを使用する時には、各基本行動においてドライバが犯しやすいミスを個人特性データベースから検索し、ルート案内時に音声により気をつける点を提示することも可能である。
【０２２３】
このように本実施の形態では、乗員の運転状態に対応して基本行動を分類し、その基本行動に対する確認行動を評価（判定）し、アドバイス情報を提示している。この提示は、運転に影響の少ない範囲で提示しているので、確認行動の不足点や誤った点を運転中に指摘して、乗員の運転を強制することがない。また、常時乗員の確認行動を監視し、乗員の癖を把握した上で、運転に支障をきたすことの無い時点で、乗員に不適格な確認行動があった場面や良い確認行動をしていることを教示することができるので、安全行動が向上する。また、常に確認行動が監視することで、効果的に確認行動を良好な方向へ促すことができる。これによって事故などの緊急状態へ至ることの低減を図ることができる。従って、安全性を確保しつつ乗員の確認行動を評価することができる。
【０２２４】
また、基本行動のどの状態にいる場合にどの方向をどの程度見るべきかの一般的知識、例えば、右にステアリングを切る前に前もって右を充分見ておく、高速道路で頭部を大きく左右にふる確認を長くすべきでない、などを定量的に評価、判定することが可能である。
【０２２５】
なお、上記実施の形態では、基本行動としてシートに分類して用いて説明したが、本発明は、シートに限定されるものではなく、基本行動を把握可能なベクトル表現形式の数式を用いてもよい。
【０２２６】
以上説明したように、本実施の形態では、前回のアドバイス情報ａ（ｓｔ）から今回のアドバイス情報ａ（ｓｔ）への変化量を、視線配分の基準値に対する有効度合いに基づいて決定させている、即ち、学習初期の段階でも，ランダムな試行による所望の行動パターンの探索をしていないので，学習効率がよく，とくに状態の次元数が大きくなっても，最適解を得やすく，実用性に高い。
【０２２７】
また、視線配分の基準値を複数定めておき、どれかの基準値に従うという行動出力の決め方をするので，１つ１つの基準値付近の探索コストを下げることができる。
【０２２８】
以上説明した実施の形態では、基準値と前回のアドバイス情報との差の変化量の値への影響を、所定の確率に基づいて定められるアドバイス情報の変化量の値への影響より大きくして、変化量を定めて、次回のアドバイス情報を計算している（数４参照）。しかし、本発明はこれに限定されるのではなく、前述した式（数８）のように、基準値と前回のアドバイス情報との差のみに基づいて変化量を定めて、次回の行動出力を計算するようにしてもよい。
【０２２９】
前述した実施の形態では、アドバイス情報提示装置は、最初に安全確認適正度を表示すると共に詳細ボタンを表示し、詳細ボタンが指示されたときにアドバイス情報を提示しているが、本発明はこれに限定されるものではなく、最初にアドバイス情報を提示するようにしてもよい。
【０２３０】
なお、前述した実施の形態では、上記行動は、車両が所定運転状態のときの該車両を操縦する乗員の視線配分としているが、本発明はこれに限定されるものではなく、視線方向、注視時間等の、注視配分以外の注視行動や、ハンドル操作等にも同様に適用可能である。
【０２３１】
【発明の効果】
以上説明したように請求項１記載の発明は、以前の制御量に基づいて変化した環境に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準制御量に基づいて、以前の制御量からの変化量を定めることにより、次回の制御量を算出するので、効率良く次回の制御量を得ることができる、という効果を有する。
【０２３２】
また、請求項１２記載の発明は、以前の行動指針情報に基づいて変化した環境に対する評価が予め定められた良好評価範囲の場合には、予め定められた基準行動指針情報に基づいて、以前の行動指針情報からの変化量を定めることにより、次回の行動指針情報を算出するので、以前の行動指針情報をランダムに変化させて、次回の行動指針情報を算出するよりは、効率良く次回の行動指針情報を得ることができる、という効果を有する。
【図面の簡単な説明】
【図１】本実施の形態に係る「人間−ロボット−作業環境」構造を示す概念図である。
【図２】ロボットの装置構成全体図である。
【図３】ロボット行動計画装置が実行する行動パターン生成処理ルーチンを示すフローチャートである。
【図４】実験結果を示す図である。
【図５】本発明の実施の形態に係るアドバイス情報生成提示装置の概略構成を示すブロック図である。
【図６】本発明の実施の形態に係るアドバイス情報生成提示装置の基本構成を示すブロック図である。
【図７】アドバイス情報生成提示装置において基本行動を分類する分類テーブルを示すイメージ図である。
【図８】右折行動のシートを示すイメージ図である。
【図９】左折行動のシートを示すイメージ図である。
【図１０】右転回行動のシートを示すイメージ図である。
【図１１】右側車線変更行動のシートを示すイメージ図である。
【図１２】交差点直進行動のシートを示すイメージ図である。
【図１３】確認行動判定装置の基本行動分類部で基本行動を分類する処理の過程を示すフローチャートである。
【図１４】図１３のステップ１１６の詳細を示すフローチャートである。
【図１５】図１３のステップ１１２の詳細を示すフローチャートである。
【図１６】確認行動判定装置の基本行動分類部で、方向指示器の信号を用いて基本行動を分類する処理の過程を示すフローチャートである。
【図１７】右折行動または左折行動について、操舵角θ及び車両回頭角φを用いてセル単位で区分けするための車両の挙動に関する基準例の説明図である。
【図１８】右転回行動について、操舵角θ及び車両回頭角φを用いてセル単位で区分けするための車両の挙動に関する基準例の説明図である。
【図１９】車線変更行動について、セル単位で区分けすることに関する基準例の説明図である。
【図２０】交差点直進行動について、セル単位で区分けすることに関する基準例の説明図である。
【図２１】状態マップを示すイメージ図である。
【図２２】乗員の視線方向の範囲を示すイメージ図である。
【図２３】視線配分演算部における視線方向の分類について示し、（Ａ）、（Ｂ）は車両内外の装備品についての位置関係をを示し、（Ｃ）は窓ガラス領域通過した場合の説明図である。
【図２４】確認行動判定装置に含まれる比較演算部の詳細を示すブロック図である。
【図２５】規範視線配分データベースに記憶した視線配分得点表の一例を示すイメージ図である。
【図２６】確認行動判定装置に含まれる表示用処理部の詳細を示すブロック図である。
【図２７】車両内に装備された判定結果提示装置一例を示すイメージ図である。
【図２８】判定結果提示装置に提示される確認行動についての判定結果の詳細を示すイメージ図である。
【図２９】乗員の癖に関するデータの癖表示画面の一例を示すイメージ図である。
【図３０】事故占い結果表示画面の一例を示すイメージ図である。
【図３１】アドバイス情報生成処理ルーチンを示すフローチャートである。
【符号の説明】
１００  ロボット１００
５１２  力検出センサ５１２
５１４  教示幾何学情報生成装置
５１６  協調運動計画装置
５１８  ロボット動作制御装置
５２０  入力装置
５２２  ロボット行動計画装置
５２４  位置検出センサー
１０  アドバイス情報生成提示装置
３２  運転状態計測装置
３４  アドバイス情報生成装置
３６  アドバイス情報提示装置
４０  基本行動分類部
４２  基本行動内状態演算部
４４  視線配分演算部
４６  報酬演算部
４８  アドバイス情報演算部
５０  シート
５２  状態マップ
５４  規範視線配分データベース
５６  規範視線配分マップ
５８  視線配分マップ
６０  得点結果
６２  事故事例データベース
６４  個人特性データベース
【図１】
2004348394.tif 000019
【図２】
2004348394.tif 000020
【図３】
2004348394.tif 000021
【図４】
2004348394.tif 000022
【図５】
2004348394.tif 000023
【図６】
2004348394.tif 000024
【図７】
2004348394.tif 000025
【図８】
2004348394.tif 000026
【図９】
2004348394.tif 000027
【図１０】
2004348394.tif 000028
【図１１】
2004348394.tif 000029
【図１２】
2004348394.tif 000030
【図１３】
2004348394.tif 000031
【図１４】
2004348394.tif 000032
【図１５】
2004348394.tif 000033
【図１６】
2004348394.tif 000034
【図１７】
2004348394.tif 000035
【図１８】
2004348394.tif 000036
【図１９】
2004348394.tif 000037
【図２０】
2004348394.tif 000038
【図２１】
2004348394.tif 000039
【図２２】
2004348394.tif 000040
【図２３】
2004348394.tif 000041
【図２４】
2004348394.tif 000042
【図２５】
2004348394.tif 000043
【図２６】
2004348394.tif 000044
【図２７】
2004348394.tif 000045
【図２８】
2004348394.tif 000046
【図２９】
2004348394.tif 000047
【図３０】
2004348394.tif 000048
【図３１】
2004348394.tif 000049