(57)【要約】【課題】適切に人間の行動を支援するために人間の意図を推論する。【解決手段】センサ及び処理演算部からなる複数の分散感覚知能を用いて人間の状態を推定する。すなわち、人間の行動結果を取得するセンサとして、カメラ２１，２４，３１及び３２、車両速度検出装置２５を配置し、処理演算部として、車両位置情報算出部２０２、第１顔方向情報算出部２０３、第２顔方向情報算出部２０４を配置する。これら複数の分散感覚知能から得られる車両位置情報ＶＬ、顔方向情報θＤ、車両速度情報Ｖｖなどの環境情報に基づき意図認識部２０７が意図推論を行い、意図認識結果を得る。【選択図】      図２
2005238872.tif 000002
【特許請求の範囲】
【請求項１】
環境の物理量を検出するセンサと、前記センサにより検出された物理量に基づき人間の行動結果を表す環境情報を生成する処理演算部とからなる複数の分散感覚知能部と、
前記複数の分散感覚知能部から得られる複数の環境情報に基づき、人間の意図を推論する意図認識部と
を具備してなることを特徴とする人間状態推定システム。
【請求項２】
前記複数の分散感覚知能部には、人間の顔の動作を撮像する第１の撮像装置と、前記第１の撮像装置により得られた顔の動作に基づき第１の顔方向情報を生成する第１の処理演算部とを備えた第１の分散感覚知能部と、
人間の視野の画像を撮像する第２の撮像装置と、前記第２の撮像装置により得られた顔の動作に基づき第２の顔方向情報を生成する第２の処理演算部とを備えた第２の分散感覚知能部とが含まれ、さらに、
前記第１の分散感覚知能部で得られた第１の顔方向情報と、前記第２の分散感覚知能部で得られた第２の顔方向情報とに基づき顔情報情報を再構成する情報再構成部を備えることを特徴とする請求項１に記載の人間状態推定システム。
【請求項３】
前記意図認識部は、前記複数の環境情報からなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶する記憶装置をさらに備え、
前記意図認識部は、前記複数の環境情報に対して、前記記憶装置から読み出された連想マトリクスに基づき反響動作に伴う状態推移により運転意図を算出することを特徴とする請求項１に記載の人間支援システム。
【請求項４】
前記連想マトリクスは、一運転者の複数の異なる状態について記憶されることを特徴とする請求項３に記載の人間支援システム。
【請求項５】
前記意図認識部は、前記複数の運転者ごとの連想マトリクスに対して算出された運転意図のうち、最も強く想起された運転意図を運転者の運転意図に決定する判定手段を備えることを特徴とする請求項３に記載の人間支援システム。
【請求項６】
環境の物理量を検出し、
前記物理量に基づき人間の行動結果を表す複数の環境情報を生成し、
前記複数の環境情報に基づき、複数の環境情報からなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶した記憶装置から読み出された前記連想マトリクスに基づき反響動作に伴う状態推移により運転意図を算出する
ことを特徴とする人間状態推定方法。
【請求項７】
コンピュータに、
センサにより検出された環境の物理量に基づき人間の行動結果を表す複数の環境情報を生成し、
前記複数の環境情報に基づき、複数の環境情報からなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶した記憶装置から読み出された前記連想マトリクスに基づき反響動作に伴う状態推移により運転意図を算出する
処理を実行させるための人間状態推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の行動を支援するために人間の意図を把握する人間状態推定システム、人間状態推定方法及び人間状態推定プログラムに関する。
【背景技術】
【０００２】
情報通信技術の急速な進展に伴い、情報インフラストラクチャの整備が進められ、一般家庭や移動体にまでネットワークと情報システムが浸透しつつある。一方、利用者側からこれらのネットワーク情報システムを見る限りでは、ネットワークにより形成された空間に生活する利用者でありながら、形成している空間システムが有効に利用者に作用して人間に支援しているとは言い難いのが現状である。
【０００３】
また、日々の生活でその恩恵を受ける人が増える一方で、病院や家庭内の高齢者・機能障害者に代表される、情報技術から疎外され、その恩恵を十分に受けられていない情報弱者と呼ばれる人々との格差が相対的に進んでいるのも現状である。
【０００４】
一方、このような情報処理技術を用いて運輸省の先端安全自動車推進検討会により、エレクトロニクス技術等の新技術により自動車を高知能化して安全性を格段に高めるための予防安全技術が提案されている（非特許文献１）。この予防安全技術は、通常走行時における運転者の危険状態、走行環境の危険状況等を各種センサにより検知し運転者に警報すること、運転者の負担を軽減すること等により自己の未然防止を図るために考案されている。しかしながら、危険状況の直前に危険を報知することはできても、危険状況に陥るより前の状況は知らせることができない。また、危険状況の直前に危険を突然表示すると、その直前の表示が視界に入ることにより、周辺の視野が極端に見えにくくなるという特性が顕著に見られることが知られている。
【０００５】
このように、例えば都市空間において歩行者、車両の存在を検出し、存在を提示することはできたが、情報過多になってしまい、かえって運転者に対し混乱を招き支障となってしまう。
【非特許文献１】先端安全自動車推進検討会事務局  運輸省自動車交通局技術安全部“先端安全自動車”平成９年１０月発行
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、例えば都市空間において歩行者、車両の存在を検出し、存在を提示することはできたが、情報過多になってしまい、かえって運転者に対し混乱を招き支障となってしまう。
【０００７】
本発明は上記課題を解決するためになされたもので、その目的とするところは、適切に人間の行動を支援するために人間の意図を推論する人間状態推定システム、人間状態推定方法及び人間状態推定プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明のある観点によれば、環境の物理量を検出するセンサと、前記センサにより検出された物理量に基づき人間の行動結果を表す環境情報を生成する処理演算部とからなる複数の分散感覚知能部と、前記複数の分散感覚知能部から得られる複数の環境情報に基づき、人間の意図を推論する意図認識部とを具備してなることを特徴とする人間状態推定システムが提供される。
【０００９】
また、本発明の別の観点によれば、環境の物理量を検出し、前記物理量に基づき人間の行動結果を表す複数の環境情報を生成し、前記複数の環境情報に基づき、複数の環境情報からなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶した記憶装置から読み出された前記連想マトリクスに基づき反響動作に伴う状態推移により運転意図を算出することを特徴とする人間状態推定方法が提供される。
【００１０】
また、本発明のさらに別の観点によれば、コンピュータに、センサにより検出された環境の物理量に基づき人間の行動結果を表す複数の環境情報を生成し、前記複数の環境情報に基づき、複数の環境情報からなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶した記憶装置から読み出された前記連想マトリクスに基づき反響動作に伴う状態推移により運転意図を算出する処理を実行させるための人間状態推定プログラムが提供される。
【発明の効果】
【００１１】
本発明によれば、人間の意図を適切に推論することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る人間状態推定システムが適用される都市空間における分散感覚知能空間の一例を示す図である。
【００１３】
図１は、車両２が道路４１を進行している状況を示している。この道路４１と道路４２との交差点には、２つのカメラ３１及び３２が配置されている。これらカメラ３１及び３２は、道路４１を通行する車両２を撮像する。このカメラ３１及び３２の撮像画像の一例は１０２で示される。また、車両２には、運転者１０の動作を取得するための車両搭載カメラ２４が搭載され、運転者１０を撮像する。この運転者撮像画像の一例は１０１で示される。さらに、車両２には、車両速度検出装置２５が搭載されている。検出された車両速度情報Ｖｖは、例えば１０３で示される撮像画像として表示される。
【００１４】
このように、車両搭載カメラ２４で撮像された運転者画像に基づき算出された運転者１０の動作と、カメラ３１及び３２で取得された車両画像に基づき算出された車両位置情報ＶＬと、車両速度検出装置２５から得られた車両速度情報Ｖｖとに基づき、運転者１０の意図を推論する。
【００１５】
この分散感覚知能空間において、分散感覚知能は、各車両２や、カメラ３１，３２などからなる車両位置検出機構などである。これら分散感覚知能は、感覚部と知能部からなる。感覚部は、例えばＣＣＤカメラなどのセンサで実装される。知能部は、ＣＰＵなどの処理を実行する処理演算装置で実装される。分散感覚知能モデルの感覚部は、環境中における色情報や動き情報、形状情報といった物理量を取得し前処理を行う。この物理量は、単純に速度や位置などの物理的な値のみならず、複合的な物理量も含まれる。例えば、画像情報も、環境の色や動き、形状を示す物理量といえる。知能部は、感覚部で得られた物理量に基づき、人間の行動結果を表す環境情報を生成し、情報を出力するなど知的処理を行う。分散感覚知能空間では、複数の感覚知能を空間全体に分散的に配置することで、空間全体があたかも高知能を持つかのように情報を共有し、補い合う。
【００１６】
本実施形態では、分散感覚知能区間において各カメラセンサから送られてくる物理量の取得に、一例としてＩ−Ｓｐａｃｅというソフトウェアを用いる。このＩ−Ｓｐａｃｅは、カメラから送られてくる画像から検出したい色彩のある部分をウィンドウによって保持し、その中から検出した画素の重心を算出するという方法で座標データを取り出す。また、ウィンドウは一定時間ごとに保持している色の、画素の集団の動きを追尾するので、検出したい部分のトラッキングが可能となる。
【００１７】
図２は上記人間状態推定システムの各構成の一例を示す図である。図２に示すように、Ａ点及びＢ点から撮像した２つの車両画像データを車両２の通信制御手段２０１を介してカメラ３１及び３２から受信する。車両位置情報算出部２０２は、これらＡ点及びＢ点から撮像した２つの車両画像データに基づき車両位置情報ＶＬを算出する。この車両位置情報ＶＬの算出は、ステレオ視に基づく算出手法で求められる。
【００１８】
また、車両２に設けられた車両速度検出装置２５は、車両２のモータ２ｃの回転数などから車両速度情報Ｖｖを算出する。また、第１顔方向情報算出部２０３は、車両搭載カメラ２４で得られた運転者１０の運転行動を含む車内カメラ画像データに基づき第１顔方向情報θＤ１を算出する。また、第２顔方向情報算出部２０４は、視野画像取得カメラ２１で得られた運転者１０の視野の画像データに基づき第２顔方向情報θＤ２を算出する。情報再構成部２０５は、得られた顔方向情報θＤ１及びθＤ２に基づき、情報の再構成処理を行い顔方向暫定情報θＰを得る。ニュートン法補正部２０６は、顔方向暫定情報θＰをニュートン法により補正し、顔方向情報θＤを得る。意図認識部２０７は、車両位置情報ＶＬと、車両速度情報Ｖｖと、顔方向情報θＤとに基づき意図認識処理を行い運転者１０の意図を示す意図認識結果を生成する。得られた意図認識結果は車両２に設けられた表示部２２に表示される。もちろん、表示部２２は車両２とは別に配置された分散感覚知能に設けられており、無線により意図認識結果がその分散感覚知能に送信されその表示部２２に表示されても良い。
【００１９】
図２において、カメラ３１、３２、車両位置情報算出部２０２により分散感覚知能が構成される。カメラ３１及び３２がセンサ部として機能し、車両位置情報算出部２０２が処理演算部として機能する。また、車両速度検出装置２５が１つの分散感覚知能として機能する。また、視野画像取得カメラ２１、車両搭載カメラ２４、第１顔方向情報算出部２０３、第２顔方向情報算出部２０４、情報再構成部２０５及びニュートン法補正部２０６により分散感覚知能が構成される。視野画像取得カメラ２１及び車両搭載カメラ２４がセンサ部として機能し、第１顔方向情報算出部２０３、第２顔方向情報算出部２０４、情報再構成部２０５及びニュートン法補正部２０６が処理演算部として機能する。
【００２０】
また、各構成での処理データや、各構成を実行するためのプログラムは、車両２に設けられた記憶装置３９に格納され、必要に応じて各構成から読み出される。
【００２１】
次に、図３を用いて、カメラ３１及び３２を用いた車両位置情報ＶＬの算出手法を説明する。
【００２２】
図３は車両位置情報ＶＬの検出に、Ｉ−Ｓｐａｃｅのステレオ視機能を用いている。これは、Ｉ−Ｓｐａｃｅを２台使用し、それぞれが得た座標データを計算することにより、３次元座標の位置を獲得する。図３において、目標物である車両２の座標をＰ（ｘ，ｙ，ｚ）、車両２に対して左側のカメラ３２の座標をＯＬ、車両２に対して右側のカメラ３１の座標をＯＲとし、カメラ３２により撮像された画像中の車両２の像面の座標をＰＬ（ＸＬ，ＹＬ）とし、カメラ３１により撮像された画像中の車両２の像面の座標をＰＲ（ＸＲ，ＹＲ）とする。これら座標ＰＬ及びＰＲは、撮像面での画像中の座標を示している。
【００２３】
左側のカメラ３２の画像の中心をＯＬ、右側のカメラ３１の画像の中心をＯＲとした場合、ｄは、これら中心ＯＬとＯＲとの距離である。ｆはカメラ３１及び３２の焦点距離である。
【００２４】
そして、目標物Ｐ（ｘ，ｙ，ｚ）は、以下の式（１）〜（３）により算出される。  
ｘ＝ｄ・ＸＬ／（ＸＬ−ＸＲ）    …（１）  
ｙ＝ｄ・ＹＬ／（ＸＬ−ＸＲ）    …（２）  
ｚ＝ｄ・ｆ／（ＸＬ−ＸＲ）    …（３）  
図４は車両２の概観図であり、図５は車両２の機能を模式的に示した図である。
【００２５】
図４に示すように、車両２の車輪２ａの回転数と、ハンドル２ｂの回転角を検出する車両速度検出装置２５が設けられている。図５に示すように、外部端末２ｆや２ｇと無線ＬＡＮ２ｍや無線ＬＡＮ２ｎにより通信可能に制御コンピュータ２ｅが車両２に設けられている。外部端末２ｆや２ｇは、他の分散感覚知能に実装されるもので、例えば別の車両に設けられた制御コンピュータや、歩行者の有する携帯端末等が該当する。
【００２６】
制御コンピュータ２ｅからの速度指令及びハンドル角指令を例えば有線で車両制御用マイコンＰＰ７などの制御部２ｄが受信し、この制御部２ｄが車両２内に設けられたモータ２ｃ及びハンドル２ｂを制御する。これにより、所望の車両速度及びハンドルの回転による車両２の運転が可能となる。
【００２７】
一方、モータ２ｃの回転数とハンドル２ｂの回転角を制御部２ｄが検出する。制御部２ｄで検出されたモータ回転数から得られた車輪速度及びハンドル回転角は制御コンピュータ２ｅに送信される。制御コンピュータ２ｅに設けられた車両速度検出装置２５は、受信した車輪速度に基づき車両速度情報Ｖｖを算出し、ハンドル回転角とともに外部端末２ｆや２ｇに送信する。
【００２８】
図６は顔方向情報の取得を説明するための図である。図６に示すように、車両２内に、頭上に固定された視野画像を取得するためのＣＣＤカメラ等からなる視野画像取得カメラ２１と、この視野画像取得カメラ２１に接続された制御コンピュータ２ｈとを備える。また、車両２内に、運転者１０の正面の車両２に設置されたＣＣＤカメラ等からなる車両搭載カメラ２４と、この車両搭載カメラ２４に接続された制御コンピュータ２ｉとを備える。さらに、運転者１０の視野に含まれる例えばフロントガラスの近傍などに、カラーボールなどの３点のカラーマーカ２ｊ〜２ｌが配置されている。
【００２９】
視野画像取得カメラ２１は、運転者の視野画像を取得し制御コンピュータ２ｈに出力する。制御コンピュータ２ｈはＩ−Ｓｐａｃｅの機能を備えており、視野画像データから３点のカラーマーカ２ｊ〜２ｌを検出する。
【００３０】
一方、車両搭載カメラ２４は、車内カメラ画像（運転者画像）を取得し制御コンピュータ２ｉに出力する。制御コンピュータ２ｉは、車内カメラ画像データから運転者１０の顔及び唇を検出する。
【００３１】
これら制御コンピュータ２ｈ及び２ｉで得られた検出データに基づき、後述する計算式を用いて顔方向情報θＤ１及びθＤ２を算出し、注意機能を備えた情報再構成部２０５により情報の再構成を行い顔方向暫定情報θＰを算出する。さらに、ニュートン法補正部２０６により補正を行い顔方向情報θＤを算出する。これにより、ロバスト性及び精度の高い検出を行う。これら顔方向情報θＤ１及びθＤ２の算出、顔方向暫定情報θＰの算出、顔方向情報θＤの算出は、制御コンピュータ２ｈまたは２ｉのいずれかが行ってもよいし、別のコンピュータが実行してもよい。具体的には、制御コンピュータ２ｈで得られたデータを制御コンピュータ２ｉに送信し、制御コンピュータ２ｉ内で顔方向情報θＤの算出までの処理を行ってもよいし、これとは逆に制御コンピュータ２ｉ側にデータを集約し、制御コンピュータ２ｉ側で行ってもよい。
【００３２】
図７は第１顔方向情報θＤ１の算出例を説明するための模式図である。図７は、運転者１０の頭部に固定された視野画像取得カメラ２１の角度２φの画像取得範囲に、車両２に固定されたマーカ２ｊ〜２ｌのうちの２ｊが含まれている場合を示している。マーカ２ｊ〜２ｌは、車両２の他の部材とは異なる部材等により形成された部分であってもよい。
【００３３】
視野画像取得カメラ２１とその画像取得範囲の中心とを結んだ直線ｌｏに平行にｚ軸が示され、このｚ軸に垂直な方向にｘ軸及びｙ軸が示されている。視野画像取得カメラ２１からマーカ２ｊまでの距離はｄｚである。マーカ２ｊの位置は、周知の画像認識技術により検出される。この場合、視野画像内のマーカ２ｊの像面７１におけるｘ座標が測定された場合、マーカ２ｊの車両２における視線方向からの距離ｄｘ、視野角φが既知であるとすると、運転者１０の第１顔方向情報θＤ１は以下の式（４）〜（６）により求められる。ここで、φは画角により求められる。
【００３４】
ｄｘ＝ｄｚｔａｎφ｜ｘ−ｘ０｜／ｘ０    …（４）
ｔａｎθＤ１＝ｄｘ／ｄｚ    …（５）
θＤ１＝ａｒｃｔａｎ（ｔａｎθＤ１）・１８０／π    …（６）
ｘ０は、直線ｌｏの像面７１におけるｘ座標である。
【００３５】
次に、図８及び図９を用いて車両搭載カメラ２４を用いた第２顔方向情報θＤ２の算出手法を説明する。
【００３６】
図８は、ｙ座標から求められる運転者１０と車両搭載カメラ２４との距離ｄの算出手法を説明するための図である。
【００３７】
図８において、ｈは地面８１からの車両搭載カメラ２４の高さ、Ｈは地面８１から運転者１０の頭頂部までの高さである。Ｌ０は車両搭載カメラ２４の撮像の中心位置を結ぶ直線とすると、この直線Ｌ０と運転者１０の頭頂部とを結んだ直線Ｌ１との角度がθｙで表される。また、φは車両搭載カメラ２４の視野角である。車両搭載カメラ２４から距離Ｚｙ離れた像面における運転者１０の頭頂部の位置をｙ、また視野角φの境界線Ｌ２と像面との交点をｙ０とすると、距離ｄは以下の式（７）〜（９）により求められる。
【００３８】
Ｚｙ＝ｙ０ｔａｎφ    …（７）
θｙ＝ａｒｃｔａｎ（Ｚｙ／（ｙ−ｙ０））    …（８）
ｄ＝（Ｈ−ｈ）／ｔａｎθｙ    …（９）
図９は、図８に基づき求められた距離ｄを用いたｘ座標から第２顔方向情報θＤ２の算出手法を説明するための図である。図９（ａ）は運転者１０及び車両搭載カメラ２４を上面から見た模式図を、図９（ｂ）は像面の一例を示す図である。
【００３９】
図９（ａ）は、車両搭載カメラ２４の角度２φの画像取得範囲に、検出の対象とする運転者１０の頭部１０ａが含まれている場合を示している。一例として、運転者１０の頭部１０ａのうち、運転者１０の口、すなわち図９（ａ）の口領域１０ｂをマーカとして用いる。運転者頭部１０ａは、半径ｒの円形の使用者頭部モデルで近似してあるが、他の形状で近似してもよい。車両搭載カメラ２４と運転者頭部１０ａの中心Ｃとを結んだ直線に平行にＺ軸が示され、このＺ軸に垂直な方向にＸ軸及びＹ軸が示されている。車両搭載カメラ２４から運転者頭部１０ａの中心Ｃまでの距離はｄである。口領域１０ｂの重心は、周知の画像認識技術により検出される。この場合、像面９１における位置ｘが測定された場合、ｄ、ｒおよびφが既知であるとすると、運転者１０の第２顔方向情報θＤ２は以下の式（１０）〜（１３）により求められる。ここで、φは画角により、ｒは使用者頭部モデルにより求められる。
【００４０】
ｒ／ｓｉｎθＡ＝ｄ／ｓｉｎθＢ    …（１０）
ｓｉｎθＢ＝（ｄ／ｒ）・ｓｉｎθＡ    …（１１）  
θＢ＝１８０−ａｒｃｓｉｎ（ｓｉｎθＢ）・１８０／π    …（１２）
θＤ２＝１８０−（θＡ＋θＢ）    …（１３）  
ｘ０は、図９（ｂ）に示すように、車両搭載カメラ２４と運転者頭部１０ａの中心Ｃとを結んだ直線Ｌｏと、像面９１との交わる位置、すなわち像面９１の中心のｘ座標である。なお、像面９１の中心のｙ座標はｙ０で示される。θＡは、口領域１０ｂの重心と車両搭載カメラ２４とを結んだ直線Ｌｘが、直線Ｌｏとなす角度である。θＢは、中心Ｃと口領域１０ｂの重心とを結んだ直線が直線Ｌｘとなす角度であり、θＢ≧９０とする。
【００４１】
図１０は情報再構成部２０５の再構成処理を説明するための概念図である。
【００４２】
人間の認識や意識などに係わる脳の記憶系の１つに海馬系をモデル化したものが図１０の注意機能による再構成モデルである。この情報再構成モデルは、複数の属性パターン（図１０ではｎ個）からの認識及び学習を行うのに非常に有効である。このモデルは、パターン層１０１とシンボル層１０２の２層からなる。パターン層１０１は、色属性、動き属性、形状属性といった属性を表現するもので、各属性は属性パターン１０１ａ〜１０１ｎで表現される。シンボル層１０２は、人間、ボール、車といった独立したシンボルを表現する。ある物事や概念が想起されると、パターン層１０１とシンボル層１０２の両方の細胞群が興奮する。このとき、注意機能は属性パターン１０１ａ〜１０１ｎの一部のみを使用するようにパターン層１０１を制御し、シンボル層１０２の一部の想起を阻害する。人間の注意機能はこのほかにもいろいろあるが、本実施形態における注意機能の場合、情報の再構成を行う際に、多くの属性パターン１０１ａ〜１０１ｎのどの属性にどの程度注目するかを決定する制御である。
【００４３】
注意機能による情報の再構成は、図１０におけるシンボル層１０２を構成するシンボル要素の数をｌ個、各属性の内部状態数をｍ個、属性パターンをｎ個とすると、以下の式（１４）により表現される。
【００４４】
Ｍｅ＝ａｔｔｎ１Ｍ１ｅ＋ａｔｔｎ２Ｍ２ｅ＋…＋ａｔｔｎｎＭｎｅ    …（１４）
ここで、ａｔｔｎｉ∈［０，１］である。ただし、Ｍ１ｅ，Ｍ２ｅ，…，Ｍｎｅ∈Ｒｌ×ｍｎは各属性シンボル間における正規化連想マトリクスであり、Ｍｅ∈Ｒｌ×ｍｎは注意機能により再構成される正規化連想マトリクスである。また、ａｔｔｎ１，ａｔｔｎ２，…ａｔｔｎｎ∈［０，１］は属性別に注意を制御する変数である。
【００４５】
図１０において、注意機能により複数の属性パターンから情報の再構成を行うことで１つのシンボルが想起され、結果となる情報を得ることができる。例えば、属性パターン１０１ａが色属性、属性パターン１０１ｂが動き属性、属性パターン１０１ｃが形状属性とする。この時、色属性のみに注目したい場合、ａｔｔｎ１の値を１に近づけ、他の属性ａｔｔｎｊ（ｊ≠１）の値を０に近づければよい。このように、注意機能によってａｔｔｎｉの値を０から１の間の値に適切に設定し、それぞれの属性への注目度を制御することで、各分散感覚知能の情報を再構成することができる。
【００４６】
この手法を用いて視野画像取得カメラ２１の情報、すなわち第１顔方向情報θＤ１を属性パターン１０１ａ、車両搭載カメラ２４の情報、すなわち第２顔方向情報θＤ２を属性パターン１０１ｂとして情報の再構成を行う。この場合、予め属性パターン１０１ａとシンボル層１０２とを関連づける連想マトリクスＭ１と、属性パターン１０１ｂとシンボル層１０２とを関連づける連想マトリクスＭ２とを実験などを通して記憶装置に記憶しておき、これを読み出し演算することにより、シンボル層１０２の値、すなわち顔方向暫定情報θＰが得られる。連想マトリクスの算出手法は、後述の意図認識部２０７における連想マトリクスの算出と同様である。いずれかの情報がトラッキングに失敗したときなどに、ａｔｔｎの値を変化させることにより、より正確な角度検出を行うことができる。得られた情報を顔方向暫定情報θＰとする。なお、このような連想マトリクスを用いた連想記憶システムの処理詳細は、後述の意図認識部２０７と同様である。
【００４７】
ニュートン法補正部２０６は、顔方向暫定情報θＰに対してニュートン法による補正を行い顔方向情報θＤを生成する。補正が必要な場合として、例えば、視野画像取得カメラ２１の撮像画像に基づき算出される第１顔方向情報θＤ１の方が、車両搭載カメラ２４の撮像画像に基づき算出される第２顔方向情報θＤ２よりも正確な顔方向であることが分かった場合を想定する。この場合、視野画像取得カメラ２１の画像に基づき得られる第２顔方向情報θＤ２の値に近づくように、車両搭載カメラ２４の画像に基づき得られる第１顔方向情報θＤ１の算出に当たり与えられる、車両搭載カメラ２４と運転者１０との距離ｄを、ニュートン法により補正して補正距離値ｄ’を得る。得られた補正距離値ｄ’に距離ｄを置き換えて補正顔方向情報θＤ１’を得る。得られた補正顔方向情報θＤ１’と既に取得された第２顔方向情報θＤ２とに基づき、再度情報再構成部２０５で情報の再構成を行い、得られた値を顔方向情報θＤとする。
【００４８】
意図認識部２０７は、顔方向情報θＤと、車両速度情報Ｖｖと、車両位置情報ＶＬとに基づき、意図認識処理を行い意図認識結果を生成する。以下、意図認識結果の生成処理について説明する。なお、以下における意図認識部２０７における処理は、予め格納したデータを読み出し入力された車両位置情報ＶＬ、速度情報Ｖｖ、顔方向情報θＤに基づき意図認識処理を実行し意図認識結果を生成する。
【００４９】
ある運転行動を起こそうとするとき、一般に運転者はある程度決まった順序で動作を行うことが確認されている。この運転動作時の顔の動作を検出し、その顔方向情報θＤと、車両速度情報Ｖｖ及び車両位置情報ＶＬから運転意図を認識する。運転意図は、例えば右折、左折、直進などに分類される。
【００５０】
本実施形態では、あいまいな概念である人間の意図に関する知識構築の手法として概念ファジイ集合（Conceptual Fuzzy Sets:以下ではＣＦＳと称する）の知識表現を利用する。ＣＦＳは次の２つの性質を備える。  
ａ）現実世界の数値データと人間が思考する記号を融合処理できる。  
ｂ）物理量から高次概念へのボトムアップ処理と、高次概念から物理量へのトップダウン処理を融合できる。
【００５１】
以下に、顔方向情報θＤ、車両速度情報Ｖｖ及び車両位置情報ＶＬから、運転意図の直進、右折、左折の３つの基本運転行動意図の認識を行う意図認識モデルについて説明する。
【００５２】
図１１は意図認識モデルの概念図である。意図認識モデルは、その一例として、メンバーシップ関数５１及びファジイラベル５２で示される下位層と、中位層５３と、上位層５４とにより表現される。下位層のファジイラベル５２（ファジイ集合）は、角度ラベル５２１、位置ラベル５２２及び速度ラベル５２３からなる。角度ラベル５２１はネガティブ５２１ａ“Ｎ”、ゼロ５２１ｂ“Ｚ”、ポジティブ５２１ｃ“Ｐ”の３種類のラベルからなる。位置ラベル５２２はネガティブ５２２ａ“Ｎ”、ゼロ５２２ｂ“Ｚ”、ポジティブ５２２ｃ“Ｐ”の３種類のラベルからなる。速度ラベル５２３はネガティブ５２３ａ“Ｎ”、ゼロ５２３ｂ“Ｚ”、ポジティブ５２３ｃ“Ｐ”の３種類のラベルからなる。
【００５３】
これら９種類のファジイラベルは、それぞれメンバーシップ関数５１で表現される。５１１ａ〜５１１ｃはそれぞれ角度ラベル５２１のネガティブ５２１ａ“Ｎ”、ゼロ５２１ｂ“Ｚ”、ポジティブ５２１ｃ“Ｐ”の３種類のラベルに対応する関数を示している。５１２ａ〜５１２ｃはそれぞれ位置ラベル５２２のネガティブ５２２ａ“Ｎ”、ゼロ５２２ｂ“Ｚ”、ポジティブ５２２ｃ“Ｐ”の３種類のラベルに対応する関数を示している。５１３ａ〜５１３ｃはそれぞれ速度ラベル５２３のネガティブ５２３ａ“Ｎ”、ゼロ５２３ｂ“Ｚ”、ポジティブ５２３ｃ“Ｐ”の３種類のラベルに対応する関数を示している。
【００５４】
中位層５３は、学習過程で使用する事例である事例ノードを表している。例えばＮ個の事例に対し、３基本運転行動を学習するので、合計３Ｎパターン学習する。Ｎ個の事例は、一人の運転者についての事例のみではなく、例えば別個のＮ人の運転者の事例が採用されるのが望ましい。これにより、例えばＮ人分の運転の癖、すなわち個性を反映したデータとして登録することができる。この事例ノードは、このように、個性を反映したデータであるので、個性データともいうべきものである。運転行動は、人によってその癖が異なる。したがって、運転支援の際にこの個性を反映した事例ノードを用い、最も癖が似通った事例ノードのデータを参照することで、その人の癖を適格に見極めた運転支援が可能となる。さらには、ある一人の運転行動を複数の場合に分けて登録しておくのが望ましい。同一人の運転行動であっても、例えばいらいらしている時や、のんびりしている時など、その人の気分によって異なる。したがって、同一人の運転行動をその運転している際の運転者の状態に応じて複数登録しておく。これにより、その人の気分までを含めさらにきめの細かい運転支援が可能となる。
【００５５】
このように、事例を平均化し、その平均値との間で比較するのではなく、各個性を反映した個性データをそのまま残しておき、各個性データと運転行動を比較することで、精度の高い運転支援が可能となる。
【００５６】
事例ノードは、角度については左折、直進、右折の各基本運転行動に対して５３１〜５３３の３種類与えられ、これら各々の事例ノード５３１〜５３３はラベル５２１ａ〜５２１ｃに対応付けられたノードＡ，Ｂ，Ｃと、これらノードＡ，Ｂ，Ｃと上位層５４のノード５４１，５４２及び５４３との結合関係で表現される。
【００５７】
位置については左折、直進、右折の各基本運転行動に対して５３４〜５３６の３種類与えられ、これら各々の事例ノード５３４〜５３６はラベル５２２ａ〜５２２ｃに対応付けられたノードＡ，Ｂ，Ｃと、これらノードＡ，Ｂ，Ｃと上位層５４のノード５４１，５４２及び５４３との結合関係で表現される。
【００５８】
速度については左折、直進、右折の各基本運転行動に対して５３７〜５３９の３種類与えられ、これら各々の事例ノード５３７〜５３９はラベル５２３ａ〜５２３ｃに対応付けられたノードＡ，Ｂ，Ｃと、これらノードＡ，Ｂ，Ｃと上位層５４のノード５４１，５４２及び５４３との結合関係で表現される。
【００５９】
中位層５３の事例ノードを５３１〜５３３、５３４〜５３６、５３７〜５３９のように角度、位置、速度に分けて配置する理由は、運転行動の意図が一定パターンとして表現されるのではなく、角度、位置、速度の多様なパターンの組合せから構成されるからである。
【００６０】
上位層５４は、運転意図を示す層であり、左折５４１、直進５４２、右折５４３の３種類のノードからなる。
【００６１】
角度、位置、速度の特徴値が入力されると、中位層５３では最も近い特徴を持つノードが最も強く活性化される。この活性化の度合いを活性値分布として得た場合、各パターン毎にどの事例が近いか分かる。
【００６２】
しかしながら、中位層５３に現れる活性値分布のみでは運転行動を特定することはできない。この問題は、コンテクストの導入により解決される。上位層５４は、運転行動を表す層であり、中位層５３のすべての事例ノード５３１〜５３９と結合している。
【００６３】
学習データをファジイラベル５２とメンバーシップ関数５１で示される下位層に与え、その結果中位層５３にはこの特徴値と事例ノード５３１〜５３９との活性値分布が得られる。さらに、この中位層５３の活性値分布に基づき、上位層５４には教師として運転意図“右折”、“直進”、“左折”の別が与えられる。これらに基づきヘブ学習により上記中位層５３と上位層５４との結合関係が得られる。この意図認識モデルでは、事例から運転行動をファジイ集合として記憶した後、入力を与えると、下位層と中位層５３との間、中位層５３と上位層５４との間で反響動作を繰り返し、活性値分布がコンテクストに矛盾しない状態に収束することで認識結果を得る。ここで、コンテクストとは、各運転行動の事例から得られた標準パターンであり、パターンに似た角度、位置、速度の特徴値の組合せは促進されるのに対し、パターンに合わない特徴値の組合せは抑制される。
【００６４】
次に、ＣＦＳ（概念ファジイ集合）の概念を図１２を用いて説明する。  
概念ファジイ６１は、連想メモリ上にファジイ知識が分散的に表現されているだけでなく、連想メモリの想起過程を用いてファジイ知識処理も行う機構も持ち合わせている。また、概念ファジイ６１は連想メモリで実現されていることから、状況依存性の扱いや多層結合による複雑な処理などのメリットが得られる。
【００６５】
ファジイ集合のファジイラベル６２や６３は概念の名前を、ファジイ集合の形は概念の意味を表現している。意味使用説にしたがえば、言葉の意味は他の言葉によって表現されるが、その意味は使用時によって変化する。したがって、使用時の注意範囲を言葉に付随する活性値で表現すれば、あいまいな言葉の意味を他の言葉によって形つくられるファジイ集合によって表現することができる。この分散的知識表現が概念ファジイ６１と呼ばれる。
【００６６】
この活性値の分布は、様々な状況に依存して変化するため、状況による意味の変化を表現することができる。また、概念ファジイ６１は論理表現に限らずに知識表現が可能である。したがって、論理的には明示的知識表現が不可能なものも明示的に表現することができる。
【００６７】
概念ファジイ６１の活性値、すなわちメンバーシップ値は、連想メモリによって制御される。そこでノードは概念を表し、リンクは概念間の関係の強さに対応する。図１２では、ノードは各ファジイラベル６２や６３で表され、リンクは各矢印で表される。意味表現されるべき概念のノードとして、例えば図１２でファジイラベル６２を活性化すると、予め構築されたネットワークを経由して、活性値が伝搬し反響動作が起こる。この反響動作はシステムエネルギが最小になったところで停止し、その結果として意味を表現する側の概念ノードが、あるグレードで活性化される形で想起される。ここに現れる活性値の分布がファジイ集合である。
【００６８】
概念ファジイ６１は、ニューラルネットワークの学習則を用いて機能的に構築される。すなわち、概念表現の事例に従い、以下の式（２１）のＨｅｂｂ学習則を用いてノード間のリンクが修正される。
【数１】
2005238872.tif 000003
【００６９】
ここで、ｍｉｊは後述するｉ列およびｊ行の連想マトリクスＭの行列要素を示し、ａｉはレイヤＬＡの各ノードを、ｂｊはレイヤＬＢの各ノードに対応している。
【００７０】
概念ファジイ集合において、概念の説明に不要な他の概念は活性化されない。したがって、冗長な説明要素からでも、ノードの選択を含めた構造的学習を行っていることになる。また、概念ファジイ集合では、通常人間が概念を形成していくときのように、別々に形成された個々の概念を逐次的に組合せながら全体的概念を形成してゆく。すなわち、複数の概念ファジイ集合を以下の式（２２）に従い合成することができる。
【００７１】
Ｍ＝Ｎｏｒｍ（Ｍ１＋Ｍ２＋…＋Ｍｎ）    …（２２）
Ｍ１〜Ｍｎは個別の概念ファジイを、Ｍは合成された概念ファジイ集合を示す。Ｎｏｒｍは規格化を示している。一般のニューラルネットワークでは、学習結果には明示的な知識表現が行われていないが、本実施形態の方法では明示的な表現が得られる。
【００７２】
次に、意図認識部２０７で用いられるファジイ連想記憶システムの基礎となるファジイ連想推論について説明する。
【００７３】
ファジイ連想推論は、連想記憶ニューラルネットワークの一種である双方向連想記憶（ＢＡＭ：Bi-directional Associative Memory）を複数個用いたネットワークを構成し、活性値の伝搬を繰り返す反響動作によって推論を行うものである。ここでは、まず連想推論の基本となる双方向連想記憶を説明して、続いてこれをシステム化したファジイ連想記憶システムについて説明する。
【００７４】
図１３は双方向連想記憶（ＢＡＭ）の概念を説明するための図である。図１３に示すように、レイヤＬＡとレイヤＬＢが構成されるネットワークがあり、レイヤＬＡには複数のノードａ１，ａ２，…，ａｎが存在し、レイヤＬＢには複数のノードｂ１，ｂ２，…，ｂｐが存在する。ノード間の結合の重みは、連想マトリクスＭ∈Ｒｎ×ｐによって表現される。この連想マトリクスＭがレイヤＬＡとレイヤＬＢに対してパターンＡ∈Ｒｎ、Ｂ∈Ｒｐのペアを銘記しているとすると、レイヤＬＡにノイズを含んだＡ’∈Ｒｎを与えたとしても、レイヤＬＡとレイヤＬＢとの間で反響動作をさせることにより、パターンＢが想起される。逆に、レイヤＬＢにノイズを含んだパターンＢ’∈Ｒｐを与えてもパターンＡが想起される。この双方向連想記憶における連想は、以下の式（２３．１）、式（２３．２）によって行われる。
【数２】
2005238872.tif 000004
【００７５】
ここで、ａｉ（ｔ）、ｂｊ（ｔ）は、ステップｔにおける各ノードの活性値ベクトルであり、区分［０，１］に属する値をとる。｛０，１｝の値としてもよい。φは各ノードＡ（ｔ）＝（ａ１（ｔ），ａ２（ｔ），…，ａｎ（ｔ））、Ｂ（ｔ）＝（ｂ１（ｔ），ｂ２（ｔ），…，ｂｐ（ｔ））が持つ関数であり、例えばシグモイド関数が用いられる。また、連想マトリクスＭは、銘記したいパターンペアが（Ａ１，Ｂ１），…，（Ａｍ，Ｂｍ）とすると、以下の式（２４．１）、式（２４．２）で求められる。
【数３】
2005238872.tif 000005
【００７６】
ここで、βｉは連想係数である。Ｋｏｓｋｏの手法では、連想マトリクスＭを求めるとき、｛０，１｝のパターンペアをバイポーラ変換したパターンペアを用いている。しかしながら、このＫｏｓｋｏの手法で求められた連想マトリクスＭを用いると、ネットワークが飽和状態を引き起こす可能性があるので調整が必要となる。この問題を解決するために、連想マトリクスＭの正規化の手法が提案されている。そこで、本実施形態で用いるファジイ連想記憶システムでは、この正規化手法により求めた正規化連想マトリクスを用いる。
【００７７】
なお、双方向連想記憶（ＢＡＭ）が銘記できるパターンペアには制約がある。１つは、パターンペア間の直交性が強く、かつ各レイヤ内でパターンとパターンのコンプリメントのハミング距離が十分離れている必要があるということである。もう１つは、連続性仮定が成立する必要があるということである。連続性仮定は、以下の式（２５）で表される。
【数４】
2005238872.tif 000006
【００７８】
ここで、Ｈはハミング距離である。すなわち、各レイヤで銘記したいパターンがハミング距離と同じくらい離れていないと銘記することが難しいといえる。
【００７９】
次に、ファジイ連想記憶システムの構築手法について説明する。
【００８０】
図１４はファジイルールを連想記憶ネットワークを用いて表現した模式図である。レイヤの設定は、ファジイルールの前件部を代表するレイヤをＩｆ（Ｘ）レイヤ、後件部を代表するレイヤをＴｈｅｎ（Ｙ）レイヤとする。Ｉｆ（Ｘ）レイヤ内のノードは前件部のファジイ集合（メンバーシップ関数）を、Ｔｈｅｎ（Ｙ）レイヤ内のノードは後件部のファジイ集合（メンバーシップ関数）、あるいは入出力関数を代表する。また、前件部と後件部の相関はＢＡＭの記憶できる制約を越えているので、１つのノードが１つのルールを代表するＲｕｌｅ（Ｒ）レイヤを設定する。したがって、ファジイルールはＩｆ（Ｘ）レイヤとＲｕｌｅ（Ｒ）レイヤ間（連想マトリクスＭｘｒ）にＢＡＭを構成することで表現できる。さらに、Ｒｕｌｅ（Ｒ）レイヤには、あいまいさの爆発を防ぐために、他のノードの活性化を抑制する働きをもつコーディネータ結合（Ｍｒｒ）を設定する。コーディネータ結合とは、同一レイヤ内の任意のノードにおいて、自分に対しては正の重みで結合し、他のノードに対しては負の重みで結合することである。
【００８１】
次に、図１４のネットワーク構成を例にメモリ上への構築の概念を説明する。図１５は連想記憶をネットワークを構築する際に必要な知識である。まず、各々のレイヤ間の連想マトリクスを求めるため、ファジイルールの相関を区間［０，１］に属する値に置き換える。場合により、｛０，１｝で示される０または１の２値に置き換えてもよい。その結果は以下の式（２６）のようになる。
【数５】
2005238872.tif 000007
【００８２】
この式（２６）では、一例として相関を｛０，１｝で示される０と１の２値で示しているが、これに限定されるものではないことはもちろんである。
【００８３】
この算出結果を銘記すべきパターンペアとして、式（２４）−１、式（２４）−２により、各々のレイヤ間の連想マトリクスを求める。ただし、バイポーラ変換したパターンペアを用いて求めるＫｏｓｋｏの手法はとらない。
【００８４】
前述のとおり、本実施形態にて使用するファジイ連想記憶システムは、正規化連想マトリクスを推論時に用いる。よって、ここで求められた連想マトリクスは保存し、以下の式（２７）により正規化連想マトリクスＭｅを求める。
【００８５】
Ｍｅ＝ａ（Ｍ＋Ｂ）      …（２７）
ここで、各パラメータは以下の通りである。
【数６】
2005238872.tif 000008
【００８６】
ただし、Ｍ，Ｍｅ，Ｂ∈Ｒｍ×ｎ、ｍｉｊはＭの（ｉ，ｊ）要素とする。
【００８７】
ここで、複数のルールセットが定義されている場合、以上の処理をルールセットの数だけ繰り返し複数のネットワークを提案する。そして、ルールセット間の結合に関する情報をテキストファイルから読み込み、それぞれのネットワークを結合する。また、推論時は、定義したルールセット間の結合の重み（連想マトリクス）も正規化して用いる。ここから、ファジイルールＲにより構築されたネットワークをネットワークＲと表記する。
【００８８】
次に、ファジイ連想記憶システムの動作過程を説明する。  
推論は、ネットワーク全体で同期をとりながら活性値の伝搬を繰り返すことによって行う。まず、入力をメンバーシップ関数で評価した値をＩｆ（Ｘ）レイヤに入力する。そして、連想マトリクスＭｘｒ，Ｍｒｒ，Ｍｒｙを式（２３．１），式（２３．２）に適用することによって、設定した連想ステップ数だけ活性値の伝播を繰り返す。たとえば、複数のＩＮｒレイヤに連想マトリクスＭｒでつながるＯＵＴレイヤの各ノードの出力ｏｕｔｊは式（３１）で求められる。
【数７】
2005238872.tif 000009
【００８９】
提案された当初の連想推論は、推論結果の統合を行わないため、過度のあいまいさを引き起こす可能性がある。これを解決するために、式（３２．１）〜（３２．３）を用いてＴｈｅｎ（Ｙ）レイヤの活性値を正規化する。
【数８】
2005238872.tif 000010
【００９０】
ここでｎはＴｈｅｎ（Ｙ）レイヤ内のノード数、γｆｉはノードｉの持つ活性値、γｉは寄与度である。
【００９１】
これにより、寄与度γｉを得る。この寄与度で後件部のメンバーシップ関数、あるいは入出力関数の出力値を内挿し、得られた関数（値）をＭＡＸ結合（和）したものを推論結果とする。
【００９２】
次に、実際に構築されたファジイ連想記憶システムに基づいた意図認識部２０７による意図認識決定処理について図２１及び図２２のデータフロー図を用いて説明する。
【００９３】
まず、意図認識決定処理を実行する前に、意図認識決定処理に用いられるメンバーシップ関数や、Ｎ個の個性データを予め記憶装置３９に登録しておく。
【００９４】
より具体的には、速度メンバーシップ関数μｖＳ，μｖＢ、顔方向メンバーシップ関数μθＳ，μθＢ、位置メンバーシップ関数μＬＳ，μＬＢを入力メンバーシップ関数として記憶装置３９に格納する。また、Ｎ個の個性データとして、連想マトリクスＭｘｒ１，ＭＴｘｒ１〜ＭｘｒＮ，ＭＴｘｒＮ、正規化マトリクスＭｒｒ、連想マトリクスＭｒｙ１，ＭＴｒｙ１〜ＭｒｙＮ，ＭＴｒｙＮを個性データとして記憶装置３９に格納する。さらに、運転意図メンバーシップ関数μＬＳ，μＬＢ，μＳＳ，μＳＢ，μＲＳ，μＲＢ〜μＬＳ，μＬＢ，μＳＳ，μＳＢ，μＲＳ，μＲＢを出力メンバーシップ関数として記憶装置３９に格納する。
【００９５】
Ｎ個の個性データは、例えば以下の処理により登録可能である。
【００９６】
Ｎ人分の運転行動について、車両速度情報Ｖｖ、顔方向情報θＤ及び車両位置情報ＶＬを算出し、その算出された値を入力ノードに設定する。そして、その運転行動の結果である左折、直進及び右折の別を、出力ノードに設定する。また、これら入力ノードと出力ノードのバッファとして、中間ノードを設定する。そして、入力ノードと中間ノードに対して式（２３．１）、式（２３．２）及び式（２４．１）、式（２４．２）を適用することにより、連想マトリクスＭｘｒ１，ＭＴｘｒ１〜ＭｘｒＮ，ＭＴｘｒＮを算出する。一方、中間ノードと出力ノードに対しても同様に式（２３．１）、式（２３．２）及び式（２４．１）、式（２４．２）を適用することにより連想マトリクスＭｒｙ１，ＭＴｒｙ１〜ＭｒｙＮ，ＭＴｒｙＮを算出する。  
以上により、Ｎ個の個性データが連想マトリクスとして求められる。
【００９７】
次に、以上のようにして得られた登録データを用いて以下のように意図認識決定処理を行う。  
まず、意図認識部２０７は、入力された車両の速度Ｖｖ、顔方向θｐ、位置ＶＬに基づき、それぞれ速度メンバーシップ関数μｖｓ、μｖＢ、顔方向メンバーシップ関数μθｓ、μθＢ、位置メンバーシップ関数μＬＳ、μＬＢにより関数値（速度グレードμｖｓ（Ｖｖ）、μｖＢ（Ｖｖ）、顔方向グレードμθｓ（θｐ）、μθＢ（θｐ）、位置グレードμＬＳ（ＶＬ）、μＬＢ（ＶＬ））を算出する。
【００９８】
次に、連想メモリを用いた正方向の行列計算を行う。  
具体的には、まず、μｖｓ（Ｖｖ）、μｖＢ（Ｖｖ）、顔方向グレードμθｓ（θｐ）、μθＢ（θｐ）、位置グレードμＬＳ（ＶＬ）、μＬＢ（ＶＬ）を連想メモリ入力ＩＮｖｓ、ＩＮｖＢ、ＩＮｐｓ、ＩＮｐＢ、ＩＮＬｓ、ＩＮＬＢとする。そして、これら連想メモリ入力に対して、Ｎ個の個性データに対応したマトリクスＭｘｒ１〜ＭｘｒＮを用いてＮ個の行列計算を行い、それぞれ連想メモリ中間出力Ｒ１〜ＲＮを得る。この連想メモリ中間出力Ｒ１〜ＲＮは算出されるたびに、マトリクスＭｒｒで正規化される。また、得られた連想メモリ中間出力Ｒ１〜ＲＮはさらにそれぞれマトリクスＭｒｙ１〜ＭｒｙＮを用いてＮ個の行列計算を行い、左折、直進、右折で表される連想メモリ出力ＯＵＴＬ１、ＯＵＴＳ１、ＯＵＴＲ１〜ＯＵＴＬＮ、ＯＵＴＳＮ、ＯＵＴＲＮを得る。連想メモリ出力ＯＵＴＬ１〜ＯＵＴＬＮは、運転意図“左折”に対応する出力値、連想メモリ出力ＯＵＴｓ１〜ＯＵＴｓＮは、運転意図“直進”に対応する出力値、連想メモリ出力ＯＵＴＲ１〜ＯＵＴＲＮは、運転意図“右折”に対応する出力値である。
【００９９】
次に、連想メモリを用いた逆方向の行列計算を行う。  
得られた連想メモリ出力ＯＵＴＬ１、ＯＵＴＳ１、ＯＵＴＲ１〜ＯＵＴＬＮ、ＯＵＴＳＮ、ＯＵＴＲＮに基づき連想マトリクスＭＴｒｙ１〜ＭＴｒｙＮを用いてＮ個の行列計算を行い、連想メモリ中間出力Ｒ１〜ＲＮを得る。この連想メモリ中間出力Ｒ１〜ＲＮの各々は、複数のノードについて得られる。そして、得られた連想メモリ中間出力Ｒ１〜ＲＮに対し、マトリクスＭＴｘｒ１〜ＭＴｘｒＮを用いてＮ個の行列計算を行い、連想メモリ入力ＩＮｖｓ、ＩＮｖＢ、ＩＮｐｓ、ＩＮｐＢ、ＩＮＬｓ、ＩＮＬＢを得る。
【０１００】
これら連想メモリを用いた正方向、逆方向の計算を予め定められた回数だけ繰り返し行う反響動作を実行し、その状態推移により連想メモリ出力ＯＵＴＬ１、ＯＵＴＳ１、ＯＵＴＲ１〜ＯＵＴＬＮ、ＯＵＴＳＮ、ＯＵＴＲＮを収束させる。そして、その収束した連想メモリ出力ＯＵＴＬ１、ＯＵＴＳ１、ＯＵＴＲ１〜ＯＵＴＬＮ、ＯＵＴＳＮ、ＯＵＴＲＮを正規化して正規化連想メモリ出力ＯＵＴ＊Ｌ１、ＯＵＴ＊Ｓ１、ＯＵＴ＊Ｒ１〜ＯＵＴ＊ＬＮ、ＯＵＴ＊ＳＮ、ＯＵＴ＊ＲＮを得る。得られた正規化連想メモリ出力について運転意図メンバーシップ関数μＬＳ，μＬＢ，μＳＳ，μＳＢ，μＲＳ，μＲＢを用いて運転意図グレードμＬＳ１（ＯＵＴ＊Ｌ１），μＬＢ１（ＯＵＴ＊Ｌ１），μＳＳ１（ＯＵＴ＊Ｓ１），μＳＢ１（ＯＵＴ＊Ｓ１），μＲＳ１（ＯＵＴ＊Ｒ１），μＲＢ１（ＯＵＴ＊Ｒ１）〜μＬＳＮ（ＯＵＴ＊ＬＮ），μＬＢＮ（ＯＵＴ＊ＬＮ），μＳＳＮ（ＯＵＴ＊ＳＮ），μＳＢＮ（ＯＵＴ＊ＳＮ），μＲＳＮ（ＯＵＴ＊ＲＮ），μＲＢＮ（ＯＵＴ＊ＲＮ）を得る。
【０１０１】
得られたＮ個の個性データについての運転意図グレードに基づき、判定手段２０７ａが運転意図の判定を行い、意図認識結果（左折、直進、右折の別）を得る。判定手段２０７ａの判定は、Ｎ個の運転意図グレードのうち、予め定められた判定条件（例えば最も運転意図グレードの値が大きいもの、すなわち最も強く想起されたものを選択する）に基づき、その選択された運転意図グレードに予め対応付けておいた意図（例えば右折）を意図認識結果として出力する。
【０１０２】
判定手段２０７ａの判定条件は、上述したものに限定されない。例えば、最も運転意図グレードの大きいものと次に大きい運転意図グレードとの差が小さい場合などには、最も運転意図グレードの大きいものと、次に大きい運転意図グレードに対応する運転意図とを平均化してもよい。
【０１０３】
次に、上述した実施形態に示す人間状態推定システムを適用して意図推論を行った例を説明する。
【０１０４】
まず、運転者の顔方向情報の取得について説明する。  
意図推論を行うための主要な情報として、運転者の顔の動作に着目した。正確かつロバスト性の高い情報を取得するため、運転者の頭上、正面に視野画像取得カメラ２１を設置し、前述したＩ−Ｓｐａｃｅを用いて、顔の動作情報を以下の工程により顔方向情報θＤとして取得した。
【０１０５】
１）視野画像取得カメラ２１で前方、右前方、左前方にトラッキングする定点を設置し、Ｉ−Ｓｐａｃｅから送られてくる座標情報により第２顔方向情報θＤ２を取得する。
【０１０６】
２）車両搭載カメラ２４により、運転者の顔と唇をトラッキングし、第１顔方向情報θＤ１を取得する。
【０１０７】
３）注意機能を用いた情報の再構成により、顔方向暫定情報θＰを得て、ロバスト性、精度の向上を図る。
【０１０８】
４）ニュートン法を用いて、車両搭載カメラ２４のパラメータの補正を行い、車両搭載カメラ２４単体での精度の向上を図る。
【０１０９】
５）利用時には、パラメータ補正した算出式を用いて、車両搭載カメラ２４の画像に基づき、第１顔方向情報θＤ１を得て、得られた第１顔方向情報θＤ１を顔方向情報θＤに設定する。
【０１１０】
次に、意図推論について説明する。  
カメラ３１及び３２を用いたステレオ視、運転者の顔方向情報θＤ、制御部２ｄからの環境情報を取得し意図推論を行う。より具体的には、図１に示すような、見通しの悪い道路４１で実験を行った。
【０１１１】
車両２は道路４１及び４２が交差する交差点に向かって道路４１を直進する。このときの車両２の車両位置情報ＶＬは、交差点に設置されているカメラ３１及び３２からなるステレオ視システムによって取得する。同時に、運転者１０の顔方向情報θＤ、車両速度情報Ｖｖを取得しファジイ連想記憶システムを用いて意図推論を行い運転者１０が右に曲がろうとしているのか、直進しようとしているのか、左に曲がろうとしているのか、意図を認識する。また、学習事例を増やすことにより、認識率の向上を図る。本実施例では、図１８に示すように、日本人７パターンの特徴ある基本運転行動データを用いて実験を行った。これらの事例を、図１１に示す中位層５３に蓄積した。
【０１１２】
運転行動の学習されていないデータをこの意図認識モデルに入力したときに、コンテクストを用いずに得られた結果が図１９である。図１９において、各ファジイラベル５２１ａ〜５２１ｃ、５２２ａ〜５２２ｃ、５２３ａ〜５２３ｃでは、実際に与えられた入力パラメータに基づき得られたメンバーシップグレードの大小を表しており、また、各事例ノード５３１〜５３９は、既に得られている事例での活性値分布を示している。この図１９の結果では、中位層５３の活性値分布があいまいで、どの運転意図かを判断できない。これに対して、図２０には、コンテクストを用いた結果を示している。各ファジイラベル５２１ａ〜５２１ｃ、５２２ａ〜５２２ｃ、５２３ａ〜５２３ｃと各事例ノード５３１〜５３９の表現は図１９と同じである。図２０の場合、さらに、上位層５４のノード５４１〜５４３についても得られた値の大小が示されている。ＢＡＭの反響動作により、ノード活性値分布は“左”に収束する。このように入力値や最初の活性状態が曖昧な場合も、反響動作により活性値分布はコンテクストに依存した状態に収束する。
【０１１３】
このように、本実施形態の人間状態推定システムは、人間の動作に関連したナチュラルインタフェース、さらに、ネットワークに連携機能を付加し利用者との相互作用を重視した知的ネットワークシステムが構築される。そして、その都市モデルが図１６に示される。この図１６は福祉防災サイバー都市の概略図である。図１６に示すように、駅の周辺の環境に、カメラ３１，３２が交差点や道路付近に複数配置されている。複数の車両２が駐車し、また交差点に向かって車両２が進入したり、駅周辺から歩行者１が出てくる場合に、これらカメラ３１，３２で撮像された画像に基づき人間の状態が推定される。
【０１１４】
より具体的には、図１７に示すように、分散感覚知能としての２つのカメラ３１，３２と、別の分散感覚知能としての車両２ａが互いに協調し、運転者の状態を推定することで、進行方向に障害物１７２や危険物１７１に近づいていることを車両２ａに知らせたり、車両２ａと別の分散感覚知能としての車両２ｂが協調し、運転者の状態を推定することで、車両２ｂに車両２ａが接近していることを車両２ｂの運転者に知らせることができる。
【０１１５】
このように、各種センサからなる感覚部と、ＣＰＵ演算処理により実現される知能とを分散的に持った分散感覚知能を用い、それぞれの知的エージェントが自律的に協調し合うことにより、人間に対して適切なサポート及びガイドを提示する。このような分散感覚知能空間を人間の生活する都市空間へと広げ、日常生活から災害時の緊急支援までを視野に入れた、災害に強く、真の安心感を得る都市を実現できる。
【０１１６】
本発明は上記実施形態に限定されるものではない。図１に示した都市空間は本実施形態の人間状態推定システムが適用されるほんの一例を示したにすぎない。他の都市空間に分散感覚知能を配置してもよい。また、分散感覚知能は、上記実施形態に示されたものに限定されない。環境の物理量を検出するいかなるセンサも、またこのセンサの検出結果に基づき環境情報を生成するいかなる処理演算部も分散感覚知能として適用可能である。この場合、例えば顔方向などの人間の直接の行動結果のみならず、車両速度や、車両位置など、人間が車両を運転したその行動の結果として得られるいかなる物理量からも、人間の行動結果を表す環境情報を生成し意図認識に生かすことができる。
【０１１７】
また、図２の例に示すように、１つの分散感覚知能は、センサと処理演算部とが空間の同一位置に配置されている必要はない。例えば、第１顔方向情報θＤ１を算出する第１の分散感覚知能として、そのセンサとして機能する車両搭載カメラ２４と、処理演算部として機能する第１顔方向情報算出部２０３が示されている。また、第２顔方向情報θＤ２を算出する第２の分散感覚知能として、そのセンサとして機能する視野画像取得カメラ２１と、処理演算部として機能する第２顔方向情報算出部２０４が示されている。また、速度情報Ｖｖを算出する第３の分散感覚知能として、そのセンサ及び処理演算部として機能する車両速度検出装置２５が示されている。これら第１乃至第３の分散感覚知能は、車両２にいずれも配置されており、空間的に分離されているものではない。これに対して、車両位置情報ＶＬを算出する第４の分散感覚知能は、センサとして機能するカメラ３１及び３２が交差点に設置され、その処理演算部として機能する車両位置情報算出部２０２が車両２に配置される。このように、センサと処理演算部を別の位置に配置してもよい。もちろん、車両位置情報算出部２０２はカメラ３１及び３２とともに交差点側に設置してもよい。
【０１１８】
また、図２の例では、第１顔方向情報θＤ１と、第２顔方向情報θＤ２とに基づき情報再構成部２０５が情報の再構成を行い、ニュートン法補正部２０６がさらに補正した値に基づき意図認識部２０７が意図認識処理を行う例を示したが、これに限定されない。例えば、車両搭載カメラ２４または視野画像取得カメラ２１のいずれかのみを設置し、その一方から得られる顔方向情報に基づき意図認識部２０７が意図認識処理を行ってもよい。この場合、情報再構成部２０５を配置する必要がなくなる。さらに、ニュートン法補正部２０６を省略することもできる。また、ニュートン法補正部２０６以外に他の補正手法を行う補正部を配置し、その補正値に基づき意図認識部２０７が意図認識処理を行ってもよいことはもちろんである。
【０１１９】
また、上記実施形態では、車両速度情報Ｖｖ、車両位置情報ＶＬ及び顔方向情報θＤとに基づき人間の意図認識処理を行う例を示したが、これに限定されない。例えば、他にもハンドル角情報を入力パラメータに加えて意図認識処理を行ってもよい。もちろん、他の環境情報を入力パラメータに加えてもよい。
【産業上の利用可能性】
【０１２０】
以上説明したようにこの発明は、情報インフラの整備された都市空間に生活する情報技術から疎外され、その恩恵を十分に得られていないお年寄りや身体障害者等を支援する人間支援システムで用いられる人間状態推定システム、人間状態推定方法及び人間状態推定プログラムの技術分野に有効である。
【図面の簡単な説明】
【０１２１】
【図１】本発明の一実施形態に係る人間状態推定システムが適用される都市空間における分散感覚知能空間の一例を示す図。
【図２】同実施形態に係る人間状態推定システムの各構成の一例を示す図。
【図３】同実施形態に係る車両位置ＶＬの算出手法を説明するための図。
【図４】同実施形態に係る車両の概観図。
【図５】同実施形態に係る車両の機能の一部を模式的に示した図。
【図６】同実施形態に係る顔方向情報の取得を説明するための図。
【図７】同実施形態に係る顔方向情報θＤ１の算出例を説明するための模式図。
【図８】同実施形態に係る顔方向情報θＤ２の算出手法を説明するための模式図。
【図９】同実施形態に係る顔方向情報θＤ２の算出手法を説明するための模式図。
【図１０】同実施形態に係る情報再構成部の再構成処理を説明するための概念図。
【図１１】同実施形態に係る意図認識モデルの概念図。
【図１２】同実施形態に係るＣＦＳ（概念ファジイ集合）の概念を示す図。
【図１３】同実施形態に係る双方向連想記憶（ＢＡＭ）の概念を説明するための図。
【図１４】同実施形態に係るファジイルールを連想記憶ネットワークを用いて表現した模式図。
【図１５】同実施形態に係る連想記憶をネットワークを構築する際に必要な知識を示す図。
【図１６】同実施形態に係る人間状態推定システムが適用される都市モデルの一例を示す図。
【図１７】同実施形態に係る人間状態推定システムの機能例を示す図。
【図１８】同実施形態に係る日本人７パターンの特徴ある基本運転行動データを用いて実験を行った事例を示す図。
【図１９】同実施形態に係る運転行動の学習されていないデータを意図認識モデルに入力したときに、コンテクストを用いずに得られた結果を示す図。
【図２０】同実施形態に係るコンテクストを用いて得られた意図認識結果を示す図。
【図２１】同実施形態に係る実際に構築されたファジイ連想記憶システムに基づいた意図認識部による意図認識決定処理を説明するための図。
【図２２】同実施形態に係る実際に構築されたファジイ連想記憶システムに基づいた意図認識部による意図認識決定処理を説明するための図。
【符号の説明】
【０１２２】
２…車両、１０…運転者、２１…視野画像取得カメラ、２２…表示部、２４…車両搭載カメラ、３１，３２…カメラ、４１，４２…道路、２０１…通信制御手段、２０２…車両位置情報算出部、２０３…第１顔方向情報算出部、２０４…第２顔方向情報算出部、２０５…情報再構成部、２０６…ニュートン法補正部、２０７…意図認識部
【図１】
2005238872.tif 000011
【図２】
2005238872.tif 000012
【図３】
2005238872.tif 000013
【図４】
2005238872.tif 000014
【図５】
2005238872.tif 000015
【図６】
2005238872.tif 000016
【図７】
2005238872.tif 000017
【図８】
2005238872.tif 000018
【図９】
2005238872.tif 000019
【図１０】
2005238872.tif 000020
【図１１】
2005238872.tif 000021
【図１２】
2005238872.tif 000022
【図１３】
2005238872.tif 000023
【図１４】
2005238872.tif 000024
【図１５】
2005238872.tif 000025
【図１６】
2005238872.tif 000026
【図１７】
2005238872.tif 000027
【図１８】
2005238872.tif 000028
【図１９】
2005238872.tif 000029
【図２０】
2005238872.tif 000030
【図２１】
2005238872.tif 000031
【図２２】
2005238872.tif 000032