(57)【特許請求の範囲】
【請求項１】
（１）運転者の現在の視線方向をリアルタイムに検知し、車両走行中の運転者の前方視界におけるシーン画像信号を収集する工程と、
（２）視覚注意力計算モデルに基づき、収集された現在の道路の前記シーン画像信号を処理して、現在の道路のシーンにおける運転者の所望の注意力分布を得る工程と、
（３）工程（１）にてリアルタイムに検知された前記運転者の現在の視線方向と工程（２）にて計算された前記運転者の所望の注意力分布に対して総合分析を行うことによって、運転者が現在に正常な運転状態であるかどうか、及び突発的な交通事象に対して即時且つ適切に反応できるかどうかを判断する工程と、を含む運転者の安全運転状態を検知する方法であって、
前記工程（２）において有意義な交通事象と顕著性に基づく運転者注意力計算方法を採用し、具体的な工程は以下の通りであり、
（６．１）画像収集を起動し、現在のｍ×ｎ大きさのフロントビュー画像を保存し、
（６．２）３つの動的配列Ｐ１、Ｐ２、Ｐ３、及びサイズがｍ×ｎの３つの行列、Ｍａｐ１、Ｍａｐ２、Ｍａｐ３を生成し、フロントビュー画像は、交通事象関連の注視領域RO、フロントビュー画像における顕著性領域RS、運転者がよく注視された固定領域ROFという３種の運転者注視領域を含み、行列Ｍａｐ１、Ｍａｐ２、Ｍａｐ３は上記の３種の領域を保存することに用いられ、
（６．３）ROFタイプ注意領域{RiOF}を確定して、第１の注意分布図Ｍａｐ１、
0006307629.tif 000037
を生成し、
（６．４）Ｍａｐ１における領域の索引を順序に配列P1に保存し、
0006307629.tif 000038
であり、
（６．５）交通事象関連注意領域を生成し、従来のコンピュータビジョン方法を使用して前方車線、車両、歩行者、交通標識等のROタイプ領域
0006307629.tif 000039
を検知及び追跡し、ｋ=１,２,３,４であり、それぞれ前方車線、車両、歩行者及び交通標識等の４種の領域を表し、且つ第２の注意分布図、
0006307629.tif 000040
を生成し、
（６．６）、Ｍａｐ２における領域の索引を順序に配列P2に保存し、
0006307629.tif 000041
であり、
（６．７）、視覚顕著性アルゴリズムに基づき、フロントビュー画像Ｉ（ｔ）の顕著性領域を計算して、２値化の領域{RiS}の顕著性マップＭａｐ３、
0006307629.tif 000042
を生成し、
（６．８）、Ｍａｐ３における領域に対応した索引を順序に配列P3に保存し、配列
0006307629.tif 000043
であり、
前記工程（３）において、交通関連領域及び顕著性領域と運転者注意力割り当てとの相互作用過程を統一モデリングし、具体的なフローは以下の通りであり、
生理学におけるニューロン活性記述方法を使用して、前記領域の「注目される必要がある」程度を領域の活性にモデリングし、Ｖで示され、運転者がこれらの領域を注目しない際に、該領域の活性Ｖは一定の規律で高くなり、運転者が視線をある領域に入れる際に、該領域の活性が迅速に低くされ、前記第１種領域は運転者によって注目される必要があって、これらの領域が長時間にわたって注目されない際に、活性Ｖが多く上昇し、且つ一定の閾値を超える際に警告し、前記第２種領域は運転者が長時間にわたって注目されることが望ましくないにもかかわらず、運転者が長時間にこれらの領域を注目すると、その活性Ｖが持続的に低下し、且つ一定の閾値より低い際に警告し、
第１種領域に対して、その活性が時間に伴った変化率を以下のような１つの動的過程にモデリングし、
0006307629.tif 000044
第２種領域に対して、その活性が時間に伴った変化率モデリングは以下の通りであり、
0006307629.tif 000045
上記方程式（１）、（２）から分かるように、方程式（１）における活性Ｖの初期値が０〜1+μ又は方程式（２）における活性Ｖ初期値が-ν〜１にあると、活性Ｖは０〜1+μ又は-ν〜１に変化し、ここのμ、νの取る値が１であり、
方程式（１）において、Ｖの変化初期値が０であり、警告閾値が１であり、方程式（２）において、Ｖの変化初期値が１であり、警告閾値が０であり、上記の２つの方程式において、
0006307629.tif 000046
が活性漏れ係数であり、本モデルでは０を取って、φ,γ,βはいずれもある領域に対応した正の変化パラメータであり、φ,γは活性の変化に対して抑制作用を有し、βは活性増加の作用を有し、γ,βの取る値は該領域のタイプに関連し、φの取る値は領域タイプに関連するだけでなく、現在の運転者視線が落ちった領域に関連することを特徴とする運転者の安全運転状態を検知する方法。
【請求項２】
定量的な方法により運転者が現在のシーンにおける重大な交通事象に対して即時に反応したかどうかを評価し、
いずれの時点でも、前記定量的な方法は、運転者の視線が現在のシーンにおける重大な交通事象の領域に入ったかどうか、及び視線の入った割合と速さを分析することによって評価を行うものであることを特徴とする請求項１に記載の運転者の安全運転状態を検知する方法。
【請求項３】
視線捕捉装置を使用して運転者の現在の視線方向をリアルタイムに検知し、車載フロントビューカメラにより車両走行中の運転者の前方視界におけるシーン画像信号を収集することを特徴とする請求項１に記載の運転者の安全運転状態を検知する方法。
【請求項４】
フロントビューカメラが得られた道路シーンと視線捕捉装置が捕捉された運転者視線をキャリブレーションし、視線捕捉装置により捕捉した運転者視線が注視されたシーン目標の位置と該目標がカメラに示された位置を対応的に一致させることを特徴とする請求項３に記載の運転者の安全運転状態を検知する方法。
【請求項５】
運転者の現在の視線方向をリアルタイムに検知して車両走行中の運転者の前方視界におけるシーン画像信号を収集するための第１モジュールと、
視覚注意力計算モデルに基づき、収集された現在の道路シーン画像信号を処理して、現在の道路シーンにおける運転者の所望の注意力分布得るための第２モジュールと、
リアルタイムに検知された運転者の現在の視線方向と計算された運転者の所望の注意力分布に対して総合分析を行い、現在に運転者が正常な運転状態であるかどうか、及び突発的な道路交通事象に対して即時且つ適切に対応できるかどうかを判断するための第３モジュールと、を備える運転者の安全運転状態を検知する装置であって、
前記第２モジュールにおいて有意義な交通事象と顕著性に基づく運転者注意力計算方法を採用し、具体的な工程は以下の通りであり、
（６．１）画像収集を起動し、現在のｍ×ｎ大きさのフロントビュー画像を保存し、
（６．２）３つの動的配列Ｐ１、Ｐ２、Ｐ３、及びサイズがｍ×ｎの３つの行列、Ｍａｐ１、Ｍａｐ２、Ｍａｐ３を生成し、フロントビュー画像は、交通事象関連の注視領域RO、フロントビュー画像における顕著性領域RS、運転者がよく注視された固定領域ROFという３種の運転者注視領域を含み、行列Ｍａｐ１、Ｍａｐ２、Ｍａｐ３は上記の３種の領域を保存することに用いられ、
（６．３）ROFタイプ注意領域{RiOF}を確定して、第１の注意分布図Ｍａｐ１、
0006307629.tif 000047
を生成し、
（６．４）Ｍａｐ１における領域の索引を順序に配列P1に保存し、
0006307629.tif 000048
であり、
（６．５）交通事象関連注意領域を生成し、従来のコンピュータビジョン方法を使用して前方車線、車両、歩行者、交通標識等のROタイプ領域
0006307629.tif 000049
を検知及び追跡し、ｋ=１,２,３,４であり、それぞれ前方車線、車両、歩行者及び交通標識等の４種の領域を表し、且つ第２の注意分布図、
0006307629.tif 000050
を生成し、
（６．６）、Ｍａｐ２における領域の索引を順序に配列P2に保存し、
0006307629.tif 000051
であり、
（６．７）、視覚顕著性アルゴリズムに基づき、フロントビュー画像Ｉ（ｔ）の顕著性領域を計算して、２値化の領域{RiS}の顕著性マップＭａｐ３、 
0006307629.tif 000052
を生成し、
（６．８）、Ｍａｐ３における領域に対応した索引を順序に配列P3に保存し、配列
0006307629.tif 000053
であり、
前記第３モジュールにおいて、交通関連領域及び顕著性領域と運転者注意力割り当てとの相互作用過程を統一モデリングし、具体的なフローは以下の通りであり、
生理学におけるニューロン活性記述方法を使用して、前記領域の「注目される必要がある」程度を領域の活性にモデリングし、Ｖで示され、運転者がこれらの領域を注目しない際に、該領域の活性Ｖは一定の規律で高くなり、運転者が視線をある領域に入れる際に、該領域の活性が迅速に低くされ、前記第１種領域は運転者によって注目される必要があって、これらの領域が長時間にわたって注目されない際に、活性Ｖが多く上昇し、且つ一定の閾値を超える際に警告し、前記第２種領域は運転者が長時間にわたって注目されることが望ましくないにもかかわらず、運転者が長時間にこれらの領域を注目すると、その活性Ｖが持続的に低下し、且つ一定の閾値より低い際に警告し、
第１種領域に対して、その活性が時間に伴った変化率を以下のような１つの動的過程にモデリングし、
0006307629.tif 000054
第２種領域に対して、その活性が時間に伴った変化率モデリングは以下の通りであり、
0006307629.tif 000055
上記方程式（１）、（２）から分かるように、方程式（１）における活性Ｖの初期値が０〜1+μ又は方程式（２）における活性Ｖ初期値が-ν〜１にあると、活性Ｖは０〜1+μ又は-ν〜１に変化し、ここのμ、νの取る値が１であり、
方程式（１）において、Ｖの変化初期値が０であり、警告閾値が１であり、方程式（２）において、Ｖの変化初期値が１であり、警告閾値が０であり、上記の２つの方程式において、
0006307629.tif 000056
が活性漏れ係数であり、本モデルでは０を取って、φ,γ,βはいずれもある領域に対応した正の変化パラメータであり、φ,γは活性の変化に対して抑制作用を有し、βは活性増加の作用を有し、γ,βの取る値は該領域のタイプに関連し、φの取る値は領域タイプに関連するだけでなく、現在の運転者視線が落ちった領域に関連することを特徴とする運転者の安全運転状態を検知する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両のアクティブセーフティ設計分野に関し、特に運転者の安全運転状態を検知する方法及び装置に関する。
【背景技術】
【０００２】
自動車産業の発展に伴って、自動車はますます社会生産と日常生活における重要な組成部分となり、それと同時に、自動車安全問題も徐々に人間の注目の的になる。統計によると、約７５%の道路交通事故は人的過誤によって引き起こされ、つまり、運転者の個人的な要因によって引き起こされる。具体的には、運転者は車両走行環境に対する推定が不正確であり、運転者の対応遅れなどを含む。したがって、技術手段によって運転者の運転状態が安全であるかどうかを検知し、道路交通の安全性を向上させることができる。
【０００３】
従来、運転者の安全運転状態に対する検知技術は、運転者の生理的疲労の特徴に基づいて検知する方法、車両の道路に対する運転関係に基づいて判断する方法、刺激-反応モニタリングに基づく心理的反応モニタリング方法という３種類に分けられる。
【０００４】
運転者の生理的疲労の特徴に基づいて検知する方法の動作原理は基本的な仮説に基づいており、運転者の精神状態が悪い場合には、その運転状態も悪いため、安全に運転作業を完成することができない。一般的に、検知に用いられることができる生理的疲労の特徴は目の閉じ具合、脳波、ハンドルの握力などを含む。当業者は単眼視力に基づく運転者疲労の検知方法を発表し、運転者が瞬く周波数を検知することによって運転者の精神状態を判断する。該方法は運転室のダッシュボードの上方に運転者の顔部に向かうカメラを取り付け、カメラを利用して運転者の顔部画像を収集し、収集して得られた各フレーム画像に対して顔検知及び追跡を行い、検知して得られた顔領域において人の目の検知及び位置決めを行い、且つ左右の目の領域を利用して人の目の開け閉じ状態を識別し、最終的に連続フレームの検知状態によって疲労検知を行う。また、当業者は運転者の頭部の異常な揺れを連続検知することによって運転者の精神状態を検知する方法及びシステムを開示し、動作原理は運転者のヘッドレスト位置に取り付けられるセンサーを利用して運転者の首振りの周波数及びモードを検知することによって、異常な揺れモードから運転者の精神状態を判断する。以上のように、このような方法は運転者の疲労状態によって運転者の安全運転状態を推断することになり、以下のような３点の問題があり、手段そのものが間接検知方法であり、効果が信頼できない。運転者の疲労状態のみを運転者の安全運転状態の検知手段として、疲労状態と運転者の運転挙動の安全性との直接対応関係を与えることが困難であり、且つ外在的な生理的特徴によって疲労するかどうかを判断することそのものにいくつかの不確実性が存在する。疲労状態から運転者の運転状態が安全であるかどうかを推断することによって、検知される良くない状態が限られている。運転者が良くない運転状態にある際に、必ずしも疲労状態ではない。疲労状態から運転者の運転状態が安全であるかどうかを推断するのは、適時性が確保しにくい。運転者が疲労状態にある際に、運転挙動そのものは既に非常に安全ではない。
【０００５】
車両の道路に対する運転関係に基づいて判断する方法の動作原理は直接的に現在の車両とその他の車両及び道路との関係を測定することによって切迫した衝突などの事故を予測する。当業者は単一チップに基づく車線逸脱警告装置を開示し、即ち車両の正常でない車線変更運転動作によって検知運転者の運転状態を検知する。このような方法は、一般的に危険な交通事象が切迫した時のみに判断する欠点、及び正常な交通事象と異常な交通事象、例えば正常な追い越し車線変更挙動と異常な車線逸脱挙動の間に明確且つ客観的な判断方法を与えにくい欠点がある。
【０００６】
刺激反応検知に基づく方法の動作原理は、特定の刺激モードを利用して運転者の心理反応を評価する。当業者は、最近では視線反応技術によって運転者の精神状態を検知する方法を開示する。該方法は、まず人工視覚刺激を生成し、次に、視線捕捉技術を使用して運転者が該刺激を注意するかどうかを検知することで、運転者が現在に出現した緊急事象の判断能力を評価する。このような方法は直接的に運転者が突発的な刺激に反応することができるかどうかを判断することができるが、他方で、方法そのものが非常に容易に運転者の注意力を分散する欠点、及び特定のモード刺激そのものは運転者の精神活動に追加の刺激を発生させ、運転者の負担を増加する。
【０００７】
交通事故の原因の深い研究に伴って、人間は徐々に交通事故を引き起こす重要な原因は運転者がよくない運転状態にあることにあることが分かってきた。よくない運転状態は疲労運転による反応遅れのタイプ及び疲労運転ではなく、運転者の注意力が合理的に割り当てられないタイプを含む。例えば運転者そのものの運転経験が不足で、運転習慣が悪く、初心者が緊張し過ぎることなどによって、注意されるべきである交通事象を注意しない。また例えばその他の広告看板等によって注意がそがれたり、ショートメッセージを見て意識がぼんやりする等があげられる。従来の運転者の安全運転状態の検知技術は第２類のよくない運転状態を検知することが困難である。
【０００８】
長年の研究によって、運転者の視線方向（運転者そのものの注視点に対する指向）と道路シーンと道路交通事象との関係に対する人々の理解は深くなっている。正常な運転状態において、運転者は異なる道路シーンと道路交通事象において合理的な注意力の割り当て及び変換を行うことができる。運転者が随時に出現した重大な交通事象に迅速に反応できないと、危険又は異常な運転状態にある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明が解決しようとする技術的問題は、従来の技術に存在している技術的問題に対して、本発明は原理が簡単で、実現しやすくて、直接的に運転者の実際の走行状態を反映して、運転安全性を向上させることができる運転者の安全運転状態を検知する方法及び装置を提供する。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明は、ドライバーの安全運転状態の検出方法であって、以下の工程を含み、
【００１１】
（１）運転者の現在の視線方向をリアルタイムに検知し、車両走行中の運転者の前方視界におけるシーン画像信号を収集する工程と、
【００１２】
（２）視覚注意力に基づいてモードを計算し、収集された現在の道路の前記シーン画像信号を処理して、現在の道路のシーンにおける運転者の所望の注意力分布を得る工程と、
【００１３】
（３）工程（１）にてリアルタイムに検知された前記運転者の現在の視線方向と工程（２）にて計算された前記運転者の所望の注意力分布に対して総合分析を行うことによって、運転者が現在に正常な運転状態であるかどうか、及び突発的な交通事象に対して即時且つ適切に反応できるかどうかを判断する工程と、
【００１４】
定量的な方法により運転者が現在のシーンにおける重大な交通事象に対して即時に反応したかどうかを評価し、いずれの時点でも、前記定量的な方法は、運転者の視線が現在のシーンにおける重大な交通事象の領域に入ったかどうか、及び視線の入った割合と速さを分析することによって評価を行うものである。
【００１５】
視線捕捉装置を使用して運転者の現在の視線方向をリアルタイムに検知し、車載フロントビューカメラにより車両走行中の運転者の前方視界におけるシーン画像信号を収集する。
【００１６】
上記の工程（２）において有意義な交通事象と顕著性に基づく運転者注意力計算方法を採用し、具体的な工程は以下の通りであり、
【００１７】
（６．１）画像収集を起動し、現在のｍ×ｎ大きさのフロントビュー画像を保存し、
【００１８】
（６．２）３つの動的配列Ｐ１、Ｐ２、Ｐ３、及び中間データを保存するためのサイズがｍ×ｎの３つの行列、Ｍａｐ１、Ｍａｐ２、Ｍａｐ３を生成し、フロントビュー画像は、交通事象関連の注視領域RO、フロントビュー画像における顕著性領域RS、運転者がよく注視する固定領域ROFという３種の運転者注視領域を含み、行列Ｍａｐ１、Ｍａｐ２、Ｍａｐ３は上記の３種の領域を保存することに用いられ、
【００１９】
0006307629.tif 000002
【００２０】
0006307629.tif 000003
【００２１】
0006307629.tif 000004
【００２２】
0006307629.tif 000005
【００２３】
0006307629.tif 000006
【００２４】
0006307629.tif 000007
【００２５】
上記の工程（３）において、交通関連領域及び顕著性領域と運転者注意力割り当てとの相互作用過程を統一モデリングし、具体的なフローは以下の通りであり、
【００２６】
生理学におけるニューロン活性記述方法を使用して、前記領域の「注目される必要がある」程度に基いて領域の活性をモデリングし、Ｖで示され、運転者がこれらの領域を注目しない際に、該領域の活性Ｖは一定の規律で高くなり、運転者が視線をある領域に入れる際に、該領域の活性が迅速に低くされ、前記第１種領域が運転者によって注目される必要があって、これらの領域が長時間に注目されない際に、活性Ｖが多く上昇し、且つ一定の閾値を超える際に警告し、前記第２種領域が運転者によって長時間にわたって注目さすることが望まれないにもかかわらず、運転者が長時間にわたってこれらの領域を注目すると、その活性Ｖが持続的に低下し、且つ一定の閾値より低い際に警告し、
【００２７】
第１種領域に対して、その活性の時間に伴った変化法則を以下のような１つの動的過程にモデリングし、
0006307629.tif 000008
【００２８】
第２種領域に対して、その活性の時間に伴った変化法則モデリングは以下の通りであり、
0006307629.tif 000009
【００２９】
上記方程式（１）、（２）から分かるように、方程式（１）における活性Ｖの初期値が０〜1+μ又は方程式（２）における活性Ｖ初期値が-ν〜１にあると、活性Ｖは０〜1+μ又は-ν〜１に変化し、ここのμ、νの取る値が１であり、
【００３０】
方程式（１）において、Ｖの変化初期値が０であり、警告閾値が１であり、方程式（２）において、Ｖの変化初期値が１であり、警告閾値が０であり、上記の２つの方程式において、α′が活性漏れ係数であり、本モデルでは０を取って、φ,γ,βはいずれもある領域に対応した正の変化パラメータであり、φ,γは活性の変化に対して抑制作用を有し、βは活性増加の作用を有し、γ,βの取る値は該領域のタイプに関連し、φの取る値は領域タイプに関連するだけでなく、現在の運転者視線が注視している領域に関連する。
【００３１】
フロントビューカメラが得られた道路シーンと視線捕捉装置が捕捉された運転者視線をキャリブレーションし、視線捕捉装置により捕捉した運転者視線が注視しているシーン目標の位置と該目標がカメラに示された位置を対応して一致させる。
【００３２】
運転者の安全運転状態を検知する装置であって、運転者の現在の視線方向をリアルタイムに検知して車両走行中の運転者の前方視界におけるシーン画像信号を収集するための第１モジュールと、視覚注意力計算モデルに基づき、収集された現在の道路シーン画像信号を処理して、現在の道路シーンにおける運転者の所望の注意力分布を得るための第２モジュールと、リアルタイムに検知された運転者の現在の視線方向と計算された運転者の所望の注意力分布に対して総合分析を行い、運転者が現在正常な運転状態であるかどうか、及び突発的な道路交通事象に対して即時且つ適切に対応できるかどうかを判断するための第３モジュールと、を備える。
【００３３】
視線捕捉装置は、イトラッカーです。
【発明の効果】
【００３４】
従来の技術と比べて、本発明のメリットは以下のとおりである。
【００３５】
１、本発明の検知結果が直接的に運転者の実際の安全運転状態を反映することができる。運転者の安全運転状態は運転者の現在の注意力分布及び反応感度に直接的に関連し、その他のいくつかの生理的指標は現在の精神状態の表現のみであるため、安全運転状態と間接的な対応関係である。本発明は運転者の注意力割り当てモードと注意力変換方式を検知することによって直接的に運転者が現在の道路交通事象を正確且つ迅速に反応するかどうかを判断し、検知結果が直接的に現在の運転者の運転状態に対応する。
【００３６】
２、本発明は運転者が疲労による運転状態の異常を検知することができるだけでなく、運転者の非疲労時におけるぼんやり、その他注意散漫などの非安全運転状態を検知することもでき、及びある薬物の服用、酔っぱらい、運転経験不足などの原因による反応遅れなどの非安全状態を検知し、更に全体の安全性を向上させる。
【００３７】
３、本発明の検知結果はタイムリーに運転挙動の異常を発見することができ、「非ヒステリシス」に属する。普段疲労程度の検知は運転者のある期間にわたる運転特性又は生理的特徴を検知する必要があり、得られた結論は前の期間の若干の事象の運転者が運転に適するかどうかの判断（実際に、従来の方法で運転者が疲労する前のかなり長い時間に、運転者が既に非運転状態にあり、これらの方法はヒステリシス検知に属する）、現在に発生している突発的な道路交通事象をタイムリーに反応ひいては注意することができりない。
【００３８】
４、本発明の検知結果がより正確である。本発明は疲労状態又は運転者が特定の事象に対する反応を利用して間接的に運転者の運転状態を判断しないため、検知結果はより正確に運転者の現在の道路交通事象に対する判断及び処理能力を反応することができる。正常な運転状態で、運転者は必然的に現在の道路シーンにおける顕著性領域に対して注意力をそがれるため、実際の注意力の状況と所望の注意力の状況の間の比較によって、効果的に運転者の運転状態を推定することができる。同時に運転者の注意力に対する実測とシーン注意力に対する計算はいずれも高い精度を有するため、精確に運転者の精神状態を判断することができる。
【００３９】
５、本発明の検知過程は非接触式である。本発明の検知方法及び検知過程は運転者に追加の刺激を提供する必要がなく、運転者の正常な運転挙動を干渉しない。他方で、本発明の検知過程において運転者との直接接触によって運転者の生理的パラメータを測定する必要がなく、測定過程が非接触式である。
【図面の簡単な説明】
【００４０】
【図１】は本発明の方法を使用した原理の模式図であるである。
【図２】は本発明の装置を使用したフレーム構造の模式図である。
【図３】は本発明が具体的な応用例において具体的な使用状態での実際のシーンの模式図である。
【図４】は実際のシーンにおいてシステムカメラの視界及び３種の注意分布領域の模式図である。
【図５】は本発明が具体的な応用例においてシステムキャリブレーションを行うフローチャートである。
【図６】は本発明が具体的な応用例において有意義な交通事象と顕著性に基づく運転者注意力計算のフローチャートである。
【図７】は本発明が具体的な応用例において運転者の安全状態分析を行うフローチャートである。
【図８】は本発明が具体的な応用例においてモデルパラメータトレーニングを行うフローチャートである。
【図９】は本発明が具体的な応用例においてシーンの異なる領域の活性度合い分析を行う比較図である。
【発明を実施するための形態】
【００４１】
以下に、明細書の図面及び具体的な実施例を参照して本発明を更に詳細的に説明する。
【００４２】
本発明は運転者の視線追跡と運転者の所望の注意力計算の総合に基づく運転者の安全運転状態を検知する方法である。本発明はまず視線捕捉装置を使用して運転者の現在の視線を追跡する。次に、シーン理解技術と注意力計算技術を利用して車載フロントビューカメラが撮ったリアルタイム前方シーン画像に対して目標理解及び顕著性計算を行い、現在のシーンで運転者は注意すべき或いは注意可能な交通関連の事象の領域と目立つ顕著性領域を得る。最終的に、視線捕捉装置がリアルタイムに記録した運転者の実際の注意力とシーン理解と注意力計算モデルによって計算して得られた現在のシーン予測に基づく理想的な注意力分布を総合分析して、更に運転者の現在の注意力割り当てが合理であるかどうかを判断することで、現在の運転者の運転状態及び運転者の突発的な交通事象に対する対応能力を正確に判断する。
【００４３】
図１に示すように、本発明の運転者の安全運転状態を検知する方法は視線追跡と注意力計算のマッチに基づく検知方法であり、以下の工程を含み、
【００４４】
（１）、運転者の現在の視線方向をリアルタイムに検知して車両走行中の前方道路のシーン画像信号を収集する。本実例において、視線捕捉装置を利用してリアルタイムに運転者の現在の視線方向を検知し、且つ車載フロントビューカメラによって車両走行中の前方道路のシーン画像信号をリアルタイムに収集する。
【００４５】
（２）、視覚注意力計算モデルに基づき、収集された現在の道路シーン画像信号を処理して、現在の道路シーンにおける運転者の所望の注意力分布（例えば、交通事象関連領域と顕著性領域の検知及び追跡）を得て、本実例において、現在の道路シーンにおける所望の注意力分布を計算するための組込型コンピューターシステムを設定し、該組込型コンピューターは車載フロントビューカメラが収集した現在の道路シーンを処理して、現在の道路シーンにおける運転者の所望の注意力分布を得る。
【００４６】
（３）、工程（１）にてリアルタイムに検知された運転者の現在の視線方向と工程（２）にて計算された運転者の所望の注意力分布に対して総合分析を行う。具体的には、定量的な方法により運転者が即時に現在のシーンにおける重大な交通事象を反応したかどうかを評価する。例えば、いずれの時点でも、定量評価は具体的に運転者の視線がシーンにおける重大な交通事象の領域に入ったかどうか、及び視線の入った割合と速さを分析することによって評価を行うものである。この時のこの評価結果は運転者が現在正常な運転状態であるかどうか、及び突発的な道路交通事象に対して即時且つ適切に対応できるかどうかを判断することに用いられる。
【００４７】
図２に示すように、本発明を実際に応用する際に、本発明の装置は、
【００４８】
運転者の現在の視線方向をリアルタイムに検知して車両走行中の運転者の前方視界におけるシーン画像信号を収集するための第１モジュールと、
【００４９】
視覚注意力計算モデルに基づき、収集された現在の道路シーン画像信号を処理して、現在の道路シーンにおける運転者の所望の注意力分布得るための第２モジュールと、
【００５０】
リアルタイムに検知された運転者の現在の視線方向と計算された運転者の所望の注意力分布に対して総合分析を行い、運転者が現在正常な運転状態であるかどうか、及び突発的な道路交通事象に対して即時且つ適切に対応できるかどうかを判断するための第３モジュールと、を備える。
【００５１】
第１モジュールは人の目視線を捕捉及び記録するための視線捕捉装置と、前方道路シーンを捕捉するためのフロントビューカメラと、組込型コンピューター（主に運転者の視線分析、交通事象関連領域の計算及び本発明による運転者精神状態の評価の実現）と、を備える。視線捕捉装置はほぼ運転パネルにおける適切な位置に取り付けて固定され、且つ正常に運転者の視線（運転者の視線捕捉性能を向上させるために、その他の実施例においてマルチカメラの手段を採用することもできる）を捕捉することを確保する。車載フロントビューカメラが車両フロントガラスの内側頂端に取り付けられ、主光軸は車体に平行であり、カメラが前へ取り付けられ、車両前方道路情報を撮影することに用いられ、フロントビューカメラが運転室の上方にあるルーフの下に取り付けて固定される。
【００５２】
本発明は視線捕捉装置（例えばアイトラッカー）により得られた運転者の実測注意力分布と車載フロントビューカメラ及び注意力計算モデルに基づき得られた運転者注意力分布を比較する必要があるため、フロントビューカメラが得られた道路シーンと視線捕捉装置が捕捉された運転者視線をキャリブレーションする必要があって、視線捕捉装置により捕捉した運転者視線が注視されたシーン目標の位置と該目標がカメラに示された位置を対応的に一致させる。本発明において、初期キャリブレーション過程のフローを図５に示す。本実例において、キャリブレーションの具体的な工程は以下の通りであり、
【００５３】
（４．１）駐車状態で、車両（フロントビューカメラ）前方の一定の距離（例えば２０メートル或いはより遠い）にいくつかの物体を手動で置き、これらの物体は顕著で説明しやすい特徴（例えば赤い球形物体）を有すべきであり、これらの物体とシーンに固有したその他の遠い物体をキャリブレーション基準とする。
【００５４】
（４．２）駐車状態で、サポートスタッフはフロントビューカメラの撮影内容のスクリーンに表示されたある物体（点）を指定することによって、運転者の注視をガイドする。この時、視線捕捉装置が記録した運転者のこの時の視線方向を記録する。
【００５５】
（４．３）被注意物体の位置又は被注意物体自体を変えることによって、上記工程（４．２）を繰り返し、例えば、通常に異なる物体（点）を５〜７回変える。
【００５６】
（４．４）キャリブレーション結果を検証する。この時、運転者がシーンにおける異なる物体（点）を注意するようにガイドし、視線捕捉装置により推定した運転者視線をフロントビューカメラが撮影したリアルタイム画像に表示し、これらの物体（点）は検知された視線位置に重なり合い又は接近するかどうかを観察及び記録する。誤差が予め設定された要求（例えば１〜１．５度より小さい）を満たすと、初期キャリブレーション過程が終了し、そうでないと、工程（４．２）〜（４．３）を繰り返し、キャリブレーションし直す。フローに若干のパラメータ及びパラメータｋ、Ｅ等が存在し、実験によって確定することができる。本方法は一般的に５点でキャリブレーションし或いは９点でキャリブレーションし続けるため、ここでのｋが５又は９となればよい。キャリブレーション結果が要求を満たさない際には、キャリブレーション点の個数を増加してもよく、ここでのＥは、本手段における運転者の視線許可誤差（θ=１〜１．５度）に対応したディスプレイにおける偏差距離によって確定され、Ｅ≒Ｄ*ｃｏｓ(θ)に基づくことができ、ここでのＤは運転者の目がデバッギング時に用いられたディスプレイ（アイトラッカーに置かれる）からの距離である。
【００５７】
運転者の目の高さがカメラの取り付け高さと一致しないため、前方カメラ視界が運転者の目で見られた実際の視界と一定の誤差を有してしまう。具体的には、運転者にとって、車両前方の同一視角での異なる物体（点）は距離の差異によってカメラ視界内で異なる視角をなす。計算によって、取り付け高さ差を２０ｃｍ内に制御すると、車両前方２０ｍ外の異なる物体の間の視角誤差が０．６度内に制御でき、これは視線捕捉装置ができる精度（約１度）より低くなった。以上の初期キャリブレーション過程を経て、運転者の時々刻々に注視する物体がフロントビュー画像に表示した位置を視線捕捉装置が観測したこの時の運転者の視線を一々に対応させることができる。したがって、任意の時刻で視線捕捉装置が観測した運転者の視線方向に基づき運転者の注視した前方物体がフロントビュー画像に表示した具体的な位置を推定することができ、それにより運転者が注意した実際のシーンにおける位置を分けることができる。なお、キャリブレーションの利便性と正確性を確保するために、フロントビューカメラの歪度の制御、又はアルゴリズムによってフロントビューカメラが撮影した画像を歪み除去処理することができる。
【００５８】
上記キャリブレーション方法は直接的に運転者の視線と画像座標系をキャリブレーションする方法である。これに加えて、その他の実施例において、分布キャリブレーション法を採用してもよく、その工程は以下の通りであり、
【００５９】
（５．１）まず、人の目の視線と世界座標系をキャリブレーションし、（ａ）車前２０メートル以外に複数の標識物を置き、その位置{Ｐｉ}を記録し、（ｂ）人の目がこれらの物体を注視する時の視線方向{Ｄｉ}をそれぞれ記録し、（ｃ）よく使用される「張正友方法（張正友教授が開発したキャリブレーション方法）」によって、両者の間のキャリブレーション結果を計算し、
【００６０】
（５．２）画像座標系と世界座標系をキャリブレーションして、これが従来の技術であり、両者の間のキャリブレーション結果を計算し、
【００６１】
（５．３）工程（５．１）と工程（５．２）の結果に基づき、よく使用されるキャリブレーション方法によって最終的な人の目視線と画像座標系との間の変換行列を得ることができる。
【００６２】
上記工程（２）において、有意義な交通事象と顕著性に基づく運転者注意力の予測方法を採用する。一般的に、運転者の注目を引く領域は、顕著性が領域そのものの特殊性（例えば領域に顕著な色、模様、形状等がある）によって決められ、且つ交通運転事象に関係しない可能性がある環境に非常に顕著である領域、及び運転作業に関連する交通事象による顕著性領域に分けられる。例えば前方の走行車両、歩行者、交通標識、ダッシュボード等である。これらの領域に対応した交通事象は運転作業に密接に関連し、正常な運転状態にある運転者は細心の注意を払わなければならない領域である。第２種の運転者の注意領域には、例えば前方に移動する車両、歩行者、交通標識、車線等である時間の変化に伴って車体そのものに対して相対運動する動的な運転者注意領域と、例えばバックミラー領域、ダッシュボード領域等である車両と相対運動せず、且つ画像の中での領域位置が変わらない静的な運転者注意領域と、を含む。
【００６３】
本発明において、運転者注意力の分布可能な領域を予測する必要があって、実測した運転者注意力を比較することができる。図６に示すように、有意義な交通事象と顕著性に基づく運転者注意力の計算方法であり、過程は収集された現在のフロントビュー画像に基づいて運転者注意力の推定及び計算を行う。この計算結果は運転者注意力の分布可能な領域に対する予測であるため、実測した運転者注意力と比較することができることによって、運転者が安全運転状態にあるかどうかを判断する。その具体的な工程は以下の通りであり、
【００６４】
（６．１）画像収集を起動し、現在のｍ×ｎ大きさのフロントビュー画像を保存し、本手段によく使用される１０２４×７６８の画像を採用し、
【００６５】
（６．２）、３つの動的配列Ｐ１、Ｐ２、Ｐ３、及び中間データを保存するためのサイズがｍ×ｎの３つの行列、Ｍａｐ１、Ｍａｐ２、Ｍａｐ３を生成する。図４から分かるように、フロントビュー画像は、交通事象関連の注視領域RO、フロントビュー画像における顕著性領域RS、運転者がよく注視された固定領域ROFという３種の運転者注視領域を大体に含み、行列Ｍａｐ１、Ｍａｐ２、Ｍａｐ３は上記の３種の領域を保存することに用いられ、
【００６６】
0006307629.tif 000010
【００６７】
0006307629.tif 000011
【００６８】
0006307629.tif 000012
【００６９】
0006307629.tif 000013
【００７０】
0006307629.tif 000014
【００７１】
0006307629.tif 000015
【００７２】
運転者の安全運転の脅威となる要因は主に、居眠り、酔っぱらい、ある薬物の服用による反応遅れ及び眠気を含み、注意すべきである交通事象を効果的に注意できない運転者の生理的疲労、及び運転者が生理による反応遅れ状態ではないと、運転者がある原因によって注意力の合理的な割り当て（例えば運転者が長時間にわたって注意すべきではない事象、例えば高速道路広告主の文字、写真等を過度に注意し、或いは長時間に携帯電話の文字を注意する）を行わない要素がある。
【００７３】
したがって、交通事象関連領域を検知して追跡し、追跡した後に、これらの領域に長時間にわたって注意力を入れないと、運転者が正確にこれらの場所を注意しないことになる。したがって、該領域の「注目される必要がある」程度が高くなり、一定の閾値に達すると、システムは警告すべきである。運転者の注意視線がこれらの領域に入ると、これらの「注目される必要がある」程度が顕著に低下すべきである。
【００７４】
顕著性領域（交通事象関連領域）に対しては、類似するがわずかに異なる処理を必要とする。まず、顕著性領域を検知及び追跡する。運転者がこれらの領域に注目すると運転者が興味のある領域に対応できることを意味し、運転者に深刻な生理疲労がないことになる。しかしながら、運転者が長時間にわたってこのような領域を凝視すると、問題もあり、これは運転者が長時間にわたって非交通事象によって気を引かれる（例えばビルボードにおける文字と美人の写真）ことを説明する。この時、これらの領域の「注目される必要がある」程度が低下し続け、一定の低閾値に達する際に、警告し続けるべきである。
【００７５】
本発明の具体的なワークフローと計算過程（図７に示す）を具体的に紹介する前に、まず本発明が確立されたモデルとパラメータ設定を紹介する。
【００７６】
問題モデリング：本発明は交通関連領域及び顕著性領域と運転者注意力割り当てとの相互作用過程を統一モデリングする。まず、生理学におけるニューロン活性記述方法を借りて、これらの領域の「注目される必要がある」程度に基いて領域の活性をモデリングし、Ｖで示される。運転者がこれらの領域を注目しない際に、該領域の活性Ｖは一定の規律で高くなり、運転者が視線をある領域に入れる際に、該領域（及びその他の関連領域）の活性が迅速に低くされる。例えば、シーンにおける交通事象関連領域（「第１種領域」と呼ばれる）は運転者によって注目される必要がある。これらの領域が長時間にわたって注目されない際に、活性Ｖが多く上昇し、且つ一定の閾値を超える際に警告することがある。それらの顕著な非交通関連領域（「第２種領域」）は運転者が長時間にわたって注目することが望ましくない。運転者が長時間にわたってこれらの領域を注目すると、その活性Ｖが持続的に低下し、且つ一定の閾値より低い際に警告する。該モデルでは、システムが警告しない前提は全ての交通事象関連領域の活性がその対応する閾値より低く、且つ全ての非交通関連の顕著性領域の活性はある閾値より高いことである。システムが警告した後に、全ての領域の活性Ｖはその初期位置にリセットされる。第１種領域に対して、その活性の時間に伴った変化法則を以下のような１つの動的過程にモデリングし、
0006307629.tif 000016
【００７７】
第２種領域に対して、その活性の時間に伴った変化法則モデリングは以下の通りであり、
0006307629.tif 000017
【００７８】
上記方程式（１）、（２）から分かるように、方程式（１）における活性Ｖの初期値が０〜1+μ又は方程式（２）における活性Ｖ初期値が-ν〜１にあると、活性Ｖは０〜1+μ又は-ν〜１に変化する。ここのμ、νの取る値が１である。
【００７９】
パラメータ設定：方程式（１）において、Ｖの変化初期値が０であり、警告閾値が１であり、方程式（２）において、Ｖの変化初期値が１であり、警告閾値が０であり、上記の２つの方程式において、α′が活性漏れ係数であり、本モデルでは０を取る。φ,γ,βはいずれもある領域に対応した正の変化パラメータである。φ,γは活性の変化に対して抑制作用を有し、βは活性増加の作用を有する。γ,βの取る値は該領域のタイプに関連し、φの取る値は領域タイプに関連するだけでなく、現在の運転者視線が焦点を合わせた領域に関連する。これは運転者が注意力をある有意義な領域に入れると、運転者の精神状態が現在の時点で良好であることを意味するため、その他の領域の活性も抑制されるべきである。仮に現在のところ活性分析する領域がiであり、運転者視線が領域jに落ちると、現在の領域に対応したφの取る値は下記の式にしたがって値を計算し、
0006307629.tif 000018
【００８０】
ここでの意味は、運転者視線が焦点を合わせない場合、φが零となり、領域の活性がずっと増加していることを意味し、運転者の視線がある意義がある関連領域に落ちる場合、本領域の活性の増加を抑制し、運転者の視線が該領域に焦点を合わせる場合、領域活性が急速に低減する。φの取る値範囲が[０,１]である。これらの関連するパラメータγ、β、φijはいずれも訓練して得られたものであり、その訓練過程は図８及び下述におけるパラメータ訓練部分の具体的な説明を参照する。実際の計算において、まず、現在の運転者視線が焦点を合わせる領域jを判断する必要があり、そして、任意の領域iのパラメータφijを確定することができる。方程式（１）及び（２）におけるμ、νの取る値は１である。（注記：μ、νの取る値がβの取る値と等価性を有し、βは訓練しようとするパラメータであるので、μの具体的な取る値は特に限定されない）。
【００８１】
更に、好ましい実施例において、安全運転状態検知モデルは更にパラメータ訓練部分及びオンライン作業部分を含むことができる。まず、安全運転状態検知と監視のオンライン作業過程について図７を参照しながら更に詳しく説明する。システムの作動過程は以下の３つの主な工程を有する。
【００８２】
（７．１）、工程一：交通事象関連領域、顕著性領域の検知及び追跡。
【００８３】
0006307629.tif 000019
【００８４】
0006307629.tif 000020
【００８５】
0006307629.tif 000021
【００８６】
0006307629.tif 000022
0006307629.tif 000023
【００８７】
そのうち、この２種類の領域は２つの活動リストに対応する。ある領域が消失した後、該要素を除去し、且つ後の領域番号を再配列し、ある領域が新しく出現する場合、該領域を該種類の最後に配列する。システムはこれらの領域に検知及び追跡を行う場合、厳しくこのテーブルで行う。
【００８８】
（７．２）、工程二：領域活性変化
異なる領域タイプに対して、その変化パラメータが警告メカニズムとわずかに異なる。
【００８９】
（７．２．１）、第１種類の領域に対しての変化方式は以下の通りである。
0006307629.tif 000024
【００９０】
そのうち、１は警告閾値であり、μの取る値は０．１である。Ｖの初期値を０と設定する。ある交通事象関連領域に対して、φが０である場合（運転者の視線が該領域又は関連領域に焦点を合わせない）、該領域の活性Ｖは初期値から始まり、１+μの方向へ次第に増大する。Ｖ>１である場合、システムが警告する。ここで、交通事象関連の重要領域に対して、運転者が長時間にわたって該領域（又は関連領域）を注目しないと、運転者が現在のところ他に注目を集めていることになり、したがってシステムは警告して提示することができることを意味する。
【００９１】
（７．２．２）、第２種領域に対して、第１種類の顕著且つ交通事象関連領域は同一種類の変化方式を採用する。
0006307629.tif 000025
【００９２】
これらの領域の活性の変化初期値が１である。上式での０は警告閾値であるが、νの取る値が０．１である。ある顕著且つ非交通事象関連領域に対して、運転者の長時間に注目することを希望しない。運転者が該領域を長時間にわたって注目すると、φの取る値が大きくて、活性Ｖが持続に低下することを意味する。
【００９３】
（７．３）、工程三：領域活性の強すぎ又は弱すぎの警告。
警告の基準は以下の通りである。任意の交通事象関連領域に対して、その活性度合い値が１よりも大きいと、警告する。
【００９４】
任意の顕著性領域且つ非交通事象関連領域に対して、その活性度合い値が０よりも小さいと、警告する。
【００９５】
上記変化過程において、一連の訓練しようとするパラメータ：φij、γi、βiがある。本発明において最適化の方法を採用してパラメータの訓練及び学習を行う。以下、図８を参照しながらパラメータ訓練過程を説明する。
【００９６】
工程一：訓練サンプルを収集する。本発明の実施例において、１０名の正常運転者毎のそれぞれ１時間の運転データを収集する。訓練データの収集はシステムが正常に作動する際にデータを収集するプロセス及びフォーマットと同じである（例えば図７に示すように）。データは運転者の眼球運動データ（１００ｍｓごとに１つの視点を収集する）、及び各視点のシーン領域に対応する活動リスト（式（４）を参照する）を含み、これらの活動リストは図６に記載のＭａｐにおける領域に直接的にインデックスすることができる。
【００９７】
工程二：データ変化計算。活動リスト及び現在に推定されたパラメータにより、各領域の該タイミングでの活性値を計算する。
【００９８】
工程三：パラメータ反復最適化。上記変化の活性値及び推定されたパラメータを最適化目標として制約条件に導入する。
【００９９】
最適化目標：
0006307629.tif 000026
0006307629.tif 000027
【０１００】
0006307629.tif 000028
【０１０１】
0006307629.tif 000029
【０１０２】
0006307629.tif 000030
0006307629.tif 000031
【０１０３】
それにより、最適化解決の捜索空間を大幅に低減させる。
【０１０４】
ツールキットによって求められたパラメータは以下の通りである。
【０１０５】
異なる領域タイプの間の影響行列φijは以下の通りである。
0006307629.tif 000032
【０１０６】
γiのパラメータは以下の通りである。
0006307629.tif 000033
【０１０７】
上記の最適化方法で取得した訓練パラメータがあると、システムは作動することができる。ここで、１つの具体的な実施例は記述システムの有効性を行う。
【０１０８】
実施例：高速道路で１０秒間運転する過程には、同時にフロントビュー画像（秒ごとに１０フレーム）及び運転者の注視点（１００ｍｓごとに１回収集する）を収集する。画像内容に基づいて、第１種類の領域は車線領域、前方車両領域（この時間内に歩行者及び交通標識がない）、ダッシュボード領域及びバックミラー領域を含む。第２種領域は１つのビルボード領域である。該実施例において、運転者の視線追跡は始終にビルボードに焦点を合わせる。
【０１０９】
上記領域の追跡状況及び視線落ち状況に基づいて、全ての領域の活性値を計算することができる。なお、実際の計算において、方程式（１）、（２）の動的方程式は連続形式を差分形式に変換することである。方程式（１）は、
【０１１０】
0006307629.tif 000034
に書き換えられ、
【０１１１】
方程式（２）は、
0006307629.tif 000035
に書き換えられ、
【０１１２】
そのうち、ｎは計算するステップ数であり、Ｔはサンプリング時間間隔であり、ここでは０．１ｓである。公式（１０）又は（１１）の漸化式及び訓練して得られたパラメータに基づいて、そして任意の１つの領域がこれらのタイミングでの活性値を計算する。以下、第２種領域のビルボード領域を例として、その活性変化状況を計算する。パラメータを導入した後、変化方程式（１１）は以下のように書くことができる。
0006307629.tif 000036
【０１１３】
モデル抑制、該領域の活性変化初期値V(0)=１に基づいて、該領域がこの時間での活性変化状況を推定する。図９に示す。同様に、第１種類の領域（車線、車両、ダッシュボード及びバックミラー等の領域）に対して、その活性値の変化状況も同じ工程に基づいて計算することができる。図９は第２種領域のビルボード領域及び第１種類の領域の車線領域、前方車両領域を例として、変化状況の比較するものである。図９から分かるように、２６フレーム画像（２．６ｓに対応する）まで計算する際、ビルボード領域の活性Ｖが閾値以下(Ｖ= -０．００３０<０)に低下する。運転者の該領域に注視する時間が長すぎると説明する。この時の車線領域、車両領域の活性Ｖの値はそれぞれ正常の範囲（Ｖ=０．４１７３<１、Ｖ=０．３８９５<１）にあるが、この時システムが警告し、運転者に注意力を集めて、間違いに注意力を分散しないように提示する。
【０１１４】
具体的な応用において、本発明における注意力計算部分は組込型コンピューターシステムで実現することができ、例えばＤＳＰ又はＦＰＧＡの単一チップシステムに基づいて実現する。本実施例において、取り外し可能な視線捕捉装置を選択し、そのうち運転者視線を捕捉するためのセンサー部分は車両走行室内（図３に示すように）に取り付けられる。視線捕捉装置のスクリーン部分はキャリブレーション過程のみに使用され、前方カメラで撮影された画像及び表示システムで推定された運転者注視点を表示することに用いられる。
【０１１５】
以上、単に本発明の好ましい実施形態であり、本発明の保護範囲は上記実施例に限定されず、本発明の考えによる技術的手段はいずれも本発明の保護範囲に属する。なお、当業者にとっては、本発明の原理から逸脱しない複数の改良及び修飾は、本発明の保護範囲と見なされるべきである。
【図１】
0006307629.tif 000057
【図２】
0006307629.tif 000058
【図３】
0006307629.tif 000059
【図４】
0006307629.tif 000060
【図５】
0006307629.tif 000061
【図６】
0006307629.tif 000062
【図７】
0006307629.tif 000063
【図８】
0006307629.tif 000064
【図９】
0006307629.tif 000065