(57)【要約】  本発明はユーザ(12)とその仕事環境（14）の間の相互作用を表わすデータ処理方法に関し、以下のステップを有することを特徴を持つ。―ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、仕事環境を構成する視覚シーンの視覚要素にユーザが視線を注ぐ期間の位置を表わすデータを、眼球運動測定装置を使って取得するステップ（Ｅ１）と、―視覚要素のシーケンスを含み、前記期間複数回繰り返す、少なくとも１の視覚モチーフを決定するために取得されたデータを処理するステップ（Ｅ３）。【選択図】図１
2009503666.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ(12)とその仕事環境（14）の間の相互作用を表わすデータ処理方法であって、以下のステップを有することを特徴にもつデータ処理方法。
―ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、仕事環境を構成する視覚シーンの視覚要素にユーザが視線を注ぐ期間の位置を表わすデータを、眼球運動測定装置を使って取得するステップ（Ｅ１）と、
―視覚要素のシーケンスを含み、前記期間複数回繰り返す、少なくとも１の視覚モチーフを決定するために取得されたデータを処理するステップ（Ｅ３）。
【請求項２】
少なくとも１の視覚モチーフの少なくとも１の視覚要素は少なくとも１の所定の基準を満たすことを特徴とする請求項１に記載の方法。
【請求項３】
取得データの統計処理の予備的ステップを含み、少なくとも１の視覚モチーフを決定するためのデータ処理ステップが統計処理ステップの結果に基づいて実行されることを特徴とする請求項1又は２に記載の方法。
【請求項４】
取得データの統計処理ステップは、操作者(ユーザ)が見る少なくとも幾つかの視覚要素の生起数を与えることを特徴とする請求項３に記載の方法。
【請求項５】
少なくとも１の視覚モチーフを決定するために、データ処理がその生起数が最も高い視覚要素から実行されることを特徴とする請求項４に記載の方法。
【請求項６】
データ取得ステップは、少なくとも数人のユーザが所定期間に見る視覚要素に関係するユーザの目の動きのデータを提供することを特徴とする請求項1乃至５の何れか１項に記載の方法。
【請求項７】
データ取得ステップは所定のインターバルで実行されることを特徴とする請求項1乃至６の何れか１項に記載の方法。
【請求項８】
データ取得ステップはユーザの仕事環境の使用の手順の展開に関係するシナリオの枠組内で実行されることを特徴とする請求項1乃至７の何れか１項に記載の方法。
【請求項９】
ユーザは、乗り物のダッシュボードの計器のインターフェースの構成要素と相互作用を行う乗り物のパイロットであることを特徴とする請求項1乃至８の何れか１項に記載の方法。
【請求項１０】
乗り物は飛行機であることを特徴とする請求項９に記載の方法。
【請求項１１】
乗り物は自動車であることを特徴とする請求項９に記載の方法。
【請求項１２】
ユーザ（12）とその仕事環境（14）との間の相互作用を表わすデータの処理システムであって、次のものを有する処理システム。
―眼球運動測定データの取得装置（10）、
該眼球運動測定データは、ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、所定期間の間の自分の仕事環境の１部分をなす視覚シーンの視覚要素に対するユーザの視線の位置を表わす、
―視覚要素シーケンスを含む少なくとも１の視覚モチーフを決定するために、所定期間に複数回繰り返される取得されたデータの処理手段（17）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザとその仕事環境との間の相互作用を表わすデータ処理方法とシステムに関する。
【背景技術】
【０００２】
種々の分野（航空業界、宇宙業界、自動車業界、船舶業界等々）において、航空機、宇宙機、自動車、又は船舶を操縦するユーザ（操縦者ともいう）と搬送手段（乗り物とも言う）上の仕事環境との間の相互作用について、例えば、操縦者と乗り物上の環境（計器パネル等）との間のインターフェース又は操縦方法（例えば、航空機の飛行方法）を改良するために、具体的に人間の側面、機械の側面について研究されている。
【０００３】
操縦者の安心と安全のために及び乗客の安全のために、このインターフェースのergonomie（労働科学）を改善するために研究が行われている。
【０００４】
例えば、操縦者により多くの情報を提供するために、乗り物上のテーブルのインターフェースの構成要素を改良するよう努力されている（例えば、計器、航空機の航行装置）。これら情報は、操縦者のために、より人間工学的に表示され、より信頼性高く、出来るだけ疲労を少なく、ストレスを少なくなるように生成される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
乗り物上の操縦者と環境の相互作用（又は、より一般的に労働に関する操縦者と環境の相互作用）の研究において、新規な方法でこの相互作用を研究することは有用である。
【課題を解決するための手段】
【０００６】
このために、本発明は、ユーザ（操縦者ともいう)とその仕事環境の間の相互作用を表わすデータ処理方法を対象とし、以下のステップを有することを特徴にもつ。
―操縦者と少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、仕事環境を構成する視覚シーンの視覚要素に操縦者が視線を注ぐ期間の位置を表わすデータを、眼球運動測定装置を使って取得するステップと、
―視覚要素のシーケンスを含み、前記期間複数回繰り返す、少なくとも１の視覚モチーフを決定するために取得されたデータを処理するステップ。
【０００７】
仕事環境（例えば乗り物）を使用する期間、前記仕事環境の少なくとも１のインターフェースの構成要素と相互作用を持つ操縦者（例えばパイロット）について収集された眼球運動データから、シナリオの期間に繰り返される１又は複数の視覚モチーフが決定される。
【０００８】
視覚シーンの視覚要素とは、例えば、仕事環境のインターフェースの構成要素（例えば、乗り物ボードのテーブルのインターフェースの構成要素）、これら複数要素の複数ゾーン、及び/又は、同一インターフェースの構成要素の異なる複数ゾーン、及び/又は、前記インターフェースの構成要素が提供する視覚情報(静的又は動的)である。
【０００９】
航空機パイロットにとって、視覚要素は外部視界を含めることができる。
【００１０】
本発明により決定される１つ又は複数の視覚モチーフは、例えば以下のために使用し得る高い価値のある情報を提供する。
―乗り物の既存の使用方法（例えば、飛行機の飛行方法）を有効化すること；
―同一モチーフを複数の操縦者(ユーザ)が決定する場合に使用方法を提案すること；
―操縦者(ユーザ)を評価すること；
―インターフェースの構成要素、例えば、ダッシュボードの計器、乗り物、外部視覚シーンに関する情報（タクシー路、道路信号、存在する車両、通行人等）の取得装置の使用方法を発見すること；
―インターフェースと一般車両の環境のユーザ−要素の相互作用の他の評価方法を使って取得した結果を理解すること。
【００１１】
本データの品質処理は視覚モチーフ全てを又は、特定の視覚モチーフを決定するために実施される。
【００１２】
又、少なくとも１の所定の基準を満たす１又は複数の視覚要素を持つ視覚モチーフを決定するために品質処理を実施することは可能である。
【００１３】
例えば、航空機の航行計器において、視覚要素として、航空機の今後の飛行経路の最終点を含む視覚モチーフをサーチすることができる。
【００１４】
本発明の特徴によれば、本発明の方法は取得データの統計処理の予備的ステップを含む。又、少なくとも１の視覚モチーフを決定するためのデータ処理ステップは、統計処理ステップの結果に基づいて実行される。
【００１５】
この統計処理により、取得された眼球運動測定データの分類を行い、データの品質処理を容易にすることができる。なぜなら、後者は統計時に処理された取得データについて実行されるからである（品質処理）。
【００１６】
従って、品質処理は計算時間を短縮し、計算量を減少させる。
【００１７】
本発明の特徴によれば、取得データの統計処理ステップは、操縦者(ユーザ)が見る幾つかの視覚要素の生起数を与える。
【００１８】
このようにして、その重要性に基づいて及び/又は操縦者(ユーザ)のために視覚要素が分類される。
【００１９】
本発明の特徴によれば、少なくとも１の視覚モチーフを決定するために、データ処理はその生起数が最も高い視覚要素から実行される。
【００２０】
統計処理により、シナリオの中で又は仕事環境（例えば、自分の乗り物）のために定義される使用方法において、操縦者(ユーザ)が見る視覚シーンの視覚要素を決定することができる。
【００２１】
又、別の基準に対応する視覚要素からデータ処理を行うことが可能である。
【００２２】
本発明の特徴によれば、データ取得ステップは、少なくとも幾つかの操縦者(ユーザ)が所定期間に見る視覚要素に関係する操縦者(ユーザ)の目の動きのデータを提供する。
【００２３】
データの品質処理を行うときに操縦者(ユーザ)の目の動きを考慮して、より精度の高い視覚モチーフを作成する。
【００２４】
操縦者(ユーザ)がこれこれの視覚要素を実際にどのような仕方で見ているか知っている。つまり、固定視する、流し見る、又は追いかけて見る、である。従って、別の視覚要素に対する所定の視覚要素の重要性を決定するための基準として、操縦者の目の動きを使うことは可能である（眼球動作測定器により記録されて）。
【００２５】
本発明の特徴によれば、データ取得ステップは所定のインターバルで実行される。
【００２６】
データがシナリオの期間又はユーザの仕事環境（例えば、乗り物、又パソコンの表示画面）の使用期間に亘って収集される。
【００２７】
本発明の特徴によれば、データ取得ステップはユーザの仕事環境の使用（例えば、乗り物の使用方法、ディスプレイ又は携帯電話の使用方法）の手順の展開に関係するシナリオの枠組内で実行される。
【００２８】
所定の状況に操縦者（例えば、パイロット）を配置して、眼球運動解析を行って、操縦者の仕事環境（例えば、乗り物のダッシュボード）の１又は複数のインターフェースの構成要素との相互作用を評価する。
【００２９】
本発明の特徴によれば、操縦者（ユーザ）は乗り物のパイロットであり、乗り物のダッシュボードの計器と相互作用を行う。例えば、飛行機のコックピットをモデル化し、眼球測定データが作成された前記モデルから収集されるときに、視覚モチーフの決定はモデルを評価するために使われる。
【００３０】
本発明の特徴によれば、乗り物は自動車である。
【００３１】
また、本発明は、ユーザとその仕事環境との間の相互作用を表わすデータの処理システムを対象とするもので、次のものを有している。
―眼球運動測定データの取得装置（10）。該眼球運動測定データは、ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、所定期間の間の自分の仕事環境の１部分をなす視覚シーンの視覚要素に対するユーザの視線の位置を表わす。
―視覚要素シーケンスを含む少なくとも１の視覚モチーフを決定するために、所定期間に複数回繰り返される取得されたデータの処理手段（17）。
【００３２】
本発明のシステムは方法に関して上記の特徴と利点を示すが、繰り返して述べない。
【００３３】
他の特徴と利点は以下に説明する。以下の説明は単に例示であって、これに限定されるものではない。説明は図面を参照して行う。
―図１は、本発明によるデータ処理プロセスのアルゴリズムである。
―図２は、本発明によるデータ処理システムの模式図である。
―図３は、図２の眼球運動測定メータの模式図である。
―図４は、図１−４の実施例の基礎となるスクリーンの実例である。
―図５は、図４のディスプレイに表われる現象のタイプに基づく生成数を表わすヒストグラムである。
【００３４】
―図６は、視覚モチーフ検知を概略的に示す。
―図７は、ディスプレイ上で図６上に検知された視覚モチーフを模式的に示す。
―図８は、視覚モチーフの検知を模式的に表わす。
―図９は、図８上で検知された視覚モチーフの図４のディスプレイ上の模式図である。
―図10は、関係する目の動きと共に視覚モチーフ検知を模式的に示す。
―図11は、図10上で検知された視覚モチーフの図４のディスプレイ上の模式図である。
【発明を実施するための最良の形態】
【００３５】
本発明は航空機のコックピットへの特に重要な応用に関するものであり、パイロット（操縦者）と１又は複数のボード計器（仕事環境）との間の視覚的相互作用を評価する。
【００３６】
本発明の方法の一般的アルゴリズムは、図１に示される主な３ステップである。
【００３７】
第１ステップE１の間に、眼球運動測定装置による眼球運動測定データの取得が行われる。眼球運動測定装置は図２と図３を参照して後に説明する。
【００３８】
これらデータは視覚シーンの視覚要素についてパイロットの視線（視線の走行）の位置を表わす。前記視覚シーンは、１又は複数の航空機コックピットのインターフェースの構成要素とパイロットとの相互作用がある時の、パイロットの仕事環境の１部分である。
【００３９】
特に、データ取得により、１又は複数のコックピットのボード計器を見るパイロットの視線に追従し、パイロットの注意をひいた視覚要素を識別することができる。後で、眼球運動測定データが同一ボード計器の種々の視覚要素を見るパイロットの視線位置を表わす例について詳述する。
【００４０】
図１のアルゴリズムは第２ステップE２を含む。Ｅ２の間では、前以って取得した眼球運動測定データの量的処理が行われる。
【００４１】
このステップはしばしば無視されるが、このステップにより眼球運動測定データの統計的処理を実行することができ、例えば、ヒストグラムの形で、パイロットが見た若干数の視覚要素の生起数、又、全視覚要素の生起数が出力される。
【００４２】
例えば、該統計的処理によりパイロットは空中における航空機の航跡を５６回、この構成の地上への投影を１５回見たと決定できる。
【００４３】
この処理は例えば、“The observer”と呼ばれている統計分類プログラムにより実行される。“The observer”はオランダのWageningenのNoldus Information Technology BV社により頒布されている。
【００４４】
このプログラムに関する広範な情報についてはｗｅｂサイトwww.Noldus.comを参照されたい。
【００４５】
このプログラムの入力の際に、登録されている眼球運動測定データ及び実験的プロトコルが提供される。即ち、パイロットが観察する視覚的シーンの視覚要素及び、例えば、固定視する、流し見る、又は追跡して見る等のパイロットの目の動きである。
【００４６】
しかし、続くデータ処理において、パイロットの目の動きを考慮することは、常に必要である訳ではないことに留意すべきである。
【００４７】
ステップＥ２において、視覚要素と‘量的処理モジュールから提供された目の動き（comportements）’とは航空機コックピットから作成される認識モデルから生成できることに留意すべきである。
【００４８】
図１のアルゴリズムは、データの質的処理の第３ステップＥ３を含んでいる。データは、ステップＥ２の量的処理なしで取得された眼球運動測定データであったり、ステップＥ２の大量に取得され、処理された眼球運動測定データであったりする。
【００４９】
データの質的処理により、選択した所定の１の又は複数の基準に基づいて、１又は複数の視覚モチーフを決定することができる。前記視覚モチーフは視覚的シーンの視覚要素のシーケンスで構成されている。モチーフは所定期間（観察期間）に亘って複数回同じことを繰り返す。
【００５０】
予め量的処理を行わない場合には、特定の基準を考慮せずに、所定期間に生成する全視覚要素を取得することが可能である。
【００５１】
しかし、例えば、設計時に計器についてパイロットに提供する情報の有用性を評価するために、１の又は複数の視覚要素を含む１又は複数の視覚モチーフを決定することができる。
【００５２】
統計処理ステップＥ２の結果を考慮するときには、例えば、航空機の進路の地上への投影に関する視覚要素のような、所定の視覚要素を含む１又は複数の視覚モチーフを決定することが可能である。
【００５３】
又、統計的意味を持つ視覚要素を含む視覚モチーフをサーチすることができる。
【００５４】
例えば、多数回に亘って出現する現象（多数回生起）又は、この定義に対応する２又は３の初回の視覚要素をサーチすることができる。
【００５５】
例えば、パイロットが滅多に観察することが無いもののよう、別の統計的意味を持つ視覚要素を含む視覚モチーフをサーチすることを選択することもできる。
【００５６】
ステップＥ３の質的処理が“Theme”と呼ばれているプログラムにより実行される。これは前記Noldus社により頒布されている。
【００５７】
このプログラムは、特に、事象シーケンスサーチアルゴリズムに基づいている。所定期間に、まず、特に最初の事象をサーチする。
【００５８】
このプログラムはこの期間に第１事象に引き続き、第１事象の出現の所定時間後生成する第２事象の出現をサーチするように予定している（第１期間より短い第２期間が定義される）。
【００５９】
第１と第２の事象は第２インターバルの内部で生成されるが、該第１と第２の事象の組が識別されると直ぐに、第２事象の出現後、所定時間後第２事象の後（第３インターバル）に、第１インターバルに第３事象が出現するのをサーチする。
【００６０】
事象のシーケンスを識別するために繰り返し、処理が行われる。
【００６１】
より広い情報を得るためには、論文"Discovering hidden time patterns in behavior: T-patterns and their detection" de Magnus S. Magnusson, Behavior Research Methods, Instruments & Computers 2000, 32(I), 93-I 10, pp. 93-110.”を参照することができる。
【００６２】
ステップＥ２の質的処理を、以下の複数サブステップで行うことが好ましい。
１．統計処理から得られた視覚要素Ｎ（Ｎ＝１，２、３…）を含む視覚モチーフをサー    チするステップ；このサーチは単一要素について同時に行われる；
２．これらモチーフが入手されたときに、次の質的処理が行われる。
ａ）目の動きに関係するデータを考慮するステップ（データベースの拡大）
ｂ）第１ステップで識別されたＮの要素を含む視覚モチーフの間で、目の動きを考慮        し、要素Ｎ，Ｍ，Ｒからなる関係モチーフだけをサーチするステップ。別のモチ        ーフは例えば重要ではないと見做される。
【００６３】
図１のアルゴリズムの種々のステップは、これらのデータの取得・蓄積手段（データベース、メモリ）と一緒にデータ処理手段（中央処理ユニット）により実行される。
【００６４】
図２及び３を参照すると、眼球運動測定装置10により視覚シーンに対するパイロットの視線位置を記憶することが可能になる。コックピットのインターフェースの構成要素に対するパイロットが見る種々の視覚要素（例えばボード14の計器及び外部視界）を追跡することが可能になる。該計器については図４を参照しながら後で説明する。
【００６５】
眼球運動測定装置10はアナログ装置16（即ち眼球運動測定メータ）を有している。該装置はパイロットの目の動きを記憶し、処理手段17に眼球運動測定データを送る。該処理手段については図１を参照する際に説明した。
【００６６】
眼球運動測定メータは図３に示す複数の機能ブロックを有している。即ち、目の動きを記録するカメラ18、目に赤外線を発射する赤外線源20、及び、パイロットが観察する視覚シーンを記憶するカメラ22である。
【００６７】
次に、カメラ18が取得したビデオデータは目の動きを記録し、カメラ22が取得したビデオデータはパイロットが見た視覚シーンを記録するものであるが、これらビデオデータはビデオデータ処理ユニットで重畳される。そしてリアルタイムでパイロットの視線位置がポインタ26（例えば、円又は十字で）により示される。該ポインタは、記憶処理が行われるときにパイロットが観察した視覚シーンの上を移動する。
【００６８】
眼球運動測定メータの使用は外部視界には対して十分であるが、パイロットの動く視線の特に終点を詳細に記憶させようとする場合は、十分に正確に記憶できない。例えば、テキストの読み取り、計器14のスクリーンの特別な領域についての情報の取得である。
【００６９】
磁場発生器28を眼球運動測定メータに関係付け、精度が最大になるようにした（図２）。
【００７０】
磁場発生器28を３次元空間における基準軸とし、種々の表面の座標、パイロットの実環境をなす平面に対するパイロットの頭部位置を把握する。この意味で、関係する表面と平面はスクリーン、コックピットのコマンドパネルに対応している。該スクリーン、コックピットは関心領域であり、各インターフェースの構成要素に対し予め観察して、ゾーンとサブゾーンに分割することができる。これら種々の表面・平面に対応する座標は、測定されパイロットの環境の３Ｄモデルに記憶される。
【００７１】
パイロットの頭部の動きを解析するために、磁場発生器28、レセプタ30を使う。該レセプタはカスク（兜）32を介してパイロットの頭部に固定される。これらはアナログ装置16（眼球運動測定メータ）に接続され、ボード計器14に現れる視覚シーンの視覚要素に対する操縦者の視線位置を最も正確に得ることができる。
【００７２】
特に、レセプタ30はパイロットの頭部に固定されているが、該レセプタは正確な頭部位置を３次元モデルに与える。
【００７３】
頭部レセプタ30とカメラ２２（シーンを記憶する）との間の距離、並びに、頭部レセプタ30とパイロットの目との間の距離が３次元モデルに入力される。最初の距離は、シーンに対するカメラのキャリブレーションに必要であり、第２の距離はアナログ装置（眼球運動測定メータ）をキャリブレートするのに必要である。
【００７４】
前記の通り、パイロットの頭部位置のデータとパイロットの視線位置のデータの組合せにより精度が最大になるように前記眼球運動測定装置10（図２）をコックピットに適合させるには、コックピットの幾何学的研究及びパイロットの姿勢の研究を行う必要があることに留意すべきである。
【００７５】
コックピットの幾何学的研究をする際に、出願人（Ｄemanderesse）は、コックピット内の台に磁場発生器28を設置するためには、発生器28と全金属表面との間の距離は十分大きく、磁気干渉（眼球運動測定装置とともに生成する）を最小にする必要があることに気がついた。
【００７６】
更に、コックピットの中心で眼球運動測定装置10を構成する種々の機能ブロックの構成に関して、出願人は磁場発生器28とレセプタ30（パイロットの頭部位置の）との間の距離はパイロットの頭部位置のレセプタ30と全金属表面との間の距離より厳密に小さくなければならないことを検証した。それは磁気干渉を最大限小さくするためである。
【００７７】
パイロットの姿勢の研究によりパイロットの運動量の限界と頭部のレセプタと磁力源との距離を決定することができることに留意すべきである。
【００７８】
眼球運動測定装置10の構成要素（即ち、アナログ装置16、磁場発生器28、頭部を受容するカスク（兜）32）はドイツのSensoMotoric Instruments GmbH社, Warthestrasse 21 , D-14513 Teltow, Allemagne.から入手可能である。
詳細な情報はwebサイトwww.smi.deを参照されたい。
【００７９】
図２，３のボード計器14は、図４で表示画面の形で更に詳細に示される。
【００８０】
図４の画面40は３次元合成画像を表わし、航空機の位置及び同航空機の環境を視覚化している。
【００８１】
この合成画像は航空機の外部視点に基づいて作成されている。又、航空機のコックピットに設置されているスクリーン上に合成画像を表示することにより、同航空機の状況についてのパイロットの心を改善することが可能になる。
【００８２】
スクリーンは特製スクリーンであってもよいし、航空機に既に備え付けられているスクリーンであってもよい。例えばボードNDの計器航行スクリーンのような("Navigation Display")ものであってもよい。
【００８３】
この合成画像では、複数の象徴的要素又はシンボルが使われている：シンボル42（航空機シンボル）は航空機を表わし、航空機の位置を示す。表示44は航空機の航路の地上部分を示し、航空機シンボル42とその地上44への投影との間の参照用垂直線46及び航跡48は航空機の今後の進路を示している。
【００８４】
シンボル42は３次元画像に固定され、パイロットの視線が表示画面40に向けられたときに、パイロットに永続的及び即時の参照情報を提供する。
【００８５】
地面44は可動であって、航空機模型の回りに土地の起伏が展開している。
【００８６】
シンボル42は横揺れ、縦揺れ、曲がりくねり状態の航空機の実際の高度を表わしている。これら情報は３軸に沿って傾くシンボルの上に質的に反映される。
【００８７】
航空機の地上への垂直投影を視覚化するため（航空機のシンボルの地上への投影）、３次元の合成画像は、垂直線46及び地面44の交叉で表わされるシンボル50を含んでいる。
【００８８】
更に、垂直線46は梯子52（オウムの梯子：echelle de perroquet））を有していることに留意すべきである。該梯子は、航空機の下で予め決められた距離を示すように、垂直線上に設けられる水平基準線52Aから構成されている。
【００８９】
表示画面上に情報として道筋54がある。この道筋は今後の航空機進路の地上44への垂直投影（地上への投影航路）と、航空機の今後の進路を表わす線48の上にある複数点58の間の複数の垂直線56（航路の垂直線）及び、地上へのこれらの点に対応する垂直投影60を表わしている。
【００９０】
例えば、複数点58は種々の時間間隔、距離間隔の航空機の位置に対応する。
【００９１】
又、合成画像は水平線64の上に表わされている方位角の目盛62を有している。
【００９２】
他方、合成画像は補足情報を持っている。これらは、例えば、表示画面上で、３次元表示の上部にある表示領域66に表示される。これら補足情報は、風（方向、風力）、航空機速度、進路の次の地点のような航行表示画面上に表示される情報に対応する。
【００９３】
図４に示される合成画像に関する、より詳細な事項については、EP特許願  EP1460384を参照されたい。
【００９４】
実施例を使って、図１のアルゴリズムのステップＥ２とＥ３を説明する。該アルゴリズムは、図４で示すボード計器上で展開するシナリオを見ているパイロットに対する、図２と図３に示す眼球運動測定装置を使って収集したデータの量的処理と質的処理に関するものである。
【００９５】
対象となるシナリオによると、パイロットは、山岳地方に近い地域の飛行手順に関連するシナリオの展開の中に置かれている。
【００９６】
パイロットは、図４で表わされる合成画像に視線を注ぎ、シナリオが展開するのを見ている。眼球運動測定装置は、シナリオが展開する期間に対応する所与の期間、パイロットの目の動きを合成画像上に記録する。
【００９７】
この期間は例えば、１５分の期間である。
【００９８】
データの量的処理プログラムに、シナリオ並びに、ボード計器の合成画像上に現れる種々の視覚要素即ち事象を提供することにより（図１のステップＥ２）、眼球運動測定装置10が取得した眼球運動測定データを統計的に解析することが可能になる。この統計的解析結果は図５にヒストグラムの形で示される。ヒストグラムは１７の事象それぞれの出現回数を表わしている。
【００９９】
各事象は、パイロットの視線の下で展開する及びパイロットが見る視覚シーンの視覚要素に対応している。
【０１００】
この処理は重要な統計要素及び重要でない統計要素を浮かびあがらせる。特に視覚シーンが展開する時にパイロットが最もよく見た要素、即ち、パイロットが最も重要であると考えた要素は進路の終点である、何故ならそれが観察期間に３４回出現したからである。
【０１０１】
奥右手の山頂に対応する視覚要素はパイロットが重要と考える順で第２位の事象である。何故なら観察期間21回出現しているからである。
【０１０２】
これら最初の２要素に与えられた重要性は、シナリオにおいて、航空機が合成画像の中の山岳地方の航空機進路に対し奥右手に着陸すると想定されている事実を説明するものである。
【０１０３】
統計処理の結果に基づいて、番号16,17の視覚要素即ち事象は同一生起数で最後の位置にある。これらは、それぞれ航空機シンボルの地上への投影及び、中央から左の山頂に関するものである。
【０１０４】
パイロットが視線を注いだ視覚シーンの視覚要素の統計解析を行った後、図１のステップＥ３に進む、即ち、統計的手法で予め処理されたデータの質的処理を実行する。
【０１０５】
視覚シーンの視覚要素の構造化されたシーケンスをサーチする。これは、観察期間同一の仕方で少なくとも１回繰り返すものである（視覚モチーフ）。
【０１０６】
統計情報、特にパイロットが事象に対して与えた重要性に関する情報を処理する範囲内で、若干数の視覚要素について検出された重要性からこれらシーケンス、即ち、（視覚モチーフの）視覚要素の構造化された連続をサーチすることができる。
【０１０７】
同様に、例えば、情報の取得における色の適合性等、視覚要素の重要性以外の基準を満たす視覚要素に訴える１又は複数の視覚モチーフをサーチすることが可能である。
【０１０８】
データの質的処理を行って図６，７に示す結果を得たときに、パイロットの目の動きについて考慮されなかった。決定された視覚モチーフは単純なモチーフと考えられる。
【０１０９】
図６には、種々の視覚要素即ち、事象が示されている。これらはサーチされた視覚モチーフに存在している。即ち、次の要素である。
―進路の垂直線、
―進路の終点、
―奥左の山頂、
―進路の地上への投影、
―航空機シンボル。
【０１１０】
対になる要素は、前記の質的処理プログラムにより見出されるサブモチーフに対応する。
【０１１１】
最初に、質的処理プログラムを使って、進路の終点を含む視覚要素をサーチすべきである。次に、前記処理により、観察期間に、進路の垂直線に関係する事象の監視に比較して十分に短い時間間隔での進路終点に関係する事象の監視を行って、進路の垂直線に関係する連続事象及び進路終点に関係する事象の連続的出現を検出することができる。
【０１１２】
図６の右の図において、平行線100、102、104、106,108上に、複数点で各線に関する事象の出現を示した。横軸は時間軸110で、目盛は1/10秒を表わす。
【０１１３】
こうして、データの質的処理は、３回同じことを繰り返す視覚モチーフを出現させる。参照番号112、114、116で同定している。この中で、進路の垂直線に関係する第１事象は進路終点に関連する第２事象に直接続いている。
【０１１４】
同様にして、データの質的処理は、番号４，５の２事象と同一の仕方で処理される。これら２事象は地上に投影された航路及び航空機シンボルに関係するものである。前記処理により、観察期間に亘って、３回繰り返しを行う（参照番号118、120、122で同定される）同一視覚モチーフを同定することができる。その中で、地上へ投影される航路と航空機シンボルが連続して出現している。
【０１１５】
進路の垂直線と進路終点（１と２）の後であって、地上に投影された航路に関係する連続事象と航空機シンボル（4と5）の前で、奥左の山頂に関係する最後の事象（第３事象として出現する）を追加することにより、データの質的処理により同一の仕方で２回繰返しを行う視覚モチーフ（参照番号124と126で同定される）を決定することができる。同モチーフは観察期間内にパイロットが２回見た視覚要素の構造化されたシーケンス又は連続に対応する。
【０１１６】
図７に、図４で示したタイプの表示画面を示した。同図はパイロットが見たシナリオの展開時の航空機の合成画像を示している。
【０１１７】
図７の表示画面40上に示されている合成画像は、図６の視覚モチーフ124を表わす。図６の時間軸110によって判断できるように、それは迅速に生成される。
【０１１８】
このように、第１事象即ちパイロットがモチーフの中で見る視覚要素は、表示画面の奥にある進路の垂直線を表わす番号１の要素である。
【０１１９】
パイロットが見る第２番目の要素は、航空機の進路の終点である。第３番目は奥左の山頂に対応する。次にパイロットの視線は地上へ投影された航路に注がれ（要素４）、最後に航空機シンボル（要素５）に戻る。
【０１２０】
このように決定された視覚モチーフは長さ５である。何故なら、それはシーンの５の視覚要素を意味しているからである。即ち、階級レベル数は３である。
【０１２１】
視覚モチーフの階級レベルは、このモチーフにおけるサブモチーフの数に対応し、次のように表わされる。
レベル１：（ａ，ｂ）
レベル２：（ａ（b、c））
レベル３：（ａ（ｂ（ｃ、ｄ）））、
但し、（ｘ、ｙ）はレベル１のモチーフを表わす。
【０１２２】
視覚要素１と２は、レベル１の視覚サブモチーフを形成し、要素４と５も同様であり、視覚要素３に組合せられる２つの要素４と５で構成されるサブモチーフはレベル２の視覚モチーフを形成することに留意すべきである。
【０１２３】
視覚モチーフの決定により、例えば、パイロット候補の研修の際に考慮すべき重要な側面を特定することができる。
【０１２４】
前記した実施例において、画面上でパイロットの視線の動きを追ったが、同様な方法で、パイロットに２又は２以上のボード表示/計器を見るのに必要なシナリオを提示しながら処理を進めることができる。
【０１２５】
パイロットの視線は、１の表示から別の表示への間断ない往復を行っていることを同様な方法で確かめた後で、前記間断ない往復の間にパイロットが見ている複数の視覚要素又は事象を結合する新規表示の概念を検討することができる。
【０１２６】
次に図８乃至１１を参照しながら、パイロットの目の動きを考慮しない場合に及びパイロットの目の動きを考慮する場合に得られる結果を比較手法で示しながら、実施例を説明する。
【０１２７】
この実施例においては、次の視覚モチーフを検討した。
―進路の垂直線、
―進路の終点、
―オウムの梯子（横木）。
これら視覚要素を含む視覚モチーフは、予め行った統計処理の結果から選択されるモチーフ（進路の終点要素を含む）をサーチしたときに、質的処理のプログラムにより見出された。
【０１２８】
図６を参照して説明した方法と同じ方法で、各視覚要素即ち事象の向かいに時間軸が表わされている。線130、132、134上のこれら各事象の出現が時間軸に従って示されている。
【０１２９】
最初に、視覚モチーフをサーチするために、進路の垂直線及び進路終点の２つの事象に関係するデータに質的処理が加えられる。
【０１３０】
データの質的処理により、図８に示される同一視覚モチーフの３つの生起事象136,138,140を決めることができる。
【０１３１】
データの質的処理において、オウムの梯子（横木）が追加される。これにより同一視覚モチーフの２つの生起事象142と144を識別することができる。前記の２つの生起事象は連続する事象即ち、次の視覚要素から構成されている。
―進路の垂直線、
―進路の終点、
―オウムの梯子（横木）。
【０１３２】
次に、図９のスクリーン上で、視覚モチーフ142が表示されている。これは観察期間にパイロットが見る視覚要素を結びつけている。
【０１３３】
視覚モチーフ142と同一のものが所定時間を置いて生成される（視覚モチーフ144）。
【０１３４】
決定された視覚モチーフは長さ３で、レベル２である。レベル１（視覚モチーフ136）の視覚サブモチーフを伴っており、同一の方法で１回出現する（モチーフ142以外に）。
【０１３５】
質的解析の第１ステップにおいては、処理時に、パイロットの目の動きに対応する眼球運動測定データを考慮しなかった。これにより、前記した単純な視覚モチーフを見つけることができた。
【０１３６】
第２ステップにおいて、パイロットの目の動きに対応するデータ（例えば、視線の走査、長期間又は短期間の視線の固定に対応する）が追加され、前段階で見つけた視覚モチーフの視覚要素を含む視覚モチーフをサーチする。
【０１３７】
図１０上で、予め見つけられたモチーフの視覚要素に関係する事象のデータに行った質的処理の結果が再生成された。これら要素は進路の垂直線、進路の終点、オウムの梯子（横木）である。
【０１３８】
前記の視覚要素を含む視覚モチーフを検出して、パイロットの目の動きを考慮すると、多くの情報が得られる。視覚要素、即ち、関連する目の動きにより影響をうける次の事象を同定する図１０の左部分である。
―ズーム−長時間の固定、
―進路の垂直線-走査、
―進路-走査、
―進路-短時間の固定、
―進路の終点-短時間の固定、
―止まり木-走査。
【０１３９】
データベースにはパイロットの目の動きを表わすデータが蓄積されているので、質的処理により、例えば、進路-走査の組のような要素-動きの組のモチーフに挿入しながら、より複雑なモチーフを決めることができる。
【０１４０】
前記図面を参照しながら説明されたものと同じ方法で処理を行い、データの質的処理プログラムは２つの最初の視覚要素（即ち、ズーム-長時間固定及び、進路-走査の垂直線）を含む視覚モチーフをサーチし、最終的に２つの生起事象156及び158（同一なものとして再生成されるモチーフに対応する）を決定した。
【０１４１】
こうして決められた複雑な視覚モチーフは、構造化された方法で図１０に示される６つの視覚要素即ち事象を結びつける。
【０１４２】
視覚モチーフ156が、図１１に示されている。図を単純にするために各視覚要素は数字で示されている。
【０１４３】
丸マークは固定を意味し、四角マークは走査を意味する。
【０１４４】
決められた視覚モチーフは長さ６で、レベル３である。期間内に２回再生されている（図10のモチーフ156と158）。
【０１４５】
複雑な視覚モチーフの内部で同定される視覚サブモチーフ152は、３回再生される（図10のモチーフ150、152、154）。
【０１４６】
パイロットの目の動きに関係する視覚データを追加すると、情報量の多い視覚モチーフが得られる。パイロットの目の動きにより、関心度（長時間固定）又は関心の無さ又は視覚要素の不存在を決定することができる。
【０１４７】
図６乃至１１２で説明した実施例において決定した種々の視覚モチーフからパイロット−コックピットインターフェースの構成要素に対する改善、これらインターフェースの構成要素の使用方法（他、飛行方法）の改善を導くことができる。又はパイロットにコックピットのインターフェースの構成要素に対する研修を行うことができる。
【０１４８】
例示として、パイロットによる装置の利用を特徴とする１又は複数の視覚モチーフを決定すれば、本発明により、パイロットの頭部の上で高いところに配置される表示システム（("Head Up Display")を最適に使用するために、どの時点で使用するかを決定することができる。また、本発明により、このような表示装置を実際に特定の乗り物のパイロットが使用するかどうかを決定することができる。
【０１４９】
別の実施例において、本発明により、ボード計器により提供される２次元の情報に基づいて、パイロットが空間における自分の乗り物の位置の３次元視覚表示を頭の中で構成する報告を行うことが可能になる。
【０１５０】
本発明は空間における乗り物の位置の３次元視覚表示を提供する新規な装置を設計するために役立ち得る。
【０１５１】
本発明は特に、ダッシュボードのインターフェースの構成要素により提供される実際に有用な情報を決定するために有利である。
【０１５２】
実際、眼球運動測定データの取得と質的処理のお陰で、本発明は、操縦者に必要な情報を、特に有用でない又は冗長な情報から分離することが可能になる。
【０１５３】
なお、本発明は、自動車、電車又は船舶の操縦者、又はコンピュータ（表示画面、キー）と相互に関係するプログラムのユーザ、更には携帯電話のユーザ等、別の操縦者-仕事環境の組に適用することができる。
【０１５４】
乗り物、コンピュータ、携帯電話のインターフェースの構成要素のユーザによる使用を反映する視覚モチーフを決めると、本発明により、ユーザ−仕事環境の相互作用を評価し、従って、例えばユーザの仕事位置のergonomie(仕事科学)に関して対応することができる。
【図面の簡単な説明】
【０１５５】
【図１】本発明によるデータ処理プロセスのアルゴリズムである。
【図２】本発明によるデータ処理システムの模式図である。
【図３】図２の眼球運動測定メータの模式図である。
【図４】図１−４の実施例の基礎となるスクリーンの実例である。
【図５】図４のディスプレイに表われる現象のタイプに基づく生成数を表わすヒストグラムである。
【図６】視覚モチーフ検知の模式図である。
【図７】ディスプレイ上で図６上に検知された視覚モチーフを模式的に示す画像である。
【図８】視覚モチーフの検知の模式図である。
【図９】図８上で検知された視覚モチーフの図４のディスプレイ上の模式図である。
【図１０】関係する目の動きと共に視覚モチーフを検知する模式図である。
【図１１】図10上で検知された視覚モチーフの図４のディスプレイ上の模式図である。
【図１】
2009503666.tif 000003
【図２】
2009503666.tif 000004
【図３】
2009503666.tif 000005
【図４】
2009503666.tif 000006
【図５】
2009503666.tif 000007
【図６】
2009503666.tif 000008
【図７】
2009503666.tif 000009
【図８】
2009503666.tif 000010
【図９】
2009503666.tif 000011
【図１０】
2009503666.tif 000012
【図１１】
2009503666.tif 000013
【国際調査報告】
2009503666.tif 000014
2009503666.tif 000015
2009503666.tif 000016
2009503666.tif 000017
2009503666.tif 000018
2009503666.tif 000019