(57)【特許請求の範囲】
【請求項１】
１つ以上存在する領域のうちからユーザが注視している領域を特定し、その領域内の１以上の対象物の中から注視位置対応の対象物を特定するようにしたポインティングデバイス装置であって、
前記領域周辺で色彩により形成するマーク、又は前記領域周辺で光を発光するマーク、又は領域の形状自体を利用したマークより成り、１つ以上の領域を個々に識別するための識別手段と、
ユーザに装着され、ユーザが目視している範囲を撮影する視野カメラと、
ユーザに装着され、前記視野カメラで撮影した画面内でのユーザの視点位置を検出するアイカメラと、
前記視野カメラの撮影画面内における前記ユーザが注視している領域を、前記識別手段及びアイカメラで検出した視点位置により特定し、
前記ユーザが注視している領域内における前記ユーザの視点位置の座標を、前記視野カメラの撮影画面内での前記識別手段の位置及びユーザの視点位置の座標により特定し、
前記ユーザが注視している領域内における前記ユーザの視点位置及び図面データもしくは機器特定データの座標位置に基づいて、ユーザが注視している対象物を特定する手段と、
を備えたことを特徴とするポインティングデバイス装置。
【請求項２】
前記特定された領域内における前記ユーザの視点位置を表示画面内にマーカにより表示することを特徴とする請求項１記載のポインティングデバイス装置。
【請求項３】
前記前記識別手段が、マークの色彩又は個数又は発光波長又は点滅周期を変化させることにより、１つ以上の領域を識別することを特徴とする請求項１又は２記載のポインティングデバイス装置。
【請求項４】
前記識別手段が、領域に付されている特定の図形又は特定の図形に付けたマークであることにより、１つ以上の領域を識別することを特徴とする請求項１又は２記載のポインティングデバイス装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、ポインティングデバイス装置（以下、単にポインティングデバイスと称す）に係わり、特に、１つ以上存在する領域のうちから、ユーザが注視している領域を特定し、その領域内に図面データに基づき表示されている１つ以上の対象物の中から、注視位置対応の対象物が特定されるようにしたポインティングデバイスに関するものである。
【０００２】
【従来の技術】
従来のポインティングデバイスとしては、特開昭60-85899号、あるいは電子情報通信学会論文誌Ａ、Ｊ71−Ａ巻、12号2192〜2197頁において論じられているものがある。この従来技術では、アイカメラあるいはアイカメラと視野カメラを用いてユーザの注視点を求めており、画面上のポインティングデバイスにも使用できるものである。この他の従来技術としては、例えば特開昭62-196723号に示されたものでは、表示画面周辺部に点光源を設け、視野カメラに写った点光源についての画像をもとに、ユーザの頭部の回転角度を検出し、アイカメラにより検出された眼球の位置を補正するようにしている。また、特開昭62-53630号および特開昭62-53631号に示されたものでは、測定空間内に特徴物を設置し、視野画像内での特徴物の位置をもとに、アイカメラからの視点情報を補正する。これらの発明に於いては、ユーザ位置の移動時にも、視点情報の補正が可能である。さらに、指差信号をポインティングに使用する技術として、特願昭60-99532号に記載のものが知られており、ユーザが移動しながらのポインティングが可能なものである。
【０００３】
上記した従来技術の、特開昭60-85899号及び電子情報通信学会論文誌に示されたもの、及び特開昭62-196723号に示されたものは、眼球と頭部の移動する状況下で、ユーザの視点位置を求めることには有効であるが、ユーザの身体の位置が大きく移動するような場合には使用できない。また、特開昭62-53630号及び同62-53631号に示されたものは、初期の視野画像及び前回の視野画像を記憶しておき、それと最新の視野画像とから、ユーザの頭部位置を補正するものであるため、ユーザの動きが大きく、視野画像内から特徴物が一時的にはずれるような場合については、処理が複雑になるという問題がある。さらに、表示画面が複数個ある場合に、視点がどの表示画面のどの部分にあるかを特定することについての配慮がなされていない。さらに、特願昭60-99532号に示されたものは、スクリーンの周囲に多数の受光素子を配置する必要があり、特に大型の表示画面については簡便に製作できないという問題があった。
【０００４】
本発明の目的は、１つ以上の領域各々に１以上の対象物が表示又は存在する場合、先ずユーザが注視している領域を特定し、その領域内から図面データを用いて注視位置対応の対象物を簡単に特定することができるポインティングデバイス装置を提供することにある。
【０００５】
【課題を解決するための手段】
前記目的を達成するため本発明は、１つ以上存在する領域のうちからユーザが注視している領域を特定し、その領域内に図面データに基づき表示されている１以上の対象物の中から注視位置対応の対象物を特定するようにしたポインティングデバイス装置であって、１つ以上の領域を個々に識別するための識別手段と、ユーザに装着される視野カメラ及びアイカメラと、前記視野カメラのモニタ画面内におけるユーザの視点位置及び前記識別手段の位置に基づいて前記ユーザが注視している領域を特定し、前記ユーザが注視している領域内における前記ユーザの視点位置の座標を、前記視野カメラのモニタ画面内での前記識別手段の位置及びユーザの視点位置の座標により特定し、前記ユーザが注視している領域内における前記ユーザの視点位置及び図面データの座標位置に基づいて、ユーザが注視している対象物を特定する手段と、を備えたことを主な特徴とする。
【０００６】
【作用】
本発明は、ユーザが移動しても、また、領域が複数ある場合でも、ユーザが何れの領域を注視しているかを、モニタ画面内におけるユーザの視点位置及び識別手段により容易に特定し、更に当該注視している領域内における１以上の対象物を注視しているかを図面データを用いて特定することができる。
【０００７】
【実施例】
以下、本発明を実施例により説明する。図１は本発明の一実施例を示すブロック図で、表示装置11の表示画面1001の周辺の４隅には、赤外線ランプ1101が設けられている。表示画面1001には、表示制御装置1201を介して表示図面データ1301の図面が表示される。ユーザ2401は、眼球の動きを検出するアイカメラ1401とユーザの正面の様子を撮影するための、小形カメラである視野カメラ（赤外線に対する感度のよいもの）1501、及び音声入力用のマイク1901を装着している。また他の入力機器としてキーボード1801が用意されている。カメラ信号処理装置1601は、アイカメラ1401と視野カメラ1501の信号を基に、表示画面1001内の視点の位置座標を求める。この信号を基に、対象物特定装置1701は、表示画面1001に表示中の表示画面データから、ユーザが注視している表示画面内の対象物を特定する。一方、入力解析装置2001では、入力解析用データ2101を用いて、マイク1901及びキーボード1801からの入力を解析する。この結果が入力信号総合処理装置2201に入力され、対象物特定装置1701からの注視対象物についての情報と合わせて、計算機2301に処理命令として出力される。
【０００８】
図２は、カメラ信号処理装置1601の動作を示すフローチャートである。この装置では、常時周期的にこの処理を実行する。まず、視野カメラ1501及びアイカメラ1401からの信号を取り込み（ステップ9111)、次に視野カメラ1501の信号から、輝度レベルにもとづいて視野内、即ち視野カメラのモニタ画面内での赤外線ランプの位置座標を求める（ステップ9112)。ついで、アイカメラ1401の信号から、視野カメラ1501のモニタ画面内での視点の位置座標を求める（ステップ9113)。さらにモニタ画面内での赤外線ランプの位置座標及び視点位置座標から、実際の表示画面の赤外線ランプ位置などの情報を基に、透視変換などの通常の画像処理技術を用いて、表示画面1001上の視点の座標を求める（ステップ9114)。
【０００９】
図３は、対象物特定装置1701の動作を示すフローチャートである。まずカメラ信号処理装置1601で検出された視点の座標を取り込み（ステップ9121)、この視点の座標をもとに、表示画面データを参照して視点位置に表示されている対象物を特定する（ステップ9122)。
【００１０】
図４は、表示図面データ1301の一例を示す図で、表示物の名称とそれが表示されている表示画面1001上の座標から成っている。ただし座標は、表示物が表示されている領域を四角形で近似したときの、各頂点の座標である。なお、上記領域を多角形で近似することも可能であり、その場合にはその各頂点の個数に見合った座標データを用意する必要がある。
【００１１】
次に、入力解析装置2001と入力信号総合処理装置2201の動作を説明する。これらの装置は、マイクあるいはキーボードからの入力があった場合にのみ動作する。
【００１２】
図５は、入力解析装置2001の動作を示すフローチャートである。これはキーボード1801あるいはマイク1901からの入力文を解析して、処理命令、即ち関数と引数値に変換して出力するもので、入力文として、「アツリョク  トレンド  ヒョウジ。」がステップ101で入力された場合を例として動作を説明する。辞書202に記載された単語の品詞カテゴリと文法201とを参照して、入力文の形態素・構文解析が行われる。この結果、入力文が分割書きされ、各々の単語にそれぞれ意味カテゴリ及び意味が付加される。ここで、形態素・構文解析の手法としては、通常使用されている手法、例えば予測ボトムアップ法などを使用する。また文法は、文の構造に関する規則であり、例えば
Ｓ（文）→ＮＰ（名詞句）  Ｓ（文）
は、左辺のＳが右辺のＮＰとＳにより構成されうるという規則を表すものである。また辞書には、各見出し語について、品詞カテゴリ、見出し語をかな漢字に変換した表示語、意味カテゴリ、及び意味の４つの情報を与えている。ただし助詞については品詞カテゴリと表示語の２つだけを与えている。なお、入力文に含まれる語の認定は、ワードプロセッサなどで通常用いられる最長一致法による辞書引きによっても、同様に実施できる。
【００１３】
次に、命令内容の同定のための処理ステップ103を実行する。この処理では、構文解析の結果を取り込み、命令同定ルール203を用いて命令内容を同定する。ここで命令とは、例えばSHOW-SVAR（状態量の提示命令）などのようなものである。また命令同定ルールは、各々の命令に対してその命令を同定するための標準的な文パターンを与えたものである。命令同定では、図６で詳細に述べるように、入力文と各々の文パターンとのマッチングを順次試み、マッチングした文パターンに対応する命令を入力命令であるとする。図の例では、文パターン「￥＜状態量＞？提示＋せよ」が入力文とマッチングし、入力命令がSHOW-SVARであるという同定結果が得られている。この処理では、文パターンを与えるために、いくつかの記号を用意している。「％」は入力文に助詞がある場合にのみマッチングに使用する語を表す記号であり、これにより対話文によく見られる助詞の省略に対応することが可能である。「＋」は省略可能な語を表す記号で、体言止めなどに対応するためのものである。「？」は任意個の語を表す記号であり、これによって文パターンの設定を容易としている。さらに、「￥」は語の意味カテゴリとのマッチングをすることを表す。
【００１４】
ここで命令内容同定部の詳細な処理内容を説明する。図６はそのフローチャートで、まず文パターン番号を１に設定する。またその文パターンについて、文パターン中の語の番号を表すｉを文パターンの語の総数Ｉに設定する。さらに、入力文の語の番号を示すｊを入力文の語の総数Ｊに設定する（ステップ401)。次にｋ番目の文パターンのｉ番目の語Ｐiと入力文のｊ番の語Ｗjを持ってくる（ステップ402)。このＰiとＷjとについて以下に述べるマッチング処理を実施する。なお、始めはｉはＩに、ｊはＪに設定されているので、入力文及び文パターンの文末から文頭に向かって、語の比較を実施することになる。
【００１５】
マッチングの処理は、文パターンの語Ｐiの形、つまり前述の記号の有無によって異なる（ステップ403）。まず、記号がついていない場合の処理を説明する。この場合には、ＰiとＷjとを比較し（ステップ404）、これらが同じ場合には、ｉとｊを１だけ減じる（ステップ405）。つまり比較する語を１つ前のものとする。この結果ｉが０となった場合（ステップ406）は、文パターンの語全てが入力文の語とマッチングした場合なので、その文パターンｋに対応する命令名を、入力された命令内容であるとして出力する（ステップ410）。
【００１６】
一方、ｉが１以上の場合（ステップ406）には、ｊについての判定を実施する（ステップ407）。この結果、ｊが１以上であれば、ステップ402からの処理を繰り返す。逆にｊが０であれば、文パターンｋと入力文とのマッチングが失敗したので、次の文パターン（ｋ＋１）とのマッチングの準備をする（ステップ408）。ついで文パターンがまだ残っていれば（ステップ409）、ステップ402からの処理を新しい文パターンについて実行する。一方、文パターンがなくなった時には、命令同定不可の旨を出力し処理を終了する（ステップ412）。
【００１７】
Ｐiに記号「￥」が付いている場合には、ＰiとＷjの意味カテゴリを比較する（ステップ413）。その結果に応じて前述と同様の処理を実施する。
【００１８】
Ｐiに記号「％」がついている場合には、Ｗjの品詞カテゴリが助詞であるか否かを判定する（ステップ414）。その結果、助詞であればＰiとＷjを比較し（ステップ415）、結果に応じて前述と同様の処理を実施する。一方、Ｗjが助詞でない場合には、ｊを１減じ、ｊが１以上であれば（ステップ417）、ステップ402にもどる。一方、ｊが０であれば、入力文の語がなくなったので、文パターンｋと入力とのマッチングは失敗したとして、次の文パターンについての処理、即ちステップ408からの処理を実施する。
【００１９】
「Ｐi」に記号「＋」がついている場合には、ＰiとＷjとを比較し（ステップ418）、同じであればステップ405からの処理を実施する。一方、異なる場合には、ｉを１減じた後ｉが１以上であればステップ402に戻る。ｉが０になった場合には、文パターンｋの語が全て（省略可能なものを除いて）入力文に含まれていたということなので、ステップ410に戻り、命令同定を終了する。
【００２０】
Ｐiが記号「？」である場合には、「？」の前の語Ｐi−１とＷjを比較する（ステップ421）。この結果、語がマッチングすれば、ｉから１を減じて、次の語についてのマッチング処理をステップ405から実行する。一方、同じでなければｊを１減じ、ｊが１以上であれば（ステップ424）、ステップ402から入力文の１つ前の語を用いてマッチング処理を実施する。ｊが０であれば、文パターンｋとのマッチングは失敗したので、次の文パターンｋ＋１とのマッチング処理、即ちステップ408からを実行する。
【００２１】
以上に詳述した図５のステップ103の命令同定処理が終わると、次にステップ104で同定した命令の実行に必要な情報の取得のための処理を行う。即ち命令によっては、その実行のためにいくつかの情報が必要なので、その情報取得を制御するための方法として、必要な情報項目とその取得方法をフレーム形式のデータとして用意した。これを格フレームという。格フレームは命令ごとに定義しており、命令名称のフレームの各スロットに、その命令の実行に必要な情報の項目を与えている。図５の格フレーム204の例では、命令SHOW-SVARに対して「状態量」、「表示形態」、及び「場所」の３つの情報が必要であることが示されている。各スロットのファシット及び値には、その情報を得るのに必要なデータを与えている。VALUEファシットには、入力文から検索すべき語の意味カテゴリ名が、IF-NEEDEDファシットには、入力文中に必要な語がない場合に起動すべき関数の名称が与えられている。ここで、関数STACKは対話履歴スタックを参照する関数、関数ASKは質問者に情報の追加入力を要求する関数である。また、関数CAMERAは、対象物特定装置1701からの結果を使用するようにするためのものである。この関数が起動されると、対応する格の値として、？Placeを書き込む。
【００２２】
ステップ104の処理の流れを図７のフローチャートに示す。まず命令名をフレーム名としてもつ格フレームを取り出す（ステップ501）。次にｉを１に設定する（ステップ502）。この初期処理のあとに、第ｉスロットのVALUEファシットの値を読み、Ｖiの値として設定する（ステップ503）。このＶiの値がnilでなければ（ステップ504）、入力文の中から意味カテゴリをもつ語を捜す（ステップ505）。該当する語が発見できれば（ステップ506）、得られた語を第ｉスロットの情報項目の値として設定し（ステップ507）、まだスロットが残っていれば（ステップ510）、ｉを１増やして（ステップ511）、次のスロットについての処理に移る。一方、ステップ506で語を発見できない場合、あるいはステップ504でＶiの値がnilの場合には、IF-NEEDEDファシットの値を読み、Ｎiの値として設定する（ステップ508）。次いで、Ｎiの関数を順次実行する。その結果、値が得られた場合には、それを第ｉスロットの情報項目の値として設定して（ステップ509）、次のスロットについての処理に移る。
【００２３】
以上の動作を図５の入力の例について述べると、命令SHOW-SVARに対応する格フレームには、「状態量」、「表示形態」、及び「場所」の３つのスロットがある。「状態量」については、まずVALUEファシットの値として与えられている意味カテゴリ＜状態量＞をもつ語を入力文の中で検索する。今、入力文には、対応する語「圧力」が含まれている。これにより、「状態量」の値として「圧力」が設定される。同様に表示形態についても、入力文から、意味カテゴリ＜表示形態＞を持つ語として「トレンド」が得られ、値として設定される。「場所」については、入力文から、意味カテゴリ＜Place＞の語が検索されるが、今、入力文中に対応する語はない。そのため、IF-NEEDEDファシットの値が参照され、関数CAMERAが実行される。この結果「場所」の値として「？Place」が設定される。
【００２４】
以上のようにして命令実行に必要な情報の取得が終わると、最後にステップ105の関数・引数への対応づけのための処理が実行される。この処理では、前の処理で得られた命令及び情報項目の値を、プログラムの関数と引数に対応づけて出力する。図５の入力の例では、SHOW-SVARと「表示形態」トレンドから、関数名が「トレンド表示」に設定される。また引数値としては、「圧力」及び「？Place」が設定される。
【００２５】
図８は、入力信号総合処理装置2201の動作を示すフローチャートである。この装置ではまず、入力解析装置2001で定められた関数名と引数値とを読み込む（ステップ9151）。次に、引数の中に変数？Placeがあるか否かを判定する（ステップ9152）。この結果、変数がなければ、入力解析装置2001からの関数、引数値を処理命令として計算機に出力する（ステップ9153）。一方、変数がある場合には、対象物特定装置1701から、ユーザが注視している対象物を読み込む（ステップ9154）。更に、変数？Placeに対象物の名称を設定し、処理命令を完成させて計算機に出力する（ステップ9155）。
【００２６】
以上説明したごとく、本実施例になる装置を使用すれば、ユーザの装着したアイカメラ及び視野カメラからの視点についての信号、及び表示画面の周辺部に設けられた赤外線ランプの画像についての信号を用いて、ユーザが注視している表示画面内の座標及びそこに表示されている対象物を求めることができる。これによって、簡便でかつ操作場所を限定されないポインティングが可能となる。また、音声、キーボードからの入力と、注視対象物についての情報を総合して、計算機への命令とすることができる。これらにより、ポインティング操作のみならず、計算機への入力作業の簡単化、作業性の向上などが実現できる。
【００２７】
なお、以上に説明した実施例においては、表示画面の形状を与えるためのマークとして、表示画面の４隅に赤外線ランプを設置するものとしたが、これは種々の変形が可能である。図９はその一例であり、赤外線発光源2501〜2504から４つの漏洩ファイバの枠2701〜2704へ赤外線を送るようにし、さらに各赤外線発光源は点滅し、その点滅周期は各発光源で異なっている。このようなマークを使用する場合には、カメラ信号処理装置1601において、視野カメラの画像中のマークと視点についての信号から、視点がどのマークで囲まれた枠内にあるかを、視点を取りかこむマークの点滅周期から求める。その後、特定された枠内での視点の座標を求めるようにすれば、表示画面上の視点の座標を精度よく求められる。これは特に大画面表示装置のような表示装置を使用する場合に有効である。
【００２８】
図１０は、マークのもう１つの例を示す模式図である。１つの赤外線発光源2505からの赤外線は、スターカプラ2601、漏洩ファイバ2700、光ファイバ経由で点光源2801〜2804へ導かれる。表示画面1001は４分割されその各々で点光源の数が異なっている。このマークを使用すると、視点がどの分割領域にあるかを、漏洩ファイバからの光と、視点と同一分割領域内にある点光源の個数から判定する。それ以外の処理については、図９の例と同様である。本例によると、視点の座標精度を向上できる他、使用する赤外線光源の個数が１個でよいという効果がある。
【００２９】
なお、これらの例では、表示画面1001をマークによって４分割したが、分割数を変えることは可能である。また、全表示画面についてマークを付けるのではなく、表示画面の一部のみにマークを付け、その部分のみポインティング可能な領域として使用することもできる。例えば、画面の一部を漏洩ファイバで囲み、視点がこの部分に入ったときのみ音声での入力を受け付けるようにし、音声入力のスイッチングに使用することができる。また、ここでは光源として赤外線光源を考えたが、これを他の波長の光源、例えば可視光の光源としても全く同様の機能が実現できる。
【００３０】
図１１は本発明の第２の実施例を示すブロック図で、表示盤2901には３個の表示画面1001〜1003が設置され、その周辺部にはそれぞれ赤、緑、青色のマーク3001〜3003が付けられている。各表示画面には、表示図面データ1302の図面が表示制御装置1202によって表示されている。ユーザ2401はアイカメラ1401と視野カメラ1501、1502、及び音声入力用マイク1901を装着し、またキーボード1801も用意されている。カメラ信号処理装置1602は、アイカメラ1401と視野カメラ1501、1502の信号をもとに、ユーザの視点がどの表示画面のどの座標にあるかを求める。この信号をもとに、対象物候補特定装置1702では、表示画面に表示されている図面の内で、ユーザが注視している対象物を求める。一方、入力解析装置2001では、入力解析用データ2101を用いて、マイク1901及びキーボード1801からの入力を解析する。この結果が入力信号総合処理装置2202に入力される。次いでこの装置で対象物候補と、対象物限定データ2203を用いて、ユーザの注視している対象物を特定し、入力解析装置2002からの信号と総合して、計算機2301に処理命令を出力する。これら各部の処理は、大筋では図１の場合と同様であるが、表示画面の個数とマークが異なっているので、その点での相違がある。以下、それらの詳細を説明する。
【００３１】
図１２はカメラ信号処理装置1602の動作を示すフローチャートである。まず視野カメラ1501、1502およびアイカメラ1401からの信号を取り込み（ステップ9211）、次に視野カメラのモニタの画面内で視点の位置座標を求める（ステップ9212）。次に視野カメラのモニタ画面内で視点を取りかこむマーク3001〜3003を特定し、その色を判別する（ステップ9213）。例えばマークの色が赤であると認識された場合には、視点が表示画面1001の中にあると特定される。次いで判別されたマークについて、マークの４隅の点の視野カメラのモニタ画面内での座標を求める（ステップ9214）。この位置座標及び視点の位置座標から、実際のマーク形状についての情報を用いて、表示画面上での視点の座標を求める（ステップ9215）。この処理は、通常の画像処理の手法により実施する。
【００３２】
次いで、対象物候補特定装置1702で、視点があると特定された表示画面に表示されている図面についてのデータから、ユーザが注視している対象物の候補を求める。ここでの処理は、前述した図１の対象物特定装置1701での処理と同様である。但し、表示図面データの内容が異なり、同一の画面内の点に複数個の対象物を対応付けることを許している。つまり、対象物候補特定装置は、視点の座標から１つ以上の対象物候補を出力することになる。以下では、表示画面には原子力プラントの圧力容器の図面が表示されており、対象物候補として、気水分離器と蒸気ドームの２つが得られたものとする。
【００３３】
次に、マイク1901あるいはキーボード1801からの入力を入力解析装置2001で解析する。これは図１のものと全く同じ処理を行う。そこで今、マイク1901から
「圧力トレンド示せ」
という入力があった場合を考えると、この入力が解析され、
トレンド表示（圧力、？Place）
という命令であると同定される。ここで、？Placeは場所を表す変数である。この同定された命令と先に求めた対象物の候補を取り込み、入力信号総合処理装置2202は、計算機2301への命令を作成する。
【００３４】
図１３は入力信号総合処理装置2202の動作を示すフローチャートである。この装置は、まず入力解析装置2001から関数名と引数値を読み込む（ステップ9221）。次に引数の中に変数？Placeがあるか否かを判定する（ステップ9222）。判定の結果、変数？Placeがなければ、入力解析装置2001からの関数、引数をそのまま処理命令として計算機2301に出力する（ステップ9223）。一方、変数がある場合には、対象物候補特定装置1702から、ユーザが注視している対象物候補を読み込む（ステップ9224）。今の場合、対象物候補として気水分離器と蒸気ドームの２つが得られる。次いで、特定の引数（今の場合は状態量、値は「圧力」）の値を基に、対象物限定データを検索する（ステップ9225）。
【００３５】
ここで、対象物限定データ2203について説明する。図１４は対象物限定データの一部の内容を示す図で、状態量とプラント内の部位との関係が与えられている。このデータは、例えばドライウエル、蒸気ドームなどについては圧力が計測されており、炉心などについては流量が計測されていることを表している。
【００３６】
図１３に戻って、ステップ9225でこのデータを検索した後、引数値（今の例では「圧力」）に対応する部位として対象物候補が有るかどうかを判定する（ステップ6226）。この結果、なければ場所についての入力をユーザに要求する（ステップ6229）。この要求に従い、ユーザからマイクなどでの入力があればそれを解析して、処理命令を完成する。一方、候補があった場合には、それが１つか否かを判定する（ステップ6227）。その結果、候補が２つ以上ある場合には、ユーザに選択を要求する（ステップ6230）。候補が１つの場合には、それを変数？Placeの値として設定し、命令を完成して計算機に出力する（ステップ6228）。今考えている例では、対象物の候補として、気水分離器と蒸気ドームの２つが得られたが、マイクからの入力を解析して得られた引数値「圧力」から対象物限定データの参照により、圧力が計測されている部位である蒸気ドームが選択される。その結果、命令
トレンド表示（圧力、蒸気ドーム）
を完成し、計算機2301に出力する。
【００３７】
以上説明したごとく、本実施例になる装置を使用すれば、複数個の表示画面を用いるような場合に、ユーザの視点がどの表示画面のどの部分にあるかを特定することができる。従って多数の表示画面を使用するプラント運転などの場合での命令入力に有効である。なお、本実施例では、ユーザが１人の例を示しているが、複数人の場合にも同様の処理が可能である。
【００３８】
図１１の実施例では、表示画面1001〜1003を異なる色の枠で囲んでその識別を行うものであるが、これを別の方法によって行うようにした例を図１５に示す。同図において、表示盤2901には３個の表示画面1001〜1003が設けられ、それぞれの周辺にはマーク3004が設けられている。このマークは赤外線あるいは可視光線の発光源、もしくはペンキなどの塗料で記入されたものである。このようにして、マークの個数によって表示画面を区別することができる。さらに、表示画面左右及び上下のマークの個数を変えることにより、視野カメラの画像にどの表示画面のどの部分が写っているのかを認識できる。また、マークの区別をその個数と配置だけでなく、色、光源強度、点滅周期やそれらの組合わせで行うようにすることもできる。このようなマークを使用することにより、ユーザの頭部が大きく回転した場合についても、画面の上下左右を簡単に判別することが可能となる。
【００３９】
図１６は本発明の第３の実施例になる装置の構成を示すブロック図である。ユーザ2401の帽子3301には矢印マーク3302がつけられ、モニタカメラ3101はこれをモニタする。表示画面特定装置3201は、モニターカメラ3101がとらえた矢印マーク3302の信号をもとに、ユーザが向いている方向にある表示画面を特定する。カメラ信号処理装置1603は、ユーザが装着したアイカメラ1401、視野カメラ1501の信号を基に、上の処理で特定された表示画面内での視点を求めて、計算機2301に入力する。
【００４０】
ここで、表示画面1001〜1003の周辺部あるいはその内部にはマークをつけず、表示画面はその枠の形状と色をマークとして用いるものとする。この方法によれば、表示画面あるいはその内部にマークをつける必要がなく、予め存在するものをマークとして使用することができ、表示要求等の作成の手間を省力化できる。さらに、ユーザの動きを、帽子の矢印をモニタしてとらえ、ユーザが見ている表示画面の候補を絞ることができる。この方法は、第２の実施例などと併用可能であり、とくに表示画面の数が多い場合には、その特定の処理の高速化、簡単化に役立つ。
【００４１】
なお、ここでは表示画面の枠の形状と色をマークとして使用したが、画像処理技術が進歩すれば、表示画面に表示された図面を認識し、ユーザの視点のある部分に表示されている対象物を直接特定することが可能である。
【００４２】
図１７は本発明の第４の実施例を示すものである。同図において、プラントの制御盤3501には、メータ3401〜3404及びスイッチ3601〜3604が設置されている。赤外線光源2506〜2512からの光は、光ファイバ3801〜3807によって分岐器3701〜3707に導かれている。この分岐器には漏洩ファイバ3901〜3907が接続され、このファイバはスイッチやメータを囲むように配置されている。赤外線発光源2506〜2512は、各々相異なる波長の光を発生している。
【００４３】
一方、ユーザ2401の装着したアイカメラ1401及び視野カメラ1501は、信号送信装置4001及び信号受信装置4101を経由し、計算機4201にそのデータ入力部4202を介して取り込まれる。この信号は機器特定部4601、データ記録部4602、出力部4203を介して記憶装置4401に記憶される。機器特定部4601では、機器特定用データ4402を、入力部4207、出力部4208を介して利用する。一方、命令入力装置4301から、入力部4205を介して命令が入力されると、データ検索部4603が動作し、記憶装置4401から入力部4202を介して記録されたデータが読み出され、入力命令に沿った形態で出力部4206を介して出力装置4501に表示、印字、あるいはコピーされる。
【００４４】
本実施例は、例えばプラント運転中の運転員の視点の動きを自動的に記録、処理するためのもので、起動されると図１８の処理を周期的に実施する。まず、視野カメラ（赤外線カメラ）に写った漏洩ファイバの枠のうちのどの枠内にアイカメラからの視点が入っているかを特定する。この処理ステップ9301の詳細なフローチャートは図１９に示されており、これは機器特定部4601で実行される。即ちまず、視野カメラ、アイカメラからの信号を取り込み（ステップ9311）、視野カメラのモニタ画面内での視点の位置座標を、アイカメラ信号から求める（ステップ9312）。次に視野カメラのモニタ画面内で視点を取りかこむ枠を特定する（ステップ9313）。次に特定した枠についての輝度情報から、枠の赤外線光源の点滅周期を求める（ステップ9314）。この点滅周期をもとに、機器特定用データを用いて枠内の機器個数を求める（ステップ9315）。その結果、特定された枠内に機器が１つだけの場合には（ステップ9316）、その機器を特定して処理を終了する(ステップ9317）。一方、枠内に複数個の機器がある場合、枠内での視点の座標を、図１１の実施例のカメラ信号処理装置1602と同様の処理により求める（ステップ9318）。次に機器特定用データを用いて、視点の座標から機器を特定する（ステップ9319）。
【００４５】
なお、ここで用いた機器特定用データの一部を図２０に示す。このデータは、枠の赤外線光源の点滅周期ごとに、枠内機器の個数、機器名称を与えている。さらに枠内に複数個の機器がある場合には、各々の機器に対応する領域を定義するための、各領域を四角形で近似し、四角形の４つの頂点の座標を与える。ここで、各領域を定義する場合に、枠内を左右２領域にわけるときに分割点のｘ座標のみを与えるか、あるいは多角形や円などにより領域を定義することも同様に可能である。
【００４６】
以上のようにして、図１８のステップ9301により視点の入っている表示画面が特定されると、次にその時点の時刻と、運転員が見ているメータ、スイッチなどの名称などに係わる情報を、記憶装置4401に記憶する（ステップ9302）。
【００４７】
一方、命令入力装置4301から表示命令が入力されたときには、図２１の処理が起動され（ステップ9303）、記憶装置4401に記憶された運転員の視点の時間的な動作についての情報を、出力装置4501に表示あるいは他の形で出力する（ステップ9304）。この出力装置への出力は、命令入力装置からの要求があれば、データの処理と平行して、即ちモニタとして出力することが可能である。なお、本実施例になる装置では、漏洩ファイバを配置し、各々の点滅周期を変えることにより、運転員の注視している機器などを特定した。この特定は、前に述べた実施例で示した各種の方法によっても実施可能である。あるいは、スイッチ、メータの形状あるいはそれに付随して設置された銘板上の文字などの認識によっても、同様に実現できる。
【００４８】
本実施例によれば、プラント運転中の運転員の視点の動きをモニタし、その注視している対象物名称あるいは番号などとともに記録できる。従って例えばメータを見る頻度、ある時間内での視点の動作範囲などの分析を、計算機を用いて容易に行え、制御盤の評価、設計などに生かすことができる。なお、本装置では視点の動作のみモニタしたが、マイク、音声認識装置を用いれば、運転員の発話の履歴についても同様に記録し、利用することが可能である。
【００４９】
図２２は本発明の第５の実施例を示すブロック図で、表示画面1001の周辺には赤外線光源2513を接続した漏洩ファイバ3908が配置されている。ユーザ2401は、赤外線投光器（指差レーザ）4701を持ち、あるいは指などに装着している。この投光器には、投光のオン、オフスイッチ4702が設けられている。モニタ用の赤外線カメラ3102は、表示画面1001の前方に固定設置され、その信号が指差位置特定装置5001を介して、計算機2301に入力される。さらに計算機に入力された指差位置は、表示制御装置1204を介して、指差マーカ4901として表示画面1001上に表示される。
【００５０】
図２３は本実施例になる装置での処理の概要を示すフローチャートである。まずモニタカメラの信号から、指差位置特定装置5001によって、指差レーザのレーザ光が、表示画面上にぶつかり反射する点の表示画面上の位置をステップ9401で求める。このステップ9401の詳細な内容は図２４に示されており、まずモニタカメラ3102の信号を読み込み（ステップ2411）、この信号から投光器4701からの指差レーザ光の折れ曲がり点を検出し、その点のモニタ画面内での座標を求める（ステップ9412）。次いで漏洩ファイバ3908で作った枠の各辺を表す直線の式を、モニタ画面座標上で求める(ステップ9413）。次いで枠の各辺の式と、折れ曲がり点の座標から、実際の枠形状についての情報を用いて折れ曲がり点、即ちユーザが指差した点の表示画面上での座標を求める（ステップ9414）。この処理は、通常の画像処理の手法によって実施する。なお、この実施例では、赤外線光源と漏洩ファイバによって、表示画面のまわりに枠を作った。しかしモニタカメラは固定できるので、モニタ画面内での座標と表示画面上の座標の変換に必要な関係を予め用意しておけば、枠がない場合でも、同様の指差点特定処理を実施できる。
【００５１】
次に、図２３に戻って、ステップ9401で求めた座標を計算機2301に入力し、指差によるポインティング情報として利用する（ステップ9402）。さらに、表示制御装置1204にステップ9401で求めた座標を入力し、表示画面上に表示する（ステップ9403）。
【００５２】
以上述べたように、本実施例になる装置によれば、指差信号をポインティングに使用できる。またスクリーンの周囲に多数の受光素子を配置する必要のある従来技術に対し、モニタカメラ、赤外線投光器、及び赤外線光源と漏洩ファイバによって装置を構成することが可能であり、画面の大型化に容易に対応できる。また本実施例では、表示画面が１つの場合を示したが、これが複数個ある場合についても、他の実施例で示したように、各表示画面ごとに赤外線光源の点滅周期を変える、可視光の利用、塗料によるマーク、あるいは表示画面の形状をマークとして利用する、などの方法によっても同様に実現できる。
【００５３】
【発明の効果】
以上、説明したように、本発明によれば、ユーザが移動する場合でも、ユーザの眼球の動きについての情報を表示画面のポインティング、更には特定表示画面内での対象物のポインティングに使用でき、その非接触操作故に、操作場所が限定されないポインティングデバイスが実現され得るものとなっている。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を示すブロック図である。
【図２】第１実施例の動作説明図である。
【図３】第１実施例の動作説明図である。
【図４】第１実施例の動作説明図である。
【図５】第１実施例の動作説明図である。
【図６】第１実施例の動作説明図である。
【図７】第１実施例の動作説明図である。
【図８】第１実施例の動作説明図である。
【図９】表示画面識別のための方法を示す図である。
【図１０】表示画面識別のための方法を示す図である。
【図１１】本発明の第２の実施例の構成を示すブロック図である。
【図１２】第２実施例の動作説明図である。
【図１３】第２実施例の動作説明図である。
【図１４】第２実施例の動作説明図である。
【図１５】第２の実施における表示画面識別のための方法を示す図である。
【図１６】本発明の第３の実施例の構成を示すブロック図である。
【図１７】本発明の第４の実施例の構成を示す図である。
【図１８】第４実施例の動作説明図である。
【図１９】第４実施例の動作説明図である。
【図２０】第４実施例の動作説明図である。
【図２１】第４実施例の動作説明図である。
【図２２】本発明の第５の実施例の構成を示すブロック図である。
【図２３】第５の実施例の動作説明図である。
【図２４】第５の実施例の動作説明図である。
【符号の説明】
1001〜1003…表示画面、1101…赤外線ランプ、1301，1302…表示図面データ、1401…アイカメラ、1501，1502…視野カメラ、1601〜1603…カメラ信号処理装置、1701…対象物特定装置、1702…対象物候補特定装置、1801…キーボード、1901…マイク、2001…入力解析装置、2101…入力解析用データ、2201，2202…入力信号総合処理装置、2203…対象物限定データ、2301…計算機、2401…ユーザ、2700〜2704，3901〜3907…漏洩ファイバ、3001〜3004…マーク、3101，3102…モニタカメラ、3201…表示画面特定装置、3301…帽子、3302…矢印マーク、4201…計算機、4301…命令入力装置、4601…機器特定部、4701…赤外線投光器、4901…マーカ、5001…指差位置特定装置。
【図１】
0003787649.tif 000002
【図２】
0003787649.tif 000003
【図３】
0003787649.tif 000004
【図４】
0003787649.tif 000005
【図５】
0003787649.tif 000006
【図６】
0003787649.tif 000007
【図７】
0003787649.tif 000008
【図８】
0003787649.tif 000009
【図９】
0003787649.tif 000010
【図１０】
0003787649.tif 000011
【図１１】
0003787649.tif 000012
【図１２】
0003787649.tif 000013
【図１３】
0003787649.tif 000014
【図１４】
0003787649.tif 000015
【図１５】
0003787649.tif 000016
【図１６】
0003787649.tif 000017
【図１７】
0003787649.tif 000018
【図１８】
0003787649.tif 000019
【図１９】
0003787649.tif 000020
【図２０】
0003787649.tif 000021
【図２１】
0003787649.tif 000022
【図２２】
0003787649.tif 000023
【図２３】
0003787649.tif 000024
【図２４】
0003787649.tif 000025