(57)【特許請求の範囲】
【請求項１】
操作用ボタン表示を有する視線操作画面を表示部の表示画面に表示するための表示制御部と、
前記表示画面の四隅の領域と前記表示画面の中央の領域とに、前記操作用ボタン表示とは異なる補正用マーク表示を複数表示させる補正用マーク表示制御部と、
前記表示部に対する視線を検出して検出結果を出力する視線計測部と、
前記視線計測部によって、前記操作用ボタン表示に対する視線を検出した検出結果に基づいて被制御機器を制御可能なコントローラと、
前記視線計測部によって、前記補正用マーク表示に対する視線を検出した検出結果に基づいて前記補正用マーク表示に対する視線の計測座標と前記補正用マーク表示の位置座標との距離を前記補正用マーク表示毎に求め、前記補正用マーク表示毎に求めた複数の前記距離に係わる情報に基づいて前記操作用ボタン表示のサイズを設定する情報処理部と、
を具備したことを特徴とする医療システム。
【請求項２】
前記情報処理部は、前記補正用マーク表示毎に前記距離の最大値を求め、複数の前記補正用マーク表示毎に求められた前記最大値の中から最も大きい値に基づき前記操作用ボタン表示のサイズを設定する
ことを特徴とする請求項１に記載の医療システム。
【請求項３】
前記情報処理部は、前記補正用マーク表示毎に前記距離の最大値を求め、前記補正用マーク表示が表示されている領域毎に、前記領域に表示された前記補正用マーク表示において求められた前記最大値に基づき前記操作用ボタン表示のサイズをそれぞれ設定する
ことを特徴とする請求項１に記載の医療システム。
【請求項４】
前記情報処理部は、前記補正用マーク表示に対する視線の計測座標と前記補正用マーク表示の位置座標との距離の外れ値を除外して前記最大値を求める
ことを特徴とする請求項２または３に記載の医療システム。
【請求項５】
前記情報処理部は、前記最大値に所定のマージンを付加して前記前記操作用ボタン表示のサイズを設定する
ことを特徴とする請求項２または３に記載の医療システム。
【請求項６】
操作用ボタン表示を有する視線操作画面を表示部の表示画面に表示させる表示制御部と、前記表示画面に前記操作ボタンとは異なる補正用マーク表示を表示させる補正用マーク表示制御部と、前記表示部に対する視線を検出して検出結果を出力する視線計測部と、前記操作用ボタン表示に対する前記視線計測部の検出結果に基づいて被制御機器を制御可能なコントローラと、前記操作用ボタン表示のサイズを設定する情報処理部と、を具備した医療システムにおいて前記表示部に前記視線操作画面を表示させるための表示制御方法であって、
前記表示制御部が、前記表示部の前記表示画面の四隅の領域と前記表示画面の中央の領域とに、前記補正用マーク表示を複数表示させる第１の表示ステップと、
前記視線計測部が、前記表示画面に表示された前記補正用マーク表示に対する視線を検出する検出ステップと、
前記情報処理部が、前記検出ステップにおける検出結果に基づいて前記補正用マーク表示に対する視線の計測座標と前記補正用マーク表示の位置座標との距離を求め、求めた前記距離に係わる情報に基づいて前記操作用ボタン表示のサイズを設定する設定ステップと、
前記表示制御部が、前記設定ステップにおいて設定されたサイズの前記操作用ボタン表示を有する前記視線操作画面を前記表示部に表示させる第２の表示ステップと、
を含む医療システムにおける表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種医療機器を視線操作によって制御する医療システムおよび医療システムにおける表示制御方法に関する。
【背景技術】
【０００２】
近年、技術の発展と共に、医療機器の種類は豊富となっており、また、その機能も充実してきている。また、手術室にはこれらの医療機器の他に、ルームライトや各種の表示装置、医療画像を撮像する内視鏡や、記録装置などの各種機器が配置されている。これらの装置を含む各種医療機器を、集中制御装置（システムコントローラ）で集中制御管理する医療システムも開発されている。
【０００３】
この種の医療システムの集中制御装置では、タッチ操作を検出する操作パネルにより、被制御機器のパラメータ等を設定したり変更したりするのが一般的である。しかしながら、操作パネルは不潔域に設置されたラックやカートに載置されることが多く、術者が直接操作パネルを操作することができない場合が多い。このため、不潔域に常在する看護師などに指示を出して、術者に代わって看護師に操作パネルを操作させる方法が用いられるが、指示が伝わるまでに時間を要したり、指示の誤伝達・誤認識による操作ミスが発生したりするといった問題があった。
【０００４】
そこで、術者の視線検知を行い、視線が対象機器の操作スイッチ上に一定時間停止した場合にコマンドを発行し、対象機器の操作を行う医療システムが提案されている。
【０００５】
特許文献１においては、このような視線検知を撮影操作に利用した技術が開示されている。視線検知では、視線検知の結果と操作者が実際に目視しようとした対象物の位置（以下、視線目標位置という）との対応をとるためにキャリブレーションが行われる。特許文献１の提案では、このキャリブレーションの結果の標準偏差によって、操作ボタンのサイズを選択する技術が開示されている。人は一点を注視しようとしても、注視した対象物上の位置（以下、注視点という）にはばらつきが生じ、このばらつきには個人差がある。この個人差によって、視線検知による操作精度に差が生じる。特許文献１の提案では、操作ボタンのサイズを選択可能にすることで、注視する能力の個人差に拘わらず、安定した操作を行うことを可能にしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３０１０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の提案では、予め決められた操作ボタンの複数のサイズのうちキャリブレーションの結果の標準偏差に応じて１つを選択するようになっており、必ずしも各個人に適したサイズを選択することができるとは限らない。このため、特許文献１の技術を採用した場合でも、人によっては視線検知を用いた操作では誤動作する可能性がある。
【０００８】
本発明は、各個人の特性に応じたサイズの操作対象を設定することにより操作性を向上させることができる医療システムおよび医療システムにおける表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る医療システムは、操作用ボタン表示を有する視線操作画面を表示部の表示画面に表示するための表示制御部と、前記表示画面の四隅の領域と前記表示画面の中央の領域とに、前記操作用ボタン表示とは異なる補正用マーク表示を複数表示させる補正用マーク表示制御部と、前記表示部に対する視線を検出して検出結果を出力する視線計測部と、前記視線計測部によって、前記操作用ボタン表示に対する視線を検出した検出結果に基づいて被制御機器を制御可能なコントローラと、前記視線計測部によって、前記補正用マーク表示に対する視線を検出した検出結果に基づいて前記補正用マーク表示に対する視線の計測座標と前記補正用マーク表示の位置座標との距離を前記補正用マーク表示毎に求め、前記補正用マーク表示毎に求めた複数の前記距離に係わる情報に基づいて前記操作用ボタン表示のサイズを設定する情報処理部と、を具備する。
本発明の一態様に係る医療システムにおける表示制御方法は、操作用ボタン表示を有する視線操作画面を表示部の表示画面に表示させる表示制御部と、前記表示画面に前記操作ボタンとは異なる補正用マーク表示を表示させる補正用マーク表示制御部と、前記表示部に対する視線を検出して検出結果を出力する視線計測部と、前記操作用ボタン表示に対する前記視線計測部の検出結果に基づいて被制御機器を制御可能なコントローラと、前記操作用ボタン表示のサイズを設定する情報処理部と、を具備した医療システムにおいて前記表示部に前記視線操作画面を表示させるための表示制御方法であって、前記表示制御部が、前記表示部の前記表示画面の四隅の領域と前記表示画面の中央の領域とに、前記補正用マーク表示を複数表示させる第１の表示ステップと、前記視線計測部が、前記表示画面に表示された前記補正用マーク表示に対する視線を検出する検出ステップと、前記情報処理部が、前記検出ステップにおける検出結果に基づいて前記補正用マーク表示に対する視線の計測座標と前記補正用マーク表示の位置座標との距離を求め、求めた前記距離に係わる情報に基づいて前記操作用ボタン表示のサイズを設定する設定ステップと、前記表示制御部が、前記設定ステップにおいて設定されたサイズの前記操作用ボタン表示を有する前記視線操作画面を前記表示部に表示させる第２の表示ステップと、を含む。
【発明の効果】
【００１０】
本発明によれば、各個人の特性に応じたサイズの操作対象を設定することにより操作性を向上させることができるという効果を有する。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施の形態に係る医療システムを示すブロック図。
【図２】第１の実施の形態における医療システムの全体構成の一例を説明図。
【図３】図２の電気的な接続関係を示すブロック図。
【図４】図３中の操作用モニタ３、視線計測装置１５及び操作者２１の位置関係を示す説明図。
【図５】キャリブレーション時に視線計測装置１５によって得られた計測座標を示す説明図。
【図６】操作用ボタン表示のサイズの決定方法を説明するための説明図。
【図７】第１の実施の形態の動作を説明するためのフローチャート。
【図８】視線操作画面を示す説明図。
【図９Ａ】視線計測結果の他の例を示す説明図。
【図９Ｂ】視線操作画面の他の例を示す説明図。
【図１０】キャリブレーション時に視線計測装置１５によって得られた計測点座標を示す説明図。
【図１１】第２の実施の形態における操作用ボタン表示のサイズの決定方法を説明するための説明図。
【図１２】視線操作画面を示す説明図。
【図１３】キャリブレーション時に視線計測装置１５によって得られた計測点座標を示す説明図。
【図１４】第３の実施の形態における操作用ボタン表示のサイズの決定方法を説明するための説明図。
【図１５】視線操作画面を示す説明図。
【図１６】キャリブレーション時に視線計測装置１５によって得られた計測点座標を示す説明図。
【図１７】第４の実施の形態における操作用ボタン表示のサイズの決定方法を説明するための説明図。
【図１８】視線操作画面を示す説明図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１３】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る医療システムを示すブロック図である。また、図２は第１の実施の形態における医療システムの全体構成の一例を説明図である。図３は図２の電気的な接続関係を示すブロック図である。また、図４は図３中の操作用モニタ３、視線計測装置１５及び操作者２１の位置関係を示す説明図である。
【００１４】
図２に示すように、本実施形態の医療システム１は、複数の医療機器で構成される被制御機器である周辺機器２と、術者などの操作者による視線操作を受け付ける操作用モニタ３と、操作用モニタ３により視線操作を行う操作者の視線を認識して視線を計測する視線計測装置１５と、看護師などの操作者による操作を受け付ける操作パネル４と、表示パネル５と、周辺機器２などを集中制御するシステムコントローラ６とを備えている。
【００１５】
操作パネル４は、例えば、液晶ディスプレイと、液晶ディスプレイに重ねて配置されたタッチパネルセンサとが一体となって構成された、タッチパネルディスプレイである。操作パネル４は、非滅菌域にいる看護師等が周辺機器２の操作を行うための操作装置であり、操作情報はシステムコントローラ６に入力される。表示パネル５は、手術中のあらゆるデータを選択的に表示させることが可能な表示装置である。
【００１６】
光源装置９は、照明光を伝送するライトガイドケーブルを介して内視鏡（図示せず）に接続されている。光源装置９からの照明光は内視鏡に供給され、内視鏡の挿入部が挿入された患者の腹部内の患部等を照明する。内視鏡の挿入部の基端側には、撮像素子を備えたカメラヘッドが装着され、患部等の光学像をカメラヘッド内の撮像素子で撮像する。この撮像素子で撮像された撮像信号は、図示しないケーブルを介して内視鏡用カメラ装置７に伝送される。
【００１７】
内視鏡用カメラ装置７は、伝送された撮像信号に所定の信号処理を施し、映像信号を生成する。そして、内視鏡用カメラ装置７は、生成した映像信号を、システムコントローラ６を介してモニタ１１ａやモニタ１１ｂに出力する。天井から吊り下げられたモニタ１１ａ、１１ｂには、入力された映像信号に基づく画像、すなわち患部等の内視鏡画像が表示される。
【００１８】
気腹装置８には、図示しない炭酸ガスボンベが接続されており、気腹装置８から図示しない患者に伸びた気腹チューブを介して、患者の腹部内に炭酸ガスが供給されるようになっている。電気メス装置１０は、図示しない電気メスに電力を供給して電気メスを駆動することができるようになっている。
【００１９】
ラック１２上には、操作パネル４、表示パネル５、システムコントローラ６、内視鏡用カメラ装置７、気腹装置８、光源装置９、電気メス装置１０が設置されている。システムコントローラ６は、ラック１２上に設置された機器のほかに、患者が横たわる患者ベッド１３、天井から吊り下げられた無影灯（無影灯１４ａ、無影灯１４ｂ）などの、手術室に常設された設備も、被制御機器として制御する。
【００２０】
なお、図１では、内視鏡下外科手術が行われる手術室に設けられた医療システム１を例示したが、医療システム１の用途は内視鏡下外科手術に限らず、他の手術や診察のために用いられてもよい。また、医療システム１は、診察室など手術室以外に設けられてもよい。医療システム１は、さらに、図１では図示しない種々の装置及び設備を含んでもよい。例えば、術野を観察する術野カメラなどを含んでもよく、これらをシステムコントローラ６で制御してもよい。
【００２１】
次に、図３を参照して、システムコントローラ６と、これに接続されている機器との関係について説明する。図３に示すように、システムコントローラ６には、被制御機器である周辺機器２と、操作の入力装置である操作用モニタ３及び視線計測装置１５とが接続されている。周辺機器２は、観察、検査、及び処置等を行う複数の医療機器で構成されており、図３では、内視鏡用カメラ装置７、気腹装置８、光源装置９、電気メス装置１０、モニタ１１（図２のモニタ１１ａ、モニタ１１ｂ）等の医療機器が例示されている。なお、周辺機器２は、これらの医療機器に限定されるものではなく、例えば、ビデオレコーダなどであってもよい。
【００２２】
なお、上述したように、システムコントローラ６には、看護師などが周辺機器２の操作を行うための操作パネル４や、手術データなどを表示させるための表示パネル５も接続されているが、以下においては、視線操作を用いて周辺機器２を制御する場合について説明するため、図３では記載を省略する。
【００２３】
システムコントローラ６は、視線操作画面を操作用モニタ３の表示画面上に表示させることができるようになっている。システムコントローラ６には、視線操作により周辺機器の操作を行う術者等の視線の計測結果の情報が視線計測装置１５から入力される。入力された視線計測結果の情報は、周辺機器２の制御に用いられたり、操作用モニタ３に表示されたりする。
【００２４】
システムコントローラ６には、内視鏡用カメラ装置７、気腹装置８、光源装置９、電気メス装置１０など、被制御機器の設定パラメータが入力される。また、システムコントローラ６からこれらの機器に対し、操作用モニタ３から入力される視線操作内容に応じ、新たな設定パラメータが出力される。また、システムコントローラ６には、患者の体腔内における患部等の光学像を加工した映像信号が、内視鏡用カメラ装置７から入力される。システムコントローラ６は、入力された映像信号を、モニタ１１ａやモニタ１１ｂに出力する。
【００２５】
図１において、システムコントローラ６は、被制御機器である周辺機器２との間で通信を行う通信インタフェース（以下、通信Ｉ／Ｆという）１７を備えている。通信Ｉ／Ｆ１７は、情報処理部１９に接続され、集中制御が可能になされている周辺機器２から各種データや設定パラメータを受信し、これらのデータやパラメータなどを情報処理部１９に入力したり、周辺機器２を操作するために情報処理部１９で生成された信号を周辺機器２に出力したりする。
【００２６】
また、システムコントローラ６には、記録部１８が設けられる。記録部１８には、例えば、システムコントローラ６を動作させるためのプログラムやその他プログラムの実行に必要な各種データやパラメータなどが格納される。
【００２７】
システムコントローラ６は、システムコントローラ６全体の動作を制御する情報処理部１９を有する。情報処理部１９には、通信Ｉ／Ｆ１７を介して周辺機器２から各種データや設定パラメータなどが入力される。また、情報処理部１９には、視線計測部としての視線計測装置１５から、術者など視線操作を行う者の視線計測結果である座標情報が入力される。情報処理部１９は、記録部１８からプログラムや各種データ、パラメータなどを読み出して、プログラムを実行する。情報処理部１９は、視線計測結果である座標情報が視線計測装置１５から与えられると、この座標情報を記録部１８に記憶させる。また、情報処理部１９は、ＧＵＩ生成部２０に対して視線計測結果の情報やその他必要なデータを出力し、視線操作画面を生成するよう制御を行う。また、情報処理部１９は、ＧＵＩ生成部２０から入力されたデータや視線計測結果の座標情報に基づき、周辺機器２を制御するための設定パラメータを生成し、通信Ｉ／Ｆ１７を介して周辺機器２に出力する。表示制御部としてのＧＵＩ生成部２０は、情報処理部１９から視線操作画面を生成するための情報が与えられて、視線操作画面を生成する。ＧＵＩ生成部２０は、生成した視線操作画面を、操作用モニタ３に出力して表示させるようになっている。
【００２８】
ＧＵＩ生成部２０において生成する視線操作画面は、１つ又は互いに異なる位置に配置された複数の操作用ボタン表示を有する。情報処理部１９は、各操作用ボタン表示に、数値、パラメータ、コマンド等を割当て、視線検知によって操作者がいずれの操作用ボタン表示を注視したかを判定することで、操作者の操作内容を検出するようになっている。
【００２９】
本実施の形態においては、情報処理部１９は、後述するキャリブレーションの結果に応じて操作用ボタン表示のサイズ及び配置を任意に変更可能とすることにより、注視能力等の個人差に拘わらず、確実な視線操作が行われることを可能にする。
【００３０】
情報処理部１９は、ＧＵＩ生成部２０にキャリブレーション用計測画面を表示させるための情報を与えて、キャリブレーション用計測画面を操作用モニタ３に表示させることができる。図４はキャリブレーションの様子を示している。操作用モニタ３の下部には、視線検出部としての視線計測装置１５が設置されている。この視線計測装置１５は、公知の視線計測手法を用いて術者の視線位置座標を計測して、計測結果を情報処理部１９に出力するようになっている。
【００３１】
視線計測装置１５は、眼球を正面方向から撮影する小型カメラ１６などを含み、術者の眼球の瞳孔の位置を追跡することにより、視線操作画面及びキャリブレーション用計測画面上における術者の視線が捉えている注視点の画面上の位置座標（以下、注視点座標という）をリアルタイムに計測する。視線計測装置１５は、注視点として計測した点（以下、計測点という）の座標（以下、計測座標という）の情報を視線計測結果としてシステムコントローラ６の情報処理部１９に与える。
【００３２】
なお、本実施の形態においては、視線計測装置１５の小型カメラ１６を、操作用モニタ３の下部に設置する例を示したが、操作用モニタ３の上部等の他の位置に設置してもよい。小型カメラ１６は、視線操作を行う術者２１の操作者の目を捉える視野範囲（破線）を有して、操作用モニタ３の表示画面を見る術者２１の視線を検出可能な位置に配置されていればよい。
【００３３】
図４に示すキャリブレーション用計測画面３ａは、５箇所に補正用マーク表示３ｂを有する。補正用マーク表示３ｂは、視線計測装置１５によって計測される各術者の計測点と各術者が注視しようとしている視線目標位置とのずれを補正するキャリブレーションのための表示である。
【００３４】
人の眼は常に微動しており、また、注視点と視線目標位置とのずれには個人差がある。このため、各個人の注視点が操作用モニタ３の画面上の各マーク表示上で検出されるように、各個人毎にキャリブレーションを実施する。即ち、キャリブレーションでは、操作者に操作モニタ３上に表示される複数の点（補正用マーク表示３ｂ）を順番に一定時間見続けさせ、その一点を見ているときの計測座標のばらつきの平均座標を、当該操作者が見ていた計測点の位置とする。この処理を全ての補正用マーク表示３ｂの点で実施し、その結果と補正用マーク表示３ｂの位置座標（視線目標位置座標）とのずれに基づいて、計測結果の計測座標を補正するキャリブレーションを行う。情報処理部１９は、補正用マーク表示３ｂの各位置について求めたキャリブレーションの補正値を用いて、視線計測装置１５からの計測座標を補正して注視点座標を取得する。
【００３５】
（操作用ボタン表示のサイズ）
図５はキャリブレーション時に視線計測装置１５によって得られた計測座標を示す説明図である。また、図６は操作用ボタン表示のサイズの決定方法を説明するための説明図である。図５は操作用モニタ３の表示画面に表示されたキャリブレーション用計測画面３ａの各補正用マーク表示３ｂをそれぞれ操作者が注視した場合における計測座標の変化を示している。補正用マーク表示３ｂの周辺の複数の点は、視線計測装置１５が所定の時間間隔で求めた計測点のばらつき（以下、計測点群という）３１を示し、計測点群３１の各点（計測点）を結ぶ線分は視線の移動を示している。
【００３６】
情報処理部１９は、既知の位置座標を有する視線目標位置にマーク表示３ｂを表示させ、視線計測装置１５が求めた計測点座標と視線目標位置の座標（視線目標位置座標）との差に基づいてキャリブレーションを行う。
【００３７】
本実施の形態においては、情報処理部１９は、キャリブレーションに際して各計測点座標と視線目標位置座標との各距離を各マーク表示３ｂ毎に求め、求めた距離に基づいて操作用ボタン表示のサイズ及び配置を変更するようになっている。例えば、情報処理部１９は、求めた距離の最大値を視線ばらつきの影響を回避するために必要なサイズ（以下、検知有効サイズという）として求め、この検知有効サイズに基づいて操作用ボタン表示に含まれる最小の円の直径を設定するようになっている。
【００３８】
情報処理部１９は、図５に示す計測点群３１の各計測点座標の情報が入力されると、計測点座標の情報に基づく検知有効サイズを求め、求めて検知有効サイズに応じて操作用ボタン表示のサイズ及び配置を決定する。例えば、情報処理部１９は、視線目標位置である補正用マーク表示３ｂの中心から計測点群３１の最も離れた計測点までの距離を各補正用マーク表示３ｂ毎に求める。図６では、この距離を半径とする円３２を示している。情報処理部１９は、各補正用マーク表示３ｂ毎に求めた距離のうち最も大きい距離を検知有効サイズｒに設定し、この検知有効サイズｒに基づいて操作用ボタン表示のサイズを決定する。
【００３９】
情報処理部１９は、検知有効サイズｒの円を含むサイズの操作用ボタン表示を生成するための情報をＧＵＩ生成部２０に与える。例えば、情報処理部１９は、操作用ボタン表示として、距離ｒを半径とする円形のボタン表示を生成させるための情報をＧＵＩ生成部２０に与える。ＧＵＩ生成部２０は、情報処理部１９からの情報に基づいて操作用ボタン表示を含む視線操作画面を生成して操作用モニタ３に与えるようになっている。
【００４０】
次に、このように構成された実施の形態の動作について図７、図８、図９Ａ及び図９Ｂを参照して説明する。図７は第１の実施の形態の動作を説明するためのフローチャートである。また、図８は視線操作画面を示す説明図である。図９Ａは視線計測結果の他の例を示す説明図であり、図９Ｂは視線操作画面の他の例を示す説明図である。
【００４１】
情報処理部１９は、視線操作の開始前に、ステップＳ１においてキャリブレーションを実行する。情報処理部１９は、ＧＵＩ生成部２０を制御して、補正用マーク表示３ｂを含むキャリブレーション用計測画面３ａを操作用モニタ３に表示させる。操作者は、補正用マーク表示３ｂを所定の時間注視する動作を全ての補正用マーク表示３ｂについて行う。視線計測装置１５は、操作者が各補正用マーク表示３ｂを注視したことによって得られるばらつき（計測点群３１）を取得し、計測点群３１の各計測点座標を補正用マーク表示３ｂ毎に計測して、情報処理部１９に与える（ステップＳ２）。
【００４２】
情報処理部１９は、計測点群３１の各計測点座標の情報が入力されると、入力された各計測点座標を記録部１８に記録すると共にその平均座標を求め、この平均座標を視線目標位置座標に補正する補正データを生成する。情報処理部１９は、補正データを記録部１８に記録すると共に、以後、当該操作者についてはこの補正データを用いて注視点を得る。
【００４３】
本実施の形態においては、情報処理部１９は、計測点群３１の各計測点の情報に基づいて操作用ボタン表示のサイズ及び配置を決定する。即ち、情報処理部１９は、視線目標位置である補正用マーク表示３ｂの中心から計測点群３１の最も離れた計測点までの距離を各補正用マーク表示３ｂ毎に求め、最大の距離を操作用ボタン表示のサイズを決定するための検知有効サイズｒとして求める（ステップＳ３）。
【００４４】
例えば、視線計測装置１５によって図５に示す計測結果が得られた場合には、情報処理部１９は、図６の円３２のうち最も半径が大きい左上の円の半径を検知有効サイズｒとして求める。情報処理部１９は、検知有効サイズｒの円を含むサイズの操作用ボタン表示を生成するための情報をＧＵＩ生成部２０に与える。
【００４５】
ＧＵＩ生成部２０は、情報処理部１９からの情報に基づいて、半径ｒの円を有するボタン表示を操作用ボタン表示として含む視線操作画面を生成して操作用モニタ３に与える。こうして、操作用モニタ３の表示画面上に視線操作画面が表示される（ステップＳ４）。
【００４６】
図８に示すように、操作用モニタ３の表示画面４０には、視線操作画面４１が表示されている。この視線操作画面４１には複数の操作用ボタン表示４２が表示されている。各操作用ボタン表示４２は、半径がｒの円形状である。従って、当該操作者については、視線がばらついたとしても、注視点座標が各操作用ボタン表示４２内で求められることが多いと考えられる。これにより、当該操作者については、確実な視線操作が可能となる。
【００４７】
また、ある操作者について、キャリブレーション時に図９Ａに示す計測結果が視線計測装置１５によって得られるものとする。図９Ａの例は、当該操作者による視線のばらつきが図５（図６）の例に比べて小さいことを示している。図９Ａにおいて、補正用マーク表示３ｂの中心から計測点群３１の最も離れた計測点までの距離の最大値がｒ’であるものとする。この場合には、情報処理部１９は、検知有効サイズがｒ’であるものとして、半径ｒ’の円を含むサイズの操作用ボタン表示を生成するための情報をＧＵＩ生成部２０に与える。こうして、この場合には、例えば、図９Ｂに示す視線操作画面４３が操作用モニタ３の表示画面４０上に表示される。
【００４８】
図９Ｂに示すように、視線操作画面４３には複数の操作用ボタン表示４４が表示されている。各操作用ボタン表示４４は、半径がｒ’の円形状である。従って、当該操作者については、視線がばらついたとしても、注視点座標が各操作用ボタン表示４４内で求められることが多いと考えられる。これにより、当該操作者については、確実な視線操作が可能となる。
【００４９】
このように、本実施の形態においては、各個人の視線のばらつきを測定して視線のばらつきの範囲のサイズを求め、求めたサイズに１対１に対応するサイズの操作用ボタン表示を含む視線操作画面を生成するようになっている。これにより、確実に各個人に対応したサイズの操作用ボタン表示を表示させることができ、各個人の注視能力等の個人差に拘わらず、確実な視線操作が可能である。
【００５０】
なお、操作性を向上させるためには、できる限り多くの選択肢をユーザーに提供するように、画面中になるべく多くの操作用ボタン表示を表示させた方がよい。しかし、操作用ボタン表示の数を増やすと、その分各ボタン表示のサイズを小さくする必要があり、視線操作の誤操作が生じやすくなる。本実施の形態においては、各個人について誤操作を生じさせないサイズであって、最も多くの数を配置可能な操作用ボタン表示を含む視線操作画面を表示させることが可能であり、操作性を犠牲にすることなく、確実な視線操作が可能である。
【００５１】
なお、上記実施の形態においては、求めた検知有効サイズｒの半径を有する円形状の操作用ボタン表示を表示させる例を説明したが、操作用ボタン表示は、形状が円形状でなくてもよく、またｒよりも大きい半径の円であってもよい。また、各操作用ボタン表示の間隔によっては、必ずしも半径ｒの円を含むサイズの操作用ボタン表示に限らず、半径ｒよりも多少小さいサイズの操作用ボタン表示を表示させるようにしもよい場合もある。
【００５２】
（第２の実施の形態）
図１０乃至図１２は本発明の第２の実施の形態を示す説明図である。図１０はキャリブレーション時に視線計測装置１５によって得られた計測点座標を示す説明図であり、図１１は第２の実施の形態における操作用ボタン表示のサイズの決定方法を説明するための説明図である。図１０及び図１１はそれぞれ図５及び図６に対応した記載方法を採用している。図１２は視線操作画面を示す説明図である。本実施の形態のハードウェア構成は第１の実施の形態と同様である。本実施の形態はキャリブレーションの結果に応じた操作用ボタン表示のサイズ及び配置の決定方法が第１の実施の形態と異なる。
【００５３】
図１０は操作用モニタ３の表示画面に表示されたキャリブレーション用計測画面３ａの各補正用マーク表示３ｂをそれぞれ操作者が注視した場合における計測点座標の変化を示している。図１０の例では、視線計測装置１５が所定の時間間隔で求めた計測点群５１のばらつきは比較的大きく、計測点群５１の母集団から比較的大きく外れた計測点５２が存在する。
【００５４】
本実施の形態においても、情報処理部１９は、キャリブレーションに際して計測点座標と視線目標位置座標との距離を各マーク表示３ｂ毎に求め、求めた距離に基づいて操作用ボタン表示のサイズ及び配置を変更するようになっている。この場合において、情報処理部１９は、計測点群５１の各計測点のうち母集団から比較的大きく外れた計測点５２については、外れ値として、操作用ボタン表示のサイズ及び配置の決定には用いないようになっている。
【００５５】
例えば、情報処理部１９は、外れ値として操作用ボタン表示の決定に用いない計測点を一般的な統計上の手法を用いて決定してもよい。例えば、情報処理部１９は、外れ値かどうか検定したい標本について、偏差を不偏標準偏差で割った検定統計量τ１を下記（１）式によって求める。
0006411284.tif 000002
但し、x1 は標本値、μは平均、σは標準偏差である。
【００５６】
情報処理部１９は、求めた検定統計量τ１の値が有意点より大きいか否かによって外れ値であるか否かを検定する。例えば、情報処理部１９は、平均μに対し２σ又は３σ以内の範囲を有意とし、それを超えると外れ値としてもよい。
【００５７】
例えば、視線計測装置１５によって以下の７点の計測点座標が求められたものとする。
(10,11)、(11,11)、（9,12）、（12,9）、(11,10) 、(50,10)、(8,8) 
情報処理部１９は、計測点座標のｘ座標及びｙ座標について外れ値であるか否かを検定する。例えば、ｘ座標について説明すると、情報処理部１９は、先ず、ｘ座標についての母平均ｍを算出する。母平均ｍは、下記（２）式によって得られる。
0006411284.tif 000003
x1=10 、x2=11、x3=9、x4=12、x5=11、x6=50、x7=8であるので、母平均ｍは、
ｍ＝1/7 (10+11+9+12+11+50+8)
＝15
分散σ2は、下記（３）式によって与えられる。
0006411284.tif 000004
σ2＝1/7 (25+16+36+9+16+1225+49)
＝196である
従って、分散の正の平方根である標準偏差σは、
σ＝ 14となる。
例えば、平均μに対して±２σよりも離れている値を外れ値とする。
つまりμ−２σ＜ｘ＜μ＋２σに含まれないｘ座標を有する計測点を外れ値とする。
外れ値は、−１３＜ｘ＜４３以外のｘ座標を有するものであり、ｘ座標値が５０であるｘ６が外れ値と判定される。
【００５８】
なお、情報処理部１９による外れ値の求め方は上記説明に限らず、種々の方法を採用してもよい。
【００５９】
情報処理部１９は、外れ値の計測点座標を除く計測点座標を用いて、第１の実施の形態と同様の方法によって操作用ボタン表示のサイズを決定する。即ち、情報処理部１９は、外れ値の計測点座標を除いた後、視線目標位置である補正用マーク表示３ｂの中心から計測点群５１の最も離れた計測点までの距離を各補正用マーク表示３ｂ毎に求める。図１１では、この距離を半径とする円５３を示している。情報処理部１９は、各補正用マーク表示３ｂ毎に求めた距離のうち最も大きい距離を検知有効サイズｒとし、このサイズｒに基づいて操作用ボタン表示のサイズを決定する。
【００６０】
次に、このように構成された実施の形態の動作について図１２を参照して説明する。
【００６１】
本実施の形態では、操作用ボタン表示のサイズの決定に、外れ値を除く計測点座標を用いる点が第１の実施の形態と異なる。即ち、情報処理部１９は、視線計測装置１５から計測点群５１の各計測点座標の情報が与えられると、各計測点座標が外れ値であるか否かを判定し、外れ値の計測点座標を除外する。情報処理部１９は、除外した計測点座標を除く各計測点座標を用いて、操作用ボタン表示のサイズ及び配置を決定する。即ち、情報処理部１９は、除外した計測点座標を除き、視線目標位置である補正用マーク表示３ｂの中心から計測点群５１の最も離れた計測点までの距離を各補正用マーク表示３ｂ毎に求め、最大の距離を操作用ボタン表示のサイズを決定するための検知有効サイズｒとして求める。
【００６２】
例えば、視線計測装置１５によって図１０に示す計測結果が得られた場合には、情報処理部１９は、図１１の円５３のうち最も半径が大きい右上の円の半径を検知有効サイズｒとして求める。情報処理部１９は、検知有効サイズｒの円を含むサイズの操作用ボタン表示を生成するための情報をＧＵＩ生成部２０に与える。
【００６３】
ＧＵＩ生成部２０は、情報処理部１９からの情報に基づいて、半径ｒの円を有するボタン表示を操作用ボタン表示として含む視線操作画面を生成して操作用モニタ３に与える。こうして、操作用モニタ３の表示画面上に視線操作画面が表示される。
【００６４】
図１２に示すように、操作用モニタ３の表示画面４０には、視線操作画面５５が表示されている。この視線操作画面５５には複数の操作用ボタン表示５６が表示されている。各操作用ボタン表示５６は、半径がｒの円形状である。従って、当該操作者については、視線がばらついたとしても、注視点座標が各操作用ボタン表示５６内で求められることが多いと考えられる。これにより、当該操作者については、確実な視線操作が可能となる。
【００６５】
このように、本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、有意でないと考えられる外れ値を除外して視線のばらつきの範囲のサイズを求めており、操作用ボタン表示のサイズが不要に大きくなることを防止することができる。これにより、各個人の注視能力等の個人差に拘わらず確実な視線操作が可能であると共に、十分な数の操作用ボタン表示を表示しやすくなり、操作性を向上させることができる。
【００６６】
（第３の実施の形態）
図１３乃至図１５は本発明の第３の実施の形態を示す説明図である。図１３はキャリブレーション時に視線計測装置１５によって得られた計測点座標を示す説明図であり、図１４は第３の実施の形態における操作用ボタン表示のサイズの決定方法を説明するための説明図である。図１３及び図１４はそれぞれ図５及び図６に対応した記載方法を採用している。図１５は視線操作画面を示す説明図である。本実施の形態のハードウェア構成は第１の実施の形態と同様である。本実施の形態はキャリブレーションの結果に応じた操作用ボタン表示のサイズ及び配置の決定方法が第１の実施の形態と異なる。
【００６７】
図８及び図９Ｂでは、キャリブレーション時の視線のばらつきの範囲と同じサイズの操作用ボタン表示を採用する例を説明した。しかし、同一操作者であっても、視線のばらつきに差があることがある。そこで、本実施の形態においては、操作の確実性を向上させるために、視線のばらつきの範囲よりも大きいサイズの操作用ボタン表示を採用するものである。なお、視線のばらつきの範囲よりも大きいサイズの操作用ボタン表示は、全ての操作用ボタン表示に適用してもよく、確実な操作を必要とする所定の操作用ボタン表示にのみ適用してもよい。
【００６８】
図１３は操作用モニタ３の表示画面に表示されたキャリブレーション用計測画面３ａの各補正用マーク表示３ｂをそれぞれ操作者が注視した場合における計測点座標の変化を示している。図１３の例では、視線計測装置１５が所定の時間間隔で求めた計測点群６１の各計測点を示している。本実施の形態においても、情報処理部１９は、キャリブレーションに際して計測点座標と視線目標位置座標との距離を各マーク表示３ｂ毎に求め、求めた距離に基づいて操作用ボタン表示のサイズ及び配置を変更するようになっている。本実施の形態においては、情報処理部１９は、視線目標位置である補正用マーク表示３ｂの中心から計測点群６１の最も離れた計測点までの距離を各補正用マーク表示３ｂ毎に求める。情報処理部１９は、各補正用マーク表示３ｂ毎に求めた距離のうち最も大きい距離の２倍の距離を検知有効サイズｒとして、サイズｒを操作用ボタン表示のサイズとする。図１４はこの検知有効サイズｒを半径とする円６２を示している。
【００６９】
次に、このように構成された実施の形態の動作について図１５を参照して説明する。
【００７０】
本実施の形態では、計測点座標のばらつきの範囲にマージンを付加して操作用ボタン表示のサイズを決定する点が第１の実施の形態と異なる。即ち、情報処理部１９は、視線計測装置１５から計測点群６１の各計測点座標の情報が与えられると、視線目標位置である補正用マーク表示３ｂの中心から計測点群６１の最も離れた計測点までの距離を各補正用マーク表示３ｂ毎に求め、最大の距離に所定のマージンを付加したサイズを操作用ボタン表示のサイズを決定するための検知有効サイズｒとして求める。例えば、情報処理部１９は、最大の距離を２倍した距離を検知有効サイズｒとして、サイズｒを操作用ボタン表示のサイズとする。
【００７１】
図１４は視線計測装置１５によって図１３に示す計測結果が得られた場合に、補正用マーク表示３ｂの中心から最も離れた計測点までの距離の２倍の半径を有する円６２を示している。情報処理部１９は、５つの円６２のうち最も半径が大きい右上の円の半径を検知有効サイズｒとして求める。情報処理部１９は、検知有効サイズｒの円を含むサイズの操作用ボタン表示を生成するための情報をＧＵＩ生成部２０に与える。
【００７２】
ＧＵＩ生成部２０は、情報処理部１９からの情報に基づいて、半径ｒの円を有するボタン表示を操作用ボタン表示として含む視線操作画面を生成して操作用モニタ３に与える。こうして、操作用モニタ３の表示画面上に視線操作画面が表示される。
【００７３】
図１５に示すように、操作用モニタ３の表示画面４０には、視線操作画面６５が表示されている。この視線操作画面６５には複数の操作用ボタン表示６６が表示されている。各操作用ボタン表示６６は、半径がｒの円形状である。従って、当該操作者については、視線がばらついたとしても、注視点座標が各操作用ボタン表示６６内で求められることが多いと考えられる。これにより、当該操作者については、確実な視線操作が可能となる。
【００７４】
このように、本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、視線のばらつきの範囲のサイズにマージンを付加して操作用ボタン表示のサイズを求めており、視線操作の確実性を向上させることができる。
【００７５】
（第４の実施の形態）
図１６乃至図１８は本発明の第４の実施の形態を示す説明図である。図１６はキャリブレーション時に視線計測装置１５によって得られた計測点座標を示す説明図であり、図１７は第４の実施の形態における操作用ボタン表示のサイズの決定方法を説明するための説明図である。図１６及び図１７はそれぞれ図５及び図６に対応した記載方法を採用している。図１８は視線操作画面を示す説明図である。本実施の形態のハードウェア構成は第１の実施の形態と同様である。本実施の形態はキャリブレーションの結果に応じた操作用ボタン表示のサイズ及び配置の決定方法が第１の実施の形態と異なる。
【００７６】
上記各実施の形態においては、キャリブレーション時の視線のばらつきの範囲に基づいて、視線操作画面内で共通のサイズの操作用ボタン表示を採用する例を説明した。これに対し、本実施の形態は、画面内における視線のばらつきの差に応じて、視線操作画面内における操作用ボタン表示のサイズを変更するものである。
【００７７】
図１６は操作用モニタ３の表示画面に表示されたキャリブレーション用計測画面３ａの各補正用マーク表示３ｂをそれぞれ操作者が注視した場合における計測点座標の変化を示している。図１６の例では、視線計測装置１５が所定の時間間隔で求めた計測点群７１の各計測点を示している。情報処理部１９は、視線目標位置である補正用マーク表示３ｂの中心から計測点群７１の最も離れた計測点までの距離を検知有効サイズとして各補正用マーク表示３ｂ毎に求める。本実施の形態においては、情報処理部１９は、各補正用マーク表示３ｂ毎に求めた５つの検知有効サイズ及び各補正用マーク表示３ｂの画面上の位置に基づいて、視線操作画面内の各操作用ボタン表示のサイズを決定する。図１７は各補正用マーク表示３ｂ毎に求めた検知有効サイズを半径とする円７２を示している。
【００７８】
次に、このように構成された実施の形態の動作について図１８を参照して説明する。
【００７９】
本実施の形態では、計測点座標のばらつきの範囲と画面上の位置とに応じて、視線操作画面の各位置の操作用ボタン表示のサイズを決定する点が第１の実施の形態と異なる。即ち、情報処理部１９は、視線計測装置１５から計測点群７１の各計測点座標の情報が与えられると、視線目標位置である補正用マーク表示３ｂの中心から計測点群７１の最も離れた計測点までの距離を各補正用マーク表示３ｂ毎に検知有効サイズとして求める。各補正用マーク表示３ｂの位置と視線操作画面上の操作用ボタン表示の位置とは異なる場合があるので、情報処理部１９は、操作用ボタン表示の位置に隣接する複数の補正用マーク表示３ｂについて求めた検知有効サイズを用いた補間処理によって、当該操作用ボタン表示のサイズを求める。
【００８０】
図１７は視線計測装置１５によって図１６に示す計測結果が得られた場合に、補正用マーク表示３ｂの中心から最も離れた計測点までの距離（検知有効サイズ）を半径とする円７２を示している。情報処理部１９は、これらの円７２の中心位置と同じ位置に操作用ボタン表示を表示する場合には、円の半径をそのまま操作用ボタン表示のサイズとする。操作用ボタン表示の位置が円７２の中心位置からずれた場合には、当該位置に隣接する円７２の半径（検知有効サイズ）による補間処理によって、操作用ボタン表示のサイズを求める。図１８はこの場合において、操作用モニタ３の表示画面４０に表示される視線操作画面７５を示している。視線操作画面７５には複数の操作用ボタン表示７６が表示されている。各操作用ボタン表示７６は、画面上の位置に応じて、半径が変化している。
【００８１】
図１８では図１７の左上の円と右上の円の半径に対応して、半径ｒ１＜ｒ２であり、また、図１７の左上の円と左下の円の半径に対応して、半径ｒ１＞ｒ３＞ｒ４である。このように、画面上における位置に応じて操作者の視線のばらつきに応じたサイズの操作用ボタン表示７６を表示することができる。
【００８２】
このように、本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、画面上の位置毎に視線のばらつきが変化する場合でも、各操作者のばらつきの分布に応じて操作用ボタン表示のサイズを変更しており、視線操作の確実性を向上させることができると共に、十分な数の操作用ボタン表示を表示可能にして操作性を向上させることができる。
【００８３】
なお、図１８では操作用ボタン表示のサイズを左右方向及び上下方向に変化させる例を示したが、左右方向又は上下方向のみにサイズを変化させるようにしてもよい。
【００８４】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
【００８５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。例えば、各実施の形態を組み合わせて実施することも可能である。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
２…周辺機器、３…操作用モニタ、６…システムコントローラ、１５…視線計測装置、１９…情報処理部、１８…記録部、２０…ＧＵＩ生成部。
【図１】
0006411284.tif 000005
【図２】
0006411284.tif 000006
【図３】
0006411284.tif 000007
【図４】
0006411284.tif 000008
【図５】
0006411284.tif 000009
【図６】
0006411284.tif 000010
【図７】
0006411284.tif 000011
【図８】
0006411284.tif 000012
【図９Ａ】
0006411284.tif 000013
【図９Ｂ】
0006411284.tif 000014
【図１０】
0006411284.tif 000015
【図１１】
0006411284.tif 000016
【図１２】
0006411284.tif 000017
【図１３】
0006411284.tif 000018
【図１４】
0006411284.tif 000019
【図１５】
0006411284.tif 000020
【図１６】
0006411284.tif 000021
【図１７】
0006411284.tif 000022
【図１８】
0006411284.tif 000023