(57)【要約】【課題】電子フォームにおける多様な書式や形態に対応でき操作性が極めて良好な電子フォーム用視線入力装置を提供する。【解決手段】眼球の動きに基づいて視線位置を検出する視線検出手段と、前記視線位置において決定入力を行うための決定入力手段と、フォーム表示画面と文字入力画面と前記視線位置を表示する表示手段とを備え、前記フォーム表示画面に複数表示された入力領域の１つを前記視線位置で指示し前記決定入力手段で決定入力を行うことにより選択すると、前記表示手段は前記選択された入力領域の属性情報から入力すべき情報種類に応じた入力キー要素で構成される文字入力画面を表示するようにした電子フォーム用視線入力装置。【選択図】  図１
2005135135.tif 000002
【特許請求の範囲】
【請求項１】
眼球の動きに基づいて視線位置を検出する視線検出手段と、前記視線位置において決定入力を行うための決定入力手段と、フォーム表示画面と文字入力画面と前記視線位置を表示する表示手段とを備え、前記フォーム表示画面に複数表示された入力領域の１つを前記視線位置で指示し前記決定入力手段で決定入力を行うことにより選択すると、前記表示手段は前記選択された入力領域の属性情報から入力すべき情報種類に応じた入力キー要素で構成される文字入力画面を表示することを特徴とする電子フォーム用視線入力装置。
【請求項２】
請求項１記載の電子フォーム用視線入力装置において、前記視線検出手段は眼球の動きをカメラで撮像して得た撮像画像に基づいて視線位置を検出する視線検出手段であって、前記カメラが前記眼球におけるアイリス（虹彩）を撮像して得た撮像画像に基づいて本人認証を行うアイリス認証手段を備えることを特徴とする電子フォーム用視線入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は眼球の動きに基づいて視線位置を検出し電子フォームの入力領域に文字等を入力するための電子フォーム用視線入力装置に関する。
【背景技術】
【０００２】
障害者や傷病者の中で特に手を使用することが不自由な人は、従来は第三者の協力がなければ書類を作成することができなかった。このことは、医療機関等で必要となる様々な書類の記入において大きな障害である。また書類を記入する場合でなくても本人の意思伝達方法が制限されることとなる。そこで比較的障害が生じ難い眼球の動き、すなわち視線を利用することで意思伝達を可能とする技術が提案されている。
【０００３】
たとえば、ａ．人間の眼の動きにより発生される眼電信号を検知する手段と、ｂ．その眼電信号を眼の動きの方向を表す指向性制御信号へと変換処理する手段と、ｃ．制御されるべき装置に対して指向性制御信号をインターフェースする手段とを備えた視線コントローラが提案されている（特許文献１参照）。
【０００４】
またたとえば、左右両目について眼球画像を取り込むための撮像手段より得られる眼球画像を画像処理することによって眼球回転量を算出し、算出された眼球回転量から注視位置を算出する視線検出手段を有する視線検出機能付き装置において、ａ．瞬きの状態を判定する瞬き判定手段と、ｂ．その判定手段により、左右どちらか一方の目の状態が瞬き状態であり、他方の眼は瞬き状態でないと判定された場合、視線検出手段によって算出された注視位置を入力指示位置として、入力動作を実行するための確定信号を出力する確定信号出力手段とを備えた視線検出機能付き装置が提案されている（特許文献２参照）。
【０００５】
またたとえば、表示画面を観察する観察者の眼球の動きに応じて、表示画面上の視線の位置を検出することにより、その視線の位置に応じて文字等の入力を行う視線入力装置において、a．視線入力領域に複数種類の文字群の中から一部の文字群が表示されている文字領域を表示する文字領域表示手段と、ｂ．視線の位置が特定領域に移動されると文字領域内に新たな文字を表示させる文字群スクロール手段と、ｃ．視線の位置が文字領域内の文字群上にある場合にその視線の位置にある文字を入力する入力手段とを備えた視線入力装置が提案されている（特許文献３参照）。
【０００６】
上述のように従来技術においては、視線入力による操作は行えても文字入力は行えないか、視線入力により文字入力は行えても複雑な操作は行えない。また電子フォームにおける多様な書式や形態には対応できないか、対応できてもその操作は著しく困難となる。なお、電子フォームについては、その書式や形態、その作成処理、ネットワークを介した提出、等に関していくつかのシステムが提案されている（特許文献４、特許文献５参照）。また、電子フォームの入力においては本人認証が必須条件であったり、それにより利便性が得られることが多いが従来の視線入力システムでは本人認証を行えない。本人認証だけについてはアイリス認証によるシステムが提案されている（特許文献６参照）。
【０００７】
【特許文献１】特開平６−９５７９７号公報
【特許文献２】特開２００２−７０５３号公報
【特許文献３】特開２０００−２０１９６号公報
【特許文献４】特開２００１−２６５９１０号公報
【特許文献５】特開２００２−７４２４５号公報
【特許文献６】特開２００１−１６７２５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上述のような問題を解決するものであり、その目的は、電子フォームにおける多様な書式や形態に対応でき操作性が極めて良好な電子フォーム用視線入力装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の請求項１に係る電子フォーム用視線入力装置は、眼球の動きに基づいて視線位置を検出する視線検出手段と、前記視線位置において決定入力を行うための決定入力手段と、フォーム表示画面と文字入力画面と前記視線位置を表示する表示手段とを備え、前記フォーム表示画面に複数表示された入力領域の１つを前記視線位置で指示し前記決定入力手段で決定入力を行うことにより選択すると、前記表示手段は前記選択された入力領域の属性情報から入力すべき情報種類に応じた入力キー要素で構成される文字入力画面を表示するようにしたものである。
また本発明の請求項２に係る電子フォーム用視線入力装置は、請求項１に係る電子フォーム用視線入力装置において、前記視線検出手段は眼球の動きをカメラで撮像して得た撮像画像に基づいて視線位置を検出する視線検出手段であって、前記カメラが前記眼球におけるアイリス（虹彩）を撮像して得た撮像画像に基づいて本人認証を行うアイリス認証手段を備えるようにしたものである。
【発明の効果】
【００１０】
本発明の請求項１に係る紙器セットの製造方法によれば、フォーム表示画面に複数表示された入力領域の１つを視線位置で指示し決定入力手段で決定入力を行うことにより選択すると、表示手段は選択された入力領域の属性情報から入力すべき情報種類に応じた入力キー要素で構成される文字入力画面を表示する。すなわち、選択された入力領域に適合する形態の文字入力画面を表示することができる。したがって、電子フォームにおける多様な書式や形態に対応でき操作性が極めて良好な電子フォーム用視線入力装置が提供される。
また本発明の請求項２に係る電子フォーム用視線入力装置によれば、視線検出手段のカメラによってアイリス（虹彩）が撮像されアイリス認証手段による本人認証が行われる。したがって、無駄のない構成かつ良好な操作性において本人認証を行うことができる。
【発明を実施するための最良の形態】
【００１１】
本発明の電子フォーム用視線入力装置は、視線入力システムと電子フォームシステムとを組み合わせるとともに記入欄への入力を好適に行えるようにする等のための専用ソフトウェアを有する。視線入力システムも電子フォームシステムも一般的にコンピュータシステムとして実現されるから、１つのコンピュータシステム（ハードウェア）において動作させるように構成することができる。また、２つのコンピュータシステム間にインタフェースを設けて、視線入力システムを電子フォームシステムの入力端末として構成することもできる。いずれの構成においても視線入力システムにおける視点位置等の表示は、電子フォームシステムにおける電子フォーム画像等の表示と合成される。
【００１２】
電子フォーム用視線入力装置における視線入力システムの部分は、眼球の動きに基づいて視線位置を検出する視線検出手段と視線位置において決定入力を行うための決定入力手段とを備える。視線検出手段は、たとえば、顔面の特に眼の部分を撮像するビデオカメラと、ビデオカメラによって得られた撮像画像に基づいて眼球の動き、すなわち視線方向を検出するための処理を行う画像処理部とによって構成される。視線方向が液晶ディスプレイ等の表示装置の視線入力領域（通常は表示画面の全体）に入っているときには、視線方向（直線）と視線入力領域（平面）との交点、すなわち表示装置に表示する視線位置の座標が視線入力システムによって演算される。この表示装置に表示された視線位置は視線入力を行うときに画面における特定位置を指示する位置となる。すなわち、マウスのカーソルと同様の機能を果たす。
【００１３】
また決定入力手段は、視線位置（ポインタ）が指している部分と連動し、その位置に存在する機能を起動し働かせるための入力を行う手段であって、マウスのボタンと同様の機能を果たす。具体的には、たとえば、視線位置を画面における特定位置に導入した後に、「噛む」という動作を行うことによりスイッチが入り決定入力が行われる方式とすることができる。また、「瞬き」という動作を所定回数だけ繰り返すことによりスイッチが入り決定入力が行われる方式とすることができる。また、発した「音声」の大きさが一定値以上のときにスイッチが入り決定入力が行われる方式とすることができる。
【００１４】
また電子フォーム用視線入力装置における電子フォームシステムの部分は、その利用者が要求する電子フォームを提供する処理、その電子フォームに利用者が前述の視線入力システムの部分を用いて必要事項を記入するためのＧＵＩ(graphical user interface)環境を提供する処理、記入された電子フォームを登録保存する処理、等を行う。これらすべての処理を電子フォームシステムの部分が単独で行えるように構成することができる。しかし一般的には、背景に存在する電子フォームのサーバシステムと、クライアントとしての電子フォームシステムの部分とが協調した処理をするように構成する。すなわち、そのサーバシステムに準備されたデータやプログラムをネットワークを介してコンピュータシステムがダウンロードすることにより、そのコンピュータシステムがサーバシステムと協調した処理を行うことで電子フォームシステムとして機能する。
【００１５】
電子フォームはタグ付きのマークアップ言語、たとえばＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）、ＴｅＸ、等で記述される。電子フォームはデザインデータと入力データによって構成される。デザインデータは通常の紙の申請書でいえば未記入の状態の書類に対応する。また入力データは利用者が手書きで記入した事項に対応する。デザインデータは、書類の罫線、文字、網掛け画像などを含む枠データと利用者が入力すべき事項の入力位置（入力欄）および文字表示を制御するタグ付き形式で記述された属性を示すフィールドデータと、その電子フォームの管理情報を含む不可視データを含んでいる。タグは、たとえば氏名のタグ、住所のタグというように必要な入力ごとに用意されている。入力データはデザインデータの表示に基づいて利用者が入力した入力事項に対応するデータであり、入力データも文字データと属性データを含んでいる。
【００１６】
ＧＵＩはフォーム表示画面と文字入力画面と前述した視線入力システムが出力する視線位置を表示装置に表示して利用者が電子フォームに必要事項を記入する環境を提供する。フォーム表示画面の表示装置と文字入力画面の表示装置とを別々にしてもよいが、１つの表示装置にフォーム表示画面と文字入力画面とを同時表示してもよい。利用者がその表示装置を見ながら視線入力システムを使用して行う入力操作に基づいて、ＧＵＩは必要な画面の更新を行う。
【００１７】
フォーム表示画面は電子フォームを表示する画面である。最初はデザインデータだけの、すなわち未記入の電子フォームが表示される。そして、電子フォームの入力欄に入力が行われ入力データが生成されると画面が更新されその入力欄に入力した内容が反映される。たとえば、入力した文字列が入力欄に追加（上書き）表示される。
【００１８】
文字入力画面は入力すべき情報種類に応じた入力キー要素で構成された画面である。利用者はフォーム表示画面に表示された電子フォームにおける入力欄（入力領域）の１つを選択する。本発明の電子フォーム用視線入力装置においては、この選択は視線位置を入力欄に入れて決定入力を行うことで行われる。入力欄には、その入力欄の属性情報が付随している。属性情報は前述したようにタグ付き形式で記述されている。その属性情報から入力すべき情報種類が特定され、その特定された情報種類に対応する入力キー要素で構成された画面が文字入力画面に表示される。
【００１９】
たとえば、属性情報が「郵便番号」のときには、入力すべき情報種類は「数値」であり、入力キー要素で構成された画面は「テンキー」である。テンキーは、たとえば、数字キーだけでなく＊−＋．Enter等のキーを含んでいてもよい。
また、属性情報が「氏名」のときには、入力すべき情報種類は「漢字」であり、入力キー要素で構成された画面は「かな入力キーボード」または「ローマ字入力キーボード」である。このキーボード配列は標準のキーボード配列とは関係なく、入力に必要な最小数のキーだけを最適配列し、操作性のよいものとすることができる。
また、属性情報が「フリガナ」のときには、入力すべき情報種類は「半角カタカナ」であり、入力キー要素で構成された画面は「カナ入力キーボード」である。勿論、このキーボード配列は標準のキーボード配列とは関係なく、入力に必要な最小数のキーだけを最適配列し、操作性のよいものとすることができる。
また、属性情報が「メールアドレス」のときには、入力すべき情報種類は「半角英数字」であり、入力キー要素で構成された画面は「半角英数字入力キーボード」である。勿論、このキーボード配列は標準のキーボード配列とは関係なく、入力に必要な最小数のキーだけを最適配列し、操作性のよいものとすることができる。
【００２０】
次に、図１に示す本発明の電子フォーム用視線入力装置の説明図を参照して説明する。図１において、１は視線入力システム、２は帳票データ、３は専用ソフト、４ａ，４ｂは視線トレーサ、５ａ，５ｂは決定入力部、６は表示部、７はフォーム表示画面、８は文字入力画面、９は入力済みのフォーム表示画面である。
視線入力システム１はコンピュータシステムの本体部分を模式的に示したものである。その記憶部は帳票データ２と専用ソフト３を記憶する。帳票データ２は電子フォームのデータであってデザインデータと入力データによって構成される。また、専用ソフト２は記入欄への入力を好適に行えるようにする等のためのソフトウェアである。たとえば、帳票データ２における選択された入力欄に適合した文字入力画面８を表示し、その入力欄への入力処理を行い、入力が行われると入力データを生成する。
【００２１】
視線トレーサ４ａ，４ｂは電子フォームに対して文字入力を行う者の眼球の動きを検知して視線位置に相当するデータを視線入力システム１に出力する。視線入力システム１はそのデータを入力して表示部６における視線位置を演算して視線位置をポインタ（カーソル）として表示する。
決定入力部５ａ，５ｂは視線位置（ポインタ）が指している部分と連動し、その位置に存在する機能を起動し働かせるための入力を行う決定入力手段である。たとえば、眼球を動かしフォーム表示画面に表示された電子フォームにおける入力欄の１つに視線位置を置いてを決定入力を行う。すると、その決定により選択された入力欄に存在する機能が起動し、その入力欄に適合した文字入力画面８が表示される。
表示部６は、液晶ディスプレイ等の表示装置であって、フォーム表示画面７，９、文字入力画面８、視線位置、等の表示を行う。
【００２２】
次に本発明の電子フォーム用視線入力装置における動作について、図１、図２を参照して説明する。図２は、本発明の電子フォーム用視線入力装置における入力欄視線入力の過程を示すフロー図である。
まず図２のステップＳ１（メニュー画面表示）において、電子フォーム用視線入力装置（クライアントシステム）を起動し、ネットワークを介してサーバシステムに接続する。するとサーバシステムからメニュー画面や処理プログラム等のデータが転送される。電子フォーム用視線入力装置はそれらをダウンロードする。表示部６にはメニュー画面が表示される（図示せず）。
【００２３】
次にステップＳ２（所望の電子フォームを表示）において、メニュー画面において所望の電子フォームを選択する。この選択は視線トレーサと決定入力部を使用する視線入力によって行われる。これにより電子フォーム用視線入力装置の視線入力システム１はその電子フォームのデザインデータ等をダウンロードして帳票データ２等に保存するとともにその電子フォームをフォーム表示画面７に表示する。図１における表示部６のフォーム表示画面７はその状態の画面を示している。
なおフォーム表示画面７には、電子フォームだけでなく、選択した電子フォームにおける入力欄視線入力を終了するための終了ボタン等の制御ボタンが配置されている（図示せず）。
【００２４】
次にステップＳ３（視線位置を移動）において、図１に示すように、利用者はフォーム表示画面７に表示された電子フォームにおける入力欄の１つであるフリガナ欄に視線を向ける。視線トレーサー４ａは利用者の眼球の動きを検出して視線位置に相当するデータを視線入力システム１に出力し、視線入力システム１はそのデータを入力して表示部６における座標を演算してその座標に視線位置（ポインタ）を表示する。その結果、フリガナ欄に視線位置が移動する。
次にステップＳ４（記入枠等を選択）において、利用者はフリガナ欄に視線位置を存在させた状態を保持したまま決定入力部５ａを操作し決定入力を行う。
【００２５】
次にステップＳ５（文字入力画面を表示）において、視線入力システム１は選択された入力領域の属性情報から入力すべき情報種類に応じた入力キー要素で構成される文字入力画面８を表示する。この場合には属性情報が「フリガナ」であるから、入力すべき情報種類は「半角カタカナ」であり、入力キー要素で構成された画面は「カナ入力キーボード」である。前述したように、このキーボード配列は標準のキーボード配列とは関係なく、入力に必要な最小数のキーだけを最適配列し、操作性のよいものとすることができる。
【００２６】
次にステップＳ６（視線位置を移動）において、利用者は文字入力画面８に表示されたカナ入力キーボードにおける入力キーの１つである「ハ」キーに視線を向ける。視線トレーサー４ａは利用者の眼球の動きを検出して視線位置に相当するデータを視線入力システム１に出力し、視線入力システム１はそのデータを入力して表示部６における座標を演算してその座標に視線位置（ポインタ）を表示する。その結果、「ハ」キーに視線位置が移動する。
【００２７】
次にステップＳ７（文字キー等を選択）において、利用者は「ハ」キーに視線位置を存在させた状態を保持したまま決定入力部５ａを操作し決定入力を行う。その入力により視線入力システム１は電子フォームの入力データを更新する処理を行う。そして、更新された入力データをホーム表示画面における電子フォームの表示に反映させる。この場合には選択された「ハ」キーに対応する文字「ハ」を電子フォームのフリガナ欄に表示する。
【００２８】
なお、選択した電子フォームにおける選択された入力欄のすべての文字入力を終えたきには、このステップにおいて文字入力画面８に設けられた制御ボタンの１つである全文字入力終了ボタン（たとえばEnterキー）を視線入力により選択する。その入力により視線入力システム１は電子フォームの入力データを更新する。この場合にはホーム表示画面９に示すように「ハヤシ タロウ」を電子フォームのフリガナ欄に表示する。
また、選択した電子フォームにおける全記入枠への入力を終えたきには、このステップにおいて文字入力画面８に設けられた制御ボタンの１つである全記入枠終了ボタン（たとえばEscキー）を視線入力により選択する。
【００２９】
次にステップＳ８（全文字入力を終了）において、全文字入力終了ボタンが選択されているか否かを判定する。選択されていないとき（ｎｏ）、すなわちにフリガナ欄に「ハヤシ タロウ」の全文字が入力されていないときにはステップＳ６に戻って以降のステップを繰り返す。選択されているとき（ｙｅｓ）にはステップＳ９に進む。
次にステップＳ９（全記入枠を終了）において、全記入枠終了ボタンが選択されているか否かを判定する。選択されていないとき（ｎｏ）にはステップＳ３に戻って以降のステップを繰り返す。
【００３０】
ステップＳ９において、全記入枠終了ボタンが選択されているとき（ｙｅｓ）には、視線入力システム１は上述のステップにおいて生成した入力データを帳票データ２等に保存する。そしてステップＳ１にもどって以降のステップを繰り返す。
なお、メニュー画面には、デザインデータと入力データからなる帳票データ２において、すくなくとも生成した入力データをサーバシステムに転送するための転送ボタン（または登録ボタン）を有する。この転送ボタンが選択されると、入力が完了した電子フォームがサーバーシステムに転送され、サーバシステムにおいて登録する処理が行われる。
【００３１】
次に、本発明の電子フォーム用視線入力装置の変形例について説明する。この変形例では、電子フォーム用視線入力装置はアイリス認証手段を備えていて本人認証を行う機能を有する。上述の電子フォーム用視線入力装置において、視線検出手段として眼球の動きをカメラで撮像して得た撮像画像に基づいて視線位置を検出する方式を適用する。そして、その視線検出手段のカメラによって眼球のアイリス（虹彩）を撮像して撮像画像を得る。視線入力システム１には、アイリス認証手段の処理プログラムが組み込まれており、その撮像画像に基づいてアイリス認証手段が本人認証を行う。
【００３２】
この変形例の電子フォーム用視線入力装置は本人認証を含む様々な処理に適用することができる。適用の一例を説明する。この本人認証は、前述のステップＳ１においてメニュー画面を表示した後、ステップＳ２において所望の電子フォームを表示する前に行うようにする。サーバシステムは本人認証が行われると、その本人に係わる登録データの参照を行う。そして、所望の電子フォームにおける入力欄に入力すべきデータで登録データに存在するものがあれば、そのデータを入力データの形態で生成する。さらにサーバシステムが電子フォーム用視線入力装置（クライアントシステム）に所望の電子フォームをデータ転送するときには、その入力データをデザインデータとともに転送する。
【００３３】
その結果、電子フォーム用視線入力装置の表示部６には電子フォームにおける記入欄のいくつは入力済みの状態で表示される。勿論、その記入欄については入力をしなくて済むことになる。このことにより障害者や傷病者の中で特に手を使用することが不自由な人が入力をするときの負荷が著しく軽減される。
【図面の簡単な説明】
【００３４】
【図１】本発明の電子フォーム用視線入力装置の説明図である。
【図２】本発明の電子フォーム用視線入力装置における視線入力の過程を示すフロー図である。
【符号の説明】
【００３５】
１  視線入力システム
２  帳票データ
３  専用ソフト
４ａ，４ｂ  視線トレーサ
５ａ，５ｂ  決定入力部
６  表示部
７  フォーム表示画面
８  文字入力画面
９  入力済みのフォーム表示画面
【図１】
2005135135.tif 000003
【図２】
2005135135.tif 000004