【手続補正書】
【提出日】平成16年3月24日(2004.3.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ハイパーリンクされたテキスト構造をもつハイパーリンク文書を表示する表示装置と、操作者が手で操作して位置指示情報を入力する入力装置とを積層配置して操作者が表示物を見る場所と触る場所とが近接するようにした文書閲覧システムであって、
前記表示装置に表示されたハイパーリンク文書に含まれるハイパーリンク情報を検索するハイパーリンク情報検索手段と、
該ハイパーリンク情報検索手段により検索されたハイパーリンク情報に基づいて操作者が手で操作しやすいような選択オブジェクトを表示する選択オブジェクト表示手段とを有し、
該選択オブジェクト表示手段により表示された選択オブジェクトを操作者が選択したときには、対応するハイパーリンク情報に基づき、ハイパーリンク先の文書を表示する文書閲覧システム。
【請求項２】
請求項１に記載の文書閲覧システムであって、
前記ハイパーリンク情報検索手段により検索されたハイパーリンク情報が文書の特定の集合の内か外かを見分ける内外判別手段をさらに有し、
該内外判別手段の判別結果に基づき、前記選択オブジェクト表示手段は、選択オブジェクトの表示の仕方を変えることを特徴とする文書閲覧システム。
【請求項３】
請求項２に記載の文書閲覧システムであって、
文書の特定の集合の内か外かを切替える内外切替スイッチボタンをさらに有し、
操作者が該内外切替スイッチボタンを操作することにより前記選択オブジェクト表示手段は、選択オブジェクトの表示の仕方を変更することを特徴とする文書閲覧システム。
【請求項４】
請求項１乃至請求項３のいずれかに記載の文書閲覧システムにおいて、
昇順若しくは降順のソートボタンをさらに有し、
前記選択オブジェクト表示手段は、該ソートボタンの押された状態に基づいて、ハイパーリンク名称若しくはハイパーリンクのファイル名若しくはＵＲＬアドレスの昇順若しくは降順、若しくは該ハイパーリンク情報検索ステップにて検索されたハイパーリンク情報の検索順、ハイパーリンクの表示出現順の昇順若しくは降順で選択オブジェクトを表示することを特徴とする、文書閲覧システム。
【請求項５】
請求項１乃至請求項４のいずれかに記載の文書閲覧システムであって、
前記選択オブジェクト表示手段により表示された選択オブジェクトの表示範囲に操作者の操作によるポインタ位置がはいったときに、該選択オブジェクトの表示のしかたを変化させることを特徴とする文書閲覧システム。
【請求項６】
請求項１乃至請求項５のいずれかに記載の文書閲覧システムであって、
操作者による入力又は選択がなされないまま所定の時間が過ぎたときに、前記選択オブジェクト表示手段は、選択オブジェクトを縮小表示若しくは端に移動表示することを特徴とする文書閲覧システム。
【請求項７】
請求項１乃至請求項６のいずれかに記載の文書閲覧システムであって、
前記選択オブジェクトの表示範囲に操作者の操作によるポインタ位置がはいった状態が所定の時間続いたときに、前記選択オブジェクト表示手段により表示された選択オブジェクトが操作者により選択されたとして、前記ハイパーリンク先に表示を切替えることを特徴とする文書閲覧システム。
【請求項８】
請求項７に記載の文書閲覧システムであって、
前記選択オブジェクトの表示範囲に操作者の操作によるポインタ位置がはいった状態が所定の時間続いたときに、マウスボタンを離すイベントを擬似的に発行することにより、前記ハイパーリンク先に表示を切替えることを特徴とする文書閲覧システム。
【請求項９】
請求項１乃至請求項８のいずれかに記載の文書閲覧システムであって、
上下左右のボタンを設け、ボタンを選択したとき、ハイパーリンク文章の表示に対し、所定のスクロール操作を行う文書閲覧システム。
【請求項１０】
請求項１乃至請求項９のいずれかに記載の文書閲覧システムであって、
前記表示装置の表示面より前記入力装置の入力面の面積を大きく設置し、表示面の端からタッチ面との間に溝を設け、操作者が溝を上下左右になぞることによって、ハイパーリンク文書の表示に対し、スクロール操作を行うことを特徴とする文書閲覧システム。
【請求項１１】
ハイパーリンクされたテキスト構造をもつハイパーリンク文書を表示する表示装置と、操作者が手で操作して位置指示情報を入力する入力装置とを積層配置して操作者が表示物を見る場所と触る場所とが近接するようにした文書閲覧システムにおける文書閲覧方法であって、
前記表示装置に表示されたハイパーリンク文書に含まれるハイパーリンク情報を検索するハイパーリンク情報検索ステップと、
該ハイパーリンク情報検索ステップにて検索されたハイパーリンク情報に基づいて操作者が手で操作しやすいような選択オブジェクトを表示する選択オブジェクト表示ステップと、
該選択オブジェクト表示ステップにて表示した選択オブジェクトを操作者が選択したときに、対応するハイパーリンク情報に基づき、ハイパーリンク先の文書を表示するハイパーリンク先文書表示ステップとを有する文書閲覧方法。
【請求項１２】
請求項１１に記載の文書閲覧方法において、
前記ハイパーリンク情報検索ステップでは、さらにそのハイパーリンク先が所定の文書の集合の内か外かを判別し、
前記選択オブジェクト表示ステップでは、操作者による内外切替スイッチボタンの選択に対応して選択オブジェクトを表示することを特徴とする文書閲覧方法。
【請求項１３】
請求項１２に記載の文書閲覧方法おいて、
前記選択オブジェクト表示ステップでは、所定の文書の集合の内か外かによって、該選択オブジェクトの表示の仕方を変えることを特徴とする文書閲覧方法。
【請求項１４】
請求項１１乃至請求項１３のいずれかに記載の文書閲覧方法において、
前記選択オブジェクト表示ステップでは、ソートボタンの状態に応じて、前記選択オブジェクトの表示を、ハイパーリンク名称若しくはハイパーリンクのファイル名若しくはＵＲＬアドレスの、名称による昇順若しくは降順、若しくは該ハイパーリンク情報検索ステップにて検索されたハイパーリンク情報の検索順、ハイパーリンクの表示出現順の昇順若しくは降順で表示することを特徴とする、文書閲覧方法。
【請求項１５】
請求項１１乃至請求項１４のいずれかに記載の文書閲覧方法であって、
前記選択オブジェクト表示ステップにて表示した選択オブジェクトの表示範囲に操作者の操作によるポインタ位置が一致したときに、該選択オブジェクトの表示の仕方を変化させることを特徴とする文書閲覧方法。
【請求項１６】
請求項１１乃至請求項１５のいずれかに記載の文書閲覧方法であって、
前記表示装置の表示画面上に上下左右のスクロールボタンを表示し、操作者が該スクロールボタンを選択したときに、ハイパーリンク文書の表示に対し、スクロール操作を行うことを特徴とする文書閲覧方法。
【請求項１７】
請求項１１乃至請求項１６のいずれかに記載の文書閲覧方法であって、
前記選択オブジェクト表示ステップでは、さらに表示非表示切替ボタンを表示し、非表示が選択されたときには、選択オブジェクトの表示をやめ、表示が選択されたときに前記選択オブジェクトを表示することを特徴とする文書閲覧方法。
【請求項１８】
ハイパーリンクされたテキスト構造をもつハイパーリンク文書を表示する表示装置と、操作者が手で操作して位置指示情報を入力する入力装置とを積層配置して操作者が表示物を見る場所と触る場所とが近接するようにした文書閲覧システムにおける文書閲覧方法であって、
前記表示装置に表示されたハイパーリンク文書に含まれるハイパーリンクオブジェクトが選択されたときに、選択されたハイパーリンク情報をそれが選択された順序情報とともにデータベースに記憶するデータベース登録ステップと、
ハイパーリンクオブジェクトが選択された結果、該当のハイパーリンク先の文書が表示されたときに、過去において次に選択されたハイパーリンク情報を抽出すべく、前記データベースに検索をかけるデータベース検索ステップと、
該データベース検索ステップにて抽出されたハイパーリンク情報を操作者が手で操作しやすいような選択オブジェクトで表示する選択オブジェクト表示ステップと、
該選択オブジェクト表示ステップにて表示されたいくつかの選択オブジェクトのうちのいずれを操作者が選択したかを取得するオブジェクト選択結果取得ステップと、
該オブジェクト選択結果取得ステップの結果に基づいて、ハイパーリンク先を前記表示装置に表示させるハイパーリンク先表示ステップと、
を有する文書閲覧方法。
【請求項１９】
請求項１８に記載の文書閲覧方法において、
ハイパーリンクオブジェクトが選択された結果、該当のハイパーリンク先の文書が表示されたときに、表示されたハイパーリンク文書のイメージを保存する文書イメージ記憶ステップをさらに有し、
前記選択オブジェクト表示ステップにて選択オブジェクトを表示する際に、該選択手段オブジェクトの表示と共に、それに対応するハイパーリンク文書のイメージを表示することを特徴とする文書閲覧方法。
【請求項２０】
請求項１９に記載の文書閲覧方法において、
位置指示ポインタが選択手段オブジェクトの位置にあるときに、選択手段オブジェクトに該当するハイパーリンク文書のイメージを表示することを特徴とする文書閲覧方法。
【請求項２１】
請求項１９又は２０のいずれかに記載の文書閲覧方法において、
前記ハイパーリンク文書のイメージの保存は画素数を減らして行い、その表示においては縮小表示とすることを特徴とする文書閲覧方法。
【請求項２２】
請求項１８乃至請求項２１のいずれかに記載の文書閲覧方法において、
前記データベースは、ハイパーリンクが選択されたときの日付と時刻情報若しくは該選択手段オブジェクトを選択したときの日付と時間情報からなる選択時間情報を有し、
前記データベース登録ステップでは、ハイパーリンクの選択又は選択手段オブジェクトの選択のタイミングで、該データベースの更新を実行し、
前記選択手段オブジェクト表示ステップは、該選択手段オブジェクト候補が複数ある場合は、前記選択時間情報に基づいてそれらを並べ替えて表示することを特徴とする文書閲覧方法。
【請求項２３】
請求項１８乃至請求項２１のいずれかに記載の文書閲覧方法において、
前記データベース登録ステップでは、ハイパーリンクが選択されたとき若しくは該選択手段オブジェクトを選択したときに、選択回数情報をインクリメントして登録し、
前記選択オブジェクト表示ステップでは、該選択オブジェクト候補が複数ある場合は、前記データベース登録ステップで登録された選択回数情報に基づいて並べ替えて表示することを特徴とする文書閲覧方法。
【請求項２４】
請求項１８に記載の文書閲覧方法であって、
該データベースは、ハイパーリンク文書を持つサイト情報を管理するテーブルとしてサイト管理番号とサイト代表アドレスとを有し、個々のハイパーリンク文書情報を管理するテーブルとしてハイパーリンク文書アドレス情報とハイパーリンク文書名とサイト管理番号とを有することを特徴とする文書閲覧方法。
【請求項２５】
請求項１８又は請求項２４に記載の文書閲覧方法であって、
前記選択オブジェクト表示ステップは、前記データベース情報に基づき、ハイパーリンク文書がサイト外かサイト内かを判別し、その結果に基づき、前記選択手段オブジェクトをサイト内のみ表示させる、サイト外のみ表示させる、又はサイト内外共に表示させるというそれぞれのモードに切替えて表示することを特徴とする文書閲覧方法。
【請求項２６】
請求項１８乃至請求項２４のいずれかに記載の文書閲覧方法であって、
さらに、ブックマークボタンを設置し、該ブックマークボタンを押すことによって、現在表示されているハイパーリンク文書アドレス情報とハイパーリンク文書名と文章ページのイメージ若しくはデータ、又は文章ページのイメージ若しくはデータを保存してある位置情報を記憶することを特徴とする文書閲覧方法。
【請求項２７】
請求項１８に記載の文書閲覧方法であって、
前記データベースは、文字、イメージ、音声、スクリプトプログラムなどのハイパーリンク文書及びオブジェクトの表示方法を記憶する構造を持ち、
前記データベース登録ステップでは、ハイパーリンク文書の表示方法をデータベースに記憶し、
該当のハイパーリンク文書が表示される場合には、前記データベースより前記表示方法を取り出し、前記表示方法に従った表示とすることを特徴とする文書閲覧方法。
【請求項２８】
請求項１１乃至請求項２７のいずれかに記載の文書閲覧方法を実行するコンピュータプログラムを記録した情報記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明に係る文書閲覧方法は、ハイパーリンクされたテキスト構造をもつハイパーリンク文書を表示する表示装置と、操作者が手で操作して位置指示情報を入力する入力装置とを積層配置して操作者が表示物を見る場所と触る場所とが近接するようにした文書閲覧システムにおける文書閲覧方法であって、前記表示装置に表示されたハイパーリンク文書に含まれるハイパーリンクオブジェクトが選択されたとき、選択されたハイパーリンク情報をそれが選択された順序情報とともにデータベースに記憶するデータベース登録ステップと、ハイパーリンクオブジェクトが選択された結果、該当のハイパーリンク先の文書が表示されたとき、過去において次に選択されたハイパーリンク情報を抽出すべく、前記データベースに検索をかけるデータベース検索ステップと、該データベース検索ステップにて抽出されたハイパーリンク情報を選択オブジェクトで表示する選択オブジェクト表示ステップと、該選択オブジェクト表示ステップにて表示されたいくつかの選択オブジェクトのうちのいずれを操作者が選択するかを取得するオブジェクト選択結果取得ステップと、該オブジェクト選択結果取得ステップの結果に基づいて、ハイパーリンク先を前記表示装置に表示させるハイパーリンク先表示ステップとを有する。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
該データベースは、ハイパーリンク文書を持つサイト情報を管理するテーブルとしてサイト管理番号とサイト代表アドレスとを有し、個々のハイパーリンク文書情報を管理するテーブルとしてハイパーリンク文書アドレス情報とハイパーリンク文書名とサイト管理番号とを有することが望ましい。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
前記選択オブジェクト表示ステップは、前記データベース情報に基づき、ハイパーリンク文書がサイト外かサイト内かを判別し、その結果に基づき、前記選択手段オブジェクトをサイト内のみ表示させる、サイト外のみ表示させる、又はサイト内外共に表示させるというそれぞれのモードに切替えて表示することとできる。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
前記データベースには、文字、イメージ、音声、スクリプトプログラムなどのハイパーリンク文書及びオブジェクトの表示方法を記憶する構造を持ち、前記データベース登録ステップでは、ハイパーリンク文書の表示方法をデータベースに記憶し、該当のハイパーリンク文書が表示される場合には、前記データベースより前記表示方法を取り出し、前記表示方法に従った表示とすることとすることもできる。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
図２は、ポインタの指し示す選択オブジェクトの表示の仕方を他のものとは変えた状態を示す図である。図２に示すように、本実施形態では、選択オブジェクトの位置にマウスポインタが存在する時、マウスポインタの指す選択オブジェクトの表示を変化させる。例えば選択オブジェクトでは色を変化させ、選択手段オブジェクトのボタンラベル表示を太字にしている。また、選択オブジェクト自体（その表示面積）を大きくすることも効果的である。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
そこで、本発明では、スクロールボタンを設置し、アクティブなアプリケーションを検出し、アクティブなアプリケーションに対して、スクロールボタンをクリックすることで、スクロール操作をさせることを提案する。むろん、前述のブラウザにおける操作も可能である。更に別な方法として、タッチパネルシステムにおいて、表示面以上のタッチ面を広げ、実際の表示面からはずれた位置で指等でなぞることによって、スクロール操作をさせることをも提案する。この時、表示面よりはみ出ている座標値は表示領域の端の座標として出力する。よって、マウスポインタは表示面の一番端を上下左右することになる。一方、本発明のプログラムはマウスポインタの座標値が端に来た時をスクロール操作としてブラウザの操作をすれば、より簡単なスクロール操作が可能である。さらに、指でスクロール部分に機構的に溝を形成することにより、指でなぞる操作をしやすくすることも効果的である。


【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
図７は、文書閲覧システムのハードウェア構成を更に詳しく説明した図である。タッチパネル１と表示装置７とは、実際には、積層配置されており、表示物を指し示すことで、それを選択したと情報処理装置２に通知できるように位置合わせがなされるものである。図７では、便宜上、分離して表示している。タッチパネル１の出力は、インタフェース３を介してドライバ５に渡される。ドライバ５は、ＡＰＩ６を通じてオペレーションシステム４に操作者の指が指し示す位置情報を渡す。それによりその情報は、ＯＳやアプリケーションプログラムが利用可能な情報となる。また、その指し示す位置は表示装置７の上にマウスポインタとして表示される。表示装置７に表示された選択オブジェクトとマウスポインタが重なった状態でマウスボタン押し下げ（及びリリース）のイベントが発せられれば、その選択オブジェクトが選ばれたこととなる。その選択オブジェクトがハイパーリンクを示すものであれば、表示装置７にはリンク先の文書の表示がなされる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
図１２はハイパーリンク先をイメージで表示する場合の表示例である。マウスポインタ５９が選択手段オブジェクト６０の位置に来た時、選択手段オブジェクト６０に該当するページのイメージ６１をその左横に（縮小して)表示する。こうすることによって、選択しようとしているページの概略を知ることができる。この実現方法は、新しく閲覧したページが表示された時、そのページのイメージをキャプチャーして画像データを縮小して保存しておく。また縮小だけでなく、画素数を少なくしたり圧縮したりすると保存によるファイル容量を少なくすることができる。圧縮方法としてはＢＩＴＭＡＰ方式からＪＰＥＧ方式にフォーマットを変換することで圧縮できることが広く知られている。この保存したデータファイルはデータベースに記憶しておく。この詳細な説明はまた後程に行う。また、イメージではなく、データそのものを保存しておくことでも実現可能である。


【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
図１１は本実施例の文書閲覧方法に用いるデータベース構造の例である。図１１（ａ）に示すのがサイト情報テーブルである。サイト情報テーブルではサイト情報インデックスフィールド６２とサイトデータフィールド６３とで構成される。図１１（ｂ）に示すリンク情報テーブルはリンク情報インデックスフィールド６４とサイト情報インデックスフールドとリンク情報データフィールド６５とリンク名フィールド６６と、イメージ保存位置情報フィールド６７と選択時間情報フィールド６８と選択回数情報フィールド６９とで構成される。図１１（ｃ）は順序情報テーブルである。順序情報テーブルは順序情報インデックスフィールド７０と今回選択情報フィールド７１と次回選択情報フィールド７２とで構成される。


【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
図１３のブラウザ表示部４４でハイパーリンクオブジェクトをクリックすることでハイパーリンクするハイパーリンク選択プロセス（図９のステップ９００）が発生する。すると、ハイパーリンク情報をデータベースから検索するプロセス（図９のステップ９２０）に移行する。この時、ハイパーリンク先が今まで閲覧したことのない、新規のハイパーリンク文書であった場合は、ステップ９４０でイエスと判断された結果、ステップ９４２に進み、ブラウザ表示部をキャプチャーして、縮小加工したイメージを所定のディレクトリに保存する。そして、新規のハイパーリンク情報をデータベースに登録する（ステップ９４４）。この時、同時に前期保存したイメージの保存先をも登録しておく。次に選択した時の選択時間情報と、選択回数情報を更新するプロセス（ステップ９５０）に移行する。データベースの情報にはこうした選択時間情報と選択回数情報が記憶される仕組みになっている。次に順序情報登録プロセス（ステップ９５２）に移行する。ここでいう順序情報とは、今まで表示されていたハイパーリンク情報とこれから表示しようとしているハイパーリンク情報を保存する。つまり、データベース構造からするとハイパーリンク元の情報を今回選択情報フィールド（図１１の７１）に、今回ハイパーリンクした情報を次回選択情報フィールド（図１１の７２）に登録する。次に順序情報検索プロセス（ステップ９６０）に移行する。ここでは、次に新しくハイパーリンクした文書から過去、次にハイパーリンクした情報を検索する。つまり、データベース構造からすると、新しくハイパーリンクした情報を今回選択情報フィールド（図１１の７１）により検索キーにして、次回選択情報フィールド（図１１の７２）を検索すれば良い。検索結果からハイパーリンク情報を選択オブジェクトで表示するプロセス（ステップ９６２）に移行する。これによって、マウスポインタからの入力待ち状態に入る。マウスポインタが選択オブジェクトの位置に来た時（ステップ９７０）、先に保存したイメージを選択オブジェクトの隣に表示する（ステップ９７２）。そして、選択オブジェクトが選択（ステップ９９０でイエス）つまりマウスでクリック（ポインタがその位置にある状態でマウスボタン押し下げのイベント発行）された時、該当するハイパーリンク文書をブラウザ表示部に表示する（ステップ９９２）。その後、ステップ９６０に戻る。これを繰り返すことによって、過去に閲覧したハイパーリンク文書であれば、本発明の入力支援ツールプログラムの選択手段オブジェクトを選択する行為だけで、閲覧可能になり、より簡単な操作で済む。


【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
次に本データベース構造を応用して、違う利用方法を説明する。本発明のブラウザには３つの機能がある。一つは前記説明したＬｉｎｋ表示機能でこれはＬｉｎｋボタン（図１３の４７）を選択した時に有効である。次に履歴ボタン（図１３の４８）を選択した時に有効な履歴表示機能と、Ｍａｒｋボタン（図１３の４９）を選択した時に有効なブックマーク表示機能である。まず、履歴表示機能について説明する。本データベース構造においては閲覧したハイパーリンク情報は必ずデータベースに登録されている。更にハイパーリンクされた時の選択時間情報と、選択回数情報が更新される。履歴表示機能を用いると、今まで閲覧した履歴が簡単に取れる。つまり、選択時間情報のオーダー順で検索すれば良い。検索結果は選択オブジェクトによって表示され、選択オブジェクトを選択することで該当のハイパーリンク文書を閲覧できる。また、最新順ボタン（図１３の５４）と頻度順ボタン（図１３の５５）を利用すれば、時間による最新順の他に、選択された頻度順を選択回数情報より検索して求めることも可能である。次にブックマーク表示機能について説明する。ブックマークとはお気に入り機能ともいい、操作者が良く閲覧するハイパーリンク文章のＵＲＬアドレスを記憶しておき、いつでも簡単に呼び出せる機能である。本発明を用いれば、ＵＲＬアドレスを記憶するだけでなく、そのページのイメージをも記憶することが可能である。例えばデータベースでブックマークテーブルを作成しインデックスフィールドだけ設定する。また画面上にはブックマークボタン（図１３の９１）を設置してブックマークボタン９１をクリックすると、現在表示されているハイパーリンク文章の、データベース構造でいうリンク情報テーブルのリンク情報インデックスフィールド（図１１の６４）をブックマークテーブルのインデックスフィールドに記憶すれば簡単に記憶できる。Ｍａｒｋボタン（図１３の４９）を選択した時、ブックマークテーブルとリンク情報テーブルからハイパーリンク情報を検索すれば、これを選択オブジェクトで表示し選択することで、簡単に閲覧が可能となる。


【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
変形実施例に関して説明を加える。本発明の入力支援を応用して、テキストやハイパーリンクの入力及び選択操作の代わりに、キーボード入力つまりショートカットキーの発生やマウスポインタの移動、アプリケーション起動として割り当てることができる。また、本発明は音声認識システムを取り込むと、タッチ操作とは別な入力方法を編み出すことができる。つまり、選択オブジェクトの選択の手段に音声認識を取り入れる。例えば、３番目に表示されている選択手段オブジェクトを選択する際には、「３番」と音声を発するだけで選択できる。テキスト文章の入力においては、文頭のみ音声認識による単語の発生入力をすれば、後は選択オブジェクトの選択する番号を音声で発生するだけで、定型文章を入力していくことが可能である。