(57)【特許請求の範囲】
【請求項１】
複数の提示項目を触覚により認識可能な装置を用いて提示させるための触覚提示装置において、
提示させる表データを入力する表データ入力手段と、
前記表データ入力手段により得られる表データから表形式の単位区間内に存在する複数の提示項目を抽出する提示項目抽出手段と、
前記提示項目抽出手段により得られる前記複数の提示項目に対して段階的なレベル差を有する出力レベルを設定する出力レベル設定手段と、
前記出力レベルが設定された複数の提示項目のうち、何れか１つを出力させる閾値を設定する閾値設定手段と、
前記出力レベルと前記閾値とを用いて、複数の提示項目から抽出条件に合う所定の提示項目を抽出する項目選択手段と、
前記単位区間毎に設定された提示項目を表示する所定範囲を、前記複数の提示項目の数に対応させて分割し、分割した範囲毎に前記複数の提示項目を配置し、前記項目選択手段により得られた提示項目を提示する触覚提示手段と、
前記閾値設定手段により設定された複数の閾値を時間経過と共に変化させて、前記閾値に対応する前記提示項目を選択して前記触覚提示手段に順次提示させるように制御する閾値制御手段とを有することを特徴とする触覚提示装置。
【請求項２】
前記閾値制御手段は、
ユーザにより前記単位区間内に存在する提示項目が選択された場合に、前記単位区間以外に存在する提示項目の出力レベルを、前記ユーザが選択した提示項目の出力レベルに変換することを特徴とする請求項１に記載の触覚提示装置。
【請求項３】
前記単位区間内に存在する提示項目の表示形式にマークアップ記述を用い、前記マークアップ記述内容として、前記提示項目に対する出力レベル、閾値、提示位置、及びサイズのうち、少なくとも１つを記述するタグを有することを特徴とする請求項１又は２に記載の触覚提示装置。
【請求項４】
前記閾値制御手段は、
前記単位区間毎に設定された提示項目を表示する所定範囲を、前記複数の提示項目の数に対応させて分割する際、前記ユーザの指の大きさに限定した範囲を基準にして分割することを特徴とする請求項１乃至３の何れか１項に記載の触覚提示装置。
【請求項５】
複数の提示項目を触覚により認識可能な装置を用いて提示させるための触覚提示方法において、
提示させる表データを入力する表データ入力ステップと、
前記表データ入力ステップにより得られる表データから表形式の単位区間内に存在する複数の提示項目を抽出する提示項目抽出ステップと、
前記提示項目抽出ステップにより得られる前記複数の提示項目に対して段階的なレベル差を有する出力レベルを設定する出力レベル設定ステップと、
前記出力レベルが設定された複数の提示項目のうち、何れか１つを出力させる閾値を設定する閾値設定ステップと、
前記出力レベルと前記閾値とを用いて、複数の提示項目から抽出条件に合う所定の提示項目を抽出する項目選択ステップと、
前記単位区間毎に設定された提示項目を表示する所定範囲を、前記複数の提示項目の数に対応させて分割し、分割した範囲毎に前記複数の提示項目を配置し、前記項目選択ステップにより得られた提示項目を提示する触覚提示ステップと、
前記閾値設定ステップにより設定された複数の閾値を時間経過と共に変化させて、前記閾値に対応する前記提示項目を選択して順次提示させるように制御する閾値制御ステップとを有することを特徴とする触覚提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触覚提示装置及び触覚提示方法に係り、特に迅速で効率的に情報を取得するための触覚提示装置及び触覚提示方法に関する。
【背景技術】
【０００２】
従来、パソコン等において、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）で記述される表や表計算「ＥＸＣＥＬ（登録商標）」のようなアプリケーションによる表の情報伝達には、例えば音声によるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面の読み上げソフト（例えば、非特許文献１参照。）で音声・点字に変換して表示する方法が一般的である。なお、音声読み上げを用いて表形式のデータを伝達する場合には、例えば表の行と列のセルの情報を時間列で順次全文を読み上げる手法がある（第１の従来手法）。
【０００３】
また、他の従来技術としては、主にＨＴＭＬ等で行と列のタイトルと内容とを予め設定された規則の読み順にしたがって読み上げるように作成者が読み上げ文を作成する手法がある（第２の従来手法）。
【０００４】
また、他の従来技術としては、例えば全盲の人が表のセル単位で任意のセルにアクセスして内容を知るために、例えば表計算「ＥＸＣＥＬ」等では、上下矢印キーの操作により、表の行と列を順次移動して任意のセルを選択し、セルの内容を音声や点字で出力する手法がある（第３の従来手法）。
【０００５】
更に、他の従来技術としては、音声とは別に触覚に対して空間的に表のセルの構成を提示したり、任意のセルにアクセスして内容を知ることのできる手法がある（例えば、特許文献１参照。）（第４の従来手法）。なお、特許文献１に示されている手法は、格子状のスイッチアレイからなる触覚提示装置を構成し、その凹凸により情報の有無や表形式の任意のセルを選択し、音声や点字により内容を得ることができる方式である。なお、上述した手法を拡張した仕組みとしては、例えば触覚ディスプレイを用いた方法がある。
【非特許文献１】渡辺哲也、岡田伸一、「視覚障害者用Ｗｉｎｄｏｗｓ（登録商標）画面読み上げソフトウェアの開発とその評価」，ヒューマンインタフェース６８−７、１９９６年９月１２日．
【特許文献１】特開２００５−３３１６３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、例えば全盲の視覚障害者が、音声や点字等の１次元情報により２次元で表される表形式の内容を理解するためには、表の内容を適切な規則で行と列、及び、各セルの位置関係を常に知らせながらセルの内容を音声読み上げや点字に変換して表示する方法が必要となる。
【０００７】
しかしながら、上述した第１の従来技術は、単に行或いは列方向に順次読み上げる手法であるため、表の内容を把握することが難しい。また、上述した第２の従来技術では、作成者が意図して、例えばＨＴＭＬの＜ＡＬＴ＞タグ等で、表の行と列の読み順を作成する必要がある。また、これら第１の従来手法と第２の従来手法では、何れも表形式のセルを抽出する構成にはなっていないため、現在のセルに対して上下左右に隣接するセルへの移動ができない。したがって、自分の意図する位置のセル情報を得るには全文を聴かなければならず、時間を要してしまう。
【０００８】
また、第３の従来手法では、「Ｅｘｃｅｌ」等の特定のアプリケーションによる表形式の表示では、それぞれの表のセルを、十字キー等を用いて指定し、音声や点字、或いは拡大表示で表現することが可能である。しかしながら、任意のセルへの移動には順次十字キーを押下する必要があり、更に行と列のタイトル項目の確認にはその都度タイトル項目を表すセルに移動しなければならない。
【０００９】
このように、従来技術では、何れも２次元で表される表を１次元の音声や点字で伝達するため、全体の表の把握や迅速なセルへのアクセス、或いは行と列のタイトル項目の確認の観点から不十分で、最適なインターフェースとはいえないといった問題がある。
【００１０】
更に、第４の従来手法では、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ；電子番組ガイド）のような単位区間（時間等）に複数存在するセルを表示する方法の１つである。しかしながら、第４の従来手法では、マークアップ記述により触覚ディスプレイに上記の表を表示する場合に、同一区間内で表示するセルは１個を想定しているため、複数のセルが同一の領域に重なって表示されることになる。これに対し、複数存在するセルを順次表示する手段はなかった。
【００１１】
本発明は、上述した問題点に鑑みなされたものであり、迅速で効率的に情報を取得するための触覚提示装置及び触覚提示方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１３】
請求項１に記載された発明は、複数の提示項目を触覚により認識可能な装置を用いて提示させるための触覚提示装置において、提示させる表データを入力する表データ入力手段と、前記表データ入力手段により得られる表データから表形式の単位区間内に存在する複数の提示項目を抽出する提示項目抽出手段と、前記提示項目抽出手段により得られる前記複数の提示項目に対して段階的なレベル差を有する出力レベルを設定する出力レベル設定手段と、前記出力レベルが設定された複数の提示項目のうち、何れか１つを出力させる閾値を設定する閾値設定手段と、前記出力レベルと前記閾値とを用いて、複数の提示項目から抽出条件に合う所定の提示項目を抽出する項目選択手段と、前記単位区間毎に設定された提示項目を表示する所定範囲を、前記複数の提示項目の数に対応させて分割し、分割した範囲毎に前記複数の提示項目を配置し、前記項目選択手段により得られた提示項目を提示する触覚提示手段と、前記閾値設定手段により設定された複数の閾値を時間経過と共に変化させて、前記閾値に対応する前記提示項目を選択して前記触覚提示手段に順次提示させるように制御する閾値制御手段とを有することを特徴とする。
【００１４】
請求項１記載の発明によれば、表示レベルに所望の項目を抽出して提示することで、ユーザは迅速で効率的に情報を取得することができる。
【００１５】
請求項２に記載された発明は、前記閾値制御手段は、ユーザにより前記単位区間内に存在する提示項目が選択された場合に、前記単位区間以外に存在する提示項目の出力レベルを、前記ユーザが選択した提示項目の出力レベルに変換することを特徴とする。
【００１６】
請求項２記載の発明によれば、より多くの項目を選択して提示させることができる。これにより、ユーザは迅速で効率的に情報を取得することができる。
【００１７】
請求項３に記載された発明は、前記単位区間内に存在する提示項目の表示形式にマークアップ記述を用い、前記マークアップ記述内容として、前記提示項目に対する出力レベル、閾値、提示位置、及びサイズのうち、少なくとも１つを記述するタグを有することを特徴とする。
【００１８】
請求項３記載の発明によれば、マークアップ言語で記述されるタグ情報を用いて所望する情報を効果的に抽出して高精度に提示することができる。
【００１９】
請求項４に記載された発明は、前記閾値制御手段は、前記単位区間毎に設定された提示項目を表示する所定範囲を、前記複数の提示項目の数に対応させて分割する際、前記ユーザの指の大きさに限定した範囲を基準にして分割することを特徴とする。
【００２０】
請求項４記載の発明によれば、より多くの項目を効率的に分割して表示させることができる。したがって、より高精度で効果的な項目の提示を実現することができる。
【００２１】
請求項５に記載された発明は、複数の提示項目を触覚により認識可能な装置を用いて提示させるための触覚提示方法において、提示させる表データを入力する表データ入力ステップと、前記表データ入力ステップにより得られる表データから表形式の単位区間内に存在する複数の提示項目を抽出する提示項目抽出ステップと、前記提示項目抽出ステップにより得られる前記複数の提示項目に対して段階的なレベル差を有する出力レベルを設定する出力レベル設定ステップと、前記出力レベルが設定された複数の提示項目のうち、何れか１つを出力させる閾値を設定する閾値設定ステップと、前記出力レベルと前記閾値とを用いて、複数の提示項目から抽出条件に合う所定の提示項目を抽出する項目選択ステップと、前記単位区間毎に設定された提示項目を表示する所定範囲を、前記複数の提示項目の数に対応させて分割し、分割した範囲毎に前記複数の提示項目を配置し、前記項目選択ステップにより得られた提示項目を提示する触覚提示ステップと、前記閾値設定ステップにより設定された複数の閾値を時間経過と共に変化させて、前記閾値に対応する前記提示項目を選択して順次提示させるように制御する閾値制御ステップとを有することを特徴とする。
【００２２】
請求項５記載の発明によれば、表示レベルに所望の項目を抽出して提示することで、ユーザは迅速で効率的に情報を取得することができる。
【発明の効果】
【００２３】
本発明によれば、迅速で効率的に情報を取得することができる。
【発明を実施するための最良の形態】
【００２４】
＜本発明の概要＞
本発明は、例えばデータ放送やＷｅｂで表示される電子番組表（ＥＰＧ）等のように単位区間の中に複数のセルが存在したり、セルが単位区間を横断したりするような不規則な表形式において、例えば視覚障害者等が２次元触覚提示手段と音声や点字を併用して迅速で効率的に情報を得ることができる提示方法に関する。
【００２５】
具体的には、例えば微小なピン等の触覚刺激素子を凹凸に駆動し、微小ピンの集合で選択項目やアイコン等を表示する触覚オブジェクト、及び、形状や画面レイアウトを表現する２次元触覚提示装置を用いて、ＥＰＧのような単位区間の中に複数のセルが存在したり、セルが単位区間を横断したりするような不規則な表形式の各セルを提示する。
【００２６】
また、本発明は、入力した不規則表において、単位区間内に複数の項目のセルが存在する場合には、それぞれに対応する触覚オブジェクトを限定した範囲領域内で分割し、順次提示することを特徴とする（第１の方法）。
【００２７】
また、本発明は、入力した不規則表において、単位区間内に存在する複数のセルに対応する触覚オブジェクトのそれぞれについて、出力レベルの異なる閾値を設定し、単一区間内の触覚オブジェクトを順次表示することを特徴とする（第２の方法）。  更に、情報の提供において、マークアップ記述により予め触覚オブジェクトの出力レベルや２値化の閾値レベル、及び、表示サイズや位置情報のタグを有し、提示側ではタグの属性値により、選択される触覚オブジェクトに対応したタグの属性値を抽出して、２値化閾値や触覚オブジェクトの出力レベルを制御する（第３の方法）。これにより、例えばＥＰＧを提示する場合等のように、ある提示するセルが異なって構成される不規則型の表形式（非整列型表形式）において、単位区間内に複数存在する項目の有無や同一項目の表示範囲を知ることができ、効率的なＥＰＧ等の表の把握を実現することができる。
【００２８】
以下に、上述したような特徴を有する本発明における触覚提示装置及び触覚提示方法を好適に実施した形態について、図面等を用いて詳細に説明する。
【００２９】
＜触覚提示装置の概要構成例＞
（第１の実施形態）
図１は、第１の実施形態における触覚提示装置の概要構成の一例を示す図である。なお、図１に示す触覚提示装置１０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の汎用コンピュータ等により実現される。
【００３０】
図１に示す触覚提示装置１０は、不規則表データ入力手段１１と、単位区間内複数セル抽出手段１２と、単位区間内複数セル表示レベル設定手段１３と、単位区間内複数セル閾値設定手段１４と、２値化閾値制御手段１５と、表示出力データ作成／オブジェクト選択手段１６と、２次元表示出力変換手段１７と、触覚提示手段１８と、指示位置検出手段１９とを有するよう構成されている。
【００３１】
不規則表データ入力手段１１は、触覚提示手段１８にて提示される不規則表のデータを入力する。
【００３２】
単位区間内複数セル抽出手段１２は、不規則表データ入力手段１１により入力された予め設定される単位区間内における複数の表示セルがある場合に、その表示セルに関する情報を抽出する。また、単位区間内複数セル抽出手段１２は、抽出された情報を単位区間内複数セル表示レベル設定手段１３と、単位区間内複数セル閾値設定手段１４とに出力する。
【００３３】
単位区間内複数セル表示レベル設定手段１３は、単位区間内複数セル抽出手段１２により抽出されたそれぞれのセルに対する表示レベルを設定する。
【００３４】
単位区間内複数セル閾値設定手段１４は、単位区間内複数セル抽出手段１２と同様にそれぞれのセルを等間隔等のレベルに分割し、分割したセル毎に閾値を設定する。
【００３５】
また、２値化閾値制御手段１５は、単位区間内複数セル閾値設定手段１４からの閾値レベルに基づいて、表示出力データ作成／オブジェクト選択手段１６及び２次元表示出力変換手段１７に対して２値化する際のレベルを制御する。また、２値化閾値制御手段１５は、指示位置検出手段１９により検出されるユーザ等により入力された指定内容に基づいて、上述した２値化する際のレベルを制御する。
【００３６】
また、表示出力データ作成／オブジェクト選択手段１６は、単位区間内複数セル表示レベル設定手段１３と単位区間内複数セル閾値設定手段１４とで得られた表示データから表示出力内容を生成し、触覚提示手段１８で指示位置検出手段１９を介して選択されるオブジェクトを抽出する。表示出力データ作成／オブジェクト選択手段１６は、抽出した情報を２次元表示出力変換手段１７に出力する。
【００３７】
２次元表示出力変換手段１７は、２値化閾値制御手段１５により設定された閾値レベルに基づいて、表示出力データ作成／オブジェクト選択手段１６により得られる表示データを２値化する。
【００３８】
触覚提示手段１８は、２次元表示出力変換手段１７により得られる２値化された画像情報を提示する。なお、触覚提示手段１８は、既存の触覚ディスプレイ装置等を用いることができ、例えば比較的安価な光学式のタッチパネルにより、触覚ディスプレイにおけるユーザ等の指での直接操作を実現することができる。
【００３９】
具体的には、例えばタッチパネル搭載型触覚ディスプレイとしては、９６×６４ｄｏｔ（ピン間隔２．４ｍｍ）の表示領域を持つ触覚ディスプレイ（例えば、ケージーエス（ＫＧＳ）社製）と、光学式のタッチパネル（Ｘｉｒｏｋｕ社製）とを搭載した構成を用いることができる。このタッチパネルは、上部両側のセンサによる三角測量方式のため、触覚ディスプレイの触察面を支障せず、マーカ等も不要である。
【００４０】
ここで、ＧＵＩ画面を触覚ディスプレイ等により提示する場合、最初にメニュー選択項目等をそれぞれ触知し易いようなオブジェクトに変換して配置する。次に、この触覚ディスプレイ表示用の画面を２値化し、刺激ピンの上下により提示する。提示されたＧＵＩの操作は、触覚ディスプレイからのキー操作と、タッチパネルによるマウス操作（ポインティングとクリック：以下、タッチ操作という）が可能である。また、オブジェクトが選択された際には、該当するテキスト情報を音声合成してフィードバックする。
【００４１】
なお、触覚提示手段１８は、触覚ディスプレイに表示するだけでなく、他の触覚提示装置を用いて提示してもよく、更にＰＣ等の汎用のコンピュータのディスプレイに表示させてもよい。
【００４２】
ここで、ＰＣ等の汎用コンピュータに対応させる場合には、画面の解像度（１０２４×７６８）と触覚ディスプレイの解像度（９６×６４）とが異なるため、ＰＣ画面全体が触覚ディスプレイに表示されるように画素数変換を行う。
【００４３】
更に、触覚ディスプレイ上でのユーザの指位置とＰＣ画面上でのマウスカーソルの示す位置が一致するように、タッチパネルのキャリブレーション機能で最適値を調整する。
【００４４】
これにより、触覚ディスプレイ上で指を動かすと、ＰＣ画面上のマウスカーソルが追従することができる。オブジェクトを指でタッチ操作した瞬間に、ＰＣ画面のオブジェクト上にもマウスカーソルが正確に位置付けられていれば正しく選択することができる。
【００４５】
指示位置検出手段１９は、触覚提示手段１８において、ユーザ等が指やタッチペン等の専用の入力装置等により指示した位置を検出する。また、指示位置検出手段１９により検出された指示位置を２値化閾値制御手段１５に出力する。なお、指示位置の情報としては、例えば画面上の座標情報等を用いることができる。
【００４６】
これにより、２値化閾値制御手段１５は、表示出力データ作成／オブジェクト選択手段１６及び２次元表示出力手段１７に対して閾値を選択し、最終的に触覚提示手段１８に提示されるオブジェクトの抽出や提示内容等を制御する。
【００４７】
つまり、２値化閾値制御手段１５は、ユーザ等の操作により提示するオブジェクトを選択するための表示レベル等を設定したり、時間経過と共に提示内容を遷移させる等の制御を行う。
【００４８】
（第２の実施形態）
本発明では、上述した情報の提供時にマークアップ記述により予め触覚オブジェクトの出力レベルや２値化の閾値レベル、及び、表示サイズや位置情報のタグを有し、提示側ではタグの属性値により、選択される触覚オブジェクトに対応したタグの属性値を抽出して、２値化閾値や触覚オブジェクトの出力レベルを制御することができる。
【００４９】
ここで、上述した内容を第２の実施形態として図を用いて説明する。なお、本発明の異なる実施形態の説明にあたり、上述した第１の実施形態と同一構成部分には同一符号を付すこととし重複する説明は省略する。また、第２の実施形態では、一例として電子番組表に関する各種データ等を管理するＥＰＧリソース２１が入力されるものとするが、本発明における入力データはこれに限定されるものはない。
【００５０】
図２は、第２の実施形態における触覚提示装置の概要構成の一例を示す図である。なお、図２に示す例では、マークアップ記述の電子番組表を例にした触覚提示方式を示すものである。図２に示す触覚提示装置２０は、単位区間内複数セル抽出手段２２と、単位区間内複数セル表示レベル設定手段１３と、単位区間内複数セル閾値設定手段１４と、マークアップ表示データ生成手段２３と、マークアップ表示データ解析手段２４と、単位区間内複数セル閾値タグ検出手段２５と、２値化閾値制御手段２６と、表示出力データ作成／オブジェクト選択手段２７と、２次元表示出力変換手段１７と、触覚提示手段１８と、指示位置検出手段１９と、テキストデータ抽出手段２８と、点字・音声提示手段２９とを有するよう構成されている。
【００５１】
単位区間内複数セル抽出手段２２は、ＥＰＧリソース２１により入力された予め設定される単位区間内における複数の表示セルがある場合に、その表示セルに関する情報を抽出する。また、単位区間内複数セル抽出手段２２は、抽出された情報を単位区間内複数セル表示レベル設定手段１３と、単位区間内複数セル閾値設定手段１４とに出力する。
【００５２】
また、マークアアップ表示データ生成手段２３は、単位区間内複数セル表示レベル設定手段１３と、単位区間内複数セル閾値設定手段１４とで得られた表示データからマークアップ記述で表示データを生成する。また、マークアアップ表示データ生成手段２３は、生成された表示データをマークアップ表示データ解析手段２４に出力する。
【００５３】
また、マークアップ表示データ解析手段２４は、マークアップ表示データ生成手段２３で生成されたデータを入力し、各オブジェクトの表示データを解析する。なお、マークアップ表示データ解析手段２４における表示データの解析手法については後述する。
【００５４】
また、マークアップ表示データ解析手段２４は、表示データの解析結果を単位区間内複数セル閾値タグ検出手段２５及び表示出力データ作成／オブジェクト選択手段２７に出力する。
【００５５】
単位区間内複数セル閾値タグ検出手段２５は、マークアップ表示データ解析手段２４により単位区間内に複数存在するそれぞれのセルの閾値を設定したタグの属性値を検出する。また、単位区間内複数セル閾値タグ検出手段２５は、タグの属性値を２値化閾値制御手段２６に出力する。
【００５６】
２値化閾値制御手段２６は、単位区間内複数セル閾値タグ検出手段２５から得られるタグの属性値情報に基づいて、表示出力データ作成／オブジェクト選択手段２７及び２次元表示出力変換手段１７に対して２値化する際のレベルを制御する。
【００５７】
表示出力データ作成／オブジェクト選択手段２７は、マークアップ表示データ解析手段２４から得られる表示データの解析結果と、２値化閾値制御手段２６により設定された閾値レベルに基づいて、触覚オブジェクトを選択する。また、表示出力データ作成／オブジェクト選択手段２７は、選択された触覚オブジェクトから表示出力用のデータを作成して２次元表示出力変換手段１７に出力し、また触覚オブジェクトの情報をテキストデータ抽出手段２８に出力する。
【００５８】
２次元表示出力変換手段１７は、２値化閾値制御手段２６により設定された閾値レベルに基づいて、表示出力データ作成／オブジェクト選択手段２７により得られる表示データを２値化する。また、触覚提示手段１８は、２次元表示出力変換手段１７により得られる２値化された画像情報を提示する。
【００５９】
なお、触覚提示手段１８は、触覚ディスプレイに表示するだけでなく、他の触覚提示装置を用いて提示してもよく、更にＰＣ等の汎用のコンピュータのディスプレイに表示させてもよい。
【００６０】
指示位置検出手段１９は、触覚提示手段１８において、ユーザ等が指やタッチペン等の専用の入力装置等により指示した位置を検出する。また、指示位置検出手段１９により検出された指示位置を２値化閾値制御手段２６に出力する。なお、指示位置の情報としては、例えば画面上の座標情報等を用いることができる。
【００６１】
これにより、２値化閾値制御手段２６は、表示出力データ作成／オブジェクト選択手段２７及び２次元表示出力手段１７に対して閾値を選択し、最終的に触覚提示手段１８に提示されるオブジェクトの抽出や提示内容等を制御する。
【００６２】
つまり、２値化閾値制御手段２６は、ユーザ等の操作により提示するオブジェクトを選択するための表示レベル等を設定したり、時間経過と共に提示内容を遷移させる等の制御を行うことができる。
【００６３】
テキストデータ抽出手段２８は、選択された触覚オブジェクトのテキストデータをオブジェクト又はオブジェクトに関する情報の内容を示すテキスト情報を抽出する。このとき、既に音声情報が含まれていれば、同時に抽出する。また、テキストデータ抽出手段２８は、抽出された情報を点字・音声提示手段２９に出力する。点字・音声提示手段２９は、テキストデータ抽出手段２８で得られた内容から点字や音声を生成し、点字は点字端末により出力し、また音声はスピーカ等の音声出力手段等により出力する。なお、点字・音声提示手段２９は、テキストデータ抽出手段２８から音声情報をそのまま入力した場合には、その音声を出力する。
【００６４】
これにより、触覚提示手段１８に提示されている内容の他にも点字や音声等の多種の提示手段を用いることで、オブジェクトに関する情報をより詳細にユーザに提示することができる。
【００６５】
＜触覚提示装置１０，２０：ハードウェア構成例＞
ここで、上述した触覚提示装置１０，２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェース等を備えたコンピュータによって構成することができる。
【００６６】
したがって、触覚提示装置１０，２０が備える各構成機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００６７】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。
【００６８】
ここで、本発明におけるプログラムが実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図３は、本実施形態における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。
【００６９】
図３におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７０】
入力装置３１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。
【００７１】
出力装置３２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。また、本実施形態では、触覚提示手段を備える。このとき、上述した専用ユニット等を外付けする等により構成することができる。
【００７２】
なお、入力装置３１と出力装置３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００７３】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば光ディスク等の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
【００７４】
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７５】
メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＡＭやＲＯＭ等からなる。
【００７６】
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ３６は、プログラムの実行中に必要な各種情報を補助記憶装置３４から取得することができ、またＣＰＵ３６は、処理結果等を格納することもできる。
【００７７】
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行したりすることで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。更に、ネットワーク接続装置３７は、触覚提示内容やテキストデータ、音声データ等を通信ネットワークによりデータの送受信可能な状態で接続された触覚ディスプレイ等に出力したり、触覚ディスプレイ等によるユーザのキー操作による入力情報を取得したりすることができる。
【００７８】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に触覚提示処理を実現することができる。また、プログラムをインストールすることにより、容易に本実施形態における触覚提示処理を取得することができる。
【００７９】
＜触覚提示装置１０における提示方法＞
次に、本実施形態における触覚提示手段１８により提示される触覚提示方法について図を用いて説明する。
【００８０】
図４は、本実施形態における触覚提示装置の第１の提示例を示す図である。図４に示す触覚提示装置１０は、例えば、ＥＰＧを提示する場合のように、ある提示するセルが異なって構成される不規則型の表形式（非整列型表形式）のセルを表示する場合の例を示している。
【００８１】
また、図４（ａ）は、不規則型の表を模式的に表したＥＰＧ画面提示の一例（提示パターン）を示し、図４（ｂ）は、触覚提示手段における表示例を示し、図４（ｃ）は、触覚オブジェクトとＥＰＧのセル項目との対応関係例を示している。なお、図４（ａ），（ｂ）では、それぞれの各単位区間に存在するＥＰＧのセルの項目を示している。
【００８２】
（触覚提示例）
最初に、ＥＰＧの不規則表を例に、例えば上述した第４の従来手法と比較し、本発明による同一区間内のセルの提示方法の概念について説明する。なお、以下に示す例では、例えば予め設定された表示単位時間Ｔ１〜Ｔ４のそれぞれの区間に存在する番組項目を提示する。ここで、図４（ａ）に含まれる不規則表を構成する各データＡ１１〜Ａ３２は、それぞれ時間に対応する長さで提示されている。
【００８３】
本実施形態では、触覚提示手段１８により提示される内容は、図４（ａ）に基づいて生成される。具体的には、図４（ａ）に示す内容を、図４（ｂ）の触覚提示手段１８の触覚オブジェクトＳ１１〜Ｓ３４値に対応させる。したがって、それぞれのオブジェクトに対して、例えば図４（ｃ）に示すような配列に割り当てることができる。
【００８４】
ここで、図４（ｃ）では、チャンネルｃｈ１において、スイッチＳ１１にオブジェクトＡ１１，Ａ１２が割り当てられている。また、同様にスイッチＳ１２にはオブジェクトＡ１２，Ａ１３が割り当てられ、スイッチＳ１３にはオブジェクトＡ１４が割り当てられ、スイッチＳ１４にはオブジェクトＡ１４，Ａ１５が割り当てられている。
【００８５】
また、更にｃｈ２，ｃｈ３についても対応するＥＰＧの各オブジェクトが各スイッチの何れかに割り当てられている。
【００８６】
なお、上述した第４の従来手法においては、触覚オブジェクトの表示は、ユーザ等による触覚提示手段１８の操作により遷移する。ここで、図５は、触覚提示手段での提示状態の一遷移例を示す図である。なお、図５（ａ）は、不規則型の表を模式的に表したＥＰＧ画面提示の一例を示し、図５（ｂ）は、触覚提示手段による提示内容の遷移例を示しており、ｃｈ２が選択された場合を示している。なお、図５（ａ）は、図４（ａ）に対応している。
【００８７】
図５（ｂ）において、触覚オブジェクトが選択されない初期状態では、全ての触覚オブジェクトが凸表示される（図５（ｂ）（ｉ）：初期状態）。次に、単位時間内に複数の番組項目が存在する触覚オブジェクトＳ２１を例とすると、Ｓ２１の選択に対し、図４（ｃ）に示すように設定された単位区間に存在するセル項目Ａ２１〜Ａ２４の全てが選択されるまで凸表示を行い（図５（ｂ）（ｉｉ）：Ｓ２１を押下１，２回目）、最終項目で凹表示を行う（図５（ｂ）（ｉｉｉ）：Ｓ２１を押下３回目）。
【００８８】
また、セル項目Ａ３２のように、列方向で単位区間の触覚オブジェクトを横断して存在する場合には、番組の開始に相当する触覚オブジェクトは凸で表示し、単位区間を横断する項目に相当する触覚オブジェクトは凹で表示する（図５（ｂ）（ｉｖ）：他のスイッチ（Ｓ３２）を押下）。
【００８９】
ここで、本実施形態では、主に第４の従来手法を解決するために、同一区間に複数存在するセルを、例えばユーザ等の指の大きさに限定した範囲で検出できる大きさを基準に分割し、それぞれの触覚オブジェクトを順次提示する。
【００９０】
ここで、図６は、本実施形態における触覚オブジェクトの提示例を示す図である。図６の例では、単位区間内複数セルの提示パターンを示しており、上述した図４（ａ）、図５（ａ）に示すような提示パターンにおいて、複数のセルのそれぞれに異なる出力レベル（表示レベル）を設定し、時間経過と共に閾値を変化させることにより制御を行い、レベルに対応したセルを提示する。
【００９１】
ここで、上述の出力レベルは、提示するオブジェクトの内容を制限するためのパラメータであり、専用のパラメータとして設定することもできるが、例えばオブジェクトが画面に表示される場合の輝度レベル又は色レベル等を利用することもできる。
【００９２】
例えば、図６（ａ），（ｂ）は、何れか触覚オブジェクトと触覚提示手段１８を形成する凸表示する刺激ピンを示しており、単位区間内のセルに対応するセルの触覚オブジェクトを示している。
【００９３】
例えば、図６（ａ）では、一定の範囲に４つの触覚オブジェクト（アイテム（ｉｔｅｍ）１〜４）を一列に配置して提示している。なお、各アイテム１〜４は、それぞれ縦横が２×２の刺激ピンを対応付けされている。
【００９４】
また、図６（ｂ）は、アイテム１〜４毎に縦横に分けた所定の領域に配置して提示している。なお、図６（ｂ）の例では、上述した図４（ｂ）に示す触覚提示手段１８における提示内容において、Ｓ１１〜Ｓ３４の触覚オブジェクトに対応している。
【００９５】
ここで、図６（ａ），（ｂ）の何れの場合も、触覚オブジェクトの選択に応じて、図６（ａ）のように、順次提示したアイテム１〜４を保持して提示する方法と、当該アイテム１〜４の何れかのみを提示する方法が可能である。図６（ａ）と図６（ｂ）との比較においては、図６（ｂ）の方が各触覚オブジェクトの位置を纏めることができ、操作のし易さと、触って識別し易くなる点で有利であるといえる。
【００９６】
このように、上述した手法によれば、同一区間に複数存在するセルを、例えば指の大きさに限定した範囲で検出できる大きさに分割し、それぞれの触覚オブジェクトを順次提示することができる。
【００９７】
（触覚提示：第１の実施例）
次に、本実施形態における触覚提示の具体的な実施例（第１の実施例）について図を用いて説明する。なお、触覚提示の第１の実施例では、閾値を制御することによる不規則表の提示について説明する。
【００９８】
図７は、階層的触覚オブジェクト表示の第１の動作例を示す図である。なお、図７（ａ）は、階層的触覚オブジェクトの表示における表示レベルと閾値の設定例を示し、図７（ｂ）は、提示制御による段階的な触覚オブジェクト提示の例を示している。また、図８は、触覚提示の第１の実施例を説明するためのフローチャートである。
【００９９】
まず、不規則表データ入力手段等で不規則型表形式のデータとして、ＥＰＧ等の画面表示データ等を入力し（ＳＴ０１）、単位区間内複数セル抽出手段において、単位区間に複数の項目が存在するセルを抽出する（ＳＴ０２）。例えば、図４（ａ）に示すようにチャンネルが「ｃｈ２」、時間帯が「Ｔ１」の場合には、セルＡ２１，Ａ２２，Ａ２３，Ａ２４が抽出されるため、このような場合には、単位区間内複数セル表示レベル設定手段において、それぞれのセルに対して適切な間隔で段階的なレベル差を持つ出力レベル（例えば、輝度レベルや色レベル等の表示レベル）を設定する。
【０１００】
次に、予め設定された単位区間内に複数のセルＡｉｊが存在するか否かを判断する（ＳＴ０３）。ここで、単位区間内に複数のセルＡｉｊが存在する場合（ＳＴ０３において、ＹＥＳ）、同一触覚オブジェクト内に存在するセルの出力レベルを算出設定する（ＳＴ０４）。
【０１０１】
具体的には、例えば図７（ａ）に示すように、本実施形態では、提示するグループの数ｎ（図７の例では、ｎ＝４）により、等間隔で段階的に出力レベルが設定される。例えば、レベル間の偏差をΔＸ＝１００／ｎとすれば、それぞれの段階の出力レベル（例えば、輝度レベル〔１〕〜〔ｎ＋１〕）は、ｍ＝０からｎに対し、Ｌｅｖｅｌｍ＝１００−（ｎ−ｍ）ΔＸで算出される（ＳＴ０４）。
【０１０２】
これと同時に、それぞれのグループに対して、２つの輝度レベルの範囲内に２値化の閾値を、例えばＴｈｍ＝１００−｛（ｎ−ｍ）ΔＸ−ΔＸ／２｝となるように、順次、単位区間内複数データ表示レベル設定手段において算出し、閾値を設定して、その設定値を記憶する（ＳＴ０５）。
【０１０３】
このデータを用いて、ユーザ等の操作によりオブジェクトを選択的に提示するための閾値を選択し、階層的に画面情報を提示することができる。つまり、このように得られた、セルの出力レベルと閾値レベルのデータに基づいて、表示出力データ作成／オブジェクト選択手段において触覚提示手段に表示する２値化された提示画面データを生成する。
【０１０４】
この際、複数のセルは、前記第１の実施の形態で示したように通常の単位区間の表示である触覚オブジェクトの範囲を分割し、それぞれのセル（例えば、上述したセルＡ２１，Ａ２２，Ａ２３，Ａ２４）に対応する各セルのサイズ、位置情報を指定して触覚オブジェクトを構成する（ＳＴ０６）。
【０１０５】
次に、単位区間内の複数セルを含む全ての触覚オブジェクトについて設定を行ったか否かを判断し（ＳＴ０７）、設定を行っていない場合（ＳＴ０７において、ＮＯ）、ＳＴ０２に戻り他の触覚オブジェクトについて処理を行う。また、ＳＴ０７の処理において、触覚オブジェクトの処理を行った場合（ＳＴ０７において、ＹＥＳ）、又は、上述したＳ０３の処理において単位区間内に複数のセルＡｉｊが存在しない場合（Ｓ０３において、ＮＯ）、単位区間内に１又は複数のセルを有する場合において、触覚オブジェクトの表示方法と選択動作を行う（ＳＴ０８）。つまり、ＳＴ０８の処理により、これら単位区間内の複数セルを含む全ての表示データは、２次元表示出力変換手段で初期基準として設定した閾値レベルにより、２次元表示出力変換手段において２値の表示データに変換し、触覚提示手段が備える刺激ピン等の凹凸によりデータを提示する。なお、図７に示す例では、閾値を白レベルから黒レベルに変化した例を示しているが、本発明においてはこれに限定されず、例えば閾値を黒レベルから白レベルに変化させてもよい。
【０１０６】
次に、単位区間内に１又は複数のセルを有する場合において、触覚オブジェクトの表示方法と選択動作を説明する。
【０１０７】
＜Ｓ０８：触覚オブジェクトの表示方法と選択動作＞
図９は、第２の実施例における触覚オブジェクトの表示方法と選択動作処理について説明するためのフローチャートである。
【０１０８】
まず、基準となる閾値を設定し（ＳＴ１１）、その基準となる閾値を用いて各オブジェクトに予め蓄積されている複数の触覚オブジェクトに予め設定されている閾値との比較を行い、予め設定された抽出条件に基づいて対応するオブジェクトを抽出し、触覚提示手段により提示する（ＳＴ１２）。
【０１０９】
次に、提示されている内容に対して、ユーザ等が触覚提示手段の提示面等に対して指やタッチペン等の入力装置等により触覚オブジェクトを指定する際には、常時、指示位置検出手段により指の位置を検出する。つまり、触覚オブジェクトＡｉｊが選択されたか否かを判断する（ＳＴ１３）。
【０１１０】
ここで、ユーザが任意の触覚オブジェクトＡｉｊを選択していない場合（ＳＴ１３において、ＮＯ）、選択されるまで待機状態となる。また、ＳＴ１３の処理において、触覚オブジェクトＡｉｊが選択された場合（ＳＴ１３において、ＹＥＳ）、次に、同一区間内に複数セルが存在するか否かを判断する（ＳＴ１４）。
【０１１１】
ＳＴ１４の処理において、複数のセルが存在する場合（ＳＴ１４において、ＹＥＳ）、更に同一区間内の最終セルを表示したか否かを判断する（ＳＴ１５）。つまり、当該セルＡｉｊが最終のセルでない場合（ＳＴ１５において、ＮＯ）、当該セルＡｉｊに隣接するセルＡｉｊ＋１，Ａｉｊ−１の２値化閾値データを抽出し（ＳＴ１６）、現在の閾値設定を解除し、２次元表示出力変換手段の新たな閾値に設定する（ＳＴ１７）。なお、ＳＴ１７の処理では、更に、同一の単位区間以外のセルの出力レベルを当該セルの出力レベルに変換する（Ｓ１８）。
【０１１２】
また、Ｓ１５の処理において、当該セルＡｉｊが同一区間内の最終セルの場合（ＳＴ１５において、ＹＥＳ）、同一区間内セルを凹表示する（ＳＴ１９）。更に、ＳＴ１４の処理において、同一区間内に複数セルが存在しない場合（ＳＴ１４の処理において、ＮＯ）、現在の閾値設定を解除し、ＳＴ１１の処理で設定した基準閾値に設定する（ＳＴ２０）。また、その当該セルを凹表示する（ＳＴ２１）。
【０１１３】
ＳＴ１８、ＳＴ１９、又はＳＴ２１の処理が終了後、２次元表示出力変換手段では、これらの閾値とそれぞれのセルの出力データに基づいて触覚提示手段により出力する（ＳＴ２２）。
【０１１４】
ここで、２値化表示のための閾値は、図７（ｂ）に示すように、単位区間内で当該セルに隣接する上下のセルの閾値等、２つ以上の異なる出力レベル（表示レベル）の閾値を予め設定し、そのうちの２つの出力レベルを用いて、出力レベルに対して上閾値レベルと下閾値レベルとで範囲を構成し、上下閾値間のレベルを所望の閾値とすることにより、単独に所望するアイテムを抽出し、触覚提示手段により出力することができる。
【０１１５】
更に、ユーザが単位区間で複数存在する触覚オブジェクトを選択した場合には、出力レベルの高低の何れかの方向から順次、段階的に閾値の遷移に従い、同一区間内で最終セルまでは上述と同様な手法で提示することができる。
【０１１６】
（触覚提示例：第２の実施例）
次に、本実施形態における触覚提示の第２の実施例について図を用いて説明する。なお、触覚提示の第２の実施例では、閾値を制御することによる不規則表の提示について、例えばマークアップ言語で記述し、触覚提示手段にて提示する他に点字や音声でも伝達する例について説明する。
【０１１７】
ここで、図１０は、階層的触覚オブジェクト表示の第２の動作例を示す図である。なお、図１０（ａ）は、階層的触覚オブジェクトの表示における表示レベルと閾値の設定例を示し、図１０（ｂ）は、触覚オブジェクトの表示レベルと閾値タグと属性値の記述例を示し、図１０（ｃ）は、提示制御による段階的な触覚オブジェクト提示の例を示している。また、図１１は、触覚提示の第２の実施例を説明するためのフローチャートである。
【０１１８】
触覚提示の第２の実施例では、予め提示するためのＥＰＧをマークアップ言語で記述し、受信側で触覚オブジェクトサイズや出力レベル、閾値を記述するタグの属性値を用いて触覚提示装置に提示する方法である。ＥＰＧリソースからの入力情報から単位区間内複数セルの表示レベルと閾値を検出するシーケンスは、上述した実施例と同様である。つまり、ＳＴ３１〜ＳＴ３６における処理は、上述したＳＴ０１〜ＳＴ０６における処理に相当するため、ここでの説明は省略する。
【０１１９】
なお、ＳＴ３４の処理では、上述した図７（ａ）の例とは異なり、同一触覚オブジェクト内に存在するセルの出力レベルを算出設定する際に閾値を黒レベルから白レベルに変化させている。つまり、図１０（ａ）に示すように、提示するグループの数ｎ（図１０の例では、ｎ＝４）により、等間隔で段階的に出力レベルが設定されるが、そのときのレベル間の偏差をΔＸ＝１００／ｎとすれば、それぞれの段階の出力レベル（例えば、輝度レベル〔１〕〜〔ｎ＋１〕）は、ｍ＝０からｎに対し、Ｌｅｖｅｌｍ＝（ｎ−ｍ）ΔＸで算出される（ＳＴ３４）。
【０１２０】
これと同時に、それぞれのグループに対して、２つの輝度レベルの範囲内に２値化の閾値を、例えばＴｈｍ＝｛（ｎ−ｍ）ΔＸ−ΔＸ／２｝となるように、順次、単位区間内複数データ表示レベル設定手段において算出し、閾値を設定して、その設定値を記憶する（ＳＴ３５）。
【０１２１】
また、触覚提示の第２の実施例では、検出された表示レベルと閾値、及び同一単位区間内であることを示すデータは、マークアップ表示データ作成手段において、図１０（ｂ）に示すようなそれぞれの触覚オブジェクトを表示するタグ情報を作成する（ＳＴ３７）。
【０１２２】
なお、タグ情報は、各オブジェクト（アイテム）に対する出力レベル、閾値、提示位置、及びサイズのうち、少なくとも１つが記述される。これにより、マークアップ言語で記述されるタグ情報を用いて所望する情報を効果的に抽出して高精度に提示することができる。
【０１２３】
また、ＳＴ３８，ＳＴ３９における処理も上述したＳＴ０７，ＳＴ０８における処理に相当するため、ここでの説明は省略する。
【０１２４】
次に、単位区間内に複数のセルを有する場合において、触覚オブジェクトの表示方法と選択動作を説明する。図１２は、第２の実施例における触覚オブジェクトの表示方法と選択動作処理について説明するためのフローチャートである。
【０１２５】
まず、作成されたマークアップ記述の表示情報を取得した場合には、マークアップ表示データ解析手段において、各セルＡｉｊの表示情報として、それぞれ提示する触覚オブジェクトの閾値と出力レベルを検出する（ＳＴ４１）。
【０１２６】
次に、ユーザの任意の触覚オブジェクトの選択に対して、２値化閾値制御手段により、マークアップ表示データ解析手段で抽出された当該触覚オブジェクトの閾値と出力レベルにより、表示出力データ作成／オブジェクト選択手段により、それぞれの触覚オブジェクトの出力レベルを設定し、２次元表示出力変換手段の閾値を基準閾値として設定し（ＳＴ４２）、同一の単位区間以外のセルの出力レベルを当該セルの出力レベルに変換して、触覚提示手段により提示する（ＳＴ４３）。
【０１２７】
次に、提示されている内容に対してユーザが触覚提示手段の提示面等に対して指やタッチペン等の入力装置等により触覚オブジェクトを指定する際には、常時、指示位置検出手段により指の位置を検出する。つまり、触覚オブジェクトＡｉｊが選択されたか否かを判断する（ＳＴ４４）。
【０１２８】
ここで、ユーザが任意の触覚オブジェクトＡｉｊを選択していない場合（ＳＴ４４において、ＮＯ）、選択されるまで待機状態となる。また、ＳＴ４４の処理において、触覚オブジェクトＡｉｊが選択された場合（ＳＴ４４において、ＹＥＳ）、選択された触覚オブジェクトのセル（Ａｉｊ）に関する内容（テキスト情報）をテキストデータ抽出手段で抽出し、点字・音声提示手段で出力する（ＳＴ４５）。
【０１２９】
次に、同一区間内に複数セルが存在するか否かを判断する（ＳＴ４６）。複数のセルが存在する場合（ＳＴ４６において、ＹＥＳ）、更に同一区間内の最終セルを表示したか否かを判断する（ＳＴ４７）。当該セルＡｉｊが最終セルでない場合（ＳＴ４７において、ＮＯ）、当該セルに隣接するセルＡｉｊ＋１，Ａｉｊ−１の２値化閾値データを抽出し（ＳＴ４８）、単位区間内複数セル閾値設定手段の新たな閾値に設定する（ＳＴ４９）。なお、ＳＴ４９の処理では、更に、同一区間以外のセルのマークアップ記述の出力レベルを隣接するセルＡｉｊ＋１のデータに変換する（Ｓ５０）。
【０１３０】
また、Ｓ４７の処理において、当該セルＡｉｊが同一区間内の最終セルの場合（ＳＴ４７において、ＹＥＳ）、同一区間内セルを凹表示する（ＳＴ５１）。更に、ＳＴ４６の処理において、同一区間内に複数セルが存在しない場合（ＳＴ４６の処理において、ＮＯ）、現在の閾値設定を解除し、ＳＴ４２の処理で設定した基準閾値に設定する（ＳＴ５２）。また、全セルＡｉｊの出力レベルを初期の設定値に復帰し（ＳＴ５３）、その当該セルを凹表示する（ＳＴ５４）。
【０１３１】
ＳＴ５０、ＳＴ５１、又はＳＴ５４の処理が終了後、２次元表示出力変換手段では、これらの閾値とそれぞれのセルの出力データに用いて触覚提示手段により出力する（ＳＴ５５）。
【０１３２】
ここで、２値化表示のための閾値は、図１０（ｃ）に示すように、単位区間内で当該セルに隣接する上下のセルの閾値等、２つ以上の異なる出力レベルの閾値を予め設定し、そのうちの２つの出力レベルを用いて、出力レベルに対して上閾値レベルと下閾値レベルとで範囲を構成し、上下閾値間のレベルを所望の閾値とすることにより、単独に所望するアイテムを抽出し、触覚提示手段により出力することができる。
【０１３３】
更に、ユーザが単位区間で複数存在する触覚オブジェクトを選択した場合には、出力レベルの高低の何れかの方向から順次、段階的に閾値の遷移に従い、同一区間内で最終セルまでは上述と同様な手法で提示することができる。
【０１３４】
このように、本実施形態では、ＥＰＧのような不規則型表形式について、単位区間に存在する複数のセルに対し、触察する範囲において触覚オブジェクトを分割して提示することを特徴する。
【０１３５】
また、本実施形態では、それぞれの触覚オブジェクトの提示出力レベルを段階的に設定し、それぞれの触覚オブジェクトには当該の出力レベルに対応した２値化表示するための閾値情報を有し、触覚オブジェクトを順次提示する際には閾値情報を段階的に遷移制御して提示することにより、触覚で不規則型表の単位区間の存在するセル情報を確認しながら、内容を迅速に知ることができる有効なアクセシビリティを可能とする。
【０１３６】
上述したように本発明によれば、迅速で効率的に情報を取得することができる。具体的には、例えばデータ放送やＷｅｂで表示される電子番組表（ＥＰＧ）等のように単位区間の中に複数のセルが存在したり、セルが単位区間を横断したりするような不規則な表形式において、例えば視覚障害者等が触覚提示手段と音声や点字を併用して迅速で効率的に情報を得ることができる提示方法に関する。
【０１３７】
具体的には、例えば微小な刺激ピンを凹凸に駆動し、刺激ピンの集合で選択項目やアイコン等を表示する触覚オブジェクト、及び、形状や画面レイアウトを表現する２次元触覚提示装置を用いて、ＥＰＧのような単位区間の中に複数のセルが存在したり、セルが単位区間を横断したりするような不規則な表形式の各セルを提示する。
【０１３８】
また、本発明は、入力した不規則表において、単位区間内に複数の項目のセルが存在する場合には、それぞれに対応する触覚オブジェクトを限定した範囲領域内で分割し、順次提示することができる。
【０１３９】
また、本発明は、入力した不規則表において、単位区間内に存在する複数のセルに対応する触覚オブジェクトのそれぞれについて、出力レベルの異なる閾値を設定し、単一区間内の触覚オブジェクトを順次表示することができる。
【０１４０】
更に、情報の提供において、マークアップ記述により予め触覚オブジェクトの出力レベルや２値化の閾値レベル、及び、表示サイズや位置情報のタグを有し、提示側ではタグの属性値により、選択される触覚オブジェクトに対応したタグの属性値を抽出して、２値化閾値や触覚オブジェクトの出力レベルを制御することができる。これにより、不規則型の表形式において、単位区間内に複数存在する項目の有無や同一項目の表示範囲を知ることができ、効率的なＥＰＧ等の表の把握を実現することができる。
【０１４１】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１４２】
【図１】第１の実施形態における触覚提示装置の概要構成の一例を示す図である。
【図２】第２の実施形態における触覚提示装置の概要構成の一例を示す図である。
【図３】本実施形態における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。
【図４】本実施形態における触覚提示装置の第１の提示例を示す図である。
【図５】触覚提示手段での提示状態の一遷移例を示す図である。
【図６】本実施形態における触覚オブジェクトの提示例を示す図である。
【図７】階層的触覚オブジェクト表示の第１の動作例を示す図である。
【図８】触覚提示の第１の実施例を説明するためのフローチャートである。
【図９】第１の実施例における触覚オブジェクトの表示方法と選択動作処理について説明するためのフローチャートである。
【図１０】階層的触覚オブジェクト表示の第２の動作例を示す図である。
【図１１】触覚提示の第２の実施例を説明するためのフローチャートである。
【図１２】第２の実施例における触覚オブジェクトの表示方法と選択動作処理について説明するためのフローチャートである。
【符号の説明】
【０１４３】
１０，２０  触覚提示装置
１１  不規則表データ入力手段
１２  単位区間内複数セル抽出手段
１３  単位区間内複数セル表示レベル設定手段
１４  単位区間内複数セル閾値設定手段
１５  ２値化閾値制御手段
１６  表示出力データ作成／オブジェクト選択手段
１７  ２次元表示出力変換手段
１８  触覚提示手段
１９  指示位置検出手段
２１  ＥＰＧリソース
２２  単位区間内複数セル抽出手段
２３  マークアップ表示データ生成手段
２４  マークアップ表示データ解析手段
２５  単位区間内複数セル閾値タグ検出手段
２６  ２値化閾値制御手段
２７  表示出力データ作成／オブジェクト選択手段
２８  テキストデータ抽出手段
２９  点字・音声提示手段
３１  入力装置
３２  出力装置
３３  ドライブ装置
３４  補助記憶装置
３５  メモリ装置
３６  ＣＰＵ
３７  ネットワーク接続装置
３８  記録媒体
【図１】
0005054498.tif 000002
【図２】
0005054498.tif 000003
【図３】
0005054498.tif 000004
【図４】
0005054498.tif 000005
【図５】
0005054498.tif 000006
【図６】
0005054498.tif 000007
【図７】
0005054498.tif 000008
【図８】
0005054498.tif 000009
【図９】
0005054498.tif 000010
【図１０】
0005054498.tif 000011
【図１１】
0005054498.tif 000012
【図１２】
0005054498.tif 000013