(57)【要約】【課題】効果的なオブジェクトの情報伝達を実現する。【解決手段】複数のオブジェクトを触覚により認識可能な装置を用いて提示させるための触覚提示装置において、前記オブジェクト毎に、前記オブジェクトが画面に表示される場合の輝度レベル又は色レベルからなる表示レベルの差により所定のオブジェクトを抽出して２値化するための閾値を設定する２値化閾値設定手段と、前記２値化閾値設定手段により設定された閾値と、ユーザが設定された表示レベルとを用いて、複数のオブジェクトから抽出条件に合う所定のオブジェクトを抽出するオブジェクト閾値情報抽出手段と、前記オブジェクト閾値情報抽出手段により抽出されたオブジェクトを、前記表示レベルに基づいて選択して提示する触覚提示手段とを有することにより、上記課題を解決する。【選択図】図１
2009140105.tif 000002
【特許請求の範囲】
【請求項１】
複数のオブジェクトを触覚により認識可能な装置を用いて提示させるための触覚提示装置において、
前記オブジェクト毎に、前記オブジェクトが画面に表示される場合の輝度レベル又は色レベルからなる表示レベルの差により所定のオブジェクトを抽出して２値化するための閾値を設定する２値化閾値設定手段と、
前記２値化閾値設定手段により設定された閾値と、ユーザが設定された表示レベルとを用いて、複数のオブジェクトから抽出条件に合う所定のオブジェクトを抽出するオブジェクト閾値情報抽出手段と、
前記オブジェクト閾値情報抽出手段により抽出されたオブジェクトを、前記表示レベルに基づいて選択して提示する触覚提示手段とを有することを特徴とする触覚提示装置。
【請求項２】
前記２値化閾値設定手段は、前記表示レベルの異なる複数の閾値を設定し、
前記オブジェクト閾値情報抽出手段は、少なくとも２つの閾値の範囲内の表示レベルに属するオブジェクトを提示することを特徴とする請求項１に記載の触覚提示装置。
【請求項３】
前記オブジェクトに関連する複数の情報リソースのうち、予め設定されるマークアップ言語により記述されるタグ情報を用いて、所定のオブジェクトを選択的に抽出するための２値化の閾値を設定する２値化閾値タグ設定手段と、
前記表示レベルと前記閾値とにより、ダグ情報を生成するマークアップ表示データ生成手段と、
前記閾値により抽出されたタグに記述されるオブジェクトに関する情報から点字又は音声を生成し、前記オブジェクトに対応付けて提示する点字・音声提示手段とを有することを特徴とする請求項１又は２に記載の触覚提示装置。
【請求項４】
前記触覚提示手段により提示されたオブジェクトに対して、ユーザにより指示された位置を検出する指示位置検出手段と、
前記指示位置検出手段により指示された位置に対応するオブジェクトを選択するオブジェクト選択手段とを有することを特徴とする請求項１乃至３の何れか１項に記載の触覚提示装置。
【請求項５】
前記触覚提示手段は、
前記オブジェクト選択手段により選択されたオブジェクトを用いて提示内容を遷移させ、関連するオブジェクトを段階的に提示することを特徴とする請求項４に記載の触覚提示装置。
【請求項６】
複数のオブジェクトを触覚により認識可能な装置を用いて提示させるための触覚提示方法において、
前記オブジェクト毎に、前記オブジェクトが画面に表示される場合の輝度レベル又は色レベルからなる表示レベルの差により所定のオブジェクトを抽出して２値化するための閾値を設定する２値化閾値設定ステップと、
前記２値化閾値設定ステップにより設定された閾値と、ユーザが設定された表示レベルとを用いて、複数のオブジェクトから抽出条件に合う所定のオブジェクトを抽出するオブジェクト閾値情報抽出ステップと、
前記オブジェクト閾値情報抽出ステップにより抽出されたオブジェクトを、前記表示レベルに基づいて選択して提示する触覚提示ステップとを有することを特徴とする触覚提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触覚提示装置及び触覚提示方法に係り、特に効果的なオブジェクトの情報伝達を実現するための触覚提示装置及び触覚提示方法に関する。
【背景技術】
【０００２】
従来より、例えば、全盲、弱視、盲ろう等の視覚に障害のある人等に対して、データ放送やインターネットの情報を伝えることを目的に、マルチメディア受信提示システムの開発が行われており、情報受容や認知に基づく最適な提示法やアクセス方式が研究されている。
【０００３】
ここで、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）に対しては、音声や点字による提示とあわせて、触覚提示を併用したＧＵＩの操作やコンテンツの提示方式の可能性が検討されている。
【０００４】
また、触覚によるＧＵＩのインタラクティブな提示方式を用いたデータ放送やＷｅｂのＧＵＩから視覚障害者が所望の情報を得るためには、操作系を含めたシステム全体が適切なフィードバックを持つインタラクティブな提示方式が必要となる。また、ＧＵＩの選択項目の配置や、図、表等の情報は、音声や点字だけによる伝達が難しい。そこで、リモコン（キーボード）による操作と音声（点字）フィードバックを持つ従来の方式に加えて、触覚ディスプレイを用いたインタラクティブな提示方式が検討されている。
【０００５】
ここで、触覚ディスプレイ等の触覚的手段により図やＧＵＩの選択オブジェクトを表示する方法として、ビットマップ等で描かれた全体の画像として、画面情報を２値化して、凹凸で提示する方法が広く用いられている（例えば、非特許文献１参照。）。
【０００６】
また、電子的な触図作成手法としては、触覚ディスプレイの提示面に触れるタッチペン等の位置情報を抽出し、触れた箇所を凸表示する方法がある（例えば、非特許文献２参照。）。
【非特許文献１】ケージーエス株式会社、「ドットビュー（登録商標）」、ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｋｇｓ−ｊｐｎ．ｃｏ．ｊｐ／ｐｉｅｚｏ．ｈｔｍｌ．
【非特許文献２】渡辺他、「視覚障害者用電子レーズライダの試作」，日本バーチヤルリアリティ学会論文誌、Ｖｏｌ．７、Ｎｏ．１、ｐｐ．８７−９４、Ｍａｒｃｈ  ２００２．
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来技術に示すように、電子的な触覚ディスプレイに２次元で表現される図やグラフ等の画像情報をユーザ等に提示するには、画像を適切なレベルで２値化し凹凸にて表現する方法がある。
【０００８】
これにより、平面上に散在するオブジェクトのそれぞれを表現することができるが、例えば日本地図の中に存在する都市や山等のように、一つの形状を有する領域に対して、関連する情報が複数重なって存在する場合、図を触覚に提示する有効な手段はなく、これを表示する場合には、例えば触覚に提示するための画面を複数用意するといった対応が必要となる。また、インタラクティブに表示された図に指で触れ、触れた箇所の情報を音声や点字で確認することはできなかった。
【０００９】
また、上述した従来技術である電子レイズライターは、タッチペン等を用いて触覚ディスプレイ上に接触する位置を抽出し、刺激ピンを背面の高さに対し適切な線の太さで凸表示することにより図形を生成する方法である。しかしながら、この方式は作図を目的にしており、インタラクティブに指等で指示した図から情報を得ることは考慮されていない。
【００１０】
本発明は、上述した問題点に鑑みなされたものであり、効果的なオブジェクトの情報伝達を実現するための触覚提示装置及び触覚提示方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１２】
請求項１に記載された発明は、複数のオブジェクトを触覚により認識可能な装置を用いて提示させるための触覚提示装置において、前記オブジェクト毎に、前記オブジェクトが画面に表示される場合の輝度レベル又は色レベルからなる表示レベルの差により所定のオブジェクトを抽出して２値化するための閾値を設定する２値化閾値設定手段と、前記２値化閾値設定手段により設定された閾値と、ユーザが設定された表示レベルとを用いて、複数のオブジェクトから抽出条件に合う所定のオブジェクトを抽出するオブジェクト閾値情報抽出手段と、前記オブジェクト閾値情報抽出手段により抽出されたオブジェクトを、前記表示レベルに基づいて選択して提示する触覚提示手段とを有することを特徴とする。
【００１３】
請求項１記載の発明によれば、表示レベルに所望のオブジェクトを抽出して提示することで、効果的なオブジェクトの情報伝達を実現することができる。
【００１４】
請求項２に記載された発明は、前記２値化閾値設定手段は、前記表示レベルの異なる複数の閾値を設定し、前記オブジェクト閾値情報抽出手段は、少なくとも２つの閾値の範囲内の表示レベルに属するオブジェクトを提示することを特徴とする。
【００１５】
請求項２記載の発明によれば、提示したいオブジェクトをより詳細に選択して抽出することができる。これにより、より高精度な提示を実現することができる。
【００１６】
請求項３に記載された発明は、前記オブジェクトに関連する複数の情報リソースのうち、予め設定されるマークアップ言語により記述されるタグ情報を用いて、所定のオブジェクトを選択的に抽出するための２値化の閾値を設定する２値化閾値タグ設定手段と、前記表示レベルと前記閾値とにより、ダグ情報を生成するマークアップ表示データ生成手段と、前記閾値により抽出されたタグに記述されるオブジェクトに関する情報から点字又は音声を生成し、前記オブジェクトに対応付けて提示する点字・音声提示手段とを有することを特徴とする。
【００１７】
請求項３記載の発明によれば、マークアップ言語で記述されるタグ情報を用いてオブジェクトに関連する情報を点字や音声等を用いて提示することで、より詳細な情報を提示することができる。
【００１８】
請求項４に記載された発明は、前記触覚提示手段により提示されたオブジェクトに対して、ユーザにより指示された位置を検出する指示位置検出手段と、前記指示位置検出手段により指示された位置に対応するオブジェクトを選択するオブジェクト選択手段とを有することを特徴とする。
【００１９】
請求項４記載の発明によれば、提示されたオブジェクトに対してユーザが指示した位置に対応する他のオブジェクトや関連情報を提示することができる。したがって、より高精度で効果的なオブジェクトの提示を実現することができる。
【００２０】
請求項５に記載された発明は、前記触覚提示手段は、前記オブジェクト選択手段により選択されたオブジェクトを用いて提示内容を遷移させ、関連するオブジェクトを段階的に提示することを特徴とする。
【００２１】
請求項５記載の発明によれば、複数のオブジェクトを効率的に提示することができる。したがって、ユーザ等は、提示された内容をより分かり易く認識することができる。
【００２２】
請求項６に記載された発明は、複数のオブジェクトを触覚により認識可能な装置を用いて提示させるための触覚提示方法において、前記オブジェクト毎に、前記オブジェクトが画面に表示される場合の輝度レベル又は色レベルからなる表示レベルの差により所定のオブジェクトを抽出して２値化するための閾値を設定する２値化閾値設定ステップと、前記２値化閾値設定ステップにより設定された閾値と、ユーザが設定された表示レベルとを用いて、複数のオブジェクトから抽出条件に合う所定のオブジェクトを抽出するオブジェクト閾値情報抽出ステップと、前記オブジェクト閾値情報抽出ステップにより抽出されたオブジェクトを、前記表示レベルに基づいて選択して提示する触覚提示ステップとを有することを特徴とする。
【００２３】
請求項６記載の発明によれば、表示レベルに所望のオブジェクトを抽出して提示することで、効果的なオブジェクトの情報伝達を実現することができる。
【発明の効果】
【００２４】
本発明によれば、効果的なオブジェクトの情報伝達を実現することができる。
【発明を実施するための最良の形態】
【００２５】
＜本発明の概要＞
本発明は、例えば地図上における都市や山等のように、ある一つの形状を有する領域に、関連する情報が存在する場合の図の表示形式において、制作側では予め設定される表示するグループに応じて表示する情報の画面上の輝度に対応した輝度の異なる階層的な情報を設定し、提示側ではユーザの操作に応じて、輝度の情報に対応した２値化の閾値を決定し、順次、図中のグループ情報を触覚提示装置に提示し、グループ情報から選択されたオブジェクト（Ｉｔｅｍ）の内容を音声や点字で出力することにより、視覚に障害のある人に有効な図の提示装置及び提示方法を提供する。
【００２６】
以下に、上述したような特徴を有する本発明における触覚提示装置及び触覚提示方法を好適に実施した形態について、図面等を用いて詳細に説明する。
【００２７】
＜触覚提示装置の概要構成例＞
（第１の実施形態）
図１は、第１の実施形態における触覚提示装置の概要構成の一例を示す図である。なお、図１に示す触覚提示装置１０は、例えばパソコン等の汎用コンピュータ等により実現される。
【００２８】
図１に示す触覚提示装置１０は、２値化閾値設定手段１１と、提示制御手段１２と、オブジェクト閾値情報抽出手段１３と、２次元情報表示出力変換手段１４と、触覚提示手段１５とを有するよう構成されている。
【００２９】
図１に示す触覚提示装置１０において、閾値レベル表示データ２１は、２値或いは多段階の表示レベルで図やＧＵＩ等の各種レイアウトを表現するためのデータ等からなるオブジェクト、オブジェクトの表示レベル、又は、２値化閾値設定手段１１により設定される閾値等が蓄積されている。
【００３０】
２値化閾値設定手段１１は、提示する図やグラフ等のそれぞれのオブジェクト毎に、後段で表示レベルの差により所定のオブジェクトを抽出して２値化するための閾値を設定する。なお、表示レベルは、専用のパラメータとして設定してもよいが、例えばオブジェクトが画面に表示される場合の輝度レベル又は色レベル等を利用することができる。また、２値化閾値設定手段１１により設定された閾値は、閾値レベル表示データ２１の一部として蓄積される。
【００３１】
提示制御手段１２は、オブジェクト閾値情報抽出手段１３に対して閾値を選択し、最終的に触覚提示手段１５に提示されるオブジェクトの抽出や提示内容等を制御する。つまり、提示制御手段１２は、ユーザ等の操作により提示するオブジェクトを選択するための表示レベル等を設定したり、時間経過と共に提示内容を遷移させる等の制御を行う。
【００３２】
オブジェクト閾値情報抽出手段１３は、閾値レベル表示データ２１に含まれる複数のオブジェクトのうち、２値化閾値設定手段１１によりオブジェクト毎に設定された閾値と、ユーザ等が提示制御手段１２により設定された表示レベルとを比較して抽出対象となるオブジェクトを抽出する。なお、抽出手法については、後述する。
【００３３】
２次元情報表示出力変換手段１４は、オブジェクト閾値情報抽出手段１３により抽出されたオブジェクトを２次元情報として触覚提示手段１５や他の画面等に表示するための画像情報への変換処理を行う。なお、２次元情報表示出力変換手段１４は、触覚提示手段１５に表示する場合には、対象となるオブジェクトの２値化処理を行う。
【００３４】
触覚提示手段１５は、２次元情報表示出力変換手段１４により得られる２値化された画像情報を提示する。なお、触覚提示手段１５は、既存の触覚ディスプレイ装置等を用いることができ、例えば比較的安価な光学式のタッチパネルにより、触覚ディスプレイにおけるユーザ等の指での直接操作を実現することができる。
【００３５】
具体的には、例えばタッチパネル搭載型触覚ディスプレイとしては、９６×６４ｄｏｔ（ピン間隔２．４ｍｍ）の表示領域を持つ触覚ディスプレイ（例えば、ケージーエス（ＫＧＳ）社製）と、光学式のタッチパネル（Ｘｉｒｏｋｕ社製）とを搭載した構成を用いることができる。このタッチパネルは、上部両側のセンサによる三角測量方式のため、触覚ディスプレイの触察面を支障せず、マーカ等も不要である。
【００３６】
ここで、ＧＵＩ画面を触覚ディスプレイ等により提示する場合、最初にメニュー選択項目等をそれぞれ触知し易いようなオブジェクトに変換して配置する。次に、この触覚ディスプレイ表示用の画面を２値化し、触知ピンの上下により提示する。提示されたＧＵＩの操作は、触覚ディスプレイからのキー操作と、タッチパネルによるマウス操作（ポインティングとクリック：以下、タッチ操作という）が可能である。また、オブジェクトが選択された際には、該当するテキスト情報を音声合成してフィードバックする。
【００３７】
なお、触覚提示手段１５は、触覚ディスプレイに表示するだけでなく、他の触覚提示装置を用いて提示してもよく、更にＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の汎用のコンピュータのディスプレイに表示させてもよい。
【００３８】
ここで、ＰＣ等の汎用コンピュータに対応させる場合には、画面の解像度（１０２４×７６８）と触覚ディスプレイの解像度（９６×６４）とが異なるため、ＰＣ画面全体が触覚ディスプレイに表示されるように画素数変換を行う。
【００３９】
更に、触覚ディスプレイ上でのユーザの指位置とＰＣ画面上でのマウスカーソルの示す位置が一致するように、タッチパネルのキャリブレーション機能で最適値を調整する。
【００４０】
これにより、触覚ディスプレイ上で指を動かすと、ＰＣ画面上のマウスカーソルが追従することができる。オブジェクトを指でタッチ操作した瞬間に、ＰＣ画面のオブジェクト上にもマウスカーソルが正確に位置付けられていれば正しく選択することができる。
【００４１】
＜触覚提示装置１０：ハードウェア構成例＞
ここで、上述した触覚提示装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェース等を備えたコンピュータによって構成することができる。
【００４２】
したがって、触覚提示装置１０が備える２値化閾値設定手段１１、提示制御手段１２、オブジェクト閾値情報抽出手段１３、２次元情報表示出力変換手段１４、及び、触覚提示手段１５における各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００４３】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。
【００４４】
ここで、本発明におけるプログラムが実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図２は、本実施形態における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。
【００４５】
図２におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００４６】
入力装置３１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。
【００４７】
出力装置３２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。また、本実施形態では、触覚提示手段を備える。このとき、上述した専用ユニット等を外付けする等により構成することができる。
【００４８】
なお、入力装置３１と出力装置３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００４９】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば光ディスク等の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
【００５０】
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００５１】
メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＡＭやＲＯＭ等からなる。
【００５２】
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ３６は、プログラムの実行中に必要な各種情報を補助記憶装置３４から取得することができ、またＣＰＵ３６は、処理結果等を格納することもできる。
【００５３】
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行したりすることで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。更に、ネットワーク接続装置３７は、触覚提示内容やテキストデータ、音声データ等を通信ネットワークによりデータの送受信可能な状態で接続された触覚ディスプレイ等に出力したり、触覚ディスプレイ等によるユーザのキー操作による入力情報を取得したりすることができる。
【００５４】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に触覚提示処理を実現することができる。また、プログラムをインストールすることにより、容易に本実施形態における触覚提示処理を取得することができる。
【００５５】
＜２値化閾値設定手段１１における設定手法＞
次に、上述した２値化閾値設定手段１１における設定手法について、図を用いて説明する。図３は、表示レベルの異なるオブジェクトの提示内容の一例を示す図である。
【００５６】
なお、図３では、地図やＧＵＩ等の各種レイアウト等において、階層的に順次画面を表示するためのオブジェクト（Ｉｔｅｍ）のグループ別に異なる表示レベル（輝度レベル）が設定されている。なお、２値化閾値設定手段１１により設定した各閾値は閾値レベル表示データ２１の一部として蓄積されている。
【００５７】
図３に示すように、閾値レベル表示データ２１の構成例では、ある所定の表示対象地図（例えば、図３においては北海道等）上で、所定の都市を表すグループ１（Ｉｔｅｍ１〜４）、所定の山を表すグループ２（Ｉｔｅｍ５〜１０）、・・・、所定の湖を表すグループｎ（Ｉｔｅｍ１１〜１４）をそれぞれ輝度レベル〔２〕、〔３〕、・・・、〔ｎ〕として設定する。
【００５８】
なお、本実施形態では、図３に示す北海道全域の図は、他に使用していないアイテム（Ｉｔｅｍ）番号を用いて、最大輝度又は最小輝度に設定する。また、図３に示すように、それぞれの輝度に対応したアイテムに応じて、ある所定の形（例えば、図３の例では、Ｉｔｅｍ１〜４は●（輝度レベル〔２〕）、Ｉｔｅｍ５〜１０は▲（輝度レベル〔３〕））や、山や湖等は実際の形状に類似する形（例えば、図３では、Ｉｔｅｍ１１〜１４等）で提示することができる。
【００５９】
次に、２値化閾値設定手段１１による閾値の設定例について、図を用いて説明する。図４は、表示レベルと閾値との閾値の設定の一例を示す図である。図４において、Ｉｔｅｍ１〜ｎは、図３に示すように２値化閾値設定手段１１により予め設定される表示レベルとして、例えば段階的な輝度レベルによる複数のグループを示している。
【００６０】
ここで、本実施形態における輝度レベルは、提示するグループの数ｎにより等間隔で段階的に出力レベルが設定されている。例えば、レベル間の偏差をΔＸ＝１００／ｎとすれば、それぞれの段階の輝度レベルは、ｍ＝０からｎに対し、Ｌｅｖｅｌ（ｍ）＝１００−（ｎ−ｍ）ΔＸで表される（輝度レベル〔１〕〜〔ｎ＋１〕）。
【００６１】
それぞれのグループに対して、２つの輝度レベルの範囲内に２値化の閾値を、例えばＴｈｍ＝１００−｛（ｎ−ｍ）ΔＸ−ΔＸ／２｝となるように、順次２値化閾値設定手段１１で設定する。また、その設定値は、閾値レベル表示データ２１の一部として蓄積される。
【００６２】
以下、このようにして生成された閾値レベル表示データ２１から、ユーザの操
作によりオブジェクトを選択的に提示するための閾値を選択し、階層的に画面情報を提示することができる。なお、図４の例では、閾値を白レベルから黒レベルに変化した例を示しているが、本発明においてはこれに限定されず、例えば閾値を黒レベルから白レベルに変化させてもよい。
【００６３】
＜提示例＞
次に、上述した本実施形態における触覚提示手段１５及び／又はディスプレイやタッチパネル等の各種表示装置を用いた提示例について図を用いて説明する。
【００６４】
図５は、本実施形態における階層的な提示の一例を示す図である。なお、図５（ａ）は、ある１つの閾値を変更することによる階層的順次提示手法を説明するための図を示し、図５（ｂ）は、２つの閾値を設定して範囲指定することによる階層的順次提示手法を説明するための図を示している。また、図５（ａ），（ｂ）に示すシーケンスでは、一例として初期状態（図５（ａ）（ｉ），図５（ｂ）（ｉ））において、２値化の閾値を図４のＴｈ０に設定されている。
【００６５】
図５（ａ）では、ユーザ等が提示制御手段１２により第１の閾値レベルを選択すると、オブジェクト閾値情報抽出手段１３では、閾値Ｔｈ０を抽出し、図５（ａ）の（ｉ）に示すように、ｍ＝０，Ｔｈ０の抽出条件に該当する北海道の全域のオブジェクトを抽出し、抽出したオブジェクトを２次元情報表示出力変換手段１４により２値化し、触覚提示手段１５により北海道の全域を提示する。
【００６６】
次に、ユーザ等が提示制御手段１２を直接制御したり、時間経過と共に次の閾値レベルに切り替わるよう設定されている場合等により、ｍ＝１の条件になった場合には、オブジェクト閾値情報抽出手段１３により、閾値レベル表示データ２１に含まれるオブジェクトのうち、Ｔｈ１に対応する表示レベルにより、該当するデータ（グループ１）を抽出し、図５（ａ）の（ｉｉ）のｍ＝１，Ｔｈ１に示すようにグループ１（Ｉｔｅｍ１〜４）を黒レベル、その他を白レベルとして出力する。
【００６７】
また、オブジェクトを出力する場合には、例えばＩｔｅｍ１〜４等のように、抽出すべき項目は、提示面をユーザ等が指等で触れるため、各アイテム（Ｉｔｅｍ）を出力する領域の大きさは、背景のオブジェクトと明確に区別できる大きさに設定することが好ましい。
【００６８】
その後も上述したような手順で、順次ユーザ等の操作や時間経過等により、閾値をＴｈ２、Ｔｈ３、・・・、Ｔｈｎ−１と変更することで、階層的にグループの各属性に対応した図等の提示が可能となる。
【００６９】
なお、提示制御手段１２では、例えば専用のスイッチ等を用いたり、可変抵抗等で閾値レベルをアナログ的に変化させて設定し、２値化の閾値を画像処理で求めることにより、上述した内容と同様の処理を行ってもよい。
【００７０】
ここで、上述した実施形態では、１つの表示レベルの閾値を用いて所定のオブジェクトを抽出して提示する例を示したが、本発明においてはこの限りではなく、例えば図５（ｂ）に示すように、２つ以上の異なる表示レベルの閾値を予め設定し、そのうちの２つの表示レベルを用いて、表示レベルに対して上閾値レベルと下閾値レベルとで範囲を構成し、上下閾値間のレベルを所望の閾値とすることにより、単独に所望するグループ別のオブジェクトを抽出し、触覚提示手段１５により出力することもできる。
【００７１】
つまり、２つ以上の表示レベルを設定することで、例えば図５（ｂ）（ｉ）〜（ｉｖ）に示すように、所定の輝度レベルのみ、又は２つ以上のグループを選択的に提示させることができる。また、設定した輝度レベルが連続していないオブジェクトであっても、複数の上下閾値間を設定することで、それに対応する閾値間のオブジェクトを抽出して表示することができる。したがって、より高精度な表示を実現することができる。
（第２の実施形態）
ここで、本発明では、上述した第１の実施形態に示すように、閾値レベル表示データ２１を画像情報等から抽出して生成し、蓄積しておくのではなく、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）やＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等のマークアップ言語で記述し、画面情報を提示したり、更にグループ毎のオブジェクト（Ｉｔｅｍ）から、所望の情報を点字や音声等によりインタラクティブに提示することができる。
【００７２】
ここで、上述した内容を第２の実施形態として以下に説明する。なお、本発明の異なる実施形態の説明にあたり、上述した第１の実施形態と同一構成部分には同一符号を付すこととし重複する説明は省略する。
【００７３】
図６は、第２の実施形態における触覚提示装置の概要構成の一例を示す図である。図６に示す触覚提示装置４０は、２値化閾値タグ設定手段４１と、オブジェクト表示レベル設定手段４２と、マークアップ表示データ生成手段４３と、オブジェクト選択手段４４と、提示制御手段４５と、オブジェクト閾値タグ抽出手段４６と、テキストデータ抽出手段４７と、点字・音声提示手段４８と、２次元情報表示出力変換手段１４と、触覚提示手段１５と、指示位置検出手段４９とを有するよう構成されている。
【００７４】
なお、図６に示す触覚提示装置４０は、図やグラフ、或いはＧＵＩ等のメニュー等の各種表示データの情報リソース５１を有している。なお、情報リソース５１は、マークアップ記述言語に対応し得る各種データ形式の異なる複数のデータが蓄積されている。
【００７５】
２値化閾値タグ設定手段４１は、マークアップ言語で設定した２値化閾値を表すタグに属性データを設定する。なお、２値化閾値タグ設定手段４１は、上述した第１の実施形態に対応した２値化閾値設定手段１１に相当する機能を有している。
【００７６】
また、オブジェクト表示レベル設定手段４２は、オブジェクト（Ｉｔｅｍ）の表示レベル（例えば、輝度レベルや色レベル等）を設定する。また、マークアップ表示データ生成手段４３は、マークアップ言語で画面を構成する表示データを記述する。なお、オブジェクト表示レベル設定手段４２と、マークアップ表示データ生成手段４３とは、上述した第１の実施形態における閾値レベル表示データ２１に相当する機能を有している。
【００７７】
また、オブジェクト選択手段４４は、マークアップ表示データ生成手段４３で生成された表示データを取得し、提示すべき画面情報を管理する。また、オブジェクト選択手段４４は、触覚ディスプレイ等のインタラクティブな操作によりオブジェクト（Ｉｔｅｍ）の選択を可能とする。
【００７８】
提示制御手段４５は、オブジェクト閾値情報タグ抽出手段４６に対して情報リソース５１に含まれるオブジェクト、及びオブジェクトに関する情報（例えば、テキストデータ、点字データや音声データ等）を抽出するための閾値を選択し、最終的に触覚提示手段１５や点字・音声提示手段４８に提示されるオブジェクトの抽出や提示内容等を制御する。つまり、提示制御手段４５は、ユーザ等の操作により提示するオブジェクトを選択するための表示レベル等を設定したり、時間経過と共に提示内容を遷移させる等の制御を行う。
【００７９】
オブジェクト閾値情報抽出手段４６は、情報リソース５１に含まれる複数のオブジェクト、及びオブジェクトに関する情報のうち、２値化閾値タグ設定手段４１によりオブジェクト毎に設定された閾値と、ユーザ等が提示制御手段４５により設定された表示レベルとを比較して抽出対象となるオブジェクトを抽出する。なお、抽出手法については、後述する。
【００８０】
テキストデータ抽出手段４７は、選択されたオブジェクト又はオブジェクトに関する情報の内容を示すテキスト情報を抽出する。このとき、既に音声情報が含まれていれば、同時に抽出する。
【００８１】
点字・音声提示手段４８は、テキストデータ抽出手段４７で得られた内容から点字や音声を生成し、点字は点字端末により出力し、また音声はスピーカ等の音声出力手段等により出力する。なお、点字・音声提示手段４８は、テキストデータ抽出手段４７から音声情報をそのまま入力した場合には、その音声を出力する。
【００８２】
これにより、触覚提示手段１５に提示されている内容の他にも点字や音声等の多種の提示手段を用いることで、オブジェクトに関する情報をより詳細にユーザに提示することができる。
【００８３】
指示位置検出手段４９は、触覚提示手段１５において、ユーザ等が指やタッチペン等の専用の入力装置等により指示した位置を検出する。この指示位置検出手段４９により検出された指示位置に対応して、オブジェクト選択手段４４により該当するオブジェクトを抽出することで、インタラクティブなオブジェクト等の選択と提示とを実現することができる。
【００８４】
ここで、上述した触覚提示装置４０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェース等、例えば上述した図２に示すようなハードウェア構成を備えたコンピュータによって構成することができる。
【００８５】
したがって、触覚提示装置４０が備える２値化閾値タグ設定手段４１、オブジェクト表示レベル設定手段４２、マークアップ表示データ生成手段４３、オブジェクト選択手段４４、提示制御手段４５、オブジェクト閾値タグ抽出手段４６、テキストデータ抽出手段４７、点字・音声提示手段４８、２次元情報表示出力変換手段１４、触覚提示手段１５、及び、指示位置検出手段４９における各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００８６】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。
【００８７】
＜マークアップ言語による設定例＞
次に、第２の実施形態におけるマークアップ言語の設定例について、図を用いて説明する。図７は、提示内容をマークアップ言語により記述した一例を示す図である。なお、図７は、オブジェクト毎にアイテム番号、表示レベル、閾値、ファイル属性等を用いて、提示する画面情報をマークアップ言語により記述した例を示している。
【００８８】
なお、図７において、＜Ｎｏ＞タグはオブジェクトのアイテム（Ｉｔｅｍ）番号を示し、＜Ｆｉｇ＞タグは画像（図や形状等の情報を含む）のファイル属性を示し、＜Ｌｅｖｅｌ＞タグは表示レベルの一例である輝度レベル（色レベルでもよい）を示し、＜Ｔｈ＞タグは２値化する際の閾値レベルを示している。このように、タグを設定することにより、離散的な輝度レベルの画面を構成することができる。また、このようなタグ情報により全体の提示内容を段階的に提示することができる。
【００８９】
ここで、図８は、本実施形態における地図情報の提示内容の一例を示す図である。図８に示す例は、例えばグループ毎のオブジェクト（Ｉｔｅｍ）から、所望の情報をインタラクティブに音声や点字で得る提示方法についてマークアップ言語で記述した場合を示している。また、図８では、具体的に、日本地図から階層的に北海道の都市や山等のオブジェクトを探索する例を示している。
【００９０】
まず、図８（ａ）に示すように、初期状態の提示パターンとして、日本地図上の白い部分を触覚提示手段１５において凸に表示している。なお、この情報は、上述した情報リソース５１に予め設定される表示データである。
【００９１】
次に、図８（ｂ）に示す第１階層の提示パターンでは、オブジェクト表示レベル設定手段４２で設定された２段階の輝度レベルを表わしており、背景のオブジェクトは黒レベルで記述し、Ｉｔｅｍ１〜６のぞれぞれは、分割したそれぞれの地域を含む矩形で表されたグループで、地図の具体的な形状は白レベルで記述する。
【００９２】
ここで、２値化の閾値は、２値化タグ閾値設定手段４１により上述した図４に示すような計算式等を用いて設定される。また、設定された閾値のデータは、マークアップ表示データ生成手段４３により、例えば図７に示すように該当するタグの属性データとし、＜Ｌｅｖｅｌ＞タグと＜Ｔｈ＞タグに設定され、提示される画面を構成するマークアップ記述言語で記述されたファイルが生成される。
【００９３】
また、図８（ｃ）は、第２階層の提示パターンを示しており、具体的には第１の実施形態で示した手法で生成される。なお、図８（ｂ）と図８（ｃ）とは、例えば＜Ｌｉｎｋ＞タグ等のリンク情報を設定することで結合され、これによりユーザの操作により階層的に順次提示することができる。
【００９４】
なお、マークアップ表示データ生成手段４３により生成された画面表示用のファイルは、オブジェクト選択手段４４に送られ、オブジェクト閾値抽出手段４６やテキストデータ抽出手段４７により抽出され、最終的に触覚提示手段１５や点字・音声提示手段４８により出力される。
【００９５】
また、例えば触覚提示手段１５により第１階層の図（図８（ｂ））の所定の位置をユーザが指等を用いて指示した場合、触察している指の位置が指示位置検出手段４９で検出され、検出された位置情報と、ＸＭＬに記述された座標等からなる位置情報（例えば、＜Ｐｏｉｎｔ＞タグ）とを比較し、抽出条件に合うオブジェクト（Ｉｔｅｍ）及びそのオブジェクトに関する情報を抽出する。
【００９６】
また、テキストデータ抽出手段４７では、抽出オブジェクト（Ｉｔｅｍ）の内容を点字・音声提示手段４８に出力する記述したデータに対応した情報を得られる。
【００９７】
更に、グループＩｔｅｍ１〜６の何れかが選択された場合には、リンク情報として予め設定された第２階層のＸＭＬファイルに記述された情報を提示する。なお、第２階層として示される画面表示では、グループ別に段階的な閾値を設定することにより、第１の実施形態で示した内容にしたがって、順次グループ別にオブジェクトを提示し、触察位置に対応したオブジェクトを選択し、その選択された内容を点字や音声合成等でも表示することができる。
【００９８】
上述したように本実施形態により、階層的に関連付けられる図やグラフ、或いはＧＵＩ等のメニュー等の提示方法について、グループ毎のオブジェクトに段階的な表示レベル（輝度レベルや色レベル）を設定し、また比較する閾値に応じて対応するオブジェクトを画面に出力することにより、順次グループ毎のオブジェクトを提示することができる。
【００９９】
また、本実施形態では、１つの情報に複数の異なる情報を関連付けて設定することができ、例えば触覚提示するためのオブジェクトに対して音声データ等とのリンクを設定することができる。これにより、例えば図８（ｂ）の提示状態で北海道のある地点をユーザが指で触れる（指示する）と、「ほっかいどう」と音声出力され、また図８（ｃ）の提示状態である地点をユーザが指で触れると、その地名や山名、湖名等が音声出力される（例えば、「さっぽろ」等）。
【０１００】
なお、上述した実施形態においては、更に、これらの図やグラフはボリュームつまみ等により提示画面の拡大又は縮小が可能となっている。同様に、画像を２値化する際の閾値についてもボリュームつまみ等により段階的に変更することができるため、情報の種別毎にオブジェクトの表示レベル（輝度レベル、色レベル）を変えておくことで、必要な情報だけを選択的に提示する等、よりインタラクティブな操作を生かした提示手法を実現することができる。
【０１０１】
なお、上述した実施形態における提示手法においては、同じ地点に複数のオブジェクトがある場合には、それらのオブジェクトに予め優先順位を設定しておき、その優先順位の高いものを提示するか、或いは所定時間等が経過する毎に複数のオブジェクトを順次提示することができる。
【０１０２】
＜提示するオブジェクトの大きさについて＞
ここで、触覚提示装置を用いてオブジェクトを提示する場合、例えば触覚ディスプレイの表示領域全体に１又は複数個のオブジェクトを縦×横の格子状に凸状態のピンで提示する。この場合、タッチ操作により選択したと判定されたオブジェクトの割合は、縦×横サイズが２×２以上のオブジェクトのときに約６５％が１回で正しく認識されることが測定により確認された。
【０１０３】
また、測定では、２×２以上のサイズでは１ｄｏｔ間隔のオブジェクトをほぼ９０％以上の割合で特定できることがわかった。特に、１ｄｏｔの間隔で配置された２×３のサイズは点字の場合と同じであり、触覚ディスプレイ上に点字を表示した場合の位置の特定が可能であると考えられる。また、被験者からは、オブジェクトが３×３以上になると、実際にボタンを押しているような安心感があるとの内観報告があった。
【０１０４】
上述したように本発明によれば、効果的なオブジェクトの情報伝達を実現することができる。つまり、触覚提示において、１つの形状を有する情報の領域に、関連する情報が複数重なって存在する図の提示が重なったオブジェクトを提示する新たな提示手法を提示することができる。
【０１０５】
また本発明によれば、画面を構成するオブジェクトの位置や輝度、２値化閾値を、ＸＭＬ等のマークアップ言語で記述することで、提示側では容易に階層的なグループ別画面の提示が実現でき、更にユーザの指等による指示により所望のオブジェクトを探索したり、オブジェクトに関する情報を音声や点字等でも提示したり、リンクを介して関連する図の階層的な提示を行うことができる。
【０１０６】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１０７】
【図１】第１の実施形態における触覚提示装置の概要構成の一例を示す図である。
【図２】本実施形態における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。
【図３】表示レベルの異なるオブジェクトの提示内容の一例を示す図である。
【図４】表示レベルと閾値との閾値の設定の一例を示す図である。
【図５】本実施形態における階層的な提示の一例を示す図である。
【図６】第２の実施形態における触覚提示装置の概要構成の一例を示す図である。
【図７】提示内容をマークアップ言語により記述した一例を示す図である。
【図８】本実施形態における地図情報の提示内容の一例を示す図である。
【符号の説明】
【０１０８】
１０，４０  触覚提示装置
１１  ２値化閾値設定手段
１２，４２  提示制御手段
１３  オブジェクト閾値情報抽出手段
１４  ２次元情報表示出力変換手段
１５  触覚提示手段
２１  閾値レベル表示データ
３１  入力装置
３２  出力装置
３３  ドライブ装置
３４  補助記憶装置
３５  メモリ装置
３６  ＣＰＵ
３７  ネットワーク接続装置
３８  記録媒体
４１  ２値化閾値タグ設定手段
４２  オブジェクト表示レベル設定手段
４３  マークアップ表示データ生成手段
４４  オブジェクト選択手段
４５  オブジェクト閾値タグ抽出手段
４６  テキストデータ抽出手段
４７  点字・音声提示手段
４８  ２次元情報表示出力変換手段
４９  指示位置検出手段
【図１】
2009140105.tif 000003
【図２】
2009140105.tif 000004
【図３】
2009140105.tif 000005
【図４】
2009140105.tif 000006
【図５】
2009140105.tif 000007
【図６】
2009140105.tif 000008
【図７】
2009140105.tif 000009
【図８】
2009140105.tif 000010