(57)【特許請求の範囲】
【請求項１】
種々の選択項目を表わす視覚的選択オブジェクトを仮想的な三次元的特徴を有する触覚的選択オブジェクトに変換する変換手段と、使用者が装着する刺激生成手段に当該特徴に応じた触覚刺激を出力する出力手段を備えた触覚情報伝達装置であって、
前記変換手段は、前記視覚的選択オブジェクトが表す選択項目のカテゴリ情報に基づき前記視覚的選択オブジェクトをカテゴリ毎に分類する分類手段と、前記分類した前記カテゴリ毎に前記触覚的選択オブジェクトの三次元的特徴のいずれかに応じた第１の触覚呈示パラメータを設定し、さらに、該パラメータが設定された各カテゴリについて前記三次元的特徴の前記いずれか以外のものに応じて第２の触覚呈示パラメータを設定する設定手段とを備え、
前記出力手段により、前記第１の触覚呈示パラメータにしたがってカテゴリ毎に異なる触覚刺激を出力し、さらに、前記第２の触覚呈示パラメータにしたがって同一カテゴリ内の選択オブジェクト毎に異なる触覚刺激を出力する
ことを特徴とする触覚情報伝達装置。
【請求項２】
請求項１において、
前記変換手段は前記視覚的選択オブジェクトを入力する手段を備え、
前記分類手段は、前記視覚的選択オブジェクトの特徴と、画面上の表示の特徴と、前記選択項目の前記カテゴリ情報を抽出する手段と、前記カテゴリ情報に基づき前記視覚的選択オブジェクトをカテゴリ毎に分類する手段を備え、
前記設定手段により、前記分類された前記視覚的選択オブジェクトについて、前記触覚的選択オブジェクトの前記三次元的特徴に応じた前記触覚刺激を使用者に呈示するための前記第１および第２の触覚呈示パラメータを設定し、
前記出力手段は、前記設定したパラメータに応じて触覚呈示データを作成する手段と、前記刺激生成手段の出力を前記触覚呈示データに基づいて制御することで、前記使用者に前記触覚刺激を呈示する刺激手段とを備える
ことを特徴とする触覚情報伝達装置。
【請求項３】
請求項２において、
前記第１の触覚呈示パラメータは、前記触覚的選択オブジェクトの立体形状、表面粗さ、摩擦特性、呈示高さのいずれかを表し、前記第２の触覚呈示パラメータは、該立体形状、該表面粗さ、該摩擦特性、該呈示高さのうち該いずれか以外のものを表すことを特徴とする触覚情報伝達装置。
【請求項４】
請求項２において、
前記視覚的選択オブジェクトはＩＳＤＢデータから得られる見出し画面に表示される見出し項目を含む視覚的設定オブジェクトであり、
前記刺激生成手段の位置に応じた画面上の位置にポインタを重畳する重畳手段と、
前記ポインタがどの視覚的設定オブジェクトの表示範囲に存在するかを検出するポインタ検出手段と、
前記表示範囲に該当する前記見出し項目が押下されたことを検出する押下検出手段と、
前記刺激生成手段の移動に同期して、当該移動位置を前記見出し画面に前記ポインタにより表示する表示手段とをさらに有し、
前記出力手段は、前記移動にしたがい、前記視覚的選択オブジェクトを変換した前記触覚的選択オブジェクトに応じた触覚刺激をフィードバックし、前記刺激生成手段が前記見出し項目の選択オブジェクト内に存在する時は前記見出し項目のタイトル情報を出力し、前記刺激生成手段で見出し項目の選択オブジェクトを押下したときには見出し項目の階層下の内容を出力する
ことを特徴とする触覚情報伝達装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は触覚情報伝達装置に関し、特に、ディジタル信号によりサービスを提供する統合ディジタル放送（ＩＳＤＢ；Integrated Service Digital Broadcasting）で使われる見出し画面などの視覚的な選択項目から情報にアクセスする際に、視覚的選択オブジェクトを触覚的選択オブジェクトに変換して手指や他の部位の触覚受容器（皮膚感覚）に伝える触覚情報伝達装置に関する。
【０００２】
【従来の技術】
現在、バーチャル・リアリティ技術の進展とともに触覚受容器への力感覚フィードバックの研究が盛んになりつつある。例えばテレビジョンの衛星放送などにおいて、画面上の２次元画像情報を触覚や視覚、聴覚のマルチ・モーダルに呈示し、画像から得られる情報にアクセスする研究開発事例は少ない。
【０００３】
従来、視覚障害者のための感覚代行として、画像の輪郭情報を抽出し、触覚受容器への２次元または３次元図形情報の伝達を目的とした情報伝達装置の研究が行われている。たとえば「オプタコン」や「ＴＶＳＳ（Tactile Vision Substitution System）」(「視覚障害とその代行技術」、市川他、名古屋大学出版、「生体情報工学」星宮他、共立出版など）などの研究が行われている。
【０００４】
いずれの研究も光電変換して得られた画像情報から２値化した情報を抽出して２次元配列の触覚刺激素子を駆動し、当該素子の振動により手指や背中に刺激を呈示するものである。また３次元触覚ディスプレイでは、「盲人用３次元情報表示装置」（医療福祉機器技術研究開発成果報告書）のように２次元上に配置された触覚刺激素子がコンピュータで作成された物体のデータに対応してステッピング・モータにより上下に駆動され、３次元形状を擬似的に呈示する。
【０００５】
さらに、コンピュータのＧＵＩ（Graphical User Interface）環境を視覚障害者に伝えるため、音声によるＧＵＩ画面読み上げソフトが開発されている（「９５ＲＥＡＤＥＲ（商標）」、「視覚障害者用Ｗｉｎｄｏｗｓ画面読み上げソフトウェアの開発とその評価」、渡辺、岡田、ヒューマン・インタフェース６８−７）。
【０００６】
また上記と同様のＧＵＩ環境伝達を、触覚、聴覚のマルチ・モーダルで達成することを目的とした研究が行われている（「触覚ピン・ディスプレイ付きポインティング・デバイスの提案」）。このデバイスは、タッチパネル付きＬＣＤ画面に触れることにより、その位置に表示された対話部品の情報を音声で出力する。さらに、タッチパネル上に触覚ディスプレイを搭載し、触覚受容器で対話部品に触れることができる。触覚ディスプレイはたとえば８×８本のピンを２次元に配列し、１本のピンを画面の１ドットに対応させる構成とし、現在のポインティグ座標を中心に８×８ドットの範囲の情報を呈示することが可能である。触覚ディスプレイは絶対座標系としてタッチパネル上で動かすことができ、広範囲の画面情報の触知を可能とする。
【０００７】
また、最近のバーチャル・リアティ技術のうち触覚フィードバックでは、たとえば「ＰＨＡＭＴＯＭ」（Sensable Technologies,Inc商標）のような触覚インタフェースを用いて３次元形状やテクスチャの表現が可能である。この装置は、コンピュータ上で作成された３次元図形の空間的情報を、機械的な反力で触覚受容器にフィードバックするものである。「ＰＨＡＭＴＯＭ」を用いたアプリケーションには、仮想的なスイッチを呈示して、これを押下すると画面が切り替わったり、呈示された仮想物体の形状や状態を変えることが可能なものがある。
【０００８】
【発明が解決しようとする課題】
現在、視覚障害者がＧＵＩ環境においてコンピュータを操作できる有効な手段は確立されていない。また、ＩＳＤＢの見出し画面を視覚障害者に伝える技術は知られておらず、如何にして画面情報を伝達するかが大きな研究課題となっている。
【０００９】
前記従来技術のうちで、「９５ＲＥＡＤＥＲ」など音声によるＧＵＩ画面読み上げは視覚障害者に有効な手段である。しかし、音声自体は時系列な情報呈示であり、読み上げによって画面上の選択オブジェクトの迅速な検索を行うことは困難であること、画面全体の選択オブジェクトの把握が困難であること等の問題がある。
【００１０】
一方、ＧＵＩ環境であるＩＳＤＢ見出し項目やコンピュータが表示するアイコンを触覚受容器に呈示することは上記問題解決のために有効であるが、画面中で多くの選択オブジェクトを呈示する必要がある。従来技術で前出した「オプタコン」や「ＴＶＳＳ」、あるいは「盲人用３次元情報表示装置」、「触覚ピン・ディスプレイ付きポインティング・デバイス」の触覚呈示装置は、いずれも触覚を刺激するピン等を剣山のように２次元配置している。この場合、１画素を表すドットの間隔には実装上、大きさおよび実装密度に限界がある。すなわち、ドット間隔が大きくなれば図形形状の正確な呈示が困難であり、小さなディスプレイでは呈示できる選択オブジェクト数が制限される。
【００１１】
これに対して、従来技術の「ＰＨＡＭＴＯＭ」は微細形状の呈示が可能であり、図形形状を正確に呈示する触覚フィードバック・デバイスとして有効である。しかしながら、人間が触覚受容器で認識できる形状には限界が存在するため、呈示される図形が余りに小さくなると使用者の認識限界を超えるという別の問題が生じる。
【００１２】
また、従来技術で、「ＰＨＡＭＴＯＭ」を用いて構成した仮想スイッチを押下することにより次の処理に移行するシーケンスは本発明の利用分野に類似するが、ＩＳＤＢの見出し画面のような視覚的選択オブジェクトを触覚受容器に呈示することで情報にアクセスすることは考慮していない。すなわち、ＩＳＤＢなどの選択オブジェクトの持つ属性や番組のカテゴリによっては選択オブジェクトを短時間で探索するのに問題がある。
【００１３】
さらに、視覚障害者に選択オブジェクトを伝えるには、従来技術の「触覚ピン・ディスプレイ付きポインティング・デバイス」のように触覚刺激とともに音声や点字で出力して使用者に選択させることも可能である。この方式は単にオブジェクトの有無を呈示するもので、選択オブジェクトが持つカテゴリに基づいて短時間で探索する方式ではない。
【００１４】
このように、いずれの従来方式も選択オブジェクトを高速に探索するには困難を伴うという課題がある。
【００１５】
本発明は上記の課題に鑑みてなされたものであって、その主たる目的は、視覚、聴覚、触覚のマルチ・モーダルでＩＳＤＢの見出し画面などの視覚的選択オブジェクトから番組情報等へのアクセスを迅速に行える触覚情報伝達装置を提供することにある。詳細には、本発明は次に列記する各目的を達成することを目指すものである。
【００１６】
本発明の第１の目的は、見出し画面など視覚的選択オブジェクトを触覚的選択オブジェクトに変換して触覚受容器に呈示する際に、少ない呈示範囲に多くの選択オブジェクトを呈示でき、かつ、呈示する立体形状や表面テクスチャ、摩擦、呈示高さなどを呈示パラメータとすることで、認識し易く迅速な探索が可能な呈示方法を実施できる触覚情報伝達装置を提供することである。
【００１７】
本発明の第２の目的は、視覚的選択オブジェクトの情報を触覚的選択オブジェクトに変換して触覚受容器に呈示する際に、選択オブジェクトの持つ属性性質を即座に認知可能な呈示方法を実施できる触覚情報伝達装置を提供することである。
【００１８】
本発明の第３の目的は、見出し画面などの選択オブジェクトに触れることにより項目の内容を音声や点字などのマルチ・モーダルで呈示でき、かつ、選択オブジェクトを押下することにより項目の番組内容にアクセス可能な呈示方法を実施できる触覚情報伝達装置を提供することである。
【００１９】
【課題を解決するための手段】
上記課題を解決するために本発明の一態様は、種々の選択項目を表わす視覚的選択オブジェクトを仮想的な三次元的特徴を有する触覚的選択オブジェクトに変換する変換手段と、使用者が装着する刺激生成手段に当該特徴に応じた触覚刺激を出力する出力手段を備えた触覚情報伝達装置であって、前記変換手段は、前記視覚的選択オブジェクトが表す選択項目のカテゴリ情報に基づき前記視覚的選択オブジェクトをカテゴリ毎に分類する分類手段と、前記分類した前記カテゴリ毎に前記触覚的選択オブジェクトの三次元的特徴のいずれかに応じた第１の触覚呈示パラメータを設定し、さらに、該パラメータが設定された各カテゴリについて前記三次元的特徴の前記いずれか以外のものに応じて第２の触覚呈示パラメータを設定する設定手段とを備え、前記出力手段により、前記第１の触覚呈示パラメータにしたがってカテゴリ毎に異なる触覚刺激を出力し、さらに、前記第２の触覚呈示パラメータにしたがって同一カテゴリ内の選択オブジェクト毎に異なる触覚刺激を出力する。
【００２０】
ここで、前記変換手段は前記視覚的選択オブジェクトを入力する手段を備え、前記分類手段は、前記視覚的選択オブジェクトの特徴と、画面上の表示の特徴と、前記選択項目の前記カテゴリ情報を抽出する手段と、前記カテゴリ情報に基づき前記視覚的選択オブジェクトをカテゴリ毎に分類する手段を備え、前記設定手段により、前記分類された前記視覚的選択オブジェクトについて、前記触覚的選択オブジェクトの前記三次元的特徴に応じた前記触覚刺激を使用者に呈示するための前記第１および第２の触覚呈示パラメータを設定し、前記出力手段は、前記設定したパラメータに応じて触覚呈示データを作成する手段と、前記刺激生成手段の出力を前記触覚呈示データに基づいて制御することで、前記使用者に前記触覚刺激を呈示する刺激手段とを備えるものであってよい。
【００２１】
ここで、前記第１の触覚呈示パラメータは、前記触覚的選択オブジェクトの立体形状、表面粗さ、摩擦特性、呈示高さのいずれかを表し、前記第２の触覚呈示パラメータは、該立体形状、該表面粗さ、該摩擦特性、該呈示高さのうち該いずれか以外のものを表すものであってよい。
【００２２】
ここで、前記視覚的選択オブジェクトはＩＳＤＢデータから得られる見出し画面に表示される見出し項目を含む視覚的設定オブジェクトであり、前記刺激生成手段の位置に応じた画面上の位置にポインタを重畳する重畳手段と、前記ポインタがどの視覚的設定オブジェクトの表示範囲に存在するかを検出するポインタ検出手段と、前記表示範囲に該当する前記見出し項目が押下されたことを検出する押下検出手段と、前記刺激生成手段の移動に同期して、当該移動位置を前記見出し画面に前記ポインタにより表示する表示手段とをさらに有し、前記出力手段は、前記移動にしたがい、前記視覚的選択オブジェクトを変換した前記触覚的選択オブジェクトに応じた触覚刺激をフィードバックし、前記刺激生成手段が前記見出し項目の選択オブジェクト内に存在する時は前記見出し項目のタイトル情報を出力し、前記刺激生成手段で見出し項目の選択オブジェクトを押下したときには見出し項目の階層下の内容を出力するものであってよい。
【００２５】
【作用】
上記構成とした本発明によれば、ＩＳＤＢの見出し画面などの選択オブジェクトの情報から、見出し項目を選択する触覚的な選択オブジェクトを構成することにより、視覚、聴覚、触覚のマルチ・モーダルで情報にアクセスすることを可能とする。
【００２６】
具体的には、視覚的な選択オブジェクトの情報から、選択オブジェクトの属性や性質、機能等の特徴、すなわち、番組のタイトルや番組のジャンル、あるいは画面上に表示する位置のデータなどを抽出して、抽出された選択オブジェクトの属性、性質、機能により選択オブジェクトを分類し、分類したカテゴリに対応して立体形状や表面粗さ、摩擦、呈示高さなどの触覚呈示パラメータを設定して、選択オブジェクトを触覚受容器に機械的な力でフィードバックして、機械的な力などの刺激を受ける使用者の手指など、触覚呈示部の位置を視覚的な位置に対応して画面上に表示して、画面上の選択オブジェクトに触れたことを検出し、見出し項目のタイトルを音声あるいは点字などで表示して、仮想的なスイッチが押下されたことを検出し、見出し項目の内容を表示することを可能とする。
【００２７】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施形態を詳細に説明する。
【００２８】
まず、図１乃至図２を参照して本発明のＩＳＤＢ見出し画面などの視覚的選択オブジェクトを触覚的選択オブジェクトに変換して呈示する方法を概念的に説明する。
【００２９】
図１はＩＳＤＢでサービスされる見出し画面の項目を模式的に表した例で、それぞれ番組のカテゴリ別に記号で表している。
【００３０】
見出し画面１０には、各種見出し項目の視覚的選択オブジェクトＶ１〜Ｖ８（映像）、Ｔ１（天気）、Ｎ１〜Ｎ６（ニュース）、Ｅ１（番組表）、Ｓ１〜Ｓ４（リソース切替）が表示されている。
【００３１】
図２（ａ）〜（ｄ）は、見出し画面１０中の上記選択オブジェクトを触覚的選択オブジェクトに変換して呈示する方法の例を示す。
【００３２】
図２（ａ）は上記選択オブジェクトを忠実に変換した触覚的選択オブジェクト（触覚情報）を示す。図２（ａ）に開示された２次元形状が正方形、長方形および略長方形の各凸型形状は、図１中のそれぞれの見出し項目の輪郭で囲まれた部分を、仮想的な立体（３次元）形状、すなわち触覚的選択オブジェクトとして呈示した例である。
【００３３】
また図２（ｂ）〜図２（ｄ）は、それぞれの選択オブジェクトを同一サイズで表して空間的な触覚情報密度を低くできるようにした、図２（ａ）の単純な凸型形状を改変してカテゴリを区別できるようにした各種呈示方法の例を示している。
【００３４】
図２（ｂ）〜図２（ｄ）を参照して、前記呈示方法を用いて触覚受容器に視覚的選択オブジェクトを呈示する具体的について説明する。
【００３５】
図２（ｂ）は、サイズが同一で異なる立体形状の触覚的選択オブジェクトに変換して視覚的選択オブジェクトを呈示する方法を示す。
【００３６】
ここに開示した例では、見出し画面の選択オブジェクトの中で、映像Ｖ１〜Ｖ８を立方体の選択オブジェクト２３１〜２３８、ニュースＮ１〜Ｎ６を球体の選択オブジェクト２４１〜２４６、リソース切替Ｓ１〜Ｓ４を直方体の選択オブジェクト２５１〜２５４に変換する。使用者が画面に対応した触／力覚呈示装置で見出し画面に対応した立体形状の選択オブジェクトに触れ、その形状を認識することにより、認識形状に応じて即座に番組のカテゴリを知ることができる。
【００３７】
図２（ｃ）は、形状が同一で、それぞれ異なった表面粗さや摩擦力の触覚的選択オブジェクトに変換して視覚的選択オブジェクトを呈示する方法を示す。
【００３８】
ここに開示した例では、形状は立方体に統一し、そのテクスチャが異なる各触覚的選択オブジェクトに変換している。すなわち、映像Ｖ１〜Ｖ８を表面粗さの大きな選択オブジェクト２６１〜２６８、ニュースＮ１〜Ｎ６を中程度の表面粗さの選択オブジェクト２７１〜２７６、リソース切替Ｓ１〜Ｓ４を小さな表面粗さの選択オブジェクト２８１〜２８４に変換する。この場合は触覚的選択オブジェクトの形状認識が不要であり、単に表面粗さの触感(テクスチャ)のみにより選択オブジェクトのカテゴリの違いを検出することができるため、高速の情報選択を期待できる。
【００３９】
図２（ｄ）は、表面粗さが等しく、立体形状の高さが異なる触覚的選択オブジェクトに変換して視覚的選択オブジェクトを呈示する方法を示す。
【００４０】
ここに開示した例は図２（ｃ）において画面垂直方向の点線部ｄ−ｄ’の断面を表し、リソース切替Ｓ１〜Ｓ４の選択オブジェクト２８１〜２８４の呈示高さ２９１を、天気Ｔ１の選択オブジェクト２８８および番組表Ｅ１の選択オブジェクト２８９の呈示高さ２９２と変えることでカテゴリを区別できるようにしている。当該区別方法は、２次元形状が等しい選択オブジェクトについても３次元の呈示高さを変える方法を示唆するものである。
【００４１】
ここで、図２（ｂ）〜図２（ｄ）における選択オブジェクトの位置は、図２（ａ）の相対的な位置とは異なり如何なる方向に整列、配置させてもよい。
【００４２】
図２（ｂ）〜図２（ｄ）を参照して説明したカテゴリ区別可能な各種呈示方法の組み合わせにより選択オブジェクトのカテゴリ情報を呈示してから、さらに同一のカテゴリ内でそれぞれの選択オブジェクトに序列や種類を指定する方法について、以下に図３〜図６を参照して説明する。
【００４３】
図３〜図５は、第１のパラメータとして既に開示された表面粗さでカテゴリ分類を行い、ここで開示される第２のパラメータでカテゴリ内の序列や種類を指定する例を示す。
【００４４】
図３は同一の大きさを持つ立方体３００の四隅を切欠いて指定する方法を開示している。
【００４５】
表面粗さが同一の立方体３０１〜３０５の四隅をそれぞれ２進数（ＢＣＤコード）に対応させ、切欠きを付与される立方体３０１〜３０５を４ビットの２進数に対応させることにより、最大１６（＝２4）の序列の指定が可能である。したがって、使用者はまず表面粗さでカテゴリ１であることを検出し、次に例えば右上隅のみ切欠かれた場合には“０００１”に対応させてカテゴリ１−１であることを検出し、右下隅のみ切欠かれた場合には“００１０”に対応させてカテゴリ１−２であることを検出する等、同一カテゴリ内の序列や種類を検出できる。ここでは、切欠き位置の組み合わせが第２のパラメータである。
【００４６】
また、図４は表面粗さが同一で２次元形状も同一の立方体４０１〜４０５について、その高さの違いにより同一カテゴリ内の序列や種類を指定する例を開示している。
【００４７】
使用者はまず表面粗さでカテゴリ１であることを検出し、次に例えば立方体４０１は高さゼロに対応させてカテゴリ１−１であることを検出し、例えば立方体４０２は高さ４１０（＞０）に対応させてカテゴリ１−２であることを検出する等、同一カテゴリ内の序列や種類を検出できる。ここでは、高さが第２のパラメータである。
【００４８】
同様に、図５は表面粗さが同一の立体５０１〜５０５について、その形状の違いにより同一カテゴリ内の序列や種類を指定する例を開示している。
【００４９】
図５において例えば直方体５０１、横方向の立方体５０２、縦方向の立方体５０３、３角柱５０４、球体５０５の順にプライオリティを持たせておき、使用者はまず表面粗さでカテゴリ１であることを検出し、次にその形状に対応させて例えばカテゴリ１−１〜カテゴリ１−５であることを検出し、同一カテゴリ内の序列や種類を検出できる。ここでは、３次元形状が第２のパラメータである。
【００５０】
一方、図６は第１のパラメータとして既に開示された形状でカテゴリ分類し、既に開示された表面粗さを第２のパラメータとしてカテゴリ内の序列を指定した例を示す。
【００５１】
図６は、例えば同一形状の球体６０１〜６０５について、その表面粗さの違いにより同一カテゴリ内の序列や種類を指定する例を開示している。球体６０１は最も表面粗さが小さく、球体６０５は最も表面粗さが大きく、ハッチングの粗さが表面粗さに対応している。使用者はまず球体であることでカテゴリ１であることを検出し、次にその表面粗さに対応させて例えばカテゴリ１−１〜カテゴリ１−５であることを検出し、同一カテゴリ内の序列や種類を検出できる。
【００５２】
図３〜図６のような方法で同一カテゴリ内の序列を指定することにより、たとえば図１が示す番組のカテゴリ種別において、映像Ｖ１〜Ｖ８に対応したチャンネル指定や天気Ｔ１に対応した地域指定など、同一カテゴリ内での指定を触覚のみで選択的に行うことができる。
【００５３】
以下に、請求項１〜４に記載の本発明装置を利用した具体的な情報伝達方法を図面に従い説明する。
【００５４】
図７はＩＳＤＢの見出し画面などの視覚的選択オブジェクトを触覚的選択オブジェクトに変換して、触／力覚呈示装置を用いて視覚障害者等、使用者の触覚受容器に刺激を呈示する方法の実施を可能とする触覚情報伝達装置の一実施形態のハードウェア構成例を示す。
【００５５】
図７において、視覚的選択オブジェクト・データ部７１は、視覚的選択オブジェクトの属性・性質、機能、内容等の特徴、画面に表示される視覚的選択オブジェクトの位置、形状、色などに関するオブジェクト情報を格納する。選択オブジェクト・パラメータ抽出部７２は、視覚的選択オブジェクト・データ部７１からこれらオブジェクト情報を検出して抽出する。触覚呈示位置設定部７３は、触覚呈示部（図示せず）の３次元空間における位置を設定する機能を有する。
【００５６】
触覚呈示部は使用者が装着可能に、触／力覚呈示装置８０の出力部として設けられ、選択オブジェクトの画面表示位置に対応して使用者の触覚受容器に刺激を呈示する。刺激の呈示はピン振動等の機械的刺激を与える従来方式によって行うことができるが、触／力覚呈示装置８０には、仮想物体の立体形状や表面のテクスチャを触覚受容器に触・圧覚、反力を与えて表現できるタイプを使用することが好ましい。
【００５７】
選択オブジェクト・カテゴリ分類部７４は、選択オブジェクト・パラメータ抽出部７２において、選択オブジェクトの属性・性質、機能、内容などで同一のカテゴリ毎に分類する。触覚呈示パラメータ設定部７５は、カテゴリ分類された選択オブジェクトについて、立体形状、表面粗さ・摩擦などによる触感（テクスチャ）、あるいは呈示高さを第２のパラメータに設定する。
【００５８】
コンピュータ７０はＣＰＵ，ＲＡＭ，ＲＯＭ，補助記憶装置（ハードディスク・ドライブ、ＣＤ−ＲＯＭドライブ等）を備えた一般的な構成であり、コンピュータ７０が処理を司る触覚呈示選択オブジェクト・データ作成部７７は触覚呈示パラメータ設定部７５で設定されたパラメータに従い、選択オブジェクトの空間的な触覚呈示データを作成する。
【００５９】
触覚呈示駆動部７９はコンピュータ７０の制御に従って触／力覚呈示装置８０を駆動し、触／力覚呈示装置８０は触覚呈示部により触覚受容器に触覚情報（触覚刺激）を呈示する。触覚呈示位置検出部８１は、触／力覚呈示装置８０に備え付けられた角度センサを含んで構成され、触覚呈示部の空間位置を検出する。コンピュータ７０が処理を司る触覚呈示出力制御部７８は、触覚呈示位置設定部７３、触覚呈示選択オブジェクト・データ作成部７７、および触覚呈示位置検出部８１から得られる触覚受容器に呈示する触覚呈示データに従い、触／力覚呈示装置８０の出力を制御して使用者の受容器に刺激情報を与える。
【００６０】
以下、本発明に係る触覚情報伝達装置の動作について具体的に説明する。
【００６１】
図７において、視覚的選択オブジェクト・データ部７１が格納する選択オブジェクトの各オブジェクト情報は、その選択オブジェクトが画面上で表示されるべき位置情報や、その属性・性質、機能、内容などの特徴情報を選択オブジェクト・パラメータ抽出部７２によって抽出される。触覚呈示位置設定部７３は、選択オブジェクト・パラメータ抽出部７２から得られた選択オブジェクトの位置情報に基づいて、触／力覚呈示装置８０が呈示可能な適切な３次元空間位置を設定する。
【００６２】
また選択オブジェクト・パラメータ抽出部７２により抽出された選択オブジェクトの属性・性質などに関する情報は、選択オブジェクト・カテゴリ分類部７４においてそれぞれの選択オブジェクトの持つデータが解読され、所望のカテゴリに分類される。
【００６３】
触覚呈示パラメータ設定部７５は、分類されたそれぞれのカテゴリ毎に適切な立体形状、表面粗さ・摩擦力、呈示高さのパラメータを設定する。さらに触覚呈示選択オブジェクト・データ作成部７７では、それぞれの選択オブジェクトについて触覚呈示パラメータ設定部７５で設定された値を基に、触／力覚呈示装置８０が触覚受容器に反力を返すべき３次元位置に対応した触覚呈示データを作成する。
【００６４】
視覚的選択オブジェクト（格納したオブジェクト情報）からこのようなデータ生成によって触覚的選択オブジェクトに変換された選択オブジェクトは、触覚呈示位置情報設定部７３が設定した空間位置に仮想的立体として存在することになる。
【００６５】
仮想的な選択オブジェクトを実際に触覚により探索する動作は、以下のように行うことができる。
【００６６】
まず、触覚受容器が分布した手指を前述した触覚呈示部に装着、固定し、触覚呈示部を移動させる。この移動にしたがい、触覚呈示位置検出部８１が触覚呈示部の空間的な位置を検出し、検出位置は触覚呈示出力制御部７８において触覚呈示選択オブジェクト・データ作成部７７が作成した空間位置の触覚呈示データと比較される。そして、触覚呈示出力制御部７８を用いたフィードバック制御により触覚呈示駆動部７９を駆動して触／力覚呈示装置８０による反力を制御することにより、あたかも選択オブジェクトが存在するような感覚を手指に与え、その立体形状や触感により選択オブジェクトを認識させることができる。後述の仮想スイッチ（選択オブジェクト）を押下させることもできる。
【００６７】
上記したように、視覚的オブジェクトを各種の触覚呈示パラメータで表される触覚的オブジェクトに変換し、手指などの触覚受容器を働かすことにより空間位置の呈示情報に対応した仮想的な選択オブジェクトの触感が得られ、選択オブジェクトを実際に探索、押下することができる。
【００６８】
これにより、見出し画面など視覚的選択オブジェクトを触覚的選択オブジェクトに変換して触覚受容器に呈示する際に、少ない呈示範囲に多くの選択オブジェクトを呈示でき、かつ、呈示する立体形状や表面テクスチャ、摩擦、呈示高さなどを呈示パラメータとすることで、認識し易く迅速な探索を行うことができ、選択オブジェクトの持つ属性性質を即座に認知させることができる。
【００６９】
次に、本発明の一実施形態におけるＩＳＤＢ見出し画面情報の触覚情報伝達および情報アクセス方法について詳細に説明する。
【００７０】
図８は本発明の請求項６に示す、ＩＳＤＢの見出し画面を番組のジャンルで分類し、触覚受容器に呈示するためのハードウェアとそのソフトウェア構成を示すブロック構成図である。図８において、図７中の構成要素と同一構成要素には同一符号を付し、その説明を適宜省略する。
【００７１】
ＩＳＤＢデータ受信部８０１は、外部から見出し画面情報等のＩＳＤＢデータを受信／入力する。見出し画面インデックス情報抽出部８０２は、ＩＳＤＢの見出し画面情報を抽出する。触覚呈示位置設定部７３は、触／力覚呈示装置８０の触覚呈示位置を設定する。番組カテゴリ分類部８０４は、見出し画面インデックス情報抽出部８０２において、番組のカテゴリ情報に従い選択オブジェクトを分類する。触覚呈示パラメータ設定部７５は、番組カテゴリ分類部８０４で分類された選択オブジェクトに適切な立体形状、表面粗さ、摩擦力、呈示高さなどのパラメータを設定する。
【００７２】
触覚呈示選択オブジェクト・データ作成部７７は、触覚呈示パラメータ設定部７５で設定されたパラメータから仮想スイッチ機能を持った立体的な選択オブジェクトを作成し、これにより実際に２／３次元の触覚刺激呈示を行うことができる。触覚呈示出力制御部７８は、触覚呈示位置設定部７３、触覚呈示オブジェクト・データ作成部７７、および触覚呈示位置検出部８１から得られる触覚受容器に呈示する触覚呈示データに従い、触／力覚呈示装置８０の出力を制御する。触覚呈示駆動部７９は、触／力覚呈示装置８０を駆動して移動させる。触覚呈示位置検出部８１は、触／力覚呈装置８０の触覚呈示部の空間位置を検出する。
【００７３】
８１２〜８１４は見出し項目および番組内容のメモリ部を示す。見出し項目メモリ８１２は、見出し項目のタイトル情報を記憶する。番組情報メモリ８１３は、タイトルから選択された番組の内容を記憶する。画面位置情報メモリ８１４は、見出し項目の選択オブジェクトが画面上で表示される位置情報を記憶する。見出し項目情報出力部８１５は、見出し項目メモリ８１２から見出し項目の選択オブジェクトのタイトル情報を読み出し、出力する。番組内容出力部８１６は、番組情報メモリ８１３から番組の内容を読み出し、出力する。
【００７４】
音声合成装置８１７は項目情報出力部８１５の見出し項目内容のテキスト・データの出力装置であり、当該テキスト・データに応じた合成音声を出力する。点字ディスプレイ装置８１８は番組内容出力部８１６の見出し項目内容のテキスト・データの出力装置であり、当該テキスト・データに応じた刺激を所定の点字方式により呈示する。
【００７５】
触覚呈示／画面位置比較検出部８１９は、触覚呈示位置検出部８１が検出した選択オブジェクトの触覚呈示位置と画面位置情報メモリ８１４からの画面表示位置を比較し、誤差信号を出力する。ポインタ重畳位置設定部８２０は、触覚呈示／画面位置比較検出部８１９から出力された誤差信号に基づいて画面上に重畳するポインタの位置設定を行う。選択オブジェクト押下検出部８２３は、触覚呈示オブジェクト・データ作成部７７からの触覚呈示データと触覚呈示位置検出部８１が検出した選択オブジェクトの触覚呈示位置を比較し、これにより、触覚刺激呈示された見出し項目の選択オブジェクトが押下されたことを検出する。
【００７６】
モニタ装置８２２は表示画面を備えている。ポインタ重畳部８２１は、ポインタ重畳位置設定部８２０で設定された表示画面上の位置に、たとえば矢印などのポインタを重畳してＩＳＤＢの見出し画面に表示させる。
【００７７】
コンピュータ８００はＣＰＵ，ＲＡＭ，ＲＯＭ，補助記憶装置（ハードディスク・ドライブ、ＣＤ−ＲＯＭドライブ等）を備えた一般的な構成であり、コンピュータ８００が触覚呈示選択オブジェクトデータ作成部７７、触覚呈示出力制御部７８、各メモリ部８１２〜８１４、項目情報出力部８１５、番組内容出力部８１６、触覚呈示／画面位置比較検出部８１９、ポインタ重畳位置設定部８２０、選択オブジェクト押下検出部８２３の処理を司る。
【００７８】
図９，図１０は図８のハードウェアを動作させるソフトウェアの処理の流れを示すフローチャートである。
【００７９】
以下、本実施の形態の動作例について図８、図９，図１０、および図１を参照して説明する。
【００８０】
ＩＳＤＢデータ受信部８０１で受信されたＩＳＤＢ見出し画面１０などの映像は、モニタ装置２２に常時表示される。
【００８１】
図９において、まず、ＩＳＤＢデータ受信部８０１が受信したＩＳＤＢデータから、見出し画面インデックス情報抽出部８０２により、データ信号をＩＳＤＢ見出し画面１０のインデックス情報として抽出する（ＳＴ１）。抽出されたデータ信号について、次の３つのプロセスが実行される。
【００８２】
一つ目のプロセスはＳＴ２〜ＳＴ４に示す処理である。すなわち、まず番組カテゴリ分類部８０４により、見出し項目の選択オブジェクトを番組内容などのカテゴリ別に分類する。続いて触覚呈示パラメータ設定部７５により、それぞれ分類された見出し項目の選択オブジェクトについてカテゴリ別に触覚刺激呈示時の立体形状、表面粗さ・摩擦力、呈示高さなどのパラメータを設定する。さらに、触覚呈示選択オブジェクト・データ作成部７７により、パラメータを設定された見出し項目の選択オブジェクトを実際に触覚受容器に機械的な反力を与え呈示するための立体的な選択オブジェクトの触覚呈示データを作成し、メモリに格納する。
【００８３】
２つ目のプロセスはＳＴ５〜ＳＴ６に示す処理である。すなわち、まず選択オブジェクトをモニタ装置２２の表示画面に表示する際の見出し項目の位置情報を画面位置情報メモリ８１４に格納する。続いて触覚呈示位置設定部７３により、見出し項目の選択オブジェクトに対応して触覚呈示情報を設定し、触／力覚呈示装置８０が有効な空間領域で触覚刺激を呈示する位置を設定する。
【００８４】
３つ目のプロセスはＳＴ７，ＳＴ８に示す処理である。すなわち、見出し項目の選択オブジェクトのタイトルを表すテキスト・データを番組情報メモリ８１３に格納する。さらに、そのタイトルの階層下の内容も番組情報メモリ８１３に格納する。上記３プロセスの実行順序は、上記順序に限定されない。
【００８５】
以上で、受信ＩＳＤＢデータなどから触覚刺激呈示に関係するデータの設定が終了する。設定に続いて、図１０のステップＳＴ１０〜ＳＴ１３に示すシーケンスにしたがって触／力覚呈示装置８０による触覚刺激呈示動作が行われる。
【００８６】
触／力覚呈示装置８０において、手指の動きに伴い触覚呈示部が変位するとその移動位置を触覚呈示部位置検出部８１１により検出する（ＳＴ１０）。触覚呈示部の位置が移動したかを判断し（ＳＴ１１）、当該移動を検出したときは移動した触覚刺激呈示位置とオブジェクト出力との対応を判断する（ＳＴ１２）。すなわち、その移動位置を、触覚呈示位置設定部７３によりＳＴ６で設定された見出し項目の選択オブジェクトの位置情報、および触覚呈示選択オブジェクト・データ作成部７７によりＳＴ４で作成された見出し項目の選択オブジェクトの触覚情報から得られる触覚呈示データを比較し、対応がとれていれば、触／力覚呈示装置８０の触覚呈示部の位置に対応した反力を与えるように触覚呈示出力制御部７８によるフィードバック制御を行う（ＳＴ１３）。
【００８７】
上記フィードバック制御を行う一方で、触覚呈示部の位置が移動したことに伴い、画面表示側では触覚呈示部が表示画面上の位置と一致するような制御がＳＴ１２，ＳＴ１３と並列的に行われる。すなわち、ステップＳＴ１１において触覚呈示部が移動したときはＳＴ１４でＳＴ５とＳＴ６の処理結果を用い、触覚呈示選択オブジェクト・データ作成部７７で作成された選択オブジェクトの画面上の表示位置と、触／力覚呈示装置８０の触覚呈示部の空間的な触覚呈示位置を比較する。
【００８８】
触覚呈示／画面位置比較検出部８１９において、触覚呈示部の画面上での位置を示すポインタの画面上の位置と、３次元空間内の触覚呈示部の位置との差分を検出し（ＳＴ１５）、差がなければＳＴ２４に進んでＳＴ１４と同様の処理を行う。差があればポインタ重畳位置設定部８２０、ポインタ重畳部８２１にて画面上のポインタ位置を制御してポインタの表示を行って（ＳＴ１６）、ＳＴ２４に進む。
【００８９】
これにより、常に触／力覚呈示装置８０で、触覚呈示部を移動したときに、触覚的には見出し項目の選択オブジェクトに触れることができ、視覚的にはそれに同期した動きにより仮想的に空間上に存在する見出し項目の選択オブジェクトを確認することができる。
【００９０】
続いて、見出し項目からその内容にアクセスするシーケンスを図１０のＳＴ２４〜ＳＴ３６に従い説明する。
【００９１】
ポインタ位置を制御して表示したときの画面上のポインタ位置と触覚刺激呈示の位置から、触覚呈示部位置、すなわちポインタ位置が見出し項目の選択オブジェクトの表示範囲（仮想スイッチ位置）に存在するか否かの判断を行う（ＳＴ２４，２５）。ここで当該範囲内に在るときは見出し項目メモリから該当する見出し項目のテキスト・データを用い、音声合成装置８１７あるいは点字ディスプレイ装置８１８により音声または点字刺激で出力する（ＳＴ２６）。当該範囲内になければＳＴ１０に戻る。
【００９２】
また、触覚呈示部が選択オブジェクトの範囲内に存在し、かつ選択オブジェクト押下検出部８２３により選択オブジェクト（仮想スイッチ）の押下が検出されたときは（ＳＴ３５）、番組情報メモリ８１３に格納した見出し項目の階層下にある内容のテキスト・データを音声合成装置８１７あるいは点字ディスプレイ装置８１８に出力し、当該テキスト・データを用いた出力を行う（ＳＴ３６）。押下が検出されなければＳＴ１０に戻る。
【００９３】
以上、視覚的選択オブジェクトを触覚に伝達する場合の、触覚受容器への情報伝達（刺激呈示）に関する本発明の実施形態を説明した。
【００９４】
本実施形態によれば、選択オブジェクトの属性や性質を表す付加情報から選択オブジェクトの画面上の位置情報や表示形式、あるいは選択オブジェクトのタイトルや番組内容などの分類情報を検出し、番組内容の分類による触覚受容器への呈示には、カテゴリ毎に区別された立体形状や表面粗さ、摩擦、呈示高さなどの特性を有する選択オブジェクトに変換して触覚受容器に呈示するとともに使用者が選択オブジェクトに触れたとき画面上にはその位置を矢印や手などの記号で表示し、見出し項目の内容を音声あるいは点字で出力する。また、選択オブジェクトを押下することにより当該見出し項目が選択され、階層下に蓄えられた番組内容のデータにアクセスすることができる。
【００９５】
これにより、視覚障覚者や盲ろう者が、画面を触れながら統合ディジタル放送の見出し画面などの視覚的選択オブジェクトから情報にアクセスすることを可能とする他、健常者が画面を見ながら視覚と同時に触覚受容器にも情報が与えられるマルチ・モーダル呈示により、選択オブジェクトの高速探索が可能になるなど、障害者・健常者に使い易い情報アクセスのインタフェースを提供することができる。
【００９６】
なお上記実施形態ではＩＳＤＢの見出し画面など視覚的選択オブジェクトから触覚的な仮想スイッチ機能を有するオブジェクトに変換して触覚受容器に呈示し、情報にアクセスする方法を説明したが、コンピュータのアイコンなどの触覚呈示方法として適用することも可能である。
【００９７】
また上記実施形態では、触／力覚呈示装置を用いて視覚的選択オブジェクトを３次元的に触覚呈示する例を実施したが、表面粗さや形状によって視覚的選択オブジェクトを触覚呈示する別の方法として、マイクロマシンやその他微小アクチュエータなどの手段を用いた構成により２次元的に触覚受容器に呈示する方法もあり、当該方法にも本発明を適用できることは自明である。
【００９８】
この２次元の触覚呈示方法は、機械的スイッチまたは導電性スイッチによる押しボタンを備えたリモート・コントロール装置を、例えば図１１に示すように構成することでも実施できる。
【００９９】
図１１において、リモート・コントロール装置１１００はＩＳＤＢを受信して図１の見出し画面を表示可能なテレビジョン受像機のリモコン装置であり、上記スイッチによる押しボタン１１０１〜１１２２を夫々所定位置に備えている。このボタン設置位置は、見出し画面中の見出し項目表示位置と１対１で対応している。
【０１００】
さらに、押しボタン１１０１〜１１０８は図１中の各種見出し項目の視覚的選択オブジェクトＶ１〜Ｖ８（映像）に、押しボタン１１０９〜１１１２は視覚的選択オブジェクトＳ１〜Ｓ４（リソース切替）に、押しボタン１１１３〜１１２０は視覚的選択オブジェクトＮ１〜Ｎ６（ニュース）に、押しボタン１１２１はＥ１（番組表）に、押しボタン１１２２に夫々対応するよう見出し項目ごとに異なる表面粗さに、そのボタン表面の触感を形成されている。図１１中の各種ハッチングは図２（ｃ）中のハッチングと同様の表面粗さを示している。
【０１０１】
このように、複数の見出し項目をもつ見出し画面と対応させて見出し項目ごとに押しボタン１１０１〜１１２２の触感を形成することで、押しボタンを複数備えたリモート・コントロール装置であっても、押しボタン１１０１〜１１２２に触れたときの触感により当該ボタンが示す見出し項目を使用者に知らせて、迅速な選択を可能とすることができる。表面粗さの設定は番組のジャンルごと、またはチャンネル切替などの操作機能別に行うことができる。
【０１０２】
【発明の効果】
以上説明したように本発明によれば、視覚的なオブジェクト情報を探索する場合、視覚的選択オブジェクトを仮想的な三次元的特徴を有する触覚的選択オブジェクトの特徴に応じた触覚情報に変換して使用者の触覚受容器に呈示するので、視覚障覚者等の使用者がＩＳＤＢやコンピュータのＧＵＩ環境において見出し画面あるいはアイコンから所望の情報にアクセスすることを可能とすることができる。
【０１０３】
また、選択オブジェクトの触覚呈示において、選択オブジェクトの有する属性・性質あるいは機能や内容等の特徴をカテゴリで分類し、カテゴリに応じて立体形状や表面粗さ、摩擦などのテクスチャあるいは呈示高さなどを設定することにより短時間に選択オブジェクトのカテゴリが認識され、かつ呈示条件を組み合わせることで同一カテゴリ中で序列を指定することができ、ひいては触覚のみにより選択オブジェクトを認知することを可能とする他、視覚と同期してマルチ・モーダルに呈示することにより、視覚障害者、晴眼者を問わず選択オブジェクトへの迅速な探索を可能とし、使い易い情報アクセスのインタフェースを期待することができる。
【図面の簡単な説明】
【図１】ＩＳＤＢでサービスされる見出し画面の項目を模式的に表す説明図である。
【図２】見出し画面中の選択オブジェクトを触覚的選択オブジェクトに変換して呈示する方法の例を表す説明図である。
【図３】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図４】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図５】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図６】第１のパラメータと第２のパラメータを組み合わせて同一カテゴリ内の序列や種類を指定する例を示す説明図である。
【図７】本発明に係る触覚情報伝達装置の一実施形態のハードウェア構成例を示すブロック図である。
【図８】本発明に係る触覚情報伝達装置の別の実施形態のハードウェア構成例を示すブロック図である。
【図９】上記別の実施形態のハードウェアを動作させるソフトウェアの処理の流れを示すフローチャートである。
【図１０】上記別の実施形態のハードウェアを動作させるソフトウェアの処理の流れを示すフローチャートである。
【図１１】リモート・コントロール装置を備えたテレビジョン装置に本発明を適用した一変形例を示す説明図である。
【符号の説明】
７０，８００コンピュータ
７１  視覚的選択オジェクト・データ部
７２  選択オブジェクト・パラメータ抽出部
７３  触覚呈示位置設定部
７４  選択オブジェクト・カテゴリ分類部
７５  触覚呈示パラメータ設定部
７７  触覚呈示選択オブジェクト・データ作成部
７８  触覚呈示出力制御部
７９  触覚呈示駆動部
８０  触／力覚呈示装置
８１  触覚呈示位置検出部
８０１  ＩＳＤＢデータ受信部
８０２  見出し画面インデックス情報抽出部
８０４  番組カテゴリ分類部
８１２  見出し項目メモリ
８１３  番組情報メモリ
８１４  画面位置情報メモリ
８１５  見出し項目情報出力部
８１６  番組内容出力部
８１７  音声合成装置
８１８  点字ディスプレイ装置
８１９  触覚呈示／画面位置比較検出部
８２０  ポインタ重畳位置設定部
８２１  ポインタ重畳部
８２２  モニタ装置
８２３  選択オブジェクト押下検出部
【図１】
0003727490.tif 000002
【図２】
0003727490.tif 000003
【図３】
0003727490.tif 000004
【図４】
0003727490.tif 000005
【図５】
0003727490.tif 000006
【図６】
0003727490.tif 000007
【図７】
0003727490.tif 000008
【図８】
0003727490.tif 000009
【図９】
0003727490.tif 000010
【図１０】
0003727490.tif 000011
【図１１】
0003727490.tif 000012