(57)【要約】【課題】提示するオブジェクトに対するユーザの認識精度を向上させる。【解決手段】複数の刺激ピンが配列された触覚提示手段によりユーザに刺激を与えてコンテンツを触覚により認識させる触覚提示制御装置において、前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段と、前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段と、前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段とを有することにより、上記課題を解決する。【選択図】図１
2014146194.tif 000002
【特許請求の範囲】
【請求項１】
複数の刺激ピンが配列された触覚提示手段によりユーザに刺激を与えてコンテンツを触覚により認識させる触覚提示制御装置において、
前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段と、
前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段と、
前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段とを有することを特徴とする触覚提示制御装置。
【請求項２】
前記データ変換手段は、
前記色情報のデータ長のうち、所定数の下位ビットを前記刺激情報に置き換えることを特徴とする請求項１に記載の触覚提示制御装置。
【請求項３】
前記データ変換手段は、
前記色情報を用いて前記画像データを画面に表示する場合に、前記刺激情報に置き換えた前記下位ビットを中間値に補正することを特徴とする請求項２に記載の触覚提示制御装置。
【請求項４】
前記コンテンツに対応するマークアップ記述情報に含まれるオブジェクトを抽出するオブジェクト抽出手段と、
前記色情報に応じた刺激情報と、前記オブジェクト抽出手段により得られるオブジェクト単位の刺激情報との優先度を制御する刺激優先度制御手段とを有することを特徴とする請求項１乃至３の何れか１項に記載の触覚提示制御装置。
【請求項５】
前記マークアップ記述情報内に前記刺激情報の優先度を記述するタグを有し、
前記刺激優先度制御手段は、前記タグに設定された優先度により前記刺激種別を決定することを特徴とする請求項４に記載の触覚提示制御装置。
【請求項６】
オブジェクトを含む矩形領域のうち、画像データ以外の領域である非画像領域を検出する非画像領域検出手段を有し、
前記刺激優先度制御手段は、前記非画像領域では刺激を提示しないよう制御する手段を有することを特徴とする請求項４又は５に記載の触覚提示制御装置。
【請求項７】
前記刺激優先度制御手段は、
前記非画像領域と、前記マークアップ記述情報に含まれるオブジェクト領域とが重なる場合に、前記オブジェクト領域に対して前記マークアップ記述情報に含まれる刺激情報を優先することを特徴とする請求項６に記載の触覚提示制御装置。
【請求項８】
前記色情報は色相情報であり、前記刺激情報は前記刺激ピンの振動情報であることを特徴とする請求項１乃至７の何れか１項に記載の触覚提示制御装置。
【請求項９】
複数の刺激ピンが配列された触覚提示手段によりユーザに刺激を与えてコンテンツを触覚により認識させる触覚提示制御処理をコンピュータに実行させるための触覚提示制御プログラムにおいて、
前記コンピュータを、
前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段、
前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段、及び、
前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段として機能させるための触覚提示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触覚提示制御装置及び触覚提示制御プログラムに係り、特に提示するオブジェクトに対するユーザの認識精度を向上させる触覚提示制御装置及び触覚提示制御プログラムに関する。
【背景技術】
【０００２】
従来、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）のメニューや図表等のオブジェクトを視覚障害者等のユーザに提示する触覚的手段が知られている。例えば、多数の微小圧電アクチュエータを２次元に実装し、ビットマップ等で描かれた画面を２値化し、画面に対応する静的な凹凸を形成した触覚ディスプレイに提示する第１の方法が存在する（例えば、非特許文献１参照）。この触覚ディスプレイでは、画面のレイアウト情報に応じて刺激ピンを上下に駆動し、凹凸で表わされたオブジェクトにユーザが触れることで画面のレイアウトや形状を認識させる。
【０００３】
また、他の触覚的手段として、マークアップ記述言語で画面を構成するオブジェクトを、オブジェクト単位で異なる周波数により振動させる第２の方法が存在する（例えば、非特許文献２参照）。また、触覚ディスプレイや触図を用いて２次元情報を提示する際に、色相を検出して予め色相に対応して設定された文字情報を音声合成で読み上げる第３の方法が存在する（例えば、非特許文献３参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＫＧＳ社、「ドットビュー（登録商標）」、ｈｔｔｐ：／／ｗｗｗ．ｋｇｓ−ｊｐｎ．ｃｏ．ｊｐ／ｂ＿ｄｖ２．ｈｔｍｌ
【非特許文献２】坂井，半田，清水、「オブジェクト単位で異周波振動刺激が可能な触覚提示方式とコンテンツ提示法」、電子情報通信学会、信学技法  ＩＥＩＣＥ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＷＩＴ２０１１−９１（２０１２−３）
【非特許文献３】内田，山本，島田，篠原，下条，清水、「音声支援による触パターン情報の伝達」、第３３回感覚代行シンポジウム講演集、１３（２００７）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した第１の方法は、画像情報を２値化し、２値化された各画素のレベルに応じて対応する触覚ディスプレイの刺激ピンを凹凸に駆動させて、画像の輪郭や領域を触覚により認識させることが目的であり、画像中の重要な位置や内容等を示すオブジェクトに対して異なる提示を行う手法は考えられていない。
【０００６】
また、上述した第２の方法は、マークアップ言語で記述された定型的な形状を持つオブジェクトに対して振動による提示を行うが、画像中の重要な位置や内容に対応する任意の形状をした領域を振動させるためには、オブジェクトを細分化し、細分化したそれぞれに振動設定を行って配置する必要が生じ、現実的にユーザの認識精度を向上させることは困難である。
【０００７】
また、上述した第３の方法は、コンテンツを表示している画像の色相を検出し、色相に対応して予め設定した文字情報を音声に変換する手法であり、コンテンツの多くの部位で色相情報に対応する文字情報を音声で出力するためには、画像中に多種の色を配置する必要が生じる。また、第３の方法では、同色の部分が複数存在する場合に異なる音声情報を与えることができず、ユーザの認識精度を向上させるには限界がある。
【０００８】
そこで、本発明は、提示するオブジェクトに対するユーザの認識精度を向上させるための触覚提示制御装置及び触覚提示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様における触覚提示制御装置は、複数の刺激ピンが配列された触覚提示手段によりユーザに刺激を与えてコンテンツを触覚により認識させる触覚提示制御装置において、前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段と、前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段と、前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段とを有する。
【００１０】
また、本発明の一態様における触覚提示制御プログラムは、複数の刺激ピンが配列された触覚提示手段によりユーザに刺激を与えてコンテンツを触覚により認識させる触覚提示制御処理をコンピュータに実行させるための触覚提示制御プログラムにおいて、前記コンピュータを、前記コンテンツに含まれる画像データのオブジェクトから異なる色領域を検出する色領域検出手段、前記色領域検出手段により得られる各色情報に対応する刺激種別を設定し、設定した刺激種別を、前記色情報に含めてデータ変換を行うデータ変換手段、及び、前記データ変換手段により得られる変換された色情報から前記刺激種別を抽出し、抽出した刺激種別に対応して前記触覚提示手段の刺激ピンを駆動させるための刺激データを生成する刺激情報生成手段として機能させる。
【発明の効果】
【００１１】
本発明によれば、提示するオブジェクトに対するユーザの認識精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態における触覚提示制御装置の概要構成例を示す図である。
【図２】色相情報から振動情報へのデータ変換例を示す図である。
【図３】画像データ取得手段により取得される画像データの一例を示す図である。
【図４】第２実施形態における触覚提示制御装置の概要構成例を示す図である。
【図５】第２実施形態において局所的に振動提示を行う手法を説明するための図である。
【図６】第３実施形態における触覚提示制御装置の概要構成例を示す図である。
【図７】非画像領域を除く表示領域を振動提示する一例を示す図である。
【図８】非画像領域部を含むオブジェクトが重なる場合の表示領域を振動提示する一例を示す図である。
【図９】触覚提示制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
＜本発明について＞
本発明は、例えば刺激ピンの凹凸や振動で２次元情報を触覚に提示する触覚ディスプレイ（触覚提示手段）を制御して、例えばデジタル放送やＷｅｂページ等のコンテンツで用いられるＧＵＩのメニューや図表等のオブジェクトを提示する場合において、メニュー項目の属性（例えば、ジャンル等）や、地図上のランドマーク、地震津波情報の位置等、画像データの重要な位置に対応して個々のオブジェクトや局所的な領域を異なる振動周波数で駆動して提示することで、視覚障害者等のユーザのオブジェクトの認識精度を向上させ、迅速で効率的に提示情報を取得させる。
【００１４】
また、本発明では、触覚提示制御装置による制御により、マークアップ言語等で記述されたオブジェクト単位で、触覚提示装置の二次元に配置された刺激ピンを異なる周波数で振動させると共に、各オブジェクトに対する色情報等を検出し、検出した情報を予め設定された振動周波数に変換して、異なる周波数で振動させる。これにより、マークアップ記述されたオブジェクト情報と色情報とが混在するオブジェクトに対して、所定の条件（例えば、優先度等）に基づき局所的に異なる振動による触覚提示を行うことができる。なお、本実施形態におけるユーザとは、例えば視覚障害者に限定されるものではなく、触覚提示制御装置を使用する全ての者が含まれる。
【００１５】
以下に、触覚提示制御装置及び触覚提示制御プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。
【００１６】
＜第１実施形態における触覚提示制御装置の概要構成例＞
図１は、第１実施形態における触覚提示制御装置の概要構成例を示す図である。図１において、触覚提示制御装置１０は、画像データ取得手段１１と、記憶手段１２と、色領域検出手段１３と、データ変換手段１４と、振動データ生成手段（刺激情報生成手段）１５と、表示手段１６とを有する。また、図１の例では、触覚提示制御装置１０により制御される触覚提示手段１７が外部接続されているが、これに限定されるものではなく、触覚提示制御装置１０内に一体に設けられていてもよい。
【００１７】
画像データ取得手段１１は、表示手段１６に表示したり、触覚提示手段１７により提示する対象のコンテンツを入力し、入力したコンテンツに含まれる画像データを取得する。ここで、コンテンツとは、例えばデジタル放送やＷｅｂページ等の画像や映像、文字情報等を含むデータ群であるが、これに限定されるものではない。また、画像データとは、例えばＧＵＩ等のメニューや図表等であるが、これに限定されるものではない。画像データは、ｊｐｅｇやｇｉｆ（登録商標）、ｂｍｐ、ｔｉｆｆ等のフォーマット形式で作成されたデータを用いることができるが、フォーマットの種類等についてはこれに限定されるものではない。
【００１８】
コンテンツは、例えばＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット等に代表される通信ネットワークを外部装置から取得したり、メモリカード等の外部記憶装置から取得したり、記憶手段１２に予め記憶されているコンテンツを取得してもよいが、これに限定されるものではなく、例えば触覚提示制御装置１０内でコンテンツを生成し、その生成したコンテンツを用いてもよい。
【００１９】
記憶手段１２は、本実施形態における必要な各種情報等を記憶する。例えば、記憶手段１２は、表示手段１６の画面に表示したり触覚提示手段１７に触覚提示するコンテンツを記憶する。また、記憶手段１２は、データ変換手段１４において色情報から振動情報へ変換するための変換テーブルを記憶したり、触覚提示手段１７における刺激ピンの配列情報等を記憶するが、これに限定されるものではなく、その他の設定情報や、各処理の実行結果等を記憶する。また、記憶手段１２は、記憶された各種情報を必要に応じて読み出したり、処理結果等を書き込んだりすることができる。
【００２０】
色領域検出手段１３は、画像データ取得手段１２により得られる画像データに対応するオブジェクト毎の色情報を検出する。色領域検出手段１３は、例えば画像データに含まれる１画素単位の色情報を取得してもよく、複数の画素を１つの領域とし、その領域毎に色情報を検出してもよい。
【００２１】
ここで、色情報とは、例えば色相や輝度、彩度、飽和度等があるが、これに限定されるものではない。以下の説明では、色情報の一例として色相情報を用いる。例えば、色領域検出手段１３は、予め設定された色相環図等を用いた画素毎の色相解析等により、色相の異なる領域を検出する。
【００２２】
データ変換手段１４は、色領域検出手段１３により検出した各オブジェクトの色相情報（色情報）から、予め設定された刺激情報へ変換する。なお、刺激情報とは、複数の刺激ピンが配列された触覚提示手段１７によりユーザに提示される刺激情報である。刺激情報としては、例えば振動刺激や、電気刺激、温度刺激、圧力刺激等の物理的な刺激情報のうち、少なくとも１つを用いるが、これに限定されるものではない。以下の説明では、刺激情報の一例として振動を用いる。データ変換手段１４では、画像データに含まれる各色相にそれぞれ対応する振動周波数に変換する。
【００２３】
なお、データ変換手段１４は、例えばｊｐｅｇやｇｉｆ、ｐｎｇ、ｂｍｐ等の種々のフォーマット形式からなる画像データの色情報（例えば、ＲＧＢ等）に対し、色相情報と輝度情報とを別個に有するフォーマット形式（例えば、ＨＳＶ、ＨＬＳ）に変換してもよい。変換前のフォーマット形式がすでにＨＳＶ形式やＨＬＳ形式である場合、上述したフォーマット変換は行わない。データ変換手段１４における処理の具体例については後述する。
【００２４】
振動データ生成手段１５は、データ変換手段１４により得られる各領域の振動周波数等に基づいて、触覚提示手段１７を用いてユーザに刺激を与えるための刺激情報（振動データ）を生成する。
【００２５】
一般的に、画像データの解像度に対応する画素数と、触覚提示制御装置１５の２次元に配列された刺激ピンの数とは異なっており、画素数よりも刺激ピンの数の方が少ない。したがって、振動データ生成手段１５は、画像データ取得手段１１により得られる画像データの解像度と、予め記憶手段１２等に記憶されている触覚提示手段１７の刺激ピンの数とを対応させて画素落としを行う。画素落としとは、例えば１つの刺激ピンに複数の画素領域を対応付ける処理であるが、これに限定されるものではない。振動データ生成手段１５は、各刺激ピンに振動の周波数（周期）を設定する。
【００２６】
表示手段１６は、コンテンツを表示したり、データ変換手段１４により変換された振動情報を含むデータ等を画面に表示する。なお、表示手段１６は、例えばモニタやディスプレイ等があるが、これに限定されるものではない。なお、図１に示す表示手段１６は、触覚提示制御装置１０の内部に設けられているが、これに限定されるものではなく、例えばＬＡＮやインターネット等に代表される通信ネットワークを介して接続される遠隔にある表示手段であってもよい。
【００２７】
触覚提示手段１７は、ディスプレイ領域に複数の刺激ピンが所定の間隔で２次元に配列されており、その刺激ピンを上下させて表面に凹凸を形成することにより、ユーザの指等を用いた触覚提示を実現する。触覚提示手段１７は、例えば触覚ディスプレイであり、例えばＫＧＳ社のドットビュー等を用いることができるが、これに限定されるものではない。
【００２８】
また、触覚提示手段１７は、上述した刺激情報も提示する機能を有する。例えば、振動の提示の場合には、色相毎に設定される振動周波数に基づいて、対応する刺激ピンの凹凸周期を制御することで振動の提示を行うことができる。また、電気刺激の場合には、例えば対応する刺激ピンに所定量の電流を所定間隔で印加することで電気による刺激を提示することができる。また、温度刺激の場合には、対応する刺激ピンに発熱素子等からの熱を伝達させることで熱による刺激を提示することができる。また、圧力刺激の場合には、対応する刺激ピンを凹状態から凸状態にするときの押圧力や刺激ピンの高さ等を調整することで圧力による刺激を提示することができる。
【００２９】
なお、上述した触覚提示制御装置１０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やサーバ、タブレット端末等を用いることができるが、これに限定されるものではない。
【００３０】
＜データ変換手段１４におけるデータ変換例＞
次に、上述したデータ変換手段１４における色情報から刺激情報へのデータ変換の一例について具体的に説明する。図２は、色相情報から振動情報へのデータ変換例を示す図である。
【００３１】
第１実施形態では、取得した画像データに対して画素毎の色情報（例えば、色相（Ｈ））を検出する。なお、ＨＳＶの色情報は、Ｈ（色相）、Ｖ（彩度）、Ｓ（飽和度）で、それぞれ１画素毎に８ビット（ｂｉｔ）のデータを有する。
【００３２】
また、第１実施形態では、図２（Ａ）に示すような色相環図２１に対し、任意の色相範囲に分割し、分割した各色相範囲を識別するコードを割り当てる。色相データは、色相環図２１の０〜３６０°に対応しているが、例えば図２（Ａ）のカッコ内に示すように、２°毎に値をカウントさせて０〜１８０°の値で対応付けてもよい。
【００３３】
また、第１実施形態では、予め図２（Ｂ）示すような色相−振動変換テーブル２２を設定しておき、色相範囲のコード毎に振動情報を割り当てる。色相−振動変換テーブル２２の項目としては、例えば「色相（°）」、「タグ属性値」、「識別コード」、「振動（Ｈｚ）」等であるが、これに限定されるものではない。タグ属性値とは、例えば色相範囲に対応する色の属性情報を示す。また、振動とは、例えば触覚提示手段１７が有する刺激ピンを上下振動させるための周波数（周期）を識別するための情報であるが、これに限定されるものではなく、周波数がそのまま格納されていてもよい。第１実施形態では、色相−振動変換テーブル２２を用いて、各画素の色相に対応するコードから、所定の振動周波数を設定する。
【００３４】
例えば、図２（Ｂ）に示す色相−振動変換テーブル２２では、振動周波数の種類を、３ビットを用いた８レベルに設定することで、８等分した色相範囲に対して振動ｆ０〜ｆ７を設定することができる。この場合、変換する振動周波数は、例えば色情報が赤のように暖色系の色ではゆったりとした低い周波数に設定し、青のように寒色系の色には高い周波数に設定する等、人間の感性に応じた周波数に設定することが好ましいが、これに限定されるものではない。
【００３５】
また、図２（Ｂ）に示す色相−振動変換テーブル２２では、各色相範囲の全てに振動情報が設定されているが、これに限定されるものではなく、一部の色相範囲に対してのみ振動情報が設定されていてもよい。
【００３６】
更に、第１実施形態では、図２（Ｃ）に示すように、画像データに含まれる１画素の色相情報（８ビット）に対して、表示手段１６に表示するための表示用データと、触覚提示手段１７の刺激ピンを振動させるための振動用データとを設定する。具体的には、データ変換手段１４は、図２（Ｃ）に示すように、ある画素部分の色相（タグ属性値）がＢｌｕｅ（青）の場合に、その色相情報（８ビット）の上位５ビットは、そのまま表示用データとして用い、下位３ビットに図２（Ｂ）を色相−振動変換テーブル２２から得られるコードに置き換える。
【００３７】
つまり、第１実施形態では、色相情報の下位３ビットを振動用データとして保持することができ、図２（Ｃ）に示すような色相情報を用いることで、触覚提示手段１７における刺激ピンを振動させる場合には、下位３ビットを用いて対応する振動を発生させてユーザに触覚による提示を行わせることができる。具体的には、色相情報の下位３ビットが、例えばコード「１０１」である場合に、色相−振動変換テーブル２２から対応する振動周波数「ｆ５」を取得して刺激ピンを振動させることができる。
【００３８】
また、色相情報の上位５ビットを用いることで、表示手段１６によりコンテンツに含まれる画像データをユーザに視覚的に表示することができる。第１実施形態では、色相情報に振動用データを含めることで、伝送容量の圧縮にもつながる。
【００３９】
なお、第１実施形態では、色相情報に振動用データを含ませるため、実際の色相と値が異なってしまい、下位３ビットの影響で色の再現には若干の歪が生ずる可能性がある。しかしながら、上位５ビットが元の色相情報のままであるため、大きな誤差は見られず、表示手段１６等において違和感のない画像表示を行うことができる。
【００４０】
なお、色の歪みの影響をより小さくするために、色相情報を用いて表示手段１６等に表示する場合に、全８ビットのうちの下位３ビットの値を予め設定される中間値に補正して表示してもよい。例えば、下位３ビットが「０００」や「１１１」の場合には、「０１１」や「１００」等に補正される。これにより、色再現の誤差を分散させることができる。
【００４１】
更に、第１実施形態では、画像データ中の全ての画素が変換された後、振動データ生成手段１５において、同一に配色された画像中のオブジェクトに対し、図２（Ｃ）に示すように、触覚提示手段１７の刺激ピン数に合わせた画素落としが行われる。また、第１実施形態では、それぞれの刺激ピンに割り当てられたそれぞれの周波数で振動するデータが作成される。振動データ生成手段１５で作成された刺激ピンの振動パターンのデータは、触覚提示手段１７のそれぞれの刺激ピンを駆動する。
【００４２】
なお、上述した例では、表示用データを上位５ビットとし、振動用データを下位３ビットとしたがこれに限定されるものではなく、例えば下位２ビットや下位４ビットを振動用データにしてもよい。例えば、下位２ビットを振動用データにする場合には、上述した色相環図２１を最大４種類の色相範囲に分割することができる。
【００４３】
なお、色相データにおいて、置き換えるビットが下位であるほど、及び、置き換えるビット数が少ないほど、表示用データの変更がなく色相情報に近い色情報を表示手段１６に表示することができる。
【００４４】
また、振動用データは、色相情報の下位ビットに設定されているが、これに限定されるものではなく、例えば上位数ビットを用いて設定してもよい。
【００４５】
このように、第１実施形態では、画像データに含まれる各オブジェクトの色相を検出し、同一の色相の領域を振動に変えて触覚提示手段１７（触覚ディスプレイ）で提示することで、提示するオブジェクトに対するユーザの認識精度を向上させることができ、オブジェクトの配置や内容を迅速に取得することができる。
【００４６】
＜画像データ例＞
ここで、図３は、画像データ取得手段により取得される画像データの一例を示す図である。図３に示す画像データにおいて、図３（Ａ）、図３（Ｂ）は、コンテンツに含まれる画像データの一例を示し、図３（Ｃ）〜図３（Ｅ）は、マークアップ記述情報を有するコンテンツの一例を示している。マークアップ記述情報とは、コンテンツに含まれる画像データに対応するオブジェクト情報やレイアウト情報等が所定のマークアップ言語で記述された情報であり、コンテンツとは別に生成される情報である。
【００４７】
図３（Ａ）、図３（Ｃ）、図３（Ｅ）の例では、オブジェクトの背景画像として北海道の画像データ（地図情報）が示されており、北海道の所定の地域（領域）に対するオブジェクト情報が色や形状等を異ならせて表示されている。なお、図３（Ｃ）の例では、色や形状を異ならせて表示された各オブジェクト情報（Ｏｂｊ１〜Ｏｂｊ３）が、マークアップ言語で記述されている。また、図３（Ｅ）の例では、色の異なる領域で示されたオブジェクト情報（Ｏｂｊ１〜Ｏｂｊ５）と、表示範囲（枠）で示されたオブジェクト情報（Ｏｂｊ６）とがマークアップ言語で記述されている。
【００４８】
また、図３（Ｂ）、図３（Ｄ）の例では、日本地図の画像データが示されており、各地方区分（例えば、北海道、東北、関東、中部、近畿、中国、四国、九州、沖縄）毎に、色分けして表示されている。図３（Ｄ）では、図３（Ｂ）と視覚的には同じであるが図３（Ｄ）に示すオブジェクト情報（Ｏｂｊ１〜Ｏｂｊ５）は、マークアップ言語で記述されている。
【００４９】
例えば、図３（Ａ）や図３（Ｂ）の例では、色相範囲に基づいて分別されたオブジェクトに対して異なる振動情報で提示することができる。更に、図３（Ｃ）〜図３（Ｅ）の例では、色で分別されたオブジェクトの他にも、マークアップ言語で記述したオブジェクト部分に対して情報を付加して提示することができる。
【００５０】
第１実施形態では、図３（Ａ）〜図３（Ｅ）に示すような各画像データから、色情報を含む領域を検出し、検出した色情報等に基づいて触覚提示手段１７により提示するオブジェクト部分の振動を異ならせることで、提示するオブジェクトに対するユーザの認識精度を向上させることができる。
【００５１】
＜第２実施形態における触覚提示制御装置の概要構成例＞
次に、第２実施形態における触覚提示制御装置について、図を用いて説明する。図４は、第２実施形態における触覚提示制御装置の概要構成例を示す図である。なお、図４の例において、上述した触覚提示制御装置１０と同様の機能構成については同一の符号を付するものとし、ここでの具体的な説明は省略する。
【００５２】
図５は、第２実施形態において局所的に振動提示を行う手法を説明するための図である。図５の例において、図５（Ａ）は、マークアップ記述情報の一例を示し、図５（Ｂ）は、提示情報の合成例を示す図である。
【００５３】
図４において、触覚提示制御装置３０は、画像データ取得手段１１と、記憶手段１２と、色領域検出手段１３と、データ変換手段１４と、表示手段１６と、オブジェクト抽出手段３１と、レイアウト生成手段３２と、振動オブジェクト抽出手段３３と、振動データ生成手段３４と、振動優先制御手段（刺激優先度制御手段）３５とを有する。また、図４の例では、触覚提示制御装置３０により制御される触覚提示手段１７が外部接続されているが、これに限定されるものではなく、触覚提示制御装置３０内に一体に設けられていてもよい。
【００５４】
第２実施形態では、例えば、上述した図３（Ｃ）〜図３（Ｅ）に示すような画像データと、マークアップ言語により記述されたオブジェクトとが混在し、重なりのあるコンテンツにおいて局所的に振動提示を行う。
【００５５】
オブジェクト抽出手段３１は、例えば画像データ取得手段１１に入力されるコンテンツに対応したマークアップ記述情報を入力し、入力したマークアップ記述情報からコンテンツに含まれるオブジェクトを抽出する。また、オブジェクト抽出手段３１は、各オブジェクトの位置情報や形状、大きさ等を抽出してもよい。
【００５６】
ここで、マークアップ記述情報には、コンテンツに含まれる各オブジェクトのレイアウトや振動条件等の情報が記述されている。具体的には、図５（Ａ）に示すように、オブジェクトの識別情報（＜Ｎｏ＞）、オブジェクト形状（＜ｆｉｇｕｒｅ＞）、振動条件（振動周波数の識別情報）（＜ｖｉｂ＞）等が記述されるが、記述される内容についてはこれに限定されるものではなく、例えばオブジェクトの位置情報や大きさ等の情報を有していてもよい。また、上述したマークアップ記述情報は、コンテンツとは別に生成されるため、例えばコンテンツ制作者側が生成してもよく、コンテンツを見た第三者が作成してもよく、コンテンツを取得した触覚提示制御装置３０のユーザが作成してもよいが、これに限定されるものではない。
【００５７】
レイアウト生成手段３２は、オブジェクト抽出手段３１により抽出されたそれぞれのオブジェクトの位置情報からオブジェクトに対する画面レイアウトを生成する。
【００５８】
振動オブジェクト抽出手段３３は、オブジェクト抽出手段３１により抽出されたオブジェクトのうち、振動による提示を行うオブジェクトを抽出する。また、振動オブジェクト抽出手段３３は、抽出されたオブジェクトに設定された振動条件を抽出する。
【００５９】
振動データ生成手段３４は、コンテンツに含まれる画像データと、マークアップ記述情報に含まれるオブジェクトとが混在するコンテンツにおいて、画像データとオブジェクトとのそれぞれで振動させる触覚提示手段１７の刺激ピンの駆動データを生成する。
【００６０】
振動優先制御手段３５は、画像データとオブジェクトとに重なりがある場合に、どちらの条件を優先して触覚提示手段１７の刺激ピンを振動させるかを制御する。
【００６１】
第２実施形態では、例えば図３（Ｃ）〜図３（Ｅ）に示すようなコンテンツの場合に、画像データとマークアップ記述情報に含まれるオブジェクトとの重複表示部分に対する触覚での振動制御を行う。
【００６２】
図４におけるデータ変換手段１４から出力される図４の（ａ）地点の信号は、図５（Ｂ）の（ａ）に示すように、画像中の色相の異なる領域に対して、ｆ１〜ｆ４のように異なる振動情報が設定される。なお、図５（Ｂ）の例では、色相の異なる一部の領域に対して振動情報が設定されているが、これは、上述した色相−振動変換テーブル２２において、その色相に対応する色相範囲にのみ振動情報が設定されているからである。
【００６３】
一方、コンテンツに対応するマークアップ記述情報（図５（Ａ））は、オブジェクト抽出手段３１によりコンテンツ内のオブジェクトが抽出され、更にレイアウト生成手段３２により各オブジェクトの画面レイアウトが生成される。
【００６４】
また、振動オブジェクト抽出手段３３では、図５（Ａ）に示す＜ｖｉｂ＞タグで振動条件が設定されたオブジェクトを抽出する。振動オブジェクト抽出手段３３から出力される図４の（ｂ）地点の信号は、図５（Ｂ）中の（ｂ）に示すように、ｆａ、ｆｂの周波数の振動パターンが形成される。なお、ｆａ、ｆｂのオブジェクトは、マークアップ記述情報の内容に基づいて生成されるため、画像データの色相には依存しないことになる。
【００６５】
ここで、図５（Ｂ）に示す画像データ及びマークアップ記述情報によるレイアウト生成データは、振動データ生成手段３４にて上述した第１実施形態と同様に、記憶手段１２に予め記憶された触覚提示手段１７の刺激ピン数に合わせて画素落としされる。また、振動優先制御手段３５は、刺激ピンの振動提示の優先度に応じて、最終的な振動周波数が設定される。
【００６６】
ここで、優先度は、例えば種々の方法で画面の前面に表示される重要なオブジェクトに設定された振動周波数で振動させることが好ましいが、これに限定されるものではない。例えば、第１の優先制御方法としては、マークアップ記述情報に含まれるオブジェクトに、振動周波数が設定されている場合には触覚提示手段１７による振動は、マークアップ記述情報に含まれるオブジェクトに対する振動条件を優先させる。例えば、図４における振動優先制御手段３５から出力される図４の（ｃ）地点の信号は、図５（Ｂ）の（ｃ）に示すように、振動周波数ｆ１で振動させる画像データ（オブジェクト）の領域と、振動周波数ｆａで振動させるマークアップ記述情報によるオブジェクトの領域とが重なるが、第１の優先制御方法を適用すれば、重なり部分の振動周波数はｆａとなる。
【００６７】
また、第２の優先制御方法としては、マークアップ記述情報に含まれるオブジェクトの振動周波数が０Ｈｚの場合や、マークアップ記述情報に振動周波数が設定されていない場合には、色相に対する振動条件、つまり画像データが優先される。
【００６８】
また、第３の優先制御方法としては、例えばマークアップ記述情報に含まれるオブジェクトが画像データと重なる場合に、優先度を指定するタグ（例えば、＜ｐｒｉｏｒｉｔｙ＞）を設け、そのタグの設定値に応じて優先させる方法である。例えば、画像データに対して設定された振動条件を優先させる場合には、「＜ｐｒｉｏｒｉｔｙ＞ｉｍａｇｅ  ｄａｔａ＜／ｐｒｉｏｒｉｔｙ＞」等と記述されるが、記述内容についてはこれに限定されるものではない。
【００６９】
なお、第２実施形態において、例えば振動提示の領域は全て画像データの色相情報に基づいて設定し、マークアップ記述情報に含まれる全てのオブジェクトを非画像領域に設定しておくことで、マークアップ記述情報に含まれるオブジェクトは触覚パターンとして表示されず、そのオブジェクトの領域に触れた場合に音声を出力する機能を持たせることもできる。
【００７０】
ここで、マークアップ記述情報に含まれるオブジェクトは、画像データの上に存在することが多い。したがって、オブジェクト間の各振動周波数や、色相情報間での各振動周波数では、それぞれ触覚で判別できる振動条件に設定するが、オブジェクトの振動周波数ｆａ、ｆｂと、画像の色相情報から生成される振動周波数ｆ１〜ｆ４との間でも、振動の違いが明確に弁別できる範囲に設定することが好ましい。
【００７１】
最終的に、振動データ生成手段３４で生成された刺激ピンの振動パターンのデータは、振動優先制御手段３５において優先された振動条件に基づいて触覚提示手段１７の対応する刺激ピンを駆動する。このように、第２実施形態では、画像データとマークアップ記述情報に含まれるオブジェクトとが混在する場合に、優先して振動提示する領域を設定し、設定された優先度で触覚提示手段１７を提示することで、画像中に配置された重要な領域を迅速に伝達することができる。
【００７２】
＜第３実施形態における触覚提示制御装置の概要構成例＞
次に、第３実施形態における触覚提示制御装置について、図を用いて説明する。図６は、第３実施形態における触覚提示制御装置の概要構成例を示す図である。なお、図６において、上述した第２実施形態における触覚提示制御装置３０と同様の機能構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。
【００７３】
また、図７は、非画像領域を除く表示領域を振動提示する一例を示す図である。図７（Ａ）は、コンテンツに含まれるオブジェクトと、オブジェクトに対するマークアップ記述情報による振動条件の記述例を示し、図７（Ｂ）は、振動なし領域について説明するための図を示している。また、図８は、非画像領域部を含むオブジェクトが重なる場合の表示領域を振動提示する一例を示す図である。
【００７４】
第３実施形態では、図７（Ａ）に示すようにコンテンツに含まれるマークアップ記述情報に含まれるオブジェクトにおいて、例えば図７（Ｂ）のオブジェクト（Ｏｂｊ２）のようにＸＹ座標で設定された矩形（ｒｅｃｔａｎｇｌｅ）の表示領域のうち、画像が存在しない通常透明で表示される非画像領域の部分、或いは、複数のオブジェクトの表示領域が重なる部分に対する振動制御を行う。なお、通常透明で表示される非画像領域の部分は、図７（Ｂ）の（ｃ）に示される斜線部分である。また、複数のオブジェクトの表示領域が重なる部分は、図８に示す斜線部分である。
【００７５】
第３実施形態において、図６に示す触覚提示制御装置４０は、画像データ取得手段１１と、記憶手段１２と、色領域検出手段１３と、データ変換手段１４と、表示手段１６と、オブジェクト抽出手段３１と、レイアウト生成手段３２と、振動オブジェクト抽出手段３３と、振動優先制御手段３５と、非画像領域検出手段（非オブジェクト領域検出手段）４１と、振動データ生成手段４２とを有する。また、図６の例では、触覚提示制御装置４０により制御される触覚提示手段１７が外部接続されているが、これに限定されるものではなく、触覚提示制御装置４０内に一体に設けられていてもよい。
【００７６】
触覚提示制御装置４０において、非画像領域検出手段４１は、画像データに含まれる画像のオブジェクトを含む矩形領域を、ＸＹ座標等を用いて設定し、設定した矩形領域のうち、画像データのオブジェクトが存在しない非画像領域部分を検出する。例えば、図７（Ｂ）の例ではＯｂｊ２の非画像の領域を検出しているが、これに限定されるものではなく、非画像領域検出手段４１は、各オブジェクトに対して非画像領域部分を検出する。
【００７７】
なお、非画像領域検出手段４１における検出手法として、複数の手法を用いることができる。例えば、第１の検出手法では、所定のフォーマット（例えば、ｇｉｆやｐｎｇ等の）の画像データで非画像領域が記述されたコードを抽出することで非画像領域を検出する。
【００７８】
また、第２の検出手法では、例えば予め画像領域部分と非画像領域部分とを白黒等の２値データで区別した非画像領域パターンを形成し、このパターンを図７（Ｂ）に示すように非オブジェクト作成パターンとしてマークアップ記述情報等に記述しておく。そして、この非オブジェクト作成パターンとオブジェクトとを重ね合わせて非画像領域部分を検出する。なお、非画像領域の検出手法については、上述した手法に限定されるものではない。
【００７９】
また、第３実施形態における振動データ生成手段４２は、非画像領域検出手段４１で検出された非画像領域を除く表示領域に対して、触覚提示手段１７に設けられた刺激ピンを振動させるための振動データを生成する。なお、振動データ生成手段４２は、第１実施形態や第２実施形態と同様に触覚提示手段１７の刺激ピン数に合わせて画素落としをした後、振動優先制御手段３５において振動の優先制御を行う。
【００８０】
また、振動優先制御手段３５は、上述した第２実施形態における優先制御の他に、非画像領域検出手段４１で検出された非画像領域に対して振動させるか否かを制御したり、矩形領域に含まれる非画像領域が他のオブジェクトの画像領域と重なる場合に、その重なり部分を振動させるか否かを制御する。
【００８１】
例えば、振動優先制御手段３５は、上述した第１の検出手法により非画像領域を検出した場合には、画像データのコードに対応して非画像領域を振動しないように制御する。また、振動優先制御手段３５は、上述した第２の検出手法により非画像領域を検出した場合には、図７（Ｂ）の（ｂ）に示す画像データのオブジェクトと、非画像領域検出手段４１から出力される図７（Ｂ）の（ｄ）に示す非オブジェクト作成パターンとを重ね合わせることで得られる非画像領域を振動しないように制御する。
【００８２】
また、図８に示すように、Ｏｂｊ１に対する矩形領域と、Ｏｂｊ２に対する矩形領域とが重なった場合、振動データ生成手段４２は、それぞれ非画像領域を除いたオブジェクト内の領域で振動させる周波数ｆａ、ｆｂの振動データを生成する。また、第３実施形態では、オブジェクト間で重なりのある場合の優先度を指定するタグ（例えば、上述した＜ｐｒｉｏｒｉｔｙ＞タグ等）を設け、振動データ生成手段４２は、そのタグ内に設定した値に基づいて優先させた振動データを生成してもよい。
【００８３】
この場合、単にオブジェクトの優先度だけでは、例えば図８においてＯｂｊ１が優先だった場合に、Ｏｂｊ１の非画像領域でＯｂｊ２の画像部分を無振動にしてしまう。したがって、振動優先制御手段３５は、オブジェクト間の重なりの部分については、＜ｐｒｉｏｒｉｔｙ＞タグの優先度に加えて、非画像領域と重なりのあるオブジェクトに対する振動が優先させることで、触覚提示手段１７から適切な振動を提示することができる。
【００８４】
このように、第３実施形態では、マークアップ記述情報に含まれる画像データのオブジェクトに非画像領域が存在する場合に、非画像領域の振動を除去し、触覚提示手段１７で提示することで画像の存在する部分のみを適切に提示することができる。また、非画像領域と他の画像領域とで重なる場合には、優先度を設けて振動制御を行うことで、コンテンツの重要な領域を触覚で迅速に伝達することができる。上述した第１〜第３実施形態は、複数の実施形態を適宜組み合わせることができる。
【００８５】
＜実行プログラム（触覚提示制御プログラム）＞
ここで、上述した触覚提示制御装置１０，３０，４０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示手段、並びに外部と通信するためのインタフェース等を備えたコンピュータによって構成することができる。
【００８６】
したがって、触覚提示制御装置１０，３０，４０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることにより、それぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００８７】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（触覚提示制御プログラム）を生成し、例えば汎用のＰＣ等にそのプログラムをインストールすることにより、上述した触覚提示制御処理を実現することができる。
【００８８】
＜触覚提示制御処理の一例＞
ここで、触覚提示制御処理の一例について、フローチャートを用いて説明する。図９は、触覚提示制御処理の一例を示すフローチャートである。
【００８９】
図９の例における触覚提示制御処理において、画像データ取得手段１１は、入力されるコンテンツに含まれる画像データを取得する（Ｓ０１）。また、色領域検出手段１３は、画像データに含まれる色領域を検出する（Ｓ０２）。なお、Ｓ０２の処理では、例えば色相環図２１等を用いた画素毎の色相解析等により、色相の異なる領域を検出することができるが、これに限定されるものではない。
【００９０】
次に、データ変換手段１４は、Ｓ０２の処理で得られた色相情報から振動情報へ変換する（Ｓ０３）。Ｓ０３の処理で変換された振動情報は、上述したように色相データの下位ビットに含ませることができる。次に、振動データ生成手段１５は、触覚提示手段１７の刺激ピンの配列に対応させて画素と刺激ピンとの画素落としを行い、対応する刺激ピンを駆動させるための振動データを生成する（Ｓ０４）。
【００９１】
また、触覚提示手段１７は、振動データ生成手段１５から得られる振動データに基づいて、刺激ピンの所定位置に所定の振動を与えて触覚による提示を行う（Ｓ０５）。
【００９２】
ここで、触覚提示制御処理では、Ｓ０１の処理で入力されたコンテンツを表示手段１７に表示するか否かを判断し（Ｓ０６）、表示する場合（Ｓ０６において、ＹＥＳ）、表示手段１７にコンテンツを表示する（Ｓ０７）。なお、Ｓ０７の処理において、コンテンツに含まれる画像データに対応する色相データは、振動情報を含む色相データを用いることができる。つまり、色相データを用いて触覚提示手段１７により提示されるオブジェクト毎の振動や表示手段１７に表示されるコンテンツの色情報を制御することができる。Ｓ０７の処理後、又は、Ｓ０６の処理において表示手段１７に表示しない場合（Ｓ０６において、ＮＯ）、処理を終了する。
【００９３】
なお、上述したＳ０５の処理では、上述した第２実施形態に示すように、入力したコンテンツに対応するマークアップ記述情報に含まれるオブジェクトに対して振動条件が設定されている場合に、予め設定された優先条件に基づいて振動制御を行い、触覚提示手段１７による提示を行ってもよい。
【００９４】
更に、上述したＳ０４の処理では、上述した第３実施形態に示すように、非画像領域を検出し、Ｓ０５の処理では、あるオブジェクトの画像領域が、他のオブジェクトの非画像領域と重なる場合に、予め設定された優先条件に基づいて振動制御を行い、触覚提示手段１７による提示を行ってもよい。
【００９５】
上述した本実施形態によれば、提示するオブジェクトに対するユーザの認識精度を向上させることができる。また、ユーザに迅速で確実にオブジェクトを認識させることができる。例えば、コンテンツに含まれる画像データに対し、色情報毎に異なる振動に変換することにより、触覚で一瞥的に地図やグラフ等の位置情報や重要な領域の内容を迅速かつ適切に伝達することができ、より効果的な２次元情報の提示が可能となる。
【００９６】
また、本実施形態によれば、画像データとマークアップ記述情報に含まれるオブジェクトとが混在する場合に、両者の優先度に応じて振動提示する領域を決定して振動に変換することで、ユーザに迅速かつ適切にオブジェクトを認識させることができる。また、本実施形態によれば、画像データのオブジェクトに非画像領域が存在する場合に、非画像領域の部分を除く領域を振動に変換して触覚ディスプレイに提示することで、触覚で一瞥的に地図やグラフ等の位置情報や重要な領域の内容を迅速かつ適切に伝達することができ、効果的な２次元情報の提示が可能となる。
【００９７】
以上、本実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【００９８】
１０，３０，４０  触覚提示制御装置
１１  画像データ取得手段
１２  記憶手段
１３  色領域検出手段
１４  データ変換手段
１５，３４，４２  振動データ生成手段（刺激情報生成手段）
１６  表示手段
１７  触覚提示手段
２１  色相環図
２２  色相−振動変換テーブル
３１  オブジェクト抽出手段
３２  レイアウト生成手段
３３  振動オブジェクト抽出手段
３５  振動優先制御手段（刺激優先度制御手段）
４１  非画像領域検出手段（非オブジェクト領域検出手段）
【図１】
2014146194.tif 000003
【図４】
2014146194.tif 000004
【図６】
2014146194.tif 000005
【図９】
2014146194.tif 000006
【図２】
2014146194.tif 000007
【図３】
2014146194.tif 000008
【図５】
2014146194.tif 000009
【図７】
2014146194.tif 000010
【図８】
2014146194.tif 000011