(57)【要約】【課題】通常のタッチパネルに対する物理的な構造の追加を必要とせず、晴眼者の使用感覚を損なうことなく、点字使用者に対して凹凸の点字パネルと同様の自然な使用感覚を提供する。【解決手段】タッチパネルを備える情報処理装置と先端部を備える凹凸提示デバイスとが通信可能なシステムにおいて、先端部は、指に接触する部分に凹凸情報に基づいて凹凸の触感を提示する凹凸提示部を備え、タッチパネルに接触する部分にタッチを検出可能な部材を備え、情報処理装置は、タッチパネルに表示する表示情報を凹凸情報に変換してレイアウトした凹凸レイアウトデータを生成し、タッチパネル上の凹凸提示デバイスのタッチ位置を検出し、凹凸レイアウトデータからタッチ位置に対応する凹凸情報を取得して出力する。その際、タッチ位置が連続して移動した場合に、タッチ位置の移動に合わせて凹凸情報を連続的に変化させる。【選択図】図４
2019135568.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける情報提示方法であって、
前記凹凸提示デバイスの前記先端部は、
前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、
前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材を備え、
前記情報処理装置は、
前記タッチパネルの画面に表示する表示情報を前記凹凸情報に変換し、前記凹凸情報を前記画面内の前記表示情報と同じ位置にレイアウトした凹凸レイアウトデータを生成する凹凸レイアウトデータ生成処理と、
前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理と、
前記凹凸レイアウトデータから前記タッチ位置に対応する前記凹凸情報を取得して、前記凹凸提示デバイスに出力するデータ変換処理と、を実行し、
前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させる、
ことを特徴とする情報提示方法。
【請求項２】
タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける情報提示方法であって、
前記凹凸提示デバイスの前記先端部は、
前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、
前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材を備え、
前記情報処理装置は、
前記タッチパネルに表示する表示情報に基づいて動作する第１モードと、前記表示情報に対応する前記凹凸情報に基づいて動作する第２モードと、を有し、
前記第２モードで動作している場合に、
前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理と、
前記タッチ位置の前記表示情報を特定し、予め記憶した変換テーブルを参照して、特定した前記表示情報を前記凹凸情報に変換して、前記凹凸提示デバイスに出力するデータ変換処理と、を実行し、
前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させる、
ことを特徴とする情報提示方法。
【請求項３】
前記データ変換処理では、前回検出したタッチ位置及び今回検出したタッチ位置の２点を結ぶ直線上に存在する凹凸情報又はランダムな凹凸情報を、タッチ位置の検出周期よりも短い周期で出力する、
ことを特徴とする請求項１又は２に記載の情報提示方法。
【請求項４】
前記凹凸提示デバイスの前記先端部は、前記タッチパネルにタッチする部分に、複数の前記部材を備え、
前記タッチ位置検出処理では、前記タッチパネル上の前記凹凸提示デバイスの複数のタッチ位置を検出し、
前記データ変換処理では、前記複数のタッチ位置に基づいて、前記タッチパネルの正位置に対する前記先端部の角度を算出し、前記角度に基づいて、前記凹凸情報を補正して出力する、
ことを特徴とする請求項１乃至３のいずれか一に記載の情報提示方法。
【請求項５】
前記凹凸提示デバイスの前記先端部は、前記タッチパネルにタッチする部分に、前記タッチパネルの画素を撮像可能な画像センサを備え、
前記凹凸提示デバイスは、前記画像センサが前記タッチパネルの画素を撮像した画像情報を前記情報処理装置に出力し、
前記データ変換処理では、前記凹凸提示デバイスから取得した前記画像情報に基づいて前記画素を特定し、前記画素の配置から、前記タッチパネルの正位置に対する前記先端部の角度を算出し、前記角度に基づいて、前記凹凸情報を補正して出力する、
ことを特徴とする請求項１乃至４のいずれか一に記載の情報提示方法。
【請求項６】
前記凹凸提示デバイスは、前記画像センサが前記タッチパネル外の所定の部位を撮像した画像情報を前記情報処理装置に出力し、
前記データ変換処理では、前記凹凸提示デバイスから取得した前記画像情報に基づいて前記所定の部位を特定し、前記所定の部位に関する凹凸情報を取得して出力する、
ことを特徴とする請求項５に記載の情報提示方法。
【請求項７】
前記凹凸情報は、前記表示情報に対応する点字情報、又は、前記表示情報を構成する線を点の配列に変換した情報である、
ことを特徴とする請求項１乃至６のいずれか一に記載の情報提示方法。
【請求項８】
タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける、前記情報処理装置で動作する情報提示プログラムであって、
前記凹凸提示デバイスの前記先端部は、
前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、
前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材を備え、
前記情報処理装置に、
前記タッチパネルの画面に表示する表示情報を前記凹凸情報に変換し、前記凹凸情報を前記画面内の前記表示情報と同じ位置にレイアウトした凹凸レイアウトデータを生成する凹凸レイアウトデータ生成処理、
前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理、
前記凹凸レイアウトデータから前記タッチ位置に対応する前記凹凸情報を取得して、前記凹凸提示デバイスに出力するデータ変換処理、を実行させ、
前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させる、
ことを特徴とする情報提示プログラム。
【請求項９】
タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける、前記情報処理装置で動作する情報提示プログラムであって、
前記凹凸提示デバイスの前記先端部は、
前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、
前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材を備え、
前記情報処理装置は、
前記タッチパネルに表示される表示情報に基づいて動作する第１モードと、前記表示情報に対応する前記凹凸情報に基づいて動作する第２モードと、を有し、
前記第２モードで動作している場合に、
前記情報処理装置に、
前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理、
前記タッチ位置の前記表示情報を特定し、予め記憶した変換テーブルを参照して、特定した前記表示情報を前記凹凸情報に変換して、前記凹凸提示デバイスに出力するデータ変換処理、を実行させ、
前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させる、
ことを特徴とする情報提示プログラム。
【請求項１０】
前記データ変換処理では、前回検出したタッチ位置及び今回検出したタッチ位置の２点を結ぶ直線上に存在する凹凸情報又はランダムな凹凸情報を、タッチ位置の検出周期よりも短い周期で出力する、
ことを特徴とする請求項８又は９に記載の情報提示プログラム。
【請求項１１】
前記凹凸提示デバイスの前記先端部は、前記タッチパネルにタッチする部分に、複数の前記部材を有し、
前記タッチ位置検出処理では、前記タッチパネル上の前記凹凸提示デバイスの複数のタッチ位置を検出し、
前記データ変換処理では、前記複数のタッチ位置に基づいて、前記タッチパネルの正位置に対する前記先端部の角度を算出し、前記角度に基づいて、前記凹凸情報を補正して出力する、
ことを特徴とする請求項８乃至１０のいずれか一に記載の情報提示プログラム。
【請求項１２】
前記凹凸提示デバイスの前記先端部は、前記タッチパネルにタッチする部分に、前記タッチパネルの画素を撮像可能な画像センサを有し、
前記凹凸提示デバイスは、前記画像センサが前記タッチパネルの画素を撮像した画像情報を前記情報処理装置に出力し、
前記データ変換処理では、前記凹凸提示デバイスから取得した前記画像情報に基づいて前記画素を特定し、前記画素の配置から、前記タッチパネルの正位置に対する前記先端部の角度を算出し、前記角度に基づいて、前記凹凸情報を補正して出力する、
ことを特徴とする請求項８乃至１１のいずれか一に記載の情報提示プログラム。
【請求項１３】
前記凹凸提示デバイスは、前記画像センサが前記タッチパネル外の所定の部位を撮像した画像情報を前記情報処理装置に出力し、
前記データ変換処理では、前記凹凸提示デバイスから取得した前記画像情報に基づいて前記所定の部位を特定し、前記所定の部位に関する凹凸情報を取得して出力する、
ことを特徴とする請求項１２に記載の情報提示プログラム。
【請求項１４】
前記凹凸情報は、前記表示情報に対応する点字情報、又は、前記表示情報を構成する線を点の配列に変換した情報である、
ことを特徴とする請求項８乃至１３のいずれか一に記載の情報提示プログラム。
【請求項１５】
指に装着する先端部を備え、凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示デバイスと通信可能に接続される情報処理装置であって、
タッチパネルと、
前記タッチパネルの画面に表示する表示情報を前記凹凸情報に変換し、前記凹凸情報を前記画面内の前記表示情報と同じ位置にレイアウトした凹凸レイアウトデータを生成する凹凸レイアウトデータ生成部と、
前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出部と、
前記凹凸レイアウトデータから前記タッチ位置に対応する前記凹凸情報を取得して、前記凹凸提示デバイスに出力するデータ変換部と、を備え、
前記データ変換部は、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させる、
ことを特徴とする情報処理装置。
【請求項１６】
指に装着する先端部を備え、凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示デバイスと通信可能に接続される情報処理装置であって、
タッチパネルと、
前記タッチパネルに表示される表示情報に基づいて動作する第１モードと、前記表示情報に対応する前記凹凸情報に基づいて動作する第２モードと、を制御する動作制御部と、
前記第２モードで動作している場合に、前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出部と、
前記タッチ位置の前記表示情報を特定し、予め記憶した変換テーブルを参照して、特定した前記表示情報を前記凹凸情報に変換して、前記凹凸提示デバイスに出力するデータ変換部と、を備え、
前記データ変換部は、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させる、
ことを特徴とする情報処理装置。
【請求項１７】
前記データ変換部は、前回検出したタッチ位置及び今回検出したタッチ位置の２点を結ぶ直線上に存在する凹凸情報又はランダムな凹凸情報を、タッチ位置の検出周期よりも短い周期で出力する、
ことを特徴とする請求項１５又は１６に記載の情報処理装置。
【請求項１８】
前記タッチ位置検出部は、前記タッチパネル上の前記凹凸提示デバイスの複数のタッチ位置を検出し、
前記データ変換部は、前記複数のタッチ位置に基づいて、前記タッチパネルの正位置に対する前記先端部の角度を算出し、前記角度に基づいて、前記凹凸情報を補正して出力する、
ことを特徴とする請求項１５乃至１７のいずれか一に記載の情報処理装置。
【請求項１９】
前記データ変換部は、前記凹凸提示デバイスに設けられた画像センサが前記タッチパネルの画素を撮像した画像情報を取得し、取得した前記画像情報に基づいて前記画素を特定し、前記画素の配置から、前記タッチパネルの正位置に対する前記先端部の角度を算出し、前記角度に基づいて、前記凹凸情報を補正して出力する、
ことを特徴とする請求項１５乃至１８のいずれか一に記載の情報処理装置。
【請求項２０】
前記データ変換部は、前記画像センサが前記タッチパネル外の所定の部位を撮像した画像情報を取得し、取得した前記画像情報に基づいて前記所定の部位を特定し、前記所定の部位に関する凹凸情報を取得して出力する、
ことを特徴とする請求項１９に記載の情報処理装置。
【請求項２１】
前記凹凸情報は、前記表示情報に対応する点字情報、又は、前記表示情報を構成する線を点の配列に変換した情報である、
ことを特徴とする請求項１５乃至２０のいずれか一に記載の情報処理装置。
【請求項２２】
前記情報処理装置は、画像処理装置である、
ことを特徴とする請求項１５乃至２１のいずれか一に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提示方法、情報提示プログラム及び情報処理装置に関し、特に、タッチパネルを備える情報処理装置と凹凸提示デバイスとを含む情報提示システムにおける情報提示方法、情報処理装置で動作する情報提示プログラム及び凹凸提示デバイス連携して動作する情報処理装置に関する。
【背景技術】
【０００２】
点字表示デバイスを用いて、視覚に障害がある使用者に対してのＵＩ（User Interface）を提供している装置がある。これらの装置は、通常、物理的な凹凸を変化させる特殊な表示デバイスを使用しており、晴眼者のための表示パネルとは兼用することができない。この問題を解決するために、表示パネル上に凹凸を再現する技術や微弱な電流を流すことによって指先に凹凸を感じさせる技術などが提案されている。
【０００３】
例えば、下記特許文献１には、タッチパネルを用いて操作入力を行う機器において、前記タッチパネルの各キーの座標位置に対応して、そのキーの操作種別情報を格納した情報記憶部と、触圧された前記キーの座標信号を前記情報記憶部の操作種別情報に基づいて操作種別信号に変換する入力変換部と、この入力変換部からの前記操作種別信号を点字マトリックス信号に変換する点字変換部と、この点字変換部からの前記点字マトリックス信号を無線で発信する無線転送部と、前記タッチパネルの操作者の指先に装着され、前記無線転送部からの前記点字マトリックス信号を受信して前記指先に前記キーの操作種別を触感させる立体的な点字模様を発生する指キャップとからなる構成が開示されている。
【０００４】
また、下記特許文献２には、面上の起伏パターンとして表現された文字をコンピュータに接続された凸凹出力装置にて出力する方法であって、前記コンピュータに接続され指又はスタイラスによる指示位置を検知するセンサからの入力値に対応する該センサの検知領域について、該検知領域を線状ガイドに沿って区分した分割領域を定義しうるプログラムやデータ等が、前記コンピュータが備えるメモリ等の記憶手段に格納されている状態において、前記メモリ等において、前記コンピュータが備えるＣＰＵ等の演算手段により前記個々の分割領域に対して対応付けられた記憶領域に、文章又は文字列を構成する文字あるいは文節を格納することにより、前記線状ガイドに沿った個々の分割領域に対して前記文字あるいは文節を対応付ける工程、指またはスタイラスによる指示位置が前記センサから入力された時に当該指示位置が属する前記分割領域に対応付けられている前記文字あるいは文節が前記ＣＰＵ等により前記凸凹出力装置から出力される工程を含むことにより、操作者が指又はスタイラスにて前記線状ガイドに沿って前記センサの検知領域内を連続的に位置指示することにより前記凸凹出力装置による文章又は文字列の連続的な出力を可能とした構成が開示されている。
【０００５】
また、下記特許文献３には、物体と、該物体は、実物体又は仮想物体であり、物体により及び又は物体への位置、速度、加速度、形状、変位、変形、振幅、回転、振動、力、トルク、圧力、湿度、温度、粘性、弾性の少なくとも１つを備える刺激を検知するセンサと、前記物体に操作者の感覚特性及び又は錯覚を適用して、該操作者に実際の該物体を操作したかのような触力覚を提示する触力覚提示装置と、該触力覚提示装置をセンサからの刺激を基に制御する触力覚提示制御装置と、前記触力覚提示制御装置は、人の身体に印加される刺激量と感覚量との関係を示す感覚特性が、非線形及び又は錯覚であることを利用して刺激を制御して触力覚情報を提示し、前記感覚特性は、前記操作者に与えられる刺激量及び操作者の操作によってもたらされる刺激量の少なくとも１つの刺激量と操作者に提示される感覚量とを備え、該感覚量は物理的に存在し得ない感覚量であり、ここで、前記触力覚提示装置は、前記物体により及び又は物体への刺激を提示し、そして操作者の操作に合わせて物体に印加される刺激を制御して触力覚を生成してなる触力覚情報提供システムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１７２４０８号公報
【特許文献２】特開２００７−２４１２２７号公報
【特許文献３】特開２０１７−０７３１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術では、タッチパネルの位置情報を使用し、操作の種別情報に変換後、操作種別に基づいて点字のマトリックスに変換して転送している。このため、画面上のボタンの位置のガイドとしては機能しない。また、指の動きに合わせた点字表示ができないため、ゆっくり読みたい場合や早く読みたい場合など、使用者の希望に対応することができない。さらに読み直したい場合など、点字を逆にたどることも不可能である。また、使用者の指とタッチパネルの縦方向との角度が０度である正位置を前提としており、使用者の指とタッチパネルの縦方向との角度が変化した場合に、それに追従したフィードバックを行うことができない。総じて、凹凸のある点字パネルのように自然な使用感覚にすることが不可能である。
【０００８】
また、特許文献２の技術では、点字の文章のガイドに物理的なスリットを用いることによって、上記の一部の問題を解決しているが、物理的なガイドをタッチパネルに設けなければならないため、レイアウトの自由度や、点字を使わない使用者の使い勝手が著しく損なわれる。
【０００９】
また、特許文献３の技術では、並進と回転について、６自由度を有するセンサ及び圧力センサなどを使用して本物の物体を触っているような感触を提供することができるが、通常のタッチパネルは抵抗膜方式や電磁誘導方式、静電容量方式などでタッチ位置のみを検出するものがほとんどであり、回転方向の補正を行うためにタッチパネルにこれらのセンサを設けることは困難である。
【００１０】
このように、表示パネル上に凹凸を再現する技術や指先に凹凸を感じさせる技術が提案されているが、これらの技術を晴眼者向けの全ての表示パネルに適用することは困難であり、点字使用者に対するバリアフリー化の課題であった。
【００１１】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、通常のタッチパネルに対する物理的な構造の追加を必要とせず、晴眼者の使用感覚を損なうことなく、点字使用者に対して凹凸の点字パネルと同様の自然な使用感覚を提供することができる情報処理装置、情報提示方法及び情報提示プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一側面は、タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける情報提示方法であって、前記凹凸提示デバイスの前記先端部は、前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材が配置され、前記情報処理装置は、前記タッチパネルの画面に表示する表示情報を前記凹凸情報に変換し、前記凹凸情報を前記画面内の前記表示情報と同じ位置にレイアウトした凹凸レイアウトデータを生成する凹凸レイアウトデータ生成処理と、前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理と、前記凹凸レイアウトデータから前記タッチ位置に対応する前記凹凸情報を取得して、前記凹凸提示デバイスに出力するデータ変換処理と、を実行し、前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させることを特徴とする。
【００１３】
本発明の一側面は、タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける情報提示方法であって、前記凹凸提示デバイスの前記先端部は、前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材が配置され、前記情報処理装置は、前記タッチパネルに表示する表示情報に基づいて動作する第１モードと、前記表示情報に対応する前記凹凸情報に基づいて動作する第２モードと、を有し、前記第２モードで動作している場合に、前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理と、前記タッチ位置の前記表示情報を特定し、予め記憶した変換テーブルを参照して、特定した前記表示情報を前記凹凸情報に変換して、前記凹凸提示デバイスに出力するデータ変換処理と、を実行し、前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させることを特徴とする。
【００１４】
本発明の一側面は、タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける、前記情報処理装置で動作する情報提示プログラムであって、前記凹凸提示デバイスの前記先端部は、前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材を備え、前記情報処理装置に、前記タッチパネルの画面に表示する表示情報を前記凹凸情報に変換し、前記凹凸情報を前記画面内の前記表示情報と同じ位置にレイアウトした凹凸レイアウトデータを生成する凹凸レイアウトデータ生成処理、前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理、前記凹凸レイアウトデータから前記タッチ位置に対応する前記凹凸情報を取得して、前記凹凸提示デバイスに出力するデータ変換処理、を実行させ、前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させることを特徴とする。
【００１５】
本発明の一側面は、タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおける、前記情報処理装置で動作する情報提示プログラムであって、前記凹凸提示デバイスの前記先端部は、前記指に接触する部分に、前記情報処理装置から出力される凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示部を備え、前記タッチパネルに接触する部分に、前記タッチパネルがタッチを検出可能な部材を備え、前記情報処理装置は、前記タッチパネルに表示される表示情報に基づいて動作する第１モードと、前記表示情報に対応する前記凹凸情報に基づいて動作する第２モードと、を有し、前記第２モードで動作している場合に、前記情報処理装置に、前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出処理、前記タッチ位置の前記表示情報を特定し、予め記憶した変換テーブルを参照して、特定した前記表示情報を前記凹凸情報に変換して、前記凹凸提示デバイスに出力するデータ変換処理、を実行させ、前記データ変換処理では、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させることを特徴とする。
【００１６】
本発明の一側面は、指に装着する先端部を備え、凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示デバイスと通信可能に接続される情報処理装置であって、タッチパネルと、前記タッチパネルの画面に表示する表示情報を前記凹凸情報に変換し、前記凹凸情報を前記画面内の前記表示情報と同じ位置にレイアウトした凹凸レイアウトデータを生成する凹凸レイアウトデータ生成部と、前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出部と、前記凹凸レイアウトデータから前記タッチ位置に対応する前記凹凸情報を取得して、前記凹凸提示デバイスに出力するデータ変換部と、を備え、前記データ変換部は、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させることを特徴とする。
【００１７】
本発明の一側面は、指に装着する先端部を備え、凹凸情報に基づいて、前記指に凹凸の触感を提示する凹凸提示デバイスと通信可能に接続される情報処理装置であって、タッチパネルと、前記タッチパネルに表示される表示情報に基づいて動作する第１モードと、前記表示情報に対応する前記凹凸情報に基づいて動作する第２モードと、を制御する動作制御部と、前記第２モードで動作している場合に、前記タッチパネル上の前記凹凸提示デバイスのタッチ位置を検出するタッチ位置検出部と、前記タッチ位置の前記表示情報を特定し、予め記憶した変換テーブルを参照して、特定した前記表示情報を前記凹凸情報に変換して、前記凹凸提示デバイスに出力するデータ変換部と、を備え、前記データ変換部は、前記表示情報に対して前記タッチ位置が連続して移動した場合に、前記タッチ位置の移動に合わせて、前記凹凸提示デバイスに出力する前記凹凸情報を連続的に変化させることを特徴とする。
【発明の効果】
【００１８】
本発明の情報提示方法、情報提示プログラム及び情報処理装置によれば、通常のタッチパネルに対する物理的な構造の追加を必要とせず、晴眼者の使用感覚を損なうことなく、点字使用者に対して凹凸の点字パネルと同様の自然な使用感覚を提供することができる。
【００１９】
その理由は、タッチパネルを備える情報処理装置と、指に装着する先端部を備える凹凸提示デバイスと、が通信可能に接続されるシステムにおいて、凹凸提示デバイスの先端部は、指に接触する部分に、情報処理装置から出力される凹凸情報に基づいて、指に凹凸の触感を提示する凹凸提示部を備え、タッチパネルに接触する部分に、タッチパネルがタッチを検出可能な部材を備え、情報処理装置は、タッチパネルの画面に表示する表示情報を凹凸情報に変換し、凹凸情報を画面内の表示情報と同じ位置にレイアウトした凹凸レイアウトデータを生成し、タッチパネル上の凹凸提示デバイスのタッチ位置を検出し、凹凸レイアウトデータからタッチ位置に対応する凹凸情報を取得して、凹凸提示デバイスに出力する。又は、情報処理装置は、タッチパネルに表示する表示情報に基づいて動作する第１モードと、表示情報に対応する凹凸情報に基づいて動作する第２モードと、を有し、第２モードで動作している場合に、タッチパネル上の凹凸提示デバイスのタッチ位置を検出し、タッチ位置の表示情報を特定し、予め記憶した変換テーブルを参照して、特定した表示情報を凹凸情報に変換して、凹凸提示デバイスに出力する。その際に、表示情報に対してタッチ位置が連続して移動した場合に、タッチ位置の移動に合わせて、凹凸提示デバイスに出力する凹凸情報を連続的に変化させるからである。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施例に係る情報提示システムの構成を示す模式図である。
【図２】本発明の第１の実施例に係る凹凸提示デバイスの構成を示すブロック図である。
【図３】本発明の第１の実施例に係る情報処理装置の構成を示すブロック図である。
【図４】本発明の第１の実施例に係る情報提示システムにおける情報提示方法を説明する模式図である。
【図５】本発明の第１の実施例に係る情報提示システムにおける他の情報提示方法を説明する模式図である。
【図６】本発明の第１の実施例に係る情報提示システムにおける他の情報提示方法を説明する模式図である。
【図７】本発明の第１の実施例に係る情報提示システムにおける他の情報提示方法を説明する模式図である。
【図８】本発明の第１の実施例に係る情報処理装置の動作を示すフローチャート図である。
【図９】本発明の第１の実施例に係る情報処理装置の動作（凹凸提示デバイス対応モードのタッチ処理）を示すフローチャート図である。
【図１０】本発明の第１の実施例に係る凹凸提示デバイスの動作を示すフローチャート図である。
【図１１】本発明の第２の実施例に係る情報処理装置の構成を示すブロック図である。
【図１２】本発明の第２の実施例に係る情報処理装置の動作（凹凸提示デバイス対応モードのタッチ処理）を示すフローチャート図である。
【発明を実施するための形態】
【００２１】
背景技術で示したように、点字表示デバイスを用いて、視覚に障害がある使用者に対してのＵＩを提供している装置があるが、この装置は、通常、物理的な凹凸を変化させる特殊な表示デバイスを使用しており、晴眼者のための表示パネルとは兼用することができない。この問題に対して、表示パネル上に凹凸を再現する技術や微弱な電流を流すことによって指先に凹凸を感じさせる技術などが提案されているが、これらの技術を、晴眼者向けの全ての表示パネルに適用することは困難であり、点字使用者に対するバリアフリー化の課題であった。
【００２２】
そこで、本発明の一実施の形態では、通常のタッチパネルを備える情報処理装置と、指に装着する形態の凹凸提示デバイスと、を通信により連携させ、凹凸提示デバイスのタッチパネル接触位置の移動に伴い、点字やボタンの凹凸などの立体情報を転送し、凹凸提示デバイスから、あたかも凹凸のあるタッチパネルに触れているような使用感覚を提供できるようにする。
【００２３】
例えば、指に装着する凹凸提示デバイスには、タッチパネルに触れる部分にタッチパネルがタッチを検出可能な部材（例えば、導電性の部材）を配置し、抵抗膜方式のみならず、電磁誘導方式や静電容量方式でもタッチ位置を検出できるようにする。そして、タッチ位置に表示されている表示情報に対応する凹凸情報をリアルタイムで転送する。
【００２４】
その際、タッチ位置の検出周期が長いと、指に提示される凹凸情報の更新周期が長くなり、連続的な移動の感覚が得られない場合がある。そこで、タッチパネル上の前回検出したタッチ位置と今回検出したタッチ位置との間の移動距離及び移動方向に基づいて、２点を結ぶ延長線上に存在する凹凸情報又はランダムな凹凸情報を十分に連続した移動と感じさせるような頻度で提示することで、連続的な移動の感覚を提供する。
【００２５】
また、タッチ位置における凹凸提示デバイスのタッチパネルに対する角度をタッチパネル上の２点以上のタッチ位置の関係により検出し、凹凸情報の傾きを補正する。この２点は、使用者の１本の指に装着した凹凸提示デバイスに２つの導電性の部材を設けることによって実現してもよいし、使用者の２本の指に装着した凹凸提示デバイスを同時にタッチさせることによって実現してもよい。
【００２６】
また、凹凸提示デバイスのタッチ面に画像センサを設け、この画像センサによってタッチパネルの画素の角度を検出することによって、高精度な角度補正を行うこともできる。その際、画像センサのみでは９０度回転したときと０度との違いを区別することが難しい場合があるが、上記の２点以上のタッチ位置の関係から求められる角度を用いて相互に補完することで全方向に対応することができる。この画像センサは、印刷物などを凹凸変換して指先に提示する機能を提供するためのものと兼用することができる。
【００２７】
また、タッチパネルの表示領域外に指先が移動した場合に、情報処理装置と凹凸提示デバイスとが接続中であれば、画像センサによって情報処理装置の筐体に印刷されているＱＲコード（登録商標、以下省略）や、特徴的なボタンの色や色の組み合わせ、文字などを検出する。そして、それらに対応した凹凸情報を接続中の凹凸提示デバイスに提供することにより、単に表示されている情報を凹凸情報に変換するのみならず、例えば、スタートボタン押し下げ時のジョブスタート動作可否などの使用中の情報処理装置の装置状態を通知することができる。
【００２８】
また、凹凸提示デバイス使用時は、タッチパネルへのタッチ操作に機能の選択としての意味を持たせず、凹凸提示デバイス側に設けられたタクトスイッチなどのＯＮをもって機能を選択させるような凹凸提示デバイス対応モード（点字モード）を設け、この凹凸提示デバイス対応モードに切り替えることにより、タッチパネルをなぞっている間に機能が選択されるといった不都合を未然に防止する。
【００２９】
このような構成により、通常のタッチパネルに物理的な構造の追加を必要とせず、晴眼者の使用感覚を損なうことなく、点字使用者に対して凹凸の点字パネルと同様の自然な使用感覚を提供することができる。また、タッチパネル外へのタッチに対しても、装置の内部状態に対応した点字情報を提供することができる。
【実施例１】
【００３０】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る情報提示方法、情報提示プログラム及び情報処理装置について、図１乃至図１０を参照して説明する。図１は、本実施例の情報提示システムの構成を示す模式図であり、図２は、本実施例の凹凸提示デバイスの構成を示すブロック図、図３は、本実施例の情報処理装置の構成を示すブロック図である。また、図４乃至図７は、本実施例の情報提示システムにおける情報提示方法を説明する模式図であり、図８乃至図１０は、本実施例の情報提示システムの動作を示すフローチャート図である。
【００３１】
図１に示すように、本実施例の情報提示システム１０は、指に装着する形態の凹凸提示デバイス２０と、タッチパネルを備える情報処理装置３０と、で構成され、これらは無線（例えば、ＢＬＥ（Bluetooth（登録商標） Low Energy）などの近距離無線）又は有線で接続されている。以下、各装置について説明する。
【００３２】
［凹凸提示デバイス］
凹凸提示デバイス２０は、指に装着する１又は複数の先端部２０ａを備え、１又は複数の先端部２０ａのタッチパネルに接触する部分に、タッチパネルがタッチを検出可能な部材（例えば、導電性の部材）を備えている。この凹凸提示デバイス２０は、図２に示すように、ＣＰＵ（Central Processing Unit）２１、メモリ２２、通信Ｉ／Ｆ部２３、データ処理部２４、凹凸提示部２５、操作部２６、撮像部２７、バッテリー２８などで構成される。
【００３３】
ＣＰＵ２１は、メモリ２２から読み出した制御プログラムを実行し、各部の動作を制御する。メモリ２２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などで構成され、ＣＰＵ２１で動作する各種プログラム、凹凸提示デバイス２０の動作を制御するための設定情報、各種データ（例えば、撮像部２７が取得した画像情報や情報処理装置３０から受信した凹凸情報）などを記憶する。上記ＣＰＵ２１とメモリ２２とで制御部が構成される。
【００３４】
通信Ｉ／Ｆ部２３は、ＮＩＣ（Network Interface Card）やモデムなどであり、ＢＬＥなどの無線通信や有線通信により情報処理装置３０との通信を可能にし、情報処理装置３０に画像情報を送信したり、情報処理装置３０からタッチ位置に対応する凹凸情報を受信したりする。
【００３５】
データ処理部２４は、通信Ｉ／Ｆ部２３を介して情報処理装置３０から受信した凹凸情報を、凹凸提示部２５の形態（電極の数や配列）に応じた凹凸情報に変換して凹凸提示部２５に転送する。
【００３６】
凹凸提示部２５は、先端部２０ａの指に接触する部分に設けられ、複数の電極を備え、データ処理部２４から転送される凹凸情報に基づいて、各電極に微弱な電流を流して使用者に凹凸の触感を提示する。なお、本発明では、タッチ位置の移動に伴って凹凸情報を変化させるため、凹凸情報の変化を使用者が認識できるように、多数の電極（例えば、１０×１０に配列した電極）が設けられる。
【００３７】
操作部２６は、タッチ位置の機能の選択などを指示するタクトスイッチなどである。
【００３８】
撮像部２７は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の画像センサであり、必要に応じて、先端部２０ａのタッチパネルに接触する部分に設けられる。そして、撮像部２７は、タッチパネルのタッチ位置の画素（例えば、ＲＧＢの画素）などを撮像する。
【００３９】
バッテリー２８は、凹凸提示デバイス２０の各部を駆動するための電源を供給する二次電池などである。
【００４０】
［情報処理装置］
情報処理装置３０は、コンピュータ装置やタブレット端末などであり、図３（ａ）に示すように、制御部３１、記憶部３５、通信Ｉ／Ｆ部３６、表示操作部３７、電源部３８などで構成される。
【００４１】
制御部３１は、ＣＰＵ３２と、ＲＯＭ３３やＲＡＭ３４などのメモリとで構成され、ＣＰＵ３２は、ＲＯＭ３３や記憶部３５に記憶したプログラムをＲＡＭ３４に展開して実行することにより、情報処理装置３０の全体制御を行う。
【００４２】
記憶部３５は、フラッシュメモリやＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ３２が各部を制御するためのプログラム、自装置の動作を制御するための設定情報、表示操作部３７に表示する表示情報、当該表示情報を凹凸情報に変換してレイアウトした凹凸レイアウトデータ、タッチパネル外のボタンなどの所定の部位に関する凹凸情報などを記憶する。
【００４３】
通信Ｉ／Ｆ部３６は、ＮＩＣやモデムなどであり、ＢＬＥなどの無線通信や有線通信により凹凸提示デバイス２０との通信を可能にし、凹凸提示デバイス２０から画像情報を受信したり、凹凸提示デバイス２０にタッチ位置に対応する凹凸情報を送信したりする。
【００４４】
表示操作部３７は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などの表示部上に、透明電極が格子状に配置された抵抗膜方式や電磁誘導方式、静電容量方式などの操作部（タッチセンサ）を設けたタッチパネルなどであり、各機能を実行させるためのボタンなどを配置した画面を表示し、当該画面に対する各種操作を可能にする。なお、本実施例のタッチパネルは、いわゆるマルチタッチが可能であり、複数のタッチ位置に対応する複数の透明電極からの信号を処理することができるようになっている。また、操作部として、タッチセンサに加えてハードキー（後述するＳＴＡＲＴボタン）などを備えていてもよい。
【００４５】
電源部３８は、情報処理装置３０の各部を駆動するための電源を供給する二次電池やコンセントから供給されるＡＣ電源をＤＣ電源に変換するコンバータなどである。
【００４６】
また、上記制御部３１は、図３（ｂ）に示すように、凹凸レイアウトデータ生成部３１ａ、動作制御部３１ｂ、タッチ位置特定部３１ｃ、データ変換部３１ｄなどとして機能する。
【００４７】
凹凸レイアウトデータ生成部３１ａは、表示操作部３７に表示するタッチパネル画面に配置されるボタンの枠線や文字などの表示情報を凹凸情報に変換し、その凹凸情報をタッチパネル画面内の表示情報と同じ位置にレイアウトした（すなわち、タッチパネル画面におけるボタンの位置を変えずに表示情報を凹凸情報に変換した）凹凸レイアウトデータを生成する。上記凹凸レイアウトデータにおいて、タッチパネルに表示されている文字は、点字に変換してもよいし、文字を構成する線を点の配列に変換してもよい。
【００４８】
動作制御部３１ｂは、情報処理装置３０を通常モード（タッチパネルに表示されている表示情報に基づいて動作するモード）、又は、凹凸提示デバイス対応モード（タッチパネルに表示されている表示情報に対応する点字情報に基づいて動作する点字モード）で動作させる。上記凹凸提示デバイス対応モードで動作させる場合は、誤操作防止処理（凹凸提示デバイス２０以外のタッチ操作を無効にする処理）を実行したり、凹凸提示デバイス２０に凹凸提示デバイス対応モードで動作中であることを通知し、凹凸提示デバイス２０から決定スイッチＯＮの情報を受信したら、タッチ位置のボタンに対応する機能を選択したりする。
【００４９】
タッチ位置特定部３１ｃは、表示操作部３７（タッチセンサ）から出力される信号に基づいて、タッチパネルに対する凹凸提示デバイス２０のタッチ位置を検出し、検出したタッチの位置を特定する。なお、凹凸提示デバイス２０が複数の先端部２０ａを備え、各々の先端部２０ａにタッチパネルがタッチを検出可能な部材が配置されている場合や、１つの先端部２０ａに複数の部材が配置されている場合は、凹凸提示デバイス２０のマルチタッチを検出し、検出した各々のタッチの位置を特定する。
【００５０】
データ変換部３１ｄは、動作制御部３１ｂにより凹凸提示デバイス対応モード（点字モード）で動作している場合に、凹凸レイアウトデータ生成部３１ａが生成した凹凸レイアウトデータから、タッチ位置特定部３１ｃが特定したタッチ位置に対応する凹凸情報を取得して凹凸提示デバイス２０に出力する。その際、表示情報に対してタッチ位置が連続して移動した場合に、タッチ位置の移動に合わせて、凹凸提示デバイス２０に出力する凹凸情報を連続的に変化させ、凹凸のある点字パネルをなぞっている時と同様の使用感覚が得られるようにする。なお、タッチ位置の検出周期が長いと、指に提示する凹凸情報の更新周期が長くなり、連続的な移動の感触が得られない場合があるため、タッチパネル上の前回検出したタッチ位置及び今回検出したタッチ位置の２点を結ぶ直線上に存在する凹凸情報又はランダムに設けた凹凸情報を、タッチ位置の検出周期よりも短い周期で凹凸提示デバイス２０に出力するようにしてもよい。
【００５１】
また、データ変換部３１ｄは、必要に応じて、タッチ位置特定部３１ｃが複数のタッチを検出した場合は、複数のタッチ位置に基づいて、タッチパネルの正位置に対する先端部２０ａの角度を算出し、算出した角度に基づいて、上記凹凸情報を補正する。また、凹凸提示デバイス２０からタッチパネルの画素を撮像した画像情報を受信した場合は、画像情報に基づいて画素を特定し、画素の配置から、タッチパネルの正位置に対する先端部２０ａの角度を算出し、算出した角度に基づいて、上記凹凸情報の角度を補正する。また、凹凸提示デバイス２０からＱＲコードや特徴的なボタンの色や色の組み合わせ、文字などの所定の部位を撮像した画像情報を受信した場合は、その画像情報に基づいて所定の部位を特定し、所定の部位に関する凹凸情報を記憶部３５などから取得して凹凸提示デバイス２０に出力する。
【００５２】
上記凹凸レイアウトデータ生成部３１ａ、動作制御部３１ｂ、タッチ位置特定部３１ｃ、データ変換部３１ｄはハードウェアとして構成してもよいし、制御部３１を、凹凸レイアウトデータ生成部３１ａ、動作制御部３１ｂ、タッチ位置特定部３１ｃ、データ変換部３１ｄ（特に、凹凸レイアウトデータ生成部３１ａ、タッチ位置特定部３１ｃ、データ変換部３１ｄ）として機能させる情報提示プログラムとして構成し、当該情報提示プログラムをＣＰＵ３２に実行させるようにしてもよい。
【００５３】
なお、図１乃至図３は、本実施例の情報提示システム１０の一例であり、凹凸提示デバイス２０や情報処理装置３０の形状や構成は適宜変更可能である。例えば、図２では、凹凸提示デバイス２０にデータ処理部２４を設けたが、情報処理装置３０のデータ変換部３１ｄが、凹凸提示デバイス２０の凹凸提示部２５の形態に応じた凹凸情報を出力可能な場合は、データ処理部２４を省略することができる。また、図３では、情報処理装置３０をコンピュータ装置やタブレット端末などとしたが、情報処理装置３０はタッチパネルを備える機器であればよく、例えば、ＭＦＰ（Multi-Functional Peripherals）などの画像処理装置としてもよい。
【００５４】
次に、本実施例の情報提示システム１０の概略動作について、図面を参照して具体的に説明する。
【００５５】
図４は、本実施例の情報提示システム１０における情報提示方法の一例である。凹凸提示デバイス２０の先端部２０ａには導電性の部材が配置されており、使用者は、凹凸提示デバイス２０を装着したまま情報処理装置３０のタッチ操作（ここでは、ＭＦＰなどの画像処理装置の機能を選択する操作）が可能になっている。情報処理装置３０は、凹凸提示デバイス２０とＢＬＥなどで通信を行っており、近くに凹凸提示デバイス２０がいる場合には、その凹凸提示デバイス２０から各種情報をリアルタイムで取得する。
【００５６】
そして、凹凸提示デバイス２０が情報処理装置３０のタッチパネルに触れると、凹凸提示デバイス２０側で何かに触れたことを感知し、それと同時に、情報処理装置３０側ではタッチパネルに対するタッチ操作が行われたことを感知する。そして、情報処理装置３０は、凹凸提示デバイス２０側で同時にタッチが検出されたと認識し、ＵＩを凹凸提示デバイス対応モード（点字モード）に切り替える。
【００５７】
点字モードでは、タッチ操作によってボタンの選択などは行われず、凹凸提示デバイス２０に設けられたタクトスイッチなどがＯＮになったことでボタンの選択操作が行われたと判断する。この点字モードにおいては、タッチパネルの表示情報に対応した凹凸レイアウトデータを用いて、タッチパネルのタッチ位置に対応する凹凸情報を取得し、その凹凸情報を凹凸提示デバイス２０にリアルタイムに転送する。使用者の指の動きにあわせてタッチ位置が変化すると、凹凸情報もリアルタイムにタッチ位置に対応して更新される。これによって凹凸のある点字パネルと同じ使用感覚を再現することができる。
【００５８】
図５は、回転補正の一例である。例えば、凹凸提示デバイス２０の指先に２つの導電性の部材を設け、タッチの際に２つのタッチ点（Ｐ１、Ｐ２とする。）が認識されるようにしておき、Ｐ１、Ｐ２を結ぶ線分とタッチパネルの垂直方向との間の角度θ（タッチパネルの正位置に対する先端部２０ａの角度）を算出し、その角度θに基づいて、転送する凹凸情報を回転させる。
【００５９】
なお、図５では、「Ｓ」の文字を図形として表す凹凸情報に変換しているが、「Ｓ」の文字に対応する点字に変換してもよい。また、ここでは凹凸提示デバイス２０の先端部２０ａに複数の導電性の部材を設ける構成としたが、２つの先端部２０ａの各々に導電性の部材を設け、使用者に、凹凸提示デバイス２０をはめている２本の指（例えば、人差し指と中指）で同時にタッチしながらなぞってもらう等のガイダンスを行い、これらの２点から角度を算出することもできる。
【００６０】
図６は、回転補正の他の例である。図５では、２つのタッチ点に基づいて角度θを算出したが、例えば、凹凸提示デバイス２０の先端部２０ａの画像センサ（タッチ面に設けられた撮像部２７）により、タッチパネルの画素を撮像し、画素の配置から角度を算出することもできる。この場合、画像センサのみでは９０度回転したときと０度との違いを区別することが難しい場合があるため、２つのタッチ点に基づいて算出した角度と画像センサを用いて算出した角度とを相互に補完することで高精度な角度補正を行うことができる。
【００６１】
図７は、タッチパネル外の筐体に設けたボタンの表面などに印刷されているＱＲコードを、画像センサを備えた凹凸提示デバイス２０で捉えた状態を示している。この時、凹凸提示デバイス２０は画像センサが撮像した画像情報を情報処理装置３０に送信することによって、情報処理装置３０はタッチパネル外の所定の部位（ここでは、ＳＴＡＲＴボタン）がタッチされたことを認識し、ＳＴＡＲＴボタンに関する情報（ここでは「ＳＴＡＲＴボタン。宛先未指定のためスタート不可」の情報）を凹凸情報として提供することができる。その際、所定の部位に関する情報が多い（凹凸提示デバイス２０の凹凸提示部２５で一度に提示できない）場合は、情報処理装置３０は凹凸情報を文字単位で順次転送し、凹凸提示部２５は文字が流れるように凹凸の触感を提示することができる。
【００６２】
以下、本実施例の情報提示システム１０の具体的な動作について、図８乃至図１０のフローチャート図を参照して説明する。ＣＰＵ３２は、ＲＯＭ３３又は記憶部３５に記憶した情報提示プログラムをＲＡＭ３４に展開して実行することにより、図８及び図９のフローチャート図に示す各ステップの処理を実行する。
【００６３】
［情報処理装置定期処理］
図８に示すように、情報処理装置３０の通信Ｉ／Ｆ部３６は、凹凸提示デバイス２０と通信可能であるかを判断する（Ｓ１０１）。凹凸提示デバイス２０と通信できない場合は（Ｓ１０１のＮｏ）、一連の処理を終了し、凹凸提示デバイス２０と通信可能な場合は（Ｓ１０１のＹｅｓ）、通信Ｉ／Ｆ部３６は、凹凸提示デバイス２０から、撮像部２７が撮像した画像情報や凹凸提示デバイス２０を識別する情報などを受信する（Ｓ１０２）。
【００６４】
次に、制御部３１（タッチ位置特定部３１ｃ）は、タッチパネルのタッチを監視し、タッチを検出したかを判断する（Ｓ１０３）。タッチを検出しない場合は（Ｓ１０３のＮｏ）、一連の処理を終了し、タッチを検出した場合は（Ｓ１０３のＹｅｓ）、制御部３１（タッチ位置特定部３１ｃ）は、凹凸提示デバイス２０から取得した情報に基づいて、そのタッチが凹凸提示デバイス２０のタッチであるかを判断する（Ｓ１０４）。検出したタッチが凹凸提示デバイス２０のタッチでない場合は（Ｓ１０４のＮｏ）、制御部３１（動作制御部３１ｂ）は、通常のタッチ処理（例えば、タッチ位置に表示されているボタンに対応する機能を選択する処理）を実行して（Ｓ１０５）、一連の処理を終了する。
【００６５】
一方、検出したタッチが凹凸提示デバイス２０のタッチの場合は（Ｓ１０４のＹｅｓ）、制御部３１（動作制御部３１ｂ）は、動作モードを凹凸提示デバイス対応モードに切り替え、凹凸提示デバイス対応モードで動作中であることを凹凸提示デバイス２０に通知し、凹凸提示デバイス対応モードでのタッチ処理（タッチ位置の凹凸情報を凹凸提示デバイス２０に送信する処理）を実行する（Ｓ１０６）。
【００６６】
図９は、このステップの詳細を示しており、まず、制御部３１（データ変換部３１ｄ）は、凹凸提示デバイス２０から、ＱＲコードや特徴的なボタンの色や色の組み合わせ、文字などの所定の部位を撮像した画像情報を受信したかを判断し（Ｓ２０１）、当該画像情報を受信した場合は（Ｓ２０１のＹｅｓ）、その画像情報に基づいて所定の部位を特定し、記憶部３５などから所定の部位に関する凹凸情報を取得し（Ｓ２０７）、取得した凹凸情報を凹凸提示デバイス２０に転送する（Ｓ２０８）。
【００６７】
一方、画像情報を受信しなかった場合は（Ｓ２０１のＮｏ）、制御部３１（データ変換部３１ｄ）は、凹凸レイアウトデータ生成部３１ａが予め生成した凹凸レイアウトデータから、タッチ位置の凹凸情報を取得する（Ｓ２０２）。
【００６８】
次に、制御部３１（データ変換部３１ｄ）は、タッチ位置特定部３１ｃが検出したタッチがマルチタッチであるかを判断し（Ｓ２０３）、マルチタッチの場合は（Ｓ２０３のＹｅｓ）、複数のタッチ位置に基づいてタッチ角度（タッチパネルの正位置に対する先端部２０ａの角度）を算出する（Ｓ２０４）。次に、制御部３１（データ変換部３１ｄ）は、画像センサが撮像した画素の配置に基づいてタッチ角度を算出し、Ｓ２０４で算出したタッチ角度を補正又は置き換える（Ｓ２０５）。そして、制御部３１（データ変換部３１ｄ）は、タッチ位置の凹凸情報をタッチ角度に基づいて補正し（Ｓ２０６）、凹凸提示デバイス２０に補正後の凹凸情報を転送する（Ｓ２０８）。
【００６９】
図８に戻って、制御部３１（動作制御部３１ｂ）は、誤操作防止処理（凹凸提示デバイス２０以外のタッチ（例えば、指のタッチ）操作を無効にする処理）を実行する（Ｓ１０７）。そして、制御部３１（動作制御部３１ｂ）は、凹凸提示デバイス２０からタクトスイッチ（例えば、決定スイッチ）のＯＮの情報を受信したかを判断し（Ｓ１０８）、決定スイッチＯＮの情報を受信した場合は（Ｓ１０８のＹｅｓ）、タッチ位置に表示されているボタンに対応する機能を選択する処理を実行する（Ｓ１０９）。
【００７０】
［凹凸提示デバイス定期処理］
図１０に示すように、凹凸提示デバイス２０の通信Ｉ／Ｆ部２３は、対応する情報処理装置３０と通信可能であるかを判断する（Ｓ３０１）。情報処理装置３０と通信可能でなければ（Ｓ３０１のＮｏ）、制御部（ＣＰＵ２１）は、凹凸提示部２５を不使用状態に設定し（Ｓ３０７）、一連の処理を終了する。
【００７１】
一方、情報処理装置３０と通信可能な場合は（Ｓ３０１のＹｅｓ）、通信Ｉ／Ｆ部２３は、情報処理装置３０に撮像部２７（画像センサ）が撮像した画像情報や凹凸提示デバイス２０を識別する情報を送信し（Ｓ３０２）、情報処理装置３０から凹凸情報や情報処理装置３０が凹凸提示デバイス対応モードで動作中であることを示す情報などを受信する（Ｓ３０３）。
【００７２】
次に、制御部（ＣＰＵ２１）は、情報処理装置３０が凹凸提示デバイス対応モード中であるかを判断し（Ｓ３０４）、凹凸提示デバイス対応モード中の場合は（Ｓ３０４のＹｅｓ）、制御部（ＣＰＵ２１）は、凹凸提示部２５により凹凸情報を提示させ（Ｓ３０５）、凹凸提示デバイス対応モード中でない場合は（Ｓ３０４のＮｏ）、制御部（ＣＰＵ２１）は、凹凸提示部２５を不使用状態に設定する（Ｓ３０６）。
【００７３】
以上説明したように、通常のタッチパネルを備える情報処理装置３０と指に装着する形態の凹凸提示デバイス２０とを備える情報提示システム１０において、凹凸提示デバイス２０のタッチ面に導電性の部材を配置して、任意の方式のタッチパネルに対してタッチ位置を検出できるようにし、凹凸レイアウトデータに基づいてタッチ位置に対応する凹凸情報をリアルタイムで凹凸提示デバイス２０に転送することにより、通常のタッチパネルに対する物理的な構造の追加を必要とせず、晴眼者の使用感覚を損なうことなく、点字使用者に対して凹凸の点字パネルと同様の自然な使用感覚を提供することができる。
【００７４】
また、タッチパネル上の前回検出したタッチ位置及び今回検出したタッチ位置の２点を結ぶ直線上に存在する凹凸情報又はランダムな凹凸情報を、タッチ位置の検出周期よりも短い周期で凹凸提示デバイス２０に送信することにより、使用者に連続的な移動の感覚を提供することができる。
【００７５】
また、タッチパネル上の２点以上のタッチ位置の関係により、凹凸提示デバイス２０のタッチパネルに対する角度を算出し、算出した角度に基づいて凹凸情報を補正したり、凹凸提示デバイスのタッチ面に画像センサを設け、この画像センサがタッチパネルの画素を撮像した画像情報に基づいて角度を算出し、算出した角度に基づいて凹凸情報を補正したりすることにより、使用者の操作性を向上させることができる。
【００７６】
また、画像センサによって情報処理装置３０の筐体に印刷されているＱＲコードや、特徴的なボタンの色や色の組み合わせ、文字などを撮像した画像情報を取得した場合、それらに関する凹凸情報を接続中の凹凸提示デバイスに提供することにより、単に印刷されている文字情報を変換した凹凸情報を提示するのみならず、使用中の情報処理装置３０の装置状態を提示することができる。
【００７７】
また、情報処理装置３０の動作モードとして、通常のモードに加えて凹凸提示デバイス対応モード（点字モード）を設け、この点字モードに切り替えることにより、タッチパネルをなぞっている間に機能が選択されるといった不都合を未然に防止することができ、使用者の利便性を向上させることができる。
【実施例２】
【００７８】
次に、本発明の第２の実施例に係る情報提示方法、情報提示プログラム及び情報処理装置について、図１１及び図１２を参照して説明する。図１１は、本実施例の情報処理装置の構成を示すブロック図であり、図１２は、本実施例の情報処理装置の動作を示すフローチャート図である。
【００７９】
前記した第１の実施例では、予め凹凸レイアウトデータを生成して記憶しておき、その凹凸レイアウトデータから、タッチ位置の凹凸情報を取得する構成としたが、タッチ位置の表示情報から凹凸情報へのデータ変換はその都度実施してもよい。
【００８０】
その場合、情報提示システム１０の構成は第１の実施例と同様であるが、図１１に示すように、情報処理装置３０の制御部３１は、動作制御部３１ｂ、タッチ位置特定部３１ｃ、データ変換部３１ｄなどとして機能し、データ変換部３１ｄは、動作制御部３１ｂにより凹凸提示デバイス対応モード（点字モード）で動作している場合に、タッチ位置特定部３１ｃが特定したタッチ位置の表示情報を特定し、予め記憶した変換テーブルを参照して、特定した表示情報を凹凸情報に変換して凹凸提示デバイス２０に出力する。また、記憶部３５は、表示情報を凹凸情報に変換するための変換テーブルを記憶する。
【００８１】
なお、動作制御部３１ｂ、タッチ位置特定部３１ｃ、データ変換部３１ｄはハードウェアとして構成してもよいし、制御部３１を、動作制御部３１ｂ、タッチ位置特定部３１ｃ、データ変換部３１ｄ（特に、タッチ位置特定部３１ｃ、データ変換部３１ｄ）として機能させる情報提示プログラムとして構成し、当該情報提示プログラムをＣＰＵ３２に実行させるようにしてもよい。
【００８２】
以下、上記構成の情報提示システム１０の具体的な動作について、図１２のフローチャート図を参照して説明する。ＣＰＵ３２は、ＲＯＭ３３又は記憶部３５に記憶した情報提示プログラムをＲＡＭ３４に展開して実行することにより、図１２のフローチャート図に示す各ステップの処理を実行する。なお、第１の実施例の図８の情報処理装置定期処理及び図１０の凹凸提示デバイス定期処理は同様であるため説明を省略し、図８のＳ１０６の凹凸提示デバイス対応モードのタッチ処理について説明する。
【００８３】
まず、制御部３１（データ変換部３１ｄ）は、凹凸提示デバイス２０から、ＱＲコードや特徴的なボタンの色や色の組み合わせ、文字などの所定の部位を撮像した画像情報を受信したかを判断し（Ｓ４０１）、当該画像情報を受信した場合は（Ｓ４０１のＹｅｓ）、その画像情報に基づいて所定の部位を特定し、記憶部３５などから所定の部位に関する凹凸情報を取得し（Ｓ４０７）、取得した凹凸情報を凹凸提示デバイス２０に転送する（Ｓ４０８）。
【００８４】
一方、画像情報を受信しなかった場合は（Ｓ４０１のＮｏ）、制御部３１（データ変換部３１ｄ）は、タッチ位置特定部３１ｃが特定したタッチ位置の表示情報を特定し、記憶部３５などに予め記憶した変換テーブルを参照して、特定した表示情報を凹凸情報に変換する（Ｓ４０２）。
【００８５】
次に、制御部３１（データ変換部３１ｄ）は、タッチ位置特定部３１ｃが検出したタッチがマルチタッチであるかを判断し（Ｓ４０３）、マルチタッチの場合は（Ｓ４０３のＹｅｓ）、複数のタッチ位置に基づいてタッチ角度（タッチパネルの正位置に対する先端部２０ａの角度）を算出する（Ｓ４０４）。次に、制御部３１（タッチ位置特定部３１ｃ）は、画像センサによる画素の配置に基づいてタッチ角度を算出し、Ｓ４０４で算出したタッチ角度を補正又は置き換える（Ｓ４０５）。そして、制御部３１（データ変換部３１ｄ）は、タッチ位置の凹凸情報をタッチ角度に基づいて補正し（Ｓ４０６）、凹凸提示デバイス２０に補正後の凹凸情報を転送する（Ｓ４０８）。
【００８６】
このように、凹凸レイアウトデータを予め作成することなく、タッチ位置の表示情報を特定し、変換テーブルに参照して特定した表示情報を凹凸情報にその都度変換することによっても、第１の実施例と同様の効果を得ることができる。
【００８７】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、情報提示システムや各デバイスの構成や制御は適宜変更可能である。
【００８８】
例えば、上記実施例では、情報処理装置３０としてコンピュータ装置やタブレット端末を例示したが、情報処理装置３０はタッチパネルを備える任意の装置とすることができ、例えば、タッチパネルを備えるＭＦＰやＲＩＰ（Raster Image Processor）コントローラのような画像処理装置などに対しても本発明を同様に適用することができる。
【産業上の利用可能性】
【００８９】
本発明は、タッチパネルを備える情報処理装置と凹凸提示デバイスとを含む情報提示システムにおける情報提示方法、情報処理装置で動作する情報提示プログラム、当該情報提示プログラムを記録した記録媒体及び凹凸提示デバイス連携して動作する情報処理装置に利用可能である。
【符号の説明】
【００９０】
１０  情報提示システム
２０  凹凸提示デバイス
２０ａ  先端部
２１  ＣＰＵ
２２  メモリ
２３  通信Ｉ／Ｆ部
２４  データ処理部
２５  凹凸提示部
２６  操作部
２７  撮像部
２８  バッテリー
３０  情報処理装置
３１  制御部
３１ａ  凹凸レイアウトデータ生成部
３１ｂ  動作制御部
３１ｃ  タッチ位置特定部
３１ｄ  データ変換部
３２  ＣＰＵ
３３  ＲＯＭ
３４  ＲＡＭ
３５  記憶部
３６  通信Ｉ／Ｆ部
３７  表示操作部（タッチパネル）
３８  電源部
【図１】
2019135568.tif 000003
【図２】
2019135568.tif 000004
【図３】
2019135568.tif 000005
【図４】
2019135568.tif 000006
【図５】
2019135568.tif 000007
【図６】
2019135568.tif 000008
【図７】
2019135568.tif 000009
【図８】
2019135568.tif 000010
【図９】
2019135568.tif 000011
【図１０】
2019135568.tif 000012
【図１１】
2019135568.tif 000013
【図１２】
2019135568.tif 000014