(57)【特許請求の範囲】
【請求項１】
１つの面から突出することで、点字を構成する複数の触知ピンと、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する２つのカメラと、
前記２つのカメラが撮影した画像に基づいて、該カメラが撮影した物体と前記面との距離を測定する距離測定部と、
前記２つのカメラが撮影した画像に基づいて、該カメラが撮影した前記物体の移動の方向および速度を算出する動き算出部と、
前記距離測定部が測定した距離と、前記動き算出部が算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する制御部とを有する触覚表示装置。
【請求項２】
請求項１に記載の触覚表示装置において、
前記２つのカメラのうち、一方のカメラは、前記面とほぼ同じ高さで、前記面に対して水平方向を撮影するように配置されていることを特徴とする触覚表示装置。
【請求項３】
請求項１または請求項２に記載の触覚表示装置において、
前記動き算出部は、前記カメラが撮影した前記物体の過去の動きに基づいて、該物体の移動の方向および速度を算出することを特徴とする触覚表示装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の触覚表示装置において、
前記制御部は、前記距離測定部が測定した距離が所定の閾値以下である場合、前記触知ピンの突出を制御することを特徴とする触覚表示装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の触覚表示装置において、
前記制御部は、前記動き算出部が算出した前記物体の移動の方向および速度に基づいて、前記物体が動く先の位置を決定し、該決定した位置と、前記距離測定部が測定した距離とに基づいて、前記触知ピンの突出を制御することを特徴とする触覚表示装置。
【請求項６】
１つの面から突出することで点字を構成する複数の触知ピンを用いて、情報を表示する触覚表示方法であって、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する処理と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する処理と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する処理と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する処理とを行う触覚表示方法。
【請求項７】
１つの面から突出することで点字を構成する複数の触知ピンと、２つのカメラとが設けられた装置に、
前記２つのカメラを用いて、互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する手順と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する手順と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する手順と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点字等を用いて表示を触覚で認識させるための触覚表示装置、触覚表示方法およびプログラムに関する。
【背景技術】
【０００２】
視覚障害者に対して情報を提示する場合、点字ディスプレイ・触覚ディスプレイと呼ばれる表示装置（触覚表示装置）を用いることが多い。
【０００３】
このような触覚表示装置においては、その装置の周囲が覆いで囲われていない場合、ディスプレイ上に表示されている点字を第三者によって覗き見されてしまうおそれがある。
【０００４】
これを防止するために、新たに専用の装置を設置することが考えられるが、装置の開発や設置のための工数やコストがかかってしまう。
【０００５】
また、指がその表示面に近づいたこと、または触れたことを検知するセンサを設け、そのセンサの検知結果に基づいて、触知ピンの突出を制御する技術が考えられている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−０８４９４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載されたような技術においては、精確なタイミングで触知ピンを突出させることが困難であるという問題点がある。例えば、触知ピンの突出のタイミングが早すぎると、覗き見を完全には防ぎきれない。一方、触知ピンの突出のタイミングが遅すぎると、既に指が触知ピンに触れているときに突出してしまうため、普段と同じ感触で触読を行なえない。
【０００８】
また、指と触覚ディスプレイとの距離を検出することもできないという問題点がある。そのため、利用者が触読位置を変更するために指を移動させているだけであるときに、指がセンサに検知されてしまうことで触知ピンが突出すると、表示内容を周囲の第三者から覗き見されるおそれがある。
【０００９】
このように、上述した技術においては、検知の精確さに欠け、実際に指が触知ピンの上を通過するタイミングと、触知ピンの突出のタイミングとのズレを防ぐことはできない。また、センサにより触読の細かい動きを検知しようとすると、膨大な数なセンサが必要となってしまうという問題点がある。
【００１０】
本発明の目的は、上述した課題を解決する触覚表示装置、触覚表示方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明の触覚表示装置は、
１つの面から突出することで、点字を構成する複数の触知ピンと、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する２つのカメラと、
前記２つのカメラが撮影した画像に基づいて、該カメラが撮影した物体と前記面との距離を測定する距離測定部と、
前記２つのカメラが撮影した画像に基づいて、該カメラが撮影した前記物体の移動の方向および速度を算出する動き算出部と、
前記距離測定部が測定した距離と、前記動き算出部が算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する制御部とを有する。
【００１２】
また、本発明の触覚表示方法は、
１つの面から突出することで点字を構成する複数の触知ピンを用いて、情報を表示する触覚表示方法であって、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する処理と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する処理と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する処理と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する処理とを行う。
【００１３】
また、本発明のプログラムは、
１つの面から突出することで点字を構成する複数の触知ピンと、２つのカメラとが設けられた装置に実行させるためのプログラムであって、
前記２つのカメラを用いて、互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する手順と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する手順と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する手順と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する手順とを実行させる。
【発明の効果】
【００１４】
以上説明したように、本発明においては、触知ピンの精確な制御を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の触覚表示装置の実施の一形態を示す図である。
【図２】図１に示した触覚表示装置の外観の一例を示す図である。
【図３】図１に示した触知ピンを触覚表示装置の上の方向から見た図である。
【図４】図１に示した触知ピンが点字を表現する方法の一例を示す図である。
【図５】図１に示した触知ピンの突出／非突出状態を説明するための図である。
【図６】図１に示した触覚表示装置における触覚表示方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施の形態について図面を参照して説明する。
【００１７】
図１は、本発明の触覚表示装置の実施の一形態を示す図である。
【００１８】
本形態における触覚表示装置１００には図１に示すように、触覚ディスプレイ１１０と、触知ピン１２０と、カメラ１３０−１，１３０−２と、距離測定部１４０と、動き算出部１５０と、制御部１６０とが設けられている。なお、図１には、触覚表示装置１００が具備する構成要素のうち、本発明に関わるもののみを示した。
【００１９】
触覚ディスプレイ１１０は、１つの面（例えば、平面）から構成され、触知ピン１２０の突出により、点字を用いて情報を表示する。
【００２０】
触知ピン１２０は、複数のピンから構成され、触覚ディスプレイ１１０から突出することで、点字を構成する。そのため、触知ピン１２０は、触覚ディスプレイ１１０から突出したときに、点字として認識可能な長さ等の形状を持つ。
【００２１】
カメラ１３０−１，１３０−２は、撮影機能を具備し、互いに異なる方向から触知ピン１２０が配置されている面（触覚ディスプレイ１１０）全体を撮影する。また、カメラ１３０−１，１３０−２は、撮影した画像を距離測定部１４０および動き算出部１５０へ出力する。
【００２２】
また、一方のカメラ（例えば、カメラ１３０−１。以下の説明について同じ。）は、触覚ディスプレイ１１０の高さ、または触知ピン１２０が突出した時の触知ピン１２０の高さ（触知ピン１２０の先端の高さ）とほぼ同じ高さで、面（触覚ディスプレイ１１０）に対して水平方向を撮影するように配置されている。
【００２３】
また、他方のカメラ（例えば、カメラ１３０−２。以下の説明について同じ。）は、カメラ１３０−１の配置位置の高さとは異なる高さで、触覚ディスプレイ１１０の上方から斜め下の触覚ディスプレイ１１０を操作しようとする指を見下ろすような位置であり、且つ、水平位置もカメラ１３０−１の配置位置とは異なる位置に配置される。このとき、触読を行う利用者の指が、カメラ１３０−２に対して他の指や手首の陰に隠れてしまわないように、利用者からみて触覚表示装置１００の奥側に配置する。
【００２４】
距離測定部１４０は、カメラ１３０−１，１３０−２から出力されてきた画像に基づいて、カメラ１３０−１，１３０−２が撮影した物体（指）と面（触覚ディスプレイ１１０）との距離（高さ）を測定する。ここで、上述したような配置から、距離測定部１４０は、この高さを測定するのに適しているカメラ１３０−１から出力されてきた画像に基づいて、当該距離（高さ）を測定する。また、距離測定部１４０は、測定した距離を制御部１６０へ出力する。
【００２５】
動き算出部１５０は、カメラ１３０−１，１３０−２から出力されてきた画像に基づいて、カメラ１３０−１，１３０−２が撮影した物体（指）の移動の方向および速度を算出する。
【００２６】
また、動き算出部１５０は、移動の方向および速度を算出する際、物体（指）の位置を算出する。この位置の算出では、カメラ１３０−１，１３０−２を用いて、互いに異なる方向から対象物となる指および触覚ディスプレイ１１０を３次元的に撮影するため、その撮影結果から指の位置を特定することができる。また、動き算出部１５０は、算出した位置を示す位置情報を、画像のフレームごとにメモリ（不図示）に保存しておく。なお、画像のフレーム速度については、特に規定しない。例えば、３０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）であっても良いし、６０ｆｐｓであっても良い。
【００２７】
また、動き算出部１５０は、カメラ１３０−１，１３０−２が撮影した物体の過去の動きに基づいて、物体の移動の方向および速度を算出する。具体的には、動き算出部１５０は、１フレーム前の位置情報と現在の指の位置情報との差分に基づいて、直近１フレームの指の移動の方向および速度を算出する。また、動き算出部１５０は、メモリに保存されている過去５フレームの指の位置情報に基づいて、過去５フレーム間の指の移動の方向および速度を算出する。このような、過去の存在位置に基づいて、移動の方向や速度を算出するアルゴリズムは、一般的に用いられているもので良い。また、この「１フレーム前」や「過去の５フレーム」というフレーム数は、この数に限定しない。
【００２８】
また、動き算出部１５０は、算出した直近１フレームの指の移動の方向および速度と、算出した過去５フレーム間の指の移動の方向および速度とを制御部１６０へ出力する。
【００２９】
制御部１６０は、距離測定部１４０から出力されてきた距離と、動き算出部１５０から出力されてきた物体の移動の方向および速度とに基づいて、触知ピン１２０の突出を制御する。このとき、制御部１６０は、動き算出部１５０から出力されてきた、直近１フレームの指の移動の方向および速度と、過去５フレーム間の指の移動の方向および速度とに基づいて、物体が動く先の位置を決定し、決定した位置と、距離測定部１４０から出力されてきた距離とに基づいて、触知ピン１２０の突出を制御する。さらに具体的には、制御部１６０は、距離測定部１４０から出力されてきた距離が所定の閾値以下である場合、触知ピンの突出を制御する。つまり、制御部１６０は、距離測定部１４０から出力されてきた距離が所定の閾値以下である場合、決定した位置に相当する位置に配置されている触知ピン１２０を突出させる。
【００３０】
図２は、図１に示した触覚表示装置１００の外観の一例を示す図である。
【００３１】
図１に示した触覚表示装置１００は図２に示すように、７２０×４８０の触知ピン１２０を備えた触覚ディスプレイ１１０が設けられ、触知ピン１２０の凹凸により点字だけでなく、画像を表現することも可能である。また、利用者の触読意思の有無の判断や触読軌跡の追尾を行なうための２台のカメラ１３０−１，１３０−２が設けられている。
【００３２】
図３は、図１に示した触知ピン１２０を触覚表示装置１００の上の方向から見た図である。
【００３３】
図３に示すように、複数の触知ピン１２０で触知ピン群１２１（図中に示した太線の枠に囲まれた触知ピン１２０の組）が構成され、この触知ピン群１２１で点字の構成要素の点を表現している。触知ピン群１２１を構成する複数の触知ピン１２０に、互いに微妙な高さの差をつけることにより、擬似的に曲面を表現し、利用者が触読を行なう際の触感を本物の点に近づけている。
【００３４】
図４は、図１に示した触知ピン１２０が点字を表現する方法の一例を示す図である。
【００３５】
日本の点字は、６つの凹凸で１つの文字を表現する。そのため、図４に示すように、６つの触知ピン群１２１の凹凸の集合１つで１つの文字を表す。また、１つの触知ピン群１２１は複数の触知ピン１２０から構成され、それぞれの触知ピン１２０は、任意の高さをとることができる。
【００３６】
図５は、図１に示した触知ピン１２０の突出／非突出状態を説明するための図である。
【００３７】
図５に示した触知ピン１２０のうち、左側の触知ピン１２０の態様が、触覚ディスプレイ１１０の表面から突出したときの状態（突出状態）である。また、図５に示した触知ピン１２０のうち、右側の触知ピン１２０の態様が、触覚ディスプレイ１１０の表面から引っ込められたときの状態（非突出状態）である。触知ピン１２０の突出／非突出状態の制御は、上述したように制御部１６０によって行われる。この制御を行う機構は、例えば、磁石を用いたものであっても良いし、他の機械的なものであっても良いし、特に規定しない。
【００３８】
以下に、図１に示した触覚表示装置１００における触覚表示方法について説明する。
【００３９】
図６は、図１に示した触覚表示装置１００における触覚表示方法を説明するためのフローチャートである。
【００４０】
まず、カメラ１３０−１，１３０−２によって撮影された画像に基づいて、指の位置が動き算出部１５０によって特定され、カメラ１３０−１によって撮影された画像に基づいて、指の高さ（指から触覚ディスプレイ１１０までの距離）が距離測定部１４０によって測定される（ステップＳ１）。動き算出部１５０による指の位置の特定方法は、上述した通りである。また、測定された高さを示す高さ情報は、距離測定部１４０から制御部１６０へ出力される。
【００４１】
その後、動き算出部１５０によって、メモリに保存されている１フレーム前の位置情報が読み出され、当該位置情報が示す位置と現在の指の位置との差分に基づいて、直近１フレームの指の移動の方向および速度が算出される（ステップＳ２）。
【００４２】
また、動き算出部１５０によって、メモリに保存されている過去５フレームの指の位置情報が読み出され、当該位置情報が示す位置に基づいて、過去５フレーム間の指の移動の方向および速度が算出される（ステップＳ３）。
【００４３】
ステップＳ２およびＳ３にて算出された結果は、動き算出部１５０から制御部１６０へ出力される。
【００４４】
すると、制御部１６０にて、動き算出部１５０から出力されてきた「直近１フレームの指の移動の方向および速度」（以下、情報Ａ）と、「過去５フレーム間の指の移動の方向および速度」（以下、情報Ｂ）とに基づいて、物体が動く先の位置が予想位置として決定される（ステップＳ４）。
【００４５】
このとき、制御部１６０は、情報Ａと情報Ｂとの平均値を取って、予想位置を決定するものであっても良いし、情報Ａ、Ｂに所定の重み付けをそれぞれ乗じたものに基づいて、予想位置を決定するものであっても良い。例えば、利用者が触読の習熟者であるか初心者であるかによって、情報Ａと情報Ｂとの重み付けを変えるという運用も考えられる。習熟者と初心者とでは、触読の軌跡の特徴が互いに異なることが知られている。習熟者の軌跡は、左から右へ向かってほぼ一直線である。一方、初心者の軌跡は、上下（ｙ方向）に細かく揺れ、右から左（ｘ方向）への後戻りの傾向があり、１８０度方向への方向転換が頻繁に発生する。そのため、追跡対象を見失うことを防ぐために、初心者の場合は、情報Ａの重み付けを大きくするものであっても良い。
【００４６】
続いて、制御部１６０にて、距離測定部１４０から出力されてきた高さ情報を示す高さ（距離）があらかじめ設定されている閾値以下であるかどうかが判定される（ステップＳ５）。例えば、閾値が「３ｍｍ」である場合、距離測定部１４０から出力されてきた高さ情報を示す高さが３ｍｍ以下であるかどうかが、制御部１６０によって判定される。
【００４７】
距離測定部１４０から出力されてきた高さ情報を示す高さが閾値以下である場合、利用者が触読を行なおうとしていると判定され、ステップＳ４にて決定された予想位置に配置されている触知ピン１２０を制御部１６０が突出させる（ステップＳ６）。
【００４８】
一方、距離測定部１４０から出力されてきた高さ情報を示す高さが閾値以下でない場合は、利用者が触読位置を変更しようとしていると判定され、触知ピン１２０の突出は行なわれない。
【００４９】
その後、あらかじめ設定された時間が経過したかどうかが制御部１６０によって判定される（ステップＳ７）。
【００５０】
所定の時間が経過した場合、ステップＳ６にて突出させた触知ピン１２０が制御部１６０によって、引っ込められる（非突出状態にされる）（ステップＳ８）。
【００５１】
この所定の時間は、特に規定しないが、第三者からの覗き見を防止するために速やかに引っ込める必要があるため、突出状態の触知ピン１２０の位置が、指の予想移動位置でなくなったら最短の時間で引っ込められる時間とする。また、この時間は、制御部１６０の触知ピン１２０を突出／非突出させる機構の性能に依存する。
【００５２】
以上の動作が、触覚表示装置１００にて、１フレームごとに繰り返される。
【００５３】
ここで、背景で述べた近接センサは、「接近した」か「接近していない」かという２つの状態しか判定することができないが、本発明のようなカメラでの撮影では、その近接距離について具体的に数値で判定が可能である。
【００５４】
また、近接センサには数種類があり、その中で代表的なものとして、電磁誘導を利用した高周波発振型や、磁石を用いた磁気型、静電容量の変化を利用した静電容量型がある。例えば、高周波発振型の近接センサでは、対象物の材質が金属なのか非金属なのかによっても、その検出精度が変化してしまい、また、周囲の環境にも影響されてしまう。また、センサ同士が相互に影響を及ぼしてしまう。いずれのタイプでも、対象物が接近したかどうかをアナログ系ハードウェアの技術で検出するのが目的であり、数ミリの差を区別するのには原理的に困難である。
【００５５】
以上説明した本発明においては、以下に示す効果を奏する。
【００５６】
第１の効果は、周囲の状況を把握することが困難な視覚障害者のプライバシーを守ることができることである。触知ピン１２０の突出のタイミングが精確であり、なおかつ利用者が触読を行なおうとしているのか、それとも触読位置を変更するために指を移動させているだけなのかを判定して触知ピン１２０を突出させる。そのため、悪意を持った第三者に手元をビデオ撮影されたとしても個人情報を知られることはない。
【００５７】
第２の効果は、従来製品とは異なり、専用の装置や膨大な数のセンサを設ける必要がないため、低コストで実現可能であることである。
【００５８】
第３の効果は、触知ピン１２０の突出のタイミングが精確であるため、普段と同じ感触で触読を行なうことができることである。
【００５９】
なお、上述した実施の形態以外にも、利用者の触読の軌跡のブレの大きさに応じて、過去の何フレーム間の位置を移動予想位置決定の判断材料とするかを変更するものも考えられる。
【００６０】
上述した触覚表示装置１００に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を触覚表示装置１００にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを触覚表示装置１００に読み込ませ、実行するものであっても良い。触覚表示装置１００にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、触覚表示装置１００に内蔵されたＲＯＭ、ＲＡＭ等のメモリやＨＤＤ等を指す。この記録媒体に記録されたプログラムは、触覚表示装置１００に設けられた制御部１６０にて読み込まれ、制御部１６０の制御によって、上述したものと同様の処理が行われる。ここで、制御部１６０は、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【符号の説明】
【００６１】
１００    触覚表示装置
１１０    触覚ディスプレイ
１２０    触知ピン
１２１    触知ピン群
１３０−１，１３０−２    カメラ
１４０    距離測定部
１５０    動き算出部
１６０    制御部
【図１】
0005388238.tif 000002
【図２】
0005388238.tif 000003
【図３】
0005388238.tif 000004
【図４】
0005388238.tif 000005
【図５】
0005388238.tif 000006
【図６】
0005388238.tif 000007