(57)【要約】【課題】利用者の手元に置くことができない文書についても点字表示することが可能なハンドヘルド点字変換装置を提供する。【解決手段】第１撮影手段は、利用者の操作に基づく外部入力に基づき、カメラにより第１撮影画像を生成する。第１撮影画像記憶手段は、第１撮影画像を記憶部に記憶させる。第２撮影手段は、文字が表面の一部又は略全面に記された媒体上にハンドヘルド点字変換装置が移動した場合、カメラにより所定間隔に基づき媒体上の所定領域を表す第２撮影画像を生成する。文字認識手段は、第２撮影画像に基づき、当該第２撮影画像に対応する第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する。点字表示変換手段は、文字認識手段が認識した文字の一部又は全部を点字に変換し、表示制御手段が当該点字を点字表示部に表示させる。【選択図】図１５
2012042822.tif 000002
【特許請求の範囲】
【請求項１】
利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、
カメラと、
記憶部と、
前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、
外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影手段と、
前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶手段と、
文字が表面の一部又は略全面に記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影手段と、
前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識手段と、
前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、
前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、
を備えることを特徴とするハンドヘルド点字変換装置。
【請求項２】
前記媒体は、格子上に異なるグリッド要素が並べられたグリッド領域を備え、
前記記憶部は、前記グリッド領域内における前記グリッド要素の相対位置を記憶し、
前記文字認識手段は、前記第２撮影画像から認識される前記グリッド要素に基づき、前記対応領域を特定することを特徴とする請求項１に記載のハンドヘルド点字変換装置。
【請求項３】
前記文字認識手段は、前記グリッド領域と、前記第１撮影画像の全体領域とを対応づけ、前記第２撮影画像から認識される前記グリッド要素に基づき、前記対応領域を特定することを特徴とする請求項２に記載のハンドヘルド点字変換装置。
【請求項４】
前記文字認識手段は、外部入力に基づき、前記グリッド領域に対応させる前記第１撮影画像内の領域を一部に限定することを特徴とする請求項３に記載のハンドヘルド点字変換装置。
【請求項５】
前記文字認識手段は、前記第２撮影画像内の時系列での前記文字の変位を検出し、当該変位に基づき前記対応領域を特定することを特徴とする請求項１に記載のハンドヘルド点字変換装置。
【請求項６】
前記点字表示部は、複数の可動式の部材を有し、
前記表示制御手段は、前記媒体上に前記ハンドヘルド点字変換装置が移動した後、前記対応領域から前記第１撮影画像に存在する文字又は文字列への方向に基づき、所定の前記部材を動作させることにより、前記ハンドヘルド点字変換装置の操作を誘導することを特徴とする請求項１乃至５のいずれか一項に記載のハンドヘルド点字変換装置。
【請求項７】
前記点字表示部は、複数の可動式の部材を有し、
前記表示制御手段は、前記カメラの撮影範囲に含まれる文字又は文字列の当該撮影範囲内における位置又は大きさ若しくは範囲に基づき、所定の前記部材を動作させることにより、前記ハンドヘルド点字変換装置の操作を誘導することを特徴とする請求項１乃至６のいずれか一項に記載のハンドヘルド点字変換装置。
【請求項８】
カメラと、記憶部と、保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、を備え、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置が実行する点字変換方法であって、
外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影工程と、
前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶工程と、
文字が記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影工程と、
前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識工程と、
前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、
前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、
を備えることを特徴とする点字変換方法。
【請求項９】
カメラと、記憶部と、保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、を備え、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置に搭載され実行されるプログラムであって、
外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影手段、
前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶手段、
文字が記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影手段、
前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識手段、
前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、
前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、
として前記ハンドヘルド点字変換装置を機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点字などの情報を表示する手法に関する。
【背景技術】
【０００２】
従来から、情報を触覚により利用者に伝達する技術が知られている。例えば、特許文献１には、視覚障害者用の文字閲覧装置として、カメラにより撮像された文字列の電子データを点字に変換し表示するハンドヘルド型の点字変換装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１０／０２９９８０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術によれば、利用者は、閲覧したい文書の上に点字変換装置を載せて当該装置を移動させることで当該文書の文字を点字により閲覧することができる。一方、利用者は、壁にかかった掲示板など利用者の手元に置くことができない文書、及び、手元に置くことができる文書であっても文書の文字が大きすぎて文字列として認識できない文書についても点字により閲覧することができると便宜である。
【０００５】
本発明が解決しようとする課題としては、上記のようなものが例として挙げられる。本発明は、利用者の手元に置くことができない文書及び手元に置くことができる文書であっても文書の文字が大きすぎて文字列として認識できない文書についても点字表示することが可能なハンドヘルド点字変換装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、カメラと、記憶部と、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影手段と、前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶手段と、文字が表面の一部又は略全面に記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影手段と、前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備えることを特徴とする。
【０００７】
請求項８に記載の発明では、カメラと、記憶部と、保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、を備え、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置が実行する点字変換方法であって、外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影工程と、前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶工程と、文字が記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影工程と、前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備えることを特徴とする。
【０００８】
請求項９に記載の発明では、カメラと、記憶部と、保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、を備え、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置に搭載され実行されるプログラムであって、外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影手段、前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶手段、文字が記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影手段、前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識手段、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】ハンドヘルド点字変換装置の構成を示すブロック図の一例である。
【図２】ハンドヘルド点字変換装置の構造を示すブロック図の一例である。
【図３】点字表示部の平面図の一例である。
【図４】グリッド板の平面図の一例である。
【図５】遠隔モードにおける撮影対象と撮影範囲との関係を示す図である。
【図６】第１撮影画像読み取り処理を模式的に示した図である。
【図７】グリッド対応変更処理を実行した後のグリッド領域及びこれに対応する第１撮影画像の例を示す図である。
【図８】第１撮影画像を読み取る際の誘導時の点字表示の例を示す。
【図９】第１撮影画像を読み取る際の誘導時の点字表示の例を示す。
【図１０】第１撮影画像を読み取る際の誘導時の点字表示の例を示す。
【図１１】撮影誘導期間における点字表示の例を示す。
【図１２】撮影誘導期間における点字表示の例を示す。
【図１３】撮影誘導期間における点字表示の例を示す。
【図１４】撮影誘導期間における点字表示の例を示す。
【図１５】第１実施形態の処理手順を示すフローチャートの一例である。
【図１６】第２実施形態における第１撮影画像読み取り処理を模式的に示した図である。
【発明を実施するための形態】
【００１０】
本発明の１つの観点では、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、カメラと、記憶部と、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影手段と、前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶手段と、文字が表面の一部又は略全面に記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影手段と、前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備える。
【００１１】
上記のハンドヘルド点字変換装置は、カメラと、記憶部と、点字表示部と、第１撮影手段と、第１撮影画像記憶手段と、第２撮影手段と、文字認識手段と、点字変換手段と、表示制御手段と、を備え、文字の読み取りから点字の出力までを一台で完結する。また、上記のハンドヘルド点字変換装置は、片手で持てるぐらいのサイズである。点字表示部は、ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する。第１撮影手段は、利用者の操作に基づく外部入力に基づき、カメラにより第１撮影画像を生成する。外部入力は、例えば利用者による所定のボタンの押下である。第１撮影画像記憶手段は、第１撮影画像を記憶部に記憶させる。第２撮影手段は、文字が表面の一部又は略全面に記された媒体上にハンドヘルド点字変換装置が移動した場合、カメラにより所定間隔に基づき媒体上の所定領域を表す第２撮影画像を生成する。ここで、媒体は、文字が一部又は略全面に記された表面を備える。また、「文字」には、数字、記号等も含まれる。文字認識手段は、第２撮影画像に基づき、当該第２撮影画像に対応する第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する。点字表示変換手段は、文字認識手段が認識した文字の一部又は全部を点字に変換し、表示制御手段が当該点字を点字表示部に表示させる。このようにすることで、ハンドヘルド点字変換装置は、利用者の手元に置くことができない文書を点字表示することができる。
【００１２】
上記のハンドヘルド点字変換装置の一態様では、前記媒体は、格子上に異なるグリッド要素が並べられたグリッド領域を備え、前記記憶部は、前記グリッド領域内における前記グリッド要素の相対位置を記憶し、前記文字認識手段は、前記第２撮影画像から認識される前記グリッド要素に基づき、前記対応領域を特定する。ここで、「グリッド要素」とは、例えば数字、記号、その他文字などが該当する。このようにすることで、ハンドヘルド点字変換装置は、グリッド領域内におけるハンドヘルド点字変換装置の相対位置を把握することができ、これに応じて撮影した第１撮影画像を点字表示することができる。
【００１３】
上記のハンドヘルド点字変換装置の他の一態様では、前記文字認識手段は、前記グリッド領域と、前記第１撮影画像の全体領域とを対応づけ、前記第２撮影画像から認識される前記グリッド要素に基づき、前記対応領域を特定する。このようにすることで、ハンドヘルド点字変換装置は、第１撮影画像内に存在する全ての文字又は文字列を、グリッド領域内の相対位置に応じて、点字表示することができる。
【００１４】
上記のハンドヘルド点字変換装置の他の一態様では、前記文字認識手段は、外部入力に基づき、前記グリッド領域に対応させる前記第１撮影画像内の領域を一部に限定する。このようにすることで、ハンドヘルド点字変換装置は、読み取る文字の間隔を大きくすることができ、利用者の利便性を向上させることができる。
【００１５】
上記のハンドヘルド点字変換装置の他の一態様では、前記文字認識手段は、前記第２撮影画像内の時系列での前記文字の変位を検出し、当該変位に基づき前記対応領域を特定する。このようにすることで、ハンドヘルド点字変換装置は、利用者の操作に応じて、点字表示させる範囲を移動させ、第１撮影画像内の文字列を点字表示することができる。
【００１６】
上記のハンドヘルド点字変換装置の他の一態様では、前記点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記媒体上に前記ハンドヘルド点字変換装置が移動した後、前記対応領域から前記第１撮影画像に存在する文字又は文字列への方向に基づき、所定の前記部材を動作させることにより、前記ハンドヘルド点字変換装置の操作を誘導する。このようにすることで、ハンドヘルド点字変換装置は、利用者に当該装置を適切に移動させ、第１撮影画像内の文字を点字表示により読み取らせることができる。
【００１７】
上記のハンドヘルド点字変換装置の他の一態様では、前記点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記カメラの撮影範囲に含まれる文字又は文字列の当該撮影範囲内における位置又は大きさ若しくは範囲に基づき、所定の前記部材を動作させることにより、前記ハンドヘルド点字変換装置の操作を誘導する。ここで、「ハンドヘルド点字変換装置の操作」とは、例えばハンドヘルド点字変換装置の位置の変更、カメラの倍率（ズーム）の変更等の操作が該当する。このようにすることで、ハンドヘルド点字変換装置は、点字表示可能なように第１撮影画像を利用者に撮影させることができる。
【００１８】
本発明の他の観点では、カメラと、記憶部と、保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、を備え、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置が実行する点字変換方法であって、外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影工程と、前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶工程と、文字が記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影工程と、前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備える。ハンドヘルド点字変換装置は、この方法を使用することで、利用者の手元に置くことができない文書を点字表示することができる。
【００１９】
本発明のさらに別の観点では、カメラと、記憶部と、保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、を備え、利用者が片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置に搭載され実行されるプログラムであって、外部入力に基づき、前記カメラにより第１撮影画像を生成する第１撮影手段、前記第１撮影画像を前記記憶部に記憶させる第１撮影画像記憶手段、文字が記された媒体上に前記ハンドヘルド点字変換装置が移動した場合、前記カメラにより前記媒体上の所定領域を表す第２撮影画像を生成する第２撮影手段、前記第２撮影画像に基づき、当該第２撮影画像に対応する前記第１撮影画像の対応領域を特定し、当該対応領域内の文字の有無を検知し、存在する文字を認識する文字認識手段、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させる。ハンドヘルド点字変換装置は、このプログラムを搭載し実行することで、利用者の手元に置くことができない文書を点字表示することができる。
【実施例】
【００２０】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２１】
＜第１実施形態＞
［構成］
まず、本発明の第１実施形態に係るハンドヘルド点字変換装置１の構成について図１乃至図４を用いて説明する。後述するように、ハンドヘルド点字変換装置１は、利用者の手元に存在する文書等から撮影した画像を実時間で解析し点字表示するモード（「通常モード」と呼ぶ。）に加え、利用者から離れた位置に存在する文書等を予め撮影した後、その撮影画像を解析して点字表示するモード（「遠隔モード」とも呼ぶ。）を備える。
【００２２】
（ハードウェア構成）
図１は、本発明の本実施例に係るハンドヘルド点字変換装置１を模式的に表した図である。図示のように、ハンドヘルド点字変換装置１は、点字表示部１０、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、及びボタン１８を備える。
【００２３】
点字表示部１０は、図示のように複数の可動式ピン２１を備え、これを昇降させて凸形状を形成することにより点字を表示する。可動式ピン２１の配置などの詳細については後述する。
【００２４】
カメラ１５は、利用者が印刷物の上にハンドヘルド点字変換装置１を置くことにより、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、所定間隔ごとに撮影画像をＣＰＵ１１に送信する。また、後述するように、カメラ１５は、遠隔モードでは、利用者が指定したタイミングで撮影された撮影画像を生成し、ＣＰＵ１１に送信する。カメラ１５は、たとえば、ＣＣＤカメラである。
【００２５】
ＲＯＭ１３は、漢字と読みとを対応つけた辞書情報と、読みと点字、又は、文字と点字とを対応付けた点字定義情報と、後述するグリッド情報と、ＣＰＵにより実行されるプログラムを記憶している。なお、辞書情報、点字定義情報及びグリッド情報の一部はＲＡＭ１２に記憶されていてもよい。以後では、ＲＡＭ１２及びＲＯＭ１３を、単に「記憶部」と総称する。
【００２６】
ＣＰＵ１１は、ハンドヘルド点字変換装置１の全般的な制御を行う。具体的には、ＣＰＵ１１は、通常モードでは、予め記憶部に記憶されたプログラムを実行することにより、カメラ１５から取得した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ；光学文字認識）処理を実行することで、文字の認識を行う。また、ＣＰＵ１１は、記憶部に記憶された辞書情報及び点字定義情報を参照し、認識した文字を点字に変換する。なお、ＣＰＵ１１は、検知した文字全てを点字に変換するようにしてもよく、一部（例えば、点字表示部１０で表示可能な文字数）のみを点字に変換するようにしてもよい。そして、ＣＰＵ１１は、変換した点字を点字表示部１０に表示させる。
【００２７】
また、ＣＰＵ１１は、遠隔モードでは、利用者が指定したタイミングで撮影された撮影画像（以後、「第１撮影画像Ｉ１」と呼ぶ。）を生成し、記憶部に記憶させる。そして、ＣＰＵ１１は、第１撮影画像Ｉ１内の文字列を、後述する図５に示すグリッド領域３１を撮影した撮影画像（以後、「第２撮影画像Ｉ２」と呼ぶ。）に基づき特定し、点字に変換する。遠隔モードの詳細については、後述する［遠隔モード］のセクションで詳しく説明する。
【００２８】
また、ＣＰＵ１１は、ハンドヘルド点字変換装置１の現在の位置が適切か否か知らせると共に、必要に応じて利用者の操作を誘導するための表示を、点字表示部１０に表示させる。以後では、ＣＰＵ１１が可動式ピン２１を昇らせて凸形状を形成することを、「可動式ピン２１を立たせる」とも表現する。
【００２９】
このように、ＣＰＵ１１は、本発明における「第１撮影手段」、「第１撮影画像記憶手段」、「第２撮影手段」、「文字認識手段」、「点字変換手段」、「表示制御手段」の一例である。
【００３０】
電源１４は、ハンドヘルド点字変換装置１に電力を供給する。レンズ１６は、カメラ１５のレンズであり、照明用ＬＥＤ１７は、カメラ１５が文字を撮影する際に必要な光源である。なお、レンズ１６は、通常モードと遠隔モードの切り換えに合わせて、焦点距離を切り換えるようにしてもよい。
【００３１】
ボタン１８は、遠隔モードに関連した操作を行うためのインターフェースである。ボタン１８の具体的な用途については後述する。
【００３２】
図２は、本発明の本実施例に係るハンドヘルド点字変換装置１の構造を示す。図２（ａ）はハンドヘルド点字変換装置１の内部構造を示す側面透視図であり、図２（ｂ）はハンドヘルド点字変換装置１の内部構造を破線で表示した俯瞰図である。ハンドヘルド点字変換装置１は、利用者が片手で保持した状態で移動させることが可能なハンドヘルド型装置であり、内部に点字表示部１０、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、システムコントローラ１９、を備える。カメラ１５とシステムコントローラ１９、システムコントローラ１９と点字表示部１０、システムコントローラ１９と電源１４はそれぞれ配線により電気的に接続されている。
【００３３】
点字表示部１０は、利用者が片手の親指及び小指でこのハンドヘルド点字変換装置１を保持した状態で人差し指、中指及び薬指の少なくともいずれかの指で点字表示部１０に接触可能な位置に配置されている。
【００３４】
ボタン１８は、点字表示部１０と同様に、利用者の人差し指、中指及び薬指の少なくともいずれかの指で接触可能なように位置に配置されている。
【００３５】
カメラ１５、レンズ１６及び照明用ＬＥＤ１７は、点字表示部１０の直下周辺に配置されている。本実施例では、点字表示部１０の直下部分とこの部分から所定距離以内の部分を直下周辺とする。所定距離とは、例えば３ｃｍである。
【００３６】
システムコントローラ１９は、ＣＰＵ１１、ＲＡＭ１２及びＲＯＭ１３を含んでおり、ハンドヘルド点字変換装置１全体の制御を行う。電源１４は、例えば電池などで構成され、システムコントローラ１９に電力を供給し、システムコントローラ１９を介し、各部品に電力を供給する。なお、電源１４が、システムコントローラ１９を介さず、各部品に直接電力を供給するようにしてもよい。
【００３７】
（点字表示部の構成）
次に、点字表示部１０の構成について図３を用いて説明する。図３は、点字表示部１０の平面図を示す。
【００３８】
点字表示部１０は、計６４個の可動式ピン２１が配置される。可動式ピン２１は２列４行の計８個で１つの単位点字表示部２２を構成する。従って、点字表示部１０は、合計８つの単位点字表示部２２Ｌ、２２Ａ乃至２２Ｆ、２２Ｒが横並びに配置されている。
【００３９】
このうち、単位点字表示部２２Ａ乃至２２Ｆは、点字を表示する部分に相当する。具体的には、単位点字表示部２２Ａ乃至２２Ｆは、各々が８個の可動式ピン２１を昇降し、凸形状を形成することにより点字を表示する。そして、単位点字表示部２２Ａ乃至２２Ｆは、１つ又は２つで１文字を表す。以後では、単位点字表示部２２Ａ乃至２２Ｆに配置された可動式ピン２１を、「第１ピン」と称す。
【００４０】
一方、単位点字表示部２２Ｌ、２２Ｒは、可動式ピン２１の全部または一部を突出させることで、利用者の操作の誘導を行う。以後では、単位点字表示部２２Ｌ、２２Ｒに配置された可動式ピン２１を、「第２ピン」と呼ぶ。なお、具体的な利用者の操作の誘導方法については、［誘導方法］のセクションで詳しく説明する。
【００４１】
（グリッドの構成）
図４は、遠隔モードで使用されるグリッド板３０を俯瞰した平面図である。具体的には、図４に示すグリッド板３０は、第１撮影画像Ｉ１が生成された後、ハンドヘルド点字変換装置１が第１撮影画像Ｉ１のうち文字認識を行う対象となる領域を特定する際に使用される。グリッド板３０は、本発明における「媒体」の一例である。
【００４２】
図４に示すように、グリッド板３０は、例えば手のひら上に載せて当該手の指により固定可能な略四角形の板である。グリッド板３０は、中央付近に数字がマトリクス上に等間隔で並べられた略正方形のグリッド領域３１と、グリッド領域３１を囲み、手のひら等で把持される際に指を置く領域となる枠３２と、を備える。グリッド領域３１は、１０行１０列に「００」から「９９」までの数字（「グリッド数字」とも呼ぶ。）が格子状に等間隔で並べられている。各グリッド数字は、略正方形により区切られた単位領域３１０上に表示されている。
【００４３】
ハンドヘルド点字変換装置１は、グリッド領域３１内における各グリッド数字及びその単位領域３１０の位置情報（以後、「グリッド情報」とも呼ぶ。）を記憶部に予め記憶する。ハンドヘルド点字変換装置１は、例えば、グリッド数字「００」の単位領域３１０の位置を（０、０）とし、グリッド数字「９９」の単位領域３１０の位置を（９、９）とした２次元座標として、グリッド領域３１内の単位領域３１０の位置をグリッド情報として記憶する。そして、グリッド数字及び単位領域３１０は、本発明における「グリッド要素」の一例である。
【００４４】
［遠隔モード］
次に、ＣＰＵ１１が実行する遠隔モードでの制御方法について図５から図７を参照して説明する。
【００４５】
まず、ＣＰＵ１１は、通常モード時に、ボタン１８が押下されたことを検出した場合、遠隔モードに移行する。さらに、ＣＰＵ１１は、遠隔モード中に、所定のタイミングに基づき、例えばボタン１８が押下されてから開放されたことを検出した場合、カメラ１５により第１撮影画像Ｉ１の撮影を行う。これについて図５を参照して説明する。
【００４６】
図５は、遠隔モード時に第１撮影画像Ｉ１を生成する際の撮影対象５０とカメラ１５による撮影範囲「Ｗｓ」との関係を示す。図５に示すように、撮影範囲Ｗｓ内に撮影対象５０の全体が収まっている。撮影対象５０は、例えば壁に掛かった掲示板等であり、撮影対象５０には、１行又は複数行の文字列である文字列「Ｓｔ１」、「Ｓｔ２」、「Ｓｔ３」が存在する。そして、ＣＰＵ１１は、例えば押下されていたボタン１８が開放されたと判断した場合、当該撮影範囲Ｗｓを画像化した第１撮影画像Ｉ１をカメラ１５により生成する。
【００４７】
なお、後述するように、ＣＰＵ１１は、利用者が第１撮影画像Ｉ１の撮影を行う際、即ち、ボタン１８が押下されてから開放されるまでの期間（以後、「撮影誘導期間」と呼ぶ。）に、所望の文字列が撮影範囲Ｗｓ内に収まるようにハンドヘルド点字変換装置１の位置の変更又はカメラ１５の倍率の変更を誘導する。これについては、［誘導方法］のセクションで詳しく説明する。
【００４８】
第１撮影画像Ｉ１が生成された後、ハンドヘルド点字変換装置１は、利用者の操作により、グリッド板３０のグリッド領域３１上に乗せられる。この場合、撮影範囲Ｗｓ内に単位領域３１０が１又は複数存在する。
【００４９】
そして、ＣＰＵ１１は、カメラ１５から所定間隔で取得される第２撮影画像Ｉ２に基づき、撮影範囲Ｗｓのグリッド領域３１における相対的な位置を把握する。そして、ＣＰＵ１１は、グリッド領域３１と第１撮影画像Ｉ１全体とを対応付けた場合の、撮影範囲Ｗｓのグリッド領域３１における相対的な位置に対応する第１撮影画像Ｉ１内の領域（以後、「対応領域Ｔｃ」と呼ぶ。）に存在する文字列を認識する。以後、この処理を「第１撮影画像読み取り処理」と呼ぶ。
【００５０】
これについて、図６を参照して具体的に説明する。図６は、第１撮影画像読み取り処理を模式的に示した図である。図６は、説明の便宜上、撮影範囲Ｗｓが無地に塗りつぶされた上で破線枠が付され、かつ、グリッド領域３１に第１撮影画像Ｉ１全体を重ね合わせた場合の文字列Ｓｔ１〜Ｓｔ３の範囲が同じく無地に塗りつぶされた上で破線枠が付されている。即ち、図６では、図５で撮影した第１撮影画像Ｉ１の四隅Ｃｈｌ、Ｃｈｒ、Ｃｌｌ、Ｃｌｒがそれぞれグリッド数字「００」、「０９」、「９０」、「９９」の単位領域３１０に配置されるように第１撮影画像Ｉ１が拡縮されて、その文字列Ｓｔ１〜Ｓｔ３がグリッド領域３１に重ねられて表示されている。
【００５１】
図６に示すように、文字列Ｓｔ１は、グリッド領域３１では、グリッド数字「００」、「０１」、「０２」、「０３」の単位領域３１０に相当する位置に存在する。また、文字列Ｓｔ２は、グリッド領域３１では、グリッド数字「４５」、「４６」、「４７」、「４８」の単位領域３１０に相当する位置に存在する。さらに、文字列Ｓｔ３は、グリッド領域３１では、グリッド数字「８０」、「８１」、「８２」、「８３」の単位領域３１０に相当する位置に存在する。また、撮影範囲Ｗｓは、グリッド数字「３６」、「３７」、「３８」、「４６」、「４７」、「４８」、「５６」、「５７」、「５８」の単位領域３１０に定められている。
【００５２】
従って、この場合、ＣＰＵ１１は、撮影範囲Ｗｓと重なるグリッド数字「４６」、「４７」、「４８」の単位領域３１０に位置する文字列Ｓｔ２の一部が撮影範囲Ｗｓに含まれると見なして文字認識を行い、その全部又は一部を点字表示部１０により点字表示させる。
【００５３】
このように、ＣＰＵ１１は、図６に示すように、グリッド領域３１と第１撮影画像Ｉ１とを対応させ、撮影範囲Ｗｓと重なる第１撮影画像Ｉ１の対応領域Ｔｃに基づき点字表示を行う。これにより、ＣＰＵ１１は、閲覧したい文書がハンドヘルド点字変換装置１を直接把持できない場所にあり、通常モードでは読み取ることができない場合であっても、遠隔モードではその文書の内容を点字表示して利用者に伝達することができる。
【００５４】
また、ＣＰＵ１１は、利用者の操作に基づき、グリッド領域３１と対応させる第１撮影画像Ｉ１の領域を一部に限定することで、第１撮影画像Ｉ１を操作上拡大させる。以後、この処理を「グリッド対応変更処理」と呼ぶ。一般に、第１撮影画像Ｉ１中の文字の間隔が狭い場合には、点字対象となる文字の間隔が狭くなる。従って、この場合、ＣＰＵ１１は、グリッド領域３１と対応させる第１撮影画像Ｉ１の領域を一部に限定することで、点字対象の文字の間隔を利用者が扱いやすい間隔に調整することができる。
【００５５】
グリッド対応変更処理についてさらに詳しく説明する。例えば、ＣＰＵ１１は、ハンドヘルド点字変換装置１がグリッド領域３１上に把持された後、ボタン１８の長押し又は所定回数の連続押下などの所定の操作を検出した場合、グリッド対応変更処理を行う。例えば、この場合、ＣＰＵ１１は、撮影範囲Ｗｓの中心にある単位領域３１０とその周辺の単位領域３１０を、グリッド領域３１の全体と対応させる。
【００５６】
図７は、図６の状態からグリッド対応変更処理を実行した後のグリッド領域３１及びこれに対応する第１撮影画像Ｉ１を示す。図７に示すように、ＣＰＵ１１は、図６に示す位置に撮影範囲Ｗｓがある場合、撮影範囲Ｗｓの中心に位置するグリッド数字「４７」の単位領域３１０と当該領域を囲むグリッド数字「３６」、「３７」、「３８」、「４６」、「４８」、「５６」、「５７」、「５８」の単位領域３１０に相当する第１撮影画像Ｉ１の領域を、グリッド領域３１全体に対応させる。即ち、図７では、図５に示す破線枠Ｗｒｅｄ内の領域がグリッド領域３１全体に対応している。また、図６、７に示すように、グリッド対応変更処理の前後で、文字列Ｓｔ２の領域が拡大している。従って、結果として、図７では、図６に比べて文字列Ｓｔ２の文字間隔が拡大する。このように、ＣＰＵ１１は、利用者の操作に基づきグリッド対応変更処理を実行することで、点字対象の文字の間隔を利用者が扱いやすい間隔に調整することができる。また、ＣＰＵ１１は、グリッド対応変更処理の実行後、再びボタン１８の長押し又は連続押下などの所定の操作を検出した場合、グリッド領域３１と第１撮影画像Ｉ１との対応を、グリッド対応変更処理の実行前の状態に戻す。
【００５７】
［誘導方法］
次に、第２ピンの動作制御による利用者の操作の誘導方法について説明する。第１に、ＣＰＵ１１は、第１撮影画像読み取り処理の開始時又は処理中に、ハンドヘルド点字変換装置１の移動方向（以後、単に「移動方向」と呼ぶ。）を誘導する。第２に、ＣＰＵ１１は、第１撮影画像Ｉ１の撮影誘導期間に、撮影範囲Ｗｓと文字列との位置を修正するように利用者の操作を誘導する。
【００５８】
以下、これらについて場合分けして説明する。以後では、「横軸方向」とは、図６に示す矢印Ｙｒの方向を指し、「縦軸方向」とは、矢印Ｙｃの方向を指す。また、「左方向」とは、横軸方向のうち、単位領域３１０の数字が小さくなる方向を指し、「右方向」とは、その逆方向を指す。また、「上方向」とは、縦軸方向のうち、単位領域３１０内のグリッド数字が小さくなる方向を指し、「下方向」とは、その逆方向を指す。
【００５９】
（第１撮影画像Ｉ１を読み取る際の誘導）
ＣＰＵ１１は、ハンドヘルド点字変換装置１がグリッド領域３１上に乗せられたときに撮影範囲Ｗｓに対応する第１撮影画像Ｉ１の対応領域Ｔｃに文字列が存在しない場合、又は、点字表示した文字列と次に点字表示すべき文字列とが離れていた場合に、次に点字対象となる文字列（以後、「点字対象文字列Ｓｔｔａｇ１」と呼ぶ。）へ移動方向を誘導する。
【００６０】
まず、点字対象文字列Ｓｔｔａｇ１の決定方法について説明する。例えば、ＣＰＵ１１は、第１撮影画像Ｉ１中の最も左上に存在する文字列、又は、撮影範囲Ｗｓに最も近い文字列等に点字対象文字列Ｓｔｔａｇ１を定める。そして、当該文字列の点字表示を実行した後、ＣＰＵ１１は、第１撮影画像Ｉ１中のそれぞれの文字列が表示済みかどうか記憶しておいて、次の未読の文字列を点字対象文字列Ｓｔｔａｇ１と定めて誘導する。他の例では、ＣＰＵ１１は、ユーザ操作による「次」や「前」の指示に応じて、該当する文字列を点字対象文字列Ｓｔｔａｇ１に定めて誘導する。この場合、上述の指示に該当する文字列が複数存在する場合には、ＣＰＵ１１は、例えば、一般的な文書の文字列の順序、例えば、より左より上にある文字列を優先的に点字対象文字列Ｓｔｔａｇ１に定めて誘導を行う。なお、点字対象文字列Ｓｔｔａｇ１は、１行の文字列に限らず複数行の文字列であってもよい。
【００６１】
次に、誘導時の点字表示方法について説明する。概略的には、ＣＰＵ１１は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、点字対象文字列Ｓｔｔａｇ１の方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げる。なお、この際、利用者は、グリッド板３０の位置は変えず、ハンドヘルド点字変換装置１の位置を修正する。
【００６２】
以後、この具体例について、図８乃至図１０を参照しつつ、８のパターン（具体例１乃至具体例８）に場合分けしてそれぞれ説明する。
【００６３】
なお、図８乃至図１０では、突出していないピンを「○」で表し、突出しているピンを「○の中に×」で表す。また、単位点字表示部２２Ｌ、２２Ｒの２列４行に配置された各可動式ピン２１を、図面上の左から順に列番号を付すと共に、上から順に行番号を付して特定する。
【００６４】
１．左上方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図８（ａ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して左上方向に存在する場合の可動式ピン２１の状態を示す。図８（ａ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第１行目の２つの第２ピン及び第２行目かつ第１列目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を左上方向に移動させるように利用者の操作を誘導する。
【００６５】
２．右上方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図８（ｂ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して右上方向に存在する場合の可動式ピン２１の状態を示す。図８（ｂ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｒの第１行目の２つの第２ピン及び第２行目かつ第２列目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を右上方向に移動させるように利用者の操作を誘導する。
【００６６】
３．左方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図８（ｃ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して左方向に存在する場合の可動式ピン２１の状態を示す。なお、図８（ｃ）では、点字対象文字列Ｓｔｔａｇ１と撮影範囲Ｗｓとは縦軸方向では略一致している。図８（ｃ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第１列目の４つの第２ピン及び第２列目の第１行目及び第４行目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を左方向に移動させるように利用者の操作を誘導する。
【００６７】
４．左下方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図９（ａ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して左下方向に存在する場合の可動式ピン２１の状態を示す。図９（ａ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第４行目の２つの第２ピン及び第３行目かつ第１列目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を左下方向に移動させるように利用者の操作を誘導する。
【００６８】
５．右下方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図９（ｂ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して右下方向に存在する場合の可動式ピン２１の状態を示す。図９（ｂ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｒの第４行目の２つの第２ピン及び第３行目かつ第２列目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を右下方向に移動させるように利用者の操作を誘導する。
【００６９】
６．右方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図９（ｃ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して右方向に存在する場合の可動式ピン２１の状態を示す。なお、図９（ｃ）では、点字対象文字列Ｓｔｔａｇ１と撮影範囲Ｗｓとは縦軸方向では略一致している。図９（ｃ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｒの第２列目の４つの第２ピン及び第１列目の第１行目及び第４行目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を右方向に移動させるように利用者の操作を誘導する。
【００７０】
７．上方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図１０（ａ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して上方向に存在する場合の可動式ピン２１の状態を示す。なお、図１０（ａ）では、点字対象文字列Ｓｔｔａｇ１と撮影範囲Ｗｓとは横軸方向では略一致している。図１０（ａ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第１行目の２つの第２ピン及び第１列目かつ第２行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの第１行目の２つの第２ピン及び第２列目かつ第２行目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を上方向に移動させるように利用者の操作を誘導する。
【００７１】
８．下方向に点字対象文字列Ｓｔｔａｇ１が存在する場合
図１０（ｂ）は、点字対象文字列Ｓｔｔａｇ１が撮影範囲Ｗｓに対して下方向に存在する場合の可動式ピン２１の状態を示す。なお、図１０（ｂ）では、点字対象文字列Ｓｔｔａｇ１と撮影範囲Ｗｓとは横軸方向では略一致している。図１０（ｂ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第４行目の２つの第２ピン及び第１列目かつ第３行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの第４行目の２つの第２ピン及び第２列目かつ第３行目の第２ピンを立たせる。これにより、ＣＰＵ１１は、点字対象文字列Ｓｔｔａｇ１に合わせてハンドヘルド点字変換装置１を下方向に移動させるように利用者の操作を誘導する。
【００７２】
（撮影誘導期間における誘導）
ＣＰＵ１１は、通常モードの状態でボタン１８が押下されてから開放されるまでの撮影誘導期間に、撮影対象となる１又は複数の文字列（以後、「撮影対象文字列Ｓｔｔａｇ２」と呼ぶ。）が撮影範囲Ｗｓ内で文字認識が適切に実行される位置になるように誘導を行う。ＣＰＵ１１は、例えば、撮影誘導期間中に、撮影範囲Ｗｓ内に文字又は文字列を検出した場合、以下に説明する誘導を実行する。
【００７３】
以後、この具体例について、図１１乃至図１４を参照しつつ、１０のパターン（具体例１乃至具体例１０）に場合分けしてそれぞれ説明する。
【００７４】
なお、図１１乃至図１４では、突出していないピンを「○」で表し、突出しているピンを「○の中に×」で表す。また、所定時間幅に複数回上下動（ピストン）させる（以後、単に「上下動させる」とも表現する。）ピンを「黒丸」で示す。また、単位点字表示部２２Ｌ、２２Ｒの２列４行に配置された各可動式ピン２１を、図面上の左から順に列番号を付すと共に、上から順に行番号を付して特定する。
【００７５】
具体例１〜３では、ＣＰＵ１１は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、誘導したい方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げる。
【００７６】
また、具体例４、５、１０では、ＣＰＵ１１は、概略的には、撮影範囲Ｗｓの左側を撮影対象文字列Ｓｔｔａｇ２から離すように誘導する場合には、単位点字表示部２２Ｌの第１列目かつ第１行目及び第４行目の２つの第２ピンを上下動させ、撮影範囲Ｗｓの左側を撮影対象文字列Ｓｔｔａｇ２に近づけるように誘導する場合には、単位点字表示部２２Ｌの第２列目かつ第２行目及び第３行目の２つの第２ピンを上下動させる。また、具体例４〜１０において、ＣＰＵ１１は、撮影範囲Ｗｓの右側を撮影対象文字列Ｓｔｔａｇ２から離すように誘導する場合には、単位点字表示部２２Ｒの第２列目の第１行目及び第４行目の２つの第２ピンを上下動させ、撮影範囲Ｗｓの右側を撮影対象文字列Ｓｔｔａｇ２に近づけるように誘導する場合には、単位点字表示部２２Ｒの第１列目の第２行目及び第３行目の２つの第２ピンを上下動させる。
【００７７】
また、具体例６〜９では、ＣＰＵ１１は、撮影範囲Ｗｓの中心（単に「中心Ｃｗ」と呼ぶ。）が撮影対象文字列Ｓｔｔａｇ２の中心（単に「中心Ｃｓ」と呼ぶ。）より下方向に存在する場合には、単位点字表示部２２Ｌの第２列目かつ第３行目及び単位点字表示部２２Ｒの第１列目かつ第３行目の第２ピンを上下動させる。また、ＣＰＵ１１は、中心Ｃｗが中心Ｃｓより上方向に存在する場合には、単位点字表示部２２Ｌの第２列目かつ第２行目及び単位点字表示部２２Ｒの第１列目かつ第２行目の第２ピンを上下動させる。さらに、ＣＰＵ１１は、中心Ｃｗが中心Ｃｓより左側に存在する場合には、単位点字表示部２２Ｌの第２列目かつ第２行目及び第３行目の２つの第２ピンを上下動させる。また、ＣＰＵ１１は、中心Ｃｗが中心Ｃｓより右側に存在する場合には、単位点字表示部２２Ｒの第１列目かつ第２行目及び第３行目の２つの第２ピンを上下動させる。
【００７８】
１．撮影範囲Ｗｓが時計回りに傾いている場合
図１１（ａ）は、撮影範囲Ｗｓが撮影対象文字列Ｓｔｔａｇ２に対し矢印Ｙｒｈが示す時計回りに傾いている場合の可動式ピン２１の状態を示す。図１１（ａ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第１列目かつ第３行目の第２ピン及び第２列目かつ第４行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの第１列目かつ第１行目の第２ピン及び第２列目かつ第２行目の第２ピンを立たせる。これにより、ＣＰＵ１１は、撮影対象文字列Ｓｔｔａｇ２に合わせてハンドヘルド点字変換装置１を矢印Ｙａｎｔが示す反時計回りに回転させるように利用者の操作を誘導する。
【００７９】
２．撮影範囲Ｗｓが反時計回りに傾いている場合
図１１（ｂ）は、撮影範囲Ｗｓが撮影対象文字列Ｓｔｔａｇ２に対し矢印Ｙａｎｔが示す反時計回りに傾いている場合の可動式ピン２１の状態を示す。図１１（ｂ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第１列目かつ第２行目の第２ピン及び第２列目かつ第１行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの第１列目かつ第４行目の第２ピン及び第２列目かつ第３行目の第２ピンを立たせる。これにより、ＣＰＵ１１は、撮影対象文字列Ｓｔｔａｇ２に合わせてハンドヘルド点字変換装置１を矢印Ｙｒｈが示す時計回りに回転させるように利用者の操作を誘導する。
【００８０】
３．撮影範囲Ｗｓが時計回り又は反時計回りのいずれにも傾いていない場合
図１１（ｃ）は、撮影範囲Ｗｓが撮影対象文字列Ｓｔｔａｇ２に対し時計回り又は反時計回りのいずれの方向にもずれていない場合の可動式ピン２１の状態を示す。図１１（ｃ）に示すように、ＣＰＵ１１は、この場合、単位点字表示部２２Ｌの第１列目かつ第２行目及び第３行目の２つの第２ピン及び第２列目かつ第１行目及び第４行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第１列目かつ第１行目及び第４行目の２つの第２ピン及び第２列目かつ第２行目及び第３行目の第２ピンを立たせる。これにより、ＣＰＵ１１は、利用者に対し、撮影範囲Ｗｓが時計回り又は反時計回りのいずれにも調整する必要がないことを伝えることができる。
【００８１】
なお、以後に説明する具体例４〜１０は、撮影範囲Ｗｓが時計回り又は反時計回りのいずれにも傾いていない場合に相当する。従って、ＣＰＵ１１は、具体例４〜１０では、第２ピンを原則的に図１１（ｃ）に示す状態に保ちつつ、一部の所定の第２ピンを上下動させることで、撮影範囲Ｗｓの傾き以外の所定の誘導を行う。
【００８２】
４．撮影範囲Ｗｓに撮影対象文字列Ｓｔｔａｇ２が入りきらない場合
図１２（ａ）は、撮影範囲Ｗｓが撮影対象文字列Ｓｔｔａｇ２に対して小さい場合の可動式ピン２１の状態を示す。図１２（ａ）に示すように、ＣＰＵ１１は、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｒの第２列目かつ第１行目及び第４行目の２つの第２ピン及び単位点字表示部２２Ｌの第１列目かつ第１行目及び第４行目の２つの第２ピンを上下動させる。即ち、この場合、ＣＰＵ１１は、利用者に対し、撮影範囲Ｗｓが時計回り又は反時計回りのいずれにも調整する必要がないことを伝えつつ、撮影範囲Ｗｓを拡大するように誘導する。これに応じて、利用者は、ハンドヘルド点字変換装置１を撮影対象文字列Ｓｔｔａｇ２から遠ざけるか、又は、カメラ１５の倍率を下げて、撮影範囲Ｗｓ内に撮影対象文字列Ｓｔｔａｇ２が入るように調整する。
【００８３】
５．撮影範囲Ｗｓに占める撮影対象文字列Ｓｔｔａｇ２の範囲が小さい場合
図１２（ｂ）は、撮影範囲Ｗｓに占める撮影対象文字列Ｓｔｔａｇ２の範囲が小さい場合の可動式ピン２１の状態を示す。例えば、ＣＰＵ１１は、撮影範囲Ｗｓの横軸方向の幅と、撮影対象文字列Ｓｔｔａｇ２の横軸方向の幅との比率が所定率以下、又は／及び、撮影範囲Ｗｓの縦軸方向の幅と、撮影対象文字列Ｓｔｔａｇ２の縦軸方向の幅との比率が所定率以下の場合、撮影範囲Ｗｓに占める撮影対象文字列Ｓｔｔａｇ２の範囲が小さいとみなす。上述の各所定率は、予め記憶部に記憶される。そして、ＣＰＵ１１は、この場合、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｌの第２列目かつ第２行目及び第３行目の２つの第２ピン、及び、単位点字表示部２２Ｒの第１列目かつ第２行目及び第３行目の２つの第２ピンを上下動させる。これに応じて、利用者は、ハンドヘルド点字変換装置１を撮影対象文字列Ｓｔｔａｇ２に近づけるか、又はカメラ１５の倍率を上げて、撮影範囲Ｗｓに占める撮影対象文字列Ｓｔｔａｇ２の範囲を大きくする。
【００８４】
６．撮影対象文字列Ｓｔｔａｇ２の中心より撮影範囲Ｗｓの中心が下方向にずれている場合
図１２（ｃ）は、中心Ｃｗと、中心Ｃｓとの距離が所定距離以上離れている場合の可動式ピン２１の状態を示す。上述の所定距離は、撮影対象文字列Ｓｔｔａｇ２が撮影範囲Ｗｓの中央に位置していないか否かを判定するための閾値であり、例えば実験等に基づき定められ、予め記憶部に記憶される。また、中心Ｃｗは、中心Ｃｓよりも下方向にずれている。この場合、ＣＰＵ１１は、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｌの第２列目かつ第３行目の第２ピン、及び、単位点字表示部２２Ｒの第１列目かつ第３行目の第２ピンを上下動させる。これに応じて、利用者は、ハンドヘルド点字変換装置１を撮影対象文字列Ｓｔｔａｇ２へ向かって上方向に移動させ、撮影範囲Ｗｓの中心Ｃｗと撮影対象文字列Ｓｔｔａｇ２の中心Ｃｓとを近づける。
【００８５】
７．中心Ｃｓより中心Ｃｗが上方向にずれている場合
図１３（ａ）は、中心Ｃｗと、中心Ｃｓとの距離が図１２（ｃ）と同様、所定距離以上離れている場合の可動式ピン２１の状態を示す。また、図１３（ａ）では、中心Ｃｗは、中心Ｃｓよりも上方向にずれている。この場合、ＣＰＵ１１は、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｌの第２列目かつ第２行目の第２ピン、及び、単位点字表示部２２Ｒの第１列目かつ第２行目の第２ピンを上下動させる。これに応じて、利用者は、ハンドヘルド点字変換装置１を撮影対象文字列Ｓｔｔａｇ２へ向かって下方向に移動させ、撮影範囲Ｗｓの中心Ｃｗと撮影対象文字列Ｓｔｔａｇ２の中心Ｃｓとを近づける。
【００８６】
８．中心Ｃｓより中心Ｃｗが左方向にずれている場合
図１３（ｂ）は、中心Ｃｗと、中心Ｃｓとの距離が図１２（ｃ）、図１３（ａ）と同様、所定距離以上離れている場合の可動式ピン２１の状態を示す。また、図１３（ｂ）では、中心Ｃｗは、中心Ｃｓよりも左方向にずれている。この場合、ＣＰＵ１１は、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｌの第２列目かつ第２行目及び第３行目の第２ピンを上下動させる。これに応じて、利用者は、ハンドヘルド点字変換装置１を右方向に移動させ、撮影範囲Ｗｓの中心Ｃｗと撮影対象文字列Ｓｔｔａｇ２の中心Ｃｓとを近づける。
【００８７】
９．中心Ｃｓより中心Ｃｗが右方向にずれている場合
図１３（ｃ）は、中心Ｃｗと、中心Ｃｓとの距離が図１２（ｃ）、図１３（ａ）、（ｂ）と同様、所定距離以上離れている場合の可動式ピン２１の状態を示す。また、図１３（ｃ）では、中心Ｃｗは、中心Ｃｓよりも右方向にずれている。この場合、ＣＰＵ１１は、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｒの第１列目かつ第２行目及び第３行目の２つの第２ピンを上下動させる。これに応じて、利用者は、ハンドヘルド点字変換装置１を左方向に移動させ、撮影範囲Ｗｓの中心Ｃｗと撮影対象文字列Ｓｔｔａｇ２の中心Ｃｓとを近づける。
【００８８】
１０．撮影範囲Ｗｓ中の撮影対象文字列Ｓｔｔａｇ２が左から右に向かって大きくなっている場合
図１４は、カメラ１５の右側が左側に比べ撮影対象文字列Ｓｔｔａｇ２が延在する面と垂直方向に近づいていることにより撮影範囲Ｗｓ中の撮影対象文字列Ｓｔｔａｇ２が左から右に向かって大きくなっている場合の可動式ピン２１の状態を示す。この場合、ＣＰＵ１１は、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｌの第２列目かつ第２行目及び第３行目の２つの第２ピン、及び、単位点字表示部２２Ｒの第２列目かつ第１行目及び第４行目の２つの第２ピンを上下動させる。これに応じて、利用者は、ハンドヘルド点字変換装置１の左側を撮影対象文字列Ｓｔｔａｇ２へ垂直方向に近づけると共に、ハンドヘルド点字変換装置１の右側を撮影対象文字列Ｓｔｔａｇ２から垂直方向に遠ざける。
【００８９】
一方、ＣＰＵ１１は、撮影範囲Ｗｓ中の撮影対象文字列Ｓｔｔａｇ２が右から左に向かって大きくなっている場合には、同様に、図１１（ｃ）に示す状態から、さらに単位点字表示部２２Ｌの第１列目かつ第１行目及び第４行目の２つの第２ピン、及び、単位点字表示部２２Ｒの第１列目かつ第２行目及び第３行目の２つの第２ピンを上下動させる。
【００９０】
［処理フロー］
次に、第１実施形態においてＣＰＵ１１が実行する処理手順について説明する。図１５は、第１実施形態において、ＣＰＵ１１が実行する処理手順を示すフローチャートの一例である。ＣＰＵ１１は、図１５に示す処理を、所定の周期に従い繰り返し実行する。
【００９１】
まず、ＣＰＵ１１は、通常モードを実行する（ステップＳ１）。即ち、ＣＰＵ１１は、この場合、カメラ１５により撮像された文字列の電子データを点字に変換し、可動式ピン２１を動作させることにより点字を表示する。
【００９２】
次に、ＣＰＵ１１は、ボタン１８の押下があるか否か判定する（ステップＳ２）。そして、ＣＰＵ１１は、ボタン１８の押下がない場合（ステップＳ２；Ｎｏ）、引き続き通常モードを実行する。一方、ＣＰＵ１１は、ボタン１８の押下があった場合（ステップＳ２；Ｙｅｓ）、遠隔モードを実行する（ステップＳ３）。そして、ＣＰＵ１１は、撮影誘導期間では、上述した（第１撮影画像Ｉ１を読み取る際の誘導）のセクションの説明に従い第２ピンを動作させることで、利用者の操作を誘導する。
【００９３】
次に、ＣＰＵ１１は、ボタン１８が開放されたか否か判定する（ステップＳ４）。具体的には、ＣＰＵ１１は、ステップＳ２でボタン１８が押下された状態から押下されていない状態に戻ったか否か判定する。そして、ＣＰＵ１１は、ボタン１８が開放されたと判断した場合（ステップＳ４；Ｙｅｓ）、撮影を実行し、第１撮影画像Ｉ１を生成する（ステップＳ５）。即ち、ＣＰＵ１１は、ボタン１８が開放されたと同時に、カメラ１５に第１撮影画像Ｉ１を生成させる。そして、ＣＰＵ１１は、第１撮影画像Ｉ１を記憶部に記憶する。一方、ＣＰＵ１１は、ボタン１８が開放されていないと判断した場合（ステップＳ４；Ｎｏ）、引き続きステップＳ３で撮影前の誘導等を実行する。
【００９４】
次に、ステップＳ６では、ＣＰＵ１１は、ハンドヘルド点字変換装置１がグリッド領域３１へ移動したか否か判定する（ステップＳ６）。例えば、ＣＰＵ１１は、ボタン１８の押下等の所定の操作があったか否か、又は、単位領域３１０のグリッド数字を認識したか否か判定することで、ハンドヘルド点字変換装置１がグリッド領域３１へ移動したか否か判定する。
【００９５】
そして、ＣＰＵ１１は、ハンドヘルド点字変換装置１がグリッド領域３１へ移動したと判断した場合（ステップＳ６；Ｙｅｓ）、点字表示及び誘導の実行を行う（ステップＳ７）。具体的には、ＣＰＵ１１は、グリッド領域３１と第１撮影画像Ｉ１とを対応させ、カメラ１５から生成される第２撮影画像Ｉ２中のグリッド数字を認識し、対応領域Ｔｃを特定する。そして、ＣＰＵ１１は、対応領域Ｔｃの全部又は一部の文字を点字表示する。また、ＣＰＵ１１は、適宜、点字対象文字列Ｓｔｔａｇ１へ移動方向を誘導する。さらに、ＣＰＵ１１は、利用者の操作に基づき、グリッド領域３１と対応させる第１撮影画像Ｉ１の領域を一部に限定する。一方、ＣＰＵ１１は、ハンドヘルド点字変換装置１がグリッド領域３１へ移動していないと判断した場合（ステップＳ６；Ｎｏ）、ハンドヘルド点字変換装置１がグリッド領域３１へ移動したか引き続き監視する。
【００９６】
次に、ＣＰＵ１１は、ステップＳ８では、ボタン１８の押下があるか否か判定する（ステップＳ８；Ｙｅｓ）。これにより、ＣＰＵ１１は、遠隔モードを終了すべきか否か判定する。そして、ＣＰＵ１１は、ボタン１８の押下があったと判断した場合（ステップＳ８；Ｙｅｓ）、通常モードへ移行する（ステップＳ９）。一方、ＣＰＵ１１は、ボタン１８の押下がない場合（ステップＳ８；Ｎｏ）、引き続きステップＳ７の処理を実行する。
【００９７】
＜第２実施形態＞
第１実施形態では、ハンドヘルド点字変換装置１は、グリッド板３０のグリッド数字を認識し、グリッド情報を参照することで、第１撮影画像Ｉ１の対応領域Ｔｃを特定し、点字表示を行った。これに代えて、又は、これに加えて、第２実施形態では、ハンドヘルド点字変換装置１は、第１撮影画像Ｉ１の生成後、文字が表面の一部の領域又は略全面に記されたグリッド板３０以外の文書を撮影した第２撮影画像Ｉ２に基づき、対応領域Ｔｃを特定して点字表示を行う。なお、「文字」には、数字、記号等も含まれるものとする。
【００９８】
これについて図１６を参照して説明する。図１６は、第２実施形態における第１撮影画像読み取り処理を模式的に示した図である。図１６では、ハンドヘルド点字変換装置１は、第１撮影画像Ｉ１の生成後、略全面に文字が記載された文書５０上に把持されている。文書５０は、例えば新聞紙であり、本発明における「媒体」の一例である。
【００９９】
ＣＰＵ１１は、第１撮影画像Ｉ１の生成後、例えばボタン１８の押下その他所定の操作を受け付けた場合、又は文字列を認識した場合、文書５０上に把持されたと判断し、撮影範囲Ｗｓに基づき文書５０内の所定領域と、第１撮影画像Ｉ１全体とを対応付ける。図１６では、一例として、撮影範囲Ｗｓを中心として、撮影範囲Ｗｓを横軸方向及び縦軸方向にそれぞれ２倍に拡大した領域「Ｍ１」と、第１撮影画像Ｉ１全体とが対応づけられた場合の文字列Ｓｔ１〜Ｓｔ３の領域が破線により示されている。
【０１００】
そして、ＣＰＵ１１は、第１撮影画像Ｉ１と対応付ける領域Ｍ１を設定後、点字表示を開始する。まず、ＣＰＵ１１は、領域Ｍ１中の撮影範囲Ｗｓに対応する対応領域Ｔｃに存在する文字列の全部又は一部を点字表示する。図１６では、ＣＰＵ１１は、撮影範囲Ｗｓ内に存在する文字列Ｓｔ２の全部又は一部を、点字表示部１０により点字表示する。
【０１０１】
次に、ＣＰＵ１１は、ハンドヘルド点字変換装置１が文書５０上で移動することにより撮影範囲Ｗｓが領域Ｍ１内で変位した場合、所定間隔ごとに取得する第２撮影画像Ｉ２に基づき当該変位（以後、「変位ｄＬ」と呼ぶ。）を検出する。ここで、変位ｄＬは、具体的には文書５０上での第２撮影画像Ｉ２の移動方向及び移動量を指す。例えば、ＣＰＵ１１は、周知の画像処理技術により、第２撮影画像Ｉ２の中央に位置する１又は複数の文字又はその他所定の位置にある文字を、その後に取得した第２撮影画像Ｉ２から検出し、その変位を計測することで撮影範囲Ｗｓの変位ｄＬを特定する。そして、ＣＰＵ１１は、変位ｄＬが発生する前の対応領域Ｔｃを変位ｄＬだけ第１撮影画像Ｉ１上で移動させる。そして、ＣＰＵ１１は、対応領域Ｔｃ内の文字列の一部又は全部を点字表示部１０により点字表示する。
【０１０２】
このようにすることで、ハンドヘルド点字変換装置１は、利用者に対し、グリッド板３０を使用することなく、新聞紙などの文書５０を用いて、遠隔モードで撮影した第１撮影画像Ｉ１を点字により表示することができる。また、第２実施形態では、ハンドヘルド点字変換装置１は、グリッド情報又はこれに相当する情報を保持することなく、第１撮影画像読み取り処理を実行することができる。
【０１０３】
＜変形例＞
以下、上述の第１実施形態及び第２実施形態に好適な変形例について説明する。以下に示す変形例は、任意に組み合わされて第１実施形態及び第２実施形態に適用されてもよい。
【０１０４】
［変形例１］
図１では、ハンドヘルド点字変換装置１は、遠隔モードに関連した操作を行うインターフェースとなる１のボタン１８のみ有していた。しかし、本発明が適用可能な構成はこれに限定されない。これに代えて、ハンドヘルド点字変換装置１は、遠隔モードに関連した操作を行うための複数のボタンを備えてもよい。この場合、例えば、ハンドヘルド点字変換装置１は、遠隔モードと通常モードとを切り替えるタイミング、第１撮影画像Ｉ１を生成するタイミング、第１撮影画像読み取り処理を開始するタイミング、グリッド対応変更処理を実行するタイミング、カメラの倍率を変更するタイミングのそれぞれに対応する複数のボタンを備えてもよい。
【０１０５】
［変形例２］
第１実施形態では、グリッド領域３１は、格子状に並べられた異なる数字のグリッド数字を備えていた。しかし、本発明が適用可能な構成は、これに限定されない。グリッド数字に代えて、グリッド領域３１は、数字以外の異なる文字が格子状に並べられていてもよい。
【０１０６】
この場合であっても、ハンドヘルド点字変換装置１は、各文字及びこれに対応する単位領域３１０のグリッド領域３１上での位置情報をグリッド情報として記憶部に予め記憶する。そして、ハンドヘルド点字変換装置１は、第２撮影画像Ｉ２により認識したグリッド領域３１上の文字から、グリッド情報を参照して、撮影範囲Ｗｓのグリッド領域３１における相対位置を特定し、第１撮影画像Ｉ１中の対応領域Ｔｃを特定する。
【０１０７】
［変形例３］
図１６では、領域Ｍ１は、撮影範囲Ｗｓを中心として、撮影範囲Ｗｓを横軸方向及び縦軸方向に２倍された範囲に設置された。これに代えて、領域Ｍ１は、撮影範囲Ｗｓと左上角を略一致させた上で、撮影範囲Ｗｓより下方向及び右方向に所定の倍率に拡大されて設定されてもよい。
【０１０８】
また、他の例では、ＣＰＵ１１は、第１撮影画像Ｉ１中の文字の大きさに基づき、領域Ｍ１を設定する。具体的には、ＣＰＵ１１は、第１撮影画像Ｉ１中の文字の大きさが、単位点字表示部２２の大きさになるように領域Ｍ１を設定する。この場合、ハンドヘルド点字変換装置１は、例えば、第１撮影画像Ｉ１中の文字の大きさと、領域Ｍ１の大きさとを対応づけるマップ又は式を予め記憶部に記憶しておく。
【０１０９】
［変形例４］
第２実施形態において、ユーザが新聞紙などの文書５０を用いて遠隔モードで撮影した第１撮影画像Ｉ１を点字により表示している場合に、文書５０の点字表示を行っているとユーザが混同しないように、例えば、可動式ピン２１による所定の動作を定期的に行うことによって撮影モードで撮影した第１撮影画像Ｉ１を点字により表示している旨をユーザが認識できるようにしてもよい。
【０１１０】
［変形例５］
上述の（撮影誘導期間における誘導）のセクションの説明は、点字表示部を備える点字変換機に限らず、たとえば、撮影した画像から文字認識を行って、音声で読み上げる機器（音声読み上げ機器）に対しても好適に適用される。この場合、音声読み上げ機器は、撮影誘導期間中に、撮影範囲Ｗｓ内に文字又は文字列を検出した場合、具体例１〜１０で説明したように、音声読み上げ機器の位置が当該文字又は文字列の文字認識が適切に実行される位置になるように誘導を行う。
【０１１１】
［変形例６］
実施例では、撮影誘導期間における誘導を、両端の単位点字表示部２２Ｌ、２２Ｒに配置された可動式ピン２１によって行うようにしたが、撮影誘導期間においては他の単位点字表示部を用いていないため、たとえば、中央の単位点字表示部２２Ｃ、２２Ｄに配置された可動式ピン２１によって行うようにしてもよい。この場合、誘導に用いられる単位点字表示部が隣接するため、ユーザが誘導に用いられる可動式ピンを触りやすくなる。
【符号の説明】
【０１１２】
１  ハンドヘルド点字変換装置
１０  点字表示部
１１  ＣＰＵ
１４  電源
１５  カメラ
１６  レンズ
１７  照明用ＬＥＤ
１８  ボタン
１９  システムコントローラ
【図１】
2012042822.tif 000003
【図２】
2012042822.tif 000004
【図３】
2012042822.tif 000005
【図４】
2012042822.tif 000006
【図５】
2012042822.tif 000007
【図６】
2012042822.tif 000008
【図７】
2012042822.tif 000009
【図８】
2012042822.tif 000010
【図９】
2012042822.tif 000011
【図１０】
2012042822.tif 000012
【図１１】
2012042822.tif 000013
【図１２】
2012042822.tif 000014
【図１３】
2012042822.tif 000015
【図１４】
2012042822.tif 000016
【図１５】
2012042822.tif 000017
【図１６】
2012042822.tif 000018