(57)【要約】【課題】レンズを用いない接触型画像センサと画像処理技術によって、点字や文字を認識すること。【解決手段】本発明に係る接触型画像センサは、撮像手段の表面に透明部材を密着させ、前記撮像手段および透明板材の側方に光源を配し、さらに、指に装着するための指装着手段を備えている。前記接触型画像センサから得られた複数の画像を、フレーム間の相関を取ることにより重ね合わせて合成画像を得て、得られた合成画像を点字パターン、文字パターン、もしくはカラーパターンの何れかのパターンに変換する画像処理手段と、前記画像処理手段から得られた点字パターン、文字パターン、もしくはカラーパターンの何れかのパターンを、対応する音声に変換して音声出力する音声変換手段を備えるとよい。【選択図】図１
2011070530.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段の表面に透明部材を密着させ、前記撮像手段および透明板材の側方に光源を配したことを特徴とする接触型画像センサ。
【請求項２】
請求項１に記載の接触型画像センサに、指に装着するための指装着手段を備えたことを特徴とする接触型画像センサ。
【請求項３】
請求項１もしくは２の何れか１項に記載の接触型画像センサと、
前記接触型画像センサから得られた複数の画像を、フレーム間の相関を取ることにより重ね合わせて合成画像を得て、得られた合成画像を点字パターン、文字パターン、もしくはカラーパターンの何れかのパターンに変換する画像処理手段と
を備えたことを特徴とする画像認識装置。
【請求項４】
前記画像処理手段から得られた点字パターン、文字パターン、もしくはカラーパターンの何れかのパターンを、対応する音声に変換して音声出力する音声変換手段を備えたことを特徴とする請求項３に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズを用いない接触型画像センサと画像処理技術によって、点字や文字を認識することのできる装置に関するものである。
【背景技術】
【０００２】
従来より、点字読み取り装置の研究が多くされているが、未だに特定用途以外では実用化されていない。
従来より、点字読み取り装置に関しては、多くの研究がされてきている。しかし、未だに特定用途以外には実用化されていない。以下に代表的手法の問題点を述べる。
(1)カメラを用いる方法(非特許文献１：上田他：テレビジョン学会技術報告(1993.11)など)
この方法は、図７に示したように、レンズとカメラを用いて点字を撮像する方法である。
(2) スキャナで取り込む方法(非特許文献２：小山他：電応研テクニカルレポート(1995.09)など)
この方法は、点字に接触させて読み取るため小型のように思えるが、スキャナの内部にはレンズと受光素子があり、カメラと同様に受光面に結像させる構造である。
(3) 接触センサによる方法(非特許文献３：田中他：機械学会講演会(2002.09)など)
視覚障害者が指先で点字をなぞるのと同じように、指に装着した触覚センサで点字をなぞるだけで、点字を認識する方法である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】カメラを用いる方法(上田他：テレビジョン学会技術報告(1993.11)など)
【非特許文献２】スキャナで取り込む方法(小山他：電応研テクニカルレポート(1995.09)など)
【非特許文献３】接触センサによる方法(田中他：機械学会講演会(2002.09)など)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の方法では、
カメラを点字から離して、一定距離保った状態で点字をなぞっていく必要があるので、このような作業は健常者であっても困難な作業であり、まして、視覚障害者がこれを行うことは不可能に近い。よって、この方法は1箇所に設置して使うなどの特定用途でしか使用できないという問題がある。
【０００５】
特許文献２に記載の方法は、
点字に接触させて読み取るため小型に構成できるように思えるが、スキャナの内部にはレンズと受光素子があり、カメラと同様に受光面に結像させる構造である。このため、点字からスキャナ内部の受光素子までに一定の距離が必要である。
このため、指先に装着する構造とすれば、指先に数センチの装置を装着することになる。よって、これもカメラの方法と同様に、固定された状態でしか使用できない)。仮に指先に装着するとすれば、指先から点字まで数センチの高さが必要な装置となり、持ち歩いて使用する用途には適さない。このため、この方法も特定用途に使用に限定されるという問題がある。
【０００６】
特許文献３に記載の方法は、
この方法は、他の方法と比較して視覚障害者が最も違和感なく使用できる。別の文献では、この原理を用いて指に装着した試作装置も紹介されている。しかし、同じ点字であっても、完全に点字に水平方向に移動させなければ波形が変化する。また、移動させる速度が途中で変化すれば波形が変化する。この問題は、信号処理によってある程度までは改善させることが可能である。しかし、人によって動かし方は異なるので、指を水平方向に動かしているつもりでもうねりがあったり、途中で指を止めたり逆方向に若干動かすなどなど、動かし方にはさまざまなケースが考えられる。これに対応するには原理的に限界がある。よって、実用化のためにはさらに多くの時間を要すると考えられる。また、原理上、凹凸物以外（例えば、文字や図形なの印刷物）の対象物の認識に適用することはできないという問題がある。
【０００７】
また、仮に、レンズを備えていないカメラを想定したと仮定しても、ＣＣＤ等の受光素子が露出していると、撮像対象との距離を、一定の近距離に保持しながら読み取るという操作が困難であり、撮像素子と撮像対象との距離が遠すぎるとピンボケになってしまい、不明瞭が画像となってしまうという問題等が発生し、点字読み取り装置等には適用困難である。
【課題を解決するための手段】
【０００８】
本発明は、上記問題に鑑みてなされたものであって、
請求項１に係る接触型画像センサは、撮像手段の表面に透明部材を密着させ、前記撮像手段および透明板材の側方に光源を配したことを特徴としている。
請求項２では、さらに、指に装着するための指装着手段を備えている。
請求項３に係る画像認識装置は、
接触型画像センサから得られた複数の画像を、フレーム間の相関を取ることにより重ね合わせて合成画像を得て、得られた合成画像を点字パターン、文字パターン、カラーパターンに変換する画像処理手段を備えている。
請求項４では、さらに、
画像処理手段から得られた点字パターン、文字パターン、カラーパターンを、対応する音声に変換して音声出力する音声変換手段を備えている。
【０００９】
本発明に係る接触型画像センサは、レンズを使用せず、撮像素子に密着させた透明部材を介して撮像対象の画像を読み取るものである。
通常のカメラやスキャナは、レンズによってCCD等の受光素子上に光を結像する。このため、いくらカメラ本体を小さくしても、対象物と受光素子との間に一定の距離を必要とする。一方、本発明によれば、レンズを必要とせず、透明部材を介して直接対象物上に受光素子を乗せる。このため、対象物と受光素子との間の距離が短くなるとともに一定になる。透明板材の側面の光源から光を照射する。これは、液晶ディスプレイなどの光源として使用されている導光板と同じ原理である。
以上の構造によって、対象物に密接した状態での撮像を可能とする。
【発明の効果】
【００１０】
本発明の請求項１に係る接触型画像センサは、撮像手段の表面に透明部材を密着させているので、レンズが不要であるので、小型の画像センサを構成することができる。
請求項２では、指に装着するための指装着手段を備えているので、小型の接触型画像センサを指に装着することにより、文字や点字やカラーパターンの画像を指でなぞる動作で、画像を読み取ることができる。
請求項３に係る画像認識装置は、接触型画像センサから得られた複数の画像を、フレーム間の相関を取ることにより重ね合わせて合成画像を得て、得られた合成画像を点字パターン、文字パターン、カラーパターンに変換する画像処理手段を備えているので、画素数の少ない画像センサを用いて、大きな画像を読み取って認識することができる。
請求項４では、画像処理手段から得られた点字パターン、文字パターン、カラーパターンを、対応する音声に変換して音声出力する音声変換手段を備えているので、視覚障害者であっても、点字パターン、文字パターン、カラーパターンを聴覚を用いて認識することができる。
【図面の簡単な説明】
【００１１】
【図１】接触型画像センサの側面図である。
【図２】接触型画像センサによる点字の画像例である。
【図３】フレーム間の相関処理の説明図である。
【図４】実施例１の接触型画像センサの平面図である。
【図５】同接触型画像センサの側面図である。
【図６】実施例２の接触型画像センサを指に装着した状態の側面図である。
【図７】従来例の画像センサの構成例を説明する説明図である。
【発明を実施するための形態】
【００１２】
本発明に係る接触型画像センサ１０は、図１に示したように、ＣＣＤやＣＭＯＳ等の受光素子を複数並べた撮像素子１の受光面を、ガラス板アクリル樹脂板等の透明板材２で覆うとともに、前記透明板材の側面方向から、例えば点字等の撮像対象の画像Ｐを照らすために発光ダイオード等による光源３を備えたものである。
前記撮像素子１から出力される画像データは、所定時間間隔（例えば10ms毎）での読み取りタイミングで順次画像処理装置４に入力されて、画像処理されて、点字パターン、文字パターン、もしくはカラーパターンとして認識処理されて、処理結果が出力されるように構成されている。
【００１３】
上記構成の接触型画像センサによれば、撮像対象の画像が、例えば小突起で構成された点字の場合には、
図１に示したように、
前記光源３から照射された光の一部は撮像対象の画像Ｐを側方もしくは斜め側方から照射する。そして、撮像対象の画像Ｐから反射した反射光の一部は、前記透明板材２を通過して前記撮像素子１に入射する。
このとき、前記透明板材２の厚みを薄くすることにより、前記撮像素子１の各素子に入射する光は、当該素子の正面に位置する画像からの反射光の強度が強く入射するため、前記撮像素子１にて得られる画像は、十分鮮明で明瞭な画像となる。
例えば、図２に示した点字画像の例のように、本センサで取得した画像では、点字の部分Ｄが他の部分に比較して輝度が高く輝いている。
以上の構成の接触型画像センサによれば、図７に示した従来技術のように、レンズを備えていないので、撮像手段がコンパクトに構成できるという効果が得られるとともに、撮像素子が露出しない構成であるので、撮像対象との接触読み取りが可能となる。
【００１４】
以上の構成の接触型画像センサによれば、図２に示したように、十分明瞭な画像が得られるので、既知のパターン認識技術を用いることによって、点字パターン、文字パターン、もしくはカラーパターンとして認識処理することも可能である。
なお、画素数の少ない接触型画像センサを用いると、一回の読み取りタイミングで得られる画像サイズは小さいため、前記接触型画像センサにて得られた画像を、後述するフレーム間の相関処理等による画像連結処理を行い、連続した大きなサイズの画像を得ることが好ましい。
また、より鮮明な画像を得るために、ブラインドデコンボルージョン法などの既知の画像復元方法を採用して、より鮮明な画像としてから、点字パターン、文字パターン、もしくはカラーパターンとして認識処理することが好ましい。
【００１５】
次に、前記フレーム間相関処理の手順を説明する。
上記構成の接触型画像センサ１０を、撮像対象の文字画像Ｐの上を動かして、図３に示すような画像Ｐ１、Ｐ２、Ｐ３が順次得られた場合のフレーム間相関処理方法を説明する。
フレーム間の相関は、撮影した前後の画像の似ている部分を探すことで行う。例えば、画像Ｐ１と画像Ｐ２の共通部分（画像Ｒ１２）、画像Ｐ２と画像Ｐ３の共通部分（画像Ｒ２３）を探す。
この相関から、画像Ｐ１と画像Ｐ２の共通部分（画像Ｒ１２）を重ね合わせて合成画像Ｐ４を得て、また、画像Ｐ２と画像Ｐ３の共通部分（画像Ｒ２３）を重ね合わせることで合成画像Ｐ５を得る。
また、同様のフレーム間の相関により、画像Ｐ４と画像Ｐ５の共通部分（画像Ｒ４５）を重ね合わせて合成画像Ｐ６を得る。
【００１６】
同様の処理により、複数の読み取りタイミングにより得られたサイズの小さい画像を重ねて、より大きなサイズの合成画像を得て、最終的には、画像Ｐのような合成画像を得る。
この方法を用いて画像を重ね合わせることで、点字や文字を１枚の画像として得ることができるのである。
【００１７】
以上のように、複数の読み取りタイミングにより得られたフレーム間の相関処理により、フレーム間の相互関係を検出して、より大きなサイズ（広い領域）の画像を得るので、指を動かす速度や方向が変化しても問題ない。例えば、指を水平、垂直、斜め方向に動かしたり、グルグル円を描きながら水平方向に移動したりしても、フレーム間の相関をとることによって、移動した全領域の画像を取得できる。これにより、従来の触覚センサで発生するような、移動方向や移動速度のバラツキによる問題が解決できる。
【実施例１】
【００１８】
次に、実施例１に係る接触型画像センサの構成を説明する。
図４に示した接触型画像センサ２０は、長方形状の基板５の中央部分にＣＣＤ画像センサ１１を配設し、その両側部に光軸を前記ＣＣＤ画像センサ１１に向けたＬＥＤ発光素子３１、３１を向かい合わせに一対配設する。前記ＣＣＤ画像センサ１１の画素数は大きいほど取得できる画像サイズは大きくなるが、画像処理に負担が係るので、入手性が容易である点からも例えば３０万画素程度とする。
前記ＣＣＤ画像センサ１１は、画素数よりセンサ自体の寸法が重要である。例えば、点字の一文字の寸法はは約5mm×7mm程度で、ＣＣＤ画像センサの大きさに対応させると、2/3インチ程度である。ＣＣＤ画像センサの寸法が大きければ、フレーム間の相関を取って文字を認識する際に、重ね合わせる画像の数が少なくて済む。そのため、使用に支障ない程度に大きな寸法のＣＣＤ画像センサを使用するのが好ましいと考えられる。
【００１９】
前記基板５上には、前記ＣＣＤ画像センサ１１の駆動・読み取り回路と、例えばＵＳＢ規格に合わせた信号に変換するインターフェース回路も備えている。
また、前記ＣＣＤ画像センサ１１を除いた基板表面にはアルミニウム箔等の反射材を配設すると、ＬＥＤ発光素子３１の光が効率よく撮像対象に画像に照射され、明るい画像が得られやすい。
【００２０】
さらに、前記ＣＣＤ画像センサ１１の表面には、ガラス板やアクリル樹脂板などの透明板材２１を密着させる。透明板材の厚みは薄い方が好ましいが、実施例では１ｍｍから２ｍｍ程度とする。
【００２１】
透明板材２１とＣＣＤ画像センサ１１との取付け形態では、以下の２点が重要である。
（１）ＣＣＤ画像センサ１１と撮影対象物Ｐがより近いこと
原理上、レンズを使用せず、ＣＣＤ画像センサで直接撮影する場合、ＣＣＤ画像センサの撮像面と撮影対象物との距離がゼロのときにピントが合う。今回のようにＣＣＤ画像センサの撮像面と撮影対象物との間に透明板材を入れると、距離が生じるためピントがぼけてしまうので、透明板材の厚みは最小限にすることが望ましい。
（２）ＬＥＤ発光素子３１からの光を均等に撮影対象物Ｐに照射すること
ＬＥＤ発光素子３１から照射された光が撮影対象物Ｐに、より均等に照射されるように、図４、５に示すように発光ダイオードを２個設置した。このとき、発光ダイオードの厚さは、ＣＣＤ画像センサ１１と透明板材２１を合わせた厚さより薄いものを使用する。
【００２２】
本発明に係る接触型画像センサは点字に限らず、前述のように文字や図形を読み取ることができる。そのため、スキャナなどに使用される文字認識プログラムと音声翻訳プログラムを適用すれば、従来では不可能であった視覚障害者が指で文章をなぞるだけで、音声通知されることも可能となる。
【実施例２】
【００２３】
次に、実施例２に係る接触型画像センサの構成を説明する。
実施例２の接触型画像センサ３０は、図６に示したように、図１、２に示した基板５に、指装着手段としてのバンド６を接着し、このバンド６を指Ｆに巻くことで、指Ｆに装着するように構成した。
また、前記接触型画像センサと、画像処理装置となるパソコンとの接続インターフェース規格としては、ＵＳＢ規格を採用し、USBコネクタ３２を介してパソコンと接続するように構成した。または、FPGAによる画像処理演算機に接続することで、画像処理装置の小型化、ポータブル化も可能である。
【００２４】
本発明に係る接触型画像センサは、対象物の情報を画像として取得するため、色情報の認識も可能である。
例えば、ATMや各種カードの端に、数種類の色を塗った紙を貼り付ける。使用者は、そのカード端をなぞるだけでカード種別を判別できる。異なる色パターンの紙は、視覚障害者の介護者が、あらかじめパソコンとプリンタを用いたり、マジック等で作成しておけばよい。よって、RFタグと異なり、視覚障害者の介護者が簡単に作成することが可能である。
【００２５】
なお、本発明に係る接触型画像センサを用いて対象物の色情報を認識させる場合には、色空間として例えばＨＳＶ色空間を用いる。画像中の対象画素のＲＧＢ値の平均を取り、ＲＧＢ値をＨＳＶ値に変換し、そのＨＳＶ値が227.0以上264.0未満の場合を赤色と認識し、81.0以上、227.0未満の場合を緑色と認識し、0.0以上、81.0未満、および264.0以上、360.0未満の場合を青色と認識する。
【符号の説明】
【００２６】
１０、２０、３０  接触型画像センサ
１    撮像素子
１１  ＣＣＤ画像センサ
２，２１    透明板材
３    光源
３１  ＬＥＤ発光素子
４    画像処理装置
５    基板
６    バンド、指装着手段
【図１】
2011070530.tif 000003
【図２】
2011070530.tif 000004
【図３】
2011070530.tif 000005
【図４】
2011070530.tif 000006
【図５】
2011070530.tif 000007
【図６】
2011070530.tif 000008
【図７】
2011070530.tif 000009