(57)【要約】【課題】視覚障害者の外出には転倒、転落などの危険が伴い、事故が絶えない。視覚障害者用の物体を認識する補助装置としては、超音波を発信し、その反射波を検知して音で知らせる装置があったが、物体のない空間など詳細な情報は得られず、普及していない。【解決手段】受光素子を縦横に配列した撮像面上に外界の像を投影するカメラにおいて、受光素子の配列に沿って順次その受けた光の強度に比例した可聴域の音波を出力することにより、テレビの走査線のように外界の投影像を分解した一連の音の変化として聞き、脳内で基の投影像を再構成することで視覚障害者に外界の認識を助ける装置を提供する。【選択図】図１
2020157051.tif 000002
【特許請求の範囲】
【請求項１】
受光素子を縦横に配列した撮像面上に外界の像を投影するカメラにおいて、前記受光素子の配列に沿って、各々の受光素子が受けた光の強度に比例する強度の音波を発生させる音波発生手段を備えたことを特徴とする、視覚障害者に撮影画像を音で表現するカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】本発明は、視覚障害者用の外界認識補助装置に関する。
【背景技術】
【０００２】視覚障害者の外出には転倒、転落などの危険が伴い、事故が絶えない。
視覚障害者用の物体を認識する補助装置としては、超音波を発信し、その反射波を検知して音で知らせる装置があったが、物体のない空間など詳細な情報は得られず、普及していない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】個々の物体ではなく、空間を含めた外界を撮影画像に近い形で認識できる補助装置を提供する。
【課題を解決するための手段】
【０００４】上記目的を達する為、本発明の視覚障害者に撮影画像を音で表現するカメラ（以下、本装置）は、受光素子を二次元マトリックス状の縦横に配列した撮像面上に外界の像を投影するカメラにおいて、前記受光素子の配列に沿って、各々の受光素子が受けた光の強度である受光強度に比例する強度の可聴域の音波を発生させる音波発生手段を備えたものである。
装置全体のイメージは、初期の写真電送装置に近く、受光素子の配列に沿って上の行から下の行へ、各行毎に左の列から右の列へと各々の受光素子の受光強度に比例した強度の音波を発生させる順序と発生時間のイメージはテレビ画面の走査線に近い。【０００５】本装置での用語の定義について。
カメラとは、受光素子を縦横の二次元マトリックス状に配置した撮像面上に外界の像を投影し、目的の深度に焦点を合わせ、適正な露光を与えるための一連のメカニズムを持つカメラモジュールを意味する。
各々の受光素子の受光強度を基に所定フォーマットの画像データを生成するデータ処理手段は含まないが、一体の製品としてハードウエアやファームウエアとして備えられていても問題はない。
一体の製品とは、デジタルカメラに限定されず、スマートフォンやウエブカメラ等カメラモジュールを備えた製品を意味する。
受光素子とは、当該素子の受光面に受けた光信号をその強度に比例した電気信号に光電変換する素子である。
隣り合う複数の受光素子をフィルターによりそれぞれが特定の波長の光に反応するよう特化することで、受光強度情報と共に色情報を得ることができ、この受光素子の集合をカラー画素と呼ぶ。
本装置の説明上、カラー画素は光信号を受光強度情報と色情報を含む電気信号に光電変換する一つの受光素子とみなす。
投影像とは、光学的に撮像面上に投影された像であり、撮影画像とはある時点の投影像をデータに変換した一画面の画像を意味する。【０００６】各々の受光素子が受けた光の強度に比例する強度の音波を発生させる音波発生手段とは、受光素子がその受光強度に比例して出力する電気信号の強度に比例した可聴域の音波信号を生成、増幅し、スピーカー等の音響装置を駆動して音波を発生させる手段である。
受光素子から得られる電気信号がデジタルの場合はデジタルアナログ変換の必要があり、アナログ信号としても、それ自体は可聴域の音波信号ではなく、その電気信号強度に比例し、かつ上の行から下の行に向かって順次高音から低音に移行するという上下位置を表す周波数や左右位置を表す左右チャンネルへの音量バランスの分配という走査位置情報を持たせ、かつ認識しやすいように加工した可聴域の音波信号を生成、増幅し、物理的に空気を振動させて耳で聴きとることができる音波を発生させるまでの手段を意味する。【０００７】受光信号から変換、発生される音波は、テレビ画像の走査線のように、左上から右下へと所定の周期で順次繰り返す連続した音波である。
原理としては、撮影画像の中に物体があった場合、撮像面上での上下左右位置に対応した基本音波をその受光強度に比例した強度で発生させることになるが、物体の有無にかかわらず、左上から右下まで走査位置に対応した基本音波をベース音として小音量で常時発生させておき、物体がある位置でそのベース音の音量が増大する方式が望ましい。
現在聞いている走査線の位置が明確になり、音波が示す物体の位置を同定しやすくなる。【０００８】基本的に音波は、受光素子の配列に沿った左上から右下までの一連のデータであるが、各行を表す周波数の異なる音波を左から右へ向けて、各行同時に発生させる平行データとすれば、撮影画像を表す所要の時間を短縮することができる。
いずれにしても一回撮影した撮影画像を音で表現するスチルカメラ方式ではなく、一定の周期で現在の投影像を変換した撮影画像を逐次音で表現するビデオカメラ方式である。【０００９】音波は、基本的には受光強度の変化だけを伝えるサイン波のような一定の周波数であるが、色情報を音色に変換することもできる。その他に物体の輪郭は音波の立ち上がりを鋭くする等、各種の波形処理によって、より多くの情報を持たせることができる。
音波強度を受光強度に比例させる方法は、サイン波の振幅幅の変化というＡＭ変調方式に限定されず、強調部分で周波数を変えるＦＭ変調方式でも可能である。【００１０】音波の発生は、受光素子毎に順次音波を発生させる形が基本であるが、応用として、音波を発生させる前に画像処理技術によって撮影画像のセグメント化を行うことができる。
一つには視覚に比べて聴覚は分解能が各段に劣る為、受光素子の配列数には限界がある。
通常の視覚用カメラは受光素子数が多いため、複数の受光素子をブロック化して見かけ上少ない受光素子数に変換して使う必要があり、その処理は一つのセグメント化である。
さらにブロック化した後の各受光素子単位でのセグメント化としては、明暗の段階的な信号を一定の閾値で分けて、白黒二値に単純化するセグメント化もある。
画像認識技術によって、情報が似通った複数の受光素子をまとまりのあるブロックに変換することで、背景と弁別してより認識しやすくするセグメント化もある。
具体的には、撮影画像に含まれる人物を一つのブロックとして分離、認識するセグメント化と、物体の境目を抽出して輪郭を強調し、撮影画像を線画化するセグメント化もある。
さらに、上記のブロック化認識と線画化を組み合わせることで、写真画像であった撮影画像を輪郭線と輪郭線の内側を一色で塗りつぶした単純な画像に変換することもできる。
発生させる音波の強度変化について前述したように、物体を走査線で横切った時に発生する音波はブロックの輪郭線でシャープに立ち上がり、輪郭線内の同一物と判断されたブロック内は一定の音波強度とし、ブロックを抜ける時の輪郭線で再度シャープに立ち上がることで輪郭線に囲まれた意味のあるブロックとして強調して認識させることもできる。【００１１】物体を背景と弁別するブロック化とは別の意味で、光学画像として物体に焦点が合っている場合は輪郭が明瞭となり、焦点が合っていない場合は輪郭が不明瞭となる。
隣り合う受光素子またはセグメント間の音波信号が大きく変化する場合は、物体として輪郭が明瞭な場合と、光学画像として輪郭が明瞭な場合が含まれるので、音波に音色などの変化を持たせて、物体の輪郭が明瞭であるか不明瞭であるかと、焦点が合っているか合っていないかを判別できるような機能を持たせることができる。
この判別機能により、焦点距離を前後に操作することで、輪郭の明瞭さを表す音波の特徴の変化から物体までの距離を推測することが可能になる。
応用としては、焦点距離を自動で周期的に前後させ、遠方と近傍で音量や音色を変えることで常時三次元のマトリックス音を聞いてより立体的に把握することもできる。
例えば、垂直に立っている電柱のような構造物は、焦点がその距離に合った時、上下が同じように輪郭が明瞭になり、ホームの端など、近傍から遠方に続く構造物は、焦点が近傍から遠方に移動するに従って輪郭が明瞭な音質の部分が移動し、他の部分は輪郭が不明瞭な音質になるため、垂直構造物ではなく、斜面または平面に延長している構造物であることが認識できる。【００１２】物体の色情報を音色で表現することも可能ではあるが、物体の有無や形状、空間との境目の認識が優先であり、色情報はあまり有効ではないので、必要に応じてカラーモードに切り替えるような機能が望ましい。
例外として、路面上の点字ブロックなど注意喚起としての黄色が使用されている場合があるので、黄色などの特定の色については、白黒モードでも特徴のある音色にするなどして認識しやすくすることが望ましい。【００１３】本装置の主目的は三次元の外界の投影像から変換した撮影画像の認識補助であるが、二次元の対象物の撮影画像の認識補助も同様に可能である。
色情報が有効ではないというのは、外出時に外界の撮影画像を認識する場合であって、スクリーンに投影された画像や印刷された紙など平面の対象物を投影した撮影画像を音波に変換すれば外界と同様に認識でき、外出時にボードの矢印や紙幣の種類を判別することも可能であり、紙に印刷された記号や文字などを認識できる可能性もある。【００１４】投影像はカメラを視点とするが、視覚に比べ聴覚は情報量が少ないので、特定の視点からの投影像を変換した撮影画像の音情報を聞くだけでなく、手に持ったカメラの位置や方向や傾きを変えることで異なった視点からの投影像の情報が得られ、外界をより立体的に認識しやすくなる。
専用装置で実施する場合は、眼鏡型のようなウェアラブルな装置としてカメラを頭の動きに連動させることもできる。【００１５】撮影画像からより多くの情報を得るためには、受光素子の縦横の配列数、焦点距離を前後するピッチ、音波の波形や音色などの情報量を増やす必要があるが、装置のスペックは利用者の聴覚認識力に依存する。
しかし、視覚障害者は聴覚能力が優れている例が多く、訓練や慣れによる聴覚認識力の向上も期待できるため、利用者が情報量を変更、選択する機能を持たせることが望ましい。
【発明の効果】
【００１６】懐中電灯で一箇所を照らして、物体を探すような超音波反射方式に比べて、一連の音波から脳内で撮影画像を再構成することにより、外界に対して空間を含めたより多くの情報を得ることができる。
下り階段や鉄道のホームの端など、その先に空間がある場合は超音波の反射方式では認識できないが、本装置であれば、焦点による音の明瞭感の違いから構造物の輪郭を認識でき、その先は遠くまで焦点が合わないため、音の変化が乏しく、空間であることを認識でき、その線に沿って黄色のラインを表す特色のある音色が聞こえることで、より確実に歩行面の境界であることを認識でき、転落事故の危険が少なくなる。
【図面の簡単な説明】
【００１７】
【図１】  本装置の概念図
【発明を実施するための形態】
【００１８】図面の説明。
眼前の空間に×形状の対象物（１）があった場合、カメラモジュール（２）のレンズ（３）により、受光素子を縦横に配列した撮像面（４）上に×形状が投影される。
原理説明のため、受光素子は単純化して三行三列の配列としており、各受光素子が受けた受光強度を白黒二値の値に変換すると撮像面（４）に図示したような市松模様となる。
白黒のネガポジはいずれでもよい。
黒となった受光素子の位置で、撮像面（４）上における上下左右の配列位置に相当する左右チャンネルの音波信号を発生させた状況が音波発生手段（５）枠内の左右の升目内に書かれた音波信号（６）（８）である。
原理説明のため、走査位置を表す基本の音波信号を小音量で常時発生させておくという機能は省略してあり、白となった受光素子の位置は無音となっている。
この音波信号（６）（８）により左右のスピーカー（７）（９）から発生させた撮影画像を表す一連の音波が（１０）（１１）であり、それを左右の耳で聴き脳内で再構成した投影像イメージが（１２）であり、この工程が一定の周期で繰り返される。
【００１９】実施形態としては、カメラは用語の定義通り、既存のカメラモジュール又はカメラモジュールを含む既存製品を利用できる。
音波発生手段自体に新規性はなく既存の技術であるため詳細は省略するが、部品を実装した電気回路には限定されず、ソフトウエアで実現することもできる。
カメラを手にもって対象物に向けることで撮影画像を得て、それを表現する音をイヤホンで聞く実施形態であれば、一体の専用装置として制作する他に、デジタルカメラのファームウエアでも実施可能であり、カメラ付きで音楽再生可能なスマートフォン用のアプリケーションとして完結させれば専用装置を購入することなく、ソフトウエアをダウンロードするだけで使うことができるので実施がより容易となる。
小型化によりメガネタイプのウェアラブルな専用装置にすれば、手でカメラを向ける方向を変える必要がなく、顔を向けた方向の外界を認識できる。
この場合も、専用装置としてメガネに組み込む場合と、カメラモジュールのみをメガネ又はヘッドセットに付けて、スマートフォン等既存の製品に接続して使う実施方法がある。
なお、現状のスマートフォンではソフトウエアによる焦点距離の制御がやや困難である。
また、耳の前方にあるスピーカーから発生する音では撮影画像は前方に感じられ、耳に直接入るイヤホンの音では、撮影画像は頭の中央に感じられるという差異がある。
【００２０】請求項には含まないが、レンズの集光位置に一次元に配列した受光素子をその配列と直行方向に移動させて画像を読み取るコピー機やハンドスキャナをカメラとして利用する実施形態も可能である。
【符号の説明】
【００２１】      １  対象物
２  カメラモジュール
３  レンズ
４  撮像面
５  音波発生手段
６  右音波信号
７  右スピーカー
８  左音波信号
９  左スピーカー
１０  右スピーカーから発生する音波
１１  左スピーカーから発生する音波
１２  左右の音波から脳内で再構成された撮影画像のイメージ
【図１】
2020157051.tif 000003