(57)【特許請求の範囲】
【請求項１】
同一被写体に対し一定の基線長をおいて撮像することにより一対の画像を得ることができるステレオカメラと、
上記一対の画像を複数の上下方向の領域に分割する画像処理装置と、
分割された上記複数領域の一対の画像から、各領域において撮像されている被写体とカメラを結ぶ線である距離ベクトルの長さを演算する距離ベクトル演算部と、
上記領域ごとの距離ベクトルの長さから鉛直線に対するカメラ角度を上記領域ごとに演算するカメラ角度演算部と、
上記各領域における距離ベクトルの長さと上記領域ごとのカメラ角度から、上記各領域における平坦な地面からのカメラ高さを演算するカメラ高さ演算部と、
上記各領域におけるカメラ高さの平均値を演算してカメラ高さ基準値とするカメラ高さ平均値演算部と、
互いに隣接する２つの領域の各距離ベクトルの先端によって底辺が区切られ、これらの距離ベクトルの先端から垂直に伸び、上辺が上記カメラ高さ位置で区切られる四角形の空間断面積を演算する空間断面積演算部と、
平坦面で歩行しかつ障害物のない空間で得た上記各領域における上記空間断面積を基準空間断面積としたとき、上記各領域における上記基準空間断面積に対する実働時の空間断面積の比が一定以上になったとき警報信号を出力する空間断面積比演算部と、
上記警報信号の出力によって動作し警報を発する警報装置と、を有し、
上記空間断面積演算部は、各領域における実働時の空間断面積を一定の時間間隔で演算するものであり、
上記空間断面積比演算部は、最新の上記実働時の空間断面積と上記基準空間断面積の比を演算するものである視覚障害者歩行支援装置。
【請求項２】
画像処理装置は、画像を上下方向に３つの領域に分割し、
距離ベクトル演算部は、上記３つの領域につきそれぞれ上端距離ベクトル、中央距離ベクトル、下端距離ベクトルを演算するように構成され、
上記３つの距離ベクトルの長さから鉛直線に対するカメラ角度を上記領域ごとに演算するカメラ角度演算部を備え、
カメラ高さ演算部は、上記領域ごとのカメラ角度に基づいて上記領域ごとにカメラ高さを演算する請求項１記載の視覚障害者歩行支援装置。
【請求項３】
画像領域ごとのカメラ角度の平均値を演算してこれをカメラ角度とするカメラ角度平均値演算部をさらに有する請求項１または２記載の視覚障害者歩行支援装置。
【請求項４】
空間断面積演算部で演算される基準空間断面積データは記憶部に記憶され、実働時の空間断面積との比の演算に供される請求項１，２または３記載の視覚障害者歩行支援装置。
【請求項５】
画像処理装置は、特定のフレームの画像とその直前の画像を含む複数フレームの画像を出力することができ、
上記複数フレームの画像から被写体に対する相対移動ベクトルの長さを演算する相対移動ベクトル演算部を備え、
空間断面積比演算部は、上記相対移動ベクトルの変化に対応した上記各フレームにおける断面空間面積比を演算するものである請求項１乃至４のいずれかに記載の視覚障害者歩行支援装置。
【請求項６】
空間断面積比演算部は、一定のフレーム数連続して基準空間断面積に対する実働時の空間断面積の比が一定以上になったとき警報信号を出力する請求項１乃至５のいずれかに記載の視覚障害者歩行支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚障害者が単独で行動するとき、段差や窪み、障害物などに接近したこと、あるいは上記障害物などが接近してきたことを知らせることにより安全な歩行を支援する視覚障害者歩行支援装置に関するものである。
【背景技術】
【０００２】
視覚障害者が単独で安全に行動することを支援する装置が各種提案されている。特許文献１乃至特許文献３に記載されている発明はその例で、これらの従来例について概略を説明する。
【０００３】
特許文献１記載の発明は、多眼ステレオカメラで前方の空間を撮影し、その撮影画像データをデータ処理装置が受けて前方空間内の物体の３次元位置を計算することにより、地面や障害物などとして識別するようにしたものである。そして、その識別結果を、触覚表示装置やヘッドホンなどによって使用者に伝達するようになっている。上記触覚表示装置は、表示面に多数のピンが進退自在に配列されていて、上記識別結果に基づき、地面や障害物などをピンの凹凸によって表示するようになっている。使用者は、上記触覚表示装置に触ってピンの凹凸を認識することにより、地面や障害物などの存在を認識することができる。また、特許文献１には、前方の地面に生じている穴などは、対応するピンを振動させることによって使用者に認識させることができる旨の記載がある。
【０００４】
特許文献２記載の発明は、主として、ステレオ画像取込器と、モバイルコンピュータと、情報伝達器を備え、ステレオ画像取込器によって撮像されたステレオ画像から現在位置に関する文字情報や行き先に関する文字情報などを抽出し、この文字情報から得られる意味内容を、情報伝達器が音声情報、触角情報によって発するようにしたものである。
特許文献３記載の発明は、ＧＰＳセンサを備えたナビゲーションシステムを移動端末に組み込んだもので、目的地を音声で設定入力するようになっている。移動端末は携帯通信端末によりサーバーと接続することができる。サーバーは、現在地と目的地の情報を格納して移動ルートを作成し、移動ルートデータを受け取った移動端末は音声で移動ルートを案内する。
【０００５】
特許文献１記載の発明によれば、使用者は触覚表示装置に触り続けることによって前方空間の状況を把握することができる。したがって、使用者は常時触覚表示装置に触り続けてピンの凹凸が意味しているものを常に考えなければならず、使い勝手が悪い。また、生まれながらの視覚障害者は、物の物理的な形状をイメージすることが困難であり、触覚表示装置で表示されている視覚情報を的確に分析し、判断することは難しい。よって、視覚情報をピンの凹凸で再現しても、その意味するところを把握することは難しく、実用的ではない。また、前方に壁や駅のプラットホームなどの落ち込み、あるいは壁などの障害物が出現した場合に、とっさに警報を発して注意を促すこともできない。
【０００６】
特許文献２記載の発明は、撮像されたステレオ画像から文字情報を読み取ってその意味内容を音声情報や触角情報で使用者に発するものであるから、画像中の文字認識処理、文字の意味内容の分析処理、音声情報への変換処理に時間がかかる。そのため、前方に壁や駅のプラットホームなどの落ち込み、あるいは壁などの障害物が出現した場合に、とっさに警報を発して注意を促すことはできない。もともと、特許文献２記載の発明は、上記のような場合に警報を発する目的のものではない。また、視覚情報から文字情報を読み取ることの信頼性、読み取った文字情報の意味内容を分析することの信頼性に難点があるため、実用化するためには多くの技術的改良を加える必要がある。
【０００７】
特許文献３記載の発明は、ＧＰＳセンサを備えたナビゲーションシステムやサーバーおよびナビゲーションシステムとサーバー間で通信する携帯通信端末といった大掛かりな装置およびシステムを必要とし、コスト高になる難点がある。また、前方に壁や駅のプラットホームなどの落ち込み、あるいは壁などの障害物が出現した場合に、とっさに警報を発して注意を促すこともできない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−６５７２１号公報
【特許文献２】特開２００１−３１８５９４号公報
【特許文献３】特開２００３−１２１１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、以上説明した従来技術の問題点を解消すること、すなわち、比較的簡単な構成でありながら、前方に壁や駅のプラットホームなどの落ち込み、あるいは壁などの障害物が出現した場合に、とっさに警報を発して注意を促すことができる視覚障害者歩行支援装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る視覚障害者歩行支援装置は、
同一被写体に対し一定の基線長をおいて撮像することにより一対の画像を得ることができるステレオカメラと、
上記一対の画像を複数の上下方向の領域に分割する画像処理装置と、
分割された上記複数領域の一対の画像から、各領域において撮像されている被写体とカメラを結ぶ線である距離ベクトルの長さを演算する距離ベクトル演算部と、
上記領域ごとの距離ベクトルの長さから鉛直線に対するカメラ角度を上記領域ごとに演算するカメラ角度演算部と、
上記各領域における距離ベクトルの長さと上記領域ごとのカメラ角度から、上記各領域における平坦な地面からのカメラ高さを演算するカメラ高さ演算部と、
上記各領域におけるカメラ高さの平均値を演算してカメラ高さ基準値とするカメラ高さ平均値演算部と、
互いに隣接する２つの領域の各距離ベクトルの先端によって底辺が区切られ、これらの距離ベクトルの先端から垂直に伸び、上辺が上記カメラ高さ位置で区切られる四角形の空間断面積を演算する空間断面積演算部と、
平坦面で歩行しかつ障害物のない空間で得た上記各領域における上記空間断面積を基準空間断面積としたとき、上記各領域における上記基準空間断面積に対する実働時の空間断面積の比が一定以上になったとき警報信号を出力する空間断面積比演算部と、
上記警報信号の出力によって動作し警報を発する警報装置と、を有し、
上記空間断面積演算部は、各領域における実働時の空間断面積を一定の時間間隔で演算するものであり、
上記空間断面積比演算部は、上記基準空間断面積に対する最新の上記実働時の空間断面積の比を演算するものであることを最も主要な特徴とする。
【発明の効果】
【００１１】
画面中の被写体までの距離の変化のみで障害物などの有無を判断するのではなく、空間断面積の変化によって障害物などの有無を判断する。距離のみの変化に対して空間断面積の変化は顕著に表れるため、障害物などの有無の判断が迅速かつ確実になり、障害物などが現れた場合の警報を迅速かつ確実に発することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る視覚障害者歩行支援装置の実施例を示す機能ブロック図である。
【図２】上記実施例の外観を示す斜視図である。
【図３】上記実施例が備えているステレオカメラによる撮像画面の例を示す視野図である。
【図４】上記実施例の使用状態を簡略化して示すモデル図である。
【図５】上記使用状態におけるカメラ光軸を水平に置き換えた場合の使用者とカメラ視野と被写体との関係を簡略化して示すモデル図である。
【図６】上記実施例の実使用時におけるカメラ角度演算を説明するためのモデル図である。
【図７】上記実施例の歩行前処理としてのカメラ角度演算の第１例を示すモデル図である。
【図８】上記カメラ角度演算の第２例を示すモデル図である。
【図９】上記実施例の実使用時におけるカメラ基準高さ演算を説明するためのモデル図である。
【図１０】上記実施例の実使用時におけるカメラ角度変動の様子を示すモデル図である。
【図１１】上記実施例の実使用時におけるカメラ前方の空間断面積を説明するためのモデル図である。
【図１２】上記実施例に係る視覚障害者歩行支援装置を装着して平坦路を歩行したときに得られるカメラ角度の変動の様子を示すグラフである。
【図１３】上記実施例に係る視覚障害者歩行支援装置を装着して平坦路を歩行したときに得られる画像領域ごとの空間断面積比の変動の様子を示すグラフである。
【図１４】上記実施例に係る視覚障害者歩行支援装置を装着して平坦路を歩行したときに得られる画像領域ごとの高さデータの変動の様子を示すグラフである。
【図１５】上記高さデータの平均値を示すグラフである。
【図１６】上記実施例に係る視覚障害者歩行支援装置を装着して歩行しているときの歩行距離の変動の様子を示すグラフである。
【図１７】上記歩行距離の累積値の変動の様子を示すグラフである。
【図１８】上記実施例に係る視覚障害者歩行支援装置を装着して歩行しているときの歩行角度の変動の様子を示すグラフである。
【図１９】上記歩行角度の累積値の変動の様子を示すグラフである。
【図２０】上記実施例に係る視覚障害者歩行支援装置を装着して平坦路を歩行しているときの画像領域ごとのカメラ前方空間断面積の例を示すモデル図である。
【図２１】上記実施例に係る視覚障害者歩行支援装置を装着して歩行し前方に昇り階段が現れたときの画像領域ごとのカメラ前方空間断面積の例を示すモデル図である。
【図２２】上記実施例に係る視覚障害者歩行支援装置を装着して歩行し前方に降り階段が現れたときの画像領域ごとのカメラ前方空間断面積の例を示すモデル図である。
【図２３】上記実施例に係る視覚障害者歩行支援装置を装着して歩行し前方にプラットホームの先端が現れたときの画像領域ごとのカメラ前方空間断面積の例を示すモデル図である。
【図２４】上記実施例に係る視覚障害者歩行支援装置を装着して歩行し前方に壁が現れたときの画像領域ごとのカメラ前方空間断面積の例を示すモデル図である。
【図２５】図２４に示す状態からさらに壁に近づいたときの画像領域ごとのカメラ前方空間断面積の例を示すモデル図である。
【図２６】上記実施例に係る視覚障害者歩行支援装置を装着した使用者の歩行動作割り出し手順の例を示すモデル図である。
【図２７】上記実施例に係る視覚障害者歩行支援装置によって得ることができる歩行距離の変動の例を示すグラフである。
【図２８】上記歩行距離の累積値の変動を示すグラフである。
【図２９】上記実施例に係る視覚障害者歩行支援装置を装着した使用者の回転動作の様子を上面から示すモデル図である。
【図３０】上記回転動作の様子を斜め上方から示すモデル図である。
【図３１】上記実施例に係る視覚障害者歩行支援装置が備えているステレオカメラによる撮像画像の別の例を示すもので、回転動作によって得られる二つの画像を示す視野図である。
【図３２】右回転により図３１の撮影画像を得たときの回転角度変動を示すグラフである。
【図３３】上記回転角度変動の累積値の変動を示すグラフである。
【図３４】左回転により図３１の撮影画像を得たときの回転角度変動を示すグラフである。
【図３５】上記回転角度変動の累積値の変動を示すグラフである。
【発明を実施するための形態】
【００１３】
以下、本発明に係る視覚障害者歩行支援装置の実施例について、図面を参照しながら説明する。
【実施例】
【００１４】
まず、視覚障害者歩行支援装置の実施例の概略を、図２の外観図を参照しながら説明する。本実施例は、ステレオカメラを構成する右眼カメラ１１と左眼カメラ１２、画像デジタル化装置１５，１６、演算装置２０、警報装置としてのヘッドホン３１および振動装置３２を備えている。右眼カメラ１１、左眼カメラ１２、画像デジタル化装置１５，１６は、眼鏡のフレームと同じ形をしたフレームに装着されている。より具体的には、右眼カメラ１１は右側のレンズ枠１に、左眼カメラ１２は左側のレンズ枠２に、それぞれ水平軸と垂直軸を中心に回転位置を調整可能に装着され、画像デジタル化装置１５，１６は上記フレームの左右の蔓３に装着されている。上記フレームは、健常者が眼鏡を装着するのと同様に視覚障害者が装着することができ、視覚障害者の左右の目の前に左右のカメラ１１，１２が位置するようになっている。
【００１５】
ステレオカメラを構成する右眼カメラ１１と左眼カメラ１２は、一定の基線長をおいて同一被写体を撮像することにより被写体までの距離を測定するために用いられる。上記左右のカメラ１１，１２はＣＣＤその他の撮像素子を備えていて、各撮像素子から出力される画像信号はそれぞれ画像デジタル化装置１５，１６でデジタルデータに変換され、かつ、複数の画像領域に対応した信号に分割されて演算装置２０に入力されるように構成されている。上記ステレオカメラによる距離測定を補助するために、あるいは上記ステレオカメラによる距離測定に代えて、左右のレンズ枠１，２の中間に距離センサ１３を設けてもよい。
【００１６】
演算装置２０は、例えば、ＣＰＵあるいはＤＳＰ（デジタル信号処理装置：ＤＩＧＩＴＡＬ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を主たる構成要素として備えている。演算装置２０に加えてメモリ（図示されず）からなる記憶部を備えている。演算装置２０は、上記画像データ信号に基づいて、後で詳細に説明する各種演算を行うことにより、前方に段差や障害物などが現れたとき警報信号を出力するようになっている。ヘッドホン３１、振動装置３２は上記警報信号によって動作し、ヘッドホン３１は音声で使用者に注意を促し、振動装置３２はそれ自身が振動することによって使用者に注意を促す。演算装置２０は、使用者の腰などに装着され、左右のカメラ１１，１２および画像デジタル化装置１５，１６も含めた視覚障害者歩行支援装置を駆動するための電源電池を内蔵している。
【００１７】
次に、上記視覚障害者歩行支援装置の信号処理系統の例について、図１を参照しながら説明する。図１において、符号１０は上記左右のカメラ１１，１２を備えたステレオカメラを示している。ステレオカメラ１０から出力される左右の画像信号は、Ａ／Ｄ変換器１７によりデジタル信号による画像データ信号に変換され、画像処理装置１８に入力される。Ａ／Ｄ変換器１７は、図２に示す画像デジタル化装置１５，１６に相当する。画像処理装置１８は、左右一対の画像を複数の領域に分割する機能を備えていて、左右の画像データ信号を、分割した領域ごとに演算装置２０に入力するようになっている。
【００１８】
演算装置２０は、距離ベクトル演算部２１、カメラ角度演算部２２、カメラ高さ演算部２３、カメラ角度平均値演算部２４、カメラ高さ平均値演算部２５、空間断面積演算部２６、空間断面積比演算部２７、警告判断部２８、相対移動ベクトル演算部３２、歩行距離・歩行角度演算部３４を備えている。演算装置２０は、物理的な構成として上記各演算部を備えているか、もしくはソフトウェアによって前記ＣＰＵやＤＳＰの動作が制御されることにより上記各演算部としての機能を実現するものであってもよい。演算装置２０に付属して、クロック信号発振器４０、警報装置３０、記憶部５０を備えている。記憶部５０は、基準空間断面積記憶部５１、空間断面積記憶部５２を備えている。
【００１９】
上記各演算部の詳細な機能は後で説明することにし、ここでは各演算部における信号の流れについて説明する。画像処理装置１８から出力される左右の画像データ信号は距離ベクトル演算部２１に入力され、分割された画像領域ごとの被写体に対する距離ベクトルの長さが演算される。各距離ベクトル長さ信号はカメラ角度演算部２２に入力され、使用状態におけるカメラ角度すなわち鉛直線に対する撮影レンズ光軸の角度が画像領域ごとに演算される。演算されたカメラ角度データに基づき、カメラ高さ演算部２３でカメラ高さが画像領域ごとに演算される。画像領域ごとに演算されたカメラ角度データにより、カメラ角度平均値演算部２４でカメラ角度の平均値が演算され、また、画像領域ごとに演算されたカメラ高さデータにより、カメラ高さ平均値演算部２５でカメラ高さの平均値が演算される。
【００２０】
上記距離ベクトル長さ信号と、上記カメラ角度の平均値およびカメラ高さの平均値データは空間断面積演算部２６に入力され、画像領域ごとの空間断面積が演算される。空間断面積とは、各画像領域における被写体までの距離ベクトルの長さとステレオカメラ１０の装着高さから求めることができる上記画像領域ごとの前方空間の垂直面内における断面積のことである。空間断面積には、使用者が平坦路上で静止または歩行しかつ障害物のない空間で求めた値である基準空間断面積と、実働時において刻々と変化する空間断面積があり、基準空間断面積データは基準空間断面積記憶部５１に、刻々と変化する空間断面積データは空間断面積記憶部５２に記憶される。刻々と変化する空間断面積データは、空間断面積演算部２６において、クロック信号発振器４０から発信されるクロック信号に基づき一定の時間間隔で演算され、空間断面積記憶部５２に記憶される空間断面積データは最新のデータに更新される。
【００２１】
記憶部５１，５２に記憶されている基準空間断面積データと実働時の刻々と変化する空間断面積データは空間断面積比演算部２７に入力されて比較され、空間断面積比演算部２７は基準空間断面積と実働時の空間断面積の比が一定以上になったとき警報信号を出力する。警報信号は警報装置３０に入力され、警報装置３０は、音による警報、触角によって認識できる警報などを発して、使用者の前方に壁や階段、駅のプラットホームの先端などが出現したことを知らせる。
【００２２】
本実施例は、相対移動ベクトル演算部３２、歩行距離・歩行角度演算部３４を備えることによって、使用者の歩行行動を割り出すことができるようになっている。相対移動ベクトル演算部３２には、画像処理装置１８から特定のｎフレーム目の画像データとその直前のｎ−１フレーム目の画像データが入力され、相対移動ベクトル演算部３２は、上記各フレームのデータから、本装置と被写体との相対移動ベクトルを演算する。この相対移動ベクトルに基づき歩行距離・歩行角度演算部３４が歩行距離およびその累積値と歩行角度およびその累積値を演算する。これらの演算結果は警告判断部２８に入力されて警報装置３０の作動に供される。
【００２３】
次に、上記実施例による歩行支援動作をより具体的に説明する。図３はステレオカメラ１０で撮像された左右の画像の例で、プラットホームの先端部とその前方の線路の画像である。左右の画像には、左右のカメラの基線長に対応した視差が生じている。左右のカメラで撮像される画像は、予め定められた３つの画像領域に分割される。図示の例では画面の上下方向に上端画像領域Ｕ、中央画像領域Ｃ、下端画像領域Ｌの３つに分けられている。上記各画像領域における左右の撮像素子から出力される画像信号には位相差が生じており、かつ、この位相差の大きさは各画像領域に映り込んでいる被写体距離に対応しているため、上記位相差から被写体距離を求めることができる。このような原理に基づく測距装置はカメラのオートフォーカス装置において周知である。本発明では、図４に示すように、上記３つの画像領域にある被写体とカメラを結ぶ線をそれぞれ上端ベクトルＶＵ、中央ベクトルＶＣ、下端ベクトルＶＬという。また、各画像領域に映り込んでいる被写体までの距離を、カメラから被写体までのベクトル長さといい、上端画像領域Ｕ、中央画像領域Ｃ、下端画像領域Ｌのベクトル長さをそれぞれ上端ベクトル長さ、中央ベクトル長さ、下端ベクトル長さという。
【００２４】
視覚障害者が本発明に係る歩行支援装置を頭部に装着して使用する場合を想定すると、図４に示すように、カメラ１０の光軸Ｏは使用者の前方斜め下に向いている。図４では使用者が平坦な地面７に立っている場合を想定している。上記中央ベクトルＶＣは光軸Ｏと一致し、中央ベクトルＶＣを中心としてその上側に上端ベクトルＶＵが、下側に下端ベクトルＶＬがある。これら各ベクトルの長さは、前記距離ベクトル演算部２１で上記測距の原理に基づき演算によって求める。図４を参照すると、上記各ベクトルの長さの変化を常時観察し、一定以上の変化が見られた場合に壁や段差や障害物が前方に現れたものと判断することが可能であるかのように思われる。しかし、このままでは的確な判断はできない。まず、図４に示す態様において、垂直方向をＹ、水平方向をＺとすると、カメラの光軸ＯはＹ方向に対してもＺ方向に対しても傾いている。したがって、カメラ１０で撮像される画像空間では、図５に示すように、カメラ光軸Ｏが水平方向であるとの前提のもとに、被写体としての地面７が斜めに立ち上がったものとみなして距離を計測しており、本来平坦な地面７を坂道であるかのように判断することになる。
【００２５】
したがって、歩行支援装置を使用する者の座標系に戻す必要がある。そのために、そのときのカメラ光軸Ｏの角度を求め、求めた角度分座標回転をかける。図６はその様子を示す。一般的には、カメラ１０に角度センサや加速度センサを装着し、これらのセンサからの出力により使用時のカメラ１０の光軸Ｏの角度を検出することができる。しかし、上記センサを装着することにより重量および消費電力が増大し、かつ、画像データと角度センサや加速度センサからのデータとの同時性を確保するのも難しい。そこで、本実施例では、時々刻々と得られる画像データからカメラ光軸Ｏの角度も演算するようにしている。カメラ光軸Ｏの角度がわかれば、上記のように座標回転をかけ人座標系に戻すことができる。こうして初めて、上端ベクトルＶＵ、中央ベクトルＶＣ、下端ベクトルＶＬの先端が、平坦な路面であるのか、凹凸面であるのかを判別することができる。
【００２６】
本実施例に係る視覚障害者歩行支援装置を使用するに当たっては、先ず歩行前の処理を行い、カメラ光軸Ｏの角度を求める。この前処理モードは、使用者が必要に応じてスイッチ操作によって実行できるようにするとよい。使用者は本装置を装着して平坦路に立ち、上記前処理モードで本装置を動作させる。図７、図８はこの動作モードでのカメラ角度検出を示しており、上記３つのベクトル、すなわち上端ベクトルＶＵ、中央ベクトルＶＣ、下端ベクトルＶＬの長さを求め、２つのベクトルの組み合わせによってカメラ角度を検出するようになっている。各ベクトルの先端の高さすなわち地面７の高さは略同じである。また、カメラの高さＨも同じである。そこで、カメラの高さＨを共通変数とし、上記３本のベクトル長さと地面７とで構成される直角三角形からカメラ光軸Ｏの鉛直線に対する角度を求める。
【００２７】
図７に示すように、中央ベクトルＶＣを含む三角形と上端ベクトルＶＵを含む三角形の２つの三角形から第１のカメラ角度Ｄ１を求める。上端ベクトルＶＵの角度をＤＵとすると、カメラ角度Ｄ１は、
Ｄ１＝ｔａｎ−１（（−ＶＣ／ＶＵ＋ｃｏｓＤＵ）／ｓｉｎＤＵ）
の式で演算することができる。
図８に示すように、中央ベクトルＶＣを含む三角形と下端ベクトルＶＬを含む三角形の２つの三角形から第２のカメラ角度Ｄ２を求める。下端ベクトルＶＬの角度をＤＬとすると、カメラ角度Ｄ２は、
Ｄ２＝ｔａｎ−１（（ＶＣ／ＶＬ−ｃｏｓＤＬ）／ｓｉｎＤＬ）
の式で演算することができる。
これらのカメラ角度演算は、図１に示すカメラ角度演算部２２で行う。
【００２８】
使用者が立っている地面が完全に平坦であり、カメラの高さが変動しなければ、Ｄ１，Ｄ２の値は一致するが、実際には多少差が生じるため、以下の式のように両者の平均（Ｃ＿Ｄｅｇ＿ｓｔａｎｄ）をとってそのときのカメラ角度とする。
Ｃ＿Ｄｅｇ＿ｓｔａｎｄ＝（Ｄ１＋Ｄ２）／２
かかる演算は、図１に示すカメラ角度平均値演算部２４で行う。カメラ角度平均値は適宜のメモリなどに記憶される。
【００２９】
上記のように、演算されるカメラ角度には誤差が含まれ、また、各画像領域における地面の高さ位置が異なることがあり得るため、図９に示すように、各ベクトル長さから、各画像領域におけるカメラ高さを求め、その平均値を求める。図９において、画面の上端領域における地面からのカメラ高さをＨＵ、中央領域における地面からのカメラ高さをＨＣ、下端領域における地面からのカメラ高さをＨＬとすると、各カメラ高さは、
ＨＵ＝ＶＵ×ｃｏｓ（Ｃ＿Ｄｅｇ＿ｓｔａｎｄ＋ＤＵ）
ＨＣ＝ＶＣ×ｃｏｓ（Ｃ＿Ｄｅｇ＿ｓｔａｎｄ）
ＨＬ＝ＶＬ×ｃｏｓ（Ｃ＿Ｄｅｇ＿ｓｔａｎｄ−ＤＬ）
の式で求めることができる。かかる演算は、図１に示すカメラ高さ演算部２３で行う。
上記各高さは、図１に示すカメラ高さ平均値演算部２５において平均値が演算され、高さ基準値ＨＳとして適宜のメモリに記憶される。高さ基準値ＨＳの演算式は以下のとおりである。
ＨＳ＝（ＨＵ＋ＨＣ＋ＨＬ）／３
【００３０】
以上のようにして歩行前の前処理を行った後、歩行を開始する。歩行中、使用者の姿勢が微妙に変動するのに伴いカメラ光軸の角度が変動する。図１０はこの変動の様子を示している。既に演算されている高さ基準値ＨＳをもとに、かつ、前記各ベクトルＶＵ、ＶＣ、ＶＬの長さから各画像領域における歩行中のカメラ角度ＤＵＷ、ＤＣＷ、ＤＬＷを常時、一定の時間間隔で演算する。演算式は以下のとおりである。
ＤＵＷ＝ｃｏｓ−１（ＨＣ／ＶＵ）−ＤＵ
ＤＣＷ＝ｃｏｓ−１（ＨＣ／ＶＣ）
ＤＬＷ＝ｃｏｓ−１（ＨＣ／ＶＬ）＋ＤＬ
これらの式で求めたカメラ角度には誤差を含むため、以下の式のように、これらカメラ角度の平均値をとってカメラ角度（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ）とする。
Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ＝（ＤＵＷ＋ＤＣＷ＋ＤＬＷ）／３
【００３１】
また、歩行中のカメラ高さＨＵＷ、ＨＣＷ、ＨＬＷを以下の式を適用して演算し、また、これらの高さ平均値ＨＡを演算する。
ＨＵＷ＝ＶＵ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ＋ＶＵ）
ＨＣＷ＝ＶＣ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ）
ＨＬＷ＝ＶＬ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ−ＶＬ）
ＨＡ＝（ＨＵＷ＋ＨＣＷ＋ＨＬＷ）／３
【００３２】
以上のようなカメラ角度演算、カメラ高さ演算は、平坦路を歩行しているときにのみ適用され、それ以外の、例えば昇り階段、降り階段、障害物などが画面内に現れたことを認識するために、次に説明する空間断面積演算を行う。人は、意識しているか無意識であるかに関わらず、眼前の空間の広がりをとらえており、とらえた空間が自由に動くことができる空間であるか否かを認識しながら行動している。図１１は、本実施例に係る視覚障害者歩行支援装置を装着して、障害物などがない比較的平坦な地面を歩行しているときの様子をモデル化して示している。
【００３３】
図１１がこれまで説明してきたことと異なる点は、上端、中央、下端の前記各距離ベクトルＶＵ、ＶＣ、ＶＬに挟まれた空間の断面積を想定していることである。本実施例では、これらの断面積を演算することによって上記昇り階段、降り階段、障害物、落ち込みなどの識別を迅速かつ容易に行うことができるようにしている。図１１において、使用者の前方の空間は、人が自由に動くことができる空間とみなし、上記３つの空間の断面積を平坦路基準断面積と定義する。１つの空間は、底辺が上端ベクトルＶＵの先端と中央ベクトルＶＣの先端で区切られ、これらのベクトル先端から垂直に伸び、上辺がカメラ高さ位置で区切られる四角形の空間で、この空間の基準断面積をＳＵＳとする。別の１つの空間は、底辺が中央ベクトルＶＣの先端と下端ベクトルＶＬの先端で区切られ、これらのベクトル先端から垂直に伸び、上辺がカメラ高さ位置で区切られる四角形の空間で、この空間の基準断面積をＳＣＳとする。もう１つの空間は、底辺が下端ベクトルＶＬの先端とカメラから垂直に下した線の地面との交点とで区切られ、これらベクトル先端および上記交点から垂直に伸び、上辺がカメラ高さ位置で区切られる四角形の空間で、この空間の基準断面積をＳＬＳとする。
【００３４】
上記各基準断面積ＳＵＳ、ＳＣＳ、ＳＬＳは、以下の式によって演算される。
ＳＬＳ＝（ＨＳ＋ＶＬ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ−ＤＬ））／２
×ＶＬ×ｓｉｎ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ−ＤＬ）
ＳＣＳ＝（ＶＬ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ−ＤＬ）
＋ＶＣ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ−ＤＬ））／２
×（ＶＣ×ｓｉｎ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ）
−ＶＬ×ｓｉｎ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ−ＤＬ）
ＳＵＳ＝（ＶＵ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ＋ＤＵ）
＋ＶＣ×ｃｏｓ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ））／２
×（ＶＵ×ｓｉｎ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ＋ＤＵ）
−ＶＣ×ｓｉｎ（Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ）
高さ基準値ＨＳ、上端ベクトルの角度ＤＵ、下端ベクトルの角度ＤＬは固定値であり、カメラ角度Ｃ＿Ｄｅｇ＿Ｗａｌｋｉｎｇ、３つの距離ベクトルＶＵ、ＶＣ、ＶＬは変動値である。
【００３５】
上記各空間断面積は、図１に示す空間断面積演算部２６によって演算される。演算された上記各基準断面積ＳＵＳ、ＳＣＳ、ＳＬＳは基準空間断面積記憶部５１に記憶される。また、使用者が歩行中すなわち本実施例に係る装置の実働中、空間断面積演算部２６は、クロック信号発振器４０で生成されるクロック信号に基づき、一定の時間間隔で上記３つの断面積を演算する。刻々と変化する歩行中の断面積データは、空間断面積演算部５２に一時的に記憶されるとともに、新しいデータに更新される。
【００３６】
歩行中に刻々と変化する上記上端ベクトル、中央ベクトル、下端ベクトルに対応する空間断面積をそれぞれＳＵ、ＳＣ、ＳＬとすると、各空間断面積ＳＵ、ＳＣ、ＳＬの上記各基準面積ＳＵＳ、ＳＣＳ、ＳＬＳに対する比率が図１に示す空間断面積比演算部２７で演算される。前記上端画像領域Ｕ、中央画像領域Ｃ、下端画像領域Ｌに対応する空間断面積比をそれぞれＲＳＵ、ＲＳＣ、ＲＳＬとすると、これらは、
ＲＳＵ＝ＳＵ／ＳＵＳ
ＲＳＣ＝ＳＣ／ＳＣＳ
ＲＳＬ＝ＳＬ／ＳＬＳ
の式によって得ることができる。これらの演算を行うことにより、各画像領域に対応する空間断面積が、基準値に対してどれほど変化したかを知ることができる。変化量が一定の閾値を越えると、前方に段差や障害物が迫ってきているものと想定して警報を発する。
【００３７】
図１２は、実働時に得られるカメラ角度の変化の例を示す。横軸は時間軸で、横軸に付した数字は撮像した画像フレーム数を示している。他のグラフに関しても同様に、横軸は時間軸で数字は撮像した画像フレーム数を示している。本装置の使用者が歩行することによってカメラ角度が１０度程度の範囲で変動している。
【００３８】
図１３は、実働時に得られる画面の上端、中央、下端におけるそれぞれの空間面積比の変化の例を示す。図１２、図１３ともに平坦路歩行時のグラフであるが、図１２、図１３を対比すると、カメラ角度が変動することによって空間面積比も変動することがわかる。そこで、前述のように、カメラ高さの平均値を用いることとした。図１４は画面の上端、中央、下端におけるそれぞれのカメラ高さ変動の実例を示している。使用者が平坦な路面を歩行する場合であっても、図１４に示すようにカメラ高さが小刻みに変動し、このままでは演算によって得られる空間面積比も変動する。しかし、画面の上端、中央、下端におけるそれぞれのカメラ高さを平均すると、図１５に示すように変動の少ない平坦な高さデータになる。したがって、使用者が座り込むといったように姿勢が極端に変化しない限り、平均の高さデータは大きく変動することはないから、図１５に示すような変動の少ない高さデータであれば、使用者は立っているかまたは平坦路を歩いているものと判断することができる。
【００３９】
また、使用者が歩行しているかどうかは、後で説明する動作検出によって検出することができる。図１６は上記動作検出によって得ることができる歩行距離の変化、換言すれば、歩行速度の変化を示している。このグラフを参照すると歩行と停止が頻繁に行われているように見えるが、図１６に示す歩行距離を積分すると、図１７に示すように歩行距離がなだらかな線状に累積されていることがわかる。
【００４０】
使用者の歩行角度すなわち使用者の水平面内での角度変動も同様のことが言える。図１８は、動作検出によって得ることができる上記歩行角度変動の例を示している。図１８によれば、歩行角度は常に小刻みに変動している。しかし、角度変動データを積分すると、図１９のように比較的なだらかに立ち上がる線になり、積極的な方向転換はなく、平坦路を順調に直線歩行しているものと判断することができる。逆にいえば、上記各グラフにおいて所定の閾値を越えるほどに大きく変動すると、平坦でない路面、例えば段差や障害物にさしかかったものと判断することができる。
【００４１】
そこで次に、平坦路から非平坦路にさしかかったときの、本実施例による判断動作を説明する。図２０は本実施例に係る視覚障害者歩行支援装置を装着した使用者が理想的な平坦路に立った状態の具体例で、このときの各数値をモデルとして設定する。カメラ１０の高さ基準値ＨＳは１．６ｍ、カメラ角度すなわち鉛直線に対するカメラ光軸の角度Ｃ＿Ｄｅｇは５０度、画面上端の空間断面の底辺は１．３７ｍ、画面中央の空間断面の底辺は０．７５ｍ、画面下端の空間断面の底辺は１．１６ｍ、上端領域の距離ベクトルＶＵの長さは３．６５ｍ、中央領域の距離ベクトルＶＣの長さは２．４９ｍ、下端領域の距離ベクトルＶＬの長さは１．９８ｍである。これらの数値から求められる画面上端領域の基準空間断面積ＳＵＳは２．９１２ｍ２、画面中央領域の基準空間断面積ＳＣＳは１．２ｍ２、画面下端領域の基準空間断面積ＳＬＳは１．８５６ｍ２である。
【００４２】
使用者が歩行することによって、図２１に示すように前方に昇り階段が迫ってきたとする。階段の仕様は、一般的な建築基準に基づき、斜度が３０度、踏み面が０．３８ｍ、蹴上げが０．２２ｍである。図２１のように、画面上端領域にのみ階段が迫ってきている状態では、ＨＳ、Ｃ＿Ｄｅｇ、画面中央領域の底辺、画面下端領域の底辺、ＶＣ、ＶＬ、画面中央領域の空間断面積ＳＣ、画面下端領域の空間断面積ＳＬの値は変わらない。図２１のように、上端領域の距離ベクトルＶＵが階段の１段目と２段目の間の垂直面にかかり、そのときの距離ベクトルＶＵの長さが２．９８ｍであるとすると、画面上端領域の空間断面積ＳＵは１．１２ｍ２となる。すなわち、上端の距離ベクトルＶＵの変化比率は０．８１６であるのに対し、空間断面積の変化率は０．３８４となる。よって、空間断面積を求めて基準空間断面積との比を求めることによって、階段その他の障害物を容易かつ確実に検知できることがわかる。
【００４３】
上記のようにして求めた空間断面積の変化率が一定の閾値を越えた場合、図１に示す空間断面積比演算部２７が警報信号を出力し、この警報信号により警報装置３０が駆動されて、階段が迫ってきたことを使用者に伝えることができる。ただし、一定時間ごとに撮像しかつ空間断面積および空間断面積比を演算し、空間断面積比が初めて閾値を越えたとき直ちに警報を発するものとすると、警報の信頼性が低下する。そこで、一定のフレーム数連続して上記閾値を越えたときに警報を発するようにする。また、カメラ角度Ｃ＿Ｄｅｇは、昇り階段検出フレームのカウントが開始されると、直前の値が保持される。
【００４４】
上記のように、空間断面積比が閾値を越えて警報が出力されるタイミングは、
変化検出フレーム数合計／（システムのサンプリングフレーム数／ｓｅｃ）
となる。人の歩行速度を１ｍ／ｓｅｃとすると、使用者はｘ秒後にはさらにｘｍだけ階段に近づくことになる。したがって、使用者が階段に接近する手前で警告を発するように設定する。
【００４５】
図２２は、使用者が降り階段に迫ってきたときをモデル的に示している。階段の仕様は図２１の場合と同じである。画面上端領域にのみ階段が迫ってきている状態では、図２１の場合と同様に、ＨＳ、Ｃ＿Ｄｅｇ、画面中央領域の底辺、画面下端領域の底辺、ＶＣ、ＶＬ、画面中央領域の空間断面積ＳＣ、画面下端領域の空間断面積ＳＬの値は変わらない。上端の距離ベクトルＶＵが降り階段にさしかかると、距離ベクトルＶＵの長さが急に長くなり、その先端は階段の踊り場あるいは壁などに至る。したがって、画面上端の空間面積比が３〜４倍に急激に大きくなり、前方に降り階段が迫ってきたことを容易に認識することができる。この場合も、空間断面積の変化率が一定のフレーム数連続して閾値を越えたときに警報を発する。
【００４６】
図２３は、使用者が駅のプラットホーム先端に近づいてきたときの様子をモデル的に示している。ホームの高さは実際のホームの高さの例に合わせて１．１ｍとしている。図２３のように画面上端領域にのみ階段が迫ってきている状態では、図２２の場合と同様に、ＨＳ、Ｃ＿Ｄｅｇ、画面中央領域の底辺、画面下端領域の底辺、ＶＣ、ＶＬ、画面中央領域の空間断面積ＳＣ、画面下端領域の空間断面積ＳＬの値は変わらない。上端領域の距離ベクトルＶＵがプラットホームの先端にさしかかり、かつプラットホームの先端を通り過ぎると、距離ベクトルＶＵの長さが急に長くなり、その先端は線路の敷設面に至る。このときの距離ベクトルＶＵの長さは６ｍを越える。したがって、画面上端の空間面積比が３〜４倍に急激に大きくなり、前方にプラットホーム先端が迫ってきたことを容易に認識することができる。この場合も、空間断面積の変化率が一定のフレーム数連続して閾値を越えたときに警報を発する。
【００４７】
図２３で想定している仕様では、プラットホーム先端から約３ｍ手前から、距離ベクトルＶＵの長さが急に延びて、プラットホーム先端から先が落ち込んでいることを検出し始める。仮に、空間断面積の変化率が連続して１０フレーム閾値を越えたとき警報を発するように設定されているものとすると、人の歩行速度を１ｍ／ｓｅｃとしたとき、プラットホーム先端から約２ｍ手前で警報を発することができる。
【００４８】
図２４は、使用者が障害物である壁９に近づいてきたときの様子をモデル的に示している。この場合は図２１について説明した昇り階段を検出した場合とほぼ同様に動作する。図２４のように画面上端領域にのみ壁９が迫ってきて上端領域の距離ベクトルＶＵが垂直の壁面にかかってきた状態では、上端領域の距離ベクトルＶＵの長さが短くなり、画面上端領域の空間面積が小さくなる。ＨＳ、Ｃ＿Ｄｅｇ、画面中央領域の底辺、画面下端領域の底辺、ＶＣ、ＶＬ、画面中央領域の空間断面積ＳＣ、画面下端領域の空間断面積ＳＬの値は変わらない。図２４に示す例では、上端領域の距離ベクトルＶＵの長さが２．９８ｍに短くなり、画面上端領域の空間断面積ＳＵが１．０ｍ２となってその変化率は０．３４６となる。よって、図２１の例と同様に警報を発することができる。
【００４９】
図２５は、使用者がさらに壁９まで１．５ｍに近づき、画面中央領域まで壁９が近づいた場合の動作を示している。壁９に遮られて上端領域の距離ベクトルＶＵの長さがさらに短い１．６７ｍとなり、また、中央領域の距離ベクトルＶＣが壁９に遮られてその長さが１．９５ｍとなっている。距離ベクトルＶＵ、距離ベクトルＶＣが壁９で遮られるため、画面上端領域の空間面積ＳＵが０．２４８ｍ２とさらに小さくなり、画面中央領域の空間断面積ＳＣが０．４２５ｍ２と小さくなる。図２４に示す状態から継続して警報が発せられる。
【００５０】
以上、本実施例による階段や壁などの障害物の検知動作について説明したが、本実施例によれば、その使用者の歩行行動を割り出すことができる。図２６はその原理をモデル的に説明するもので、ステレオカメラを装着した使用者が歩行しながら被写体画像を取得する様子を示している。図２６において、（１）はｎ−１フレーム目の画像を取得するときのカメラ１０と使用者および被写体８の関係を、（３）は上記ｎ−１フレーム目の画像の例を示す。（２）は次のフレームすなわちｎフレーム目の画像を取得するときのカメラ１０と使用者および被写体８の関係を、（４）は上記ｎフレーム目の画像の例を示す。この例では、平坦な地面７を使用者が歩行し、前方の地面７上に被写体８が存在している例になっていて、ｎ−１フレーム目で画面上端領域に被写体８の像が映り込み、ｎフレーム目で画面の中央に被写体８の像が映り込んでいる。右眼のカメラと左眼のカメラの両方にほぼ同様の画像が映り込んでおり、ここでは左右いずれかの画像を用いる。
【００５１】
図２６において、（５）はｎ−１フレーム目からｎフレーム目に至るときのカメラ１０と被写体８の相対関係の変化の様子を示す。使用者は被写体８に向かって近寄っていくが、カメラ１０から見れば、画面上において上端側から中央に向かって被写体８が移動し、被写体８がカメラ１０に近寄ってくるように見える。また、このときのカメラ光軸Oは斜め前方を向いているので、（６）に示すように、カメラ光軸Ｏが水平線に一致するように座標回転をかける。したがって、カメラ１０側から見た実際の被写体８は、（７）に矢印６４で示すように、上方から斜め下方かつ前方に移動して画面中央に至る。（７）において、符号６４で示す矢印は、カメラから見た実際の被写体８の相対移動軌跡を示しており、この移動軌跡の垂直線に対する角度は、（５）（６）に示すカメラ角度Ｃ＿Ｄｅｇに相当する。この被写体８の移動を、前述の距離ベクトル演算によって被写体距離の変化として認識することにより、カメラ１０から被写体８までの距離が近くなったことを認識することができる。
【００５２】
図２６（７）において、符号６２は、撮影レンズ光学系による被写体像の結像面を示す。結像面６２上に示す矢印６５は、上記矢印６４で示した被写体８のカメラ１０との相対移動が結像面６２上に反映される様子を示している。この結像面６２上での被写体８の移動と前記距離ベクトル演算などによって、カメラ１０の使用者がどのように行動したかがわかる。
【００５３】
カメラ１０の使用者の行動の一要素として歩行距離がある。本実施例は、被写体距離を測定することができるとともに単位時間ごとの移動距離を演算することができる。図２７は上記単位時間ごとの移動距離の例を示す。単位時間ごとの移動距離を積分すれば、カメラ使用者の歩行距離がわかる。この歩行距離およびその累積値は、図１に示す相対移動ベクトル演算部３２で演算される相対移動ベクトルに基づき、歩行距離・歩行角度演算部３４で演算により求められる。図２８は上記歩行距離を累積した例を示している。
【００５４】
図２９、図３０は、カメラ使用者の行動の別の要素として、水平面内における歩行角度変化ないしは回転動作認識が可能であることを示している。図２９、図３０に示すように、歩行中の人間は、前方に向かってまっすぐ歩行するとは限らず、歩行方向が左右に変化し、あるいは顔の向きが常時左右に変化する。図２９、図３０は、右眼カメラ１１と左眼カメラ１２からなるステレオカメラを装着した使用者の向きの変化を示している。カメラ使用者は前方にある被写体８に対し正対してまっすぐ歩行するとは限らず、歩行方向の変化あるいは顔の向きの変化に応じてカメラ１０の光軸が左右に振れる。
【００５５】
図３０は、カメラの光軸Ｏが左右に振れることによるカメラ１０での被写体８の見え方を示している。カメラ１０が左右に回転することによりカメラ１０と被写体８との相対的な位置関係が変化する。図３０に示した２つの被写体８は、カメラが右回転したときにカメラから見える被写体と、カメラが左回転したときにカメラから見える被写体を示している。カメラから見た被写体８の回転移動距離を、図３０では矢印６６で示している。この相対的な被写体８の位置関係の変化は、カメラの結像面６２上では矢印６７で示す範囲での変化となる。また、このときのカメラの回転角度をθで表している。fは撮影レンズの焦点距離、Ｚはカメラから被写体８までの距離を示している。
【００５６】
上記矢印６６で示すカメラから見た上記回転移動距離は、
回転移動距離＝ｚ／ｆ×（投影面画素ベクトル×画素サイズ）
で得ることができ、また、
歩行角度／θ＝ｔａｎ−１（回転距離／Ｚ）
の式が成り立つ。このようにして、カメラ使用者の回転動作を知ることができる。図２９、図３０は被写体８が動かない物体である場合の例であり、被写体が地面（路面）上を動く物体である場合には、その動きが加算される。本実施例では、画面を３分割して各分割画面中の被写体につき、一定の時間間隔で撮像し演算を行うため、不動の被写体であるか移動している被写体であるかを識別することができ、また、障害物などの認識に誤りを生ずることもない。
【００５７】
図３１以下は、カメラ使用者が上記のような回転動作した場合の実際の画像の例とそれによって得られる各種信号波形の例を示している。図３１は駅のプラットホーム上でカメラに映り込む画像の例を示しており、プラットホームの先端縁が画面をほぼ対角線に沿って横切り、その前方にレールが映り込んでいる。当然ながら、レールの敷設面はプラットホームの面から１．１ｍ程度落ち込んでいる。図３１の左側の画像はｎ−１フレーム目の画像、右側の画像はその後のｎフレーム目の画像で、カメラの使用者が左から右に向かって回転動作をしたときの画像の変化を示している。ステレオカメラの左側の画像または右側の画像のいずれでもよい。
【００５８】
図３２は、上記右回転の場合における１フレームごとの回転角度を、図３３は上記回転角度を累積（積分）した場合を示している。同様に、図３４は左回転の場合における１フレームごとの回転角度を、図３５は上記回転角度を累積（積分）した場合を示している。回転中は図３２、図３４に示すように小刻みに回転角度が変化している。回転角度が小刻みに変化している間は回転中であるから、この間に計測および演算を行っても意味がない。回転角度の小刻みな変化がない状態が一定時間継続したとき、使用者が回転を停止したものと判断することができるので、図３３、図３５に示すような累積値から回転角度を求める。
【００５９】
図３１に示すような画像の変化およびそれに伴う図３２乃至図３５に示す回転角度の変化は、カメラ使用者が歩行することによっても生じる。したがって、図３２、図３４に示す回転角度の変化は歩行ベクトルの大きさの変化と見なすことができる。そこで、歩行ベクトルがきわめて小さいときは停止中とみなす。また、一定のフレーム数停止状態が継続している場合は、各データを一旦リセットする。
【００６０】
以上説明した歩行距離の変化および回転角度の変化に対応してそのときの歩行距離と歩行角度を歩行距離・歩行角度演算部３４で演算し、歩行距離の変化および回転角度の変化に対応した前記空間面積比を空間断面積比演算部２７で演算する。空間面積比の変化が所定の閾値を越えた場合に、警告判断部２８の判断により警報装置３０から警報を発する。
【産業上の利用可能性】
【００６１】
本発明に係る視覚障害者歩行支援装置は、段差や壁その他の障害物が前方に迫ってきたときに、警報を発するものであって、大掛かりなシステムや特殊な警報装置乃至は出力装置を必要としないため、低コストで提供することができるとともに、特別な訓練も必要がなく、簡便に使用することができる。
本発明はまた、例えば、無人の探索ロボットなどに装着すれば、ロボットが障害物に近づいたことを検知することができるため、障害物を回避しながらスムーズな探索を行うことができる。
カメラに赤外線フィルタを装着するなど、赤外線を感知することができるカメラにすることにより、暗闇でも段差や壁その他の障害物を認識することができる。したがって、本発明装置は、視覚障害者に限らず、健常者にも有用である。
【符号の説明】
【００６２】
１０    ステレオカメラ
１８    画像処理装置
２０    演算装置
２１    距離ベクトル演算部
２２    カメラ角度演算部
２３    カメラ高さ演算部
２４    カメラ角度平均値演算部
２５    カメラ高さ平均値演算部
２６    空間断面積演算部
２７    空間断面積比演算部
３０    警報装置
５０    記憶部
５１    基準空間断面積記憶部
５２    空間断面積記憶部
【図１】
0005461486.tif 000002
【図２】
0005461486.tif 000003
【図３】
0005461486.tif 000004
【図４】
0005461486.tif 000005
【図５】
0005461486.tif 000006
【図６】
0005461486.tif 000007
【図７】
0005461486.tif 000008
【図８】
0005461486.tif 000009
【図９】
0005461486.tif 000010
【図１０】
0005461486.tif 000011
【図１１】
0005461486.tif 000012
【図１２】
0005461486.tif 000013
【図１３】
0005461486.tif 000014
【図１４】
0005461486.tif 000015
【図１５】
0005461486.tif 000016
【図１６】
0005461486.tif 000017
【図１７】
0005461486.tif 000018
【図１８】
0005461486.tif 000019
【図１９】
0005461486.tif 000020
【図２０】
0005461486.tif 000021
【図２１】
0005461486.tif 000022
【図２２】
0005461486.tif 000023
【図２３】
0005461486.tif 000024
【図２４】
0005461486.tif 000025
【図２５】
0005461486.tif 000026
【図２６】
0005461486.tif 000027
【図２７】
0005461486.tif 000028
【図２８】
0005461486.tif 000029
【図２９】
0005461486.tif 000030
【図３０】
0005461486.tif 000031
【図３１】
0005461486.tif 000032
【図３２】
0005461486.tif 000033
【図３３】
0005461486.tif 000034
【図３４】
0005461486.tif 000035
【図３５】
0005461486.tif 000036