(57)【要約】      （修正有）【課題】ユーザにより着用される視覚補助装置の位置を較正する、視覚補助装置及び方法を提供する。【解決手段】取得装置を用いて較正画像を取得する段階６２０と、較正画像の属性を獲得する段階６３０と、較正画像の属性を基準属性と比較段階６４０とを含む構成とする。更に、較正画像の属性の基準属性との比較に少なくとも部分的に基づいて、画像センサの調節を決定し、視覚補助装置の決定された調節に対応する出力を提供する、各段階を含む構成とする。【選択図】図６
2018000953.tif 000002
【特許請求の範囲】
【請求項１】
視覚補助装置を較正する方法であって、
前記視覚補助装置の少なくとも１つの画像センサを用いて較正画像を取得し、
前記較正画像の少なくとも１つの属性を獲得し、
前記較正画像の前記少なくとも１つの属性を基準属性と比較し、
前記較正画像の前記少なくとも１つの属性の前記基準属性との比較に少なくとも部分的に基づいて、前記少なくとも１つの画像センサの調節を決定し、
前記視覚補助装置の決定された調節に対応する出力を提供する、
各段階を含む、方法。
【請求項２】
前記視覚補助装置のユーザの体型に対応する体型情報を獲得する段階を更に含み、前記少なくとも１つの画像センサの調節の決定が更に、前記体型情報に部分的に基づいて行われる、請求項１に記載の方法。
【請求項３】
前記体型情報を獲得する段階が更に、前記ユーザの画像を受け取る段階を含み、
前記方法は更に、前記ユーザの前記画像から前記体型情報を決定する段階を含む、
請求項２に記載の方法。
【請求項４】
前記体型情報を獲得する段階が更に、前記体型情報に対応する入力を受け取る段階を含む、請求項２に記載の方法。
【請求項５】
前記較正画像が較正物体の画像であり、前記基準属性が前記較正画像内の少なくとも１つのエッジの角度である、請求項１に記載の方法。
【請求項６】
前記較正物体が、ユーザが持つ物体である、請求項５に記載の方法。
【請求項７】
前記較正画像が、１又はそれよりも多くの壁、天井、及び、床のうちの少なくとも１つの画像であり、
前記基準属性が、前記較正画像内の前記１又はそれよりも多くの壁、前記天井、及び、前記床のうちの１又はそれよりも多くにより画定されるエッジである、
請求項１に記載の方法。
【請求項８】
前記視覚補助装置の調節の後に、
前記少なくとも１つの画像センサを用いて、１又はそれよりも多くの物体の１又はそれよりも多くの画像を取得し、
前記１又はそれよりも多くの物体の前記１又はそれよりも多くの画像内の前記１又はそれよりも多くの物体に対応する出力を提供する、
各段階を更に含む、請求項１に記載の方法。
【請求項９】
視覚補助装置であって、
画像データを取得するように構成された画像センサと、
ユーザにフィードバックを提供するように構成されたフィードバック装置と、
プロセッサと、
コンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体であって、前記コンピュータ可読命令は前記プロセッサにより実行されると前記プロセッサに、
前記視覚補助装置の少なくとも１つの画像センサを用いて較正画像を取得し、
前記較正画像の少なくとも１つの属性を獲得し、
前記較正画像の前記少なくとも１つの属性を基準属性と比較し、
前記較正画像の前記少なくとも１つの属性の前記基準属性との比較に少なくとも部分的に基づいて、前記少なくとも１つの画像センサの調節を決定し、
前記フィードバック装置を用いて、前記視覚補助装置の決定された調節に対応するフィードバックを提供する、
各段階を実行させる、非一時的なコンピュータ可読媒体と、
を備える、視覚補助装置。
【請求項１０】
前記視覚補助装置の傾きを決定するように作動可能な慣性測定ユニットを更に備え、前記少なくとも１つの画像センサの前記調節が、前記慣性測定ユニットにより決定された前記視覚補助装置の傾きに少なくとも部分的に更に基づいて行われる、請求項９に記載の視覚補助装置。
【請求項１１】
前記コンピュータ可読命令は前記プロセッサに、前記視覚補助装置のユーザの体型に対応する体型情報を獲得する段階を更に実行させ、前記少なくとも１つの画像センサの調節の決定が更に、前記体型情報に部分的に基づいて行われる、請求項９に記載の視覚補助装置。
【請求項１２】
前記体型情報が、前記ユーザの画像を受け取ることにより獲得され、
前記コンピュータ可読命令は前記プロセッサに、前記ユーザの前記画像から前記体型情報を決定する段階を更に実行させる、
請求項１１に記載の視覚補助装置。
【請求項１３】
前記体型情報が、前記体型情報に対応する入力を受け取ることにより獲得される、請求項９に記載の視覚補助装置。
【請求項１４】
前記較正画像が較正物体の画像であり、前記基準属性が前記較正画像内の少なくとも１つのエッジの角度である、請求項９に記載の視覚補助装置。
【請求項１５】
前記コンピュータ可読媒体は前記プロセッサに、前記画像センサの調節の後に、
前記画像センサを用いて、１又はそれよりも多くの物体の１又はそれよりも多くの画像を取得し、
前記フィードバック装置を用いて、前記１又はそれよりも多くの画像内の前記１又はそれよりも多くの物体に対応するフィードバックを提供する、
各段階を更に実行させる、請求項９に記載の視覚補助装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示に記載される実施態様は概して、視覚補助装置に関し、より詳細には、視覚補助装置の適切な方位に関しユーザにフィードバックを提供して、環境内の物体に関する正確な自動検出を提供するようにする視覚補助装置に関する。
【背景技術】
【０００２】
盲人又は視覚障碍者は、彼ら／彼女らの環境を進むのが難しい。なぜなら、彼ら／彼女らが環境内の物体の位置及び型式を検出することができないからである。盲人又は視覚障碍者はしばしば、彼ら／彼女らが空間内を進むのを補助するのにステッキを使用する。他の装置は、１又はそれよりも多くの物体認識アルゴリズムを用いて環境内の物体を検出するコンピュータベースの視覚システムを用いることもある。コンピュータベースの視覚システムは、画像データ内に存在する物体を検出することはできるけれども、このような視覚システムはしばしば、検出した物体の型式が不正確である。例えば、物体認識アルゴリズムは、適切なカメラの視野又は方位を必要とする場合がある。なぜなら、環境内における物体の不適切な角度により、物体認識アルゴリズムが物体を適切に識別するのが妨げられるおそれがあるからである。例えば、着用可能な視覚補助装置では、ユーザの体型の差により、視覚補助装置が傾くおそれがあり、視覚補助装置によって取得された画像が不適切に分析されるおそれがあり、不正確な情報がユーザに届けられるおそれがある。
【発明の概要】
【０００３】
したがって、視覚補助装置の方向付けを修正するための代替的な視覚補助装置が望まれている。
【０００４】
一実施態様では、視覚補助装置を較正する方法は、前記視覚補助装置の少なくとも１つの画像センサを用いて較正画像を取得し、前記較正画像の少なくとも１つの属性を獲得し、前記較正画像の前記少なくとも１つの属性を基準属性と比較する、各段階を含む。方法は更に、前記較正画像の前記少なくとも１つの属性の前記基準属性との比較に少なくとも部分的に基づいて、前記少なくとも１つの画像センサの調節を決定し、前記視覚補助装置の決定された調節に対応する出力を提供する、各段階を含む。
【０００５】
他の実施態様では、視覚補助装置は、画像データを取得するように構成された画像センサと、ユーザにフィードバックを提供するように構成されたフィードバック装置と、プロセッサと、非一時的なコンピュータ可読媒体と、を含む。非一時的なコンピュータ可読媒体はコンピュータ可読命令を記憶し、前記コンピュータ可読命令は前記プロセッサにより実行されると前記プロセッサに、前記視覚補助装置の少なくとも１つの画像センサを用いて較正画像を取得し、前記較正画像の少なくとも１つの属性を獲得し、前記較正画像の前記少なくとも１つの属性を基準属性と比較する、各段階を実行させる。前記コンピュータ可読命令は前記プロセッサに、前記較正画像の前記少なくとも１つの属性の前記基準属性との比較に少なくとも部分的に基づいて、前記少なくとも１つの画像センサの調節を決定し、前記フィードバック装置を用いて、前記視覚補助装置の決定された調節に対応するフィードバックを提供する、各段階を更に実行させる。
【０００６】
本開示の実施態様によって提供されるこれら及び他の特徴は、図面とともに以下の詳細な説明を考慮して、より完全に理解されるであろう。
【０００７】
図面に記載されている実施態様は、本質的に、例示的かつ代表的なものであって、本開示を限定することを意図するものではない。例示的な実施態様の以下の詳細な説明を以下の図面とともに読めば、当該説明を理解することができる。図面において、同様の構造は同様の参照符号でもって示される。
【図面の簡単な説明】
【０００８】
【図１】本開示で説明され図解される１又はそれよりも多くの実施態様にかかる、視覚補助装置の一例を概略的に示す図である。
【図２】本開示で説明され図解される１又はそれよりも多くの実施態様にかかる、ユーザの首周りに着用されるように構成された視覚補助装置の一例を概略的に示す図である。
【図３】本開示で説明され図解される１又はそれよりも多くの実施態様にかかる、ユーザが着用したときの、図２の視覚補助装置の一例を概略的に示す図である。
【図４】ユーザが進んでもよい環境の一例を概略的に示す図である。
【図５Ａ】視覚補助装置の画像センサにより取得された出口サインの傾斜画像を概略的に示す図である。
【図５Ｂ】画像センサがユーザによって再配置された後の、出口サインの直立画像を概略的に示す図である。
【図６】本開示で説明され図解される１又はそれよりも多くの実施態様にかかる、プロセッサにより実行される較正プロセスの一例のフローチャートを図解的に示す図である。
【図７Ａ】視覚補助装置を較正する際に基準として用いられる２次元バーコードの画像の一例を概略的に示す図であって、本開示で説明され図解される１又はそれよりも多くの実施態様にかかる視覚補助装置が不適切に着用されたことにより、２次元バーコードの一例が傾いている場合における図である。
【図７Ｂ】視覚補助装置を較正する際に基準として用いられる２次元バーコードの画像の一例を概略的に示す図であって、本開示で説明され図解される１又はそれよりも多くの実施態様にかかる視覚補助装置が適切に着用されたことにより、２次元バーコードの一例が傾いていない場合における図である。
【図８】視覚補助装置が不適切に着用されたことにより傾斜した壁コーナ及び天井の画像の一例を概略的に示す図である。
【発明を実施するための形態】
【０００９】
本開示に記載される実施態様は、視覚補助装置及び関連するシステム、並びに、１又はそれよりも多くの較正画像を用いて、どのようにして視覚補助装置を正確に位置決めするかに関し、盲人又は視覚障碍者にフィードバックを提供する方法を対象とする。概して、本開示に記載される実施態様は、装置であって、１又はそれよりも多くの画像センサ（例えば、１又はそれよりも多くのカメラ）を用いてユーザの環境の画像データを取得し、物体認識アルゴリズムを実行してユーザの環境内の物体又は人を検出するようにする装置として構成されてもよい。情報は、盲人又は視覚障碍者に正確に伝えられるべきである。なぜなら、彼又は彼女は当該情報に従って環境を進むからである。
【００１０】
本開示に記載される実施態様は、ユーザに着用されるように構成される。例えば、図２に示されるように、視覚補助装置は、ユーザの首の周りに着用されるように構成されてもよい。しかしながら、ユーザの体型の違いから、視覚補助装置が傾くおそれ又は誤着用されるおそれがあり、これにより、視覚補助装置により取得された画像が不適切に解析されるおそれがある。例えば、視覚補助装置が環境内の物体を適切に認識することができないと、不正確な環境情報がユーザに伝えられるおそれがある。ユーザは、情報が不正確であることに気付かないおそれがあり、視覚補助装置からの不正確な指示に従うおそれがある。更に、ユーザが視覚補助装置からの情報が不正確であることに気付いたとしても、視覚補助装置をどのようにして較正（すなわち、調節）するかを彼又は彼女が知らないおそれがある。
【００１１】
本開示に記載される実施態様は、１又はそれよりも多くの較正プロセスを使用して、視覚補助装置がユーザにより適切に着用されるのを確保するようにする。以下に詳細に説明するように、非限定的な一例では、どのようにして視覚補助装置を方向づけるかに関しユーザに対しフィードバックを生成するために、ユーザが持つ物体が較正画像において用いられる。他の例では、視覚補助装置は、視覚補助装置の方向付け（すなわち、「傾き」）を検出する基準属性として、壁、天井、及び／又は、床により画定されるエッジ（縁）の、１又はそれよりも多くの画像を取得する。いくつかの実施態様は、視覚補助装置の方位を検出するのに慣性測定ユニットを用いる。いくつかの実施態様では、ユーザの１又はそれよりも多くの画像、及び／又は、体型に関する入力を用いて、ユーザの身体に関する体型情報が視覚補助装置により獲得される。体型情報及び較正画像を用いて、視覚補助装置は、どのようにして視覚補助装置を調節するかについて、彼又は彼女に指示する。視覚補助装置を調節するための、視覚補助装置、システム、及び、方法の種々の実施態様が以下に詳細に記載される。
【００１２】
さて、図１を参照すると、視覚補助装置の一例１００の構成要素が概略的に示される。視覚補助装置１００は、ハウジング１８０であって、その内部に内部構成要素（例えば、１又はそれよりも多くのプロセッサ１１０）が配置されたハウジング１８０と、１又はそれよりも多くの画像センサ１３０と、１又はそれよりも多くの慣性測定ユニット１４０と、１又はそれよりも多くの音声装置１５０と、１又はそれよりも多くのユーザ入力装置１６０と、コンピュータ可読命令を記憶する１又はそれよりも多くのメモリ構成要素１７０と、を備える。以下に詳細に説明するように、ハウジング１８０は、あらゆる形態をとってもよく、いくつかの実施態様では、ユーザにより着用されそれにより彼又は彼女が視覚補助装置１００を操作するときにユーザの手が解放されるように構成されてもよい。
【００１３】
メモリ構成要素１７０は、揮発性及び／又は不揮発性の非一時的なコンピュータ可読媒体として構成されてもよく、また、それ自体、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ、及び／又は、他の型式のランダムアクセスメモリ）、フラッシュメモリ、レジスタ、コンパクトディスク（ＣＤ）、デジタル多目的ディスク（ＤＶＤ）、磁気ディスク、及び／又は、他の型式の記憶構成要素を含んでもよい。
【００１４】
図１に示される実施態様では、ローカルインターフェース１２０も含まれ、ローカルインターフェース１２０は、視覚補助装置１００の構成要素同士間の通信を容易にするバス又は他のインターフェースとして実装されてもよい。図１には図示されていないけれども、視覚補助装置１００は、視覚補助装置１００をリモートコンピューティング装置又はリモートコンピュータネットワークに接続するための１又はそれよりも多くのネットワークインターフェースモジュールも含んでもよい。ネットワークインターフェースモジュールは、あらゆる有線又は無線のネットワークハードウェア（例えば、モデム、ＬＡＮポート、ワイヤレスフィディリティ（Ｗｉ−Ｆｉ）カード、ＷｉＭａｘカード、モバイル通信ハードウェア、並びに／又は、他のネットワーク及び／もしくは装置と通信するための他のハードウェア）を含んでもよい。
【００１５】
１又はそれよりも多くのプロセッサ１１０は、情報を受け取って命令（例えば、メモリ構成要素１７０からの）を実行するように構成される、あらゆる処理構成要素を含んでもよい。処理構成要素の一例は、１又はそれよりも多くの汎用プロセッサ、マイクロコントローラ、及び／又は、特定用途向け集積回路を含み、しかしながらこれらに限定されない。
【００１６】
１又はそれよりも多くの画像センサ１３０は、視覚補助装置１００が作動する環境（すなわち、「シーン又は情景」）の画像データを取得するように構成される。画像データは、視覚補助装置１００が作動するシーン（例えば、シーン内の物体及び人）をデジタル的に表す。画像センサ１３０は、画像データを取得するように作動可能なあらゆるセンサ（例えば、光放射（例えば、可視スペクトル内の波長を有する）を検出可能な電荷結合素子画像センサ又は相補型金属酸化物半導体センサ、しかしながらこれらに限定されない）として、構成されてもよい。１又はそれよりも多くの画像センサ１３０は、可視スペクトル外の波長（例えば、赤外スペクトル内の波長）の光放射を検出するように構成されてもよい。いくつかの実施態様では、深さ情報を取得可能なステレオ画像データを形成するために、２つの画像センサ１３０が設けられる。
【００１７】
１又はそれよりも多くの慣性測定ユニット１４０は、視覚補助装置１００の傾き又は方位に関する情報を獲得するように構成されてもよい。視覚補助装置、ひいては、１又はそれよりも多くの画像センサ１３０、の方位情報をプロセッサ１１０に提供するように、１又はそれよりも多くの慣性測定ユニット１４０はプロセッサ１１０に通信可能に結合される。
【００１８】
１又はそれよりも多くの聴覚装置１５０は、ユーザが聴くことが可能な聴覚メッセージを生成するために、プロセッサ１１０から（他のハードウェア（例えば、アンプ、ドライバ、デジタルアナログコンバータ、及び、類似物）から直接的か又は間接的に）聴覚信号を受け取り可能なスピーカとして構成されてもよい。いくつかの実施態様では、１又はそれよりも多くの聴覚装置１５０は、聴覚メッセージがステレオでユーザに提供されるように、第１のスピーカ及び第２のスピーカを含む。１又はそれよりも多くの聴覚装置１５０は、ユーザ周りの環境と、１又はそれよりも多くの画像センサ１３０の最適な視野を提供するためにユーザが視覚補助装置１００の位置を調節すべき仕方と、の両方についての情報を伝えるように構成されてもよい。
【００１９】
１又はそれよりも多くのユーザ入力装置１６０は、ユーザが視覚補助装置１００と通信するために設けられる。１又はそれよりも多くのユーザ入力装置１６０は、タスク（例えば、プログラムの環境設定又は設定）を完了し、コマンドを提供し、視覚補助装置にフィードバックを提供するために、ユーザによって使用されてもよい。１又はそれよりも多くのユーザ入力装置１６０は、あらゆる適切なフォームをとってもよい。例えば、１又はそれよりも多くのユーザ入力装置１６０は、キーボード、ボタン、スイッチ、タッチセンシティブパッド、マイク、及び、類似物として構成されてもよい。あらゆる適切なユーザ入力装置が使用されうる。以下に詳細に説明するように、１又はそれよりも多くのユーザ入力装置１６０は、ユーザの体型情報に関する入力を提供するために、ユーザによって使用されてもよい。
【００２０】
視覚補助装置１００が図１に示されていない追加の構成要素（例えば、電源、電圧レギュレータ、アナログデジタルコンバータ、デジタルアナログコンバータ、ドライバ、信号調整回路、電磁フィルタリング回路、及び、類似物）を含んでもよいことが理解されるべきである。
【００２１】
さて、図２及び図３を参照すると、非限定的な視覚補助装置１００の一例が概略的に示される。図２は、視覚補助装置１００の一例をユーザなしで示しており、図３は、ユーザ２１０により着用された図２の視覚補助装置の一例を示している。図２及び図３の両方を全体的に参照すると、視覚補助装置の一例１００は、ユーザ２１０の首の周りに着用されることを意図した、ネックレスの形態を有する。視覚補助装置のハウジング１８０は、首部分１８４と、第１の胸部分１８２Ａと、第２の胸部分１８２Ｂと、を画定する。ハウジング１８０が図２及び図３に示されるのとは異なるように構成されてもよいこと、及び、ハウジング１８０が他の実施態様において異なる形状及び寸法をとってもよいことが理解されるべきである。
【００２２】
いくつかの実施態様では、ハウジング１８０は、柔軟な材料（例えば、エチレン酢酸ビニル、しかしながらこれに限定されない）から形成される。他の実施態様では、ハウジング１８０は硬質材料から形成される。
【００２３】
特に図３を参照すると、視覚補助装置１００は、首部分１８４がユーザの首の後部に接触し又は近接するように、ユーザ２１０の首の周りに着用されるように構成される。第１及び第２の胸部分１８２Ａ，１８２Ｂはユーザの胸上に垂らされる。図２及び図３に示される例では、第１の胸部分１８２Ａは、第１の音声装置１５０Ａと、第１の画像センサ１３０Ａと、タッチセンシティブパッド又は複数の機械的ボタンとして構成される第１のユーザ入力装置１６０Ａと、を含む。同様に、第２の胸部分１８２Ｂは、第２の音声装置１５０Ｂと、第２の画像センサ１３０Ｂと、第１のユーザ入力装置１６０Ｂと、を含む。図２及び図３に示される視覚補助装置の一例１００のハウジング１８０内における種々の構成要素の配置は単なる例示を目的としたものであること、及び、より多い又はより少ない構成要素が図２及び図３に示される配置とは異なる仕方で提供又は配置されてもよい、ことが理解されるべきである。非限定的で代替的な配置として、例えば、第１又は第２の胸部分１８２Ａ，１８２Ｂの一方のみがユーザ入力装置を含んでもよい。他の実施態様では、第１及び第２の音声装置１５０Ａ，１５０Ｂはハウジング１８０内に配置されず、しかしながらユーザにより着用されるヘッドホンとして構成される。
【００２４】
第１及び第２の画像センサ１３０Ａ，１３０Ｂは、画像データを取得してユーザが環境を進むときのシーンの３次元画像を生成するようにするように構成され、この３次元画像は、以下に詳細に説明するように、物体及び人を検出するために物体認識アルゴリズムにより使用される。図３に示されるように、第１及び第２の画像センサ１３０Ａ，１３０Ｂは、それらが前方を向いてユーザのすぐ前のシーンの画像データを取得するように、第１及び第２の胸部分１８２Ａ，１８２Ｂ内に配置される。他の実施態様では、ユーザ２１０の前方以外の方向（例えば、ユーザの右方、左方、及び／又は、後方）の画像データを提供するために、１又はそれよりも多くの追加の画像センサがハウジング内に配置されてもよい。
【００２５】
ユーザの首の周りに着用されると、ユーザの物理的特徴に応じて視覚補助装置が傾くおそれがある。図３は、ユーザが視覚補助装置を着用する適切な方法の一つを示している。第１及び第２の胸部分１８２Ａ，１８２Ｂは、ユーザの胸に沿いつつ、地面に垂直にかつ互いに平行に拡がり、その結果、第１及び第２の画像センサ１３０Ａ，１３０Ｂが、前向きであり、正確にユーザの前方にあるシーンの画像を取得することができる。しかしながら、ユーザの身体が非常に厚いもしくは薄いと、又は、視覚補助装置が異なって着用されると、第１及び第２の胸部分１８２Ａ，１８２Ｂが上向き又は下向きに傾くおそれがあり、第１及び第２の画像センサ１３０Ａ，１３０Ｂが前向きでなくなるおそれがある。他の例として、胸部分のうちの一方が他方よりも高いおそれがある。したがって、ユーザによって取得された画像が傾くおそれがある。
【００２６】
第１及び第２の音声装置１５０Ａ，１５０Ｂは、ユーザ２１０によって受け取られることを意図した聴覚メッセージを生成する。
【００２７】
聴覚メッセージは、ユーザがプログラムできさもなければ視覚補助装置１００のパラメータを設定できるように、ユーザにメニュナビゲーションオプションを提供してもよい。また、聴覚メッセージは、以下に詳細に説明するように、シーンに関する環境情報を含む。更に、以下に説明するように、第１及び第２の音声装置１５０Ａ，１５０Ｂは、較正プロシージャの後に、どのようにして視覚補助装置１００の位置を調節するかに関してユーザに指示する聴覚メッセージを生成してもよい。２つの音声装置が図示されるけれども、より多い又はより少ない音声装置が設けられてもよい。いくつかの実施態様では、視覚補助装置１００の音声制御を可能にするために、ユーザ入力装置としてマイクも設けられる。このようにして、ユーザは、音声コマンドを用いて、視覚補助装置１００に対しフィードバックを提供してもよい。限定的でない例として、第１及び／又は第２の音声装置１５０Ａ，１５０Ｂは、音声コマンドの受け取りと聴覚メッセージ／サウンドの出力との両方を行うことが可能なスピーカ／マイク組み合わせ装置として、構成されてもよい。
【００２８】
さて、視覚補助装置１００の作用を説明する。図４は、ユーザが進む可能性のあるシーン又は環境３００を示している。例えば、環境３００は、店舗であってよい。図示される環境３００内には複数の物体及び特徴（例えば、ゴミ箱３０１、男性用トイレサイン３０２によって示されるような男性用トイレ、女性用トイレサイン３０３によって示されるような女性用トイレ、壁３０４Ａ，３０４Ｂ、床３０７、出口サイン３０６によって示されるような出口、及び、天井３０８）が存在する。ユーザは環境３００を進むときに、視覚補助装置１００は、画像データを取得し、環境３００内の物体を検出する。１又はそれよりも多くの物体検出アルゴリズムを用いて、視覚補助装置１００は環境３００内の物体を検出し、このように検出された物体に関するフィードバック（例えば、聴覚フィードバック、触覚フィードバック、及び類似物）を視覚補助装置１００のユーザに提供する。
【００２９】
あらゆる公知の又は未開発の物体認識アルゴリズムが、環境を表す画像データ内の物体を検出するのに利用されてもよい。物体認識アルゴリズムの一例は、エッジ検出アルゴリズム、コーナ（角）検出アルゴリズム、染み検出アルゴリズム、及び、特徴記述アルゴリズム（例えば、スケール不変特徴変換（「ＳＩＦＴ」）、高速化ロバスト特徴（「ＳＵＲＦ」）、勾配位置及び方位ヒストグラム（「ＧＬＯＨ」）、及び類似物）、を含み、しかしながらこれらに限定されない。本開示で使用されるような「物体認識アルゴリズム」という語句が、画像データ内に存在する人を検出するのに用いられる顔認識アルゴリズムも含む、ことが理解されるべきである。
【００３０】
上述したように、視覚補助装置がユーザによって適切に着用されないと、１又はそれよりも多くの画像センサ１３０により取得される画像が不適切に指向する、例えば傾く、おそれがある。１又はそれよりも多くの画像センサ１３０の不適切な指向は、物体を適切に検出するという視覚補助装置の能力に悪影響を及ぼすおそれがある。ユーザによって着用されたときに視覚補助装置１００が適切な位置にないと、視覚補助装置１００は、環境３００内の物体に関し、正確なフィードバックをユーザに対し提供することができないおそれがある。本開示の実施態様は、１又はそれよりも多くの画像センサ１３０が環境内で物体の最適な視野を有するように、視覚補助装置１００がユーザによって適切に着用されるのを確保するために、較正プロセスを提供する。
【００３１】
図５Ａは、視覚補助装置１００がユーザにより不適切に着用されたときに１又はそれよりも多くの画像センサ１３０により取得された出口サイン３０６の傾斜画像を示している。図５Ａの例では、出口サイン３０６は、垂直線（すなわち、ｙ軸）に対し角度αだけ傾いている。視覚補助装置１００がどのように着用されているかに応じて、物体の画像が１又はそれよりも多くの軸線に対して傾くおそれがあることが理解されるべきである。１又はそれよりも多くの画像センサ１３０により取得された画像データ内の出口サイン３０６が傾くことによって、視覚補助装置１００の１又はそれよりも多くの物体認識アルゴリズムによる認識又は検出が不能となるおそれがある。したがって、視覚補助装置１００により、ユーザに、不適切な情報が伝達されるおそれがあり、又は、情報が伝達されないおそれがある。図５Ｂは、ユーザによって適切に着用された視覚補助装置１００の１又はそれよりも多くの画像センサ１３０により取得された画像内において、適切に指向された出口サイン３０６を示している。画像が傾いていないので、１又はそれよりも多くの物体認識アルゴリズムは、画像が出口サインを含むことをより容易に検出することができる。
【００３２】
上述したように、本開示の実施態様は、視覚補助装置１００が適切に着用されるのを確保する較正プロセスを実行することが可能な視覚補助装置１００を対象とする。図６は、視覚補助装置１００のプロセッサ１１０によって実行される、較正プロセスの一例のフローチャート６００を示している。較正プロセスを開始するために、ユーザは、ユーザが較正プロセスを開始したいということを示す入力を視覚補助装置１００に提供してもよい。例えば、ユーザは、１又はそれよりも多くのボタンを押し又は可聴コマンドを話すことにより較正プロセスを開始するために入力装置１６０を使用してもよい。いくつかの実施態様では、視覚補助装置１００は、較正プロセスのために適切な位置に位置するようユーザに指示する聴覚指示（又は、触覚指示）を提供する（ブロック６１０）。別の実施態様では、視覚補助装置１００は、適切な位置に位置するようユーザに指示しない。むしろ、ユーザは較正プロセスを開始する準備ができている、と仮定される。
【００３３】
一実施態様では、較正プロセスは、手持ち物体、又は、既知の場所（例えば、壁上、テーブル上、又は、類似物上）に位置決めされた物体を用いる。一例として、手持ち物体は、ユーザが腕の長さの位置で持つサインでありうるが、これに限定されない。サインは、画像（例えば、図７Ａ及び図７Ｂに示されるような２次元バーコード、しかしながらこれに限定されない）を含んでもよい。物体が手持ち物体でない実施態様では、物体は、２次元バーコードを含むポスタ又は他の物体として構成されてもよい。物体が２次元バーコード以外の画像又は特徴を含んでもよいことが理解されるべきである。
【００３４】
他の実施態様では、視覚補助装置１００は、ユーザが、壁、壁の交差部、又は、壁（１つもしくは複数）、天井、及び／もしくは、床の間の交差部に向くよう、ユーザに指示してもよい。図４は、部屋のコーナ３０９の形の交差部を示している。図８は、部屋のコーナ３０９の較正画像８００を示している。以下に詳細に説明するように、交差部は、視覚補助装置が適切に指向されているか否かを判別するのに視覚補助装置によって使用される。
【００３５】
ブロック６２０では、視覚補助装置１００は、較正プロセスの開始を要求するユーザの入力に応答して、１又はそれよりも多くの画像センサ１３０を用いて、１又はそれよりも多くの較正画像を取得する。較正画像は、１又はそれよりも多くの静的デジタル画像、又は、多数の連続デジタル画像から形成されるビデオ、の形であってよい。例えば、較正画像（単数又は複数）は、メモリ構成要素１７０内に保存されてもよい。
【００３６】
図７Ａに示される、物体の実施態様（例えば、手持ち物体）では、較正画像は、較正物体の画像（例えば、２次元バーコードを描く手持ち物体）である。実施態様が２次元バーコードに限定されないことが理解されるべきである。図７Ａに示されるように、較正画像７００は、視覚補助装置１００の不適切な指向に起因して傾いている。図８に示される実施態様では、較正画像はコーナ３０９の画像である。
【００３７】
ブロック６３０では、較正画像の１又はそれよりも多くの属性が決定される。限定例ではない一例として、較正画像の１又はそれよりも多くの属性は、較正画像の検出されたエッジ又は特徴と軸線（例えば、垂直線（例えば、ｙ軸線）もしくは水平線（例えば、ｘ軸線））との間の角度であってよい。図７Ａに示される例では、バーコードの較正画像７００は、垂直線又はｙ軸線に対し角度α’だけ傾いている。図８に示される例では、較正画像８００内のコーナ３０９は垂直線又はｙ軸線に対し角度α”だけ傾いている。
【００３８】
ブロック６４０では、較正画像（単数又は複数）の１又はそれよりも多くの属性が１又はそれよりも多くの基準属性と比較される。図７Ａ及び図８に示される例では、基準属性は、視覚補助装置が適切に着用されているか否かを判別するためのしきい値として作用する基準角度であってよい。限定例ではない一例として、基準属性は、特定の軸線に対し５度の角度であってよい。角度α’及びα”が基準属性又は角度（例えば、５度）よりも大きいときには、視覚補助装置は、プロセッサを用いて、視覚補助装置がユーザにより適切に着用されていないと判別してもよい。
【００３９】
いくつかの実施態様では、較正プロセスは、選択任意にブロック６５０に移動し、ここでは、ユーザの体型情報が獲得される。ブロック６５０において獲得された体型情報は、どのようにしてユーザに視覚補助装置の位置を調節するよう指示するかを決定するのに、視覚補助装置のプロセッサにより用いられてもよい。特に、ユーザに詳細な指示を与えるために、プロセッサ１１０は、ユーザの体型情報（すなわち、身体的特徴）（例えば、身長、体重、首の幅、胸のサイズ、身体の厚み）を獲得することができる。体型情報は、ユーザの画像又はユーザによる入力により、獲得することができる。いくつかの実施態様では、体型情報は、ユーザによりメモリ構成要素１７０にあらかじめ入力されて記憶される。画像センサ較正についての体型情報の獲得及び使用に関する追加の情報は、米国特許出願第１５／２０５，９４６号にあり、米国特許出願第１５／２０５，９４６号は、参照することによってその全体が本開示に組み込まれる。他の実施態様では、体型情報は獲得されず、視覚補助装置１００の調節を決定するのにプロセッサ１１０によって利用されない。
【００４０】
ブロック６６０では、プロセッサ１１０は、視覚補助装置がユーザにより適切に着用されるように、視覚補助装置１００の必要な調節を決定する。この決定は、較正画像の属性の角度（単数又は複数）を基準属性の角度と比較することにより、行われる。プロセッサ１１０は、この角度（単数又は複数）を用いて、視覚補助装置１００が調節されるべき大きさ及び方向を決定してもよい。一例では、３つの軸線（例えば、ｘ軸線、ｙ軸線、及び、ｚ軸線）に対する３つの角度により表される３つの属性が用いられて、どのようにして視覚補助装置を３次元で調節するかに関し計算が行われる。体型情報が獲得される場合には、どのようにして視覚補助装置を調節するかに関する決定に、体型情報が利用されてもよい。
【００４１】
ブロック６７０では、視覚補助装置が最適な視野を有するのに必要でありうる、視覚補助装置の決定された調節に関してフィードバックがユーザに提供される。一例では、視覚補助装置１００は、どのようにして視覚補助装置をユーザ上で再配置又は調節するかをユーザに指示する音声信号を、音声装置１５０を用いて生成する。限定例ではない一例として、視覚補助装置１００は、必要とされる調節に応じ、「装置の両端を下方に傾けてください」、「装置の両端を左方に傾けてください」、「装置の左端を上向きに傾けてください」、など、と述べてもよい。ユーザへの指示の伝え方は、聴覚指示に限定されない。他の非限定的な例では、ユーザの耳の近くにおいてユーザに着用された骨伝導ハードウェアにより、又は、視覚補助装置内の１又はそれよりも多くの振動装置による触覚フィードバックにより、指示がユーザに伝えられてもよい。
【００４２】
指示に従ってユーザが視覚補助装置１００を調節した後、ユーザは、視覚補助装置１００の調節が効果的であったことを確保するために他の較正プロセスを実行することを望んでもよい。したがって、視覚補助装置１００がユーザ上において適切に指向されるまで、フローチャート６００のステップが繰り返されてもよい。
【００４３】
視覚補助装置１００の位置が適切に較正された後、視覚補助装置１００は、ユーザが環境を進むときに、適切に物体を検出するとともに物体に関しユーザに助言することにより、ユーザを支援してもよい。
【００４４】
さて、本開示に記載された実施態様は、ユーザにより着用されるように構成され、かつ、視覚補助装置がユーザにより適切に着用されるのを確保するために較正プロシージャに従い調節されるように構成された、視覚補助装置を対象とすることが理解されるべきである。ユーザ上における視覚補助装置の位置を較正することにより、環境内における視覚補助装置により検出された物体の自動物体認識も改善されるように、視覚補助装置の１又はそれよりも多くの画像センサの視野が改善される。このようにして、より正確な情報を、視覚補助装置によりユーザに伝えることができる。更に、盲人又は視覚障碍者は、視覚補助装置が適切に着用されているか否かを認識してもよく、彼又は彼女は、人の補助を必要とすることなく視覚補助装置の位置を較正することができる。
【００４５】
本開示の特定の実施態様及び観点が本開示において図示されるとともに説明されてきたけれども、本開示の精神及び範囲を逸脱することなく、種々の他の変更及び改良を施すことができる。更に、種々の観点が本開示に記載されてきたけれども、このような観点を組み合わせて用いる必要はない。したがって、添付の特許請求の範囲が、本開示に示され説明された実施態様の範囲内にある、このようなすべての変更及び改良を包含することが意図される。
【００４６】
さて、本開示に記載される実施態様が、画像を較正するためのシステム、方法、及び、非一時的なコンピュータ可読媒体を含むことが理解されるべきである。また、これらの実施態様は、単なる例示目的であり、本開示の範囲を制御すること意図しないことが、理解されるべきである。
【００４７】
１．視覚補助装置を較正する方法であって、
前記視覚補助装置の少なくとも１つの画像センサを用いて較正画像を取得し、
前記較正画像の少なくとも１つの属性を獲得し、
前記較正画像の前記少なくとも１つの属性を基準属性と比較し、
前記較正画像の前記少なくとも１つの属性の前記基準属性との比較に少なくとも部分的に基づいて、前記少なくとも１つの画像センサの調節を決定し、
前記視覚補助装置の決定された調節に対応する出力を提供する、
各段階を含む、方法。
２．前記視覚補助装置のユーザの体型に対応する体型情報を獲得する段階を更に含み、前記少なくとも１つの画像センサの調節の決定が更に、前記体型情報に部分的に基づいて行われる、例１に記載の方法。
３．前記体型情報を獲得する段階が更に、前記ユーザの画像を受け取る段階を含み、
前記方法は更に、前記ユーザの前記画像から前記体型情報を決定する段階を含む、
例２に記載の方法。
４．前記体型情報を獲得する段階が更に、前記体型情報に対応する入力を受け取る段階を含む、例２に記載の方法。
５．前記較正画像が較正物体の画像であり、前記基準属性が前記較正画像内の少なくとも１つのエッジの角度である、例１に記載の方法。
６．前記較正物体が、ユーザが持つ物体である、例５に記載の方法。
７．前記較正画像が、１又はそれよりも多くの壁、天井、及び、床のうちの少なくとも１つの画像であり、
前記基準属性が、前記較正画像内の前記１又はそれよりも多くの壁、前記天井、及び、前記床のうちの１又はそれよりも多くにより画定されるエッジである、
例１に記載の方法。
８．前記視覚補助装置の調節の後に、
前記少なくとも１つの画像センサを用いて、１又はそれよりも多くの物体の１又はそれよりも多くの画像を取得し、
前記１又はそれよりも多くの物体の前記１又はそれよりも多くの画像内の前記１又はそれよりも多くの物体に対応する出力を提供する、
各段階を更に含む、例１に記載の方法。
９．前記視覚補助装置の決定された調節に対応する前記出力、及び、前記１又はそれよりも多くの画像内の前記１又はそれよりも多くの物体に対応する出力が、音声信号、振動信号、及び、骨伝導信号のうちの少なくとも１つにより提供される、例８に記載の方法。
１０．視覚補助装置であって、
画像データを取得するように構成された画像センサと、
ユーザにフィードバックを提供するように構成されたフィードバック装置と、
プロセッサと、
コンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体であって、前記コンピュータ可読命令は前記プロセッサにより実行されると前記プロセッサに、
前記視覚補助装置の少なくとも１つの画像センサを用いて較正画像を取得し、
前記較正画像の少なくとも１つの属性を獲得し、
前記較正画像の前記少なくとも１つの属性を基準属性と比較し、
前記較正画像の前記少なくとも１つの属性の前記基準属性との比較に少なくとも部分的に基づいて、前記少なくとも１つの画像センサの調節を決定し、
前記フィードバック装置を用いて、前記視覚補助装置の決定された調節に対応するフィードバックを提供する、
各段階を実行させる、非一時的なコンピュータ可読媒体と、
を備える、視覚補助装置。
１１．前記視覚補助装置の傾きを決定するように作動可能な慣性測定ユニットを更に備え、前記少なくとも１つの画像センサの前記調節が、前記慣性測定ユニットにより決定された前記視覚補助装置の傾きに少なくとも部分的に更に基づいて行われる、例１０に記載の視覚補助装置。
１２．ユーザの首及び肩の周りに着用されるように構成されたハウジングを更に備える、例１０に記載の視覚補助装置。
１３．前記ハウジングが第１の端及び第２の端を備え、
前記画像センサは、前記ハウジングの前記第１の端及び第２の端のうちの少なくとも１つ内に配置される、
例１２に記載の視覚補助装置。
１４．前記コンピュータ可読命令は前記プロセッサに、前記視覚補助装置のユーザの体型に対応する体型情報を獲得する段階を更に実行させ、前記少なくとも１つの画像センサの調節の決定が更に、前記体型情報に部分的に基づいて行われる、例１０に記載の視覚補助装置。
１５．前記体型情報が、前記ユーザの画像を受け取ることにより獲得され、
前記コンピュータ可読命令は前記プロセッサに、前記ユーザの前記画像から前記体型情報を決定する段階を更に実行させる、
例１４に記載の視覚補助装置。
１６．前記体型情報が、前記体型情報に対応する入力を受け取ることにより獲得される、例１０に記載の視覚補助装置。
１７．前記較正画像が較正物体の画像であり、前記基準属性が前記較正画像内の少なくとも１つのエッジの角度である、例１０に記載の視覚補助装置。
１８．前記較正物体が、ユーザが持つ物体である、例１７に記載の視覚補助装置。
１９．前記較正画像が、１又はそれよりも多くの壁、天井、及び、床のうちの少なくとも１つの画像であり、
前記基準属性が、前記較正画像内の前記１又はそれよりも多くの壁、前記天井、及び、前記床のうちの１又はそれよりも多くにより画定されるエッジである、
例１０に記載の視覚補助装置。
２０．前記コンピュータ可読媒体は前記プロセッサに、前記画像センサの調節の後に、
前記画像センサを用いて、１又はそれよりも多くの物体の１又はそれよりも多くの画像を取得し、
前記フィードバック装置を用いて、前記１又はそれよりも多くの画像内の前記１又はそれよりも多くの物体に対応するフィードバックを提供する、
各段階を更に実行させる、例１０に記載の視覚補助装置。
【図１】
2018000953.tif 000003
【図２】
2018000953.tif 000004
【図３】
2018000953.tif 000005
【図４】
2018000953.tif 000006
【図５Ａ】
2018000953.tif 000007
【図５Ｂ】
2018000953.tif 000008
【図６】
2018000953.tif 000009
【図７Ａ】
2018000953.tif 000010
【図７Ｂ】
2018000953.tif 000011
【図８】
2018000953.tif 000012
【外国語明細書】
2018000953000001.pdf