(57)【特許請求の範囲】
【請求項１】
ユーザからの選択情報を受信することに応答してスマート人工器官を作動させる方法であって、前記方法は、
前記スマート人工器官が、前記ユーザから受信された前記選択情報に基づいて、視覚タスクを決定することと、
前記スマート人工器官が、前記決定された視覚タスクの実施を促進するために、複数の機能のうち、前記決定された視覚タスクに関連付けられた少なくとも１つの機能を実行することと、
前記スマート人工器官が、シーンを表す光入力に応答して前記スマート人工器官によって生成された入力画像信号から、前記決定された視覚タスクに関連する少なくとも１つのアイテムに関するアイテム情報を抽出することであって、前記少なくとも１つのアイテムは、前記シーン内にある、ことと、
前記スマート人工器官が、前記抽出されたアイテム情報に関連付けられた少なくとも１つのアイテムを複数の認識可能なアイテムのうちの少なくとも１つであると識別することと、
前記スマート人工器官が、前記シーンの抽象的表現に対応する画像データを生成することであって、前記シーンの抽象的表現は、少なくとも１つのアイテムの記号的表現を含み、前記少なくとも１つのアイテムは、前記抽出されたアイテム情報に関連付けられ、かつ、前記複数の認識可能なアイテムのうちの少なくとも１つであると識別されたものである、ことと、
前記スマート人工器官が、前記画像データに基づく画素情報を視覚人工器官に提供することと
を含む、方法。
【請求項２】
前記スマート人工器官が前記ユーザから選択情報を受信することに応答して、デフォルト機能を実行することから、前記決定された視覚タスクに関連付けられた前記少なくとも１つの機能を実行することへと、前記スマート人工器官の動作を遷移させることをさらに含む、請求項１に記載の方法。
【請求項３】
前記決定された視覚タスクの完了に応じて、前記決定された視覚タスクに関連付けられた前記少なくとも１つの機能を実行することから、前記デフォルト機能を実行することへと、前記スマート人工器官の動作を遷移させることをさらに含む、請求項２に記載の方法。
【請求項４】
画像データを生成することは、
前記スマート人工器官が、データ接続を経由して、前記入力画像信号から抽出されたアイテム情報を伝送することと、
前記スマート人工器官が、前記データ接続を経由して、前記伝送されたアイテム情報に関連付けられた前記少なくとも１つのアイテムに対するアイテムデータを受信することと
をさらに含む、請求項１に記載の方法。
【請求項５】
抽出することは、
前記スマート人工器官が、前記ユーザへの着目領域の指示を受信することであって、前記着目領域は、前記シーン内にある、ことと、
前記スマート人工器官が、前記アイテム情報を取得するために、前記着目領域に関連付けられた前記入力画像信号の少なくとも一部を選択し、処理することと
を含む、請求項１に記載の方法。
【請求項６】
画像データを生成することは、前記スマート人工器官が、データ接続を介して、補助データを遠隔サーバから受信することをさらに含む、請求項１に記載の方法。
【請求項７】
前記補助データは、前記ユーザの現在の場所に関連付けられた情報を含む、請求項６に記載の方法。
【請求項８】
前記画像データは、前記入力画像信号からの画素情報を含まない、請求項１に記載の方法。
【請求項９】
前記画像データは、前記入力画像信号からの少なくともある画素情報を含む、請求項１に記載の方法。
【請求項１０】
前記抽出されたアイテム情報に関連付けられた前記少なくとも１つのアイテムは、顔を含む、請求項１に記載の方法。
【請求項１１】
前記抽出されたアイテム情報に関連付けられた前記少なくとも１つのアイテムは、物体を含む、請求項１に記載の方法。
【請求項１２】
前記抽出されたアイテム情報に関連付けられた前記少なくとも１つのアイテムは、テキスト情報を含む、請求項１に記載の方法。
【請求項１３】
前記スマート人工器官が、前記シーンの一部において前記ユーザの着目を検出することと、
前記スマート人工器官が、前記シーンの一部において物体を識別することであって、前記シーンの抽象的表現は、前記物体の記号的レンダリングをさらに含む、ことと
をさらに含む、請求項１に記載の方法。
【請求項１４】
前記スマート人工器官が、データ接続を経由して、前記入力画像信号から抽出されたアイテム情報を伝送することと、
前記スマート人工器官が、前記伝送されたアイテム情報に対応する少なくとも１つのアイテムの記号的表現に関するアイテムデータを受信することと
をさらに含む、請求項１に記載の方法。
【請求項１５】
視覚タスクを実施する際に視覚障害者ユーザによって使用されるスマート人工器官であって、前記スマート人工器官は、
プロセッサと、
前記プロセッサによって実行される命令を含む非一過性の機械読み取り可能な媒体であって、前記命令は、
前記ユーザから受信された選択情報に基づいて、視覚タスクを決定するための命令と、
前記決定された視覚タスクの実施を促進するために、複数の機能のうち、前記決定された視覚タスクに関連付けられた少なくとも１つの機能を実行するための命令と、
シーンを表す光入力に応答して生成された入力画像信号から、前記決定された視覚タスクに関連する少なくとも１つのアイテムに関するアイテム情報を抽出するための命令であって、前記少なくとも１つのアイテムは、前記シーン内にある、命令と、
前記シーンの抽象的表現に対応する画像データを生成するための命令であって、前記シーンの抽象的表現は、前記アイテム情報に関連付けられた少なくとも１つのアイテムの記号的表現を含む、命令と、
前記画像データに基づく画素情報を前記ユーザの視覚人工器官に提供するための命令と
を含む、非一過性の機械読み取り可能な媒体と
を備える、スマート人工器官。
【請求項１６】
前記選択情報に応答して、デフォルト機能を実行することから、前記決定された視覚タスクに関連付けられた前記少なくとも１つの機能を実行することへと、前記スマート人工器官の動作を遷移させるための命令をさらに含む、請求項１５に記載のスマート人工器官。
【請求項１７】
前記決定された視覚タスクの完了に応じて、前記決定された視覚タスクに関連付けられた前記少なくとも１つの機能を実行することから、前記デフォルト機能を実行することへと、前記スマート人工器官の動作を遷移させるための命令をさらに含む、請求項１６に記載のスマート人工器官。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の引用）
本願は、２０１３年５月２８日に出願され、“ＳＭＡＲＴ  ＰＲＯＳＴＨＥＳＩＳ  ＦＯＲ  ＦＡ  ＣＩＬＴＴ  ＡＴＴＮＧ  ＡＲＴＩＦＩＣＩＡＬ  ＶＩＳＩＯＮ  ＵＳＩＮＧ  ＳＣＥＮＥ  ＡＢＳＴＲＡＣＴＩＯＮ”と題された、米国仮特許出願第６１  ／８２８，１２４号に対する優先権およびその利益を主張するものであり、該仮特許出願の開示は、その全体が参照により本明細書中に援用される。
【０００２】
本明細書に開示されるシステムおよび方法は、視覚人工器官に関する。特に、限定としてではないが、本開示は、網膜人工器官の能力を向上させるためのシステムおよび方法に関する。
【背景技術】
【０００３】
現在および当分は、失明を治療するための網膜人工器官が、損傷がない網膜を含む視覚系の固有の能力と比較して、極めて低い帯域幅、すなわち、画素分解能を保有することが予期される。したがって、標準的画像処理技術を使用して、その撮像カメラによって生成される画素値で動作することによって、網膜人工器官の性能を改善する取り組みが、成されている。残念ながら、そのような取り組みは、それらが、種々の毎日のタスク（例えば、階段を見極めて進むこと、顔を認識すること、お金を数えること）に従事することを所望する視覚障害者ユーザに、実質的補助を提供する際に有用になることが可能になるために必要な程度まで、そのような人工器官を改善していない。これらの取り組みは、少なくとも部分的に、そのようなカメラによって登録される画素強度が、目の前のタスクに照らして、視覚障害者ユーザに大部分が無関係である特異な情報によって占められる傾向があるため、妨げられている場合がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
既存の網膜人工器官のこれらの欠点に照らして、タスク関連情報の抽出およびその情報の効率的表現が、視覚障害者の患者またはユーザに、外界に関する代表情報に対する全体的に異なるアプローチを要求すると考えられる。この目的を達成するために、本開示は、好ましくは、視覚世界の抽象的表現を産出するために、カメラおよび潜在的に他の情報源からの入力画像情報に高度処理を実施するように構成される、インテリジェントまたは「スマート」な人工器官を説明する。この抽象的表現に基づいて、スマート人工器官は、視覚障害者ユーザの網膜を刺激するために使用されるとき、ユーザによって実施される所望の種々のタスクのために非常に好適な簡略化された抽象的画像をユーザのために産出する、画素値を産出する。
【０００５】
一側面では、本開示は、視覚人工器官を使用して、画像データを視覚障害者ユーザに提示するための方法および装置の改善を対象とする。一実施形態では、本開示のスマート人工器官は、高度な算出技術を使用して、リアルタイムにおいて、あるシーンに関する高レベルの抽象的情報を抽出する。これは、ユーザに対して未加工またはフィルタ処理された画素カメラビデオを中継することに依拠する、視覚人工器官を駆動させるための標準的方法と対照的である。抽象的シーン情報は、次いで、簡略的かつ抽象的方式で、単独で、あるいはカメラビデオまたは他の入力画像情報の一部または全部と統合されてのいずれかで、提示される。これは、ユーザに、より理解しやく、かつユーザの周囲の有用な表現の提示をもたらし、したがって、ユーザが、事前に実施されることが不可能である視覚タスクに生産的に従事することを可能にする。
【０００６】
スマート人工器官システムは、１つまたはそれを上回るカメラおよび他のセンサと、インターネット接続されたスマートフォンまたは類似するデバイス上に常駐するプロセッサとを含んでもよい。スマート人工器官によって生成される画像データは、網膜を刺激するために、電極のアレイまたは光学システムを駆動させるために使用可能である。
【０００７】
スマート人工器官の動作の間、ユーザが、複数の補助（例えば、人認識、読取、ナビゲーション、または買物）のうちの１つを選択してもよい。各補助は、人々、物体、および場所の表現を産出するために、インターネットおよびデータベースからの情報と、人工器官のカメラおよび他のセンサによって生成されるライブビデオストリームまたは他のイメージから抽出される情報を統合してもよい。これは、ユーザが、目の前のタスクおよび人工器官上で利用可能である分解能のために最適化される、周囲視覚シーンの抽象的かつ潜在的拡張ビューが提示されることを可能にする。
【０００８】
一側面では、本開示は、人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法に関する。本方法は、ユーザから受信された選択情報に応答して、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、スマート人工器官を構成するステップを含む。本方法はさらに、シーンを表す光入力に応答して生成された入力画像信号から、視覚タスクに関連するシーン内において少なくとも１つのアイテムに関するアイテム情報を抽出するステップを含む。スマート人工器官は、次いで、シーンの抽象的表現に対応する画像データを生成し、抽象的表現は、少なくとも１つのアイテムの表現を含む。画像データに基づく画素情報は、次いで、視覚人工器官に提供される。
【０００９】
別の側面では、本開示は、人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法に関する。本方法は、ユーザから受信された選択情報に応答して、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、スマート人工器官を構成するステップを含む。本方法はさらに、シーンを表す光入力に応答して生成された入力画像信号から、視覚タスクに関連するシーン内において少なくとも１つのアイテムに関するアイテム情報を抽出するステップを含む。スマート人工器官は、次いで、シーンの抽象的表現を作成し、抽象的表現は、少なくとも１つのアイテムの表現を含む。拡張画像データが、次いで、生成され、拡張画像データは、入力画像信号および抽象的表現に対応する抽象的データのうちの少なくとも一部を含み、画素情報に基づく拡張画像データは、次いで、視覚人工器官に提供される。
【００１０】
本開示はさらに、人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法を対象とする。本方法は、シーンを表す光入力に応答して、入力画像信号を産出するステップを含む。本方法はさらに、入力画像信号を処理することによって、シーン内において少なくとも１つのアイテムを認識するステップを含む。シーンの抽象的表現に対応する画像データは、次いで、生成され、抽象的表現は、少なくとも１つのアイテムの記号的表現を含む。画像データに基づく画素情報は、次いで、視覚人工器官に提供される。
【００１１】
さらなる別の側面では、本開示は、人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法に関する。本方法は、シーンを表す光入力に応答して、入力画像信号を産出するステップを含む。本方法はさらに、入力画像信号を処理することによって、シーン内において少なくとも１つのアイテムを認識するステップを含む。シーンの抽象的表現が、次いで、作成され、抽象的表現は、少なくとも１つのアイテムの記号的表現を含む。拡張画像データは、生成され、拡張画像データは、入力画像信号および抽象的表現に対応する抽象的データのうちの少なくとも一部を含む。本方法はまた、視覚人工器官に、拡張画像データに基づく画素情報を提供するステップを含む。
【００１２】
本開示はまた、視覚タスクを実施する際に視覚障害者ユーザを補助する方法を対象とする。本方法は、ユーザによって実施される１つまたはそれを上回る動きに関する情報を受信するステップを含む。本方法はさらに、１つまたはそれを上回る動きに基づいて、視覚タスクを判定するステップを含む。シーンを表す光入力に応答して生成された入力画像信号は、受信され、視覚タスクに関連するアイテム情報は、入力画像信号から抽出される。本方法はまた、少なくとも部分的に、アイテム情報に基づいて、シーンの抽象的表現に対応する画像データを生成するステップを含む。画像データに基づく画素情報は、ユーザの視覚人工器官に提供される。
【００１３】
付加的側面では、本開示は、プロセッサおよび少なくともビデオ入力デバイスを含むスマート人工器官に関する。スマート人工器官はさらに、プロセッサによる実行のための命令を含む非一過性機械可読媒体を含む。命令は、シーンを表す光入力に応答して、ビデオ入力デバイスによって生成される入力ビデオ信号を受信するための命令を含む。命令はさらに、入力ビデオ信号を処理することによって、シーン内における少なくとも１つのアイテムを認識することを提供する。シーンの抽象的表現に対応する画像データは、次いで、生成され、抽象的表現は、少なくとも１つのアイテムの記号的表現を含む。画像データに基づく画素情報は、次いで、ユーザの視覚人工器官に提供される。
【００１４】
本開示はまた、視覚障害者ユーザによる使用のためのスマート人工器官を対象とする。スマート人工器官は、プロセッサと、プロセッサによる実行のための命令を含む非一過性機械可読媒体とを含む。命令は、シーンを表す光入力に応答して生成された入力画像信号を受信するための命令を含む。命令はさらに、入力画像信号を処理することによって、シーン内において少なくとも１つのアイテムを認識することを提供する。シーンの抽象的表現に対応する画像データは、次いで、生成され、抽象的表現は、少なくとも１つのアイテムの記号的表現を含む。本方法はさらに、ユーザの視覚人工器官に、画像データに基づく画素情報を提供するステップを含む。
【００１５】
別の側面では、本開示は、視覚タスクを実施する際の視覚障害者ユーザによる使用のためのスマート人工器官に関する。スマート人工器官は、プロセッサと、プロセッサによる実行のための命令を含む非一過性機械可読媒体とを含む。命令は、ユーザから受信された選択情報に応答して、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、スマート人工器官を構成するための命令を含む。命令はさらに、シーンを表す光入力に応答して生成された入力画像信号から、視覚タスクに関連するシーン内において少なくとも１つのアイテムに関するアイテム情報を抽出することを提供する。加えて、命令は、スマート人工器官によって、シーンの抽象的表現に対応する画像データを生成するための命令を含み、抽象的表現は、アイテム情報と関連付けられる少なくとも１つのアイテムの表現を含む。命令はさらに、ユーザの視覚人工器官に、画像データに基づく画素情報を提供するための命令を含む。
【００１６】
さらに付加的側面では、本開示は、視覚タスクを実施する際の視覚障害者ユーザを補助するためのスマート人工器官を対象とする。スマート人工器官は、プロセッサと、プロセッサによる実行のための命令を含む非一過性機械可読媒体とを含む。命令は、ユーザによって実施される１つまたはそれを上回る動きに関する情報を受信するための命令を含む。命令はさらに、１つまたはそれを上回る動きに基づいて、視覚タスクを判定し、シーンを表す光入力に応答して生成された入力画像信号を受信するための命令を含む。命令はまた、入力画像信号から、視覚タスクに関連するアイテム情報を抽出し、少なくとも部分的に、アイテム情報に基づいて、シーンの抽象的表現に対応する画像データを生成することを提供する。命令はさらに、画像データに基づく画素情報をユーザの視覚人工器官に提供させる。
【００１７】
上記に要約される実施形態は、詳細な発明を実施するための形態において、より完全に説明される。しかしながら、本開示を、この「発明の概要」または「発明を実施するための形態」に説明される形態に限定することを意図しないことを理解されたい。当業者は、請求項に表されるように本開示の精神および範囲内にある多数の修正、均等物、および代替構成があることを認識することができる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法であって、
前記ユーザから受信された選択情報に応答して、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、スマート人工器官を構成するステップと、
シーンを表す光入力に応答して生成された入力画像信号から、前記視覚タスクに関連する前記シーン内において少なくとも１つのアイテムに関するアイテム情報を抽出するステップと、
前記スマート人工器官によって、前記シーンの抽象的表現に対応する画像データを生成するステップであって、前記抽象的表現は、前記少なくとも１つのアイテムの表現を含む、ステップと、
前記視覚人工器官に、前記画像データに基づく画素情報を提供するステップと、
を含む、方法。
（項目２）
前記構成するステップは、前記選択情報に応答して、デフォルト機能を実施するステップから、前記少なくとも１つの機能を実施するステップまで、前記スマート人工器官の動作を遷移させるステップを含む、項目１に記載の方法。
（項目３）
前記少なくとも１つの機能を実施するステップから、前記視覚タスクの完了に応じて前記デフォルト機能を実施するステップまで、前記スマート人工器官の動作を遷移させるステップをさらに含む、項目２に記載の方法。
（項目４）
前記画像データを生成するステップはさらに、
データ接続を経由して、前記入力画像信号から抽出されたアイテム情報を伝送するステップと、
前記データ接続を経由して、アイテムデータを受信するステップであって、前記アイテムデータは、前記少なくとも１つのアイテムに関する、ステップと、
を含む、項目１に記載の方法。
（項目５）
前記少なくとも１つのアイテムの表現は、記号的表現を含む、項目１に記載の方法。
（項目６）
前記抽出するステップは、
前記ユーザへの着目シーン内における領域の指示を受信するステップと、
前記アイテム情報を取得するために、前記領域と関連付けられる前記入力画像信号の少なくとも一部を選択かつ処理するステップと、
を含む、項目１に記載の方法。
（項目７）
前記アイテム情報は、顔情報を含み、前記処理するステップは、前記顔情報を検出かつ識別するステップを含む、項目６に記載の方法。
（項目８）
前記顔情報は、顔特徴および顔表情のうちの少なくとも１つを含む、項目７に記載の方法。
（項目９）
前記アイテム情報は、テキスト情報を含み、前記処理するステップは、前記テキスト情報を検出かつ識別するステップを含む、項目６に記載の方法。
（項目１０）
前記抽出するステップは、前記ユーザの地理的場所、配向、および方向のうちの少なくとも１つを判定するステップを含む、項目１に記載の方法。
（項目１１）
前記抽出するステップはさらに、
前記ユーザへの着目アイテムの指示を受信するステップと、
前記入力画像信号を処理し、前記着目アイテムのうちの少なくとも１つを識別するステップであって、前記着目アイテムのうちの少なくとも１つは、前記少なくとも１つのアイテムに対応する、ステップと、
を含む、項目１に記載の方法。
（項目１２）
前記画像データを生成するステップはさらに、データ接続を介して、補助データを遠隔サーバから受信するステップを含む、項目１に記載の方法。
（項目１３）
前記補助データは、前記ユーザの現在の場所と関連付けられる情報を含む、項目１２に記載の方法。
（項目１４）
前記アイテム情報は、顔データを含み、前記補助データは、前記顔データに対応する個々のものと関連付けられる情報を含む、項目１２に記載の方法。
（項目１５）
前記アイテム情報は、物体データを含み、前記補助データは、前記物体データに対応する物体と関連付けられる情報を含む、項目１２に記載の方法。
（項目１６）
前記画像データの一部は、数値、テキスト、および記号的情報のうちの少なくとも１つを表す、項目１に記載の方法
（項目１７）
前記画像データの一部は、動画イメージを表す、項目１に記載の方法。
（項目１８）
前記画像データは、前記入力画像信号からの少なくともある画素情報を含む、項目１に記載の方法。
（項目１９）
前記画像データは、前記入力画像信号からの任意の画素情報が欠如している、項目１に記載の方法。
（項目２０）
前記画像データは、前記シーンの視覚的側面と無関係のオーバーレイデータを含む、項目１に記載の方法。
（項目２１）
前記画像データは、テキストのオーバーレイデータを含む、項目１に記載の方法。
（項目２２）
前記画素情報は、低分解能画素ストリームを含む、項目１に記載の方法。
（項目２３）
前記提供するステップはさらに、前記低分解能画素ストリームを視覚刺激のために好適なパルス列にエンコードするステップを含む、項目２２に記載の方法。
（項目２４）
前記提供するステップはさらに、前記視覚人工器官の１つまたはそれを上回る特徴に基づいて、前記画像データを修正するステップを含む、項目１に記載の方法。
（項目２５）
前記入力画像信号は、ビデオ信号を含む、項目に記載の方法。
（項目２６）
前記画像データを生成するステップは、前記入力画像信号内の画素情報を抽象的画像情報と置換するステップを含む、項目１に記載の方法。
（項目２７）
前記抽象的画像情報は、テキスト情報、数値情報、線画情報、および動画情報のうちの少なくとも１つを含む、項目２６に記載の方法。
（項目２８）
人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法であって、
前記ユーザから受信された選択情報に応答して、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、スマート人工器官を構成するステップと、
シーンを表す光入力に応答して生成された入力画像信号から、前記視覚タスクに関連する前記シーン内において少なくとも１つのアイテムに関するアイテム情報を抽出するステップと、
前記スマート人工器官によって、前記シーンの抽象的表現を作成するステップであって、前記抽象的表現は、前記少なくとも１つのアイテムの表現を含む、ステップと、
拡張画像データを生成するステップであって、前記拡張画像データは、前記入力画像信号および前記抽象的表現に対応する抽象的データのうちの少なくとも一部を含む、ステップと、
前記視覚人工器官に、拡張画像データに基づく画素情報を提供するステップと、
を含む、方法。
（項目２９）
人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法であって、
シーンを表す光入力に応答して、入力画像信号を産出するステップと、
前記入力画像信号を処理することによって、前記シーン内において少なくとも１つのアイテムを認識するステップと、
前記シーンの抽象的表現に対応する画像データを生成するステップであって、前記抽象的表現は、前記少なくとも１つのアイテムの記号的表現を含む、ステップと、
前記視覚人工器官に、前記画像データに基づく画素情報を提供するステップと、
を含む、方法。
（項目３０）
前記画像データは、前記画像信号からの画素情報を含まない、項目２９に記載の方法。
（項目３１）
前記画像データは、前記入力画像信号からの少なくともある画素情報を含む、項目２９に記載の方法。
（項目３２）
前記少なくとも１つのアイテムは、顔を含む、項目２９に記載の方法。
（項目３３）
前記少なくとも１つのアイテムは、物体を含む、項目２９に記載の方法。
（項目３４）
前記少なくとも１つのアイテムは、テキスト情報を含む、項目２９に記載の方法。
（項目３５）
前記シーンの一部内において前記ユーザの着目を検出するステップと、
前記シーンの一部内において物体を識別するステップであって、前記抽象的表現はさらに、前記物体の記号的レンダリングを含む、ステップと、
をさらに含む、項目２９に記載の方法。
（項目３６）
前記認識するステップはさらに、
データ接続を経由して、前記入力画像信号から抽出されたアイテム情報を伝送するステップと、
前記データ接続を経由して、前記記号的表現に関するアイテムデータを受信するステップと、
を含む、項目２９に記載の方法。
（項目３７）
前記認識するステップは、スマート人工器官によって実施され、前記方法は、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、前記スマート人工器官を構成するステップを含む、項目２９に記載の方法。
（項目３８）
前記構成するステップは、前記ユーザから受信された選択情報に応答して、デフォルト機能を実施するステップから、前記少なくとも１つの機能を実施するステップまで、前記スマート人工器官の動作を遷移させるステップを含む、項目３７に記載の方法。
（項目３９）
前記少なくとも１つの機能を実施するステップから、前記視覚タスクの完了に応じて前記デフォルト機能を実施するステップまで、前記スマート人工器官の動作を遷移させるステップをさらに含む、項目３８に記載の方法。
（項目４０）
データ接続を経由して、前記入力画像信号から抽出されたアイテム情報を伝送するステップと、
前記データ接続を経由して、アイテムデータを受信するステップであって、前記アイテムデータは、前記少なくとも１つのアイテムに関する、ステップと、
をさらに含む、項目２９に記載の方法。
（項目４１）
前記認識するステップは、
前記ユーザへの着目シーン内における領域の指示を受信するステップと、
前記領域と関連付けられる前記入力画像信号の少なくとも一部を選択かつ処理するステップと、
を含む、項目２９に記載の方法。
（項目４２）
前記認識するステップは、
前記ユーザへの着目アイテムの指示を受信するステップと、
前記入力画像信号を処理し、前記着目アイテムのうちの少なくとも１つを識別するステップであって、前記着目アイテムのうちの少なくとも１つは、前記少なくとも１つのアイテムに対応する、ステップと、
を含む、項目２９に記載の方法。
（項目４３）
前記提供するステップは、少なくとも部分的に、データ接続を介して遠隔サーバから受信された補助データに基づいて、前記画像データを生成するステップを含む、項目２９に記載の方法。
（項目４４）
前記補助データは、前記ユーザの現在の場所と関連付けられる情報を含み、前記方法は、前記現在の場所を定義するデータを前記遠隔サーバに送信するステップをさらに含む、項目４３に記載の方法。
（項目４５）
前記少なくとも１つのアイテムは、顔を含み、前記補助データは、前記顔に対応する個々のものと関連付けられる情報を含む、項目４３に記載の方法。
（項目４６）
前記少なくとも１つのアイテムは、物体を含み、前記補助データは、前記物体と関連付けられる情報を含む、項目４３に記載の方法。
（項目４７）
前記画像データを提供するステップは、前記入力画像信号内の画素情報を抽象的画像情報と置換するステップを含む、項目２９に記載の方法。
（項目４８）
前記抽象的画像情報は、テキスト情報、数値情報、線画情報、および動画情報のうちの少なくとも１つを含む、項目４７に記載の方法。
（項目４９）
人工視覚を視覚人工器官が移植された視覚障害者ユーザに提供する方法であって、
シーンを表す光入力に応答して、入力画像信号を産出するステップと、
前記入力画像信号を処理することによって、前記シーン内において少なくとも１つのアイテムを認識するステップと、
前記シーンの抽象的表現を作成するステップであって、前記抽象的表現は、前記少なくとも１つのアイテムの記号的表現を含む、ステップと、
拡張画像データを生成するステップであって、前記拡張画像データは、前記入力画像信号および前記抽象的表現に対応する抽象的データのうちの少なくとも一部を含む、ステップと、
前記視覚人工器官に、前記拡張画像データに基づく画素情報を提供するステップと、
を含む、方法。
（項目５０）
視覚タスクを実施する際に視覚障害者ユーザを補助する方法であって、
前記ユーザによって実施される１つまたはそれを上回る動きに関する情報を受信するステップと、
前記１つまたはそれを上回る動きに基づいて、前記視覚タスクを判定するステップと、
シーンを表す光入力に応答して生成された入力画像信号を受信するステップと、
前記入力画像信号から、前記視覚タスクに関連するアイテム情報を抽出するステップと、
少なくとも部分的に、前記アイテム情報に基づいて、前記シーンの抽象的表現に対応する画像データを生成するステップと、
前記ユーザの視覚人工器官に、前記画像データに基づく画素情報を提供するステップと、
を含む、方法。
（項目５１）
前記アイテム情報は、前記シーン内における少なくとも１つのアイテムに対応し、前記生成するステップは、前記抽象的表現内における前記少なくとも１つのアイテムの記号的表現を組み込むステップを含む、項目５０に記載の方法。
（項目５２）
前記生成するステップは、前記入力画像信号内の画素情報を抽象的画像情報と置換するステップを含む、項目５０に記載の方法。
（項目５３）
前記抽象的画像情報は、テキスト情報、数値情報、線画情報、および動画情報のうちの少なくとも１つを含む、項目５２に記載の方法。
（項目５４）
前記１つまたはそれを上回る動きは、前記ユーザの視線に関する、項目５０に記載の方法。
（項目５５）
前記１つまたはそれを上回る動きは、前記ユーザの眼のうちの少なくとも１つの瞬きに関する、項目５０に記載の方法。
（項目５６）
前記１つまたはそれを上回る動きは、ユーザ入力デバイスの使用に関する、項目５０に記載の方法。
（項目５７）
スマート人工器官であって、
プロセッサと、
ビデオ入力デバイスと、
前記プロセッサによる実行のための命令を含む非一過性機械可読媒体であって、前記命令は、
シーンを表す光入力に応答して、前記ビデオ入力デバイスによって生成される入力ビデオ信号を受信することと、
前記入力ビデオ信号を処理することによって、前記シーン内における少なくとも１つのアイテムを認識することと、
前記シーンの抽象的表現に対応する画像データを生成することであって、前記抽象的表現は、前記少なくとも１つのアイテムの記号的表現を含む、ことと、
前記ユーザの視覚人工器官に、前記画像データに基づく画素情報を提供することと
を行うための命令を備える、非一過性機械可読媒体と、
を備える、スマート人工器官。
（項目５８）
前記少なくとも１つのアイテムは、顔を備える、項目５７に記載のスマート人工器官。
（項目５９）
前記少なくとも１つのアイテムは、物体を備える、項目５７に記載のスマート人工器官。
（項目６０）
前記少なくとも１つのアイテムは、テキスト情報を備える、項目５７に記載のスマート人工器官。
（項目６１）
ネットワークインターフェースをさらに含み、前記認識するための命令はさらに、
前記ネットワークインターフェースを通して確立されたデータ接続を経由して、入力画像信号から抽出されたアイテム情報を伝送することと、
前記データ接続を経由して、前記記号的表現に関するアイテムデータを受信することと
を行うための命令を含む、項目５７に記載のスマート人工器官。
（項目６２）
前記命令は、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、前記スマート人工器官を構成するための命令を含む、項目５７に記載のスマート人工器官。
（項目６３）
前記構成するための命令は、前記ユーザから受信された選択情報に応答して、デフォルト機能を実施するステップから、前記少なくとも１つの機能を実施するステップまで、前記スマート人工器官の動作を遷移させるための命令を含む、項目６２に記載のスマート人工器官。
（項目６４）
前記構成するための命令は、前記少なくとも１つの機能を実施するステップから、前記視覚タスクの完了に応じて前記デフォルト機能を実施するステップまで、前記スマート人工器官の動作を遷移させるための命令を含む、項目６３に記載のスマート人工器官。
（項目６５）
ネットワークインターフェースをさらに含み、前記命令はさらに、
前記ネットワークインターフェースによって確立されたデータ接続を経由して、入力画像信号から抽出されたアイテム情報を伝送することと、
前記データ接続を経由して、アイテムデータを受信することであって、前記アイテムデータは、前記少なくとも１つのアイテムに関するものである、ことと
を行うための命令を含む、項目５７に記載のスマート人工器官。
（項目６６）
前記認識するための命令は、
前記ユーザへの着目シーン内における領域の指示を受信することと、
前記領域と関連付けられる入力画像信号の少なくとも一部を選択かつ処理することと
を行うための命令を含む、項目５７に記載のスマート人工器官。
（項目６７）
前記認識するための命令は、
前記ユーザへの着目アイテムの指示を受信することと、
入力画像信号を処理し、前記着目アイテムのうちの少なくとも１つを識別することであって、前記着目アイテムのうちの少なくとも１つは、前記少なくとも１つのアイテムに対応する、ことと
を行うための命令を含む、項目５７に記載のスマート人工器官。
（項目６８）
前記画像データを提供するための命令はさらに、入力画像信号内の画素情報を抽象的画像情報と置換するための命令を含む、項目５７に記載のスマート人工器官。
（項目６９）
前記抽象的画像情報は、テキスト情報、数値情報、線画情報、および動画情報のうちの少なくとも１つを備える、項目５７に記載のスマート人工器官。
（項目７０）
視覚障害者ユーザによる使用のためのスマート人工器官であって、
プロセッサと、
前記プロセッサによる実行のための命令を含む非一過性機械可読媒体であって、前記命令は、
シーンを表す光入力に応答して生成された入力画像信号を受信することと、
前記入力画像信号を処理することによって、前記シーン内における少なくとも１つのアイテムを認識することと、
前記シーンの抽象的表現に対応する画像データを生成することであって、前記抽象的表現は、前記少なくとも１つのアイテムの記号的表現を含む、ことと、
前記ユーザの視覚人工器官に、前記画像データに基づく画素情報を提供することと
を行うための命令を備える、非一過性機械可読媒体と、
を備える、スマート人工器官。
（項目７１）
前記入力画像信号を生成するように構成されるビデオ入力デバイスをさらに含む、項目７０に記載のスマート人工器官。
（項目７２）
視覚タスクを実施する際の視覚障害者ユーザによる使用のためのスマート人工器官であって、
プロセッサと、
前記プロセッサによる実行のための命令を含む非一過性機械可読媒体であって、前記命令は、
前記ユーザから受信された選択情報に応答して、視覚タスクの実施を促進するために、複数の機能のうちの少なくとも１つの機能を実施するように、前記スマート人工器官を構成することと、
シーンを表す光入力に応答して生成された入力画像信号から、前記視覚タスクに関連する前記シーン内において少なくとも１つのアイテムに関するアイテム情報を抽出することと、
前記スマート人工器官によって、前記シーンの抽象的表現に対応する画像データを生成することであって、前記抽象的表現は、前記アイテム情報と関連付けられる前記少なくとも１つのアイテムの表現を含む、ことと、
前記ユーザの視覚人工器官に、前記画像データに基づく画素情報を提供することと
を行うための命令を備える、非一過性機械可読媒体と、
を備える、スマート人工器官。
（項目７３）
前記構成するための命令は、前記選択情報に応答して、デフォルト機能を実施するステップから、前記少なくとも１つの機能を実施するステップまで、前記スマート人工器官の動作を遷移させるための命令を含む、項目７２に記載のスマート人工器官。
（項目７４）
前記構成するための命令は、前記少なくとも１つの機能を実施するステップから、前記視覚タスクの完了に応じて前記デフォルト機能を実施するステップまで、前記スマート人工器官の動作を遷移させるための命令を含む、項目７３に記載のスマート人工器官。
（項目７５）
視覚タスクを実施する際の視覚障害者ユーザを補助するためのスマート人工器官であって、
プロセッサと、
前記プロセッサによる実行のための命令を含む非一過性機械可読媒体であって、前記命令は、
前記ユーザによって実施される１つまたはそれを上回る動きに関する情報を受信することと、
前記１つまたはそれを上回る動きに基づいて、前記視覚タスクを判定することと、
シーンを表す光入力に応答して生成された入力画像信号を受信することと、
前記入力画像信号から、前記視覚タスクに関連するアイテム情報を抽出することと、
少なくとも部分的に、前記アイテム情報に基づいて、前記シーンの抽象的表現に対応する画像データを生成することと、
前記ユーザの視覚人工器官に、前記画像データに基づく画素情報を提供することと
を行うための命令を備える、非一過性機械可読媒体と、
を備える、スマート人工器官。
（項目７６）
前記アイテム情報は、前記シーン内における少なくとも１つのアイテムに対応し、前記生成するための命令はさらに、前記抽象的表現内における前記少なくとも１つのアイテムの記号的表現を組み込むための命令を含む、項目７５に記載のスマート人工器官。
（項目７７）
前記生成するための命令はさらに、前記入力画像信号内の画素情報を抽象的画像情報と置換するための命令を含む、項目７５に記載のスマート人工器官。
（項目７８）
前記プロセッサは、スマートフォン内に含まれる、項目７５に記載のスマート人工器官。
（項目７９）
前記プロセッサは、スマートフォン内に含まれる、項目７２に記載のスマート人工器官。
【００１８】
本発明の種々の目的および利点およびより完全な理解が、付随の図面と併せて検討されるとき、以下の「発明を実施するための形態」および添付の請求項を参照することによって、明白かつより容易に認識される。
【図面の簡単な説明】
【００１９】
【図１】図１は、スマート人工器官システムの構成要素を描写する、ブロック図である。
【図２】図２は、スマート人工器官における入力から出力までの典型的な処理フローを示す、フローチャートである。
【図３】図３は、本開示のシステムおよび方法の実施形態を実装するために使用され得る、例示的デバイス要素を伴う処理デバイスの典型的な構成の付加的詳細を例証する。
【図４】図４は、本開示の実施形態を実装するために使用され得る、例示的デバイス要素を伴う専用サーバの一実施例の付加的詳細を例証する。
【図５】図５は、人認識補助の機能を描写する、フローチャートである。
【図６】図６は、人認識補助を実行するスマート人工器官システムを用いない場合とそれを用いる場合において、元の画像がユーザによって把握され得る、一様式のシミュレーションを示す。
【図７】図７は、読取補助の機能を描写する、フローチャートである。
【図８】図８は、読取補助を実行するスマート人工器官システムを用いない場合とそれを用いる場合において、元の画像がどのようにユーザによって把握され得るかのシミュレーションを示す。
【図９】図９は、ナビゲーション補助の機能を描写する、フローチャートである。
【図１０】図１０は、ナビゲーション補助を実行するスマート人工器官システムを用いない場合とそれを用いる場合において、元の画像がどのようにユーザによって把握され得るかのシミュレーションを示す。
【図１１】図１１は、環境補助の機能を描写する、フローチャートである。
【図１２】図１２は、環境補助を実行するスマート人工器官システムを用いない場合とそれを用いる場合において、元の画像がどのようにユーザによって把握され得るかのシミュレーションを示す。
【図１３】図１３は、買物補助の機能を描写する、フローチャートである。
【図１４】図１４は、買物補助を実行するスマート人工器官システムを用いない場合とそれを用いる場合において、元の画像がどのようにユーザによって把握され得るかのシミュレーションを示す。
【図１５】図１５は、典型的には、スマート人工器官のシステムの実施形態の使用中、生じる動きのフローを描写する、フローチャートである。
【発明を実施するための形態】
【００２０】
添付の図では、類似する構成要素および／または特徴は、同一の参照標識を有してもよい。さらに、同一のタイプの種々の構成要素は、類似する構成要素間を区別するダッシュ記号および第２の標識による参照標識に従うことによって区別されてもよい。第１の参照標識のみが本明細書で使用される場合、説明は、第２の参照標識に関係なく、同一の第１の参照標識を有する類似する構成要素のうちの任意の１つに利用可能である。
【００２１】
下記により完全に議論されるように、本明細書に説明されるスマート人工器官は、概して、従来の視覚人工器官のように、カメラ上に入射する画素式視覚画像の近似値を実際に登録するように適合されない、また、網膜プロセスを模倣するように適合もされない。むしろ、スマート人工器官の実施形態は、ユーザによって実施されるタスクに最も関連する様式で、人々、物体、および空間関係に関する高レベルの情報をインテリジェントに抽出するために、様々なソース（例えば、カメラ、センサ、データベース）からユーザの外界に関する情報を集める。この情報は、次いで、抽象的であるが実世界の有意義な人工画像を作成し、利用可能である限定数の刺激部位を効率的に使用する方法で、網膜神経細胞を刺激するために使用可能な画素値のストリームに処理されてもよい。
【００２２】
有用な視覚表現を作成するために、一実施形態では、スマート人工器官デバイスは、様々なセンサ、主として、カメラであるが、また、潜在的に、コンパス、加速度計、ＧＰＳ、およびジャイロスコープ等の他のものを使用して、実世界に関する情報およびそれとのユーザの関係を集める。スマート人工器官は、センサで識別されるユーザの眼の移動および他の動きによって示される実世界の一部に焦点を当てるように構成されてもよい。例えば、ユーザの携帯情報端末、カメラ、コンピュータ、および潜在的に、インターネットリソースからの情報を使用して、スマート人工器官は、物体および人々、ならびにその場所を識別し、それらを、物体および人々、ならびにユーザに既知であるまたはその着目場所に関連付けてもよい。この情報は、次いで、ナビゲーティング、読取、買物、ならびに物体および人々と相互作用すること等のユーザの現在の活動に最も関連する環境の側面の抽象的表現を作成するために使用される。スマート人工器官デバイスは、好ましくは、ジェスチャおよび自動化の組み合わせを使用して、ユーザの現在の活動および意図を感知し、この情報を使用し、活動に関連のある特徴を強調する視覚シーンの抽象的表現を産出する。この表現は、刺激装置の特性の知識と、それがユーザ内で生成する知覚表象に関する情報とともに、本デバイス上の刺激装置に伝送され、選ばれた活動を最も自然かつ効果的に可能にする、ユーザのための人工画像を作成する。
【００２３】
例証的実施例が、ナビゲーションである。空間内のユーザの場所は、スマートフォン内のＧＰＳデバイスを用いて大まかに判定され、カメラおよび他のセンサからの情報を用いて微調整されてもよい。インターネットデータベースの参照が、街中の特定の共通部分の主な特徴等、ユーザの周囲の概略的表現を産出するために使用されてもよい。カメラ情報はまた、車および他の移動可能物体等のデータベース内に存在しない環境において、重大な障害を識別するために使用され得る。この情報は、次いで、移動のための安全かつ効率的なルートを判定するために、ユーザの選択されたリンク先と組み合わせられる。具体的には、一実施形態では、街路および障害物等、本デバイスによって識別される環境の本質的特徴は、ユーザの進行方向および眼の移動に従って補正される、ローカル世界の簡略化された線画および目的地に向かう経路をレンダリングするために使用される。ナビゲーションのタスクに無関係である、照射、テクスチャ、および色等の要因を大部分反映する、カメラによって登録される画素強度の全てを再産出するための試行は、行なわれない。
【００２４】
ここで図面を参照すると、同一または類似する要素は、いくつかの図全体を通して同一参照番号で指定され、特に、本開示のスマート人工器官の概要を例証する、図１を参照する。示されるように、スマート人工器官は、コアソフトウェア４２を起動するモバイル処理デバイス１５（例えば、スマートフォン）を含んでもよい。処理デバイス１５は、有線または無線接続２３を介して、例えば、ビデオカメラのカメラを含む、入力デバイス２１を含有する眼鏡２０に接続される。コアソフトウェア４２はさらに、下記に詳細に説明される種々の補助機能へのアクセスを伴うセレクタ４１を特徴とする。視覚かつ非視覚センサ１６のアレイが、処理デバイス１５上ならびに眼鏡２０上に常駐する。一実施形態では、カメラ等のスマートフォン１５の１つまたはそれを上回る入力デバイスが、眼鏡２０の入力デバイス２１に加えて、またはその代わりに、利用される。
【００２５】
処理デバイス１５は、好ましくは、サーバ通信ソフトウェア４４を使用して、インターネット５０および専用サーバ３０と無線通信する。これは、多数のデータベース５１、データリソース５２−５４、およびサーバ接続されたデータプロセッサ３１へのアクセスを可能にする。
【００２６】
スマート人工器官システムによって実施されるほとんどの機能に関して、ライブサーバデータ接続が、仮定される。しかしながら、スマートフォン上に常駐するコアソフトウェアは、有意なデータ処理４３が可能であり、本デバイスが、ネットワーク接続性を要求しないオフラインモードで機能することを可能にする。該当するとき、独立型ローカル算出のために利用可能である機能が、下記に留意される。
【００２７】
モバイル処理デバイス１５は、移植型網膜刺激装置への有線または無線接続１７を特徴とする。動作中、スマート人工器官システムの出力は、網膜刺激装置への入力として提供される。結果として、下記に説明される種々の実施形態の具体的な実装は、概して、網膜刺激装置の分解能および能力に依存し、それらによって影響されるであろう。
【００２８】
図２は、スマート人工器官システム内で生じる典型的なデータフローの概要を提供する。視覚センサ５によって表される、種々の視覚入力ソースが、ビデオストリームデータ等の入力画像データを提供する。主視覚入力が、単一のビデオカメラまたはビデオカメラ８０のセットによって与えられる。主入力は、他の入力ソースと組み合わせられる、またはそれらによって代用されることができる。スマートフォンの中に内蔵されたもの等のハンドヘルドカメラ８１が、付加的入力ソースとして使用されることができる。これは、書籍および写真等の着目物体へのより便宜的または柔軟なアクセスを可能にする。処理デバイス１５等のコンピュータまたはスマートフォンによってレンダリングされる、デジタルディスプレイ８２のコンテンツが、ビデオカメラを介して間接的に視認される代わりに、入力ソースとして直接使用されることができる。他のデジタルコンテンツ８３もまた、ディスプレイのために準備されることなく、入力として直接使用されることができる。
【００２９】
一実施形態では、スマート人工器官は、最先端のモバイルコンピューティングおよびゲーム用デバイスによって採用されるものに類似するまたは同一の非視覚センサ７のアレイを含有する。非視覚センサ７は、例えば、コンパス８４、加速度計８５、１つまたはいくつかのジャイロスコープ８６、３Ｄセンサ８７（範囲撮像または深度センサ等）、およびＧＰＳユニット８８を含んでもよい。３Ｄ感知能力は、例えば、任意の表面の詳細な深度マップを産出することが可能である、ＰｒｉｍｅＳｅｎｓｅ’ｓ  Ｃａｒｍｉｎｅ／Ｃａｐｒｉ  ３Ｄ  ＳｅｎｓｏｒｓまたはＡＰＩ等のデバイスによって実装されることができる。
【００３０】
入力ソース８０−８８は、周囲および物体１００の表現を生成するために統合される。技術画像処理の状態が、アイテムまたは物体を入力から検出し、顔、テキスト、バーコード、通貨、ならびに部屋および建物の輪郭等の関連付けられたアイテム情報を識別するために使用されてもよい。最先端の拡張実在技術は、センサを主ビデオ信号と組み合わせるために使用されてもよい。色および強度情報は、物理的物体を分離かつ検出するために、範囲撮像からの３Ｄ情報と組み合わせて使用されてもよい。
【００３１】
図２に示されるように、センサの付加的セット、すなわち、ユーザセンサ６が、本デバイスと相互作用する際にユーザを補助するために提供されてもよい。ユーザセンサ６は、その速度および長さを含む、ユーザによる眼の瞬きを検出するように構成される瞬きセンサ９０を含んでもよい。これは、眼の二次ビデオ画像を分析することによって、または筋電位を記録することによって、実装されることができる。瞬きセンサ９０を実現するために利用され得る、利用可能であるデバイスの実施例は、例えば、Ｅｎａｂｌｉｎｇ  Ｄｅｖｉｃｅｓから入手可能である、ＡＭＤｉ’ｓ  Ｆｉｂｅｒ−Ｏｐｔｉｃ  Ｅｙｅ−Ｂｌｉｎｋ  ＳｅｎｓｏｒおよびＥｙｅ  Ｂｌｉｎｋ  Ｓｗｉｔｃｈを含む。視線センサ９１が、ユーザの視線の方向および凝視の持続時間を検出する。これは、眼の二次ビデオ画像を分析することによって、または筋電位を記録することによって、実装されることができる。ゴーグル搭載モバイル眼追跡システムが、例えば、ＴｏｂｉｉによるＴｏｂｉｉ  Ｇｌａｓｓｅｓの形態で、商業用に利用可能である。遠近調節センサ９２が、ユーザのレンズの遠近調節（すなわち、近方または遠方の焦点）を測定する。加えて、ユーザインターフェース９３が、多岐にわたるユーザ入力を提供するために使用される。このインターフェースは、物理的ボタンまたは適切に設計されたタッチスクリーンアプリケーションから成ることができる。最終的に、マイクロホン９４は、ユーザが音声コマンドを発行することを可能にする。これらのセンサ（９０−９４）の組み合わせが、本デバイスのある挙動をトリガする事象を定義するために使用されることができる（例えば、ビデオ入力の拡大表示を変化させる複数の瞬きまたは瞬きパターン、具体的な補助機能をアクティブ化する視線の凝視、あるいは着目物体の間を偏移するために焦点を当てる距離）。
【００３２】
ボックス１０１に示されるように、本デバイスは、ユーザ入力または自動化されたルールに基づいて、具体的な補助機能７０−７４または着目領域を選択する。例えば、視覚シーンの特定の領域上での長い凝視が、着目領域を定義することができる。その関連で、「シーン」は、ビデオゴーグル８０、携帯電話カメラ８１、または同等物によって提供される、シーンビューを包含し得るだけでなく、全体的または部分的に、他のソース（例えば、コンピュータディスプレイ８２、インターネットブラウザ、バーコード等）から導出される入力によって定義されてもよい。
【００３３】
この領域内では、特定の補助が定義される物体が、検出される場合、この補助は、下記に具体化されるようにアクティブ化される。ある物体は、自動的に具体的な補助をトリガすることができる。例えば、既知の顔の検出は、人認識補助をトリガする場合がある。ユーザが低検出確率を有する近傍の危険の検出は、自動的に環境補助をトリガする場合がある。ユーザは、ビデオセンサ８０−８３、補助、および着目領域の間で、能動的に切り替えることができる。個々のタスクの具体的補助機能７０−７４は、図３−１２と併せて下記に詳細に説明される。
【００３４】
自動選択の挙動および閾値ならびにユーザ入力のパラメータは、ユーザの選好、能力、および必要性を適応させるように訓練段階１０２で調節されてもよい。
【００３５】
一実施形態では、各補助機能７０−７４の出力は、ユーザを囲繞する現実世界環境の抽象的レンダリングを構成する。例えば、この抽象的レンダリングは、視覚センサ５によって産出されるが、そのような画像データ内に含まれる任意の画素データを組み込まない、ビデオまたは他の画像データに基づく、線画またはテキストディスプレイの形態であってもよい。次いで、補助機能７０−７４の出力は、続いて、拡張現実表現１０４を生成するために、視覚センサ５によって生成されるライブビデオまたは画像データと統合され、最適化され統合されたデータ信号をもたらし得る。一実施形態では、拡張現実表現１０４を生成する際に、ライブビデオコンテンツが抽象的コンテンツと混成される範囲は、どの補助機能７０−７４が現在アクティブであるかに応じて異なる。該当するとき、この混成比は、個々の補助機能の議論において、下記に留意される。
【００３６】
ユーザおよびデバイス情報１０３は、好ましくは、視覚周囲１０４の最適化表現の構成のために考慮される。この情報は、電極の数、可能である刺激パターン、および空間範囲として、所与の人工器官の物理的かつ刺激特性のデータを含む。これはまた、ユーザが所与の刺激部位または複数の部位のために受ける視覚を説明する、ユーザデータを含む。上記に議論されるように、刺激装置移植の後に、これらのデータは、最初の訓練段階１０２において収集される。それらは、経時的に変化することが予期され、再調節を要求し得る。ユーザデータは、ユーザの網膜の健康において、不完全な移植または異質性から結果として生じる空間的異質性を含む場合がある。空間場所毎に、精神測定関数が、好ましくは、記憶され、所与の刺激においてユーザの知覚表象を表す。さらに、データは、ユーザの知覚表象の空間かつ時間分解能と、ユーザの知覚表象の空間形態および分散とを含む。
【００３７】
最適化表現は、網膜または他の視覚人工器官のための駆動ユニットを含有し、必要な電気的刺激パターンを生成する、刺激モジュール１０５に伝えられる。
【００３８】
より詳細には、５つの提案される補助機能７０−７４（図２）が、説明される。当然ながら、これらの補助機能は、単に、例示的であり、付加的機能が、他の視覚タスクを対処するために追加されてもよい。一実施形態では、好ましくは、各補助機能は、高分解能ビデオストリームデータを含む、センサ８０−９４のアレイによって提供されるデータから入力を受信し、そこへのアクセスを有する。これらのデータから、各補助機能は、外側世界の合成モデルを構築し、この抽象的モデルをインプラントのユーザに提供する。補助はまた、多くまたは全ての補助のために有用な外側世界の側面を捕捉する、共通データフレームワークを共有してもよい。各補助は、典型的には、未加工のカメラ画像を、ユーザの網膜または他の視覚インプラントの能力に同調させ、ひいては、ユーザにより理解しやすく、具体的なタスクを実施するために有用である、視覚世界の簡略化された表現と置換する。
【００３９】
全体的機能を実施することに関連して個々の補助によって実行される、あるタスクが、現在、利用可能であるテクノロジーまたはソフトウェアアプリケーションを使用して、実施されてもよい。各補助機能の実施に付随する種々のタスクの実行を促進するスマート人工器官に統合され得る、既製のアプリケーションプログラミングインターフェース（ＡＰＩ）の実施例が、以下に説明される。
【００４０】
ここで、本開示のシステムおよび方法の実施形態を実装するために使用され得る、例示的デバイス要素を伴う処理デバイス１５の典型的な構成の付加的詳細を例証する、図３に注目する。図３に示されるように、デバイス１５は、典型的には、１つまたはそれを上回る特殊または専用ポータブルデバイスマイクロプロセッサまたはマイクロコントローラである１つまたはそれを上回るプロセッサ（ＣＰＵ）２１０、補助機能７０−７４に対応するアプリケーション等、ユーザが情報を入力かつ出力し、デバイス１５上にインストールされるアプリケーションと相互作用することを可能にするように構成される入力／出力デバイスモジュール２２０、データの不揮発性ストレージおよび／あるいはアプリケーションまたはオペレーションシステムプログラムを提供する１つまたはそれを上回る読取専用メモリ（ＲＯＭ）デバイス２３０または均等物、ＬＣＤまたは均等ディスプレイデバイス等の１つまたはそれを上回るディスプレイモジュール２５０、ならびに１つまたはそれを上回るメモリ空間２６０および携帯電話カメラ８１を含んでもよい。位置または場所情報を提供するための選択式ＧＰＳモジュール２２５等の他のモジュールもまた、含まれてもよい。
【００４１】
メモリ空間２６０は、オペレーティングシステム２６２、補助機能アプリケーションプログラム２６４、および／またはデータ２６８を記憶し、かつそれらにアクセスするように構成される、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、ハードディスクドライブ、または他のメモリストレージデバイスを備えてもよい。補助機能アプリケーションプログラム２６４は、専用サーバ３０および眼鏡２０の入力デバイス２１と相互作用することを含む、本明細書に説明される種々の機能性を実施するＣＰＵ２１０上での実行のために配置される。
【００４２】
図４は、本開示の実施形態を実装するために使用され得る、例示的デバイス要素を伴う専用サーバ３０の一実施例の付加的詳細を例証する。図４に示されるように、
専用サーバ３０は、１つまたはそれを上回るプロセッサ（ＣＰＵ）３１０、ユーザが、情報を入力かつ出力し、専用サーバ３０ならびに伝達および受信データと相互作用することを可能にするように構成される入力／出力デバイスモジュール３２０、データの不揮発性ストレージおよび／またはプログラムを提供する１つまたはそれを上回る読取専用メモリ（ＲＯＭ）デバイス３３０または均等物、コンピュータモニタまたは他のディスプレイデバイス等の１つまたはそれを上回るディスプレイモジュール３５０、専用サーバ３０が、サーバまたは他の構成要素が他の物理的場所において分散される実施形態においてシステム１４０の他の要素を含む、他のシステム、サーバおよび／またはポータブルデバイスに接続することを可能にするように構成される１つを上回るネットワーク接続３４０および関連付けられたネットワークインターフェース３４２、もしくは１つまたはそれを上回るメモリ空間３６０および１つまたはそれを上回るデータベース３９０を含んでもよい。データベース３９０はさらに、１つまたはそれを上回るサブデータベース３９０ａ−３９０ｎとして分割または分散されてもよく、それらのサブデータベースは、特定の特徴または機能と関連付けられる特徴または機能の具体的な情報を記憶する。図４に示される種々の構成要素は、専用サーバ３０の一部を備える１つまたはそれを上回る物理的なサーバ３７０内に組み込まれてもよい。データベース３９０を含む、図４に示される種々の構成要素は、典型的には、サーバ３７０の一部として含まれるが、しかしながら、いくつかの実施形態では、サーバ３７０に外付けであってもよいことに留意されたい。例えば、いくつかの実施形態では、データベース３９０は、サーバ３７０に外付けであり、別個のデータベースサーバシステムまたはネットワークデータベースシステムの一部を備えてもよい。
【００４３】
メモリ空間３６０は、オペレーティングシステム、アプリケーションプログラムおよび／またはデータを記憶するように構成される媒体ドライブ３８０等のＤＲＡＭ、ＳＲＡＭ、フラッシュ、ハードディスクドライブ、または他のメモリストレージデバイスを備えてもよく、メモリ空間３６０は、データベース３９０のメモリストレージ能力と共有される、分散される、または重複されてもよい。いくつかの実施形態では、メモリ空間３６０は、データベース３９０を含んでもよい、またはいくつかの実施形態では、データベース３９０は、メモリ空間３６０内に示されるようなデータ３６８を含んでもよい。
【００４４】
メモリ空間３６０および／またはデータベース３９０内に記憶されるデータは、連絡先または物体の画像／写真、あるいは他のタイプのデータ等の情報を含んでもよい。特に、メモリ空間３６０は、さらに、補助機能アプリケーションプログラム２６４の動作をサポートするために、ＣＰＵ３１０上での実行のためにメモリ空間内に記憶される、上位システムアプリケーションまたはアプリケーション３６４を含んでもよい。
【００４５】
ここで、補助機能７０−７４を実施する際に伴われる処理および他の動作を説明する際に参照されるであろう、図５−１４に注目する。
（人認識補助）
【００４６】
人認識補助７８の一次機能が、顔を検出、識別、かつ認識し、ユーザが他者と相互作用かつ会話することを可能にするように、リアルタイムで結果の簡略化された表現をインプラントユーザに提供する。したがって、複合顔情報が、ユーザおよびその顔表情に対して既知または未知である人の記号的描写に置換される。人認識補助７０の例示的実装によって実施される動作を表すフローチャートが、図５に示される。
【００４７】
図５を参照すると、視覚センサデータ５は、顔検出モジュール７０１によってフレーム毎の分析を受ける。この処理タスク７０１は、処理デバイス１５上で例示化される人認識補助７０のためのソフトウェアアプリケーションに統合されるＡＰＩを通してアクセスされる利用可能であるソリューションを使用して、実装されてもよい。実施例は、静止画またはビデオ画像における顔検出のためのｉＯＳフレームワークでのＣＩＦａｃｅＦｅａｔｕｒｅ分類、あるいはＡｎｄｒｏｉｄにおけるＦａｃｅＤｅｔｅｃｔｏｒ  ＡＰＩを含む。
【００４８】
一実施形態では、ユーザセンサ６および非視覚センサ７からのデータは、どの顔にユーザが現在焦点を当てているかを判定するために使用される。このタスクで使用され得るセンサの実施例は、視線センサ８９、遠近調節センサ９０、および３Ｄ深度センサ８７を含む（図２）。後続のデータ処理は、次いで、ユーザが着目する最も可能性が高い顔に限定される。別の実施形態では、全ての検出される顔が、処理される。さらなる実施形態では、ユーザは、さらなる処理のために、顔を能動的に選択してもよい。
【００４９】
着目される顔毎に、特徴抽出モジュール７０２が、顔特徴を取得し、特徴データを顔認識モジュール７０３に中継する。顔特徴は、公人または有名人データベース等のユーザのアドレス帳５９または他のデータベースＳＩ内に記憶される、データと比較されてもよい。この処理ステップ７０３は、Ｌａｍｂｄａ  Ｌａｂｓ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ（Ｓｋｙ  Ｂｉｏｍｅｔｒｙ）等のクラウドベースの顔認識ＡＰＩまたはＢｉｏＥｎａｂｌｅによるクラウドベースの顔認識サービスを使用して、実施されてもよい。
【００５０】
インプラントユーザによる要求に応じて、特徴抽出装置７０２の出力は、表情検出器７０５に送信される。その目的は、検出された顔の最も可能性がある感情状態を導出することである。このタスクは、Ｎｏｌｄｕｓ  ＦａｃｅＲｅａｄｅｒまたはＥｍｏｔｉｏｎａｌ  Ｉｍａｇｉｎｇ’ｓ  Ｆｉ−Ｎｉ  Ｒｅａｄｅｒ等の表情および雰囲気認識ツールを使用することによって、達成され得る。
【００５１】
インプラントユーザによる要求に応じて、人認識補助は、顔拡大表示７０６を実施してもよい。この動きは、ユーザによるより細かい検査のために検出された顔のいくつかの未加工の画素データを含む拡大されたライブビューをもたらす。一実施形態では、顔拡大表示は、ユーザによる具体的な顔の上での長時間の凝視によって自動的にアクティブ化されてもよい。このタイプの拡大表示動作はまた、顔以外のシーン特徴のより細かい検査を可能にするために使用されてもよい。
【００５２】
一実施形態では、顔検出は、スマートフォンプロセッサ上でローカルに実施され、モジュール７０１の出力は、次いで、専用ネットワークサーバに伝送され、続いて、そこで処理される。別の実施形態では、顔検出７０１および特徴抽出７０２は、スマートフォンプロセッサ上でローカルに実施される。顔特徴データは、次いで、さらなる分析のために、専用サーバまたはクラウドコンピューティングプロセッサに伝送される。
【００５３】
認識された顔および顔表情に関するデータは、出力発生器モジュール７０４に中継される。網膜刺激装置の出力分解能に応じて、出力発生器の種々の実施形態が、可能である。一実施形態では、各認識された顔の英数字表現から成る、低分解能出力が、生成される。例えば、ユーザのアドレス帳でＡｂｅと名付けられた人物は、文字「Ａ」によって表されてもよい。別の実施形態では、高分解能アバター表現が、生成される。このアバターは、ユーザに周知である認識された顔の事前定義された記号的描写であって、ユーザのアドレス帳または他のユーザデータベースから取得されてもよい。感情の単純動画レンダリングが、顔表情を描写するために使用される。
【００５４】
一実施形態では、人認識補助は、顔および表情の記号的表現を、視覚センサの１つまたはそれを上回るによって生成されるライブビデオ上で重ねて、別の実施形態では、抽象的または記号的表現が、単独で生成される。
【００５５】
図６は、人認識補助がアクティブである間、スマート人工器官がどのようにインプラントユーザ経験を改善するかの実施例を与える。この図および以下の図では、２つのシナリオ（２８８の刺激電極（２４×１２アレイ）を含有する低分解能網膜インプラントおよび２０４８の電極（６４×３２アレイ）を伴う高分解能インプラント）のためにシミュレートされた実施例が、描写される。４つのレベルの刺激装置出力ダイナミックレンジが、示される全てのシミュレートされた実施例において仮定される（黒、白、および２つの灰色の色合い）。
【００５６】
視覚入力の１つによって捕捉される現実世界画像１４０が、未加工のカメラ画素がインプラントに中継される場合のみ、低分解能画像１４１をもたらす。顔認識は、この分解能において、ユーザから予期されることができない。しかしながら、スマート人工器官を使用して、ユーザは、人認識補助がこの顔をＡｂｅとして識別していることを示すために、文字Ａを含有する抽象的画像１４２を確認する。
【００５７】
高分解能刺激装置に関して、未加工のカメラ画像１４３は、依然として、ユーザによる顔認識を困難にする。一方、スマート人工器官画像１４４は、ユーザによる容易な認識のための人物の名前の英数字見出しとともに、事前定義され、かつ容易に認識される記号的画像をこの顔に割り当てる。
（読取補助）
【００５８】
読取補助７１の目標は、書物を検出し、網膜インプラントの制限された空間分解能と互換性がある方式で、それをユーザに提示することである。この機能は、任意のテキストを、インプラントユーザによって容易に読み取られる均等がとれ整頓された一貫した表示に変換する。読取補助７１の例示的実装によって実施される動作を表すフローチャートが、図７に示される。
【００５９】
図７を参照すると、視覚入力データ５は、文字、番号、および記号の抽出のためのリアルタイム分析を受ける。
【００６０】
一実施形態では、ユーザは、ビデオストリームのどの部分を読取ツールに曝すべきかを選ぶことによって、この処理ステップと相互作用する。別の実施形態では、テキスト認識プロセスは、可読物がカメラの視野を占有するときはいつでも、自動的に立ち上げられる。例えば、視野内に書籍または雑誌ページを置いた後に、読取補助は、テキスト検出を即座に開始する。さらなる実施形態では、ユーザ６および非視覚７センサ（例えば、視線センサ８９および遠近調節センサ９０）からのデータが、カメラの視野のどの部分にユーザが焦点を当てているかを判定するために使用される。
【００６１】
テキスト検出モジュール８０１は、例えば、標準的光学式テキスト認識（ＯＣＲ）システムを使用してもよく、ＯＣＲ−ＩＴ’ｓ  ＯＣＲ  Ｃｌｏｕｄ  ＡＰＩまたはＥｘｐｅｒＶｉｓｉｏｎ’ｓ  ＯｐｅｎＲＴＫツールキット等のツールを使用して、実装されることができる。
【００６２】
一実施形態では、テキスト検出器８０１は、スマートフォンプロセッサ上に全体的に常駐する。この実施形態では、サーバ接続が、この補助機能のために要求されない。別の実施形態では、ビデオ入力データ５は、ＯＣＲ処理のために専用サーバに直接伝送される。
【００６３】
処理されるテキストが、典型的には、１回でインプラントユーザに表示され得るものよりも、多くのテキストキャラクタを含有するため、典型的には、スマートフォンローカルメモリ８０２内にキャッシュされる。
【００６４】
テキストは、次いで、網膜刺激装置の分解能に応じて、インプラントに対する出力８０３のためのより小さいテキストブロックに分割される。インプラントユーザに表示されるテキストのフォントおよびサイズは、可読性のために最適化され、元のテキストのテキスト特性から独立している。一実施形態では、単語または音節から成る、低分解能出力が、生成される。別の実施形態では、１つまたはそれを上回る単語から成り得る、高分解能出力が、生成される。ユーザは、単語提示速度を選択し、かつカメラによって捕捉される全ての用語またはキャラクタが表示されるまで、前方向または後方向にスキップすることによって、表示プロセスと相互作用する。
【００６５】
代替として、オーディオ出力が、提供され、テキストが、ユーザに読み取られる。この機能は、失明ユーザのための専用読取機械（例えば、Ｎａｎｏｐａｃ’ｓ  ＳＡＲＡスキャナ）によって採用されるものに類似する様式で、実装されてもよい。
【００６６】
一実施形態では、読取補助は、実世界の拡張現実的ビューを生成し、標準的テキストが、ライブビデオにわたって重ねられる。別の実施形態では、テキスト出力は、全てのライブビデオを置換し、インプラントユーザの全体ビューを満たす。
【００６７】
読取補助がどのようにインプラントユーザを補助し得るかの実施例が、図８に示される。複数のフォントおよびスタイルを伴うテキストを含有するカメラ画像１６０が、視覚センサのうちの１つによって捕捉される。未加工画素式カメラ画像１６１は、ユーザに対して全く役に立たないが、スマート人工器官出力画像１６２は、１回に１単語ずつ、判読可能テキストを表示する。高分解能刺激装置画像１６３が、いくつかの判読可能な大きい文字を伝達してもよいが、スマート人工器官を使用して、最小フォントテキストを含む、入力画像内の全てのテキストも、ユーザに表示される。
（ナビゲーション補助）
【００６８】
ナビゲーション補助７２の一次機能は、ユーザが、具体化された地理的標的への歩行ルートを容易に通ることを可能にする。この目的のために、いくつかのセンサからのデータが、ユーザの現在の場所および標的目的地へのルートの抽象的ビューを提供するために組み合わせられる。ナビゲーション補助７２の例示的実装によって実施される動作を表すフローチャートが、図９に示される。
【００６９】
図９を参照すると、第１のステップでは、非視覚センサ７（特に、コンパス８４およびＧＰＳセンサ８８）からのデータが、ＧＰＳ座標のようにユーザの近くの地理的場所および進行方向を判定するために使用される。このタスクは、スマートフォン上に内蔵された場所サービス（例えば、ｉＯＳ  Ｃｏｒｅ  ＬｏｃａｔｉｏｎフレームワークまたはＡｎｄｒｏｉｄのためのＬｏｃａｔｉｏｎ−Ｍａｎａｇｅｒ  ｓｙｓｔｅｍ  ｓｅｒｖｉｃｅ）を使用して、実施されてもよい。ＡＰＩは、次いで、ＧＰＳ座標を近くのアドレスに変換するために使用される。
【００７０】
次いで、近くの場所および進行方向は、続いて、正確なユーザ場所および進行方向を生じさせるために精緻化されてもよい。この目的を達成するために、正確またはより精密なＧＰＳ座標が、視覚センサ５によって生成されるビデオストリームからの画像を使用して判定される、視覚位置特定９０１の方法が、使用されてもよい。特に、これは、そのような画像が既知のＯＰＳ座標と関連付けられる街路レベルの画像データ（例えば、Ｇｏｏｇｌｅ  Ｓｔｒｅｅｔ  Ｖｉｅｗ）のリポジトリ内の対応する画像と合致される、逆の探索動作を通して達成され得る。具体的には、視覚センサ５によって生成される画像ストリームから導出されるクエリ画像が、ＧＰＳのタグ付けされた画像データセットに対して合致され、合致される画像の場所タグは、クエリ画像の正確なＧＰＳ場所を見出すために使用される。このアプリケーションでは、画像検索空間は、第１のステップによって供給される近くの場所へのアクセスによって、有意に低減される。
【００７１】
代替として、高精度ＧＰＳシステムが、正確なユーザ場所の判定のために、逆検索プロセスに取って代わる。デシメートルまたはセンチメートルの精度を伴うハンドヘルドユニットが、すでに販促されており、コストおよびサイズが迅速に下がっており、実施例は、Ｔｒｉｍｂｌｅ  ＧｅｏＸＨ（６０００）である。そのようなデバイスは、ビデオゴーグル２０またはスマートフォン１５に統合されてもよい。
【００７２】
正確なユーザ場所および進行方向は、次いで、網膜刺激装置の分解能に応じて、抽象的出力９０３を生成するために、ルートプランニング９０２と併せて使用される。一実施形態では、主に、街路の輪郭を示す線から成る、低分解能出力が、生成される。共通部分において、異なる灰色の色合いが、標的目的地へのルートに沿って進行するために、どの街路が検討されるべきかを示すために使用される。別の実施形態では、高分解能線画が、生成され、街路境界、建物の輪郭、およびルート方向を示す線から成る。
【００７３】
一実施形態では、ナビゲーション補助は、実世界の拡張現実的ビューを生成させ、線画が、ライブビデオにわたって重ねられる。これは、ユーザが、街路および建物の抽象的図面内に存在しない危険および障害物を確認することを可能にする。別の実施形態では、線画は、全てのライブビデオに取って代わり、インプラントユーザのための実世界の代替ビューを作成する。
【００７４】
図１０は、スマート人工器官によって提示される利点の実施例を示す。ライブビデオ画像１８０が、道路、建物、車、および他の錯乱要素を伴う典型的な街路シーンを示す。未加工のカメラ画像１８１および１８３は、ユーザによる正確なナビゲーションのために十分な役に立ちそうな情報を提供しない。しかしながら、スマート人工器官画像１８２および１８４を使用して、ユーザは、灰色の異なる陰影によって示される、街路の輪郭、建物、および目的地標的への好ましいルートを容易に判別することができる。
（環境補助）
【００７５】
環境補助７３の主要目標は、重要な特徴、物体、および危険を強調する様式で、インプラントユーザの直近に、物理的世界の記号的表現を提供することである。この機能は、コンピュータ視覚を使用し、視覚世界を認識可能な一般的な物体に分解し、ユーザにこれらの物体の簡略化された描写を提示する。環境補助７３の例示的実装によって実施される動作を表すフローチャートが、図１１に示される。
【００７６】
図１１を参照すると、視覚センサ５からの画像は、一般的に遭遇される物体を検出し（６０１）、認識する（６０２）ために、リアルタイムで分析される。そのような物体の実施例は、ドア、窓、階段、および表示物を含む。非視覚センサ７のデータ（３Ｄセンサ８７からのデータ等）は、物体区画化および運動処理を補助するために使用される。強力なクラウドベースの画像認識プラットフォームが、すでに存在し、スマートフォンアプリケーション（例えば、ＶｉｓｉｏｎＩＱ  ｂｙ  ＩＱ  Ｅｎｇｉｎｅｓ、Ｋｏｏａｂａ  ＡＰＩ、またはＭｏｏｄｓｔｏｃｋ’  ｓ  Ｉｍａｇｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  ＡＰＩ）によって利用されることができる。
【００７７】
ユーザに対して特殊な有意性のある物体および特徴が、ユーザデータベース６０５内に記憶される。例えば、これらは、ユーザの自宅内の家具、表記、または既知の危険を含む可能性がある。
【００７８】
間隙、障害物、低い位置にぶら下がったランプ、急勾配の階段、つまずく危険、または家具等、ユーザに対する危険を構成し得る物体に、特に強調が置かれる。危険識別モジュール６０３が、物体が危険をユーザに提示する場合があるかどうかを判定する。このタスクのために、ユーザ６および非視覚センサ７からのデータは、認識された物体の場所データ（例えば、３Ｄセンサ８７からの深度データ）と組み合わせられる。危険識別モジュール６０３はまた、加速度計データ８５を使用し、ユーザの運動の現在の軌道を識別し、衝突警告を発行し得る。
【００７９】
一実施形態では、物体検出６０１、物体認識６０２、および物体識別６０３は、スマートフォンプロセッサ上でローカルに実施される。この実施形態では、サーバ接続が、この補助機能のために要求されないが、数々の認識可能な特徴は、ローカルユーザデータベース６０５内に記憶されるものに限定される。別の実施形態では、物体認識６０２および危険識別６０３は、専用ネットワークサーバを使用して、実施される。これは、大型データベースへのアクセスを可能にし、膨大な数の特徴および物体の識別を可能にする。
【００８０】
物体同一性、場所、および危険情報が、次いで、刺激装置分解能に応じて、抽象的出力６０４を生成するために使用される。一実施形態では、物体場所および同一性の記号的方式で描写する２次元の線画から成る、低分解能出力が、生成される。別の実施形態では、より詳細な３次元線画から成る、高分解能出力が、生成される。例えば、図面は、階段の場所および急勾配、家具の位置、または戸口の輪郭を強調してもよい。危険な物体は、別々の灰色色調を使用することによって、または線画内の点滅記号によって、強調され得る。
【００８１】
一実施形態では、環境補助は、実世界の拡張現実的ビューを産出し、線画が、ライブビデオにわたって重ねられる。これは、ユーザが、環境補助によって識別されるものに加えて、近傍の特徴および危険を把握することを可能にする。別の実施形態では、線画は、ライブビデオに全体的に取って代わる。
【００８２】
環境補助を使用するユーザ経験の実施例が、図１２に示される。ビデオ入力画像１１０が、種々の一般的に遭遇される特徴を含有する。低分解能１１１と高分解能未加工カメラ画像１１３のいずれも、特徴および危険に関する十分な情報をユーザに提供しない。しかしながら、スマート人工器官出力画像１１２は、ドア、表示物、および階段の場所を明確に描写する。高分解能出力１１４は、加えて、階段の精密な場所および急勾配等の３次元キューおよび物体の詳細を特徴とする。
（買物補助）
【００８３】
買物補助７４の主要機能は、買物に出かけ、共通紙幣を使用して支払を行なう間、一般的に遭遇される物体を識別する際にユーザを補助することである。補助は、食料品アイテムおよび紙幣を認識し、概略的形態でこれらをユーザに提示する。買物補助７４の例示的実装によって実施される動作を表すフローチャートが、図１３に示される。
【００８４】
図１３を参照すると、視覚センサ５からのデータは、物体検出モジュール５０１によって分析される。物体認識モジュール５０２は、次いで、ビデオ入力内の物体を識別する。実施例は、果物および野菜、牛乳パック、または箱詰めアイテムを含む。ユーザによって購入される食料品アイテムは、一般的に、迅速な読み出しのために、ユーザデータベース５０４内に記憶される。クラウドベースの画像認識プラットフォームは、すでに存在し、スマートフォンアプリケーション（例えば、ＩＱ  ＥｎｇｉｎｅｓによるＶｉｓｉｏｎｌＱ、Ｋｏｏａｂａ  ＡＰＩ、またはＭｏｏｄｓｔｏｃｋ’ｓ  Ｉｍａｇｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  ＡＰＩ）に組み込まれることができる。
【００８５】
バーコードスキャナモジュール５０６を使用して、買物補助は、ユーザが、包装されたアイテム上に存在するＵＰＣバーコードを走査し、走査されたアイテム上で情報を読み出すことを可能にする。このタスクは、バーコード走査ＡＰＩをスマートフォンアプリケーション（Ｓｃａｎｄｉｔ’ｓ  ＵＰＣ  Ｐｒｏｄｕｃｔ  ＡＰＩまたは３ＧＶｉｓｉｏｎ’ｓ  ｉ−ｎｉｇｍａ  Ｐｈｏｎｅ  Ｂａｒｃｏｄｅ  Ｒｅａｄｅｒ  ＳＤＫ等）に組み込むことによって達成されることができる。
【００８６】
紙幣認識モジュール５０３は、紙幣または他の貨幣を識別する。類似するリアルタイム貨幣認識ソフトウェアは、すでに存在する（例えば、ＬｏｏｋＴｅｌ’ｓ  Ｍｏｎｅｙ  Ｒｅａｄｅｒ  ｉＰｈｏｎｅ  ａｐｐまたはＭｏｂｉｌｅ  Ｃｕｒｒｅｎｃｙ  Ｒｅａｄｅｒ  ｆｏｒ  Ａｎｄｒｏｉｄ）。
【００８７】
一実施形態では、物体検出５０１および認識５０２−５０３は、スマートフォンプロセッサ上でローカルに実施される。この実施形態では、サーバ接続が、この補助機能のために要求されないが、数々の認識可能なアイテムは、ローカルユーザデータベース５０４内に記憶されるものに限定される。別の実施形態では、物体認識５０２−５０３は、専用ネットワークサーバを使用して、実施される。これは、大型データベースへのアクセスを可能にし、膨大な数のアイテムの識別を可能にする。
【００８８】
買物補助によって生成される出力５０５は、刺激装置分解能に応じて、英数字または記号的表現から成る。一実施形態では、単一の文字または番号から成る、低分解能出力が、生成される。例えば、「Ｂ」は、バナナを表し、「５」は、５ドル紙幣を表す。別の実施形態では、物体および紙幣を表す記号から成る、高分解能出力が、生成される。例えば、バナナを表すアイコンまたは５ドル紙幣を描写する長方形が、描かれる。
【００８９】
ユーザはまた、買物を伴わないが、補助によって実施される機能を要求する状況で、買物補助を立ち上げてもよい。例えば、バーコードまたはＱＲコード（登録商標）が、雑誌を読みながら、走査されてもよい、または財布の中の紙幣が、自宅で数えられてもよい。
【００９０】
一実施形態では、買物補助は、ライブビデオ上のアイテムおよび紙幣の記号的表現を重ねる。これは、インプラントユーザが、付加的物体を選択し、買物補助を使用しながら、店を通して吟味かつナビゲートすることを可能にする。別の実施形態では、記号的表現が、単独で生成される。
【００９１】
図１４は、買物補助の紙幣識別能力の実証を示す。ビデオ入力１２０は、いくつかの紙幣を含有する。これらの紙幣上のドルの値は、未加工画素式カメラ画像１２１および１２３から識別されることはできない。対照的に、スマート人工器官出力画像１２２および１２４は、ユーザに各紙幣の場所および値を表示する。
【００９２】
図１５は、例示的現実世界シナリオにおける、スマート人工器官の典型的な動作を表す、フローチャートを提供する。具体的には、図１５は、ユーザがユーザの環境を視認し、それと相互作用するような動きの代表的時間的フローを描写する。任意の補助機能がアクティブ化されない場合、人工器官は、ライブビデオ信号を視覚センサからユーザに中継する（４００）。低レベル背景物体検出モジュール４０１が、種々の物体の存在のためにビデオストリームを連続的に分析する。背景検出のための設定は、ユーザ１０２によってカスタム可能である。上記に言及されるように、補助機能の自動アクティブ化４０２をトリガし得るシナリオが、顔（人認識補助７０）、テキスト書物（読取補助７１）、または環境補助７３によって処理される物体の検出を含む。ユーザは、補助機能のいずれかを能動的に開始することができる（４０３）が、ナビゲーション補助７２および買物補助７４は、ユーザデータ入力に依拠するため、ユーザの開始を要求する。任意の補助機能の終了後に、人工器官出力は、その初期状態４００に戻る。
【００９３】
実施形態の完全な理解を提供するために、前述の説明に、具体的詳細が与えられる。しかしながら、実施形態は、これらの具体的詳細を伴わずに、実践されてもよいことを理解されたい。例えば、回路が、実施形態を不必要に詳細にして曖昧にしないために、ブロック形態で示され得る。他の事例では、周知の回路、プロセス、アルゴリズム、構造、および技術は、実施形態を曖昧にすることを回避するために、不必要な詳細を伴わずに、示され得る。
【００９４】
前述の技術、ブロック、ステップ、および手段の実装は、種々の方法で行われ得る。例えば、これらの技術、ブロック、ステップ、および手段は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されてもよい。ハードウェア実装に関しては、処理ユニットが、１つまたはそれを上回る特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ  （ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、前述の機能を行うように設計された他の電子ユニット、および／またはそれらの組み合わせ内に実装されてもよい。
【００９５】
また、実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として描写される、プロセスとして説明され得ることに留意されたい。フローチャートは、シーケンスプロセスとして動作を説明し得るが、動作の多くは、並行または同時に行われることができる。加えて、動作の順序は、並べ替えられてもよい。プロセスは、その動作が完了されると終了するが、図中に含まれない付加的ステップを有し得る。プロセスは、方法、機能、プロシージャ、サブルーチン、サブプログラム等に対応し得る。プロセスが、機能に対応するとき、その終了は、呼出機能または主要機能へのその機能の復帰に対応する。
【００９６】
さらに、実施形態は、ハードウェア、ソフトウェア、スクリプト言語、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、および／またはそれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、スクリプト言語、および／またはマイクロコード内に実装されるとき、必要なタスクを行うためのプログラムコードまたはコードセグメントが、記憶媒体等の機械可読媒体内に記憶されてもよい。コードセグメントまたは機械実行可能命令は、プロシージャ、機能、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、スクリプト、クラス、または命令、データ構造、および／またはプログラムステートメントの任意の組み合わせを表し得る。コードセグメントは、情報、データ、引数、パラメータ、および／またはメモリコンテンツのパスおよび／または受信によって、別のコードセグメントまたはハードウェア回路に結合されてもよい。情報、引数、パラメータ、データ等は、メモリ共有、メッセージパス、トークンパス、ネットワーク伝送等を含む、任意の好適な手段を介して、パス、自動転送、伝送されてもよい。
【００９７】
ファームウェアおよび／またはソフトウェア実装に関して、方法論が、本明細書に説明される機能を実施するモジュール（例えば、プロシージャ、機能等）とともに実装されてもよい。命令を有形具現化する任意の機械可読媒体が、本明細書に説明される方法論を実装する際に使用されてもよい。例えば、ソフトウェアコードが、メモリ内に記憶されてもよい。メモリは、プロセッサ内またはプロセッサ外に実装されてもよい。本明細書で使用されるように、用語「メモリ」は、任意のタイプの長期、短期、揮発性、不揮発性、または他の記憶媒体を指し、任意の特定のタイプのメモリまたはメモリの数またはメモリが記憶されるメディアのタイプに限定されない。
【００９８】
さらに、本明細書に開示されるように、用語「記憶媒体」は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および／または情報を記憶するための他の機械可読媒体を含む、データを記憶するための１つまたはそれを上回るメモリを表し得る。用語「機械可読媒体」は、限定ではないが、ポータブルまたは固定記憶デバイス、光記憶デバイス、無線チャネル、および／または命令および／またはデータを含有または担持する、記憶可能な種々の他の記憶媒体を含む。
【００９９】
結論として、本開示による実施形態は、とりわけ、自動故障検出および異常検出のためのシステムおよび方法を提供する。当業者は、多くの変形例および代用が、開示される実施形態において行われ得、その使用およびその構成が、本明細書に説明される実施形態によって達成されるものと同一結果を実質的に達成することを容易に認識することができる。故に、請求項を開示される例示的形態に限定する意図はない。多くの変形例、修正、代替構造が、請求項に表される本開示の範囲および精神内にある。
【図１】
0006527507.tif 000002
【図２】
0006527507.tif 000003
【図３】
0006527507.tif 000004
【図４】
0006527507.tif 000005
【図５】
0006527507.tif 000006
【図６】
0006527507.tif 000007
【図７】
0006527507.tif 000008
【図８】
0006527507.tif 000009
【図９】
0006527507.tif 000010
【図１０】
0006527507.tif 000011
【図１１】
0006527507.tif 000012
【図１２】
0006527507.tif 000013
【図１３】
0006527507.tif 000014
【図１４】
0006527507.tif 000015
【図１５】
0006527507.tif 000016