(57)【要約】  ユーザの好み及び環境条件に合わせて調整可能な人工知能統合型の自律的ハンズフリー制御手段を含む、ウェアラブル、ハンドヘルド、又は固定マウント式であり得る電子的視覚補助具の為の適応制御システム及び方法が提供される。【選択図】  図１Ａ
2022502798.tif 000002
【特許請求の範囲】
【請求項１】
視覚補助デバイスの映像出力に自律的改善を提供する方法であって、
前記視覚補助デバイスでシーンのリアルタイム画像を取得することと、
前記視覚補助デバイスの運動成分を評価することと、
前記運動成分に基づいて前記視覚補助デバイスの運動状態を判断することと、
前記視覚補助デバイスのユーザが活発移動状態に入っていることを前記運動状態が示す場合に、
付加的な改善又は調節が前記リアルタイム画像に適用されることなく前記視覚補助デバイスのディスプレイに第１映像を提示することと、
前記視覚補助デバイスの前記ユーザが注目状態に入っていることを前記運動状態が示す場合に、
前記視覚補助デバイスのユーザの注目対象に対応する前記リアルタイム画像の部分集合を特定することと、
前記リアルタイム画像の前記部分集合から関心構造を確認することと、
少なくとも前記関心構造に視覚的改善を適用することと、
視覚的改善後の前記関心構造を含む第２映像を前記視覚補助デバイスの前記ディスプレイに提示することと、
を包含する方法。
【請求項２】
前記運動成分が前記視覚補助デバイスの角速度を包含する、請求項１に記載の方法。
【請求項３】
前記運動成分が前記視覚補助デバイスのヨー軸及びピッチ軸での角速度を包含する、請求項１に記載の方法。
【請求項４】
前記運動成分が前記視覚補助デバイスの並進運動を包含する、請求項１に記載の方法。
【請求項５】
高い角速度が前記ユーザの前記注目対象の突然の変化を示す、請求項２に記載の方法。
【請求項６】
前記活発移動状態が、前記視覚補助デバイスの前記ユーザが活発移動に関わっており、故に前記ユーザの視野内の何かについての意図的集中に入っていないか注目を試みていないことを示す、請求項１に記載の方法。
【請求項７】
前記注目状態が、前記視覚補助デバイスの前記ユーザが前記視野内の何かに意図的に集中していることを示す、請求項１に記載の方法。
【請求項８】
前記視覚補助デバイスの小さい角速度が使用されて、前記運動状態が前記注目状態を包含すると判断される、請求項１に記載の方法。
【請求項９】
前記視覚補助デバイスの中間的角速度が使用されて、前記運動状態が前記注目状態を包含すると判断される、請求項１に記載の方法。
【請求項１０】
読取、走査、又は検索行動と関連する角速度が使用されて、前記運動状態が前記注目状態を包含すると判断される、請求項１に記載の方法。
【請求項１１】
処理及び／又は拡大が最小である名目上の未改善視界を前記第１映像が包含する、請求項１に記載の方法。
【請求項１２】
前記関心構造がテキスト状構造を包含する、請求項１に記載の方法。
【請求項１３】
前記関心構造が顔面特徴を包含する、請求項１に記載の方法。
【請求項１４】
文字、数字、絵文字、グリフ、及びアイコンから成るグループから前記関心構造が選択される、請求項１に記載の方法。
【請求項１５】
前記視覚的改善が、少なくとも前記関心構造の拡大率を調節することを包含する、請求項１に記載の方法。
【請求項１６】
前記視覚的改善が、少なくとも前記関心構造のコントラスト成分を調節することを包含する、請求項１に記載の方法。
【請求項１７】
前記視覚補助デバイスの運動状態の判断が、
前記リアルタイム画像の数個の最近フレームと関連する前記運動成分を評価して前記視覚補助デバイスの前記ユーザの短期移動を分類することと、
前記リアルタイム画像の数個以上の最近フレームの前記動作成分を評価して前記視覚補助デバイスの前記ユーザの具体的動作状態を特定することと、
を包含する、請求項１に記載の方法。
【請求項１８】
機械学習アルゴリズムを適用して前記具体的動作状態を特定することを更に包含する、請求項１７に記載の方法。
【請求項１９】
低視力ユーザに改善視力を提供する方法であって、
視覚補助デバイスでリアルタイム映像を受理するステップと、
前記低視力ユーザの注目対象に対応する前記リアルタイム映像の各々の部分集合を前記視覚補助デバイスで特定するステップと、
前記リアルタイム映像の各々の前記部分集合内の関心構造を前記視覚補助デバイスで抽出するステップと、
横列又は縦列で整理される関心構造の少なくとも一つのグループを前記視覚補助デバイスで特定するステップと、
前記関心構造の少なくとも一つのグループの寸法を前記視覚補助デバイスで判断するステップと、
好適な構造寸法と適合するように前記関心構造の少なくとも一つのグループの拡大率を前記視覚補助デバイスで調節するステップと、
前記リアルタイム画像と拡大率調整後の前記関心構造の少なくとも一つのグループとを含む改善映像ストリームを前記視覚補助デバイスで形成するステップと、
前記改善映像ストリームを前記視覚補助デバイスのディスプレイに表示するステップと、
を包含する方法。
【請求項２０】
前記部分集合が前記リアルタイム映像の各々の固定画素エリアを包含する、請求項１９に記載の方法。
【請求項２１】
前記固定画素エリアが前記リアルタイム映像の各々の中央部分である、請求項２０に記載の方法。
【請求項２２】
前記関心構造がテキスト状構造を包含する、請求項１９に記載の方法。
【請求項２３】
前記関心構造が顔面構造を包含する、請求項１９に記載の方法。
【請求項２４】
前記関心構造が文字、数字、絵文字、グリフ、及びアイコンから成るグループから選択される、請求項１９に記載の方法。
【請求項２５】
前記視覚補助デバイスが前記視覚補助デバイスのユーザの行動傾向に基づいて前記リアルタイム映像の各々の部分集合を自動的に特定する、請求項１９に記載の方法。
【請求項２６】
前記ユーザの行動傾向が入力制御シーケンスのユーザ履歴と前記入力制御シーケンスのタイミングとを包含する、請求項２１に記載の方法。
【請求項２７】
前に処理された映像のコンテンツに基づいて前記視覚補助デバイスが前記リアルタイム映像の各々の部分集合を自動的に特定する、請求項１９に記載の方法。
【請求項２８】
前記視覚補助デバイスで前記低視力ユーザの注視先を追跡すること、
を更に包含し、
前記視覚補助デバイスが前記低視力ユーザの前記注視先に基づいて前記リアルタイム映像の各々の部分集合を自動的に特定する、
請求項１９に記載の方法。
【請求項２９】
前記リアルタイム映像の部分集合を前処理してノイズを低減させるか他の不要な干渉パターンに対処することを更に包含する、請求項１９に記載の方法。
【請求項３０】
前記前処理がリアルタイム映像の部分集合のコントラスト成分を改善することを包含する、請求項２９に記載の方法。
【請求項３１】
前記前処理がリアルタイム映像の部分集合の鮮明度成分を増加させることを包含する、請求項２９に記載の方法。
【請求項３２】
前記前処理がリアルタイム映像の部分集合の詳細度成分を増加させることを包含する、請求項２９に記載の方法。
【請求項３３】
前記抽出ステップがリアルタイム映像の部分集合から最大安定閾値領域を抽出することを更に包含する、請求項１９に記載の方法。
【請求項３４】
抽出された前記関心構造を前記視覚補助デバイスで精査することと、
予選択範囲の外側にあるパラメータを含む関心構造を除外することと、
を更に包含する請求項１９に記載の方法。
【請求項３５】
前記予選択範囲が長さ閾値パラメータを含む、請求項３４に記載の方法。
【請求項３６】
前記予選択範囲が幅閾値パラメータを含む、請求項３４に記載の方法。
【請求項３７】
前記予選択範囲が画素数閾値パラメータを含む、請求項３４に記載の方法。
【請求項３８】
前記予選択範囲がアスペクト比閾値パラメータを含む、請求項３４に記載の方法。
【請求項３９】
前記低視力ユーザの注目対象の境界線を横切る関心構造を除外することを更に包含する、請求項３４に記載の方法。
【請求項４０】
前記低視力ユーザの注目対象の上又は下の境界線を横切る関心構造を除外することを更に包含する、請求項３０に記載の方法。
【請求項４１】
横列又は縦列に整理される関心構造の少なくとも一つのグループの特定が更に、
前記関心構造の垂直中心の確率密度関数をモデル化することであって、前記確率密度関数が一以上のｐｄｆピークを含むことと、
前記確率密度関数の前記ｐｄｆピークから最大ピークを特定することと、
前記最大ピークと関連する統計的可能性がある関心構造のみを保持することと、
を包含する、請求項１９に記載の方法。
【請求項４２】
前記最大ピークと関連する統計的可能性がある関心構造が、サイズが一定である関心構造を包含する、請求項４１に記載の方法。
【請求項４３】
前記関心構造の少なくとも一つのグループが横列又は縦列に整理されているという統計的信頼度を前記視覚補助デバイスで判断することを更に包含する、請求項１９に記載の方法。
【請求項４４】
前記関心構造の少なくとも一つのグループの拡大率の調節が、前記統計的信頼度が信頼度閾値を上回る時に前記関心構造の少なくとも一つのグループの拡大率を好適な構造サイズと適合するように調節することを更に包含する、請求項４３に記載の方法。
【請求項４５】
前記受理ステップが更に、
前記視覚補助デバイスのカメラでリアルタイム映像を取得することと、
前記カメラからの前記リアルタイム映像を前記視覚補助デバイスで受理することと、
を包含する、請求項１９に記載の方法。
【請求項４６】
前記リアルタイム映像を取得する際に前記視覚補助デバイスの運動成分を検知することと、
検知された前記運動成分に基づいて前記視覚補助デバイスの運動状態を判断することと、
を更に包含し、
前記運動状態が注目状態を包含する場合のみ、前記拡大率調節ステップと前記改善映像ストリーム形成ステップと前記改善映像ストリーム表示ステップとが実施される、
請求項４５に記載の方法。
【請求項４７】
前記視覚補助デバイスのジャイロスコープで前記カメラの前記運動成分を検知することを更に包含する、請求項４６に記載の方法。
【請求項４８】
前記視覚補助デバイスの加速度計で前記カメラの前記運動成分を検知することを更に包含する、請求項４６に記載の方法。
【請求項４９】
前記改善映像ストリームを第２ディスプレイに表示することを更に包含する、請求項１９に記載の方法。
【請求項５０】
前記ディスプレイが前記ユーザの第１の眼の前に配置され、前記第２ディスプレイが前記ユーザの第２の眼の前に配置される、請求項１９に記載の方法。
【請求項５１】
視覚補助デバイスの映像出力に自律的改善を提供する方法であって、
シーンのリアルタイム画像を前記視覚補助デバイスで取得することと、
維持されている前記視覚補助デバイスの運動モデルを更新することと、
前記視覚補助デバイスの前記ユーザが注目状態に入っていることを、維持されている前記運動モデルが示す場合に、
前記視覚補助デバイスのユーザの注目対象に対応する前記リアルタイム画像の部分集合を特定することと、
前記リアルタイム画像の前記部分集合のみを解析することと、
前記リアルタイム画像の部分集合に自律的視覚改善が適用されるかどうかを判断することと、
を包含する方法。
【請求項５２】
前記自律的視覚改善が前記リアルタイム画像の部分集合に適用される場合に、
少なくとも前記リアルタイム画像の部分集合に適用される自律的視覚改善による改善映像ストリームを形成し、
前記改善映像ストリームを前記ユーザに表示する、
請求項５１に記載の方法。
【請求項５３】
前記自律的視覚改善が前記リアルタイム画像の部分集合の拡大率を調節することを包含する、請求項５１に記載の方法。
【請求項５４】
前記自律的視覚改善が前記リアルタイム画像の部分集合のコントラスト成分を調節することを包含する、請求項５１に記載の方法。
【請求項５５】
前記運動モデルの更新が更に、
前記リアルタイム画像の数個の最近フレームと関連する運動成分を評価して、前記視覚補助デバイスのユーザの短期移動を分類することと、
前記リアルタイム画像の数個以上の最近フレームの前記運動成分を評価して、前記視覚補助デバイスの前記ユーザの特定の具体的動作状態を特定することと、
を包含する、請求項５１に記載の方法。
【請求項５６】
前記運動成分が前記視覚補助デバイスの角速度を包含する、請求項５５に記載の方法。
【請求項５７】
前記運動成分が前記視覚補助デバイスのヨー軸及びピッチ軸での角速度を包含する、請求項５５に記載の方法。
【請求項５８】
前記運動成分が前記視覚補助デバイスの並進運動を包含する、請求項５５に記載の方法。
【請求項５９】
前記運動成分が前記視覚補助デバイスの視線追跡要素で測定される眼球移動量を包含する、請求項５５に記載の方法。
【請求項６０】
前記ユーザの前記注目対象の突然の変化を示す為に高い角速度が前記運動モデルにより使用される、請求項５６に記載の方法。
【請求項６１】
前記視覚補助デバイスの小さい角速度が前記運動モデルにより使用されて前記ユーザが前記注目状態にあることを示す、請求項５６に記載の方法。
【請求項６２】
前記視覚補助デバイスの中間角速度が前記運動モデルにより使用されて前記ユーザが前記注目状態にあることを示す、請求項５６に記載の方法。
【請求項６３】
読取、走査、又は検索行動と関連する角速度が前記運動モデルにより使用されて前記ユーザが前記注目状態にあることを示す、請求項５１に記載の方法。
【請求項６４】
前記運動モデルの更新が、予測された運動に基づいて前記視覚補助デバイスの前記ユーザの具体的な動作状態を特定することを包含する、請求項５１に記載の方法。
【請求項６５】
前記運動モデルの更新が、類似の状況での運動履歴に基づいて前記視覚補助デバイスの前記ユーザの具体的な動作状態を特定することを更に包含する、請求項５１に記載の方法。
【請求項６６】
前記視覚補助デバイスのユーザが活発移動状態に入っていることを前記運動状態が示す場合に、
付加的な解析又は処理を前記リアルタイム画像に適用しないこと、
を更に包含する、請求項５１に記載の方法。
【請求項６７】
前記注目状態が、前記視覚補助デバイスの前記ユーザが前記視野内の何かに意図的に集中していることを示す、請求項５１に記載の方法。
【請求項６８】
手動視覚改善が前記リアルタイム画像に適用されることを要求するユーザ入力を特定することと、
前記手動視覚改善が前記自律的視覚改善より優先されるかどうかを判断することと、
前記適切な手動視覚改善又は自律的視覚改善を前記リアルタイム映像に適用することと、
を更に包含する、請求項５１に記載の方法。
【請求項６９】
視覚補助デバイスであって、
リアルタイム映像を生成するように構成されるカメラと、
視覚補助デバイスの少なくとも一つの運動成分を測定するように構成されるセンサと、
ディスプレイと、
前記少なくとも一つの運動成分に基づいて視覚補助デバイスの運動状態を判断するように構成されるプロセッサであって、視覚補助デバイスのユーザが活発移動状態に入っていることを前記運動状態が示す場合に、付加的な改善又は調節が前記リアルタイム画像に適用されることなく第１映像を前記ディスプレイに提示するように更に構成されるプロセッサであり、視覚補助デバイスの前記ユーザが注目状態に入っていることを前記運動状態が示す場合に、視覚補助デバイスのユーザの注目対象に対応する前記リアルタイム画像の部分集合を特定するように更に構成されるプロセッサであり、前記リアルタイム画像の前記部分集合から関心構造を確認するように構成されるプロセッサであり、少なくとも前記関心構造に視覚的改善を適用するように構成されるプロセッサであり、視覚的に改善された前記関心構造を含む第２映像を前記ディスプレイに提示するように構成されるプロセッサと、
を包含する、視覚補助デバイス。
【請求項７０】
前記センサが少なくとも一つの加速度計を包含する、請求項６９に記載のデバイス。
【請求項７１】
前記センサが少なくとも一つのジャイロスコープを包含する、請求項６９に記載のデバイス。
【請求項７２】
前記運動成分が前記視覚補助デバイスの角速度を包含する、請求項６９に記載のデバイス。
【請求項７３】
前記運動成分が前記視覚補助デバイスのヨー軸及びピッチ軸での角速度を包含する、請求項６９に記載のデバイス。
【請求項７４】
前記運動成分が前記視覚補助デバイスの並進運動を包含する、請求項６９に記載のデバイス。
【請求項７５】
前記視覚補助デバイスの前記ユーザが活発移動に関わっており、それ故、前記ユーザの視野内の何かについての意図的集中に関わっていないか注目を試みていないことを前記活移動状態が示す、請求項６９に記載のデバイス。
【請求項７６】
前記視覚補助デバイスの前記ユーザが前記視野内の何かに意図的に集中していることを前記注目状態が示す、請求項６９に記載のデバイス。
【請求項７７】
前記プロセッサが視覚補助デバイスの小さい角速度を使用して、前記運動状態が前記注目状態を包含すると判断する、請求項６９に記載のデバイス。
【請求項７８】
前記プロセッサが前記視覚補助デバイスの中間角速度を使用して、前記運動状態が前記注目状態を包含すると判断する、請求項６９に記載のデバイス。
【請求項７９】
前記プロセッサが読取、走査又は検索行動と関連する角速度を使用して、前記運動状態が前記注目状態を包含すると判断する、請求項６９に記載のデバイス。
【請求項８０】
前記第１映像が、処理及び／又は拡大率が最小である名目上の未改善視界を包含する、請求項６９に記載のデバイス。
【請求項８１】
前記関心構造がテキスト状構造を包含する、請求項６９に記載のデバイス。
【請求項８２】
前記関心構造が顔面特徴を包含する、請求項６９に記載のデバイス。
【請求項８３】
文字、数字、絵文字、グリフ、及びアイコンから成るグループから前記関心構造が選択される、請求項６９に記載のデバイス。
【請求項８４】
前記視覚的改善が少なくとも前記関心構造の調節後拡大率を包含する、請求項６９に記載のデバイス。
【請求項８５】
前記視覚的改善が少なくとも前記関心構造の調節後コントラスト成分を包含する、請求項６９に記載のデバイス。
【請求項８６】
コンピューティングデバイスにより、
シーンのリアルタイム画像を前記視覚補助デバイスで取得し、前記視覚補助デバイスの運動成分を評価し、前記運動成分に基づいて前記視覚補助デバイスの運動状態を判断する、
ようにプロセッサにより実行される命令が記憶される非一時的コンピューティングデバイス可読媒体であって、
前記視覚補助デバイスのユーザが活発移動状態に入っていることを前記運動状態が示す場合に、付加的な改善又は調節が前記リアルタイム画像に適用されることなく前記コンピューティングデバイスにより前記視覚補助デバイスのディスプレイに第１映像を提示するように前記命令が前記プロセッサにより実行可能であり、
前記視覚補助デバイスの前記ユーザが注目状態に入っていることを前記運動状態が示す場合に、前記コンピューティングデバイスにより、前記視覚補助デバイスのユーザの注目対象に対応する前記リアルタイム画像の部分集合を特定し、前記リアルタイム画像の部分集合から関心構造を確認し、少なくとも前記関心構造に視覚的改善を適用し、視覚的に改善された前記関心構造を含む第２映像を前記視覚補助デバイスの前記ディスプレイに表示するように前記命令が前記プロセッサにより実行可能である、
非一時的コンピューティングデバイス可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本特許出願は、「電子視覚補助具における新規の自律的ハンズフリー制御の改善（Novel Enhanced Autonomous Hands-free Control in Electronic Visual Aids）」の名称で２０１８年９月２４日に出願された米国仮特許出願第６２／７３５，６４３号の優先権を主張し、その開示全体が参照により本明細書に援用される。
【０００２】
本出願は、２０１７年１１月１７日出願のＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１７／０６２４２１号、２０１７年１１月１７日出願の米国出願第１５／８１７，１１７号、２０１８年３月１２日出願の米国出願第１５／９１８，８８４号、２０１８年７月９日出願の米国出願第１６／０３０，７８８号、２０１８年１０月３１日出願の米国出願第１６，１７７，３３３号、２０１９年３月６日出願の米国出願第１６／２９４，６０１号、２０１９年５月２９日出願のＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１９／０３４４４３号に関連し、その内容全体が参照により本明細書に援用される。
【０００３】
（参照による援用）
本明細書に言及される全ての公報及び特許出願は、個々の公報又は特許出願がそれぞれ参照により援用されることが明確かつ個別に指摘された場合と同じ程度に、参照によりその全体が本明細書に援用される。
【０００４】
この発明は、電子視覚補助具における自律的ハンズフリー制御の改善に関する。
【背景技術】
【０００５】
視覚補助具は数百年にわたって使用されており、過去においてはアイグラスのように光学ベースの解決策が通例である。１９８０年代後半には、頭部マウント式のプログラマブルな電子ベースの視覚補助具による概念化と初期の実験がＮＡＳＡ基金による研究で始まった。記載されている基本的機能は、装着者の眼に提示される画像を操作する為に画素の再マッピングを含んでいた。同時に、パーソナルコンピュータ及びモバイル技術が、低視力用途を含む他の様々なタスクにおいて主流となり、広範なプログラミングが可能になった。
【０００６】
電子視覚補助具の最新のハードウェア具現例は、電子書籍リーダ、低視力アクセシビリティ特徴を備えるコンピュータプラグイン、携帯スマートフォンなどのモバイルデバイス、専用の電子拡大鏡、仮想現実（ＶＲ）ヘッドセット、そして拡張現実（ＡＲ）グラスなど、多くの形態を含む。これらのプラットフォームは、ゲーム、テレプレゼンス、そして多様な娯楽の用途など、幾つかの用途での使用を想定して設計されている。
【発明の概要】
【課題を解決するための手段】
【０００７】
本明細書に記載の例は、概ね、様々な視覚障害（例えば、加齢黄斑変性―ＡＭＤ―と他の視野欠損症）を抱える低視力ユーザにとっての付加的かつ明確な利点を伴う、パーソナルコンピュータ及びモバイル技術、電子書籍リーダ、そしてウェアラブル電子拡張現実（ＡＲ）及び仮想現実（ＶＲ）グラス全般を含む広範囲の電子視覚補助具の為の改良型ハードウェアと統合ソフトウェア及びアルゴリズムに関する。本明細書に記載の電子視覚補助具は、既存の視覚補助具の有用性及び多用途性を究極的に低下させる総当たり方法により以前は対処されていた問題を解決する。本明細書に記載の最新のアプローチは、標準的な設計の利点を犠牲にすることなく低視力ユーザの体験を更に改善する。これは、使用習慣及び環境のパターンを考慮する自律制御特徴を含む。或る用途では、正常な視力のユーザもこれらの変更による恩恵を受ける。
【０００８】
本明細書に記載の実施形態は、様々な視覚障害（例えば加齢黄斑変性―ＡＭＤ―と他の視野欠損症）を抱えているユーザが周囲を認知及び解釈する能力を向上させることによりこれらのユーザを補助できるウェアラブル、ハンドヘルド、又はマウント式の個人用電子視覚補助具の為の制御手段の自動的設定及び調節に関する。また、正常視力のユーザが見え難い物を確認及び視認するのにも役立ち得る。このようなデバイスは、環境画像の連続ストリームを捕捉する一以上のカメラ（つまり画像センサ及びサポート光学機器）、ユーザの必要性に合致するような手法で画像を結合、調節、拡張、又は改善する何らかの形の低遅延処理、そしてリアルタイム視認の為の修正画像を提示する一以上のディスプレイを取り入れている。
【０００９】
効果的な視覚補助具は、ユーザの視覚能力又は（もしあれば）病状ばかりでなく、ユーザの個人的好み、現在の環境、そして所望する注目対象を考慮する高性能な画像処理作業を実施しなければならない。病状及び好みの詳細は、記憶されたデバイス設定として効果的に捕捉され得るが、最初のユーザ依存の技術構成パラメータの手動最適化は、不慣れな担当者の能力を概ね超える困難なプロセスである。視覚障害者又はテクノロジー恐怖症の人にとっては、補助なしでは全く実行不可能である。同様に、過渡的な状況に応じた詳細な制御の適時操作は、手先の器用さが低下した高齢のユーザにとっては特に困難でもある。身体的に健全なユーザであっても、調節を行う制御手段の扱い難さにより注意が散漫して視認タスクに集中できなくなるのを回避することを好むだろう。
【００１０】
これらの懸念に対処する一方法は、ある程度の自律性を視覚補助具に取り入れて、ユーザの当面の必要性又は意図を推測してユーザの代わりに先制的に作用することを可能にすることである。画像コンテンツ、補助的センサデータ、そして類似の状況でのユーザ動作履歴の解析を介した現状の評価をもとに決定が予測されるのが理想的であろう。
【００１１】
信頼できる自律性及びハンズフリー動作を伴う視覚補助システム及び方法が本明細書で提供される。本明細書に記載のシステム及び方法は、比較的小さい基本構造（例えば、単語、ライン、又は個々の文字や絵文字を包含するパラグラフ、グリフ状の横列、或いは絵文字の横列）の整理又は階層パターンを含有する入力画像内の領域を特定して、有意なコンテンツが一層容易に識別又は認識されるように視認デバイスを調節する（又はこのような調節を促進する）構成を持つ。本明細書に記載のシステム及び方法は、提供される拡大の程度に対する制御を行うばかりでなく、視野のサイズ及び性質を操作する。自律的に選択された特徴に能動的に注意を向けることにより、注目対象にも影響し得る。頭部及び／又は眼球運動の測定から推測される装着者の目標及び意図についての付加的な非映像情報により、これらのプロセスが誘導される。続いて、視界の調節は、変更が注意散漫又は方向感覚喪失を与えるのではなく役に立つような時に制限され得る。
【００１２】
本明細書で提示されるシステム及び方法は、限定的なバッテリ容量と制約の厳しいコンピューティングリソースとを具備する独立型のポータブルデバイスにおける連続的なリアルタイム動作に適している。最も経済的な具現例は厳密にはユーザに依存しないが、特定ユーザに適合したより複雑な認識又は高品質の決定の為の機械学習技術を取り入れることにより、高性能なプラットフォームに合わせた設計調整が容易である。
【００１３】
やはり提示されるのは、表示画像のコントラストを自律的に改善又は調節する補完的なシステム及び方法である。この技術は、別々に具現化された時の経済的なリアルタイム具現化での低複雑度という同じ利点を共有し、更に、拡大及び／又は視野特性を制御する自律システムに結合された時には、コンポーネントの共有による利点が得られる。
【００１４】
ハンドヘルド又は固定であるかユーザの頭部に装着されるように構成されるフレームと、フレームの上又は内部に配設されて、映像を表示するように構成される少なくとも一つのディスプレイと、フレームの上又は中に配設されて、映像を処理して少なくとも一つのディスプレイに表示される改善映像ストリームを作成するように構成されるプロセッサとを包含する電子視覚補助デバイスが提供される。幾つかの実施形態において、電子視覚補助デバイスは、フレームの上又は中に配設されて、未処理のリアルタイム映像を生成するように構成されるカメラを含み得る。この例で、少なくとも一つのディスプレイはリアルタイム映像を表示するように構成され、プロセッサは、リアルタイム映像から改善後の映像ストリームを作成するように構成され得る。
【００１５】
一例において、デバイスは更に、未処理のリアルタイム映像に適用する改善のタイプ及び／又は量に関するユーザからの入力を受理する入力デバイスを包含する。幾つかの例で、入力デバイスは物理的な機構を包含する。他の例で、入力デバイスは、ハウジングの上又は中に配設されて音声コマンドをユーザから受理するように構成されるマイクロフォンを包含する。
【００１６】
幾つかの例で、デバイスは、デバイス及びユーザの運動を捕捉する一以上の慣性測定ユニットを含む。これらのセンサは更に、自律制御の改良の為の使用パターンを確立、開発、そして洗練する為に運動を検知及び収集するのに使用される。
【００１７】
未処理のリアルタイム映像をカメラで生成及び／又は受理することと、未処理のリアルタイム映像を処理して改善後の映像ストリームを作成することと、改善後の映像ストリームをディスプレイに表示してユーザの第１の眼に映すこととを包含する、低視力ユーザに改善視力を提供する方法も提供される。
【００１８】
他の例で、この方法は更に、未処理のリアルタイム映像と比較した時に映像ストリームが改善されるように未処理のリアルタイム映像を処理することを包含する。一例において、改善後の映像ストリームは、未処理のリアルタイム映像と比較した時に少なくとも部分的に拡大される。別の例において、改善後の映像ストリームは、映像ストリームの中央部分が拡大される。一例において、中央部分の外側の映像ストリームの一部分は、中央部分ほど拡大されないが未処理のリアルタイム映像よりは拡大される。
【００１９】
視覚補助デバイスでシーンのリアルタイム画像を取得することと、視覚補助デバイスの運動成分を評価することと、運動成分に基づいて視覚補助デバイスの運動状態を判断することと、視覚補助デバイスのユーザが活発移動状態に入っていることを運動状態が示す場合に、リアルタイム画像に付加的な改善又は調節が適用されることなく第１映像を視覚補助デバイスのディスプレイに提示することと、視覚補助デバイスのユーザが注目状態に入っていることを運動状態が示す場合に、視覚補助デバイスのユーザの注目対象に対応するリアルタイム画像の部分集合を特定することと、リアルタイム画像の部分集合から関心構造を確認することと、少なくとも関心構造に視覚改善を適用することと、視覚的に改善された関心構造を含む第２映像を視覚補助デバイスのディスプレイに提示することとを包含する、視覚補助デバイスの映像出力に自律的改善を加える方法が提供される。
【００２０】
幾つかの実施形態において、運動成分は視覚補助デバイスの角速度を包含する。別の例において、運動成分は、視覚補助デバイスのヨー軸及びピッチ軸での角速度を包含する。付加的に、運動成分は視覚補助デバイスの並進運動を包含する。
【００２１】
一実施形態において、活発移動状態は、視覚補助デバイスのユーザが活発移動に関わっており、それ故に意図的集中に関わっていないかユーザの視野内の何かに注目しようとしていないことを示す。
【００２２】
別の実施形態において、注目状態は、視覚補助デバイスのユーザが視野内の何かに意図的に集中していることを示す。
【００２３】
幾つかの実施形態において、高い角速度はユーザの注目対象の突然の変化を示す。他の実施形態において、視覚補助デバイスの小さい角速度は、運動状態が注目状態を包含すると判断するのに使用される。幾つかの実施形態において、視覚補助デバイスの中間的な角速度は、運動状態が注目状態を包含すると判断するのに使用される。更に、読取、走査、又は検索行動と関連する角速度は、運動状態が注目状態を包含すると判断するのに使用される。
【００２４】
幾つかの例で、第１映像は、処理及び／又は拡大が最小である名目上の未改善視界を包含する。
【００２５】
一実施形態において、関心構造はテキスト状構造を包含する。付加的に、関心構造は顔面特徴を包含し得る。更なる実施形態において、関心構造は、文字、数字、絵文字、グリフ、及びアイコンから成るグループから選択される。
【００２６】
幾つかの例において、視覚改善は少なくとも関心構造の拡大率を調節することを包含する。他の例では、視覚改善は、少なくとも関心構造のコントラスト成分を調節することを包含する。
【００２７】
一実施形態において、視覚補助デバイスの運動状態の判断は、リアルタイム画像の数個の最近フレームと関連する運動成分を評価して視覚補助デバイスのユーザの短期移動を分類することと、リアルタイム画像の数個以上の最近フレームの運動成分を評価して視覚補助デバイスのユーザの具体的な動作状態を特定することとを包含する。
【００２８】
幾つかの実施形態において、この方法は更に、機械学習アルゴリズムを適用して具体的な動作状態を特定することを包含する。
【００２９】
リアルタイム映像を視覚補助デバイスで受理するステップと、低視力ユーザの注目対象に対応するリアルタイム映像の各々の部分集合を視覚補助デバイスで特定するステップと、リアルタイム映像の各々の部分集合内の関心構造を視覚補助デバイスで抽出するステップと、横列又は縦列に整理される関心構造の少なくとも一つのグループを視覚補助デバイスで特定するステップと、関心構造の少なくとも一つのグループの寸法を視覚補助デバイスで判断するステップと、好適な構造寸法に適合するように関心構造の少なくとも一つのグループの拡大率を視覚補助デバイスで調節するステップと、リアルタイム画像と調節拡大率での関心構造の少なくとも一つのグループとを含む改善映像ストリームを視覚補助デバイスで形成するステップと、改善映像ストリームを視覚補助デバイスのディスプレイに表示するステップとを包含する、低視力ユーザに改善視力を提供する方法も用意される。
【００３０】
幾つかの実施形態において、部分集合は、リアルタイム映像の各々での固定画素エリアを包含する。別の実施形態において、固定画素エリアはリアルタイム映像の各々の中央部分にある。
【００３１】
一実施形態において、関心構造はテキスト状構造を包含する。付加的に、関心構造は顔面特徴を包含し得る。更なる実施形態において、文字、数字、絵文字、グリフ、及びアイコンから成るグループから関心構造が選択される。
【００３２】
一実施形態において、視覚補助デバイスのユーザの行動傾向に基づいて視覚補助デバイスがリアルタイム映像の各々の部分集合を自動的に特定する。幾つかの例において、ユーザの行動傾向は、入力制御シーケンスのユーザ履歴と、これらの入力制御シーケンスのタイミングとを包含する。幾つかの実施形態において、視覚補助デバイスは、前に処理された映像のコンテンツに基づいてリアルタイム映像の各々の部分集合を自動的に特定する。
【００３３】
一実施形態において、この方法は更に、低視力ユーザの注視先を視覚補助デバイスで追跡することを包含し、視覚補助デバイスは、低視力ユーザの注視先に基づいてリアルタイム映像の各々の部分集合を自動的に特定する。
【００３４】
幾つかの例において、この方法は更に、リアルタイム映像の部分集合を前処理し、ノイズを低減して他の不要な干渉パターンに対処することを包含する。一例において、前処理は、リアルタイム映像の部分集合のコントラスト成分を改善することを包含する。別の例において、前処理は、リアルタイム映像の部分集合の鮮明度成分を増加させることを包含する。また別の例において、前処理は、リアルタイム映像の部分集合の詳細度成分を増加させることを包含する。
【００３５】
幾つかの実施形態において、抽出ステップは更に、リアルタイム映像の部分集合から最大安定閾値領域を抽出することを包含する。
【００３６】
一実施形態において、この方法は更に、抽出された関心構造を視覚補助デバイスで精査することと、予選択範囲の外側のパラメータを含む関心構造を除外することとを包含する。幾つかの実施形態において、予選択範囲は、長さ閾値パラメータ、幅閾値パラメータ、画素数閾値パラメータ、又はアスペクト比閾値パラメータを含み得る。
【００３７】
幾つかの実施形態において、この方法は更に、低視力ユーザの注目対象の境界線を横切る関心構造を除外することを含む。別の実施形態において、この方法は、低視力ユーザの注目対象の上又は下の境界線を横切る関心構造を除外することを包含する。
【００３８】
一実施形態において、横列又は縦列に整理される関心構造の少なくとも一つのグループの特定は更に、関心構造の垂直中心の確率密度関数をモデル化することを包含し、確率密度関数が、一以上のｐｄｆピークを含むことと、確率密度関数のｐｄｆピークから最大ピークを特定することと、最大ピークと関連する統計的可能性がある関心構造のみを保持することとを含む。最大ピークと関連する統計的可能性がある関心構造は、サイズが一定である関心構造を包含し得る。
【００３９】
一実施形態において、この方法は更に、関心構造の少なくとも一つのグループが横列又は縦列に整理される統計的信頼度を視覚補助デバイスで判断することを包含し得る。
【００４０】
幾つかの例において、関心構造の少なくとも一つのグループの拡大率の調節は、統計的信頼度が信頼度閾値を上回る時に好適な構造サイズに適合するように関心構造の少なくとも一つのグループの拡大率を調節することを包含する。
【００４１】
別の実施形態において、受理ステップは更に、視覚補助デバイスのカメラでリアルタイム映像を取得することと、視覚補助デバイスでリアルタイム映像をカメラから受理することとを包含する。
【００４２】
幾つかの例において、この方法は更に、リアルタイム映像を取得する際に視覚補助デバイスの運動成分を検知することと、検知された運動成分に基づいて視覚補助デバイスの運動状態を判断することとを包含し、運動状態が注目状態を包含する場合のみ拡大率調節ステップと改善後映像ストリーム形成ステップと改善後映像ストリーム表示ステップとが実施される。
【００４３】
一例において、この方法は更に、カメラの運動成分を視覚補助デバイスのジャイロスコープで検知すること、或いはカメラの運動成分を視覚補助デバイスの加速度計で検知することを包含する。
【００４４】
別の実施形態において、この方法は更に、改善後の映像ストリームを第２ディスプレイに表示することを包含する。この例で、ディスプレイはユーザの第１の眼の前に配置され、第２ディスプレイはユーザの第２の眼の前に配置される。
【００４５】
シーンのリアルタイム画像を視覚補助デバイスで取得することと、維持された視覚補助デバイスの運動モデルを更新することと、視覚補助デバイスのユーザが注目状態に入っていることを維持動作モデルが示す場合に、視覚補助デバイスのユーザの注目対象に対応するリアルタイム画像の部分集合を特定することと、リアルタイム画像の部分集合のみを解析することと、自律的視覚改善がリアルタイム画像の部分集合に適用されるかどうかを判断することとを包含する、視覚補助デバイスの映像出力に自律的改善を提供する方法も設けられる。
【００４６】
一実施形態において、自律的な視覚改善がリアルタイム画像の部分集合に適用される場合に、この方法は更に、リアルタイム画像の少なくとも部分集合に適用される自律的視覚改善による改善後の映像ストリームを形成することと、改善後映像ストリームをユーザに表示することとを包含する。
【００４７】
幾つかの例において、自律的視覚改善は、リアルタイム画像の少なくとも部分集合の拡大率を調節することを包含する。他の実施形態において、自律的視覚改善は、リアルタイム画像の部分集合のコントラスト成分を調節することを包含する。
【００４８】
一実施形態において、運動モデルの更新は更に、リアルタイム画像の数個の最近フレームと関連する運動成分を評価して視覚補助デバイスのユーザの短期移動を分類することと、リアルタイム画像の数個以上の最近フレームの運動成分を評価して視覚補助デバイスのユーザの具体的な動作状態を特定することとを包含する。
【００４９】
幾つかの実施形態において、運動成分は視覚補助デバイスの角速度を包含するか、視覚補助デバイスのヨー軸及びピッチ軸での角速度を包含するか、視覚補助デバイスの並進運動を包含するか、視覚補助デバイスの視線追跡要素で測定される眼の移動量を包含する。
【００５０】
一実施形態において、高い角速度が運動モデルに使用されると、ユーザの注目対象の突然の変化を示す。別の実施形態において、視覚補助デバイスの小さい角速度が運動モデルに使用されると、ユーザが注目状態にあることを示す。また別の実施形態において、視覚補助デバイスの中間的角速度が運動モデルにより使用されると、ユーザが注目状態にあることを示す。
【００５１】
幾つかの実施形態において、読取、走査、又は検索行動と関連する角速度が運動モデルに使用されると、ユーザが注目状態にあることを示す。
【００５２】
一例において、運動モデルの更新は更に、予測運動に基づいて視覚補助デバイスのユーザの具体的な動作状態を特定することを包含する。別の実施形態において、運動モデルの更新は更に、類似の状況での運動履歴に基づいて視覚補助デバイスのユーザの具体的な動作状態を特定することを包含する。
【００５３】
幾つかの例で、この方法は更に、視覚補助デバイスのユーザが活発移動状態に入っていることを運動状態が示す場合に、付加的な解析又は処理をリアルタイム画像に適用しないことを包含する。
【００５４】
一実施形態において、注目状態は、視覚補助デバイスのユーザが視野内の何かに意図的に集中していることを示す。
【００５５】
別の実施形態において、この方法は更に、手動の視覚改善がリアルタイム画像に適用されることを要求するユーザ入力を特定することと、手動視覚改善が自律的視覚改善に優先されるかどうかを判断することと、適切な手動視覚改善又は自律的視覚改善をリアルタイム映像に適用することとを包含する。
【００５６】
リアルタイム映像を生成するように構成されるカメラと、視覚補助デバイスの少なくとも一つの運動成分を測定するように構成されるセンサと、ディスプレイと、少なくとも一つの運動成分に基づいて視覚補助デバイスの運動状態を判断するように構成されるプロセッサとを包含する視覚補助デバイスが提供され、視覚補助デバイスのユーザが活発移動状態に入っていることを運動状態が示す場合に、プロセッサは更に、付加的な改善又は調節がリアルタイム画像に適用されることなく第１映像をディスプレイに提示するように構成され、視覚補助デバイスのユーザが注目状態に入っていることを運動状態が示す場合に、プロセッサは更に、視覚補助デバイスのユーザの注目対象に対応するリアルタイム画像の部分集合を特定するように構成され、プロセッサは、リアルタイム画像の部分集合から関心構造を確認するように構成され、プロセッサは、少なくとも関心構造に視覚的改善を適用するように構成され、プロセッサは、視覚的に改善された関心構造を含む第２映像をディスプレイに提示するように構成される。
【００５７】
幾つかの実施形態において、センサは少なくとも一つの加速度計又は少なくとも一つのジャイロスコープを包含する。
【００５８】
一実施形態において、運動成分は、視覚補助デバイスの角速度、視覚補助デバイスのヨー軸及びピッチ軸での角速度、又は視覚補助デバイスの並進運動を包含する。
【００５９】
幾つかの実施形態において、活発移動状態は、視覚補助デバイスのユーザが活発移動に関わっており、それ故、意図的な集中に関わっていないかユーザの視野内の何かに注目しようとしていないことを示す。
【００６０】
別の実施形態において、注目状態は、視覚補助デバイスのユーザが視野内の何かに意図的に集中していることを示す。
【００６１】
幾つかの実施形態において、プロセッサは、視覚補助デバイスの小さい角速度を使用して、運動状態が注目状態を包含すると判断する。幾つかの実施形態において、プロセッサは、視覚補助デバイスの中間的な角速度を使用して、運動状態が注目状態を包含すると判断する。更なる実施形態において、プロセッサは、読取、走査、又は検索行動と関連する角速度を使用して、運動状態が注目状態を包含すると判断する。
【００６２】
一実施形態において、第１映像は、処理及び／又は拡大が最小である名目上の未改善視界を包含する。
【００６３】
幾つかの実施形態において、関心構造はテキスト状構造又は顔面特徴を包含する。付加的な実施形態では、文字、数字、絵文字、グリフ、及びアイコンから成るグループから関心構造が選択される。
【００６４】
幾つかの実施形態において、視覚的改善は、少なくとも関心構造の調節後の拡大率、或いは少なくとも関心構造の調節後のコントラスト成分を包含する。
【００６５】
非一時的コンピューティングデバイス可読媒体には、コンピューティングデバイスにより、シーンのリアルタイム画像を視覚補助デバイスで取得し、視覚補助デバイスの運動成分を評価し、運動成分に基づいて視覚補助デバイスの運動状態を判断するようにプロセッサにより実行可能である命令が記憶され、視覚補助デバイスのユーザが活発移動状態に入っていることを運動状態が示す場合に、コンピューティングデバイスにより、付加的な改善又は調節がリアルタイム画像に適用されることなく第１映像を視覚補助デバイスのディスプレイに提示するようにプロセッサにより命令が実行可能であり、視覚補助デバイスのユーザが注目状態に入っていることを運動状態が示す場合に、コンピューティングデバイスにより、視覚補助デバイスのユーザの注目対象に対応するリアルタイム画像の部分集合を特定し、リアルタイム画像の部分集合から関心構造を確認し、少なくとも関心構造に視覚的改善を適用し、視覚的に改善された関心構造を含む第２映像を視覚補助デバイスのディスプレイに提示するようにプロセッサにより命令が実行可能である
【図面の簡単な説明】
【００６６】
本発明の新規の特徴は、以下に続く請求項に詳しく提示される。本発明の特徴及び利点のより深い理解は、発明の原理が利用される例示的な実施形態を提示する以下の詳細な説明を参照することで得られ、添付図面は以下の通りである。
【図１Ａ】乃至
【図１Ｄ】本開示による電子視覚補助デバイスの一例である。
【図１Ｅ】本開示による、詳細なコンポーネントの幾つかを含む電子視覚補助デバイスの一例である。
【図１Ｆ】本開示による特徴の様々な要素と詳細なコンポーネントとの相互関係を図示する電子視覚補助デバイスの一例である。
【図２】電子視覚補助デバイスにおける低視力ユーザの為の自律制御システムの主要コンポーネント、プロセス、データフロー、及び相互作用を示す高レベルブロック図である。
【図３】ウェアラブル電子視覚補助デバイスで拡大率及び視野の自律制御を実施する調整手段ブロックの、低電力用途に特に適した一つの可能な実現例を表す高レベルのフローチャートである。
【図４Ａ】ソースカメラから直接得られてディスプレイでユーザに示される、テキストのみを含有するシーンの未処理カメラ画像の例である。
【図４Ｂ】図４Ａの対応拡大バージョンである。
【図４Ｃ】ＦＯＡ（注目対象）が異なる図４Ａの更なる拡大バージョンである。
【図５Ａ】明色背景での暗色テキストという画像で検出される形状のサンプルを示す。
【図５Ｂ】被検出オブジェクトの視認改善の為のコントラスト制御信号を計算するのに充分な情報を含有しながら比較的少ない画素を有する単純な一次元線形領域の選択を図５Ａの被検出形状がどのように促進するかを例として示す。
【図５Ｃ】複雑度を大きく高めることなく図５Ｂの狭い線形領域に改良結果をもたらす解析対象の単純な二次元画素エリアの選択を図５Ａの検出形状がどのように促進するかを例として示す。
【図５Ｄ】コントラスト制御信号を計算する為に解析される包括的だが最小の二次元画素エリアの選択を図５Ａの検出形状がどのように促進するかを例として示す。
【図６】ウェアラブル電子視覚補助デバイスでコントラストの自律制御を実施する調整手段ブロックの、特に低電力用途に適した一つの可能な実現例を示す高レベルのフローチャートである。
【発明を実施するための形態】
【００６７】
単に例示的な図が検討の為に提示されている図面を参照して、様々な好適な実施形態が本明細書に記載される。
【００６８】
図面の幾つかの図を通して、対応する参照符号は対応するコンポーネントを示す。図の要素は単純性及び明瞭性の為に図示され、必ずしも一定の縮尺ではないことを当業者は認識するだろう。例えば、本発明の様々な実施形態の理解を深めるのに役立つように、図の要素の幾つかの寸法が他の要素に対して誇張され得る。また、本発明のこれらの様々な実施形態を遮るものなく視認できるように、商業的に実現可能な実施形態で有用又は必要である通例の良く理解されている要素は描かれないことが多い。
【００６９】
本開示は、人、ユーザ、或いは低視力、特にユーザの視野（ＦＯＶ）の中心での視力が低い患者に改善視力を提供する為のシステム、方法、コンピューティングデバイス可読媒体、及びデバイスに関する。
【００７０】
網膜疾患の人にとって、視力損失への適応が生活様式になる。これは、読取能力の損失、収入の損失、可動性の損失、そして生活の質の全体的な低下を含む多くの点で、その生活に影響する。例を挙げると、これらの病状は、加齢黄斑変性、網膜色素変性、糖尿病性網膜症、スタルガルト病、そして網膜の一部の損傷が視力を損なう他の疾患の形を取り得る。ＡＭＤ（加齢黄斑変性）のような有病率の高い網膜疾患では視力の全てが失われる訳ではなく、この事例では、中央の視力のみが黄斑の劣化に影響されるので周辺視力は損なわれていない。周辺視力が損なわれていないとすると、そうでない場合には拡大率上昇と共に減少するＦＯＶを概念的には維持しながら周辺視力を改善及び最適化することにより、偏心視を利用することが可能である。明細書に記載の本開示は、視力を改善する新規のシステム及び方法を提供すると共に、先進のソフトウェアと共に機能してより自然な視野を拡張画像と共に提供する単純だが有力なハードウェア改善も提供する。
【００７１】
本明細書に記載の電子視覚補助デバイスは、ＬＣＤ、ＯＬＥＤ、又は直接網膜投影を含めて多様な統合ディスプレイ技術のいずれかを採用する、非侵襲的でウェアラブルな電子機器ベースのＡＲアイグラスシステム（図１Ａ〜１Ｅ参照）から構築され得る。部材は電子要素が埋め込まれた「グラス」で置き換えられ得るので、「グラス」は、例えばシートレンズ及びカメラ含有部材、ＩＯＬ（眼球内レンズ）、コンタクトレンズ、そして同様の機能ユニットを内含するものと理解され得る。これらのディスプレイは、眼で観察された時に修正又は拡張画像を容易に表示又は投影するように、眼の前に置かれる。これは、通例は各眼の為のディスプレイとして具現化されるが、単一のディスプレイとしてだけではなく、両眼により視認可能である連続的な大型ディスプレイとしても機能し得る。
【００７２】
さて図１Ａ〜１Ｄを参照すると、当該技術で周知のプロセッサ１０１、充電・データポート１０３、デュアルディスプレイ１１１、制御ボタン１０６、加速度計・ジャイロスコープ・磁力計１１２、ブルートゥース（登録商標）／ＷｉＦｉ１０８、オートフォーカスカメラ１１３、フラッシュライト１２５、複合スピーカ／マイクロフォン１２０についての互換的な特徴と載置ゾーンの両方を含むウェアラブル電子視覚補助デバイス９９が、グラスフレームモデルに収容される。例えば、バッテリ１０７は、図に示されているリチウムイオンバッテリ、或いはバッテリとして機能する周知又は開発済みの他の形態を含む。電力管理回路がバッテリ内に格納されるか、これとインタフェース接続されるか、これを監視して、電力消費を管理し、バッテリ充電を制御し、多様な電力要件を必要とする様々なデバイスに電源電圧を提供する。
【００７３】
図１Ａ〜１Ｅに示されているように、ＬＣＤ、ＯＬＥＤ、又は直接網膜投影を含む多様な統合ディスプレイ技術のいずれかを採用する非侵襲的でウェアラブルな電子機器ベースのＡＲアイグラスシステム（図１Ａ〜１Ｆ参照）から基本的なハードウェアが構築され得る。部材は電子要素が埋め込まれた「グラス」で置き換えられ得るので、「グラス」は、例えばシートレンズ及びカメラ含有部材、ＩＯＬ、コンタクトレンズ、そして同様の機能ユニットを内含すると理解され得る。
【００７４】
グラスの上又は内部に装着される一以上のカメラ（スチル、ビデオ、又は両方）１１３は、グラスが向けられている視界を連続的に監視して、ウェアラブル電子視覚補助デバイスにおいて記憶され、操作され、そして相互作用的に使用される画像を連続的に捕捉するように構成される。加えて、これらのカメラのうち一以上は、様々な照明条件での観察及び監視の為のＩＲ（赤外線）カメラであり得る。電子視覚補助デバイスは、カメラにより捕捉された際に画像を修正するように構成されるリアルタイムアルゴリズムを具現化するソフトウェアが埋め込まれた（グラスに埋め込まれるかケーブルでつながれる）統合プロセッサ又はコントローラとメモリ記憶手段も格納し得る。そしてこれらの修正又は補正後の画像がディスプレイを介してユーザの眼に連続的に提示される。
【００７５】
本明細書に記載のプロセスは、画像又は映像のリアルタイムストリームをユーザに提示するように構成される電子視覚補助デバイスで具現化される。プロセスは、プログラマブルプロセッサの為の機械命令を含む（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとしても知られる）コンピュータプログラムで具現化され、高レベルの手続き型及び／又はオブジェクト指向プログラミング言語で、及び／又は、メモリに記憶されてプロセッサにより実行される機械可読コード又は機械実行可能コードなどのアセンブリ／機械言語で具現化され得る。ユーザ、カメラ、検出器、又は他のデバイスからユニットにより入力信号又はデータが受理される。他の種類のデバイスは、ユーザとの相互作用を設けるのにも使用され、例えば、ユーザに提供されるフィードバックはセンサフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）の形であり、ユーザからの入力は、音響、音声、又は触覚入力を含む何らかの形で受理され得る。画面ディスプレイ又はヘッドセットディスプレイを含む何らかの方式で、出力がユーザに提示される。プロセッサ及びメモリは、図１Ａ〜１Ｄに示されている電子視覚補助デバイスの一体的コンポーネントであるか、電子視覚補助デバイスに連結される独立コンポーネントであり得る。ディスプレイを備えるモバイルプラットフォーム（携帯電話、タブレット等）、電子拡大鏡、そして電子的使用が可能なコンタクトレンズのような他のデバイスも、使用が可能である。
【００７６】
図１Ｅは、方法を具現化するのに使用されて本明細書に記載の装置として機能し得る例示的又は代表的なコンピューティングデバイス及び関連要素を示すブロック図である。図１Ｅは、本明細書に記載の技術と共に使用され得る汎用コンピューティングデバイス２００Ａ及び汎用モバイルコンピューティングデバイス２５０Ａの例を示す。コンピューティングデバイス２００Ａは、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、そして他の適切なコンピュータなど、様々な形のデジタルコンピュータを代表することを意図したものである。コンピューティングデバイス２５０Ａは、携帯情報端末、携帯電話、スマートフォン、そして電子視覚補助具の為に作用して具体的に製作され得る他の類似のコンピューティングデバイスなど、様々な形のモバイルデバイスを代表することを意図したものである。同図に示されているコンポーネント、その接続及び関係、そしてその機能は、単に例示的な意味であり、本書に記載及び／又は請求される発明の具現化を制限することは意図されていない。
【００７７】
本明細書に記載のシステム及び技術は、（例えばデータサーバとしての）バックエンドコンポーネントを含むか、ミドルウェアコンポーネント（例えばアプリケーションサーバ）を含むか、フロントエンドコンポーネント（例えば、本明細書に記載のシステム及び技術の具現例とユーザが相互作用を行う為のグラフィカルユーザインタフェースやウェブブラウザを有するクライアントコンピュータ）を含むか、このようなバックエンド、ミドルウェア、又はフロントエンドコンポーネントの何らかの組み合わせであるコンピューティングシステム（例えばコンピューティングデバイス２００Ａ及び／又は２５０Ａ）で具現化され得る。システムのコンポーネントは、デジタルデータ通信（例えば通信ネットワーク）の形又は媒体により相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）とワイドエリアネットワーク（「ＷＡＮ」）とインターネットとを含む。
【００７８】
コンピューティングシステムはクライアントとサーバとを含み得る。クライアントとサーバとは概して互いに遠隔にあり、一般的には通信ネットワークを通して相互作用を行う。当該のコンピュータで機能して互いにクライアント・サーバ関係を有するコンピュータプログラムにより、クライアントとサーバとの関係が生まれる。
【００７９】
ユーザとの相互作用を行う為に、本明細書に記載のシステム及び技術は、ユーザに情報を表示する為のディスプレイデバイス（例えばＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供する為のキーボード及びポインティングデバイス（例えばマウスやトラックボール）とを有するコンピュータで具現化され得る。ユーザとの相互作用を提供するのに他の種類のデバイスも同じく使用され得る。例えば、ユーザに提供されるフィードバックは何らかの形の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であり、ユーザからの入力は、音響、音声、又は触覚入力を含む何らかの形で受理され得る。
【００８０】
実施形態例において、コンピューティングデバイス２００Ａ及び２５０Ａは、通信ネットワークを通してコンピューティングデバイス２００Ａ及び２５０Ａに接続される様々な他のコンピューティングデバイスから電子ドキュメントを受理及び／又は検索し、メモリ２０４Ａ、記憶デバイス２０６Ａ、そしてメモリ２６４Ａのうち少なくとも一つにこれらの電子ドキュメントを記憶するように構成される。コンピューティングデバイス２００Ａ及び２５０Ａは更に、本明細書に記載の技術を使用して、メモリ２０４Ａ、記憶デバイス２０６Ａ、メモリ２６４Ａのうち少なくとも一つでのこれらの電子ドキュメントを管理及び整理するように構成され、その全てが電子視覚補助デバイス９９と結び付けられるか、これに埋め込まれるか、或いはこれと通信し得る。
【００８１】
メモリ２０４Ａは、コンピューティングデバイス２００Ａ内で情報を記憶する。一具現例において、メモリ２０４Ａは単数又は複数の揮発性メモリユニットである。別の具現例において、メモリ２０４Ａは単数又は複数の不揮発性メモリユニットである。別の具現例において、メモリ２０４Ａは単数又は複数の不揮発性メモリユニットである。メモリ２０４Ａは、磁気又は光学ディスクなど、別の形のコンピュータ可読媒体であってもよい。
【００８２】
記憶デバイス２０６Ａは、コンピューティングデバイス２００Ａに大量記憶を提供することが可能である。一具現例において、記憶デバイス２０６Ａはコンピュータ２００Ａであるかこれを格納し得る。一具現例において、記憶デバイス２０６Ａは、フロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、又はテープデバイス、フラッシュメモリや他の類似のソリッドステートメモリデバイス、或いは記憶エリアネットワーク又は他の構成でのデバイスを含むデバイスのアレイなど、コンピュータ読取媒体であるかこれを格納し得る。コンピュータプログラム製品は、情報担体に有形物として具体化され得る。コンピュータプログラム製品は、実行時に、上に記載したような一以上の方法を実施する命令も格納し得る。情報担体は、メモリ２０４Ａ、記憶デバイス２０６Ａ、又はメモリオンプロセッサ２０２Ａなど、コンピュータ又は機械可読媒体である。
【００８３】
高速コントローラ２０８Ａはコンピューティングデバイス２００Ａの為の帯域幅集約的作業を管理するのに対して、低速コントローラ２１２Ａは低帯域幅集約的作業を管理する。このような機能の配分は例示的に過ぎない。一具現例において、高速コントローラ２０８Ａは、（例えばグラフィックプロセッサ又は加速度計を通して）メモリ２０４Ａ、ディスプレイ２１６Ａに、そして様々な拡張カード（不図示）を受容し得る高速拡張ポート２１０Ａに結合される。具現例において、低速コントローラ２１２Ａは記憶デバイス２０６Ａと低速バス２１４Ａとに結合される。様々な通信ポート（例えばＵＳＢ，ブルートゥース、イーサネット、無線イーサネット）を含み得る低速バス２１４Ａは、キーボード、ポインティングデバイス、スキャナ、又はスイッチやルータのようなネットワーキングデバイスなど、一以上の入力／出力デバイスに、ネットワークアダプタを通して結合され得る。
【００８４】
コンピューティングデバイス２００Ａは、図に示されているように幾つかの異なる形で具現され得る。例えば、標準サーバ２２０Ａ又はこのようなサーバのグループにおける多数のチューナとして具現化され得る。ラックサーバシステム２２４Ａの一部として具現されてもよい。加えて、パーソナルコンピュータ２２１Ａで、又はラップトップコンピュータ２２２Ａとして具現化されもよい。代替的に、コンピューティングデバイス２００Ａからのコンポーネントは、デバイス２５０Ａなどモバイルデバイス（不図示）の他のコンポーネントと組み合わされ得る。このようなデバイスの各々は一以上のコンピューティングデバイス２００Ａ，２５０Ａを格納し、システム全体は、互いに通信する多数のコンピューティングデバイス２００Ａ，２５０Ａで製作され得る。
【００８５】
コンピューティングデバイス２５０Ａは、図に示されているように、幾つかの異なる形で具現化され得る。例えば、電子視覚補助デバイス９９又はスマートフォン／携帯電話２８０Ａの一部として具現化され得る。スマートフォン２８２Ａ、携帯情報端末、コンピュータタブレット、又は他の類似のモバイルデバイスの一部として具現化されてもよい。更に、ハンドヘルド形態２９０Ａとウェアラブル電子視覚補助デバイス９９のいずれかの専用電子視覚補助具として具現化されてもよい。
【００８６】
電子視覚補助デバイス９９は、プロセッサ２５２Ａ、メモリ２６４Ａ、ディスプレイ２５４Ａのような入力／出力デバイス、通信インタフェース２６６Ａ、そしてトランシーバ２６８Ａを、他のコンポーネントと共に含む。デバイス９９がマイクロドライブや他のデバイスのような記憶デバイスも備えると、付加的な記憶手段が得られる。電子視覚補助デバイス９９，２５２Ａ，２６４Ａ，２５４Ａ，２６６Ａ，２６８Ａのコンポーネントの各々は、様々なバスを使用して相互接続され、コンポーネントの幾つかは、共通のマザーボードに、又は適宜他の形で装着され得る。
【００８７】
プロセッサ２５２Ａは、メモリ２６４Ａに記憶される命令を含む命令を電子視覚補助デバイス９９内で実行できる。プロセッサは、独立した多数のアナログ及びデジタルプロセッサを含むチップのチップセットとして具現化され得る。プロセッサは、例えば、ユーザインタフェースの制御、デバイス９９により実行されるアプリケーション、そしてデバイス９９による無線通信など、デバイス９９の他のコンポーネントとの調整を行い得る。
【００８８】
プロセッサ２５２Ａは、ディスプレイ２５４Ａに結合された制御インタフェース２５８Ａ及びディスプレイインタフェース２５６Ａを通してユーザと通信し得る。ディスプレイ２５４Ａは、例えば、ＴＦＴ  ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）又はＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は他の適切なディスプレイ技術であり得る。ディスプレイインタフェース２５６Ａは、グラフィカル、映像、及び他の情報をユーザに提示するようにディスプレイ２５４Ａを駆動する為の適切な回路を包含し得る。制御インタフェース２５８Ａはユーザからコマンドを受理して、プロセッサ２５２Ａへの提供の為にこれを変換する。加えて、他のデバイスとのデバイス９９の近距離通信を可能にするように、外部インタフェース２６２Ａがプロセッサ２５２Ａとの通信状態で設けられ得る。外部インタフェース２６２Ａは幾つかの具現例では有線通信の為に、他の具現例では無線通信の為に設けられ、多数のインタフェースも使用され得る。
【００８９】
メモリ２６４Ａは、電子視覚補助デバイス９９内に情報を記憶する。メモリ２６４Ａは、単数又は複数のコンピュータ可読媒体、単数又は複数の揮発性メモリユニット、或いは単数又は複数の不揮発性メモリユニットのうち一以上として具現化され得る。拡張メモリ２７４Ａも設けられ、拡張インタフェース２７２Ａを通してデバイス９９に接続され、拡張インタフェースは例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインタフェースを含み得る。このような拡張メモリ２７４Ａはデバイス９９に予備の記憶スペースを提供するか、電子視覚補助デバイス９９の為のアプリケーションや他の情報も記憶し得る。具体的に記すと、拡張メモリ２７４Ａは、上に記載したプロセスを実行するか補助する命令を含み、安全な情報も含み得る。故に、例えば、拡張メモリ２７４Ａはデバイス９９の為のセキュリティモジュールとして設けられ、デバイス９９の安全な使用を許容する命令でプログラムされ得る。加えて、ＳＩＭＭカードに識別情報を不可逆的に入れるなど、付加的な情報と共に、ＳＩＭＭカードを介して安全なアプリケーションが提供され得る。メモリは、例えば、下記のようにフラッシュメモリ及び／又はＮＶＲＡＭメモリを含み得る。一具現例において、コンピュータプログラム製品は情報担体に有形物として具体化される。コンピュータプログラム製品は、実行時に、上に記載されたような一以上の方法を実施する命令を格納する。情報担体は、例えば、トランシーバ２６８Ａ又は外部インタフェース２６２Ａを経由して受理され得る、メモリ２６４Ａ、拡張メモリ２７４Ａ、又はメモリオンプロセッサ２５２Ａなどのコンピュータ又は機械可読媒体である。
【００９０】
電子視覚補助デバイス９９は、必要な際にデジタル信号処理回路を含み得る通信インタフェース２６６Ａを通して無線で通信し得る。通信インタフェース２６６Ａは、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、又はＭＭＳメッセージ送信、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、ＧＰＲＳ、ＥＤＧＥ、３Ｇ、４Ｇ、５Ｇ、ＡＭＰＳ、ＦＲＳ、ＧＭＲＳ、市民無線、ＶＨＦ、ＡＭ、ＦＭ、そして無線ＵＳＢその他など、様々なモード又はプロトコルでの通信を提供し得る。このような通信は、例えば、無線周波数トランシーバ２６８Ａを通して行われ得る。加えて、ブルートゥース、Ｗｉ−Ｆｉ、或いはワイヤレスＬＡＮ、ＷＭＡＮ、広帯域固定アクセス、又はＷｉＭＡＸなど、他のこのようなトランシーバを使用するなどして、短距離通信が行われ得る。加えて、ＧＰＳ（全地球測位システム）受信モジュール２７０Ａは、付加的なナビゲーション及び位置関連の無線データをデバイス９９に提供し、衛星又は他のトランスポンダから信号を受信及び処理して、電子視覚補助デバイス９９で機能するアプリケーションにより適宜使用され得る位置、移動方向、及び速度に関する位置データを生成することが可能である。
【００９１】
電子視覚補助デバイス９９は、ユーザから発話情報を受理してこれを有用なデジタル情報に変換し得る音声コーデック２６０Ａを使用して音声でも通信し得る。音声コーデック２６０Ａは同様に、例えばデバイス９９のハンドセットにおいてスピーカなどを通してユーザの為の可聴音を発生させ得る。このような音は、音声通話からの音を含み、記録音（例えば音声メッセージ、音楽ファイル等）を含み、デバイス９９で機能するアプリケーションにより生成される音も含み得る。電子視覚補助デバイスの一部はスピーカ・マイクロフォン１２０である。スピーカ・マイクロフォンはプロセッサ２５２Ａにより制御され、プロセッサ制御に基づいて、マイクロフォンの事例では音声信号を受理及び生成して電気信号に変換するように構成される。
【００９２】
ＩＭＵ（慣性測定ユニット）２８０Ａはバスに接続されるか、他のコンポーネントに統合され、電子視覚補助デバイス９９の配向に関するデータを生成及び提供する。このＩＭＵは、磁力計、加速度計、及び／又はジャイロなどのコンパスを格納して、方向データ、衝突及び衝撃データ、或いは電子視覚補助デバイスが受ける衝撃又は力に関するデータを提供できる。
【００９３】
フラッシャ及び／又はフラッシュライト１２５が設けられ、プロセッサ制御可能である。フラッシャ又はフラッシュライトはストロボ又は従来のフラッシュライトとして作用し、ＬＥＤを含み得る。
【００９４】
さて図１Ｆも参照すると、電子視覚補助デバイス９９及び／又は（本明細書で互換的に使用される）モバイルデバイス２００Ｂの実施形態例が図示された別の概略図が示されている。これは一つの可能なデバイス構成に過ぎず、その為、当業者がモバイルデバイスを異なる形で構成し得ることが想定される。図１Ｆに示されている要素の多くは任意であると考えられ、あらゆる実施形態に必要とされる訳ではない。加えて、デバイスの構成はいかなる形状又は設計でもよく、ウェアラブルであるか、多様な要素及びコンポーネントに分離され得る。電子視覚補助デバイス９９及び／又はデバイス２００Ｂは、下記のように機能するような手法で構成され得る何らかのタイプの固定又はモバイルの通信デバイスを包含し得る。モバイルデバイスは、ＰＤＡ、携帯電話、スマートフォン、タブレットＰＣ、無線電子パッド、或いは他のコンピューティングデバイスを包含し得る。
【００９５】
この実施形態例において、電子視覚補助デバイス９９及び／又はモバイルデバイス２００Ｂは、以下に記載するようなコンポーネントを保護及び格納する外側ハウジング２０４Ｂを備える構成である。ハウジング２０４Ｂ内には、プロセッサ２０８Ｂと第１及び第２バス２１２Ｂ１，２１２Ｂ２（まとめて２１２Ｂ）とが設けられる。プロセッサ２０８Ｂはバス２１２Ｂを経由してモバイルデバイス２００Ｂの他のコンポーネントと通信する。プロセッサ２０８Ｂは、本明細書に記載のように実施することが可能な何らかのタイプのプロセッサ又はコントローラを包含し得る。プロセッサ２０８Ｂは、汎用プロセッサ、ＡＳＩＣ、ＡＲＭ、ＤＳＰ、コントローラ、又は他の何らかのタイプの処理デバイスを包含し得る。
【００９６】
電子視覚補助デバイス９９及び／又はモバイルデバイス２００Ｂのプロセッサ２０８Ｂ及び他の要素は、バッテリ２２０Ｂ又は他の電源から電力を受容する。電気インタフェース２２４Ｂは、第２電子デバイスなどのモバイルデバイス２００Ｂ、コンピュータ、医療デバイス、又は電力供給／充電デバイスと電気的にインタフェース接続する一以上の電気ポートとなる。インタフェース２２４Ｂは何らかのタイプの電気インタフェース又はコネクタフォーマットを包含し得る。
【００９７】
一以上のメモリ２１０Ｂは、プロセッサ２０８Ｂでの実行用の機械可読コードを記憶する為と、画像データ、音声データ、ユーザデータ、医療データ、位置データ、衝撃データ、又は他の何らかのタイプのデータなどのデータを記憶する為の電子視覚補助デバイス９９及び／又はモバイルデバイス２００Ｂの一部である。メモリは、メッセージ送信アプリケーション（アプリ）を記憶し得る。メモリは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光学メモリ、又はマイクロドライブメモリを包含し得る。本明細書に記載の機械可読コードは非一時的である。
【００９８】
本実施形態の一部として、プロセッサ２０８Ｂはユーザインタフェース２１６Ｂに接続される。ユーザインタフェース２１６Ｂは、ユーザ入力を受理してモバイルデバイスを制御するように構成される何らかのシステム又はデバイスを包含し得る。ユーザインタフェース２１６Ｂは、以下、すなわちキーボード、ローラボール、ボタン、ホイール、ポインタキー、タッチパッド、及びタッチ画面のうち一以上を包含し得る。バス２１２Ｂを通してインタフェース接続されてディスプレイ２２８Ｂに接続されるタッチ画面コントローラ２３０Ｂも設けられる。
【００９９】
ディスプレイは、視覚情報をユーザに表示するように構成される何らかのタイプの表示画面を包含する。画面は、ＬＥＤ、ＬＣＤ、薄膜トランジスタ画面、ＯＥＬ、ＣＳＴＮ（カラー超ねじれネマティック）を包含し得る。ＴＦＴ（薄膜トランジスタ）、ＴＦＤ（薄膜ダイオード）、ＯＬＥＤ（有機発光ダイオード）、ＡＭＯＬＥＤディスプレイ（アクティブマトリックス式有機発光ダイオード）、網膜ディスプレイ、電子コンタクトレンズ、容量性タッチ画面、抵抗性タッチ画面、或いはこれらの技術の組み合わせを包含し得る。ディスプレイ２２８Ｂはプロセッサ２０８Ｂから信号を受信し、当該技術で理解されているようにこれらの信号はディスプレイによりテキスト及び画像に変換される。ディスプレイ２２８Ｂは更に、プロセッサ２０８Ｂとインタフェース接続されるディスプレイプロセッサ（不図示）又はコントローラを包含し得る。タッチ画面コントローラ２３０Ｂは、ディスプレイ２２８Ｂに重ねられるタッチ画面から信号を受信するように構成されるモジュールを包含し得る。メッセージがタッチ画面２３０Ｂに入力されるか、ユーザインタフェース２１６Ｂがキーボード又は他のデータ入力デバイスを含み得る。
【０１００】
幾つかの実施形態において、デバイスはスピーカ２３４Ｂとマイクロフォン２３８Ｂとを含み得る。スピーカ２３４Ｂとマイクロフォン２３８Ｂとはプロセッサ２０８Ｂにより制御され、プロセッサ制御に基づいて、マイクロフォンの事例では音声信号を受信して電気信号に変換するように構成される。これは、付加的なユーザインタフェースモードについても利点を与える。同様に、プロセッサ２０８Ｂはスピーカ２３４Ｂを起動させて音声信号を発生させる。これらのデバイスは当該技術で理解されているように作動し、その為、本明細書では詳しく記載されない。
【０１０１】
やはり一以上のバス２１２Ｂに接続されているのは、第１無線トランシーバ２４０Ｂと第２無線トランシーバ２４４Ｂであり、その各々が当該のアンテナ２４８Ｂ，２５２Ｂに接続される。第１及び第２トランシーバ２４０Ｂ，２４４Ｂは遠隔送信器から入来信号を受信し、アナログフロントエンド処理を信号に実施してアナログベースバンド信号を発生させる。入来信号は更に、プロセッサ２０８Ｂによるその後の処理の為に、アナログデジタル変換器などによるデジタルフォーマットへの変換によって処理され得る。同様に、第１及び第２トランシーバ２４０Ｂ，２４４Ｂは、プロセッサ２０８Ｂ又はモバイルデバイス２０８Ｂの別のコンポーネントからの送出信号を受理して、当該のアンテナ２４８Ｂ，２５２Ｂを経由した送信の為にベースバンドからＲＦ周波数へこれらの信号をアップコンバートするように構成される。第１無線トランシーバ２４０Ｂ及び第２無線トランシーバ２４４Ｂと共に示されているが、モバイルデバイス２００Ｂがこのようなシステムを一つのみか二以上のトランシーバを有し得ることが想定される。例えば、幾つかのデバイスはトライバンド又はクワッドバンドが可能であるか、ブルートゥース及びＮＦＣ通信性能を有する。
【０１０２】
電子視覚補助デバイス９９及び／又はモバイルデバイス、故に第１無線トランシーバ２４０Ｂ及び第２無線トランシーバ２４４Ｂが、ブルートゥース、ＩＥＥＥ８０２．１１ａ，ｂ，ｇ，ｎなどのＷｉ−Ｆｉ、無線ＬＡＮ、ＷＭＡＮ、広帯域固定アクセス、ＷｉＭＡＸ、ＣＤＭＡ、ＧＳＭ、ＥＤＧＥ、３Ｇ、４Ｇ、５Ｇ、ＴＤＭＡ、ＡＭＰＳ、ＦＲＳ、ＧＭＲＳ、市民無線、ＶＨＦ、ＡＭ、ＦＭ、そして無線ＵＳＢを含むセルラー技術を限定的にではなく含む、現存しているか今後開発される無線規格に従って作動するように構成され得ることが想定される。
【０１０３】
電子視覚補助デバイス９９及び／又はモバイルデバイスの一部も、プロセッサ２０８Ｂともインタフェース接続される第２バス２１２Ｂに接続される一以上のシステムである。これらのシステムは、関連のアンテナ２６２Ｂを備える全地球測位システム（ＧＰＳ）モジュール２６０Ｂを含み得る。ＧＰＳモジュール２６０Ｂは、衛星又は他のトランスポンダから信号を受信して処理し、ＧＰＳモジュール２６０Ｂの位置、移動方向、そして速度に関する位置データを生成することが可能である。ＧＰＳは当該技術で概ね理解されており、故に本明細書では詳しく記載されない。
【０１０４】
幾つかの例において、ジャイロ又は加速度計２６４Ｂはバス２１２Ｂに接続されて、モバイルデバイス２０４Ｂの配向に関する位置、移動、速度、速さ、及び／又は配向データを生成して提供できる。磁力計などのコンパス２６８Ｂは、方向情報をモバイルデバイス２０４Ｂに提供するように構成され得る。加速度計を含み得る衝撃検出器２６４Ｂは、バス２１２Ｂに接続されて、モバイルデバイスが受けた衝撃又は力に関する情報又はデータを提供できる。一構成において、衝撃検出器２６４Ｂは、所定の閾値より大きい衝撃又は力をモバイルデバイスが受けた時にデータを生成してプロセッサ２０８Ｂに提供するように構成される。これは、例えば落下又は事故を示し得る。圧力センサ２７２Ｂも高度を判断するのに使用されて運動検出を補助し得る。
【０１０５】
メモリ２１０Ｂでの記憶の為、及び／又は、無線若しくは有線リンクを経由した可能な送信の為、或いは後で視認する為に画像データを捕捉するように、一以上のカメラ（スチル、ビデオ、又は両方）２７６Ｂが設けられ得る。低照明状況での画像捕捉の為に、付加的な赤外線カメラ２７８Ｂも、位置及びシーン検知の為の輝度センサ２８２Ｂ及び付加的な近接センサと共に含まれ得る。プロセッサ２０８Ｂは、画像データを処理して本明細書に記載のステップを実施し得る。フラッシャ及び／又はフラッシュライト２８０Ｂが設けられ、プロセッサ制御可能である。フラッシャ又はフラッシュライト２８０Ｂはストロボ又は従来のフラッシュライトとして作用し、ＬＥＤを含み得る。電力管理モジュール２８４Ｂはバッテリ２２０Ｂとインタフェース接続されてこれを監視し、電力消費量を管理し、バッテリ充電を制御し、多様な電力要件を必要とし得る様々なデバイスに電源電圧を提供する。
【０１０６】
故に、本明細書に記載のシステム及び技術の様々な具現例は、デジタル電子回路、集積回路、特定設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせで実現され得る。これらの様々な具現例は、記憶システム、少なくとも一つの入力デバイス、そして少なくとも一つの出力デバイスからデータ及び命令を受理してデータ及び命令をこれらに送信するように結合される専用又は汎用であり得る、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行可能及び／又は解釈可能である一以上のコンピュータプログラムでの具現化を含み得る。
【０１０７】
本明細書で使用される際に、「機械可読媒体」、「コンピュータ可読媒体」の語は、機械命令を機械可読信号として受理する機械可読媒体を含めて機械命令及び／又はデータをプログラマブルプロセッサに提供するのに使用される何らかのコンピュータプログラム製品、装置及び／又はデバイス（例えば磁気ディスク、光学ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」の語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するのに使用される何らかの信号を指す。
【０１０８】
そうではないことが明記されない限り、上記から明白であるように、明細書全体において「処理」又は「計算」又は「算出」又は「判断」又は「特定」又は「表示」又は「提供」その他のような語を利用する記述は、コンピュータシステムメモリ又はレジスタ又は他のこのような情報記憶手段、送信又は表示デバイスにおいて物理的（電子的）な量として表現されるデータを操作及び変換するコンピュータシステム又は類似の電子コンピューティングデバイスの作用及びプロセスを指す。
【０１０９】
上の明細書に基づくと、本発明の上記の実施形態は、コンピュータソフトウェア、ファームウェア、ハードウェア、又はその組み合わせ若しくは部分集合を含むコンピュータプログラミング又はエンジニアリング技術を使用して具現化され得る。コンピュータ可読及び／又はコンピュータ実行可能命令を有する、このように結果的に得られるプログラムは、一以上のコンピュータ可読媒体において具体化又は提供されることにより、本発明の上記の実施形態によるコンピュータプログラム製品つまり製品を製作し得る。コンピュータ可読媒体は、例としては、固定（ハード）ドライブ、ディスケット、光学ディスク、磁気テープ、リードオンリメモリ（ＲＯＭ）又はフラッシュメモリ等のような半導体メモリ、或いはインターネット又は他の通信ネットワークやリンクのような送信／受信媒体であり得る。コンピュータコードを格納する製品は、一つの媒体からの命令を直接的に実行することにより、一つの媒体から別の媒体へコードを複製することにより、或いはネットワーク経由でコードを送信することにより、製作及び／又は使用され得る。
【０１１０】
図２は、ユーザ及び電子視覚補助デバイス５１０の残りと相互作用する際の自律制御システム５５０の主要コンポーネントを示す高レベルのブロック図である。明瞭性を保つ為に、図面には主なデータ及び制御経路のみが記されている。例えば、調整手段ブロック５６０と、自律制御システム５５０の境界線内に描かれている他の全てのエンティティとの間に非明示の双方向接続が存在することが理解されるべきである。同様に、この図に示されているコンポーネントは、実際の実現化のトポロジーを必ずしも制約しない論理区画を表す。通例の慣行によれば、これらのブロックのいずれも、やはり同じ集約機能性を提供しながら多数の手法で更に細分、再配置、そして組み換えが行われ得る。
【０１１１】
図２のブロック図は、一以上の「ブロック」、「エンジン」、「モジュール」、その他を指し得る。本明細書で使用される際に、いかなる「エンジン」、「ブロック」、又は「モジュール」も一以上のプロセッサ又はその一部分を含み得る。一以上のプロセッサの一部分は、レジスタの部分集合、マルチスレッドプロセッサの一以上のスレッドに専用のプロセッサ部分、プロセッサが全体的又は部分的にエンジン機能性の一部の実行を専用とするタイムスライス、その他など、所与の一以上のプロセッサを包含するハードウェアの全てより少ないハードウェアの幾つかの部分を含み得る。その為、第１エンジン及び第２エンジンが一以上の専用プロセッサを有し得るか、第１エンジン及び第２エンジンが互い又は他のエンジンと一以上のプロセッサを共有できる。具現例に固有であるか他の検討事項に応じて、エンジンは集中型であるか機能分散型であり得る。エンジンは、ハードウェア、ファームウェア、或いはプロセッサによる実行の為にコンピュータ可読媒体で具体化されるソフトウェアを含み得る。図を参照して記載されるように、プロセッサは、具現化されたデータ構造及び方法を使用して、データを新たなデータに変換する。
【０１１２】
本明細書に記載のエンジン、或いは本明細書に記載のシステム及びデバイスが具現化される為のエンジンは、クラウドベースのエンジンであり得る。本明細書で使用される際に、クラウドベースエンジンは、クラウドベースのコンピューティングシステムを使用してアプリケーション及び／又は機能を実行できるエンジンである。アプリケーション及び／又は機能の全て又は部分は多数のコンピューティングデバイスの間で分散され、一つのコンピューティングデバイスのみに制限される必要はない。幾つかの実施形態において、クラウドベースエンジンは、エンドユーザのコンピューティングデバイスに局所的に設置される機能及び／又はモジュールを有することなく、ウェブブラウザ又はコンテナアプリケーションを通してエンドユーザがアクセスする機能及び／又はモジュールを実行できる。
【０１１３】
このブロック図は、ウェアラブル、ハンドヘルド（例えばスマートフォン、タブレット、又はＰＣ）、又は固定マウント式の視覚補助デバイスに広く適用可能である。破線の矩形で包囲された図の左側部分は、本発明により実行される自律制御が欠如している概念的デバイス５１０の一例を示している。後続の文章全てにおいて、これは、開示されるシステム及び方法により拡張される基本的機能のみを具備するので、基準５１０として知られる。ここで非常に単純化された形で基準が表され、その機能のほぼ全てがモノリシック画像処理ブロック５１５にまとめられている。具現例の詳細と特徴集合に関係なく、いかなる基準の電子視覚補助具も、未加工画像ストリーム５４０をカメラ５１７から入力として連続的に受理し、付加的なセンサ５１２（例えば画像安定化の為のジャイロスコープ）による仲介の可能性を伴って手動ユーザ入力５１４（例えばボタン、ジェスチャ、又は音声）により指示されるように様々な計算及び操作を入来画像に適用し、最終的には完全に処理された画像を一以上のディスプレイデバイス５１６に提示する非透過型プロセッサと考えられ得る。
【０１１４】
第２の破線矩形に封入された図２の右側セクションは、本明細書に記載の電子視覚補助デバイスの画像処理機能を提供する「自律制御システム」（ＡＣＳ）５５０を包含する。画像処理チェーン（カメラ画像５４０、センサデータ５３０、ユーザ制御手段５２０）への全ての入力は、現在状態５２７―画像処理行動を直接的に制御する設定及びパラメータの集合体―と共に、アクセス可能でなければならない。様々な解析ブロックがこれらの入力で作動して、シーンコンテンツ及び装着者の頭部運動の抽象的モデルを構築し、これらはユーザの意図、活動、そして注目対象を予想する更なるモデルを作り上げるのに使用される。これらのモデルから集められた傾向に応じて、調整手段５６０は、推測による装着者の希望を満たす為にもしあればどんな変更がデバイス状態に加えられなければならないかを決定するように構成される。出力は、現在状態５２７を更新する計算による制御として、概念的デバイスのコアへ返送され得る。これらの計算による制御はユーザ入力に幾らか類似しているが、自律制御システムは低レベルのパラメータを自由に操作して、もしあればわずかな制約で最終画像を調節するので、この制御はかなり強力である。
【０１１５】
教示の連続性の為に、解説では最初に本明細書に記載のシステムのウェアラブルな面に注目し、最も単純な構成から始めて範囲を徐々に拡張する。この基本は、しっかり確立されると、代替例の説明及び理解を促進する基準点として機能するだろう。
【０１１６】
ウェアラブル電子視覚補助具
ウェアラブル視覚補助具は通例、アイグラス状或いは頭部マウント式のフレームで利用可能であって、片方又は両方の眼に直接、そして鼻、眼、又はテンプルの近くでフレームに装着される前向きカメラに視覚情報を提示する一体型ディスプレイを備える。これらは単一の内蔵ユニットであるか、頭部マウント式コンポーネントは外部のバッテリ又はコンピューティングリソースにつながれ得る。カメラをフレームと共に設置するか、頭部に対して一定の配向を維持することは不必要であるが、これらの慣行の順守はウェアラブルデバイスの具現化及び使用可能性を著しく単純化する。
【０１１７】
サイズ及び重量の増加はウェアラブルデバイスにおいて望ましくない特性であるので、完全にポータブルであるデバイスでのバッテリ寿命とハードウェア性能との間の矛盾が常に存在し、このトレードオフに公平なバランスを保つには低出力、低複雑度の解決策が必要とされる。本明細書に記載のＡＣＳ５５０は、基本的なサービスのみを提供する単純なウェアラブル基準プラットフォーム５１０、視野（ＦＯＶ）が正常視力の装着者のものとほぼ一致するように配向される固定マウント上の単一のカメラ５１７、装着者の頭部の少なくともヨー軸及びピッチ軸での角速度測定の連続的なリアルタイムストリームを作成するジャイロスコープセンサ５１２、少なくとも一つのディスプレイデバイス５１６、そして視覚補助デバイスの状態を操作する為にこれらのデータを傍受及び処理する能力を使用して、この目標を達成できる。性能及び達成可能なパフォーマンスを改善する付加的なカメラ及びセンサが示される。
【０１１８】
画像解析
画像解析ブロック５８０は、単一の瞬間に対応するカメラ画像の獲得と、ユーザが精査したいと考える画像内の構造の確認とを担当する。最も単純で最も一般的な構成では、単一のカメラが存在するので一つの画像のみが利用可能である。概して、この入力画像の比較的小さい部分集合のみが処理されなければならない。この部分集合は、能動的にユーザの注視先を中心とするユーザの注目対象（ＦＯＡ）を表す。固定カメラがユーザの頭部と共に回転する際にＦＯＡはユーザの自然な視線と一致することが非常に多いので、ＦＯＡは通例、画像中心の固定エリアになるだろう。しかしながら、中心視野欠損を伴う事例についてはユーザに固有の中心以外のセクションでもあり、カメラは、偏心的に装着されるか或いは装着者の自然な前向き視線と一致しない。幾つかの用途では、ユーザ行動傾向又は先行及び現在の画像のコンテンツに基づいて、或いは注視方向を直接的に捕捉する視線追跡に基づいて、（調整手段５６０又はシーン解析５８２により）選択された領域でもあり得る。関心領域が効果的かつ自律的に選択される事例では、入力画像全体が、このように可能な領域全てを確認して等級分けするように検索されるか、選択された領域が省略され得る。充分に広いＦＯＶ（広角レンズ又は魚眼レンズのように通常の人のＦＯＶより大きい）か、ユーザの自然な視線から離れた配向である視野を持つカメラについては、ユーザが物理的に認知できない場所をＦＯＡが含むこともある。しかしながら、画像解析は一般的に計算集約的な活動である為、可能な時には、精査されるサブ画像のサイズを制限することが好ましい。
【０１１９】
入力画像でＦＯＡが特定されると、興味深いと考えられる特徴を発見するようにそのコンテンツがＡＣＳ５５０により精査される。採用される具体的な解析方法に関係なく、不充分又は不均一な照明、電子ノイズ、そして他の交絡因子の存在下での検出信頼度を高めるように画像解析５８０を使用してソースデータを前処理することにより、この検索が促進され得る。個々の画像からのＦＯＡ領域は、ノイズを低減させるか他の不要な干渉パターンを除去するか、画像鮮明度又は詳細度を高めるか、コントラストを強めるようにフィルタリングされ得る。大部分の状況で利点をもたらす低出力かつ低複雑度の方法は、大域的な画像コントラストを高める為の標準的な画像処理技術を適用することである。具体的なＦＯＡコンテンツに基づく適応型コントラスト改善によって、より多くの利得が得られる。処理出力が充分であるならば、画像処理コミュニティ内で利用可能である高度な適応アルゴリズムが、局所的コントラストを強めるように適用され得る。データに依存する前処理はまた、画像が経時的に変化する際の画像の統計との一貫性を追跡及び維持するように抑制され得る。全ての前処理は検出アルゴリズムの為に実施され、ユーザに直接的に表示される画像データに適用される動作とは別であることに注意していただきたい。
【０１２０】
多数のカメラが利用可能である時に、よく知られている（画像幾何学形状の差を補正する）代数変換と、（まとまっているか整合性のあるサンプリングが行われない画素を組み合わせる）信号処理技術とを使用して画像品質を向上させるように、ＦＯＡの多数の対象範囲を提供する画像が組み合わされ得る。充分に裏付けられた類似のデータ融合技術は、画像センサからのデータを異種モダリティと統合する（例えば、標準的な可視光カメラを近赤外線又は熱撮像素子と組み合わせる）か、より異質なモダリティがＦＯＡ選択を単純に補助することができる。若しくは、相対品質又は環境条件の寄与が有益ではないことが明白である時には、これらに基づいて（全てではなく）幾つかの画像又はモダリティが削除及び省略され得る。
【０１２１】
画像の関心オブジェクトを検出する為に画像処理及びコンピュータビジョンコミュニティでは広範囲の技術が利用可能である。一例において、画像解析により求められる関心特徴は、テキスト―文字、数字、単語、ライン、又はパラグラフに整理される絵文字―と、テキスト状構造を共有する形状、例えば、コンピュータ画面上のアイコンなど、類似サイズのグリフの個々の横列である。これらの構造を隔離する為の方法は、ストローク幅変換（ＳＷＴ、テキストと関連する可能性のある一定幅のラインを確認する）、光学式文字認識（ＯＣＲ、解釈ではなく認識及び測定のみが必要とされるので潜在的に単純化される）、そして機械学習に基づくものを含む他の形のコンピュータビジョンを含む。これら全ては、この用途での使用について実行可能であるが、計算集約的でもある、及び／又は、有益である狭い領域（具体的にはテキスト、顔面、又はオブジェクトタイプの固定メニュー）に限定される傾向がある。全て並列的に作動する多数の特徴検出器タイプが採用されて、高いシステム複雑度、例えばテキスト認識と共に例えば顔面検出アルゴリズムを犠牲にして組み合わされ得る。
【０１２２】
代わりに、ＡＣＳ５５０の画像解析は、最大安定閾値領域（ＭＳＥＲ）を入力画像又は画像セクションから抽出する為の低レベル技術のパワーを活用する。ＭＳＥＲは、画像サイズが増大する際に低い計算複雑度及び優れたスケーリング特性を誇る、何らかの包括的画像処理又はコンピュータビジョンツールボックスに見られる標準的な手段である。メタパラメータの制御と効率的なソフトウェア具現化の為に値集合が慎重に選択されると、ＭＳＥＲは、入力画像自体から計算／抽出され得る画像の輝度成分が提示された時、特に上記のコントラスト改善前処理と結合された時に、上述したテキスト状構造を確実に隔離する。ＭＳＥＲは基本的な特徴検出器であるので、文字又はテキストを実際に認識するのではなく、アイコン又は形状からこれらを区別する―抽出は接続性、色、局所的コントラストに完全に基づく。この単純性は利点であって、手書きの筆記体を含む何らかのフォント又は言語の記号と共に、文書による通信を必ずしも表さない他の規則的な構造で同じく良好に実施しながら迅速な実行を可能にする。
【０１２３】
画像解析５８０の出力は、ＦＯＡ画像に見られる未加工特徴のリストであり、各特徴は文字通り、視覚的には類似しているが、ＭＳＥＲ特徴検出を促すメタパラメータにより判断されるように周囲から何らかの形で分離可能である接続画素のリストである。シーン解析５８２のタスクは、この未整理のリストを、疑似特徴がテキスト及び他の有意な特徴から区別され得るように画像の構造及びコンテンツについての深い考察を可能にする一貫したデータ構造に変換することである。数十年の研究努力にわたる膨大な公開文献は、類似のデータ構造からこのようなパターンを発見する方法を扱ったものである―これらの統計パターン認識、パターン分類、ニューラルネットワーク、そして機械学習技術は非常に有効であることが証明されているが、準備（例えばデータ収集）、処理の複雑度、又はその両方において高コストである。本開示では、はるかに単純でより直感的な階層解析プロセスであっても良好に機能する。
【０１２４】
このプロセスの第１ステップは、シーン解析５８２ブロックによる疑似特徴、異常値、曖昧検出の除去である。検出された個々の形状が精査されて、長さ、幅、画素数、又はアスペクト比について慎重に調整された範囲の外側にある場合には除外される。これらの抑制の幾つかはＭＳＥＲにより自動的に実施されるが、シーン解析はより複雑な基準を可能にする。例えば、一つの有用な発見的問題解決法は、（真の垂直距離が測定されていないので）ＦＯＡの上下のエッジを横切る全ての形状を却下するが、充分に広い限りは右又は左側に接触するという理由のみで形状を却下しないが両側を横切るものは回避することである。付加的に、ＦＯＡの垂直中心（上下の垂直リミットの中間）から遠過ぎる垂直中心を有する特徴も却下される。受容及び却下についての閾値及び範囲の正確な選択は、多かれ少なかれ「テキスト状」である特徴に反応するように自律システムにバイアスを加える為の鍵であり、例えば、印字テキストを包含しないことが明白であるものをデバイスが確実に無視するように、意図的な調節が行われ得る。
【０１２５】
最初の選択に続いて、同じ横列にあると思われるアイテムを含有するグループに残りの特徴が分割される。これは、各特徴に横列を明示的に割り当てること（不明確な手順）によってではなく、むしろ暗示的には、従来のカーネル密度推定手順を介した形状の垂直中心の確率密度関数（ｐｄｆ）のモデルの構築から始まる多数のステップで行われる。検出された多数のオブジェクトが―わずかな文字状の形状を含有する単一の横列であっても―まとまった横列に整理される時に、そして水平整列からの若干の回転偏差が存在する時でも―、各横列の垂直位置で離散ｐｄｆピークが発生し、ピークの幅及び高さから、「オブジェクトの水平横列」仮説の統計的品質への深い考察が得られる。東洋文化に見られるような垂直配向のテキストを検出するには、横列の代わりに縦列が検討され得る。
【０１２６】
やはり、検出された形状集合が横列状、縦列状、又はパラグラフ状の構造を真に具備しているかどうかを決定するのに、複雑な発見的問題解決法又は機械学習モデルが使用され得る。しかしながら、実際には、複雑度の低い技術で充分であることが分かっている。シーン解析５８２は、検出された最高ピークを選択し、このピークに属するこれらの特徴のみを保持する。更に推定されるｐｄｆ値が小さ過ぎる、一般的にはピーク値の９０％未満であるような特徴を取り除く。最終的な選択では、完全包囲形状（つまりＭＳＥＲにより発見される内部のトポロジー「ホール」を除去する形状内形状）を、そしてその後で、（異常値を消去する為に）平均的な高さとは大きく異なる垂直高さを持つ残りの特徴を消去する。少数だが充分なサンプルが残っている時には標準偏差が容易に平均を超え得るので、最適な却下閾値を選択する際にはかなりの技術が行使される。しかしながら、（以下の）フォーカスモデルを改良する際に取られる動作は、準最適設定の負の影響を改善するのに役立つ。
【０１２７】
これらのフィルタリング作業の結果として、残りの形状の統計値はｐｄｆで最初に検出されたピークのものとは異なっている。しかしながら、この時、候補特徴のプールは高さと位置において自己整合している。カメラセンサ平面との水平整列からの偏差が大きいシーンは、垂直中心が回転により広がる際に発生するｐｄｆのスメアリングの為に上記のプロセスで自動的に取り除かれることに注意していただきたい。
【０１２８】
シーンモデル
シーン解析５８２の最終出力は主に二つの数字、すなわち、（言うまでもなく、もしあれば必要なズーム量を判断する）プールに残っているオブジェクトの推定高さと、これらのオブジェクトが実際にテキスト又はテキスト状構造の横列を表して統計的な偶然及びランダムノイズの結果ではないという統計的信頼度の幾つかの測定値である。この値ペアは、シーンモデル５８３と、単一画像に基づく統計的スナップショットとを包含する。（これら二つの数字に寄与する最終的な特徴集合はモデルの一部とも考えられるが、単に表示目的であって更なる解析又は決定の為ではない。）
【０１２９】
最終的に、単一のシーン解析５８２での試行の結果は、広範囲の条件にわたって反復可能なパフォーマンスを得るのに充分なほどロバストではない―それ故、以下に詳しく記載される注目モデル５６３が導入される。しかしながら、中実で直感的検知可能な始点には、除去プロセスを通り抜けた残りのオブジェクトの全体幅に比例する品質スコアが割り当てられる。代わりの測定基準は、最終的に残っている特徴のみによる全てのｐｄｆピークの合計高さである（しかしフレーム間で比較される前に、この測定基準が慎重に正規化されなければならない）。平行な横列及び縦列（又はパラグラフ）のような高次構造が直接的に検討される、より複雑なバージョンのシーン解析については、ｐｄｆの構造及び一貫性（つまりピーク位置、その高さ、そしてその幅の間の関係）についてのより深い解析により、類似の統計値ペアが導出され得る。
【０１３０】
運動解析
運動解析ブロック５７０は、電子視覚補助デバイス５１０の運動を測定する様々なセンサから入力を得て、運動モデル５７２を構築する。最低限、配向の突然及び／又は全体的な変化が迅速に検出され得るように、センサデータストリームはユーザの頭部のヨー及びピッチ軸での角速度を含まなければならない。加速度計の測定値は重大な並進運動の有益なインジケータでもあるが、任意である。
【０１３１】
利用可能である時に、眼の運動を報告する視線追跡センサが、ユーザの真のＦＯＡを判断する際に大きな値であるのは自明である。このデータは、この目的の為調整手段５６０及び画像解析ブロック５８０に転送され得るが、以下に記載するように運動モデル５７２の構築にも使用され得る。
【０１３２】
運動モデル
最低限、運動モデル５７２は、ウェアラブルな事例ではカメラ及び装着者の頭部の安定性を単純に示すものである。これは言うまでもなく、頭部配向の変化に注目することにより判断されるが、現代の商用センサハードウェアでは、（ジャイロスコープ測定値を超える）付加的ハードウェアと比較的高価な処理（例えば拡張型―故に非線形の―カルマンフィルタ）により拡張された時にのみ、正確な配向測定値が得られる。幸運なことに、ユビキタスなソリッドステートジャイロスコープにより得られる角速度読取値は、特有の低い長期ドリフト特性にも関わらず、この目的に充分である。
【０１３３】
充分に高い角速度が現れる時には、ＦＯＡの突然の変化を表す急な頭部運動を常に伴う。これらの高い角速度の移動、或いは視覚補助デバイスのユーザによるＦＯＡの突然の変化が運動モデルにより使用されて、視覚補助デバイスのユーザが活発移動に関わっており、それ故、意図的な集中に関わっていないか視野内の何かに注目しようとしていないと判断するかこれを示すことができる。一般的に、自律システムは、費用のかかる計算を実施するか、ユーザが活発移動に関わっている間に処理又は画像改善（特に視野）に対して視覚的に注意散漫を招くような変更を加えようとはしない。逆に、知覚可能な間隔にわたって維持される非常に小さい角速度値は、ユーザによる意図的な集中或いは視野内の注目に関わろうとするユーザの試みとして運動モデルにより解釈されるのが妥当である。中間的な角速度値は、読取、走査、又は検索行動と関連し得る。これらの行動と関連する角速度は活発移動状態と関連するものより低いが、視覚補助デバイスのユーザが非常に静かにしている注目状態と関連する角速度より高い。とにかく、読取、走査、又は検索行動と関連するもののようなこれらの中間的角速度値は、やはり、ユーザが視野内の何かに意図的に集中している集中状態にユーザがあることを示すものとして運動モデルにより解釈され得る。活発移動状態と対照的に、自律システムは一般的に、自動ズームや、テキスト状構造、顔面、視野内の他の関心オブジェクトへのコントラスト改善の適用など、ユーザが注目状態に入っている時に、処理及び／又は画像改善を適用しようとしない。以下（図２と付随のテキスト）に示されるように、この３状態運動モデル５７２は、その単純性にも関わらず実用的な自律制御を実現することが可能である。
【０１３４】
加速度計データが利用可能である時には、静止又は移動中のユーザを確実に区別することにより運動モデルが更に改良され得る。急いで階段を移動しているか他の障害物を越えている時には特に、運動中の個人の視覚的特性に求められていない急激な変更を加えることは望ましくないので、これは有益な区別である。加速度計はまた、均一な運動と加速（不規則）運動との判別も可能にする―故にデバイスは、急速な並進が検出された場合にも車両に乗車中の乗客の為の視力変化を許容し得る。
【０１３５】
視線追跡情報５３０は、利用可能な時に、直接的には運動モデルの一部ではないが、運動モデルと同じ目的に適うので含まれて、ユーザが現在行っていることについての高レベルな記述である活動モデルに寄与する。ユーザが自身のＦＯＡをまだ定めていないことを大きな角速度又は加速度の測定値が示すのと全く同じように、視線移動も、デバイスが電力を節約して画像解析の実施を回避できる時を明らかにする。
【０１３６】
活動モデル
運動モデル５７２は（一般的には数個の映像フレーム又はおよそ５０〜２５０ミリ秒以下の間隔にわたる）短期移動のスナップショットであるが、活動モデル５６２は、意図を収集して今後の移動を予想する為に長期間にわたってユーザ運動を追う試みを表す。
【０１３７】
最も単純な事例において、下位の活動モデル５６２は、瞬間活動モデル５７２を含む。これはやはり、（図３と付随の記載に例示されている）複雑な行動と、満足できるユーザ体験とをもたらすのに充分なほど強力である。しかしながら、より多くの計算リソースを費やすことにより、かなりの高度化の実現が可能である。例えば、視覚補助デバイスのユーザが意図的集中又は注目状態に入っている状況と関連する多数の状態を区別する隠れマルコフモデル（ＨＭＭ）のような機械学習の適用。例えば、走査などの読取運動或いは（頭部及び／又は眼の）左右移動により、安定した左から右への読取、逆追跡、次のラインへの下向き及び左向きの検索、次の対向ページへの移動、非読取行動への移行をユーザが行っていると活動モデル５６２が認識することが可能になる。ＨＭＭは、観察の履歴と暫定的検出による状態移行の可能性とを考慮した可能な各状態についての統計モデルを連続的に更新することにより、高い信頼度を達成する。このようなタスク及びサブタスクへの、又はこれらからの移行を追跡することにより、ユーザがテキストの読取を行っている時と他の非テキスト構造を調べている時では、ＡＣＳ５５０が異なる反応を行う。例えば、パラグラフに整理されたテキストは一般的に、量的飛躍を除いてサイズが変化しないので、フォントサイズ測定でのノイズによるズームレベルでの小さい変化が完全に抑制され得る。
【０１３８】
付加的な通例の活動又は行動は、ＨＭＭを使用して認識及び追跡され得る。更に、汎用ＨＭＭは、特異的なユーザ特性を捕捉又は無視するように、―リアルタイムでオフライン又は連続的に―新しい測定値で更新及び適応化され得る。一例では、不安定性（パーキンソン病又は他の不随意運動）に対処するか、限定的な運動範囲を認識する。自律的変化の直後に要求される即時の増分変化など手動の使用フィードバックは、ＨＭＭの適応化も促し得る。
【０１３９】
注目モデル
上に記載したシーンモデル５８３は、単一の画像フレームに基づく２パラメータの統計モデルである。注目モデル５６３は、シーンモデル５８３が瞬時に変化する際にも漸増的に維持されるＦＯＡのコンテンツについてのより信頼できる表現である。最も単純な形では、二つのパラメータつまり推定サイズと統計的信頼度レベルのみをやはり包含する。しかしながら、これらの値はシーンモデル値の時系列により明らかとなる傾向を取り入れて、連続的な画像フレームで更新される。
【０１４０】
シーンモデル５８３が（サイズ推定値において）劇的に変化する時に、注目モデル５６３がリセットされ、その後は低い統計的有意性を有する。シーンモデルサイズ推定値が一定状態にある場合には、信頼度が比較的低くても、注目モデルは信頼度を継続的に蓄積する。サイズ推定値の若干の変化は、受容に先立ってモデルを更新しながら、古い推定値よりも大きい重みを最近のシーンモデルに加えるフィルタにより対処される。
【０１４１】
調整手段
調整手段５６０は、ＡＣＳ５５０の他のブロック全てを一緒に結び付け、その活動を調整してそのリソースを管理する。様々な解析及びモデルブロックにより提供される情報を組み合わせて、調整手段５６０は、充分な統計的信頼度がユーザ活動のモデルに存在してデバイスの状態変化の開始に注目する時を決定するように構成される。これを行う際に、変更を計画又は実行する前にあらゆる動作の望ましさと安全性の両方を慎重に評価する。ある種の意図的なユーザ入力が自律的決定に優先されて潜在的にこれを遅延させるので、調整手段はまた、ユーザが開始したデバイス制御の追跡も維持する。特に、デフォルト視界（以下で定義）を回復するか画像解析及び自動的視界調節を起動するように、手動制御が行われる。自律的に行われた変更の直後に要求される漸増的な手動変更は、自律的決定による幾つかのユーザ不満の程度を示す補正フィードバックを提供するので、これらの入力の追跡も重要である。これらの入力は、自律的反応特性を訓練及び更新するのに使用され得る。多数の解析タイプが同時に機能する時に、調整手段は、各々が変更を要求する多数のプロセス（及びユーザ）の間で仲裁を行って、全体的なデバイス状態が一貫性を保つことを保証する。ユーザ入力と自律的プロセスの間の仲裁は、個々の調節を別々にというよりも関係する変更グループを検討して却下（又は受容）する。
【０１４２】
図３は、低電力用途に特に適した調整手段５６０の一つの好適な実現化の為の高レベルのフローチャートである。このフローチャートは、アルゴリズムを具現化してデバイスが装着者の必要性を予想し、それに従って反応することを可能にする、デバイスを操作する人間の行動についての予測モデルを構成する。これを達成するには、頭部により誘発されるカメラ回転の低精度のジャイロスコープセンサ測定値のみが必要であり、絶対位置／角度推定値、長期ジャイロスコープ安定性、又は先進的なデータ融合アルゴリズムに依存しない。フローチャートと付随する（以下の）解説は、「大」、「小」、「高」、「低」、そして「閾値」のような質的又は非具体的なラベルを、数量を表すのに一貫して使用する。これらのパラメータの正確な値は、アプリケーション固有のパフォーマンストレードオフ目標に従って選択されなければならないが、その具体的詳細はアルゴリズムの理解に不要である。
【０１４３】
本明細書に提示されるアルゴリズムは、あらゆるフレームで機能するのに充分なほど軽量である。故に、フローチャートに従った処理は、新たな映像フレームが利用可能になる度に開始ブロック６００から始まり得る。そして遅延タイマステータスブロック６０１は、処理を継続するか（完了ブロック６２０で）即座に計算を終了させるかどうかを判断する。その決定は、フローチャート構造に固有の状態マシーンにより維持される遅延タイマの状態に基づく。遅延タイマが終了までカウントダウンする間は全ての計算が一時停止されるので、事象のペースを保って電力消費量を低減させる為にこのタイマが意図的に設定される。遅延タイマが終了するかさもなければ作動停止している時には、現在状態ブロック６０２で計算が継続する。
【０１４４】
現在状態ブロック６０２は、現在作動状態に基づいて二つの経路の間で選択を行なう。起こり得る二つの状態は移動又は静止である。概して、移動は、開始時に、又は電子視覚補助デバイス５１０で大きな運動が検出された時に見られ、自動的視界更新判断が高い信頼性で行われるのと同時に電子視覚補助デバイス５１０が充分な静止状態になるまで事実上はそのままである。このような高信頼度の自動的視界変更決定が行われて初めて静止状態に入り、電子視覚補助デバイス５１０の充分に大きいか急な移動に遭遇するまで、スムーズな運動（読取と関連する規則的な走査など）の存在下でも存続する。現在状態ブロック６０２は、移動時には最近運動ブロック６０３へ、或いは静止時には運動カウント増加ブロック６１０へ分岐する。
【０１４５】
ブロック６０３〜６０９は全て移動状態と関連している。最近運動ブロック６０３は、最近の角速度の傾向を検討し、運動モデルを使用して数個以下のフレームを振り返り、検出された移動パターンに基づいて三つの経路のうち一つへ分岐する。
【０１４６】
大きな角速度については、頭部配向の突然の変化と、同時的な注目先の再配向が推測される―ズームリセットブロック６０４は、視界特性を名目上の設定（一般的には広角であり、処理は最小限で拡大はわずかであるか行われない）にリセットして、新たな注目対象を探すのにユーザが使用できる最大の視野を設けることにより、これを処理する。遅延タイマは大きな値、一般的には１〜２秒にも設定されるが、これはユーザが再配向するには少なくともこの長さを要するからである。視界特性がこの名目上の位置に既に設定されている間にその全てが発生することが可能であり、この条件はアルゴリズムの動作にとって透過的であって問題を生じず、ブロック６０４の動作は可視的な変化を全く生じない。
【０１４７】
他方で、運動モデルからの非常に小さい角速度は、恐らくテキストを読み取るか小さい特徴を識別する試みにおいて、ユーザが安定した注意又は注目を維持しようとしていることを示し得る。映像解析ブロック６０６は、入力映像フレームを解析し、前処理を適用し、図２からの画像及びシーン解析作業を使用することにより、この仮定を確認するように構成される。このプロセスは、ユーザが集中しているように見える被検出オブジェクト又は領域のサイズ、形状、分布の充分な特性化を実施して、快適な視認に必要とされる最適な拡大量を推定するシーンモデルを作成する。シーンモデルの傾向は、経時的に一貫した外観を維持する対象物にユーザが意図的に注目しているという高い統計的信頼度を達成するまで何もせずに待機する注目モデルにより捕捉され得る。信頼度検出ブロック６０７は、検出信頼度レベルがまだ充分ではない場合に計算を終了する。信頼度が必要な閾値を超える場合に、ズーム適用ブロック６０８は、拡大率を調節して他の関連の視界変更を起動させることにより、推測によるズームレベルを適用する。また（絶対座標系に対して確認される必要のない）現在回転状態を現在基準配向としてキャッシュに入れる。全統計値リセットブロック６０９は、全ての統計値をリセットして状態を静止に変更することにより、目前の拡大率変更の準備をする。別の突然の拡大率変化は概して望ましくないので、遅延タイマをより大きな値、一般的には計算が省かれ得る２〜４秒に設定する。
【０１４８】
検出統計値リセットブロック６０５は、最近の角速度が非常に大きくも非常に小さくもないという残りの可能性に対処するものである。この事例では、全ての検出統計値がリセットされ、ユーザがすぐに相当な静止状態を保つ場合でも更なる解析が行われる前に短い不応遅延が強制されるように、遅延タイマは適度な値（一般的におよそ２分の１秒）に設定される。
【０１４９】
ブロック６１０〜６１９は、静止状態に関連している。ブロック６０９により引き起こされる移動から静止への移行を除いて、過渡的運動の検出ミスを回避する為に、静止中には遅延タイマは決して作動しない。代わりに、連続静止フレームを集計して高費用の計算の頻度を制限するように、運動カウントが維持される。運動カウント増加ブロック６１０はこの運動カウントを増分する。そして運動カウント閾値ブロック６１１は最後の運動カウントを（一般的に０．２５から０．７５秒の時間に対応する）閾値と比較する。
【０１５０】
運動カウントが充分に大きくない場合には、映像解析は行われない。代わりに、活動モデルからの近過去における最近の回転運動傾向（一般的には数個以下のフレーム）が最近運動ブロック６１２で精査される。これらの運動が充分に小さい場合に、処理は完了ブロック６２０で終わる。さもなければ、大きいか素早い頭部運動が検出されて、注目先の再配向が推測される。そしてズームリセットブロック６１３は、（ブロック６０４と全く同様に）視界を名目上の値にリセットし、遅延タイマを比較的長い遅延（やはりブロック６０４と同様に、一般的には１〜２秒）に設定し、作動状態を移動ブロック６１４に変更する。
【０１５１】
他方で、運動カウントが閾値を超えた場合には、基準配向からの変更ブロック６１５に入る。このブロックは、現在のデバイス配向（つまり最後に基準配向が設定された時からの全てのジャイロスコープ測定値から蓄積された回転状態）を基準配向と比較する。配向の差が充分に大きい（一般的にヨーが１０〜１２度かピッチが５〜８度）である場合には、状態＝移動ブロック６１６に入り、装着者の注目対象が最後の基準配向から大きく（だがスムーズにゆっくりと）動いたので、作動状態を移動に変更する。或いは、映像解析ブロック６１７が運動カウントをリセットして最後の映像フレームの画像及びシーン解析を実施して、ユーザの注目対象と付随する適切な視界設定とを判断する試みにおいて全ての内部モデルを更新する。変更がまだ認められない場合には、完了ブロック６２０でアルゴリズムが終了する。或いはズーム更新ブロック６１９が視界設定を更新して基準配向を現在配向にリセットする。
【０１５２】
類似の移動状態ブロック６０６〜６０８には存在しない重要な検討事項は、ブロック６１７〜６１９でより一貫した美的に好ましい行動を得る為にズーム変更ブロック６１８により行われる「継続・中止」決定に根差したものである。観察される特徴のサイズの推定値は、続いて最適な拡大レベルについての計算による推定値に入り込むランダムなノイズ又はシステム上のエラーを常にわずかな量だけ含む。予測量が現在の設定に充分に近い（が同一ではない）時には、アルゴリズムが実際の特徴サイズ変化ではなく統計的エラーに反応するので、ズーム設定の変更が頻繁過ぎるか多過ぎると、視覚的に不快な「息継ぎ現象」につながる。これは小さいオブジェクト（例えば高さが１５〜２０画素未満であり、単一の画素がかなりのパーセント誤差に当たる）を測定する時に頻繁に起こる。顕著なレイテンシペナルティを招くことなく実際の傾向を疑似測定値から分離するには、発見的問題解決法が採用されなければならない。これは、小さい変化を受容する為の高い統計的信頼度を必要とすることにより、そして増分と減分について異なる信頼度閾値を強制する（例えば小さい増加を小さい減少より容易に受け入れる）ことにより達成される。
【０１５３】
ウェアラブル品の実用性
今のところ、ユーザＦＯＡと、変更を開始するのに適切である時を決定するのに充分な意図とをＡＣＳがどのように推測するかに記述が集中していた。必要とされる拡大の量を計算する必要性に言及する以外にはこれらの変更の具体的な性質についてはほとんど記さなかった。これは、ウェアラブル視覚補助具において拡大は有力な関心パラメータだからである。カメラが頭部と共に同方向同速度で移動するので、視線追跡を伴わずに画像の中央又は他の小さい固定位置にＦＯＡを制限するのが自然である。視線追跡でも、推測又は解析されるＦＯＡは小さい。
【０１５４】
好適なサイズ―一般的には読取が快適になるサイズ―についてのユーザ依存設定を維持することにより、必要な拡大量が容易に判断される。検出される特徴サイズがこの好みより小さい時に、拡大が適用されなければならない。一般的に、好みより大きい時には、表示されたサイズを縮小する必要はない。しかしながら、一部のユーザにとって大きなテキストも問題であり、強制されなければならない最適なサイズがある。ＦＯＡ内のオブジェクトが更に判別され得る場合には、テキストと他のコンテンツで異なる好適なサイズが割り当てられ得る。ユーザが自律的変更の後で更に拡大率を調節することを一貫して気にかけている場合には、（画像品質も最初のサイズに依存し得るので）潜在的には具体的な最初のソースサイズのみという条件付きで、記憶されている好みが自動的に更新され得る。図４Ａ，４Ｂ，４Ｃは、電子視覚補助デバイスにおける好適な目標サイズでの自律的拡大動作の例を示している。説明目的での更に単純な仮定は、注目対象が常にカメラ画像の中心を向いているということである。
【０１５５】
図４Ａは、ソースカメラから直接得られてディスプレイでユーザに示されるテキストのみを含むシーンの未処理のカメラ画像の例である。この図は、手動又は自動調節による電子補助具の調節への適用に先立つシーンの表示視界の例を示している。この図に示されているテキストはフォントサイズの異なる部分を有する。特に、テキストのライン８０１は或るフォント高さを有するのに対して、テキストのライン８０２は異なる若干大きな高さを有する。記述を目的として、ライン８０１及び８０２の両方における図４Ａのテキストは全てユーザが読み取るには小さ過ぎて、故に拡大を必要とすると仮定される。
【０１５６】
例示を目的として、自律制御システムは、８０２と記されたディスプレイ上のテキストより５０％大きく、８０１と記されたものより１１４％大きい好適な目標サイズで前もって構成されていると仮定される。そして、拡大の為の自律制御システムが関与して、捕捉されるカメラ画像が図４Ａに示されているように現れると、自律システムは、ディスプレイが図４Ｂのように見えるように拡大率を自動的に上げる。ここで、テキスト８０４の出力ラインはテキスト８０２の入力ラインの拡大バージョンであるのに対して、ライン８０３はソース画像からのライン８０１の対応拡大バージョンである。ライン８０４は好適な目標サイズに適合する高さを有する（つまり適用される合計拡大率は５０％のサイズ増加の為の倍数１．５×による）。ユーザが、視認されているテキストからカメラを短距離だけ直接移動させた場合に、自律システムは拡大率を更に上げることにより応答して、ライン８０４を好適な目標サイズに保つように機能するので図４Ｂの見た目を維持することに注意していただきたい。
【０１５７】
図４Ａに戻ると、ライン８０１が注目対象になるようにユーザがカメラを上向きに振ると、自律システムは拡大率の付加で応答して、結果的に図４Ｃに似たディスプレイとなる。ここで、テキスト８０５の出力ラインはライン８０１の拡大バージョンであるのに対して、ライン８０６はソース画像のライン８０２の拡大バージョンである。この時、適用される合計拡大率は１１４％のサイズ増大の為の倍数×２．１４によるものである。注目対象で検出された構造（例えばこの例ではテキスト）が好適な目標サイズに合うように調節されるので、ライン８０５は図４Ｃにおいて、図４Ｂのライン８０４と同じ高さをディスプレイに有する。未修正画像でのライン８０２はライン８０１より大きいので、ライン８０６の拡大画像は実際には目標サイズを超える。
【０１５８】
注目対象で視認ライン８０１及び８０２を交互するようにユーザがカメラを反復的に振る場合には、自律制御システムは、それぞれ図４Ｂ及び４Ｃに似たディスプレイが結果的に得られるように拡大率を調節することにより応答する構成を持ち得る。
【０１５９】
導入としての本書の要約では、ＡＣＳは拡大の程度ばかりでなくＦＯＶのサイズ及び性質を制御できると記した。２０１９年５月２９日に出願されたＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１９／０３４４４３号には、均一拡大率の中央領域（円形、楕円形、矩形）と、エッジでの一定レベル（最も多くは１である、つまり拡大されない）までズーム量が徐々に小さくなる移行ゾーンと、この最終的な一定の拡大率を維持する周辺部とに視界がどのように分割されるかが記載されている。この分割構成は、ＦＯＶ全体を犠牲にすることなく中心での視認を容易にする為の高い詳細度を付与して、コンテクスト及び状況の認知度を維持する。
【０１６０】
本明細書の状況はこれよりかなり柔軟である。この分割のパラメータ（例えばテーパ状の拡大率の移行ゾーンの境界を成す内側及び外側形状のサイズ）は、静止状態を維持するのではなく連続的に変化するか幾つかの個別設定を有するように拡大の量に関連付けられ得る。この自由度の付加により、自然で直感的な視界を可能にする。ズーム量が大きいと、拡大された対象物を示すのにより多くのエリアが必要とされ、周囲のコンテンツは重要性が低下する。ＦＯＡ内のオブジェクトが更に判別される場合には、多様な連続変化プロフィールを適用することにより具体的なタスク、例えばテキストと顔面又は他の画像コンテンツの読取に合わせて視野がカスタマイズされ得る。
【０１６１】
若しくは、拡大領域のサイズは主要な検出特徴を―少なくとも或る指定のサイズリミットまで―完全に包囲するように調節され得る。言うまでもなく、（分割を伴わない）純粋な拡大方式に戻すことも最終的な低電力オプションとしてやはり実行可能である。
【０１６２】
やはり上述したのは、「名目上の視界」の存在である。このユーザ固有の構成は、これと関連する処理を有していても有していなくてもよい。好みに従って、カメラ画像の無修正コピーとなるか、拡大を伴う任意の分割プロフィールを適用する。例えば、名目上の視界又は名目上の設定でユーザに提示される映像は、実質的な改善又は調節がリアルタイム画像に適用されることなく提示され得る。本記述を目的として、「実質的改善」は、拡大率の調節、コントラストの調節、関心構造の拡大、関心対象物へのコントラスト改善、特定された顔面の拡大等のようにリアルタイム画像への顕著な改善として解釈され得る。非実質的改善は、色補正、輝度補正、ノイズ低減等のようにわずかな、又は通例の画像処理改良であると考えられ得る。
【０１６３】
ウェアラブルな態様での開示の重要な実用的側面はタイミングに関係する。デバイスが特徴サイズ又は運動の変化に素早く応答するように遅延は慎重に調整されなければならないが、疑似的な変化が注意散漫又は混乱を与える視覚的作用を生み出すほど迅速ではない。最も重要なのは、素早く具現化される視覚的作用はユーザの方向感覚を失わせるので、可視的な側面を有する設定が瞬時に変更されるべきではないということである。代わりに、拡大率、分割半径、又は他の幾何学的パラメータの変更は、数秒の期間にわたって徐々に完了するように活性化され得る。このゆっくりした歪みプロセスに固有のホモトピー的感覚により、ユーザは、起こっていることを記録し、視覚的変化の最終結果を完全に認識及び予想し、潜在的にこれを却下する。図３のフローチャート及び状態図について記載した不応期間とうまく調和するように、能動的活性化の時間尺度も選択される。
【０１６４】
最後に、電子視覚補助具の非自律的部分集合により提供される通常処理と、ＡＣＳにより選択される視点（拡大率及びＦＯＶ）の両方を言うまでもなく受ける表示画像が用意される。（要求されるか或いはユーザ制御下にある時に）検出された特徴と、（境界ボックスなど）これらをまとめた幾つかの単純な構造のいずれかを強調する視覚的インジケータを表示すると有利である。これは、最後のシーンモデルに寄与する単なる最終的な主要特徴以上のものにまで拡張する―（ＦＯＡが非常に大きいかディスプレイ全体を包囲する時には特に）短い間隔で、或いは（シーンコンテンツの変化による周期的な更新を伴って）持続的に、ＦＯＡの他の特徴を視覚的に強調すると、ユーザの視線（続いてＦＯＡの中心）を他の関心エリアに誘導できる。
【０１６５】
読取の補助
ウェアラブル電子視覚補助具について、幾らかの視覚障害が存在してもしなくてもカメラが眼の代替物として作用すると上で仮定した。故に、（視線追跡が行われないと）意図した目標に眼の代用品を向けようとする自然な傾向を装着者が有するので、ＡＣＳが能動的にＦＯＡを選択又は誘導することはない。
【０１６６】
若干の修正はこの使用モデルと適合しているが、読取時には付加的レベルの補助を提供する。上に記載したように、読取活動を認識して関連する左から右と右から左の走査段階を区別するのに隠れマルコフモデルが使用される場合には、平滑化と増幅の組み合わせを頭部走査運動に提供するのに回転運動センサが使用され得る。
【０１６７】
カメラの分離
ウェアラブル電子視覚補助具の全ての前処置は、頭部追随焦点の枠組みを採用している。しかしながら、直感的な使用が容易である別の実行可能な使用モデルがある。この代替モードにおいて、画像ソースは、ユーザの眼に対してしっかり固定されていないハンドヘルドカメラである。代わりに、頭部を動かすだけでは快適に見ることのできない方向又は位置の画像を捕捉するようにカメラを向けることにより、ユーザはＦＯＡを直接的に操作できる。遠隔の画像ソースは、視覚補助具との使用が具体的に意図される専用のカメラ又はデバイス、近くのアクセス可能なコンピュータに装着されることのあるウェブカメラ、或いは無線ネットワーク接続を介して遠隔ストリーミング映像を提供するアプリケーションを実行する汎用携帯電話又はタブレットであり得る（若しくは、遠隔デバイスが全体又は部分的な制御をウェアラブル電子視覚補助具に任せることが可能である）。
【０１６８】
このモダリティは、遠隔制御による航空機用の「ファーストパーソンビューイング（空撮映像伝送装置）」に幾らか類似しているが、重要な相違がある。カメラは常にユーザにしっかりと装着され、その生得的な運動感覚及び固有感覚により周囲に対する配向を維持する。また、ユーザは常に、結果的に生じる視点シフトが（ユーザ要求によるものであると共に、故に予想されるものなので）決して急激過ぎるものでも方向感覚を失わせるものでもないという確信を保ちながら、標準的な頭部駆動方式への切り替えが可能である。遠隔カメラの更なる態様については下の「ハンドヘルドデバイス」の節も参照していただきたい。
【０１６９】
一方で、検出された特徴の画像改善と自動的拡大とを含めて、電子視覚補助具により提供される処理及び解析性能の全範囲をユーザは活用できる。若しくは、遠隔カメラのプロセッサ及びＧＰＵでこれらの特徴が直接的に達成され得る。付加的に、ユーザは付加的な照明、画像センサ、そしてレンズのオプションの利点が得られる。非常によくある使用事例では、目標の数インチ内に置かれた拡大鏡を使用して通常は実施される細部の緻密な検査を必要とし得る。頭部マウント式カメラはこのような状況ではうまく機能しない―近距離での焦点合わせはマクロレンズなしでは困難であり、頭部による陰影の結果、対象物への照明は暗くなる。しかしながら、ほぼあらゆる携帯電話は、クローズフォーカスマクロ性能と光源とを備えている。
【０１７０】
遠隔カメラソースの使用中に、頭部移動の運動センサ測定値は（例えばＨＭＭを介して）具体的な活動を推測することを目的として無視されなければならないが、ユーザが自律的変化を受け入れるかどうかをやはり示していることに注意していただきたい。
【０１７１】
ハンドヘルド電子視覚補助具
ハンドヘルド電子視覚補助具は、ウェアラブルデバイスと同じハードウェア及びソフトウェアを本質的に格納するポータブルデバイスである―故に図２及び図３に示されている属性と、上記の性能とを共有する―が、ユーザの頭部又は眼に対する固定位置に装着されるディスプレイ又はカメラを有していない（例えばスマートフォン又はタブレットのディスプレイ及び／又はカメラがユーザの頭部又は注視先に対する固定位置にあることは稀である）。故にその使用モデルは、ウェアラブル品について任意であるものとして上に記載したカメラ分離モードに酷似しているように見える。しかしながら、形状因子が変化すると、新たな自由度と微妙な差異の利用が生じる。
【０１７２】
一般的な形状因子は、携帯電話、コンピューティングタブレット、或いはハンドヘルドであるかスタンドを使用して一時的に飛び出すフラットな表示面を備えるタブレット状のデバイスである。本記述を目的として、連接アームに装着されるこのようなデバイスは、他の意味では固定された装着点であるにも関わらず手で位置決めされることが想定されるので、「ハンドヘルド」カテゴリに含まれる。カメラ（一般的には１台のみだが、上に記載のようにそれ以上が収容されてもよい）は、表示面とは反対の方向を向いている。ユーザの頭部又は眼に対して固定関係にないので、頭部運動にリンクする眼の代用品としてデバイスを扱うという自然な傾向はもう見られない。事実、「カメラ分離」モードのようにＦＯＡが単独で方向指定されるというあらゆる予想が成り立つ。代わりに、ディスプレイ及びカメラの相対位置は、ディスプレイの後部を対象物に向けてディスプレイを直接覗き込むことにより、デバイスはハンドヘルド拡大鏡のように扱われるべきであることを示唆している。これは適切な隠喩であるが、この構成は事実、自律的拡大レンズよりも高い柔軟性を持つ。
【０１７３】
ウェアラブル品では、表示されたＦＯＶを人の眼の正常範囲に適合するように制約して、長時間の連続使用中にユーザの方向感覚喪失を回避することが強制される。ハンドヘルドデバイスについては、これはもはや検討事項ではない―可能な最も広い視野を与えるデバイスからユーザは利益を受け、ユーザ又はデバイスはその中からＦＯＡを選択できる。広い視野は広角又は魚眼レンズにより提供される。視覚補助具となるように具体的に設計されていない市販タブレットについては、カメラは特に広い視野角を有していない（大部分は人のＦＯＶよりかなり広いが）。これらの事例では、磁石又はクランプにより装着され得る低価格のレンズが容易に利用可能であり、事前プログラムされるか適応的に計算されるレンズ歪み特性が補正される（全てのコンピュータ視力ツールボックスに見られる標準的な手順）。類似の装着具は、デフォルト構成が面倒であるか快適ではないことが判明した場合にディスプレイに対するカメラの有効視認方向を直すのにミラーを使用する。
【０１７４】
この広い視野と、ウェアラブルデバイスのものより物理的にはるかに大きいディスプレイにより、低重量の必要性の低下と共に、広いエリア、潜在的にはディスプレイ全体に画像解析を適用するのに必要な付加的計算を実施することが経済的になる。完成モデル（シーン、活動、そして注目モデル）は、定義上はユーザの注目を集める単一の被選択ＦＯＡについてのみ維持される必要があるが、画像解析（又はその縮小バージョン）の結果により、画面の他の場所にある多数の潜在的関心エリア（テキストその他）を強調するかこれに注目できる。ここでテーパ状の拡大率を持つ分割領域のポータルのような効果が大型ディスプレイと相乗効果的に組み合わされる。この時、ユーザは、拡大エリアを快適に視認する能力を有するが、それでもウェアラブルデバイスで可能であったよりも多くのコンテクストが提供される。この時、ＦＯＡの範囲も測定され、やはりコンテクストを維持しながらその多く―又は全て―を包含するように拡大領域のサイズが拡張される。ＡＣＳはＦＯＡ内で自律的に作用するが、このＦＯＡはもはや中央に制約されない。ＦＯＡの変更は手動のユーザ開始タスクとなるが、他の全てのＡＣＳタスクは―新たな活動と共に―介入なしで継続し、ＦＯＡが変化する度にカメラの自動焦点調節を行う。
【０１７５】
ユーザの注視方向をカメラにリンクする直接的な接続がないと、「運動モデル」は、詳細なユーザ意図（例えば読取中に副次的な状態を追跡すること）を捕捉するのにそれほど重要ではないが、それでも移動全体を検出して計算の実施又は不適切な時点での変更を回避するのに使用される。
【０１７６】
デバイスは両手で操作されることが想定されているので、これを作動させるボタン及びタッチ画面シーケンスの使用は自然で目立たないものである。このような制御は、新たなＦＯＡを選択し、分割サイズ（例えば拡大エリア又はテーパ状プロフィールの幅）を調節し、他の調節を行うのに使用される。直感的なタッチベースのインタフェースは、カメラの制御に関係する同様又は類似の操作を実施するか、捕捉された写真をタブレット又は携帯電話で精査するのに既に広く使用されている。
【０１７７】
以前はディスプレイの周辺部に配置されていたカメラを新たなＦＯＡに向けて配向することが通常は可能であるが、カメラとディスプレイの間の固定関係により、快適に視認する為にユーザがデバイスを傾けることがしばしば必要である。これは常に、眼又はカメラにより正面から視認される対象物については明白に見られない射影歪みを生じる。任意の特徴により、画像解析タスクは、軸外視認と関連する幾何学的傾向を検出して補正調節を適用することが可能である。電話ベースのドキュメントスキャナに同様の性能が見られるが、この技術は、テキストの単語及びラインのような細かい特徴よりもロバストな統計が得られる大規模な外部形状（例えば用紙）で機能する。更に、ドキュメントスキャナはこの外部形状とその修正コンテンツを最終製品として扱うが、視覚補助デバイスは局所的に修正されたコンテンツを、必ずしも変換されない大きな形態に統合する。
【０１７８】
タブレットでの同時的な指示及び視認をより快適にする為に、幾何学的再投影が使用されて多様なカメラチルトをシミュレーションし得る。ここで、カメラ画像と関連する固定の非中央のＦＯＡがディスプレイの中央に示され、シミュレーションと実際のカメラ角度の間の幾何学形状の相違を補正するように変換される。
【０１７９】
最後に、電話又はタブレットプラットフォームに構築される視覚補助デバイスを含む別の特徴は、同じデバイスで後に「再生」及び精査を行う為にカメラ画像から得られたスナップショットを記録する能力を有する。ＡＣＳ性能を含む解析制御の全範囲が画像に適用されるので、これは、捕捉されたデジタル写真を単純に視認することから、或いは仮想現実グラス又は他のウェアラブル視覚補助具に見られる「停止及び精査」モードからの区別が可能である―相違は、入力がもはやライブ映像でないので運動入力が無視されなければならないことである。
【０１８０】
マウント式電子視覚補助具
本明細書において、「マウント式」は、完全に不動であることを必ずしも意味せず、通常の使用過程中にディスプレイが移動することが概ね想定されていないことのみを意味する。一般的な形状因子であれば、タッチ画面を備えるコンピュータモニタに類似しており、表示面は快適な視認の為にユーザに対面するように調節され得るが、対象物又はシーンの周囲で動かされるかこれらに向けられることは期待されていない。この形状因子では、計算力、ディスプレイサイズ、そして解像度は、低費用のリソースである。同様に、バッテリ容量及び電力消費量は重要ではない因子である。
【０１８１】
幾つかの大きな変更及び新たな機会が静止動作から生じる。第一に、運動センサはもはや必要でも有用でもない。代わりに、タッチ画面ベースの制御インタフェースのみがＦＯＡの選択を促す。カメラはディスプレイの後部に装着される必要はない―完全に分離されている、完全に可搬である、或いは再配置可能なマウントに設けられ得る。教室の設定、或いは多数のユーザがカメラを共有するか多数のカメラから選択できる他の状況では、画像ソースは壁又は遠隔位置に装着され得る。この時に高解像度カメラ、校正後の広角又は魚眼レンズ、そして多様なカメラ位置をシミュレーションする為の全フレーム射影補正の使用は、極めて重要である。ＦＯＡを選択する為のタッチ画面制御手段により、ユーザは、（センサごとの広いＦＯＶと交換する代わりに高い解像度を維持する手法として）視界が部分的に重複する多数のカメラから潜在的に構成される実質的に広いエリアにわたってカメラを振ることができる。これらの性能の付加により、室内の多様な位置のユーザのグループが少数のカメラを共有し、固定マウント式ディスプレイのみを使用してポータブルのハンドヘルド電子視覚補助具の動作をシミュレーションすることができる。
【０１８２】
これらの変化のうち、上に記載したのと同じＡＣＳアルゴリズム及び（運動検出及びモデル化以外の）動作は、テキスト又は他の興味のあるコンテンツを含む潜在的なＦＯＡに注目すると共に、選択された主なＦＯＡについての拡大率と他の視認特性の自動設定を提供するのに適用可能である。
【０１８３】
検出の改善
ＭＳＥＲベースの特徴検出は、非常に低いリソースコストで優れた性能を提供する。適当なリソースが利用可能である時には、より高度なシーン解析技術への入力として未加工のＭＳＥＲ出力を使用することにより上に記載の枠組みを利用するか、付加的な解析方式をソース画像に直接適用すると簡単である。決定を行う前に、平行解析の結果が調整手段により組み合わされて、より複雑な運動指示と融合される。このようにして、視覚補助具は、基本的に異なる状況（例えばテキストと人の顔面）に質的に異なる手法で自動的に反応できる。より重要なのは、機械学習に基づく認識の導入により、対話式ユーザフィードバックに基づくユーザの好み及び特異性への適応化の可能性が得られることである。
【０１８４】
自律的コントラスト制御
本書の前の節では、自律制御についての大まかな枠組みを記載したが、拡大率及び視野の自律的操作への具体的な適用に主として注目してきた。ここで提示されるのは、同じ枠組みに構築されるコントラストを改善する為の対応の自律的システムである。これは独立的に、或いは前に記載した拡大の為の自律システムと相乗効果的に作動し得る。
【０１８５】
リアルタイムコントラスト改善を画像に適用する手法は多い。充分に確立された技術の中には、（中間グレーから比例的に離れた各画素の輝度を線形調節する）単純なコントラストスケーリング、モノリシック機能を輝度に適用する（任意のガンマプロフィール調節を含む）線形及び非線形のコントラスト拡張、非鮮明マスキング、そして類似の形のエッジ改善がある。これらの方法は全て、一度に単一の目標画素に作用するか目標画素の周囲の画素による小さい近隣部を使用して計算を制約する比較的複雑度の低い効率的なＧＰＵベースの具現例を有する。各々は、コントラスト改善の量や他の特性を変化させるパラメータにより制御される一以上の自由度を有する。コントラスト改善方法のパラメータが経時的に変化するか単一の画像内で空間的に変化しても、具現例の複雑度に大きく影響しない。しかしながら、画像を解析して、各目標画素又は大域的に画像全体に適用する最適なコントラスト改善量を判断することは、性質として固有の連続性があって故に最新の平行ＧＰＵアーキテクチャに適していないプロセスを介したヒストグラムなどの画像統計値の収集を概ね必要とするので、計算上は高費用になる。
【０１８６】
しかしながら、拡大率の自律制御を実行する為の上記のシステムが利用可能である時には、ズームの継続・中止決定につながる中間的な解析の成果と共に必要な拡大量の判断が更なる解析での使用の為に利用可能であるので、対話型ユーザの為の適切なレベルのコントラスト改善を自動的に選択する付加的なタスクが単純化される。これらの中間的計算は、ＦＯＡのコンテンツと、装着者が精査しているオブジェクトの構造とについてかなりの情報を提供する。上に記載したように、これは、個々の絵文字又は単語の位置又は境界ボックスを含むばかりでなく、暫定的な単語又は隣接の形状を別々の横列にまとめて、ノイズであるか一貫性のないデータを却下し、経時的に、或いは視認シーンのコンテンツが変化する際に、その決定の信頼度を評価する更なる処理を取り入れている。
【０１８７】
テキスト又はテキスト状構造がＦＯＡ内で検出された時には、拡大率が調節されてもされなくても、ユーザがこれらの構造を精査する意図を持っていてこれらの構造に好ましくは適用されるコントラスト向上を望むと推定するのが妥当である。コントラスト改善又は調節のタイプ及び／又は規模を判断する際に検討される因子は、改善される画像のタイプ（例えば、エッジ改善に良く適したテキスト又はライン描画など鮮明な輪郭の明度移行を持つ細かいパターンと、真の局所的コントラスト調節を介した改善が良好である徐々に変化する自然なパターン）、（自律的拡大システムにより潜在的に測定される）改善特徴のサイズ、（自律的に、又は手動で）適用される拡大量、主要な前景及び背景の明度の間に存在するコントラスト、明色の背景に暗色の前景があるかその逆であるかどうか、背景が単純であるか（例えば単一の無地）であるか複雑（例えばテキストがパターン又は自然の画像を覆う時）であるかを含む。存在する運動（例えば頭部の運動）の量及びタイプも望ましい因子であり得る。
【０１８８】
ＦＯＡ内の高品質で確実に特定された構造の範囲にわたってこれらの因子のみを定量化することにより、計算複雑度が大きく低下する。達成可能な複雑度の低下は、一連の図５Ａ，５Ｂ，５Ｃ，５Ｄに図示されている。
【０１８９】
図５Ａには、拡大率の自律制御を目的として明色背景での幾つかの暗色テキストの画像の解析結果として考えられるものが描かれている。矩形（９００〜９０６）は、性質がテキスト又はテキスト状であると判断された領域を指している。この例では、矩形は個々の単語を集めたものであるが、実際には間隔の近い単語が統合されることが多く、時には個々の文字が個別に検出又は省略される―これらの詳細はこの記述の性質又は結果を実質的には変えない。重大な点は、画像解析では既に、視認者にとって関心のある同様の特徴を特定しており、横列状の形式で見つかった一定サイズの形状は保ちながらノイズ及び異常値を除外していることである。これらの矩形は高さが均一ではなく、矩形９００は最小の高さを有するのに対して、矩形９０１及び９０４はテキストのアセンダの為に高くなっていることに注意していただきたい。同様に、フォント基本線の下に延びるディセンダ及び／又は句読点を含むので、矩形９０２及び９０３は共に背が高く下向きにシフトしている。形状９０５は高さが延びた大文字を含み、単語８０６の為の矩形ではアセンダとディセンダの両方の作用が組み合わされている。
【０１９０】
図５Ｂは、形状検出の結果が通知された時に画像の最小数の画素のみを精査しながら、検出されたオブジェクトについてコントラスト設定を最適化するのに必要な全ての情報がどのようにして得られるかを示す。破線９１１及び９１２の各々は、それぞれの横列に含まれるあらゆる矩形を通過する。このようなライン上にある画素のみを解析すると、検出されたテキストの視認を改善するコントラスト拡張又は他のコントラスト調節をサポートするように背景及びテキストの中での画像輝度の分布についての十分な統計情報が得られる。検出された単一の横列（例えば最も中央にあるか最大の水平範囲を持つもの）、或いは検出された全ての横列の部分集合の統計値の組み合わせがこの目的に使用され得る。検出された形状の近くに位置するか検出された形状を含まない９１３，９１４，９１５などのライン上の画素を精査することにより、前景及び背景が区別され（暗色上の明色と明色上の暗色を判断し）得る。
【０１９１】
図５Ｂに示されているような少数のライン上の画素のみを使用すると、検出された形状が無地の背景上のテキストを真に包含する時には信頼性がある。図５Ｃ及び５Ｄに例示されているようにより多くの画素を精査すると、適度な計算コスト上昇のみで改良結果が得られるだろう。例えば（屋外からの画像にテキストが重ねられている時に起こるような）複雑な背景の存在及び性質は、検出されたコンテンツとの近接度故に「背景」のみを含むとの仮定が可能である９２３，９２４及び／又は９２５などの小さい矩形エリアのスペクトル成分及び／又はウェーブレット分解を解析することにより、検出され得る。（横列の全ての形状に共通する垂直領域のみを含む）９２１、（横列のあらゆる形状により占められる全ての垂直領域を結合したものを取り入れた）９２２、（検出された全ての形状の範囲を結合したものを内含する）９３１のような矩形エリアについての同様の解析により、テキストと非テキストのコンテンツ（多色アイコン又はボタンなど）とを確実に区別することが実証されている。（９１１又は９１２などの）一次元前景ライン上の画素のスペクトル又はウェーブレット解析は、テキストを非テキストから区別するのにも使用され得るが、広範囲のシーン条件にわたって一貫した結果をもたらす可能性はない。
【０１９２】
限定されたエリアの解析により、この限定エリアについて最適又は準最適であって、画像全体でない場合には近くのエリアに適当であると推定されるコントラスト設定又は調節の素早い計算が可能になる。これらの設定は、（表示画像全体に）大域的に適用されるか、解析されたエリアを含む幾つかの領域或いはＦＯＡの一部又は全部に限定されるか、指定のデフォルト或いは周辺領域での中立的な設定に徐々に向かう傾向を持ちながら、計算による最適設定がＦＯＡの一部又は全部に適用されるように、テーパ状プロフィールを示し得る。コントラスト設定は位置のみに基づいて計算されて、影響を受ける画素のコンテンツ又は統計値に依存しないので、この空間動的プロフィールと関連する大きな計算負荷が付加されることはない。
【０１９３】
付随する自律的拡大システムの解析成果を活用する自律的コントラスト制御システムは、自律的拡大について前に記載したのと同じ図２の枠組みに適合する。両方が存在する時には、その機能のほぼ全てが共有されるだろう。例外は、以下に記載するように（自律的コントラストがシステムに存在するかどうかに応じて）拡張又は置換される調整手段ブロック５６０である。
【０１９４】
他方で、自律的拡大が全く存在しない（又は実行不能である）場合には、図２と同じブロック図を有する効率的で低複雑度の自律制御システムを実現することがそれでも可能である。自律的拡大により提供される先進的解析が行われないと、画像解析（５８０）、シーン解析（５８２）、そしてシーンモデル（５８３）の為の新たな具現例が提供されなければならない。一つの単純な具現例では、指定されたＦＯＡの画素のみを精査する。上に記載したように、このＦＯＡは固定されるか、ユーザに合わせてカスタマイズされるか、コンテクスト依存である（例えば運動、拡大、及び／又は最近活動に基づいて調節される）か、或いは（例えば視線追跡と共に）リアルタイムで再配置される。表示されたＦＯＡで倍数Ｍにより拡大された図の可視画像は実際にはＭ２倍少ない解析画素を含むので、既存拡大率の検討は複雑度の低下には特に有用である。単純化された自律的コントラスト制御システムであれば、（テキスト又はライン描画など）明確なエッジ又はスムーズに変化するイメージを持つかなりの高周波数コンテンツをＦＯＡが含有するかどうかの判断のみを（例えばスペクトル又はウェーブレット解析を介して）試みるだろう。これはシーンモデリングの取り組みの範囲である。テキストが指示される場合には、ＦＯＡヒストグラム統計値の更なる解析により、計算によるコントラスト設定の微調整と、暗色上の明色と明色上の暗色という表現の検出とを可能にするだろう。
【０１９５】
故に、自律的拡大が存在するかどうかに関係なく、上記及び図２に記載された枠組みが自律的コントラスト調節の為に適用され、残りの記述は両方の事例を透過的に包摂する。図６は、自律的拡大が利用可能であってもなくても、また自律的拡大が利用可能であるが停止された時にも機能する自律的コントラスト制御の為の低複雑度調整手段（５６０）の高レベル動作を描いたフローチャートの一例を示す。両方の自律的システムが存在する場合に、このフローチャートは、図３のフローチャートにより表されるプロセスと並行して機能する調整手段プロセスを表す。
【０１９６】
図３のように、図６のフローは、新たな映像フレームの各々の開始時にブロック７００から始まる。ブロック７０１では、現在の拡大レベルが１より大きいかどうかに応じて、二つの処理経路の間で決定を行う。拡大が行われる時には、ブロック７３０への左の岐路が取られる。さもなければ現在は拡大が行われず（つまり１の拡大率が存続し）、ブロック７１０への右の岐路が取られる。
【０１９７】
この右の岐路については、拡大なしに対応して、ブロック７１０は、自律的拡大システムが現在映像フレームについての拡大率変更を要求したかどうかを確認する為にチェックを行う。システムに自律的拡大性能がないか、存在するが実行不能であるか、このような要求を行っていない場合には、動作はブロック７２０に続く。或いは、ブロック７１２で自律的拡大システムにより生み出された中間的成果の結果を精査し、事前認定された構造（検出された形状と横列又は縦列）を使用して、コントラスト調節の為に解析される画像のＦＯＡにおける関連の画素集合を判断する。そしてブロック７１４は（例えば統計、スペクトル、及び／又はウェーブレット技術を使用して）これらの画素の解析を実施し、ブロック７１６は、視認に最適であると判断された新たなコントラスト設定を計算する。そしてこれらの設定がブロック７７０へ送られ、このブロックは下に記載するように最新のコントラスト設定を適用する。
【０１９８】
関連の画素を判断する為の具体的なプロセスは、何らかの所与の経路の選択につながるコンテクスト及び状況に応じて異なるので、ブロック７１２は代替処理経路の類似のブロック７２２，７３２，７４２とは別であることに注意していただきたい。同様に、実施される解析のタイプは、（例えば自律的拡大による）事前認定された解析の成果が利用可能であるかどうか、何らかの拡大が進行中であるか、そして他のコンテクスト上の手掛かりに左右されるので、類似のブロック７１４，７２４，７３４，７４４は分離している。最後に、コントラスト改善タイプについて利用可能な選択とそのパラメータを計算する方法はコンテクスト依存でもあるので、アナログ７１６，７２６，７３６，７４６も別々である。
【０１９９】
ブロック７２０は、現在は拡大が行われず、自律拡大システムからの拡大率を上げる要求がない時に処理を継続する。この事例で、（デバイスの運動センサにより、画像解析により、他の副次情報により判断される）最近測定された運動に基づいて、決定が行われる。大きいか突然の運動が存在する時に、ユーザは、表示された画像に意識を集中していないと推定されるので、指定されたニュートラル又はデフォルトのコントラスト設定をブロック７６６で選択することにより、自律的コントラストシステムが効果的にリセットされる。運動が非常に小さい場合に、ユーザはディスプレイの視認に集中していると推定される。そしてブロック７２２では（自律的な拡大解析の成果という利点を伴わずに）ＦＯＡでの関連の画素を判断し、ブロック７２４では（例えば統計、スペクトル、及び／又はウェーブレット技術を使用して）これらの画素を解析し、ブロック７２６では、更新された適切なコントラスト設定を計算する現在コントラスト設定の情報と共にこの解析の結果を使用する。大きい運動と中程度の運動の両方について、計算による設定がブロック７７０に送られ、下に記載するように最新のコントラスト設定をここで適用する。第三の事例はブロック７２０について存在する。固定注目又は意図的な移動を明確に示していない中程度の最近の運動は、読取又は走査行動と関連すると推定され、コントラスト設定への何らかの変更という結果を生じない。そして処理はブロック７８０で終了して、次の映像フレームが届くまでそのままである。運動モデルブロック（図２の５７２）の出力を考慮できるので、「大」、「小」、又は「中程度」（中間）としての最近の運動の分類は任意の複雑度を持ち得ることに注意されたい。
【０２００】
ブロック７０１からの左の岐路について記すと、拡大の存在に対応して、ブロック７３０は自律的拡大が実行可能であるかどいうかをチェックする。実行不能であるか存在しない時に、処理はブロック７４０に続く。実行可能である場合に、ブロック７３１では、自律拡大システムが現在フレームでの解析成果を更新したかどうかをチェックする。更新しなかった場合に、処理はブロック７８０で終了し、次の映像フレームが到着するまでそのままである。新たな情報が利用可能になると、ブロック７３２は関連の形状及びデータ構造を使用して、ソース画像からの画素の関連の部分集合を判断し、好ましくは図５Ａ〜５Ｄに例示されている効率的な技術の組み合わせを採用して解析する。そしてブロック７３４では（例えば統計、スペクトル、及び／又はウェーブレット技術を使用して）この画素集合を解析し、ブロック７３６では、視認に最適であると判断された新たなコントラスト設定を計算する。そしてこれらの設定はブロック７７０に送られ、ここでは、下に記載するように最新のコントラスト設定を適用する。
【０２０１】
自律的拡大が存在しないか実行不能であるとブロック７３０で判断された時に、ブロック７４０では、（デバイスの運動センサにより、画像解析により、又は他の副次情報により判断される）最近測定された運動に基づいて決定が行われる。大きいか突然の運動が存在する時に、ユーザは、表示された画像に意識が集中していないと推定されるので、ブロック７５６で指定のニュートラル又はデフォルトのコントラスト設定を選択することにより自律的コントラストシステムが効果的にリセットされる。運動が非常に小さい場合に、ユーザはディスプレイの視認に集中していると推定される。そしてブロック７４２では（自律的拡大解析の成果という利点を伴わずに）ＦＯＡの関連画素を判断し、ブロック７４４では（例えば統計、スペクトル、及び／又はウェーブレット技術を使用して）これらの画素を解析し、そしてブロック７４６ではこの解析と共に現在コントラスト設定の情報を使用して、適切な更新後のコントラスト設定を計算する。大きい運動と中程度の運動の両方について、計算による設定がブロック７７０へ送られ、このブロックでは下に記載するように最新のコントラスト設定を適用する。第３の事例はブロック７３０について存在する。固定注目又は意図的な移動を明確には示していない中程度の最近の運動は、読取又は走査行動と関連すると推定され、コントラスト設定の変更という結果を生じない。そして処理はブロック７８０で終了し、次の映像フレームが到着するまでこのままである。「大」、「小」、又は「中程度」（中間）としての最近の運動の分類は、運動モデルブロック（図２の５７２）の出力を考慮して、任意の複雑度を持ち得る。これはブロック７２０により使用される運動基準を必ずしも反映していない。
【０２０２】
ブロック７７０は、図６の６本の経路全てに共通の会合ポイントとして作用する。自律的コントラスト設定についての最新要求の追跡を続け、これらの変更を起動するデバイス状態に変更を加える。変更の規模及びタイプに応じて、このブロックは、新たな設定を徐々に実行させる活性化を計画し得る。活性化は（図６のフローチャートと関係なく）単独で完了するか、次にブロック７７０に入った時に無効化／再計画される。例えば、意図的で大規模な運動により引き起こされる変化、或いは（視覚的に混乱を招く事象である）拡大率の大きな変化を伴う変化が、ユーザの方向感覚を喪失させることなく突然行われ得る。他方で、読取及び走査の間のコントラストの移行は、より段階的であるべきである。いずれの事例でも、目に見える設定の「揺らぎ」が回避されなければならず、ブロック７７０は、要求される設定と起動される設定の進行をフィルタリングしてより快適なユーザ体験の提供を担う。自律的制御要求が一貫していないか信頼性がない、例えば長い時間尺度にわたって激しく、又は急速に変化しているとこのブロックで判断されると、要求を無効化するかニュートラルな設定に向けてデバイスにバイアスをかける。ブロック７７０がこの活動を終えると、ブロック７８０で処理が終了し、次の映像フレームが到着するまでそのままである。
【０２０３】
本開示の好適な実施形態が本明細書に図示及び記載されてきたが、このような実施形態は当業者にとっては単なる例として提供されている。その際に多数の変化、変更、そして代替は、本発明を逸脱することなく当業者の念頭に浮かぶものであろう。本明細書に記載の発明の実施形態についての様々な代替例が発明の実践時に採用され得ることが理解されるべきである。本明細書に記載の実施形態の多様な組み合わせが可能であり、このような組み合わせは本開示の一部と考えられる。加えて、本明細書のいずれか一つの実施形態に関係して記述された全ての特徴は、本明細書の他の実施形態での使用の為に容易に適応化され得る。以下の請求項が本発明の範囲を規定することと、これらの請求項の範囲内の方法及び構造とその同等物がこれに包含されることが意図されている。
【０２０４】
ある特徴又は要素が別の特徴又は要素の「上に(on)」あるものとして本明細書で言及される時には、他の特徴又は要素の直接上にあっても介在の特徴及び／又は要素が存在してもよい。対照的に、ある特徴又は要素が別の特徴又は要素の「直接上に(directly on)」あるものとして言及される時には、介在の特徴又は要素は存在しない。ある特徴又は要素が別の特徴又は要素に「接続される(connected)」、「装着される(attached)」、又は「結合される(coupled)」ものとして言及される時には、他の特徴又は要素に直接接続、装着、結合されても、介在の特徴又は要素が存在してもよいことが理解されるだろう。対照的に、ある特徴又は要素が別の特徴又は要素に「直接接続される(directly connected)」、「直接装着される(directly attached)」、「直接結合される(directly coupled)」ものとして言及される時には、介在の特徴又は要素は存在しない。一実施形態に関して記載又は図示が行われたが、このように記載又は図示された特徴及び要素は他の実施形態にも当てはまり得る。別の特徴に「隣接して(adjacent)」配設される構造又は特徴への言及は隣接特徴の上又は下にある部分を有し得ることも、当業者には認識されるだろう。
【０２０５】
本明細書で使用される用語は、特定の実施形態のみを説明することを目的としており、発明を限定することは意図されていない。例えば、本明細書で使用される際に、単数形の“ａ”，“ａｎ”，“ｔｈｅ”は、そうではないことを文脈が明示していない限り複数形も同じく含むことが意図されている。「包含する(comprises)」及び／又は「包含する(comprising)」の語は、本明細書で使用された時に、記載の特徴、ステップ、動作、要素、及び／又はコンポーネントの存在を明記するものであるが、一以上の他の特徴、ステップ、動作、要素、コンポーネント、及び／又はこれらのグループの存在又は付加を除外するものではないことが更に理解されるだろう。本明細書で使用される際に、「及び／又は(and/or)」の語は関連して挙げられた物品のうち一以上の組み合わせのいずれか及び全てを含み、「／」で省略され得る。
【０２０６】
「下に(under)」、「下方に(below)」、「下方の(lower)」、「上に(over)」、「上方の(upper)」、その他などの空間的相対語は、図に示されている別の要素又は特徴に対する一つの要素又は特徴の関係を説明する記載を容易にする為に使用され得る。空間的相対語は、図に描かれている配向に加えて使用又は動作時のデバイスの多様な配向を内含する意図があることが理解されるだろう。例えば、図のデバイスが逆転した場合に、他の要素又は特徴の「下に(under)」又は「真下に(beneath)」と記載される要素は他の要素又は特徴の「上に(over)」配向されることになるだろう。故に、例示的な語である「下に(under)」は上と下の両方の配向を内含し得る。デバイスはその他の配向でもよく（９０度回転されるか他の配向である）、本明細書で使用される空間的相対記述子はそれに従って解釈される。同様に、「上向きに(upwardly)」、「下向きに(downwardly)」、「垂直の(vertical)」、「水平の(horizontal)」、その他の語は、そうではないことが明示されない限り、説明のみを目的として本明細書で使用される。
【０２０７】
「第１(first)」及び「第２(second)」の語は、様々な特徴／要素（ステップを含む）を説明する為に本明細書で使用され得るが、これらの特徴／要素は、そうではないことを文脈が示していない限り、これらの語により限定されるべきではない。これらの語は、一つの特徴／要素を別の特徴／要素から区別するのに使用され得る。故に、本発明の教示を逸脱することなく、以下に記す第１特徴／要素は第２特徴／要素と呼ばれてもよく、同様に以下に記される第２特徴／要素は第１特徴／要素と呼ばれてもよい。
【０２０８】
本明細書とこれに続く請求項を通して、そうではないことが文脈から必要とされない限り、「包含する(comprise)」と、「包含する(comprises)」及び「包含する(comprising)」などその変形は、様々なコンポーネントが方法及び物品（例えば組成とデバイス及び方法を含む機器）で協働的に採用されることを意味する。例えば、「包含する(comprising)」の語は、記載の要素又はステップのいずれかを含むが他の何らかの要素又はステップを除外しないという意味であることが理解されるだろう。
【０２０９】
概して、本明細書に記載の装置及び方法のいずれも包括的であると理解されるべきであるが、代替的にコンポーネント及び／又はステップの全て又は部分集合が排他的であり、様々なコンポーネント、ステップ、サブコンポーネント、又はサブステップ「から成る(consisting of)」か、代替的に「から本質的に成る(consisting essentially of)」と表現されてもよい。
【０２１０】
例での使用を含めて明細書及び請求項で使用される際に、そしてそうではないことが明記されない限り、全ての数字は、「約(about)」又は「およそ(approximately)」の語が明示されない場合でも、これらの語が前に置かれたかのように解釈され得る。「約(about)」又は「およそ(approximately)」の語句が規模及び／又は位置を説明する時に使用されると、記載の値及び／又は位置が値及び／又は位置の妥当な予想範囲内にあることを表す。例えば、ある数値は、記載の値（又は値の範囲）の＋／−０．１％、記載の値（又は値の範囲）の＋／−１％、記載の値（又は値の範囲）の＋／−２％、記載の値（又は値の範囲）の＋／−５％、記載の値（又は値の範囲）の＋／−１０％等である値を有し得る。本明細書で挙げられたいかなる数値も、そうではないことを文脈が指摘していない限り、約又はおよそその値を含むと理解されるべきである。例えば、「１０」の値が開示されている場合には、「約１０」も開示されている。本明細書に記載されるいかなる数値範囲も、これに包摂される全ての下位範囲を含むことが意図されている。当業者には適切に理解されるように、ある値がその値「未満であるか等しい」と開示される時には、「その値より大きいか等しい」とこれらの値の間の可能な範囲も開示されていることは言うまでもない。例えば、「Ｘ」の値が開示される場合には「Ｘより小さいか等しい」と共に「Ｘより大きいか等しい」（例えばＸは数値である）も開示されている。本出願を通して、幾つかの異なる形式でデータが提供されることと、このデータが終点及び始点とデータ点の組み合わせの範囲を表すことも言うまでもない。例えば、特定のデータ点「１０」と特定のデータ点「１５」とが開示される場合に、１０及び１５より大きい、１０及び１５より大きいか等しい、１０及び１５より小さい、１０及び１５より小さいか等しい、１０及び１５に等しいは、１０と１５の間としても開示されていると考えられることは言うまでもない。二つの特定の単位の間の各単位も開示されていることも言うまでもない。例えば、１０及び１５が開示される場合には、１１，１２，１３，１４も開示されている。
【０２１１】
様々な例示的実施形態が上に記載されているが、請求項により記載される発明の範囲を逸脱することなく、幾つかの変更のいずれかが様々な実施形態に加えられてもよい。例えば、記載された様々な方法ステップが実施される順序は、代替実施形態では変更されることが多く、他の代替実施形態では一以上の方法ステップがすべて省略されてもよい。様々なデバイス及びシステムの実施形態の任意の特徴が幾つかの実施形態では含まれて他の実施形態では含まれなくてもよい。
【０２１２】
それ故、上記の記載は主として例示的な目的で提供され、請求項に提示される本発明の範囲を制限するものと解釈されるべきではない。
【０２１３】
本明細書に含まれる例及び図例は、主題が実践され得る特定の実施形態を限定ではなく例として示す。上述のように、本開示の範囲から逸脱することなく構造的及び論理的な置換及び変更が行われ得るように、他の実施形態が利用され、これから導出されてもよい。進歩性のある主題のこのような実施形態は、一以上が実際に開示されている場合に、単に簡便性の為に、そして本出願の範囲を単一の発明又は進歩的概念に自発的に制限することは意図せずに、「発明」の語により個別的又は集合的に本明細書で言及され得る。故に、特定の実施形態が本明細書に図示及び記載されたが、同じ目的を達成するように考案された何らかの仕組みが、示された特定の実施形態に置き換えられてもよい。本開示では、様々な実施形態のいかなる、そして全ての改変又は変形を包含することが意図されている。上記の実施形態の組み合わせと、本明細書で明確に記載されていない他の実施形態とが、上の記載を検討することで当業者に明白になるだろう。加えて、図に描かれている論理フローは、示されている特定の順序又は連続順序を所望の結果の達成に必要としない。
【０２１４】
更に、他のステップが設けられるか、記載のフローからステップが削除されてもよく、また他のコンポーネントが記載のシステムに付加されるか、これから除去されてもよい。従って、他の実施形態は以下の請求項の範囲に含まれる。
【符号の説明】
【０２１５】
９９  ウェアラブル電子視覚補助デバイス
１０１  プロセッサ
１０３  充電・データポート
１０６  制御ボタン
１０７  バッテリ
１０８  ブルートゥース／ＷｉＦｉ
１１１  デュアルディスプレイ
１１２  加速度計・ジャイロスコープ・磁力計
１１３  オートフォーカスカメラ
１２０  複合スピーカ／マイクロフォン
１２５  フラッシュライト
２００Ａ  コンピューティングデバイス
２０２Ａ  メモリオンプロセッサ
２０４Ａ  メモリ
２０６Ａ  記憶デバイス
２０８Ａ  高速コントローラ
２１０Ａ  高速拡張ポート
２１２Ａ  低速コントローラ
２１４Ａ  低速バス
２１６Ａ  ディスプレイ
２２０Ａ  標準サーバ
２２１Ａ  パーソナルコンピュータ
２２２Ａ  ラップトップコンピュータ
２２４Ａ  ラックサーバシステム
２５０Ａ  汎用モバイルコンピューティングデバイス
２５２Ａ  プロセッサ
２５４Ａ  ディスプレイ
２５６Ａ  ディスプレイインタフェース
２５８Ａ  制御インタフェース
２６０Ａ  音声コーデック
２６２Ａ  外部インタフェース
２６４Ａ  メモリ
２６６Ａ  通信インタフェース
２６８Ａ  トランシーバ
２７０Ａ  受信モジュール
２７２Ａ  拡張インタフェース
２７４Ａ  拡張メモリ
２８０Ａ  携帯電話／ＩＭＵ（慣性測定ユニット）
２８２Ａ  スマートフォン
２９０Ａ  ハンドヘルド形態
２０４Ｂ  外側ハウジング
２０８Ｂ  プロセッサ
２１０Ｂ  メモリ
２１２Ｂ１，２１２Ｂ２  バス
２１６Ｂ  ユーザインタフェース
２２０Ｂ  バッテリ
２２４Ｂ  インタフェース
２２８Ｂ  ディスプレイ
２３０Ｂ  タッチ画面コントローラ
２３４Ｂ  スピーカ
２３８Ｂ  マイクロフォン
２４０Ｂ  第１無線トランシーバ
２４４Ｂ  第２無線トランシーバ
２４８Ｂ，２５２Ｂ，２６２Ｂ  アンテナ
２６０Ｂ  全地球測位システム
２６４Ｂ  衝撃検出器
２６８Ｂ  コンパス
２７２Ｂ  圧力センサ
２７６Ｂ  カメラ
２７８Ｂ  赤外線カメラ
２８０Ｂ  フラッシャ／フラッシュライト
２８２Ｂ  輝度センサ
２８４Ｂ  電源管理モジュール
５１０  概念的デバイス
５１２  付加的センサ
５１４  手動ユーザ入力
５１５  モノリシック画像処理
５１６  ディスプレイデバイス
５１７  カメラ
５２０  ユーザコントロール
５２７  現在状態
５３０  センサデータ
５４０  未加工画像ストリーム
５５０  自律制御システム
５６０  調整手段
５６２  活動モデル
５６３  注目モデル
５７０  運動解析
５７２  瞬間運動モデル
５８０  画像解析
５８２  シーン解析
５８３  シーンモデル
６００  開始
６０１  遅延タイマステータス
６０２  現在状態
６０３  最近運動
６０４  ズームリセット
６０５  検出統計値リセット
６０６  映像解析
６０７  信頼度検出
６０８  ズーム適用
６０９  全統計値リセット
６１０  運動カウント増加
６１１  運動カウント閾値
６１２  最近運動
６１３  ズームリセット
６１４  移動
６１５  基準配向からの変更
６１６  状態＝移動
６１７  映像解析
６１８  ズーム変更
６１９  ズーム更新
６２０  完了
８０１，８０２、８０３，８０４，８０５，８０６  テキストのライン
９０１，９０２，９０３，９０４，９０５，９０６  矩形
９１１，９１２  破線
９１３，９１４，９１５  ライン
９２１，９２２，９２３，９２４，９２５，９３１  矩形エリア
【図１Ａ】
2022502798.tif 000003
【図１Ｂ】
2022502798.tif 000004
【図１Ｃ】
2022502798.tif 000005
【図１Ｄ】
2022502798.tif 000006
【図１Ｅ】
2022502798.tif 000007
【図１Ｆ】
2022502798.tif 000008
【図２】
2022502798.tif 000009
【図３】
2022502798.tif 000010
【図４Ａ】
2022502798.tif 000011
【図４Ｂ】
2022502798.tif 000012
【図４Ｃ】
2022502798.tif 000013
【図５Ａ】
2022502798.tif 000014
【図５Ｂ】
2022502798.tif 000015
【図５Ｃ】
2022502798.tif 000016
【図５Ｄ】
2022502798.tif 000017
【図６】
2022502798.tif 000018
【国際調査報告】
2022502798.tif 000019