(57)【要約】  一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階と、符号化されたデータに少なくとも部分的に基づいて生成されたデータに第１の機械視覚アルゴリズムを適用する段階とを含む方法を開示する。【選択図】図３Ａ
2014524630.tif 000002
【特許請求の範囲】
【請求項１】
一連の生画像に対応する生画像データを受け入れる段階と、
脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するために前記生画像データを処理する段階と、
前記符号化されたデータに少なくとも部分的に基づいて生成されたデータに第１の機械視覚アルゴリズムを適用する段階と、
を含むことを特徴とする方法。
【請求項２】
前記符号化されたデータに基づいて一連の網膜画像を生成する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記符号化されたデータに基づいて前記網膜画像内のピクセル値を決定する段階を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記符号化されたデータに基づいて前記網膜画像内のピクセル値を決定する段階は、網膜細胞応答を示す符号化されたデータに基づいてピクセル強度又は色を決定する段階を含むことを特徴とする請求項３に記載の方法。
【請求項５】
網膜細胞応答を示す前記データは、網膜細胞発火率、網膜細胞出力パルス列、及び起動電位から構成されるリストからの少なくとも１つを示すことを特徴とする請求項４に記載の方法。
【請求項６】
前記一連の網膜画像に前記第１の機械視覚アルゴリズムを適用する段階、
を更に含むことを特徴とする請求項２から請求項６のいずれか１項に記載の方法。
【請求項７】
前記機械視覚アルゴリズムは、物体認識アルゴリズム、画像分類アルゴリズム、顔認識アルゴリズム、光学文字認識アルゴリズム、コンテンツベースの画像取り出しアルゴリズム、姿勢推定アルゴリズム、運動解析アルゴリズム、自己運動決定アルゴリズム、移動追跡アルゴリズム、オプティカルフロー決定アルゴリズム、光景再現アルゴリズム、３Ｄ容積認識アルゴリズム、及びナビゲーションアルゴリズムから構成されるリストから選択された少なくとも１つを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記機械視覚アルゴリズムは、前記一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示すことを特徴とする請求項１から請求項７のいずれか１項に記載の方法。
【請求項９】
前記機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する一連の生画像に適用された時よりも良好な性能を示すことを特徴とする請求項８に記載の方法。
【請求項１０】
前記機械視覚アルゴリズムは、一連の画像内での人間の検出又は識別のためのアルゴリズムを含み、
前記機械視覚アルゴリズムは、前記人間を含む様々な網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な検出精度又は識別精度を示す、
ことを特徴とする請求項８又は請求項９に記載の方法。
【請求項１１】
前記人間を含む前記一連の画像は、自然光景に位置する該人間の画像を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記人間を含む前記一連の画像は、前記機械視覚アルゴリズムをトレーニングするのに使用された自然光景とは異なる自然光景に位置する該人間の画像を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記機械視覚アルゴリズムは、実環境又は仮想環境を通じたナビゲーションのためのアルゴリズムを含み、
前記機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好なナビゲーション性能を示す、
ことを特徴とする請求項８又は請求項９に記載の方法。
【請求項１４】
前記機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも少ないナビゲーション中の望まない衝突イベントを示すことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記一連の網膜画像は、前記機械視覚アルゴリズムをトレーニングするのに使用されなかった環境に対応することを特徴とする請求項１４に記載の方法。
【請求項１６】
前記一連の網膜画像に機械画像処理アルゴリズムを適用して１つ又はそれよりも多くの着目する網膜画像を識別する段階と、
前記着目する網膜画像に対応する１つ又はそれよりも多くの着目する生画像を識別する段階と、
を更に含むことを特徴とする請求項１から請求項１５のいずれか１項に記載の方法。
【請求項１７】
前記着目する生画像を処理する段階を更に含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記着目する生画像を処理する前記段階は、該着目する生画像に第２の機械視覚アルゴリズムを適用する段階を含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記第１の機械視覚アルゴリズムは、網膜画像セットに対してトレーニングされたアルゴリズムを含み、
前記第２の機械視覚アルゴリズムは、生画像セットに対してトレーニングされたアルゴリズムを含む、
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記第１の機械視覚アルゴリズムを適用する段階は、ナビゲーションアルゴリズムを適用する段階を含むことを特徴とする請求項１から請求項１９のいずれか１項に記載の方法。
【請求項２１】
前記ナビゲーションアルゴリズムを適用する段階は、
前記一連の網膜画像を処理して、該一連の画像内の複数の画像位置での運動を示す運動情報を決定する段階と、
前記運動情報に基づいて前記一連の画像内の空間領域を分類する段階と、
前記空間領域の前記分類に基づいてナビゲーション決定を生成する段階と、
を含む、
ことを特徴とする請求項２０に記載の方法。
【請求項２２】
運動情報が、前記一連の画像内のオプティカルフローを示すことを特徴とする請求項２１に記載の方法。
【請求項２３】
畳み込みニューラルネットワークを使用して前記空間領域を分類する段階、
を含むことを特徴とする請求項２１又は請求項２２に記載の方法。
【請求項２４】
ナビゲーションアルゴリズムからの結果に基づいてロボット装置の運動を制御する段階を更に含むことを特徴とする請求項２１から請求項２３のいずれか１項に記載の方法。
【請求項２５】
ナビゲーションアルゴリズムからの結果に基づいて仮想空間内の仮想物体の運動を制御する段階を更に含むことを特徴とする請求項１８から請求項２４のいずれか１項に記載の方法。
【請求項２６】
前記ナビゲーションアルゴリズムは、仮想空間を表す画像データに基づいてトレーニングされたものであることを特徴とする請求項２４又は請求項２５に記載の方法。
【請求項２７】
前記網膜画像に基づいて機械視覚アルゴリズムをトレーニングする段階を更に含むことを特徴とする請求項１から請求項２６のいずれか１項に記載の方法。
【請求項２８】
前記機械視覚アルゴリズムをトレーニングする段階は、
（ｉ）前記機械視覚アルゴリズムを網膜画像セットに適用して出力を生成する段階と、
（ｉｉ）前記出力に基づいて前記機械視覚アルゴリズムの性能を示す性能情報を決定する段階と、
（ｉｉｉ）前記性能情報に基づいて前記機械視覚アルゴリズムの１つ又はそれよりも多くの特性を修正する段階と、
を含む、
ことを特徴とする請求項２７に記載の方法。
【請求項２９】
選択された性能基準に達するまで段階（ｉ）から段階（ｉｉｉ）までを反復的に繰り返す段階、
を更に含むことを特徴とする請求項２８に記載の方法。
【請求項３０】
前記トレーニングされた機械視覚アルゴリズムは、パラメータセットによって特徴付けられ、
前記パラメータは、前記網膜画像に対応する生画像を用いた前記機械視覚アルゴリズムの同等のトレーニングによって得られると考えられる対応するパラメータとは異なる、
ことを特徴とする請求項２７から請求項２９のいずれか１項に記載の方法。
【請求項３１】
符号化されたデータを生成するために符号化器を用いて前記生画像データを処理する段階は、対応する該生画像データと比較して低減された情報量を含む符号化されたデータを生成する段階を含み、
前記機械視覚アルゴリズムは、前記一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示す、
ことを特徴とする請求項６から請求項３０のいずれか１項に記載の方法。
【請求項３２】
前記符号化されたデータに含まれる前記情報量は、対応する前記生画像データと比較して少なくとも約２倍だけ圧縮されることを特徴とする請求項３１に記載の方法。
【請求項３３】
前記符号化されたデータに含まれる前記情報量は、対応する前記生画像データと比較して少なくとも約５倍だけ圧縮されることを特徴とする請求項３１に記載の方法。
【請求項３４】
前記符号化されたデータに含まれる前記情報量は、対応する前記生画像データと比較して少なくとも約１０倍だけ圧縮されることを特徴とする請求項３１に記載の方法。
【請求項３５】
前記脊椎動物は、ネズミ及びサルから構成されるリストから選択された少なくとも１つを含むことを特徴とする請求項１から請求項３４のいずれか１項に記載の方法。
【請求項３６】
前記網膜細胞は、神経節細胞を含むことを特徴とする請求項１から請求項３５のいずれか１項に記載の方法。
【請求項３７】
前記網膜細胞は、少なくとも２つの部類の細胞を含むことを特徴とする請求項１から請求項３６のいずれか１項に記載の方法。
【請求項３８】
前記少なくとも２つの部類の細胞は、ＯＮ細胞とＯＦＦ細胞を含むことを特徴とする請求項１から請求項３７のいずれか１項に記載の方法。
【請求項３９】
前記符号化器は、時空的に変化する画像を含む自然光景画像を含む様々な入力にわたって脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられることを特徴とする請求項１から請求項３８のいずれか１項に記載の方法。
【請求項４０】
生画像データを格納するように構成された少なくとも１つのメモリストレージデバイスと、
前記メモリと作動可能に結合され、かつ請求項１から請求項３８のいずれか１項に記載の方法を実行するようにプログラムされた少なくとも１つのプロセッサと、
を含むことを特徴とする装置。
【請求項４１】
請求項１から請求項３８のいずれか１項に記載の方法の段階を実施するためのコンピュータ実行可能命令を有する持続性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願への相互参照〕
本出願は、米国特許仮出願第６１／５２７４９３号（２０１１年８月２５日出願）及び第６１／６５７４０６号（２０１２年６月８日出願）の利益を主張するものである。上述の出願の各々の内容は、その全体が引用によって組み込まれている。
【０００２】
本発明はまた、米国特許仮出願第６１／３０８，６８１号（２０１０年２月２６日出願）、第６１／３５９，１８８号（２０１０年６月２８日出願）、第６１／３７８，７９３号（２０１０年８月３１日出願）、及び第６１／３８２，２８０号（２０１０年９月１３日出願）に関し、米国特許出願第１３／２３０，４８８号（２０１１年９月１２日出願）に関し、かつ国際特許出願番号ＰＣＴ／ＵＳ２０１１／０２６５２６（２０１１年２月２８日出願）及びＰＣＴ／ＵＳ２０１１／０４９１８８号（２０１１年８月２５日出願）に関する。上述の出願の各々の内容は、その全体が引用によって組み込まれている。
【０００３】
〔連邦政府支援研究又は開発の記載〕
本発明は、米国国立衛生研究所（ＮＩＨ）の国立眼学研究所によって委託された「Ｒ０１  ＥＹ１２９７８」の下に米国政府の支援によって行われたものである。米国政府は、本発明にある一定の権利を有する。
【０００４】
本発明の開示は、機械視覚に使用するための方法及びデバイスに関する。特に、本発明の開示は、動物の網膜の性能を模倣する符号化器を用いて画像を処理し、処理された画像を機械視覚用途に使用する方法及びデバイスに関する。
【背景技術】
【０００５】
機械視覚（又はコンピュータ視覚）は、コンピュータが視覚情報を使用して例えば画像から情報を抽出し、何らかのタスクを解決し、又は広義又は狭義のいずれかの意味で光景を恐らく「理解」することを可能にする技術を指す。一般的に、機械視覚は、画像データからの情報の抽出に関わる。画像データは、単一画像、映像シーケンス、複数のカメラからの視野像、又はより高い次元のデータ（例えば、医療スキャナからの３次元画像）のような多くの形態を取る可能性がある。
【０００６】
機械視覚は、生産ライン上を通過する物体を計数するのに使用される産業システムのような比較的単純なタスクから顔認識及び知覚タスク（例えば、ロボットが複雑な環境の中を進むことを可能にする）のようなより複雑なタスクにわたる多くの用途を有する。機械視覚の用途例の非限定的リストは、工程を制御するためのシステム（例えば、産業ロボット又は自律走行車両）、イベントを検出するための（例えば、画像モニタ又は人数計数のための）システム、情報を編集するための（例えば、画像及び画像シーケンスのデータベースを索引付けするための）システム、物体又は環境をモデル化するためのシステム（例えば、工業検査、医療画像分析、又はトポグラフィモデル化）、並びに対話（例えば、コンピュータ−人間対話のためのデバイスへの入力としての）のためのシステムを含む。
【０００７】
多くの用途において、機械視覚は、計算上非常に高価なタスクを伴う。単一カラーデジタル画像は、数百万ピクセル又はそれよりも多くから構成される場合があり、その各々は、色空間（例えば、馴染み深いＲＧＢ色空間、ＹＣｂＣｒ空間、ＨＳＶ空間等）のピクセル座標を定める複数（例えば、８又は２４）ビット値のような関連付けられた値を有する。映像ストリームは、例えば、数百メガビット毎秒又はそれよりも多いビットレートに対応する数十フレーム毎秒のフレームレートにおけるそのような画像のシーケンスを含む場合がある。多くの機械視覚用途は、そのような画像又は映像ストリームの高速処理を必要とする（例えば、物体の運動を追跡して反応し、組み立てラインに沿って移動中の物体を識別又は分類し、ロボットがその環境に実時間で反応することを可能にするなどのために）。
【０００８】
そのような大量のデータをそのような時間拘束条件の下で処理するのは極めて困難である可能性がある。従って、既存の機械視覚タスクにおいて際立った画像データの特徴を保持しながら（又は強調さえもしながら）生の情報量を低減するように画像データを処理するための技術を見出すことが望ましいことになる。生データではなく、この予備処理された画像データが、次に、機械視覚システムに入力され、システムに対する処理負荷を軽減し、かつ十分に高速な応答及び潜在的に改善された性能を可能にすることができると考えられる。
【０００９】
脊椎動物の目の網膜は、視覚刺激を取得し、この刺激を脳が理解することができる形態に変換するまさにこの性質の画像処理を可能にすることが認識されている。このシステム（数百万年の進化の途上で発達した）は、哺乳動物（特にサル及びヒト）における高レベルの複雑な視覚認識によって証明されるように、際立って効率的かつ有効である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許仮出願第６１／５２７４９３号
【特許文献２】米国特許仮出願第６１／６５７４０６号
【特許文献３】米国特許仮出願第６１／３０８，６８１号明細書
【特許文献４】米国特許仮出願第６１／３５９，１８８号明細書
【特許文献５】米国特許仮出願第６１／３７８，７９３号明細書
【特許文献６】米国特許仮出願第６１／３８２，２８０号明細書
【特許文献７】米国特許出願第１３／２３０，４８８号明細書
【特許文献８】国際特許出願ＰＣＴ／ＵＳ２０１１／０２６５２６号明細書
【特許文献９】国際特許出願ＰＣＴ／ＵＳ２０１１／０４９１８８号明細書
【特許文献１０】欧州特許出願第１９８９１９７６号明細書
【特許文献１１】国際特許出願ＷＯ１９９６０１３５９８号明細書
【特許文献１２】国際特許出願ＷＯ１９９８０４８０２７号明細書
【特許文献１３】国際特許出願ＷＯ２００００１５８２２号明細書
【特許文献１４】国際特許出願ＷＯ２００１０９４６０５号明細書
【特許文献１５】国際特許出願ＷＯ２００２０８２９０４号明細書
【特許文献１６】国際特許出願ＷＯ２００３０４７５２５号明細書
【特許文献１７】国際特許出願ＷＯ２００３０８０６４８号明細書
【特許文献１８】国際特許出願ＷＯ２００３０９３４７９号明細書
【特許文献１９】国際特許出願ＷＯ２００３１０４４１３号明細書
【特許文献２０】国際特許出願ＷＯ２００５０８０５７３号明細書
【特許文献２１】国際特許出願ＷＯ２００７１２７４２８号明細書
【特許文献２２】国際特許出願ＷＯ２０１００１１４０４号明細書
【特許文献２３】米国特許第７１４９５８６号明細書
【特許文献２４】米国特許第５，８５６，１５２号明細書
【特許文献２５】米国特許第５，８７１，９８２号明細書
【特許文献２６】米国特許第６５３３７９８号明細書
【特許文献２７】米国特許出願第２００８０２２１６５３号明細書
【特許文献２８】米国特許出願第２００８０２４９５８８号明細書
【特許文献２９】米国特許出願第２００９００８８３９９号明細書
【特許文献３０】米国特許出願第２００９０３２６６２３号明細書
【特許文献３１】米国特許出願第２０１００２７２６８８号明細書
【特許文献３２】米国特許出願第２００７０２６１１２７号明細書
【非特許文献】
【００１１】
【非特許文献１】Ａｈｕｊａ  Ａ，Ｄｏｒｎ  Ｊ，Ｃａｓｐｉ  Ａ，ＭｃＭａｈｏｎ  Ｍ，Ｄａｇｎｅｌｉｅ  Ｇ，Ｄａｃｒｕｚ  Ｌ，Ｓｔａｎｇａ  Ｐ，Ｈｕｍａｙｕｎ  Ｍ，Ｇｒｅｅｎｂｅｒｇ  Ｒ  （２０１０）  Ｂｌｉｎｄ  ｓｕｂｊｅｃｔｓ  ｉｍｐｌａｎｔｅｄ  ｗｉｔｈ  ｔｈｅ  Ａｒｇｕｓ  ＩＩ  ｒｅｔｉｎａｌ  ｐｒｏｓｔｈｅｓｉｓ  ａｒｅ  ａｂｌｅ  ｔｏ  ｉｍｐｒｏｖｅ  ｐｅｒｆｏｒｍａｎｃｅ  ｉｎ  ａ  ｓｐａｔｉａｌ−ｍｏｔｏｒ  ｔａｓｋ．Ｂｒ  Ｊ  Ｏｐｈｔｈａｌｍｏｌ
【非特許文献２】Ａｒｅｎｋｉｅｌ  ｅｔ  ａｌ．，Ｉｎ  ｖｉｖｏ  ｌｉｇｈｔ−ｉｎｄｕｃｅｄ  ａｃｔｉｖａｔｉｏｎ  ｏｆ  ｎｅｕｒａｌ  ｃｉｒｃｕｉｔｒｙ  ｉｎ  ｔｒａｎｓｇｅｎｉｃ  ｍｉｃｅ  ｅｘｐｒｅｓｓｉｎｇ  ｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２．Ｎｅｕｒｏｎ  （２００７）  ５４（２）：２０５−１８．
【非特許文献３】Ａｕｓｕｂｅｌ  ｅｔ  ａｌ．，Ｃｕｒｒｅｎｔ  Ｐｒｏｔｏｃｏｌｓ  ｉｎ  Ｍｏｌｅｃｕｌａｒ  Ｂｉｏｌｏｇｙ  ，Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ，Ｎｅｗ  Ｙｏｒｋ，１９８９
【非特許文献４】Ｂａｃｈ，Ｍ    ｅｔ  ａｌ  （２００８）  Ｖｉｓｕａｌ  ｅｖｏｋｅｄ  ｐｏｔｅｎｔｉａｌ−ｂａｓｅｄ  ａｃｕｉｔｙ  ａｓｓｅｓｓｍｅｎｔ  ｉｎ  ｎｏｒｍａｌ  ｖｉｓｉｏｎ，ａｒｔｉｆｉｃｉａｌｌｙ  ｄｅｇｒａｄｅｄ  ｖｉｓｉｏｎ，ａｎｄ  ｉｎ  ｐａｔｉｅｎｔｓ．Ｂｒ  Ｊ  Ｏｐｈｔｈａｌｍｏｌ  ９２：３９６−４０３
【非特許文献５】Ｂａｒｎｓｔａｂｌｅ  ｅｔ  ａｌ．，Ｔｈｙ−１  ａｎｔｉｇｅｎ：ａ  ｇａｎｇｌｉｏｎ  ｃｅｌｌ  ｓｐｅｃｉｆｉｃ  ｍａｒｋｅｒ  ｉｎ  ｒｏｄｅｎｔ  ｒｅｔｉｎａ．Ｎｅｕｒｏｓｃｉｅｎｃｅ  （１９８４）  １１（４）：８４７−５５
【非特許文献６】Ｂｉ  Ａ，Ｃｕｉ  Ｊ，Ｍａ  Ｙ−Ｐ，Ｏｌｓｈｅｖｓｋａｙａ  Ｅ，Ｐｕ  Ｍ，Ｄｉｚｈｏｏｒ  ＡＭ，Ｐａｎ  Ｚ−Ｈ  （２００６）  Ｅｃｔｏｐｉｃ  ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  ａ  ｍｉｃｒｏｂｉａｌ−ｔｙｐｅ  ｒｈｏｄｏｐｓｉｎ  ｒｅｓｔｏｒｅｓ  ｖｉｓｕａｌ  ｒｅｓｐｏｎｓｅｓ  ｉｎ  ｍｉｃｅ  ｗｉｔｈ  ｐｈｏｔｏｒｅｃｅｐｔｏｒ  ｄｅｇｅｎｅｒａｔｉｏｎ．Ｎｅｕｒｏｎ  ５０：２３−３３
【非特許文献７】Ｂｏｍａｓｈ  Ｉ，Ｒｏｕｄｉ  Ｙ，Ｎｉｒｅｎｂｅｒｇ  Ｓ．（２０１０）  Ａ  ｖｉｒｔｕａｌ  ｒｅｔｉｎａ  ｔｈａｔ  ｗｏｒｋｓ  ｏｎ  ａ  ｂｒｏａｄ  ａｒｒａｙ  ｏｆ  ｓｔｉｍｕｌｉ  ｉｎｃｌｕｄｉｎｇ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ：Ａ  ｔｏｏｌ  ｔｏ  ｓｉｍｐｌｉｆｙ  ｔｈｅ  ｐｒｏｂｌｅｍ  ｏｆ  ｐｏｐｕｌａｔｉｏｎ  ｃｏｄｉｎｇ．Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｎｅｕｒｏｓｃｉｅｎｃｅ．Ｐｒｏｇｒａｍ  Ｎｏ．８９１．５
【非特許文献８】Ｂｏｏｋｓｔｅｉｎ  Ｒ  ｅｔ  ａｌ  （１９９０）    Ｐｒｏｍｏｔｅｒ  ｄｅｌｅｔｉｏｎ  ａｎｄ  ｌｏｓｓ  ｏｆ  ｒｅｔｉｎｏｂｌａｓｔｏｍａ  ｇｅｎｅ  ｅｘｐｒｅｓｓｉｏｎ  ｉｎ  ｈｕｍａｎ  ｐｒｏｓｔａｔｅ  ｃａｒｃｉｎｏｍａ．Ｐｒｏｃ．Ｎａｔｉ．Ａｃａｄ．Ｓｃｉ．ＵＳＡ  ８７  （１９）：７７６２−７７６６
【非特許文献９】Ｂｕｓｓｋａｍｐ  Ｖ，ｅｔ  ａｌ    （２０１０）  Ｇｅｎｅｔｉｃ  ｒｅａｃｔｉｖａｔｉｏｎ  ｏｆ  ｃｏｎｅ  ｐｈｏｔｏｒｅｃｅｐｔｏｒｓ  ｒｅｓｔｏｒｅｓ  ｖｉｓｕａｌ  ｒｅｓｐｏｎｓｅｓ  ｉｎ  ｒｅｔｉｎｉｔｉｓ  ｐｉｇｍｅｎｔｏｓａ．Ｓｃｉｅｎｃｅ  ３２９：４１３−４１７
【非特許文献１０】Ｃａｉ  ｅｔ  ａｌ．（２０１０）  Ｇｅｎｅ  ｄｅｌｉｖｅｒｙ  ｔｏ  ｍｉｔｏｔｉｃ  ａｎｄ  ｐｏｓｔｍｉｔｏｔｉｃ  ｐｈｏｔｏｒｅｃｅｐｔｏｒｓ  バイア  ｃｏｍｐａｃｔｅｄ  ＤＮＡ  ｎａｎｏｐａｒｔｉｃｌｅｓ  ｒｅｓｕｌｔｓ  ｉｎ  ｉｍｐｒｏｖｅｄ  ｐｈｅｎｏｔｙｐｅ  ｉｎ  ａ  ｍｏｕｓｅ  ｍｏｄｅｌ  ｏｆ  ｒｅｔｉｎｉｔｉｓ  ｐｉｇｍｅｎｔｏｓａ．ＦＡＳＥＢ  Ｊ．２４：１１７８−１１９１
【非特許文献１１】Ｃａｍｐａｇｎｏｌａ  Ｌ，Ｗａｎｇ  Ｈ，Ｚｙｌｋａ  ＭＪ．（２００８）  Ｆｉｂｅｒ−ｃｏｕｐｌｅｄ  ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ  ｆｏｒ  ｌｏｃａｌｉｚｅｄ  ｐｈｏｔｏｓｔｉｍｕｌａｔｉｏｎ  ｏｆ  ｎｅｕｒｏｎｓ  ｅｘｐｒｅｓｓｉｎｇ  ｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２．Ｊｏｕｒｎａｌ  ｏｆ  Ｎｅｕｒｏｓｃｉｅｎｃｅ  Ｍｅｔｈｏｄｓ．１６９：２７−３３
【非特許文献１２】Ｃａｒｄｉｎ  ＪＡ，ｅｔ  ａｌ  （２０１０）  Ｔａｒｇｅｔｅｄ  ｏｐｔｏｇｅｎｅｔｉｃ  ｓｔｉｍｕｌａｔｉｏｎ  ａｎｄ  ｒｅｃｏｒｄｉｎｇ  ｏｆ  ｎｅｕｒｏｎｓ  ｉｎ  ｖｉｖｏ  ｕｓｉｎｇ  ｃｅｌｌ−ｔｙｐｅ−ｓｐｅｃｉｆｉｃ  ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  Ｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２．Ｎａｔ  Ｐｒｏｔｏｃ  ５（２）：２４７−５４
【非特許文献１３】Ｃｈａｄｅｒ  ＧＪ，Ｗｅｉｌａｎｄ  Ｊ，Ｈｕｍａｙｕｎ  ＭＳ  （２００９）  Ａｒｔｉｆｉｃｉａｌ  ｖｉｓｉｏｎ：ｎｅｅｄｓ，ｆｕｎｃｔｉｏｎｉｎｇ，ａｎｄ  ｔｅｓｔｉｎｇ  ｏｆ  ａ  ｒｅｔｉｎａｌ  ｅｌｅｃｔｒｏｎｉｃ  ｐｒｏｓｔｈｅｓｉｓ．Ｐｒｏｇ  Ｂｒａｉｎ  Ｒｅｓ  １７５：３１７−３３２
【非特許文献１４】Ｃｈｉａｐｐａ，Ｋ．（１９９７）  Ｅｖｏｋｅｄ  Ｒｅｓｐｏｎｓｅｓ  ｉｎ  Ｃｌｉｎｉｃａｌ  Ｍｅｄｉｃｉｎｅ，Ｔｈｉｒｄ  Ｅｄｉｔｉｏｎ，Ｌｉｐｐｉｎｃｏｔｔ−Ｒａｖｅｎ
【非特許文献１５】Ｃｈｉｃｈｉｌｎｉｓｋｙ  ＥＪ．（２００１）  Ａ  ｓｉｍｐｌｅ  ｗｈｉｔｅ  ｎｏｉｓｅ  ａｎａｌｙｓｉｓ  ｏｆ  ｎｅｕｒｏｎａｌ  ｌｉｇｈｔ  ｒｅｓｐｏｎｓｅｓ．Ｎｅｔｗｏｒｋ  １２（２）：１９９−２１３
【非特許文献１６】Ｃｈｏｐｄａｒ  Ａ，Ｃｈａｋｒａｖａｒｔｈｙ  Ｕ，Ｖｅｒｍａ  Ｄ  （２００３）  Ａｇｅ  ｒｅｌａｔｅｄ  ｍａｃｕｌａｒ  ｄｅｇｅｎｅｒａｔｉｏｎ．ＢＭＪ  ３２６：４８５−４８８
【非特許文献１７】Ｃｏｖｅｒ  Ｔ  ａｎｄ  Ｔｈｏｍａｓ  Ｊ．  （２００６）    Ｅｌｅｍｅｎｔｓ  ｏｆ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ，２ｎｄ  Ｅｄｉｔｉｏｎ．Ｈｏｂｏｋｅｎ，ＮＪ：Ｗｉｌｅｙ
【非特許文献１８】Ｄａｎｎ  ＪＦ，Ｂｕｈｌ  ＥＨ．（１９８７）  Ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｐｒｏｊｅｃｔｉｎｇ  ｔｏ  ｔｈｅ  ａｃｃｅｓｓｏｒｙ  ｏｐｔｉｃ  ｓｙｓｔｅｍ  ｉｎ  ｔｈｅ  ｒａｔ．Ｊ  Ｃｏｍｐ  Ｎｅｕｒｏｌ  ２６２（１）：１４１−５８
【非特許文献１９】Ｄｅｄｅｋ  Ｋ，ｅｔ  ａｌ  （２００８）  Ｇａｎｇｌｉｏｎ  ｃｅｌｌ  ａｄａｐｔａｂｉｌｉｔｙ：ｄｏｅｓ  ｔｈｅ  ｃｏｕｐｌｉｎｇ  ｏｆ  ｈｏｒｉｚｏｎｔａｌ  ｃｅｌｌｓ  ｐｌａｙ  ａ  ｒｏｌｅ？    ＰＬｏＳ  Ｏｎｅ．３（３）：ｅ１７１４
【非特許文献２０】Ｄｏｕｇｌａｓ  ＲＭ  ｅｔ  ａｌ  （２００５）    Ｉｎｄｅｐｅｎｄｅｎｔ  ｖｉｓｕａｌ  ｔｈｒｅｓｈｏｌｄ  ｍｅａｓｕｒｅｍｅｎｔｓ  ｉｎ  ｔｈｅ  ｔｗｏ  ｅｙｅｓ  ｏｆ  ｆｒｅｅｌｙ  ｍｏｖｉｎｇ  ｒａｔｓ  ａｎｄ  ｍｉｃｅ  ｕｓｉｎｇ  ａ  ｖｉｒｔｕａｌ−ｒｅａｌｉｔｙ  ｏｐｔｏｋｉｎｅｔｉｃ  ｓｙｓｔｅｍ．  Ｖｉｓ  Ｎｅｕｒｏｓｃｉ．２２（５）：６７７−８４
【非特許文献２１】Ｄｕｄａ  ＲＯ，Ｈａｒｔ  ＰＥ    （２００１）  Ｐａｔｔｅｒｎ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  （２ｎｄ  Ｅｄｉｔｉｏｎ）  Ｗｉｌｅｙ，ＮＹ
【非特許文献２２】Ｅｎｒｏｔｈ−Ｃｕｇｅｌｌ  ｅｔ  ａｌ．，（１９６６）  Ｔｈｅ  ｃｏｎｔｒａｓｔ  ｓｅｎｓｉｔｉｖｉｔｙ  ｏｆ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｏｆ  ｔｈｅ  ｃａｔ．Ｊ  Ｐｈｙｓｉｏｌ  １８７（３）：５１７−−５２．
【非特許文献２３】Ｆａｍｕｌａｒｅ  Ｍ，Ｆａｉｒｈａｌｌ  Ａ．（２０１０）  Ｆｅａｔｕｒｅ  ｓｅｌｅｃｔｉｏｎ  ｉｎ  ｓｉｍｐｌｅ  ｎｅｕｒｏｎｓ：ｈｏｗ  ｃｏｄｉｎｇ  ｄｅｐｅｎｄｓ  ｏｎ  ｓｐｉｋｉｎｇ  ｄｙｎａｍｉｃｓ．Ｎｅｕｒａｌ  Ｃｏｍｐｕｔ  ２２（３）：５８１−９８
【非特許文献２４】Ｆｉｅｌｄ  ｅｔ  ａｌ．，（２００７）  Ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓｉｎｇ  ｉｎ  ｔｈｅ  ｐｒｉｍａｔｅ  ｒｅｔｉｎａ：ｃｉｒｃｕｉｔｒｙ  ａｎｄ  ｃｏｄｉｎｇ．Ａｎｎｕ  Ｒｅｖ  Ｎｅｕｒｏｓｃｉ  ３０：１−−３０
【非特許文献２５】Ｆｉｔｚｇｅｒａｌｄ  ｅｔ  ａｌ．（１９９４）  Ｒｅｔｉｎａｌ  ｓｉｇｎａｌ  ｔｒａｎｓｍｉｓｓｉｏｎ  ｉｎ  Ｄｕｃｈｅｎｎｅ  ｍｕｓｃｕｌａｒ  ｄｙｓｔｒｏｐｈｙ．Ｊ  Ｃｌｉｎ  Ｉｎｖｅｓｔ  ９３：２４２５−３０
【非特許文献２６】Ｆｏｌｅｙ  ＪＭ，Ｌｅｇｇｅ  ＧＥ  （１９８１）  Ｃｏｎｔｒａｓｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｎｅａｒ−ｔｈｒｅｓｈｏｌｄ  ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ｉｎ  ｈｕｍａｎ  ｖｉｓｉｏｎ．  Ｖｉｓｉｏｎ  Ｒｅｓ．２１（７）：１０４１−５３
【非特許文献２７】Ｆｒｉｅｄ  Ｓ，Ｗｅｒｂｌｉｎ  Ｆ，ＭｃＭａｈｏｎ  ＭＪ  （２００６）  ＵＳ  Ｐａｔ．２００６／０１２９２０７  Ｍｉｍｉｃｋｉｎｇ  ｎｅｕｒａｌ  ｃｏｄｉｎｇ  ｉｎ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｗｉｔｈ  ｓｈｏｒｔ  ｐｕｌｓｅ  ｅｌｅｃｔｒｉｃａｌ  ｓｔｉｍｕｌａｔｉｏｎ．Ｉｎ：（ＵＳ，ｅｄ）
【非特許文献２８】Ｆｒｉｅｄｍａｎ  ＤＳ，Ｏ’Ｃｏｌｍａｉｎ  ＢＪ，Ｍｕｎｏｚ  Ｂ，Ｔｏｍａｎｙ  ＳＣ，ＭｃＣａｒｔｙ  Ｃ，ｄｅ  Ｊｏｎｇ  ＰＴＶＭ，Ｎｅｍｅｓｕｒｅ  Ｂ，Ｍｉｔｃｈｅｌｌ  Ｐ，Ｋｅｍｐｅｎ  Ｊ，Ｅｙｅ  Ｄｉｓｅａｓｅｓ  Ｐｒｅｖａｌｅｎｃｅ  Ｒｅｓｅａｒｃｈ  Ｇｒｏｕｐ  （２００４）  Ｐｒｅｖａｌｅｎｃｅ  ｏｆ  ａｇｅ−ｒｅｌａｔｅｄ  ｍａｃｕｌａｒ  ｄｅｇｅｎｅｒａｔｉｏｎ  ｉｎ  ｔｈｅ  Ｕｎｉｔｅｄ  Ｓｔａｔｅｓ．Ａｒｃｈ  Ｏｐｈｔｈａｌｍｏｌ  １２２：５６４−５７２
【非特許文献２９】Ｇｅｉｓｌｅｒ  ＷＳ  （２００）．Ｖｉｓｕａｌ  ｐｅｒｃｅｐｔｉｏｎ  ａｎｄ  ｔｈｅ  ｓｔａｔｉｓｔｉｃａｌ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ．  Ａｎｎｕ．Ｒｅｖ．Ｐｓｙｃｈｏｌ．５９：１６７−９２  （２００８）
【非特許文献３０】Ｇｅｒｄｉｎｇ  Ｈ，Ｂｅｎｎｅｒ  ＦＰ，Ｔａｎｅｒｉ  Ｓ  （２００７）  Ｅｘｐｅｒｉｍｅｎｔａｌ  ｉｍｐｌａｎｔａｔｉｏｎ  ｏｆ  ｅｐｉｒｅｔｉｎａｌ  ｒｅｔｉｎａ  ｉｍｐｌａｎｔｓ  （ＥＰＩ−ＲＥＴ）  ｗｉｔｈ  ａｎ  ＩＯＬ−ｔｙｐｅ  ｒｅｃｅｉｖｅｒ  ｕｎｉｔ．Ｊ  Ｎｅｕｒａｌ  Ｅｎｇ  ４：Ｓ３８−４９
【非特許文献３１】Ｇｉｏｌｌｉ  ＲＡ，Ｂｌａｎｋｓ  ＲＨＩ，Ｌｕｉ  Ｆ．（２００５）  Ｔｈｅ  ａｃｃｅｓｓｏｒｙ  ｏｐｔｉｃ  ｓｙｓｔｅｍ：ｂａｓｉｃ  ｏｒｇａｎｉｚａｔｉｏｎ  ｗｉｔｈ  ａｎ  ｕｐｄａｔｅ  ｏｎ  ｃｏｎｎｅｃｔｉｖｉｔｙ，ｎｅｕｒｏｃｈｅｍｉｓｔｒｙ，ａｎｄ  ｆｕｎｃｔｉｏｎ．Ｐｒｏｇ  Ｂｒａｉｎ  Ｒｅｓ  １５１：４０７−４０
【非特許文献３２】Ｇｏｌａｎ  Ｌ，Ｒｅｕｔｓｋｙ  Ｉ，Ｆａｒａｈ  Ｎ  ＆  Ｓｈｏｈａｍ  Ｓ．  （２００９）  Ｄｅｓｉｇｎ  ａｎｄ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  ｈｏｌｏｇｒａｐｈｉｃ  ｎｅｕｒａｌ  ｐｈｏｔｏ−ｓｔｉｍｕｌａｔｉｏｎ  ｓｙｓｔｅｍｓ，Ｊｏｕｒｎａｌ  ｏｆ  Ｎｅｕｒａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ  ６  ０６６００４，（２００９）
【非特許文献３３】Ｇｒａｈａｍ−Ｒｏｗｅ  Ｄ  （２００９）  Ａ  Ｂｒｉｇｈｔｅｒ  Ｆｕｔｕｒｅ  ｆｏｒ  Ｒｅｔｉｎａｌ  Ｉｍｐｌａｎｔｓ．Ｉｎ：Ｔｅｃｈｎｏｌｏｇｙ  Ｒｅｖｉｅｗ，ｈｔｔｐ：／／ｗｗｗ．ｔｅｃｈｎｏｌｏｇｙｒｅｖｉｅｗ．ｃｏｍ／ｂｉｏｍｅｄｉｃｉｎｅ／２３５３９／．Ｂｏｓｔｏｎ，ＭＡ：ＭＩＴ
【非特許文献３４】Ｇｒｅｅｎｂｅｒｇ  ＫＰ，ｅｔ  ａｌ．（２０１１）．  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｔａｒｇｅｔｉｎｇ  ｏｆ  Ｏｐｔｉｃａｌ  Ｎｅｕｒｏｍｏｄｕｌａｔｏｒｓ  ｔｏ  Ｇａｎｇｌｉｏｎ  Ｃｅｌｌ  Ｓｏｍａ  ａｎｄ  Ｄｅｎｄｒｉｔｅｓ  Ａｌｌｏｗｓ  Ｄｙｎａｍｉｃ  Ｃｏｎｔｒｏｌ  ｏｆ  Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄ  Ａｎｔａｇｏｎｉｓｍ．  Ｎｅｕｒｏｎ  ６９，７１３−７２０
【非特許文献３５】Ｇｒｉｎｓｔｅａｄ  ＣＭ  ａｎｄ  Ｓｎｅｌｌ  ＪＬ  （１９９７）  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｐｒｏｂａｂｉｌｉｔｙ．  Ａｍｅｒｉｃａｎ  Ｍａｔｈｅｍａｔｉｃａｌ  Ｓｏｃｉｅｔｙ；  ２ｎｄ  Ｒｅｖｉｓｅｄ  ｅｄｉｔｉｏｎ
【非特許文献３６】Ｇｒｏｓｓｍａｎ  Ｎ，Ｐｏｈｅｒ  Ｖ，Ｇｒｕｂｂ  ＭＳ，Ｋｅｎｎｅｄｙ  ＧＴ，Ｎｉｋｏｌｉｃ  Ｋ，ＭｃＧｏｖｅｒｎ  Ｂ，Ｐａｌｍｉｎｉ  ＲＢ，Ｇｏｎｇ  Ｚ，Ｄｒａｋａｋｉｓ  ＥＭ，Ｎｅｉｌ，ＭＡＡ，Ｄａｗｓｏｎ  ＭＤ，Ｂｕｒｒｏｎｅ  Ｊ，Ｄｅｇｅｎａａｒ  Ｐ．（２０１０）  Ｍｕｌｔｉ−ｓｉｔｅ  ｏｐｔｉｃａｌ  ｅｘｃｉｔａｔｉｏｎ  ｕｓｉｎｇ  ＣｈＲ２  ａｎｄ  ｍｉｃｒｏ−ＬＥＤ  ａｒｒａｙ．Ｊ．Ｎｅｕｒａｌ  Ｅｎｇ，７（１）：１−１３
【非特許文献３７】Ｈａｎ  ｅｔ  ａｌ，（２００９），Ｍｉｌｌｉｓｅｃｏｎｄ−Ｔｉｍｅｓｃａｌｅ  Ｏｐｔｉｃａｌ  Ｃｏｎｔｒｏｌ  ｏｆ  Ｎｅｕｒａｌ  Ｄｙｎａｍｉｃｓ  ｉｎ  ｔｈｅ  Ｎｏｎｈｕｍａｎ  Ｐｒｉｍａｔｅ  Ｂｒａｉｎ，Ｎｅｕｒｏｎ  ６２，１９１−１９８
【非特許文献３８】Ｈａｎｄ  ＤＪ．（１９８１）  Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｗｉｌｅｙ  Ｓｅｒｉｅｓ  ｉｎ  Ｐｒｏｂａｂｉｌｉｔｙ  ａｎｄ  Ｍａｔｈｅｍａｔｉｃａｌ  Ｓｔａｔｉｓｔｉｃｓ
【非特許文献３９】Ｈｕｂｅｒｍａｎ  ＡＤ，Ｍａｎｕ  Ｍ，Ｋｏｃｈ  ＳＭ，Ｓｕｓｍａｎ  ＭＷ，Ｌｕｔｚ  ＡＢ，Ｕｌｌｉａｎ  ＥＭ，Ｂａｃｃｕｓ  ＳＡ，Ｂａｒｒｅｓ  ＢＡ  （２００８）  Ａｒｃｈｉｔｅｃｔｕｒｅ  ａｎｄ  ａｃｔｉｖｉｔｙ−ｍｅｄｉａｔｅｄ  ｒｅｆｉｎｅｍｅｎｔ  ｏｆ  ａｘｏｎａｌ  ｐｒｏｊｅｃｔｉｏｎｓ  ｆｒｏｍ  ａ  ｍｏｓａｉｃ  ｏｆ  ｇｅｎｅｔｉｃａｌｌｙ  ｉｄｅｎｔｉｆｉｅｄ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ．Ｎｅｕｒｏｎ．２００８  Ａｕｇ  １４；５９（３）：４２５−３８
【非特許文献４０】Ｈｕｂｅｒｍａｎ  ＡＤ，Ｗｅｉ  Ｗ，Ｅｌｓｔｒｏｔｔ  Ｊ，Ｓｔａｆｆｏｒｄ  ＢＫ，Ｆｅｌｌｅｒ  ＭＢ，Ｂａｒｒｅｓ  ＢＡ  （２００９）  Ｇｅｎｅｔｉｃ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  ａｎ  Ｏｎ−Ｏｆｆ  Ｄｉｒｅｃｔｉｏｎ−Ｓｅｌｅｃｔｉｖｅ  Ｒｅｔｉｎａｌ  Ｇａｎｇｌｉｏｎ  Ｃｅｌｌ  Ｓｕｂｔｙｐｅ  Ｒｅｖｅａｌｓ  ａ  Ｌａｙｅｒ−Ｓｐｅｃｉｆｉｃ  Ｓｕｂｃｏｒｔｉｃａｌ  Ｍａｐ  ｏｆ  Ｐｏｓｔｅｒｉｏｒ  Ｍｏｔｉｏｎ．Ｎｅｕｒｏｎ．６２（３）：３２７−３３４
【非特許文献４１】Ｉｖａｎｏｖａ  Ｅ，Ｐａｎ  Ｚ−Ｈ  （２００９）  Ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｔｈｅ  ａｄｅｎｏ−ａｓｓｏｃｉａｔｅｄ  ｖｉｒｕｓ  ｍｅｄｉａｔｅｄ  ｌｏｎｇ−ｔｅｒｍ  ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  ｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２  ｉｎ  ｔｈｅ  ｍｏｕｓｅ  ｒｅｔｉｎａ．Ｍｏｌｅｃｕｌａｒ  Ｖｉｓｉｏｎ  １５：１６８０−１６８９
【非特許文献４２】Ｉｚｈｉｋｅｖｉｃｈ  ＥＭ    （２００７）    Ｄｙｎａｍｉｃａｌ  ｓｙｓｔｅｍｓ  ｉｎ  ｎｅｕｒｏｓｃｉｅｎｃｅ：ｔｈｅ  ｇｅｏｍｅｔｒｙ  ｏｆ  ｅｘｃｉｔａｂｉｌｉｔｙ  ａｎｄ  ｂｕｒｓｔｉｎｇ．Ｃａｍｂｒｉｄｇｅ，ＭＡ：ＭＩＴ  Ｐｒｅｓｓ
【非特許文献４３】Ｉｚｈｉｋｅｖｉｃｈ  ＥＭ  （２０１０）  Ｈｙｂｒｉｄ  ｓｐｉｋｉｎｇ  ｍｏｄｅｌｓ．Ｒｅｖｉｅｗ．    Ｐｈｉｌ．Ｔｒａｎｓ．Ｒ．Ｓｏｃ．Ａ  （２０１０）  ３６８，５０６１−５０７０
【非特許文献４４】Ｊａｃｏｂｓ  ＡＬ  ｅｔ  ａｌ  （２００９）  ，Ｒｕｌｉｎｇ  ｏｕｔ  ａｎｄ  ｒｕｌｉｎｇ  ｉｎ  ｎｅｕｒａｌ  ｃｏｄｅｓ．Ｐｒｏｃ  Ｎａｔｌ  Ａｃａｄ  Ｓｃｉ  Ｕ  Ｓ  Ａ．１０６（１４）：５９３６−４１
【非特許文献４５】Ｊｅｆｆｒｅｙｓ，Ｈａｒｏｌｄ  （１９６１）．Ｔｈｅ  Ｔｈｅｏｒｙ  ｏｆ  Ｐｒｏｂａｂｉｌｉｔｙ．Ｔｈｅ  Ｏｘｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ
【非特許文献４６】Ｋａｓｓ  ＲＥ，Ｖｅｎｔｕｒａ  Ｖ，Ｂｒｏｗｎ  ＥＮ．（２００５）  Ｓｔａｔｉｓｔｉｃａｌ  ｉｓｓｕｅｓ  ｉｎ  ｔｈｅ  ａｎａｌｙｓｉｓ  ｏｆ  ｎｅｕｒｏｎａｌ  ｄａｔａ．Ｊ  Ｎｅｕｒｏｐｈｙｓｉｏｌ  ９４（１）：８−２５
【非特許文献４７】Ｋａｗａｓａｋｉ  ｅｔ  ａｌ．，Ｖａｒｉａｂｉｌｉｔｙ  ｏｆ  ｔｈｅ  ｒｅｌａｔｉｖｅ  ａｆｆｅｒｅｎｔ  ｐｕｐｉｌｌａｒｙ  ｄｅｆｅｃｔ．Ａｍ  Ｊ  Ｏｐｈｔｈａｌｍｏｌ（１９９５）．１２０：６２２−６３３
【非特許文献４８】Ｋａｙ  ＭＡ，Ｇｌｏｒｉｏｓｏ  ＪＣ，Ｎａｌｄｉｎｉ  Ｌ．（２００１）  Ｖｉｒａｌ  ｖｅｃｔｏｒｓ  ｆｏｒ  ｇｅｎｅ  ｔｈｅｒａｐｙ：ｔｈｅ  ａｒｔ  ｏｆ  ｔｕｒｎｉｎｇ  ｉｎｆｅｃｔｉｏｕｓ  ａｇｅｎｔｓ  ｉｎｔｏ  ｖｅｈｉｃｌｅｓ  ｏｆ  ｔｈｅｒａｐｅｕｔｉｃｓ．Ｎａｔ  Ｍｅｄ．７（１）：３３−４０．Ｒｅｖｉｅｗ
【非特許文献４９】Ｋｅｌｌｙ  Ｓ，Ｓｈｉｒｅ  Ｄ，Ｃｈｅｎ  Ｊ，Ｄｏｙｌｅ  Ｐ，Ｇｉｎｇｅｒｉｃｈ  Ｍ，Ｄｒｏｈａｎ  Ｗ，Ｔｈｅｏｇａｒａｊａｎ  Ｌ，Ｃｏｇａｎ  Ｓ，Ｗｙａｔｔ  Ｊ，Ｒｉｚｚｏ  ＪＩ  （２００９）  Ｒｅａｌｉｚａｔｉｏｎ  ｏｆ  ａ  １５−ｃｈａｎｎｅｌ，ｈｅｒｍｅｔｉｃａｌｌｙ−ｅｎｃａｓｅｄ  ｗｉｒｅｌｅｓｓ  ｓｕｂｒｅｔｉｎａｌ  ｐｒｏｓｔｈｅｓｉｓ  ｆｏｒ  ｔｈｅ  ｂｌｉｎｄ．Ｉｎ，ｐｐ  ２００−−２０３
【非特許文献５０】Ｋｉｂｂｅｌ  Ｓ，Ｈａｒｓｃｈｅｒ  Ａ，Ｗｒｏｂｅｌ  Ｗ−Ｇ，Ｚｒｅｎｎｅｒ  Ｅ，Ｒｏｔｈｅｒｍｅｌ  Ａ  （２００９）  Ｄｅｓｉｇｎ  ａｎｄ  Ｐｅｒｆｏｒｍａｎｃｅ  ｏｆ  ａｎ  ｉｍｐｒｏｖｅｄ  ａｃｔｉｖｅ  ｓｕｂｒｅｔｉｎａｌ  ｃｈｉｐ．Ｉｎ：Ｗｏｒｌｄ  Ｃｏｎｇｒｅｓｓ  ｏｎ  Ｍｅｄｉｃａｌ  Ｐｈｙｓｉｃｓ  ａｎｄ  Ｂｉｏｍｅｄｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｅｐｔｅｍｂｅｒ  ７  −  １２，２００９，Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ  （Ｋｉｍ  ＳＩ，Ｓｕｈ  ＴＳ，Ｄｏｓｓｅｌ  Ｏ，Ｓｃｈｌｅｇｅｌ  ＷＣ，ｅｄｓ），ｐｐ  １９２−１９５：Ｓｐｒｉｎｇｅｒ  Ｂｅｒｌｉｎ  Ｈｅｉｄｅｌｂｅｒｇ
【非特許文献５１】Ｋｏｉｌｋｏｎｄａ  ＲＤ，Ｈａｕｓｗｉｒｔｈ  ＷＷ，Ｇｕｙ  Ｊ．（２００９）  Ｅｆｆｉｃｉｅｎｔ  ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  ｓｅｌｆ−ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＡＡＶ  ｉｎ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｏｆ  ｔｈｅ  ｅｘ  ｖｉｖｏ  ｐｒｉｍａｔｅ  ｒｅｔｉｎａ．Ｍｏｌ  Ｖｉｓ．１５：２７９６−８０２
【非特許文献５２】Ｋｕｆｆｌｅｒ  ＳＷ．（１９５３）  Ｄｉｓｃｈａｒｇｅ  ｐａｔｔｅｒｎｓ  ａｎｄ  ｆｕｎｃｔｉｏｎａｌ  ｏｒｇａｎｉｚａｔｉｏｎ  ｏｆ  ｍａｍｍａｌｉａｎ  ｒｅｔｉｎａ．Ｊ  Ｎｅｕｒｏｐｈｙｓｉｏｌ  １６（１）：３７−６８
【非特許文献５３】Ｌａｇａｌｉ  ＰＳ，Ｂａｌｙａ  Ｄ，Ａｗａｔｒａｍａｎｉ  ＧＢ，Ｍｕｎｃｈ  ＴＡ，Ｋｉｍ  ＤＳ，Ｂｕｓｓｋａｍｐ  Ｖ，Ｃｅｐｋｏ  ＣＬ，Ｒｏｓｋａ  Ｂ  （２００８）  Ｌｉｇｈｔ−ａｃｔｉｖａｔｅｄ  ｃｈａｎｎｅｌｓ  ｔａｒｇｅｔｅｄ  ｔｏ  ＯＮ  ｂｉｐｏｌａｒ  ｃｅｌｌｓ  ｒｅｓｔｏｒｅ  ｖｉｓｕａｌ  ｆｕｎｃｔｉｏｎ  ｉｎ  ｒｅｔｉｎａｌ  ｄｅｇｅｎｅｒａｔｉｏｎ．Ｎａｔ  Ｎｅｕｒｏｓｃｉ  １１：６６７−６７５
【非特許文献５４】Ｌｅｓｉｃａ  ＮＡ  ｅｔ  ａｌ．（２００７）  Ａｄａｐｔａｔｉｏｎ  ｔｏ  ｓｔｉｍｕｌｕｓ  ｃｏｎｔｒａｓｔ  ａｎｄ  ｃｏｒｒｅｌａｔｉｏｎｓ  ｄｕｒｉｎｇ  ｎａｔｕｒａｌ  ｖｉｓｕａｌ  ｓｔｉｍｕｌａｔｉｏｎ．Ｎｅｕｒｏｎ  ５５（３）：４７９−４９１
【非特許文献５５】Ｌｅｔｔｖｉｎ  ｅｔ  ａｌ．，（１９５９）  Ｗｈａｔ  ｔｈｅ  ｆｒｏｇ’ｓ  ｅｙｅ  ｔｅｌｌｓ  ｔｈｅ  ｆｒｏｇ’ｓ  ｂｒａｉｎ．Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｒａｄｉｏ  Ｅｎｇｉｎｅｅｒｓ  ４７（１１）：１９４０−５１
【非特許文献５６】Ｌｉａｏ  ｅｔ  ａｌ．（２００７）  Ｉｎ  ｖｉｖｏ  ｇｅｎｅ  ｄｅｌｉｖｅｒｙ  ｉｎ  ｔｈｅ  ｒｅｔｉｎａ  ｕｓｉｎｇ  ｐｏｌｙｅｔｈｙｌｅｎｉｍｉｎｅ．ＢｉｏＴｅｃｈｎｉｑｕｅｓ  ２００７，４２：２８５−２８８
【非特許文献５７】Ｌｏｅｗｅｎｓｔｅｉｎ  ＪＩ，Ｍｏｎｔｅｚｕｍａ  ＳＲ，Ｒｉｚｚｏ  ＪＦ，ＩＩＩ  （２００４）  Ｏｕｔｅｒ  Ｒｅｔｉｎａｌ  Ｄｅｇｅｎｅｒａｔｉｏｎ：Ａｎ  Ｅｌｅｃｔｒｏｎｉｃ  Ｒｅｔｉｎａｌ  Ｐｒｏｓｔｈｅｓｉｓ  ａｓ  ａ  Ｔｒｅａｔｍｅｎｔ  Ｓｔｒａｔｅｇｙ．Ａｒｃｈ  Ｏｐｈｔｈａｌｍｏｌ  １２２：５８７−５９６
【非特許文献５８】Ｍａｇｕｉｒｅ  ｅｔ  ａｌ．Ｓａｆｅｔｙ  ａｎｄ  ｅｆｆｉｃａｃｙ  ｏｆ  ｇｅｎｅ  ｔｒａｎｓｆｅｒ  ｆｏｒ  Ｌｅｂｅｒ’ｓ  ｃｏｎｇｅｎｉｔａｌ  ａｍａｕｒｏｓｉｓ．Ｎ  Ｅｎｇｌ  Ｊ  Ｍｅｄ（２００８）  ３５８：２２４０−２２４８
【非特許文献５９】Ｍａｎｃｕｓｏ  ｅｔ  ａｌ．，（２００９）  Ｇｅｎｅ  ｔｈｅｒａｐｙ  ｆｏｒ  ｒｅｄ−ｇｒｅｅｎ  ｃｏｌｏｕｒ  ｂｌｉｎｄｎｅｓｓ  ｉｎ  ａｄｕｌｔ  ｐｒｉｍａｔｅｓ．Ｎａｔｕｒｅ  ４６１（７２６５）：７８４−７
【非特許文献６０】Ｍａｒｔｉｎ  ｅｔ  ａｌ．２００２．Ｇｅｎｅ  ｄｅｌｉｖｅｒｙ  ｔｏ  ｔｈｅ  ｅｙｅ  ｕｓｉｎｇ  ａｄｅｎｏ−ａｓｓｏｃｉａｔｅｄ  ｖｉｒａｌ  ｖｅｃｔｏｒｓ．Ｍｅｔｈｏｄｓ  ２８：２６７−２７５
【非特許文献６１】ＭｃＧｏｗａｎ  ＭＨ  ｅｔ  ａｌ  （１９９８）  Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｍｏｕｓｅ  Ａｌｄｏｓｅ  Ｒｅｄｕｃｔａｓｅ  Ｇｅｎｅ  ａｎｄ  Ｐｒｏｍｏｔｅｒ  ｉｎ  ａ  Ｌｅｎｓ  Ｅｐｉｔｈｅｌｉａｌ  Ｃｅｌｌ  Ｌｉｎｅ．Ｍｏｌ  Ｖｉｓ  １９９８；  ４：２
【非特許文献６２】ＭｃＬａｕｇｈｌｉｎ  ＳＫ，Ｃｏｌｌｉｓ  Ｐ，Ｈｅｒｍｏｎａｔ  ＰＬ，Ｍｕｚｙｃｚｋａ  Ｎ．（１９８８）  Ａｄｅｎｏ−ａｓｓｏｃｉａｔｅｄ  ｖｉｒｕｓ  ｇｅｎｅｒａｌ  ｔｒａｎｓｄｕｃｔｉｏｎ  ｖｅｃｔｏｒｓ：ａｎａｌｙｓｉｓ  ｏｆ  ｐｒｏｖｉｒａｌ  ｓｔｒｕｃｔｕｒｅｓ．Ｊ  Ｖｉｒｏｌ．６２（６）：１９６３−７３
【非特許文献６３】Ｍｅｙｔｌｉｓ  Ｍ，Ｂｏｍａｓｈ  Ｉ，Ｐｉｌｌｏｗ  ＪＷ，Ｎｉｒｅｎｂｅｒｇ  Ｓ．（２００９）  Ａｓｓｅｓｓｉｎｇ  ｔｈｅ  ｉｍｐｏｒｔａｎｃｅ  ｏｆ  ｃｏｒｒｅｌａｔｅｄ  ｆｉｒｉｎｇ  ｕｓｉｎｇ  ｌａｒｇｅ  ｐｏｐｕｌａｔｉｏｎｓ  ｏｆ  ｎｅｕｒｏｎｓ．Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｎｅｕｒｏｓｃｉｅｎｃｅ．Ｐｒｏｇｒａｍ  Ｎｏ．１６５．３
【非特許文献６４】Ｍｏｒｇａｎｓ  ＣＷ，ｅｔ  ａｌ    （２００９）  ＴＲＰＭ１  ｉｓ  ｒｅｑｕｉｒｅｄ  ｆｏｒ  ｔｈｅ  ｄｅｐｏｌａｒｉｚｉｎｇ  ｌｉｇｈｔ  ｒｅｓｐｏｎｓｅ  ｉｎ  ｒｅｔｉｎａｌ  ＯＮ−ｂｉｐｏｌａｒ  ｃｅｌｌｓ．Ｐｒｏｃ  Ｎａｔｌ  Ａｃａｄ  Ｓｃｉ  Ｕ  Ｓ  Ａ  １０６（４５）：１９１７４−８
【非特許文献６５】Ｎａｎｄｕｒｉ  Ｄ，Ｈｕｍａｙｕｎ  Ｍ，Ｇｒｅｅｎｂｅｒｇ  Ｒ，ＭｃＭａｈｏｎ  Ｍ，Ｗｅｉｌａｎｄ  Ｊ  （２００８）  Ｒｅｔｉｎａｌ  ｐｒｏｓｔｈｅｓｉｓ  ｐｈｏｓｐｈｅｎｅ  ｓｈａｐｅ  ａｎａｌｙｓｉｓ．Ｉｎ：３０ｔｈ  Ａｎｎｕａｌ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｅｎｇｉｎｅｅｒｉｎｇ  ｉｎ  Ｍｅｄｉｃｉｎｅ  ａｎｄ  Ｂｉｏｌｏｇｙ  Ｓｏｃｉｅｔｙ，ｐｐ  １７８５−−１７８８．Ｖａｎｃｏｕｖｅｒ，ＢＣ
【非特許文献６６】Ｎｉｃｈｏｌｓ  Ｚ，Ｍｅｙｔｌｉｓ  Ｍ，Ｎｉｒｅｎｂｅｒｇ  Ｓ．（２０１０）  Ｃｏｒｒｅｌａｔｉｏｎｓ  ｐｌａｙ  ａ  ｎｅｇｌｉｇｉｂｌｅ  ｒｏｌｅ  ｉｎ  ｃｏｄｉｎｇ  ｗｈｉｔｅ  ｎｏｉｓｅ  ａｎｄ  ｎａｔｕｒａｌ  ｓｃｅｎｅ  ｓｔｉｍｕｌｉ  ｉｎ  ｃｏｍｐｌｅｔｅ  ｒｅｔｉｎａｌ  ｐｏｐｕｌａｔｉｏｎｓ．Ｓｕｂｍｉｔｔｅｄ
【非特許文献６７】Ｎｉｒｅｎｂｅｒｇ  Ｓ  （２０００）  Ｐｈｏｔｏａｂｌａｔｉｏｎ  ｏｆ  ｃｅｌｌｓ  ｅｘｐｒｅｓｓｉｎｇ  ｂｅｔａ−ｇａｌａｃｔｏｓｉｄａｓｅ．Ｍｅｔｈｏｄｓ  Ｍｏｌ  Ｂｉｏｌ．１３５：４７５−８０
【非特許文献６８】Ｎｉｒｅｎｂｅｒｇ  Ｓ  ａｎｄ  Ｃｅｐｋｏ，Ｃ  （１９９３）．Ｔａｒｇｅｔｅｄ  ａｂｌａｔｉｏｎ  ｏｆ  ｄｉｖｅｒｓｅ  ｃｅｌｌ  ｃｌａｓｓｅｓ  ｉｎ  ｔｈｅ  ｎｅｒｖｏｕｓ  ｓｙｓｔｅｍ  ｉｎ  ｖｉｖｏ．Ｊ  Ｎｅｕｒｏｓｃｉ．１３（８）：３２３８−５１
【非特許文献６９】Ｎｉｒｅｎｂｅｒｇ  Ｓ  ａｎｄ  Ｌａｔｈａｍ  ＰＥ．（１９９８）  Ｐｏｐｕｌａｔｉｏｎ  ｃｏｄｉｎｇ  ｉｎ  ｔｈｅ  ｒｅｔｉｎａ．  Ｃｕｒｒ．Ｏｐｉｎ．Ｎｅｕｒｏｂｉｏｌ．８（４）：４８８−４９３
【非特許文献７０】Ｎｉｒｅｎｂｅｒｇ  Ｓ  ａｎｄ  Ｍｅｉｓｔｅｒ  Ｍ．  （１９９７）．Ｔｈｅ  ｌｉｇｈｔ  ｒｅｓｐｏｎｓｅ  ｏｆ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｉｓ  ｔｒｕｎｃａｔｅｄ  ｂｙ  ａ  ｄｉｓｐｌａｃｅｄ  ａｍａｃｒｉｎｅ  ｃｉｒｃｕｉｔ．  Ｎｅｕｒｏｎ  １８：６３７−６５０
【非特許文献７１】Ｎｉｒｅｎｂｅｒｇ  Ｓ  ｅｔ  ａｌ  （２００１）  Ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ａｃｔ  ｌａｒｇｅｌｙ  ａｓ  ｉｎｄｅｐｅｎｄｅｎｔ  ｅｎｃｏｄｅｒｓ．Ｎａｔｕｒｅ  ４１１（６８３８）：６９８−７０１
【非特許文献７２】Ｎｉｒｅｎｂｅｒｇ  Ｓ  ｅｔ  ａｌ．（２０１０）  Ｈｅｔｅｒｏｇｅｎｅｏｕｓ  ｒｅｓｐｏｎｓｅ  ｄｙｎａｍｉｃｓ  ｉｎ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ：ｔｈｅ  ｉｎｔｅｒｐｌａｙ  ｏｆ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｉｎｇ  ａｎｄ  ａｄａｐｔａｔｉｏｎ．Ｊ  Ｎｅｕｒｏｐｈｙｓｉｏｌ    １０３（６）：３１８４−９４
【非特許文献７３】Ｎｏｒｃｉａ，ＡＭ，ａｎｄ  Ｔｙｌｅｒ，ＣＷ  （１９８５）  Ｓｐａｔｉａｌ  ｆｒｅｑｕｅｎｃｙ  ｓｗｅｅｐ  ＶＥＰ：ｖｉｓｕａｌ  ａｃｕｉｔｙ  ｄｕｒｉｎｇ  ｔｈｅ  ｆｉｒｓｔ  ｙｅａｒ  ｏｆ  ｌｉｆｅ．Ｖｉｓｉｏｎ  Ｒｅｓ．２５（１０）：１３９９−４０８
【非特許文献７４】Ｎｏｒｃｉａ，ＡＭ，ｅｔ  ａｌ  （１９８９）．  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  ｓｐａｔｉａｌ  ｃｏｎｔｒａｓｔ  ｓｅｎｓｉｔｉｖｉｔｙ  ｗｉｔｈ  ｔｈｅ  ｓｗｅｐｔ  ｃｏｎｔｒａｓｔ  ＶＥＰ．Ｖｉｓｉｏｎ  Ｒｅｓ．１９８９；２９（５）：６２７−３７
【非特許文献７５】Ｏｋｕｙａｍａ  ｅｔ  ａｌ．（１９９３）．  Ｂｉｎｏｃｕｌａｒ  ｉｎｆｒａｒｅｄ  ｏｐｔｏｍｅｔｅｒ  ｆｏｒ  ｍｅａｓｕｒｉｎｇ  ａｃｃｏｍｍｏｄａｔｉｏｎ  ｉｎ  ｂｏｔｈ  ｅｙｅｓ  ｓｉｍｕｌｔａｎｅｏｕｓｌｙ  ｉｎ  ｎａｔｕｒａｌ−ｖｉｅｗｉｎｇ  ｃｏｎｄｉｔｉｏｎｓ  Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，Ｖｏｌ．３２．Ｎｏ  ２２，ｐ．４１４７
【非特許文献７６】Ｐａｎｄａｒｉｎａｔｈ  ｅｔ  ａｌ  （２０１０ａ）  Ａ  ｎｏｖｅｌ  ｍｅｃｈａｎｉｓｍ  ｆｏｒ  ｓｗｉｔｃｈｉｎｇ  ａ  ｎｅｕｒａｌ  ｓｙｓｔｅｍ  ｆｒｏｍ  ｏｎｅ  ｓｔａｔｅ  ｔｏ  ａｎｏｔｈｅｒ．  Ｆｒｏｎｔ  Ｃｏｍｐｕｔ  Ｎｅｕｒｏｓｃｉ．３１；４：２
【非特許文献７７】Ｐａｎｄａｒｉｎａｔｈ  ｅｔ  ａｌ  （２０１０ｂ）  Ｓｙｍｍｅｔｒｙ  ｂｒｅａｋｄｏｗｎ  ｉｎ  ｔｈｅ  ＯＮ  ａｎｄ  ＯＦＦ  ｐａｔｈｗａｙｓ  ｏｆ  ｔｈｅ  ｒｅｔｉｎａ  ａｔ  ｎｉｇｈｔ：ｆｕｎｃｔｉｏｎａｌ  ｉｍｐｌｉｃａｔｉｏｎｓ．Ｊ  Ｎｅｕｒｏｓｃｉ  ３０（３０）：１０００６−１４
【非特許文献７８】Ｐａｎｉｎｓｋｉ  Ｌ，Ｐｉｌｌｏｗ  Ｊ，Ｌｅｗｉ  Ｊ．（２００７）  Ｓｔａｔｉｓｔｉｃａｌ  ｍｏｄｅｌｓ  ｆｏｒ  ｎｅｕｒａｌ  ｅｎｃｏｄｉｎｇ，ｄｅｃｏｄｉｎｇ，ａｎｄ  ｏｐｔｉｍａｌ  ｓｔｉｍｕｌｕｓ  ｄｅｓｉｇｎ．  Ｐｒｏｇ  Ｂｒａｉｎ  Ｒｅｓ．１６５：４９３−５０７
【非特許文献７９】Ｐａｎｉｎｓｋｉ  Ｌ．（２００４）  Ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｃａｓｃａｄｅ  ｐｏｉｎｔ−ｐｒｏｃｅｓｓ  ｎｅｕｒａｌ  ｅｎｃｏｄｉｎｇ  ｍｏｄｅｌｓ．Ｎｅｔｗｏｒｋ  １５（４）：２４３−６２
【非特許文献８０】Ｐａｎｚｅｒｉ  Ｓ，ｅｔ  ａｌ  （２００７）    Ｃｏｒｒｅｃｔｉｎｇ  ｆｏｒ  ｔｈｅ  ｓａｍｐｌｉｎｇ  ｂｉａｓ  ｐｒｏｂｌｅｍ  ｉｎ  ｓｐｉｋｅ  ｔｒａｉｎ  ｉｎｆｏｒｍａｔｉｏｎ  ｍｅａｓｕｒｅｓ．  Ｊ  Ｎｅｕｒｏｐｈｙｓｉｏｌ．９８（３）：１０６４−７２．Ｒｅｖｉｅｗ
【非特許文献８１】Ｐｅｌｌｉ  ＤＧ，Ｒｏｂｓｏｎ  ＪＧ，＆  Ｗｉｌｋｉｎｓ  ＡＪ  （１９８８）  Ｔｈｅ  ｄｅｓｉｇｎ  ｏｆ  ａ  ｎｅｗ  ｌｅｔｔｅｒ  ｃｈａｒｔ  ｆｏｒ  ｍｅａｓｕｒｉｎｇ  ｃｏｎｔｒａｓｔ  ｓｅｎｓｉｔｉｖｉｔｙ．Ｃｌｉｎｉｃａｌ  Ｖｉｓｉｏｎ  Ｓｃｉｅｎｃｅｓ  ２，１８７−１９９
【非特許文献８２】Ｐｅｒｒｙ  ＶＨ，Ｓｉｌｖｅｉｒａ  ＬＣ．（１９８８）  Ｆｕｎｃｔｉｏｎａｌ  ｌａｍｉｎａｔｉｏｎ  ｉｎ  ｔｈｅ  ｇａｎｇｌｉｏｎ  ｃｅｌｌ  ｌａｙｅｒ  ｏｆ  ｔｈｅ  ｍａｃａｑｕｅ’ｓ  ｒｅｔｉｎａ．Ｎｅｕｒｏｓｃｉｅｎｃｅ．２５（１）：２１７−２３
【非特許文献８３】Ｐｅｔｒｓ−Ｓｉｌｖａ  ｅｔ  ａｌ．，（２００９）  Ｈｉｇｈ−ｅｆｆｉｃｉｅｎｃｙ  ｔｒａｎｓｄｕｃｔｉｏｎ  ｏｆ  ｔｈｅ  ｍｏｕｓｅ  ｒｅｔｉｎａ  ｂｙ  ｔｙｒｏｓｉｎｅ−ｍｕｔａｎｔ  ＡＡＶ  ｓｅｒｏｔｙｐｅ  ｖｅｃｔｏｒｓ．Ｍｏｌ  Ｔｈｅｒ  １７（３）：４６３−７１
【非特許文献８４】Ｐｅｔｅｒｓｅｎ−Ｊｏｎｅｓ  ｅｔ  ａｌ．，（２００９）  ＡＡＶ  ｒｅｔｉｎａｌ  ｔｒａｎｓｄｕｃｔｉｏｎ  ｉｎ  ａ  ｌａｒｇｅ  ａｎｉｍａｌ  ｍｏｄｅｌ  ｓｐｅｃｉｅｓ：ｃｏｍｐａｒｉｓｏｎ  ｏｆ  ａ  ｓｅｌｆ−ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＡＡＶ２／５  ｗｉｔｈ  ａ  ｓｉｎｇｌｅ−ｓｔｒａｎｄｅｄ  ＡＡＶ２／５  ｖｅｃｔｏｒ．Ｍｏｌ  Ｖｉｓ  １５：１８３５−４２
【非特許文献８５】Ｐｉｌｌｏｗ  ＪＷ，Ｓｈｌｅｎｓ  Ｊ，Ｐａｎｉｎｓｋｉ  Ｌ，Ｓｈｅｒ  Ａ，Ｌｉｔｋｅ  ＡＭ，Ｃｈｉｃｈｉｌｎｉｓｋｙ  ＥＪ，Ｓｉｍｏｎｃｅｌｌｉ  ＥＰ．（２００８）  Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  ｃｏｒｒｅｌａｔｉｏｎｓ  ａｎｄ  ｖｉｓｕａｌ  ｓｉｇｎａｌｌｉｎｇ  ｉｎ  ａ  ｃｏｍｐｌｅｔｅ  ｎｅｕｒｏｎａｌ  ｐｏｐｕｌａｔｉｏｎ．Ｎａｔｕｒｅ  ４５４（７２０７）：９９５−９
【非特許文献８６】Ｐｒｕｓｋｙ  ＧＴ，ｅｔ  ａｌ  （２００４）  Ｒａｐｉｄ  ｑｕａｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  ａｄｕｌｔ  ａｎｄ  ｄｅｖｅｌｏｐｉｎｇ  ｍｏｕｓｅ  ｓｐａｔｉａｌ  ｖｉｓｉｏｎ  ｕｓｉｎｇ  ａ  ｖｉｒｔｕａｌ  ｏｐｔｏｍｏｔｏｒ  ｓｙｓｔｅｍ．Ｉｎｖｅｓｔ  Ｏｐｈｔｈａｌｍｏｌ  Ｖｉｓ  Ｓｃｉ．４５（１２）：４６１１−６
【非特許文献８７】Ｐｕｎ  Ｌ  （１９６９），Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｐｒａｃｔｉｃｅ，ＩＳＢＮ  ４７１−７０２３３−１
【非特許文献８８】Ｐｕｒｐｕｒａ  Ｋ，Ｔｒａｎｃｈｉｎａ  Ｄ，Ｋａｐｌａｎ  Ｅ，Ｓｈａｐｌｅｙ  ＲＭ．（１９９０）  Ｌｉｇｈｔ  ａｄａｐｔａｔｉｏｎ  ｉｎ  ｔｈｅ  ｐｒｉｍａｔｅ  ｒｅｔｉｎａ：ａｎａｌｙｓｉｓ  ｏｆ  ｃｈａｎｇｅｓ  ｉｎ  ｇａｉｎ  ａｎｄ  ｄｙｎａｍｉｃｓ  ｏｆ  ｍｏｎｋｅｙ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ．Ｖｉｓ  Ｎｅｕｒｏｓｃｉ  ４（１）：７５−−９３
【非特許文献８９】Ｒｏｌｌｓ  ＥＴ，Ｂａｙｌｉｓ  ＧＣ，Ｌｅｏｎａｒｄ  ＣＭ．Ｒｏｌｅ  ｏｆ  ｌｏｗ  ａｎｄ  ｈｉｇｈ  ｓｐａｔｉａｌ  ｆｒｅｑｕｅｎｃｉｅｓ  ｉｎ  ｔｈｅ  ｆａｃｅ−ｓｅｌｅｃｔｉｖｅ  ｒｅｓｐｏｎｓｅｓ  ｏｆ  ｎｅｕｒｏｎｓ  ｉｎ  ｔｈｅ  ｃｏｒｔｅｘ  ｉｎ  ｔｈｅ  ｓｕｐｅｒｉｏｒ  ｔｅｍｐｏｒａｌ  ｓｕｌｃｕｓ  ｉｎ  ｔｈｅ  ｍｏｎｋｅｙ．Ｖｉｓｉｏｎ  Ｒｅｓ．１９８５；２５（８）：１０２１−３５
【非特許文献９０】Ｓａｍｂｒｏｏｋ  ｅｔ  ａｌ，“Ｍｏｌｅｃｕｌａｒ  Ｃｌｏｎｉｎｇ．Ａ  Ｌａｂｏｒａｔｏｒｙ  Ｍａｎｕａｌ”，２ｄ  ｅｄ．，Ｃｏｌｄ  Ｓｐｒｉｎｇ  Ｈａｒｂｏｒ  Ｌａｂｏｒａｔｏｒｙ，Ｎｅｗ  Ｙｏｒｋ  （１９８９）
【非特許文献９１】Ｓａｕｅｒ  Ｂ．（１９８７）  Ｆｕｎｃｔｉｏｎａｌ  ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  ｔｈｅ  ｃｒｅ−ｌｏｘ  ｓｉｔｅ−ｓｐｅｃｉｆｉｃ  ｒｅｃｏｍｂｉｎａｔｉｏｎ  ｓｙｓｔｅｍ  ｉｎ  ｔｈｅ  ｙｅａｓｔ  Ｓａｃｃｈａｒｏｍｙｃｅｓ  ｃｅｒｅｖｉｓｉａｅ．Ｍｏｌ  Ｃｅｌｌ  Ｂｉｏｌ．７（６）：２０８７−９６
【非特許文献９２】Ｓｈａｐｌｅｙ  ＲＭ，Ｖｉｃｔｏｒ  ＪＤ．（１９８１）  Ｈｏｗ  ｔｈｅ  ｃｏｎｔｒａｓｔ  ｇａｉｎ  ｃｏｎｔｒｏｌ  ｍｏｄｉｆｉｅｓ  ｔｈｅ  ｆｒｅｑｕｅｎｃｙ  ｒｅｓｐｏｎｓｅｓ  ｏｆ  ｃａｔ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ．Ｊ  Ｐｈｙｓｉｏｌ．３１８：１６１−７９
【非特許文献９３】Ｓｈａｒｐｅｅ  ＴＯ  ｅｔ  ａｌ．（２００８）  Ｏｎ  ｔｈｅ  Ｉｍｐｏｒｔａｎｃｅ  ｏｆ  Ｓｔａｔｉｃ  Ｎｏｎｌｉｎｅａｒｉｔｙ  ｉｎ  Ｅｓｔｉｍａｔｉｎｇ  Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  Ｎｅｕｒａｌ  Ｆｉｌｔｅｒｓ  Ｗｉｔｈ  Ｎａｔｕｒａｌ  Ｓｔｉｍｕｌｉ．Ｊ  Ｎｅｕｒｏｐｈｙｓｉｏｌ  ９９（５）：２４９６−５０９
【非特許文献９４】Ｓｈｅｒｉｄａｎ  Ｃ  （２０１１）  Ｇｅｎｅ  Ｔｈｅｒａｐｙ  ｆｉｎｄｓ  ｉｔｓ  ｎｉｃｈｅ    Ｎａｔｕｒｅ  Ｂｉｏｔｅｃｈｎｏｌｏｇｙ  ２９（２）：１２１−１２８
【非特許文献９５】Ｓｉｅｇｅｒｔ  Ｓ，Ｓｃｈｅｒｆ  ＢＧ，Ｐｕｎｔａ  ＫＤ，Ｄｉｄｋｏｖｓｋｙ  Ｎ，Ｈｅｉｎｔｚ  Ｎ，Ｒｏｓｋａ  Ｂ  （２００９）．Ｇｅｎｅｔｉｃ  ａｄｄｒｅｓｓ  ｂｏｏｋ  ｆｏｒ  ｒｅｔｉｎａｌ  ｃｅｌｌ  ｔｙｐｅｓ．Ｎａｔｕｒｅ  Ｎｅｕｒｏｓｃｉｅｎｃｅ．１２：１１９７−１２０４
【非特許文献９６】Ｓｉｍｏｎｃｅｌｌｉ  ｅｔ  ａｌ．（２００４）  Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｎｅｕｒａｌ  ｒｅｓｐｏｎｓｅｓ  ｗｉｔｈ  ｓｔｏｃｈａｓｔｉｃ  ｓｔｉｍｕｌｉ．Ｔｈｅ  ｃｏｇｎｉｔｉｖｅ  ｎｅｕｒｏｓｃｉｅｎｃｅｓ：３２７−３８
【非特許文献９７】Ｓｉｍｏｎｅｌｌｉ  ｅｔ  ａｌ．（２０１０）  Ｇｅｎｅ  Ｔｈｅｒａｐｙ  ｆｏｒ  Ｌｅｂｅｒ’ｓ  Ｃｏｎｇｅｎｉｔａｌ  Ａｍａｕｒｏｓｉｓ  ｉｓ  Ｓａｆｅ  ａｎｄ  Ｅｆｆｅｃｔｉｖｅ  Ｔｈｒｏｕｇｈ  １．５  Ｙｅａｒｓ  Ａｆｔｅｒ  Ｖｅｃｔｏｒ  Ａｄｍｉｎｉｓｔｒａｔｉｏｎ，Ｍｏｌｅｃｕｌａｒ  Ｔｈｅｒａｐｙ  １８  ３，６４３−６５０
【非特許文献９８】Ｓｉｎｃｌａｉｒ  ＪＲ，ｅｔ  ａｌ  （２００４）  ．Ｓｅｌｅｃｔｉｖｅ  ａｂｌａｔｉｏｎ  ｏｆ  ａ  ｃｌａｓｓ  ｏｆ  ａｍａｃｒｉｎｅ  ｃｅｌｌｓ  ａｌｔｅｒｓ  ｓｐａｔｉａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｉｎ  ｔｈｅ  ｒｅｔｉｎａ．  Ｊ  Ｎｅｕｒｏｓｃｉ．２４（６）：１４５９−６７
【非特許文献９９】Ｓｊｏｓｔｒａｎｄ  ｅｔ  ａｌ．（１９９９）．  Ｍｏｒｐｈｏｍｅｔｒｉｃ  ｓｔｕｄｙ  ｏｆ  ｔｈｅ  ｄｉｓｐｌａｃｅｍｅｎｔ  ｏｆ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｓｕｂｓｅｒｖｉｎｇ  ｃｏｎｅｓ  ｗｉｔｈｉｎ  ｔｈｅ  ｈｕｍａｎ  ｆｏｖｅａ．Ｇｒａｅｆｅｓ  Ａｒｃｈ  Ｃｌｉｎ  Ｅｘｐ  Ｏｐｈｔｈａｌｍｏｌ  ２３７：１０１４−１０２３
【非特許文献１００】Ｓｏｕｃｙ  ＥＲ  ｅｔ  ａｌ．（１９９８）  Ａ  ｎｏｖｅｌ  ｓｉｇｎａｌｉｎｇ  ｐａｔｈｗａｙ  ｆｒｏｍ  ｒｏｄ  ｐｈｏｔｏｒｅｃｅｐｔｏｒｓ  ｔｏ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｉｎ  ｍａｍｍａｌｉａｎ  ｒｅｔｉｎａ．  Ｎｅｕｒｏｎ  ２１：４８１−４９３
【非特許文献１０１】Ｓｔｏｎｅ  ｅｔ  ａｌ．，（１９９３）  Ｒｅｓｐｏｎｓｅ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｉｎ  ｔｈｅ  ｉｓｏｌａｔｅｄ  ｍｏｕｓｅ  ｒｅｔｉｎａ．Ｖｉｓ  Ｎｅｕｒｏｓｃｉ  １０（１）：３１−９
【非特許文献１０２】Ｓｔｒｏｎｇ  ＳＰ，ｅｔ  ａｌ  （１９９８）  Ｏｎ  ｔｈｅ  ａｐｐｌｉｃａｔｉｏｎ  ｏｆ  ｉｎｆｏｒｍａｔｉｏｎ  ｔｈｅｏｒｙ  ｔｏ  ｎｅｕｒａｌ  ｓｐｉｋｅ  ｔｒａｉｎｓ．Ｐａｃ  Ｓｙｍｐ  Ｂｉｏｃｏｍｐｕｔ．６２１−３２
【非特許文献１０３】Ｔｈｙａｇａｒａｊａｎ  Ｓ，ｖａｎ  Ｗｙｋ  Ｍ，Ｌｅｈｍａｎｎ  Ｋ，Ｌｏｗｅｌ  Ｓ，Ｆｅｎｇ  Ｇ，Ｗａｓｓｌｅ  Ｈ  （２０１０）  Ｖｉｓｕａｌ  ｆｕｎｃｔｉｏｎ  ｉｎ  ｍｉｃｅ  ｗｉｔｈ  ｐｈｏｔｏｒｅｃｅｐｔｏｒ  ｄｅｇｅｎｅｒａｔｉｏｎ  ａｎｄ  ｔｒａｎｓｇｅｎｉｃ  ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  ｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ  ２  ｉｎ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ．Ｊ  Ｎｅｕｒｏｓｃｉ  ３０：８７４５−８７５８
【非特許文献１０４】Ｔｏｍｉｔａ  Ｈ，Ｓｕｇａｎｏ  Ｅ，Ｉｓａｇｏ  Ｈ，Ｈｉｒｏｉ  Ｔ，Ｗａｎｇ  Ｚ，Ｏｈｔａ  Ｅ，Ｔａｍａｉ  Ｍ  （２０１０）  Ｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２  ｇｅｎｅ  ｔｒａｎｓｄｕｃｅｄ  ｉｎｔｏ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｒｅｓｔｏｒｅｓ  ｆｕｎｃｔｉｏｎａｌ  ｖｉｓｉｏｎ  ｉｎ  ｇｅｎｅｔｉｃａｌｌｙ  ｂｌｉｎｄ  ｒａｔｓ．Ｅｘｐ  Ｅｙｅ  Ｒｅｓ  ９０：４２９−４３６
【非特許文献１０５】Ｔｒｏｙ  ＪＢ，Ｂｏｈｎｓａｃｋ  ＤＬ，Ｃｈｅｎ  Ｊ，Ｇｕｏ  Ｘ，Ｐａｓｓａｇｌｉａ  ＣＬ．（２００５）  Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  ｉｎｔｅｇｒａｔｉｏｎ  ｏｆ  ｌｉｇｈｔ  ｂｙ  ｔｈｅ  ｃａｔ  Ｘ−ｃｅｌｌ  ｃｅｎｔｅｒ  ｕｎｄｅｒ  ｐｈｏｔｏｐｉｃ  ａｎｄ  ｓｃｏｔｏｐｉｃ  ｃｏｎｄｉｔｉｏｎｓ．Ｖｉｓ  Ｎｅｕｒｏｓｃｉ  ２２（４）：４９３−−５００
【非特許文献１０６】Ｔｒｏｙ  ＪＢ，Ｂｏｈｎｓａｃｋ  ＤＬ，Ｄｉｌｌｅｒ  ＬＣ．（１９９９）  Ｓｐａｔｉａｌ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ｔｈｅ  ｃａｔ  Ｘ−ｃｅｌｌ  ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ  ａｓ  ａ  ｆｕｎｃｔｉｏｎ  ｏｆ  ｍｅａｎ  ｌｉｇｈｔ  ｌｅｖｅｌ．Ｖｉｓ  Ｎｅｕｒｏｓｃｉ  １６（６）：１０８９−−１０４
【非特許文献１０７】Ｔｕｒｃｈｉｎｏｖｉｃｈ  ｅｔ  ａｌ．（２０１０）  Ｎｏｎ−ｖｉｒａｌ  ｓｉＲＮＡ  ｄｅｌｉｖｅｒｙ  ｉｎｔｏ  ｔｈｅ  ｍｏｕｓｅ  ｒｅｔｉｎａ  ｉｎ  ｖｉｖｏ．ＢＭＣ  Ｏｐｈｔｈａｌｍｏｌｏｇｙ  １０：２５
【非特許文献１０８】Ｕｅｄａ  ｅｔ  ａｌ，（１９９７）  Ｔｈｅ  ｍＧｌｕＲ６  ５’  ｕｐｓｔｒｅａｍ  ｔｒａｎｓｇｅｎｅ  ｓｅｑｕｅｎｃｅ  ｄｉｒｅｃｔｓ  ａ  ｃｅｌｌ−ｓｐｅｃｉｆｉｃ  ａｎｄ  ｄｅｖｅｌｏｐｍｅｎｔａｌｌｙ  ｒｅｇｕｌａｔｅｄ  ｅｘｐｒｅｓｓｉｏｎ  ｉｎ  ｒｅｔｉｎａｌ  ｒｏｄ  ａｎｄ  ＯＮ−ｔｙｐｅ  ｃｏｎｅ  ｂｉｐｏｌａｒ  ｃｅｌｌｓ．Ｊ  Ｎｅｕｒｏｓｃｉ．１７（９）：３０１４−２３
【非特許文献１０９】ｖａｎ  Ａｄｅｌ  ｅｔ  ａｌ．（２００３）    Ｄｅｌｉｖｅｒｙ  ｏｆ  ｃｉｌｉａｒｙ  ｎｅｕｒｏｔｒｏｐｈｉｃ  ｆａｃｔｏｒ  バイア  ｌｅｎｔｉｖｉｒａｌ−ｍｅｄｉａｔｅｄ  ｔｒａｎｓｆｅｒ  ｐｒｏｔｅｃｔｓ  ａｘｏｔｏｍｉｚｅｄ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｆｏｒ  ａｎ  ｅｘｔｅｎｄｅｄ  ｐｅｒｉｏｄ  ｏｆ  ｔｉｍｅ．Ｈｕｍ．Ｇｅｎｅ  Ｔｈｅｒ．１４：１０３−１１５
【非特許文献１１０】Ｖｉｃｔｏｒ  ＪＤ，Ｓｈａｐｌｅｙ  ＲＭ．（１９７９）  Ｔｈｅ  ｎｏｎｌｉｎｅａｒ  ｐａｔｈｗａｙ  ｏｆ  Ｙ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ  ｉｎ  ｔｈｅ  ｃａｔ  ｒｅｔｉｎａ．Ｊ  Ｇｅｎ  Ｐｈｙｓｉｏｌ．７４（６）：６７１−８９
【非特許文献１１１】Ｖｉｃｔｏｒ  ＪＤ．（１９８７）  Ｔｈｅ  ｄｙｎａｍｉｃｓ  ｏｆ  ｔｈｅ  ｃａｔ  ｒｅｔｉｎａｌ  Ｘ  ｃｅｌｌ  ｃｅｎｔｒｅ．Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｐｈｙｓｉｏｌｏｇｙ  ３８６（１）：２１９
【非特許文献１１２】Ｖｏｌｇｙｉ  Ｂ，Ｄｅａｎｓ  ＭＲ，Ｐａｕｌ  ＤＬ，Ｂｌｏｏｍｆｉｅｌｄ  ＳＡ  （２００４）  Ｃｏｎｖｅｒｇｅｎｃｅ  ａｎｄ  Ｓｅｇｒｅｇａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｍｕｌｔｉｐｌｅ  Ｒｏｄ  Ｐａｔｈｗａｙｓ  ｉｎ  Ｍａｍｍａｌｉａｎ  Ｒｅｔｉｎａ．Ｊ  Ｎｅｕｒｏｓｃｉ  ２４（４９）：１１１８２−１１１９２
【非特許文献１１３】Ｗａｌｔｈｅｒ  Ｗ，Ｓｔｅｉｎ  Ｕ．  （２０００）  Ｖｉｒａｌ  ｖｅｃｔｏｒｓ  ｆｏｒ  ｇｅｎｅ  ｔｒａｎｓｆｅｒ：ａ  ｒｅｖｉｅｗ  ｏｆ  ｔｈｅｉｒ  ｕｓｅ  ｉｎ  ｔｈｅ  ｔｒｅａｔｍｅｎｔ  ｏｆ  ｈｕｍａｎ  ｄｉｓｅａｓｅｓ．Ｄｒｕｇｓ．６０（２）：２４９−７１．Ｒｅｖｉｅｗ
【非特許文献１１４】Ｗａｓｓｌｅ  Ｈ．（２００４）  Ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｉｎｇ  ｉｎ  ｔｈｅ  ｍａｍｍａｌｉａｎ  ｒｅｔｉｎａ．Ｎａｔ  Ｒｅｖ  Ｎｅｕｒｏｓｃｉ  ５（１０）：７４７−５７
【非特許文献１１５】Ｗｅｌｌｓ  ｅｔ  ａｌ．（２００５）    Ｏｐｔｉｃａｌ  ｓｔｉｍｕｌａｔｉｏｎ  ｏｆ  ｎｅｕｒａｌ  ｔｉｓｓｕｅ  ｉｎ  ｖｉｖｏ．Ｏｐｔｉｃｓ  Ｌｅｔｔｅｒｓ  ３０（５）：５０４−５０６
【非特許文献１１６】Ｗｉｎｔｅｒ  ＪＯ，Ｃｏｇａｎ  ＳＦ，Ｒｉｚｚｏ  ＪＦＩ  （２００７）  Ｒｅｔｉｎａｌ  ｐｒｏｓｔｈｅｓｅｓ：ｃｕｒｒｅｎｔ  ｃｈａｌｌｅｎｇｅｓ  ａｎｄ  ｆｕｔｕｒｅ  ｏｕｔｌｏｏｋ．Ｊ  Ｂｉｏｍａｔｅｒ  Ｓｃｉ  Ｐｏｌｙｍ  Ｅｄ  １８：１０３１−１０５５
【非特許文献１１７】Ｗｒｉｇｈｔ  ＡＦ．（１９９７）  Ｇｅｎｅ  ｔｈｅｒａｐｙ  ｆｏｒ  ｔｈｅ  ｅｙｅ．Ｂｒ  Ｊ  Ｏｐｈｔｈａｌｍｏｌ  ８１（８）：６２０−６２３    Ｒｅｖｉｅｗ
【非特許文献１１８】Ｙｏｎｅｈａｒａ  Ｋ，Ｉｓｈｉｋａｎｅ  Ｈ，Ｓａｋｕｔａ  Ｈ，Ｓｈｉｎｔａｎｉ  Ｔ，Ｎａｋａｍｕｒａ−Ｙｏｎｅｈａｒａ  Ｋ，ｅｔ  ａｌ．（２００９）  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  Ｒｅｔｉｎａｌ  Ｇａｎｇｌｉｏｎ  Ｃｅｌｌｓ  ａｎｄ  Ｔｈｅｉｒ  Ｐｒｏｊｅｃｔｉｏｎｓ  Ｉｎｖｏｌｖｅｄ  ｉｎ  Ｃｅｎｔｒａｌ  Ｔｒａｎｓｍｉｓｓｉｏｎ  ｏｆ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｂｏｕｔ  Ｕｐｗａｒｄ  ａｎｄ  Ｄｏｗｎｗａｒｄ  Ｉｍａｇｅ  Ｍｏｔｉｏｎ．ＰＬｏＳ  ＯＮＥ  ４（１）：ｅ４３２０
【非特許文献１１９】Ｙｏｎｅｈａｒａ  Ｋ，Ｓｈｉｎｔａｎｉ  Ｔ，Ｓｕｚｕｋｉ  Ｒ，Ｓａｋｕｔａ  Ｈ，Ｔａｋｅｕｃｈｉ  Ｙ，ｅｔ  ａｌ．（２００８）  Ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  ＳＰＩＧ１  Ｒｅｖｅａｌｓ  Ｄｅｖｅｌｏｐｍｅｎｔ  ｏｆ  ａ  Ｒｅｔｉｎａｌ  Ｇａｎｇｌｉｏｎ  Ｃｅｌｌ  Ｓｕｂｔｙｐｅ  Ｐｒｏｊｅｃｔｉｎｇ  ｔｏ  ｔｈｅ  Ｍｅｄｉａｌ  Ｔｅｒｍｉｎａｌ  Ｎｕｃｌｅｕｓ  ｉｎ  ｔｈｅ  Ｍｏｕｓｅ．ＰＬｏＳ  ＯＮＥ  ３（２）：ｅ１５３３
【非特許文献１２０】Ｚｈａｎｇ  Ｙ，Ｉｖａｎｏｖａ  Ｅ，Ｂｉ  Ａ，Ｐａｎ  Ｚ−Ｈ  （２００９）  Ｅｃｔｏｐｉｃ  ｅｘｐｒｅｓｓｉｏｎ  ｏｆ  ｍｕｌｔｉｐｌｅ  ｍｉｃｒｏｂｉａｌ  ｒｈｏｄｏｐｓｉｎｓ  ｒｅｓｔｏｒｅｓ  ＯＮ  ａｎｄ  ＯＦＦ  ｌｉｇｈｔ  ｒｅｓｐｏｎｓｅｓ  ｉｎ  ｒｅｔｉｎａｓ  ｗｉｔｈ  ｐｈｏｔｏｒｅｃｅｐｔｏｒ  ｄｅｇｅｎｅｒａｔｉｏｎ．Ｊ  Ｎｅｕｒｏｓｃｉ  ２９：９１８６−９１９６
【非特許文献１２１】Ｚｒｅｎｎｅｒ  Ｅ，ｅｔ  ａｌ  （２００９）  Ｓｕｂｒｅｔｉｎａｌ  Ｍｉｃｒｏｅｌｅｃｔｒｏｄｅ  Ａｒｒａｙｓ  Ａｌｌｏｗ  Ｂｌｉｎｄ  Ｒｅｔｉｎｉｔｉｓ  Ｐｉｇｍｅｎｔｏｓａ  Ｐａｔｉｅｎｔｓ  ｔｏ  Ｒｅｃｏｇｎｉｚｅ  Ｌｅｔｔｅｒｓ  ａｎｄ  Ｃｏｍｂｉｎｅ  ｔｈｅｍ  ｔｏ  Ｗｏｒｄｓ．ＢＭＥＩ  ’０９．２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｂｉｏｍｅｄｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ  ａｎｄ  Ｉｎｆｏｒｍａｔｉｃｓ．Ｉｓｓｕｅ  Ｄａｔｅ：１７−１９  Ｏｃｔ．２００９．  ＩＳＢＮ：９７８−１−４２４４−４１３２−７．  Ｐａｇｅｓ  １  −  ４
【非特許文献１２２】Ｂａｌｌａｒｄ  ＤＨ  ｅｔ  ａｌ．（１９８２）  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ  Ｉｎｃ  Ｎｅｗ  Ｊｅｒｓｅｙ，１９８２
【非特許文献１２３】Ｃｈｉｃｈｉｌｎｉｓｋｙ  ＥＪ．（２００１）  Ａ  ｓｉｍｐｌｅ  ｗｈｉｔｅ  ｎｏｉｓｅ  ａｎａｌｙｓｉｓ  ｏｆ  ｎｅｕｒｏｎａｌ  ｌｉｇｈｔ  ｒｅｓｐｏｎｓｅｓ．Ｎｅｔｗｏｒｋ  １２（２）：１９９−２１３
【非特許文献１２４】Ｆｏｒｓｙｔｈ  ＤＡ  ｅｔ  ａｌ．（２００３）  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ：Ａ  Ｍｏｄｅｒｎ  Ａｐｐｒｏａｃｈ    ，Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ，Ｎｉｒｅｎｂｅｒｇ  Ｓ  ｅｔ  ａｌ．（２０１０）  Ｈｅｔｅｒｏｇｅｎｅｏｕｓ  ｒｅｓｐｏｎｓｅ  ｄｙｎａｍｉｃｓ  ｉｎ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ：ｔｈｅ  ｉｎｔｅｒｐｌａｙ  ｏｆ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｉｎｇ  ａｎｄ  ａｄａｐｔａｔｉｏｎ．Ｊ  Ｎｅｕｒｏｐｈｙｓｉｏｌ    １０３（６）：３１８４−９４
【非特許文献１２５】Ｆｒｅｕｎｄ  Ｙ  ｅｔ  ａｌ．（１９９５）  Ａ  Ｄｅｃｉｓｉｏｎ−Ｔｈｅｏｒｅｔｉｃ  Ｇｅｎｅｒａｌｉｚａｔｉｏｎ  ｏｆ  ｏｎ−Ｌｉｎｅ  Ｌｅａｒｎｉｎｇ  ａｎｄ  ａｎ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｂｏｏｓｔｉｎｇ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  ａｎｄ  Ｓｙｓｔｅｍ  Ｓｃｉｅｎｃｅｓ  ５５，１１９−１３９
【非特許文献１２６】Ｐｉｌｌｏｗ  ＪＷ，Ｓｈｌｅｎｓ  Ｊ，Ｐａｎｉｎｓｋｉ  Ｌ，Ｓｈｅｒ  Ａ，Ｌｉｔｋｅ  ＡＭ，Ｃｈｉｃｈｉｌｎｉｓｋｙ  ＥＪ，Ｓｉｍｏｎｃｅｌｌｉ  ＥＰ．（２００８）  Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  ｃｏｒｒｅｌａｔｉｏｎｓ  ａｎｄ  ｖｉｓｕａｌ  ｓｉｇｎａｌｌｉｎｇ  ｉｎ  ａ  ｃｏｍｐｌｅｔｅ  ｎｅｕｒｏｎａｌ  ｐｏｐｕｌａｔｉｏｎ．Ｎａｔｕｒｅ  ４５４（７２０７）：９９５−９
【非特許文献１２７】Ｓｉｍｏｎｅｌｌｉ  ｅｔ  ａｌ．（２０１０）  Ｇｅｎｅ  Ｔｈｅｒａｐｙ  ｆｏｒ  Ｌｅｂｅｒ’ｓ  Ｃｏｎｇｅｎｉｔａｌ  Ａｍａｕｒｏｓｉｓ  ｉｓ  Ｓａｆｅ  ａｎｄ  Ｅｆｆｅｃｔｉｖｅ  Ｔｈｒｏｕｇｈ  １．５  Ｙｅａｒｓ  Ａｆｔｅｒ  Ｖｅｃｔｏｒ  Ａｄｍｉｎｉｓｔｒａｔｉｏｎ，Ｍｏｌｅｃｕｌａｒ  Ｔｈｅｒａｐｙ  １８  ３，６４３−６５０
【非特許文献１２８】Ｎｉｃｈｏｌｓ  Ｚ，Ｍｅｙｔｌｉｓ  Ｍ，Ｎｉｒｅｎｂｅｒｇ  Ｓ．（２０１０）  Ｃｏｒｒｅｌａｔｉｏｎｓ  ｐｌａｙ  ａ  ｎｅｇｌｉｇｉｂｌｅ  ｒｏｌｅ  ｉｎ  ｃｏｄｉｎｇ  ｗｈｉｔｅ  ｎｏｉｓｅ  ａｎｄ  ｎａｔｕｒａｌ  ｓｃｅｎｅ  ｓｔｉｍｕｌｉ  ｉｎ  ｃｏｍｐｌｅｔｅ  ｒｅｔｉｎａｌ  ｐｏｐｕｌａｔｉｏｎｓ．Ｓｕｂｍｉｔｔｅｄ
【非特許文献１２９】Ｎｉｒｅｎｂｅｒｇ  Ｓ  ｅｔ  ａｌ．（２０１０）  Ｈｅｔｅｒｏｇｅｎｅｏｕｓ  ｒｅｓｐｏｎｓｅ  ｄｙｎａｍｉｃｓ  ｉｎ  ｒｅｔｉｎａｌ  ｇａｎｇｌｉｏｎ  ｃｅｌｌｓ：ｔｈｅ  ｉｎｔｅｒｐｌａｙ  ｏｆ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｉｎｇ  ａｎｄ  ａｄａｐｔａｔｉｏｎ．Ｊ  Ｎｅｕｒｏｐｈｙｓｉｏｌ    １０３（６）：３１８４−９４
【発明の概要】
【発明が解決しようとする課題】
【００１２】
網膜の作動の抽象モデルに基づいて、機械視覚のための画像データ予備処理手法を開発するためのいくつかの手法が提案されている。しかし、これらのモデルは、網膜の実際の性能への大まかな近似に基づくものであった。
【００１３】
「背景技術」節の一部分は、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｍｐｕｔｅｒ_ｖｉｓｉｏｎで入手可能かつ「Ｃｒｅａｔｉｖｅ  Ｃｏｍｍｏｎｓ  Ａｔｔｒｉｂｕｔｉｏｎ−ＳｈａｒｅＡｌｉｋｅ  Ｌｉｃｅｎｓｅ」に従って用いられるコンピュータ視覚に関するＷｉｋｉｐｅｄｉａ文献から書き換えたものである。
【課題を解決するための手段】
【００１４】
本発明の開示に説明する実施形態は、網膜によって実施される作動のほぼ完全な再現を可能にする符号化器を利用する。上記に引用によって組み込んだ国際特許出願（以降「補綴出願」）に詳細に記載されているように、この符号化器は、非常に有効な人工網膜を開発するのに使用することができる。本発明の開示では、符号化器は機械視覚に適用される。
【００１５】
符号化器は、予備処理段階（特に次元低減段階）として使用されると、機械視覚アルゴリズムの性能を実質的に改善する。一部の実施形態において、符号化器は、機械視覚アルゴリズムが、広範囲にわたる環境及び照明条件下で、他の方法に基づいて抽出することができない情報を含む情報を非常に有効に抽出することを可能にする。既存の機械視覚アルゴリズムが部分的にしか有効ではない場合に、この次元低減は、強力な改善策として機能することができる。符号化器は、抽出をより有効（より高い性能）に実施するだけでなく、より高速にかつより効率的に実施することを可能にすることができる。
【００１６】
補綴出願に詳細に記載しているように、本出願人は、刺激を受け入れ、符号化器セットを用いて刺激をコードセットに変換し、インタフェースを用いてコードを信号に変換し、次に、これらの信号が、インタフェースからのこれらの信号によって駆動される高分解能変換器を用いて複数の網膜細胞を活性化する補綴デバイスを開発した。複数の網膜細胞の活性化は、同じ刺激に対する正常網膜からの網膜神経節細胞の時間依存応答と実質的に類似の広範囲にわたる刺激に対する網膜神経節細胞応答をもたらす。本出願人は、そのようなデバイスに使用される符号化器を機械視覚用途における使用に向けて画像データを処理するように適応させることができることを認めた。
【００１７】
補綴出願において記載されている人工網膜は、正常網膜と同じく画像処理プロセッサであり、受け入れる刺激から極めて重要な情報を抽出し、この情報を脳が理解することができる活動電位パターンにフォーマット設定し直す。正常網膜によって生成される活動電位パターンは、網膜コード又は神経節細胞コードと呼ばれるものである。人工網膜は、視覚刺激を損傷又は劣化した網膜が正常又はほぼ正常な出力を生成することができるようにそれと同じコード又はそれに近い代用コードに変換する。人工網膜は、正常網膜と同じコード又はそれに近い代用コードを使用するので、損傷又は劣化した網膜内の神経節細胞の発火パターン、すなわち、その活動電位パターンは、正常神経節細胞によって生成されるものと同じか又は実質的に類似である。従って、この補綴は、網膜が、視覚世界に対して正常網膜と同じ信号を脳に送ることを可能にする。
【００１８】
補綴出願に詳述されているように、符号化器は、様々な刺激、例えば、白色ノイズ（ＷＮ）と自然光景（ＮＳ）の両方の動画に対する実際の網膜細胞の入力／出力応答の研究から得られたデータを用いて生成された網膜細胞に対する入力／出力モデルを使用する。一部の実施形態において、符号化器は、いくつかのパラメータによって特徴付けられる時空変換を含む線形非線形カスケードモデルに基づいている。これらのパラメータは、実網膜における実験を通過して得られたデータに基づいて最適化され、広範囲にわたる刺激に対する実際の細胞の応答を厳密に模倣する変換がもたらされる。結果は、白色ノイズ刺激又はガウシアン統計を有する刺激に対してだけではなく、顔、風景、歩いている人々、遊んでいる子供のような自然画像（静的な又は時空的に変化する）に関する入力／出力関係を取り込むモデルである。広範囲にわたる刺激に対する有効性は補綴出願、及び以下に詳細に解説する図１８Ａ〜図１８Ｆに示されている。
【００１９】
この手法は、実験を通して得られたデータを利用するので、生成される符号化器は、根底にある網膜の処理手法の詳細な概念的理解を必要とすることなく、網膜処理を正確に模擬することができる。例えば、霊長類及びヒトにおける網膜処理は、脳内での効率的な処理を可能にするために、視覚刺激内でパターン認識タスク（例えば、顔認識）に有利な特徴を強調し、一方、他の特徴（例えば、冗長情報又はノイズ）を弱調又は排除する。計り知れないほど長い年月を経ての自然淘汰の結果として発達したこの処理手法の詳細の完全な概念的理解は、未だなお存在しない。しかし、この概念的理解の欠如にも関わらず、本明細書に説明するデバイス及び技術は、網膜応答を正確に模倣することにより、この処理の利点を取り込むことができる。
【００２０】
言い換えれば、本明細書に説明する様々な実施形態において、この手法はデータ駆動手法であり、すなわち、網膜入力／出力関係のデータ駆動モデルを用い、従って、現実的な画像予備処理をもたらす。それによって下流の機械視覚アルゴリズムに、生物網膜と同じ種類で同じ大きさの次元低減を提供する予備処理段階が与えられ、従って、生物網膜と同じ数々の利点がもたらされる。
【００２１】
一般的に、本明細書に説明する手法は、網膜の完全又はほぼ完全な模倣を与えることができるので、例えば、ガウシアンの差タイプフィルタを用いて画像データをフィルタリングする従来の予備処理プロセッサとは異なることに注意されたい。同じくこの手法は、白色ノイズ刺激又はガウシアン統計を有する刺激だけではなく、広範囲にわたる刺激に対して有効である点で他の線形−非線形カスケードモデルとは異なる。従って、フィルタリングはより一層完全であり、現在の機械視覚アルゴリズムのパワーを大幅に改善する。最も重要な点として、この手法は、現在の機械視覚アルゴリズムを一般化させ、すなわち、積年の難題であった１つの設定（１つの環境又は照明条件）においてトレーニングされて他の環境に対して一般化することを可能にする（例えば、以下に詳細に説明する図１０、図１１、及び図１５を参照されたい）。
【００２２】
更に、一部の実施形態において、広範囲にわたる刺激に対して網膜処理がモデル化されるので（例えば、ＷＮとＮＳの両方によって生成されたデータを用いた最適化の結果として）、機械視覚システムのための予備処理は、広範囲にわたる条件にわたって良好に機能する（網膜が広範囲にわたる条件にわたって機能するのと同じく）。有利な態様においては、この手法は、様々な条件（例えば、照明変化、複雑で変化する視覚光景、多くの異なる環境等）の下でロバストな性能を必要とする機械視覚用途において網膜予備処理技術を使用することを可能にする。
【００２３】
一態様において、一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階と、符号化されたデータに少なくとも部分的に基づいて生成されたデータに第１の機械視覚アルゴリズムを適用する段階とを含む方法を開示する。
【００２４】
一部の実施形態は、符号化されたデータに基づいて一連の網膜画像を生成する段階を含む。一部の実施形態は、符号化されたデータに基づいて網膜画像内のピクセル値を決定する段階を含む。一部の実施形態において、符号化されたデータに基づいて網膜画像内のピクセル値を決定する段階は、網膜細胞応答を示す符号化されたデータに基づいてピクセル強度又は色を決定する段階を含む。
【００２５】
一部の実施形態において、網膜細胞応答を示すデータは、網膜細胞発火率、網膜細胞出力パルス列、及び起動電位から構成されるリストからの少なくとも１つを示す。
【００２６】
一部の実施形態は、一連の網膜画像に第１の機械視覚アルゴリズムを適用する段階を含む。
【００２７】
一部の実施形態において、機械視覚アルゴリズムは、物体認識アルゴリズム、画像分類アルゴリズム、顔認識アルゴリズム、光学文字認識アルゴリズム、コンテンツベースの画像取り出しアルゴリズム、姿勢推定アルゴリズム、運動解析アルゴリズム、自己運動決定アルゴリズム、移動追跡アルゴリズム、オプティカルフロー決定アルゴリズム、光景再現アルゴリズム、３Ｄ容積認識アルゴリズム、及びナビゲーションアルゴリズムから構成されるリストから選択された少なくとも１つを含む。
【００２８】
一部の実施形態において、機械視覚アルゴリズムは、一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示す。
【００２９】
一部の実施形態において、機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する一連の生画像に適用された時よりも良好な性能を示す。
【００３０】
一部の実施形態において、機械視覚アルゴリズムは、一連の画像内での人間の検出又は識別のためのアルゴリズムを含み、この人間を含む様々な網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な検出精度又は識別精度を示す。
【００３１】
一部の実施形態において、人間を含む一連の画像は、自然光景に位置する人間の画像を含む。
【００３２】
一部の実施形態において、人間を含む一連の画像は、機械視覚アルゴリズムをトレーニングするのに使用された自然光景とは異なる自然光景に位置する人間の画像を含む。
【００３３】
一部の実施形態において、機械視覚アルゴリズムは、実環境又は仮想環境を通じたナビゲーションのためのアルゴリズムを含み、自然光景を含む一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好なナビゲーション性能を示す。
【００３４】
一部の実施形態において、機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも少ないナビゲーション中の望まない衝突イベントを示す。
【００３５】
一部の実施形態において、一連の網膜画像は、機械視覚アルゴリズムをトレーニングするのに使用されなかった環境に対応する。
【００３６】
一部の実施形態は、１つ又はそれよりも多くの着目する網膜画像を識別するために、一連の網膜画像に機械画像処理アルゴリズムを適用する段階と、着目する網膜画像に対応する１つ又はそれよりも多くの着目する生画像を識別する段階とを含む。一部の実施形態は、着目する生画像を処理する段階を含む。一部の実施形態において、着目する生画像を処理する段階は、着目する生画像に第２の機械視覚アルゴリズムを適用する段階を含む。一部の実施形態において、第１の機械視覚アルゴリズムは、網膜画像セットに対してトレーニングされたアルゴリズムを含み、第２の機械視覚アルゴリズムは、生画像セットに対してトレーニングされたアルゴリズムを含む。
【００３７】
一部の実施形態において、第１の機械視覚アルゴリズムを適用する段階は、ナビゲーションアルゴリズムを適用する段階を含む。一部の実施形態において、ナビゲーションアルゴリズムを適用する段階は、一連の網膜画像内の複数の画像位置での運動を示す運動情報を決定するように一連の画像を処理する段階と、運動情報に基づいて一連の画像内で空間領域を分類する段階と、空間領域の分類に基づいてナビゲーション決定を生成する段階とを含む。一部の実施形態において、運動情報は、一連の画像内のオプティカルフローを示す。一部の実施形態は、空間領域を分類するのに畳み込みニューラルネットワークを使用する段階を含む。
【００３８】
一部の実施形態は、ナビゲーションアルゴリズムからの結果に基づいてロボット装置の運動を制御する段階を含む。
【００３９】
一部の実施形態は、ナビゲーションアルゴリズムからの結果に基づいて仮想空間内の仮想物体の運動を制御する段階を含む。
【００４０】
一部の実施形態は、網膜画像に基づいて機械視覚アルゴリズムをトレーニングする段階を含む。一部の実施形態において、機械視覚アルゴリズムをトレーニングする段階は、（ｉ）機械視覚アルゴリズムを網膜画像セットに適用して出力を生成する段階と、（ｉｉ）出力に基づいて機械視覚アルゴリズムの性能を示す性能情報を決定する段階と、（ｉｉｉ）性能情報に基づいて機械視覚アルゴリズムの１つ又はそれよりも多くの特性を修正する段階とを含む。一部の実施形態は、選択された性能基準に達するまで段階（ｉ）から段階（ｉｉｉ）までを反復的に繰り返す段階を含む。
【００４１】
一部の実施形態において、トレーニングされた機械視覚アルゴリズムは、パラメータセットによって特徴付けられ、パラメータは、網膜画像に対応する生画像を用いた機械視覚アルゴリズムの同等のトレーニングによって得られることになる対応するパラメータとは異なる。
【００４２】
一部の実施形態において、符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階は、対応する生画像データと比較して低減された情報量を含む符号化されたデータを生成する段階を含む。いくつかのそのような実施形態において、機械視覚アルゴリズムは、一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示す。
【００４３】
一部の実施形態において、符号化されたデータ内に含まれる情報量は、対応する生画像データと比較して１．１倍〜１，０００倍の範囲又はそのいずれかの部分的範囲、例えば、少なくとも約１．５倍、２倍、３倍、４倍、５倍、６倍、７倍、８倍、９倍、１０倍、又はそれよりも多くだけ圧縮される。
【００４４】
一部の実施形態において、脊椎動物は、ネズミ及びサルから構成されるリストから選択された少なくとも１つを含む。
【００４５】
一部の実施形態において、網膜細胞は、神経節細胞を含む。一部の実施形態において、網膜細胞は、少なくとも２つの部類の細胞を含む。一部の実施形態において、少なくとも２つの部類の細胞は、ＯＮ細胞とＯＦＦ細胞とを含む。
【００４６】
一部の実施形態において、符号化器は、時空的に変化する画像を含む自然光景画像を含む様々な入力にわたって脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる。
【００４７】
一部の実施形態において、符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階は、複数の値Ｘを生成するように生画像データを処理する段階と、複数のＸ値を網膜ｍ内の網膜細胞の対応する応答を示す複数の応答値λmに変換する段階と、応答値に基づいて符号化されたデータを生成する段階とを含む。一部の実施形態において、応答値は、網膜細胞発火率に対応する。一部の実施形態において、応答値は、網膜細胞発火率の関数に対応する。一部の実施形態において、応答値は、網膜細胞出力パルスに対応する。一部の実施形態において、応答値は、網膜細胞起動電位、すなわち、時空フィルタを用いた画像の畳み込みの出力に対応する。
【００４８】
一部の実施形態において、符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階は、生画像データからの画像を受け入れて、各画像に対して輝度又はコントラストを再スケーリングし、再スケーリングされた画像ストリームを生成する段階と、再スケーリングされた画像ストリームからＮ枚の再スケーリングされた画像のセットを受け入れ、Ｎ枚の画像のセットに対して時空変換を適用し、網膜細胞のそれぞれの１つに各々が対応する網膜応答値のセットを生成する段階と、網膜応答値に基づいて符号化されたデータを生成する段階とを含む。
【００４９】
一部の実施形態において、応答値は、網膜細胞発火率を含む。一部の実施形態において、Ｎは、１〜１，０００の範囲又はそのいずれかの部分的範囲、例えば、少なくとも５、少なくとも約２０、少なくとも約１００、又はそれよりも多くである。
【００５０】
一部の実施形態において、時空変換を適用する段階は、Ｎ枚の再スケーリングされた画像を時空カーネルを用いて畳み込み、１つ又はそれよりも多くの時空変換された画像を生成する段階と、時空変換された画像に非線形関数を適用して応答値セットを生成する段階とを含む。
【００５１】
一部の実施形態において、時空変換を適用する段階は、Ｎ枚の再スケーリングされた画像を空間カーネルを用いて畳み込み、Ｎ枚の空間変換された画像を生成する段階と、Ｎ枚の空間変換された画像を時間カーネルを用いて畳み込み、時間変換出力を生成する段階と、時間変換出力に非線形関数を適用して応答値セットを生成する段階とを含む。
【００５２】
一部の実施形態において、符号化器は、パラメータセットによって特徴付けられ、パラメータの値は、脊椎動物網膜からこの網膜が白色ノイズ刺激と自然光景刺激とに露出される間に実験的に得られる応答データを用いて決定される。
【００５３】
一部の実施形態において、符号化器は、試験入力刺激と、試験入力刺激に応答して符号化器によって生成されることになる符号化されたデータから再現された対応する刺激との間のピアソン相関係数が、０．３５〜１．０の範囲又はそのいずれかの部分的範囲、例えば、少なくとも約０．３５、０．６５、少なくとも約０．９５、又はそれよりも多くであるように構成される。一部の実施形態において、試験入力刺激は、一連の自然光景を含む。
【００５４】
別の態様において、生画像データを格納するように構成された少なくとも１つのメモリストレージデバイスと、メモリと作動可能に結合され、本明細書に説明する方法のうちの１つ又はそれよりも多くを実行するようにプログラムされた少なくとも１つのプロセッサとを含む装置を開示する。
【００５５】
一部の実施形態において、持続性コンピュータ可読媒体は、本明細書に説明する方法のうちの１つ又はそれよりも多くが有する段階を実施するためのコンピュータ実行可能命令を有する。
【００５６】
別の態様において、一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階とによって生成された一連の画像に対応する符号化されたデータを格納する少なくとも１つのメモリストレージデバイスを含むシステムを開示する。一部の実施形態において、少なくとも１つのストレージデバイスは、符号化されたデータと生画像データの間の対応を示すデータベース情報を格納する。
【００５７】
一部の実施形態は、一連のクエリ画像に対応するクエリ画像データを受け入れ、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するようにクエリ画像データを処理し、符号化されたクエリ画像データをメモリストレージデバイス上の符号化されたデータと比較し、（ａ）メモリストレージデバイス上の符号化されたデータに対する符号化されたクエリデータの比較と、（ｂ）符号化されたデータと生画像データの間の対応を示すデータベース情報とに基づいて、クエリ画像データと生画像データの間の対応を決定するように構成されたプロセッサを含む。
【００５８】
別の態様において、一連の生画像に対応する生画像データを受け入れる段階と、第１の脊椎動物類からの第１の脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて第１の符号化されたデータを生成するように生画像データの少なくとも第１の部分を処理する段階と、第１の脊椎動物類とは異なる第２の脊椎動物類からの第２の脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データの少なくとも第２の部分を処理する段階とを含む方法を開示する。
【００５９】
一部の実施形態は、第１の符号化されたデータに基づいて、処理に向けて生画像データの第２の部分を選択する段階を含む。
【００６０】
様々な実施形態において、生画像データは、画像検出器、又は生画像データを格納するメモリ、又はその組合せから実質的に実時間で受け取られる。
【００６１】
別の態様において、生画像データを格納するように構成された少なくとも１つのメモリストレージデバイスと、メモリと作動可能に結合され、本明細書に説明する方法のうちの１つ又はそれよりも多くを実行するようにプログラムされた少なくとも１つのプロセッサとを含む装置を開示する。
【００６２】
別の態様において、持続性コンピュータ可読媒体は、本明細書に説明する方法のうちの１つ又はそれよりも多くが有する段階を実施するためのコンピュータ実行可能命令を有する。
【００６３】
別の態様において、一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階とによって生成された一連の画像に対応する符号化されたデータを格納する少なくとも１つのメモリストレージデバイスを含むシステムを開示する。一部の実施形態において、少なくとも１つのストレージデバイスは、符号化されたデータと生画像データの間の対応を示すデータベース情報を格納する。
【００６４】
様々な実施形態は、上述の要素のうちのいずれかを単独で又はあらゆる適切な組合せで含むことができる。
【図面の簡単な説明】
【００６５】
【図１】例示的な機械視覚システムを示すブロック図である。
【図２】符号化器モジュールの作動を示す流れ図である。
【図３Ａ】パネルＡが、カメラによって得られた生画像ストリームからのいくつかのフレームを示し、パネルＢが、それに対応する網膜画像ストリームからのいくつかのフレームを示し、各々が異なる細胞アレイ（図に示すように、ＯＦＦミジェット細胞、ＯＮミジェット細胞、ＯＦＦパラソル細胞、及びＯＮパラソル細胞）を用いた４つの異なる網膜画像ストリームを示す生画像ストリーム（複雑な環境を通って歩く人物）の網膜画像ストリームへの変換を示す図である。
【図３Ｂ】生画像の拡大図である。
【図３Ｃ】図３Ａの最終列に対応する網膜画像の拡大図である。
【図３Ｄ】図３Ａの最終列に対応する網膜画像の拡大図である。
【図３Ｅ】図３Ａの最終列に対応する網膜画像の拡大図である。
【図３Ｆ】図３Ａの最終列に対応する網膜画像の拡大図である。
【図４】図１の機械視覚システムの機械視覚モジュールをトレーニングするためのトレーニングシステムを示すブロック図である。
【図５】図４のトレーニングシステムの作動を示す流れ図である。
【図６】ロボットが進む経路を破線に示し、迷路を通じたロボットのナビゲーションを制御するのに使用される機械視覚システムを示す図である。
【図７】ナビゲーションタスクを制御するのに使用される機械視覚システムの一実施形態に関する流れ図である。
【図８】画像ストリームが、本文に示すように田園環境を用いた仮想環境内で生成したものであり、上部のパネルが、画像ストリーム内の最初の５つのフレームを示し、下部のパネルが、画像ストリームの残りの部分から選択したフレームを示し、３０フレーム毎に１枚（すなわち、３０秒毎に１フレーム）を示すナビゲータをトレーニングするのに用いた生画像ストリーム（動画）からのフレームを示す図である。
【図９Ａ】田園環境（ナビゲータをトレーニングするのに用いたものとは異なるもの）を示し、図９の場合と同様に、これらの画像ストリームが、仮想環境内で生成したものであり、各セットの上部パネルが、最初の４つのフレームを示し、下部パネルが、動画の残りの部分から選択したフレーム（この場合に、１５フレーム毎に１枚（すなわち、２分の１秒毎に１フレーム））を示すナビゲータを試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。
【図９Ｂ】郊外環境を示し、図９の場合と同様に、これらの画像ストリームが、仮想環境内で生成したものであり、各セットの上部パネルが、最初の４つのフレームを示し、下部パネルが、動画の残りの部分から選択したフレーム（この場合に、１５フレーム毎に１枚（すなわち、２分の１秒毎に１フレーム））を示すナビゲータを試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。
【図９Ｃ】遊び場環境（タイヤ障害物コース）を示し、図９の場合と同様に、これらの画像ストリームが、仮想環境内で生成したものであり、各セットの上部パネルが、最初の４つのフレームを示し、下部パネルが、動画の残りの部分から選択したフレーム（この場合に、１５フレーム毎に１枚（すなわち、２分の１秒毎に１フレーム））を示すナビゲータを試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。
【図１０】本文及び図７の流れ図で説明するように、ナビゲーションタスクを学習するのに用いた主アルゴリズムである畳み込みニューラルネットワーク（ＣＮＮ）を１）標準手法、すなわち、生視覚環境（生画像ストリーム）を使用する方法、及び２）生視覚環境の次元を低減した後、すなわち、生視覚環境を符号化器を通過して処理した後の環境を使用する手法という２つの手法でトレーニングしたものであり（用いたトレーニング環境は、図８に示す田園環境である）、次に、ナビゲータの性能をナビゲータをトレーニングするのに用いたものとは異なる田園環境、郊外環境、及び遊び場環境という３つの新しい環境内で試験し（各環境からのサンプルを図９に示す）、Ａ．ナビゲータが生画像ストリームから環境を学習した場合のナビゲータの性能であり、乱れた軌道及び衝突に注意しなければならず、Ｂ．ナビゲータが網膜画像ストリーム（符号化器によって生成された画像ストリーム）から環境を学習した場合のナビゲータの性能であり、真っ直ぐな経路及び障害物の回避に注意しなければならないナビゲータの性能及び異なる環境に対して一般化する機能を示す軌道を示す図である。
【図１１】ＡからＦが、太陽の異なる位置、従って、遊び場環境内の異なる影条件に対応し、光条件が、日の出から日の入まで、すなわち、環境の左側の水平線の上方３０度から右側の水平線の上方３０度にわたり、明るい灰色が、ナビゲータを生画像ストリーム（図８に示す１つの照明条件を用いた田園環境からの）上でトレーニングした場合のナビゲータの性能であり、この図に示すように、ナビゲータの性能が、新しい環境に配置された場合に低く、この低い性能が、光条件にわたって同じく適用され、各棒グラフの高さが、ナビゲータが遊び場のタイヤコース内でタイヤのうちの１つと衝突することもなく首尾良く留まった試行分率に対応し、誤差棒グラフが、平均の標準誤差（ＳＥＭ）を示し、暗い灰色が、ナビゲータを網膜画像ストリーム（同じ単一の照明条件を使用するが、今回は符号化器を通過して処理した同じ田園環境）上でトレーニングした場合のナビゲータの性能であり、図示のように、ナビゲータの性能が高く、高い性能が光条件にわたって成り立ち、従って、網膜画像ストリーム上でのトレーニング（すなわち、符号化器を通過して処理された低次元画像上でのトレーニング）が、新しい環境及び複数の照明条件（日の出から日の入まで、上記を参照されたい）に対して一般化された高い性能をもたらし、具体的に高い性能が異なる環境（田園環境から郊外環境、更に遊び場まで）だけでなく、環境内の異なる照明条件に対しても一般化されることを示すナビゲータの高い性能を更に明らかにする図である。
【図１２】顔認識タスクを制御するのに使用される機械視覚システムの一実施形態に関する流れ図である。
【図１３】画像ストリームが、２４フレーム毎秒のレートで記録したものであり、この図では１２フレーム毎に１枚を示す（２分の１秒毎に１フレーム）顔認識アルゴリズム（本文で言及しているＶｉｏｌａ−Ｊｏｎｅｓ−Ｓｎｏｗアルゴリズム）をトレーニングするのに用いた生画像ストリーム（動画）からのフレームを示す図である。
【図１４】人物が、図１３に示すものと同じであるが、例えば、異なる環境内で異なる髪型を有する人物であることに注意しなければならず、本文に示すように、顔認識アルゴリズムの目的が、このアルゴリズムがターゲット人物の他の画像ストリームに対してのみトレーニングされている場合であっても、新しい画像ストリームをこの人物に属するものとして認識することであり、図１３の場合と同様に、画像ストリームが、２４フレーム毎秒のレートで記録したものであり、この図では１２フレーム毎に１枚を示す（２分の１秒毎に１フレーム）顔認識アルゴリズムの性能を試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。
【図１５】１）標準手法を使用し、すなわち、生画像ストリームを用いて顔認識アルゴリズムをトレーニングする方法、及び２）本出願に説明する手法を使用する（すなわち、生画像ストリームを符号化器によって処理したものを使用する）方法という２つの方法で顔認識アルゴリズムがトレーニングされた場合のその性能を示す図であり、両方の場合に、顔認識アルゴリズムを多くの画像ストリーム（ターゲット顔の４〜５本の映像からの２５０〜８００本の２フレーム画像ストリーム及び他の顔の＞１００本の映像からの２０００本の２フレーム画像ストリーム）に対してトレーニングし、次に、過去に見せていない映像、すなわち、トレーニングセットに対して用いなかった映像からの５０〜８００本の２フレーム画像ストリームを用いて性能を測定し（トレーニングセットと試験セットの両方からのサンプルフレームに対しては図１３と図１４とを参照されたい）、標準手法が非常に非力に機能したのみであったものと、ほどほど良好に機能したものという２つのタスクセットに対して性能を示し、棒グラフの高さが、顔認識器がターゲット顔を首尾良く認識した試行分率を示し、誤差棒グラフが、平均の標準誤差（ＳＥＭ）を示し、図示のように、タスクが困難であった場合に（Ａ）、本出願に説明する手法が、標準手法に優る大きな（４倍の）改善をもたらし、タスクがそれ程困難ではなかった場合に、すなわち、標準手法がほどほど良好に機能する場合にも、本出願に説明する手法が、依然として改善をもたらす（１．５倍の）ことを示す図である。
【図１６】画像処理に網膜符号化器手法と従来手法の両方を使用する例示的な混成画像処理法に関する処理流れ図である。
【図１７】網膜符号化されたデータを用いたデジタル指紋処理のためのシステムのブロック図である。
【図１８Ａ】従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。
【図１８Ｂ】従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。
【図１８Ｃ】従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。
【図１８Ｄ】従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。
【図１８Ｅ】従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。
【図１８Ｆ】従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。
【発明を実施するための形態】
【００６６】
図１は、カメラ１０２と、符号化器モジュール１０４と、機械視覚モジュール１０６と、機械視覚モジュールによって制御されるシステム１０８とを特徴として含む例示的な機械視覚システム１００を示す。カメラ１０２は、視覚刺激を受け入れ、それをデジタル画像データ、例えば、デジタル画像ストリームに変換する。本明細書ではこのデジタル画像データを「生」画像データと呼ぶ場合がある。生画像データは、網膜符号化器による処理の前のあらゆる画像データを含むことができることは理解されるものとする。
【００６７】
符号化器モジュール１０４は、画像データを受け入れて、これらのデータを本明細書及び／又は補綴出願に記載されているタイプの１つ又はそれよりも多くの網膜符号化器を用いて処理する。「網膜画像データ」と呼ぶ符号化器モジュールの出力は、機械視覚モジュールに渡され、機械視覚モジュールは、網膜画像データを例えば当業技術で公知であり及び／又は本明細書で説明する１つ又はそれよりも多くの機械視覚技術を用いて処理する。機械視覚処理に基づいて、機械視覚モジュール１０６は、あらゆる適切な目的に使用することができる出力を生成する。図示のように、出力は、１つ又はそれよりも多くのシステム１０８、例えば、ロボットシステムを制御する。一部の実施形態において、画像の処理及び／又は制御は、実時間又はほぼ実時間に実施することができる。
【００６８】
図１に示すシステムは単に例示的であり、様々な他のタイプの機械視覚システムを使用することができることは理解されるものとする。例えば、一部の実施形態において、制御式システム１０８を例えば省くことができ、この場合に、機械視覚モジュールの出力は、制御に使用されるのではなく、更に別の処理等のための出力として格納される。一部の実施形態において、カメラ１０２は、例えば、格納画像データの供給源によって置換することができる。一部の実施形態において、付加的な要素、例えば、様々なプロセッサ又はコントローラ、ユーザ制御器、入力又は出力デバイスなどを含めることができる。
【００６９】
様々な実施形態において、カメラ１０２は、視覚刺激をデジタル形態、例えば、デジタル画像ストリームに変換することができるあらゆるデバイスとすることができる。様々な実施形態は、電荷結合デバイス（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）センサのような能動ピクセルセンサ（ＡＰＳ）、薄膜トランジスタ（ＴＦＴ）、フォトダイオードアレイ、及びこれらの組合せに基づくデバイスを含むことができる。
【００７０】
カメラ１０２によって生成されるデジタル画像の各々は、０．０１〜１０００メガピクセルの範囲又はそのいずれかの部分的範囲、例えば、少なくとも０．０１メガピクセル、少なくとも２メガピクセル、又はそれよりも多くを含むことができる。デジタル画像ストリームは、１〜１０００Ｈｚの範囲又はそのいずれかの部分的範囲、例えば、少なくとも１０Ｈｚ、少なくとも５０Ｈｚ、少なくとも１００Ｈｚ、又はそれよりも多いフレームレート（すなわち、１秒当たりの画像フレーム数）によって特徴付けることができる。デジタル画像は、有色、グレースケール、白黒、又は他の適切なタイプの画像とすることができる。
【００７１】
一部の実施形態において、カメラは、電荷結合デバイス（ＣＣＤ）に基づいている。一実施形態において、カメラ１００は、Ｐｏｉｎｔ  Ｇｒｅｙ  Ｆｉｒｅｆｌｙ  ＭＶデバイス（６０フレーム毎秒において７５２×４８０ピクセル、８ビット／ピクセルの機能を有する）（Ｐｏｉｎｔ  Ｇｒｅｙ  Ｒｅｓｅａｒｃｈ、リッチモンド、ＢＣ、カナダ）である。別の実施形態において、カメラ１００は、Ｏｍｎｉｖｉｓｉｏｎ  ＯＶ５６４２カメラモジュール（３０フレーム毎秒において１２８０×７２０ピクセル、８ビット／ピクセルの機能を有する）を組み込んだＥ−ｃｏｎｓｙｓｔｅｍｓ  ｅ−ＣＡＭ５０_ＯＭＡＰ_ＧＳＴＩＸである。
【００７２】
一部の実施形態において、カメラ１０２によって画像が得られ、これらの画像は、望ましくない遅延時間なしにデバイス１００が作動することを可能にする十分な速度で符号化器モジュール１０４に送信される。この送信を提供するために、一部の実施形態において、カメラ１０２と符号化器モジュール１０４の間に高帯域幅接続が設けられる。例えば、カメラと処理デバイスの間でＵＳＢ２．０インタフェースを用いて２０ＭＢ／秒よりも優れたデータ転送を提供することができる。他の実施形態において、カメラと処理デバイスの間で、ＯＭＡＰ  ３５３０（Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ、ダラス、ＴＸ、米国）上のＣａｍｅｒａ  Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ内に組み込まれたパラレルインタフェースのようなパラレルインタフェースが使用される。様々な実施形態において、有線接続又は無線接続を含む他の適切な接続を使用することができる。カメラ１０２は、以下に限定されるものではないが、ＩＥＥＥ  １３９４又はＵＳＢ  ２．０のようなシリアルインタフェース、パラレルインタフェース、ＮＴＳＣ又はＰＡＬのようなアナログインタフェース、無線インタフェースを含む高速データ転送の機能を有するいずれかの接続を用いて符号化器モジュール１０４とインタフェース接続することができる。一部の実施形態において、カメラは、符号化器モジュールと同じ基板上に組み込むことができる。
【００７３】
符号化器モジュール１０４は、例えば、実施する符号化器が、網膜回路の作動を模倣して画像からコードへの変換を実施することを含む本明細書に説明する技術を用いて画像ストリームの処理を実施する。符号化器によって指定された変換が一連の入力画像に適用され、符号化された出力が生成される。例えば、符号化された出力は、画像が網膜によって感受された場合に生成されたであろう網膜細胞の発火率を示す値の形態にあるとすることができる。出力は、例えば、網膜細胞の「起動電位」を示す情報、すなわち、網膜モデルの線形成分の出力（線形フィルタを用いた画像の畳み込みの出力）とすることができる。符号化された出力は、網膜細胞によって生成される「スパイク」のパルス列を示すとすることができる。
【００７４】
一部の実施形態において、異なるタイプの網膜出力細胞が存在するので、正常網膜の処理をより良好に模倣するために異なる符号化器の組を使用することができる。相違点は、特定の細胞タイプ（例えば、ＯＮ細胞又はＯＦＦ細胞）又は網膜上の細胞位置（中央の網膜内のＯＮ細胞に対して周囲のＯＮ細胞）に対応する可能性がある。符号化器モジュール１０４が１つよりも多い符号化器を有する場合には、符号化器は、独立して、又は少なくとも１つ又はそれよりも多くの結合機構を通じたいずれかで並列作動させることができる。
【００７５】
図２は、符号化器モジュール１０４の例示的な実施形態の作動を示す流れ図である。段階２０１において、符号化器モジュール１０４は、カメラ１０２（又はあらゆる他の適切な供給源）から一連の画像を受け入れる。任意的な段階２０２では、画像のコントラスト／強度を再スケーリングし、画像にノイズフィルタを適用し、かつ画像を整えるなどのためにこれらの生画像が予備処理を受ける。
【００７６】
段階２０３では、画像に対する網膜細胞応答を示す情報を決定するように、生画像が処理される。例えば、一実施形態において、画像視野内の様々な位置に対して、符号化器は、画像ストリームを処理して、画像ストリームが網膜上に入射した場合に網膜細胞（又は細胞群）によって生成されると考えられる発火率に対応する時間依存の値を出力する。一実施形態において、発火率出力は、所定の時間ｔで位置（ｘ，ｙ）における要素が位置（ｘ，ｙ）おける網膜細胞の発火率に対応するビット行列であるようにフォーマット設定される。
【００７７】
一部の実施形態において、符号化器は、発火率とは別の測定基準を用いて網膜細胞の応答を示す情報を生成することができることに注意されたい。例えば、符号化器の出力は、細胞の活性化状態、細胞内電位、上述の起動電位等に対応することができると考えられる。
【００７８】
段階２０４では、段階２０３からの符号化された情報を用いて、機械視覚モジュール１０６による処理に適する画像（本明細書では「網膜画像」、又は時変画像を指す場合は「網膜画像ストリーム」又は「網膜画像データストリーム」と呼ぶ）が生成される。例えば、上述したように、符号化された情報が発火率の行列として出力される場合には、「網膜画像」内の各ピクセルの強度が、行列内の対応する要素の発火率値によって決定される発火率網膜画像を生成することができる（例えば、図３を参照されたい）。発火率とピクセル強度の間の線形関係、非線形関係、多項式関係、対数関係などを含むあらゆる適切な関係を使用することができる。発火率とピクセル強度の間の変換は、ルックアップテーブルの使用を含むあらゆる適切な技術を用いて実施することができる。一部の実施形態において、発火率は、網膜画像内で強度とは別の画像特性を用いて表すことができる。例えば、網膜画像が有色画像である実施形態において、各ピクセルの色空間座標は、発火率に対応することができると考えられる。
【００７９】
任意的な段階２０５では、網膜画像が後処理を受ける。例えば、再スケーリング、フィルタリング、トリミング、スムージングなどを含むあらゆる適切な処理技術を使用することができる。段階２０６では、網膜画像が、機械視覚モジュール１０６に出力される。
【００８０】
一部の実施形態において、段階２０４及び段階２０５を割愛することができることに注意されたい。この場合に、処理に向けて符号化器の出力を機械視覚アルゴリズムに直接に送信ことができる。当業者には明らかであろうが、一部の場合には、この直接送信は、従来の画像データとしてフォーマット設定されていない入力データを受け入れるような公知の機械視覚アルゴリズムの修正を必要とする可能性がある。しかし、多くの実施形態において、この直接送信は、特定のアルゴリズムの基本概念の修正の必要なく直接的にもたらすことができる。
【００８１】
一部の実施形態において、各符号化器は、時空変換段階が続く予備処理段階を実施する。予備処理段階は、実世界画像Ｉを時空変換の作動範囲にある量Ｘに写像する処理デバイスの予備処理プロセッサモジュール内に実施することができる再スケーリング段階である。Ｉ及びＸは時変量であり、すなわち、Ｉ（ｊ，ｔ）が、各場所ｊ及び時間ｔにおける実画像の強度を表し、Ｘ（ｊ，ｔ）が、対応する予備処理段階出力を表すことに注意されたい。ａ及びｂが、実世界画像強度の範囲を時空変換の作動範囲に写像するように選択された定数である時に、予備処理段階は、Ｉ（ｊ，ｔ）がＸ（ｊ，ｔ）にＸ（ｊ，ｔ）＝ａ＋ｂＩ（ｊ，ｔ）によって写像されるように写像を行うことができる。
【００８２】
再スケーリングは、変数履歴を用いて、量ａ及びｂを決定するために行うことができ、異なる条件（例えば、異なる照明又は異なるコントラスト）の下でこれらの量の値を設定するためにスイッチを使用することができる。
【００８３】
グレースケール画像では、Ｉ（ｊ，ｔ）及びＸ（ｊ，ｔ）は、各場所ｊ及び時間ｔに対して１つの値を有する。
【００８４】
有色画像では、同じ手法が使用されるが、赤色、緑色、及び青色という各色チャンネルに別々に適用される。一実施形態において、強度Ｉ（ｊ，ｔ）は、各場所ｊ及び時間ｔに対して３つの値（Ｉ1，Ｉ2，Ｉ3）を有し、これらの３つの値Ｉ1、Ｉ2、Ｉ3は、それぞれ赤色、緑色、及び青色の強度を表している。次に、各強度値は、それに対応するＸ値（Ｘ1，Ｘ2，Ｘ3）に上述の変換によって再スケーリングされる。
【００８５】
一実施形態において、時空変換段階は、線形−非線形カスケード（Ｃｈｉｃｈｉｌｎｉｓｋｙ  ＥＪ  ２００１年、Ｓｉｍｏｎｃｅｌｌｉ他  ２００４年において吟味されている）を用いて実施され、この場合に、各神経節細胞ｍにおける発火率λｍは、次式によって与えられる（１）。
2014524630.tif 000003
ここで、*は、時空畳み込みを表し、Ｌmは、ｍ番目の細胞の時空カーネルに対応する線形フィルタであり、Ｎmは、ｍ番目の細胞の非線形性を説明する関数であり、前節と同じくＸは、予備処理段階の出力であり、ｊは、ピクセルの場所であり、ｔは、時間である。この場合に、上述したように、発火率網膜画像を生成するために発火率λmを使用することができる。
【００８６】
Ｌmは、空間関数と時間関数との積としてパラメータ化される。例えば、一実施形態において、空間関数は、格子（例えば、カメラ内のデジタル化された画像）上の各ピクセルにおける重みから構成されるが、他の変形では、格子上の直交基底関数の和を使用することができる。一実施形態において、格子は、１０×１０のピクセルアレイからなり、合計で２６度×２６度の視覚空間を助けるが（この場合に、各ピクセルは視空間内で２．６度×２．６度である）、他の変形を使用することもできる。例えば、網膜神経節細胞に対応する視空間区域は、網膜上の空間位置と共にかつ種属毎に変化するので、合計アレイサイズは変化する可能性がある（例えば、１０×１０のピクセルアレイ内の各ピクセルにおいて０．０１度×０．０１度から３度×３度又はその前後に対応する０．１度×０．１度から３０度×３０度又はその前後で）。これらの角度範囲及びピクセルアレイサイズは、１つの特定の実施形態の例示のために提供したものに過ぎず、他の度数範囲又はピクセルアレイサイズが本発明によって含まれることは理解されるものとする。選択されたいずれかのアレイサイズでは、細胞が表す視空間内の区域の形状に基づいて、アレイ内のピクセル数も変化する可能性がある（例えば、１×１から２５×２５のピクセル又はその付近のアレイ）。同様に、時間関数は、いくつかの時間ビンにおける重みと、他の時間ビンにおける対数時間の二乗余弦関数との和から構成される（Ｎｉｒｅｎｂｅｒｇ他  ２０１０年、Ｐｉｌｌｏｗ  ＪＷ他  ２００８年）。直交基底関数の和のような他の変形を使用することもできる。
【００８７】
この実施形態において、時間サンプルは、１．２秒の合計持続時間において各々が６７ｍｓの１８個の時間ビンにわたるが、他の変形を使用することもできる。例えば、異なる神経節細胞は異なる時間特性を有するので、ビンによって埋められる持続時間、及び細胞の動特性を表すのに必要とされるビン数は変化する可能性がある（例えば、０．５秒から２．０秒又はその付近の持続時間、及び５から２０又はその付近のビン数）。時間特性は、種属にわたって変化する可能性もあるが、この変化は、上述の範囲によって含まれることになる。
【００８８】
式１は、符号化器の出力の過去の履歴（すなわち、細胞ｍによって既に生成されたスパイク列）及び他の神経節細胞の出力の過去の履歴に基づいて、符号化器の出力を修正する項を含むように修正することができる（Ｎｉｒｅｎｂｅｒｇ他  ２０１０年、Ｐｉｌｌｏｗ  ＪＷ他  ２００８年）。
【００８９】
別の実施形態において、線形フィルタＬmは、各々が空間関数と時間関数の積であるＱ個の項の和としてパラメータ化される。
2014524630.tif 000004
ここで、
2014524630.tif 000005
は、外積を表し、Ｓk及びＴkは、ｋ番目の空間関数及び時間関数それぞれである（ｋは１からＱの範囲にわたる）。
【００９０】
この実施形態において、個々の空間関数は、上述したように、例えば、格子上の各ピクセルにおける重みとして、又は格子上の直交基底関数の和としてパラメータ化することができる。個々の時間関数は、ここでもまた、例えば、いくつかの時間ビンにおける重みと、他の時間ビンにおける対数時間の二乗余弦関数との和としてパラメータ化することができる。直交基底関数の和のような他の変形を使用することもできる。
【００９１】
一実施形態において、Ｑは２であり、Ｌmは次式のように書くことができる。
2014524630.tif 000006
ここで、
2014524630.tif 000007
は、外積を表し、Ｓ1とＴ1とは、空間関数と時間関数とで構成される第１の対であり、Ｓ2とＴ2とは、空間関数と時間関数とで構成される第２の対である。
【００９２】
Ｌに関するパラメータの両方の組（空間と時間との）において、分解能（ピクセルサイズ、ビンサイズ）及びスパン（ピクセル数、時間ビン数）の選択は、網膜の符号に対してある程度近い代用符号を取得する必要性、及びパラメータを実用的な最適化手順（例えば、補綴出願に詳述されている）によって決定することができるようにパラメータ数を十分に小さく保つ必要性という２つのファクタによって決定することができる。例えば、パラメータ数が過度に小さいか又は分解能が過度に低い場合には、代用符号は、十分には正確にならない。パラメータ数が過度に大きい場合には、最適化手順は過剰適合に悩まされることになり、変換（式１）は一般化されないことになる。基底関数の適切な組の使用は、パラメータ数を低減し、従って、過剰適合を回避するという手法、すなわち、「次元低減」方法である。例えば、時間関数（各々が６７ｍｓである１８個の時間ビンをカバーする）は、１０個の重みと基底関数との和によってパラメータ化することができ、補綴出願の「Ｅｘａｍｐｌｅ  １，Ｍｅｔｈｏｄ  ｏｆ  ｂｕｉｌｄｉｎｇ  ｔｈｅ  ｅｎｃｏｄｅｒ（例１、符号化器を構成する方法）」という節及び（Ｎｉｒｅｎｂｅｒｇ他  ２０１０年、Ｐｉｌｌｏｗ  ＪＷ他  ２００８年）を参照されたい。
【００９３】
非線形性Ｎmは、３次スプラインとしてパラメータ化されるが、区画的線形関数、高次スプライン、テイラー級数、及びテイラー級数の商のような他のパラメータ化を使用することができる。一実施形態において、非線形性Ｎmは、７つのノットを有する３次スプライン関数としてパラメータ化される。ノット数は、非線形性の形状が正確に捕捉され、同時に過剰適合（上述の過剰適合の解説を参照されたい）が回避されるように選択される。端点を制御するのに少なくとも２つのノットが必要とされ、この場合に、ノット数は、約２から少なくとも約１２の範囲にわたるとすることができる。ノットは、モデルの線形フィルタ出力によって与えられる値の範囲をカバーするように離間される。
【００９４】
時空変換段階では、上述の線形−非線形（ＬＮ）カスケードに加えて、別の写像も本発明の範囲にある。別の写像は、人工神経網、及び線形−非線形−線形（ＬＮＬ）カスケードのような他のフィルタ組合せを含むが、これらに限定されない。更に、時空変換は、履歴依存性を与えるためにスパイク発生器段（下記を参照されたい）からのフィードバックを組み込み、（Ｐｉｌｌｏｗ  ＪＷ他  ２００８年、Ｎｉｃｈｏｌｓ他  ２０１０年）にあるように神経細胞の間の相関を含むことができる。例えば、これは、付加的なフィルタ関数をスパイク発生器の出力を用いて畳み込み、これらの畳み込みの結果を式１における非線形性の引数に加算することによって実施することができる。
【００９５】
時空変換段階に他のモデルを使用することができる。これらのモデルの非限定的な例は、Ｐｉｌｌｏｗ  ＪＷ他  ２００８年に記載されているモデルと、動的利得制御と、ニューラルネットワークと、形式及び係数が実験データによって決定される離散した時間ステップで近似された積分、微分、及び通常の連立代数方程式の解として表されたモデルと、線形投影（時空カーネルを用いた入力の畳み込み）、並びに形式及び係数が実験データによって決定される非線形歪曲（パラメータ化された非線形関数による得られるスカラー信号の変換）から構成されるステップシーケンスの結果として表されたモデルと、時空カーネルが少数の項の和であり、これらの項の各々が、実験データによって決定された空間変数の関数と空間変数の関数と時間変数の関数との積であるモデルと、これらの空間関数及び／又は時間関数が、空間サンプル又は時間サンプルの個数よりも小さいサイズと、実験データによって決定された重みとを有する１組の基底関数の線形結合として表されるモデルと、非線形関数が１つ又は複数の分割区画で構成され、これらの分割区画の各々が、実験データによって決定された切点及び／又は係数を有する多項式であるモデルと、上述のモデルの出力を加算、減算、乗算、割算、累乗根、累乗、及び超越関数（例えば、指数、正弦、及び余弦）のような計算段階を経て時に再帰的に組み合わせるモデルとを含む。
【００９６】
補綴出願に記載されているように、上述のタイプの符号化器は、実網膜細胞の入力／出力機能を非常に厳密に模倣することができる。本出願に詳述されているように、一部の場合には、この模倣は、各ピクセルにおいて再現される網膜画像の値とそれに対応する生画像の値との間の標準のピアソン相関係数を決定することによって特徴付けることができる。この場合に、１という相関係数は、元の画像の情報の全てが完全に保持されていたことを示し、それに対して０という相関係数は、実画像への再現画像の類似性がゼロであったことを示す。
【００９７】
例えば、一部の実施形態において、符号化器は、試験入力刺激と、試験入力刺激に応答して符号化器によって生成されることになる符号化されたデータから再現される対応する刺激との間のピアソン相関係数が、０．３５〜１．０の範囲又はその部分的範囲、例えば、少なくとも約０．３５、０．６５、少なくとも約０．９５、又はそれよりも多くであるように構成される。一部の実施形態において、試験入力刺激は、一連の自然の光景（例えば、時空的に変化する光景）を含む。
【００９８】
一部の実施形態において、本明細書に説明するタイプの網膜符号化器は、広範な入力、例えば、時空的に変化する自然光景に対する実網膜細胞の入力／出力機能を模倣する。一般的な実施形態において、この性能は、従来の符号化器よりも実質的に良好である。
【００９９】
図１８Ａ〜図１８Ｆは、風景、歩いている人々などを含む自然光景の動画を用いて試験した場合の様々な細胞（細胞１〜６それぞれ）の網膜符号化器モデルの性能を示す。各図には、従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示している。ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示している。従来の（ＬＮ）モデルは、白色ノイズ刺激に対する網膜細胞の実験応答だけに基づいて開発したものである。それとは対照的に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルは、白色ノイズ刺激と自然光景刺激の両方に対する記録細胞応答に基づいて開発される。
【０１００】
図示の例では、両方のタイプのモデルに対する入力試験刺激は、ニューヨーク市内のセントラルパークにおいて撮影された自然光景の動画である。図示のように、標準のＬＮモデルは、自然光景刺激に対してそれ程有効ではなく、すなわち、白色ノイズ刺激を用いて構成されたこのモデルは、実細胞のものに厳密に一致するスパイクパターンを生成しない。それとは対照的に、本出願で説明する白色ノイズ刺激と自然光景刺激とを用いて構成されたＬＮモデルは非常に有効である。このモデルが生成するスパイクパターンは、実細胞のものに厳密に一致する。（これらのモデルを試験するのに用いた自然光景動画は、あらゆるモデルを検証するのに必要とされるモデルをトレーニングする段階に使用されるものとは異なることに注意されたい。各図では、両方のタイプのモデルに対する土台として、同じ実細胞が使用されていることにも注意しなければならない。最後に、本明細書に説明するタイプの符号化器モデルの性能は、補綴出願、並びにＮｉｒｅｎｂｅｒｇ他の「Ｒｅｔｉｎａｌ  ｐｒｏｓｔｈｅｔｉｃ  ｓｔｒａｔｅｇｙ  ｗｉｔｈ  ｔｈｅ  ｃａｐａｃｉｔｙ  ｔｏ  ｒｅｓｔｏｒｅ  ｎｏｒｍａｌ  ｖｉｓｉｏｎ（正常視覚を回復する機能を有する人工網膜補綴法）」、ＰＮＡＳ  ２０１２年、及びｗｗｗ．ｐｎａｓ．ｏｒｇ／ｌｏｏｋｕｐ／ｓｕｐｐｌ／ｄｏｉ：１０．１０７３／ｐｎａｓ．１２０７０３５１０９／−ＤＣＳｕｐｐｌｅｍｅｎｔａｌにおいて入手可能な関連する補足情報の欄に示すように、顔、歩いている人々、遊んでいる子供、風景、木々、小動物のような動画を含む多くの他の刺激を用いて明らかにされていることに注意されたい。）
【０１０１】
性能に関する同じ結論をＰＳＴＨから引き出すことができる。明灰色の軌跡は、実細胞の平均発火率を示しており、暗灰色の軌跡は、モデル細胞の平均発火率を示す。標準のＬＮモデルは、発火率の多くの特徴を捕捉し損ねており、異なる図１８Ａ〜図１８Ｆの各々が、標準モデルが捕捉し損ねた異なる特徴の例を示す。しかし、本出願に説明するモデルは、発火率の特徴を確実に捕捉し、様々な異なる細胞においても同じく捕捉する（多くの他の例は、補綴出願に示されている）。
【０１０２】
図３Ａは、生画像の網膜画像への変換を示す。パネルＡは、カメラ１０２によって得られた生画像ストリームのいくつかのフレームを示す。図示のように、生画像ストリームは、複雑な環境を通って歩く人物を含む。パネルＢは、網膜画像ピクセル強度が、符号化器モジュール１０４の符号化器によって生成される発火率に対応する上述のフレームに対応する網膜画像フレームを示す。各々が異なる細胞アレイ（図示のように、ＯＦＦミジェット細胞、ＯＮミジェット細胞、ＯＦＦパラソル細胞、及びＯＮパラソル細胞）を用いた４つの異なる網膜画像ストリームを示す。図示の網膜画像フレームは、自然の網膜内での処理遅延時間（図示のものでは約８０ｍｓ）に対応する短い時間遅延の後に符号化器モジュール１０４によって生成されたものであることに注意されたい。
【０１０３】
網膜画像内に含まれる全情報量が、生画像のものよりも少ないことが明らかであることに注意されたい。この情報の減少は、機械視覚に対する処理負荷を有利に軽減することができる。更に、符号化器は網膜の挙動を模倣するので、いくつかの機械視覚用途では、網膜画像内に保持される情報は、既存の機械視覚のタスクに必要とされる際立った特徴を含むことになり、機械視覚モジュール１０６の効率的かつ有効な作動を可能にする。
【０１０４】
図３Ｂ〜図３Ｆは、図３Ａの最終列に対応する生画像（図３Ｂ）及び網膜画像（図３Ｃ〜図３Ｆ）の拡大図を示す。生画像では、比較的静的であるが複雑な環境内で人影が右から左に移動している。網膜画像の全て（図３Ｃ〜図３Ｆ）において、静的環境を様々な度合で弱調しており、それに対して移動する人影を強調していることに注意されたい。更に、両方の画像において、人影に追従して運動方向の示唆を与える「モーションシャドウ」型の効果が明らかである。それに応じて画像内に含まれる全体の情報量は低減されているが、残っているものは、重要な特徴、すなわち、移動する人影を強調している。
【０１０５】
これらの効果は、いずれかの意図的に設計されたプログラミングの結果であることに注意されたい。すなわち、符号化器は、移動特徴を識別するように意図的にプログラムされたものではない。そうではなく、これらの特徴の強調は、符号化器が、網膜内で発生する自然な処理を模倣することの結果である。この例では、ある一定のタイプの強調された特徴が明らかであるが（静的背景に対して移動する人影）、他のタイプの入力画像では、網膜は、他のタイプの特徴を強調する可能性があることは理解されるものとする。重要な概念は、一般的に、画像のいずれか所定の組において強調される特徴が、何百万年にもわたる網膜の進化に基づいて際立っていると決定されるものになるということである。それに応じて、以下に詳細に説明するように、網膜画像は、生物学的視覚システムが良好に機能することは公知の機械視覚用途（例えば、顔認識のようなある一定のタイプのパターン認識タスク、複雑な背景に対する人影又は他の生物の影の識別、複雑な環境を通じたナビゲーション、移動物体の迅速な追跡及びそれに対する反応等）に使用される場合に特に有利になる。
【０１０６】
一部の実施形態において、符号化器は、正常又はほぼ正常な網膜によって実施される符号化とほぼ同じ時間スケールで画像データを符号化する。様々な実施形態において、符号化器は、許容範囲での処理遅延時間を伴って作動する。本明細書に使用する処理遅延時間は、カメラ１０２によって感受される視覚刺激におけるイベントの発生と機械視覚モジュール１０６への対応する出力符号（例えば、対応する網膜画像）の供給の間の時間量を意味する。一部の実施形態において、符号化モジュールは、５〜５０ｍｓの範囲又はその部分的範囲、例えば、約５０ｍｓよりも短い、約２０ｍｓよりも短い、約１０ｍｓよりも短い、約５ｍｓよりも短い遅延時間、及び類似の遅延時間を有する。
【０１０７】
再度図１を参照すると、機械視覚モジュール１０６は、符号化器モジュール１０４から網膜画像を受け入れ、あらゆる適切な機械視覚技術を用いて画像を処理する。本明細書ではいくつかのそのような技術に言及するが、これらの例は限定的ではなく、他の技術を使用することができることは理解されるものとする。例えば、様々な実施形態において、Ｄ．Ａ．Ｆｏｒｓｙｔｈ、Ｊ．Ｐｏｎｃｅによる「Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ：Ａ  Ｍｏｄｅｒｎ  Ａｐｐｒｏａｃｈ（コンピュータ視覚：最新手法）第２バージョン」、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、２０１１年、及び／又はＤ．Ｈ．Ｂａｌｌａｒｄ、Ｃ．Ｍ．Ｂｒｏｗｎによる「Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（コンピュータ視覚）」、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ  Ｉｎｃ、Ｎｅｗ  Ｊｅｒｓｅｙ、１９８２年（ｈｔｔｐ：／／ｈｏｍｅｐａｇｅｓ．ｉｎｆ．ｅｄ．ａｃ．ｕｋ／ｒｂｆ／ＢＯＯＫＳ／ＢＡＮＤＢ／ｂａｎｄｂ．ｈｔｍにおいてオンライン入手可能）、Ｒ．Ｓｚｅｌｉｓｋｉによる「Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ：Ａｌｇｏｒｉｔｈｍｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ（コンピュータ視覚：アルゴリズム及びアプリケーション）」、Ｓｐｒｉｎｇｅｒ、２０１０年（ｈｔｔｐ：／／ｓｚｅｌｉｓｋｉ．ｏｒｇ／Ｂｏｏｋ／ｄｒａｆｔｓ／ＳｚｅｌｉｓｋｉＢｏｏｋ_２０１００９０３_ｄｒａｆｔ．ｐｄｆにおいてオンライン入手可能）、並びにＥ．Ｒ．Ｄａｖｉｅｓによる「Ｃｏｍｐｕｔｅｒ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ，Ｆｏｕｒｔｈ  Ｅｄｉｔｉｏｎ：Ｔｈｅｏｒｙ，Ａｌｇｏｒｉｔｈｍｓ，Ｐｒａｃｔｉｃａｌｉｔｉｅｓ（コンピュータ及び機械視覚第４バージョン、理論、アルゴリズム、実用性）」、Ｅｌｓｅｖｉｅｒ、２０１２年に記載されている技術のうちの１つ又はそれよりも多くを使用することができる。
【０１０８】
様々な実施形態において、機械視覚モジュール１０６は、１つ又はそれよりも多くの利用可能なコンピュータ視覚アルゴリズム又はソフトウエアツール、例えば、ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｗｉｌｌｏｗｇａｒａｇｅ．ｃｏｍ／ｗｉｋｉ／  ｏｒ  ｔｈｅ  Ｇａｎｄａｌｆ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  ｓｏｆｔｗａｒｅ  ｐａｃｋａｇｅ，ａｖａｉｌａｂｌｅ  ａｔ  ｈｔｔｐ：／／ｇａｎｄａｌｆ−ｌｉｂｒａｒｙ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ／において入手可能なＯｐｅｎＣＶソフトウエアパッケージ内に含まれているものうちのいずれかを実施することができる。
【０１０９】
機械視覚モジュール１０６は、認識タスク（例えば、物体認識、画像分類、顔認識、光学文字認識、コンテンツに基づく画像取得、姿勢推定等）、運動解析タスク（例えば、自己運動決定、移動追跡、オプティカルフロー決定等）、モデル化タスク（例えば、光景再現、３Ｄボリューム認識等）を含むあらゆる適切なタスクを実施するのに網膜画像を使用することができる。
【０１１０】
一部の実施形態において、機械視覚モジュール１０６は、視野を均等又は不均等にサイズが決定されたドメインに分割することができる。ドメインは、重なっても、そうでなくてもよい。ドメインは、視野のうちのある帯域を（例えば、水平軸上で全体の視野を垂直軸上で限られた範囲を）カバーするか又は視野全体をカバーすることができる。
【０１１１】
一部の実施形態において、機械視覚モジュール１０６は、例えば、Ｃａｎｎｙエッジ検出のような１次エッジ検出技術、２次エッジ検出技術、又は位相合同に基づくエッジ検出技術を含む境界エッジ検出技術を網膜画像に適用することができる。エッジ検出は、１つ又はそれよりも多くの変換、例えば、ハフ変換の網膜画像への適用を含むことができる。
【０１１２】
一部の実施形態において、機械視覚モジュール１０６は、網膜画像ストリームに基づいてオプティカルフローを計算することができる。オプティカルフローは、閲覧体（目又はカメラ）と光景の間の相対運動によってもたらされる視覚光景内の物体、面、及びエッジの見かけ上の運動のパターンを示すことができる。オプティカルフローは、運動検出、物体領域分割、衝突余裕時間計算、及び拡大フォーカス計算を含む幾つもの用途に使用することができる。オプティカルフローを計算する方法は、位相相関法、ブロック単位の方法、差法（ルーカス−カナデ法、ホーン−シャンク法、バクストン−バクストン法、及びブラック−ジェプソン法のような）、変分法、離散最適化方法などを含むことができる。
【０１１３】
一部の実施形態において、機械視覚モジュール１０６は、網膜画像を領域分割する（例えば、着目区域を識別するために）１つ又はそれよりも多くの画像領域分割技術を適用することができる。例示的な領域分割技術は、閾値処理、クラスター化方法、圧縮利用方法、ヒストグラム利用方法、エッジ検出（例えば、上述のエッジ検出技術を用いた）、領域成長法、分割統合法、偏微分方程式利用方法（例えば、レベルセット法）、グラフ分割法、分水界変換利用方法、モデル利用領域分割法、マルチスケール領域分割、半自動領域分割、ニューラルネットワーク利用領域分割などを含む。
【０１１４】
様々な実施形態において、機械視覚モジュール１０６は、当業技術で公知のいずれかのコンピュータ学習技術を用いてトレーニングすることができる。コンピュータ学習技術は、教師あり学習（例えば、統計分類技術を含む）、教師なし学習、強化学習などを含む。一部の実施形態において、機械視覚モジュール１０６は、様々なタスクを実施するようにトレーニングすることができる１つ又はそれよりも多くの人工ニューラルネットワークを含むことができる。
【０１１５】
図４は、機械視覚システム１００の機械視覚モジュール１０６をトレーニングするための例示的なトレーニングシステム４００を示す。トレーニングシステムは、生トレーニング画像の供給源４０２（例えば、格納画像データベース）と、生トレーニング画像に基づいて本明細書に説明する技術を用いて網膜画像を生成する符号化器モジュール４０４と、符号化器から網膜画像を受け入れる機械視覚モジュール１０８と、機械視覚モジュールの作動をモニタして、モニタする性能に基づいてこの作動を修正するコントローラ４０６とを含む。
【０１１６】
図５は、トレーニングシステム４００の作動を示す流れ図である。段階５０１において、符号化器４０４は、供給源４０２からトレーニング画像を受け入れる。例えば、トレーニング画像は、第１の部分が悪性腫瘍に対応することが既知であり、それに対して第２の部分が良性腫瘍に対応する一連の腫瘍の医療画像とすることができる。
【０１１７】
段階５０２では、符号化器が、生トレーニング画像を網膜画像に変換する。段階５０３では、網膜画像が、機械視覚モジュール１０６に出力される。
【０１１８】
段階５０４では、コントローラ４０６が、タスクを実施するために網膜画像を処理している機械視覚モジュール１０６の性能をモニタする。医療画像の場合には、機械視覚モジュール１０６は、悪性腫瘍画像を良性腫瘍画像から区別する画像認識技術を適用することができる。コントローラは、このタスクを実行している（例えば、悪性腫瘍を識別するために誤差率を計算している）機械視覚モジュール１０６の性能をモニタする。性能が許容範囲にある場合には、処理は、段階５０５において終了する。性能が許容範囲外にある場合（例えば、誤差率が閾値レベルよりも大きい場合）には、段階５０６において、コントローラ４０６は、機械視覚モジュール１０６を調節し（例えば、１つ又はそれよりも多くのパラメータを修正すること、人工ニューラルネットワークにおける接続を変更することなどにより）、処理は、段階５０３に戻る。それに応じてコントローラ４０６は、機械視覚モジュール１０６が許容範囲レベルに達する（例えば、誤差率が閾値レベルよりも小さくなる）まで、それを反復的に調節する。
【０１１９】
様々な実施形態において、他の適切なタイプのトレーニングを使用することができることに注意されたい。例えば、固定の閾値に対して性能を比較することに加えて又はその代わりに、トレーニングは、収束基準（例えば、反復毎の性能の増分がある閾値レベルよりも小さくなるまでトレーニングを続行する）を別途実施することができる。
【０１２０】
様々な実施形態において、機械視覚モジュール１０６は、複雑な人工知能利用システムの使用を含むあらゆる適切な制御技術を含むことができる。しかし、一部の用途では、機械視覚モジュール１０６は、比較的単純な制御手法を実施することができる。いくつかのそのような実施形態において、機械視覚１０６は、符号化器モジュールから受け入れる網膜画像の比較的単純なその時々の分類に基づいて１つ又はそれよりも多くのシステムの作動の一部又は全て（例えば、ロボットの移動軌道）を制御する。すなわち、制御は、複雑な計画に依存するのではなく、時間的に局在化された分類に依存する。有利な態様においては、当業技術で公知の学習アルゴリズムが、これらのタイプの比較的単純な分類タスクの実施に適することは公知である。
【０１２１】
例えば、図６を参照すると、一実施形態において、機械視覚システム１００は、障害物、例えば、図示のように迷路を特徴として含む環境の中を通って進むようにロボット６００を制御するのに使用される。機械視覚システムのカメラ１０２は、ロボット６００上に装着され、ロボットの前にある光景を取り込む視野を有する。
【０１２２】
カメラ１０２からの映像ストリームは、網膜画像ストリームを生成するように符号化器モジュール１０４によって処理される。１つの場合には、符号化器モジュールは、ネズミの網膜神経節細胞の作動を模倣することができる（例えば、「Ｅｘａｍｐｌｅ  ｓｅｔ  ｏｆ  ｅｎｃｏｄｅｒ  ｐａｒａｍｅｔｅｒｓ  ｆｏｒ  ａ  ｍｏｕｓｅ  ｇａｎｇｌｉｏｎ  ｃｅｌｌ（ネズミの神経節細胞に対する符号化器パラメータセット例）」という名称の補綴出願の部分節に示されている符号化器パラメータによって特徴付けられる符号化器を用いて）。別の場合には、符号化器モジュールは、サルの網膜神経節細胞の作動を模倣することができる（「サルの神経節細胞に対する符号化器パラメータセット例」という名称の補綴出願の部分節に示されている符号化器パラメータによって特徴付けられる符号化器を用いて）。
【０１２３】
網膜画像ストリームは、例えば、オプティカルフロー技術を用いて、画像内の様々な場所における運動速度を決定するように処理される。一般的に、画像内で遅い速度を有する場所又はドメインは、ロボット６００から遠距離にある物体に対応することになり、それに対して速い速度を有する場所は、ロボット６００に近い物体に対応することになる。障害物に衝突するのを回避するために、機械視覚モジュール１０６は、画像内でより遅い移動箇所に対応する方向に移動するようにロボットを制御する。
【０１２４】
例えば、一実施形態では（図７に示す）、視野（すなわち、網膜画像データストリーム）は、画像領域分割段階７０２によってＮ＝７の均等にサイズが決定された領域に分割される。この実施形態では領域は重なり合わず、これらの領域は、各領域が、水平に５．７°にわたるようにカメラの水平視野（４０°である）を左右に分割し、垂直方向には、垂直に１３．５°にわたるようにナビゲータの視野（２７°である）の下半域に制限される。規則的な期間で（例えば、２秒毎に）、２つの連続する網膜画像が網膜画像シーケンスから得られ、分類に向けて機械視覚モジュール１０６に送られる。各網膜画像はＮ個の領域に分割されるので、機械視覚モジュールは、Ｎ個の領域対を受け入れる。各対は、この領域内のオプティカルフロー速度を分類する畳み込みニューラルネットワーク（ＣＮＮ）７０４を通過する。この分類の出力は、各領域ｉに対する速度ラベルＬiとすることができ、この場合に、Ｌiは１とＭの間の数であり、１は領域内の非常に遅い平均速度を表し、Ｍは非常に速い平均速度を表している。例えば、８つの異なる速度分類が存在するように、Ｍを８とすることができる。
【０１２５】
結果は、Ｎ分類のアレイ７０６であり、これらに基づいて、ターン決定モジュール７０８によってターン決定が行われる。「ターゲット領域」（目指す領域）は、最も遅い速度分類、すなわち、最小数Ｌiを有する領域であるように選択される。最も遅い速度分類を有することに関して対等な複数の領域が存在する場合には、ターン決定モジュール７０８は、システムの望ましい使用に基づいて中心に最も近い領域を選択する（ターン量を最小にするために）、又はあらゆる他の領域を選択することができる。ターゲット領域が選択されると、機械視覚モジュール１０６（具体的には機械視覚モジュール１０６内のターン決定モジュール７０８）は、ナビゲータが、ターゲット領域の中心に向くことになるようにターンを開始する。
【０１２６】
上述の例は、ロボットのナビゲーションに対して言及したものである。様々な実施形態において、上述の技術は、下記の例で説明するように、仮想世界を通じたナビゲーションを含む他のタイプのナビゲーションに使用することができることは理解されるものとする。
【０１２７】
例えば、機械視覚モジュール１０６は、網膜画像ストリームの画像視野をいくつかの領域又はドメインに分割し、領域を速度カテゴリに分類し、かつ最低速度カテゴリ内の画像領域に対応する方向に移動するようにロボット６００を制御することによって障害物を識別して回避することができる。機械視覚モジュール１０６は、上記に記載し、下記の例にあるＣＮＮ又はブースティングアルゴリズム（例えば、アダブーストアルゴリズム、Ｙｏａｖ  Ｆｒｅｕｎｄ，Ｒｏｂｅｒｔ  Ｅ．Ｓｃｈａｐｉｒｅによる「Ａ  Ｄｅｃｉｓｉｏｎ−Ｔｈｅｏｒｅｔｉｃ  Ｇｅｎｅｒａｌｉｚａｔｉｏｎ  ｏｆ  ｏｎ−Ｌｉｎｅ  Ｌｅａｒｎｉｎｇ  ａｎｄ  ａｎ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｂｏｏｓｔｉｎｇ（オンライン学習の決定理論的一般化及びブースティングへの適用）」、１９９５年を参照されたい）のような比較的単純なトレーニングアルゴリズムを用いてこの分類タスクを実施するようにトレーニングすることができる。
【０１２８】
一般的に、これらのデバイス及び技術は、医療画像処理（例えば、自動又はコンピュータ支援の医療診断）、ロボットの制御又はナビゲーション、産業工程のモニタリング及び制御、自動仕分け用途、運動追跡に基づくインタフェース（例えば、コンピュータゲームシステムと共に使用される）などを含むあらゆる適切な用途に使用することができる。本明細書に説明するデバイス及び技術は、実時間又はほぼ実時間で作動させることができ、例えば、上述の用途の実用的な自動化を可能にする。
【０１２９】
実施例−仮想世界ナビゲーション
機械視覚に対する１つの手法の有効性を評価する一実施例において、それが特に困難であるので（空間と時間の両方で処理することを必要とするので）、ナビゲーションタスクを用いた。この手法は、例えば、各々がその全体が引用によって本明細書に組み込まれているＬｅＣｕｎ，Ｙ．他（２０１０年）「Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｉｎ  Ｖｉｓｉｏｎ（畳み込みネットワーク及びビジョンにおける適用）」、Ｐｒｏｃ．Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ（回路及びシステムに関する国際シンポジウム会報）（ＩＳＣＡＳ’１０）、２５３〜２５６ページ、ＩＥＥＥ、Ｓｚａｒｖａｓ，Ｍ．他（２００５年）「Ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ（畳み込みニューラルネットワークを用いた歩行者検出）」、Ｐｒｏｃ．Ｉｎｔｅｌｌｉｇｅｎｔ  Ｖｅｈｉｃｌｅｓ  Ｓｙｍｐｏｓｉｕｍ（インテリジェント車両シンポジウム会報）、２２４〜２２９ページ、ＩＥＥＥ、Ｊａｃｋｅｌ，Ｌ．Ｄ．他（２００６年）「Ｔｈｅ  ＤＡＲＰＡ  ＬＡＧＲ  ｐｒｏｇｒａｍ：Ｇｏａｌｓ，ｃｈａｌｌｅｎｇｅｓ，ｍｅｔｈｏｄｏｌｏｇｙ，ａｎｄ  ｐｈａｓｅ  Ｉ  ｒｅｓｕｌｔｓ（ＤＡＲＰＡ  ＬＡＧＲプログラム：ターゲット、タスク、方法、及び段階Ｉの結果）」、Ｊｏｕｒｎａｌ  ｏｆ  Ｆｉｅｌｄ  Ｒｏｂｏｔｉｃｓ，２３（フィールドロボティクスジャーナル第２３号）、９４５〜９７３ページに記載されている、ナビゲーションにおいて一般的に使用されるいくつかの学習アルゴリズムの態様を適用した。これらの技術を用いて、畳み込みニューラルネットワークという学習アルゴリズムを用いて自体の環境を学習するナビゲータを構成した。ＣＮＮは、Ｔｈｅａｎｏと呼ばれるオープンソース数値処理及び自動微分パッケージ（ｈｔｔｐ：／／ｄｅｅｐｌｅａｒｎｉｎｇ．ｎｅｔ／ｓｏｆｔｗａｒｅ／ｔｈｅａｎｏ／において一般的に公開されている）を用いて構成した。
【０１３０】
ナビゲータは、そのトレーニング環境内の物の速度を学習するように設計した。ナビゲータにはトレーニング環境を与え、トレーニング環境を各時点においてｎ個のドメインに分割するのにこのナビゲータを用いた。次に、ナビゲータは、ドメイン内の速度を学習する。速度は、ナビゲーションに対して有利な情報を提供する。何かが非常に高速に移動している場合には、それが、環境の中を進む仮想物体に非常に近いことを意味する（この何かは、網膜を横断して高速に移動している）。それが近い場合には、仮想物体は、それに衝突することになる可能性が高い。従って、ナビゲータは、環境内のドメインを評価し、次に、最も遅い速度を有するドメインに向けて移動する（最も遅い速度を有するものは最も遠く、最も安全である）。この例では、ナビゲータは、特定の終点を目指すように誘導されるのではなく、いかなるものとも衝突しないように誘導される。
【０１３１】
より具体的には、この例では、図７に示す方法を用いて、ナビゲータが環境を移動している間に、その視野が、画像領域分割段階７０２によって７つの均等にサイズが決定められた領域に分割される。この実施形態では領域は重なり合わず、これらの領域は、各領域が、水平に５．７°にわたるようにカメラの水平視野（４０°である）を左右に分割し、垂直方向には、垂直に１３．５°にわたるようにナビゲータの視野（２７°である）の下半域に制限される。
【０１３２】
各決定時点において、畳み込みニューラルネットワーク（ＣＮＮ）に基づくアルゴリズムが、ドメインの各々の内部のオプティカルフロー速度を分類する（段階７０４）。この分類の出力は、各ドメインｉに対する速度ラベルＬiであり（段階７０６）、この場合に、Ｌiは１と８の間の数であり、１はドメイン内の非常に遅い平均速度を表し、８は非常に速い平均速度を表している。
【０１３３】
上述したように、これらの分類に基づいて、７つのドメインの各々に対して１回ずつ、ターン決定モジュールによってナビゲーション決定が行われる（７０８）。「ターゲットドメイン」（目指すドメイン）は、最も遅い速度分類を有するドメインであるように選択される。最も遅い速度分類を有することに関して対等な複数のドメインが存在する場合には、ナビゲータは、中心に最も近いものを選択し（ターン量を最小にするために）、依然として対等性が存在する場合には、左にあるドメインを選択することによってこの対等性を破る。ターゲット領域が選択された状態で、機械視覚モジュール（１０６）は、ナビゲータが、選択された領域の中心に向くことになるようにターンを開始する。
【０１３４】
トレーニング及び試験に向けて、Ｐａｎｄａ３Ｄと呼ばれるオープンソース３Ｄレンダリングフレームワーク（ｈｔｔｐ：／／ｗｗｗ．ｐａｎｄａ３ｄ．ｏｒｇ／において一般的に公開されている）を用いて仮想環境を生成した。トレーニングセットからのフレームストリームを図８に示しており、３つの試験セットからのフレームストリームを図９Ａ、図９Ｂ、図９Ｃに示している。図示のように、トレーニングセットは田園環境である。３つの試験セットは、トレーニングセットに対して用いたものとは異なる田園環境、郊外環境、及び遊び場である。
【０１３５】
ナビゲータの性能は、１）ナビゲータを標準手法で、すなわち、生画像ストリームを入力として用いてトレーニングした場合に、及び２）「網膜画像ストリーム」を入力として用いた場合に、すなわち、ナビゲータが、本出願人の符号化器を用いて処理された画像を用いた場合という２つの条件の下で比較された。この場合に、用いた符号化器は、各々がその全体が引用によって本明細書に組み込まれているＮｉｒｅｎｂｅｒｇ，Ｓ．及びＰａｎｄａｒｉｎａｔｈ，Ｃ．（２０１２年）「Ａ  ｒｅｔｉｎａｌ  ｐｒｏｓｔｈｅｔｉｃ  ｗｉｔｈ  ｔｈｅ  ｃａｐａｃｉｔｙ  ｔｏ  ｒｅｓｔｏｒｅ  ｎｏｒｍａｌ  ｖｉｓｉｏｎ（正常な視覚を回復する機能を有する人工網膜）」、Ｐｒｏｃ．Ｎａｔｌ．Ａｃａｄ．（科学アカデミー会報）近刊、及びＮｉｒｅｎｂｅｒｇ，Ｓ．他（２０１１年）「Ｒｅｔｉｎａ  ｐｒｏｓｔｈｅｓｉｓ  ａｎｄ  ｔｈｅ  Ｐｒｏｓｔｈｅｓｉｓ  Ａｐｐｌｉｃａｔｉｏｎｓ（人工網膜及び補綴用途）」に記載されている方法に従ってサルのミジェット細胞及びパラソル細胞を用いて生成した。
【０１３６】
図１０Ａに示すように、ナビゲータが生画像ストリームからその環境を学習した時には、その性能は低く、多くの衝突が発生し、トレーニングセットから学習されたものは、新しい環境に対して一般化されない。図１０Ｂに示すように、ナビゲータが網膜画像ストリームから環境を学習した場合には、性能は劇的に良く、真っ直ぐな経路及び衝突の欠如に注意されたい。人工ナビゲーションシステム、一般的に機械学習アルゴリズムに対して難題であった問題である新しい環境（田園、郊外、遊び場）に対する明確な一般化が存在する。
【０１３７】
図１１は、ナビゲータが入力として網膜画像ストリームを使用する場合のナビゲータの高い性能を更に明らかにするものである。具体的にこの図は、高い性能が異なる環境に対して一般化される（田園から郊外、更に、遊び場まで）だけでなく、環境内の異なる照明条件に対しても一般化されることを示す。ＡからＦは、遊び場環境における異なる太陽の位置、従って、異なる影条件に対応し、光条件は、日の出から日の入まで、すなわち、環境の左側の水平線の上方３０度から右側の水平線の上方３０度にわたる。図に示すように、ナビゲータを生画像ストリームに対してトレーニングした場合（田園環境から１つの照明条件を用いて）、ナビゲータの性能は一般化されず、遊び場における性能は低く、これは光条件にわたって適用される。図内の各棒グラフの高さは、ナビゲータが、遊び場のタイヤコース内でタイヤのうちの１つと衝突することもなく首尾良く留まった試行分率に対応する。誤差棒グラフは、平均の標準誤差（ＳＥＭ）を示す。それとは対照的に、ナビゲータを網膜画像ストリーム（同じ単一の照明条件を使用するが、今回は符号化器を通過して処理した同じ田園環境）に対してトレーニングした場合には、ナビゲータの性能は高く、高性能は光条件にわたって成り立つ。従って、網膜画像ストリームに対するトレーニング（すなわち、符号化器を通過して処理された画像に対するトレーニング）は、新しい環境及び複数の照明条件（日の出から日の入まで、上記を参照されたい）に対して一般化される高い性能をもたらす。
【０１３８】
符号化器は、実時間で作動し、この処理技術を例えば実世界環境内でロボットの運動を制御するために非仮想環境に即座に適用することができることを示すことに注意されたい。
【０１３９】
実施例−顔認識
この実施例は、機械視覚における別の積年の問題である映像内の顔の認識に対する本出願に説明する手法の有効性を評価する。顔認識及び歩行者検出において一般的に使用される学習アルゴリズム［Ｖｉｏｌａ及びＪｏｎｅｓ  ２００１年、Ｖｉｏｌａ、Ｊｏｎｅｓ、及びＳｎｏｗ  ２００５年を参照されたい］を用いて、映像内の個人の顔を認識するためのシステム、すなわち、過去に見たことがない画像ストリームを「ターゲット顔」対別の顔又は「非ターゲット」顔として分類することができるものを構成した。同じ手法は、歩行者検出、物体認識、物体追跡、全身認識、虹彩検出等であるが、これらに限定されない多くの他の目的に使用することができる。このシステムは、Ｐｙｔｈｏｎプログラミング言語及びＮｕｍＰｙ数値計算パッケージを用いて実行したものである。
【０１４０】
この手法の実施形態を図１２で説明する。入力映像（生画像ストリーム）が網膜符号化器１０４を通され、網膜画像ストリームが生成される。このタスクは、顔に着目するので、網膜画像ストリームは、次に、顔を含む領域１２０２を位置付けるように整えられる。（トリミングは、符号化が実施される時のエッジ効果を回避するために符号化器が生ストリームを処理した後に行われる。）この例では、既知の顔例のトレーニング及び試験セットを構成するために、顔を含む領域を手動で選択した。他の実施形態において、顔を含む領域は、生画像ストリーム内又は処理された画像ストリーム内でＶｉｏｌａ−Ｊｏｎｅｓアルゴリズム［Ｖｉｏｌａ及びＪｏｎｅｓ  ２００１年］を用いて検出することができる。整えられた映像は、次に、分類器１２０６（例えば、Ｖｉｏｌａ、Ｊｏｎｅｓ、及びＳｎｏｗ  ２００５年にあるもののようなハールフィルタの強化カスケードに基づくもの）を通過して供給される。分類器１２０６は、この映像を「ターゲット顔」（映像がターゲット個人の顔であることを意味する）又は「非ターゲット顔」（映像が異なる個人の顔であることを意味する）のいずれかとして指定する。
【０１４１】
図１５は、本出願人の手法の有効性の例を示す。この解析のために、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｔａｕ．ａｃ．ｉｌ／〜ｗｏｌｆ／ｙｔｆａｃｅｓ／からの映像内の顔データセットを用いた。参考文献は、Ｌｉｏｒ  Ｗｏｌｆ、Ｔａｌ  Ｈａｓｓｎｅｒ及びＩｔａｙ  Ｍａｏｚによる「Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  Ｕｎｃｏｎｓｔｒａｉｎｅｄ  Ｖｉｄｅｏｓ  ｗｉｔｈ  Ｍａｔｃｈｅｄ  Ｂａｃｋｇｒｏｕｎｄ  Ｓｉｍｉｌａｒｉｔｙ（適合する背景類似性を有する非拘束映像における顔認識）」である。
【０１４２】
このデータセットを用いて、いくつかの顔認識タスクを実行した。一般的な手順は、「ターゲット顔」に対して顔認識アルゴリズムをトレーニングすることであった。アルゴリズムには、ターゲット顔である人物の顔を示す数々の映像を提供した。顔を認識するアルゴリズムの機能は、アルゴリズムに同じ人物の顔の過去に見せていない映像を「非ターゲット顔」である他人の顔と共に提供することによって試験した。アルゴリズムのジョブは、試験映像をターゲット顔又は非ターゲット顔のいずれかとして正しく分類することであった。
【０１４３】
図１３及び図１４は、映像例からの画像を示す。図１３は、顔認識アルゴリズムをトレーニングするのに用いた映像からのフレームを示しており、図１４は、このアルゴリズムを試験するのに用いた映像からのフレームを示す。図示のように、試験映像（図１４）内の人物は、トレーニング映像（図１３）内の人物と同じであるが、例えば、異なる環境内で異なる髪型を有するように示している。
【０１４４】
このアルゴリズムの性能は、アルゴリズムを標準手法で、すなわち、顔の生画像ストリームを用いてトレーニングした場合と、顔の網膜画像ストリーム（すなわち、生画像ストリームを本出願人の符号化器によって処理した後の）を用いてトレーニングした場合との２つの条件の下で試験した。両方の場合に、短い（２フレーム）動画を用いてトレーニングを実行した。トレーニングに対して用いた２フレーム動画の本数は、ターゲット顔では２５０〜８００本にわたり（４〜５本の異なる映像から取得した）、非ターゲット顔では２０００本にわたった（＞１００本の映像から取得した）。その後に、過去に見せていない映像、すなわち、トレーニングに用いていない映像から取得した５０〜８００本の２フレーム動画を測定した。
【０１４５】
図１５に示すように、符号化器の使用は、性能に対して明確な影響を有する。最初のものが、標準手法が非常に非力に機能するだけのものとして定められる非常に困難なタスクからなり、第２のものが、標準手法がほどほど良好に機能するより容易なタスクから構成される２タイプのタスクにおける結果を示す。図示のように、タスクが困難であった場合（図１５Ａ）には、符号化器を組み込んだ手法は、標準手法に優る大きな（４倍の）改善をもたらしている。タスクがそれ程困難ではなかった場合に、すなわち、標準手法がほどほど良好に機能する場合にも、符号化器を組み込んだ手法は、依然として実質的な改善をもたらす（標準の方法に１．５倍優る）。
【０１４６】
別の実施形態において、顔検出段階が回避され、代替的に、映像の特定の部分の内部に顔が存在するか否かに関わらず、分類器１２０６に向けて適切なサイズに整えられた映像が、入力映像から自動的に生成されるようにタスクが若干修正される。その後に、ここでもまた、これらの新しいトリミングされた映像に分類が適用されるか、又は出力分類が「ターゲット顔」及び「非ターゲット顔」又は「顔なし」である修正された分類が実施される。
【０１４７】
別の実施形態において、解析は、図１５における解析に対して用いた２フレーム映像とは対照的に、Ｎを１枚、３枚、又はそれよりも多いプロセッサが処理することができる限り多くのフレーム数とすることができるＮ枚のフレームを用いて実施することができる。
【０１４８】
更に、これらの分類は、それ自体で、例えば、映像内の個人の存在をユーザに警告するために使用することができ、又はこれらの分類は、いずれかの手法で、例えば、信号を発する前に、指定した時間窓の範囲で何回かの明確な検出（「ターゲット顔」の分類）が発生するまで待つことによって組み合わせることができる。
【０１４９】
機械視覚の対する網膜処理のいくつかの例示的な適用を記載したが、多くの他の適用のための実施形態を使用することができることに注意されたい。
【０１５０】
一般的に、符号化器手法は、動物（脊椎動物）が良好に実施する視覚タスク、特に動物の視覚システムが既存の機械技術よりも良好に実施することは公知のものにおいて有利である可能性が高い。上述したように、符号化器手法は、データ内の際立った特徴を維持しながら、生画像ストリームから全情報量を低減する（例えば、より高速な処理を可能にするために）ことが有利になる場合に特に有効とすることができる。例えば、上述したように、一部の実施形態において、一般的に符号化器手法は、例えば、顔認識、複雑な背景に対する人影又は他の生物の影の識別、複雑な環境を通じたナビゲーション、移動物体の迅速な追跡及びそれに対する反応のようなある一定のタイプのパターン認識タスクに使用される場合に特に有利である。
【０１５１】
一般的に、生物システムが良好に機能しないある一定の用途では、符号化器手法は制限を有する可能性があることに注意されたい。この場合には、特に、高レベルの詳細情報又は精度測定を必要とする用途における場合とすることができる。例えば、図３Ｂ〜図３Ｆに示す網膜画像を参照し直すと、これらの画像は、人影の存在及び運動を有利に強調するが、網膜画像は、例えば、絶対身長又は他の絶対身体寸法のような正確な生体測定情報を決定するのに有利になる人影の鮮明な外形を提供しないことに注意されたい。このタイプの情報を決定するためには、機械視覚アルゴリズムを生画像に適用する方が的確であろう。
【０１５２】
一部の実施形態において、機械視覚への符号化器利用手法と、生画像データに適用される従来手法の両方の利点を与えるために、混成手法を使用することができる。
【０１５３】
例えば、一部の実施形態において、本明細書に説明する網膜符号化器利用技術のうちのいずれかを用いて生画像ストリームを処理することができる。得られる網膜画像データは処理することができ（例えば、網膜画像を用いてトレーニングされた機械視覚アルゴリズムのような機械視覚アルゴリズムを用いて）、その結果をその後の解析（例えば、生画像を用いてトレーニングされた機械視覚アルゴリズムのような機械視覚アルゴリズムを使用する）に、対応する生画像を知らせるために使用することができる。
【０１５４】
図１６は、このタイプの例示的な処理を示す。段階１７０１及び１７０２において、生画像が得られ、本明細書に説明する技術のうちのいずれかを用いて網膜画像ストリームを生成するのに使用される。段階１７０３では、網膜画像が、例えば、機械視覚アルゴリズムを用いて解析される。
【０１５５】
段階１７０４では、網膜画像の解析結果が、着目する網膜画像（又はその分割領域）を識別するのに使用される。例えば、人物認識タスクでは、正常な網膜が網膜画像を生成するために行う手法で画像に対して次元低減を実施する符号化器手法は、歩き振り、特徴的な身振り等による体格の迅速な識別を可能にすることができる。この符号化器の長所のうちの１つは、符号化器が、この目的に特に有利な運動情報を迅速に取り出すことである。すなわち、符号化器手法は、ターゲット個人に対する可能な適合の空間を縮小する予備選別手法として機能することができる（間違った体格、歩き振り、身振りなどを有する候補を除外することにより）。
【０１５６】
段階１７０５では、識別された網膜画像に対応する生画像（又はその分割領域）を解析することができる。例えば、人物認識タスクの場合には、より詳細な特徴解析を用いて人物をより明確に識別するために（例えば、人物の正確な高さ又は他の身体寸法のような詳細な生体測定情報を抽出することにより）、生画像（次元低減が殆ど又は全く使用されない）を使用するアルゴリズムを画像の部分集合に適用することができる。
【０１５７】
様々な実施形態において、生画像に対して予備選別を行い、網膜符号化器手法を使用するその後の解析を続けることにより、上述の方法を逆転させることができる。一部の実施形態において、複数回の代替的な生及び符号化器利用解析を使用する反復技術を適用することができる。他の実施形態において、異なるタイプの処理を並行して行うことができ、これらの結果は合成される。一般的に、従来手法と符号化器利用手法とのあらゆる適切な組合せを使用することができる。
【０１５８】
上述したように、様々な実施形態において、網膜処理は、生画像データからの全情報量を低減するように作動し（網膜が行う手法と類似した手法で効率を得るために）、その一方、所定の用途に向けて際立った特徴を保持する。例えば、一部の実施形態において、網膜符号化されたデータ内の全情報量が低減されたとしても、機械視覚アルゴリズムは、符号化されたデータに適用された時に、対応する生画像データに適用された時よりも良好な性能を示すことができる。この結果は、「圧縮」網膜画像に適用されたナビゲーション及び顔認識のアルゴリズムが、生画像に適用された同じアルゴリズムよりも実質的に優れた性能を示す上記に提供した実施例の両方において見られたものである。
【０１５９】
様々な実施形態において、網膜符号化されたデータは、１〜１００倍の範囲又はそのいずれかの部分的範囲、例えば、少なくとも１．５倍、少なくとも２倍、少なくとも３倍、少なくとも４倍、少なくとも５倍、又はそれよりも多くだけ圧縮することができる。一部の実施形態において、この圧縮は、符号化器によってもたらされる次元低減に対応する。例えば、一部の実施形態において、網膜符号化器のビットレートを定量化することができ、圧縮比を決定するために、符号化器によって刺激として使用される生画像データのエントロピー（同じく単位時間当たりのビット数で測定される）と比較して比を取ることができる。例えば、補綴出願において記載されている一部の場合には、符号化器は、４．９ビット／ｓの入力生データビットレートと比較しての２．１３ビット／２のビットレートを用いて記載されている。従って、符号化器によってもたらされるデータ圧縮は、この例ではほぼ７倍であった。
【０１６０】
一部の実施形態において、本明細書に説明する処理技術は、情報の格納及び取得の関連で適用することができる。図１７を参照すると、システム１８００は、プロセッサ１８０２と作動可能に結合されたメモリストレージデバイス１８０１（例えば、ハードドライブ又は他のコンピュータメモリ）を含む。ストレージデバイス１８０１は、生画像データから本明細書に説明する技術を用いて生成された網膜画像データを格納する。上記に詳述したように、一部の実施形態において、網膜画像データをある一定の際立った特徴を維持しながら、生データと比較して圧縮することができる。それに応じて、一部の実施形態において、格納網膜データを対応する生データの代理物又は「指紋」として使用することができる。一部の実施形態において、ストレージデバイスは、符号化されたデータと生画像データの間の対応を示すデータベース情報を格納する。例えば、特定の映像クリップを対応する網膜画像ストリームを生成するのに使用することができ、デバイス１８０１上に格納される網膜画像ストリームは、それ自体をこの生映像クリップと共に識別するタグを有する。
【０１６１】
一部の実施形態において、到着データをストレージデバイス１８０１上に格納されたデータと照合するのに、プロセッサ１８０２を使用することができる。一部の実施形態において、プロセッサ１８０２は、一連のクエリ画像に対応するクエリ画像データ（例えば、生映像クリップ）を受け入れることができる。次に、プロセッサ１８０２は、網膜符号化されたクエリデータを生成するようにクエリ画像データを処理することができる。その後にプロセッサは、網膜符号化されたクエリデータをストレージデバイス１８０１上に格納された網膜符号化されたデータと比較することができる。照合が見つかった場合には、プロセッサは、次に、格納データ上のタグを読み取って、クエリデータ映像クリップと、照合する格納網膜画像を生成するのに使用された映像クリップとを関連付ける情報を出力することができる。一部の実施形態において、網膜符号化されたデータは圧縮され、及び／又は際立った特徴が強調されているので、符号化された格納データとクエリデータとの照合は、対応する生画像クリップを直接に照合しようと試みる場合よりも高速及び／又は正確とすることができる。
【０１６２】
本出願に示す実施例及び補綴出願に示されている実施例は、ネズミ及びサルの網膜から得られたデータから構成される符号化器を用いている。しかし、様々な実施形態は、以下に限定されるものではないが、鳥類、ネコ、ヘビ、及びウサギ等である他の種属から同じく構成され、補綴出願に細部まで詳細に記載されている手順を用いて構成することができる符号化器を使用することができることは理解されるものとする。
【０１６３】
様々な実施形態において、本明細書に説明する技術の全体的な機能は、機械視覚を進歩させるために、視覚システム（特に網膜）によって実施される予備処理（特に次元低減）を利用することである。一部の用途では、他の種属の網膜によって実施される予備処理を適用することができ、例えば、鳥の網膜から構成される符号化器は、飛行ナビゲータにおいて特に有効である場合があり、同じくトラのような高速移動動物から構成される符号化器は、高速で作動する必要があるナビゲータにおいて特に有効である可能性がある。一部の実施形態において、有利な共同作用をもたらすために、複数の種属に基づく符号化器を用いて、結果を組み合わせることができる（例えば、基本的な飛行ナビゲーションタスクにおいて鳥に基づく符号化器を用い、一方、飛行中に、着目物体と遭遇した時には、物体認識タスクにおいてサルに基づく符号化器を使用する）。
【０１６４】
同じくこの手法は、外側膝状体、上丘、又は視覚皮質のような高次視覚野から構成される符号化器に対して一般化される。補綴出願は、網膜細胞のための符号化器の構成を記載しており、ここでもまた数学表現を含む細部まで詳細に記載されている同じ方法は、機械視覚アルゴリズムのための予備処理段階としての役割を同じくもたらすことができる高次視覚野のための符号化器を得るために使用することができる。
【０１６５】
本明細書に説明する本発明の技術は、網膜に類似する手法で機能するので、実質的にあらゆる機械視覚アルゴリズムに向けてフロントエンド処理（又はフィルタリング）として使用することができる。脳が、数多くある中でも取りわけナビゲーション、物体及び顔の認識、姿−地面の区別、捕食者の検出、食物対非食物の検出のような多くの視覚誘導性行動を実施することを可能にするために、網膜が脳による使用に向けて視覚情報を予備処理するのとまさしく同様に、合わさって「仮想網膜」を形成する符号化器は、多くの機械アルゴリズムに向けて視覚情報を予備処理することができる。
【０１６６】
本質的に網膜が行うことは、視覚世界における膨大な量の情報を取得して、それを生き物の生存に必要とされる本質的要素まで低減することである。これらの符号化器は、網膜の入力／出力関係を非常に正確に模倣するので（この模倣を補綴出願に示すように実質的にあらゆる視覚入力に対して行う）、これは、符号化器が、視覚世界における情報を同じ手法で低減することを意味する。従って、様々な実施形態において、本明細書に説明する技術は、機械視覚アルゴリズムに向けて網膜が脳に提供するものと同じか又はほぼ同じ、すなわち、同じ速度、効率、並びに質的及び量的なフィルタリングを有するフロントエンド処理を提供することができる。
【０１６７】
これから必然的に引き出される結果は、機械視覚アルゴリズムが構成されるか、又はそれを構成することができる方法にも符号化器が影響を及ぼすということである。現在のアルゴリズムは、生画像、又は他の手法で予備処理された（例えば、ガウシアン差フィルタを用いて）画像をその入力として使用するように構成される。画像が、本明細書に説明する網膜符号化器を通過して処理されると、その結果は、機械視覚アルゴリズムに対する新しいタイプの入力、すなわち、過去には決して利用可能ではなかった入力である。一部の実施形態において、この新しい入力は、特定の分類のアルゴリズムを新しい手法で適応させるか又は最適化することを可能にすることができる。例えば、様々な機械視覚アルゴリズムが、トレーニング画像セット、及び／又は所定のタスクを完了する間にアルゴリズムによって処理される画像によって少なくとも部分的に決定することができるパラメータセットによって分類される。生画像の代わりに網膜画像データが使用される場合には、得られるアルゴリズムのパラメータは、対応する生画像データを用いた場合に得られたであろうものとは異なることになる。一部の場合には、それに起因して、アルゴリズムは、所定のタスクに対して改善された性能を示すことになる。
【０１６８】
一部の場合には、機械視覚アルゴリズムが、脊椎動物の視覚システムを模倣する画像を用いてトレーニングされるので、アルゴリズムは、このシステムの性能品質のうちの一部を取得するように有利に適応させることができる。例えば、網膜処理は、画像のある一定の態様の際立った特徴を強調するので、網膜符号化されたデータに対してトレーニングされた機械視覚アルゴリズムは、これらの画像態様に対してより高感度になるように「学習」することができる。
【０１６９】
上述の例は、ナビゲータと顔認識器という機械視覚アルゴリズムの２つのインスタンスを示しており、両方の場合には、これらのアルゴリズムは、網膜処理された入力に適用された時に構造を変化させた。両方のアルゴリズムが、重みパラメータセットによって特徴付けられる学習アルゴリズムであり、これらのパラメータは、アルゴリズムが、網膜画像データに適用された場合と、それに対して画像が生画像データに適用された場合とで異なっていたことが明らかになった。網膜処理された場合のアルゴリズムの改善された性能（生画像の場合と比較して）は、殆ど又は完全に重みパラメータ変化に起因するものであった。この改善された性能が、トレーニングに対して用いた環境及び条件とは異なる環境及び条件下のナビゲーション及び認識のタスクに対して一般化されたことに注意されたい。これは、一部の実施形態において、網膜画像データを用いてトレーニングされた機械視覚アルゴリズムが、有利な方法で根本的に変えることができ、トレーニングの環境及び条件を超えて一般化されることの証拠である。同様に、新しいアルゴリズムの構造は、この新しい入力データ、すなわち、現在のアルゴリズムに関する新しい重み又はパラメータだけでなく、本明細書に説明する新しい入力データをより直接的に照合するか又は利用する新しいアルゴリズムを利用するように発展させることができる。
【０１７０】
本発明の方法及びデバイスは、あらゆるタイプの画像データを処理することができる。例えば、画像データは、可視光に応答して生成することができるが、赤外線、紫外線、又は電磁スペクトルにわたる他の波長のような他のタイプの電磁放射線によって生成することができる。一部の実施形態において、画像データは、人工又は仮想の画像データ（例えば、仮想環境のモデルに基づいて生成された）とすることができる。一部の実施形態において、人工画像データは、例えば、医療撮像データを含むいずれかのタイプの適切なデータ（磁気共鳴撮像データ、コンピュータ支援断層写真データ、地震学的描像データのような）の可視化に関することができる。
【０１７１】
画像データは、１つ又は複数の画像とすることができ、更に、静的なものとすることができ、又は時空的に変化することができる。図表のような単純な形状又は自然光景のような比較的複雑な刺激を使用することができる。更に、画像は、グレースケール、又は有色、又はグレーと有色との組合せとすることができる。一実施形態において、刺激は、白色ノイズ（「ＷＮ」）及び／又は自然光景の動画のような自然刺激（「ＮＳ」）又は両方の組合せを含むことができる。
【０１７２】
本発明の範囲は、上記に具体的に図示して記載したものによって限定されない。当業者は、図示した材料、構成、構造、及び寸法の例に対する適切な変形が存在することを認識するであろう。本発明の説明において特許及び様々な論文を含む多くの参考文献を引用して解説し、「従来技術文献」リストに添付した。そのような参考文献の引用及び解説は、本発明の説明を明確にするために提供したものに過ぎず、いずれかの参考文献が、本明細書に記載した本発明に対する従来技術であることを認めたことではない。本明細書に引用して解説した全ての参考文献は、その全部が引用によって本明細書に組み込まれている。
【０１７３】
本明細書において様々な発明実施形態を記載して図示したが、当業者は、本明細書に記載した機能を実行し、及び／又は結果及び／又は利点のうちの１つ又はそれ以上を取得するための様々な他の手段及び／又は構造を即座に想起すると考えられ、そのような変更及び／又は修正の各々は、本明細書に記載した本発明の実施形態の範囲にあると見なされる。より一般的には、当業者は、本明細書に記載した全てのパラメータ、寸法、材料、及び構成が、例示的であるように意図したものであり、実際のパラメータ、寸法、材料、及び／又は構成が、本発明の教示が使用される１つ又は複数の特定の用途に依存することになることを即座に理解すべきであろう。当業者は、慣例的な実験方法のみを用いて本明細書に記載した特定の本発明の実施形態に対する多くの均等物を認識することになり、又は確認することができるであろう。従って、上述の実施形態は、単なる例として提供したものであり、特許請求の範囲及びそれに対する均等物の範囲で発明実施形態は、具体的に記載し、主張するものとは別途に実施することができることを理解すべきであろう。本発明の開示の発明実施形態は、本明細書に記載した各個々の特徴、システム、物品、材料、キット、及び／又は方法に関するものである。更に、２つ又はそれよりも多くのそのような特徴、システム、物品、材料、キット、及び／又は方法のいずれの組合せも、そのような特徴、システム、物品、材料、キット、及び／又は方法が互いに矛盾しない場合には、本発明の開示の発明の範囲に含まれる。上述の実施形態は、多くの手法のうちのいずれかに実施することができる。例えば、実施形態は、ハードウエア、ソフトウエア、又はその組合せを用いて実施することができる。ソフトウエアに実施された場合には、単一のコンピュータ内に供給されるか又は複数のコンピュータの間で分散されるかに関わらず、ソフトウエア符号をあらゆる適切なプロセッサ又はプロセッサ集合上で実行することができる。
【０１７４】
更に、コンピュータは、ラックマウントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、又はタブレットコンピュータのようないくつかの形態のうちのいずれかに実施することができることは理解されるものとする。更に、コンピュータは、携帯情報端末（ＰＤＡ）、スマート電話、又はあらゆる他の適切な携帯又は固定の電子デバイスを含む一般的にはコンピュータとして見なされないが適切な処理機能を有するデバイス内に埋め込むことができる。
【０１７５】
更に、コンピュータは、１つ又はそれよりも多くの入力及び出力デバイスを有することができる。これらのデバイスは、取りわけユーザインタフェースを与えるために使用することができる。ユーザインタフェースを与えるために使用することができる出力デバイスの例は、出力の視覚呈示のためのプリンタ又は表示画面、及び出力の可聴呈示のためのスピーカ又は他の音生成デバイスを含む。ユーザインタフェースに使用することができる入力デバイスの例は、キーボード、並びにマウス、タッチパッド、及びデジタル化タブレットのようなポインティングデバイスを含む。別の例として、コンピュータは、入力情報を音声認識を通じて、又は他の可聴フォーマットで受け入れることができる。
【０１７６】
そのようなコンピュータは、企業ネットワーク及びインテリジェントネットワーク（ＩＮ）又はインターネットのようなローカルエリアネットワーク又は広域ネットワークを含むあらゆる適切な形態にある１つ又はそれよりも多くのネットワークによって相互接続することができる。そのようなネットワークは、あらゆる適切な技術に基づくとすることができ、あらゆる適切なプロトコルに従って作動させることができ、無線ネットワーク、有線ネットワーク、又は光ファイバネットワークを含むことができる。
【０１７７】
本明細書に記載した機能の少なくとも一部分を実施するのに使用されるコンピュータは、メモリと、１つ又はそれよりも多くの処理ユニット（本明細書では単純に「プロセッサ」とも呼ぶ）と、１つ又はそれよりも多くの通信インタフェースと、１つ又はそれよりも多くの表示ユニットと、１つ又はそれよりも多くのユーザ入力デバイスとを含むことができる。メモリは、いずれかのコンピュータ可読媒体を含むことができ、本明細書に記載した様々な機能を実施するためのコンピュータ命令（本明細書では「プロセッサ実行可能命令」とも呼ぶ）を格納することができる。処理ユニットは、命令を実行するために使用することができる。通信インタフェースは、有線又は無線のネットワーク、バス、又は他の通信手段に結合することができ、従って、コンピュータが通信を送信し、及び／又は他のデバイスからの通信を受信することを可能にすることができる。表示ユニットは、例えば、ユーザが命令の実行に関する様々な情報を見ることを可能にするために設けることができる。ユーザ入力デバイスは、例えば、命令の実行中にユーザが手動調節を行う、選択を行う、データ又は様々な他の情報を入力し、及び／又は様々な手法のうちのいずれかでプロセッサと対話を行うことを可能にするために設けることができる。
【０１７８】
本明細書に概説した様々な方法又は処理は、様々なオペレーティングシステム又はプラットフォームのうちのいずれかの１つを使用する１つ又はそれよりも多くのプロセッサ上で実行可能なソフトウエアとして符号化することができる。更に、そのようなソフトウエアは、いくつかの適切なプログラミング言語、及び／又はプログラミングツール又はスクリプト生成ツールのうちのいずれかを用いて書くことができ、実行可能機械言語コード又はフレームワーク又は仮想機械上で実行される中間コードとしてコンパイルすることができる。
【０１７９】
この点に関して、様々な発明の概念は、１つ又はそれよりも多くのコンピュータ又は他のプロセッサ上で実行された場合に上記に解説した本発明の様々な実施形態を実施する方法を実施する１つ又はそれよりも多くのプログラムを用いて符号化されたコンピュータ可読ストレージ媒体（又は複数のコンピュータ可読ストレージ媒体）（例えば、コンピュータメモリ、１つ又はそれよりも多くのフロッピー(登録商標)ディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイ又は他の半導体素子における回路構成、又は他の持続性媒体又は有形コンピュータストレージ媒体）として具現化することができる。１つ又は複数のコンピュータ可読媒体は、上記に解説した本発明の様々な態様を実施するために、これらのコンピュータ可読媒体上に格納された１つ又は複数のプログラムを１つ又はそれよりも多くの異なるコンピュータ又は他のプロセッサ上にロードすることができるようにトランスポート可能にすることができる。
【０１８０】
本明細書では、「プログラム」又は「ソフトウエア」という用語は、一般的な意味で上記に解説した実施形態の様々な態様を実施するようにコンピュータ又は他のプロセッサをプログラムするのに使用することができるいずれかのタイプのコンピュータコード又はコンピュータ実行可能命令セットを指すために使用する。更に、一態様により、本発明の様々な態様を実施するのに、実行された場合に本発明の方法を実施する１つ又はそれよりも多くのコンピュータプログラムは、単一のコンピュータ又はプロセッサ上に存在する必要はなく、いくつかの異なるコンピュータ又はプロセッサの間でモジュール式に分散させることができることは理解されるものとする。
【０１８１】
コンピュータ実行可能命令は、１つ又はそれよりも多くのコンピュータ又は他のデバイスによって実行されるプログラムモジュールのような多くの形態にあるとすることができる。一般的にプログラムモジュールは、特定のタスクを実施するか又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。一般的にプログラムモジュールの機能は、様々な実施形態において必要に応じて組み合わせるか又は分散させることができる。
【０１８２】
また、データ構造は、コンピュータ可読媒体内にあらゆる適切な形態で格納することができる。例示の簡略化のために、データ構造をデータ構造内の場所を通じて関連付けられたフィールドを有するように示す場合がある。そのような関係は、フィールドに対する格納領域にフィールド間の関係を送信するコンピュータ可読媒体内の場所を割り当てることによっても同じく得ることができる。しかし、データ構造のフィールド内の情報の間の関係を確立するのに、ポインタ、タグ、又はデータ要素の間の関係を確立する他の機構の使用によるものを含むあらゆる適切な機構を使用することができる。
【０１８３】
また、様々な発明の概念は、その実施例を提供した１つ又はそれよりも多くの方法として具現化することができる。方法の一部として実行される実施過程は、あらゆる適切な手法で順序付けすることができる。それに応じて、例示的な実施形態では順次的な実施過程として示すが、いくつかの実施過程を同時に実施する段階を含むことができる図示のものとは異なる順序に実施過程が実施される実施形態を構成することができる。
【０１８４】
本明細書に使用する自然光景は、例えば、Ｇｅｉｓｌｅｒ  ＷＳによる「Ｖｉｓｕａｌ  ｐｅｒｃｅｐｔｉｏｎ  ａｎｄ  ｔｈｅ  ｓｔａｔｉｓｔｉｃａｌ  ｏｆ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ（自然光景の特性の視覚認識及び統計）」、Ａｎｎｕ．Ｒｅｖ．Ｐｓｙｃｈｏｌ．５９：１６７−９２  （２００８年）に記載されている自然環境の画像を指すと理解しなければならない。一部の実施形態において、自然光景は、いずれかの適切で複雑な画像、例えば、一般的に周波数逆二乗の法則に従う空間及び／又は時間の周波数パワースペクトルによって特徴付けられる画像によって置換することができる。例えば、短い映像クリップが使用される一部の実施形態において、複雑な画像のスペクトルは、逆二乗の法則から幾分ずれる可能性がある。例えば、一部の実施形態において、複雑な画像は、形式１／ｆ＾ｘの空間又は時間のパワースペクトルを有することができ、ここで、ｆは周波数であり、ｘは、例えば、１〜３の範囲又はそのいずれかの部分的範囲（例えば、１．５〜２．５、１．７５〜２．２５、１．９〜２．１等）内にある。
【０１８５】
白色ノイズ画像は、実質的に平坦な空間周波数パワースペクトルを有するノイズ画像を指す。
【０１８６】
本明細書に使用する「光」という用語及びそれに関する用語（例えば、「オプティカル」、「視覚」）は、可視スペクトルの内側と外側の両方にある例えば紫外放射線及び赤外線放射線を含む電磁放射線を含むと理解しなければならない。
【０１８７】
本明細書及び特許請求の範囲に使用する不定冠詞「ａ」及び「ａｎ」は、別途指定しない限り「少なくとも１つ」のものを意味すると理解しなければならない。
【０１８８】
本明細書及び特許請求の範囲に使用する「又は」という表現は、「いずれか又は両方」という言葉通りに等位結合された要素、すなわち、一部の場合は接続的に存在し、他の場合は離接的に存在する要素のうちの「いずれか又は両方」を意味すると理解しなければならない。「又は」を用いて列記した複数の要素も同じく解釈され、すなわち、要素のうちの「１つ又はそれよりも多く」がそのように等位結合されるものとする。具体的に示す要素に関するか又は関連しないかに関わらず、「又は」節によって具体的に示す要素以外に、他の要素を任意的に存在させることができる。従って、非限定的な例として「Ａ又はＢ」という説明は、「含む」のような非限定的な用語と共に用いた場合に、一実施形態ではＡのみ（任意的にＢ以外の要素を含む）、別の実施形態ではＢのみ（任意的にＡ以外の要素を含む）、更に別の実施形態ではＡとＢの両方（任意的に他の要素を含む）などを意味する。
【０１８９】
本明細書及び特許請求の範囲に使用する「又は」は、上記に定めた「又は」と同じ意味を有すると理解しなければならない。例えば、列記部分内の項目を分離する場合には、「又は」又は「又は」は包含的であり、すなわち、いくつかの要素又は列記した要素のうちの少なくとも１つの包含だけでなく、１つよりも多いものも含み、任意的に、列記されていない付加的な項目を含むと解釈しなければならない。「〜のうちの１つのみ」又は「のうちの厳密に１つ」又は特許請求の範囲内に使用する場合の「〜から構成される」のような別途指定する用語のみが、いくつかの要素又は列記した要素のうちの厳密に１つの要素の包含を意味することになる。一般的に、本明細書に使用する「又は」という用語は、「〜のいずれか」、「〜のうちの１つ」、「〜のうちの１つのみ」、又は「〜のうちの厳密に１つ」のような排他性用語が続く場合にのみ、排他的な択一性（すなわち、「一方又は他方であるが両方ではない」）を示すと解釈しなければならない。「基本的に〜から構成される」は、特許請求の範囲に使用される場合には、特許法の分野に使用される通常の意味を有するものとする。
【０１９０】
特許請求の範囲、並びに上述の明細書では、「含む」、「担持する」、「有する」、「収容する」、「に関わる」、「保持する」、及び「から構成される」などのような全ての移行句は非限定的であり、すなわち、「〜を含むが、それらに限定されない」を意味すると理解しなければならない。「Ｕｎｉｔｅｄ  Ｓｔａｔｅｓ  Ｐａｔｅｎｔ  Ｏｆｆｉｃｅ  Ｍａｎｕａｌ  ｏｆ  Ｐａｔｅｎｔ  Ｅｘａｍｉｎｉｎｇ  Ｐｒｏｃｅｄｕｒｅｓ（米国特許局審査手順マニュアル）第２１１１．０３節」に示すように、「〜から構成される」及び「基本的に〜から構成される」という移行句だけが、それぞれ限定的又は半限定的な移行句であるものとする。
【０１９１】
本明細書において定めて使用する全ての定義は、辞書の定義、引用によって組み込まれている文献における定義、及び／又は定めた用語の通常の意味を無効にすると理解しなければならない。
【０１９２】
当業者は、本発明の精神及び範囲から逸脱することなく、本明細書に記載したものの変形、修正、及び他の実施を想起されるであろう。本発明のある一定の実施形態を図示して記載したが、当業者には、本発明の精神及び範囲から逸脱することなく変形及び修正を加えることができることが明らかであろう。以上の説明及び添付図面において示したものは、例示目的で提供したものであり、限定として提供したものではない。
【０１９３】
参考文献
2014524630.tif 000008
2014524630.tif 000009
2014524630.tif 000010
2014524630.tif 000011
2014524630.tif 000012
2014524630.tif 000013
2014524630.tif 000014
2014524630.tif 000015
2014524630.tif 000016
2014524630.tif 000017
2014524630.tif 000018
2014524630.tif 000019
【符号の説明】
【０１９４】
Ａ  生画像ストリーム
Ｂ  網膜画像ストリーム
【図１】
2014524630.tif 000020
【図２】
2014524630.tif 000021
【図３Ｂ】
2014524630.tif 000022
【図３Ｃ】
2014524630.tif 000023
【図３Ｄ】
2014524630.tif 000024
【図３Ｅ】
2014524630.tif 000025
【図３Ｆ】
2014524630.tif 000026
【図４】
2014524630.tif 000027
【図５】
2014524630.tif 000028
【図６】
2014524630.tif 000029
【図７】
2014524630.tif 000030
【図１１】
2014524630.tif 000031
【図１２】
2014524630.tif 000032
【図１５】
2014524630.tif 000033
【図１６】
2014524630.tif 000034
【図１７】
2014524630.tif 000035
【図３Ａ】
2014524630.tif 000036
【図８】
2014524630.tif 000037
【図９Ａ】
2014524630.tif 000038
【図９Ｂ】
2014524630.tif 000039
【図９Ｃ】
2014524630.tif 000040
【図１０】
2014524630.tif 000041
【図１３】
2014524630.tif 000042
【図１４】
2014524630.tif 000043
【図１８Ａ】
2014524630.tif 000044
【図１８Ｂ】
2014524630.tif 000045
【図１８Ｃ】
2014524630.tif 000046
【図１８Ｄ】
2014524630.tif 000047
【図１８Ｅ】
2014524630.tif 000048
【図１８Ｆ】
2014524630.tif 000049
【国際調査報告】
2014524630.tif 000050
2014524630.tif 000051