(57)【要約】  眼の内部を撮像するための装置は、感光センサと、感光センサによって撮像する際に眼を置く撮像エリアを画定する開口を有するハウジング構造体とを、含む。複数の画像の取り込みの間、感光センサと眼との間の画像経路に１つ以上の発光体（ＬＥ）が配置される。複数のＬＥおよび感光センサにコントローラが結合されている。コントローラは、コントローラによって実行されると、１つ以上のＬＥで撮像エリアを照らすことと、眼が１つ以上のＬＥからの光で照らされると同時に、眼の内部の複数の画像を感光センサで取り込むことと、を含む動作を装置に行わせるロジックを実装する。【選択図】図１Ａ
2021506353.tif 000002
【特許請求の範囲】
【請求項１】
眼の内部を撮像するための装置であって、
感光センサと、
前記感光センサによって撮像するために前記眼を置く撮像エリアを画定する開口を有するハウジング構造体と、
光を発することができ、かつ前記感光センサと前記撮像エリアとの間の画像経路に配置された、１つ以上の発光体（ＬＥ）と、
前記１つ以上のＬＥ、および前記感光センサに結合されたコントローラと、を備え、前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記１つ以上のＬＥで前記撮像エリアを照らすことと、
前記眼が前記１つ以上のＬＥからの光で照らされると同時に、前記眼の内部の複数の画像を前記感光センサで取り込むことと、を含む動作を行わせるロジックを実装する、装置。
【請求項２】
前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記複数の画像のうちの少なくとも２つの画像を組み合わせて、前記眼の内部の合成画像を形成することであって、前記組み合わせることが、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも１つを含む、形成することを含む動作を行わせるロジックをさらに実装する、請求項１に記載の装置。
【請求項３】
前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記合成画像から、前記複数の画像のうちの１つ以上の画像を排除することであって、前記１つ以上の画像が、ビンポケの画像、画像アーチファクト、前記画像内の映り込み、または前記画像内の前記眼以外の物体のうちの少なくとも１つを含む、排除することを含む動作を行わせるロジックをさらに実装する、請求項２に記載の装置。
【請求項４】
前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記画像経路内の複数の異なる位置から、前記１つ以上のＬＥで前記撮像エリアを連続して照らすことを含む動作を行わせるロジックをさらに実装する、請求項１に記載の装置。
【請求項５】
前記１つ以上のＬＥが１つ以上のアーム上に配置され、前記１つ以上のアームが前記複数の画像の取り込みの間、前記画像経路に配置される、請求項４に記載の装置。
【請求項６】
前記１つ以上のＬＥが単一のアーム上に配置され、前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記単一のアームを回転させることと、
前記単一のアームが回転している間に前記１つ以上のＬＥで前記撮像エリアを照らすことと、を含む動作を行わせるロジックをさらに実装する、請求項５に記載の装置。
【請求項７】
前記単一のアームが、輪に取り付けられ、かつ前記輪の中心に向かって延在し、前記単一のアームを回転させることが枢動点を中心として前記輪を回転させることを含むか、または、
前記単一のアームが、取り付け点を中心として回転し、前記１つ以上のＬＥが前記取り付け点と反対側の前記単一のアームの遠位端に配置されている、請求項６に記載の装置。
【請求項８】
前記１つ以上のアームが、前記画像経路内の固定位置に配置されている、請求項６に記載の装置。
【請求項９】
前記１つ以上のアームが、複数のアームであり、かつ輪形の構造体上に配置されており、前記１つ以上のアームのうちの少なくとも１つが前記輪の中心に向かって延在し、前記１つ以上のアームのうちの少なくとも１つが、前記輪の中心から離れて延在する、請求項８に記載の装置。
【請求項１０】
照明システムの少なくとも一部が、透明であるか、または透明になることができる、請求項１に記載の装置。
【請求項１１】
眼の内部を撮像する方法であって、
複数の画像の取り込みの間、前記感光センサと前記眼との間の画像経路に配置された１つ以上の発光体（ＬＥ）で前記眼を照らすことと、
前記眼が前記１つ以上のＬＥからの光で照らされると同時に、前記眼の内部の複数の画像を前記感光センサで取り込むことと、
コントローラを使用して、前記複数の画像における画像のうちの少なくとも２つを組み合わせて、前記眼の内部の合成画像を形成することと、を含む、方法。
【請求項１２】
前記複数の画像における前記画像のうちの少なくとも２つを組み合わせて、前記合成画像を形成することが、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも１つを含む、請求項１１に記載の方法。
【請求項１３】
前記合成画像から、前記複数の画像のうちの１つ以上の画像を排除することであって、前記１つ以上の画像が、ピントが合っていない画像、画像アーチファクト、前記画像内の映り込み、または前記画像内の前記眼以外の物体のうちの少なくとも１つを含む、排除することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記合成画像から、画像経路内で前記１つ以上の発光体を保持する構造体によって引き起こされる画像アーチファクトを取り除くことをさらに含み、前記取り除くことは、
前記画像アーチファクトを含む前記画像の一部が、前記合成画像に含まれないようにすること、または、
前記複数の画像のピントの合っていない前記画像経路に前記構造体を置くこと、のうちの少なくとも１つによる、請求項１１に記載の方法。
【請求項１５】
１つ以上のＬＥで前記眼を照らすことが、前記画像経路内の複数の異なる位置から前記眼を連続して照らすことを含む、請求項１１に記載の方法。
【請求項１６】
複数の位置から前記眼を照らすことが、前記複数の画像の取り込みの間、前記画像経路に位置付けられた１つ以上のアーム上に配置された１つ以上のＬＥで前記眼を照らすことを含む、請求項１５に記載の方法。
【請求項１７】
前記１つ以上のアームを回転させることと、
前記１つ以上のアームが回転している間に前記１つ以上のＬＥで前記眼を照らすことと、をさらに含む、請求項１６に記載の方法。
【請求項１８】
前記１つ以上のアームを回転させることが、
枢動点を中心として輪を回転させることであって、前記１つ以上のアームが前記輪の中心に向かって延在する、回転させること、または、
取り付け点を中心として前記１つ以上のアームを回転させること、のうちの少なくとも１つを含み、前記１つ以上のＬＥが、前記取り付け点と反対側の前記１つ以上のアームの遠位端に近接して配置されている、請求項１７に記載の方法。
【請求項１９】
前記眼を照らすことが、前記画像経路内の固定位置から前記眼を照らすことを含む、請求項１６に記載の方法。
【請求項２０】
前記感光センサに入射する経路を有する、前記眼からの反射光の少なくとも一部が、前記ＬＥを含む構造体によって吸収される、請求項１に記載の方法。
【請求項２１】
眼の内部を撮像するためのシステムであって、
前記撮像するために、前記眼を置く撮像エリアを画定する開口を有するハウジング構造体と、
方向のうちの選択した一方向から前記撮像エリアを照らすように構成可能な照明システムと、
前記眼の内部の複数の画像を取り込むように結合された感光センサであって、前記照明システムが、前記感光センサと前記撮像エリアとの間の画像経路内に少なくとも部分的に配置されている、感光センサと、を備える、システム。
【請求項２２】
前記照明システムが、照明事象により前記撮像エリアを連続して照らす１つ以上の発光体（ＬＥ）を含む、請求項２１に記載のシステム。
【請求項２３】
前記複数の画像では、前記照明事象が画像よりも多いか、
前記複数の画像では、前記照明事象が前記画像よりも少ないか、または、
前記複数の画像では、前記画像と同じ数の前記照明事象がある、請求項２２に記載のシステム。
【請求項２４】
前記複数の画像の各画像を取り込むことが別々の出来事であり、各照明事象が別々の出来事であり、前記照明システムが、前記方向のうちの少なくとも２方向から前記撮像エリアを照らす、請求項２２に記載のシステム。
【請求項２５】
前記照明システムの少なくとも一部が透明であるか、または透明になることができる、請求項２１に記載のシステム。
【請求項２６】
前記照明システムの前記一部が、前記画像経路内にあり、前記照明システムの少なくとも一部が撮像されるのを防ぐために、それにピントが合っていない、請求項２１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１７年１２月２２日に出願された米国出願第６２／６０９，９５６号の利益を主張し、その内容は参照により本明細書に組み込まれる。
【０００２】
本開示は、概して、撮像技術に関し、具体的には、網膜撮像に関する。
【背景技術】
【０００３】
網膜撮像は、多くの網膜疾患のスクリーニング、現場診断、および進行モニタリングのための、基本的な眼検査の一部である。高忠実度の網膜画像は、正確なスクリーニング、診断、およびモニタリングに重要である。瞳孔を通して眼の後部内面（例えば、網膜）を明るく照らすと、画像の忠実度が向上する一方で、光学収差、またはレンズフレアなどの画像アーチファクトが生じることがよくある。レンズフレアは、内部反射、様々な内部境界での屈折率変化、不完全性などにより、レンズシステムの内部コンポーネントから光が散乱する現象である。この散乱光は、網膜像にレンズフレアとして現れ、画像品質に有害である。明るく照らすほど、レンズフレアが顕著になり、画像の忠実度を向上させるという目標が損なわれる。瞳孔との不整合による角膜反射または虹彩反射が原因で、他の画像アーチファクトが生じる場合がある。
【図面の簡単な説明】
【０００４】
本発明の非限定的かつ非網羅的な実施形態を以下の図を参照して説明するが、ここで、特に指定されない限り、同様の参照番号は、様々な図全体を通して同様の部分を指す。必要に応じて図面が煩雑にならないように、要素のすべての事例が必ずしも標識されているわけではない。図面は必ずしも縮尺通りではなく、説明されている原理を示すことに重点が置かれている。
【０００５】
【図１Ａ−１Ｂ】本開示の実施形態による、眼の内部を撮像するための装置を示す。
【図２Ａ−２Ｄ】本開示の実施形態による、図１Ａ〜１Ｂの装置に含まれ得る動的照明器を示す。
【図３】本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラの機能ブロック図である。
【図４】本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラによる画像処理を示すブロック流れ図である。
【図５】本開示の実施形態による、虹彩の焦点合成画像を示す。
【図６】本開示の実施形態による、眼の内部を撮像する方法のためのフローチャートを示す。
【発明を実施するための形態】
【０００６】
本明細書では、画像経路内の照明源を用いた、眼の撮像のための装置および方法の実施形態について説明する。以下の説明では、多くの特定の詳細は、実施形態の徹底的な理解を提供するために、示されている。しかしながら、関連技術の当業者は、本明細書に記載された技術が、具体的な詳細のうちの１つ以上を用いずに、または他の方法、コンポーネント、材料などを用いて実施することができることを認識するであろう。他の事例では、周知の構造、材料、または操作は、特定の態様を不明瞭にしないように、詳細には図示または記載されていない。
【０００７】
本明細書全体を通した「一実施形態」または「実施形態」への参照は、実施形態に関連して記載された特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。このように、本明細書全体を通して、様々な場所での「一実施形態では」または「実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、１つ以上の実施形態において、任意の好適な様式で組み合わされ得る。
【０００８】
明るい照明は両刃の剣である。それは、光学収差（角膜反射／フレアなど）を作成しながら、網膜像の忠実度を向上させる。一部のカメラは、リング状の照明光源／環状発光体を有してもよい。これらのカメラは、角膜反射の大部分（すべてではないとしても）が遮断されるような、環状光源の直径に対して十分に小さい直径を有する照明口径を有してもよい。従来のカメラは、患者１人につき１枚の静止画像を撮影し得る。したがって、角膜反射は、患者の網膜像を台無しにするため、許容できない。この問題を解決するために、ここに提示される開示の実施形態は、網膜像の焦点合成を提供する。しかしながら、マルチ画像スタッキング技術を使用して合成高忠実度画像を作成する場合でも、空間的に静止照明光源では、非常に小さな口径が必要となる場合がある。したがって、本開示の実施形態は、これらの欠陥を是正する動的照明器（画像経路に配置され、固定式または移動式であってもよい）のための設計を含む。さらに、動的照明器を画像経路（例えば、眼から、または撮像領域からカメラへ向かう光の経路）に配置することにより、位置がずれた眼に対して満足できる画像を達成することが可能である。そして、焦点合成を用いることで、眼の画像に現れる動的照明器の存在に起因する画像アーチファクトを、合成画像を形成する前に除去し得る。これらのアーチファクトは、角膜からの反射、レンズ要素、および内眼散乱から生じる。
【０００９】
図１Ａ〜１Ｂは、本開示の一実施形態による、眼の内部を撮像するための装置を示す。より具体的には、図１Ａは装置を示し、図１Ｂは装置１００に使用されるレンズ光学系１５０の詳細図を示す。網膜撮像システム１００の図示された実施形態は、動的照明器１０５（これは、１つ以上の発光体（ＬＥ）がその中に／その上に配置されている）、網膜カメラ１１０、コントローラ１１５、ユーザインタフェース１１７、ディスプレイ１２０、およびレンズ１２５とビームスプリッタ１３０とを含む光学リレーシステムを含む。示されているように、装置全体は、カメラ１１０による撮像のための眼を配置するための撮像領域を画定する開口を有するハウジング構造（例えば、プラスチックまたは金属構造／ケーシング）内に配置されてもよく、またはそれを含んでいてもよい。
【００１０】
描写された実施形態では、網膜カメラ１１０は、感光性センサ（例えば、ＣＭＯＳ画像センサ、ＣＣＤ画像センサなど）を含む。１つ以上のＬＥ（例えば、可視または赤外発光ダイオード、レーザーダイオード、フラッシュ電球など）は、網膜の複数の画像の撮影中に網膜カメラ１１０と眼との間の画像経路内に配置されている動的照明器１０５（照明システムの一部）上に配置されている。コントローラ１１５（例えば、汎用プロセッサまたは特殊プロセッサ、分散システム、マイクロコントローラなど）は、網膜カメラ１１０内の複数のＬＥおよび感光性センサに結合されており、コントローラ１１５は、コントローラ１１５によって実行されると、装置１００が一連の操作を実行するロジックを実装している。例えば、装置１００は、１つ以上のＬＥで眼１０１を照明してもよく、眼１０１が１つ以上のＬＥからの光で照明されている間に、眼（例えば、網膜）の内部の複数の画像を（感光センサで）取り込んでもよい。
【００１１】
いくつかの実施形態では、コントローラ１１５は、装置は、複数の画像のうちの少なくとも一部の画像を合成して眼の内部の合成画像を形成させるロジック（例えば、ハードウェア、ソフトウェア、またはそれらの組み合せにおいて）をさらに実装してもよい。一実施形態では、合成は、焦点合成（すなわち、異なる焦点距離で撮影された複数の画像を合成して、個々のソース画像のいずれよりも大きな被写界深度を有する結果画像を得ること）、画像スティッチング（すなわち、重なり合う視野を有する複数の写真画像を結合して、セグメント化されたパノラマまたは高解像度画像を生成すること）、画像ブレンディング（すなわち、背景画像と前景画像を合成して、部分的な透明性の外観を与えること）、またはそれらの任意の組み合わせのうちの少なくとも１つを含んでもよい。本開示の利益を有する当業者は、本明細書に記載されるものに加えて、他の技術が使用され得ることを理解するであろう。一実施形態では、眼１０１は、画像経路内の複数の位置から１つ以上のＬＥで照らされる。これは、画像経路内の異なる位置に配置された複数の静止ＬＥを有することによって、または撮像中に１つ以上の静止ＬＥを異なる位置に移動させることによって達成されてもよい。画像経路は、感光センサに入射するか、または感光センサに向けられる経路を有する眼の内部から反射された光を含んでもよく、この光の一部は、動的照明器１０５によって吸収されてもよいことが理解される。いくつかの実施形態では、動的照明器は、回路基板上に取り付けられた発光ダイオードを有する回路基板を含んでもよい。いくつかの実施形態では、発光体（例えば、照明システム）を保持する構造の少なくとも一部は、実質的に透明（例えば、ガラス、アクリルなど）であるか、または透明または実質的に透明になることが可能な（例えば、透明になることが可能な液晶ベースのデバイス）である。透明度の別の形式は、焦点が合っていないために複数の画像に表示されないように構造を配置することである。
【００１２】
動的照明器１０５の少なくとも一部は、眼１０１の光経路内に物理的に配置される。図２Ａ〜２Ｄに示されるように、網膜画像を形成するために使用される光は、動的照明器を通してか、またはその周りを網膜カメラ２１０に通過する。しかしながら、画像光の一部は、動的照明器１０５が画像経路内に配置されているため、動的照明器１０５によって吸収されてしまう場合がある。角膜からの有害な反射による画像アーチファクトを低減することに加えて、動的照明器１０５からの複数の照明位置を使用することは、システム１００のアイボックスを増加させることにも役立つ。アイボックスは、眼１０１が位置して撮像可能な空間内の領域である。アイボックスを増加させるための１つの戦略は、撮像口径の中央部（または他の部分）から来る光を採用し、対称口径の一部を突出させることによって、この光を生成することが可能である。いくつかの実施形態では、動的照明器１０５に含まれる離散的な光源のすべては、眼１０１から網膜カメラ１１０まで延在する撮像経路の周囲の内側に配置され、他の実施形態では、いくつかの光源（発光体）は撮像経路の外側に配置されている。いくつかの（移動可能な）実施形態では、光源は撮像経路の内外を移動してもよく、画像は両方の照明位置で取り込まれてもよい。
【００１３】
描写された実施形態は、ディスプレイ１２０から出力されたディスプレイ光を眼１０１に反射させながら、網膜画像の光の一部を網膜カメラ１１０に渡すように配置されたビームスプリッタ１３０（または偏光ビームスプリッタ）を含む。ディスプレイ光は、撮像中に網膜整列を助けるための固視標または他の視覚刺激を含み得る。いくつかの実施形態では、ビームスプリッタ１３０は、反射性よりも透過性が大きい。一実施形態では、ビームスプリッタ１３０は、約９０％の透過性および約１０％の反射性である。他の反射／透過比が実施されてもよい。レンズ１２５は、システム１００の全体に設けられており、光経路内の画像および光集束を提供する。しかしながら、図１Ｂで示されるように、図１Ａでここに描写されたレンズは、より複雑なレンズシステムのカートーン図に過ぎない。ユーザインタフェース１１７は、バースト画像取り込みを開始するための機構を提供する。一実施形態では、ユーザインタフェース１１７は、ボタン、タッチスクリーン、マウスなどである。また、自動取り込みは、事前取り込み中にメリットベースの式を満たすことに基づいて使用されてもよい。
【００１４】
図１Ｂは、本開示の実施形態による、装置１００において使用されるレンズ光学系１５０の詳細図を示す。「レンズ光学系１５０」は、口径、ビームスプリッタなどのレンズ以外の光学デバイスを含んでもよいことが理解される。描写された実施形態は、６つの別個のレンズ（それらのいくつかは複数の構成要素を有し得る）を含む。下図は、動的照明器１０５から放射された光がどのようにして眼１０１に入射するかを示す光線図である。
【００１５】
動的照明器１０５と眼１０１との間には、口径１６１と、２つの凸面を含む第１のレンズ１６３とが配置されている。描写されているように、口径１６１は、そうでなければ望ましくない反射を引き起こし得る光を遮断するために、動的照明器１０５と第１のレンズ１６３との間に配置される。レンズ１５９は、２つの凸面および２つの別個の部品を有し、レンズ１５７と動的照明器１０５との間に配置される。示されているように、レンズ１５７は、レンズ１５９と同様の特徴を有し、レンズ１５５とレンズ１５９との間に配置されている。レンズ１５５は、レンズ１５７と１５３との間に配置され、凹面（網膜カメラ１１０に面する）および凸面（動的照明器１０５に面する）を有する。レンズ１５３は、レンズ１５１とレンズ１５５との間に配置される。当業者であれば、ここに描写されたレンズおよび他の光学構成要素は、本開示の教示に従って、システム１００のレンズ光学系を組み立てるための多くの方法のうちの１つに過ぎないことを理解するであろう。
【００１６】
下の拡大図に示されるように、アイボックス内の眼の位置に応じて、また使用されたＬＥに基づいて、ＬＥの位置によっては、異なるアーチファクトおよび異なる照明プロファイルが画像内で発生する可能性がある。ＬＥを撮像口径に配置することにより、Ｙ方向にシフトされた眼の位置に必要となり得るＹ方向（例えば、ページの上部と下部の間の方向）でより高い焦点を達成することが可能である。
【００１７】
図２Ａ〜２Ｄは、本開示の実施形態による、図１Ａ〜１Ｂの装置に含まれ得る動的照明器を示す。当業者は、動的照明器２０５の４つの実施形態がここに示されているが、これらの例は網羅的ではなく、本開示の教示による、他の多くの形状および構成が可能であることを理解するであろう。さらに、任意の数の設計を使用して、所与の光学系のモジュラー伝達関数（ＭＴＦ：Ｍｏｄｕｌａｒ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を最適化してもよい。
【００１８】
図２Ａは、図１Ａで描写されたデバイス内の画像経路内に存在し得る動的照明器２０５の一実施形態を描写する。示されているように、動的照明器２０５は、眼２０１（瞳孔２０３を含む）の前に配置され、中心点から外向きに延在するアーム２０７を有する。アーム２０７の遠位端（中心点または回転軸と反対側）には、ＬＥ２０９が設けられている。画像取得プロセスの少なくとも一部において、アーム２０７が画像経路内にあることが理解される（例えば、画像取り込み中にアーム２０７が画像経路内にスピンしてもよい）。
【００１９】
動作において、中央枢動点は、眼に対して様々な位置（例えば、位置１〜７）にアーム２０７をスピンまたは回転させる（結果的に枢動点の周りでＬＥ２０９をスピンまたは回転させる）ために使用され得るモータ（例えば、電動モータ）に結合されてもよい。ＬＥ２０９は、複数の場所でストロボ発光してもよく、そのうちのいくつかは、眼とカメラとの間の画像経路の内側であってもよい。個別／離散フラッシュは、カメラによる個別／離散画像の画像取り込みに対応していてもよい。取り込まれた画像と同じ数のフラッシュ（照明イベント）があってもよいし、取り込まれた画像よりも多い数のフラッシュがあってもよいし、取り込まれた画像よりも少ない数のフラッシュがあってもよいことが理解される。さらに、枢動点は、アーム２０７が回転している間、静止していてもよいし、移動してもよい。本開示の教示により、１つ以上の動的照明器２０５は同時に採用されてもよく、アーム２０７は１つ以上のＬＥ２０９を含んでもよいことが理解される。
【００２０】
図２Ｂは、眼２０１（瞳孔２０３を含む）の前に配置された動的照明器２０５の別の実施形態を描写する。示されるように、動的照明器２０５は、実質的にリング形状（すなわち、環状）であり、アーム２０７は、リングの中心に向かって延在する。ＬＥ２０９は、アームの遠位端（リングの中心付近）に配置されている。示されるように、動的照明器２０５は、ＬＥ２０９が異なる位置（例えば、位置１〜８）に移動するように回転してもよい。示されるように、ＬＥ２０９（例えば、ＬＥＤ）は、端部で固定され、中間部では、撮像経路軸を中心にスピンするリングに取り付けられたアーム２０７に固定されている。アーム（例えば、アーム２０７）が撮像経路を掃引すると、アームが第１の位置にある状態でフレームが取り込まれる。アーム／リングは、別のフレームが取り込まれる次の位置までスピンし続ける。これは、８つのフレームすべてが取り込まれるまで継続され、個々のフレーム内のアームの任意の入射を除去しながら、最終的な積層画像を均一に照らすことが可能になる。図１Ａのデバイスと同様に、この回転は、コントローラに結合された電動モータを使用して達成されてもよい。カメラ（または感光センサ）は、８つの場所のそれぞれで画像を取り込んでもよい。ここでは８つの場所が描写されているが、本開示の利点を有する当業者であれば、アーム２０７が任意の数の場所にあるときに画像が取り込まれ得ることを理解するであろう。描写された実施形態は、２つのＬＥ２０９を有する１つのアーム２０７のみを有するが、他の実施形態では、リングの中心に向かって、またはリングから外側に向かって延在する複数のアーム（１つ以上のＬＥを有する）があってもよい。アームは、本開示の教示により、対称的であってもよいし、異なる形状および長さを有していてもよい。
【００２１】
図２Ｃは、静止動的照明器２０５を描写する。示されているように、アーム２０７の一部（ここでは実質的に半円形である）は、リングの中心に向かって延在し、アーム２０７の一部は、リングの中心から離れて延在する。示されるように、アーム２０７はそれぞれ、単一のＬＥ２０９を有する。また、アーム２０７は、リングの中心に向かって延在する両方のアーム２０７と、リングの中心から外に延在するアーム２０７とに対して、リングの周囲の実質的にπ／２ラジアンに位置する。動的照明器２０５の他の実施形態と同様に、描写された実施形態では、静止動的照明器は、網膜からカメラへの光の画像経路内に少なくとも部分的に配置されている。描写された実施形態では、（画像光が通過する）透明な口径は、ＬＥ２０９を撮像口径の内側および周囲の両方に配置することを可能にする。１つの利点としては、口径が左右対称であるため、口径の一部を、画像を突き出させることなく、非対称的に突き出させることができる。
【００２２】
図２Ｄは、動的照明器２０５の別の静止した（例えば、アーム２０７およびＬＥ２０９は、画像経路内の固定位置にある）実施形態を描写する。描写された実施形態では、アーム２０７は、画像経路の中心に向かって延在して、画像経路内に十字形構造を形成する（十字形構造によって形成された４つの象限は、画像光が通過するための空の空間、または透明な材料である）。他の実施形態では、２、３、５などの任意の数の交差アームが存在してもよいことが理解される。描写されているように、複数のＬＥ２０９は、アーム２０７に沿って、画像経路の周縁部に配置されている。描写された実施形態では、ＬＥ２０９は、連続して発射されてもよい（例えば、左上隅に最も近いＬＥ２０９から右下隅に向かって下降するように、一度に１つずつ発射されてもよい）。代替的にまたは追加的に、ＬＥ２０９の一部またはすべてが同時に発射されてもよい。本開示の利益を有する当業者は、採用され得るかなりの数のＬＥ照明パターンがあることを理解するであろう。
【００２３】
図３は、本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラ３００の機能ブロック図である。網膜カメラ３００は、網膜カメラ１１０の１つの考えられる実装である。図示した網膜カメラ３００の実施形態は、２次元センサアレイ３０５、データ変換回路３１０、メモリバッファ３１５、統合画像信号プロセッサ（ＩＳＰ）３２０、および出力ポート３２５を含む。
【００２４】
動作中、２次元画像データ（例えば、網膜画像）が、センサアレイ３０５によって取得され、データ変換回路３１０によってアナログドメインからデジタルドメインに変換される。画像データは、高フレームレート（例えば、毎秒２４、４８、６０、２４０、１０００フレーム）で取得され、メモリバッファ３１５に記憶され得る。ＩＳＰ３２０は、バッファリングされた網膜画像フレーム上で動作して、使用可能な領域または欠陥領域を特定し、画像フレーム内の関心領域に注釈を付け、および／または使用可能な領域を高品質の合成網膜画像に組み合わせる。したがって、１つの実施形態では、上記の画像処理タスクのいくつかは、コントローラ３１５からＩＳＰ３２０に搭載変更されてもよい。ＩＳＰ３２０は、コントローラ３１５の論理的サブコンポーネントとみなし得る。
【００２５】
図４は、本開示の一実施形態による、統合画像信号プロセッサ（例えば、図３のＩＳＰ３２０）を含む網膜カメラ（例えば、図３の網膜カメラ３００）による画像処理を示すブロックフロー図である。図示したように、網膜の画像フレーム４０５Ａ〜４０５Ｃが、センサアレイ（例えば、図３のセンサアレイ３０５）によって高フレームレートで取得され、データ変換回路（例えば、図３のデータ変換回路３１０）によってデジタルドメインに変換され、メモリバッファに（例えば、図３のメモリバッファ３１５）にバッファリングされる。画像分析器４１０が、ＩＳＰによって実行され、バッファリングされた網膜画像４０５を分析して（一種の前処理）、画像フレームのどの部分が十分な品質であり、どれが、容認不可の画像アーチファクトのために不十分な品質であるかを決定する。例えば、画像分析器４１０は、ぼやけた部分、有用であるために十分なコントラストを有さず、色褪せたり、かつ／または容認不可の角膜または虹彩反射、もしくはレンズフレアを含む部分について、画像フレーム４０５を分析し得る。容認不可とみなされた画像部分には容認不可のフラグが付けられ（例えば、マークまたは注釈が付けられる）、容認可とみなされた画像部分にはそのようなフラグが付けられる。次に、画像フレームは、互いに見当合わせされ（例えば、画素間アラインメント）、画像見当合わせ／クロッピングモジュール４１５によって共通視野にクロップされ、次にスタッキングモジュール４２０によって組み合わされて単一の合成網膜画像４２５になる。スタッキングモジュール４２０は、画像を合成して、高動的範囲の画像を生成し得る。他の実施形態では、画像フレーム４０５は、個々の画像フレームの分析および／または注釈付けなしに、単純に合成される。図３および図４に関連して説明したすべての画像処理ステップおよびハードウェアは、本開示の教示に従って「コントローラ」の一部とみなすことができる。
【００２６】
図５は、本開示の実施形態による、虹彩の焦点合成画像を示す。示されるように、網膜の４つの画像フレーム（５０５Ａ〜５０５Ｄ）が、画像センサで取り込まれている。長い線は、網膜内または網膜上の完全に解像された静脈および他の解剖学的構造を表し、短い破線は、画像の焦点が合っていない、または色褪せた部分を表している。示されるように、画像フレーム５０５Ａの左下角は完全に解像されているが、この画像の残りの部分はそうではない。同様に、画像フレーム５０５Ｂの中間部分（フレームの左上角から右下角に延在する）は、ピントが合っており完全に解像されているが、画像フレーム５０５Ｂの残りの部分は、そうではない。示されるように、画像フレーム５０５Ｃの左下角は完全に解像されているが、この画像の残りの部分はそうではない。最後に、画像フレーム５０５Ｄは、ピンボケしており、何も有用な情報を含んでいない。したがって、画像フレーム５０５Ｄは、取り除かれ、合成画像５２５で使用するようにスタッキングモジュール５２０には送られない。画像フレームの残り５０５Ａ〜５０５Ｃは、スタッキングモジュール５２０に送られ、組み合わされて、被写界深度が大きい単一の高解像度合成画像５２５になる。１つの実施形態では、エッジ検出、特徴検出、またはフーリエ解析を使用して画像を合成し得る。
【００２７】
図６は、本開示の実施形態による、眼の内部を撮像する方法６００用のフローチャートを示す。方法６００におけるブロック（例えば、ブロック６０１〜６０５）がどのような順番でも、並行でも行われ得ることが理解される。また、本開示の教示に従えば、方法６００にブロックが加えられてもよく、方法６００からブロックが取り除かれてもよい。
【００２８】
ブロック６０１は、画像シーケンスの取り込みの間、感光センサと眼との間の画像経路に配置された１つ以上の発光体（ＬＥ）で眼を照らすことを示す。いくつかの実施形態では、これは、画像経路内の複数の位置から眼を照らすことを含み得る。例えば、眼は、複数の画像の取り込みの間、画像経路に配置された動的照明器から、１つ以上のアームに配置された１つ以上のＬＥで照らされ得る。いくつかの実施形態では、１つ以上のアームが、眼に対して回転し、眼は、１つ以上のアームが回転している間に、複数の位置にある１つ以上のＬＥで照らされる。逆に、眼は、画像経路内の固定位置から照らされ得る。
【００２９】
ブロック６０３は、眼が１つ以上のＬＥからの光で照らされている間に、感光センサで眼の内部の複数の画像を取り込むことを示す。一実施形態において、ＬＥが点灯するのと同じ割合で、カメラが画像を取り込み得る。代替的に、ＬＥが、画像取り込みの間、眼を絶えず照らし得る。
【００３０】
ブロック６０５は、コントローラを使用して、複数の画像における画像のうちの少なくともいくつかを組み合わせ、眼の内部の合成画像を形成することを開示する。いくつかの実施形態では、これは、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも１つを含み得る。
【００３１】
一実施形態において、複数の画像のうちの１つ以上の画像が合成画像から排除され得る。排除される１つ以上の画像には、ピントが合っていない画像、画像アーチファクト、画像内の映り込み、または画像内の眼以外の物体（例えば、動的照明器）のうちの少なくとも１つが含まれ得る。質の劣った画像をフィルタ処理で取り除くためのいくつかの技法が使用され得ることが理解される。例えば、第１の低品質画像集合には、第１の閾値輝度値よりも大きな輝度値（例えば、画像内のすべての画素、または画素集合にわたる平均輝度値）を有する露出オーバーの画像、または第２の閾値輝度値よりも小さい輝度値を有する露出アンダーの画像が含まれ得る。いくつかの実施形態では、第１のセットの画像は、（例えば、撮像中に画像センサが動いたために）画像がぼやけすぎている、（例えば、撮像中に被写体が動いたために）画像が網膜の画像を含まないなど、他の理由ではっきりと解像されないことがある。画像は、手動選択または自動選択によって除外され得る（例えば、高域／低域フィルタを使用して高すぎるまたは低すぎる輝度値を有する画像を除外する、および／または機械学習アルゴリズムを使用して、網膜を含まない画像を除外するなど）。
【００３２】
上記で説明したプロセスは、コンピュータソフトウェアおよびハードウェアの観点から説明されている。説明された技法は、機械によって実行されると、説明された動作を機械に実行させる、有形のまたは非一時的な機械（例えば、コンピュータ）可読記憶媒体内で具現化される機械実行可能命令を構成し得る。さらに、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」：Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのハードウェア内に具現化され得る。
【００３３】
有形の機械可読記憶媒体には、機械またはコントローラ（例えば、コンピュータ、ネットワークデバイス、携帯情報端末、製造ツール、１つ以上のプロセッサのセットを有する任意のデバイス、ファームウェア／ソフトウェアによって構成された汎用プロセッサ、プログラマブルゲートアレイ、または特定用途向け集積回路など）によってアクセス可能な非一時的形態の情報を提供する（例えば、格納する）任意の機構も含む。例えば、機械可読記憶媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。
【００３４】
要約中に記載されているものを含む、本発明の図示された実施形態の上記の記載は、網羅的であること、または本発明を開示された正確な形態に限定することを意図していない。本発明の特定の実施形態、およびそのための実施例は、例示的目的のために本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。
【００３５】
これらの修正は、上記の詳細な説明に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、それらは、特許請求項解釈の確立された原則に従って解釈されるべきである。
独占的な財産または特権が主張される本発明の実施形態は、以下のように特定される。
【図１Ａ】
2021506353.tif 000003
【図１Ｂ】
2021506353.tif 000004
【図２Ａ】
2021506353.tif 000005
【図２Ｂ】
2021506353.tif 000006
【図２Ｃ】
2021506353.tif 000007
【図２Ｄ】
2021506353.tif 000008
【図３】
2021506353.tif 000009
【図４】
2021506353.tif 000010
【図５】
2021506353.tif 000011
【図６】
2021506353.tif 000012
【手続補正書】
【提出日】令和2年7月17日(2020.7.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
眼の内部を撮像するための装置であって、
感光センサと、
前記感光センサによって撮像するために前記眼を置く撮像エリアを画定する開口を有するハウジング構造体と、
光を発することができ、かつ前記感光センサと前記撮像エリアとの間の画像経路に配置された、１つ以上の発光体（ＬＥ）と、
前記１つ以上のＬＥ、および前記感光センサに結合されたコントローラと、を備え、前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記１つ以上のＬＥで前記撮像エリアを照らすことと、
前記眼が前記１つ以上のＬＥからの光で照らされると同時に、前記眼の内部の複数の画像を前記感光センサで取り込むことと、を含む動作を行わせるロジックを実装する、装置。
【請求項２】
前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記複数の画像のうちの少なくとも２つの画像を組み合わせて、前記眼の内部の合成画像を形成することであって、前記組み合わせることが、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも１つを含む、形成することを含む動作を行わせるロジックをさらに実装する、請求項１に記載の装置。
【請求項３】
前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記合成画像から、前記複数の画像のうちの１つ以上の画像を排除することであって、前記１つ以上の画像が、ビンポケの画像、画像アーチファクト、前記画像内の映り込み、または前記画像内の前記眼以外の物体のうちの少なくとも１つを含む、排除することを含む動作を行わせるロジックをさらに実装する、請求項２に記載の装置。
【請求項４】
前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記画像経路内の複数の異なる位置から、前記１つ以上のＬＥで前記撮像エリアを連続して照らすことを含む動作を行わせるロジックをさらに実装する、請求項１に記載の装置。
【請求項５】
前記１つ以上のＬＥが１つ以上のアーム上に配置され、前記１つ以上のアームが前記複数の画像の取り込みの間、前記画像経路に配置される、請求項４に記載の装置。
【請求項６】
前記１つ以上のＬＥが単一のアーム上に配置され、前記コントローラが、前記コントローラによって実行されると、前記装置に、
前記単一のアームを回転させることと、
前記単一のアームが回転している間に前記１つ以上のＬＥで前記撮像エリアを照らすことと、を含む動作を行わせるロジックをさらに実装する、請求項５に記載の装置。
【請求項７】
前記単一のアームが、輪に取り付けられ、かつ前記輪の中心に向かって延在し、前記単一のアームを回転させることが枢動点を中心として前記輪を回転させることを含むか、または、
前記単一のアームが、取り付け点を中心として回転し、前記１つ以上のＬＥが前記取り付け点と反対側の前記単一のアームの遠位端に配置されている、請求項６に記載の装置。
【請求項８】
前記１つ以上のアームが、前記画像経路内の固定位置に配置されている、請求項６に記載の装置。
【請求項９】
前記１つ以上のアームが、複数のアームであり、かつ輪形の構造体上に配置されており、前記１つ以上のアームのうちの少なくとも１つが前記輪の中心に向かって延在し、前記１つ以上のアームのうちの少なくとも１つが、前記輪の中心から離れて延在する、請求項８に記載の装置。
【請求項１０】
照明システムの少なくとも一部が、透明であるか、または透明になることができる、請求項１に記載の装置。
【請求項１１】
眼の内部を撮像する方法であって、
複数の画像の取り込みの間、前記感光センサと前記眼との間の画像経路に配置された１つ以上の発光体（ＬＥ）で前記眼を照らすことと、
前記眼が前記１つ以上のＬＥからの光で照らされると同時に、前記眼の内部の複数の画像を前記感光センサで取り込むことと、
コントローラを使用して、前記複数の画像における画像のうちの少なくとも２つを組み合わせて、前記眼の内部の合成画像を形成することと、を含む、方法。
【請求項１２】
前記複数の画像における前記画像のうちの少なくとも２つを組み合わせて、前記合成画像を形成することが、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも１つを含む、請求項１１に記載の方法。
【請求項１３】
前記合成画像から、前記複数の画像のうちの１つ以上の画像を排除することであって、前記１つ以上の画像が、ピントが合っていない画像、画像アーチファクト、前記画像内の映り込み、または前記画像内の前記眼以外の物体のうちの少なくとも１つを含む、排除することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記合成画像から、画像経路内で前記１つ以上の発光体を保持する構造体によって引き起こされる画像アーチファクトを取り除くことをさらに含み、前記取り除くことは、
前記画像アーチファクトを含む前記画像の一部が、前記合成画像に含まれないようにすること、または、
前記複数の画像のピントの合っていない前記画像経路に前記構造体を置くこと、のうちの少なくとも１つによる、請求項１１に記載の方法。
【請求項１５】
１つ以上のＬＥで前記眼を照らすことが、前記画像経路内の複数の異なる位置から前記眼を連続して照らすことを含む、請求項１１に記載の方法。
【請求項１６】
複数の位置から前記眼を照らすことが、前記複数の画像の取り込みの間、前記画像経路に位置付けられた１つ以上のアーム上に配置された１つ以上のＬＥで前記眼を照らすことを含む、請求項１５に記載の方法。
【請求項１７】
前記１つ以上のアームを回転させることと、
前記１つ以上のアームが回転している間に前記１つ以上のＬＥで前記眼を照らすことと、をさらに含む、請求項１６に記載の方法。
【請求項１８】
前記１つ以上のアームを回転させることが、
枢動点を中心として輪を回転させることであって、前記１つ以上のアームが前記輪の中心に向かって延在する、回転させること、または、
取り付け点を中心として前記１つ以上のアームを回転させること、のうちの少なくとも１つを含み、前記１つ以上のＬＥが、前記取り付け点と反対側の前記１つ以上のアームの遠位端に近接して配置されている、請求項１７に記載の方法。
【請求項１９】
眼の内部を撮像するためのシステムであって、
前記撮像するために、前記眼を置く撮像エリアを画定する開口を有するハウジング構造体と、
方向のうちの選択した一方向から前記撮像エリアを照らすように構成可能な照明システムと、
前記眼の内部の複数の画像を取り込むように結合された感光センサであって、前記照明システムが、前記感光センサと前記撮像エリアとの間の画像経路内に少なくとも部分的に配置されている、感光センサと、を備える、システム。
【国際調査報告】
2021506353.tif 000013