(57)【要約】  パノラマ眼底画像生成装置は、位置決め部により位置関係が決定された第１眼底画像と第２眼底画像との重複領域に含まれる対象画素の画素値として、第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出し、導出した画素値を用いて、第１眼底画像と第２眼底画像とを合成したパノラマ眼底画像を生成する画像合成部と、を備える。
2019107342.tif 000002
【特許請求の範囲】
【請求項１】
同一の被検眼について、前記被検眼の眼底における互いに異なる範囲を撮像した複数の眼底画像を取得する取得部と、
前記取得部により取得された複数の眼底画像に対して、歪みを補正する処理を施す歪補正部と、
前記歪補正部により歪みを補正する処理が施された複数の眼底画像のうち互いに繋ぎ合わされる第１眼底画像と第２眼底画像について、それぞれの眼底画像における特徴箇所に基づいて、前記第１眼底画像と前記第２眼底画像とを繋ぐ際の位置関係を決定する位置決め部と、
前記位置決め部により位置関係が決定された前記第１眼底画像と前記第２眼底画像との重複領域に含まれる対象画素の画素値として、前記第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、前記第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出し、前記導出した画素値を用いて、前記第１眼底画像と前記第２眼底画像とを合成したパノラマ眼底画像を生成する画像合成部と、
を備えるパノラマ眼底画像生成装置。
【請求項２】
前記画像合成部は、
前記重複領域において、前記第１眼底画像の非重複領域までの距離と、前記第２眼底画像の非重複領域までの距離とが等しくなる中心線に関して、
前記重複領域のうち前記中心線よりも前記第１眼底画像の非重複領域に近い領域に含まれる画素については、前記第１係数を前記第２係数よりも大きくし、
前記重複領域のうち前記中心線よりも前記第２眼底画像の非重複領域に近い領域に含まれる画素については、前記第２係数を前記第１係数よりも大きくする、
請求項１に記載のパノラマ眼底画像生成装置。
【請求項３】
前記画像合成部は、
前記重複領域のうち前記第１眼底画像の非重複領域に近い画素ほど、前記第１係数を大きく、且つ前記第２係数を小さくし、
前記重複領域のうち前記第２眼底画像の非重複領域に近い画素ほど、前記第２係数を大きく、且つ前記第１係数を小さくする、
請求項１に記載のパノラマ眼底画像生成装置。
【請求項４】
前記重複領域に含まれるそれぞれの画素について設定される前記第１係数および前記第２係数の和は１となる、
請求項１に記載のパノラマ眼底画像生成装置。
【請求項５】
前記画像合成部は、
前記複数の眼底画像に含まれる三以上の眼底画像の一部を重ねて前記パノラマ眼底画像を生成する場合、前記三以上の眼底画像が重複する領域において二つの眼底画像のみが重なるように、前記三以上の眼底画像に含まれる一以上の眼底画像の一部を切除した後、前記対象画素の画素値を導出する、
請求項１に記載のパノラマ眼底画像生成装置。
【請求項６】
前記位置決め部は、
前記眼底画像に含まれる血管の分岐点の特徴量を取得し、取得した特徴量に基づいて、前記第１眼底画像と前記第２眼底画像との位置関係を決定する、
請求項１に記載のパノラマ眼底画像生成装置。
【請求項７】
コンピュータに、
同一の被検眼について、前記被検眼の眼底における互いに異なる範囲を撮像した複数の眼底画像を取得させ、
取得された複数の眼底画像に対して、歪みを補正する処理を施させ、
歪みを補正する処理が施された複数の眼底画像のうち互いに繋ぎ合わされる第１眼底画像と第２眼底画像について、それぞれの眼底画像における特徴箇所に基づいて、前記第１眼底画像と前記第２眼底画像とを繋ぐ際の位置関係を決定させ、
位置関係が決定された前記第１眼底画像と前記第２眼底画像との重複領域に含まれる対象画素の画素値として、前記第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、前記第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出させ、
前記導出した画素値を用いて、前記第１眼底画像と前記第２眼底画像とを合成したパノラマ眼底画像を生成させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ眼底画像生成装置、およびプログラムに関する。
【背景技術】
【０００２】
従来、瞳孔から光を入射させて、眼底からの反射光に基づいて、眼底画像を撮像する撮像装置が知られている。この種の撮像装置においては、被検者に固視灯を注視させて撮影を行うが、その固視灯の位置を変えることにより、眼底の異なる場所を撮影することができる（例えば、特許文献１参照）。またこのように撮影された同一被検眼の画像をつなぎ合わせることにより広い範囲の眼底画像を取得する方法がパノラマ撮影方法として知られている（例えば、特許文献２参照）。しかしながらこのように複数の眼底画像を繋ぎ合わせてパノラマ画像を生成する場合、眼底が平面でないため各画像において歪みが生じ、複数の眼底画像の重複部分において、同一の血管が繋がらないことが知られている。これに対して、歪み補正の処理を施した眼底画像を用いてパノラマ画像を生成するものが知られている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１３５９４１号公報
【特許文献２】特開２００９−１１２６１７号公報
【特許文献３】特開２０１７−５５９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、血管同士を繋げたパノラマ画像の繋ぎ目部分に線が入ってしまったり、繋ぎ目部分で血管が切れてしまう、ずれてしまう、二重に出現する、太さが変わる、あるいは消失する場合等があった。【０００５】
本発明は、このような事情を考慮してなされたものであり、眼底画像同士を繋いだパノラマ眼底画像の必要な情報を維持しつつ自然な見た目とすることができるパノラマ眼底画像生成装置、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
上記問題を解決する本発明の一態様は、同一の被検眼について、前記被検眼の眼底における互いに異なる範囲を撮像した複数の眼底画像を取得する取得部と、前記取得部により取得された複数の眼底画像に対して、歪みを補正する処理を施す歪補正部と、前記歪補正部により歪みを補正する処理が施された複数の眼底画像のうち互いに繋ぎ合わされる第１眼底画像と第２眼底画像について、それぞれの眼底画像における特徴箇所に基づいて、前記第１眼底画像と前記第２眼底画像とを繋ぐ際の位置関係を決定する位置決め部と、前記位置決め部により位置関係が決定された前記第１眼底画像と前記第２眼底画像との重複領域に含まれる対象画素の画素値として、前記第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、前記第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出し、前記導出した画素値を用いて、前記第１眼底画像と前記第２眼底画像とを合成したパノラマ眼底画像を生成する画像合成部と、を備えるパノラマ眼底画像生成装置である。
【発明の効果】
【０００７】
本発明によれば、眼底画像同士を繋いだパノラマ眼底画像の必要な情報を維持しつつ自然な見た目とすることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るパノラマ眼底画像生成装置を含む眼底撮像システム１の全体構成を示す図である。
【図２】撮像装置５の正面図である。
【図３】第１眼底画像Ｆ１１の一例を示す図である。
【図４】第２眼底画像Ｆ２１の一例を示す図である。
【図５】第１眼底画像Ｆ１１に対して歪補正処理を施した画像の一例を示す図である。
【図６】第２眼底画像Ｆ２１に対して歪補正処理を施した画像の一例を示す図である。
【図７】第１眼底画像Ｆ１２の血管構造を表す血管構造画像Ｆ１３の一例を示す図である。
【図８】第２眼底画像Ｆ２２の血管構造を表す血管構造画像Ｆ２３の一例を示す図である。
【図９】パノラマ眼底画像の繋ぎ合わせ方について説明するための参照図である。
【図１０】第１係数と第２係数との関係の一例を示す図である。
【図１１】重複領域画素の画素値の導出方法の具体例を示す図である。
【図１２】パノラマ眼底画像生成装置１００による処理の一例を示すフローチャートである。
【図１３】画像合成部１２９による処理の一例を示すフローチャートである。
【図１４】五枚の眼底画像の連結した一例を示す図である。
【図１５】同一領域において三以上の眼底画像が重なる場合の一例を示す図である。
【図１６】切除後の眼底画像の重複について説明するための図である。
【図１７】第１係数と第２係数との関係の別の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照し、本発明のパノラマ眼底画像生成装置およびプログラムの実施形態について説明する。
【００１０】
図１は、実施形態に係るパノラマ眼底画像生成装置を含む眼底撮像システム１の全体構成を示す図である。図１に示す通り、眼底撮像システム１は、撮像装置５と、パノラマ眼底画像生成装置１００とを備える。撮像装置５とパノラマ眼底画像生成装置１００とは、有線で接続されてもよく、Bluetooth（登録商標）等の近距離無線通信で接続されてもよい。また、撮像装置５とパノラマ眼底画像生成装置１００は、ネットワークＮＷを用いて互いに通信してもよい。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。
【００１１】
図２は、撮像装置５の正面図である。図２に示す通り、撮像装置５は、顎台１０と、ベース１５と、撮像部２０とを備える。顎台１０は、被検者の顎を載せる部分である。ベース１５は、顎台１０と撮像部２０とを支持している。ベース１５は、所定範囲内で水平方向（図中の矢印Ｒ，Ｌ方向）の移動が可能なように、撮像部２０を支持している。これにより、検査者は、顎台１０に顎が載せられた状態の被検者の眼を撮像部２０が撮像できるように、顎台１０と撮像部２０との相対的な位置関係を調整することができる。
【００１２】
撮像部２０は、例えば、走査型レーザー検眼鏡（Scanning Laser Ophthalmoscope：ＳＬＯ）である。なお、撮像部２０は、ＣＣＤカメラを用いて眼底画像を撮像する眼底カメラであってもよい。
【００１３】
撮像部２０は、同一の被検眼について、被検眼の眼底における互いに異なる範囲を撮像し、撮像した複数の眼底画像の画像データを出力する。互いに異なる範囲には、一部において同一領域を含むものも含まれる。撮像部２０は、瞳孔から入射する光の入射位置や入射角度を変えることにより、互いに異なる範囲を撮像する。また、撮像部２０は、被検眼に対する眼底カメラの対物レンズの相対的な位置を変更することにより、互いに異なる範囲を撮像してもよい。
【００１４】
次に、図１に戻って、パノラマ眼底画像生成装置１００について説明する。図１に示す通り、パノラマ眼底画像生成装置１００は、例えば、通信部１１１と、入力部１１３と、表示部１１５と、記憶部１１７と、撮像制御部１２１と、取得部１２３と、歪補正部１２５と、位置決め部１２７と、画像合成部１２９とを備える。
【００１５】
通信部１１１は、有線あるいは無線で接続される撮像装置５との間で、情報の送受信を行う。また、通信部１１１は、セルラー網やＷｉ−Ｆｉ網等を用いて、ネットワークＮＷに接続するためのハードウェア（例えば、アンテナおよび送受信装置）などを有していてもよい。
【００１６】
入力部１１３は、各種キー、ボタン、ダイヤルスイッチ、マウスなどのうち一部または全部を含む。また、入力部１１３は、例えば、表示部１１５と一体として形成されるタッチパネルＴＰであってもよい。
【００１７】
表示部１１５は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置などである。
【００１８】
記憶部１１７は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などのフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などである。記憶部１１７には、例えば、眼底画像データ１７１、係数データ１７３などの情報が格納される。
【００１９】
眼底画像データ１７１は、撮像装置５により撮像された眼底画像の画像データ（以下、単に眼底画像と記す）である。なお、眼底画像データ１７１には、歪補正部１２５、位置決め部１２７、画像合成部１２９などにより処理された画像データが含まれてもよい。眼底画像には、識別情報（以下、画像ＩＤと記す）が割り当てられており、各眼底画像が撮像された眼底内の位置を示す情報や、被検者を示す情報等が対応付けられている。
【００２０】
係数データ１７３は、複数の眼底画像を繋いでパノラマ眼底画像を生成する際に用いられる係数である。この係数については、後述する。
【００２１】
撮像制御部１２１、取得部１２３、歪補正部１２５、位置決め部１２７、および画像合成部１２９は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めコンピュータのＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
【００２２】
撮像制御部１２１は、入力部１１３により受け付けられた検査者の指示に基づいて、撮像装置５を制御する。例えば、検査者によりパノラマ眼底画像の撮像が指示された場合、撮像制御部１２１は、互いに異なる範囲を撮像するよう撮像装置５を制御する。
【００２３】
取得部１２３は、通信部１１１を用いて、撮像装置５により撮像された眼底画像を取得する。取得部１２３は、取得した眼底画像を、記憶部１１７の眼底画像データ１７１に格納する。また、取得部１２３は、取得した眼底画像を、直接、歪補正部１２５に出力してもよい。以下、取得部１２３が、眼底画像として、図３に示す第１眼底画像Ｆ１１と、図４に示す第２眼底画像Ｆ２１とを取得した例を交えて、説明する。
【００２４】
図３（ａ）は、第１眼底画像Ｆ１１の一例を示す図である。図３（ｂ）は、図３（ａ）に示す一部領域Ｆ１１ａの模式図である。図４（ａ）は、第２眼底画像Ｆ２１の一例を示す図である。図４（ｂ）は、図４（ａ）に示す一部領域Ｆ２１ａの模式図である。図３（ｂ）に示すθ１と図４（ｂ）に示すθ２とは、それぞれ同じ分岐点における分岐角度である。第１眼底画像Ｆ１１と第２眼底画像Ｆ２１とは、同一の被検眼について、被検眼の眼底における互いに異なる範囲を撮像した眼底画像である。第１眼底画像Ｆ１１と第２眼底画像Ｆ２１は、装置の光学系と被検眼（瞳孔）との相対位置を変えて、照明光が前眼部に入射する入射角度を変えることで異なる場所を撮像した画像である。図示の通り、第１眼底画像Ｆ１１と第２眼底画像Ｆ２１には、眼底部分（明るいところ）と、それ以外の外縁部分（暗いところ）が含まれる。第１眼底画像Ｆ１１と第２眼底画像Ｆ２１における眼底部分は、円に近い形状をしている。
【００２５】
歪補正部１２５は、記憶部１１７から読み出した眼底画像（あるいは、取得部１２３から入力する眼底画像）に対して、歪みを補正する処理（以下、歪補正処理と記す）を施す。歪補正処理は、球体である被検眼の眼底を平面で表したときに生じる歪みを補正する処理である。また、歪補正部１２５は、眼底画像に含まれる眼底部分の画像の形状を、正方形に近似させるように歪みを補正してもよい。図５（ａ）は、図３（ａ）に示す第１眼底画像Ｆ１１に対して歪補正処理を施した画像（第１眼底画像Ｆ１２）の一例を示す図である。図５（ｂ）は、図５（ａ）に示す一部領域Ｆ１２ａの模式図である。同様に図６（ａ）は、図４（ａ）に示す第２眼底画像Ｆ２１に対して歪補正処理を施した画像（第２眼底画像Ｆ２２）の一例を示す図である。図６（ｂ）は、図６（ａ）に示す一部領域Ｆ２２ａの模式図である。図５（ｂ）に示すθ３と図６（ｂ）に示すθ４とは、それぞれ同じ分岐点における分岐角度である。
【００２６】
この歪み補正を行う効果の一例を説明する。例えばＦ１１中の視神経乳頭部の上部方向の血管の分岐点において、その血管の分岐角度：θ１は４４．２°であるが、Ｆ２１中での同じ場所での分岐角度：θ２は３８．５°になっている。よってθ１とθ２とが約４°も異なるので、このままＦ１１とＦ２１で繋ぎ合わせをしても、境界部分での血管がうまく繋がらないことが予想できる。そこで両画像について歪み補正処理をすると、Ｆ１２での分岐角度：θ３は４２．７°、Ｆ２２での分岐角度：θ４は４３．０°と、ほとんど差はなくなったので、良好な繋ぎ合わせができると考えられる。
【００２７】
位置決め部１２７は、歪補正処理が施された複数の眼底画像のうち、互いに繋ぎ合わされる第１眼底画像Ｆ１２と第２眼底画像Ｆ２２との位置関係（以下、両画像の位置関係とも記す）を決定する。位置決め部１２７は、それぞれの眼底画像における血管の位置に基づき、第１眼底画像Ｆ１２と第２眼底画像Ｆ２２の重複領域において同一の血管が重なるように、両画像を繋ぐ際の位置関係を決定する。
【００２８】
例えば、位置決め部１２７は、眼底画像に含まれる血管の分岐点の特徴量を取得し、取得した特徴量に基づいて、両画像の位置関係を決定する。具体的に言うと、位置決め部１２７は、眼底画像を画像処理することにより、分岐点における血管の角度や形状を示す特徴量を取得し、特徴量が類似する分岐点同士が重なるようにして、両画像の位置関係を決定する。
【００２９】
位置決め部１２７は、例えば、眼底画像を画像処理することにより、図７，８に示すような血管構造画像Ｆ１３、Ｆ２３を取得する。図７は、第１眼底画像Ｆ１２の血管構造を表す血管構造画像Ｆ１３の一例を示す図である。図８は、第２眼底画像Ｆ２２の血管構造を表す血管構造画像Ｆ２３の一例を示す図である。位置決め部１２７は、血管構造画像Ｆ１３、Ｆ２３を用いて、特徴量が類似する分岐点同士が重なるように、両画像の位置関係を決定する。
【００３０】
上述のように、歪補正部１２５により歪補正処理が施された眼底画像Ｆ１２，Ｆ２２に基づく血管構造画像Ｆ１３，Ｆ２３を用いて、両画像の位置関係を決定することにより、血管構造の歪みを防止し、同一の血管の重なる位置が一致する可能性が高めることができる。
【００３１】
画像合成部１２９は、位置決め部１２７により決定された位置関係において、重複領域に含まれる画素（以下、重複領域画素と記す）の画素値を導出し、導出した重複領域画素の画素値を用いて、第１眼底画像Ｆ１２と第２眼底画像Ｆ２２とを合成したパノラマ眼底画像Ｆ３１を生成する。画素値は、例えば、輝度であるが、色彩ごとの強度を示す値であってもよい。
【００３２】
ここで、図９を参照して、パノラマ眼底画像Ｆ３１の繋ぎ合わせ方の一例について説明する。図９は、パノラマ眼底画像の繋ぎ合わせ方について説明するための参照図である。
図示の例では、各画像のＸ軸とＹ軸とが一致しており、回転方向における歪みはないものとする。
【００３３】
図９に示す通り、第１眼底画像Ｆ１２は、第２眼底画像Ｆ２２との重複部分である重複領域Ｒ１４と、それ以外の非重複領域Ｒ１５，Ｒ１６とを含む。第２眼底画像Ｆ２２は、第１眼底画像Ｆ１１との重複部分である重複領域Ｒ２４と、それ以外の非重複領域Ｒ２５，Ｒ２６とを含む。なお、非重複領域Ｒ１６，Ｒ２６は、画像合成部１２９により切除される外縁部である。図３，４に示した通り、眼底画像の外縁部は黒くなっている。画像合成部１２９は、他の眼底画面と重複する方の辺において黒（輝度値が０）が含まれる部分（非重複領域Ｒ１６，Ｒ２６）を切除する。
【００３４】
パノラマ眼底画像Ｆ３１は、重複領域Ｒ１４と重複領域Ｒ２４とに基づく重複領域Ｒ３２と、第１眼底画像Ｆ１１の非重複領域Ｒ１５と、第２眼底画像Ｆ２１の非重複領域Ｒ２５とを含む。パノラマ眼底画像Ｆ３１は、画像合成部１２９により、外縁部において黒（輝度値が０）が含まれる部分がトリミングされている。なお、画像合成部１２９は、非重複領域Ｒ１６，Ｒ２６を切除する段階で、他の辺の黒が含まれる部分を切除してもよい。
【００３５】
位置決め部１２７により第１眼底画像Ｆ１２と第２眼底画像Ｆ２２とが位置決めされた状態（以下、両画像が位置決めされた状態と記す）で、重複領域Ｒ１４においてＹ軸方向の中心に設定される中心線Ｌ１、および、重複領域Ｒ２４においてＹ軸方向の中心に設定される中心線Ｌ２は、重複領域Ｒ３２における中心線Ｌ３と一致する。つまり、中心線Ｌ３は、重複領域Ｒ３２において、非重複領域Ｒ１５までの距離と、非重複領域Ｒ２５までの距離とが等しくなる位置に設定される。
【００３６】
図９に示す例では、重複領域Ｒ３２を構成する各画素は、重複領域Ｒ１４に含まれる一画素、および、重複領域Ｒ２４に含まれる一画素と、それぞれ対応している。つまり、重複領域Ｒ３２を構成する各画素は、両画像が位置決めされた状態で、重なる両画素（重複領域Ｒ１４に含まれる一画素と重複領域Ｒ２４に含まれる一画素）に対応している。このようにして、重複領域Ｒ３２を構成する各画素と対応する重複領域Ｒ１４，Ｒ２４に含まれる一画素を、対応する画素という。
【００３７】
画像合成部１２９は、重複領域Ｒ３２に含まれる各重複領域画素の画素値として、重複領域Ｒ１４における対応する画素の画素値に第１係数を乗算した値（第１画素値）と、重複領域Ｒ２４における対応する画素の画素値に第２係数を乗算した値（第２画素値）との和を導出する。
【００３８】
第１係数と第２係数とは、所定の関係を有する。図１０を参照して、第１係数と第２係数との関係の一例について説明する。図１０は、第１係数と第２係数との関係の一例を示す図である。
【００３９】
図１０（ａ）に示す通り、第１係数Ｃ１は、非重複領域Ｒ１５において一定値であり、Ｃ１＝１（１００％）である。また、第１係数Ｃ１は、重複領域Ｒ１４において、徐々に０（０％）となるように設定される。例えば、重複領域Ｒ１４に含まれる画素のうち、最も非重複領域Ｒ１５に近い画素に対応する第１係数Ｃ１は、１である。また、重複領域Ｒ１４に含まれる画素のうち、最も非重複領域Ｒ１５から遠い画素に対応する第１係数Ｃ１は、０である。また、第１係数Ｃ１は、一定の傾きを有し、重複領域Ｒ１４における中心線Ｌ１と一致する画素において０．５（５０％）である。
【００４０】
図１０（ｂ）に示す通り、第２係数Ｃ２は、非重複領域Ｒ２５において一定値であり、Ｃ２＝１（１００％）である。また、第２係数Ｃ２は、重複領域Ｒ２４において、徐々に０（０％）となるように設定される。例えば、重複領域Ｒ２４に含まれる画素のうち、最も非重複領域Ｒ２５に近い画素に対応する第２係数Ｃ２は、１である。また、重複領域Ｒ２４に含まれる画素のうち、最も非重複領域Ｒ２５から遠い画素に対応する第２係数Ｃ２は、０である。また、第２係数Ｃ２は、一定の傾きを有し、重複領域Ｒ２４における中心線Ｌ２と一致する画素において０．５（５０％）である。
【００４１】
つまり、画像合成部１２９は、重複領域Ｒ３２のうち中心線Ｌ３よりも第１眼底画像Ｆ１２の非重複領域Ｒ１５に近い領域に含まれる画素については、第１係数Ｃ１を第２係数Ｃ２よりも大きくする。画像合成部１２９は、重複領域Ｒ３２のうち中心線Ｌ３よりも第２眼底画像Ｆ２２の非重複領域Ｒ２５に近い領域に含まれる画素については、第２係数Ｃ２を第１係数Ｃ１よりも大きくする。画像合成部１２９は、重複領域Ｒ３２のうち第１眼底画像Ｆ１２の非重複領域Ｒ１５に近い重複領域画素ほど、第１係数Ｃ１を大きくし、且つ、第２係数Ｃ２を小さくする。画像合成部１２９は、重複領域Ｒ３２のうち第２眼底画像Ｆ２２の非重複領域Ｒ２５に近い重複領域画素ほど、第２係数Ｃ２を大きくし、且つ、第１係数Ｃ１を小さくする。
【００４２】
また、両係数では、重複領域Ｒ３２に含まれるそれぞれの画素について設置される第１係数と第２係数との和は１となる、という関係が成り立つ。
【００４３】
次に、図１１を参照し、重複領域画素の画素値の導出方法の具体例について説明する。
図１１は、重複領域画素の画素値の導出方法の具体例を示す図である。図１１（ａ）に、全ての重複領域Ｒ３２の画素の配列の一例を示す。例えば、重複領域Ｒ３２には、Ｘ軸方向に６個、Ｙ軸方向に１０個、合計６０個の画素が配置されている。なお、図示の例では、説明を簡略化するために少ない画素数で説明している。各画素には、Ｐ１１〜Ｐ７０までの符号が付されているものとする。全ての符号の図示は省略するが、Ｙ軸方向において、一ずつ加算された値の符号が付されている。
【００４４】
図１１（ｂ）（ｃ）（ｄ）には、それぞれ第１眼底画像Ｆ１２、第２眼底画像Ｆ２２、パノラマ眼底画像Ｆ３１の一部を示す。図示の通り、重複領域Ｒ１４，Ｒ２４における画素の配列も、重複領域Ｒ３２における画素の配列と同じであり、重複領域画素と対応する画素については、同じ符号を用いて説明する。
【００４５】
重複領域Ｒ１４の各画素において、以下の通りの第１係数Ｃ１が設定されている。
画素Ｐ１１〜Ｐ２０は、第１係数Ｃ１＝１
画素Ｐ２１〜Ｐ３０は、第１係数Ｃ１＝０．８
画素Ｐ３１〜Ｐ４０は、第１係数Ｃ１＝０．６
画素Ｐ４１〜Ｐ５０は、第１係数Ｃ１＝０．４
画素Ｐ５１〜Ｐ６０は、第１係数Ｃ１＝０．２
画素Ｐ６１〜Ｐ７０は、第１係数Ｃ１＝０
【００４６】
重複領域Ｒ２４の各画素において、以下の通りの第２係数Ｃ２が設定されている。
画素Ｐ１１〜Ｐ２０は、第１係数Ｃ１＝０
画素Ｐ２１〜Ｐ３０は、第１係数Ｃ１＝０．２
画素Ｐ３１〜Ｐ４０は、第１係数Ｃ１＝０．４
画素Ｐ４１〜Ｐ５０は、第１係数Ｃ１＝０．６
画素Ｐ５１〜Ｐ６０は、第１係数Ｃ１＝０．８
画素Ｐ６１〜Ｐ７０は、第１係数Ｃ１＝１
【００４７】
このように、第１眼底画像Ｆ１２と第２眼底画像Ｆ２２とが位置決めされた状態で、重なっている画素（同じ符号の画素）において、第１係数と第２係数との和は１となっている。
【００４８】
例えば、画像合成部１２９は、重複領域画素Ｐ３５の画素値として、以下のような計算を実行する。
重複領域Ｒ１４の画素Ｐ３５の画素値（７７）×第１係数Ｃ１（０．６）
＋重複領域Ｒ２４の画素Ｐ３５の画素値（２６）×第２係数Ｃ２（０．４）＝５７
このようにして、画像合成部１２９は、重複領域画素Ｐ１１〜Ｐ７０の画素値を導出する。
【００４９】
次に、図１２を参照して、パノラマ眼底画像生成装置１００の処理例について説明する。図１２は、パノラマ眼底画像生成装置１００による処理の一例を示すフローチャートである。
【００５０】
図１２に示す通り、撮像制御部１２１は、入力部１１３により、検査者から撮像指示を受け付けたか否かを判定する（ステップＳ１１）。撮像制御部１２１は、撮像指示を受け付けるまで、ステップＳ１１の処理を繰り返す。撮像指示を受け付けた場合、撮像制御部１２１は、指示に従って撮像装置５を制御する（ステップＳ１２）。そして、撮像装置５により、眼底画像が撮像される。取得部１２３は、撮像装置５により撮像された眼底画像を取得する（ステップＳ１３）。次いで、撮像制御部１２１は、指示された全ての範囲を撮像したか否かを判定する（ステップＳ１４）。全ての範囲を撮像していない場合、撮像制御部１２１は、ステップＳ１２に戻って処理を繰り返す。例えば、撮像制御部１２１は、レーザー光の入射角度を変更して異なる範囲を撮像するように撮像装置５に指示する。
【００５１】
指定された全ての範囲を撮像した場合、歪補正部１２５は、取得部１２３により取得された全ての眼底画像に対して、歪補正処理を施す（ステップＳ１５）。次いで、位置決め部１２７は、眼底画像に含まれる血管の分岐点の特徴量を取得する（ステップＳ１６）。
位置決め部１２７は、取得した特徴量に基づいて、歪補正処理が施された複数の眼底画像のうち、互いに繋ぎ合わされる第１眼底画像と第２眼底画像の位置関係を決定する（ステップＳ１７）。画像合成部１２９は、位置決め部１２７により決定された位置関係において、重複領域画素の画素値を導出し、導出した重複領域画素の画素値を用いて、第１眼底画像と第２眼底画像とを合成したパノラマ眼底画像を生成する（ステップＳ１８）。そして、画像合成部１２９は、生成したパノラマ眼底画像を、表示部１１５に表示させる（ステップＳ１９）。
【００５２】
次に、図１３を参照して、画像合成部１２９の処理例について説明する。図１３は、画像合成部１２９による処理の一例を示すフローチャートである。
【００５３】
画像合成部１２９は、位置決め部１２７により位置関係が決定された第１眼底画像および第２眼底画像のそれぞれにおける重複領域を決定する（ステップＳ１７１）。ここで、画像合成部１２９は、決定した重複領域において、それぞれの中心線を決定してもよい。
次いで、画像合成部１２９は、重複領域画素に対応する画素ごとに、第１眼底画像の重複領域に含まれる画素の画素値に第１係数を乗算した第１画素値を導出するとともに（ステップＳ１７２）、第２眼底画像の重複領域に含まれる画素の画素値に第２係数を乗算した第２画素値を導出する（ステップＳ１７３）。画像合成部１２９は、ステップＳ１７２で導出した第１画素値と、ステップＳ１７３において導出した第２画素値とを和を導出し、重複領域画素の画素値とする（ステップＳ１７４）。そして、画像合成部１２９は、全ての重複領域画素に対応する画素について上記処理を実行するまで、ステップＳ１７２に戻って処理を繰り返す（ステップＳ１７５）。
【００５４】
全ての重複領域画素の画素値を導出した場合、画像合成部１２９は、導出した重複領域画素の画素値、第１眼底画像の非重複領域に含まれる画素の画素値、および、第２眼底画像の非重複領域に含まれる画素の画素値に基づいて、パノラマ眼底画像を生成する（ステップＳ１７６）。
【００５５】
パノラマ眼底画像生成装置１００は、上述したような処理により、二枚に限られず、三枚以上の眼底画像を繋げてパノラマ眼底画像を生成してもよい。例えば、図１４に示すように、五枚の眼底画像を連結してパノラマ眼底画像を生成してもよい。図１４は、五枚の眼底画像の連結した一例を示す図である。図１４に示す通り、眼底画像Ｆ１０１の左右方向には、それぞれ、眼底画像Ｆ１０２，Ｆ１０３が連結されている。また、眼底画像Ｆ１０２には眼底画像Ｆ１０４が、眼底画像Ｆ１０３には眼底画像Ｆ１０５が、それぞれ連結されている。
【００５６】
以上説明した実施形態のパノラマ眼底画像生成装置１００によれば、重複領域画素の画素値として、第１眼底画像の画素値による影響と、第２眼底画像の画素値による影響の両方を考慮することができる。また、係数を用いて、重複領域画素に対する各眼底画像の画素値による影響を調整することができる。これにより、画像同士を繋いだパノラマ画像の必要な情報を維持しつつ自然な見た目とすることができる。
【００５７】
これに対して、例えば、二枚の眼底画像を重複させることなく繋ぎ合わせた場合、繋ぎ目部分が不自然な見た目となる。また、見た目を自然にするために、二枚の眼底画像を重複させて繋ぎ合わせるとともに、対応する画素において明るい方の画素値を採用してパノラマ眼底画像を生成した場合、必要な情報を維持できない場合があった。これは、血管の方がそれ以外の部分よりも暗いため、明るい方の画素値を採用すると、血管の一部が消失したような画像となるためである。画像合成部１２９は、上述したように、係数を用いて両画像の画素値を所定の割合ずつ用いて重複領域画素の画素値を決定することにより、このような問題を解決することができる。
【００５８】
［同一領域において三以上の眼底画像が重なる場合について］
上述では、パノラマ眼底画像を生成する際における二枚の眼底画像を繋ぎ合わせる場面に着目して説明したが、以下では、同一領域において、三枚以上の眼底画像が重なる眼底画像の合成手法について説明する。
【００５９】
図１５は、同一領域において三以上の眼底画像が重なる場合の一例を示す図である。図１５に示す通り、眼底画像Ｆ１１１の左右方向には、それぞれ、眼底画像Ｆ１１２，Ｆ１１３が連結され、且つ、眼底画像Ｆ１１１の上下方向には、それぞれ眼底画像Ｆ１１４，Ｆ１１５が連結されている。眼底画像Ｆ１１１は、各頂点において、三以上の眼底画像が重なっている。例えば、眼底画像Ｆ１１１は、眼底画像Ｆ１１３と重複する領域の一部において、眼底画像Ｆ１１４とも重複している。
【００６０】
このように、三以上の眼底画像が同一領域において重なる場合、画像合成部１２９は、三以上の眼底画像が重なる重複領域において二つの眼底画像のみが重複するように、眼底画像の一部を切除する。例えば、画像合成部１２９は、切断線Ｌ４において、眼底画像Ｆ１１３の一つの頂点を含む領域を切除し、眼底画像Ｆ１１４の一つの頂点を含む領域を切除する。切断線Ｌ４は、例えば、眼底画像Ｆ１１３と眼底画像Ｆ１１４との辺が交わる二点を結んだ線である。
【００６１】
切除された後の眼底画像Ｆ１１３，Ｆ１１４の一例を、図１６に示す。図１６は、切除後の眼底画像の重複について説明するための図である。図１６に示す例では、わかりやすいように眼底画像Ｆ１１３，Ｆ１１４の切断部分に隙間を開けているが、画像合成部１２９は、隙間がないように画像の一部を切除している。こうすることにより、重複領域において二つの眼底画像のみが重なるようになるため、画像合成部１２９は、上述と同様の処理を行うことにより、パノラマ眼底画像を生成することができる。
【００６２】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００６３】
例えば、位置決め部１２７は、非重複領域に対する重複領域の割合に基づいて、両画像の位置関係を決定してもよい。例えば、重複領域の割合は、非重複領域の半分程度であることが好ましい。また、重複領域の大きさを画素数で予め決定してもよい。重複領域の大きさをある程度確保することにより、繋ぎ目部分を平滑化することができる。
【００６４】
例えば、画像合成部１２９は、重複領域Ｒ３２のＸ軸方向の長さや画素数に基づいて、第１係数と第２係数を決定してもよい。例えば、画像合成部１２９は、上述したような所定の関係を満たした係数となるように、Ｘ軸方向における係数の刻み（間隔）を決定する。
【００６５】
また、画像合成部１２９は、各眼底画像の重複領域における輝度の平均値に基づいて、第１係数と第２係数を決定してもよい。例えば、第１眼底画像の重複領域の方が、第２眼底画像の重複領域に比べて、輝度値の平均値が高い（つまり全体的に明るい場合）、図１０を用いて説明した第１係数に０．２を加算した値を調整後第１係数とし、図１０を用いて説明した第１係数から０．２を減算した値を調整後第２係数としてもよい。画像合成部１２９は、調整後第１係数と調整後第２係数とを用いて、上述したように、重複領域画素の画素値を導出する。
【００６６】
第１係数と第２係数は、図１０に示す関係に限られない。例えば、非重複領域における傾きは一定値に限られず、図１７に示すように緩やかなカーブを描くような傾きであってもよい。
【符号の説明】
【００６７】
１…眼底撮像システム、５…撮像装置５、１０…顎台、１５…ベース、２０…撮像部、１００…パノラマ眼底画像生成装置、１１１…通信部、１１３…入力部、１１５…表示部、１１７…記憶部、１２１…撮像制御部、１２３…取得部、１２５…歪補正部、１２７…位置決め部、１２９…画像合成部、１７１…眼底画像データ、１７３…係数データ
【図１】
2019107342.tif 000003
【図２】
2019107342.tif 000004
【図３】
2019107342.tif 000005
【図４】
2019107342.tif 000006
【図５】
2019107342.tif 000007
【図６】
2019107342.tif 000008
【図７】
2019107342.tif 000009
【図８】
2019107342.tif 000010
【図９】
2019107342.tif 000011
【図１０】
2019107342.tif 000012
【図１１】
2019107342.tif 000013
【図１２】
2019107342.tif 000014
【図１３】
2019107342.tif 000015
【図１４】
2019107342.tif 000016
【図１５】
2019107342.tif 000017
【図１６】
2019107342.tif 000018
【図１７】
2019107342.tif 000019
【国際調査報告】
2019107342.tif 000020
2019107342.tif 000021
2019107342.tif 000022