(57)【特許請求の範囲】
【請求項１】
被検眼の所定部位を形成する細胞画像の静止画を複数枚繋ぎあわせることによってパノラマ画像を得る眼科用画像処理装置であって、
前記複数の静止画から前記静止画のペアを取得するペア取得手段と、
前記ペアに含まれる２枚の前記静止画の重複部分であって，それぞれの前記静止画が前記所定部位での位置関係で平面上に並べられる場合に形成される重複部分に関して前記ペアをマッチングさせつつ前記重複部分に関する一致度を取得するマッチング手段と、
前記ペア取得手段によって取得される前記複数のペアに対して、ペアとなる静止画同士を接合する画像接合処理を、前記複数のペアにおいて前記画像接合処理を行う優先順位であって、前記マッチング手段によって得られる各ペアの一致度に応じた優先順位で行うことによって前記パノラマ画像を生成する画像接合手段と、
を備え、
前記マッチング手段は、
前記ペアとなる前記静止画の一方をテンプレートとし，且つ，他方を前記テンプレートがマッチングされる参照画像とした場合に得られる相関マップを、テンプレートと参照画像の関係を前記ペアとなる静止画において入れ替えて、２種類取得し、
その２種類のうち一方の相関マップを鏡面対称に反転させた反転マップと、他方の相関マップと、の積算結果から前記一致度を得ることを特徴とする眼科用画像処理装置。
【請求項２】
前記画像接合手段は、前記ペア取得手段によって取得される前記複数のペアのうち、前記重複部分の面積が閾値に対して少ないペアに対して、一致度だけに応じた第1の優先順位と比べて低い第２の優先順位で前記画像接合処理を行うことを特徴とする請求項１記載の眼科用画像処理装置。
【請求項３】
被検眼の所定部位を形成する細胞画像の静止画を複数枚繋ぎあわせることによってパノラマ画像を生成するための眼科用画像処理プログラムであって、
眼科用画像処理装置のプロセッサに実行されることによって、
前記複数の静止画から前記静止画のペアを取得するペア取得ステップと、
前記ペアに含まれる２枚の前記静止画の重複部分であって，それぞれの前記静止画が前記所定部位での位置関係で平面上に並べられる場合に形成される重複部分に関して前記ペアをマッチングさせつつ前記重複部分に関する一致度を取得するマッチングステップと、
前記ペア取得ステップによって取得される前記複数のペアに対して、ペアとなる静止画同士を接合する画像接合処理を、前記複数のペアにおいて前記画像接合処理を行う優先順位であって、前記マッチングステップによって得られる各ペアの一致度に応じた優先順位で行うことによって前記パノラマ画像を生成する画像接合ステップと、
を前記眼科用画像処理装置に実行させ、
更に、前記マッチングステップでは、
前記ペアとなる前記静止画の一方をテンプレートとし，且つ，他方を前記テンプレートがマッチングされる参照画像とした場合に得られる相関マップを、テンプレートと参照画像の関係を前記ペアとなる静止画において入れ替えて、２種類取得し、
その２種類のうち一方の相関マップを鏡面対称に反転させた反転マップと、他方の相関マップと、の積算結果から前記一致度を得ることを特徴とする眼科用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、眼科用画像処理装置および眼科用画像処理プログラムに関する。
【背景技術】
【０００２】
従来、被検眼の局所的な部位の静止画を取得する装置が知られている。また、このような装置で得られる局所的な部位の静止画を位置合わせし、互いに接合することによって、被検眼の広い範囲の画像（いわゆるパノラマ画像）を形成する手法が知られている（特許文献１参照）。検者は、接合前の局所的な静止画からは得ることが難しい診断および検査等に有用な情報を、広範囲のパノラマ画像から容易に得ることができる。
【０００３】
また、非特許文献１には、それぞれの静止画がおおよその取得位置での位置関係となるように、静止画の初期位置を検者が手動で調節したうえで、静止画同士が重なり合う部分をテンプレートとして詳細にマッチングさせるパノラマ画像の形成手法が、開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１１０８２５号公報
【非特許文献】
【０００５】
【非特許文献１】Thevenaz P1, Unser M ，「User-friendly semiautomated assembly of accurate image mosaics in microscopy 」Microscopy Research and Technique 2007 Feb;VOL70,Issue2,P135-146
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、パノラマ画像の画質は、パノラマ画像を形成する際における、接合される静止画の組み合わせ、および接合の順序等に影響されてしまう。また、検者が手動で静止画の初期位置を調節する場合には、検者にかかる負担が大きい場合があった。
【０００７】
本開示は、従来技術の問題点の少なくともいずれかに鑑みてなされたものであり、パノラマ画像を良好に形成することができる眼科用画像処理装置および眼科用画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の第１態様に係る眼科用画像処理装置は、被検眼の所定部位を形成する細胞画像の静止画を複数枚繋ぎあわせることによってパノラマ画像を得る眼科用画像処理装置であって、前記複数の静止画から前記静止画のペアを取得するペア取得手段と、前記ペアに含まれる２枚の前記静止画の重複部分であって，それぞれの前記静止画が前記所定部位での位置関係で平面上に並べられる場合に形成される重複部分に関して前記ペアをマッチングさせつつ前記重複部分に関する一致度を取得するマッチング手段と、前記ペア取得手段によって取得される前記複数のペアに対して、ペアとなる静止画同士を接合する画像接合処理を、前記複数のペアにおいて前記画像接合処理を行う優先順位であって、前記マッチング手段によって得られる各ペアの一致度に応じた優先順位で行うことによって前記パノラマ画像を生成する画像接合手段と、を備え、前記マッチング手段は、前記ペアとなる前記静止画の一方をテンプレートとし，且つ，他方を前記テンプレートがマッチングされる参照画像とした場合に得られる相関マップを、テンプレートと参照画像の関係を前記ペアとなる静止画において入れ替えて、２種類取得し、その２種類のうち一方の相関マップを鏡面対称に反転させた反転マップと、他方の相関マップと、の積算結果から前記一致度を得ることを特徴とする。
【００１０】
本開示の第２態様に係る眼科用画像処理プログラムは、被検眼の所定部位を形成する細胞画像の静止画を複数枚繋ぎあわせることによってパノラマ画像を生成するための眼科用画像処理プログラムであって、眼科用画像処理装置のプロセッサに実行されることによって、前記複数の静止画から前記静止画のペアを取得するペア取得ステップと、前記ペアに含まれる２枚の前記静止画の重複部分であって，それぞれの前記静止画が前記所定部位での位置関係で平面上に並べられる場合に形成される重複部分に関して前記ペアをマッチングさせつつ前記重複部分に関する一致度を取得するマッチングステップと、前記ペア取得ステップによって取得される前記複数のペアに対して、ペアとなる静止画同士を接合する画像接合処理を、前記複数のペアにおいて前記画像接合処理を行う優先順位であって、前記マッチングステップによって得られる各ペアの一致度に応じた優先順位で行うことによって前記パノラマ画像を生成する画像接合ステップと、前記眼科用画像処理装置に実行させ、更に、前記マッチングステップでは、前記ペアとなる前記静止画の一方をテンプレートとし，且つ，他方を前記テンプレートがマッチングされる参照画像とした場合に得られる相関マップを、テンプレートと参照画像の関係を前記ペアとなる静止画において入れ替えて、２種類取得し、その２種類のうち一方の相関マップを鏡面対称に反転させた反転マップと、他方の相関マップと、の積算結果から前記一致度を得ることを特徴とする。
【発明の効果】
【００１２】
本開示の眼科用画像処理装置および眼科用画像処理プログラムによれば、パノラマ画像を良好に形成することができるという効果がある。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の撮影装置１の外観図を示した図である。
【図２】撮影装置１の光学系を示した模式図である。
【図３】本実施形態の撮影装置１の制御系を示したブロック図である。
【図４】基準画像の一例を示した図である。
【図５】制御部８００によって実行されるメイン処理を示したフローチャートである。
【図６】第２眼底画像上でスライスを取得する際に目標とする位置を一例として示した図である。
【図７】図６に示したそれぞれの矩形を目標としてスライスを取得した場合に得られる複数枚のスライスを、一例として示した図である。
【図８】パノラマ画像生成処理を示したフローチャートである。
【図９】初期配置におけるスライスの位置関係を例示した図である。
【図１０】相関マップＴＢ→Ａ，相関マップＴＡ→Ｂからノイズを除去した相関マップＴＡ⇔Ｂを得るための画像処理の手順を模式的に示した図である。
【図１１】（ａ）は、相関マップＴＢ→Ａにおいて輝点Ｐを通る１ラインでの相関の分布を示した図であり、（ｂ）は、相関マップＴＡ→Ｂにおいて輝点Ｐを通る１ラインでの相関の分布を示した図であり、（ｃ）は、相関マップＴＡ⇔Ｂにおいて輝点Ｐを通る１ラインでの相関の分布を示した図である。
【図１２】一致度リストの一例を示した図である。
【図１３】各スライスを接合する手順を説明するための模式図である。
【図１４】パノラマ画像生成処理の結果として、図７に示したスライスから生成されるパノラマ画像を示した図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、典型的な実施形態を説明する。撮影装置１は、被検眼の波面収差を補正した状態で被検眼の眼底像を取得する波面収差補償付眼底撮影装置（ＡＯ-ＳＬＯ）である。本実施形態において、撮影装置１は、被検眼の眼底（本実施形態における「所定部位」）を形成する細胞画像の静止画を、複数枚繋ぎあわせることによってパノラマ画像をパノラマ画像（コラージュ画像ともいう）を形成する眼科用画像処理装置を兼用する。なお、細胞画像は、所定部位の細胞が撮影された画像である。
【００１５】
初めに、図１を参照して撮影装置１の概略構成を説明する。撮影装置１は、基台５１０と、顔支持ユニット６００と、撮影部５００と、を備える。顔支持ユニット６００は、基台５１０に取り付けられている。撮影部５００には、後述する光学系が収納されており、基台５１０の上に設けられている。顔支持ユニット６００には、顎台６１０が設けられている。顎台６１０は、図示無き顎台駆動手段の操作により、顔指示ユニット６００の基部に対して左右方向（Ｘ方向）、上下方向（Ｙ方向）及び前後方向（Ｚ方向）に移動される。
【００１６】
次に、図２を参照して、撮影装置１の光学系について説明する。本実施形態の撮影装置１は、眼底撮像光学系１００と、波面収差検出光学系（以下、収差検出光学系と記載する。）１１０と、収差補償ユニット２０，７２と、第２撮影ユニット２００と、トラッキング用ユニット３００と、前眼部観察ユニット７００と、を備える。
【００１７】
眼底撮像光学系１００は、被検眼Ｅにレーザー光（照明光）を投光すると共に、レーザー光の眼底による反射光を受光して被検眼Ｅの眼底像を撮影する。被検眼Ｅの眼底は、眼底撮像光学系１００によって、高解像度（高分解能）・高倍率で撮影される。以下のように、眼底撮像光学系１００は、例えば、共焦点光学系を用いた走査型レーザー検眼鏡の構成を有してもよい。眼底撮像光学系１００は、第１照明光学系１００ａと、第１撮影光学系１００ｂと、を備える。また、本実施形態において、収差補償ユニット２０，７２は、収差補償ユニット２０，７２は、被検眼の収差を補正するために眼底撮像光学系１００に配置される。なお、収差補償ユニットとしては、被検眼の低次収差（視度：例えば、球面度数）を補正するための視度補正部２０と、被検眼の高次収差を補正するための高次収差補償部（波面補償デバイス）７２と、に大別される。
【００１８】
第１照明光学系１００ａは、被検眼Ｅにレーザー光を照射すると共にレーザー光を眼底上で走査することによって、眼底を２次元的に照明する。第１照明光学系１００ａは、光源１１（第１光源）から眼底に到るまでの光路において、光源１１、レンズ１２、偏光ビームスプリッタ（ＰＢＳ）１４、ビームスプリッタ（ＢＳ）７１、凹面ミラー１６、凹面ミラー１７、平面ミラー１８、収差補償ユニット７２（波面補償デバイス７２）、ビームスプリッタ（ＢＳ）７５、凹面ミラー２１、凹面ミラー２２、走査部２５、凹面ミラー２６、凹面ミラー２７、平面ミラー３１、レンズ３２、平面ミラー３３、収差補償ユニット２０（視度補正部２０）、平面ミラー３５、凹面ミラー３６、偏向部４００、ダイクロイックミラー９０、凹面ミラー４１、平面ミラー４２、平面ミラー４３、および、凹面ミラー４５、を有する。
【００１９】
光源１１は、レーザー光を出射する。本実施形態において、レーザー光は、被検眼に視認されにくい近赤外域の波長を持つ。例えば、本実施形態において、光源１１は、波長８４０ｎｍのＳＬＤ（Super Luminescent Diode）が使用される。なお、光源１１は、収束性の高い特性を持つスポット光を出射するものであればよく、例えば、半導体レーザー等であってもよい。
【００２０】
光源１１から出射されたレーザー光は、レンズ１２により平行光とされた後、ＰＢＳ１４、ＢＳ７１、凹面ミラー１６，１７、平面ミラー１８を介して、波面補償デバイス７２に入射する。本実施形態において、レーザー光は、ＰＢＳ１４を通過することによって、Ｓ偏光成分のみの光束とされる。波面補償デバイス７２は、入射光の波面を制御することによって、被検眼の高次収差を補正する。波面補償デバイス７２の詳細構成については後述する。本実施形態において、レーザー光は、波面補償デバイス７２からＢＳ７５に導かれた後、凹面ミラー２１、凹面ミラー２２にて反射され、走査部２５に向かう。
【００２１】
本実施形態において、走査部２５は、レーザー光を眼底上で２次元的に走査するために偏向部４００と共に使用される。走査部２５は、レーザー光の主走査に使用されるレゾナントミラーである。レーザー光は、走査部２５によって、眼底上でＸ方向に走査される。
【００２２】
走査部２５を経た光は、凹面ミラー２６，２７、平面ミラー３１、レンズ３２、平面ミラー３３を介して、視度補正部２０へ入射される。
【００２３】
視度補正部２０は、視度補正を行うためのユニットである。視度補正部２０は、駆動部２０ａのほかに、レンズおよび平面ミラーを１対ずつ有する。視度補正部２０の平面ミラーおよびレンズが駆動部２０ａによって所定方向に移動されることで、光路長が調節される。その結果として、被検眼Ｅの視度の誤差が矯正される。
【００２４】
視度補正部２０から平面ミラー３５へ導かれた照明光は、凹面ミラー３６に反射され、偏向部４００に向かう。
【００２５】
偏向部４００は、光源１１から出射されたレーザー光を眼底上で垂直方向（Ｙ方向）に走査する。更に、偏向部４００は、眼底におけるレーザー光の走査範囲を移動させるためにも使用される。例えば、本実施形態において、偏向部４００は、レーザー光を偏向する方向が異なる２つの光スキャナ（具体例としては、ＸガルバノミラーおよびＹガルバノミラー）を有していてもよい。
【００２６】
偏向部４００を経た光は、ダイクロイックミラー９０、凹面ミラー４１、平面ミラー４２，４３、および凹面ミラー４５を経て、被検眼Ｅの瞳孔内に導かれる。レーザー光は、被検眼Ｅの眼底面上で集光する。眼底上では、前述したように、走査部２５および偏向部４００の動作によって、レーザー光が２次元的に走査される。
【００２７】
また、ダイクロイックミラー９０は、後述する第２撮影ユニット２００、およびトラッキング用ユニット３００、からの光束を透過させ、光源１１および後述する光源７６からの光束を反射させる特性を持つ。なお、光源１１および光源７６の出射端と被検眼Ｅの眼底とは共役とされている。このようにして、第１照明光学系１００ａが形成される。
【００２８】
次に、第１撮影光学系１００ｂを説明する。第１撮影光学系１００ｂは、眼底に照射されたレーザー光の反射光を受光素子５６によって受光する。撮影装置１は、第１眼底画像（本実施形態では、ＡＯ−ＳＬＯ画像）を、受光素子５６からの信号に基づいて取得する。第１撮影光学系１００ｂは、被検眼ＥからＢＳ７１までの光路を、第１照明光学系１００ａと共用する。また、第１撮影光学系１００ｂは、ＢＳ７１の反射側光路に配置された要素、即ち、平面ミラー５１、ＰＢＳ５２、レンズ５３、ピンホール板５４、レンズ５５、および、受光素子５６を有している。なお、本実施形態では、受光素子５６はＡＰＤ（アバランシェフォトダイオード）が用いられている。また、ピンホール板５４は、眼底と共役な位置に置かれる。
【００２９】
光源１１からのレーザー光の眼底反射光は、前述した第１照明光学系１００ａを逆に辿り、ＢＳ７１、平面ミラー５１のそれぞれで反射され、ＰＢＳ５２にてＳ偏光の光だけ透過される。この透過光は、レンズ５３を介してピンホール板５４のピンホールに焦点を結ぶ。ピンホールにて焦点を結んだ反射光は、レンズ５５を経て受光素子５６に受光される。なお、照明光の一部は角膜上で反射されるが、ピンホール板５４により大部分が除去される。よって、受光素子５６は、角膜反射の影響を抑えて、眼底からの反射光を受光できる。
【００３０】
受光素子５６の受光信号を画像処理部（例えば、制御部８００、および画像処理部８０３等、図３参照）が処理することによって、第１眼底画像が取得される。本実施形態において、１フレームの眼底画像は、走査部２５の主走査と、偏向部４００に設けられたＹ走査用のガルバノミラーの副走査によって形成される。なお、第１撮影ユニット１００で取得する眼底画像（眼底像）の画角が所定の角度となるように走査部２５および偏向部４００におけるミラーの振れ角（揺動角度）を定める。ここでは、眼底の所定の範囲を高倍率で観察、撮影する（ここでは、細胞レベルでの観察等をする）ために、画角を１度〜５度程度とする。本実施形態では、１．５度とする。被検眼の視度等にもよるが、第１眼底画像の撮影範囲は、５００μｍ角程度とされる。
【００３１】
更に、偏向部４００に設けられたＸ走査用のガルバノミラーとＹ走査用のガルバノミラーの反射角度が第１眼底画像の撮像画角より大きく移動されることによって、眼底における第１眼底画像の撮像位置（つまり、レーザー光の走査範囲）が変更される。
【００３２】
第２撮影ユニット２００は、第１撮影ユニット１００の画角よりも広画角の眼底画像（第２眼底画像）を取得するためのユニットである。第２眼底画像は、例えば、第１眼底画像を得るための位置指定、および位置確認用の画像として用いられる。本実施形態の第２撮影ユニット２００は、被検眼Ｅの眼底画像を広画角（例えば２０度〜６０度程度）でリアルタイムに取得および観察できる構成であることが好ましい。例えば、第２撮影ユニット２００として、既存の眼底カメラの観察・撮影光学系、および走査型レーザー検眼鏡（Scanning Laser Ophthalmoscope：ＳＬＯ）の光学系および制御系が利用されてもよい。
【００３３】
トラッキング用ユニット３００は、被検眼Ｅの固視微動等による位置ずれの経時変化を検出し、移動位置情報を得る。トラッキング用ユニット３００では、トラッキング開始時に得られた受光結果を基準情報として制御部８００（図３参照）に送っておき、その後、１走査毎に得られる受光結果（受光情報）を逐次、制御部８００に送信する。制御部８００は基準情報に対してその後に得られた受光情報を比較し、基準情報と同じ受光情報が得られるように、移動位置情報を演算により求める。制御部８００は求めた移動位置情報に基づいて偏向部４００を駆動させる。このようなトラッキングを行うことにより、被検眼Ｅが微動してもその動きが相殺されるように偏向部４００の駆動が行われるため、モニタ８５０に表示される眼底画像の動きは抑制されることとなる。また、ダイクロイックミラー９１は、第２撮影ユニット２００からの光束を透過させ、トラッキング用ユニット３００からの光束を反射させる特性を持つ。
【００３４】
前眼部観察ユニット７００は、被検眼Ｅの前眼部を可視光にて照明し、前眼部正面像を撮像するユニットである。前眼部観察ユニット７００で撮像された画像は、モニタ８５０に出力される。前眼部観察ユニット７００によって取得される前眼部画像は、撮影部５００と被検眼Ｅとのアライメントに利用される。なお、ダイクロイックミラー９５は、第２撮影ユニット２００およびトラッキング用ユニット３００からの光束を透過させ、前眼部観察ユニット７００からの光束を反射させる特性を持つ。
【００３５】
次に、収差検出光学系１１０について説明する。収差検出光学系１１０は、波面センサ７３を有する。また、収差検出光学系１１０は、被検眼Ｅの眼底に測定光を投光し、測定光の眼底反射光を、指標パターン像として波面センサ７３で受光（検出）する。収差検出光学系１１０は、一部の光学素子を第１照明光学系１００ａおよび第１撮影光学系１００ｂの光路上（本実施形態では、共通光路上）に持ち、光学系１００ａ，１００ｂと光路を一部共用している。つまり、本実施形態の収差検出光学系１１０は、光学系１００ａ，１００ｂの光路上に配置されたＢＳ７１から凹面ミラー４５までを、光学系１００ａ，１００ｂと共用する。更に、収差検出光学系１１０は、光源７６、レンズ７７、ＰＢＳ７８、ＢＳ７５、ＢＳ７１、ダイクロイックミラー８６、ＰＢＳ８５、レンズ８４、平面ミラー８３、レンズ８２、を有する。
【００３６】
光源７６は、被検眼Ｅの収差検出に使用される。本実施形態において、光源７６は、光源１１と異なる波長の光を発する。一例として、本実施形態では、測定光として、波長７８０ｎｍのレーザー光を出射するレーザーダイオードが光源７６として使用される。光源７６から出射した測定光は、レンズ７７によって平行光束とされた後、ＰＢＳ７８に入射される。
【００３７】
ＰＢＳ７８は、波面補償部に備えられた第１偏光手段の一例である。ＰＢＳ７８は、光源７６から出射された光を所定の方向に偏光する。より詳細には、ＰＢＳ７８は、ＰＢＳ１４の偏向方向（つまり、Ｓ偏光）とは、直交する方向（即ち、Ｐ偏光）に偏光する。ＰＢＳ７８を経た光は、ＢＳ７５によって反射されることによって、第１照明光学系１００ａの光路に導かれる。その結果、測定光は、第１照明光学系１００ａの光路を経て被検眼Ｅの眼底に集光される。
【００３８】
測定光は、眼底の集光位置（例えば、網膜表面）で反射される。測定光の眼底反射光は、第１照明光学系１００ａの光路（つまり、第１撮影光学系１００ｂの光路）を、投光時とは逆に辿る。途中、測定光は、波面補償デバイス７２によって反射される。その後、測定光は、ＢＳ７１によって反射されることによって、第１照明光学系１００ａの光路を外れる。更にその後、測定光は、ダイクロイックミラー８６によって反射され、ＰＢＳ８５、レンズ８４、平面ミラー８３、レンズ８２を経て、波面センサ７３へと導かれる。
【００３９】
ＰＢＳ８５は、波面補償部に備えられた第２偏光手段である。ＰＢＳ８５は、光源７６から被検眼Ｅに照射された光のうち、一方向に偏波した光（ここでは、Ｓ偏光光）を透過することによって、波面センサ７３へと導光するために利用される。また、ＰＢＳ８５は、透過した成分とは直交する方向に偏波された成分（Ｐ偏光光）を遮断する。なお、ダイクロイックミラー８６は、光源１１の波長の光（８４０ｎｍ）を透過し、収差検出用の光源７６の波長の光（７８０ｎｍ）を反射する特性とされる。従って、波面センサ７３では、測定光の眼底反射光のうちＳ偏光成分を持つ光が検出される。このようにして、角膜や光学素子で反射される光が波面センサ７３に検出されることを抑制している。
【００４０】
波面センサ７３は、被検眼Ｅの波面収差を検出するために、収差測定用の測定光の眼底反射光を受光する。波面センサ７３としては、低次収差および高次収差を含む波面収差を検出できる素子（より詳細には、ハルトマンシャック検出器、および、光強度の変化を検出する波面曲率センサ等）等が利用されてもよい。本実施形態において、波面センサ７３は、例えば、多数のマイクロレンズからなるマイクロレンズアレイと、マイクロレンズアレイを透過した光束を受光させるための二次元撮像素子７３ａ（又は、二次元受光素子）と、を有する。波面センサ７３のマイクロレンズアレイは、被検眼Ｅの瞳と略共役な位置に配置される。また、二次元撮像素子７３ａの撮像面（受光面）は、被検眼Ｅの眼底と略共役な位置に配置される。
【００４１】
二次元撮像素子７３ａの撮像面には、マイクロレンズアレイを透過した光束によって、指標パターン像６１（本実施形態では、ハルトマン像）が形成される（図示を省略する）。よって、眼底反射光は、マイクロレンズアレイを通過して二次元撮像素子７３ａに受光されることによって、ハルトマン像（ドットパターン像）として撮像される。本実施形態では、ハルトマン像から被検眼の収差情報が取得され、収差情報に基づいて波面補償デバイス７２が制御される。なお、ハルトマン像の詳細については、後述する。
【００４２】
波面補償デバイス７２は、眼底撮像光学系１００の光路中に配置され、入射光の波面を制御することによって、被検眼Ｅの波面収差を補償する。本実施形態において、波面補償デバイス７２には、液晶空間光変調器が使用されてもよい。一例として、以下では、反射型のＬＣＯＳ（Liquid Crystal On Silicon）等が使用されるものとして説明する。この
場合、波面補償デバイス７２は、光源１１からのレーザー光（Ｓ偏光光）、該レーザー光の眼底反射光（Ｓ偏光光）、波面収差検出用光の反射光（Ｓ偏光成分）等の所定の直線偏光（Ｓ偏光）に対して収差を補正することが可能な向きに配置される。その結果、波面補償デバイス７２は、入射する光のＳ偏光成分を変調できる。また、本実施形態において、波面補償デバイス７２の反射面は、被検眼の瞳と略共役となる位置に配置される。
【００４３】
本実施形態の波面補償デバイス７２において、液晶層内の液晶分子の配列方向は、入射する反射光の偏光面と略平行である。また、液晶分子が液晶層への印加電圧の変化に応じて回転する所定の面は、波面補償デバイス７２に対する眼底反射光の入射光軸および反射光軸と、波面補償デバイス７２が持つミラー層の法線と、を含む平面に対して略平行に配置されている。
【００４４】
なお、本実施例において、波面補償デバイス７２は液晶変調素子とし、特に、反射型のＬＣＯＳ等を用いるものとしているが、これに限るものではない。他の反射型の波面補償デバイスであってもよい。例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）の１形態であるデフォーマブルミラーが使用されてもよい。また、反射型の波面補償デバイスではなく、透過型の波面補償デバイスが使用されてもよい。透過型のデバイスでは、眼底からの反射光を透過させて波面収差が補償される。
【００４５】
なお、以上の説明では、収差検出用光源として、第１光源とは異なる波長の照明光を出射する光源を用いたが、第１光源が収差検出用光源を兼用していてもよい。
【００４６】
なお、以上説明した本実施形態では、波面センサ及び波面補償デバイスを被検眼の瞳共役としたが、被検眼の前眼部の所定部位と略共役な位置であればよく、例えば、角膜共役であってもよい。
【００４７】
次に、図３を参照して、本実施形態における撮影装置１の制御系を説明する。撮影装置１は、制御部８００を有している。制御部８００は、撮影装置１の装置全体の制御を行うプロセッサ（例えば、ＣＰＵ）である。本実施形態において、制御部８００には、記憶部８０１、操作入力部８０２、画像処理部８０３、モニタ８５０、が電気的に接続される。また、制御部８００には、光源１、駆動部１０ａ、走査部１５、受光素子５６、波面補償デバイス７２、波面センサ７３、光源７６、第２撮影ユニット２００、トラッキング用ユニット３００、偏向部４００、が電気的に接続される。
【００４８】
記憶部８０１は、各種の制御プログラムおよび固定データを格納する。また、記憶部８０１には、撮影装置１によって取得された画像、一時データ等が記憶されてもよい。
【００４９】
制御部８００は、操作部８０２から出力される操作信号に基づいて、第１撮影ユニット１００等の上記の各部材を制御する。操作入力部８０２は、検者によって操作される操作部材を備える。操作部材としては、キーボードおよびマウス等が用いられてもよい。
【００５０】
画像処理部８０３は、受光素子５６、第２撮影ユニット２００で受光した信号に基づいて、に画角の異なる被検眼眼底画像（つまり、第１眼底画像及び第２眼底画像）を形成する。そして、形成された第１眼底画像及び第２眼底画像を、モニタ８５０に表示させる（図４参照）。
【００５１】
モニタ８５０は、撮影装置１に搭載された表示モニタであってもよいし、撮影装置１とは別体の汎用の表示モニタであってもよい。また、これらが併用された構成であってもよい。モニタ８５０は、撮影装置１で撮影される眼底画像（第１眼底画像、および第２眼底画像）を、動画および静止画のそれぞれで表示できる。
【００５２】
なお、制御部８００による波面補償デバイス７２の制御は、波面センサ７３によって検出される波面収差に基づいて実行される。本実施形態では、波面センサ７３からの検出信号に基づく波面補償デバイス７２のフィードバック制御が行われる。波面補償デバイス７２が制御されることによって、光源７６の反射光のＳ偏光成分と共に、光源１から出射されるレーザー光と該レーザー光の眼底反射光の高次収差が取り除かれる。このようにして、光源１から出射されたレーザー光、および該レーザー光の眼底反射光が持つ収差が取り除かれる。その結果、被検眼Ｅの高次収差が取り除かれた（波面補償された）高解像度の第１眼底画像（即ち、波面補償画像）が撮影装置１によって取得される。なお、このとき、低次の収差は、視度補正部１０によって補正されてもよい。
【００５３】
以上のような構成と持つ本装置の動作を、図５に示すフローチャートを参照して説明する。撮影装置１は、電源がオンされた後、記憶部８０１に記憶された制御プログラムに従って動作する。以下の動作において、撮影装置１は、第１眼底画像（ＡＯ-ＳＬＯ画像）の静止画を、複数の取得位置において取得する。また、撮影装置１は、眼底上の異なる位置で取得された第１眼底画像の静止画を繋ぎあわせる画像処理を行い、第１眼底画像のパノラマ画像を形成する。その結果として、広範囲かつ高倍率で眼底の組織を確認するための静止画が得られる。
【００５４】
はじめに、被検眼Ｅに対する撮影部５００のアライメントが行われる（Ｓ１）。例えば、制御部８００は、前眼部観察ユニット７００を用いてリアルタイムな前眼部画像を取得すると共に、前眼部画像をモニタ８５０に表示させる。検者は、モニタ８５０上の前眼部画像を観察しながら、顎台６１０の位置調整を手動又は自動で行い、粗くアライメントを行う。この場合において、検者は、図示無き固視標を被検者が固視するように指示する。
【００５５】
本実施形態では、アライメントが完了した後、操作入力部８０２の一つとして設けられた開始スイッチが検者によって操作されると、第１撮影ユニット１００および第２撮影ユニット２００を用いた眼底画像の取得が開始される（Ｓ２）。この場合、制御部８００によって、各撮影ユニット１００，２００の視度補正が行われてもよい。例えば、第１撮影ユニット１００における視度補正は、視度補正部１０を用いて行われる。
【００５６】
次に、制御部８００は、眼底上の複数の取得位置にて第１眼底画像の静止画（以下、スライスと称する）をそれぞれ取得（キャプチャー）し、記憶部８０１に記憶する（Ｓ３）。本実施形態では、Ｓ３によって、パノラマ画像の形成に使用するスライスが取得される。また、制御部８００は、各スライスの眼底における位置関係に関する取得位置情報を、それぞれのスライスと対応付けて記憶部８０１へ記憶する（Ｓ４）。詳細は後述するが、取得位置情報は、パノラマ画像を形成する複数のスライスの位置関係を特定するために利用される。
【００５７】
Ｓ３の処理では、例えば、複数のスライスの目標とする取得位置が目標位置情報によって予め定められていてもよい。この場合、制御部８００は、目標位置情報に基づいて光スキャナ（走査部２５および偏向部４００）の駆動範囲（つまり、走査範囲）を決定する。そして、定められた駆動範囲での光走査に基づいて画像処理部８０３が静止画を形成することによって、スライスが撮影装置１に取得される（Ｓ３）。ここで、１枚のスライスは、光スキャナによる１フレーム分の光走査に基づいて形成されてもよいし、複数フレームの画像からなる加算平均画像であってもよい。また、目標位置情報は、例えば、第２眼底画像上での位置情報であってもよいし、光スキャナの走査角度に関する情報であってもよい。目標位置情報は、例えば、記憶部８０１に予め記憶されていてもよい。
【００５８】
本実施形態では、Ｓ３の処理の結果として、それぞれのスライスが他のスライスと少なくとも部分的に重なり合うような取得位置で、複数枚のスライスが取得されるものとする。ここでは、一例として、図６に示すように、目標とする取得位置が横方向にずらされながら、複数枚のスライスが取得されるものとする。但し、それぞれの目標とする取得位置の配置は、勿論図６の例に限定されるものではない。なお、図６には、一点鎖線からなる複数の矩形が示されている。それぞれの矩形は、それぞれのスライスの目標とする取得範囲を示す。図６には、１３個の矩形が配置されており（つまり、目標とする取得位置は１３か所設定されている）、各々の矩形は、左右の縁の少なくとも一方が他の矩形と重なっている。図７は、それぞれの矩形が示す位置を目標として取得されたスライスを例示的に示している。図７では、便宜上、１３枚のスライスに、「０」〜「１２」の番号が１つずつ対応付けされている（画像左上の数字が対応する番号である）。「０」番の画像が、図６において最も左側の矩形の位置を目標として取得された画像であり、大きな番号ほど、目標とした位置が右側であることを示している。
【００５９】
Ｓ４の処理によって取得される取得位置情報は、各スライスの眼底における位置関係に関する情報である。本実施形態では、眼底におけるスライスの大まかな取得位置が、取得位置情報によって示される。本実施形態において示すように、取得位置情報は、目標位置情報とは異なる情報であってもよく、例えば、Ｓ３の処理によって取得されるスライスの眼底上における実際の取得位置を示していてもよい。眼球運動（例えば、固視微動）等で眼は絶えず動いているため、スライスの実際の取得位置は、目標として予め定めた取得位置からズレる場合がある。本実施形態では、眼底におけるスライスの取得位置を示す取得位置情報が、スライスと対応付けられて記憶部８０１へ記憶される。これにより、パノラマ画像を形成する複数のスライスの位置関係が精度よく特定される。実際の取得位置は、例えば、スライスと同時に取得される第２眼底画像を用いて特定可能である。よって、第２眼底画像上の位置情報（例えば、第２眼底画像において基準となる組織および特徴点等からのズレ情報等）として、取得位置情報は取得されてもよい。
【００６０】
次に、制御部８００は、予め取得された複数枚のスライスから、パノラマ画像を生成する（Ｓ５）。ここでは、図８のフローチャートを参照して、本実施形態におけるパノラマ画像生成処理（Ｓ５）の処理内容を詳細に説明する。
【００６１】
まず、パノラマ画像生成処理（Ｓ５）では、Ｓ３の処理で予め取得された（つまり、本実施形態では、記憶部８０１に予め記憶されている）複数枚のスライスが、初期配置される（Ｓ１１）。本実施形態では、制御部８００によって、スライスの初期配置が自動的に行われる。この場合、各スライスは、取得位置情報に基づく眼底上での位置関係で平面上（例えば、画像処理を行うための二次元座標系上）に配置される。本実施形態において、取得位置情報は、スライスの実際の取得位置を大まかに示した情報であるので、各スライスは、目標とする取得位置での配置に対し、それぞれズレて配置される。
【００６２】
次に、制御部８００は、初期配置された複数のスライスから、スライスのペアを取得する（Ｓ１２）。本実施形態では、初期配置での位置関係で平面上に並べられる場合において、画像の少なくとも一部が重なり合う重複部分が形成されるペアを取得する。
【００６３】
例えば、制御部８００は、初期配置される複数のスライスから２枚のスライスを選択する全ての組み合わせについて、重複部分が形成されるか否かを判定する。そして、制御部８００は、判定結果に基づいて複数のスライスからペアを取得してもよい。この場合、例えば、Ｎ枚のスライスが初期配置される場合は、ＮＣ２通りのスライスの組み合わせの中から、ペアが取得されてもよい。ペアの取得（つまり、ペアを形成するか否かの判定）には、例えば、２枚のスライスの取得位置情報が用いられてもよい。
【００６４】
次に、制御部８００は、Ｓ１２で取得されたペア毎に、ペアとなるスライスを重複部分に関してマッチングさせる画像処理であるマッチング処理を行う（Ｓ１３）。マッチング処理では、静止画のマッチングに伴って、重複部分に関する各スライスの相関が一致度として得られる。この画像処理の結果として、本実施形態では、初期配置での位置関係に並べられた場合におけるスライス同士の重複部分の一致度合（類似度合ともいう。また、一致割合あるいは類似割合であってもよい。）を示す情報（例えば、数値）が、一致度として取得される。本実施形態では、以下説明するように、ペアを形成する２枚のスライスの相関（より詳細には、主に、前述の一領域と対応領域との相関）に基づいて、一致度が得られる。一致度を求める画像処理には、種々の処理を採用し得る。本実施形態では、ペアとなる２枚のスライスのマッチングをする画像処理によって、ペアにおける一致度と位置ズレ量とが合わせて取得される。
【００６５】
ここで、図９から図１１を参照して、一致度の取得手法についての一つの具体例を示す。
【００６６】
まず、ペアとなるスライスＡ，Ｂの互いに重なる領域Ω（図９の例においては、矩形領域Ω）が、一方のスライスから切り出される。そして、切り出された領域Ωは画像マッチングのテンプレートとして、他方のスライスに対してマッチング（位置合わせ）される。その際、テンプレート（領域Ω）と、テンプレートがマッチングされるスライスである参照画像と、の位相画像がそれぞれ生成される。そして、例えば、テンプレート画像の位相画像と、参照画像の位相画像との相関マップを求める。相関マップは、２枚の位相画像における位置関係毎の相関を示したマップである。相関マップでは、２枚の位相画像が良好に重なり合う位置において、相関のピークが得られる。例えば、相関マップは、２つの位相画像をずらしながらずらした位置毎に２つの位相画像の相関を求めることによって形成できる。
【００６７】
ここで、２枚のスライスＡ，Ｂの画像マッチングでは、
（１）スライスＡから切り出された領域Ωをテンプレートとし、スライスＢを参照画像とするマッチング。
（２）スライスＢから切り出された領域Ωをテンプレートとし、スライスＡを参照画像とするマッチング。
の２通りが考えられる。本具体例では、１組のスライスのペアに対し、上記（１）（２）の両方のマッチングが行われる。以下、上記（１）のマッチングにて得られる相関マップを、ＴＢ→Ａと称し、上記（２）のマッチングにて得られる相関マップをＴＡ→Ｂと称す（図１０参照）。図１０において、相関マップＴＢ→Ａ，ＴＡ→Ｂのそれぞれの上に示したＰは、相関のピーク位置を示している。例えば、相関の高さを輝度の高さとして示したマップ画像では、ピークは輝点として示される。相関マップＴＢ→ＡにおけるピークＰと、相関マップＴＡ→ＢにおけるピークＰとは、鏡面対称となる位置に示される。但し、相関マップＴＢ→Ａと相関マップＴＡ→Ｂとは、異なるテンプレートを照合した結果であるため、一方のマップを反転したとしても、両者は異なるマップとなる（図１１（ａ），（ｂ）参照）。なお、図１１（ａ），（ｂ）は、相関マップＴＢ→Ａ，ＴＡ→Ｂにおいて、ピークＰを含む一ライン上の相関の分布を示している。また、図１１（ａ），（ｂ）のグラフでは、図７に示す「５」番のスライスをスライスＡとし、「６」番のスライスをスライスＢとして、マッチングを行い実際に得られる分布を示している。このような相関マップＴＢ→Ａ，ＴＡ→Ｂを比べた場合、図１１（ａ）に示すように、相関マップＴＢ→Ａでは、ピークＰが分布中心に表れたノイズに埋もれてしまっており、ピークＰを良好に検出しにくい。一方、図１１（ｂ）に示すように、相関マップＴＡ→Ｂでは、ピークＰがノイズに埋もれていないため、ピークＰの位置が正確に検出されやすい。しかしながら、相関マップＴＢ→Ａは勿論、相関マップＴＡ→Ｂにおいてもノイズの影響がある。よって、精度良く一致度を得るためには、ノイズの影響を抑制する必要がある。
【００６８】
そこで、本具体例では、相関マップＴＢ→Ａ，ＴＡ→Ｂのうち一方を、他方のマップとピークＰが重なるように反転させたマップである反転マップを得る。図１０の例では、相関マップＴＡ→Ｂを反転させることによって、反転マップＴＴＡ→Ｂが生成される。そして、反転させなかった相関マップであるＴＢ→Ａと、反転マップＴＴＡ→Ｂとの要素毎の積をとる。積算の結果として得られるマップ（積算結果マップ）を、ＴＡ⇔Ｂと示す。図１０の例では、相関マップＴＢ→Ａと反転マップＴＴＡ→Ｂとの要素毎の積算結果を、積算結果マップＴＡ⇔Ｂとして示している。積算結果マップＴＡ⇔Ｂは、一般に次の式にて求めることができる。
【００６９】
【数１】
0006515504.tif 000002
【００７０】
図１１（ｃ）に示すように、積算結果マップＴＡ⇔Ｂは、相関マップＴＢ→Ａ，ＴＡ→Ｂと比べて、ノイズレベルが抑制され、ピークＰが強調される。従って、スライスＡ，Ｂの一致度を、積算結果マップＴＡ⇔Ｂから良好に得ることができる。
【００７１】
積算結果マップＴＡ⇔ＢのピークＰが鋭いほど、スライスＡ，Ｂは、良好に一致していると考えることができる。そこで、ピークＰの鋭さを定量化するために、積算結果マップＴＡ⇔Ｂのピークを例えば、ガウス関数でフィッティングする。そして、フィットしたガウス関数の幅Ｑ（例えば、半値幅、δ等）が得られる。本具体例では、ピーク幅Ｑの値が小さいぼど、スライス同士の相関（一致度）は高くなる。なお、ピークＰの鋭さを評価する方法は、上記手法に限定されるものではない。例えば、相関マップは、sinc関数を用いたモデルとの類似度合（一致度合）を比較することによって、ピークＰの鋭さを評価してもよい。
【００７２】
また、本実施形態では、相関マップ（および反転マップ、積算結果マップの各マップ）に基づいてマッチングされた２枚のスライスＡ，Ｂにおけるズレ量を得る。即ち、上記のマップにおけるピークＰの位置は、マッチングされた２枚のスライスＡ，Ｂにおけるズレ量を示している。本実施形態では、ピークＰの位置を検出することによって、２枚のスライスＡ，Ｂにおけるズレ量を得る。即ち、制御部８００は、２枚のスライスＡ，Ｂにおける一致度と共に、ズレ量を得る。
【００７３】
図８のフローチャートに戻って説明を続ける。本実施形態において、制御部８００は、各ペアにおける一致度およびズレ量を示したリスト（以下、一致度リストと称す）を作成する（Ｓ１４）。そして、一致度リストを、一致度順にソートする（Ｓ１５）。図１２に、ソートされた状態の一致度リストを例示する。図１２の例では、上段ほどペアの一致度が高くなるようには各ペアの情報がソートされる。一致度リストでは、ペア（ペアを形成するスライス）と、そのペアにおける２枚のスライスの一致度とが、ペア毎に対応付けられている。また、図１２に示すように、２枚のスライスのズレ量が、一致度と共に、ペアと対応付けられていてもよい。
【００７４】
次に、制御部８００は、ペア単位で各スライスを順次接合させていき、結果としてパノラマ画像を作成する（Ｓ１６）。より詳細には、制御部８００は、一致度リストにある各々のペアに対して、ペアとなる静止画同士を接合する画像処理（画像接合処理）を行う。それぞれのペアにおいてこの画像接合処理が行われる優先順位は、マッチングの結果得られた各ペアの一致度に応じて定められる。本実施形態における画像接合処理は、ペアとなる２枚のスライスをそのペアの位置ズレ量に応じた配置で接合させる画像処理である。そして、制御部８００は、複数のペアに対する画像接合処理の結果として、パノラマ画像を生成する。
【００７５】
本実施形態では、図１２の一致度リストにおいて、一致度の高いペアから順に（即ち、より相関の高いペアから順に）、制御部８００がペアを選択し、選択したペアに対して画像接合処理を行っていくことによって、部分的なパノラマ画像（以下、部分パノラマ画像と称す）を形成する。
【００７６】
図１２の例では、一致度リストの最上段のペアから順に（即ち、「４」番と「５」番のペア→「１０」番と「１１」番のペア→…の順に）、部分パノラマ画像を形成する。接合に当たっては、加算平均などのブレンディング処理をスライス同士の重複部分に施し、スライスのつなぎ目を目立たなくしてよい。また、スライス同士の重複部分に対し、加算平均処理などの処理が施されると、その重複部分が暗くなってしまう場合がある。このような場合では、いずれか一方のスライスにおいて他のスライスとの重複部分を除去してよい。
【００７７】
本実施形態では、ペアを形成する２枚のスライスのうち、少なくとも一方が既に他のスライスと共に部分パノラマ画像を形成している場合、他方のスライスは、その部分パノラマ画像に対して接合される。例えば、図１２の例では、リストの上から４段目にある「７」番と「８」番のペアによる部分パノラマ画像Ｃ１が形成された後で、リストの５段目にある「８」番と「９」番のペアが接合される。この場合、図１３（ａ）に示すように、「９」番のスライスは、「７」番と「８」番のペアからなる部分パノラマ画像Ｃ１における「８」番の部分に対し接合される。その結果として、「７」番，「８」番および「９」番のスライスが、部分パノラマ画像Ｃ２として一体に接合される。
【００７８】
また、リストの上から６段目にある「９」番と「１１」番のペアが接合される場合、事前に、「１０」番と「１１」番のスライスからなる部分パノラマ画像Ｃ３（一致度リストの２段目参照）と、「７」番〜「９」番のスライスからなる部分パノラマ画像Ｃ２（一致度リストの４，５段目参照）が形成されている。このような場合において、「９」番と「１１」番の接合は、部分パノラマ画像同士の接合となる（図１３（ｂ）参照）。
【００７９】
ところで、３つ以上のペアから構成される一致度リストには、あるペア（以下、第１のペアと称す）と、第1のペアの一致度である第1の一致度に対して高い一致度をそれぞれ示し、且つ、第1のペアとはスライスの組み合わせがそれぞれ異なる２つ以上のペアからなるペア群とが、パノラマ画像を形成するために使用されるペアとして含まれ得る。例えば、図１２において、上からｎ段目にあるペアを第1のペアとする場合は、１段目からｎ−１段目にある複数のペアを、ペア群として考えることができる。
【００８０】
この場合において、ペア群に含まれる２つ以上のペアに対して画像接合処理が行われることによって、第1のペアに画像接合処理が行われなくても、第1のペアに含まれるスライスが、（他の１以上のスライスを介して）一体に接合される場合がある。このような場合、本実施形態の制御部８００は、第1のペアに対しては、画像接合処理を行わないことが好ましい。但し、一方で、より優先順位の高いペア群の各ペアに対して画像接合処理が行われても第1のペアが一体に接合されなければ、制御部８００は、第1のペアに対して画像接合処理を行う。ここで、第1のペアに接合処理が行われない場合の具体例を示す。例えば、図１２のリストの９段目にある「９」番と「１０」番のペアを第1のペアとする場合、より一致度の高いペアからなるペア群に対して画像接合処理が行われることによって一体に接合される。即ち、リスト２段目の「１０」番と「１１」番のペアと、リスト６段目の「９」番と「１１」番のペアとに対してそれぞれ画像接合処理が行われることによって、第1のペアである「９」番と「１０」番のペアは、「１１」番のスライスを介して一体に接合される。この場合において、第1のペアとなる「９」番のスライスと「１０」番のスライスとを直接的に接合する画像接合処理を、制御部８００は行わない。
【００８１】
このような処理によって、２枚のスライスを一体に接合するための接合パターン（画像接合処理が行われるペアの組合せ）が複数通り想定される場合に、より良好な接合部分を形成し得る接合パターンが、制御部８００によって一義的に選択される。その結果、スライスの接合部分において良好な画質が得られやすい。また、既に一体に接合されている２枚のスライスに対し、画像接合処理によって再接合されるとすると、その接合部分において画像を不要に歪ませてしまうおそれがある。しかし、本実施形態では、このような再接合を行わないので、画像の歪みを低減できる。また、上述のアルゴリズムでは、接合箇所の数が抑制されるので、結果として、パノラマ画像を形成する時間が抑制される。
なお、本実施形態では、上記の再接合を行わない場合について説明するが、必ずしもこれに限られるものではない。より良好な一致状態を示す一致度のペアの接合が、それよりも悪い一致状態を示す一致度のペアの接合と比べて優先されればよく、パノラマ画像において許容される精度の範囲であれば、再接合が許容されていてもよい。
【００８２】
本実施形態では、以上のようなパノラマ画像生成処理の結果として、スライスの一致度（相関）が高いペアでの接合が、一致度の低いペアでの接合に対して優先されるので、各スライスの接合が良好に行われたパノラマ画像が得られる（図１４参照）。特に、本実施形態では、より一致度の高いペアから順にスライスを接合させることによって、それぞれのスライスが、それぞれのスライスにおいて最も一致度の高いスライスと接続されたパノラマ画像が形成される。よって、良好な画質のパノラマ画像が得られやすい。
【００８３】
ここで、一致度は、ＸＹ方向に関する位置ずれや画像の歪み方の違いだけでなく、スライスにおけるデフォーカス量のズレ（スライス毎の適正なデフォーカス量に対するズレ、スライス相互間でのデフォーカス量のズレを含む）等が総合的に評価される。従って、本実施形態では、それらの要素の影響が抑制された良好なパノラマ画像が形成され得る。
【００８４】
また、本実施形態におけるパノラマ画像の生成手法では、一度相互に接合されたペアが、再度選択および接合されることなく、一意に接合順序が定められる。故に、上記処理によって、パノラマ画像の生成に要する時間の抑制と、良好なパノラマ画像の生成とが両立できる。
【００８５】
また、本実施形態では、それぞれのスライス画像の初期配置が、各スライスの実際の取得位置を示す取得位置情報に基づいて行われる。よって、スライス同士が重なり合う部分をテンプレートとする各ペアのマッチングが行われる前に、スライス画像が予め精度よく配置されているので、マッチングの精度を高めることができる。その結果、本実施形態では、各ペアにおける一致度がより正確に導出され、ペアを結合する順序がより適正に定められる。その結果、画質の良好なパノラマ画像が得られやすくなる。
【００８６】
また、本実施形態では、それぞれのスライス画像の初期配置を、取得位置情報に基づいて制御部８００が自動的に実行する。よって、パノラマ画像の作成に要する検者の負担が抑制される。
＜変容例＞
以上、実施形態に基づいて説明を行ったが、本開示は、様々な変形が可能である。
【００８７】
例えば、上記実施形態では、パノラマ画像を生成するために使用されるスライスが、自動的に設定される場合を説明したが、必ずしもこれに限られるものではない。例えば、検者が手動で選択する構成であってもよい。また、眼底上の取得位置が同じスライスが、複数枚取得されている場合には、その複数枚のスライスの中から、パノラマ画像を生成するために使用するスライスを、手動で、又は、自動で選択する構成が、撮影装置１に設けられていてもよい。
【００８８】
例えば、上記実施形態では、制御部８００が複数のスライスを初期配置する場合について説明した。この場合において、検者が各スライスの位置関係を目視で確認しながら、各スライスの位置を調節するための手動調節手段が設けられていてもよい。例えば、制御部８００は、初期配置の完了後、モニタ８５０に複数のスライスを初期配置の位置関係で並べて表示すると共に、初期配置されたスライスの少なくとも１つの位置関係を調整するための信号を、操作入力部８０２から受け付けるようにしてもよい。そして、制御部８００は、操作入力部８０２からの信号に応じて初期配置されたスライスの位置関係を調節するようにしてもよい。例えば、固視不良の眼（例えば、中心視野が欠けている眼）では、スライスの正確な取得位置を特定できず、取得位置情報に基づく初期配置を精度よく行うことが困難な場合がある。このような場合に、初期配置におけるスライスの位置を手動で調節し、配置精度を高めることができるので、良好なパノラマ画像が得られやすくなる。
【００８９】
また、例えば、Ｎ枚のスライスを一体に接合するためには、少なくともＮ−１回の画像接合処理が行われる必要がある。しかし、例えば、画像接合の優先順位がＮ−１番目までにあるペアの一致度が、閾値よりも低い場合には、撮影装置１は、マッチングが良好に行われなかった旨を検者に知らせ、例えば、手動によるスライスの初期配置の再調整、および、パノラマ画像に使用するスライスの再選択を、促してもよい。
【００９０】
また、上記実施形態では、より一致度の高いペアから順に（つまり、一致度順に）、各スライスの接合が行われる場合について説明したが、必ずしもこれに限られるものではない。例えば、各ペアを、ペアの一致度の高さ別にグループ分けし、より一致度の高いグループに含まれるペアから優先的に画像接合処理が行われる構成であってもよい。この場合、グループ内における画像接合処理の優先順位は、例えば、一致度に応じて設定されてもよいし、アトランダムであってもよい。なお、グループ分けによって、例えば、２つのグループが設定されてもよいし、３つ以上のグループが設定されてもよい（例えば、一致度が高いペアで構成される第1のグループと、第1のグループによりも一致度が低いペアで構成される第２のグループと、更に、第２のグループよりも一致度が低いペアで構成される第３のグループとに分けてもよい。）
また、例えば、各ペアの結合の順序は、各ペアの一致度だけではなく、そのペアにおけるスライス間の重なりの面積を考慮して定められてもよい。２つのスライスが重なる領域の面積が一定以上ある場合には、その２つのスライスの結合箇所の画質が安定する。そこで、制御部８００は、パノラマ画像を形成する際に、ペアとなるスライスにおいて重複部分の面積が閾値よりも少ないペアについては、画像接合処理を行う優先順位を、一致度だけで定められる優先順位（例えば、一致度順に定められる優先順位）に対して低下させてもよい。優先順位を低下させた場合、結果として、そのペアに対する画像接合処理（およびマッチング）が行われなくてもよいし、画像接合処理の順序が、一致度順で定められる順序に対して遅い順序とされてもよい。重複部分の面積が閾値よりも少ないペアについては、画像接合処理を行う優先順位を低く設定することによって、安定して結合されるペアが優先的に結合されるので、良好なパノラマ画像が得られやすくなる。
【００９１】
また、上記実施形態では、位相限定相関法を用いてスライスをマッチングする場合について説明したが、上記の相関マップと同様の情報が得られればよく、必ずしもこれに限定されるものではない。マッチング法としては、例えば、公知のテンプレートマッチング、および画像の特徴点によるマッチング等が利用されてもよい。また、上記実施形態における位相限定相関法（ＰＯＣ）は、平行移動によるマッチングを行う方法であってもよいし、回転不変位相限定相関法（ＲＩＰＯＣ）であってもよい。
【００９２】
また、上記実施形態では、制御部８００は、マッチングにおいて、ペアとなるスライスの一方（一方の位相画像）をテンプレートとし，且つ，他方（他方の位相画像）をテンプレートがマッチングされる参照画像とした場合に得られる相関マップを、テンプレートと参照画像の関係をペアとなる静止画において入れ替えて、２種類取得したうえで、更に、その２種類のうち一方の相関マップを鏡面対称に反転させた反転マップと、他方の相関マップと、の積算結果から前記一致度を得る場合について説明した。しかし、次のような計算手法が提案されており、これを用いることもできる。該計算手法では、２つの位相画像をフーリエ変換によって周波数空間に変換し、変換後の両者の積を求め、積を逆フーリエ変換する。この時、周波数空間を、画像の輪郭情報に限定して、逆変換することによって、相関マップのピーク位置精度を向上できる。
【００９３】
また、上記実施形態において、撮影装置１がスライスを取得する際に、目標とする取得位置は、制御部８００によって自動的に設定される場合について説明したが、必ずしもこれに限られるものではなく、検者によって手動で設定されてもよい。また、検者が手動で目標とするスライスの取得位置を指示する場合、取得位置情報は、例えば、静止画の取得位置を指示するために操作入力部８０２が操作されたときの操作信号と対応する取得位置を示す情報であってもよい。
【００９４】
また、上記実施形態では、各スライスの取得位置情報は、第２撮影ユニット２００によって得られる広角の眼底画像に基づいて得られる場合について説明したが、必ずしもこれに限定されるものではない。例えば、スレイスの取得タイミング毎に前眼部観察ユニット７００を介して得られる前眼部画像に基づいて取得位置情報が得られてもよい。また、眼科装置１が、被検眼の固視方向がそれぞれ異なる複数の固視標を有する構成であれば、各スライスの撮影に使用した固視標の点灯情報も、取得位置情報として利用可能である。
【００９５】
また、例えば、スライスの初期配置が制御部８００によって自動的に行われる構成においては、複数ペアの接合の順序は、例えば、ペアを形成する２枚のスライスの照合度に応じて設定されてもよく、このとき、照合度は、前述のペアにおける一致度とは異なるパラメータであってもよい。本開示において、照合度は、マッチングの精度に（換言すれば、照合の精度）に影響するパラメータであって、例えば、前述の一致度、および２枚のスライスが重なり合う領域の面積等を含み得る概念である。このような構成でも、各スライスの精度のよい初期配置によってパノラマ画像の画質を向上させる効果については、上記実施形態と同様に享受できる。また、パノラマ画像の作成処理において検者の負担を抑制する効果についても、本構成の装置は、上記実施形態と同様に享受できる。
【００９６】
また、上記実施形態においては、撮影装置１の制御系にて、パノラマ画像を作成する場合について説明したが、必ずしもこれに限られるものではない。例えば、撮影装置１とは別体の画像処理装置においてパノラマ画像が作成されてもよい。画像処理装置としては、撮影装置１とは別体の眼科装置が持つ処理装置であってもよいし、汎用のコンピュータ（例えば、パーソナルコンピュータ）であってもよい。画像処理装置は、例えば、撮影素子１が有する受光素子５６からの受光信号に基づく第１眼底画像のスライスであって、被検眼における取得位置が異なるスライスを、複数枚取得し、取得したスライスを繋ぎあわせてパノラマ画像を形成することができる。
【００９７】
この場合、画像処理装置のプロセッサによって実行される画像処理プログラムが格納されたハードディスク等に、上記実施形態の撮影装置１によって実行されるパノラマ画像生成処理（Ｓ５）を、画像処理装置のプロセッサに実行させる画像処理プログラムを用意すればよい。この場合も、上記実施形態の撮影装置１と同様に、パノラマ画像を生成できる。
【００９８】
なお、上記実施形態では、被検眼Ｅの波面収差を測定するために、眼科撮影装置１の光学系に波面センサ７３が設けられた場合について説明したが、必ずしもこれに限られるものではなく、被検眼の波面収差を眼底からの反射光に基づいて測定する構成を備えていればよい。例えば、ＰｈａｓｅＤｉｖｅｒｓｉｔｙ法を用いて、波面収差を測定する場合が考えられる。この方法は、対象の光学系（ここでは、被検眼）に、ＰｈａｓｅＤｉｖｅｒｓｉｔｙと呼ばれる既知の波面収差を持つ測定光を、わざと与えたときに得られる画像を用いて画像処理を行うことによって、対象の光学系の波面収差における波面収差を推定するものである。ＰｈａｓｅＤｉｖｅｒｓｉｔｙを持つ測定光は、例えば、波面補償デバイス７３を所定の状態に制御することによって、生成できる。勿論、他の手法で生成されてもよい。
【００９９】
また、上記実施形態では、眼底を形成する細胞画像の静止画からパノラマ画像を形成する場合について説明したが、被検眼における眼底以外の部位の細胞画像（静止画）からパノラマ画像を生成する場合においても、本開示の技術が使用されてもよい。例えば、場合に本開示の技術を用いて、角膜内皮細胞画像のパノラマ画像を生成してもよい。
【符号の説明】
【０１００】
１          撮影装置
８００      制御部
８０１      記憶部
８０３      画像処理ＩＣ
ＴＢ→Ａ，ＴＡ→Ｂ      相関マップ
ＴＴＡ→Ｂ    反転マップ
【図１】
0006515504.tif 000003
【図２】
0006515504.tif 000004
【図３】
0006515504.tif 000005
【図４】
0006515504.tif 000006
【図５】
0006515504.tif 000007
【図６】
0006515504.tif 000008
【図７】
0006515504.tif 000009
【図８】
0006515504.tif 000010
【図９】
0006515504.tif 000011
【図１０】
0006515504.tif 000012
【図１１】
0006515504.tif 000013
【図１２】
0006515504.tif 000014
【図１３】
0006515504.tif 000015
【図１４】
0006515504.tif 000016