(57)【要約】【課題】  硝子体領域等の注目部位を従来よりも好適に確認可能な動画を取得する。【解決手段】  画像処理装置が、異なる時間に被検眼の少なくとも硝子体を含む領域を撮影して得た複数の断層画像を用いて、該複数の断層画像に比べて高画質な複数の新たな断層画像を生成する生成手段と、複数の新たな断層画像から基準画像を選択する画像選択手段であって、硝子体領域よりも深い位置の領域が断層画像上で存在する位置が、他の断層画像に比べて深い位置である断層画像を、基準画像として選択する画像選択手段と、少なくとも深さ方向において基準画像に対する他の断層画像の位置合わせを行う位置合わせ手段と、位置合わせを行うことで得た複数の新たな断層画像を動画として表示手段に表示させる表示制御手段と、を有する。【選択図】  図１５
2020065811.tif 000002
【特許請求の範囲】
【請求項１】
異なる時間に被検眼の少なくとも硝子体を含む領域を撮影して得た複数の断層画像を用いて、該複数の断層画像に比べて高画質な複数の新たな断層画像を生成する生成手段と、
前記複数の新たな断層画像から基準画像を選択する画像選択手段であって、硝子体領域よりも深い位置の領域が断層画像上で存在する位置が、他の断層画像に比べて深い位置である断層画像を、前記基準画像として選択する画像選択手段と、
少なくとも深さ方向において前記基準画像に対する他の断層画像の位置合わせを行う位置合わせ手段と、
前記位置合わせを行うことで得た複数の新たな断層画像を動画として表示手段に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像選択手段は、前記複数の新たな断層画像が生成される前に、前記複数の断層画像を分類して得た画像群毎に基準画像を選択し、
前記位置合わせ手段は、前記複数の新たな断層画像が生成される前に、前記画像群毎に選択された基準画像に対する他の断層画像の位置合わせを行い、
前記生成手段は、前記画像群毎に前記新たな断層画像を生成することにより、前記複数の新たな断層画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記位置合わせ手段は、互いに異なる複数の方向それぞれにおける複数の断層画像の第一の位置合わせ及び第二の位置合わせを前記画像群毎に行った後に、前記画像群毎に選択された基準画像に対する他の断層画像における複数の部分領域それぞれの第三の位置合わせを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像選択手段は、前記第一の位置合わせ及び前記第二の位置合わせの少なくとも一つの位置合わせ結果を用いて、前記画像群毎に基準画像を選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記画像群毎に選択された複数の断層画像の加算平均処理を行うことにより、前記複数の新たな断層画像を生成し、
前記画像選択手段は、前記加算平均処理が行われる前に、前記第一の位置合わせ及び前記第二の位置合わせの少なくとも一つの位置合わせ結果を用いて、前記画像群毎に前記加算平均処理に用いられる複数の断層画像を選択することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記位置合わせ手段は、前記画像群毎に複数の断層画像を画像処理して得た前記複数の方向のうち１つの方向に関する複数のライン投影像の類似度を用いて、前記１つの方向における前記第一の位置合わせを行った後に、前記画像群毎に複数の断層画像から検出された網膜層の境界線情報を用いて前記複数の方向のうち他の方向における前記第二の位置合わせを行い、前記第二の位置合わせを行った後に前記第三の位置合わせを行うことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記位置合わせ手段は、前記第一の位置合わせ及び前記第二の位置合わせを行った後に、前記他の断層画像における網膜層の境界線情報を用いて且つ互いに重複するように設定された前記複数の部分領域それぞれの前記第三の位置合わせを前記画像群毎に行うことを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記複数の新たな断層画像が生成される前に、隣り合う画像群が共通する断層画像を含むように前記複数の断層画像を複数の画像群に分類する分類手段を更に有することを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、学習済モデルを用いて、前記複数の断層画像それぞれから、該複数の断層画像と比べて高画質な前記複数の新たな断層画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記複数の断層画像の撮影期間内の異なる時間に前記被検眼を撮影して得た複数の眼底画像のフレームレートと前記複数の断層画像のフレームレートとを対応させて、前記複数の眼底画像及び前記複数の断層画像を動画として並べて前記表示手段に表示させることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記深い位置の領域は、網膜領域であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
異なる時間に被検眼の少なくとも硝子体を含む領域を撮影して得た複数の断層画像を用いて、該複数の断層画像に比べて高画質な複数の新たな断層画像を生成する工程と、
前記複数の新たな断層画像から基準画像を選択する画像選択手段であって、硝子体領域よりも深い位置の領域が断層画像上で存在する位置が、他の断層画像に比べて深い位置である断層画像を、前記基準画像として選択する工程と、
少なくとも深さ方向において前記基準画像に対する他の断層画像の位置合わせを行う工程と、
前記位置合わせを行うことで得た複数の新たな断層画像を動画として表示手段に表示させる工程と、
を有することを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  Ｔｏｍｏｇｒａｐｈｙ）などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。ＯＣＴの形態として、例えば、広帯域な光源とマイケルソン干渉計を組み合わせたＴＤ−ＯＣＴ（Ｔｉｍｅ  ｄｏｍａｉｎ  ＯＣＴ）がある。これは、参照アームの遅延を走査することで、信号アームの後方散乱光との干渉光を計測し、深さ分解の情報を得るように構成されている。しかし、このようなＴＤ−ＯＣＴでは高速な画像取得は難しい。そのため、より高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得するＯＣＴとして、ＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ  ｄｏｍａｉｎ  ＯＣＴ）が知られている。また、光源として、高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ−ＯＣＴ（Ｓｗｅｐｔ  Ｓｏｕｒｃｅ  ＯＣＴ）が知られている。そして、近年では、ＯＣＴの進歩により網膜だけではなく硝子体も見ることが出来るようになってきた。
ここで、ＯＣＴ撮影前に硝子体領域を適正に動画観察するために、他の領域よりも硝子体領域が好適になるように画像処理することで動画を取得する技術が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１８５０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、例えば、ＯＣＴにより網膜に対する硝子体の状態（剥離部分の動きや固定部分等）の観察をすることができれば、硝子体の手術前の計画等に役立つことが考えられる。このとき、硝子体領域等の注目部位を従来よりも好適に確認可能な動画を取得することが望ましく、例えば、他の領域（例えば、網膜領域）の位置ずれが低減されている方が望ましい。
【０００５】
本発明の目的の一つは、硝子体領域等の注目部位を従来よりも好適に確認可能な動画を取得することである。
【課題を解決するための手段】
【０００６】
本発明の一態様による画像処理装置は、
異なる時間に被検眼の少なくとも硝子体を含む領域を撮影して得た複数の断層画像を用いて、該複数の断層画像に比べて高画質な複数の新たな断層画像を生成する生成手段と、
前記複数の新たな断層画像から基準画像を選択する画像選択手段であって、硝子体領域よりも深い位置の領域が断層画像上で存在する位置が、他の断層画像に比べて深い位置である断層画像を、前記基準画像として選択する画像選択手段と、
少なくとも深さ方向において前記基準画像に対する他の断層画像の位置合わせを行う位置合わせ手段と、
前記位置合わせを行うことで得た複数の新たな断層画像を動画として表示手段に表示させる表示制御手段と、を有する。
【発明の効果】
【０００７】
本発明の一つによれば、硝子体領域等の注目部位を従来よりも好適に確認可能な動画を取得することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理システムの構成を示す図。
【図２】眼部の構造と断層画像と眼底画像を説明するための図。
【図３】画像処理システムにおける処理の流れを示すフローチャート。
【図４】大局位置合わせ処理の流れを示すフローチャート。
【図５】局所位置合わせ処理の流れを示すフローチャート。
【図６】投影像を説明するための図。
【図７】ライン投影像位置合わせを説明するための図。
【図８】境界線位置合わせを説明するための図。
【図９】基準画像選択を説明するための図。
【図１０】位置合わせと画像選択を説明するための図。
【図１１】大局位置合わせによる画像変形を説明するための図。
【図１２】局所位置合わせを説明するための図。
【図１３】局所位置合わせを説明するための図。
【図１４】高画質化に用いる画像選択を説明するための図。
【図１５】深度方向の位置合わせを説明するための図。
【図１６】画像を表示する画面を説明するための図。
【図１７（ａ）】画像を表示する画面を説明するための図。
【図１７（ｂ）】画像を表示する画面を説明するための図。
【図１８】画像処理システムの構成を示す図。
【図１９】高画質化に用いる画像選択を説明するための図。
【図２０】画像処理システムの構成を示す図。
【図２１】装置の撮影タイミングを説明するための図。
【発明を実施するための形態】
【０００９】
［実施例１］
以下、図面を参照しながら、本発明の第１の実施形態について説明する。なお、本実施形態に係る画像処理装置の一つは、硝子体領域等の注目部位を従来よりも好適に確認可能な動画を取得することを特徴としている。このとき、本実施形態に係る画像処理装置の一つは、例えば、高画質な複数の新たな断層画像から基準画像を選択する際に、硝子体領域よりも深い位置の領域（例えば、網膜領域）が断層画像上で存在する位置が、他の断層画像に比べて深い位置である断層画像を、基準画像として選択することができる。これにより、例えば、網膜領域に対する硝子体領域の状態（剥離部分の動きや固定部分等）を好適に観察することができる。なお、本実施形態によれば、固視微動などにより、二次元断層画像内の網膜層が変形している場合においても高画質な二次元断層画像を取得することが可能となる。ここで、高画質とは一度の撮影と比較してＳ／Ｎ比が向上している画像をいう。または、診断に必要な情報量が増えている画像のことをいう。
【００１０】
以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。
【００１１】
図１は、本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して断層画像撮影装置（ＯＣＴとも言う）２００、眼底画像撮影装置４００、外部記憶部５００、表示部６００、入力部７００と接続されることにより構成されている。
【００１２】
断層画像撮影装置２００は、眼部の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えばＳＤ−ＯＣＴやＳＳ−ＯＣＴからなる。本実施形態においては、網膜や硝子体を撮影するため、広角で高深達なＳＳ−ＯＣＴが望ましい。なお、撮影範囲は広い方が良く、例えば、１６ｍｍ以上とすることが望ましく、２０ｍｍ以上であればなお良い。また、深さ方向も２．６ｍｍ以上であることが望ましく、４ｍｍ以上であればなお良い。ここで、断層画像撮影装置２００は既知の装置であるため詳細な説明は省略し、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。
【００１３】
図１において、ガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。
【００１４】
フォーカス２０３は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、不図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。
【００１５】
内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。
【００１６】
コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について図２を用いて説明する。
【００１７】
図２（ａ）に眼球の模式図を示す。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。本実施形態に係る断層画像撮影装置２００は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、本発明では説明をしないが、断層画像撮影装置２００は、角膜、水晶体の前眼部を撮影することも可能である。
【００１８】
図２（ｂ）に断層画像撮影装置２００が取得する網膜を撮影した場合の断層画像の例を示す。図２（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表す。このＡスキャンが複数集まって一つのＢスキャンを構成する。そしてこのＢスキャンのことを断層画像（あるいは断層像）と呼ぶ。図２（ｂ）において、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。
【００１９】
図２（ｃ）に眼底画像撮影装置４００が取得する眼底画像の例を示す。眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ  Ｌａｓｅｒ  Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。図２（ｃ）において、Ｍは黄斑部、Ｄは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（ＯＣＴの副走査方向）をｙ軸とする。なお、断層画像撮影装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。
【００２０】
画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、指示部３０４、表示制御部３０５、出力部３０６を備える。画像取得部３０１は、断層画像生成部３１１からなり、断層画像撮影装置２００により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成を行う。また、眼底画像撮影装置４００により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部３０２に格納する。画像処理部３０３は、検出部３３１、第一の位置合わせ部３３２、第二の位置合わせ部３３３、画像選択部３３４、第三の位置合わせ部３３５、画像合成部３３６、第四の位置合わせ部３３７、データ選択部３３８からなる。
【００２１】
検出部３３１は、網膜から各層の境界線を検出する。第一の位置合わせ部３３２は、網膜の横方向（ｘ軸）の位置合わせを行う。第二の位置合わせ部３３３は、網膜の深さ方向（ｚ軸）の位置合わせを行う。画像選択部３３４は、複数の断層画像から位置合わせの基準となる断層画像を選択すると共に、加算平均をする断層画像を選択する。第三の位置合わせ部３３５は、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを同時に行う。画像合成部３３６は、画像選択部３３４が選択した断層画像を加算平均する。第四の位置合わせ部３３７は、画像合成部３３６により新たに生成された複数の画像間の深さ方向（ｚ軸）の位置合わせを行う。データ選択部３３８は、画像取得部３０１によって取得された複数の断層画像から、高画質化に用いる複数の画像を選択する。
【００２２】
外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。
【００２３】
入力部７００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部７００を介して、画像処理装置３００や断層画像撮影装置２００、眼底画像撮影装置４００へ指示を行う。
【００２４】
次に、図３を参照して本実施形態の画像処理装置３００の処理手順を示す。図３（ａ）は、本実施形態における本システム全体の動作処理、図３（ｂ）は、本実施形態における高画質画像生成処理の流れを示すフローチャートである。
【００２５】
＜ステップＳ３０１＞
ステップＳ３０１では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。
【００２６】
＜ステップＳ３０２＞
ステップＳ３０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が不図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像のスキャンを行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。
【００２７】
撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４の位置を制御する。スキャンパターンは、ラインスキャン、３次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。なお、どのスキャンパターンを選択したとしても、一つのライン上を繰り返し複数枚（繰り返し回数は２枚以上）撮影する。なお、本実施形態においては、スキャンパターンはラインスキャン、同一箇所を１５００枚繰り返し撮影する場合について説明をする。これら撮影パラメータの調整終了後、操作者が不図示の撮影開始を選択することで撮影を行う。なお、本発明においては説明を省略するが、断層画像撮影装置２００は、加算平均用に同じ場所（一つのライン）を撮影するために、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行う。
【００２８】
＜ステップＳ３０３＞
ステップＳ３０３では、断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。
【００２９】
まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行う事によって断層信号を生成する。
【００３０】
＜ステップＳ３０４＞
ステップＳ３０４では、画像処理部３０３が合成画像生成を行う。画像処理部３０３の処理について、図３（ｂ）、図４、図５のフローチャートと、図６〜図１３を用いて説明をする。
【００３１】
＜ステップＳ３４０＞
ステップＳ３４０では、分類手段の一例であるデータ選択部３３８が、断層画像撮影装置２００が同一箇所を複数回繰り返し撮影した画像から加算平均を行う画像群の選択を行う。これに関して図１４を用いて説明を行う。図１４において、Ｓ１〜Ｓｍが同一箇所を繰り返し撮影した断層画像の例である。本実施形態においては、同一箇所を１５００枚撮影しているため、ｍは１５００である。Ｓ’１〜Ｓ’ｎは１５００枚の断層画像をｎ群に分割（分類）する例である。例えば、高画質化処理をするために用いる画像数を５枚とすると、ｎは３００となる。そのため、本実施形態の場合、ステップＳ３４１〜ステップＳ３４６は３００回繰り返すことになる。このとき、例えば、複数の断層画像を分類して得た画像群毎に基準画像が選択される。また、例えば、画像群毎に選択された基準画像に対する他の断層画像の位置合わせが行われる。また、例えば、画像群毎に高画質な新たな断層画像が生成される（例えば、加算平均処理が行われる）ことにより、高画質な複数の新たな断層画像が生成される。
【００３２】
＜ステップＳ３４１＞
ステップＳ３４１では、検出部３３１は、断層画像撮影装置２００が撮影した複数の断層画像において網膜層の境界線を検出する。検出部３３１は、図２（ｂ）の断層画像においてＬ１〜Ｌ６の各境界のいずれかを検出する。処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。
【００３３】
＜ステップＳ３４２＞
ステップＳ３４２では、複数の断層画像間において網膜の横方向（ｘ軸）の位置合わせと、網膜の深さ方向（ｚ軸）の位置合わせをそれぞれ行う。なお、ここでの位置合わせは大局位置合わせとして説明をする。大局位置合わせＳ３４２の方法について、図４のフローチャートを用いて説明をする。
【００３４】
＜ステップＳ３４２１＞
ステップＳ３４２１では、各断層画像をそれぞれ位置合わせした場合の位置合わせパラメータを保存するための２次元行列を初期化する。各行列の要素には、位置合わせ時の変形パラメータや画像類似度などの画像高画質化に必要な情報をまとめて保存する。
【００３５】
＜ステップＳ３４２２＞
ステップＳ３４２２では、第一の位置合わせ部３３２は、ライン投影像を作成する。ライン投影像とその作成方法について図６を用いて説明をする。図６（ａ）は１枚の断層画像の模式図を表す。断層画像において、Ｌ１〜Ｌ６は境界線、ＡＳはＡスキャン、Ｖｅｓｓｅｌは血管を表す。なお、図６（ａ）において、血管は２本の縦線で囲まれた領域で示しており、浅層部の血管により、深層部の方は影が生じている様子を表している。ライン投影像とは、各Ａスキャン単位で断層画像をＺ軸方向に加算平均して作成した画像の事を意味する。図６（ｂ）に１枚の断層画像から作成したライン投影像の模式図を示す。本実施形態においては、同一箇所を複数枚撮影した断層画像を用いて高画質化処理を行うため、断層画像は複数枚撮影する。そのため、同一箇所を複数枚撮影した断層画像群から作成したライン投影像の一例を図６（ｃ）に示す。図６（ｃ）において、横軸は断層画像と同じＸ、縦軸はｔで時間軸を表す。断層画像において血管下部には影が出来るため周囲と比較して輝度値が低くなる。そのため、ライン投影像で見た場合に血管に相当する個所は輝度値が低くなる。
【００３６】
＜ステップＳ３４２３＞
ステップＳ３４２３では、位置合わせ対象を選択する。本実施形態においては、全ての断層画像を基準画像に設定して残りの断層画像と位置合わせを行う。そのため、ステップＳ３４２３においては、Ｉｎｄｅｘ０の断層画像を基準とする場合に、Ｉｎｄｅｘ１〜１４９とそれぞれ位置合わせを行う。次に、Ｉｎｄｅｘ１の断層画像を基準とする場合には、Ｉｎｄｅｘ２〜１４９とそれぞれ位置合わせを行う。次に、Ｉｎｄｅｘ２の断層画像を基準とする場合には、Ｉｎｄｅｘ３〜１４９とそれぞれ位置合わせを行う。これらの処理を繰り返す。繰り返しの判定は後述のステップＳ３４２８で行う。
【００３７】
なお、ここで示したように基準画像のＩｎｄｅｘを１つずつ繰り上げた場合に、位置合わせの対象とする画像のスタートＩｎｄｅｘも１つずつ大きくする。これについてＩｎｄｅｘ２の断層画像を基準とする場合について説明をする。Ｉｎｄｅｘ２を基準とする場合に、Ｉｎｄｅｘ０とＩｎｄｅｘ１、Ｉｎｄｅｘ０とＩｎｄｅｘ２、Ｉｎｄｅｘ１とＩｎｄｅｘ２の位置合わせは、それまでの処理により既に位置合わせ済みである。そのため、Ｉｎｄｅｘ２の断層画像を基準とする場合には、Ｉｎｄｅｘ３から位置合わせをすればよい。これにより、全部の断層画像同士の位置合わせとはいえ、半分の組み合わせを計算すればよいことになる。
【００３８】
＜ステップＳ３４２４＞
ステップＳ３４２４では、第一の位置合わせ部３３２は、複数の断層画像間において網膜の横方向（ｘ軸）の位置合わせを行う。ここで、横方向位置合わせには、ステップＳ３４２２で作成したライン投影像を用いる。ライン投影像位置合わせについて図７を用いて説明をする。図７（ａ）は、同一箇所を複数枚撮影した断層画像群から作成したライン投影像の一例を示す。図７（ａ）において、血管部分に注目すると、撮影時に被検眼のトラッキングを行っていてもわずかにずれがあることが分かる。そのため、ここではその位置ずれを補正する。ここでは、画像データを用いているが、位置合わせ時の画像データは図７（ｂ）に示すように１次元データとなる。図７（ｂ）では、Ｉｎｄｅｘ０とＩｎｄｅｘ１のライン投影像であり、画像サイズは１０２４×１である。Ｉｎｄｅｘ０を基準としてＩｎｄｅｘ１のＲＯＩの範囲の画像を位置合わせする。ＲＯＩのサイズは、画像サイズよりも横方向を小さく、縦方向は同じサイズを設定する。例えば、ＲＯＩのサイズを１０００×１とする。画像同士の位置合わせ処理としては、例えば、２つのライン投影像の類似度を表す評価関数を事前に定義しておき、ライン投影像位置をずらしながら評価値を計算し、評価値が最もよくなる場所を位置合わせ結果とする。評価関数としては、画素値で評価する方法が挙げられる（例えば、相関係数を用いて評価を行う方法が挙げられる）。
【００３９】
類似度を表す評価関数として相関係数を用いた場合の式を数１に示す。
【００４０】
【数１】
2020065811.tif 000003
【００４１】
数１において、１枚目のライン投影像の領域をｆ（ｘ，  ｚ）、２枚目のライン投影像の領域をｇ（ｘ，  ｚ）とする。
【００４２】
【数２】
2020065811.tif 000004
、
【００４３】
【数３】
2020065811.tif 000005
は、それぞれ領域ｆ（ｘ，  ｚ）と領域ｇ（ｘ，  ｚ）の平均を表す。なお、ここで領域とは位置合わせに用いるための画像領域であり、通常ライン投影像のサイズ以下の領域が設定され、上述したＲＯＩサイズが設定される。
【００４４】
また、評価関数としては、これに限らずＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）でもよく、画像の類似度あるいは相違度を評価出来ればよい。
【００４５】
あるいは、ＰＯＣ（Ｐｈａｓｅ  Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。
【００４６】
ライン投影像で位置合わせを行うため、画像の位置合わせが１次元となり、高速かつ安定して横方向の位置合わせを行うことが出来る。また、画像特徴が似ているか否かという情報も計算しておくことが出来る。
【００４７】
＜ステップＳ３４２５＞
ステップＳ３４２５では、ステップＳ３４１で検出した境界線情報を取得する。なお、取得する境界線は、現在の位置合わせ対象の断層画像の境界線情報だけである。例えば、Ｉｎｄｅｘ０とＩｎｄｅｘ１の境界線情報を取得する。
【００４８】
＜ステップＳ３４２６＞
ステップＳ３４２６では、第二の位置合わせ部３３３は、網膜の深さ方向（ｚ軸）の位置合わせを行う。ここで、深さ方向の位置合わせにおいては境界線情報を用いる。境界線情報位置合わせについて、図８を用いて説明をする。図８（ａ）は、位置合わせに用いる境界線の例を示している。本実施形態においては、境界線Ｌ１（ＩＬＭ）と境界線Ｌ３（ＩＳＯＳ）を用いる場合について説明をする。
【００４９】
図８（ａ）において、基準画像をＩｎｄｅｘ０、対象画像をＩｎｄｅｘ１としている。基準画像と対象画像とは、ステップＳ３４２４で横方向の位置合わせがされている。そのため、基準となる境界線Ｌ１、Ｌ３と、横方向位置合わせパラメータで補正した位置合わせ対象の境界線Ｌ１’、Ｌ３’とを用いて深さ方向の位置合わせをする。
【００５０】
図８（ｂ）に、説明のために基準画像の境界線Ｌ１、Ｌ３と位置合わせ対象の境界線Ｌ１’、Ｌ３’とを同時に表示する。図８（ｂ）において、境界線を縦方向にＮ分割している。それぞれの領域はＡｒｅａ０〜ＡｒｅａＮ−１とする。なお、図８（ｂ）において、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。そして、上下矢印Ｄｉｆｆｅｒｅｎｃｅ１は、Ｌ１とＬ１’との差を表し、上下矢印Ｄｉｆｆｅｒｅｎｃｅ３は、Ｌ３とＬ３’との差を表す。これらの差は、それぞれの領域Ａｒｅａ０〜ＡｒｅａＮ−１それぞれにおいて求める。これは横方向の画像サイズに応じて変更しても良い。あるいは、共通して検出した境界線の横幅のサイズに応じて変更しても良い。本実施例では簡単のため、横方向の境界線サイズを同じで表示しているが、実際には、網膜層が画像の上方向にずれ（Ｚ軸で０の方向）、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体で境界線が検出出来ない。そのため、境界線同士の位置合わせにいては、基準画像の境界線Ｌ１、Ｌ３と位置合わせ対象の境界線Ｌ１’、Ｌ３’との境界線が検出出来ている範囲をＮ分割して位置合わせをすることが望ましい。なお、以下では、分割数Ｎを１２として説明をする。
【００５１】
図８（ｂ）において各領域のＤｉｆｆｅｒｅｎｃｅ１とＤｉｆｆｅｒｅｎｃｅ３との平均をそれぞれＤ０ｔ〜Ｄ１１ｔとする。すなわち、ＩＬＭとＩＳＯＳとの差の平均をその領域の差分の代表値とする。次に各領域で求めた代表値Ｄ０ｔ〜Ｄ１１ｔを小さい順にソートする。そして、ソートした代表値を小さい順からＭ個用いて、平均と分散を計算する。なお、本実施形態ではＭ個は８個とする。しかし、数はこれに限定されない。Ｍの数はＮよりも小さければよい（Ｍ＜Ｎ）。平均と分散の計算は、ソートした代表値を一つずつずらして計算する。すなわち、本実施形態では１２個に分割した領域のうち８個の代表値を用いて計算をするため、全部で５個の平均値と分散値が求まる。次に、求めた５個の分散値の中で最小となる分散値に対応する平均値を深さ方向のシフト値とする。例えば、５個の分散値の中で最小となる分散値がＶａｒ０とする場合、深さ方向のシフト値はＡｖｇ０となる。このように境界線位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線検出に誤りがあったとしても、それらの領域の値は使用しない。そのため、安定して深さ方向のシフト値を計算することが出来る。なお、深さ方向のシフト値として平均値としたが中央値でも良く、代表的な値を用いることが出来ればよい。さらに、バラつきの値として分散値としたが標準偏差でもよく、値のバラつきを評価出来る指標であればよい。
【００５２】
最後に、上記で求めた深さ方向のシフト値を用いて境界線全体をＺ方向にシフトさせる。この例を図８（ｃ）に示す。再度各領域Ａｒｅａ０〜ＡｒｅａＮ−１で差分値を計算する。そして、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１を小さい順にソートする。そして、ソートした代表値を小さい方からＭ個だけ用いて平均値を計算する。この平均値をｇｌｏｂａｌＤｉｓｔａｎｃｅとする。それにより、基準画像と対象画像とをＸ方向とＺ方向とに位置合わせした後の境界線同士の最終的な位置ずれ量（ｇｌｏｂａｌＤｉｓｔａｎｃｅ）が求まる。
【００５３】
なお、深さ方向のシフト値を計算するための分割数Ｎと選択数Ｍと、最終的な位置ずれ量（ｇｌｏｂａｌＤｉｓｔａｎｃｅ）を計算する際の分割数ＮとＭを同じとして説明をしたが、これに限らない。これらの数は別々でもよいし同じでもよい。例えば、シフト値を計算するための分割数Ｎは１２、選択数Ｍは８として、位置ずれ量（ｇｌｏｂａｌＤｉｓｔａｎｃｅ）を計算するための分割数Ｎは１５、選択数Ｍは１０としても良い。
【００５４】
また、図８（ｃ）では、説明のため境界線自体をシフトさせているが、データを実際にシフトさせなくとも、差分値を計算する式において、深さ方向のシフト値を考慮して各領域の差分値を求めても良い。
【００５５】
＜ステップＳ３４２７＞
ステップＳ３４２７では、ステップＳ３４２１で初期化した位置合わせや画像類似度などの画像高画質化に必要なパラメータを保存するための２次元行列に対して値を保存する。例えば、基準画像をＩｎｄｅｘ０、対象画像をＩｎｄｅｘ１とする場合、２次元行列の要素（０、１）に横方向の位置合わせパラメータＸ、深さ方向の位置合わせパラメータＺ、各領域での差分値の代表値Ｄ０〜Ｄ１１、ｇｌｏｂａｌＤｉｓｔａｎｃｅ、画像類似度を保存する。これらの情報の他に、まばたき等により画像が暗く境界線があまり検出出来ていない画像には、境界線検出の結果としてｆａｌｓｅのフラグを保存しても良い。さらに、本実施形態では説明をしないが、境界線位置合わせにおいて、境界線自体を回転させて位置合わせする場合、回転角度、回転軸の中心座標を保存しても良い。さらに倍率補正を行う場合には、倍率を保存しても良い。
【００５６】
＜ステップＳ３４２８＞
ステップＳ３４２８では、全ての画像を基準画像として残りの対象画像と位置合わせを行ったか否かを判定する。全ての画像を基準として処理をしていない場合には、ステップＳ３４２３に戻る。そして、全ての画像を基準として処理をした場合には、ステップＳ３４２９に進む。
【００５７】
＜ステップＳ３４２９＞
ステップＳ３４２９では、２次元行列の残りの要素を更新する。上記処理は、ステップＳ３４２３で説明したように、半分の組み合わせしか計算をしていない。そのため、計算をしていない要素にこれらの値をコピーする。例えば、２次元行列の要素（０、１）のパラメータは（１、０）の要素にコピーされる。すなわち、要素（ｉ、ｊ）を要素（ｊ、ｉ）にコピーする。この際、位置合わせパラメータＸ、Ｚと回転角度は逆になるため、負の値を掛けてコピーをする。なお、画像類似度などは逆にならないため、同じ値をそのままコピーする。
【００５８】
これらの処理により大局位置合わせが行われる。上記フローにおいて、Ｘ方向位置合わせの後にＺ方向位置合わせを行ったが、Ｚ方向位置合わせの後にＸ方向位置合わせを行うようにしても良い。さらには、Ｘ方向位置合わせ後にＺ方向位置合わせ、再度Ｘ方向位置合わせ後にＺ方向位置合わせのように、何度か位置合わせを繰り返すようにしても良い。次に、図３（ｂ）の処理フローに戻って説明を行う。
【００５９】
＜ステップＳ３４３＞
ステップＳ３４３では、画像選択部３３４が基準画像の選択を行う。ステップＳ３４２で行った大局位置合わせの結果に基づいて基準画像選択を行う。ステップＳ３４２において、２次元行列を作成しており、行列の各要素に高画質化画像生成に必要な情報が保存されている。そのため、その情報を用いることで基準画像選択を行う。基準画像選択において、境界線検出フラグが保存してある場合はその情報を用いると共に、横方向位置合わせで求めた画像類似度と、深さ方向位置合わせで求めた各領域で求めた差分値の代表値Ｄ０〜Ｄ１１の値を用いる。具体的には、Ｉｎｄｅｘ０の場合において、２次元行列の要素（０、０）〜（０、１４９）の範囲で、境界線検出フラグがＴｒｕｅかつ、画像類似度が閾値以内、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内となるものをカウントする。同様に、Ｉｎｄｅｘ１の場合において、２次元行列の要素（１、０）〜（１、１４９）の範囲で、境界線検出フラグがＴｒｕｅかつ、画像類似度が閾値以内、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内となるものをカウントする。これらの処理を全ての画像において同様に行う。
【００６０】
ここで、画像類似度と各領域で求めた差分値の代表値Ｄ０〜Ｄ１１の条件を満たす場合の例について図９を用いて説明を行う。図９（ａ）の図は、画像類似度と各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内の条件を同時に満たす場合の例を示しており、図の斜線部分がそれにあたる。図９（ｂ）の図は、画像類似度の条件を満たす数と、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内の条件を満たす数の合計の例を示しており、図の斜線部分がそれにあたる。本実施形態では、図９（ａ）のように両方の条件を同時に満たす場合で説明をしているが、これに限らない。図９（ｂ）のように、それぞれの条件を独立して満たし、これらの数の合計をカウントするようにしても良い。なお、この基準画像選択においても１２領域中８領域という数値に限らず他の数値でもよい。
【００６１】
そして、上記の条件で最大の数となる断層画像を基準画像として選択する。カウント数が同じになるものがいくつか存在する場合には、画像類似度の合計値あるいは平均値が最大となるもの、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が閾値以内となる数の合計値が最大となるもの、ｇｌｏｂａｌＤｉｓｔａｎｃｅの合計値あるいは平均値が最小となるもの、検出している境界線の長さが最大のもの、境界線の深さ方向の位置が中心に近い位置に存在しているものなど、その他の評価値と合わせて基準画像を選択するようにしても良い。これらは一つではなく複数組み合わせて用いても良い。さらには、カウント数が同じになった場合の絞り込みの判定条件に用いるだけではなく、基準画像選択において条件を満たす画像をカウントする際に用いるようにしても良い。
【００６２】
＜ステップＳ３４４＞
ステップＳ３４４では、画像選択部３３４が加算画像の選択を行う。加算画像の選択では、ステップＳ３４３で求めた基準画像に対して、他の画像が条件を満たしているか否かで判定を行う。加算画像の選択においては、画像選択フラグを設定しておき、条件を満たす場合はＴｒｕｅ、満たさない場合（例えば、まばたき等により画像が暗いものや、境界線検出が不正となっているもの）はＦａｌｓｅに設定をする。加算画像選択の条件としては、例えば、ステップＳ３４３と同様に、境界線検出フラグがＴｒｕｅかつ、画像類似度が閾値以内で、各領域で求めた差分値の代表値Ｄ０〜Ｄ１１が１２領域中８領域以上において閾値以内となるものをカウントする。なお、加算画像選択と基準画像選択においては、それぞれの閾値を変更するようにしても良い。例えば、基準画像選択においては閾値の条件を厳しくし、加算画像選択では基準画像選択よりは条件を緩くするようにしても良い。あるいは、基準画像選択と加算画像選択の条件を同じにしてもよい。
【００６３】
図１０に第一の位置合わせ部３３２、第二の位置合わせ部３３３、画像選択部３３４によって位置合わせされた後に選択された断層画像を用いて作成したライン投影像の例を示す。図１０（ａ）は位置合わせ前の断層画像から作成したライン投影像、図１０（ｂ）は位置合わせ後の断層画像から作成したライン投影像、図１０（ｃ）は、位置合わせ後に選択された断層画像を用いて作成したライン投影像となる。血管の特徴に注目すると、図１０（ｂ）では、図１０（ａ）よりも血管の特徴が直線的に揃っている。さらに、図１０（ｃ）では、局所的に血管がずれている部分が除外され、ほぼ同じ位置を撮影した画像のみが選択されている。
【００６４】
＜ステップＳ３４５＞
ステップＳ３４５では、第三の位置合わせ部３３５は、基準画像と選択された複数の断層画像間において、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを同時に行う。なお、ここでの位置合わせは局所位置合わせとして説明をする。第三の位置合わせ部３３５が行う局所位置合わせＳ３４５の方法について、図５のフローチャートを用いて説明をする。
【００６５】
＜ステップＳ３４５１＞
ステップＳ３４５１では、ステップＳ３４４において選択済みの画像か否かで処理を分ける。画像選択フラグがＴｒｕｅの場合は、ステップＳ３４５２に進み、画像選択フラグがＦａｌｓｅの場合は、ステップＳ３４５９に進む。
【００６６】
＜ステップＳ３４５２＞
ステップＳ３４５２では、後述する加算平均処理のためにマスク画像を生成する。マスク画像は、例えば、全てのピクセルの値が１．０の画像とする。本実施形態においては全ての値を同じとして説明をするが、マスク画像はこれに限らない。場所に応じて重みをつけても良い。例えば、画像の上下左右の周辺部（数ピクセル程度）の値は１．０よりも小さくするようにしても良い。その場合は、一律で小さくするよりは、画像の中心から端に行くにつれ徐々に値を小さくする方が望ましい。
【００６７】
＜ステップＳ３４５３＞
ステップＳ３４５３では、断層画像（Ｂスキャン）単位で画像変形を行う。これについて、図１１を用いて説明をする。図１１（ａ）は、基準画像と基準のマスク画像、図１１（ｂ）は、対象画像１と対象マスク画像１で右下方向にシフトした例を示している。図１１に示すように、ここでは、ステップＳ３４２の大局位置合わせで求めた位置合わせパラメータＸとＺに基づいて、基準画像以外の断層画像を変形させる。図１１（ｂ）に示す黒い領域は、位置合わせの結果、画像をＸＺ方向にシフトさせたために生じる無効領域を示している。ここには画像データが存在しないため値は０となる。なお、断層画像だけではなく、マスク画像も同じパラメータで変形させておく。
【００６８】
＜ステップＳ３４５４＞
ステップＳ３４５４では、ステップＳ３４１で検出した境界線情報を取得する。なお、取得する境界線は、現在の位置合わせ基準断層画像の境界線情報だけである。本実施形態においては取得する境界線はＬ１とＬ３とする。
【００６９】
＜ステップＳ３４５５＞
ステップＳ３４５５では、対象画像の特徴領域を含むように位置合わせ用の領域を設定する。これについて、図１２を用いて説明をする。
【００７０】
図１２には基準画像と対象画像１を示し、対象画像１には、基準断層画像の境界線情報Ｌ１とＬ３を基にして設定する複数の位置合わせ用の部分領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔｉｎｇ）の例を示す。ＲＯＩの深さ方向サイズは、Ｌ１とＬ３を基準として、それよりもそれぞれ数１０ピクセル程度、上方向と下方向に広く設定する。なお、上下方向に数１０ピクセル程度パラメータを設定する場合において、大局位置合わせの結果を用いてパラメータを補正することがある。これは、図１２の対象画像１に示すように大局位置合わせにおいて、画像全体を下方向にシフトさせている場合、画像の上端部に無効領域が存在する。この場合、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように初期のＲＯＩサイズを補正する必要がある。ＲＯＩの横方向サイズは、画像をＫ分割したサイズから設定する。分割数Ｋは、画像のサイズ（Ａスキャン本数）や画像の撮影サイズ（１０ｍｍ）など、撮影パラメータに合わせて設定をする。例えば、本実施形態において、Ａスキャン本数を１０２４、撮影サイズを１０ｍｍとした場合、分割数Ｋは１０とする。なお、横方向のサイズとＲＯＩの設定値においても大局位置合わせの結果を用いて補正を行う。上下方向のパラメータ同様に横方向においても無効領域が存在することがあるため、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように設定する必要がある。
【００７１】
そして、局所位置合わせ用のＲＯＩは、それぞれ重複するように設定する。これは、ＲＯＩを重複させずに、ＲＯＩのサイズを小さくする場合、ＲＯＩの中に特徴的な部位を含まない場所が存在することがあるためである。例えば、網膜を狭画角（３ｍｍ程度）で撮影した場合、画像内に平坦な組織が広い範囲において写る場合がある。また一方、ＲＯＩを重複させずに、特徴を含むようにＲＯＩの範囲を広く設定すると、局所位置合わせのためのサンプリング数が少なくなり、粗い位置合わせとなってしまうためである。そのため、これらの問題を解決するために、ＲＯＩのＸ方向のサイズを広くして、かつそれぞれのＲＯＩ同士を重複させて設定する。なお、図１２において、画像中心部にＲＯＩを描画していないが、実際には画像の左端から右端まで網膜上にＲＯＩを設定する。さらに、ＲＯＩを設定する間隔は、ＲＯＩ位置合わせ時の探索範囲を考慮するのが望ましい。具体的には、ＲＯＩ位置合わせ時の横方向探索範囲をＸＲとする場合、隣接するＲＯＩの中心座標の間隔が２ＸＲ以上となるように設定をする。これは、中心座標の間隔を２ＸＲ未満とする場合、隣接するＲＯＩ同士の中心位置が入れ替わる可能性があるためである。
【００７２】
＜ステップＳ３４５６＞
ステップＳ３４５６では、ＲＯＩを使って領域位置合わせを行う。領域位置合わせは画像で行う。そのため、ステップＳ３４２４で示したライン投影像位置合わせと同様に数１を用いて画像類似度に応じた位置合わせを行う。ただし、類似度の評価値はこれに限らず、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などでも良い。あるいは、ＰＯＣ（Ｐｈａｓｅ  Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。
【００７３】
画像位置合わせは、対象画像に設定したＲＯＩが基準画像ではどこにあるかを探索する。この際、ステップＳ３４２で行った大局位置合わせの結果を用いてステップＳ３４５３で断層画像の変形を行っているので、基準画像と対象画像とのおおよその位置は合っている。そのため、基準画像での位置合わせの探索範囲は、ＲＯＩの初期位置から上下左右数ピクセルを探索すればよく、最も類似する場所を位置合わせ結果とする。なお、局所位置合わせの類似度の評価値計算において、場所に応じて重み付けをしてもよい。その場合、探索範囲の中心が最も重みが高く（例えば、重み１．０）、探索範囲の外側に行くほど徐々に重みを下げる（例えば、重み０．９）ようにしても良い。重みを変える場合は、１ピクセル毎に滑らかに重みを下げていくのが望ましい。それにより、わずかな差の評価値であった場合、初期位置の方が選択される。
【００７４】
さらに、ＲＯＩの探索範囲は固定でも良いし、撮影画角、撮影部位、画像の場所（端や中心）に応じて変更しても良い。
【００７５】
＜ステップＳ３４５７＞
ステップＳ３４５７では、ステップＳ３４５６で求めた位置合わせパラメータを補間する。これについて、図１３を用いて説明をする。図１３（ａ）は、初期設定した領域のＲＯＩ１〜ＲＯＩ３を表している。Ｃ１〜Ｃ３の下三角はＲＯＩ１〜ＲＯＩ３の中心位置を表している。また、図１３（ｂ）は、ステップＳ３４５６での位置合わせ後のＲＯＩの移動例を示している。図１３（ｂ）においては、ＲＯＩ１とＲＯＩ３がそれぞれ右側に移動し、ＲＯＩ２が移動しない場合の例である。そのため、ＲＯＩの中心Ｃ１とＣ３がそれぞれＣ１’とＣ３’に移動している。各ＲＯＩの移動量からＡスキャンの移動量を算出するためには、隣接するＲＯＩとＲＯＩの中心位置の移動量に基づいて算出をする。例えば、ＲＯＩ１の中心位置はＣ１からＣ１’に移動しており、ＲＯＩ２の中心位置はＣ２のままである。ここで、変形前のＣ１からＣ２の間にある各ＡスキャンのＸ方向移動量を求める式を数２に示す。
【００７６】
【数４】
2020065811.tif 000006
【００７７】
数２において、Ｘ１、Ｘ２は各ＲＯＩの初期中心座標、ΔＸ１、ΔＸ２は各ＲＯＩの中心座標のＸ方向移動量、Ａ＿ｂｅｆｏｒｅは変形前のＡスキャンインデックスの値、Ａ＿ａｆｔｅｒはＡ＿ｂｅｆｏｒｅが参照する、変形前のＡスキャンインデックスの値となる。例えば、Ａ＿ｂｅｆｏｒｅが５５、計算の結果でＡ＿ａｆｔｅｒが５６とする場合、Ａスキャンインデックス５５には、Ａスキャンインデックス５６のＡスキャンデータが入る。なお、Ｚ方向の移動量も数２と同様の考え方に基づき、各ＲＯＩの中心位置の移動量から求めることが出来、上下方向に数ピクセルデータを移動する。なお、Ａ＿ａｆｔｅｒの値は実数でも整数でも良い。実数の場合は、複数のＡスキャンデータから既知の補間方法（ＢｉｌｉｎｅａｒやＢｉｃｕｂｉｃ等）により新しいＡスキャンデータを作成する。整数の場合は、対応するＡスキャンインデックスのデータをそのまま参照する。
【００７８】
＜ステップＳ３４５８＞
ステップＳ３４５８では、ステップＳ３４５７で求めたＡスキャン移動量を基に、Ａスキャン毎にＸ方向とＺ方向に移動させる。それにより、Ａスキャン単位で変形した断層画像を生成することが出来る。なお、断層画像だけではなく、マスク画像も同じパラメータで変形させておく。
【００７９】
＜ステップＳ３４５９＞
ステップＳ３４５９では、基準画像に対して全ての断層画像を局所位置合わせ行ったか否かを判定する。全ての画像を処理していない場合には、ステップＳ３４５１に戻る。そして、全ての画像を局所位置合わせした場合には、局所位置合わせの処理が終了する。
【００８０】
これらの処理により局所位置合わせが行われる。次に、図３（ｂ）の処理フローに戻って説明を行う。
【００８１】
＜ステップＳ３４６＞
ステップＳ３４６では、画像合成部３３６は、画像選択部３３４が選択した基準となる断層画像と、複数の断層画像同士を加算平均する。加算平均処理では、ピクセル毎に、複数の断層画像とマスク画像の値を掛け算した値の合計値ＳＵＭ＿Ａと、複数のマスク画像の値の合計値ＳＵＭ＿Ｂをそれぞれ保持しておく。マスク画像には位置合わせにより画像データが存在しない無効領域が０として保存されているため、マスク画像の合計値ＳＵＭ＿Ｂにはピクセル毎に異なる値が保持されている。通常、位置合わせにおいて上下左右に数１０ピクセルの移動が想定されるため、重ね合わせに用いた画像枚数がＮ枚である場合、画像中心付近のＳＵＭ＿Ｂのピクセル値はＮであり、画像端部のＳＵＭ＿Ｂのピクセル値は、Ｎよりも少ない値になる。
【００８２】
そして、加算平均処理では、ＳＵＭ＿ＡをＳＵＭ＿Ｂで割ることにより加算平均を計算した断層画像を求めることが出来る。
【００８３】
なお、本実施形態においてはステップＳ３４１〜ステップＳ３４６の処理を所望の回数繰り返した後に、ステップＳ３４７に処理を進める。
【００８４】
＜ステップＳ３４７＞
ステップＳ３４７では、第四の位置合わせ部３３７は、Ｓ１〜Ｓｍ画像から生成された高画質な画像群Ｓ’１〜Ｓ’ｎの画像を用いて深度方向の位置合わせを行う。これに関して、図１５を用いて説明をする。図１５（ａ）はステップＳ３４６迄の処理をｎ回繰り返して生成した断層画像Ｓ’１〜Ｓ’ｎである。撮影時にトラッキングをしながら撮影することでＸＹの位置はほぼ同一箇所を撮影することが出来るが、断層画像Ｓ’１〜Ｓ’ｎの例に示すように、Ｚの位置はずれが生じる。そのため、ステップＳ３４７では、Ｚ方向（深度方向）の位置合わせを行う。
【００８５】
本実施形態においては、表示部に表示させる画像としては、硝子体に注目した画像を表示させる例について説明を行う。硝子体に注目した画像を表示させる場合、深度方向の位置合わせ処理により撮影されている硝子体を見えなくしてしまうことは望ましくない。そのため、位置合わせの基準とする画像は断層画像Ｓ’１〜Ｓ’ｎにおいて、網膜の位置が断層画像の中に写っており、かつ画像の中で最も深い位置で撮影されている画像を選択することが望ましい。そのような画像を基準として選択することにより、その他の断層画像の位置合わせによる移動方向は、深度方向となる。この例を図１５（ｂ）に示す。図１５（ｂ）では、断層画像Ｓ’２が基準画像として選択され、その他の断層画像は断層画像Ｓ’２に対して深度方向の位置合わせをしている例である。図１５（ｂ）に示すように、その他の断層像は深い方向に移動しているため、撮影されている硝子体を消してしまうようなことが無く、位置合わせがされている。一方、図示はしないが、図１５（ｂ）の例において基準画像をＳ’ｎとすると、その他の断層画像は浅い方向に移動するため、撮影されている硝子体の一部を消してしまうことになる。したがって、硝子体に注目した画像を生成する場合の基準とする断層画像は、網膜の位置が断層画像の中に写っており、かつ画像の中で最も深い位置で撮影されている画像を選択することが望ましい。ただし、網膜の位置だけではなく、撮影時の断層画像が暗いなどその他の条件もあるため、必ずしも最も深い位置に撮影されているものでなくてもよい。ある一定以上の深さ位置で網膜が撮影されているものであれば、その条件を満たす断層画像の中から選択するようにしてもよい。
【００８６】
深度方向位置合わせの方法としては、ステップＳ３０４の高画質画像生成処理の中で説明をした方法を用いればよく、境界線情報を用いた大局位置合わせＳ３４２や、局所位置合わせＳ３４５を組み合わせてもよいし、その一部の処理を用いて行うのでもよい。
【００８７】
なお、本実施形態においては、深度位置合わせを高画質画像生成の処理フローの中で説明をしたがこれに限らない。例えば、表示部６００に表示を行う前に処理を行うようにしてもよい。あるいは、位置合わせを行った位置合わせパラメータのみ算出をしておき、表示する際に位置合わせパラメータに基づいて画像を移動させて表示するようにしてもよい。
【００８８】
＜ステップＳ３０５＞
ステップＳ３０５では、ステップＳ３０４で作成した高画質な断層画像に対して、検出部３３１が境界線検出を行う。境界線検出は、例えば、ステップＳ３４１と同様の方法で行うことが出来る。
【００８９】
＜ステップＳ３０６＞
ステップＳ３０６では、加算平均して作成した高画質な断層画像の結果を表示部６００に表示する。表示する画面の例について図１６、１７を用いて説明をする。
【００９０】
図１６において、１６００は画面全体、１６０１は患者タブ、１６０２は撮影タブ、１６０３はレポートタブ、１６０４は設定タブを表し、１６０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。１６０５はＳＬＯ画像、１６０６は撮影場所の位置を示す。本実施形態におけるスキャンパターンはラインスキャンのため、撮影ラインは１本である。１６０７は同一箇所を複数回撮影した断層画像から生成したＥｎｆａｃｅ画像の一例である。Ｅｎｆａｃｅ画像１６０７は、横軸がＸ（Ａスキャン本数）、縦軸がｔ（時間）である。本実施形態ではステップＳ３０４において３００枚の高画質断層画像を生成しているため、縦軸は３００となる。本実施形態では同じ場所を繰り返し撮影しているため、Ｅｎｆａｃｅ画像には同じ模様が時系列方向に現れる。１６０８の矢印は画面に表示している断層画像１６１１の位置を示しており、矢印の方向に走査していることを示している。１６０８の矢印を不図示のユーザーインターフェイスを用いてドラッグすることにより、断層画像１６１１の時間的な変化を観察することが出来る。１６０９の縦方向の太線は、Ｅｎｆａｃｅ画像において暗くなる部分の例を示しており、血管、黄斑部、視神経乳頭部などがそれに相当する。１６１０の横方向の太線は、まばたき等により暗くなる場合の例であり、断層画像全体が暗くなるため、Ｅｎｆａｃｅ画像にすると主走査方向に沿った線のように見える。１６１２は、画面に表示している断層画像１６１１に対応する網膜の厚みグラフ、１６１３は高画質画像を生成する際に用いた画像枚数ｋと、実際に高画質化に用いた画像枚数ｌを示す。例えば、本実施形態において、ｋは５となる。そしてｌは画像毎に異なるが、最大でｋと同じ、最低で１となる。
【００９１】
図１７は断層画像を拡大表示する場合の画面例である。この画面は、例えば、図１６の断層画像１６１１上において不図示のユーザーインターフェイスを用いてダブルクリック等を実行することでこの画面に遷移する。そして、閉じるボタン１７１７を押下することで、図１６の画面に戻る。図１７（ａ）において、１７０１は検出部３３１が検出した層境界線の表示と非表示を切り替えるチェックボックスの例である。チェックボックス１７０１にチェックを入れると断層画像上に検出した境界線を重畳表示する。１７０２はＴｏｏｌｓＷｉｎｄｏｗを表示するためのボタン、１７０３はＴｏｏｌｓＷｉｎｄｏｗから指定した描画の表示と非表示を切り替えるチェックボックスの例である。ＴｏｏｌｓＷｉｎｄｏｗに関しては、図１７（ｂ）を用いて後述する。１７０４〜１７０７は断層画像の輝度とコントラストを調整するためのスライダーと、初期状態にリセットするためのボタンである。断層画像は網膜、あるいは硝子体が観察しやすいように適切な輝度とコントラストで表示される。操作者は、断層画像を確認しながら輝度とコントラストを調整することで、網膜に合わせた明るさの表示、硝子体に合わせた明るさの表示などを任意に変更することが可能となる。１７１１〜１７１６は同一箇所を連続撮影したデータを動画として操作するためのアイコン例である。図において、１７１１は再生、１７１２は一時停止、１７１３は停止、１７１４は早送り、１７１５は巻き戻し、１７１６はループ再生を示している。このアイコンを用いて操作することにより、断層画像を動画として表示することが出来る。
【００９２】
なお、動画として表示する場合には、装置の走査速度と高画質化に用いた画像枚数から１秒当たりのフレーム数（ｆｐｓ）を設定することが望ましい。例えば、Ａスキャンレートが１００［ｋＨｚ］、Ｂスキャン点数が１０２４点である場合には、１枚の断層画像を取得するのに必要な時間は約１０［ｍｓｅｃ］となる。そのため、５枚の断層画像を取得するのに必要な時間は約５０［ｍｓｅｃ］となる。本実施形態においては、５枚の断層画像を用いて１枚の高画質な断層画像を生成しているため、１枚の高画質な断層画像を取得するのに要する時間は約５０［ｍｓｅｃ］となるため、１秒当たりのフレーム数は、２０［ｆｐｓ］となる。したがって、動画として再生をする際には、このようなフレーム数を設定して再生を行うと、実際の眼の動きに近い速度で観察することが出来る。そして、図１７で示した動画は画面で再生するだけではなく、動画として保存することも可能であり、出力部３０６は上述したｆｐｓで動画として保存をする。
【００９３】
なお、図１７の画面において動画として再生するだけではなく、図１６の画面で説明したように、Ｅｎｆａｃｅ画像に重畳表示している矢印を不図示のユーザーインターフェイスを用いてドラッグすることにより、断層画像の時間的な変化を任意の速度で観察することが出来る。
【００９４】
図１７（ｂ）には、ＴｏｏｌｓＷｉｎｄｏｗ１７５１を表示する例を示す。１７５２は断層画像に描画する画像の種類を選択するアイコン、１７５３は描画する画像の色選択、１７５４は描画した画像を削除するボタン、１７５５は描画を適用するＯＫボタン、１７５６は描画をキャンセルするキャンセルボタンを示している。例えば、本実施形態では、矢印アイコン１７５２を選択した後に、断層画像に矢印１７６１を描画する例を示している。これで示したように、画像の中に注目したい箇所を追加することが出来る。また、本実施形態では同じ場所を撮影した動画であるため、１枚の断層画像に対して適用した内容をその他の断層画像全てに適用することも可能である。１枚の断層画像だけに適用するか、全ての断層画像に適用するかは不図示のユーザーインターフェイスにより指定出来るものとする。なお、断層画像の表示倍率に関して、縦横比は任意の倍率に設定することが可能である。通常、画面に表示している断層画像の縦横比は１：１ではない。１：１比にすると網膜の形は、実際の形状に近い形として観察することが出来るが、網膜の厚みが薄く表示されてしまうため、網膜内層を観察するために異なる比率で表示されていることが多い。しかし、画面表示で１：１比やその他の比率に変更することは可能であり、比率を変更したものを動画出力することも可能である。さらに、図１７（ｂ）で示した描画データも動画として保存可能であり、出力部３０６は画面に表示している状態を動画として出力する。
【００９５】
＜ステップＳ３０７＞
ステップＳ３０７において、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップＳ３０２に処理を戻して撮影を続行する。以上によって、画像処理システム１００の処理が行われる。
【００９６】
以上で述べた構成によれば、本実施形態では、被検眼の任意の部位（例えば、網膜や硝子体）における構造を適正に観察するための高画質な二次元断層画像を生成することができる。そして、その断層画像の時間的な変化を観察することが出来る。
【００９７】
［実施例２］
第一の実施形態においては、ｍ枚の断層画像からｋ枚ずつの断層画像を選択し、ｎ枚の高画質な断層画像を生成し、それらを動画として表示と保存をする例について説明をした。本実施形態では、ｍ枚の断層画像からｋ枚ずつの断層画像を選択し、ｍ枚の高画質な断層画像を生成し、それらを動画として表示と保存をする事を特徴とする。上記第一の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。
【００９８】
本実施形態に関する高画質な画像生成と、動画生成に関して、図１８と図１９を用いて説明をする。図１８は、本実施形態に係る画像処理部１８０３を備える画像処理システム１８００の構成を示す図である。図１８において、画像選択部１８３４と、データ選択部１８３８を備えることが、第一の実施形態とは異なる。画像選択部１８３４は複数の断層画像から位置合わせの基準となる断層画像を選択すると共に、加算平均をする断層画像を選択する。データ選択部１８３８は画像取得部３０１によって取得された複数の断層画像から、高画質化に用いる複数の画像を選択する。
【００９９】
次に、図１９と図３のフローチャートを用いて、本実施形態の処理に関して説明をする。本実施形態では、第一の実施形態と異なるフローであるステップＳ３４０とＳ３４３に関して説明をする。その他の処理は、第一の実施形態と同一である。
【０１００】
＜ステップＳ３４０＞
ステップＳ３４０において、分類手段の一例であるデータ選択部１８３８が、断層画像撮影装置２００が同一箇所を複数回繰り返し撮影した画像から加算平均を行う画像群の選択を行う。ここで、本実施形態における分類手段は、隣り合う画像群が共通する断層画像を含むように複数の断層画像を複数の画像群に分類する。これに関して図１９を用いて説明を行う。図１９において、Ｓ１〜Ｓｍが同一箇所を繰り返し撮影した断層画像の例である。本実施形態においては、同一箇所を１５００枚撮影しているため、ｍは１５００である。Ｓ’１〜Ｓ’ｍは１５００枚の断層画像をｍ群に分割（分類）する例である。例えば、高画質化処理をするために用いる画像数を５枚とした場合において、本実施形態におけるｍは１５００となる。すなわち、第二の実施形態の場合、入力の断層画像と高画質な断層画像として生成される画像の枚数は同じとなる。そのため、ステップＳ３４１〜ステップＳ３４６は１５００回繰り返すことになる。このとき、例えば、複数の断層画像を分類して得た画像群毎に基準画像が選択される。また、例えば、画像群毎に選択された基準画像に対する他の断層画像の位置合わせが行われる。また、例えば、画像群毎に高画質な新たな断層画像が生成される（例えば、加算平均処理が行われる）ことにより、高画質な複数の新たな断層画像が生成される。
【０１０１】
＜ステップＳ３４３＞
ステップＳ３４３では、画像選択部１８３４は、複数の断層画像から位置合わせの基準となる断層画像を選択すると共に、加算平均をする断層画像を選択する。本実施形態において、基準となる画像は入力の画像と同じインデックスの画像が基準となる。すなわち、Ｓ’１の画像群にはＳ１〜Ｓ５の断層画像が含まれるが、その際の基準画像はＳ１となる。また、Ｓ’２の画像群にはＳ２〜Ｓ６の断層画像が含まれるが、その際の基準画像はＳ２となる。同様にして処理をしていき、Ｓ’ｍ−１の画像群にはＳｍ−４〜Ｓｍの断層画像が含まれるが、その際の基準画像はＳｍ−１となる。そして、Ｓ’ｍの画像群にはＳｍ−４〜Ｓｍの断層画像が含まれるが、その際の基準画像はＳｍとなる。なお、本実施形態において、インデックスが小さい方から順番に画像を選択していく例を示し、最後の方は加算平均に含まれる複数の断層画像のインデックスが重複し、基準とする断層画像を変更する例を示したがこれに限らない。例えば、加算平均に含まれる断層画像のインデックスが重複する箇所においては、どれか一つの断層画像を生成するようにしてもよい。その場合、生成される高画質な断層画像の枚数はｍ枚ではなく、ｍ−（ｋ−１）枚となる。さらに、本実施形態で示したのとは逆にインデックスが大きい方から順番に画像を選択するようにしてもよい。
【０１０２】
＜ステップＳ３０６＞
ステップＳ３０６では、第一の実施形態と同様に断層画像の時系列変化を動画として観察可能である。なお、動画として表示、および保存する場合には、装置の走査速度と高画質化に用いた画像枚数から１秒当たりのフレーム数（ｆｐｓ）を設定することが望ましい。例えば、Ａスキャンレートが１００［ｋＨｚ］、Ｂスキャン点数が１０２４点である場合には、１枚の断層画像を取得するのに必要な時間は約１０［ｍｓｅｃ］となる。そのため、本実施形態においては、１枚の高画質な断層画像を取得するのに要する時間は約１０［ｍｓｅｃ］となるため、１秒当たりのフレーム数は、１００［ｆｐｓ］となる。したがって、動画として再生をする際には、このようなフレーム数を設定して再生を行うと、実際の眼の動きに近い速度で観察することが出来る。なお、装置の構成上１００［ｆｐｓ］の動画を表示することが困難な場合、動画再生時にはフレーム数を削減して、５０［ｆｐｓ］となるようにしてもよい。その場合、フレーム数削減の方法は、例えば断層画像のインデックスが奇数となるものを動画として利用し、インデックスが偶数のものは利用しないとするようにすればよい。
【０１０３】
以上で述べた構成によれば、本実施形態では、被検眼の任意の部位（例えば、網膜や硝子体）における構造を適正に観察するための高画質な二次元断層画像を生成することができる。そして、撮影時と同じ画像枚数で動画を生成することが出来、その断層画像の時間的な変化を滑らかに観察することが出来る。
【０１０４】
［実施例３］
第一と第二の実施形態においては、複数枚の断層画像から高画質な断層画像を生成し、それらを動画として表示と保存をする例について説明をした。本実施形態においては、断層画像のみではなく、眼底画像撮影装置４００により取得される正面の眼底画像も動画として表示と保存をすることを特徴とする。断層画像では、ＸＺ面内における局所的な硝子体や網膜の動きを観察し、眼底画像ではＸＹ面内における大局的な硝子体や網膜の動きを観察することが出来る。断層画像と眼底画像を同時に観察することで、より詳細に時間的な変化を観察することが出来る。なお、上記第一あるいは第二の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。
【０１０５】
本実施形態に関する高画質な画像生成と、動画生成に関して、図２０と図２１を用いて説明をする。図２０は、本実施形態に係る画像処理部２００３を備える画像処理システム２０００の構成を示す図である。図２０において、画像選択部２０３４と、データ選択部２０３８を備えることが、第一あるいは第二の実施形態とは異なる。画像選択部２０３４は複数の断層画像から位置合わせの基準となる断層画像を選択すると共に、加算平均をする断層画像を選択する。さらには、眼底画像撮影装置４００により繰り返し取得される正面の眼底画像の選択も行う。データ選択部２０３８は画像取得部３０１によって取得された複数の断層画像から、高画質化に用いる複数の画像を選択する。
【０１０６】
次に、図２１と図３のフローチャートを用いて、本実施形態の処理に関して説明をする。本実施形態における断層画像の高画質化に関しては、第一あるいは第二の実施形態で示した方法と同じである。本実施形態では、断層画像の選択と共に行う眼底画像選択が異なる。本実施形態では、第一の実施形態と異なるフローであるステップＳ３４０に関して説明をする。その他の処理は、第一あるいは第二の実施形態と同一である。
【０１０７】
＜ステップＳ３４０＞
ステップＳ３４０において、データ選択部１８３８が、断層画像撮影装置２００が同一箇所を複数回繰り返し撮影した画像から加算平均を行う画像群の選択を行う。さらに、眼底画像撮影装置４００により繰り返し取得される正面の眼底画像の選択も行う。これに関して図２１を用いて説明を行う。図２１（ａ）は、断層画像撮影装置２００と眼底画像撮影装置４００が撮影を行うタイミングを模式的に示したものである。図２１（ａ）において、横軸が時間軸を表し、２１０１は断層画像撮影装置２００によって取得される画像のタイミング、２１０２は眼底画像撮影装置４００によって取得される画像のタイミングの一例を示している。本実施形態では、断層画像撮影装置２００の方が画像取得のタイミングが早いものとして説明を行う。
【０１０８】
図２１（ｂ）では、加算平均に用いる断層画像の枚数が、眼底画像を取得するタイミングに合わせて選択する例を示している。図２１（ｂ）において、２１１１が加算平均に用いる断層画像群を示している。そして、２１１２の丸印は選択される眼底画像を示している。図２１（ｂ）の場合、Ａスキャンレートが１００［ｋＨｚ］、Ｂスキャン点数が１０２４点である場合には、１枚の断層画像を取得するのに必要な時間は約１０［ｍｓｅｃ］となる。そのため、３枚の断層画像を取得するのに必要な時間は約３０［ｍｓｅｃ］となるため、１秒当たりのフレーム数は、３３［ｆｐｓ］となる。また、眼底画像を繰り返し取得するタイミングが、約３３［ｆｐｓ］の場合、同期した高画質な断層画像と眼底画像とを表示、ならびに保存をすることが出来る。
【０１０９】
図２１（ｃ）では、加算平均に用いる断層画像の枚数と、眼底画像を取得するタイミングが異なる例を示している。図２１（ｃ）において、２１２１が加算平均に用いる断層画像群を示している。そして、２１２２の丸印は選択される眼底画像を示し、２１２２の三角印は選択しない眼底画像を示している。図２１（ｃ）の場合、Ａスキャンレートが１００［ｋＨｚ］、Ｂスキャン点数が１０２４点である場合には、１枚の断層画像を取得するのに必要な時間は約１０［ｍｓｅｃ］となる。そのため、６枚の断層画像を取得するのに必要な時間は約６０［ｍｓｅｃ］となるため、１秒当たりのフレーム数は、１６［ｆｐｓ］となる。また、眼底画像を繰り返し取得するタイミングが、約３３［ｆｐｓ］の場合、眼底画像を１枚飛ばしで選択すれば、同期した高画質な断層画像と眼底画像とを表示、ならびに保存をすることが出来る。なお、図２１（ｃ）で示したように、加算平均に用いる断層画像の枚数を多くして眼底画像を取得するタイミングと合わないような場合、第二の実施形態で示したような高画質な断層画像生成の画像選択とすればよい。第二の実施形態で示した方法であれば、入力の断層画像と高画質な断層画像との枚数が同じとなるため、眼底画像の取得タイミングに合わせて高画質な断層画像を選択することが出来る。
【０１１０】
なお、本実施形態において同期というのは、必ずしも同じ時間に撮影された画像である必要はなく、数ｍ〜数１０ｍｓ程度のずれは許容するものである。例えば、複数の断層画像の撮影期間内の異なる時間に被検眼を撮影して得た複数の眼底画像のフレームレートと複数の断層画像のフレームレートとが対応されて、複数の眼底画像及び複数の断層画像を動画として並べて表示手段に表示させれば良い。このとき、例えば、複数の眼底画像のフレームレートと複数の断層画像のフレームレートとが同じであることが好ましい。
【０１１１】
以上で述べた構成によれば、本実施形態では、被検眼の任意の部位（例えば、網膜や硝子体）における構造を適正に観察するための高画質な二次元断層画像を生成することができる。そして、繰り返し取得した眼底画像に関しても断層画像と同期した動画を生成することが出来る。したがって、断層画像の時間的な変化と眼底画像の時間的変化を同時に観察することが出来る。
【０１１２】
［実施例４］
第一から第三の実施形態において、高画質な断層画像の生成に関して、位置合わせと加算平均処理により生成する例を示したが、これに限らない。例えば、機械学習を用いてもよい。本実施形態では、高画質な断層画像生成に関して機械学習により画像を生成することを特徴とする。上記第一から第三の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。
【０１１３】
本実施形態では、第一の実施形態と異なる処理であるステップＳ３０４に関して説明をする。その他の処理は、第一から第三の実施形態のいずれかと同一であるため、説明を省略する。
【０１１４】
＜ステップＳ３０４＞
ステップＳ３０４では、不図示の高画質化処理部が高画質化処理を行う。本実施形態における高画質化処理は機械学習を用いて処理を行う。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データ（教師データ）を用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。学習データは、一つ以上の、入力データと出力データ（正解データ）とのペア群で構成される。なお、学習データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。なお、本実施形態においては、入力データは加算平均処理前の断層画像、正解データは第一や第二の実施形態で示した加算平均処理を行った高画質な断層画像とする。
【０１１５】
また、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第１の学習データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第２の学習データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。
【０１１６】
具体的には、ＣＮＮにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、学習データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、学習データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。
【０１１７】
このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、学習データを構成するペア群の７割をトレーニング用とし、残りの３割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、学習データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。
【０１１８】
このようにして学習した機械学習アルゴリズムを用いて断層画像の高画質化を行う。例えば、１５００枚の断層画像を入力とした場合、出力は機械学習アルゴリズムにより高画質化された１５００枚の断層画像となる。そのため、第二の実施形態で説明したような断層画像が生成される。その断層画像を用いて動画の生成と保存を行う。
【０１１９】
その他の機械学習アルゴリズムの例としては、第二の実施形態で説明した高フレームレート（１００［ｆｐｓ］）の動画を用いて学習をして、第一の実施形態で説明した低フレームレート（２０［ｆｐｓ］）の動画から任意の高フレームレートの動画を生成するようにしてもよい。第一の実施形態で説明をした動画から任意のフレームレートの動画（例えば、４０［ｆｐｓ］）のものを生成する際に、不足している中間フレームの画像を学習済みの高フレームレートの機械学習アルゴリズムを用いて予測するようにしてもよい。
【０１２０】
以上で述べた構成によれば、本実施形態では、被検眼の任意の部位（例えば、網膜や硝子体）における構造を適正に観察するための高画質な二次元断層画像を生成することができる。そして、その断層画像の時間的な変化を観察することが出来る。
【０１２１】
（変形例１）
本実施形態において、ＯＣＴ断層画像の高画質化画像の時間的な変化の観察に関して説明を行ったが、対象はこれに限らない。例えば、ＯＣＴＡ（ＯＣＴ  Ａｎｇｉｏｇｒａｐｈｙ）のモーションコントラストデータを用いて動画生成をしても良い。ここで、モーションコントラストデータとは、ＯＣＴＡ等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。断層画像間の変化は、例えば脱相関などを計算することで算出することが出来る。脱相関を計算することで、動きのある部分（血液の流れ）だけが残り、それを可視化することでＯＣＴＡ画像を生成する。このように、モーションコントラストデータの断層画像の時間的な変化を観察することが出来る。
【０１２２】
（変形例２）
本実施形態において、ＯＣＴ断層画像の高画質化画像の時間的な変化の観察に関して説明を行ったが、対象はこれに限らない。例えば、ＯＣＴの輝度ＥｎｆａｃｅやＯＣＴＡのＥｎｆａｃｅでもよい。Ｅｎｆａｃｅ画像の場合は、複数のボリュームデータを撮影し、その時間的な変化を観察する。Ｅｎｆａｃｅの場合、位置合わせは平面画像で行うため、網膜表層部などの血管特徴がある場所を用いて位置合わせを行うことが望ましい。さらに、Ｅｎｆａｃｅの平面画像で位置合わせを行うのではなく、３次元のボリュームデータで位置合わせを行い、３次元で位置合わせを行った後に所望の深度範囲のＥｎｆａｃｅを生成しても良い。所望の深度範囲は１つでも良いし、複数でも良く、複数の深度範囲に対応する複数のＥｎｆａｃｅを同時に生成しても良い。
【０１２３】
（変形例３）
本実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて高画質画像生成処理を行ってもよい。その場合、撮影に関する処理をスキップし、その代わりに撮影済みの複数の断層画像を取得する。そして、ステップＳ３０４で高画質画像生成処理を行う。
【０１２４】
（その他の実施形態）
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。
【符号の説明】
【０１２５】
１００  画像処理システム
２００  断層画像撮影装置
３００  画像処理装置
３０１  画像取得部
３０３  画像処理部
３０５  表示制御部
３１１  断層画像生成部
３３１  検出部
３３２  第一の位置合わせ部
３３３  第二の位置合わせ部
３３４  画像選択部
３３５  第三の位置合わせ部
３３６  画像合成部
３３７  第四の位置合わせ部
３３８  データ選択部
１８３４  画像選択部
１８３８  データ選択部
２０３４  画像選択部
２０３８  データ選択部
４００  眼底画像撮影装置
５００  外部記憶部
６００  表示部
７００  入力部
【図１】
2020065811.tif 000007
【図２】
2020065811.tif 000008
【図３】
2020065811.tif 000009
【図４】
2020065811.tif 000010
【図５】
2020065811.tif 000011
【図６】
2020065811.tif 000012
【図７】
2020065811.tif 000013
【図８】
2020065811.tif 000014
【図９】
2020065811.tif 000015
【図１０】
2020065811.tif 000016
【図１１】
2020065811.tif 000017
【図１２】
2020065811.tif 000018
【図１３】
2020065811.tif 000019
【図１４】
2020065811.tif 000020
【図１５】
2020065811.tif 000021
【図１６】
2020065811.tif 000022
【図１７（ａ）】
2020065811.tif 000023
【図１７（ｂ）】
2020065811.tif 000024
【図１８】
2020065811.tif 000025
【図１９】
2020065811.tif 000026
【図２０】
2020065811.tif 000027
【図２１】
2020065811.tif 000028