(57)【要約】      （修正有）【課題】より高精度なモーションコントラスト画像を生成可能な画像処理装置、及び画像処理方法を提供する。【解決手段】眼底の同一線上を走査するように制御された測定光に基づいて得られた複数の断層画像を含むクラスタを、クラスタ単位で複数取得する取得手段と、クラスタ内の複数の断層画像の位置が合い、さらにクラスタ間の複数の断層画像の位置が合うように、複数のクラスタの断層画像の位置合わせを行う位置合わせ手段と、１つのクラスタに含まれる複数の断層画像に基づいて、第１の原モーションコントラスト画像を生成し、さらに、互いに異なる２つのクラスタに含まれる複数の断層画像に基づいて、第２の原モーションコントラスト画像を生成する第１の生成手段と、第１の生成手段により生成された第１の原モーションコントラスト画像と第２の原モーションコントラスト画像とに基づいて、合成モーションコントラスト画像を生成する合成手段とを有する。【選択図】図３
2019063446.tif 000002
【特許請求の範囲】
【請求項１】
眼底の同一線上を走査するように制御された測定光に基づいて得られた複数の断層画像を含むクラスタを、クラスタ単位で複数取得する取得手段と、
クラスタ内の複数の断層画像の位置が合い、さらにクラスタ間の複数の断層画像の位置が合うように、前記複数のクラスタの断層画像の位置合わせを行う位置合わせ手段と、
前記位置合わせ手段による位置合わせ後の、１つのクラスタに含まれる複数の断層画像に基づいて、第１の原モーションコントラスト画像を少なくとも１つ生成し、さらに、複数のクラスタのうち互いに異なる２つのクラスタに含まれる複数の断層画像に基づいて、第２の原モーションコントラスト画像を少なくとも１つ生成する第１の生成手段と、
前記第１の生成手段により生成された前記第１の原モーションコントラスト画像と前記第２の原モーションコントラスト画像とに基づいて、合成モーションコントラスト画像を生成する合成手段と、
前記クラスタ単位で再走査を指示する再走査指示手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記合成手段により生成された前記合成モーションコントラスト画像を表示手段に表示させる表示制御手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、前記第１の原モーションコントラスト画像を生成する際に撮影装置が繰り返す撮影回数に対応した数の断層画像を含むクラスタ単位で、複数のクラスタを取得することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記合成手段は、前記第１の原モーションコントラスト画像と、前記第２の原モーションコントラスト画像と、を加算平均することにより前記合成モーションコントラスト画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記取得手段が取得した複数のクラスタそれぞれに含まれる断層画像に基づいて閾値を決定する決定手段をさらに有し、
前記決定手段により決定された閾値を用いて前記断層画像のノイズ除去処理を行うノイズ除去処理手段と
をさらに有し、
前記第１の生成手段は、ノイズ除去処理が行われた前記断層画像に基づいて、前記第１の原モーションコントラスト画像と、前記第２の原モーションコントラスト画像と、を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、前記眼底の異なる位置それぞれに対し、複数のクラスタを取得し、
前記位置合わせ手段は、さらに前記眼底の異なる位置それぞれに対応した複数のクラスタ間の断層画像の位置が合うように断層画像の位置合わせを行い、
前記第１の生成手段は、前記眼底の各位置に対し、前記第１の原モーションコントラスト画像と前記第２の原モーションコントラスト画像とを生成し、
前記合成手段は、前記眼底の各位置に対し、前記合成モーションコントラスト画像を生成し、
前記眼底の各位置の前記合成モーションコントラスト画像に基づいて、３次元のモーションコントラスト画像を生成する第２の生成手段と、
前記３次元のモーションコントラスト画像を２次元平面に投影することにより２次元投影画像を生成する第３の生成手段と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第３の生成手段により生成された前記２次元投影画像を表示手段に表示するよう制御する表示制御手段をさらに有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記合成手段により生成された前記合成モーションコントラスト画像と、前記２次元投影画像と、を前記表示手段に同時に表示するよう制御することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記取得手段は、互いに異なる第１のクラスタと第２のクラスタとを取得し、
前記第１の生成手段は、前記第１のクラスタの複数の断層画像に基づいて、前記第１の原モーションコントラスト画像を複数生成し、さらに前記第１のクラスタの断層画像と前記第２のクラスタの断層画像に基づいて、前記第２の原モーションコントラスト画像を少なくとも１つ生成し、
前記合成手段は、第１のクラスタに基づいて生成された複数の前記第１の原モーションコントラスト画像に基づいて第１の合成モーションコントラスト画像を生成し、さらに前記第１のクラスタの断層画像と前記第２のクラスタの断層画像に基づいて生成された前記第２の原モーションコントラスト画像と、前記第１のクラスタに基づいて生成された前記第１の原モーションコントラスト画像と、に基づいて、第２の合成モーションコントラスト画像を生成し、
ユーザ操作に応じて、前記第１の合成モーションコントラスト画像及び前記第２の合成モーションコントラスト画像のうち少なくとも一方を表示手段に表示するよう制御する表示制御手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
眼底の同一線上を走査するように制御された測定光に基づいて得られた複数の断層画像を含むクラスタを、クラスタ単位で複数取得する取得ステップと、
クラスタ内の複数の断層画像の位置が合い、さらにクラスタ間の複数の断層画像の位置が合うように、前記取得ステップにおいて取得した複数のクラスタの断層画像の位置合わせを行う位置合わせステップと、
前記位置合わせステップにおける位置合わせ後の、１つのクラスタに含まれる複数の断層画像に基づいて、第１の原モーションコントラスト画像を少なくとも１つ生成し、さらに、複数のクラスタのうち互いに異なる２つのクラスタに含まれる複数の断層画像に基づいて、第２の原モーションコントラスト画像を少なくとも１つ生成する第１の生成ステップと、
前記第１の生成ステップにおいて生成された前記第１のモーションコントラスト画像と前記第２の原モーションコントラスト画像とに基づいて、合成モーションコントラスト画像を生成する合成ステップと
前記クラスタ単位で再走査を指示する再走査指示手段と
を含むことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、造影剤を用いない血管造影法として、Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  Ｔｏｍｏｇｒａｐｈｙ（ＯＣＴ）を用いたＯＣＴ  Ａｎｇｉｏｇｒａｐｈｙ（ＯＣＴＡ）が提案されている。ＯＣＴＡでは、ＯＣＴにより取得した３次元のモーションコントラスト画像を２次元平面に投影することで、血管画像を生成する。ここで、モーションコントラスト画像とは、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラスト画像は、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。
【０００３】
特許文献１には、眼底の１箇所に対し、スキャンを４回繰り返すことで得られた４つの断層データを１つのクラスタとし、１つのクラスタから、眼底の１箇所のモーションコントラストデータを生成することが開示されている。特許文献１にはさらに、１つのクラスタに対応したスキャンの繰り返し中に失敗がある場合には、同一クラスタの断層データをすべて破棄し、再度断層データを再取得することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８８５７９８８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
同一箇所に対し得られた複数の断層画像から得られた複数のモーションコントラスト画像を合成することで、モーションコントラスト画像の高精度化を図ることができる。しかしながら、合成の対象となるモーションコントラスト画像を多数得るためには多数の断層画像が必要となるという問題があった。
【０００６】
本発明はこのような問題点に鑑みなされたもので、より高精度なモーションコントラスト画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、画像処理装置であって、眼底の同一線上を走査するように制御された測定光に基づいて得られた複数の断層画像を含むクラスタを、クラスタ単位で複数取得する取得手段と、クラスタ内の複数の断層画像の位置が合い、さらにクラスタ間の複数の断層画像の位置が合うように、前記複数のクラスタの断層画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段による位置合わせ後の、１つのクラスタに含まれる複数の断層画像に基づいて、第１の原モーションコントラスト画像を少なくとも１つ生成し、さらに、複数のクラスタのうち互いに異なる２つのクラスタに含まれる複数の断層画像に基づいて、第２の原モーションコントラスト画像を少なくとも１つ生成する第１の生成手段と、前記第１の生成手段により生成された前記第１の原モーションコントラスト画像と前記第２の原モーションコントラスト画像とに基づいて、合成モーションコントラスト画像を生成する合成手段と、前記クラスタ単位で再走査を指示する再走査指示手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、より高精度なモーションコントラスト画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの全体図である。
【図２】断層画像の説明図である。
【図３】画像処理装置の機能構成図である。
【図４】モーションコントラスト画像生成処理を示すフローチャートである。
【図５】モーションコントラスト画像生成処理の説明図である。
【図６】スキャン方法の説明図である。
【図７】モーションコントラスト画像生成処理を示すフローチャートである。
【図８】位置合わせ処理を示すフローチャートである。
【図９】第１の位置合わせ処理を示すフローチャートである。
【図１０】Ｓ９０１の処理の説明図である。
【図１１】Ｓ９０３の処理の説明図である。
【図１２】Ｓ８０４の処理の説明図である。
【図１３】第３の位置合わせ処理を示すフローチャートである。
【図１４】位置合わせに用いる境界線の一例を示す図である。
【図１５】Ｓ１３０３，Ｓ１３０４処理の説明図である。
【図１６】３次元ボリューム像を示す図である。
【図１７】第４の位置合わせ処理を示すフローチャートである。
【図１８】Ｓ１７０２の処理の説明図である。
【図１９】Ｓ１７０４の処理の説明図である。
【図２０】Ｓ７０４の処理の説明図である。
【図２１】Ｓ７０４の処理の説明図である。
【図２２】Ｓ７０５の処理の説明図である。
【図２３】Ｓ７０５の処理の説明図である。
【図２４】Ｓ７０５の処理の説明図である。
【図２５】Ｓ７０５の処理の説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像処理システム１００の全体図である。画像処理システム１００は、画像処理装置１１０と、撮影装置１２０と、を有している。画像処理装置１１０と撮影装置１２０は有線または無線により通信可能に接続されている。
【００１１】
撮影装置１２０は、眼部の断層画像を撮影する装置（Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  Ｔｏｍｏｇｒａｐｈｙ：ＯＣＴとも言う）である。撮影装置１２０は、例えば、ＳＤ−ＯＣＴやＳＳ−ＯＣＴを有している。ガルバノミラー１２１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。駆動制御部１２２は、ガルバノミラー１２１の駆動範囲及び速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。図１においては、簡単のためガルバノミラーは１つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。通信部１２３は、画像処理装置１１０との通信を行う。フォーカス１２４は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、非図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。
【００１２】
内部固視灯１２５は、表示部１２６及びレンズ１２７を有している。表示部１２６は、複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものである。発光ダイオードの点灯位置は、駆動制御部１２２の制御により撮影したい部位に合わせて変更される。表示部１２６からの光は、レンズ１２７を介し、被検眼に導かれる。表示部１２６から出射される光は５２０ｎｍで、駆動制御部１２２により所望のパターンが表示される。ヒーレンスゲートステージ１２８は、被検眼の眼軸長の相違等に対応し、駆動制御部１２２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、駆動制御部１２２は、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。
【００１３】
図２は、目の構造及び撮影装置１２０により得られる断層画像の説明図である。図２（ａ）は、眼球の模式図である。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。撮影装置１２０は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する。なお、撮影装置１２０は、これ以外にも角膜、水晶体の前眼部等も撮影することができる。
【００１４】
図２（ｂ）は、撮影装置１２０が取得する網膜を撮影した場合の断層画像２００の一例を示す図である。図２（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表す。このＡスキャンが複数集まって一つのＢスキャンを構成する。そしてこのＢスキャンのことを断層画像と呼ぶ。図２（ｂ）において、Ｖｅは血管、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。
【００１５】
次に、撮影装置１２０による撮影処理について説明する。撮影装置１２０は、被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者がスキャン開始を指示すると、撮影装置１２０の駆動制御部１２２は、ガルバノミラー１２１を動作させて断層画像のスキャンを行う。ガルバノミラー１２１は、水平方向用のＹスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更することで、装置座標系における水平方向（ｘ）、垂直方向（ｙ）それぞれの方向に走査するように測定光を制御ことができる。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することができる。これらの走査により、眼底平面上の任意の方向に走査するよう測定光を制御ことが可能となる。
【００１６】
駆動制御部１２２は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、駆動制御部１２２は、内部固視灯１２５の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部１２２は、表示部１２６の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯１２５の位置を制御する。撮影装置１２０は、これら撮影パラメータの調整終了後、操作者からの開始指示に従い、撮影を開始する。
【００１７】
さらに、本実施形態においては、画像処理装置１１０はモーションコントラスト画像を生成し、撮影装置１２０は、モーションコントラスト画像を生成するために利用される複数の断層画像の撮影を行う。具体的には、撮影装置１２０は、副走査方向において同一位置、すなわち同一線上をＭ回繰り返し主走査方向に走査する。なお、本実施形態においては例えば、Ｍ＝３とし、同一位置での主走査方向への走査を３回繰り返すものとする。この３回の走査により得られる３つの断層画像のグループをクラスタと称する。すなわち、クラスタに含まれる断層画像の数は、撮影装置１２０が一連の処理として繰り返す撮影回数に対応した数となる。また、このＭ回の走査をクラスタスキャンと称する。撮影装置１２０は、例えば、１回のクラスタスキャン中に撮影に失敗した場合には、クラスタスキャンの単位でリスキャンを開始する。すなわち、Ｍ＝２までスキャンが終了したところで、被検者が瞬きをしてしまった場合には、撮影装置１２０は、Ｍ＝２までに得られた信号を破棄し、再びＭ＝１からスキャンを開始する。
【００１８】
なお、被検眼は動くため、撮影装置１２０が眼底の同一位置を走査しようとしても、眼底の完全に同一な位置を走査することができない場合がある。また、被検眼を追尾するトラッキング機能を撮影装置１２０が有している場合もトラッキング機能の不完全さにより眼底の完全に同一な位置を走査することができない場合がある。すなわち、撮影装置１２０により眼底の同一位置を走査するように制御された測定光であっても、実際には眼底の同一位置を走査できるとは限らない。これに対応し、本明細書における眼底の同一位置（同一線上）とは、眼底の完全に同一な位置のみならず眼底の略同一な位置を含む概念である。また、上記のクラスタは例えば断層画像の撮影に失敗した場合の再走査の最小単位である。例えば、１のクラスタ内における断層画像が瞬き等により十分な画質ではない場合には、１のクラスタに含まれるＭ枚の断層画像が再走査により取得される。例えば、同一位置において複数のクラスタが存在する場合において、複数のクラスタのうち撮影に失敗した断層画像が含まれるクラスタのみが再走査の対象となる。
【００１９】
また、本実施形態においては、撮影装置１２０は、同一位置での走査を行うべく、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行う。さらに、撮影装置１２０は、まばたきなどの画像を生成するにあたりアーティファクトとなる動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行うものとする。
【００２０】
図１に戻り、画像処理装置１１０について説明する。ＣＰＵ１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１１７は、撮影装置１２０との通信を行う。
【００２１】
なお、後述する画像処理装置１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１１１は、ＲＯＭ１１２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。また、他の例としては、画像処理装置１１０の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、画像処理装置１１０の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。
【００２２】
図３は、画像処理装置１１０の機能構成図である。通信処理部３０１は、撮影装置１２０との通信を制御する。通信処理部３０１は例えば、撮影指示を撮影装置１２０に送信したり、撮影装置１２０から断層画像の信号データを受信したりする。受付部３０２は、ユーザ操作に応じて、撮影指示等の各種指示を受け付ける。表示処理部３０３は、各種データを表示部１１５に表示するよう制御する。表示処理部３０３は、例えば、断層画像や、断層画像から生成されたモーションコントラスト画像等を表示するよう制御する。
【００２３】
断層画像生成部３０４は、通信処理部３０１を介して撮影装置１２０から断層画像の干渉信号を受信し、受信した干渉信号に対し信号処理を行うことで断層画像を生成する。位置合わせ部３０５は、断層画像間の位置合わせを行う。モーションコントラスト画像生成部３０６は、断層画像を用いてモーションコントラスト画像を生成する。合成部３０７は、モーションコントラスト画像生成部３０６により得られた、同一位置に対する複数のモーションコントラスト画像を加算平均することにより、より高精度なモーションコントラスト画像を取得する。なお、合成部３０７は、複数のモーションコントラスト画像を合成すればよく、そのための処理は加算平均に限定されるものではない。以下、説明の便宜上、モーションコントラスト画像生成部３０６により得られたモーションコントラスト画像を、原モーションコントラスト画像と称する。また、合成部３０７により得られた加算平均後のモーションコントラスト画像を合成モーションコントラスト画像と称する。
【００２４】
判定部３０８は、断層画像の撮影の成否を判定する。判定部３０８は例えば、断層画像の輝度に基づいて撮影の成否を判定する。例えば、判定部３０８は、断層画像全体の輝度の平均値等の統計値が所定の閾値以下の場合には撮影失敗と判定することとしてもよい。なお、判定部３０８は公知の種々手法により撮影の成否を判定することが可能である。再走査指示部３０９は、判定部３０８が撮影失敗と判定した断層画像が含まれるクラスタを特定し、当該クラスタに含まれる断層画像の数分の再走査を撮影装置１２０に指示する。すなわち、再走査指示部３０９は、撮影装置１２０に対してクラスタ単位で再走査を指示する。再走査指示部３０９から指示を受けた撮影装置１２０はガルバノミラー１２１を用いて撮影失敗と判定された断層画像が含まれるクラスタのみ再走査を行う。なお、撮影失敗と判定した断層画像が含まれないクラスタに関して再走査は行われない。
【００２５】
図４は、画像処理装置１１０によるモーションコントラスト画像生成処理を示すフローチャートである。図５は、モーションコントラスト画像生成処理の説明図である。Ｓ４０１において、通信処理部３０１は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、ＨＤＤ１１４に格納されている、被検者の被検眼に関する情報を取得する。
【００２６】
次に、Ｓ４０２において、断層画像生成部３０４は、撮影装置１２０から断層画像の干渉信号を受信し、干渉信号に基づいて、眼底の断層画像を生成する。断層画像生成部３０４は、まず干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算する処理である。次に、断層画像生成部３０４は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、断層画像生成部３０４は、ＦＦＴ処理を行うことで断層画像を生成する。
【００２７】
本実施形態においては、前述の通り、撮影装置１２０は、Ｍ＝３として同一位置の走査を３回行う。これに対応し、断層画像生成部３０４は、３回の走査により得られた３つの信号それぞれから３つの断層画像を生成し、１つのクラスタを取得する。さらに、画像処理装置１１０の通信処理部３０１は、複数のクラスタスキャンに対応した干渉信号を受信し、断層画像生成部３０４は、各干渉信号から断層画像を生成することで、クラスタを複数取得する。本処理は、モーションコントラスト画像を生成する際に、撮影装置１２０が繰り返す撮影回数に対応した数の断層画像が含まれるクラスタ単位で、複数のクラスタ（複数の断層画像）を取得する取得処理の一例である。
【００２８】
例えば、図５に示すように、断層画像生成部３０４は、２つのクラスタＴ１，Ｔ２を生成する。ここで、クラスタＴ１には、３つの断層画像Ｔ１１，Ｔ１２，Ｔ１３が含まれている。また、クラスタＴ２には、３つの断層画像Ｔ２１，Ｔ２２，Ｔ２３が含まれている。ここで、断層画像Ｔ１１，Ｔ１２，Ｔ１３は、この順に撮影されたものとする。同様に、断層画像Ｔ２１，Ｔ２２，Ｔ２３は、この順に撮影されたものとする。また、断層画像Ｔ２１，Ｔ２２，Ｔ２３は、断層画像Ｔ１１，Ｔ１２，Ｔ１３の撮影の後、所定時間をおいて撮影されたものとする。撮影装置１２０は、このようにクラスタ単位で撮影を行うので、被検者は、複数のクラスタスキャンを行う場合に、１回のクラスタスキャンが終了し、次のクラスタスキャンが開始するまでの間に、目を閉じたり、顔を離したりして休憩することができる。なお、クラスタＴ１、Ｔ２は上記所定時間のインターバルを設けることなく連続的に撮影されたものであってもよい。また、クラスタＴ１、Ｔ２に含まれる断層画像は３枚以上であってもよいし、２枚であってもよい。また、クラスタＴ１、Ｔ２に含まれる断層画像の枚数は等しくなくともよい。
【００２９】
次に、Ｓ４０３において、位置合わせ部３０５は、クラスタ内の複数の断層画像について、ｘ方向及びｙ方向への移動とｘｙ面内の回転と、を行うことにより、断層画像の位置合わせを行う。具体的には、位置合わせ部３０５は、一の断層画像を基準画像として選択し、基準画像とクラスタ内の他の断層画像との相関を比較することにより、基準画像との比較の対象となった他の断層画像について移動や回転を行うことで、両断層画像の位置合わせを行う。位置合わせ部３０５は、これをクラスタ内のすべての断層画像について基準画像と位置合わせを行うことで、すべての断層画像の位置合わせを完了する。なお、位置合わせ部３０５はさらに、位置合わせにおいて網膜の各層の境界線の情報を用いてもよい。これにより、図５に示すクラスタＴ１の３つの断層画像Ｔ１１，Ｔ１２，Ｔ１３の位置合わせと、クラスタＴ２の３つの断層画像Ｔ２１，Ｔ２２，Ｔ２３の位置合わせが完了する。
【００３０】
次に、Ｓ４０４において、位置合わせ部３０５は、クラスタ間の断層画像、すなわち異なるクラスタに属する複数の断層画像について、ｘ方向及びｙ方向への移動とｘｙ面内の回転と、を行うことにより、位置合わせを行う。この場合には、位置合わせ部３０５は、各クラスタの代表の断層画像を選択し、代表の断層画像間で位置合わせを行う。代表の断層画像間での位置合わせは、Ｓ４０３における処理と同様である。そして、位置合わせ部３０５は、位置合わせにより移動や回転の対象となる代表画像について移動や回転を行うと共に、代表の断層画像と同一のクラスタに属する他の断層画像についても同様に移動や回転を行うことで位置合わせが完了する。なお、本実施形態においてはステップＳ４０３を実行した後にステップＳ４０４を実行することとしたが、これらのステップの順序は逆であってもよい。
【００３１】
次に、Ｓ４０５において、モーションコントラスト画像生成部３０６は、断層画像に対し、ノイズ除去処理を行う。モーションコントラスト画像の生成においては、ノイズの影響を受けやすい傾向がある。複数の断層画像の信号部分にノイズがあり、ノイズの値が互いに異なる場合には、両画素の脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまうためである。これを避けるために、本実施形態のモーションコントラスト画像生成部３０６は、モーションコントラスト画像の生成前に、断層画像に対しノイズ除去を行う。なお、ノイズ除去を行うことは必須ではない。
【００３２】
Ｓ４０５において、モーションコントラスト画像生成部３０６は、まず、ノイズ除去に用いる閾値を決定する。モーションコントラスト画像生成部３０６は、具体的には、処理対象となる複数のクラスタそれぞれに含まれる断層画像の背景部分（例えばＲＰＥより所定距離深い位置おける網膜が描画されていない部分）の画素値に基づいて、閾値を決定する。なお、閾値の決定には複数の断層画像を用いることなく１の断層画像の背景部分の画素値を用いることとしてもよい。図５の例では、モーションコントラスト画像生成部３０６は、クラスタＴ１内の３つの断層画像Ｔ１１，Ｔ１２，Ｔ１３と、クラスタＴ２内の３つの断層画像Ｔ２１，Ｔ２２，Ｔ２３の計６つの断層画像に基づいて閾値を決定する。このように、クラスタを跨いだ複数の断層画像から閾値を決定することで、より適切な値を閾値として決定することができる。例えば、モーションコントラスト画像生成部３０６は、断層画像Ｔ１１，Ｔ１２，Ｔ１３，Ｔ２１，Ｔ２２，Ｔ２３のそれぞれの背景部分の画素値を取得し、その平均値に基づいて閾値を決定することとしてもよい。なお、求めた平均値そのものを閾値としてもよいし、求めた平均値に対して処理のオフセットを加えた値を閾値とすることとしてもよい。オフセットは例えば正の値である。また、当該閾値をモーションコントラスト画像におけるモーションコントラスト値（脱相関値）の算出に用いることとしてもよい。例えば、モーションコントラスト画像生成部３０６は、閾値以下の画素の位置におけるモーションコントラスト値は０にすることとしてもよい。
【００３３】
そして、モーションコントラスト画像生成部３０６は、処理対象の各断層画像に対し、Ｓ４０５において決定した閾値を用いてノイズ除去を行う。例えば、モーションコントラスト画像生成部３０６、断層画像において閾値を下回る画素の値を０に置き換える。ここで、処理対象となる断層画像は、クラスタＴ１の３つの断層画像Ｔ１１，Ｔ１２，Ｔ１３と、クラスタＴ２の３つの断層画像Ｔ２１，Ｔ２２，Ｔ２３である。図５に示すように、クラスタＴ１の断層画像Ｔ１１，Ｔ１２，Ｔ１３は、クラスタ内の位置合わせ、クラスタ間の位置合わせ及びノイズ除去が施されることにより、それぞれ断層画像Ｔ１１'，Ｔ１２'，Ｔ１３'に変換される。同様に、クラスタＴ２の断層画像Ｔ２１，Ｔ２２，Ｔ２３は、クラスタ内の位置合わせ、クラスタ間の位置合わせ及びノイズ除去が施されることにより、それぞれ断層画像Ｔ２１'，Ｔ２２'，Ｔ２３'に変換される。
【００３４】
次に、Ｓ４０６において、モーションコントラスト画像生成部３０６は、ノイズ除去後の断層画像に基づいて、原モーションコントラスト画像を複数生成する。具体的には、モーションコントラスト画像生成部３０６は、Ｍ個の断層画像から（Ｍ−１）個の原モーションコントラスト画像を生成する。さらに、モーションコントラスト画像生成部３０６は、２つのクラスタから１つずつ選択した２つの断層画像から１個の原モーションコントラスト画像を生成する。ここで、１のクラスタ内に含まれる複数の断層画像から生成された原モーションコントラスト画像を第１の原モーションコントラスト画像と称する場合がある。また、異なるクラスタに属する複数の断層画像から生成された原モーションコントラスト画像を第２の原モーションコントラスト画像と称する場合がある。
【００３５】
図５の例では、モーションコントラスト画像生成部３０６は、クラスタＴ１の３つの断層画像Ｔ１１'，Ｔ１２'，Ｔ１３'から、２つの原モーションコントラスト画像（第１の原モーションコントラスト画像）Ａ１，Ａ２を生成する。モーションコントラスト画像生成部３０６は、同様に、クラスタＴ１の３つの断層画像Ｔ２１'，Ｔ２２'，Ｔ２３'から、２つの原モーションコントラスト画像（第１の原モーションコントラスト画像）Ａ４，Ａ５を生成する。モーションコントラスト画像生成部３０６はさらに、クラスタＴ１の断層画像Ｔ１３'とクラスタＴ２の断層画像Ｔ２１'から、１つの原モーションコントラスト画像（第２の原モーションコントラスト画像）Ａ３を生成する。
【００３６】
なお、第２の原モーションコントラスト画像を１枚以上生成することとしてもよい。例えば、複数の第２の原モーションコントラスト画像を生成するとする。この場合、モーションコントラスト画像生成部３０６は、複数の第２の原モーションコントラスト画像の基礎となる断層画像の取得間隔が等しくなるように、断層画像の組み合わせを特定する。そして、モーションコントラスト画像生成部３０６は、特定した断層画像の組み合わせそれぞれから第２の原モーションコントラスト画像を生成するようにしてもよい。モーションコントラスト画像生成部３０６は、例えば、断層画像Ｔ１１'とＴ２１'、Ｔ１２'とＴ２２'、Ｔ１３'とＴ２３'のそれぞれの組み合わせから第２の原モーションコントラスト画像を生成してもよい。
【００３７】
また、モーションコントラスト画像生成部３０６は、クラスタ内で得られるモーションコントラスト画像の基礎となる断層画像の取得間隔に近づくように断層画像の組み合わせを選択してもよい。モーションコントラスト画像生成部３０６は、例えば、断層画像Ｔ１３'とＴ２１'の組み合わせから第２の原モーションコントラスト画像を生成してもよい。例えば、モーションコントラスト画像生成部３０６は第２の原モーションコントラスト画像として断層画像Ｔ１３'とＴ２１'の組み合わせのみからモーションコントラスト画像を生成する。これにより、モーションコントラスト画像の基礎となる断層画像の取得間隔をクラスタ内外で揃えるようにしてもよい。なお、モーションコントラスト画像生成部３０６は、クラスタ内で得られるモーションコントラスト画像の基礎となる断層画像の取得間隔と異なる取得間隔の断層画像を基礎として第２の原モーションコントラスト画像を生成することとしてもよい。例えば、モーションコントラスト画像生成部３０６は、断層画像Ｔ１１'とＴ２３'に基づいてモーションコントラスト画像を生成することとしてもよい。クラスタ内で得られるモーションコントラスト画像の基礎となる断層画像の取得間隔と異なる取得間隔の断層画像を基礎とすることで、クラスタ内から得られるモーションコントラスト画像には十分に描出されていない血管を描出できる可能性がある。
【００３８】
次に、Ｓ４０７において、合成部３０７は、Ｓ４０７において得られた複数の原モーションコントラスト画像（第１の原モーションコントラスト画像と第２の原モーションコントラスト画像）の加算平均を合成モーションコントラスト画像として得る。次に、Ｓ４０８において、表示処理部３０３は、Ｓ４０８において得られた合成モーションコントラスト画像を表示部１１５に表示するよう制御する。本処理は、表示制御処理の一例である。以上で、モーションコントラスト画像生成処理は終了する。
【００３９】
以上のように、画像処理装置１１０は、撮影装置１２０により得られた複数のクラスタを用いて、合成モーションコントラスト画像を生成する。すなわち、画像処理装置１１０は、クラスタを跨いで、多数の断層画像を用いて合成モーションコントラスト画像を生成することができる。これにより、より高精度なモーションコントラスト画像を生成することができる。さらに、画像処理装置１１０は複数のクラスタを用いることができるため、高精度なモーションコントラスト画像を得るために、撮影装置１２０がクラスタスキャンにおける走査の繰り返し回数Ｍを増やす必要がない。このため、クラスタスキャンにおける繰り返し回数を少なく抑えることができる。したがって、本実施形態の画像処理システム１００においては、被検者は適宜休憩しながら撮影を行った場合においても、高精度、高画質なモーションコントラスト画像を得ることができる。再走査の観点からみれば、再走査をクラスタ単位とすることで再走査の回数を抑制しながら、クラスタ内、クラスタ間から得られたモーションコントラスト画像を合成することでモーションコントラスト画像の画質向上を図っている。すなわち、本実施形態は、走査回数の抑制による被検者の負担軽減とモーションコントラスト画像の高画質化との両立を実現している。高画質とは一度の撮影と比較してＳ／Ｎ比が向上している画像をいう。または、診断に必要な情報量が増えている画像のことをいう。
【００４０】
第１の実施形態の第１の変形例としては、画像処理装置１１０の位置合わせ部３０５は、処理対象の複数のクラスタに含まれるすべての断層画像の位置が合うような処理を行えばよく、そのための具体的な処理は実施形態に限定されるものではない。他の例としては、位置合わせ部３０５は、処理対象の複数のクラスタに含まれるすべての断層画像に対し、一の断層画像を基準画像とし、基準画像に合わせることで位置合わせを行ってもよい。
【００４１】
第２の変形例としては、合成部３０７は、同一のクラスタの断層画像から生成された原モーションコントラスト画像と、異なる２つのクラスタの断層画像から生成された原モーションコントラスト画像を合成すればよく、具体的な処理は実施形態に限定されない。例えば、図５の例において、合成部３０７は、Ｔ１のＴ１１'とＴ１３'から原モーションコントラスト画像を生成してもよい。また、合成部３０７は、クラスタＴ１の断層画像Ｔ１１'とクラスタＴ２の断層画像Ｔ２２'から原モーションコントラスト画像を生成してもよい。このように、合成部３０７が、同一のクラスタの断層画像から生成する原モーションコントラスト画像の数や、同一のクラスタにおいて原モーションコントラスト画像を生成する際に利用される２つの断層画像の組み合わせ方は、任意に決定できる。また、合成部３０７が、異なるクラスタの断層画像から生成する原モーションコントラスト画像の数や、異なるクラスタ間で原モーションコントラスト画像を生成する際に利用される２つの断層画像の組み合わせ方は、任意に決定できる。
【００４２】
第３の変形例としては、第１の実施形態においては、画像処理装置１１０は、クラスタスキャンにおいて、同じ撮影範囲を同じスキャンパターンで撮影したデータを処理対象とすることとしたが、これに限らない。画像処理装置１１０は、例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）で撮影したデータと、３ｍｍ×３ｍｍの範囲を６００×６００で撮影したデータとを処理対象としてもよい。この時の深度方向のサイズはどちらのデータにおいても共通で、例えば１０００とする。その場合には、画像処理装置１１０は、１ボクセルあたりの物理サイズを揃えるデータ変換処理を行った後に、上述した位置合わせ処理を実行する。なお、この例では、画像処理装置１１０は、３００×３００のデータを補間処理によって６００×６００に拡大してから処理をするようにしてもよいし、６００×６００のデータを補間処理によって３００×３００に縮小してから処理をするようにしてもよい。また、３ｍｍ×３ｍｍの範囲を３００×３００で撮影したデータと、６ｍｍ×６ｍｍの範囲を６００×６００で撮影したデータとを位置合わせする場合には、１ボクセルあたりの物理サイズは同じである。そこで、この場合には、画像処理装置１１０は、このままのサイズ同士で位置合わせを行う。これにより、異なる撮影範囲や異なるスキャン密度で撮影したデータ同士も加算平均することができる。
【００４３】
第４の変形例としては、モーションコントラスト画像生成処理の実行タイミングは特に限定されるものではない。画像処理装置１１０は、撮影装置１２０による撮影後速やかにモーションコントラスト画像生成処理を行ってもよい。また、他の例としては、撮影装置１２０から干渉信号を受信し、これを自装置のＨＤＤ１１４等に記憶しておき、ユーザから表示指示を受け付けた場合に、モーションコントラスト画像生成処理を行ってもよい。
【００４４】
第５の変形例としては、画像処理装置１１０は、クラスタを跨いで複数の断層画像から合成モーションコントラスト画像を生成するのに加えて、同一のクラスタに断層画像のみからも合成モーションコントラスト画像を生成してもよい。例えば、図５の例において、画像処理装置１１０は、クラスタＴ１の干渉信号を取得したタイミングで、クラスタＴ１に含まれる複数の断層画像に基づいて、原モーションコントラスト画像Ａ１，Ａ２を生成する。そして、画像処理装置１１０は、これらの加算平均を合成モーションコントラスト画像（Ｂ１と称する）として取得する。続いて、画像処理装置１１０は、クラスタＴ２の干渉信号を取得すると、クラスタＴ２に含まれる複数の断層画像に基づいて、原モーションコントラスト画像Ａ４，Ａ５を生成する。そして、画像処理装置１１０は、これらの加算平均を合成モーションコントラスト画像（Ｂ２と称する）として取得する。画像処理装置１１０はさらに、原モーションコントラスト画像Ａ３を生成し、原モーションコントラスト画像Ａ１，Ａ２，Ａ３，Ａ４，Ａ５を加算平均することで合成モーションコントラスト画像（Ｂ３と称する）を取得する。表示処理部３０３は、走査の進行に応じて合成モーションコントラスト画像Ｂ１を表示部１１５に表示させる。そして、表示処理部３０３は、合成モーションコントラスト画像Ｂ２が生成された段階で合成モーションコントラスト画像Ｂ１を合成モーションコントラスト画像Ｂ２に置き換えるようにしてもよい。同様に、表示処理部３０３は表示部１１５に表示された合成モーションコントラスト画像Ｂ２を、合成モーションコントラスト画像Ｂ３が生成された段階で合成モーションコントラスト画像Ｂ３に置き換えることとしてもよい。このようにすれば、最終的な合成モーションコントラスト画像である合成モーションコントラスト画像Ｂ３が生成される以前にも、ユーザは合成モーションコントラスト画像を確認することが可能となる。
【００４５】
さらに、画像処理装置１１０は、ユーザ操作に応じて、少なくとも１つの合成モーションコントラスト画像を表示部１１５に表示するよう制御してもよい。例えば、ユーザ操作に応じて、クラスタＴ１が選択された場合には、表示処理部３０３は、クラスタＴ１に対応した合成モーションコントラスト画像Ｂ１を表示部１１５に表示するよう制御する。また、クラスタＴ１とクラスタＴ２が選択された場合には、表示処理部３０３は、クラスタＴ１，Ｔ２に対応した合成モーションコントラスト画像Ｂ３を表示部１１５に表示するよう制御する。また、他の例としては、すべての合成モーションコントラスト画像Ｂ１，Ｂ２，Ｂ３を同時に表示部１１５に表示してもよい。これにより、合成モーションコントラスト同士を比較することができる。
【００４６】
（第２の実施形態）
次に、第２の実施形態に係る画像処理システム１００について、第１の実施形態に係る画像処理システム１００と異なる点を主に説明する。第２の実施形態に係る画像処理システム１００は、３次元モーションコントラスト画像を生成し、さらにこれを２次元面に投影することで２次元投影画像を生成する。
【００４７】
画像処理装置１１０は、３次元モーションコントラスト画像の生成に対応し、特殊なラスタスキャンを実施する。画像処理装置１１０は、具体的には同一箇所を主走査方向にＭ回走査しつつ、Ｍ回の走査が完了すると、副走査方向にシフトすることで、３次元ボリューム像が得られる。図６は、このスキャン方法の説明図である。図６には、Ｍ＝３、副走査ライン数３００の場合を示す。さらに、本実施形態においては、クラスタスキャンをＮ回繰り返すものとする。ただし、Ｎ回のクラスタスキャンは必ずしも連続で行われる必要はない。また、Ｎ回のクラスタスキャンにおいては、同一部位を撮影するものとし、前回のクラスタスキャンの撮影範囲と略同一になるように観察像の画像を用いて、制御を行うこととする。ただし、両範囲に重なる範囲があればよく、必ずしも完全に一致する必要はない。
【００４８】
図７は、第２の実施形態に係る画像処理装置１１０による、モーションコントラスト画像生成処理を示すフローチャートである。Ｓ７０１において、通信処理部３０１は、被検眼を同定する情報として被検者識別番号を外部から取得し、被検者識別番号に基づいて、ＨＤＤ１１４に格納されている、被検者の被検眼に関する情報を取得する。次に、Ｓ７０２において、断層画像生成部３０４は、撮影装置１２０から断層画像の干渉信号を受信し、干渉信号に基づいて、眼底の断層画像を生成する。さらに、副走査方向の位置が異なる複数の断層画像を生成することで、３次元ボリューム像を得る。例えばＭ＝３の場合には、３つの３次元ボリューム像が得られる。すなわち、１つのクラスタには、３つの３次元ボリューム像が含まれる。さらに、Ｎ回のクラスタスキャンにより、Ｎ個のクラスタが得られる。次に、Ｓ７０３において、位置合わせ部３０５は、３次元ボリューム像として得られた各断層画像の位置合わせを行う。Ｓ７０３において、クラスタ内の位置合わせとクラスタ間の位置合わせを行う。
【００４９】
図８は、位置合わせ処理（Ｓ７０３）における詳細な処理を示すフローチャートである。Ｓ８０１において、位置合わせ部３０５は、３次元ボリューム像を２次元平面状に投影し、２次元投影画像（プロジェクション画像）を生成する。具体的には、位置合わせ部３０５は、全体の断層画像に基づいて、断層画像の深度方向に平均値や、最大値などを計算することで、３次元の断層画像の正面画像であるプロジェクション画像を生成する。なお、プロジェクション画像の生成方法は平均値や最大値に限らない。最小値、中央値、分散、標準偏差、総和などの値で生成してもよい。またプロジェクション画像は、網膜の層検出結果に基づき、決まった層に限定した画像（いわゆるＥｎＦａｃｅ画像）を生成してもよい。プロジェクション画像は、クラスタ間の位置合わせを目的に生成される。このため、最低限、クラスタ内に含まれる複数の３次元ボリューム像のうち１つを選択し、それに対して１枚のプロジェクション画像を生成すればよい。ただし、これに限らず、クラスタ内のＭ個の３次元ボリューム像それぞれに対してプロジェクション画像を生成してもよい。
【００５０】
次に、Ｓ８０２において、位置合わせ部３０５は、第１の位置合わせとして、クラスタ毎のＮ枚のプロジェクション画像において、画像の横方向（ｘ軸）と縦方向（ｙ軸）の移動と、ｘｙ面内の回転の位置合わせを行う。
【００５１】
図９は、第１の位置合わせ処理（Ｓ８０２）における詳細な処理を示すフローチャートである。Ｓ９０１において、位置合わせ部３０５は、プロジェクション画像から、アーティファクト領域を検出し、除去する。図１０は、Ｓ９０１の処理の説明図である。プロジェクション画像１０００の領域１００１は、黒帯である。黒帯は、撮影中の眼の動きにより、網膜の位置が感度の高い位置から遠ざかることで網膜断層像の輝度値が低下したり、まばたき等により画像全体が暗くなることで脱相関の値が低くなったりすることで発生する。またこれらは、眼の動きがあった部分を再度スキャンする際の眼の条件変化によっても発生することがある。これらのアーティファクトは主走査方向の１ライン単位で発生する。そのため、位置合わせ部３０５は、１ライン単位でアーティファクトを検出する。例えば、位置合わせ部３０５は、１ラインでの断層像の平均値が閾値ＴＨＡＶＧ＿Ｂ以下の場合、黒帯として検出する。位置合わせ部３０５は、上記で求めたアーティファクト領域を、プロジェクション画像に対応するＭａｓｋ画像１０１０に記憶しておく。例えば、図１０のＭａｓｋ画像１０１０の白い領域１０１１ａ，１０１１ｂには「１」、黒い領域１０１２には「０」の値が設定、記憶される。
【００５２】
図９に戻り、Ｓ９０１の後、Ｓ９０２において、位置合わせ部３０５は、クラスタ毎のプロジェクション画像をそれぞれ位置合わせした場合の位置合わせパラメータや画像類似度等を保存するための２次元行列を初期化する。各行列の要素には、位置合わせ時の変形パラメータや画像類似度などの画像高画質化に必要な情報が記録される。
【００５３】
次に、Ｓ９０３において、位置合わせ部３０５は、位置合わせ対象を選択する。本実施形態においては、位置合わせ部３０５は、全てのプロジェクション画像を基準画像に設定して残りのプロジェクション画像と位置合わせを行う。例えば、位置合わせ部３０５は、Ｄａｔａ０のプロジェクション画像を基準とし、Ｄａｔａ１〜Ｄａｔａ（Ｎ−１）それぞれとの位置合わせを行う。次に、位置合わせ部３０５は、Ｄａｔａ１のプロジェクション画像を基準とし、Ｄａｔａ２〜Ｄａｔａ（Ｎ−１）それぞれとの位置合わせを行う。次に、位置合わせ部３０５は、Ｄａｔａ２のプロジェクション画像を基準とし、Ｄａｔａ３〜Ｄａｔａ（Ｎ−１）それぞれとの位置合わせを行う。このようにして、位置合わせ部３０５は、すべてのプロジェクション画像の組み合わせでの位置合わせを行う。図１１は、Ｓ９０３の処理の説明図である。図１１においては、簡単のため、Ｄａｔａ０〜Ｄａｔａ２を示しているが、Ｎ個のクラスタが存在する場合には、Ｎ個のプロジェクション画像間での位置合わせを行う。
【００５４】
なお、ここで示したように基準画像のＤａｔａを１つずつ繰り上げた場合に、位置合わせの対象とする画像のスタートＤａｔａも１つずつ大きくする。これについてＤａｔａ２のプロジェクション画像を基準とする場合について説明をする。Ｄａｔａ２を基準とする場合に、Ｄａｔａ０とＤａｔａ１、Ｄａｔａ０とＤａｔａ２、Ｄａｔａ１とＤａｔａ２の位置合わせは、それまでの処理により既に位置合わせ済みである。そのため、Ｄａｔａ２のプロジェクション画像を基準とする場合には、Ｄａｔａ３から位置合わせをすればよい。これにより、全部のプロジェクション画像同士の位置合わせとはいえ、半分の組み合わせを計算すればよいことになる。
【００５５】
図９に戻り、Ｓ９０４において、位置合わせ部３０５は、複数のクラスタに対応するプロジェクション画像間において画像の横方向（ｘ軸）と縦方向（ｙ軸）、ｘｙ面内の回転位置合わせを行う。プロジェクション画像間の位置合わせでは、ｘｙ面内においてサブピクセル位置合わせを行うために、位置合わせ部３０５は、プロジェクション画像のサイズを拡大して位置合わせを行う。サブピクセル位置合わせとすることで、ピクセル位置合わせよりも位置合わせの精度が向上することが期待される。例えば、プロジェクション画像の撮影サイズを３００×３００とした場合、位置合わせ部３０５は、６００×６００に拡大する。位置合わせ部３０５は、拡大する際にはＢｉｃｕｂｉｃやＬａｎｃｚｏｓ（ｎ）法のような補間方法を用いる。そして、位置合わせ部３０５は、例えば、２つのプロジェクション画像の類似度を表す評価関数を事前に定義しておき、プロジェクション画像位置をずらしたり、回転させたりしながら評価値を計算し、評価値が最もよくなる場所を位置合わせ結果とする。
【００５６】
評価関数としては、画素値で評価する方法が挙げられる（例えば、相関係数を用いて評価を行う方法が挙げられる）。類似度を表す評価関数として相関係数を用いる場合には、（式１）を用いることができる。
【数１】
2019063446.tif 000003
（式１）において、Ｄａｔａ０のプロジェクション画像の領域をｆ（ｘ，ｙ）、Ｄａｔａ１のプロジェクション画像の領域をｆ（ｘ，ｙ）とする。ｆave、ｇaveは、それぞれ領域ｆ（ｘ，ｙ）と領域ｇ（ｘ，ｙ）の平均を表す。なお、ここで領域とは位置合わせに用いるための画像領域であり、通常プロジェクション画像のサイズ以下の領域が設定され、上述したＲＯＩサイズが設定される。なお、評価関数は、画像の類似度や相違度を評価可能な関数であればよく、実施形態に限定されるものではない。評価関数の他の例としては、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）が挙げられる。また、他の例としては、位置合わせ部３０５は、ＰＯＣ（Ｐｈａｓｅ  Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行ってもよい。この処理により、ｘｙ面内の大局的な位置合わせが行われる。
【００５７】
なお、ここではプロジェクション画像のサイズを拡大して位置合わせを行う例について示したが、これに限らない。また、入力のプロジェクション画像サイズが９００×９００のような高密度スキャンの場合には、必ずしも拡大をする必要はない。また、位置合わせを高速で行うため、ピラミッド構造データを生成して位置合わせをしてもよい。
【００５８】
次に、Ｓ９０５において、位置合わせ部３０５は、プロジェクション画像の画像評価値を計算する。位置合わせ部３０５は、Ｓ９０４において２次元での位置合わせが完了しているプロジェクション画像において、位置合わせにより発生する無効領域を含まない画像の共通領域を用いて画像評価値を計算する。例えば、画像評価値Ｑは（式２）により計算される。
【数２】
2019063446.tif 000004
(式２)の最初の項は相関係数を表し、（式１）で示した式と同様である。そのため、式の中のσf、σgはそれぞれ、（式１）で示したものと対応する。２番目の項は明るさを評価する項である。３番目の項はコントラストを評価する項である。それぞれの項の、最小値は０、最大値は１となる。例えば、Ｄａｔａ０とＤａｔａ１が同じ画像である場合には評価値は１となる。そのため、Ｎ個のプロジェクション画像の中で平均的な画像を基準とした場合に評価値は高く、他のプロジェクション画像と異なるようなプロジェクション画像を基準とした場合には評価値は低くなる。ここで、他のプロジェクション画像と異なるとは、撮影位置が異なる、画像がひずんでいる、全体的に暗いあるいは明るすぎる、黒帯などのアーティファクトが含まれているような場合である。なお、画像評価値の算出方法は、実施形態に限定されるものではない。他の例としては、位置合わせ部３０５は、（式２）に含まれる３つの項それぞれを単独で評価してもよく、また他の組み合わせで評価してもよい。
【００５９】
次に、Ｓ９０６において、位置合わせ部３０５は、Ｓ９０２において初期化した２次元行列に値を保存する。位置合わせ部３０５は、例えば、基準画像をＤａｔａ０、対象画像をＤａｔａ１とする場合、２次元行列の要素（０、１）に対し、値を保存する。保存される値は、横方向の位置合わせパラメータｘ、縦方向の位置合わせパラメータｙ、ｘｙ面内の回転パラメータα、画像評価値、画像類似度である。位置合わせ部３０５はまた、図１０を参照しつつ説明したＭａｓｋ画像１０１０をプロジェクション画像１０００に関連付けて保存しておく。また、位置合わせ部３０５は、倍率補正を行う場合には、倍率を保存してもよい。
【００６０】
次に、Ｓ９０７において、位置合わせ部３０５は、第１の位置合わせ処理を終了するか否かを判断する。位置合わせ部３０５は、すべてのプロジェクション画像を基準画像として設定し、Ｓ９０４〜Ｓ９０６の処理を行った場合に終了すると判断する。位置合わせ部３０５は、終了すると判断した場合には（Ｓ９０７でＹＥＳ）、処理をＳ９０８へ進める。位置合わせ部３０５は、終了すると判断しなかった場合には（Ｓ９０７でＮＯ）、処理をＳ９０３へ進める。この場合、Ｓ９０３において、未処理のプロジェクション画像を基準画像として設定し、Ｓ９０４以降の処理を継続する。
【００６１】
Ｓ９０８において、位置合わせ部３０５は、２次元行列の残りの要素を更新する。Ｓ９０３の処理において説明したように、上記の処理においては、すべてのプロジェクション画像の組み合わせのうち半分の組み合わせしか計算をしていない。そこで、Ｓ９０８においては、位置合わせ部３０５は、計算をしていない要素に対し、計算済みの要素の値をコピーする。位置合わせ部３０５は、例えば、２次元行列の要素（０、１）のパラメータを（１、０）の要素にコピーする。すなわち、位置合わせ部３０５は、要素（ｉ、ｊ）を要素（ｊ、ｉ）にコピーする。この際、位置合わせパラメータｘ、ｙと回転パラメータαは逆になるため、位置合わせ部３０５は、負の値を掛けてコピーをする。画像類似度などは逆にならないため、位置合わせ部３０５は、同じ値をそのままコピーする。これらの処理によりプロジェクション画像位置合わせが行われる。以上で、第１の位置合わせ処理（Ｓ８０２）が完了する。
【００６２】
図８に戻り、第１の位置合わせ処理（Ｓ８０２）の後、Ｓ８０３において、位置合わせ部３０５は、Ｓ８０３における位置合わせの結果に基づいて基準画像を選択する。Ｓ８０３において、２次元行列の各要素に高画質化画像生成に必要な情報が保存されているので、位置合わせ部３０５は、２次元行列の情報に基づいて、基準画像を選択する。具体的には、位置合わせ部３０５は、画像評価値、位置合わせパラメータ、アーティファクト領域評価値を用いて選択を行う。画像評価値には、Ｓ９０５で求めた値が用いられる。位置合わせパラメータは、Ｓ９０４で求めた位置合わせ結果のｘとｙを用いて算出される。位置合わせ部３０５は、例えば、（式３）により位置合わせパラメータを求める。（式３）において、位置合わせパラメータは、移動量が大きいほど大きな値となる。
【数３】
2019063446.tif 000005
【００６３】
アーティファクト領域評価値は、Ｓ９０１において得られたＭａｓｋ画像を用いて、例えば、（式４）により算出される。
【数４】
2019063446.tif 000006
（式４）において、Ｔ（ｘ，ｙ）は、はＭａｓｋ画像でのアーティファクトではない領域のピクセルを表し、Ａ（ｘ，ｙ）は、Ｍａｓｋ画像の全ピクセルを表す。アーティファクトが存在しない場合、最大値は１となる。
【００６４】
画像評価値とアーティファクト領域評価値は数値が大きい方がよく、位置合わせパラメータ評価値は数値が小さい方がよい。また、画像評価値と位置合わせパラメータ評価値は、ある画像を基準とした時に、その他の画像との関係で求める値であるため、Ｎ−１個の合計値となる。これらの評価値は評価尺度が異なるため、位置合わせ部３０５は、それぞれの値でソートを行い、ソートしたインデックスの合計値により基準画像を選択する。位置合わせ部３０５は、例えば、画像評価値とアーティファクト領域評価値の数値が大きい程、ソート後のインデックスが小さくなるように、かつ、位置合わせパラメータ評価値の数値が小さい程、ソート後のインデックスが小さくなるようにソートを行う。そして、位置合わせ部３０５は、これらのソート後のインデックス値が最も小さくなる画像を基準画像として選択する。
【００６５】
なお、基準画像選択の方法について、ソート値を合計することで基準画像を選択する例について述べたがこれに限らない。他の例としては、位置合わせ部３０５は、それぞれの評価値のソート後のインデックスに重みをつけて評価値を計算してもよい。また、他の例としては、位置合わせ部３０５は、ソート値ではなく、それぞれの評価値が１になるように正規化し、その結果に応じて基準画像を選択してもよい。例えば、画像評価値は１に正規化しているが、本実施形態においてはＮ−１個の合計値であるため、平均値を用いるようにすればよい。
【００６６】
例えば、位置合わせパラメータ評価値を（式５）のように定義することで１に正規化でき、この場合、評価値が１に近いほうが良い評価値となる。
【数５】
2019063446.tif 000007
（式５）において、ＳＶｎは（式３）で求めた値のＮ−１個の合計値で、添え字のnはＤａｔａ番号に対応する。そのため、Ｄａｔａ０の場合は、ＳＶ０である。ＳＶｍａｘは、Ｄａｔａ０〜Ｄａｔａ（Ｎ−１）の間で最大の位置合わせパラメータ評価値である。αは重みであり、ＳＶｎとＳＶｍａｘが同じ数値の時に、ＮＳＶｎの値をいくつに設定するかを調整するパラメータである。なお、最大値ＳＶｍａｘは上述したように実際のデータから決めてもよいし、閾値として事前に定義しておいてもよい。アーティファクト領域評価値は０〜１に正規化してあるので、そのまま用いればよい。このように、全ての評価値を１に正規化した場合には、評価値の合計値が最も大きくなるものを基準画像として選択する。
【００６７】
ここで説明したように、基準画像は、Ｎ個の画像の中で平均的な画像であり、他の画像を位置合わせする際に移動量が少なく、アーティファクトが少ないという条件を最も満たす画像が選択される。これにより、例えば、図１１の例において、基準画像にＤａｔａ１が基準画像として選択される。この場合、Ｄａｔａ０とＤａｔａ２に対し、第１の位置合わせ処理において得られた位置合わせパラメータに基づき、移動や回転等が施される。
【００６８】
次に、Ｓ８０４において、位置合わせ部３０５は、第２の位置合わせとして、プロジェクション画像を用いて網膜の横方向（ｘ軸）の位置合わせを行う。Ｓ８０４の処理について図１２を参照しつつ説明する。図１２（ａ）は、基準画像Ｄａｔａ１と、位置合わせ対象がＤａｔａ２において、横方向の位置合わせを行う例を示している。また、Ｍａｓｋにおいては、Ｄａｔａ２に含まれるアーティファクト（図では横方向の黒いライン）と、Ｄａｔａ１との位置合わせの結果Ｄａｔａ２が移動することにより生じる無効領域（図ではＭａｓｋ画像の縦方向の黒いライン）に０が設定されている。位置合わせ部３０５は、基準画像と位置合わせ対象画像についてそれぞれのラインで横方向に位置合わせを行い、ライン単位での類似度を計算する。位置合わせ部３０５は、類似度の計算には、例えば（式１）を用いる。そして、位置合わせ部３０５は、類似度が最大となる位置にラインを移動させる。また、位置合わせ部３０５は、ライン単位で基準画像に対しての類似度を計算し、類似度に応じてＭａｓｋに重みを設定する。
【００６９】
図１２（ｂ）は、位置合わせの結果の例を示す図である。図１２（ｂ）では、画像上端と画像中心付近では、基準画像と似ていないと判断され、重ね合わせに使用しないラインとしてＭａｓｋ画像に横方向の黒ラインが設定された例を示している。また、画像中心付近と画像下端では、ライン単位の位置合わせの結果として、中心付近では左側に、画像下端では右側にずらされた例を示している。画像をずらすことで無効領域が生じるため、Ｍａｓｋには無効領域に０が設定される。この処理により、ｘｙ面内の局所的な位置合わせが行われる。なお、第１の位置合わせで求めた回転パラメータαに関して、第２の位置合わせを行う前にそれぞれの画像に対して適用してもよいし、第２の位置合わせを行った後に適用するようにしてもよい。
【００７０】
図８に戻り、Ｓ８０４の処理の後、Ｓ８０５において、位置合わせ部３０５は、第３の位置合わせとして、基準の３次元ボリューム像とその他の３次元ボリューム像との深さ方向（ｚ方向）における位置合わせを行う。図１３は、第３の位置合わせ処理（Ｓ８０５）における詳細な処理を示すフローチャートである。Ｓ１３０１において、位置合わせ部３０５は、３次元ボリューム像としての断層画像をそれぞれ記憶しておく。位置合わせ部３０５は、例えば、Ｄａｔａ１の３次元ボリューム像を記憶する。次に、Ｓ１３０２において、位置合わせ部３０５は、境界線情報を取得する。ここで、深さ方向位置合わせに用いる境界線をＬ１とする。
【００７１】
次に、Ｓ１３０３において、位置合わせ部３０５は、それぞれの３次元ボリューム像毎に深さ方向の位置と傾きを合わせる。２次元の断層像を撮影する際に眼は動いている。ｘｙ面内の移動に関しては、１つのクラスタスキャン内は、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせができている。しかし、深さ方向に関してはリアルタイムトラッキングをしていないため、データ内部でも位置合わせを行う必要がある。なお、この場合においても、断層画像間の相関等に基づいてｘｙ面内においても位置合わせを行ってもよい。
【００７２】
ここでは、１つの３次元ボリューム像（１つのクラスタ）内の位置合わせについて、図１４を参照しつつ説明をする。図１４（ａ）は、位置合わせに用いる境界線Ｌ１の一例を示す図である。ここでは、境界線Ｌ１（ＩＬＭ）を用いる場合について説明するが、境界線の種類はこれに限らない。他の境界線でもよく、複数の境界線を組み合わせてもよい。図１４（ａ）において、基準データをＩｎｄｅｘｃ、対象データをＩｎｄｅｘｃ−１としている。なお、最初の基準データは３次元ボリューム像の中心、対象データは基準データに対して副走査方向において隣の境界線とする。
【００７３】
図１４（ｂ）には、説明のために基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１'とを重ねて示す。図１４（ｂ）の例では、境界線Ｌ１は縦方向に１２分割されている。ここでは、分割数を１２として説明をする。それぞれの領域をＡｒｅａ０〜Ａｒｅａ１１とする。なお、図１４（ｂ）において、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。そして、上下矢印Ｄｉｆｆｅｒｅｎｃｅ１は、Ｌ１とＬ１'との差を表す。これらの差は、それぞれの領域Ａｒｅａ０〜Ａｒｅａ１１それぞれで求める。これらの分割数は横方向の画像サイズに応じて変更してもよい。また、共通して検出した境界線の横幅のサイズに応じて変更してもよい。ここでは、簡単のため、横方向の境界線サイズを同じとしているが、実際には、網膜層が画像の上方向にずれ（ｚ軸で０の方向）、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体で境界線を検出することができない。そのため、境界線同士の位置合わせにおいては、基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１'との境界線が検出できている範囲を分割して位置合わせをすることが望ましい。
【００７４】
図１４（ｂ）において各領域のＤｉｆｆｅｒｅｎｃｅ１の平均をそれぞれＤ０〜Ｄ１１とする。すなわち、ＩＬＭの差の平均をその領域の差分の代表値とする。位置合わせ部３０５は、各領域で求めた代表値Ｄ０〜Ｄ１１を小さい順にソートする。そして、位置合わせ部３０５は、ソートした代表値を小さい順から８個用いて、平均と分散を計算する。本実施形態においては、選択数は８個とするが、選択数は分割数よりも小さい数であればよく、８個に限定されない。モーションコントラスト画像生成部３０６は、ソートした代表値を一つずつずらして平均と分散を計算する。本実施形態では１２個に分割した領域のうち８個の代表値を用いて計算をするため、全部で５種類の平均値と分散値が求まる。次に、位置合わせ部３０５は、求めた５種類の分散値の中で最小となる分散値を算出した際の８個の差分の代表値を用いて深さ方向のシフト値と傾きを求める。
【００７５】
図１４（ｃ）は、横軸に分割領域の中心ｘ座標、縦軸に差分の代表値としたグラフである。図１４（ｃ）において、黒丸は分散値が最小となった組み合わせの差分の代表値の例であり、黒三角は選択されなかった差分の代表値の例を示している。位置合わせ部３０５は、分散値が最小となった組み合わせの差分の代表値（図１４（ｃ）における黒丸）を用いて、（式６）により、深さ方向のシフト値Ｄを求める。
【数６】
2019063446.tif 000008
（式６）のｘはｘ座標、すなわちＡスキャン位置である。また、（式６）のａ、ｂは、それぞれ（式７）、（式８）により得られる。（式７）、（式８）において、ｘiは選択された分割領域の中心ｘ座標、Ｄiは選択された差分の代表値であり、ｎは選択した代表値の数である。すなわち、本例においては、ｎ＝８である。
【００７６】
ここで示すように境界線位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いる。これにより、境界線検出に誤りがあったとしても、それらの領域の値は使用されない。そのため、安定して深さ方向のシフト値を計算することができる。なお、各領域の深さ方向の代表値として平均値を用いたが、これに限定されるものではなく、中央値等、代表的な値を用いることができればよい。さらに、バラつきの値として分散値を用いたが、これに限定されるものではなく、標準偏差等、値のバラつきを評価できる指標であればよい。
【００７７】
この処理に関して、位置合わせ部３０５は、基準データと対象データを変えながらすべてデータに関して位置合わせを行う。すなわち、最初の基準データは３次元ボリューム像の中心境界線、対象データは基準データの隣の境界線データとした。この位置合わせが終了したら、その次には、位置合わせ部３０５は、先ほど対象データとしたデータを基準データとして、さらにその隣のデータを対象データとして位置合わせを行う。この処理が画像の端まで完了したら、位置合わせ部３０５は、再度、基準データを中心境界線として、最初の位置合わせとは反対側の隣の境界線データを対象データとして位置合わせをする。反対側においてもこの処理を画像の端まで行う。位置合わせ部３０５は、層検出できていないデータがある場合には、１つ前の位置合わせパラメータを用いて補正を行い、次のデータに進む。
【００７８】
この処理を適用した例を図１５（ａ）に示す。図１５（ａ）は、境界線Ｌ１のｚ座標を輝度値として表現したＤｅｐｔｈＭａｐである。ＤｅｐｔｈＭａｐが明るい場合はｚ座標の値が大きく、ＤｅｐｔｈＭａｐが暗い場合はｚ座標の値が小さいことを表している。図１５（ａ）にはＤａｔａ０〜Ｄａｔａ２を示し、上側のＤｅｐｔｈＭａｐは位置合わせ前で、下側のＤｅｐｔｈＭａｐは位置合わせ後である。位置合わせ前のＤｅｐｔｈＭａｐには、すべてＤａｔａにおいて、横方向の色むらがある。これは、撮影時にｚ方向に網膜が動いていることを表している。一方、位置合わせ後のＤｅｐｔｈＭａｐには、横方向の色むらが減少し、隣接するデータ間でｚ方向の位置合わせが行われたこを表している。なお、深さ方向位置合わせにおいて、データの片側を位置合わせした後に、反対側の位置合わせをする例について示したが、それに限らない。最初の基準データを同じにして、両側の処理を並列に実行してもよい。なお、位置合わせ部３０５は、基準データ（本実施形態ではＤａｔａ１）の各Ａスキャンの深度方向への移動量を記憶しておく。
【００７９】
図１３に戻り、Ｓ１３０３の後、Ｓ１３０４において、位置合わせ部３０５は、複数の３次元ボリューム像間（複数のクラスタ間）での深さ方向の位置と傾きを合わせる。Ｓ１３０４においては、位置合わせ部３０５は、Ｓ１３０３で３次元ボリューム像内での深さ方向の位置合わせをしたデータを用いて、境界線Ｌ１を用いて位置合わせを行う。計算方法は、Ｓ１３０３において説明したのと同様であるが、計算する対象は、データ内ではなくデータ間となる。この処理を適用した例を図１５（ｂ）に示す。ここで、基準データはＤａｔａ１で、位置合わせの対象データはＤａｔａ０とＤａｔａ２とする。位置合わせ部３０５は、ＤｅｐｔｈＭａｐに対して、第１の位置合わせ及び第２の位置合わせで求めたパラメータを適用して、Ｄａｔａ０とＤａｔａ２のＤｅｐｔｈＭａｐをそれぞれ変形させる。そして、位置合わせ部３０５は、Ｄａｔａ０とＤａｔａ２共に、Ｄａｔａ１に対して、各Ｂスキャンに相当する境界線Ｌ１の深さ方向位置合わせを実行する。
【００８０】
図１５（ｂ）では、Ｄａｔａ０〜Ｄａｔａ２を示し、上側のＤｅｐｔｈＭａｐはデータ内での位置合わせ後で、下側のＤｅｐｔｈＭａｐはデータ間での位置合わせ後である。データ内での位置合わせ後のＤｅｐｔｈＭａｐでは、Ｄａｔａ０〜Ｄａｔａ２において網膜のｚ位置が異なるため、ＤｅｐｔｈＭａｐの明るさが異なっている。一方、データ間での位置合わせ後のＤｅｐｔｈＭａｐでは、Ｄａｔａ０〜Ｄａｔａ２において網膜のｚ位置が揃っているため、ＤｅｐｔｈＭａｐの明るさも揃っていることを表している。これらの処理により、ｚ方向の大局的な位置合わせが行われる。
【００８１】
図１３に戻り、Ｓ１３０４の後、Ｓ１３０５において、位置合わせ部３０５は、第１の位置合わせ、第２の位置合わせ及び第３の位置合わせにおいて求めた、ｘ、ｙ、Ｒｏｔａｔｉｏｎ、ｚに関する変形パラメータを適用して３次元ボリューム像を変形する。具体的には、位置合わせ部３０５は、３次元ボリューム像に含まれる断層画像を変形する。なお、Ｓ９０４（図４）においてｘｙ面内において画像を拡大して位置合わせを行っている場合には、位置合わせ部３０５は、元のサイズに相当する変形パラメータに戻した上で、変形処理を行う。すなわち、２倍に拡大した画像でのｘｙ面内位置合わせパラメータの数値が１であった場合、ここでは、０．５であるとする。そして、元のサイズで３次元ボリューム像の形状変形を行う。
【００８２】
ｘ、ｙ、Ｒｏｔａｔｉｏｎ、ｚに関する変形パラメータがサブピクセルあるいはサブボクセルでの移動量である場合、位置合わせ部３０５は、３次元ボリューム像を補間処理で変形させる。ここで、サブピクセルあるいはサブボクセルであるとは、移動量が０．５のような実数値の場合や、Ｒｏｔａｔｉｏｎパラメータが０ではなく、データを回転させる場合などのことである。形状データの補間には、ＢｉｃｕｂｉｃやＬａｎｃｚｏｓ（ｎ）法などを用いることができる。
【００８３】
図１６は、Ｄａｔａ０〜Ｄａｔａ２の３次元ボリューム像を示す図である。上側の３次元ボリューム像は、位置合わせを行う前の３次ボリューム像であり、下側の３次元ボリューム像は、第１の位置合わせ、第２の位置合わせ、第３の位置合わせを行った後に画像変形した３次元ボリューム像である。ここで示すように、データ内かつデータ間での位置合わせ後の３次元ボリューム像は、Ｄａｔａ０〜Ｄａｔａ２において網膜のｘｙｚに関する位置合わせが成されたことを表している。
【００８４】
図１３に戻り、Ｓ１３０５の後、Ｓ１３０６において、位置合わせ部３０５は、データ間でのｚ位置合わせを行ったＤｅｐｔｈＭａｐにおいて、基準データと対象データとの差分検出を行う。そして、差分の絶対値が閾値以上の場所（ｘ、ｙ）においては、位置合わせの精度が低いと判断し重ね合わせに使用しないこととする。そのため、対象データのＭａｓｋ画像に無効領域として０を設定する。以上で、第３の位置合わせ処理（Ｓ８０５）が完了する。
【００８５】
図８に戻り、第３の位置合わせ処理（Ｓ８０５）の後、Ｓ８０６において、位置合わせ部３０５は、第４の位置合わせ処理を行う。第４の位置合わせ処理は、基準データと対象データ間において、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを行う処理である。なお、ここでの位置合わせはｚ方向の局所位置合わせとして説明をする。
【００８６】
図１７は、第４の位置合わせ処理（Ｓ８０６）における詳細な処理を示すフローチャートである。Ｓ１７０１において、位置合わせ部３０５は、位置合わせ部３０５は、境界線情報を取得する。ここで、深さ方向位置合わせに用いる境界線をＬ１とＬ３とする。次に、Ｓ１７０２において、位置合わせ部３０５は、対象画像の特徴領域を含むように位置合わせ用の領域を設定する。Ｓ１７０２の処理について図１８を参照しつつ説明する。
【００８７】
図１８には基準データの３次元ボリューム像の断層画像と、位置合わせ対象となる３次元ボリューム像の断層画像を示している。位置合わせ対象となる対象画像１には、基準断層画像の境界線情報（Ｌ１とＬ３）を基に、複数の位置合わせ用の領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔｉｎｇ）が設定されている。ＲＯＩの深さ方向サイズは、Ｌ１とＬ３を基準として、それよりもそれぞれ数１０ピクセル程度、上方向と下方向に広く設定される。なお、上下方向に数１０ピクセル程度パラメータを設定する場合において、大局位置合わせの結果を用いてパラメータを補正することがある。図１８の対象画像１に示すように大局位置合わせにおいて、画像全体を下方向にシフトさせている場合、画像の上端部に無効領域が存在する。この場合、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように初期のＲＯＩサイズを補正する必要がある。
【００８８】
ＲＯＩの横方向サイズは、画像を分割したサイズに応じて設定される。分割数は、画像のサイズ（Ａスキャン本数）や画像の撮影サイズ（３ｍｍ）など、撮影パラメータに合わせて設定される。例えば、本実施形態において、Ａスキャン本数を３００、撮影サイズを３ｍｍとした場合、分割数は１０とする。なお、位置合わせ部３０５は、横方向のサイズとＲＯＩの設定値においても大局位置合わせの結果を用いて補正を行う。上下方向のパラメータ同様に横方向においても無効領域が存在することがあるため、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように設定する必要がある。
【００８９】
そして、位置合わせ部３０５は、局所位置合わせ用のＲＯＩをそれぞれ重畳するように設定する。これは、ＲＯＩを重複させずに、ＲＯＩのサイズを小さくする場合、ＲＯＩの中に特徴的な部位を含まない場所が存在することがあるためである。例えば、網膜を狭画角で撮影した場合、画像内に平坦な組織が広い範囲において写る場合がある。また一方、ＲＯＩを重複させずに、特徴を含むようにＲＯＩの範囲を広く設定すると、局所位置合わせのためのサンプリング数が少なくなり、粗い位置合わせとなってしまうためである。そのため、これらの問題を解決するために、ＲＯＩのｘ方向のサイズを広くして、かつそれぞれのＲＯＩ同士を重畳させて設定することとする。
【００９０】
なお、図１８において、画像中心部にＲＯＩを描画していないが、実際には画像の左端から右端まで網膜上にＲＯＩを設定する。さらに、ＲＯＩを設定する間隔は、ＲＯＩ位置合わせ時の探索範囲を考慮するのが望ましい。具体的には、ＲＯＩ位置合わせ時の横方向探索範囲をＸＲとする場合、位置合わせ部３０５は、隣接するＲＯＩの中心座標の間隔が２ＸＲ以上となるように設定をする。これは、中心座標の間隔を２ＸＲ未満とする場合、隣接するＲＯＩ同士の中心位置が入れ替わる可能性があるためである。
【００９１】
図１７に戻り、Ｓ１７０２の処理の後、Ｓ１７０３において、位置合わせ部３０５は、ＲＯＩを使って領域位置合わせを行う。位置合わせ部３０５は、Ｓ９０４（図９）において説明したプロジェクション画像の位置合わせと同様に（式１）を用いて画像類似度に応じた位置合わせを行う。画像位置合わせにおいては、位置合わせ部３０５は、対象画像に設定したＲＯＩが基準となる断層画像ではどこにあるかを探索する。この際、第１〜第３の位置合わせにより、３次元ボリューム像の変形を行っているので、基準画像と対象画像とのおおよその位置は合っている。そのため、基準画像での位置合わせの探索範囲は、ＲＯＩの初期位置から上下左右数〜数１０ピクセルを探索すればよく、最も類似する場所を位置合わせ結果とする。なお、探索領域は固定でもよく、撮影画角、撮影部位、画像の場所（端や中心）に応じて変更してもよい。撮影画角が狭くスキャンスピードが速い場合には、１枚の画像を撮影している間の眼の移動量は小さいが、撮影画角が広くなると眼の移動量も大きくなる。そのため、撮影画角が大きい場合には探索範囲を広くしてもよい。また、眼が回転する中心部分と周辺部とでは、移動量は周辺部の方が大きくなるため、周辺部の方へ探索範囲を広くしてもよい。
【００９２】
次に、Ｓ１７０４において、位置合わせ部３０５は、Ｓ１７０３において求めた位置合わせパラメータを補間することで各Ａスキャンの移動量を算出する。Ｓ１７０４の処理について図１９を参照しつつ説明する。図１９（ａ）は、初期設定した領域のＲＯＩ１〜ＲＯＩ３を表している。Ｃ１〜Ｃ３の下三角はＲＯＩ１〜ＲＯＩ３の中心位置を表している。また、図１９（ｂ）は、Ｓ１７０３での位置合わせ後のＲＯＩの移動例を示している。図１９（ｂ）においては、ＲＯＩ１とＲＯＩ３がそれぞれ右側に移動し、ＲＯＩ２が移動しない場合の例である。そのため、ＲＯＩの中心Ｃ１とＣ３がそれぞれＣ１'とＣ３'に移動している。各ＲＯＩの移動量からＡスキャンの移動量を算出するためには、隣接するＲＯＩとＲＯＩの中心位置の移動量に基づいて算出をする。例えば、ＲＯＩ１の中心位置はＣ１からＣ１'に移動しており、ＲＯＩ２の中心位置はＣ２のままである。
【００９３】
位置合わせ部３０５は、（式９）〜（式１１）を用いて変形前のＣ１からＣ２の間にある各Ａスキャンのｘ方向移動量を求める。
【数７】
2019063446.tif 000009
（式９）〜（式１１）において、Ｘ１、Ｘ２は各ＲＯＩの初期中心座標、ΔＸ１、ΔＸ２は各ＲＯＩの中心座標のｘ方向移動量である。Ａ＿ｂｅｆｏｒｅは変形前のＡスキャンインデックスの値、Ａ＿ａｆｔｅｒはＡ＿ｂｅｆｏｒｅが参照する、変形前のＡスキャンインデックスの値である。例えば、Ａ＿ｂｅｆｏｒｅが５５、計算の結果でＡ＿ａｆｔｅｒが５６とする場合、Ａスキャンインデックス５５には、Ａスキャンインデックス５６のＡスキャンデータが入る。なお、ｚ方向の移動量も数１０〜１２と同様の考え方に基づき、各ＲＯＩの中心位置の移動量から求めることができ、上下方向に数ピクセルデータを移動する。
【００９４】
なお、Ａ＿ａｆｔｅｒの値は実数でも整数でもよい。実数の場合は、複数のＡスキャンデータから補間方法（ＢｉｌｉｎｅａｒやＢｉｃｕｂｉｃ等）により新しいＡスキャンデータを作成する。整数の場合は、対応するＡスキャンインデックスのデータをそのまま参照する。なお、ここでは、ｘ方向とｚ方向の両方を局所的に位置合わせする例を示したがこれに限らない。例えば、ｘ方向だけ、ｚ方向だけのどちらか一方のみを局所的に変形させるようにしてもよい。なお、ｘ方向はトラッキングで撮影時に位置合わせを行っているため、処理負荷を軽減するために、ｚ方向のみ局所的な位置合わせをするようにしてもよい。
【００９５】
次に、Ｓ１７０５において、位置合わせ部３０５は、Ｓ１７０４で求めたＡスキャン移動量を基に、Ａスキャン毎にｘ方向とｚ方向に移動させる。これにより、Ａスキャン単位で変形した断層画像を生成することができる。次に、Ｓ１７０６において、位置合わせ部３０５は、第４の位置合わせ処理を終了するか否かを判断する。位置合わせ部３０５は、基準となる３次元ボリューム像の全ての断層画像に対して、位置合わせの対象となるデータのすべての局所位置合わせ行った場合に終了すると判断する。位置合わせ部３０５は、終了すると判断した場合には（Ｓ１７０６でＹＥＳ）、第４の位置合わせ処理を終了する。位置合わせ部３０５は、終了しないと判断した場合には（Ｓ１７０６でＮＯ）、処理をＳ１７０１へ進め、処理を継続する。
【００９６】
図８に戻り、第４の位置合わせ処理（Ｓ８０６）の処理の後、Ｓ８０７において、位置合わせ部３０５は、基準データ（本実施形態ではＤａｔａ１）の網膜位置を入力時の深度位置の状態に戻す。このとき、位置合わせ部３０５は、Ｓ１３０１（図１３）において記憶した３次元ボリューム像と、Ｓ１３０３において記憶した各Ａスキャンの深度方向移動量と、を参照する。位置合わせ部３０５は、加算平均後の３次元の断層画像を、Ｓ１３０３で記憶した各Ａスキャンの深度方向移動量を用いて元の状態に戻す。例えば、あるＡスキャンにおいて下方向（ｚ方向）に５移動させている場合、位置合わせ部３０５は、上方向（ｚ方向）に５移動させる。上方向に５移動させることで、データ下部に無効領域が発生するので、位置合わせ部３０５は、この無効領域には、ステップＳ１３０１で記憶した３次元ボリューム像の同じ座標位置のデータをコピーする。
【００９７】
なお、加算平均後データの無効領域に対して入力のデータをコピーする例を示したが、これに限らない。他の例としては、位置合わせ部３０５は、３次元ボリューム像に対し、加算平均後の３次元ボリューム像から元々の座標位置に対応する範囲のデータを切り出してコピーしてもよい。上述の例では、データ移動後に無効領域へのコピーという２ステップでの処理であるのに対し、本例では、コピーのみの１ステップとなるため、処理負荷を減らすことができる。以上で、位置合わせ処理（Ｓ７０３）が完了する。
【００９８】
図７に戻り、Ｓ７０３の処理の後、Ｓ７０４において、モーションコントラスト画像生成部３０６は、Ｓ７０３において位置合わせが完了した３次元ボリューム像に基づいて、３次元モーションコントラスト画像を生成する。ここで、３次元モーションコントラスト画像とは、２つの３次元ボリューム像の対応する各位置の断層画像から得られたモーションコントラスト画像群である。モーションコントラスト画像生成部３０６は、各クラスタに含まれるＭ個の３次元ボリューム像から（Ｍ−１）個の３次元モーションコントラスト画像を生成する。さらに、モーションコントラスト画像生成部３０６は、２つのクラスタから１つずつ選択した２つの３次元ボリューム像から１個の３次元モーションコントラスト画像を生成する。
【００９９】
Ｓ７０４の処理について、図２０、図２１を参照しつつ説明する。図２０において、ＭＣは３次元のモーションコントラスト画像を示し、ＬＭＣは３次元のモーションコントラスト画像を構成する２次元のモーションコントラスト画像を示している。ここでは、このＬＭＣを生成する方法について説明をする。モーションコントラスト画像生成部３０６は、位置合わせ後の２つの断層画像から（式１２）により脱相関値Ｍ（ｘ，ｙ）を求め、脱相関値Ｍ（ｘ，ｙ）に基づいて、モーションコントラスト画像を生成する。
【数８】
2019063446.tif 000010
ここで、Ａ（ｘ，ｚ）は断層像画像Ａの位置（ｘ，ｚ）における輝度、Ｂ（ｘ，ｚ）は断層画像Ｂの同一位置（ｘ，ｚ）における輝度を示している。脱相関値Ｍ（ｘ，ｚ）は０〜１の値となり、２つの輝度の差が大きいほどＭ（ｘ，ｚ）の値は大きくなる。モーションコントラスト画像生成部３０６は、Ｓ７０４において、同一のクラスタの２つの断層画像において脱相関値Ｍ（ｘ，ｚ）を算出し、さらに、２つのクラスタから１つずつ選択した２つの断層画像において脱相関値Ｍ（ｘ，ｚ）を算出する。ただし、モーションコントラスト画像の生成に用いられる２つの断層画像にマスク部分がある場合は、モーションコントラスト画像生成部３０６は、モーションコントラスト画像における対応する位置の値はゼロにする。
【０１００】
図２１（ａ）のプロジェクション画像２１００及び図２１（ｂ）のプロジェクション画像２１１０は、モーションコントラスト画像の生成に用いられる２つの断層画像Ａ（ｘ，ｚ）、Ｂ（ｘ，ｚ）に対応したプロジェクション画像の一例である。図２１（ａ）のマスク画像２１０１は、プロジェクション画像２１００に対応し、図２１（ｂ）のマスク画像２１２２は、プロジェクション画像２１１０に対応する。プロジェクション画像２１００においては、下部にマスク部分が存在し、プロジェクション画像２１１０においては、左側と中央の少し上側にマスク領域が存在する。
【０１０１】
モーションコントラスト画像生成部３０６は、まずマスク画像２１０１及びマスク画像２１１１の論理和を取ることで、図２１（ｃ）に示すマスク画像２１２１を生成する。モーションコントラスト画像生成部３０６はさらに、マスク画像２１２１の１箇所に関し（式１２）により、脱相関値Ｍ（ｘ，ｚ）を算出する。なお、モーションコントラスト画像生成部３０６は、図２１（ｃ）に示すモーションコントラスト画像２１２０のように、マスクが０の箇所については、脱相関値Ｍ（ｘ，ｚ）をゼロとする（図２１（ｃ）の斜線部分）。
【０１０２】
（式１２）に示す脱相関値Ｍ（ｘ，ｙ）は、ノイズの影響を受けやすい傾向がある。例えば、複数の断層画像の無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラスト画像生成部３０６は、前処理として、各画素毎の断層像の画素値を参照し、所定の閾値を下回る断層画像はノイズとみなして、ゼロに置き換える。これにより、画像生成部３３２は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。なお、モーションコントラスト画像生成部３０６は、第１の実施形態において説明したのと同様、処理対象の複数のクラスタそれぞれに含まれる断層画像に基づいて閾値を決定し、この閾値を用いてノイズ除去を行う。
【０１０３】
図７に戻り、Ｓ７０４の処理の後、Ｓ７０５において、合成部３０７は、Ｓ７０４において生成された複数の３次元モーションコントラスト画像を合成する。具体的には、合成部３０７は加算平均処理を行う。合成部３０７は、ボクセル毎に、複数のモーションコントラスト画像とＭａｓｋ画像の値を掛け算した値の合計値ＳＵＭ＿Ａと、複数のＭａｓｋ画像の値の合計値ＳＵＭ＿Ｂをそれぞれ保持しておく。Ｍａｓｋ画像にはアーティファクトとして除去した無効領域や、位置合わせによりデータが存在しない無効領域が０として保存されているため、Ｍａｓｋ画像の合計値ＳＵＭ＿Ｂにはボクセル毎に異なる値が保持されている。通常、位置合わせにおいてｘｙｚ毎、数１０ボクセルの移動が想定されることが多い。この場合には、加算平均前のモーションコントラスト画像のデータ数がＫ個である場合、画像中心付近のＳＵＭ＿Ｂのボクセル値はＫであり、画像端部のＳＵＭ＿Ｂのボクセル値はＫよりも少ない値になる。そして、合成部３０７は、ＳＵＭ＿ＡをＳＵＭ＿Ｂで割ることにより加算平均を計算したモーションコントラスト画像を求めることができる。
【０１０４】
図２２を参照しつつ、２つのモーションコントラスト画像に対する加算平均処理について説明する。図２２（ａ）は、モーションコントラスト画像２２００と対応するマスク画像２２０１を示す図である。図２２（ｂ）は、モーションコントラスト画像２２１０と対応するマスク画像２２１１を示す図である。各モーションコントラスト画像２２００，２２１０の斜線部はマスクされている領域であり、ＳＵＭ＿Ａを計算する際にゼロとなる。図２２（ｃ）は、モーションコントラスト画像２２００，２２１０の加算平均により得られたモーションコントラスト画像２２２０とＳＵＭ＿Ｂの値を示す図である。なお、本実施形態においては、ＳＵＭ＿Ｂが１〜２の値を取った例を示しているが、マスクの領域が重複することにより、ＳＵＭ＿Ｂにゼロの領域がある場合は、モーションコントラスト画像の値もゼロとする。
【０１０５】
図７に戻り、Ｓ７０５の処理の後、Ｓ７０６において、表示処理部３０３は、ユーザ指示に応じた画像を表示部１１５に表示するよう制御する。例えば、受付部３０２がｘｚ面のモーションコントラスト画像の表示指示を受け付けたとする。この場合には、合成部３０７は、Ｓ７０５において得られた３次元モーションコントラスト画像に基づいて、ｘｚ面のモーションコントラスト画像を生成する。そして、表示処理部３０３は、得られたｘｚ面のモーションコントラスト画像を表示するよう制御する。また、受付部３０２が、ｘｙ面のモーションコントラスト画像（ＯＣＴＡ画像）の表示指示を受け付けたとする。この場合には、合成部３０７は、Ｓ７０５において得られた３次元モーションコントラスト画像に基づいて、ｘｙ面のモーションコントラスト画像を生成する。具体的には、合成部３０７は、指定された生成範囲に対応した３次元モーションコントラスト画像を２次元平面に投影することにより、ｘｙ面のモーションコントラスト画像を生成する。そして、表示処理部３０３は、得られたｘｙ面のモーションコントラスト画像を表示するよう制御する。
【０１０６】
また、受付部３０２が、ボリュームレンダリング画像の表示指示を受け付けたとする。この場合には、合成部３０７は、Ｓ７０５において得られた３次元モーションコントラスト画像に基づいて、ボリュームレンダリング画像を生成する。そして、表示処理部３０３は、得られたボリュームレンダリング画像を表示するよう制御する。また、他の例としては、合成部３０７は、閾値処理が行われた次元モーションコントラストデータにカラーの設定をし、表示処理部３０３は、輝度値の３次元断層画像に重畳表示してもよい。
【０１０７】
なお、表示処理部３０３は、ｘｚ面のモーションコントラスト画像とｘｙ面のモーションコントラスト画像とを表示部１１５に同時に表示してもよい。また、表示処理部３０３は、ｘｚ面のモーションコントラスト画像と、ｘｙ面のモーションコントラスト画像と、ボリュームレンダリング画像とを表示部１１５に同時に表示してもよい。このように、表示処理部３０３は、ｘｚ面のモーションコントラスト画像、ｘｙ面のモーションコントラスト画像及びボリュームレンダリング画像のうち少なくとも１つを表示部１１５に表示するよう制御すればよい。
【０１０８】
図２３〜図２５は、加算平均処理を行う前後のモーションコントラスト画像を示す図である。図２３は、ｘｚ面のモーションコントラスト画像、図２４は、ｘｙ面のモーションコントラスト画像（ＯＣＴＡ画像）、図２５は、ボリュームレンダリング画像である。図２３（ａ）は、加算平均前の３次元モーションコントラスト画像から生成されたｘｚ面のモーションコントラスト画像を示す図である。図２３（ｂ）は、加算平均後の３次元モーションコントラスト画像から生成されたｘｚ面のモーションコントラスト画像を示す図である。図２４（ａ）は、加算平均前の３次元モーションコントラスト画像から生成された、網膜表層のＯＣＴＡ画像、図２４（ｂ）は、加算平均後の３次元モーションコントラスト画像から生成された、網膜表層のＯＣＴＡ画像を示す画像である。図２５（ａ）は、加算平均前の３次元モーションコントラスト画像から生成されたボリュームレンダリング画像を示す図である。図２５（ｂ）は、加算平均後の３次元モーションコントラスト画像から生成されたボリュームレンダリング画像を示す図である。
【０１０９】
図２３〜図２５に示すように加算平均処理により、コントラストが向上したモーションコントラスト画像を得ることができる。さらに、図２５のようにモーションコントラスト画像のボリュームレンダリングを行うと、２次元のＯＣＴＡ画像では認識し難い血管の深さ方向における上下関係なども把握しやすくなる。３次元モーションコントラスト画像と同様に、複数の３次元断層画像に関しても加算平均処理を行ってもよい。このようにすれば、高画質なＯＣＴＡ画像とともに、高画質な３次元断層像を得ることができる。
【０１１０】
以上のように、第２の実施形態にかかる画像処理装置１１０は、第１の実施形態に係る画像処理装置１１０と同様に、多数の断層画像を用いて合成モーションコントラスト画像を生成することができる。したがって、より高精度なモーションコントラスト画像を生成することができる。さらに、第２の実施形態に係る画像処理装置１１０は、３次元ボリューム像を生成することで、精度よく位置合わせを行うことができる。
【０１１１】
第２の実施形態の第１の変形例としては、画像処理装置１１０は、さらに層検出の評価値に基づいて基準画像の選択を行うこととしてもよい。画像処理装置１１０は、例えば、層検出時にＡスキャン毎に断層像の輝度値を参照するが、検出時の断層像の輝度値の情報を基に、Ａスキャン毎に検出精度の信頼度を設定して総検出の評価値を求めてもよい。例えば、断層像の輝度値が低い場合などは、まばたき等があり、正しく網膜を検出できていない可能性がある。そこで、画像処理装置１１０は、この場合に検出の信頼度が低くなるよう定義された評価値を用いるものとする。また、他の例としては、画像処理装置１１０は、輝度値だけではなく境界線の位置に基づいて定義された評価値を用いてもよい。評価値は、境界線の位置がｚ方向において上端や下端に接している場合には、正しく層を検出できない可能性があるため検出の信頼度が低くなるよう定義されていてもよい。
【０１１２】
そして、画像処理装置１１０は、層検出の評価値が閾値以上の層検出領域を評価する。層検出領域の評価値は、（式４）のアーティファクト領域評価値と同様の方法で評価することができる。例えば、（式４）において、Ｔ（ｘ，ｙ）のアーティファクトではない領域を、閾値以上の層検出領域と置き換えればよい。これにより、断層画像の深さ情報も用いることになるため、基準画像として、より確からしい画像を選択することができる。
【０１１３】
第２の変形例としては、画像処理装置１１０は、３次元ボリューム像内でのｚ方向位置合わせにおいて、最初の基準データをデータの中心としたがこれに限らない。例えば、画像中心付近において境界線Ｌ１の層検出の信頼度が高い場所を基準として始めるようにしてもよい。層検出の信頼度は、画像の明るさや検出した層境界のｚ方向位置によって定義される。これにより、信頼度の高い箇所を基にして位置合わせを開始するため、位置合わせのエラーを低減することが期待できる。
【０１１４】
第３の変形例としては、画像処理装置１１０は、Ｓ９０４（図９）においてプロジェクション画像をｘｙ面内で拡大し、その後Ｓ１３０５（図１３）において、元のサイズに戻した上で、３次元ボリューム像の変形（Ｓ１３０５）を行ったが、これに限らない。他の例としては、画像処理装置１１０は、３次元ボリューム像そのものを拡大して位置合わせを行い、そのままの状態で出力することとしてもよい。例えば、３次元ボリューム像のサイズが３００×３００×１０００（主走査×副走査×深度）の場合に、画像処理装置１１０は、これを６００×６００×１０００に拡大して位置合わせ、加算平均を行い、そのままのサイズでデータ出力を行ってもよい。また他の例としては、画像処理装置１１０は、６００×６００×１０００に拡大して位置合わせと加算平均を行った後、最後に３００×３００×１０００のサイズに戻して出力してもよい。これにより、出力される３次元の加算平均後のデータは、より高画質になることが期待される。
【０１１５】
第４の変形例としては、画像処理装置１１０は、Ｓ８０７において、入力時のｚ方向に戻す処理を行ったが、本処理を行わず、第３の位置合わせ処理におけるｚ方向の位置合わせの結果のまま出力することとしてもよい。これにより、ｚ方向に関する深さと傾きの位置合わせが済んだデータを表示することができる。なお、この場合には、Ｓ１３０１の処理は不要である。ただし、この場合には、ｚ方向にデータ全体を変形させているため、画像処理装置１１０は、層境界のｚ方向の位置をＳ１３０３において記憶した移動量に基づいて補正する。
【０１１６】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【０１１７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１８】
１００  画像処理システム
１１０  画像処理装置
１２０  撮影装置
【図１】
2019063446.tif 000011
【図２】
2019063446.tif 000012
【図３】
2019063446.tif 000013
【図４】
2019063446.tif 000014
【図５】
2019063446.tif 000015
【図６】
2019063446.tif 000016
【図７】
2019063446.tif 000017
【図８】
2019063446.tif 000018
【図９】
2019063446.tif 000019
【図１０】
2019063446.tif 000020
【図１１】
2019063446.tif 000021
【図１２】
2019063446.tif 000022
【図１３】
2019063446.tif 000023
【図１４】
2019063446.tif 000024
【図１５】
2019063446.tif 000025
【図１６】
2019063446.tif 000026
【図１７】
2019063446.tif 000027
【図１８】
2019063446.tif 000028
【図１９】
2019063446.tif 000029
【図２０】
2019063446.tif 000030
【図２１】
2019063446.tif 000031
【図２２】
2019063446.tif 000032
【図２３】
2019063446.tif 000033
【図２４】
2019063446.tif 000034
【図２５】
2019063446.tif 000035