(57)【要約】【課題】  複数の眼底画像を用いて、眼底部の変形を高精度かつ簡便に解析可能とする眼底画像処理装置、眼底画像処理方法、及びプログラムを提供する。【解決手段】  同一患者について撮影年代の異なる２つの眼底画像を眼底画像処理装置１に入力する。制御部１１は各眼底画像の画像サイズ及び方向を統一し、血管強調画像を作成する。制御部１１は撮影年代の古い方の画像を基準とし、撮影年代の新しい方の画像を補正対象として、まずアフィン変換による線形整合処理を行う。その後、制御部１１は基準血管強調画像及び線形補正（アフィン変換）された血管強調画像に補正用グリッドを表示し、グリッドに対する変形操作を受け付ける。制御部１１はグリッドの変形に従って血管強調画像を非線形に変形させる（非線形整合処理部２７）。制御部１１はグリッドの変形量に基づき眼底部の変形を解析する。【選択図】図２
2017196041.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２の眼底画像を入力する画像入力手段と、
前記第１の眼底画像の血管パターンを基準として前記第２の眼底画像の血管パターンを整合させるように前記第２の眼底画像を線形補正する線形整合処理手段と、
各区画の形状を変形可能なグリッドを前記線形補正された第２の眼底画像に重畳表示し、前記グリッドに対する変形操作を受け付けるグリッド設定手段と、
前記グリッドの変形量に基づき、前記線形補正された第２の眼底画像の対応区画を変形させる非線形整合処理手段と、
前記グリッドの変形量に基づき眼底部の変形を解析する解析手段と、
を備えることを特徴とする眼底画像処理装置。
【請求項２】
前記眼底画像の各々について前記血管候補領域を抽出した画像である血管強調画像を生成する血管強調画像生成手段を更に備え、
前記グリッド設定手段は、前記線形補正された第２の眼底画像に対応する血管強調画像である第２の血管強調画像に前記グリッドを重畳表示し前記グリッドに対する変形操作を受け付けることを特徴とする請求項１に記載の眼底画像処理装置。
【請求項３】
前記グリッド設定手段は、前記グリッドが重畳表示された前記第２の血管強調画像に並べて、均等分割のグリッドが重畳表示された前記第１の眼底画像に対応する血管強調画像を表示することを特徴とする請求項２に記載の眼底画像処理装置。
【請求項４】
前記グリッド設定手段は、前記グリッドの交点を基準に上下左右方向に複数区画を１単位として変形操作を受け付けることを特徴とする請求項１から請求項３のいずれかに記載の眼底画像処理装置。
【請求項５】
前記グリッド設定手段は、前記グリッドの交点を一つ置きに選択可能とし、選択可能な交点の移動に連動して当該交点の周囲８交点の位置を移動させ、移動させた８交点に連結している１６の区画を変形させることを特徴とする請求項４に記載の眼底画像処理装置。
【請求項６】
前記グリッド設定手段は、前記グリッドの全ての交点を選択可能とし、いずれかの交点が移動されると当該交点を含む周囲４つの区画を変形させることを特徴とする請求項１から請求項３のいずれかに記載の眼底画像処理装置。
【請求項７】
前記グリッド設定手段は、前記グリッドの交点を基準に上下左右方向に１区画を１単位として変形操作を受け付ける第１操作モードと、前記グリッドの交点を基準に上下左右方向に複数区画を１単位として変形操作を受け付ける第２操作モードとを備え、
前記第１及び第２の操作モードのいずれかを選択する選択手段を更に備えることを特徴とする請求項１から請求項３のいずれかに記載の眼底画像処理装置。
【請求項８】
前記第１及び第２の眼底画像の各々から眼底領域を含む範囲を抽出し、抽出した範囲の画像サイズ及び乳頭領域の配置の前記範囲の中心からの偏り方向が前記第１及び第２の眼底画像で一致するように処理する前処理手段を更に備えることを特徴とする請求項１から請求項７のいずれかに記載の眼底画像処理装置。
【請求項９】
前記第１の血管強調画像の血管候補領域と、前記線形整合処理手段により線形補正された第２の血管強調画像または前記非線形整合処理朱手段により変形された第２の血管強調画像の血管候補領域とを色を分けて重畳表示する重畳表示手段を更に備えることを特徴とする請求項３から請求項８のいずれかに記載の眼底画像処理装置。
【請求項１０】
前記第１の眼底画像と、前記非線形整合処理手段により変形された第２の眼底画像との整合の度合いを示す指標を算出する整合性指標算出手段を更に備え、
前記重畳表示手段は、前記整合性指標算出手段により算出された指標を更に表示することを特徴とする請求項１から請求項９のいずれかに記載の眼底画像処理装置。
【請求項１１】
前記指標として画素適合比率を算出することを特徴とする請求項１０に記載の眼底画像処理装置。
【請求項１２】
前記指標として正規化相関係数を算出することを特徴とする請求項１０に記載の眼底画像処理装置。
【請求項１３】
前記解析手段は、前記第１の眼底画像上にグリッドの変位量及び変位方向を示すベクトルを重畳表示することを特徴とする請求項１から請求項１２のいずれかに記載の眼底画像処理装置。
【請求項１４】
前記解析手段は、更に、前記非線形整合処理手段による変形量に基づき眼底領域の各部の変位量を算出し、表示することを特徴とする請求項１３に記載の眼底画像処理装置。
【請求項１５】
コンピュータに第１及び第２の眼底画像を入力するステップと、
コンピュータが、
前記第１の眼底画像の血管パターンを基準として前記第２の眼底画像の血管パターンを整合させるように前記第２の眼底画像を線形補正するステップと、
各区画の形状を変形可能なグリッドを前記線形補正された第２の眼底画像に重畳表示し、前記グリッドに対する変形操作を受け付けるステップと、
前記グリッドの変形量に基づき、前記線形補正された第２の眼底画像の対応区画を変形させるステップと、
前記グリッドの変形量に基づき眼底部の変形を解析するステップと、
を含む処理を実行することを特徴とする眼底画像処理方法。
【請求項１６】
コンピュータを、
第１及び第２の眼底画像を入力する画像入力手段と、
前記第１の眼底画像の血管パターンを基準として前記第２の眼底画像の血管パターンを整合させるように前記第２の眼底画像を線形補正する線形整合処理手段と、
各区画の形状を変形可能なグリッドを前記線形補正された第２の眼底画像に重畳表示し、前記グリッドに対する変形操作を受け付けるグリッド設定手段と、
前記グリッドの変形量に基づき、前記線形補正された第２の眼底画像の対応区画を変形させる非線形整合処理手段と、
前記グリッドの変形量に基づき眼底部の変形を解析する解析手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼底画像解析装置、眼底画像解析方法、及びプログラムに関し、詳細には、強度近視についての画像解析に関する。
【背景技術】
【０００２】
眼科疾患でポピュラーな近視の中に強度近視がある。強度近視は、眼球後極の組織が変性して眼軸が伸び、強度な近視の症状を呈し、場合により失明に至る重篤な疾患である。本疾患の特徴は眼球が前後に拡大し、眼球後極にぶどう腫と呼ばれる肥大や変形がみられる。これらの眼球の変形が病態の予後に関係することが知られている。眼球の変形度合いの解析手法としては、例えば特許文献１や特許文献２等に開示される手法が提案されている。特許文献１、２は、３Ｄ−ＭＲＩを用いた解析手法である。しかし、ＭＲＩ装置は眼科医院に普及している眼底カメラと比較して価格が高額で、眼底カメラのように卓上に設置できず、また磁気シールド等の付帯設備が大掛かりになるため、眼科医院に導入するのが困難である。また撮影に手間がかかり眼底カメラに比べ撮影時間を要すること、眼球にフォーカスして撮影できず頭部全体を撮影する方法をとるため、眼底カメラに比べ解像度が低いこと、眼底カメラのように眼底血管が映らないため、血管の変形が解析できないこと、眼底カメラに比べ開発の歴史が浅いため、過去に撮影され保存されている画像がなく、数十年強の長期に渡る経年変化解析ができないといった不都合があった。
【０００３】
これに対し本出願人等は同一患者で撮影年代が数十年程度の開きがある複数の眼底画像同士を整合させ、各種眼底部位の寸法比較等を可能にする技術を提案した（特許文献３）。この手法により、眼底血管を基準に線形なアフィン変換を用いて眼底画像同士を整合させる方法をとることで、眼底部の視神経乳頭や血管の２次元的な経年変化の解析を可能とした。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−４８６９６号公報
【特許文献２】特開２０１５−８９４７７号公報
【特許文献３】特開２０１３−８５５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献３の方法は、眼球の捻じれ変形等の３次元的な変形について解析できず改良の余地があった。また、眼球に非対称な変形が発生すると眼底血管に見かけ上の変形が加わるため、眼底血管を基準に画像同士を整合させることが難しい場合があった。
【０００６】
本発明は、このような課題に鑑みてなされたもので、複数の眼底画像を用いて、眼底部の変形を高精度かつ簡便に解析可能とする眼底画像処理装置、眼底画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述した課題を解決するため第１の発明は、第１及び第２の眼底画像を入力する画像入力手段と、前記第１の眼底画像の血管パターンを基準として前記第２の眼底画像の血管パターンを整合させるように前記第２の眼底画像を線形補正する線形整合処理手段と、各区画の形状を変形可能なグリッドを前記線形補正された第２の眼底画像に重畳表示し、前記グリッドに対する変形操作を受け付けるグリッド設定手段と、前記グリッドの変形量に基づき、前記線形補正された第２の眼底画像の対応区画を変形させる非線形整合処理手段と、前記グリッドの変形量に基づき眼底部の変形を解析する解析手段と、を備えることを特徴とする眼底画像処理装置である。
【０００８】
第１の発明によれば、眼底画像処理装置は、第１及び第２の眼底画像の入力を受け付け、第１の眼底画像の血管パターンを基準として第２の眼底画像の血管パターンを整合させるように第２の眼底画像を線形補正し、各区画の形状を変形可能なグリッドを線形補正された第２の眼底画像に重畳表示し、グリッドに対する変形操作を受け付け、グリッドの変形量に基づき線形補正された第２の眼底画像の対応区画を変形させ、グリッドの変形量に基づき眼底部の変形を解析する。これにより、例えば同一患者について撮影年代が異なる２つの眼底画像同士を整合させて、眼底部の変形を高精度かつ簡便に解析できる。特に、眼底部の３次元的な変形の解析を眼科診療において普及している眼底画像を用いて容易に行えるようになる。
【０００９】
第１の発明において、前記眼底画像の各々について前記血管候補領域を抽出した画像である血管強調画像を生成する血管強調画像生成手段を更に備え、前記グリッド設定手段は、前記線形補正された第２の眼底画像に対応する血管強調画像である第２の血管強調画像に前記グリッドを重畳表示し前記グリッドに対する変形操作を受け付けることが望ましい。これにより、血管強調画像を用いて変形操作を行うことが可能となるため、眼底部の画像上の特徴でもある血管パターンが比較しやすく変形操作が容易となる。
【００１０】
第１の発明において、前記グリッド設定手段は、前記グリッドが重畳表示された前記第２の血管強調画像に並べて、均等分割のグリッドが重畳表示された前記第１の眼底画像に対応する血管強調画像を表示することが望ましい。これにより、基準とする血管強調画像と変形対象とする血管強調画像とを比較しながら変形操作を行うことができ、使用しやすいものとなる。
【００１１】
また、第１の発明において、前記グリッド設定手段は、前記グリッドの交点を基準に上下左右方向に複数区画を１単位として変形操作を受け付けることが望ましい。また前記グリッド設定手段は、前記グリッドの交点を一つ置きに選択可能とし、選択可能な交点の移動に連動して当該交点の周囲８交点の位置を移動させ、移動させた８交点に連結している１６の区画を変形させることが望ましい。これにより、複数の区画を一括して変形させることが可能となり、操作性が向上する。
【００１２】
前記グリッド設定手段は、前記グリッドの全ての交点を選択可能とし、いずれかの交点が移動されると当該交点を含む周囲４つの区画を変形させるようにしてもよい。これにより、局所的な微細な変形操作が容易となる。
【００１３】
前記グリッド設定手段は、前記グリッドの交点を基準に上下左右方向に１区画を１単位として変形操作を受け付ける第１操作モードと、前記グリッドの交点を基準に上下左右方向に複数区画を１単位として変形操作を受け付ける第２操作モードとを備え、前記第１及び第２の操作モードのいずれかを選択する選択手段を更に備えることが望ましい。これにより、操作モードを選択すれば、複数区画に跨る大きな変形操作も１区画の微細な変形操作も容易に行えるようになる。
【００１４】
第１の発明において、前記第１及び第２の眼底画像の各々から眼底領域を含む範囲を抽出し、抽出した範囲の画像サイズ及び乳頭領域の配置の前記範囲の中心からの偏り方向が前記第１及び第２の眼底画像で一致するように処理する前処理手段を更に備えるが望ましい。これにより、入力する眼底画像の撮影条件によらず本発明を適用できるようになるため実用的である。
【００１５】
第１の発明において、前記第１の血管強調画像の血管候補領域と、前記線形整合処理手段により線形補正された第２の血管強調画像または前記非線形整合処理朱手段により変形された第２の血管強調画像の血管候補領域とを色を分けて重畳表示する重畳表示手段を更に備えることが望ましい。これにより、基準とする眼底画像の血管パターンと線形または非線形の整合処理によって補正または変形された眼底画像の血管パターンとを重ねた状態で比較でき、両画像の整合性を容易に確認できる。
【００１６】
また第１の発明において、前記第１の眼底画像と、前記非線形整合処理手段により変形された第２の眼底画像との整合の度合いを示す指標を算出する整合性指標算出手段を更に備え、前記重畳表示手段は、前記整合性指標算出手段により算出された指標を更に表示することが望ましい。前記指標としては、画素適合比率や正規化相関係数が好適である。これにより、２つの画像の整合性を定量的に比較でき、整合性の確認が容易となる。
【００１７】
また第１の発明において、前記解析手段は、前記第１の眼底画像上にグリッドの変位量及び変位方向を示すベクトルを重畳表示することが望ましい。また前記解析手段は、更に、前記非線形整合処理手段による変形量に基づき眼底領域の各部の変位量を算出し、表示することが望ましい。これにより、眼底部の局所的な変形の向きや大きさをベクトルで直感的に確認したり、各眼底部位の寸法比較を容易にできるようになる。眼底画像を用いて３Ｄ−ＭＲＩでは解析困難な眼底部の微細な３次元的な変形（捻じれ変形等）も高精度かつ簡便に解析できる。
【００１８】
第２の発明は、コンピュータに第１及び第２の眼底画像を入力するステップと、コンピュータが、前記第１の眼底画像の血管パターンを基準として前記第２の眼底画像の血管パターンを整合させるように前記第２の眼底画像を線形補正するステップと、各区画の形状を変形可能なグリッドを前記線形補正された第２の眼底画像に重畳表示し、前記グリッドに対する変形操作を受け付けるステップと、前記グリッドの変形量に基づき、前記線形補正された第２の眼底画像の対応区画を変形させるステップと、前記グリッドの変形量に基づき眼底部の変形を解析するステップと、を含む処理を実行することを特徴とする眼底画像処理方法である。
【００１９】
第２の発明によれば、コンピュータに第１及び第２の眼底画像が入力されると、コンピュータは第１の眼底画像の血管パターンを基準として第２の眼底画像の血管パターンを整合させるように第２の眼底画像を線形補正し、各区画の形状を変形可能なグリッドを線形補正された第２の眼底画像に重畳表示し、グリッドに対する変形操作を受け付け、グリッドの変形量に基づき線形補正された第２の眼底画像の対応区画を変形させ、グリッドの変形量に基づき眼底部の変形を解析する。これにより、例えば同一患者について撮影年代が異なる２つの眼底画像同士を整合させて、眼底部の変形を高精度かつ簡便に解析できる。特に、眼底部の３次元的な変形の解析を眼科診療において普及している眼底画像を用いて容易に行えるようになる。
【００２０】
第３の発明は、第１及び第２の眼底画像を入力する画像入力手段と、前記第１の眼底画像の血管パターンを基準として前記第２の眼底画像の血管パターンを整合させるように前記第２の眼底画像を線形補正する線形整合処理手段と、各区画の形状を変形可能なグリッドを前記線形補正された第２の眼底画像に重畳表示し、前記グリッドに対する変形操作を受け付けるグリッド設定手段と、前記グリッドの変形量に基づき、前記線形補正された第２の眼底画像の対応区画を変形させる非線形整合処理手段と、前記グリッドの変形量に基づき眼底部の変形を解析する解析手段と、として機能させるためのプログラムである。
【００２１】
第３の発明によれば、コンピュータを第１の発明の眼底画像処理装置として機能させることが可能となる。
【発明の効果】
【００２２】
本発明により、複数の眼底画像を用いて、眼底部の変形を高精度かつ簡便に解析可能とする眼底画像処理装置、眼底画像処理方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００２３】
【図１】眼底画像処理装置１のハードウェア構成を示すブロック図
【図２】眼底画像処理装置１の機能構成を示すブロック図
【図３】線形補正（アフィン変換）及び非線形補正の概念図
【図４】本発明に係る眼底画像処理の流れを説明するフローチャート
【図５】前処理による眼底画像の変化の様子を示す図
【図６】血管強調画像生成処理の各段階における画像の変化の様子を示す図
【図７】図４の眼底画像処理のステップＳ１０４における線形整合処理の詳細を示すフローチャート
【図８】（ａ）線形整合処理による基準血管強調画像Ａｇ１について変化の様子を示す図、（ｂ）線形整合処理による補正対象血管強調画像Ｂｇ１について変化の様子を示す図。
【図９】オーバーレイ表示処理（図７のステップＳ２０８）の詳細を示すフローチャート
【図１０】カラー合成画像Ｃ２によるオーバーレイ表示について説明する図
【図１１】図４のステップＳ１０４の線形整合処理（図７、図９）までの処理で得られた各画像の表示例
【図１２】図４の眼底画像処理のステップＳ１０５における非線形整合処理の詳細を示すフローチャート
【図１３】補正用グリッドＧ０の変形操作について説明する図。（ａ）１区画単位編集モード、（ｂ）２区画単位編集モード
【図１４】２区画単位編集モードにおける補正用グリッドＧ０の状態の遷移を示す図。（ａ）は初期状態、（ｂ）更新後の状態
【図１５】グリッドの変形に伴う画像の変形手法の例
【図１６】補正用グリッドの変形に応じた画像の非線形補正について示す図。（ａ）基準血管強調画像Ａｇ１について、（ｂ）線形補正後血管強調画像Ｂｇ２について
【図１７】カラー合成画像Ｃ３によるオーバーレイ表示について説明する図
【図１８】非線形整合処理における操作中（図１２のステップＳ４０５）の表示画面の一例を示す図
【図１９】非線形補正の前の眼底画像Ｂ２、非線形補正後の眼底画像Ｂ３を示す図
【図２０】図４のステップＳ１０５の非線形整合処理（図１２）までの処理で得られた各画像の表示例
【図２１】変形解析処理結果の出力について説明する図
【図２２】基準眼底画像Ａ１（左図）上に変形解析結果である変位ベクトルｖを示した図
【図２３】正常眼の眼底画像についてアフィン変換後、非線形補正後の変化を示す図
【図２４】正常眼についての非線形整合処理例を示す図
【図２５】正常眼についての変形解析結果を示す図
【図２６】強度近視眼の眼底画像についてアフィン変換後、非線形補正後の変化を示す図
【図２７】強度近視眼についての非線形整合処理例を示す図
【図２８】強度近視眼についての変形解析結果を示す図
【発明を実施するための形態】
【００２４】
以下、図面に基づいて本発明の実施形態を詳細に説明する。図１は、眼底画像処理装置１のハードウェア構成を示すブロック図である。なお、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２５】
図１に示すように、眼底画像処理装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。また、周辺機器Ｉ／Ｆ部１７にはイメージスキャナ１９が接続される。
【００２６】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、眼底画像処理装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２７】
記憶部１２は、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２８】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００２９】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていてもよい。
【００３０】
周辺機器Ｉ／Ｆ（Interface）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４やＲＳ−２３２Ｃ等によって構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３１】
イメージスキャナ１９は、汎用のイメージスキャナであり、フィルム、印画紙、インスタント写真等から記録された画像を読取り、デジタルの画像データとして取得するデジタル化装置である。イメージスキャナ１９は、周辺機器Ｉ／Ｆ部１７に接続されており、イメージスキャナ１９が出力する画像データは周辺機器Ｉ／Ｆ部１７から眼底画像処理装置１に入力される。イメージスキャナ１９としては、フラットベッド型、３５ｍｍスライド専用、その他放射線診断用フィルムに特化した形態のもの等、様々な形態の物を用いることができる。
【００３２】
眼底画像処理装置１は、１台のコンピュータで構成されてもよいし、複数のコンピュータがネットワークを介して構成されてもよい。例えば、眼底画像処理装置１が、サーバとクライアント端末で構成される場合、クライアント端末においてデータの入力を受け付けて、サーバが各種の処理を行い、クライアント端末が処理結果を表示するようにしてもよい。以下の説明では、簡素な構成例として、眼底画像処理装置１が１台のコンピュータで構成された例を説明する。
【００３３】
次に、図２を参照して眼底画像処理装置１の機能構成について説明する。
図２に示すように、眼底画像処理装置１は、画像入力部２１、前処理部２２、血管強調画像生成部２３、線形補正パラメータ設定部２４、線形整合処理部２５、グリッド設定部２６、非線形整合処理部２７、及び解析部２８を備える。
【００３４】
画像入力部２１は、同一人物についての撮影日時が異なる２つの眼底写真ａ，ｂの入力を受け付ける。眼底写真ａ，ｂは、眼底カメラにより撮影された画像であり、写真記録媒体（ポジ／ネガフィルム）、ポラロイド（登録商標）写真、学会発表等に用いられた３５ｍｍスライド（ＯＨＰ）等のアナログ記録媒体に記録されたもの、またはデジタル記録媒体に記録された画像等があるが、それらのいずれでもよい。アナログ記録媒体に記録されている場合は、画像入力部２１は、イメージスキャナ１９等を用いて眼底写真ａ，ｂを読取り、デジタル化し、カラーのデジタル画像データを作成する。本発明において、過去の眼底写真ａ（健常な状態の眼底画像、または病態があまり進行していない眼底画像；第１の眼底画像）を基準とし、撮影年代が新しい方の眼底写真ｂ（病態が進行した眼底画像；第２の眼底画像）を補正対象とする。
【００３５】
前処理部２２は、デジタル化された基準眼底画像Ａ１及び補正対象眼底画像Ｂ１に対して、例えば乳頭領域等の特徴部の配置が画像の中心から同じ方向に偏って配置されるように画像を回転し、方向を統一する。また眼底領域を含む範囲を抽出し、抽出した範囲（眼底領域にほぼ外接する矩形領域）の画素数が所定の画素数になるように縦横同一倍率で変倍処理を施し、眼底領域以外の画素を削除または付加しながら、画素数が統一された眼底画像に変換する処理を行う。前処理の詳細については後述する。以下の説明では、基準眼底画像Ａ１、及び補正対象眼底画像Ｂ１は前処理部２２により方向及びサイズが統一されているものとする。
【００３６】
血管強調画像生成部２３は、前処理された基準眼底画像Ａ１及び補正対象眼底画像Ｂ１を各々グレースケール形式に変換した後、血管候補領域を抽出し、血管候補領域を強調した画像である血管強調画像Ａｇ１、Ｂｇ１を生成する。生成された各血管強調画像Ａｇ１、Ｂｇ１は、後述する線形整合処理、非線形整合処理において利用される。以下の説明では、基準眼底画像Ａ１に対応する血管強調画像Ａｇ１を基準血管強調画像Ａｇ１と呼び、補正対象眼底画像Ｂ１に対応する血管強調画像Ｂｇ１を補正対象血管強調画像Ｂｇ１と呼ぶ。基準血管強調画像Ａｇ１及び補正対象血管強調画像Ｂｇ１は、強調されている血管候補領域が色分けされてオーバーレイ表示（重畳表示）される。血管強調画像Ａｇ１、Ｂｇ１の生成、表示の詳細については後述する。
【００３７】
線形補正パラメータ設定部２４は、補正対象血管強調画像Ｂｇ１の血管パターンが基準血管強調画像Ａｇ１の血管パターンと一致するように線形補正するためのパラメータ設定を受け付ける。線形補正は、アフィン変換による補正処理であり、図３（ａ）に示すように倍率の補正（拡大・縮小）、角度（傾きの補正）、及び位置の補正（平行移動）の処理である。線形補正パラメータ設定部２４は、倍率値、傾き値、移動量等の線形補正パラメータの設定を、例えば利用者との対話形式の処理により受け付ける。線形補正パラメータ設定部２４は、利用者により入力部１５を介して入力された線形補正パラメータに基づき補正対象血管強調画像Ｂｇ１を補正（アフィン変換）し、表示する。また、線形補正パラメータを線形整合処理部２５に通知する。線形補正された補正対象血管強調画像Ｂｇ１を線形補正後血管強調画像Ｂｇ２と呼ぶ。
【００３８】
線形整合処理部２５は、線形補正パラメータ設定部２４により設定された線形補正パラメータ（倍率値、傾き値、移動量等）に従って補正対象のフルカラーの眼底画像Ｂ１を線形補正（アフィン変換）する。これにより基準眼底画像Ａ１の血管パターンを基準として補正対象眼底画像Ｂ１の血管パターンを整合させるように補正対象眼底画像Ｂ１が線形補正される。線形補正された補正対象眼底画像を線形補正後眼底画像Ｂ２と呼ぶ。
【００３９】
グリッド設定部２６は、各区画の形状を変形可能なグリッドを基準血管強調画像Ａｇ１及び線形補正後血管強調画像Ｂｇ２に重畳表示し、グリッドに対する変形操作を受け付ける。グリッド設定部２６における変形操作は、図３（ｂ）に示すように、局所的な歪みの補正等も含む非線形の変形を行うためのものである。グリッド設定部２６における変形の詳細については後述する。グリッド設定部２６はグリッドの変形操作に連動し、線形補正後血管強調画像Ｂｇ２の対応区画を変形させる。非線形の変形処理を施された線形補正後血管強調画像Ｂｇ２を非線形補正後血管強調画像Ｂｇ３と呼ぶ。グリッド設定部２６は変形された（変形操作により設定された）グリッドパターンを非線形整合処理部２７に通知する。グリッド設定部２６におけるグリッドの表示及び変形の詳細については後述する。
【００４０】
なお、非線形補正後血管強調画像Ｂｇ３は、比較のために基準血管強調画像Ａｇ１と色分けされて重畳表示（オーバレイ表示）されることが望ましい。更に、整合性指標算出部（不図示）を設け、両画像の整合の度合いを示す指標値を算出し、血管強調画像Ａｇ１，Ｂｇ３をオーバーレイ表示した画像とともに表示することが望ましい。整合の度合いを示す指標は、例えば画素適合比率Ｒ１や正規化相関係数Ｒ２等とすることが好適である。整合性指標の算出については後述する。
【００４１】
非線形整合処理部２７は、グリッド設定部２６によるグリッドの変形操作に伴い、線形補正後血管強調画像Ｂｇ２の対応区画を変形させる。変形された線形補正後眼底画像Ｂ２を非線形補正後眼底画像Ｂ３と呼ぶ。
【００４２】
解析部２８は、グリッドの変形量に基づき眼底部の変形を解析する。例えば、解析部２８は、基準眼底画像Ａ１または非線形整合処理部２７により変形された非線形補正後眼底画像Ｂ３上に変形されたグリッドを表示するとともに、グリッドの各区画に、変位量及び変位方向を示すベクトルを重畳表示する。更に、解析部２８は、眼底部の各領域の変位量を数値で表示してもよい。また解析部２８は、眼底の診断に用いる各種のパラメータを変位量や変位方向から算出し、表示部１６に一覧表示するようにしてもよい。例えば、眼底部の全体、左上、右上、左下、右下についてそれぞれ変位量や変位の方向が算出されるとともに、眼球後極の変形の特徴等が求められることが望ましい。
【００４３】
次に、図４を参照して、眼底画像処理装置１の処理動作について説明する。図４は、本発明の一実施の形態に係る眼底画像処理装置１の処理概要を示すフローチャートである。
【００４４】
まず、時系列の眼底写真ａ，ｂが眼底画像処理装置１に入力される（ステップＳ１０１）。具体的には、フィルムの形態で記録された眼底写真ａ，ｂについてはイメージスキャナ１９等で読み取りデジタル化し、例えばＲ，Ｇ，Ｂ各成分８ビット２５６階調のフルカラー画像として入力する。可視光・光源方式の眼底カメラを用いてフルカラーで撮影されたデジタルのカラー眼底画像についてはデジタル化と並行して読込みが行われる。入力されたカラー眼底画像は、記憶部１２に記憶される。
【００４５】
次に、制御部１１（前処理部２２）は、入力されたカラー眼底画像Ａ１、Ｂ１に対してそれぞれ前処理を行う（ステップＳ１０２）。具体的には、デジタル画像として得られたカラー眼底画像Ａ１、Ｂ１に対して眼底に対応する領域である眼底領域を抽出し、所定の画素数で構成される眼底画像になるように縦横同一倍率で変倍処理を施し、背景画像を削除または付加しながら、サイズ（縦及び横の画素数）が統一されたカラー眼底画像に変換する処理を行う。
【００４６】
図５は、前処理によるカラー眼底画像の変化の様子を示す図である。図５（ａ）はスキャニング等によるデジタル化後のカラー眼底画像を示している。図５（ａ）の例では、画像のサイズが横５９０５画素、縦４０３２画素となっている。前処理部２２は、まず、略円形の眼底領域内において、さらに明るい略楕円形の乳頭（正式には視神経乳頭）を特定する。現実には、眼底領域は、背景の黒い部分との画素値の差が大きいため明確であるが、眼底領域内における乳頭とその他の部分との画素値の差は、健常者では比較的明確であるが、炎症や出血を伴う病態を抱えている場合にはそれほど大きくない。そのため、事前に試験を行い、想定される閾値を設定しておく。そして、前処理部２２は事前に設定された閾値より画素値が大きい画素の集合部分を乳頭として特定する。
【００４７】
前処理部２２は、特定された乳頭の眼底領域における相対的位置を特定する。相対的位置を特定する手法としては様々な手法を用いることができるが、例えば、乳頭の中心となる座標が眼底領域を上方、右方、下方、左方の４領域に区分した際の、どの位置に属するかを求めることにより特定できる。まれに乳頭中心アングルで撮影される場合があり、その場合は中央付近に位置するため、乳頭の位置だけで上記４領域のいずれかに区分するかは判定できず、乳頭から出ている主要血管の方向も考慮する必要がある。即ち、主要血管ができる方向が下方、左方、上方、右方であれば、各々、乳頭位置が上方、右方、下方、左方の４領域にあると特定できる。
【００４８】
乳頭の位置が眼底領域における上方または下方に属する場合、前処理部２２はカラー眼底画像を９０度回転する。この際、事前にそのカラー眼底画像が右眼を撮影したものであるか、左眼を撮影したものであるかの情報もともに記録されているため、右眼に対応したものである場合は乳頭が右方に位置するように、左眼に対応したものである場合は乳頭が左方に位置するように、９０度回転する。すなわち、乳頭の位置が上方で左眼の場合は反時計回りに９０度回転させ、乳頭の位置が上方で右眼の場合は時計回りに９０度回転させ、乳頭の位置が下方で左眼の場合は時計回りに９０度回転させ、乳頭の位置が下方で右眼の場合は反時計回りに９０度回転させる。図５の例は、右眼のカラー眼底画像であり、図５（ａ）に示すように乳頭が眼底領域の上方に位置しているため、時計回りに９０度回転する。この結果、図５（ｂ）に示すように乳頭が右方に位置するカラー眼底画像が得られる。回転を行っただけであるため、回転後のカラー眼底画像のサイズは横４０３２画素、縦５９０５画素となっている。
【００４９】
乳頭の位置が左端または右端に寄っていて各々左眼または右眼である場合は回転を行う必要はない。すなわち、デジタル化後、カラー眼底画像が図５（ｂ）のような状態で得られる場合があるので、その場合は回転を行わない。
【００５０】
次に、前処理部２２はカラー眼底画像のトリミングを行う。具体的には、画像全体が眼底領域を全て含む最小の矩形状となるように、背景領域の画素を削除する。眼底領域の画素値は高く、背景領域の画素値は原則「０」に近い低い値であるので、閾値を容易に設定することができる。したがって、前処理部２２は、眼底領域と背景領域を明確に特定し、眼底領域を全て含む最小の矩形状となるように、背景領域の画素を削除する。トリミングの結果、図５（ｃ）に示すようなカラー眼底画像が得られる。背景領域の画素が削除されたため、トリミング後のカラー眼底画像のサイズは（横の画素数Ｗ×縦の画素数Ｈ）は、図５（ｃ）の例では横３５４５画素、縦３７８９画素となっている。インスタント写真をスキャンした場合、背景のエッジ部にプリントの支持体（通常白色）の一部が映りこんでいたり、フィルムのエッジ部の患者ＩＤ等のメモ書きが映りこんだりする場合があり、背景領域に眼底領域の画素値より高い画素が混入することがある。このような場合、事前に手作業で眼底領域の画素値より高い画素が存在する背景領域を部分的に削除しておく。
【００５１】
次に、前処理部２２は、カラー眼底画像の縦方向の画素数が所定値になるように画像の拡大または縮小を行う。カラー眼底画像としては、フィルムをスキャニングしてデジタル化したものや、様々な機種により撮像されて得られたものが存在する。そのため、ここではカラー眼底画像のサイズを統一するため、横Ｓｘ×縦Ｓｙの所定画素数になるように拡大または縮小を行う。横の画素数Ｓｘ、縦の画素数Ｓｙとしては、適宜設定することが可能であるが、本実施形態では、Ｓｘ＝１２８０、Ｓｙ＝１０２４としている。Ｓｙ＝１０２４にした理由は、最近の眼底用デジタルカメラの走査線数が１０２４〜１６００に設定されることが多いためで、Ｓｘ＝１２８０のように横長にした理由は次の通りである。眼底像は通常円形であるため、眼底画像は基本的に正方形でよいが、血管が乳頭を起点に左右方向に分布していて、眼底の上端または下端は診断上重要でないため、上下をカットして横長にアップで撮影される場合が少なくない。また、後述するように２つの血管強調画像を色分けしてオーバーレイ表示する際、横方向にずらして重ねて表示させることが多く、正方形であると左右が切れてしまう。このような経験から若干横長の画素構成に設定した。カラー眼底画像を拡大する場合は画素を補間する処理を行い、縮小する場合には画素を間引く処理を行う。図５の例では、図５（ｃ）に示した画像の縦方向の画素数が３７８９画素、設定された縦方向の画素数がＳｙ＝１０２４画素であるので、前処理部２２はカラー眼底画像の縮小を行う。当然のことながら、画像の縦横の比率は維持したまま縮小する。カラー眼底画像の縮小の結果、図５（ｄ）に示すようなカラー眼底画像が得られる。カラー眼底画像の縮小が行われたため、縮小後のカラー眼底画像のサイズは、横９５８（Ｗ’＝Ｗ×Ｓｙ／Ｈ）画素、縦１０２４（Ｓｙ）画素となっている。
【００５２】
図５（ｄ）に示したように、画像の縦方向の画素数は、所定値Ｓｙに変更されたため、次に横方向の画素数も所定値Ｓｘになるように変更する。このため、前処理部２２は、カラー眼底画像の縦方向の画素数が所定値Ｓｘになるように、背景の画素を追加する。背景の画素としては、既に存在する背景の画素値と同一値とすると容易に処理を行うことができる。背景の追加の結果、図５（ｅ）に示すようなカラー眼底画像が得られる。背景の追加が行われたため、処理後のカラー眼底画像のサイズは横１２８０（Ｓｘ）画素、縦１０２４（Ｓｙ）画素となっている。図５（ｅ）の例では、Ｗ’＜Ｓｘであるため、背景画素を追加する処理を行ったが、Ｗ’＞Ｓｘの場合、カラー眼底画像の横方向の画素数がＳｘになるようにカラー眼底画像の両端より背景画素を削除する。
【００５３】
前処理部２２によりステップＳ１０２の前処理を終えると、次に制御部１１（血管強調画像生成部２３）は眼底画像を血管強調画像に変換する（ステップＳ１０３）。ステップＳ１０３において、制御部１１（血管強調画像生成部２３）は、図６（ａ）に示すようなフルカラー眼底画像をグレースケール変換し、図６（ｂ）に示すようなグレースケール眼底画像を得る。更に、制御部１１はグレースケール眼底画像の線状成分を強調し、図６（ｃ）に示すような線状成分強調画像を得る。更に、制御部１１は線状成分強調画像を画素階調変換して図６（ｄ）に示すようなグレースケールの血管強調画像を得る。
【００５４】
ステップＳ１０３の処理により、基準眼底画像Ａ１及び補正対象眼底画像Ｂ１についてそれぞれ基準血管強調画像Ａｇ１、補正対象眼底画像Ｂｇ１が得られると、制御部１１はこれらの血管強調画像Ａｇ１、Ｂｇ１を用いてカラー眼底画像Ａ１、Ｂ１の整合処理を行う。本発明では、制御部１１はアフィン変換による線形整合処理を行った後（ステップＳ１０４）、局所的な変形を伴う非線形整合処理（ステップＳ１０５）を行う。
【００５５】
まず、ステップＳ１０４の線形整合処理について、図７〜図１１を参照して説明する。図７は線形整合処理の処理手順を説明するフローチャートである。図７に示すように、制御部１１は、撮影日付が古い方である基準眼底画像Ａ１に対応する基準血管強調画像Ａｇ１を取得する（ステップＳ２０１）。また制御部１１は他方の撮影日付が新しい方の補正対象眼底画像Ｂ１に対応する補正対象血管強調画像Ｂｇ１を取得し、補正対象とする（ステップＳ２０２）。
【００５６】
基準血管強調画像Ａｇ１と補正対象血管強調画像Ｂｇ１とを整合させるため、まず、制御部１１（線形補正パラメータ設定部２４）は倍率補正を行う（ステップＳ２０３）。倍率補正の具体的な手法としては、例えば特開２０１３−８５５８３号公報に示した手法を用いることができる。倍率補正は基本的にＸ方向とＹ方向とで異なる倍率補正パラメータを設定して倍率補正を行う。理由は、撮影時に眼球とカメラの光軸が傾いていると（強度近視では自然な状態でも左右に傾いていることが多い）、画像が縦長（左右に傾いている場合）または横長に記録されてしまうためで、過去にアナログカメラで撮影された画像の画素のアスペクト比率は最近のデジタルカメラで撮影された画像のように必ずしも１対１ではないという可能性もある。すなわち、自動的な手法として、まず、血管強調画像Ａｇ１、Ｂｇ１それぞれの血管領域の横方向の画素数、縦方向の画素数を求め、両画像の比率をＸ方向及びＹ方向の倍率補正パラメータとして求める。そして、Ｘ方向及びＹ方向の倍率補正パラメータに従って補正対象とする血管強調画像Ｂｇ１の倍率を補正する。ただし、この方法は基準とする血管強調画像Ａｇ１と補正対象とする血管強調画像Ｂｇ１とで血管領域の抽出割合に顕著な差があったり、顕著な角度差があったりする場合には適正な倍率補正パラメータをえることができず高精度な補正を行えない。そこで本発明では、制御部１１は補正対象血管強調画像Ｂｇ１と基準血管強調画像Ａｇ１とを並べて表示部１６に表示し、利用者が入力部１５を用いて指示を行うことにより対話的に縦横の補正パラメータ設定を行ってもよい（線形補正パラメータ設定部２４）。対話的に行う手法としては、上述の特開２０１３−８５５８３号公報に示した手法を用いることができる。
【００５７】
次に、制御部１１（線形補正パラメータ設定部２４）は補正対象血管強調画像Ｂｇ１の角度補正を行う（ステップＳ２０４）。角度補正の具体的な手法としては、様々なものがあるが、例えば上述の特開２０１３−８５５８３号公報に示した手法を用いることができる。具体的には、制御部１１は基準血管強調画像Ａｇ１と倍率補正後の血管強調画像Ｂｇ１との血管領域の長尺を夫々求め、両画像の長尺の方向が一致するための角度を角度補正パラメータとして求める。そして、角度補正パラメータに従って、補正対象血管強調画像Ｂｇ１の角度を補正する。ただし、この方法は基準血管強調画像Ａｇ１と補正対象血管強調画像Ｂｇ１とで血管領域の抽出割合に顕著な差がある場合には適正な角度補正パラメータを得ることができず高精度な補正を行えない。そこで本発明では、制御部１１は補正対象とする血管強調画像Ｂｇ１と基準血管強調画像Ａｇ１とを並べて表示部１６に表示し、利用者が入力部１５を用いて指示を行うことにより対話的に縦横の補正パラメータ設定を行ってもよい（線形補正パラメータ設定部２４）。対話的に行う手法としては、上述の特開２０１３−８５５８３号公報に示した手法を用いることができる。
【００５８】
次に、制御部１１（線形補正パラメータ設定部２４）は、基準血管強調画像Ａｇ１と補正対象血管強調画像Ｂｇ１とについてそれぞれ特徴点を特定し（ステップＳ２０５、ステップＳ２０６）、双方の特徴点に基づいて補正対象とする血管強調画像Ｂｇ１の位置補正を行う（ステップＳ２０７）。特徴点を特定する手法として、例えば自動的に行う場合には、制御部１１は画素値が所定の値以上となる領域を乳頭と認識し、その乳頭の重心を特徴点として特定する。乳頭の重心は、例えば、乳頭領域の画素のｘ座標値及びｙ座標値の平均値となる座標に決定することができる。ただし、乳頭領域は血管等に比べ真円から楕円になるなど病態進行に伴って変形が顕著なため、乳頭領域の中心（座標値の最小値から最大値の中央をとる方法）は経時的にずれてしまい、重心もずれる場合が多い。そこで次に述べるように、乳頭領域の変形による影響を受けにくい、乳頭領域内の血管の分岐部、交叉部、曲がり部等を特徴点に使用する方法を用いることができる。
【００５９】
特徴点の特定は、対話的に行ってもよい。この場合、制御部１１は血管強調画像Ａｇ１、Ｂｇ１を表示部１６に表示し、例えば、乳頭内の比較的暗い血管の特徴的な１点（分岐部、交叉部、曲がり部等）を特徴点として指示するようメッセージを表示して利用者に指示を促し、利用者により入力部１５を用いて指定された１点を特徴点とする。
【００６０】
血管強調画像Ａｇ１、Ｂｇ１についてそれぞれ特徴点が特定されると、制御部１１（線形補正パラメータ設定部２４）は、双方の特徴点に基づいて補正対象の血管強調画像Ｂｇ１の位置補正を行う（ステップＳ２０７）。具体的には、制御部１１は、基準血管強調画像Ａｇ１の特徴点の同画像内の相対座標と、補正対象血管強調画像Ｂｇ１の特徴点の同画像内における相対座標の差分を算出し、位置補正パラメータとする。そして、位置補正パラメータに従って補正対象血管強調画像Ｂｇ１全体を元のＳｘ×Ｓｙの血管強調画像Ｂｇ１の領域内で移動させる処理を行う。例えば、Ｘ軸方向にｄｓ画素だけ右に移動させ、Ｙ軸方向にｄｙ画素だけ上に移動させる場合は、右端にはみ出すｄｘ×Ｓｙ画素の領域を削除され、代わりに左端のｄｘ×Ｓｙ画素の領域は空白になるため背景画素を埋め、上端にはみ出すＳｘ×ｄｙ画素の領域は削除され、代わりに下端のＳｘ×ｄｙ画素の領域は空白になるため背景画素を埋める。
【００６１】
図８は、線形整合処理による補正対象血管強調画像Ｂｇ１の変化の様子を示す図である。図８（ａ）に示すように、基準血管強調画像Ａｇ１については無処理とし、補正対象血管強調画像Ｂｇ１については図８（ｂ）に示すように倍率・角度・位置の補正が行われ、線形補正後の血管強調画像Ｂｇ２を得る。
【００６２】
図７の説明に戻る。補正対象血管強調画像Ｂｇ１の位置補正が行われると、制御部１１は、基準血管強調画像Ａｇ１に線形補正後血管強調画像Ｂｇ２を重ねた状態で表示する（ステップＳ２０８；オーバーレイ表示）。オーバーレイ表示の具体的な処理手順を図９に示す。制御部１１はグレースケール画像である基準血管強調画像Ａｇ１、線形補正後血管強調画像Ｂｇ２を取得し（ステップＳ３０１、ステップＳ３０２）、それぞれにＲＧＢ３原色のいずれかのプレーン（いずれかの１または複数成分）を割り当て（ステップＳ３０３、ステップＳ３０４）、擬似的にカラー変換を行って（ステップＳ３０５）、１つのカラー合成画像Ｃ２を作成する。そしてカラー合成画像Ｃ２をオーバーレイ画像として表示部１６に表示する（ステップＳ３０６）。カラー合成画像Ｃ２は、本来の眼底画像や血管強調画像が備えている自然なカラーとは異なり、表示識別の都合上、人工的に着色された擬似カラーである。例えば、基準とする血管強調画像Ａｇ１をＲ（赤）成分、線形補正後の血管強調画像Ｂｇ２をＧ（緑）成分に割り当てる。
【００６３】
グレースケール画像である血管強調画像Ａｇ１、Ｂｇ２をそれぞれGray1(x、y)、Gray2(x、y)(x=0,・・・,Xs-1、y=0,・・・,Ys-1)として、制御部１１は以下の（式１）に従った処理を実行することによりカラー合成画像ImageS(x、y、c)を算出する。
【００６４】
（式１）
ImageS(x,y,0)＝r1×Gray1(x,y) + r2×Gray2(x,y)
ImageS(x,y,1)=g1×Gray1(x,y) + g2×Gray2(x,y)
ImageS(x,y,2)=b1×Gray1(x,y) + b2×Gray2(x,y)
ただし、0≦r1,g1、b1,r2,g2、b2≦1であり、r1+r2≦1、g1+g2≦1、b1+b2≦1
【００６５】
上記（式１）における係数r1、g1、b1、r2、g2、b2はいずれも事前に設定された実数である。前述の例では、r1＝１．０、g1＝０．０、b1＝０．０、r2＝０．０、g2=１．０、b2＝０．０であるが、r1+r2≦1、g1+g2≦1、b1+b2≦1の条件を満たせば、r1＝１．０、g1＝１．０、b1＝０．０、r2＝０．０、g2＝０．０、b2＝１．０のように、一方の画像にＲＧＢの２成分を割りあててもよく、r1＝０．９、g1＝０．５、b1＝０．１、r2＝０．１、g2＝０．５、b2＝０．９のように双方の画像にＲＧＢの３成分を割り当ててもよい。
【００６６】
生成されたカラー合成画像Ｃ２は、表示部１６に表示される。図１０はカラー合成画像Ｃ２によるオーバーレイ表示について説明する図である。図１０（ａ）に示す基準血管強調画像Ａｇ１と図１０（ｂ）に示す線形補正後血管強調画像Ｂｇ２を用いて図９に示すオーバーレイ表示処理を行うと、図１０（ｃ）に示すようなカラー合成画像Ｃ２を得る。上述の例では、基準血管強調画像Ａｇ１の血管候補領域ｒ１にＲ（赤）、線形補正後血管強調画像Ｂｇ２の血管候補領域ｒ２にＧ（緑）が割り当てられる。フルカラー画像であるカラー合成画像Ｃ２においては、基準血管強調画像Ａｇ１の血管候補領域ｒ１がＲ（赤）、線形補正後血管強調画像Ｂｇ２の血管候補領域ｒ２がＧ（緑）で表示される。図１０（ｃ）では、Ｒ（赤）の部分を点状パターンで示し、Ｇ（緑）の部分を斜線パターンで示している。図１０（ｃ）では、白黒による図示の都合上、点状パターンと斜線パターンが重なった領域も斜線パターンで表現されているが、カラー合成画像Ｃ２ではＲ（赤）のパターンとＧ（緑）のパターンが重なった領域は、加色混合により黄色になる。即ち、黄色の領域の面積が大きいほど基準血管強調画像Ａｇ１と線形補正後血管強調画像Ｂｇ２の整合の度合が高い。
【００６７】
図９の説明に戻る。制御部１１は整合性指標を算出し、表示する（ステップＳ３０７）。整合性指標とは、基準血管強調画像Ａｇ１と、線形補正後血管強調画像Ｂｇ２との整合の度合いを示す指標である。整合性指標としては例えば画素適合比率、正規化相関係数等が好適である。
【００６８】
まず、制御部１１は１つ目の整合性指標として画素適合比率Ｒ１を算出する。
０〜２５５の値をもつグレースケール画像データである基準血管強調画像Ａｇ１）をGray1(x,y)、線形補正後血管強調画像Ａｇ２をGray2(x,y,c)、(x=0.,,,.Xs-1, y=0,…,Ys-1)とすると、所定のしきい値Ｓｌ（例；Ｓｌ＝６４）以上の画素を血管候補領域とする。以下の（式２）に示すように、２つの画像Ａｇ１、Ｂｇ２の血管候補領域ｒ１、ｒ２の面積（画素値総和）Ｓ１，Ｓ２を算出する。
【００６９】
（式２）
Ｓ１＝ΣGray1(x,y)>Sl Gray1(x,y)/255
Ｓ２＝ΣGray2(x,y)>Sl Gray2(x,y)/255
【００７０】
（式２）において、Σの添え字の“Gray1(x,y)＞Ｓｌ”、“Gray2(x,y)＞Ｓｌ”は、基準とする血管強調画像Ａｇ１、線形補正後血管強調画像Ｂｇ２における画素値が閾値Ｓｌを超える画素全てについて、画素値（画素値を０から１の実数値に正規化した値）の総和を求めることを示している。上記（式２）において、Ｓｌは基準とする血管強調画像Ａｇ１、線形補正後の血管強調画像Ｂｇ２に共通の閾値であり、この閾値Ｓｌより値の大きい画素を血管候補領域として、画素値総和Ｓ１、Ｓ２を算出している。Ｓ１＞Ｓ２である場合、Gray1(x,y)とGray2(x,y)を入れ替える。
【００７１】
制御部１１は血管候補領域ｒ１の範囲で、血管候補領域ｒ２の画素が含まれる割合を画素適合比率Ｒ１［％］とし、以下の（式３）のように算出する。
【００７２】
（式３）
Ｒ１＝｛ΣGray1(x,y)＞ＳｌかつGray2(x,y)＞Ｓｌ Gray2(x,y)/255}×100／Ｓ１
【００７３】
すなわち、ｘ＝0,・・・,Xs-1,y=0,・・・,Ys-1の範囲で、Gray1(x,y)＞ＳｌかつGray2(x,y)＞Ｓｌを満たす画素数を算出し、（式２）で算出した画素値総和Ｓ１に対する比率を算出する。
【００７４】
続いて、制御部１１は２つ目の整合性指標として正規化相関係数Ｒ２を算出する。
相関係数とは２つの配列要素の関連性の強弱を示す指標である。ここでは、血管候補領域ｒ１の範囲に含まれる血管強調画像Ａｇ１の画素配列と血管強調画像Ｂｇ２の画素配列との正規化相関係数Ｒ２［％］を以下の（式４）のように算出する。まず、制御部１１は血管候補領域ｒ１の範囲に含まれる階調を考慮しない画素数Ｃ１を以下の（式４）のようにカウントする。
【００７５】
（式４）
Ｃ１＝ΣGray1(x,y)>Sl  １
【００７６】
次に、制御部１１は血管候補領域ｒ１の範囲に含まれる血管強調画像Ａｇ１の画素平均値Ａ１と血管強調画像データＢｇ２の画素平均値Ａ２を（式５）に示すように算出する。
【００７７】
（式５）
Ａ１＝｛ΣGray1(x,y)>Sl Gray1(x,y)｝／Ｃ１
Ａ２＝｛ΣGray1(x,y)>Sl Gray2(x,y)｝／Ｃ１
【００７８】
正規化相関係数Ｒ２［％］は、以下の（式６）のように求められる。
【００７９】
（式６）
Ｒ２＝｛ΣGray1(x,y)>Sl  (Gray1(x,y)−A1)(Gray2(x,y)−A2)}×１００
／｛ΣGray1(x,y)>Sl  (Gray1(x,y)−A1)２｝１／２
／｛ΣGray1(x,y)>Sl  (Gray2(x,y)−A2)２｝１／２
【００８０】
（式６）に従った処理の結果、基準血管強調画像Ａｇ１の血管候補領域ｒ１における基準血管強調画像Ａｇ１の画素群と線形補正後血管強調画像Ｂｇ２の画素群との正規化相関係数Ｒ２が求められる。正規化相関係数Ｒ２の値が大きければ大きいほど、基準とする血管強調画像Ａｇ１と線形補正後血管強調画像Ｂｇ２との整合性が高いことになる。
【００８１】
制御部１１は、算出した整合性指標（画素適合比率Ｒ１、正規化相関係数Ｒ２）を表示部１６に表示する。
【００８２】
次に、制御部１１は整合性が合格（ＯＫ）か否かの判定を行う（図７のステップＳ２０９）。ステップＳ２０９の処理は、ステップＳ２０８におけるオーバーレイ表示の結果を利用者が確認し、整合性が高いと判断すれば入力部１５を用いて合格である旨の指示を入力する。整合性が合格である旨の指示が入力されると（ステップＳ２０９；Ｙｅｓ）、制御部１１はこのときの線形補正後血管強調画像Ｂｇ２の倍率補正パラメータ、角度補正パラメータ、位置補正パラメータを出力（記憶部１２に記憶）する。ステップＳ２０９において整合性が合格でない旨の指示が入力された場合は（ステップＳ２０９；Ｎｏ）、制御部１１はステップＳ２０３へ戻り、補正対象血管強調画像Ｂｇ１に対する倍率補正、角度補正、位置補正を繰り返し行う。
【００８３】
なお、ステップＳ２０９における整合性の判定は、上述のステップＳ３０７（図９）で算出した整合性指標（画素適合比率Ｒ１、正規化相関係数Ｒ２）に基づいて演算により判定を行ってもよい。この場合、制御部１１は整合性指標（画素適合比率Ｒ１、正規化相関関数Ｒ２）のうちいずれか１つまたは両方の組み合わせで整合性判定条件を設定する。例えば、各整合性指標Ｒ１、Ｒ２に所定の閾値を設定しておき、所定の条件を満たす場合に基準とする血管強調画像Ａｇ１と線形補正後の血管強調画像Ｂｇ２とが整合していると判定する。
【００８４】
整合性が合格と判定すると、制御部１１はこのときの線形補正パラメータ（倍率補正パラメータ、角度補正パラメータ、位置補正パラメータ）に基づいて補正対象眼底画像Ｂ１を補正する（ステップＳ２１０）。ステップＳ２１０の処理の結果、線形補正後血管強調画像Ｂｇ２と同様に線形補正された眼底画像Ｂ２を得る。
【００８５】
図１１は、図４のステップＳ１０４の線形整合処理（図７、図９）までの処理で得られた各画像の表示例である。図１１では、上段左にカラーの基準眼底画像Ａ１、下段左にグレースケールの基準血管強調画像Ａｇ１が表示されている。また上段右にカラーの線形補正後眼底画像Ｂ２、下段右に線形補正後眼底画像Ｂ２に対応する血管強調画像（グレースケールの線形補正後血管強調画像）Ｂｇ２が表示されている。また、上段及び下段の中央に基準血管強調画像Ａｇ１と線形補正後血管強調画像Ｂｇ２との各血管候補領域が色分けされオーバーレイ表示されている。更に、整合性指標として、画素適合比率（match ratio[％]）や正規化相関係数（Normal correlation[％]）等が表示される。なお、図１１の表示例は一例であり、各画像の並べ方やや整合性指標の表示形式はこの例に限定されない。線形整合処理の結果、図１１の例では、画素適合比率（match ratio[％]）Ｒ１は３０．１６６６５９％、正規化相関係数（Normal correlation[％]）Ｒ２は１３．１１７９４６％と算出されている。
【００８６】
ステップＳ１０４（図４）の線形整合処理が終了すると、次に、制御部１１は非線形整合処理を実施する（ステップＳ１０５）。非線形整合処理では、補正用グリッドを用いて線形補正後の画像（線形補正後血管強調画像Ｂｇ２及び線形補正後眼底画像Ｂ２）に対し局所的な（非線形の）変形を行う（グリッド設定部２６、非線形整合処理部２７）。非線形整合処理について図１２のフローチャートを参照して説明する。
【００８７】
図１２に示すように、制御部１１は基準とする血管強調画像Ａｇ１と補正対象である線形補正血管強調画像Ｂｇ２とを取得し（ステップＳ４０１、ステップＳ４０２）、表示部１６に並べて表示する。また制御部１１（グリッド設定部２６）は、双方の画像（基準血管強調画像Ａｇ１、線形補正後血管強調画像Ｂｇ２）に補正用グリッドＧ０を重畳表示する（ステップＳ４０３、ステップＳ４０４）。補正用グリッドＧ０は、画像を矩形の区画に区切るものである。各区画のサイズは任意に設定可能である。例えば、１２８０×１０２４画素の眼底画像の場合、１区画を１２８×１２８画素として、１０×８区画に分割する。補正用グリッドＧ０を画像上に表示することで画像が複数の矩形の区画に細分される。補正用グリッドＧ０は、利用者の操作によって変形可能となっている。変形前の補正用グリッドＧ０は均等方眼とし、変形後の補正用グリッドを変形グリッドＧ１と呼ぶこととする。
【００８８】
制御部１１（グリッド設定部２６）は、補正用グリッドＧ０の形状補正（変形操作）を受け付ける。例えば、図１３（ａ）に示すように、１区画単位編集モードでは補正用グリッドＧ０の縦横のラインの各交点を操作点とし、操作点をマウス等で移動することで、操作点を含む周囲４つの区画が変形されるものとする。また、補正用グリッドＧ０の交点を基準に上下左右方向に複数区画を１単位として変形操作を受け付ける複数区画単位編集モードを備えてもよい。図１３（ｂ）は、補正用グリッドＧ０の交点を基準に上下左右方向に２区画を１単位として変形操作を受け付ける２区画単位編集モードの例を示している。２区画単位編集モードでは、グリッドの縦横のラインの交点のうち操作点を１交点おきに配置する。操作点がマウス等で移動されると操作点の周囲の１６区画が変形される。制御部１１は、１区画単位編集モードと、複数区画単位編集モードのいずれの操作モードを使用するかを利用者が選択可能とすることが望ましい。
【００８９】
利用者は、基準血管強調画像Ａｇ１の各区画の血管の走行パターンに整合させるように、補正対象とする線形補正後血管強調画像Ｂｇ２上の補正用グリッドＧ０の各区画を変形させる。補正用グリッドｇ０の変形は、例えば補正用グリッドＧ０の操作点をマウス等で選択してドラッグすることにより行う。
【００９０】
図１４は、２区画単位編集モードにおける補正用グリッドＧ０の状態の遷移を示す図であり、（ａ）は初期状態、（ｂ）は更新後（変形後）の状態を表している。図１４（ａ）の状態で、例えば交点Ｐ３３（Ｘ３３，Ｙ３３）を図１４（ｂ）の交点Ｐ’３３（Ｘ’３３，Ｙ’３３）の位置に移動すると、点Ｐ３３に隣接する８近傍交点Ｐ２２，Ｐ２３，Ｐ２４，Ｐ３２，Ｐ３４，Ｐ４２，Ｐ４３，Ｐ４４も
図１４（ｂ）に示すようにＰ’２２，Ｐ’２３，Ｐ’２４，Ｐ’３２，Ｐ’３４，Ｐ’４２，Ｐ’４３，Ｐ’４４の位置に移動される。点Ｐ２２の移動後の点Ｐ’２２の位置は、以下の（式７）から求められる。
【００９１】
（式７）
Ｐ’２２＝（Ｐ１１＋Ｐ’３３）／２
【００９２】
すなわち、点Ｐ２２の移動後の点Ｐ’２２の座標値は、
（（Ｘ１１＋Ｘ’３３）／２，（Ｙ１１＋Ｙ’３３）／２）となる。
【００９３】
同様に、Ｐ’２３，Ｐ’２４，Ｐ’３２，Ｐ’３４，Ｐ’４２，Ｐ’４３，Ｐ’４４の位置は以下の（式８）から求められる。
【００９４】
（式８）
Ｐ’２３＝（Ｐ１３＋Ｐ’３３）／２，
Ｐ’２４＝（Ｐ１５＋Ｐ’３３）／２，
Ｐ’３２＝（Ｐ３１＋Ｐ’３３）／２，
Ｐ’３４＝（Ｐ３５＋Ｐ’３３）／２，
Ｐ’４２＝（Ｐ５１＋Ｐ’３３）／２，
Ｐ’４３＝（Ｐ５３＋Ｐ’３３）／２，
Ｐ’４４＝（Ｐ５５＋Ｐ’５３）／２
【００９５】
制御部１１は、補正が必要とする全ての区画に対して補正用グリッドＧ０の変形操作が完了したら、補正対象とする画像（線形補正後血管強調画像Ｂｇ２、線形補正後眼底画像Ｂ２）を変形させる。尚、変形を加えた後の画像は変形前の均等分割のグリッドに対応するようになり、補正用グリッドＧ０と位置関係が合わなくなるため、補正を必要とする区画の変形操作が未完の段階では画像はそのままにし、全ての区画の変形操作が完了した段階で画像に変形を加える。グリッドの変形に伴う補正対象とする画像の変形の方法については、例えば特許４７６０５５０号等に記載されている。特許４７６０５５０号には、グリッドの変形に伴う画像の変形手法として以下のような手法が開示されている。図１５を参照して概要を説明する。
【００９６】
図１５の左図（補正対象画像）において、Ｐ１４は交点Ｐ１と交点Ｐ４との間にある画素であり、Ｐ３４は交点Ｐ３と交点Ｐ３との間にある画素である。
【００９７】
図１５に示すように、基準とする画像上に表示したグリッドの区画Ｑ１−Ｑ２−Ｑ３−Ｑ４に対応する補正対象画像に作成した歪みグリッドの区画をＰ１−Ｐ２−Ｐ３−Ｐ４とすると、補正対象画像に対する非線形変換は、補正対象画像の区画Ｐ１−Ｐ２−Ｐ３−Ｐ４に対応する歪んだ画素ブロックを区画Ｑ１−Ｑ２−Ｑ３−Ｑ４に対応する正方形の画素ブロックに変換する。すなわち、非線形補正後の正方形の画素ブロックＱ１−Ｑ２−Ｑ３−Ｑ４内の画素Ｑを、歪んだ画素ブロックＰ１−Ｐ２−Ｐ３−Ｐ４内の画素Ｐに置換させる。点Ｐの座標（Ｘｐ，Ｙｐ）を未知数として、点Ｑの座標より以下の通り算出できる。
【００９８】
画素ブロックＰ１−Ｐ２−Ｐ３−Ｐ４の各頂点の座標を、Ｐ１（Ｘｐ１，Ｙｐ１），Ｐ２（Ｘｐ２，Ｙｐ２），Ｐ３（Ｘｐ３，Ｙｐ３），Ｐ４（Ｘｐ４，Ｙｐ４），正方形の画素ブロックの辺の長さをＳ、Ｑ１の座標を（Ｘｏ，Ｙｏ）とすると、画素ブロックＱ１−Ｑ２−Ｑ３−Ｑ４の各頂点の座標は、Ｑ２（Ｘｏ，Ｙｏ＋Ｓ），Ｑ３（Ｘｏ＋Ｓ，Ｙｏ＋Ｓ），Ｑ４（Ｘｏ＋Ｓ，Ｙｏ）となり、点Ｑの座標をＱ（Ｘｏ＋Ｘｑ，Ｙｏ＋Ｙｑ）と定義する。点Ｐ（Ｘｐ，Ｙｐ）を辺Ｐ１−Ｐ４に投影した点をＰ１４（Ｘｐ１４，Ｙｐ１４）、点Ｐ（Ｘｐ，Ｙｐ）を辺Ｐ２−Ｐ３に投影した点をＰ２３（Ｘｐ２３，Ｙｐ２３）とすると、点Ｐ１４は点Ｑ（Ｘｏ＋Ｘｑ，Ｙｏ＋Ｙｑ）を辺Ｑ１−Ｑ４に投影した点Ｑ１４（Ｘｏ＋Ｘｑ，Ｙｏ）に対応し、点Ｐ２３は点Ｑ（Ｘｏ＋Ｘｑ，Ｙｏ＋Ｙｑ）を辺Ｑ２−Ｑ３に投影した点Ｑ２３（Ｘｏ＋Ｘｑ，Ｙｏ＋Ｓ）に対応する。
【００９９】
画素Ｐ１４（Ｘｐ１４，Ｙｐ１４）及び画素Ｐ２３（Ｘｐ２３，Ｙｐ２３）の座標値は、点ＱのＸ座標値を用いて以下の（式９）から算出できる。
【０１００】
（式９）
Ｘｐ１４＝（Ｘｐ４・Ｘｐ１）・Ｘｑ／Ｌ１４／Ｓ＋Ｘｐ１
Ｙｐ１４＝（Ｙｐ４・Ｙｐ１）・Ｘｑ／Ｌ１４／Ｓ＋Ｙｐ１
Ｌ１４＝｛（Ｘｐ４・Ｘｐ１）２＋（Ｙｐ４・Ｙｐ１）２｝１／２
Ｘｐ２３＝（Ｘｐ３・Ｘｐ２）・Ｘｑ／Ｌ２３／Ｓ＋Ｘｐ２
Ｙｐ２３＝（Ｙｐ３・Ｙｐ２）・Ｘｑ／Ｌ２３／Ｓ＋Ｙｐ２
Ｌ２３＝｛（Ｘｐ４・Ｘｐ１）２＋（Ｙｐ４・Ｙｐ１）２｝１／２
求める点Ｐ（ＸＰ，ＹＰ）は、Ｐ１４よりベクトルＰ１４−Ｐ２３の方向にＹｑ／Ｓだけずれた点にあるから、
Ｘｐ＝（Ｘｐ２３・Ｘｐ１４）・Ｙｑ／Ｌｖ／Ｓ＋Ｘｐ１４
Ｙｐ＝（Ｙｐ２３・Ｙｐ１４）・Ｙｑ／Ｌｖ／Ｓ＋Ｙｐ１４
Ｌｖ＝｛（Ｘｐ２３・Ｘｐ１４）２＋（Ｙｐ２３・Ｙｐ１４）２｝１／２
【０１０１】
図１６は、補正用グリッドＧ０の変形に応じた画像の変形を模式的に示している。図１６（ａ）は、基準血管強調画像Ａｇ１上に補正用グリッドＧ０を表示したものであり、左図は初期状態、右図は更新後（無処理）の状態である。図１６（ｂ）は、左図が補正対象である線形補正後血管強調画像Ｂｇ２上に変形操作によって歪ませた変形グリッドＧ１を表示した状態であり、右図は左図の変形グリッドＧ１を元の均等区画のグリッドＧ２に戻すとともに非線形補正した血管強調画像Ｂｇ３を示す図である。
【０１０２】
利用者は、例えば図１６のように並べて表示された基準血管強調画像Ａｇ１の補正用グリッドＧ０における各区画内の血管候補領域の配置や形状を参照しながら、補正対象の線形補正後血管強調画像Ｂｇ２上の補正用グリッドＧ０を変形させ、変形グリッドＧ１の状態に変形する（図１２のステップＳ４０５）。制御部１１（非線形整合処理部２７）は、変形グリッドＧ１を元の均等分割のグリッドＧ２に戻すとともに線形補正後血管強調画像Ｂｇ２の対応区画の画素を移動する（ステップＳ４０６）。図１６（ｂ）の左図では、左上の区画内の血管候補領域の位置を区画内の上方へ移動させるため、交点Ｐ２１、Ｐ２２、Ｐ２３が下方へ移動された状態となっている。また左下の区画内の血管候補領域を区画内の上方へ移動させるため、交点Ｐ３１、Ｐ３２、Ｐ３３が下方へ移動された状態となっている。制御部１１は、点Ｐ２１、Ｐ２２、Ｐ２３、点Ｐ３１、Ｐ３２、Ｐ３３がそれぞれ点Ｐ’２１、Ｐ’２２、Ｐ’２３、点Ｐ’３１、Ｐ’３２、Ｐ’３３の位置となるように、これらの交点の周囲の区画内の画素を移動する。この結果、図１６（ｂ）右図に示すように、左上区画及び左下区画の血管候補領域がそれぞれ上方へ移動し、図１６（ａ）右図の基準血管強調画像Ａｇの血管候補領域の配置に整合される。
【０１０３】
その後、制御部１１は基準血管強調画像Ａｇ１と非線形補正後の血管強調画像Ｂｇ３とをオーバーレイ表示するとともに、整合性の確認（整合性指標の算出、表示）を行う（ステップＳ４０７）。図１７は非線形整合処理におけるオーバーレイ表示について説明する図であり、図１７（ａ）は基準血管強調画像Ａｇ１、図１７（ｂ）は非線形補正後血管強調画像Ｂｇ３、図１７（ｃ）は基準血管強調画像Ａｇ１に非線形補正後血管強調画像Ｂｇ３をオーバーレイ表示したカラー合成画像Ｃ３を示している。オーバーレイ表示の処理手順は、図９に示す上述の線形補正後のオーバーレイ表示処理と同様である。すなわち、制御部１１はグレースケール画像である血管強調画像Ａｇ１、Ｂｇ３を取得し（ステップＳ３０１、ステップＳ３０２）、それぞれにＲＧＢ３原色のいずれかのプレーン（いずれかの１または複数成分）を割り当て（ステップＳ３０３、ステップＳ３０４）、擬似的にカラー変換を行って（ステップＳ３０５）、１つのカラー合成画像Ｃ３を作成し、カラー合成画像Ｃ３をオーバーレイ画像として表示部１６に表示する（ステップＳ３０６）。図１７の例では、基準血管強調画像Ａｇ１の血管候補領域ｒ１をＲ（赤）成分（図１７では点状パターン）、非線形補正後の血管強調画像Ｂｇ３の血管候補領域ｒ２をＧ（緑）成分（図１７では斜線パターン）に割り当てる。図１７（ｃ）では、白黒による図示の都合上、点状パターンと斜線パターンが重なった領域も斜線パターンで表現されているが、カラー合成画像Ｃ２ではＲ（赤）のパターンとＧ（緑）のパターンが重なった領域は、加色混合により黄色になる。即ち、黄色の領域の面積が大きいほど基準血管強調画像Ａｇ１と非線形補正後血管強調画像Ｂｇ３の整合の度合が高い。
【０１０４】
次に、制御部１１は基準血管強調画像Ａｇ１と、非線形補正後血管強調画像Ｂｇ３との整合の度合いを示す整合性指標を算出し、表示する（ステップＳ３０７）。整合性指標としては、上述したように、例えば画素適合比率Ｒ１、正規化相関係数Ｒ２を算出することが望ましい。
【０１０５】
次に、制御部１１は、整合性が合格（ＯＫ）か否かの判定を行う（図１２のステップＳ４０８）。ステップＳ４０８の処理は、ステップＳ４０７におけるオーバーレイ表示の結果を利用者が確認し、整合性が高いと判断すれば入力部１５を用いて合格である旨の指示を入力する。整合性が合格であれば（ステップＳ４０８；Ｙｅｓ）、直前の変形グリッドＧ１の変形量（ステップＳ４０５の形状補正後のグリッドパターン）を取得（記憶部１２に記憶）する。ステップＳ４０９において整合性が合格でない旨の指示が入力された場合は（ステップＳ４０９；Ｎｏ）、制御部１１はステップＳ４０５へ戻り、補正用グリッドを用いて各区画の形状補正を繰り返し行う。
【０１０６】
なお、ステップＳ４０８における整合性の判定は、上述のステップＳ４０７で算出された整合性指標（画素適合比率Ｒ１、正規化相関係数Ｒ２）に基づいて行ってもよい。この場合、制御部１１は、算出した整合性指標（画素適合比率Ｒ１、正規化相関関数Ｒ２）のうちいずれか１つまたは両方の組み合わせで整合性判定条件を設定する。例えば、各整合性指標Ｒ１、Ｒ２に所定の閾値を設定しておき、所定の条件を満たす場合に基準とする血管強調画像Ａｇ１と非線形補正後の血管強調画像Ｂｇ３とが整合していると判定する。
【０１０７】
整合性が合格と判定されると（ステップＳ４０８；Ｙｅｓ）、制御部１１は取得したグリッドパターンの変形量に基づいて補正対象である線形補正後眼底画像Ｂ２を補正する（ステップＳ４０９）。ステップＳ４０９の処理の結果、非線形補正後血管強調画像Ｂｇ３と同様に非線形補正された眼底画像Ｂ３を得る。
【０１０８】
図１８は、非線形整合処理における操作中（図１２のステップＳ４０５）の表示画面の一例を示す図である。図１８の左図は基準血管強調画像Ａｇ１に均等分割のグリッドＧ０を表示した状態であり、図１８の右図は補正対象とする線形補正後血管強調画像Ｂｇ２に変形された補正用グリッド（変形グリッドＧ１）が表示された状態である。図１８の右図において、線形補正後血管強調画像Ｂｇ２の乳頭周辺の区画のグリッドＧ１が利用者の操作によって変形されている。なお、この段階では線形補正後血管強調画像Ｂｇ２はまだ非線形の変換が行われていない。
【０１０９】
利用者の操作によって図１８に示すような変形グリッドＧ１を得ると、制御部１１は線形補正後血管強調画像Ｂｇ２をグリッドの変形に基づいて非線形に変形するとともに、対応する線形補正後眼底画像Ｂ２を同様に変形させる（図１２のステップＳ４０９）。図１９の左図は図１８の右図に示す血管強調画像Ｂｇ２対応する眼底画像Ｂ２及び変形グリッドＧ１を示し、図１９の右図は、変形グリッドＧ１の変形量に基づいて線形補正後眼底画像Ｂ２を非線形補正した後の非線形補正後眼底画像Ｂ３を表している。図１９に示すように乳頭周辺部及び右上部等が変形された眼底画像Ｂ３を得る。この非線形補正後の眼底画像Ｂ３は、基準眼底画像Ａ１（１９９１年の状態）に近い血管パターンを表すようになる。変形グリッドＧ１は非線形変換後に均等分割グリッドＧ２に戻る。
【０１１０】
図２０は、図４のステップＳ１０５の非線形整合処理（図１２）までの処理で得られた各画像の表示例である。図２０では、上段左にカラーの基準眼底画像Ａ１、下段左にグレースケールの基準血管強調画像Ａｇ１が表示されている。また上段右にカラーの非線形補正後眼底画像Ｂ３、下段右に非線形補正後眼底画像Ｂ３に対応する血管強調画像（グレースケールの非線形補正後血管強調画像）Ｂｇ３が表示されている。また、上段及び下段の中央に基準血管強調画像Ａｇ１と非線形補正後血管強調画像Ｂｇ３との各血管候補領域が色分けされオーバーレイ表示されている。更に、整合性指標として、画素適合比率（match ratio[％]）や正規化相関係数（Normal correlation[％]）等が表示される。なお、図２０の表示例は一例であり、各画像の並べ方やや整合性指標の表示形式はこの例に限定されない。線形整合処理の結果、図２０の例では、非線形整合処理の結果、画素適合比率（match ratio[％]）は３５．２６０５１２％であり、正規化相関係数（Normal correlation[％]）は２３．８１２８７７％と算出されている。非線形整合処理後は、線形整合処理後（図１１）と比較して、整合性が向上していることが分かる。
【０１１１】
非線形整合処理が終了すると（図４のステップＳ１０５）、次に、制御部１１（解析部２８）は変形解析処理を行う（ステップＳ１０６）。非線形整合処理において使用した補正グリッドＧ０のグリッドパターンの変位は眼底部の変形を反映しているため、眼底変形の定量解析に活用できる。ステップＳ１０６の変形解析処理では、制御部１１は、非線形整合処理において設定された変形グリッドＧ１から各区画の変位量及び変位方向を示すベクトルを算出し、均等分割のグリッドＧ０の対応区画上に表示する。制御部１１は、変形解析処理の結果（変位量及び変位方向を示すベクトル）を出力する（ステップＳ１０７）。
【０１１２】
図２１は変形解析処理結果の出力について説明する図であり、左図は撮影年代が古い方の画像である基準血管強調画像Ａｇ１に各区画の変位を示すベクトルｖ１、ｖ２、・・・を表示した例である。図２１の右図は経年変化後の画像（線形補正後（非線形補正前））である血管強調画像Ｂｇ２上に変形グリッドＧ１が表示された状態を示している。制御部１１は、基準とする補正用グリッドＧ０と変形後の補正用グリッドＧ１との対応する交点の位置の差分（変位量及び変位の方向）を算出し、差分を示すベクトルｖ１、ｖ２、ｖ３、ｖ４、ｖ５、ｖ６を基準とする血管強調画像Ａｇ１上のグリッドＧ０の各交点（変位量及び変位の方向）に表示する。ベクトルｖ１、ｖ２、ｖ３、ｖ４、ｖ５、ｖ６はそれぞれ、補正用グリッドＧ０（均等分割）から変形グリッドＧ１への変形における各交点Ｐ’２１、Ｐ’３１、Ｐ’２２、Ｐ’３１、Ｐ’２３、Ｐ’３３の変位量及び変位方向を表している。制御部１１は更に、各交点の変位量を数値表示してもよい。
【０１１３】
図２２は、基準眼底画像Ａ１（左図）上に変形解析結果である変位ベクトルｖを示した図である。経年変化を比較しやすいように図２２の右図に示すような線形補正後の眼底画像Ｂ２を並べて表示することが望ましい。図２２の例では、全体的に鼻側・上側に偏る変形があり、乳頭を中心に反時計方向に約４度の捻じれ回転が認められる。
【０１１４】
図２３〜図２５は、正常眼について本発明を適用した場合の処理結果例であり、図２６〜図２８は、強度近視眼について本発明を適用した場合の処理結果例である。
【０１１５】
正常眼の例において、図２３左図は上段下段ともに基準とする過去（１９８７年）の眼底画像であり、右図上段は経年変化後（２０１０年）の眼底画像を線形補正（アフィン変換）した段階、右図下段は経年変化後（２０１０年）の眼底画像を非線形補正した段階を示している。上段中央は、基準血管強調画像と線形補正後血管強調画像とをオーバーレイ表示した図であり、下段中央は、基準血管強調画像と非線形補正後血管強調画像とをオーバーレイ表示した図である。図２４は、正常眼について非線形整合処理例を示す図であり、左図が基準眼底画像Ａ１上に補正用グリッドＧ０を表示したもの、右図が線形補正後の眼底画像Ｂ２に対し変形グリッドＧ１を表示したものである。
【０１１６】
図２５（ａ）は図２４の変形解析の結果として眼底画像の各領域の変位量を示したリストである。図２５（ｂ）は同じサンプルについてＭＲＩによる解析結果を比較のために示したものである。
【０１１７】
図２３、図２４に示すように、正常眼では各区画の変位量がほぼ０であり、左右の眼底画像の歪み量も少ない。図２５（ａ）の眼底解析に示すように数値比較をすると、全体、左上、右上、左下、右下に最大７〜１２ピクセル程度、平均で０〜１ピクセル程度の変位が計測され、後極に鼻方向回転変形がみられることが分かる。図２５（ｂ）のＭＲＩ解析結果では眼球の各部の寸法等が算出され、これらの値から左右方向や上下方向の対称性、後極尖鋭タイプ等が割り出される。正常眼例では図２５（ｂ）に示すように、左右対称、上下対称との解析結果が得られている。
【０１１８】
一方、強度近視の例では、図２６左図は上段下段ともに基準とする過去（１９９１年）の眼底画像であり、右図上段は経年変化後（２０１４年）の眼底画像を線形補正（アフィン変換）した段階、右図下段は経年変化後（２０１４年）の眼底画像を非線形補正した段階を示している。上段中央は、基準血管強調画像と線形補正後血管強調画像とをオーバーレイ表示した図であり、下段中央は、基準血管強調画像と非線形補正後血管強調画像とをオーバーレイ表示した図である。図２７は、強度近視眼について非線形整合処理例を示す図であり、左図が基準眼底画像Ａ１上に均等分割の補正用グリッドＧ０を表示したもの、右図が線形補正後の眼底画像Ｂ２に対し変形グリッドＧ１を表示したものである。
【０１１９】
図２８（ａ）は図２７の変形解析の結果として眼底画像の各領域の変位量を示したリストである。図２８（ｂ）は同じサンプルについてＭＲＩによる解析結果を比較のために示したものである。
【０１２０】
図２７のベクトルに示すように、強度近視眼では各区画について変位が見られ、全体的に鼻側・上側に偏る変形があり、乳頭を中心に反時計方向に約４度の捻じれ回転が認められる。図２８（ａ）の眼底解析に示すように数値比較をすると、全体、左上、右上、左下、右下に最大３４〜８４ピクセル程度、平均で２〜４５ピクセル程度の変位が計測され、後極に耳方向回転変形がみられることが分かる。図２８（ｂ）のＭＲＩ解析結果では、左右の対称性はあるが、上下対称性は上寄りとの解析結果が得られている。３Ｄ−ＭＲＩを用いた解析では、後極部が上下白左右（耳側または鼻側）のいずれかに非対称に変位しているという判別しかできず、変位の強度は面積比で算出する方法しかなかったが、本発明の手法によれば、変位ベクトルの解析により、眼底の乳頭部や周辺部等、局所領域毎の変位方向や変位強度の相違を解析できる。また、周辺部において円周方向に強度の大きいベクトルが分布するねじれ変形や見つけやすく、回転角度等も定量的に解析可能となる。
【０１２１】
以上説明したように、本発明に係る眼底画像処理装置１は、同一患者について撮影年代の異なる２つの眼底画像Ａ１、Ｂ１を入力すると、前処理部２２により各眼底画像の画像サイズ及び方向を統一し、血管強調画像生成部２３により血管強調画像Ａｇ１、Ｂｇ１を作成する。そして線形整合処理部２５は撮影年代の古い方の画像Ａｇ１を基準とし、撮影年代の新しい方の画像Ｂｇ１を補正対象として、まずアフィン変換による線形整合処理を行う。その後、グリッド設定部２６は基準血管強調画像Ａｇ１及び線形補正（アフィン変換）された血管強調画像Ｂｇ２に補正用グリッドＧ０を表示し、グリッドＧ０に対する変形操作を受け付ける。非線形整合処理部２７はグリッドＧ０の変形（変形グリッドＧ１のグリッドパターン）に従って線形補正後血管強調画像Ｂｇ２を非線形に変形させる。解析部２８はグリッドパターンの変形量に基づき眼底部の変形を解析する。
【０１２２】
これにより、眼科診断に普及している眼底画像を用いて、眼底部の各部の寸法比較や変形を高精度かつ簡便に解析可能となる。更に、ＭＲＩ解析では解析困難な眼底部の微細な３次元的な変形を高精度かつ簡便に解析できるようになる。特に、補正用グリッドを用いて操作者が画像の変形操作を行えるようにしているため、眼底画像同士を演算により比較する場合と比べて装置にとって低負荷であり、迅速かつ精度よく解析結果を得ることが可能となる。
【０１２３】
以上、添付図面を参照して、本発明に係る眼底画像処理装置、眼底画像処理方法、及びプログラムの好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１２４】
１……………………眼底画像処理装置
１１…………………制御部
１２…………………記憶部
１３…………………メディア入出力部
１４…………………通信制御部
１５…………………入力部
１６…………………表示部
１７…………………周辺機器Ｉ／Ｆ部
１８…………………バス
１９…………………イメージスキャナ
２１…………………画像入力部
２２…………………前処理部
２３…………………血管強調画像生成部
２４…………………線形補正パラメータ設定部
２５…………………線形整合処理部
２６…………………グリッド設定部
２７…………………非線形整合処理部
２８…………………解析部
Ａ１…………………基準眼底画像
Ａｇ１………………基準血管強調画像
Ｂ１…………………補正対象眼底画像
Ｂｇ１………………補正対象血管強調画像
Ｂｇ２………………線形補正後血管強調画像
Ｂｇ３………………非線形補正後血管強調画像
Ｃ２、Ｃ３…………カラー合成画像
ｒ１、ｒ２…………血管候補領域
Ｇ０…………………補正用グリッド
Ｇ１…………………変形グリッド
Ｇ２…………………均等分割グリッド
【図１】
2017196041.tif 000003
【図２】
2017196041.tif 000004
【図３】
2017196041.tif 000005
【図４】
2017196041.tif 000006
【図５】
2017196041.tif 000007
【図６】
2017196041.tif 000008
【図７】
2017196041.tif 000009
【図８】
2017196041.tif 000010
【図９】
2017196041.tif 000011
【図１０】
2017196041.tif 000012
【図１１】
2017196041.tif 000013
【図１２】
2017196041.tif 000014
【図１３】
2017196041.tif 000015
【図１４】
2017196041.tif 000016
【図１５】
2017196041.tif 000017
【図１６】
2017196041.tif 000018
【図１７】
2017196041.tif 000019
【図１８】
2017196041.tif 000020
【図１９】
2017196041.tif 000021
【図２０】
2017196041.tif 000022
【図２１】
2017196041.tif 000023
【図２２】
2017196041.tif 000024
【図２３】
2017196041.tif 000025
【図２４】
2017196041.tif 000026
【図２５】
2017196041.tif 000027
【図２６】
2017196041.tif 000028
【図２７】
2017196041.tif 000029
【図２８】
2017196041.tif 000030