(57)【要約】【課題】異なる医用撮影装置で被検体を撮影した場合であっても、読影し易い画像を得る。【解決手段】画像処理装置は、第一の医用撮影装置により撮影して得た第一の画像を取得する画像取得部と、第一の医用撮影装置により被検体の所定部位を撮影して得た入力画像と、第一の医用撮影装置とは異なる第二の医用撮影装置であって、入力画像を得るために用いられた第一の医用撮影装置の撮影方式に対応する第二の医用撮影装置の撮影方式により、被検体の所定部位を撮影して得た出力画像と、をペアとする学習データを用いて得た学習済モデルに基づいて、第一の画像から第二の画像を生成する処理部とを備える。【選択図】  図４
2020039490.tif 000002
【特許請求の範囲】
【請求項１】
第一の医用撮影装置により撮影して得た第一の画像を取得する画像取得部と、
前記第一の医用撮影装置により被検体の所定部位を撮影して得た入力画像と、前記第一の医用撮影装置とは異なる第二の医用撮影装置であって、前記入力画像を得るために用いられた前記第一の医用撮影装置の撮影方式に対応する前記第二の医用撮影装置の撮影方式により、被検体の所定部位を撮影して得た出力画像と、をペアとする学習データを用いて得た学習済モデルに基づいて、前記第一の画像から第二の画像を生成する処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第一の医用撮影装置と前記第二の医用撮影装置とは機種が異なることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の医用撮影装置は、前記第一の医用撮影装置に無い機能を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第一の医用撮影装置と前記第二の医用撮影装置とは異なるメーカーにより製造されたものであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記入力画像は、前記出力画像とは、画像生成の際に用いる電磁波の態様において異なることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記入力画像の画像生成の際に用いる電磁波と前記出力画像の画像生成の際に用いる電磁波とは、エネルギーレベルにおいて相違することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第一の医用撮影装置は眼科撮影装置であり、
前記第二の医用撮影装置は眼科撮影装置であり、
前記被検体は被検眼であり、
前記第一の画像及び前記入力画像は低光量により撮影された被検眼の画像であり、
前記出力画像は高光量により撮影された被検眼の画像であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記入力画像の画像生成の際に用いる電磁波と前記出力画像の画像生成の際に用いる電磁波とは、エネルギー分布において相違することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項９】
前記エネルギー分布を有する電磁波を用いた前記入力画像の画像生成の際に、前記エネルギー分布の前記入力画像への影響を補正する補正処理部を更に備え、
前記第一の画像及び前記入力画像は、前記影響が補正された画像であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記入力画像の画像生成の際に用いる電磁波と前記出力画像の画像生成の際に用いる電磁波とは、画像生成の際に用いる波長帯域の広さにおいて相違することを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
前記第二の医用撮影装置が画像を取得する際に用いる電磁波の波長帯域は、前記第一の医用撮影装置が画像を取得する際に用いる電磁波の波長帯域に含まれることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記入力画像の画像生成の際に用いる電磁波と前記出力画像の画像生成の際に用いる電磁波とは、画像生成の際に用いる波長帯域において相違することを特徴とする請求項５に記載の画像処理装置。
【請求項１３】
前記第一の医用撮影装置は眼科撮影装置であり、
前記第二の医用撮影装置は眼科撮影装置であり、
前記被検体は被検眼であり、
前記第一の画像及び前記入力画像は前記被検眼に近赤外光を放射することで得られた画像であり、
前記出力画像は、前記被検眼に可視光を放射することで得られた画像であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第二の医用撮影装置により被検体の所定部位を撮影して得た第二の入力画像と、前記第二の入力画像を得るために用いられた前記第二の医用撮影装置の撮影方式に対応する前記第一の医用撮影装置の撮影方式により、被検体の所定部位を撮影して得た第二の出力画像と、をペアとする学習データを用いて得た第二の学習済モデルに基づいて、前記第二の医用撮影装置により撮影して得た画像から第三の画像を生成する第二の処理部を更に備えることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記第二の医用撮影装置により撮影して得た画像と、前記第二の画像とを並べて表示部に表示させる表示制御部を更に備えることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記学習データを蓄積する学習用データベースと、
前記学習データを用いてトレーニングすることで、入力された前記第一の画像を変換して第二の画像を出力する前記学習済モデルを生成する学習用エンジンと、
インターネットを介して請求項１乃至１３及び１５のいずれか一項に記載の画像処理装置に前記学習済モデルを出力する学習済モデル出力部と、をクラウド上に備えることを特徴とする医用診断システム。
【請求項１７】
前記学習データを前記学習用データベースに入力する学習データ入力部が前記クラウド上に更に配され、
前記画像処理装置は、インターネットを介して前記学習データを前記学習データ入力部に出力する画像アップロード手段を更に備えることを特徴とする請求項１６に記載の医用診断システム。
【請求項１８】
第一の医用撮影装置により撮影して得た第一の画像を取得する画像取得工程と、
前記第一の医用撮影装置により被検体の所定部位を撮影して得た入力画像と、前記第一の医用撮影装置とは異なる第二の医用撮影装置であって、前記入力画像を得るために用いられた前記第一の医用撮影装置の撮影方式に対応する前記第二の医用撮影装置の撮影方式により、被検体の所定部位を撮影して得た出力画像と、をペアとする学習データを用いて得た学習済モデルに基づいて、前記第一の画像から第二の画像を生成する処理工程と、
を含むことを特徴とする画像処理方法。
【請求項１９】
プロセッサーによって実行されると、該プロセッサーに請求項１８に記載の画像処理方法の各工程を実行させる、プログラム。
【請求項２０】
第一の医用撮影装置により被検体の所定部位を撮影して得た入力画像と、前記第一の医用撮影装置とは異なる第二の医用撮影装置であって、前記入力画像を得るために用いられた前記第一の医用撮影装置の撮影方式に対応する前記第二の医用撮影装置の撮影方式により、被検体の所定部位を撮影して得た出力画像と、をペアとする学習データを用いて得られる、学習済モデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、医用診断システム、学習済モデル、画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
例えば医用の撮影装置の一つである眼底撮影装置として、被検眼の眼底撮影を行う眼底カメラが広く知られている。また眼底カメラにおいては、被検眼の観察を行い、検査目的に合わせた撮影を行うためのカラー撮影、ＦＡＧ（可視蛍光撮影）やＩＣＧ（近赤外蛍光撮影）等の複数の撮影モードを有する装置が知られている。
【０００３】
また、撮影画像は、被検眼の瞳孔の散瞳状態や、被検者の人種の違いによる反射率の差等により明るさが異なる。特許文献１に開示される技術では、撮影画像を解析し、明るさの補正を行っている。更に、例えば神経線維層を見やすくするため、通常のカラー撮影を行う装置において、ＲｅｄＦｒｅｅフィルタやＣｏｂａｌｔフィルタ等の光学的なフィルタを用いる技術が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１４６９６１号公報
【特許文献２】特開２００８−２８４００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
眼底画像は、網膜を診断する眼科医にとって重要となる画像であり、多くの網膜疾患は眼底画像の観察や、過去の眼底画像との比較により、病状の経過等を確認することができる。ここで、例えば以前の眼底カメラでは実行できなかった上述した各撮影モードや各技術が、より良い診断のために新機種の眼底カメラでは実行可能となる場合がある。この場合、例えば経過観察中の被検眼について、眼科医は、新機種の眼底カメラでは可能となった撮影モードで取得した眼底画像と、以前の眼底カメラで取得した眼底画像との状態が異なるため、これらの画像の比較が難しい場合があった。
【０００６】
また、眼底カメラの画質は各社さまざまである。このため、眼底カメラを他社のものと置き換えた場合には、例えば所謂周辺光量の相違等によって、眼底の見え方が相違することも生じ得る。この場合も、眼科医は比較にあまり適さない画像間でその相違についての読影を行うことが必要となる。
【０００７】
本発明の目的の一つは、異なる眼底カメラ等、異なる医用撮影装置で眼底に例示される被検体を撮影した場合であっても、読影のし易い画像を得ることである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の一態様に係る画像処理装置は、
第一の医用撮影装置により撮影して得た第一の画像を取得する画像取得部と、
前記第一の医用撮影装置により被検体の所定部位を撮影して得た入力画像と、前記第一の医用撮影装置とは異なる第二の医用撮影装置であって、前記入力画像を得るために用いられた前記第一の医用撮影装置の撮影方式に対応する前記第二の医用撮影装置の撮影方式により、被検体の所定部位を撮影して得た出力画像と、をペアとする学習データを用いて得た学習済モデルに基づいて、前記第一の画像から第二の画像を生成する処理部と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明の一つによれば、異なる医用撮影装置で被検体を撮影した場合であっても、読影し易い画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る画像処理装置で用いる画像を撮影する眼底撮影装置の撮影部の模式図である。
【図２】実施例１に係る画像処理装置と、図１に例示した眼底撮影装置とを含む全体構成の一例を示す図である。
【図３】実施例１に係る画像処理装置のシステム制御部のブロック図である。
【図４】実施例１において機械学習モデルに学習させる組み合わせを説明するための図である。
【図５】学習済モデルを得るために用いる画像に関して説明するための図である。
【図６】学習済モデルを得るために用いる画像に関して説明するための図である。
【図７】学習済モデルの例に関して説明するための図である。
【図８】本実施例における眼底撮影装置における撮影画面の一例を示す図である。
【図９】眼底撮影時に表示される初期設定画面の例である。
【図１０】本実施例に係る画像処理を説明するためのフローチャートである。
【図１１】眼底撮影時に表示される画像処理の実行の要否を確認する画面の例である。
【図１２】眼底撮影時に表示される観察画面の例である。
【図１３】観察画面に表示される画像処理の実行の要否を確認する画面の例である。
【図１４】観察画面でＣｏｍｐａｒｉｓｏｎが選択された場合の処理を説明するためのフローチャートである。
【図１５】観察画面における表示画像の切り替え操作を実行する画面の例である。
【図１６】実施例２における学習データと画像処理の効果について説明するための図である。
【図１７】実施例２の変形例に係る画像処理装置のシステム制御部のブロック図である。
【図１８】周辺光量補正について説明するための図である。
【図１９】機械学習の学習エンジンと眼底撮影装置を含むシステムの例である。
【図２０】機械学習の学習エンジンと眼底撮影装置を含むシステムの例である。
【図２１】機械学習の学習エンジンと眼底撮影装置を含むシステムの例である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
【００１２】
また、以下の実施例では、眼底カメラを用いて被検眼眼底を撮影した場合について例示している。しかし、診断時において撮影装置が異なってしまった場合に想定される、異なった画質の医用画像間での読影の行いにくさについては、眼底カメラに限られない。例えば、Ｘ線撮影装置等、眼底カメラとは異なる種々の医用撮影装置においても同様の課題が生じる可能性がある。本発明はこのような場合であっても対応可能であり、従って、眼底カメラは医用撮影装置の一態様であり、被検眼眼底は被検体の一態様となる。また、眼底を観察等する際に用いる光は、Ｘ線等も含む電磁波の一態様となる。更に、眼を撮影する装置として、眼底のみならず、前眼部等被検眼の各部位を撮影する眼科装置もその態様に含まれる。
【００１３】
（実施例１）
例えば、これまで使用していた眼底カメラでは、所謂低光量モードでの撮影しかできなかったとする。ここで、所謂高光量モードによる撮影が可能な眼底カメラに置き換えることで、眼底の状態を観察する上でより適した画質の眼底画像が得られるようになったとする。この場合、経過観察等において、以前のカメラで得ている眼底画像を新たな眼底カメラで得た眼底画像と近い画質として、新しく得た眼底画像との比較ができれば、眼科医はより読影ができると考えられる。本実施例はこのような場合を想定している。
【００１４】
本実施例では、以前の眼底カメラで取得された眼底画像として、低光量モードで眼底画像を取得する。また、新たな眼底カメラで取得された眼底画像に近い画質の眼底画像として、同一眼の同一部位より高光量モードで眼底画像を取得する。入力データであるこの低光量モードの眼底画像と、教師データである高光量モードの眼底画像とのペアを用い、所謂ディープラーニング等の任意の機械学習アルゴリズムによりトレーニングすることで学習済モデルを得る。そして、この学習済モデルを用いて、入力された例えば低光量モードの眼底画像から、高光量モードで得た眼底画像に対応する眼底画像を生成する。これにより、眼科医は、過去の低光量モードで取得した眼底画像から、新たな眼底カメラで取得した高光量モードで取得した眼底画像との比較に適した眼底画像を見ることが可能となる。
【００１５】
ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な教師データを用いてトレーニングすることで得られた（学習を行った）モデルである。ただし、学習済モデルは事前に適切な教師データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできる。
【００１６】
以下に、実施例１について具体的に説明する。なお、以下では、まず眼底カメラの構成について述べ、その後学習済モデルや実際に想定される処理の詳細について述べる。
【００１７】
＜撮像部構成＞
本実施例に係る画像処理装置及びこれに付随するように配置される眼底撮影装置を含む全体の構成について、図１から図３を用いて説明する。図１は、眼底撮影装置における眼底カメラ撮像部１００を模式的に示す側面図である。眼底カメラ撮像部１００は、ヘッドユニット１０１、本体部１０３、及びカメラ部１０２を備える。ヘッドユニット１０１は、不図示のモーターと制御回路により本体部１０３に対して３次元的に駆動可能なように構成されている。そして、本体部１０３に設けられたジョイスティック１０４の操作、もしくは後述のシステム制御部３００により制御可能なように構成されている。
【００１８】
眼底カメラ撮像部１００は、被検者のあごと額とを固定することで、被検眼の固定を促すあご台１０５を更に供える。また、ここに例示する眼底カメラ撮像部１００は、ヘッドユニット１０１に配置されて眼底画像等を表示する表示部１０７を備える。
【００１９】
眼底カメラ撮像部１００におけるヘッドユニット１０１は、図２に示す光学部材等を構成として備える。次に、これら構成について説明する。観察用光源１から被検眼Ｅの前方に位置する対物レンズ２に至る光路Ｏ１上には、観察用光源１側から順に、コンデンサレンズ３、撮影用光源４、及びミラー５が配列される。また、ミラー５の反射方向には、リング状の開口を有する絞り６、リレーレンズ７、及び孔あきミラー８が順次に配列される。これら光路Ｏ１上に配置される構成により、眼底照明光学系が構成されている。また、観察用光源１は、近赤外光を発するＬＥＤ光源からなる。
【００２０】
孔あきミラー８の背後の光路Ｏ２上には、合焦レンズ９、撮影レンズ１０、及びＣＣＤ等から成る撮像素子１１が順次に配列され、眼底撮影光学系が構成される。合焦レンズ９は、不図示の駆動装置により図中矢印で示す光軸方向に移動可能であり、これにより眼底Ｅｒからの反射光を撮像素子１１に対して合焦させる。また、撮像素子１１の出力は、後述するシステム制御部３００に接続される。システム制御部３００は、後で詳述するように、表示部１０７、入力部３０９、及び外部記憶部３０７にも接続される。
【００２１】
孔あきミラー８の孔部の近傍の光路Ｏ２から左右方向にずれた位置には、指標光束を導くライトガイド１２ａの出射端が配置される。このライトガイド１２ａの入射端には、アライメント指標を点灯するためのＬＥＤ光源１３ａが接続される。ライトガイド１２ａの出射端の光路Ｏ２に対して対称な位置には、図示しないもう一つのライトガイドの出射端が配置される。このライトガイドの入射端には、ＬＥＤ光源１３ａと同様の波長を有する図示しないもう一つのＬＥＤ光源が接続されている。これらライトガイド及びＬＥＤ光源により、アライメント用指標投影光学系が構成されている。
【００２２】
眼底観察時において、観察用光源１を出射した照明光は、コンデンサレンズ３、及び撮影用光源４を通過しミラー５で反射される。ミラー５で反射された反射光は、絞り６、及びリレーレンズ７を通過し、孔あきミラー８の周辺部で反射され、対物レンズ２を介して、被検眼Ｅの眼底Ｅｒを照射する。眼底Ｅｒからの反射光は、対物レンズ２、孔あきミラー８の孔部、合焦レンズ９、及び撮影レンズ１０を通過し、撮像素子１１の撮像面上に結像される。これにより、眼底Ｅｒの画像が、眼底観察像として表示部１０７において観察される。
【００２３】
ここで、ライトガイド１２ａ等の出射端から出射するＬＥＤ光源１３ａ等からの指標光束は、アライメント指標として対物レンズ２を介して被検眼Ｅに投影される。被検眼Ｅと眼底カメラとの作動距離が適正な場合には、被検眼Ｅの角膜面で反射された指標光束の反射像は平行光となる。そして、照明光束の眼底反射光と同じ光路を経て撮像素子１１の撮像面上に、それぞれ指標像を形成する。
【００２４】
撮像素子１１で取得された観察画像は、システム制御部３００に送られ、被検眼Ｅとヘッドユニット１０１とのアライメント制御に用いられる。また、システム制御部３００では、アライメント指標像から検出したアライメントのずれ方向とずれ量から、ヘッドユニット１０１を適正なアライメント位置へ駆動させる制御をおこなってもよい。
【００２５】
被検眼Ｅと対向している対物レンズ２の背後の光路Ｏ２上の撮影レンズ１０と撮像素子１１との間には、光路分岐のためのダイクロイックミラー１９が配置される。ダイクロイックミラー１９の反射方向には、固視光学系が配置される。固視光学系は、ダイクロイックミラー１９の背後に配置されたリレーレンズ２０と、被検眼Ｅを固視させるための任意の位置に点灯可能な、液晶板２１及び光源２２を備える。
【００２６】
オペレータは被検眼Ｅの所望部位を撮影するために、液晶板２１の所望の位置から光源２２の光が透過するように該液晶板２１を制御する。これにより、液晶板２１の所望の位置が点灯した状態を得る。所望部位を変更する場合は、例えば本体１０３に付属されている不図示の十字キー等の固視標移動スイッチを使用する。これにより、液晶板２１上の点灯位置を移動させる。或いは、後述する入力部３０９を用いてこの点灯位置を移動させてもよい。
【００２７】
このようにして被検眼の視線を誘導し、アライメントが完了すると、検者は図示しない撮影スイッチを押す。これにより、観察用光源１は消灯し、撮影用光源４が発光する。撮影用光源４から射出された撮影照明用の可視光の光束は、上述の観察用光源１から射出された照明光束と同様の光路を辿り、被検眼Ｅの眼底Ｅｒを照明する。眼底Ｅｒからの反射光束は、再び対物レンズ２、合焦レンズ９、及び撮影レンズ１０を介し、撮像素子１１にて画像化され、システム制御部３００へ転送される。
【００２８】
＜システム制御部＞
図３のブロック図を参照して、本実施例に係る画像処理装置（画像処理部）を備えるシステム制御部３００について述べる。システム制御部３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、撮影制御部３０４、及び表示制御部３０５を備える。画像取得部３０１は、撮像素子１１からの画像を取得する。記憶部３０２は、メモリなどにより構成される。画像処理部３０３は、観察された画像や、撮影された画像に対して、後述する画像処理を行う。撮影制御部３０４は、上述したようにヘッドユニット１０１のアライメント指標に基づいた撮影制御や、固視灯の制御を行う。表示制御部３０５は、画像処理部３０３から得た画像や情報を、モニタ等の表示部１０７に表示させる。
【００２９】
システム制御部３００は、表示部１０７、キーボードやマウスなどのヒューマンインターフェースである入力部３０９、及び撮影された画像や患者情報を記憶するための外部記憶部３０７に接続される。なお、図示した例では、眼底カメラ撮像部１００、システム制御部３００、外部記憶部３０７、及び入力部３０９が別体として示されているが、これら構成要素の一部又は全部を一体として構成してもよい。また、本実施形態では画像処理装置としてシステム制御部３００を用いているが、画像処理装置は汎用のコンピュータによって構成されてもよいし、画像処理専用のコンピュータによって構成されてもよい。また、外部記憶部３０７は、任意の記憶装置によって構成されてよく、例えば光ディスクやメモリ等の記憶媒体によって構成されてよい。
【００３０】
＜画像処理部＞
次に、システム制御部の画像処理部３０３の動作に関して説明する。画像処理部３０３では、撮影されて得られた眼底画像へ画像処理を行い、眼底画像を記憶部３０２へ出力する。記憶部３０２では、これを記憶する。システム制御部３００は、処理部３０６を備える。処理部３０６は、入力として眼底画像を入力すると、画像処理後の眼底画像を出力する学習済モデルに対応する機械学習アルゴリズムが実装されている。
【００３１】
機械学習アルゴリズムに係る学習済モデルのトレーニングには、用いるデータとして、入力データと教師データ（出力データ）のペアが１つ以上必要となる。本実施例では、入力データとして、眼底カメラ撮像部１００において低光量モード（ＩＳＯ３２００相当）で撮影されたカラー眼底画像を用いる。また、教師データとしては同じ眼底カメラ撮像部１００を用いて、高光量モード（ＩＳＯ２００相当）で撮影された被検者のカラー眼底画像を用いる。また、これら入力データ及び教師データのペアには、例えば同一被検者から得た複数のペアや、異なる複数の被検者から得たペア等、複数のペアを学習データとして用いる。学習済モデルを得る際には、これらカラー眼底画像からなる学習データを用いて事前にトレーニングを実施しておく。
【００３２】
より具体的には、低光量の撮影画像と、高光量の撮影画像とを同一の固視灯位置で撮影する。更に、得られた画像間での空間的なずれを補正するために、ペア画像の特徴点を用いる、或いはテンプレートマッチングを行うにより、互いに位置合わせを実施する。教師データには、このような位置合わせが実施された後の画像からなるペア画像を学習データとして用いている。なお、本実施例では、入力画像（入力データ）と出力画像（教師データ）とからなるペア画像として、低光量モードで得たカラー眼底画像と高光量モードで得たカラー眼底画像とを学習データとして用いた例について述べている。しかし、用いる画像はカラー眼底画像に限られない。学習データとして用い得る画像の例について、図４にその一覧表を示す。用いる画像としては、カラー眼底画像の他に、蛍光眼底画像、自発蛍光眼底画像、或いは光学フィル画像が例示できる。なお、図４には想定されるその他の学習ペアについても示している。
【００３３】
次に、上述した位置合わせと、学習ペアとの関係に関して図５を用いて説明する。図５は、学習データを構成するペア画像群として、後述するマスク領域を除いた眼底画像全体を学習に用いる例である。入力データに対応する図５（ａ）は低光量モードで撮影した眼底画像であるため、教師データに対応する図５（ｂ）に示す高光量モードで撮影した眼底画像に比べ、ノイズが多いことを模式的に表している。図５（ａ）は低光量モードで撮影された眼底画像５０１であり、マスク境界５０２１を隔てて、マスク領域（境界の外側の黒色領域）と、眼底画像領域（境界の内側の領域）から構成される。図５（ｂ）は、図５（ａ）と同一固視灯位置に対して撮影された高光量モードでの眼底画像の例であり、同様にマスク境界５０２２により隔てられたマスク領域と眼底画像領域から構成される。
【００３４】
ここで、図５（ｂ）に示す眼底画像は、同一固視灯位置で撮影したものの、図５（ａ）に示す眼底画像とは完全に同じ位置にはならず、若干右にずれた構図となっている。図５（ｄ）は、図５（ａ）の眼底画像と図５（ｂ）の眼底画像との位置ずれを補正するように図５（ｂ）の眼底画像を横方向に移動させた画像である。また、図５（ｃ）は、図５（ｄ）の眼底画像５０２’のマスク領域５０２２’を図５（ａ）の眼底画像上に重畳表示した画像である。
【００３５】
本実施例では、このように２つの画像間で位置ずれがある場合には、互いの位置関係を合わせる。そして、それぞれのマスク部分を除外した共通領域（図５（ｃ）及び図５（ｄ）の２つの円のオーバーラップする領域）の画像を学習データに用い、学習済モデルを得るトレーニングを行った。なお、本実施例では位置合わせを単なる画像のシフトにより実施したが、これに限るものではない。例えば、位置ずれとともに、撮影の構図のずれにより、収差等に起因する画像のひずみがある場合には、ひずみを補正してもよい。なお、ここでは、同一被検眼における同一箇所より得た眼底画像を各々入力データ及び教師データとする学習データを用いている。このような学習データを用いることで、より精度のよい学習済モデルが得られる。しかし、例えば学習データをより多く必要とする場合には、画像的にあるいは症例的に類似する被検眼を用いることによっても学習済モデルを得ることはできる。
【００３６】
図６は、学習済モデルを得るための別の例を説明する図である。ここに示す例では、眼底画像全体ではなく、眼底画像に対して設けた矩形領域画像を、学習済モデルを得るために用いている。具体的には、図６（ａ）に示す眼底画像６０１におけるマスク境界６０２１内に対して、矩形領域画像６０３１を設定し、これを入力データとして用いる。さらに、教師データには、図６（ｂ）の眼底画像６０２のマスク境界６０２２内において、矩形領域画像６０３１に対応する位置に設けられた矩形領域画像６０３１’を設定する。そしてこれら入力データと教師データとのペア画像を学習データとして用いて、学習済モデルを得るトレーニングを行う。なお、この場合も、図６（ａ）の眼底画像と図６（ｂ）の眼底画像とでは、位置関係がずれている。このため、図６（ｂ）の眼底画像を横方向にずらした後（図６（ｃ））、互いに一致する矩形領域画像６０３１，６０３１’’を元に、学習済モデルを得るためのトレーニングを行っている。
【００３７】
なお、眼底上に設けられる矩形領域の数は、図６の場合では複数設定可能である。例えば、図６（ａ）における眼底画像５０１のうちの矩形領域画像６０３２を入力データとし、同じ撮影領域である図６（ｂ）の矩形領域画像６０３２’を教師データとすることもできる。即ち、第一の矩形領域画像ペアとは別の矩形領域画像ペアを作成し、これらをトレーニングに用いることもできる。このように、異なる座標に変えながら多数の矩形領域画像のペア画像を作成することでトレーニングに用いるペア画像群が充実する。なお、図６に示した例では眼底画像上で離散的に設定された矩形領域を示しているが、実際には、前述した共通領域内を、隙間なく連続する一定の画素サイズの矩形領域画像群に分割してもよい。
【００３８】
なお、図５及び図６に示した眼底画像については、入力データと教師データの元となる眼底画像の解像度は同一として説明してきたが、これに限るものではない。もし入力データに用いる画像と教師データに用いる画像との解像度が異なる場合には、解像度を同じになるように変換し、その後学習済モデルを得るトレーニングを実行してもよい。或いは、後述する畳み込みニューラルネットワーク（ＣＮＮ）において、この解像度の相違を吸収させてもよい。
【００３９】
また、図５及び図６に示した眼底画像はすべて左眼の画像であるが、これに限るものではない。右眼の眼底画像も左眼の画像同様、学習済モデルを得るための学習データとして用いてもよい。或いは、右眼の眼底画像は左右反転し、すべて左眼のような構図に変換して学習データとしてもよい。この場合、画像処理を行う前に、右眼の画像は左右反転したうえで画像処理を行い、その結果を左右反転してもよい。
【００４０】
＜ニューラルネットワークの構成＞
次に、本実施例において、学習済モデルの一例を得る際に、入力画像から出力画像を得る画像処理を行う畳み込みニューラルネットワーク（ＣＮＮ）に関して、図７を用いて説明をする。図７は、本実施例において、システム制御部３００の処理部３０６に配される学習済モデルの構成７００の一例を示している。
【００４１】
図７に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成７００に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
【００４２】
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
【００４３】
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ  Ｐｏｏｌｉｎｇ処理がある。
【００４４】
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
【００４５】
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
【００４６】
なお、図７に示す構成７００に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度の画像処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を教師データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
【００４７】
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがよりよい特性を得られる場合がある。よりよい特性とは、例えば、眼底画像の学習精度が高かったり、画像処理の時間が短かったり、学習済モデルのトレーニングにかかる時間が短かったりすることが含まれる。
【００４８】
なお、図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ  Ｌｉｎｅａｒ  Ｕｎｉｔ）を用いた活性化層を組み込む等をしてもよい。
【００４９】
このような学習済モデルに眼底画像を入力すると、学習済モデルの設計に従った眼底画像が出力される。例えば、学習データを用いてトレーニングされた傾向に従って、入力画像に対応する可能性の高い出力画像が出力される。本実施例に係る処理部３０６の学習済モデルでは、眼底画像７０１が入力されると、学習データを用いてトレーニングされた傾向に従って、眼底画像７０２を出力する。
【００５０】
なお、図６（ａ）〜６（ｃ）に例示したように、眼底画像を領域分割して学習している場合、処理部３０６の学習済モデルは、それぞれの矩形領域画像に対応する矩形領域画像を出力する。この場合、処理部３０６が、出力された矩形領域画像群のそれぞれを、入力された矩形領域画像群のそれぞれと同様の位置に配置して結合することで、入力された眼底画像７０１に対応する眼底画像７０２を生成することができる。
【００５１】
＜撮影時のフロー＞
本実施例において、眼底画像の撮影から上述した画像処理に至る一連の処理についてここで説明する。まず、眼底画像の撮影時において、例えば図８に示した撮影画面が表示部１０７に表示される。表示部１０７の撮影画面には、第一の選択ボタン８０１、第二の選択ボタン８０２、第三の選択ボタン８０３、設定ボタン８０４、サムネイル８０５、表示領域８０６、及び処理選択ボタン８０７が表示される。
【００５２】
第一の選択ボタン８０１は患者リストを表示するための選択ボタンであり、第二の選択ボタン８０２は後述する眼底撮影画面を表示するために用いる選択ボタンである。また、第三の選択ボタン８０３はレポート画面を表示するために用いる選択ボタンである。これら、選択ボタン８０１〜８０３はいずれかの１つが選択され、選択されたメニューの画像が表示される。なお、図８は左眼を撮影した際の表示状態を表しており、サムネイル８０５には撮影時に観察される画像が表示され表示領域８０６には撮影により得られた眼底画像が表示される。
【００５３】
本実施例に係る眼底撮影装置は、撮影をする前の設定として、処理選択ボタン８０７を介して表示される選択画面（図９）を用い、画像処理の動作を選択することができる。該選択画面においてメニュー９０１を選択すると、画像取得部３０１を介して取得した眼底画像が記録部に保存されると、その画像に対して上述の画像処理が自動的に行われて、処理後の画像が表示される。メニュー９０２を選択すると、撮影するたびに、画像処理を行うかどうかの確認が行われる。メニュー９０３を選択すると、撮影時には画像処理を行わない。実際の撮影時においては、これらメニュー９０１〜９０３のいずれかが常に選択される。
【００５４】
次に、図１０を参照して、本実施例に係る一連の処理について説明する。図１０は、本実施例の一連の処理のフローチャートである。本実施例に係る一連の処理が開始される、処理はステップＳ１００１に移行する。
【００５５】
ステップＳ１００１では、画像取得部３０１が、眼底カメラ撮像部１００から眼底画像を取得する。画像取得部３０１によって取得された眼底画像は、記憶部３０２に保存される（ステップＳ１００２）。眼底画像の保存後、処理はステップＳ１００３に移行し、処理部３０６において画像処理を行うか否かが確認される。なお、上述したように、選択画面において、メニュー９０１もしくはメニュー９０２が選択されていると、ステップＳ１００３におけるＹｅｓに従って、処理はステップＳ１００４に移行する。選択画面においてメニュー９０３が選択されていると処理はステップＳ１００９に移行し、取得された眼底画像が撮影画面にそのまま表示される。
【００５６】
ステップＳ１００４において、選択画面でメニュー９０２が選択されていると、当該ステップにおけるＹｅｓに従って、処理はステップＳ１００５に移行する。ステップＳ１００５では、表示制御部３０５は、表示部１０７に表示されている撮影画面上に、図１１に例示する確認用ＧＵＩ１１０１表示させる。続くステップＳ１００６では、処理部３０６による画像処理を行うか否かが確認される。確認用ＧＵＩ１１０１において画像処理を行うことが選択されたと確認されると、処理はステップＳ１００７に移行する。ステップＳ１００６で、画像処理を行わないことが確認されると、処理はステップＳ１００９に移行し、取得された眼底画像が撮影画面にそのまま表示される。
【００５７】
また、ステップＳ１００４において、選択画面でメニュー９０１が選択されていると、当該ステップにおけるＮｏに従って、処理はステップＳ１００７に移行する。ステップＳ１００７では、処理部３０６によって上述した学習済モデルを用いた画像処理が行われる。画像処理の終了後、処理はステップＳ１００８に移行し、画像処理後の画像が記憶部３０２に保存され。画像の保存後、処理はステップＳ１００９に移行し、画像処理後の画像が撮影画面に表示される。ステップＳ１００９では、表示制御部３０５により処理後の或いは取得された画像が撮影画面における表示領域８０６に表示され、一連の画像表示処理が終了する。
【００５８】
なお、撮影画面上には、処理選択ボタン８０７も配置されている。従って、仮に上述した選択画面においてメニュー９０３が選択されていても、この処理選択ボタン８０７を用いることにより、同様の画像処理を行うことができることとしてもよい。
【００５９】
なお、ここでは、撮影された眼底画像について、画像処理を行うか否かを判定し、最終的な画像を表示する例について述べている。しかし、過去に、或いは以前の眼底カメラにて取得して外部記憶装置等に記憶されている眼底画像を取得し、この取得された眼底画像を対象として上述した処理を行ってもよい。予め得ている眼底画像に対して上述した画像処理を施すことにより、現状の眼底カメラで得た眼底画像との比較に適するように画像処理された眼底画像が表示できる。
【００６０】
なお、上述した例では、低光量モードで撮影した眼底画像に対応して、高光量モードで撮影した場合に得られる可能性の高い眼底画像を生成することとしている。しかし、観察部位によっては、低光量モードで撮影した場合のほうが観察に適する場合も考えられる。従って、学習済モデルとしては、上述した例に限られず、高光量モードで得た眼底画像を入力データとし、低光量モードで得た眼底画像を教師データとした学習データを用いて得たものを用意してもよい。
【００６１】
また、本実施例では、眼底の観察にＬＥＤ光源からなる観察用光源１からの近赤外光を用い、撮影には撮影用光源４からの可視光を用いることとしている。例えば、入力データを近赤外光の照射により得られた眼底画像から構成し、教師データを可視光の照射により得られた眼底画像から構成してもよい。このような学習データによりトレーニングした学習済モデルを処理部３０６に配することにより、赤外光による眼底画像しかデータとして有さない被検眼に対しても、可視光によって取得した場合に得られる可能性の高い眼底画像を得ることができる。
【００６２】
＜ビュー画面の例＞
なお、撮影時に撮影画面として表示される態様は、上述した図８の例に限られない。ここでは、図を参照して、表示制御部３０５が表示部１０７に表示させる他のＧＵＩの例について述べる。図１２は、表示部１０７に表示される他のＧＵＩを示している。なお、図８に示した撮影画面で表示された事項と同じものについては、同一の参照符号を用いて示す。また同図は、図８や図１１で説明した撮影画面ではなく、画像を確認するための画面（ビュー画面、レポート画面等と呼ばれることが多い）の例である。
【００６３】
この表示画面１２００では、確認する画像を選択するための選択タブ１２１０〜１２１３が設けられている。この選択タブを用い、Ｓｉｎｇｌｅ、ＢｏｔｈＥｙｅｓ、Ｃｏｍｐａｒｉｓｏｎ、及びＰｒｏｇｒｅｓｓｉｏｎの各表示モードを選択できる。Ｓｉｎｇｌｅは一枚の画像を確認するビューモードであり、ＢｏｔｈＥｙｅｓは同一患者の左右眼を比較するビューモードである。また、Ｃｏｍｐａｒｉｓｏｎは同一患者の同一被検眼の異なる日時の２つの画像を比較するビューモードであり、Ｐｒｏｇｒｅｓｓｉｏｎは同一患者の同一被検眼の異なる日時の２つ以上の画像を比較するビューモードである。これらモードの選択に応じ、対応する眼底画像が表示部１２１４に表示される。なお、図１２はビューモードとしてＳｉｎｇｌｅが選択された場合を示している。
【００６４】
サムネイル画像１２０７〜１２０９は、患者のこれまでの検査で取得した眼底画像のいずれかを選択するためのサムネイル表示部１２０６に表示されており、現在はサムネイル画像１２０７が選択されている。表示部１２１４には、選択されたサムネイル画像１２０７として選択されている検査に含まれる画像が表示されている。また、表示画面１２００には画像処理ボタン１２１５が併せて表示されており、撮影が終わった画像に対しても、後から画像処理をかけることが可能になっている。
【００６５】
なお、すでに画像処理済みの画像には、再度画像処理が掛けられないようにボタンを押せないようにしてもよい。或いは、表示されている画像に、この画像が画像処理により得た画像であることを示す表示等を重畳させてもよい。即ち、眼底画像を観察する眼科医等が、表示されている画像が未処理の画像であるか処理済の画像であるかと知るための情報が提示されていればよい。
【００６６】
次に、選択タブ１２１２により、ビューモードとしてＣｏｍｐａｒｉｓｏｎが選択された場合のＧＵＩである表示画面１３００について説明する。同図に示すように、この表示モードでは、異なる時刻に撮影された２つの眼底画像１３０１，１３０２が並んで表示されている。なお、この例では、低光量モード（ＩＳＯ３２００）で撮影された画像として眼底画像１３０１が、高光量モード（ＩＳＯ２００）で撮影された画像として眼底画像１３０２が示されている。また、眼底画像各々の左上にそれぞれ撮影されたＩＳＯ感度が表示されている。
【００６７】
次に、ビューモードとしてＣｏｍｐａｒｉｓｏｎが選択された場合に行われる処理について、図１４のフローチャートを参照して説明する。一連の処理が開始されると処理はステップＳ１４０１に移行する。
【００６８】
ステップＳ１４０１では、第一の眼底画像１３０２として表示される眼底画像が選択される。この眼底画像は、サムネイル画像１２０７〜１２０９のうち１つの検査結果である眼底画像から選択される。第一の眼底画像１３０２が決定されると、処理はステップＳ１４０２に移行し、ここで比較する対象となる第二の眼底画像１３０１が選択される。その際、画像選択ボタンとして第三の選択ボタン８０３を押下すると、サムネイル画像１２０７〜１２０９と類似したサムネイル画像が同じ配置に表示される。ここで、表示されたサムネイル画像の中の１つを選択することで、比較する第二の眼底画像１３０１を選択することができる。
【００６９】
画像が選択されると、処理はステップＳ１４０３に移行する。ステップＳ１４０３では、表示制御部３０５により、表示画面１３００（ＧＵＩ）上に、第一及び第二の眼底画像１３０２，１３０１が表示される。その後、ステップＳ１４０４において、処理部３０６もしくは眼科医により、第二の眼底画像１３０１の撮影条件が確認される。確認の結果、第二の眼底画像の撮影条件が低光量モードであるとステップＳ１４０５で判定された場合には、処理はステップＳ１４０６に移行する。
【００７０】
ステップＳ１４０６では、画像処理部３０３において、画像処理を実行するか否かについて確認される。具体的には、図１３に示されるように、画像処理を実施するかを選択するためのＧＵＩが、表示画面１３００上に重畳表示される。処理部３０６もしくは眼科医により実施することが選択されると、処理はＹｅｓに従ってステップＳ１４０７に移行する。ステップＳ１４０７では、上述した低光量モードの眼底画像を高光量モードの場合に得られる可能性の高い眼底画像に変換する画像処理を実施し、表示されている眼底画像を更新する。
【００７１】
ステップＳ１４０５で表示されている画像が低光量モードでの撮影によるものでは無いと判定されると、処理はＮｏに従って移行する。これにより、表示されている第一及び第二の眼底画像はそのまま維持され、一連の処理は終了する。また、ステップＳ１４０６において、画像処理を実施しないことが選択されると、処理はＮｏに従って移行する。この場合も、表示されている第一及び第二の眼底画像はそのまま維持され、一連の処理は終了する。
【００７２】
なお、以上の説明では、画像処理を実施するかどうかの確認用ＧＵＩを表示したが、本実施例での処理様式はこれに限らない。例えば初期設定で、比較対象画像が、低光量モードの場合には画像処理を自動的に実行するかどうかを選択できるようにしてもよい。
【００７３】
また画像処理を行った画像は、元の画像に上書きをしてもよいし、参考画像として元の画像とは別の画像として保存してもよい。また画像処理した際にはその画像が学習済モデルを用いた画像処理により生成されたものであることがわかるように眼底画像と紐づけて表示してもよい。また、元の画像と処理後の画像との表示を適宜切り替えられることとしてもよい。図１５に、画像を切り替える様式の一表示例を示す。図１５は、図１３の表示画面１３００の第二の眼底画像１３０１に換えて、画像処理が施された眼底画像１３０１’が表示されている例を示している。同図の表示画面１５００に示すように、眼底画像１３０１’にカーソルを合わせる。この状態で、例えばマウスを右クリックする等の画像変更のための入力操作を行うと、元の第二の眼底画像１３０１に戻すことが選択できる。
【００７４】
上述したように、本実施例では、学習済モデルに対して低光量モードで取得した眼底画像を入力することで、その被検眼を高光量モードで撮影した場合に取得される可能性の高い眼底画像を提供している。これにより、高光量モードで取得した眼底画像がなく、以前に低光量モードで経過観察等を行っていた被検眼についてであっても、高光量モードで取得されたであろう眼底画像を経過観察用等に得ることができる。従って、従来の眼底カメラの機能によらず、現在使用している眼底カメラで得た画像との比較に適した画像を取得し、被検眼の経過観察等を行うことが可能となる。
【００７５】
（実施例１の変形例１）
上述した実施例１では、学習済モデルを得る際の入力データには低光量モードで撮影した眼底画像を用い、教師データには高光量モードで撮影した低ノイズの眼底画像を用いている。しかし、用いる学習データはこれに限るものではない。例えば、高光量モードで撮影した画像の代わりに、低光量モードで撮影した複数の眼底画像を互いに位置合わせし、位置合わせした結果に平均化などの処理を行って高画質な眼底画像を生成して、これを教師データとして用いてもよい。
【００７６】
また、上述した実施例では低光量モードでの眼底画像として、ＩＳＯ３２００相当の画像を例示しているが、これに限るものではない。ＩＳＯ１６００や、ＩＳＯ８００等、別のＩＳＯ感度の眼底画像に対しても、上述した手順により学習済モデルを得ておくことができる。そして、このような学習済みモデルを用いることで、現状の眼底カメラで得た眼底画像との比較に適した低ノイズの画像を得ることができる。
【００７７】
なお、複数のＩＳＯ感度に対応する場合、撮影光量ごとに学習データを得てトレーニングを行い、撮影された画像のＩＳＯ感度に応じてＣＮＮを変更、もしくは切り替えて画像処理を行ってもよい。或いは、対象とするすべての撮影光量の画像を入力データに用い、教師データを高光量モードで撮影した眼底画像とする学習データを用いて学習済モデルを得てもよい。
【００７８】
（実施例１の変形例２）
上述した実施例１では、学習済モデルを得るために用いる学習データとしてカラー眼底画像を用いた例を示したが、用いる眼底画像はこれに限るものではない。眼底画像の種類としては、例えば図４に示す、カラー眼底画像、蛍光眼底画像（ＦＬＵＯ、ＩＣＧ等）、自発蛍光画像、各種フィルタ画像（Ｒｅｄ Ｆｒｅｅフィルタ、Ｃｏｂａｌｔフィルタ画像等）を対象とすることもできる。このような眼底画像を用いた場合であっても、これら眼底画像を学習データとして用いて得た学習済モデルを用いることで、高光量モード撮影した場合に得られる可能性の高い眼底画像をえることができる。
【００７９】
上述したように、本実施例に係る画像処理装置は、第一の医用撮影装置（眼底カメラ撮像部１００）で撮影した第一の画像（７０１）を取得する画像取得部（画像取得部３０１）と、第二の画像（７０２）を生成する処理部３０６とを備える。処理部３０６は入力画像（５０１）と出力画像（５０２）とをペアとする学習データを用いてトレーニングすることで得た学習済モデルを備える。入力画像（５０１）は、第一の医用撮影装置により被検体（被検眼）の所定部位（眼底Ｅｒ）を撮影して得た画像である。また、出力画像（５０２）は、該第一の医用撮影装置とは異なる第二の医用撮影装置であって、入力画像（５０１）を得るために用いられた第一の医用撮影装置の撮影方式に対応する第二の医用撮影装置の撮影方式により、眼底Ｅｒを撮影して得た画像である。処理部３０６は、これら画像からなる学習データを用いて得た学習済モデルに基づいて、第一の画像から第二の画像を生成する。また、上述した画像取得手段及び処理手段は、各々画像取得工程を実行する手段、画像処理工程を実行する手段を構成し、本発明における画像処理方法を実行する主体となる。
【００８０】
生成された第二の画像は、上述したように表示制御部３０５によって、画像を確認する画面として表示部１０７に表示される。その際、生成された第二の画像のみを例えば図１２のように表示してもよいが、実際には、図１５に示されるように、比較対象となる画像と並べて表示されることが望ましい。この場合、表示制御部３０５は、第二の医用撮影装置により撮影して得た画像（１３０２）と、第一の画像（１３０１）から生成された第二の画像（１３０１’）とを並べて表示部１０７に表示させる。またこの場合、表示制御部３０５は、処理前後の画像も比較できるように、生成された第二の画像（１３０１’）と第一の画像（１３０１）と、その表示を切り替え可能とすることが更に望ましい。
【００８１】
なお、上述した第一及び第二の医用撮影装置が眼科装置である場合、医用撮影装置として上述した眼底カメラが例示される。眼底カメラは、照明された眼底の画像を２次元センサーにて取得する撮影方式を用いる眼底カメラは、機種により例えば光学系が相違している場合があり、また、後述するように、機種や機能により眼底を照明する光の強度や波長において相違している場合がある。しかし、第一及び第二の医用撮影装置としての眼底カメラにおいて、上述した光学系や照明する光の相違が存在したとしても、撮影方式としては対応しているといえる。また、他の医用撮影装置における撮影方式としては、例えば被検眼の断層を撮影するＯＣＴ（Ｏｐｔｉｃａｌ  Ｃｏｈｅｒｅｎｃｅ  Ｔｏｍｏｇｒａｐｈｙ：光干渉断層撮影法）が例示される。ＯＣＴの場合、例えば広帯域光源を用いるＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ  Ｄｏｍｅｉｎ  ＯＣＴ）や高速波長掃引光源を用いるＳＳ−ＯＣＴ（Ｓｗｅｐｔ  Ｓｏｕｒｃｅ  ＯＣＴ）が含まれる。しかし、光の干渉を用いて被検眼の深さ方向の情報を得、この情報に基づいて断層画像を得る方式として、これらは同じもしくは対応する撮影方式となる。即ち、本発明における撮影方式とは、被検体の画像を取得するために用いる原理が基本的に同じであり、取得あるいは生成される画像が類似するような方式であれば何でも良い。
【００８２】
なお、本実施例では、第一の医用撮影装置は低光量モードでの撮影を行えるが、第二の医用撮影装置では高光量モードでの撮影を行う機能が無い場合を、例えば想定している。この場合、第一の医用撮影装置及び第二の医用撮影装置は共に眼科撮影装置であり、被検体は被検眼であり、第一の画像及び入力画像は低光量により撮影された被検眼の画像であり、出力画像は高光量により撮影された被検眼の画像となる。この場合、入力画像と出力画像とは、画像生成する際に撮像素子１１で受光する光（電磁波）のエネルギーの態様において相違し、本実施例ではエネルギーレベルにおいて相違している。
【００８３】
また、第一の医用撮影装置が撮影する画像と第二の医用撮影装置が撮影する画像とは、被検体を照明する光の波長帯域が異なっていてもよい。本実施例の如く被検体が眼底の場合、例えば第一の画像及び入力データは被検眼に近赤外光を放射することで得られた画像であり、教師データは被検眼に可視光を放射することで得られた画像となる。このような処理部を設けることにより、従来からの検査データが赤外光による眼底画像のみの場合であっても、これら画像から可視光で撮影した場合に得られる可能性の高い眼底画像が得られる。従って、可視光にて得た眼底画像を用いた場合に近い経過観察を行うことができる。
【００８４】
また、本実施例では、入力データとして低光量モードで撮影した画像を用い、教師データとして高光量モードで撮影した画像を用いている。しかし、備える学習済モデルはこのような学習データに基づくものだけでなくともよい。例えば、第二の医用撮影装置により取得した眼底画像を第二の入力データ（第二の入力画像）とし、第一の医用撮影装置により取得した眼底画像を第二の教師データ（第二の出力画像）としたペアとする。そして、このペアを学習データとして用いて得た第二の学習済モデルを備えてもよい。この場合、第二の学習済モデルを備えた第二の処理部によれば、高光量モードで撮影した眼底画像を変換して、低光量モードで撮影した場合に得られる可能性の高い第三の画像を出力することができる。
【００８５】
また、本実施例では、画像取得部３０１は、眼底カメラ撮像部１００が撮影した眼底画像を取得することとしている。しかしながら、画像取得部３０１が眼底画像を取得する構成はこれに限られない。例えば、画像取得部３０１は、システム制御部３００とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや他の撮影装置からこれらの信号を取得してもよい。この場合、撮影に関する処理を省略し、撮影済みの眼底画像を取得することができる。
【００８６】
（実施例２）
実施例１では、以前の眼底カメラの低光量モードで撮影したカラー眼底画像と、新たな眼底カメラの高光量モードで撮影したカラー眼底画像とのペアを学習データとして用いている。そして該学習データより得た学習済モデルを用いることにより、低光量モードで取得した眼底画像を、高光量モードで取得した眼底画像の画質に近い、高画質の眼底画像を生成する方法について述べた。
【００８７】
ここで、用いる眼底カメラの置き換えは、新機能を搭載するようなバージョンアップによる場合だけでなく、他の場合も想定される。例えば、これまで用いていた眼底カメラを他のメーカーの眼底カメラに置き換える場合、あるいは同一メーカーの眼底カメラであっても、バージョンアップされた機種ではなく異なる機種の眼底カメラに置き換える場合がこれに相当する。本実施例では、従来用いた眼底カメラとは別の、即ち機種の異なる眼底カメラで撮影された眼底画像間であっても、近い画質の眼底画像を得て経過観察等を行うことを可能とする。この場合、従来の眼底カメラで得た眼底画像を入力データ、新たな眼底カメラで得た眼底画像を教師データとするペアからなる学習データを用い、上述したＣＮＮ等により学習済モデルを得る。この学習データの例を図４の（２）〜（４）に例示する。そして、この学習済モデルに対して従来カメラで得た眼底画像を入力することにより、この眼底画像を新たな眼底カメラで得た眼底画像の画質に近い、比較の容易な高画質な眼底画像を得る。
【００８８】
眼底カメラ間での画質の差が発生する具体的な原因には、撮影光源の違い、撮像素子の違い、光学系の違い、コントラストやブライトネス、カラーバランス等に代表される画像調整パラメータの違い、等があげられる。例えば撮影光源の違いとしては、ＬＥＤ光源を用いた眼底カメラと、Ｘｅ管を用いた眼底カメラ等があげられる。撮像素子の違いとしては、単板のＣＣＤカメラと、３ＣＣＤ等の違いがあげられる。一般にＣＣＤの１画素当たりの面積は、画像のノイズや、空間解像度に影響を与える。また光学系に関しては例えば対物レンズの形状・特性等が異なる眼底カメラによっても、画質の差が発生する。また、同一機種であっても、画質の差は多少なりとも存在する。さらに第一と第二の眼底カメラを製造した製造業者が異なる場合には、こうした設計思想が全くことなるため、画質が大きく違うことがある。
【００８９】
本実施例の眼底撮影装置の構成は実施例１と同様であるため、ここでの説明は割愛する。本実施例と上述し実施例１の差異は学習済モデルの差異であり、ＣＮＮに入力する入力データとＣＮＮから出力される教師データとのペアからなる学習データが異なる。次にその差異について述べる。
【００９０】
図１６は、異なる眼底カメラ（異なる機種）を用いて取得した眼底画像の相違について説明するための図である。図１６（ａ）は、ある被検者の被検眼を第一の眼底カメラで撮影することで得たカラーの眼底画像１６０１（カラー眼底画像）を示す。図１６（ｂ）は同一の被検眼を、第一の眼底カメラとは異なる第二の眼底カメラで撮影することで得たカラーの眼底画像１６０２（カラー眼底画像）を示す。また、図１６（ｃ）は、図１６（ａ）の眼底画像を取得するために用いた眼底カメラにおいて、撮影条件を変えて同一被検眼の眼底を撮影することで得た眼底画像１６０３を示す。
【００９１】
この例では、第二の眼底カメラで得た眼底画像と比較して、第一の眼底カメラで得た眼底画像は、撮影光学系の光学特性の違いにより、カラー眼底画像の周辺部が暗く撮影されている。即ち、図１６（ａ）に示される眼底画像１６０１は、図１６（ｂ）に示される眼底画像１６０２に比べ、周辺部分の輝度が暗くなっている。また、図１６(ｃ)に示すように、第一の眼底カメラのカラー眼底画像は、周辺部分のＳ／Ｎが第二の眼底カメラの画像よりも劣っている。このため、単純に画像にゲインやオフセットをかけて、周辺部分の輝度を持ち上げても、Ｓ／Ｎが低下してしまう。
【００９２】
本実施例では、用いた眼底カメラの相違による、例えばこうした周辺部分の輝度低下と、Ｓ／Ｎの問題を改善する。具体的には、複数の被検者に対して、第一の眼底カメラと、第二の眼底カメラとによりそれぞれ眼底の撮影を行い、それぞれの画像の間で実施例１の方法と同様に位置合わせを行う。位置合せ後、一方の眼底カメラで得た画像を入力データとし、他方の眼底カメラで得た画像を教師データとするペアからなる学習データを用いてトレーニングを行い、学習済モデルを得ている。
【００９３】
このような学習済モデルを備えた画像処理部３０３を用いて、第一の眼底カメラで取得した眼底画像に対して画像処理を行う。即ち、第一の眼底カメラで撮影した眼底画像１６０１を学習済モデルに入力することにより、第二の眼底カメラで撮影した眼底画像１６０２に近い、周辺部分の明るい眼底画像が得られる。また、ノイズに関しても、第二の眼底カメラにて取得するカラー眼底画像に相当する眼底画像を得ることから、周辺部のＳ／Ｎについても維持できる。
【００９４】
このように、第一の眼底カメラで取得した画像を、第二の眼底カメラで取得した画像に合わせることができることから、例えばユーザーが眼底カメラを買い替えた際に、過去の画像を現在の画像との比較が容易となる。また複数の異なる眼底カメラを有している場合には、これら眼底カメラ各々で得た画像間で上述した画像処理を行うことで、相互の画像の比較もしやすくなる。
【００９５】
なお、本実施例では、入力データを第一の眼底カメラの画像、教師データを第二の眼底カメラの画像としたが、本発明の実施の態様はこれに限らない。例えば、入力データを第二の眼底カメラの画像、教師データを第一の眼底カメラの画像とすれば、第二の眼底カメラで撮影した画像を第一の眼底カメラで撮影した画像に近い画質の画像とする画像処理を行うことができる。
【００９６】
（実施例２の変形例１）
上述した実施例２では、複数の眼底カメラで撮影された眼底画像からなるペアを学習データとしている。そして、第一の眼底カメラで撮影した眼底画像１６０１を、第二の眼底カメラで撮影した眼底画像１６０２と近い画質の画像となるように画像処理を行っている。
【００９７】
本変形例では第一の眼底カメラの画像を、第二の眼底カメラの画像と近い画像に画像処理することは変わらない。しかし、第一の眼底カメラで得られた周辺部の輝度が低い眼底画像に対し、輝度の低下分をゲインで補正した画像を生成し、この画像を入力データとしている。そして、この入力データと、第二の眼底カメラで取得した眼底画像からなる教師データとをペアとして、トレーニングすることにより、第二の眼底カメラに近い画像を得る学習済モデルを得ている。
【００９８】
図１７のブロック図を参照して、本実施例に係る画像処理装置のシステム制御部１７００について述べる。なお、実施例１で述べたシステム制御部３００と同様の機能を有する構成については同じ参照符号を用いることとし、ここでの説明を割愛する。本変形例では、画像処理部１７０３において、第１の実施例におけるシステム制御部と異なる。図１７に示すように、本実施例では、画像処理部１７０３の中に、第二の処理部１７１０が追加されている。
【００９９】
第一の眼底カメラで撮影された眼底画像は、画像取得部３０１で画像が取得された後、記憶部３０２を介して、画像処理部１７０３へ転送される。画像処理部１７０３では、眼底画像が供給されると、第二の処理部１７１０において第一の眼底カメラの光学系の特性から理論的に決まる周辺の輝度の低下量に基づき、それを補正するためのゲインが眼底画像に乗算される。図１８は、画像の周辺部の輝度の低下と、その補正のためのゲインの例を示す。例えば図１８（ａ）に示すように、眼底画像は光軸中心からの距離に応じて、周辺に行くほど輝度が低下する特性がある。従って、それを補正するためのゲインは図１８（ｂ）のような特性を有する。
【０１００】
周辺部の輝度の低下が補正された眼底画像が第二の処理部１７１０により供給されると、それに引き続いて処理部３０６において、学習済モデルに基づいて画像処理が行われる。本実施例の処理部３０６が備える学習済モデルは、上述した実施例１の学習済モデルと構成上は同じである。しかし、学習データとして用いる画像ペアは、第一の眼底カメラで取得された眼底画像に対して周辺輝度の低下分を補正した眼底画像と、第二の眼底カメラで取得された眼底画像からなる。
【０１０１】
本変形例によれば、第二の処理部１７１０が必要となる。しかし、処理部３０６で用いる学習モデルを得る際に用いる入力データの眼底画像と、教師データの眼底画像との相違は実施例２の場合と比較して小さくなる。従って、学習データを用いて学習済モデルを得るトレーニングに要する時間の短縮を見込むことができる。
【０１０２】
なお本変形例で、第二の処理部１７１０は第一の眼底カメラの光学特性から理論的に決まる輝度低下量に基づいて、その補正を行っているが、これに限らない。例えば、シャーカステンを撮影し、その輝度の低下量から、補正量を見積もってもよいし、何枚かの画像から、統計的に輝度低下量を見積もってもよい。さらには第一の眼底カメラの画像に対して、空間フィルタをかけて、全体的な輝度の変化プロファイルを動的に見積もり、それに基づいて補正を行ってもよい。
【０１０３】
（実施例２の変形例２）
実施例２の変形例１では、第二の処理部１７１０で、眼底画像の周辺部に向けた輝度低下量の補正を行っている。しかし、第一の眼底カメラで得た眼底画像に対する画像処理は変形例１で例示した輝度補正これに限らない。例えば他の画像処理の例としては、オフセットやブライトネス等、画像の明るさを調整（一定の明るさになるように自動調整する態様を含む）する様式も含まれる。或いは、階調性を変換するためのテーブル、色彩を変換するためのホワイトバランス機能、色域を変換、補正するためのカラーマトリクス、ノイズフィルタや、先鋭化のためのフィルタ等を第二の処理部１７１０に設けてもよい。
【０１０４】
上述したように、本実施例では、第一の医用撮影装置と、第二の医用撮影装置との機種が異なる場合を想定している。機種の相違には、例えばバージョンアップの前後の場合や製造メーカーが異なる場合等が含まれる。また、変形例１で述べたように、光のエネルギー分布（光量分布）が異なる画像の場合、この光量分布の影響を補正する補正処理部（第二の処理部１７１０）を配するとよい。
【０１０５】
（実施例３）
実施例１では低光量モードで撮影された画像を、学習済モデルを備えた画像処理部に通すことで、高光量モードで撮影された画像に近い画像を提供する方法について述べた。また、実施例２では異なる機種の眼底カメラで撮影された画像を、学習済モデルを備えた画像処理部に通すことで、一方の眼底カメラで得た画像を他方の眼底カメラで得た画像に近い画像として提供する方法について述べた。これに対し、本実施例３では、入力データとしてカラー眼底画像を、教師データとして光学フィルタ画像（ＲｅｄＦｒｅｅフィルタ、Ｃｏｂａｌｔフィルタ等）をペアとしてトレーニングして得た学習済モデルを用いる。即ち、本実施例では入力データとなる画像生成に用いる光の波長帯域に対し、教師データとなる画像を生成する光の波長帯域はその広さにおいて異なる。そして、教師データ側の光の波長帯域は入力データ側の波長帯域に含まれることとなる。
【０１０６】
図４の（５）に示されるＲｅｄＦｒｅｅフィルタやＣｏｂａｌｔフィルタを介したフィルタ画像では、神経線維層が見やすくなることが知られている。このようなフィルタ画像を得る撮影は、通常のカラー撮影に対して、撮像時に撮像素子に眼底反射光が入る前に光学的なフィルタが入る点が異なる。ここで、従来コスト的な理由等から光学フィルタが搭載されていない眼底カメラを用いていたが、新たに光学フィルタが搭載された眼底カメラを用いることができるようになった場合を想定する。この場合、眼科医は、現状の被検眼についてフィルタ画像を読影する際に、以前の眼底カメラで得たカラー眼底画像からフィルタ画像に近い画質の眼底画像が得られれば、フィルタ画像における経過観察も可能となる。
【０１０７】
このような要請に対し、例えば特許文献２では、ソフトウエア処理により、光学フィルタライクな画像処理を行うことが述べられている。ただし、ソフトウエア処理によるフィルタはあくまでカラー眼底画像の各画素のＲ／Ｇ／Ｂに対して乗数をかけて加算する程度の処理であるため、光学フィルタの画像とは実際にはかなり差がある。このため、上述したような経過観察に用いるにはあまり適しているといえない。
【０１０８】
本実施例の画像処理部では、図７で構成７００として説明した学習済モデルを得るために、入力データをカラー眼底画像とし、教師データを光学フィルタ画像としたペアを学習データとしてトレーニングを行う。このような学習データから得た学習済モデルを用いることにより、カラー眼底画像から、光学フィルタ画像に近い画質の画像を得ることができる。このような画像処理を実行することで、撮影条件が異なる場合（カラー画像、光学フィルタ画像）であっても、比較のしやすい画像（光学フィルタ画像に近い画像）を提供することができる。従って、眼科医は、必要に応じて読影のしやすい画像間での画像比較を行うことができる。
【０１０９】
（実施例４）
実施例１〜３では、予め学習データを用いて得た学習済モデルを備えた画像処理装置について述べている。そして、任意の眼底カメラ等の眼底撮影装置で得た眼底画像をこの画像処理装置に入力し、該眼底画像を、これと比較するための他の眼底撮影装置で得た眼底画像に近い画像の変換する処理について述べている。これに対し、実施例４では、この学習済モデルを計算する学習エンジンの態様と、これを含めた学習済モデルが得られるシステムに関してのいくつかの例を示す。
【０１１０】
図１９は、学習エンジンを含む診断向けシステムの第一の例を示す。図１９に示すシステム１９００は、学習用データベース１９０１（以下学習用ＤＢと称する。）、学習用エンジン１９０２、及び眼底撮影装置１９０３，１９０４を備える。学習用ＤＢ１９０１は実施例１〜３で述べた入力データ（入力画像）と教師画像（教師データ）とのペアからなる学習データが複数記憶されている。学習用エンジン１９０２は、これら学習データを用いてトレーニングを行い、各々の眼底撮影装置に提供される学習済モデルを生成する。眼底撮影装置１９０３，１９０４は、各々、例えば実施例１で述べた眼底カメラ撮像部１００及びシステム制御部３００から構成される。
【０１１１】
本例では、ファームウエアやソフトウエアなどのプログラムと一緒に、学習エンジンにて生成された学習済モデルが、眼底撮影装置１９０３，１９０４の製造時にその中のシステム制御部内に設けられたニューラルネットワークに書き込まれる。眼底撮影装置１９０３，１９０４はその後ユーザーの環境に設置され、これまでの実施例で述べてきた学習済モデルを用いた画像処理を実行可能とする。
【０１１２】
また当該システムの別の例として、例えばサービスマンがユーザー施設を訪問し、ソフトウエアのバージョンアップをする際に、ニューラルネットワークの情報を最新の学習済モデルに更新できるようにしてもよい。このようにすれば、最新の学習結果に基づいた学習済モデルに更新することができるため、経過観察等においてより好ましい画像が得られる可能性がある。
【０１１３】
（実施例４の変形例１）
図２０は、学習エンジンを含む診断向けシステムの第二の例を示す。図２０に示すシステム制御部２０００では、実施例１で述べた眼底撮影装置内に、学習用ＤＢ１９０１及び学習用エンジン１９０２が搭載されている。本変形例に係る眼底撮影装置では、すでに撮影を行った画像が外部記憶部３０７に記憶されている。この画像の一部が記憶部３０２を介して学習用ＤＢ１９０１に転送され、学習用エンジン１９０２にて必要に応じて用いられて学習済モデル生成のためのトレーニングが行われる。生成された学習済モデルは、画像処理部３０３内のニューラルネットワークに転送され、これまで述べてきたような画像処理に用いられる。
【０１１４】
なお、上述したトレーニングは、眼底撮影装置を使用中に実施すると、装置の負荷が大きくなるため、機器を使用していない時や、夜間に実施されるようにしてもよい。また計算負荷を下げるためにシステム制御部２０００にＧＰＵを搭載してもよい。
【０１１５】
記憶部３０２を介して学習用ＤＢ１９０１に転送される画像は、図５で説明したような位置合わせが実行されることが望ましい。また、例えば瞬き等により光量が多く低下している等、画質が学習に不向きの眼底画像は使用しない仕組みがあるとさらに好ましい。なお、学習に不向きの画像の例としては、例えばフレアや瞼が写りこんでいる画像や、明るさや色味が極端に異なる画像、位置が大きくずれている画像、入力画像と教師画像が著しく異なる画像等である。このように学習に不向きな画像であるか否かの判定は、画像全体で行ってもよいし、図６で説明した学習データを設定する際のＲＯＩごとに実施してもよい。
【０１１６】
また、トレーニング時において学習用ＤＢ１９０１から読み出して使用する画像として全ての画像を対象とするのではなく、例えばユーザーやサービスマンにより選択できてもよい。この場合、ユーザーは表示部１０７に外部記憶部３０７に記憶されている画像を表示しながら、入力部３０９を介して、トレーニングに用いる画像を選択できるとさらによい。更に、トレーニングを行う際には、新たに選択された画像のみを使って、初めからトレーニングを行ってもよいし、以前トレーニングに使用した画像に加えて、選択された画像を追加してトレーニングに使用してもよい。また、トレーニングの結果として、該トレーニングの収束度や、該トレーニングに用いていないサンプル画像に対して、得られた学習済モデルに基づく処理を施して、その効果を確認できるようにしてもよい。更に、画像処理効果が低い場合には、もとの学習済モデルに戻すことができるとさらに好ましい。
【０１１７】
（実施例４の変形例２）
図２１は、学習エンジンを含む診断向けシステムの第三の例を示す。図２１に示すシステム制御部２１００は、眼底撮影装置に記憶されている眼底画像データが、機械学習を行う学習データとして、インターネットを介して、クラウド上にある学習用ＤＢ１９０１にアップロードされる例である。
【０１１８】
図２１に例示されるシステム制御部２１００は、システム制御部に関して上述した構成に加え、画像アップロード手段２１０１及び学習済モデルダウンロード部２１０４を備える。また、インターネットを介して該システム制御部２１００を接続されるクラウド上には、学習用ＤＢ１９０１及び学習用エンジン１９０２に加え、学習データ入力部２１０２及び学習済モデル出力部２１０３が配される。
【０１１９】
次に、これら構成からなるシステム制御部２１００とクラウドとを用いて、学習済モデルをどのように生成して用いるかについて説明する。まず、システム制御部２１００のユーザーは、表示部１０７に表示された画像の中から、機械学習を行う画像を選択する。選択された画像とその撮影条件は、記憶部３０２を介して画像アップロード手段２１０１へと転送される。選択する画像は、入力データである入力画像と教師データである教師画像とのペアからなる学習データを構成する。
【０１２０】
画像アップロード手段２１０１では、例えば入力部３０９を介したユーザーからの指示により、画像及び撮影情報を含む学習データを、インターネットを介してクラウド上にある学習データ入力部２１０２へと転送する。学習データ入力部２１０２では、転送された画像や撮影条件を確認し、機械学習に不向きなデータをフィルタし、学習用ＤＢ１９０１へと転送する。不向きな画像とは、上述しているためここでの説明は割愛する。学習用ＤＢ１９０１に学習データが蓄積されると、学習用エンジン１９０２はその学習データに基づいてトレーニングを行う。
【０１２１】
トレーニングの結果得られた学習済モデルは、学習済モデル出力部２１０３から、インターネットを介して、システム制御部２１００における学習済モデルダウンロード部２１０４へと出力される。なお、学習済モデルのダウンロードは、ユーザーからの指示により実施してもよい。また、学習済モデルのニューラルネットワークへのダウンロードは、学習済モデルのトレーニングの結果だけでなく、その他の情報を含めて行われてもよい。学習済モデルに関するその他の情報としては、トレーニング時の収束の度合いを示す評価値や、学習データに含まれない別のサンプル画像に画像処理を適応した結果が含まれる。
【０１２２】
また、学習済モデルのダウンロードは、該学習済モデルは画像処理部３０３内にあるニューラルネットワークへのロードに限られない。例えば、表示制御部３０５を介して、表示部１０７に学習済モデルやサンプル画像への適用結果を表示できるとよい。また、最終的に、学習済モデルに基づいて、ニューラルネットワークを更新するか否かは、ユーザーが表示手段にサンプル画像への画像処理の適用結果を参照してから選択できてもよい。また、後からもとのニューラルネットワークに戻したくなった場合には、速やかに戻すことができる仕組みをそなえるとさらによい。
【０１２３】
上述したように、本実施例に係る医用診断システムは、例えば学習データを蓄積する学習用データベース（学習用ＤＢ１９０１）と、学習用エンジン１９０２と、学習済モデル出力部２１０３と、をクラウド上に備える。学習用エンジン１９０２は学習データを用いてトレーニングすることで、入力された第一の画像（７０１）を変換して第二の画像（７０２）を出力する学習済モデルを生成する。学習済モデル出力部２１０３は、画像処理装置（システム制御部２１００）に学習済モデルを出力する。これら構成を医用診断システムに配することにより、システム制御部２１００は、常にバージョンアップ済みの学習済モデルをダウンロードし、これを用いることができる。
【０１２４】
また、このクラウド上には、学習データを学習用ＤＢ１９０１に入力する学習データ入力部が更に配されるとよい。これにあわせて、システム制御部２１００に、インターネットを介して学習データを前記学習データ入力部に出力する画像アップロード手段２１０１を更に配するとより好ましい。上述したような診断システムを構成することにより、クラウドと接続可能なシステム制御部を有した医療機関から適宜学習用データが供給されることとなり、学習済モデルの精度を高められる。また、各医療機関においても、常に最新の学習済モデルを用いることができ、ユーザービリティをさらに向上することができる。
【０１２５】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１２６】
以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【０１２７】
１００：眼底カメラ撮影部、  ３００、１７００、２１００：システム制御部、  ３０１：画像取得部、  ３０２：記憶部、  ３０３：画像処理部、  ３０６：処理部      観察用光源
【図１】
2020039490.tif 000003
【図２】
2020039490.tif 000004
【図３】
2020039490.tif 000005
【図４】
2020039490.tif 000006
【図５】
2020039490.tif 000007
【図６】
2020039490.tif 000008
【図７】
2020039490.tif 000009
【図８】
2020039490.tif 000010
【図９】
2020039490.tif 000011
【図１０】
2020039490.tif 000012
【図１１】
2020039490.tif 000013
【図１２】
2020039490.tif 000014
【図１３】
2020039490.tif 000015
【図１４】
2020039490.tif 000016
【図１５】
2020039490.tif 000017
【図１６】
2020039490.tif 000018
【図１７】
2020039490.tif 000019
【図１８】
2020039490.tif 000020
【図１９】
2020039490.tif 000021
【図２０】
2020039490.tif 000022
【図２１】
2020039490.tif 000023