(57)【特許請求の範囲】
【請求項１】
連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理方法であって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成するステップと、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成するステップと、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成するステップと、をコンピュータに実行させる、画像処理方法。
【請求項２】
前記第三画像シリーズを生成するステップでは、画素数を増加させ、不足する画素を補間することにより高精細化処理を実行する、請求項１に記載の画像処理方法。
【請求項３】
前記第二画像シリーズに対応する前記第三画像シリーズのデータに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成することで、前記第二画像シリーズの高精細化処理を学習するステップを更に備え、
前記第三画像シリーズを生成するステップでは、前記関数に基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する、請求項１又は請求項２に記載の画像処理方法。
【請求項４】
前記高精細化処理を学習するステップは、第一のスライス厚さの前記第一画像シリーズに含まれる連続した画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、前記第一のスライス厚さより厚い第二のスライス厚さの前記第一画像シリーズを生成するステップと、
前記第二のスライス厚さの前記第一画像シリーズに基づいて生成される入力画像シリーズ及び、前記第一のスライス厚さの前記第一画像シリーズに基づいて生成される教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える、請求項３に記載の画像処理方法。
【請求項５】
前記高精細化処理を学習するステップは、第一のスライス厚さの前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる教師画像シリーズを生成するステップと、
前記第一のスライス厚さの前記第一画像シリーズに含まれる連続した画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、前記第一のスライス厚さより厚い第二のスライス厚さの前記第一画像シリーズを生成するステップと、
当該前記第二のスライス厚さの前記第一画像シリーズを積層して得られる三次元データを、前記教師画像シリーズと同じ方向に所定の厚さで連続的にスライスして入力画像シリーズを生成するステップと、
前記入力画像シリーズ及び教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える、請求項４に記載の画像処理方法。
【請求項６】
前記結合処理は、所定数の画像の画素値に対し、平均化、中央化及び畳み込みのうち何れかの処理を行うことで、連続した複数の画像から１つの画像を生成する処理であることを特徴とする、請求項４又は請求項５に記載の画像処理方法。
【請求項７】
前記高精細化処理を学習するステップよりも後に、新たに前記第一のスライス厚さの前記第一画像シリーズに基づいて生成される前記入力画像シリーズ及び教師画像シリーズにより、前記関数を更新するステップを更に備える、請求項４〜６の何れかに記載の画像処理方法。
【請求項８】
前記第三画像シリーズを生成するステップでは、前記第二画像シリーズを構成する各々のスライス画像に対して、前記第一画像シリーズのスライス面方向には高精細化処理を行わず、前記第一画像シリーズの厚さ方向に対して高精細化処理を行うことで前記第三画像シリーズを生成する、請求項１〜７の何れかに記載の画像処理方法。
【請求項９】
前記第二画像シリーズは、前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面に対して直角方向に所定の厚さで連続的にスライスして得られる、請求項１〜８の何れかに記載の画像処理方法。
【請求項１０】
前記第四画像シリーズのスライス厚さは前記第三画像シリーズに含まれる各画像の画素間隔と同じであることを特徴とする請求項１〜９の何れかに記載の画像処理方法。
【請求項１１】
前記第一画像シリーズ及び第四画像シリーズは、アキシャル方向のスライス画像シリーズであり、
前記第二画像シリーズ及び第三画像シリーズは、コロナル方向又はサジタル方向のスライス画像シリーズである、請求項１〜１０の何れかに記載の画像処理方法。
【請求項１２】
連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理システムであって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、を備える、画像処理システム。
【請求項１３】
連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理プログラムであって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、としてコンピュータを機能させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像シリーズにおけるスライスの厚さを、モダリティ固有のものから変更するための画像処理方法、画像処理システム及び画像処理プログラムに関する。
【背景技術】
【０００２】
通常、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）等の医用画像のスライス厚さ等の条件は、その画像を撮影するモダリティに固有の性能に依存している。しかし、診断や治療を行う上で、スライスの方向や厚さが異なる画像が得られた方が好ましい場合がある。
【０００３】
これに対し、例えば特許文献１に記載の画像生成装置は、断層撮影装置により得られた連続的な複数の断層像をそのスライス方向に積層して成る３次元画像から、所望の断面像を、補間処理により生成する。このとき、例えば非軟部組織とその近傍には、当該組織に適した解像度保持優先の補間処理を適用し、軟部組織には、当該組織に適したノイズ抑制優先の補間処理を適用することで、撮影部位の組織の種類に依らず、画像診断に適した画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１３８６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術では、オリジナルのスライス面を傾斜させた断面について断面像を得ることについて主に記載されており、スライス厚さを変更した画像を得るための具体的な方法については記載されていない。また、少なくとも画像に含まれる領域が軟部組織であるか非軟部組織であるかを区別する必要があり、手間がかかっていた。
【０００６】
上述の通り、診断や治療の際には、利用可能なモダリティが撮影可能なスライス厚さとは異なる厚さの医用画像が要求されることも多い。一方、医療機関において、所望のスライス厚さに合わせてその都度対応するモダリティを導入することは費用や設置場所等様々な面から難しい。
【０００７】
上記のような状況に鑑みて、本発明は、モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理方法であって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成するステップと、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成するステップと、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成するステップと、をコンピュータに実行させる。
【０００９】
このような構成とすることで、第一画像シリーズに基づいて、第一画像シリーズと水平なスライス面で、第一画像シリーズとは異なる厚さの第四画像シリーズを生成することが出来る。これにより、例えばモダリティが厚いスライス画像しか提供できない場合であっても、より薄いスライス画像を生成することが出来るため、診断や治療に役立てることが出来る。
【００１０】
本発明の好ましい形態では、前記第三画像シリーズを生成するステップでは、画素数を増加させ、不足する画素を補間することにより高精細化処理を実行する。
このような構成とすることで、第一画像シリーズに含まれる画像と画像の間に当たる画素を補間することができ、第三画像シリーズを積層した三次元データをスライスすることで、第一画像シリーズとは厚さが異なる第四画像シリーズを生成することが出来る。
【００１１】
本発明の好ましい形態では、前記第二画像シリーズに対応する前記第三画像シリーズのデータに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成することで、前記第二画像シリーズの高精細化処理を学習するステップを更に備え、
前記第三画像シリーズを生成するステップでは、前記関数に基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する。
このような構成とすることで、実際のデータに基づいて関数を作成するため、高精細化処理の精度向上効果が期待できる。
【００１２】
本発明の好ましい形態では、前記高精細化処理を学習するステップは、第一のスライス厚さの前記第一画像シリーズに含まれる連続した画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、前記第一のスライス厚さより厚い第二のスライス厚さの前記第一画像シリーズを生成するステップと、
前記第二のスライス厚さの前記第一画像シリーズに基づいて生成される入力画像シリーズ及び、前記第一のスライス厚さの前記第一画像シリーズに基づいて生成される教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える。
このような構成とすることで、目的とする厚さのスライス画像を、入力画像に対応する厚さのスライス画像に変換し、それぞれから教師画像シリーズ及び入力画像シリーズを生成して機械学習を行うことで、実際のデータに基づく精度の高い関数を作成できる。
【００１３】
本発明の好ましい形態では、前記高精細化処理を学習するステップは、第一のスライス厚さの前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる教師画像シリーズを生成するステップと、
前記第一のスライス厚さの前記第一画像シリーズに含まれる連続した画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、前記第一のスライス厚さより厚い第二のスライス厚さの前記第一画像シリーズを生成するステップと、
当該前記第二のスライス厚さの前記第一画像シリーズを積層して得られる三次元データを、前記教師画像シリーズと同じ方向に所定の厚さで連続的にスライスして入力画像シリーズを生成するステップと、
前記入力画像シリーズ及び教師画像シリーズに基づいて、前記第二画像シリーズから前記第三画像シリーズを生成する関数を作成するステップと、を更に備える。
このような構成とすることで、例えばスライス厚さが厚い第一画像シリーズから、スライス厚さが薄い第四画像シリーズを生成することを想定すると、実際に薄いスライス画像から生成される教師画像シリーズに基づき、関数を作成することができる。
【００１４】
本発明の好ましい形態では、前記結合処理は、所定数の画像の画素値に対し、平均化、中央化及び畳み込みのうち何れかの処理を行うことで、連続した複数の画像から１つの画像を生成する処理であることを特徴とする。
このように、各画素について複数の画像を考慮して結合処理を行うことで、例えばｎ枚の画像についての結合処理の結果、実際に第一画像シリーズと同一の撮影対象を第一のスライス厚さをｎ倍したスライス厚さで撮影した場合に得られる画像と近い画像を得ることが出来る。これにより、更に高精度に第二画像シリーズから第三画像シリーズを生成できる。
【００１５】
本発明の好ましい形態では、前記高精細化処理を学習するステップよりも後に、新たに前記第一のスライス厚さの前記第一画像シリーズに基づいて生成される前記入力画像シリーズ及び教師画像シリーズにより、前記関数を更新するステップを更に備える。
このような構成とすることで、関数の作成後にも新たなデータを入力して更新を行い、継続的な学習を行って精度を向上させることが可能となる。
【００１６】
本発明の好ましい形態では、前記第三画像シリーズを生成するステップでは、前記第二画像シリーズを構成する各々のスライス画像に対して、前記第一画像シリーズのスライス面方向には高精細化処理を行わず、前記第一画像シリーズの厚さ方向に対して高精細化処理を行うことで前記第三画像シリーズを生成する。
このような構成とすることで、一定方向のみに高精細化処理を行えばよいため、少ない教師データに基づいて、精度よく第三画像シリーズを生成する関数を作成できる。
【００１７】
本発明の好ましい形態では、前記第二画像シリーズは、前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面に対して直角方向に所定の厚さで連続的にスライスして得られる。
【００１８】
本発明の好ましい形態では、前記第四画像シリーズのスライス厚さは前記第三画像シリーズに含まれる各画像の画素間隔と同じであることを特徴とする。
【００１９】
本発明の好ましい形態では、前記第一画像シリーズ及び第四画像シリーズは、アキシャル方向のスライス画像シリーズであり、
前記第二画像シリーズ及び第三画像シリーズは、コロナル方向又はサジタル方向のスライス画像シリーズである。
【００２０】
本発明は、連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理システムであって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、を備える。
【００２１】
本発明は、連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理プログラムであって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成する手段と、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成する手段と、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成する手段と、としてコンピュータを機能させる。
【発明の効果】
【００２２】
本発明によれば、モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】アキシャル画像、コロナル画像及びサジタル画像のそれぞれについて説明する図である。
【図２】本発明の実施形態における画像処理方法の概要を説明する図である。
【図３】本発明の実施形態における画像処理システムの機能ブロック図である。
【図４】本発明の実施形態における画像処理システムの処理手順を示すフローチャートである。
【図５】本発明の実施形態における画像処理システムの学習手段における学習処理手順を示すフローチャートである。
【図６】本発明の実施形態において利用可能なニューラルネットワークの構造の一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を用いて、本発明の画像処理システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。
【００２５】
例えば、本実施形態では画像処理システムの構成、動作等について説明するが、同様の構成の方法、サーバ装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ−ＲＯＭ等の非一過性の記録媒体であっても良い。
【００２６】
本発明は、例えばＣＴ画像等のスライス画像シリーズについて、モダリティが提供する画像シリーズとは異なる厚さの画像シリーズを得るためのものである。図１は、本発明の実施形態を説明する為に、本明細書において用いる言葉を説明する図である。
【００２７】
図１に示すように、医療に用いられる生体のスライス画像は、そのスライス方向によって「アキシャル画像」、「コロナル画像」、「サジタル画像」、等と呼称される。アキシャル画像は体軸に対して垂直な方向にスライスした画像であり、コロナル画像及びサジタル画像は体軸に沿った面でスライスした画像である。コロナル画像は体を前後に分けるような面でスライスしたものであり、サジタル画像のスライス面はコロナル画像のスライス面に直交する。本実施形態では、Ｘ軸及びＹ軸に沿ってアキシャル画像の画素が並んでいる場合を想定して説明する。
【００２８】
以下、第一画像シリーズを構成する画像を第一画像、第二画像シリーズを構成する画像を第二画像、等のように呼ぶ。ここで、画像シリーズとは、撮影対象Ｐのスライス画像のシリーズであり、連続した複数のスライス画像によって撮影対象Ｐの全範囲のデータを構成する。本実施形態では、第一画像及び第四画像はアキシャル画像であり、第二画像及び第三画像は、コロナル画像又はサジタル画像である。ただし、第一〜第四画像の方向はこれに限定されず、例えば第二画像が第一画像と斜めに交わるような方向のスライス画像であってもよい。
【００２９】
図２は、本実施形態において、スライス厚さの厚い第一画像シリーズから、スライス厚さの薄い第四画像シリーズを生成する手順の概要を示す図である。なお、第一画像シリーズ及び第四画像シリーズのスライス厚さの大小関係等はこれに限定されない。ここに示すように、本実施形態ではまず、あるスライス厚さの第一画像シリーズ（アキシャル画像シリーズ）を取得し、それを積層して三次元データを生成する（ａ）。ここで生成される三次元データは、Ｚ方向には第一画像シリーズのスライス厚さに応じた解像度となっており、本例においてはＺ方向に粗い三次元データとなる。
【００３０】
そして三次元データをコロナル方向やサジタル方向等、第一画像シリーズとは異なる方向にスライスして（ｂ）、Ｚ方向には粗い第二画像を得る（ｃ）。三次元データの全範囲に対してスライスした画像シリーズが第二画像シリーズである。次に第二画像シリーズに含まれる全ての第二画像に対して高精細化処理を行って、第三画像シリーズを生成する（ｄ）。高精細化処理により、Ｚ方向の画素が補われる。
【００３１】
この第三画像シリーズを積層して、高精細化処理によってＺ方向の画素が補われた三次元データを生成し（ｅ）、それを第一画像シリーズと平行な面で異なるスライス厚さでスライスすることにより、目的とする第四画像シリーズが生成される（ｆ）。
【００３２】
以下、第四画像シリーズを生成する為の画像処理システムの機能構成及び処理の詳細を説明する。図３は、本実施形態の画像処理システムの機能ブロック図である。ここに示すように、本実施形態の画像処理システムは、画像処理装置１と学習手段２とを備える。なお、画像処理装置１が学習手段２を備える構成としてもよい。
【００３３】
画像処理装置１としては、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ディスプレイ等の表示手段や、学習手段２への接続手段を含む種々の入出力装置等を備えた、ＰＣ等の一般的なコンピュータ装置を利用することができる。
【００３４】
画像処理装置１は、第一画像シリーズ取得手段１１と、第二画像シリーズ生成手段１２と、第三画像シリーズ生成手段１３と、第四画像シリーズ生成手段１４と、第三画像生成関数を記憶する記憶手段１５と、を備えている。
【００３５】
また学習手段２は、学習用画像取得手段２１と、画像結合手段２２と、教師画像シリーズ生成手段２３と、入力画像シリーズ生成手段２４と、第三画像生成関数管理手段２５と、を備え、第三画像生成関数を画像処理装置１が利用できるように提供する。本実施形態では、画像処理装置１の使用を開始する前に十分な量の教師データに基づいて第三画像生成関数を作成し、作成された関数によって高精細化処理が行われる。なお、本実施形態では更に、画像処理装置１を使用する中で教師データの作成に利用可能な第一画像シリーズが得られた場合に、第三画像生成関数を更新して追加で学習を行うことにより、高精細化処理の精度向上が可能である。
【００３６】
第一画像シリーズ取得手段１１は、モダリティが撮影し、任意の場所に記憶された第一画像シリーズを取得する。第一画像シリーズはモダリティ固有の性能に依存したスライス厚さで撮影される。
【００３７】
第二画像シリーズ生成手段１２は、第一画像シリーズを積層して得られる三次元データを、第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして第二画像シリーズを生成する。本実施形態では、第一画像シリーズにおけるスライス面に対して直角方向に三次元データをスライスすることで、第二画像シリーズを生成する。
【００３８】
第三画像シリーズ生成手段１３は、第二画像シリーズを構成する各々のスライス画像（第二画像）に対して高精細化処理を行うことで、第三画像シリーズを生成する。本実施形態では、第一画像シリーズの厚さ方向（スライス面と垂直な方向）に第二画像の画素数を増加させ、不足する画素を補間する。本実施形態では、この際に、第二画像に対応する第三画像の教師データを与えることで学習した関数によって、第二画像から第三画像を生成する。
【００３９】
第四画像シリーズ生成手段１４は、第三画像シリーズを積層して得られる三次元データを、第一画像シリーズと平行な方向に第一画像シリーズとは異なる厚さでスライスすることで第四画像シリーズを生成する。本実施形態では、上記のように第一画像シリーズの厚さ方向の画素が補われた三次元データを生成してスライスすることで、第一画像シリーズと異なる厚さのスライス画像を生成することが出来る。
【００４０】
学習手段２は、第二画像に対応する第三画像のデータに基づいて、第二画像から第三画像を生成する関数を作成することで、第二画像の高精細化処理を学習する。第三画像生成関数の作成は、画像処理装置１の使用開始前に行われるが、画像処理装置１の使用開始後にも、教師データの作成に利用可能な第一画像シリーズが得られた場合には第三画像生成関数の更新を行うことで継続的な学習が可能である。
【００４１】
具体的には、学習用画像取得手段２１が、第一のスライス厚さの第一画像シリーズを取得する。そして、画像結合手段２２が、連続した第一画像を所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、第一のスライス厚さより厚い第二のスライス厚さの第一画像シリーズを生成する。
【００４２】
教師画像シリーズ生成手段２３は、第一のスライス厚さの第一画像シリーズを積層して得られる三次元データを、第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして、教師画像シリーズを生成する。
【００４３】
入力画像シリーズ生成手段２４は、画像結合手段２２が生成した第二のスライス厚さの第一画像シリーズを積層して得られる三次元データを、教師画像シリーズと同じ方向に所定の厚さで連続的にスライスして、入力画像シリーズを生成する。
【００４４】
第三画像生成関数管理手段２５は、入力画像シリーズ及び教師画像シリーズに基づいて、第二画像シリーズから第三画像シリーズを生成する関数を作成する。本実施形態では、上記の入力画像シリーズ及び教師画像シリーズに基づいて、第二画像から第三画像を生成する関数を作成して記憶手段１５に格納する。そして、第二画像シリーズを構成する第二画像の各々について第三画像を生成することで、第二画像シリーズから第三画像シリーズを生成する。
【００４５】
また、上述の通り、学習手段２は、画像処理装置１の利用開始後にも、第二画像を入力画像シリーズとし、第三画像を教師画像シリーズとして学習を行い、第二画像から第三画像を生成する関数を学習させて、リアルタイムで関数を更新することもできる。
【００４６】
例えば本実施形態では、画像処理装置１を使用する段階で第一画像シリーズ取得手段１１が第一のスライス厚さの第一画像シリーズを取得した場合、第二〜第四画像の生成を行わずに、学習用画像取得手段２１が当該第一画像シリーズを取得して、教師画像シリーズ生成手段２３が教師画像シリーズを生成する。また、画像結合手段２２が結合処理を行って第二のスライス厚さの第一画像シリーズを生成し、入力画像シリーズ生成手段２４が入力画像シリーズを生成する。そして、これらの教師画像シリーズ及び入力画像シリーズに基づいて、第二画像から第三画像を生成する関数（第三画像生成関数）を更新することで、継続的な学習が可能となる。
【００４７】
図４は、本実施形態における第四画像シリーズ生成までの処理手順を示すフローチャートである。まずステップＳ１１において、第一画像シリーズ取得手段１１が、任意の場所に記憶された第一画像シリーズを取得する。第一画像シリーズとしては、例えば、ＣＴで撮影されたアキシャル方向のスライス画像が想定される。
【００４８】
次にステップＳ１２において、第二画像シリーズ生成手段１２が、第一画像シリーズを積層して三次元データを生成する。ステップＳ１２で生成されるのが、図２の（ａ）のＺ方向に粗い三次元データに当たる。
【００４９】
そしてステップＳ１３に進み、ステップＳ１２で生成した三次元データを第二画像シリーズ生成手段１２が連続的にスライスして、第二画像シリーズを生成する。ここで、本実施形態では、Ｘ方向またはＹ方向の解像度（第一画像シリーズの解像度）に基づくスライス厚さで、サジタル方向又はコロナル方向にスライスする。つまり、第一画像シリーズにおけるＸ方向またはＹ方向の画素ごとに第二画像を生成する。このようにすることで、Ｘ方向及びＹ方向に解像度を落とさずに、第二画像シリーズを生成することができる。
【００５０】
ステップＳ１４では、第二画像シリーズを構成する第二画像の各々について高精細化処理を行うことで、第三画像シリーズを生成する。本発明における高精細化処理とは、画素数を増加させて不足する画素を補間することと、高画質化することを指す。ここで、本実施形態では、後述の手順で学習させた関数に基づいて高精細化処理を行い、第二画像の各々から第三画像を生成する。このように各第二画像について高精細化処理を行うことで、第三画像シリーズを生成することができる。なお、本実施形態では、第一画像シリーズのスライス面方向には画素の補間（高精細化処理）は行わず、解像度が第一画像シリーズのスライス厚さに依存するＺ方向（第一画像シリーズの厚さ方向）のみについて画素の補間処理（高精細化処理）を行う。
【００５１】
次にステップＳ１５で、第四画像シリーズ生成手段１４が、第三画像シリーズを積層して三次元データを生成する。第三画像シリーズは高精細化されており、Ｚ方向（第一画像シリーズの厚さ方向）の画素が補われている。ステップＳ１５では、この第三画像シリーズを積層することで、Ｚ方向の画素が補われた三次元データが生成される。この時に生成されるのが、図２の（ｅ）のＺ方向の画素を補った三次元データに相当する。
【００５２】
そして、ステップＳ１６において第四画像シリーズ生成手段１４が、ステップＳ１５で生成された三次元データを、第一画像シリーズとは異なる厚さでスライスすることによって、第四画像シリーズが生成される。図２（ｅ）の三次元データでは、第一画像シリーズの厚さ方向（Ｚ方向）の画素が補われているため、第一画像シリーズと異なる厚さでスライスすることで、適切なスライス画像を得ることが出来る。
【００５３】
図５は、本実施形態の学習手段２による第三画像生成関数の作成又は更新に係る処理フローチャートである。本実施形態では、薄いスライス厚さの第一画像シリーズから教師画像シリーズとなる第二画像シリーズを生成する一方、厚いスライス厚さの第一画像シリーズから入力画像シリーズとなる第二画像シリーズを生成し、これらに基づき学習により第三画像生成関数を作成する。この際に、厚いスライス厚さの第一画像シリーズを、薄いスライス厚さの第一画像シリーズから生成することによって、より適切な入力画像シリーズ及び教師画像シリーズを生成できる。
【００５４】
まず、ステップＳ２１において、学習用画像取得手段２１が、第一のスライス厚さの第一画像シリーズを取得する。次に、ステップＳ２２及びステップＳ２４の処理が実行される。なお、ステップＳ２２及びステップＳ２４の実行順序は限定されず、順番に実行されてもよいし、並行して実行されてもよい。
【００５５】
ステップＳ２２では、教師画像シリーズ生成手段２３が、第一のスライス厚さの第一画像シリーズを積層して三次元データを生成する。そして、ステップＳ２３に進み、ステップＳ２２で生成した三次元データを教師画像シリーズ生成手段２３が連続的にスライスして、教師画像シリーズを生成する。ここで、本実施形態では、Ｘ方向またはＹ方向の解像度（第一画像シリーズの解像度）に基づくスライス厚さで、サジタル方向又はコロナル方向にスライスする。つまり、第一画像シリーズにおけるＸ方向またはＹ方向の画素ごとに教師画像を生成する。
【００５６】
一方、ステップＳ２４では、画像結合手段２２が、第一画像シリーズを所定数ずつ結合してそれぞれ１つの画像を生成する結合処理を行って、第一のスライス厚さより厚い第二のスライス厚さの第一画像シリーズを生成する。結合処理としては、結合する複数の画像の対応する画素における画素値に対して、平均化、中央化、畳み込み等の処理を行うことができる。これにより、結合したい複数の画像の特徴を含む１枚の低精細画像を生成できる。スライス厚さは、第一のスライス厚さに結合する画像の枚数を乗じた値となる。
【００５７】
ここで結合する画像の枚数は自然数である必要はなく、例えば１．５枚ずつ結合して１．５倍のスライス厚さの画像シリーズとしてもよい。その場合、画素値に対して各画像の成分に応じた係数を乗じた上で、平均化、中央化、畳み込み等の処理を行うようにすればよい。
【００５８】
次にステップＳ２５において、入力画像シリーズ生成手段２４がステップＳ２４で生成した画像シリーズを積層して、三次元データを生成する。ここで生成される三次元データは、スライス厚さ方向に粗いデータとなる。そして、ステップＳ２６に進み、ステップＳ２５で生成した三次元データを、入力画像シリーズ生成手段２４が連続的にスライスして、入力画像シリーズを生成する。ここで、本実施形態では、Ｘ方向の解像度（ステップＳ２４で生成された画像シリーズの解像度）に基づくスライス厚さで、サジタル方向にスライスする。つまり、第一画像シリーズにおけるＸ方向の画素ごとに教師画像を生成する。
【００５９】
ステップＳ２３及びステップＳ２６が完了すると、ステップＳ２７に進んで第三画像生成関数管理手段２５が第三画像生成関数を作成する。なお、画像処理装置１の利用開始後に関数の更新を行う場合にも同様の手順で教師画像シリーズ及び入力画像シリーズを生成し、学習を行うことが出来る。
【００６０】
ここでは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等のフレームワークを用いて学習及び第三画像シリーズの生成を行うことが出来る。具体的には、補間したい画素の画素値をネットワークの最終的な出力とし、前述の入力画像シリーズ及び出力画像シリーズに基づいて関数（モデル）を作成することで、第二画像に基づく第三画像の生成を学習できる。
【００６１】
より具体的には、例えば本実施形態では図６に示すような畳み込み処理を３回行うニューラルネットワークを用いて高精細化関数を学習させた。この場合の処理を以下に例示する。先ず最初に、５１２画素×５１２画素のＣＴ画像を入力画像とし、これにカーネルサイズ９画素×９画素のコンボリューション処理を行い、その出力値に非線形活性化関数ＲｅＬＵを掛けて特徴マップ６４枚を生成する。次に、この特徴マップ６４枚にカーネルサイズ３画素×３画素×６４枚のコンボリューション処理を行い、その出力値に非線形活性化関数ＲｅＬＵを掛けて特徴マップ３２枚を生成する。最後に、この特徴マップ３２枚にカーネルサイズ５画素×５画素×３２枚のコンボリューション処理を行い非線形活性化関数ＲｅＬＵを掛けて、５１２画素×５１２画素の出力画像を生成する。出力画像サイズが入力画像サイズと同じになるようにコンボリューション処理の対象画像にはパディング処理を施している。このようにして得られた出力画像を教師画像と比較し、各画素値の差からＭＳＥ（二乗誤差）を算出し、それをバックプロパゲーション法により逆伝播させて、ニューラルネットワークを学習させることができる。この学習を繰り返すことにより、出力画像が徐々に教師画像に近づき、最終的には教師画像に良く似た画像を生成するようになる。本実施形態では、このようにして学習させたニューラルネットワークを用いて、第二画像から第三画像を生成させた。
【００６２】
また、上記の他、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）によって第三画像生成関数の作成や、それによる第三画像シリーズの生成を行う形態としてもよい。敵対的生成ネットワークは生成器と識別器で構成される。生成器はある分布を持つノイズを入力として画像を生成し、識別器は入力画像が生成器で生成された画像（偽者画像）か本物の画像（教師画像）かを識別する。生成器は基本的に上記の実施例で示した畳み込みニューラルネットワークを複数用いた構成をしている。生成器は、識別器が偽者画像を本物の画像（教師画像）であると判断した時には、誤差逆伝播法によりこの画像に近づくように学習し、識別器が偽者画像を偽者画像（生成器が生成した画像）であると判断した時には、この画像から遠ざかるように学習する。このような学習を生成器と識別器の両方に対して行うことで、徐々に生成器は教師画像に近い画像を生成するようになる。このような敵対的生成ネットワークを用いて、生成器に第二画像を入力し、第二画像から第三画像を生成させることができる。
【００６３】
なお、本実施形態では、スライス厚さの厚い第一画像シリーズから、スライス厚さの薄い第四画像シリーズを生成することを想定し、スライス厚さの厚い画像シリーズを教師画像シリーズとして、スライス厚さの薄い画像シリーズを入力画像シリーズとしてそれぞれ生成した。一方、例えばスライス厚さの薄い第一画像シリーズから、スライス厚さの厚い第四画像シリーズを生成したい場合には、入力画像シリーズと出力画像シリーズとを逆転させればよい。
【００６４】
また、図５の学習処理においては、図４の第四画像シリーズ生成処理において用いるスライス厚さやスライス方向と同一にした入力画像シリーズ及び教師画像シリーズを生成する必要がある。即ち、本実施形態では、学習処理において三次元データをスライスする際に、Ｘ方向の解像度に基づくスライス厚さで、サジタル方向にスライスする。これは、図５のステップＳ２２やステップＳ２５が、図４の第四画像シリーズ生成処理におけるステップＳ１３に対応し、ステップＳ１３におけるスライス厚さと統一したものである。
【００６５】
本実施形態では、第二画像の高精細化において、第二画像の面内の、第一画像シリーズのスライス面方向（Ｘ方向またはＹ方向）には画素の補間は行わず、第二画像の面内の、第一画像シリーズのスライス厚さに依存するＺ方向（第一画像シリーズの厚さ方向）のみについて画素の補間処理を行ったが、薄いスライス厚さの第一画像シリーズは厚いスライス厚さの第一画像シリーズよりも一般に高画質であるため、薄い画像スライスの第一画像シリーズを用いた第三画像生成関数の学習によって、画素の補間処理とは関係なく第二画像は高画質の第三画像に変換される。
【００６６】
以上のように、本実施形態の画像処理システムによれば、モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供することが可能になる。また、上述の手順で学習用のデータを作成し、関数を作成することにより、実際のデータに基づいてより高精度に第二画像の高精細化処理を行うことができ、第四画像シリーズの生成精度向上が期待できる。
【符号の説明】
【００６７】
Ｐ  撮影対象
１  画像処理装置
１１  第一画像シリーズ取得手段
１２  第二画像シリーズ生成手段
１３  第三画像シリーズ生成手段
１４  第四画像シリーズ生成手段
１５  記憶手段
２  学習手段
２１  学習用画像取得手段
２２  画像結合手段
２３  教師画像シリーズ生成手段
２４  入力画像シリーズ生成手段
２５  第三画像生成関数管理手段
【要約】
【課題】
モダリティが撮影した所定の厚さの画像シリーズに基づき、スライス厚さを変更した画像シリーズを生成する方法を提供すること。
【解決手段】
連続的な複数のスライス画像により構成される第一画像シリーズから、前記第一画像シリーズと平行な面で異なる厚さのスライス画像により構成される第四画像シリーズを得るための画像処理方法であって、
前記第一画像シリーズを積層して得られる三次元データを、前記第一画像シリーズにおけるスライス面とは異なる方向に所定の厚さで連続的にスライスして得られる第二画像シリーズを生成するステップと、
前記第二画像シリーズを構成する各々のスライス画像に対して高精細化処理を行うことで、第三画像シリーズを生成するステップと、
前記第三画像シリーズを積層して得られる三次元データを、前記第一画像シリーズと平行な方向に前記第一画像シリーズとは異なる厚さでスライスすることにより、前記第四画像シリーズを生成するステップと、をコンピュータに実行させる。
【選択図】図２【図１】
0006583875.tif 000002
【図２】
0006583875.tif 000003
【図３】
0006583875.tif 000004
【図４】
0006583875.tif 000005
【図５】
0006583875.tif 000006
【図６】
0006583875.tif 000007