(57)【要約】  制御部３０は、特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部３１と、特定部位の領域を表す投影領域画像を作成する特定部位投影部３２と、ＤＲＲ画像と教師ラベル画像としての投影領域画像とを使用して機械学習を実行することにより特定部位の領域を認識するための識別器を学習する識別器学習部３３と、特定部位を含むＸ線透視画像に対して、識別器学習部３３で学習された識別器を使用して識別を行うことにより特定部位の領域を検出する特定部位領域検出部３４と、特定部位領域検出部３４により検出した特定部位の領域が治療ビームの照射領域に含まれたときに、放射線照射装置９０に対して治療ビームの照射信号を送信する照射信号発生部３５と、を備える。
2019003474.tif 000002
【特許請求の範囲】
【請求項１】
被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する放射線治療用追跡装置であって、
治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、
前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、
前記特定部位を含むＸ線透視画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、
を備えることを特徴とする放射線治療用追跡装置。
【請求項２】
請求項１に記載の放射線治療用追跡装置において、
治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、
前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する放射線治療用追跡装置。
【請求項３】
請求項２に記載の放射線治療用追跡装置において、
前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、
前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、
前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す放射線治療用追跡装置。
【請求項４】
請求項２に記載の放射線治療用追跡装置において、
前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する放射線治療用追跡装置。
【請求項５】
請求項２に記載の放射線治療用追跡装置において、
前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する放射線治療用追跡装置。
【請求項６】
請求項２に記載の放射線治療用追跡装置において、
前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う放射線治療用追跡装置。
【請求項７】
請求項２に記載の放射線治療用追跡装置において、
前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する放射線治療用動体追跡装置。
【請求項８】
請求項２に記載の放射線治療用追跡装置において、
前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、
前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、
前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う放射線治療用追跡装置。
【請求項９】
被検者の特定部位を含むＸ線透視画像に基づいて前記特定部位の位置を検出する位置検出装置であって、
前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、
前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、
前記特定部位を含むＸ線画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、
を備えることを特徴とする位置検出装置。
【請求項１０】
請求項９に記載の位置検出装置において、
治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、
前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する位置検出装置。
【請求項１１】
請求項１０に記載の位置検出装置において、
前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、
前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、
前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す位置検出装置。
【請求項１２】
請求項１０に記載の位置検出装置において、
前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する位置検出装置。
【請求項１３】
請求項１０に記載の位置検出装置において、
前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する位置検出装置。
【請求項１４】
請求項１０に記載の位置検出装置において、
前記識別器学習部は、機械学習を実行するときの損失関数計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う位置検出装置。
【請求項１５】
請求項１０に記載の位置検出装置において、
前記識別器学習部は、機械学習を実行するときの損失関数計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する位置検出装置。
【請求項１６】
請求項１０に記載の位置検出装置において、
前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、
前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、
前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う位置検出装置。
【請求項１７】
被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する動体追跡方法であって、
治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成工程と、
治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影工程と、
前記ＤＲＲ画像作成工程において作成されたＤＲＲ画像と、前記特定部位投影工程において作成された投影領域画像とを使用して機械学習を実行することにより、前記特定部位の位置を認識するための識別器を学習する識別器学習工程と、
前記Ｘ線管から照射され前記被検者を通過したＸ線を前記Ｘ線検出器により検出して得た前記特定部位を含むＸ線透視画像に対して、前記識別器学習工程において学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出工程と、
を含むことを特徴とする動体追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被検者の特定部位を含む画像から特定部位の位置を検出し、あるいは、特定部位の動きを追跡する放射線治療用追跡装置、位置検出装置および動体追跡方法に関する。
【背景技術】
【０００２】
腫瘍などの患部に対してＸ線や陽子線等の放射線を治療ビームとして照射する放射線治療においては、放射線を患部に正確に照射する必要がある。しかしながら、被検者が体を動かしてしまう場合があるばかりではなく、患部自体に動きが生ずる場合がある。例えば、肺の近くの腫瘍は呼吸に基づき大きく移動する。このため、腫瘍の近傍に球形状を有する金製のマーカを留置し、このマーカの位置をＸ線透視装置により検出して、治療ビームの照射のタイミングを制御する構成を有するマーカトラッキング方式の放射線照射装置が提案されている（特許文献１参照）。【０００３】
このような放射線照射装置においては、第１Ｘ線管と第１Ｘ線検出器から成る第１Ｘ線透視機構と、第２Ｘ線管と第２Ｘ線検出器から成る第２Ｘ線透視機構とを使用して体内に留置されたマーカを撮影し、第１Ｘ線透視機構による二次元の透視画像と第２Ｘ線透視機構による二次元の透視画像を利用して三次元の位置情報を得る。そして、連続してＸ線透視を行い、リアルタイムでマーカの三次元の位置情報を演算することで、移動を伴う部位のマーカを高精度で検出する。そして、検出されたマーカの位置情報に基づいて治療ビームの照射タイミングを制御することで、腫瘍の動きに応じた高精度の放射線照射を実行することが可能となる。このマーカの位置情報を得るときには、テンプレートを利用したテンプレートマッチングが実行される。【０００４】
ところで、上述したようにマーカを利用して腫瘍の動きを検出するためには、被検者の体内に、予めマーカを留置する必要がある。一方、近年、患者の腫瘍の領域などの特定部位をマーカのかわりに使用することで、マーカの留置を省略するマーカレストラッキングと呼称される方法も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０５３３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
被検者の特定部位を球状のマーカのかわりに使用するマーカレストラッキングにおいては、被検者の呼吸位相により特定部位の認識される形状が異なることから、特定部位を単一の呼吸位相から撮影した画像を利用してテンプレートを作成しても、これだけでは正確なテンプレートマッチングは実行し得ない。このため、被検者の呼吸位相により特定部位の認識される形状が異なることに対応するため、放射線治療の直前に異なる呼吸位相で撮影された特定部位を含む画像をテンプレート画像として複数記憶するとともに、一定時間毎に撮影される画像に対して、予め記憶された複数のテンプレート画像を利用してテンプレートマッチングを行う必要がある。【０００７】
このように複数のテンプレートを使用するときには、オペレータが放射線治療の直前に被検者をＸ線透視し、Ｘ線画像を見ながら呼吸位相毎の腫瘍の位置を指定してテンプレートを作成する必要がある。このため、複数のテンプレートを作成するために時間がかかり、患者にとって苦痛であるばかりではなく、治療のためのスループットの低下をもたらすという問題が生ずる。【０００８】
上述したマーカトラッキング方式を採用した場合においては、点状のマーカを追跡するのに対して、マーカレストラッキングを採用した場合においては、所定の大きさを持った特定部位そのものを追跡する。しかし、従来の追跡方法では、例えば、特定部位の中心等の、特定部位におけるいずれか一点の位置を算出する構成となっており、特定部位の領域を直接的に考慮したものではなかった。これに対して、治療ビームを照射する領域は、一定の大きさを持った領域として登録されており、特定部位についても、その領域を考慮することが望まれている。【０００９】
一方、特定部位の追跡に、テンプレートマッチングにかえて機械学習等の他の追跡方法を使用することも提案されている。このような場合においては、ＣＮＮ（畳み込みニューラルネットワーク）におけるスライディングウインドウを使用することが考えられる。しかしながら、ＣＮＮのスライディングウインドウは、実装が容易である一方で、非常に冗長な計算を行う必要があることから、計算に時間がかかりリアルタイム処理が困難であるという問題がある。【００１０】
これに対して、腫瘍等の特定部位は、治療中においても、呼吸等に伴って移動しながら形状を変化させることになる。また、放射線治療を行うときには、治療ビームを複数回に分けて照射する分割照射が行われることが多いが、照射を繰り返すと腫瘍が縮小するなどして形状が変化する場合がある。このような場合においては、腫瘍形状の変化に応じてリアルタイムで腫瘍の領域を認識しなければ、高精度の放射線治療が実行し得ない。【００１１】
この発明は上記課題を解決するためになされたものであり、予めＤＲＲ画像と教師ラベル画像を利用して識別器を学習し、この識別器とＸ線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出し、あるいは、追跡することが可能な放射線治療用追跡装置、位置検出装置および動体追跡方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
第１の発明は、被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する放射線治療用追跡装置であって、治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、前記特定部位を含むＸ線透視画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、を備えることを特徴とする。【００１３】
第２の発明は、治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する。【００１４】
第３の発明は、前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す。【００１５】
第４の発明は、前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。【００１６】
第５の発明は、前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する。【００１７】
第６の発明は、前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う。【００１８】
第７の発明は前記識別器学習部は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する。【００１９】
第８の発明は、前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う。【００２０】
第９の発明は、被検者の特定部位を含むＸ線透視画像に基づいて前記特定部位の位置を検出する位置検出装置であって、前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部と、前記ＤＲＲ画像作成部で作成されたＤＲＲ画像と前記特定部位の領域を示す教師ラベル画像とを使用して機械学習を実行することにより、前記特定部位の領域を認識するための識別器を学習する識別器学習部と、前記特定部位を含むＸ線画像に対して、前記識別器学習部で学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出部と、を備えることを特徴とする。【００２１】
第１０の発明は、治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影部をさらに備え、前記識別器学習部は、前記特定部位投影部により作成された前記特定部位の領域を表す投影領域画像を前記教師ラベル画像として識別器を学習する。【００２２】
第１１の発明は、前記ＤＲＲ画像作成部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記ＤＲＲ画像を作成するとともに、前記特定部位投影部は、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を施して前記特定部位の領域を表す投影領域画像を作成し、前記ＤＲＲ画像作成部と前記特定部位投影部とは、前記幾何学的透視条件の投影座標および角度の少なくとも一方を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形及び拡大縮小の少なくとも１つを含む画像処理を同一条件で施す。【００２３】
第１２の発明は、前記ＤＲＲ画像作成部は、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。【００２４】
第１３の発明は、前記識別器学習部は、前記ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習する。【００２５】
第１４の発明は、前記識別器学習部は、機械学習を実行するときの損失関数計算時に、前記教師ラベル画像における特定部位ラベルと背景ラベルとの面積に基づいて特定部位ラベルの重みを大きくして計算を行った後、学習の進捗に応じて特定部位ラベルの重みを順次小さくして計算を行う。【００２６】
第１５の発明は、前記識別器学習部は、機械学習を実行するときの損失関数計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する。【００２７】
第１６の発明は、前記ＤＲＲ画像と前記Ｘ線透視画像とを画像処理する画像処理部をさらに備え、前記識別器学習部は、前記ＤＲＲ画像と前記画像処理部で画像処理されたＤＲＲ画像とを使用して機械学習を実行するとともに、前記特定部位領域検出部は、前記特定部位を含むＸ線透視画像と前記画像処理部で前記ＤＲＲ画像と同一条件により画像処理された前記特定部位を含むＸ線透視画像とに対して前記識別記学習部で学習された識別器を使用して識別を行う。【００２８】
第１７の発明は、被検者の特定部位を含むＸ線透視画像を収集して前記特定部位の位置を検出し、前記特定部位に対して治療ビームを照射するために前記特定部位の動きを追跡する動体追跡方法であって、治療計画時に作成された前記特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線管とＸ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成工程と、治療計画時において前記特定部位を含む領域のＣＴ画像データ上に登録された前記特定部位の領域に対して、前記被検者に対する前記Ｘ線管と前記Ｘ線検出器との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位の領域を表す投影領域画像を作成する特定部位投影工程と、前記ＤＲＲ画像作成工程において作成されたＤＲＲ画像と、前記特定部位投影工程において作成された投影領域画像とを使用して機械学習を実行することにより、前記特定部位の位置を認識するための識別器を学習する識別器学習工程と、前記Ｘ線管から照射され前記被検者を通過したＸ線を前記Ｘ線検出器により検出して得た前記特定部位を含むＸ線透視画像に対して、前記識別器学習工程において学習された識別器を使用して識別を行うことにより、前記特定部位の領域を検出する特定部位領域検出工程と、を含むことを特徴とする。
【発明の効果】
【００２９】
第１および第１７の発明によれば、放射線治療に先だって、予め識別器を学習し、この識別器とＸ線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出し、あるいは、特定部位の追跡することが可能となる。このとき、従来のようにテンプレートを予め作成する必要がないことから、複数のテンプレートを作成する必要がなく患者に苦痛を与えることはない。また、治療のためのスループットを向上させることが可能となる。【００３０】
第２および第１０の発明によれば、特定部位を含む領域のＣＴ画像データ上に登録された特定部位の領域に対して仮想的透視投影を行うことにより作成した特定部位の領域を表す投影領域画像を教師ラベル画像として識別器を学習することから、ラベル画像を正確かつ容易に作成することができる。【００３１】
第３および第１１の発明によれば、幾何学的透視条件の投影座標および角度を含むパラメータを変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を施すことから、特定部位が再現性なく移動または変形した場合においても、特定部位の位置を正確に検出することが可能となる。そして、大量のＤＲＲ画像を作成することができることから、各患者に対応したオーダーメイドの識別器を学習することができ、さらには、低フレームレートのＣＴ画像データから作成されたＤＲＲ画像を使用する場合においても、また、特定部位に対して背景が映り込んだ場合においても、特定部位の位置を正確に検出することが可能となる。【００３２】
第４および第１２の発明によれば、作成後のＤＲＲ画像に対して、コントラスト変化、ノイズ付加、エッジ強調を実行することから、ＤＲＲ画像とＸ線画像に画質の差異が生じた場合においても、特定部位の位置を正確に検出することが可能となる。【００３３】
第５および第１３の発明によれば、ＤＲＲ画像を入力層とし前記特定部位の領域を表すラベル画像を出力画像とした畳み込み層から構成されるニューラルネットワークである識別器を学習することから、冗長な計算が不要と成り、リアルタイムでの処理が可能となる。【００３４】
第６および第１４の発明によれば、機械学習における損失関数の計算時に特定部位ラベルと背景ラベルとを同等に扱うことができ、特定部位をより確実に検出することが可能となる。そして、学習の前半においては特定部位を確実に検出できるように識別器を学習し、学習の後半においては背景部分の誤判定をなくすように学習することから、特定部位の検出信頼性と誤検出の抑制を両立した識別器の学習を行うことが可能となる。【００３５】
第７および第１５の発明によれば、識別が困難な特定部位ラベルと背景ラベルとの境界付近の重みを大きくして学習を実行することができ、これにより、特定部位ラベルと背景ラベルとの境界付近誤判定を抑制して、特定部位をより確実に検出することが可能となる。【００３６】
第８および第１６の発明によれば、より正確な識別器を作成することができ、また、特定部位の領域をより正確に検出することが可能となる。【００３７】
第９の発明によれば、放射線治療に先だって、予めＤＲＲ画像と教師ラベル画像を利用して識別器を学習し、この識別器とＸ線透視画像とを利用して識別を実行することにより、リアルタイムで特定部位の位置を検出することが可能となる。
【図面の簡単な説明】
【００３８】
【図１】この発明に係る放射線治療用追跡装置を、放射線照射装置９０とともに示す斜視図である。
【図２】この発明に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。
【図３】この発明に係る放射線治療用追跡装置により機械学習を利用して特定部位の領域の位置を検出する工程を説明するための模式図である。
【図４】この発明に係る放射線治療用追跡装置を使用した動体追跡動作を示すフローチャートである。
【図５】Ｘ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。
【図６】ＤＲＲ画像１００と、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。
【図７】特定部位ラベルの重みと繰り返し回数との関係を示すグラフである。
【図８】重みづけの範囲を模式的に示す説明図である。
【図９】Ｘ線透視画像２００と、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。
【図１０】この発明の第２実施形態に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。
【図１１】ＤＲＲ画像１００およびそれを画像処理した画像１００ｂ、１００ｃと、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。
【図１２】Ｘ線透視画像２００およびそれを画像処理した画像２００ｂ、２００ｃと、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。
【発明を実施するための形態】
【００３９】
以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係る放射線治療用追跡装置を、放射線照射装置９０とともに示す斜視図である。これらの放射線治療用追跡装置と放射線照射装置９０とにより、放射線治療装置が構成される。
【００４０】
放射線照射装置９０は、カウチとも呼称される検診台２９上の被検者に対して放射線照射を行うものであり、治療室の床面に設置された基台９１に対して揺動可能に設置されたガントリー９２と、このガントリー９２に配設された治療ビームを出射するヘッド９３とを備える。この放射線照射装置９０によれば、ガントリー９２が基台９１に対して揺動することにより、ヘッド９３から照射される治療ビームの照射方向を変更することができる。このため、被検者における腫瘍等の患部に対して様々な方向から治療ビームを照射することが可能となる。
【００４１】
この放射線照射装置９０とともに使用される放射線治療用追跡装置は、被検者の患部の位置を特定する動体追跡を行うためのＸ線透視を実行するＸ線透視装置である。すなわち、上述した放射線照射装置９０を使用した放射線治療時においては、放射線を被検者の体動に伴って移動する患部に正確に照射する必要がある。このため、被検者における腫瘍等の特定の形状を有する部位を特定部位として予め登録し、この特定部位を連続的にＸ線透視して、特定部位の三次元の位置情報を演算することで、特定部位を高精度で検出する、所謂、動体追跡を行う構成となっている。このように、従来の被検者における患部付近にマーカを留置する代わりに、被検者における腫瘍等の特定部位の画像をマーカとして使用する動体追跡の手法は、マーカレストラッキングと呼称されている。
【００４２】
この放射線治療用追跡装置は、第１Ｘ線管１１ａ、第２Ｘ線管１１ｂ、第３Ｘ線管１１ｃ、第４Ｘ線管１１ｄと、第１フラットパネルディテクタ２１ａ、第２フラットパネルディテクタ２１ｂ、第３フラットパネルディテクタ２１ｃ、第４フラットパネルディテクタ２１ｄとを備える。第１Ｘ線管１１ａから照射されたＸ線は、検診台２９上の被検者を透過した後、第１フラットパネルディテクタ２１ａにより検出される。第１Ｘ線管１１ａと第１フラットパネルディテクタ２１ａとは、第１Ｘ線撮影系を構成する。第２Ｘ線管１１ｂから照射されたＸ線は、検診台２９上の被検者を透過した後、第２フラットパネルディテクタ２１ｂにより検出される。第２Ｘ線管１１ｂと第２フラットパネルディテクタ２１ｂとは、第２Ｘ線撮影系を構成する。第３Ｘ線管１１ｃから照射されたＸ線は、検診台２９上の被検者を透過した後、第３フラットパネルディテクタ２１ｃにより検出される。第３Ｘ線管１１ｃと第３フラットパネルディテクタ２１ｃとは、第３Ｘ線撮影系を構成する。第４Ｘ線管１１ｄから照射されたＸ線は、検診台２９上の被検者を透過した後、第４フラットパネルディテクタ２１ｄにより検出される。第４Ｘ線管１１ｄと第４フラットパネルディテクタ２１ｄとは、第４Ｘ線撮影系を構成する。
【００４３】
なお、動体追跡を行うためのＸ線透視を実行するとき、あるいは、被検者の特定部位の撮影のためのＸ線撮影を実行するときには、第１Ｘ線撮影系、第２Ｘ線撮影系、第３Ｘ線撮影系、第４Ｘ線撮影系のうちの２つのＸ線撮影系が選択されて使用される。
【００４４】
図２は、この発明に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。
【００４５】
この放射線治療用追跡装置は、論理演算を実行するプロセッサーとしてのＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等を備え、装置全体を制御する制御部３０を備える。この制御部３０は、上述した第１Ｘ線管１１ａ、第２Ｘ線管１１ｂ、第３Ｘ線管１１ｃおよび第４Ｘ線管１１ｄと、第１フラットパネルディテクタ２１ａ、第２フラットパネルディテクタ２１ｂ、第３フラットパネルディテクタ２１ｃおよび第４フラットパネルディテクタ２１ｄとに接続されている。
【００４６】
この制御部３０は、後述するように、治療計画時に作成された特定部位を含む領域のＣＴ画像データに対して、被検者に対するＸ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位を含むＤＲＲ画像を作成するＤＲＲ画像作成部３１と、治療計画時において特定部位を含む領域のＣＴ画像データ上に登録された特定部位の領域に対して、被検者に対するＸ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位の領域を表す投影領域画像を作成する特定部位投影部３２と、ＤＲＲ画像作成部３１で作成されたＤＲＲ画像と教師ラベル画像としての投影領域画像とを使用して機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する識別器学習部３３と、Ｘ線管１１から照射され被検者を通過したＸ線をフラットパネルディテクタ２１により検出して得た特定部位を含むＸ線透視画像に対して、識別器学習部３３で学習された識別器を使用して識別を行うことにより、特定部位の領域を検出する特定部位領域検出部３４と、特定部位領域検出部３４により検出した特定部位の領域が治療ビームの照射領域に含まれたときに、放射線照射装置９０に対して治療ビームの照射信号を送信する照射信号発生部３５と、を備える。
【００４７】
また、この制御部３０は、上述した放射線照射装置９０と、治療計画装置９９とに接続されている。なお、制御部３０と治療計画装置９９とは、病院内の被検者管理システムの院内通信である放射線科情報システム（ＲＩＳ）を介して接続されてもよい。ここで、治療計画装置９９は、放射線治療を行うに先だって、治療計画を作成するためのものである。この治療計画装置９９においては、ＣＴ撮影装置により被検者の３次元ＣＴ撮影を連続して複数回行うことにより得た、被検者の連続する複数の呼吸位相における特定部位を含む領域の３次元のＣＴ画像データ群からなる４次元ＣＴ画像データを記憶している。そして、この４次元ＣＴ画像データと被検者のその他のデータとに基づいて、被検者の治療計画が作成される。
【００４８】
この治療計画の作成時には、特定部位を含む領域のＣＴ画像データに対して、特定部位の領域の情報が付与された上で記憶される。この特定部位の領域の情報は、例えば、オペレータにより付与される。この特定部位の領域の情報を、その他の方法により自動的に付与するようにしてもよい。
【００４９】
次に、以上のような構成を有する放射線治療用追跡装置を使用することにより、被検者の体動に伴って移動する特定部位の位置を検出し、その動きを追跡する動体追跡を実行する動作について説明する。
【００５０】
最初に、特定部位の位置を検出するための基本的な考え方について説明する。図３は、この発明に係る放射線治療用追跡装置により機械学習を利用して特定部位の領域の位置を検出する工程を説明するための模式図である。
【００５１】
機械学習を利用して特定部位の領域の位置を検出するためには、最初に、識別器を学習する。この識別器学習工程においては、治療計画時に作成されたＤＲＲ画像を入力層とし、治療計画時に特定された特定部位の領域を表す２チャンネルのラベル画像を出力層として、機械学習により、識別器として使用する畳み込み層を学習する。次に、特定部位の領域を検出する。この特定部位領域検出工程においては、Ｘ線透視画像を入力層とし、先に学習された識別器を利用して識別を行うことにより、出力層としての特定部位の領域の位置を示す２チャンネルのラベル画像を作成する。
【００５２】
次に、このような工程による特定部位の位置の検出を含む動体追跡動作について詳細に説明する。図４は、この発明に係る放射線治療用追跡装置を使用した動体追跡動作を示すフローチャートである。なお、以下の動作は、上述した第１Ｘ線撮影系、第２Ｘ線撮影系、第３Ｘ線撮影系、第４Ｘ線撮影系のうちの２つのＸ線撮影系を使用して実行されるが、以下においては、それらのうちの一方についてのみ説明を行う。以下の動作は、２つのＸ線撮影系に対して同様に実行される。
【００５３】
動体追跡動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部３１により、治療計画記憶時に作成された４次元ＣＴ画像データに対して、Ｘ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位を含む複数のＤＲＲ画像を作成する（ステップＳ１）。ここで、治療計画時に作成される４次元ＣＴデータとは、治療計画記憶時において、連続する複数の呼吸位相において、経時的に連続して撮影される特定部位を含む領域の３次元のＣＴ画像データ群である。
【００５４】
図５は、Ｘ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。
【００５５】
図５において、符号３００はＣＴ画像データを示している。このＣＴ画像データ３００は、治療計画装置９９から取得されたものであり、複数の２次元のＣＴ画像データの集合である３次元のボクセルデータである。このＣＴ画像データ３００は、例えば、５１２×５１２ピクセルの２次元画像が被検者を横断する方向（図５に示す線分Ｌ１またはＬ２に沿った方向）に２００枚程度積層された構造を有する。
【００５６】
ＤＲＲ画像作成部３１によりＤＲＲ画像を作成する時には、ＣＴ画像データ３００に対して仮想的に透視投影を行う。このときには、コンピュータ上に三次元のＣＴ画像データ３００を配置する。そして、コンピュータ上にＸ線撮影系の幾何学的配置であるジオメトリを再現する。この実施形態においては、ＣＴ画像データ３００を挟んで、両側に、図１に示すＸ線管１１とフラットパネルディテクタ２１を配置する。これらのＣＴ画像データ３００と、Ｘ線管１１およびフラットパネルディテクタ２１の配置は、図１に示す放射線治療用追跡装置で透視を実行するときの被検者とＸ線管１１およびフラットパネルディテクタ２１との配置と同じジオメトリとなっている。ここで、ジオメトリとは、撮影対象とＸ線管１１およびフラットパネルディテクタ２１の幾何学的配置関係を意味する。
【００５７】
この状態で、Ｘ線管１１と、ＣＴ画像データ３００の各画素を介してフラットパネルディテクタ２１の各画素とを結ぶ多数の線分Ｌを設定する。なお、図５においては、説明の便宜上、２本の線分Ｌ１、Ｌ２を図示している。そして、この線分Ｌ上に、各々、複数の計算点を設定する。そして、各計算点のＣＴ値を演算する。このＣＴ値の演算時には、計算点の周囲のＣＴデータボクセルにおけるＣＴ値を利用した補間が実行される。しかる後、線分Ｌ上の各計算点のＣＴ値を累積する。この累積値が、線減弱係数の線積分に変換されて、Ｘ線の減弱を算出することにより、ＤＲＲ画像が作成される。
【００５８】
このＤＲＲ画像の作成時には、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。この平行移動、回転、変形、拡大縮小を実行するのは、腫瘍等の被検者の特定部位が被検者の体内でＣＴ画像データ３００に対して再現性のない移動をし、または、変形が生じたときにも特定部位をより確実に追跡できるようにするためである。
【００５９】
ここで、ＤＲＲ画像のもとになるＣＴ画像データ３００のフレームレートはＸ線透視画像のフレームレートより小さいが、ＤＲＲ画像作成のためのパラメータを変化させることにより、ＤＲＲ画像におけるフレーム間の特定部位を模擬することが可能となり、特定部位の領域をより正確に検出することが可能となる。また、Ｘ線透視画像は透過像であるため、特定部位の領域に骨部や横隔膜などの特定部位より高コントラストな背景が重畳して写り込むことになる。これに対して、上述したようにパラメータを変化させると、特定部位に対する背景の重なり方が様々に変化するので、それを学習することで、背景の重なりを無視して、特定部位をより確実に識別することが可能となる。
【００６０】
また、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。このコントラスト変化、ノイズ付加、エッジ強調を実行するのは、ＤＲＲ画像とＸ線画像の画質の違いを吸収し、特定部位をより確実に追跡できるようにするためである。
【００６１】
上述した、投影座標や角度などのＤＲＲ画像作成のためのパラメータの変化、または、コントラスト変化、ノイズ付加、エッジ強調は、所定の範囲内でランダムに、あるいは、等間隔で様々に変化を与える態様で実施される。これにより、患者一人のＣＴ画像データ３００から、多量のＤＲＲ画像を作成することができる。このため、このようにして作成された多量のＤＲＲ画像を使用して、各患者に対応したオーダーメイドの識別器を学習することが可能となる。なお、多数の患者のＤＲＲ画像を利用して識別器の学習を行うことも可能である。
【００６２】
次に、治療計画時において特定部位を含む領域のＣＴ画像データ上に登録された特定部位の領域に対して、被検者に対するＸ線管１１とフラットパネルディテクタ２１との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、特定部位の領域を表す投影領域画像を作成する（ステップＳ２）。この特定部位の領域を表す投影領域画像は、機械学習時に教師ラベル画像として使用される。
【００６３】
このときにも、特定部位の領域に対して、図５に示す場合と同様に、仮想的な透視投影を実行する。この特定部位の領域を表す投影領域画像の作成時にも、特定部位の領域に対して投影座標や角度などの投影領域画像作成のためのパラメータを変化させて投影領域画像を作成する。すなわち、わずかな平行移動、回転、変形、拡大縮小を実行する。そして、この投影領域画像の作成時においては、上述したＤＲＲ画像の作成時と幾何学的透視条件の投影座標および角度を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を同一条件で施す。これにより、上述したように、腫瘍等の被検者の特定部位が被検者の体内でＣＴ画像データ３００に対して再現性のない移動し、または、変形が生じたときにも特定部位をより確実に追跡することができる。
【００６４】
図６は、ＤＲＲ画像１００と、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。
【００６５】
特定部位の領域を表す投影領域画像は、２枚（２チャンネル）のラベル画像１０１、１０２となる。ここで、ラベル画像１０１は、特定部位以外の領域を表す背景ラベル画像である。また、ラベル画像１０２は、特定部位の領域を表す特定部位ラベル画像である。
【００６６】
以上の工程が終了すれば、ＤＲＲ画像１００を入力層とし、２チャンネルのラベル画像１０１、１０２を出力層として機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する（ステップＳ３）。
【００６７】
画素ごとにその画素が属するクラスに分類する（ラベル付けする）手法をセマンティック・セグメンテーションという。高精度かつ高速なセマンティック・セグメンテーションの手法として、ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ）が知られている。ＦＣＮで用いる畳み込みニューラルネットワークは、例えば図３のような構成となる。すなわち、識別器を学習する場合においては、入力層はＤＲＲ画像で、出力層は図６に示す２チャンネルのラベル画像１０１、１０２である。ラベル画像はチャンネル１が背景ラベル画像であり、チヤンネル２が特定部位ラベル画像である。すなわち、ラベル画像１０１、１０２の各チヤンネルの各画素値は入力画像の各画素が各クラスに属する確率に相当する値となる。中間層は識別器となる畳み込み層のみで構成され、学習によりパラメータが決定される。
【００６８】
なお、上述した実施形態においては、２チャンネルのラベル画像１０１、１０２を作成しているが、画像を背景と特定部位とに分類するだけであることから、ラベル画像を１チャンネルとしてもよい。また、逆に、呼吸位相毎に背景と特定部位とを分類する場合においては、２チャンネルより多いｎチャンネルとしてもよい。例えば、この発明を人工関節や治療ビームの照射禁止臓器の識別等に使用するときには、ｎクラスに分類を行い、ｎチャンネルのラベル画像を作成すればよい。
【００６９】
以上の作業は、放射線治療に先だって、予め実行しておくことが可能となる。このため、従来のテンプレートマッチングを利用する場合のように、放射線治療の直前にテンプレートを作成する必要はない。従って、被検者を時間的に拘束することなく、また、放射線治療のスループットを向上させることが可能となる。
【００７０】
なお、上述した機械学習を実行する場合において、ＤＲＲ画像１００のうちの特定部位が占める割合は小さいことから、教師ラベル画像としてのラベル画像１０１、１０２においては、画像領域のほとんどが背景ラベルとなる。このため、識別器を学習するときの損失関数は、背景ラベルの一致度を主要な要因として決まってしまうことになる。その結果、特定部位ラベルが無視されて、画像全体を背景ラベルとして識別するような学習がなされてしまうことがあり、このような場合には特定部位を検出できないことがあった。
【００７１】
このため、機械学習における損失関数の計算時に特定部位ラベルの重みを大きくして学習することにより、特定部位ラベルも識別可能とすることが考えられる。しかしながらこのような構成を採用した場合には、背景ラベルが損失関数に寄与する割合が減少することから、背景ラベルの識別の学習が不十分となり、学習が進んでも背景部分を特定部位として誤判定してしまう場合がある。
【００７２】
このような問題に対応するためには、特定部位ラベルの重みづけを学習の進捗度に合わせて順次小さくする構成を採用することが好ましい。すなわち、識別器学習部３３は、最初は、教師ラベル画像における特定部位ラベルと背景ラベルの面積比（図６におけるラベル画像１０２とラベル画像１０１におけるハッチング領域の面積比）に基づいて、損失関数を計算するときの特定部位ラベルの重みを大きくして識別器を学習する。そして、識別器の学習の進捗度に応じて特定部位ラベルの重みを徐々に小さくしていく。このときの識別器の学習の進捗度は、例えば、学習の繰り返し回数に基づいて判断する。
【００７３】
図７は、特定部位ラベルの重みと繰り返し回数との関係を示すグラフである。このグラフにおいて、縦軸は特定部位（腫瘍）に対する重みを示し、横軸は繰り返し回数であるエポックを示す。ここで、エポックとは、一つの訓練データセットを何回か繰り返して学習させる単位である。
【００７４】
このグラフに示すように、特定部位の重みを、特定部位ラベルと背景ラベルの面積比に基づいて、例えば、１００００に設定する。そして、学習を繰り返すに従って重みを小さくし、最終的には１以上（例えば、２０程度）に収束させる。
【００７５】
このような構成を採用することにより、機械学習における損失関数の計算時に、教師ラベル画像の特定部位ラベルと背景ラベルとを同等に扱うことができ、特定部位をより確実に検出することが可能となる。そして、学習の前半においては特定部位を確実に検出できるように識別器を学習し、学習の後半においては背景部分の誤判定をなくすように学習することから、特定部位の検出信頼性と誤検出の抑制を両立した識別器の学習を行うことが可能となる。
【００７６】
なお、繰り返し回数のかわりに、損失関数の値が小さくなることにより学習が進んだと判断し、学習が進むに従って重みを小さくする構成を採用してもよい。
【００７７】
また、上述した機械学習を実行する場合において、特定部位ラベルと背景ラベルとの境界領域においては、特定部位であるか背景であるかの判定が困難であることから、機械学習後の識別結果が誤判定となることがある。このため、識別器学習部３３は、機械学習を実行するときの損失関数の計算時に、画像全体の損失関数に対して、特定部位周辺をトリミングした画像に対する損失関数を重みづけした上で加算する構成を採用することが好ましい。
【００７８】
図８は、重みづけの範囲を模式的に示す説明図である。
【００７９】
識別器学習部３３は、機械学習を実行するときの損失関数の計算時に、画像全体を示すエリアＥ１の損失関数に対して、特定部位周辺をトリミングした画像のエリアＥ２に対する損失関数を重みづけした上で加算する。
【００８０】
このような構成を採用することにより、識別が困難な特定部位ラベルと背景ラベルとの境界付近の重みを大きくして学習を実行することができ、これにより、特定部位ラベルと背景ラベルとの境界付近誤判定を抑制して、特定部位をより確実に検出することが可能となる。
【００８１】
以上の工程により識別器が学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ４）。
【００８２】
そして、先に学習した識別器（畳み込み層）を利用して識別を行うことにより、特定部位領域を検出する（ステップＳ５）。すなわち、Ｘ線透視により所定のフレームレートで得られる透視画像に対して、先に学習した識別器を使用し、出力層として２チャンネルのラベル画像を出力する。すなわち、Ｘ線透視画像の各フレーム毎に、特定部位である確率の大きい領域を認識する。
【００８３】
図９は、Ｘ線透視画像２００と、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。
【００８４】
この図に示すように、Ｘ線透視画像２００に対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像２０１と特定部位ラベルの画像２０２の２チャンネルのラベル画像が作成される。この２チャンネルのラベル画像は、Ｘ線透視画像２００の各フレーム毎に作成される。そして、特定部位の領域２０４が決定され、特定部位の領域２０４を表す表示と透視画像とを重ね合わせた画像２０３が作成される。
【００８５】
なお、特定部位の領域２０４を決定するときには、ラベル画像の確率に所定の閾値を設け、確率がこの閾値を越えた領域を特定部位の領域２０４とすればよい。このときには、モルフォロジー演算などを利用して、適宜、境界の平滑化や微小領域の削除・統合を行ってもよい。また、ＣＴＶ（臨床標的体積）から予想される腫瘍形状と違いが大きい場合は、エラーとして治療ビームの照射を停止してもよい。なお、特定部位の領域２０４については、ＣＴＶ全域に対応する必要はなく、ＣＴＶの中心付近などＣＴＶ領域の一部のみを特定し、例えば、そこを重心とした一定の領域を特定部位の領域２０４としてもよい。このときには、例えば、治療計画時に作成されたＣＴＶを利用し、ラベル画像における重心と治療計画時に作成されたＣＴＶの重心とを一致させることにより、特定部位の領域２０４を決定するようにしてもよい。
【００８６】
ＣＮＮにおけるスライディングウインドウでは、検出窓をスライドする度にＣＮＮの順伝幡計算が必要であり、スライドした検出窓同士が重なっている領域では冗長な畳み込み演算が行われるため、リアルタイム処理が困難である。これに対し、ＦＣＮでは、入力画像全体または探索領域全体に対して一度の順伝播計算でラベル画像全体が得られるため、リアルタイムで特定部位の形状を認識することが可能となる。
【００８７】
Ｘ線透視を実行しているときに、そのＸ線透視画像における特定部位の領域が検出できれば、放射線照射装置９０により治療ビームを照射する（ステップＳ６）。すなわち、特定部位の領域２０４の位置が被検者の呼吸位相における特定の位相において特定の位置となったときにのみ、治療ビームを照射して、放射線治療を行う。
【００８８】
次に、この発明の第２実施形態について説明する。図１０は、この発明の第２実施形態に係る放射線治療用追跡装置の主要な制御系を示すブロック図である。図１１は、ＤＲＲ画像１００およびそれを画像処理した画像１００ｂ、１００ｃと、特定部位の領域を表す投影領域の画像であるラベル画像１０１、１０２とを示す模式図である。図１２は、Ｘ線透視画像２００およびそれを画像処理した画像２００ｂ、２００ｃと、特定部位の領域を表すラベル画像２０１、２０２等とを示す模式図である。
【００８９】
この第２実施形態に係る放射線治療用追跡装置は、制御部３０が、図６に示すＤＲＲ画像１００に対して、エッジ強調を行った画像１００ｂと周波数分割を行った画像１００ｃのように、ＤＲＲ画像１００を画像処理した画像１００ｂ、１００ｃを作成するとともに、図９に示すＸ線透視画像２００に対して、エッジ強調を行った画像２００ｂと周波数分割を行った画像２００ｃのように、Ｘ線透視画像２００を画像処理した画像２００ｂ、２００ｃを作成する画像処理部３６を備える。
【００９０】
上述した実施形態においては、図６に示すように、ＤＲＲ画像１００を入力層とし、２チャンネルのラベル画像１０１、１０２を出力層として機械学習を実行している。これに対して、この第２実施形態においては、図１１に示すように、ＤＲＲ画像１００およびそれを画像処理した画像１００ｂ、１００ｃを入力層とし、２チャンネルのラベル画像１０１、１０２を出力層として機械学習を実行する。また、上述した実施形態においては、図９に示すように、Ｘ線透視画像２００に対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像２０１と特定部位ラベルの画像２０２の２チャンネルのラベル画像を作成している。これに対して、この第２実施形態においては、図１２に示すように、Ｘ線透視画像２００およびそれを画像処理した画像２００ｂ、２００ｃに対して先に学習した識別器を利用して識別を行うことにより、背景ラベルの画像２０１と特定部位ラベルの画像２０２の２チャンネルのラベル画像を作成する。そして、前記画像処理部３６は、ＤＲＲ画像とＸ線透視画像とに対して同一条件の画像処理、すなわち、同じ画像処理を実行する。
【００９１】
このような構成を採用した場合においては、ＤＲＲ画像１００だけではなく、ＤＲＲ画像１００を画像処理した画像をも使用して機械学習を実行することから、より正確な識別器を作成することができる。そして、この識別器を使用して、Ｘ線透視画像２００だけではなく、Ｘ線透視画像２００を画像処理した画像を利用して識別を行うことから、特定部位の領域をより正確に検出することが可能となる。
【００９２】
以上のように、この発明に係る放射線治療用追跡装置および動体追跡方法によれば、治療計画時に作成されたＤＲＲ画像を入力層とし、治療計画時に特定された特定部位の領域を表す２チャンネルのラベル画像を出力層として、機械学習により識別器として使用する畳み込み層を学習し、次に、Ｘ線透視画像を入力層とし、先に学習された識別器を利用して識別を行うことにより、出力層としての特定部位の領域の位置認識することから、リアルタイムで特定部位の位置を検出し、あるいは、特定部位の追跡することが可能となる。
【００９３】
なお、上述した実施形態において、Ｘ線透視画像をガウスフィルタなどでぼかした後に識別器に入力してもよい。一般的に、ＤＲＲ画像は低解像度のＣＴ画像から作成されているため、Ｘ線透視画像と比べると低解像度である。このため、Ｘ線透視画像をぼかして、Ｘ線透視画像を、ノイズを低減しつつ学習時のＤＲＲ画像と同等の解像度とすることにより、より確実に特定部位を識別することが可能となる。
【００９４】
また、上述した実施形態において、識別器に入力するＤＲＲ画像およびＸ線透視画像はあらかじめコントラスト正規化を行ったうえで入力してもよい。また、中間層に局所コントラスト正規化層または局所応答正規化層を加えてもよい。
【００９５】
なお、上述した実施形態においては、特定部位投影部３２により作成された特定部位の領域を表す投影領域画像を教師ラベル画像として識別器を学習しているが、特定部位の領域を表す画像であれば、その他の教師ラベル画像を使用してもよい。
【００９６】
また、上述した実施形態においては、特定部位に対して治療ビームを照射するために特定部位の動きを追跡する放射線治療用追跡装置について説明したが、被検者の特定部位を含むＸ線透視画像に基づいて特定部位の位置を検出する位置検出装置についても同様にこの発明を適用することができる。
【符号の説明】
【００９７】
１１ａ      第１Ｘ線管
１１ｂ      第２Ｘ線管
１１ｃ      第３Ｘ線管
１１ｄ      第４Ｘ線管
２１ａ      第１フラットパネルディテクタ
２１ｂ      第２フラットパネルディテクタ
２１ｃ      第３フラットパネルディテクタ
２１ｄ      第４フラットパネルディテクタ
３０        制御部
３１        ＤＲＲ画像作成部
３２        特定部位投影部
３３        識別器学習部
３４        特定部位領域検出部
３５        照射信号発生部
９０        放射線照射装置
９９        治療計画装置
【図１】
2019003474.tif 000003
【図２】
2019003474.tif 000004
【図３】
2019003474.tif 000005
【図４】
2019003474.tif 000006
【図５】
2019003474.tif 000007
【図６】
2019003474.tif 000008
【図７】
2019003474.tif 000009
【図８】
2019003474.tif 000010
【図９】
2019003474.tif 000011
【図１０】
2019003474.tif 000012
【図１１】
2019003474.tif 000013
【図１２】
2019003474.tif 000014
【国際調査報告】
2019003474.tif 000015
2019003474.tif 000016
2019003474.tif 000017
2019003474.tif 000018