(57)【要約】【課題】ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供する。【解決手段】本発明の少なくとも一つの実施例に係る診断映像変換装置は、ＣＴ映像を入力するための入力部と、前記入力部を介して入力されたＣＴ映像をＭＲＩ映像に変換する変換モジュールと、前記変換モジュールが変換したＭＲＩ映像を出力するための出力部とを備える。【選択図】図２
2020503075.tif 000002
【特許請求の範囲】
【請求項１】
ＣＴ映像を入力するための入力部と、
前記入力部を介して入力されたＣＴ映像をＭＲＩ映像に変換する変換モジュールと、
前記変換モジュールが変換したＭＲＩ映像を出力するための出力部と
を備える、
診断映像変換装置。
【請求項２】
前記入力部を介して入力されたＣＴ映像を、撮影された断層の位置によって分類する分類部をさらに備え、
前記変換モジュールは、前記分類部によって分類されたＣＴ映像をＭＲＩ映像に変換する、
請求項１に記載の診断映像変換装置。
【請求項３】
前記分類部は、前記ＣＴ映像を、撮影された断層の位置によって、
脳の最上段から眼球が現れる前までの映像を第１層映像として分類し、
眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類し、
側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類し、
脳室が終わった後、脳の最下段までの映像を第４層映像として分類する、
請求項２に記載の診断映像変換装置。
【請求項４】
前記変換モジュールは、
前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換モジュールと、
前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換モジュールと、
前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換モジュールと、
前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換モジュールと、
を含む、
請求項３に記載の診断映像変換装置。
【請求項５】
前記入力部を介して入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理部をさらに備える、
請求項１に記載の診断映像変換装置。
【請求項６】
前記変換モジュールが変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理部をさらに備える、
請求項１に記載の診断映像変換装置。
【請求項７】
前記変換モジュールが変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価部をさらに備える、
請求項１に記載の診断映像変換装置。
【請求項８】
請求項１に記載の診断映像変換装置の前記変換モジュールを生成するための診断映像変換モジュール生成装置であって、
学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成子と、
学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成子と、
前記ＭＲＩ生成子が生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別子と、
前記ＣＴ生成子が生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別子と、
前記ＭＲＩ判別子から出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定子と、
前記ＣＴ判別子から出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定子と、
前記ＭＲＩ生成子が生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定子と、
前記ＣＴ生成子が生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定子と、
を備え、
前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、
診断映像変換モジュール生成装置。
【請求項９】
ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、
請求項８に記載の診断映像変換モジュール生成装置。
【請求項１０】
ＣＴ撮影のためのＸ線を発生するＸ線発生装置と、
前記Ｘ線発生装置から発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得装置と、
前記データ取得装置が取得した前記映像データからＣＴ映像を構成して出力する映像構成装置と、
前記映像構成装置が構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する請求項１ないし請求項７の何れか一項に記載の診断映像変換装置と、
前記ＣＴ映像と前記ＭＲＩ映像を表示するディスプレイ装置と、
を備え、
前記ディスプレイ装置は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する、
診断映像撮影装置。
【請求項１１】
ＣＴ映像を入力する入力工程と、
前記入力工程で入力されたＣＴ映像をＭＲＩ映像に変換する変換工程と、
前記変換工程で変換されたＭＲＩ映像を出力する出力工程と、
を備える、
診断映像変換方法。
【請求項１２】
前記入力工程で入力されたＣＴ映像を、撮影された断層の位置によって分類する分類工程をさらに備え、
前記変換工程は、前記分類工程で分類されたＣＴ映像をＭＲＩ映像に変換する工程を含む、
請求項１１に記載の診断映像変換方法。
【請求項１３】
前記分類工程は、前記ＣＴ映像を、撮影された断層の位置によって、
脳の最上段から眼球が現れる前までの映像を第１層映像として分類する工程と、
眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類する工程と、
側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類する工程と、
脳室が終わった後、脳の最下段までの映像を第４層映像として分類する工程と
を含む、
請求項１２に記載の診断映像変換方法。
【請求項１４】
前記変換工程は、
前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換工程と、
前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換工程と、
前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換工程と、
前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換工程と、
を含む、
請求項１３に記載の診断映像変換方法。
【請求項１５】
前記入力工程で入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理工程をさらに備える、
請求項１１に記載の診断映像変換方法。
【請求項１６】
前記変換工程で変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理工程をさらに備える、
請求項１１に記載の診断映像変換方法。
【請求項１７】
前記変換工程で変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価工程をさらに備える、
請求項１１に記載の診断映像変換方法。
【請求項１８】
請求項１１に記載の診断映像変換方法の変換工程で用いられる変換モジュールを生成するための診断映像変換モジュール生成方法であって、
学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成工程と、
学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成工程と、
前記ＭＲＩ生成工程で生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別工程と、
前記ＣＴ生成工程で生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別工程と、
前記ＭＲＩ判別工程で出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定工程と、
前記ＣＴ判別工程で出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定工程と、
前記ＭＲＩ生成工程で生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定工程と、
前記ＣＴ生成工程で生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定工程と、
前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する加重値修正工程と
を備える、
診断映像変換モジュール生成方法。
【請求項１９】
前記加重値修正工程は、ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する工程を含む、
請求項１８に記載の診断映像変換モジュール生成方法。
【請求項２０】
ＣＴ撮影のためのＸ線を発生するＸ線発生工程と、
前記Ｘ線発生工程で発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得工程と、
前記データ取得工程で取得した前記映像データからＣＴ映像を構成して出力する映像構成工程と、
前記映像構成工程で構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する請求項１ないし請求項７の何れか一項に記載の診断映像変換方法を実行する診断映像変換工程と、
前記ＣＴ映像と前記ＭＲＩ映像を表示する映像表示工程と、
を備え、
前記映像表示工程は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する工程を含む、
診断映像撮影方法。
【請求項２１】
請求項１１ないし請求項１７の何れか一項に記載の診断映像変換方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体。
【請求項２２】
請求項１８または請求項１９に記載の診断映像変換モジュール生成方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体。
【請求項２３】
請求項２０に記載の診断映像撮影方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びコンピューター読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
診断映像技術は、ＣＴ（Ｃｏｍｐｕｔｅｒｉｚｅｄ  Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｉｎｇ）などを用いて人体の構造及び解剖学的映像を撮影するための医療技術である。人工知能の発展のお陰でこのような診断映像技術を用いた医療映像の自動化された分析が可能となり、実際の診療に適用可能なレベルまで至っている。
【０００３】
特許文献１は、ＣＴ装置とＭＲＩ装置を結合し、ＣＴ装置で信号源を回転し、ＭＲＩ装置の磁場信号に、信号源を変形するＭＲＩとＣＴを結合したＭＲＣＴ診断装置を開示している。
【０００４】
ＣＴスキャンは、応急室などで使用され、骨の構造に関する詳細情報を提供する一方、ＭＲＩ装置は、靱帯や筋の負傷時に軟組織の検査や腫瘍の検出などに適合する。
【０００５】
ＣＴ装置の長所は、Ｘ−ｒａｙを用いて短時間にスキャンが可能であるので、人体の動きによる動作雑音（Ｍｏｔｉｏｎ  Ａｒｔｉｆａｃｔ）による影響を最小化し、鮮明な映像を得ることができる。ＣＴ撮影に造影剤（Ｃｏｎｔｒａｓｔ  Ａｇｅｎｔ）を一緒に用いると、血管内の濃度が最も高い時点にスキャンを行うことで、ＣＴ血管撮影が可能である。
【０００６】
ＭＲＩ装置は、核磁気共鳴（Ｎｕｃｌｅａｒ  Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ）の原理を利用して人体の解剖学的変化を感知するので、人体を放射線に露出しないで高解像度の解剖学的映像を得ることができる。ＣＴが横断面のみを見せるのに対し、ＭＲＩは縦横断面を両方見せる立体映像で患部を見ることができ、ＣＴより高い解像度の映像でより細密な検査が可能である。
【０００７】
ＣＴは数分程度で検査が終わるが、ＭＲＩは約３０分〜１時間程度の検査時間が必要である。従って、交通事項や脳出血などの緊急事態では検査時間が短いＣＴが有用である。
【０００８】
ＭＲＩはＣＴに比べてより精密な３次元の映像を見ることが可能であり、複数の角度で見ることができるという長所を持っている。筋肉、軟骨、靱帯、血管、及び神経などの軟部組織の撮影の際にＣＴに比べてより正確な診断を行うことができる。
【０００９】
一方、ペースメーカー（Ｃａｒｄｉａｃ  Ｐａｃｅｍａｋｅｒ）、金属インプラント、または入れ墨などを持っている患者は、患者の負傷の危険とイメージの歪曲（揺れまたはノイズ）などの理由でＭＲＩの使用が禁止されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】韓国特許公開公報第１０−２０１７−００８５７５６号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
交通事故や脳出血などの緊急事態では、検査時間が短いＣＴが有用であるが、ＣＴは診断しにくい疾患があり、ＭＲＩは検査時間が長いがＣＴよりもっとたくさんのものを見ることができる。従って、ＣＴ映像のみでＭＲＩ映像と同等な効果を得ることができれば、緊急事態でより多くの命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約することができる。
【００１２】
本発明は、上述した従来の要求に応えるために成されたものであり、本発明の一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供することである。
【００１３】
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成装置を提供することである。
【００１４】
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影装置を提供することである。
【００１５】
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換方法を提供することである。
【００１６】
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成方法を提供することである。
【００１７】
本発明のもう一つの目的は、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影方法を提供することである。
【００１８】
本発明の解決課題は以上で言及されたものに限定されず、言及されていない他の解決課題は下記の記載から当該技術分野における通常の知識を有した者に明確に理解できるであろう。
【課題を解決するための手段】
【００１９】
本発明の少なくとも一つの実施例においては、ＣＴ映像を入力するための入力部と、前記入力部を介して入力されたＣＴ映像をＭＲＩ映像に変換する変換モジュールと、前記変換モジュールが変換したＭＲＩ映像を出力するための出力部とを備える、診断映像変換装置を提供する。
【００２０】
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記入力部を介して入力されたＣＴ映像を、撮影された断層の位置によって分類する分類部をさらに備え、前記変換モジュールは、前記分類部によって分類されたＣＴ映像をＭＲＩ映像に変換する。
本発明の少なくとも一つの実施例において、前記分類部は、前記ＣＴ映像を、撮影された断層の位置によって、脳の最上段から眼球が現れる前までの映像を第１層映像として分類し、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類し、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類し、脳室が終わった後、脳の最下段までの映像を第４層映像として分類する。
本発明の少なくとも一つの実施例において、前記変換モジュールは、前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換モジュールと、前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換モジュールと、前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換モジュールと、前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換モジュールと、を含む。
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記入力部を介して入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理部をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記変換モジュールが変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理部をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換装置は、前記変換モジュールが変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価部をさらに備える。
本発明の少なくとも一つの実施例においては、前記診断映像変換装置の前記変換モジュールを生成するための診断映像変換モジュール生成装置であって、学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成子と、学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成子と、前記ＭＲＩ生成子が生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別子と、前記ＣＴ生成子が生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別子と、前記ＭＲＩ判別子から出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定子と、前記ＣＴ判別子から出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定子と、前記ＭＲＩ生成子が生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定子と、前記ＣＴ生成子が生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定子と、を備え、前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、診断映像変換モジュール生成装置を提供する。
本発明の少なくとも一つの実施例において、前記診断映像変換モジュール生成装置は、ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する。
本発明の少なくとも一つの実施例においては、ＣＴ撮影のためのＸ線を発生するＸ線発生装置と、前記Ｘ線発生装置から発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得装置と、前記データ取得装置が取得した前記映像データからＣＴ映像を構成して出力する映像構成装置と、前記映像構成装置が構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する前記診断映像変換装置と、前記ＣＴ映像と前記ＭＲＩ映像を表示するディスプレイ装置と、を備え、前記ディスプレイ装置は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する、診断映像撮影装置を提供する。
本発明の少なくとも一つの実施例においては、ＣＴ映像を入力する入力工程と、前記入力工程で入力されたＣＴ映像をＭＲＩ映像に変換する変換工程と、前記変換工程で変換されたＭＲＩ映像を出力する出力工程と、を備える、診断映像変換方法を提供する。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記入力工程で入力されたＣＴ映像を、撮影された断層の位置によって分類する分類工程をさらに備え、前記変換工程は、前記分類工程で分類されたＣＴ映像をＭＲＩ映像に変換する工程を含む。
本発明の少なくとも一つの実施例において、前記分類工程は、前記ＣＴ映像を、撮影された断層の位置によって、脳の最上段から眼球が現れる前までの映像を第１層映像として分類する工程と、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類する工程と、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類する工程と、脳室が終わった後、脳の最下段までの映像を第４層映像として分類する工程とを含む。
本発明の少なくとも一つの実施例において、前記変換工程は、前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換工程と、前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換工程と、前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換工程と、前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換工程と、を含む。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記入力工程で入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理工程をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記変換工程で変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理工程をさらに備える。
本発明の少なくとも一つの実施例において、前記診断映像変換方法は、前記変換工程で変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価工程をさらに備える。
本発明の少なくとも一つの実施例においては、前記診断映像変換方法の変換工程で用いられる変換モジュールを生成するための診断映像変換モジュール生成方法であって、学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成工程と、学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成工程と、前記ＭＲＩ生成工程で生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別工程と、前記ＣＴ生成工程で生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別工程と、前記ＭＲＩ判別工程で出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定工程と、前記ＣＴ判別工程で出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定工程と、前記ＭＲＩ生成工程で生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定工程と、前記ＣＴ生成工程で生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定工程と、前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する加重値修正工程を備える、診断映像変換モジュール生成方法を提供する。
本発明の少なくとも一つの実施例において、前記加重値修正工程は、ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する工程を含む。
本発明の少なくとも一つの実施例においては、ＣＴ撮影のためのＸ線を発生するＸ線発生工程と、前記Ｘ線発生工程で発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得工程と、前記データ取得工程で取得した前記映像データからＣＴ映像を構成して出力する映像構成工程と、前記映像構成工程で構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する前記診断映像変換方法を実行する診断映像変換工程と、前記ＣＴ映像と前記ＭＲＩ映像を表示する映像表示工程と、を備え、前記映像表示工程は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する工程を含む、診断映像撮影方法を提供する。
本発明の少なくとも一つの実施例においては、前記診断映像変換方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体を提供する。
本発明の少なくとも一つの実施例においては、前記診断映像変換モジュール生成方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体を提供する。
本発明の少なくとも一つの実施例においては、前記診断映像撮影方法を実行するプログラムを格納するコンピューター読み取り可能な記録媒体を提供する。
【発明の効果】
【００２１】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供できるという効果を奏する。
【００２２】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成装置を提供できるという効果を奏する。
【００２３】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影装置を提供できるという効果を奏する。
【００２４】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換方法を提供できるという効果を奏する。
【００２５】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成方法を提供できるという効果を奏する。
【００２６】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影方法を提供できるという効果を奏する。
【００２７】
本発明の少なくとも一つの実施例によれば、ＣＴ映像をＭＲＩ映像に変換し、緊急事態でより多くの命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約できるという効果を奏する。
【００２８】
本発明の効果は以上で言及されたものなどに限定されず、言及されていない他の効果は下記の記載から当該技術分野における通常の知識を有した者に明確に理解できるはずである。
【図面の簡単な説明】
【００２９】
【図１】本発明の少なくとも一つの実施例に係る診断映像変換装置で用いるペアドデータ（Ｐａｉｒｅｄ  Ｄａｔａ）とアンペアドデータ（Ｕｎｐａｉｒｅｄ  Ｄａｔａ）を説明するためのイメージである。
【図２】本発明の少なくとも一つの実施例に係る診断映像変換装置の機能ブロック図である。
【図３】本発明の少なくとも一つの実施例に係る診断映像変換装置の分類部が分類する映像の一例を説明するためのイメージである。
【図４】本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の機能ブロック図である。
【図５】本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習を説明するための概略図である。
【図６】本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習を説明するための概略図である。
【図７】本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習方法を説明するためのフローチャートである。
【図８】本発明の少なくとも一つの実施例に係る診断映像変換方法を説明するためのフローチャートである。
【図９】ＣＴ映像とＭＲＩ映像のペアドデータの生成を説明するためのイメージである。
【図１０】ペアドデータとアンペアドデータを用いた複合サイクル一致構造（Ｄｕａｌ  Ｃｙｃｌｅ−Ｃｏｎｓｉｓｔｅｎｔ  Ｓｔｒｕｃｔｕｒｅ）の例を示す概略図である。
【図１１】入力ＣＴ映像、合成ＭＲＩ映像、参照ＭＲＩ映像、及び実際ＭＲＩ映像と合成ＭＲＩ映像との絶対誤差を示すイメージである。
【図１２】入力ＣＴ映像、ペアドデータ、アンペアドデータ、及びペアドデータとアンペアドデータを用いた場合の合成ＭＲＩ映像、及び参照ＭＲＩ映像を示すイメージである。
【図１３】本発明の少なくとも一つの実施例に係る診断映像撮影装置の機能ブロック図である。
【発明を実施するための形態】
【００３０】
以下、添付図面を参照し、本発明の少なくとも一つの実施例に係る診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びコンピューター読み取り可能な記録媒体について詳しく説明する。
【００３１】
図１は、本発明の少なくとも一つの実施例に係る診断映像変換装置で用いるペアドデータ（Ｐａｉｒｅｄ  Ｄａｔａ）とアンペアドデータ（Ｕｎｐａｉｒｅｄ  Ｄａｔａ）を説明するためのイメージである。
【００３２】
ペアドデータを用いたラーニングを介してｐｉｘ２ｐｉｘモデルを使用してＭＲＩ映像をＣＴ映像に変換する技術、ペアドデータを用いたラーニングを介してＦＣＮ及びｐｉｘ２ｐｉｘモデルを使用してＣＴ映像をＰＥＴ（Ｐｏｓｉｔｉｏｎ  Ｅｍｉｓｓｉｏｎ  Ｔｏｍｏｇｒａｐｈｙ）映像に変換する技術、ペアドデータを用いたラーニングを介してｐｉｘ２ｐｉｘモデルを使用してＣＴ映像をＰＥＴ映像に変換する技術、及びアンペアドデータを用いたラーニングを介してｃｙｃｌｅＧＡＮモデルを使用してＭＲＩ映像をＣＴ映像に変換する技術が公開されている。
【００３３】
図１で、左側は同一の患者の同一の解剖学的構造を撮影したＣＴとＭＲＩスライスで構成したペアドデータであり、右側は異なる患者の異なる解剖学的構造を撮影したＣＴとＭＲＩスライスで構成したアンペアドデータである。
【００３４】
ペアドデータを用いたペアドトレーニング方法は、結果が良好で、たくさんの量のＣＴとＭＲＩの整列された映像ペアを手に入れなくても良いという利点があるが、確実に整列されたデータを得ることが難しいし、データを手に入れるのにたくさんの費用が掛かるという短所がある。
【００３５】
一方、アンペアドデータを用いたアンペアドトレーニング方法は、たくさんの量のデータの確保が可能であるので、トレーニングデータをネズミ算式に増やし、現在のディープラーニングベースのシステムの多くの制約を解消できるという利点があるが、ペアドトレーニング方法に比べて結果の質が衰え、性能に多くの差があるという短所がある。
【００３６】
本発明の少なくとも一つの実施例では、ペアドデータとアンペアドデータを両方用いてＣＴ映像をＭＲＩ映像に変換することで、ペアドトレーニングの短所とアンペアドトレーニングの短所を補うアプローチを提供する。
【００３７】
図２は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の機能ブロック図である。
【００３８】
図２に示すように、本発明の少なくとも一つの実施例に係る診断映像変換装置２００は、前処理部２２０、分類部２３０、変換モジュール（変換部）２４０、後処理部２５０、及び評価部２６０で構成され、例えば、脳を撮影したＣＴ映像をＭＲＩ映像に変換して提供する。
【００３９】
前処理部２２０は、ＣＴ映像の入力を受け、入力されたＣＴ映像に対する前処理を行って分類部２３０に提供する。ここで、前処理は、例えば、正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）、グレー変換（Ｇｒａｙ  Ｓｃａｌｉｎｇ）、及びサイズ調整（Ｒｅｓｉｚｅ）などを含む。
【００４０】
本発明の少なくとも一つの実施例において、前処理部２２０は、次の数式１のように、入力されたＣＴ映像の各ピクセルの値を次のように最大最小正規化（Ｍｉｎ−Ｍａｘ  Ｎｏｒｍａｌｉｚａｔｉｏｎ）を行って前もって設定した範囲内のピクセルの値に変換する。
【数式１】
【００４１】
2020503075.tif 000003
【００４２】
ここで、vは、入力されたＣＴ映像のピクセルの値であり、v'は、ピクセルの値vを正規化したピクセルの値である。min_a及びmax_aは、入力されたＣＴの最小及び最大ピクセルの値であり、min_b及びmax_bは、正規化しようとする範囲の最小及び最大ピクセルの値である。
【００４３】
正規化後、前処理部２２０は、ＣＴ映像の映像チャネル数を１に調整するグレー変換を行う。それから、前処理部２２０は、ＣＴ映像のサイズを前もって設定した大きさに調整（Ｒｅｓｉｚｅ）する。例えば、前処理部２２０は、ＣＴ映像のサイズを２５６ｘ２５６ｘ１の大きさに調整することができる。
【００４４】
分類部２３０は、入力されたＣＴ映像を前もって設定した複数（例えば、4個）の分類のうちいずれか一つに分類する。脳のＣＴ映像はＣＴ撮影の対象である被験者が寝た状態で脳の垂直断面を撮影する。
【００４５】
本発明の少なくとも一つの実施例によれば、脳の断面を眼球部分が含まれるのか否か及び側脳室（Ｌａｔｅｒａｌ  Ｖｅｎｔｒｉｃｌｅ）及び脳室（Ｖｅｎｔｒｉｃｌｅ）が含まれるか否かによって４つの層に分類する。これによって、分類部２３０は、脳の最上段から最下段まで断層撮影した映像から眼球部分が含まれるか否か及び側脳室及び脳室が含まれるか否かによって４つの層に分ける。
【００４６】
図３は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の分類部２２０が分類する映像の一例を説明するためのイメージである。
【００４７】
図３の（ｍ１）は第１層の映像の一例である。分類部２３０は、脳の最上段から眼球が現れる以前までの映像を第１層映像ｍ１として分類する。このように、第１層映像ｍ１は、脳の最上段から順次脳の眼球部分が見える前まで撮影した映像で、ａｌ部分を見ると、脳の眼球部分が全然見えていない。
【００４８】
図３の（ｍ２）は第２層映像の一例である。分類部２３０は、眼球が現れ始めた映像から側脳室が現れる以前までの映像を第２層映像ｍ２に分類する。第２層映像ｍ２は、映像でａ２部分に示すように、眼球が見え始めてからｂ１部分に示すように側脳室が見える前までの映像であるので、映像で眼球部分が存在し、側脳室は見えていない。
【００４９】
図３の（ｍ３）は第３層映像の一例である。分類部２３０は、側脳室が現れ始めてから脳室が終わる前までの映像を第３層映像ｍ３に分類する。このように、第３層映像ｍ３は、側脳室が見え始めてから脳室が終わる前までの映像であるので、映像に側脳室または脳室が存在する。
【００５０】
図３の（ｍ４）は第４層映像の一例である。分類部２３０は、脳室が終わってから脳の最下段までの映像を第４層映像ｍ４に分類する。このように、第４層映像ｍ４は、脳室が終わってから脳の最下段までの映像で、映像に側脳室または脳室は存在しない。
【００５１】
図３ではＣＴ映像を例として脳の断面を複数の層に分類しているが、ＭＲＩ映像もＣＴ映像と同様に分類することができる。
【００５２】
分類部２３０は、人工神経網（Ａｒｔｉｆｉｃｉａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含む。このような人工神経網は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含む。これによって、分類部２３０は、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４を学習データとして、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４を学習することができる。
【００５３】
図４は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の変換部２３０の機能ブロック図である。図５及び図６は、本発明の少なくとも一つの実施例に係る診断映像変換装置２００の変換部２３０の学習を説明するための概略図である。
【００５４】
図４に示すように、変換部２４０は、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４を含む。第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４は、それぞれ第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に対応する。これによって、分類部２３０は、入力されるＣＴ映像を第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に分類した後、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応する変換モジュールに供給する。
【００５５】
変換部２４０は、分類部２３０から入力されるＣＴ映像をＭＲＩ映像に変換する。
【００５６】
第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４はそれぞれ人工神経網を含む。このような人工神経網は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を含む。本発明の少なくとも一つの実施例に係る第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のそれぞれに含まれる人工神経網の詳細構成を図５及び図６に示す。
【００５７】
第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４それぞれの人工神経網は、ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、ＣＴ判別子（ＣＤ）、ＭＲＩ確率損失測定子（ＭＳＬ）、ＣＴ確率損失測定子（ＣＳＬ）、ＭＲＩ基準損失測定子（ＭＬＬ）、及びＣＴ基準損失測定子（ＣＬＬ）を含む。
【００５８】
ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）のそれぞれは、独立した人工神経網であり、本発明の少なくとも一つの実施例においてはＣＮＮである。ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）のそれぞれは、複数の階層を含み、それぞれの階層は複数の演算を含む。さらに、複数の演算はそれぞれ加重値（Ｗｅｉｇｈｔ）を含む。
【００５９】
複数の階層は、入力層（Ｉｎｐｕｔ  Ｌａｙｅｒ）、コンボリューション層（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｌａｙｅｒ）、ポーリング層（Ｐｏｌｌｉｎｇ  Ｌａｙｅｒ）、完全接続層（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）、及び出力層（Ｏｕｔｐｕｔ  Ｌａｙｅｒ）のうち少なくとも一つを含む。複数の演算は、コンボリューション演算、ポーリング演算、シグモード（Ｓｉｇｍｏｄｅ）演算、ハイパータンジェンシャル演算などを含む。このような演算はそれぞれ以前の階層の演算の結果を入力として受けて演算を行い、それぞれの演算は加重値を含む。
【００６０】
図５及び図６を参照すると、ＭＲＩ生成子（Ｇ）は、ＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成する。即ち、ＭＲＩ生成子（Ｇ）は、ピクセル単位で複数の演算を行い、入力されたＣＴ映像のピクセルを複数の演算を介してＭＲＩ映像のピクセルに変換してＭＲＩ映像を生成する。ＣＴ生成子（Ｆ）は、ＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成する。即ち、ＣＴ生成子（Ｆ）は、ピクセル単位で複数の演算を行い、入力されたＭＲＩ映像のピクセルを複数の演算を介してＣＴ映像のピクセルに変換してＣＴ映像を生成する。
【００６１】
図５に示すように、ＭＲＩ判別子（ＭＤ）は、映像が入力されると、入力された映像に対して複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力する。ここで、ＭＲＩ判別子（ＭＤ）に入力される映像は、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像（ｃＭＲＩ）または学習データであるＭＲＩ映像（ｒＭＲＩ）である。
【００６２】
ＭＲＩ確率損失測定子（ＭＳＬ）は、ＭＲＩ判別子（ＭＤ）からＭＲＩ判別子（ＭＤ）の出力値である、ＭＲＩ判別子（ＭＤ）に入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を入力として受け、ＭＲＩ映像である確率とＭＲＩ映像でない確率の出力値と期待値との差である確率損失を算出する。このとき、確率損失を算出するためにｓｏｆｔｍａｘ関数を用いることができる。
【００６３】
ＭＲＩ判別子（ＭＤ）は、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像または学習データであるＭＲＩ映像が入力され、ＭＲＩ生成子（Ｇ）が十分学習された状態であれば、ＭＲＩ判別子（ＭＤ）は、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像または学習データであるＭＲＩ映像を両方ともＭＲＩ映像として判別することを期待できる。このような場合、ＭＲＩ判別子（ＭＤ）は、ＭＲＩ映像である確率がＭＲＩ映像でない確率より高く、ＭＲＩ映像である確率が所定値以上であり、ＭＲＩ映像でない確率が所定値以下として出力することを期待できる。しかし、十分学習が行われてない場合は、ＭＲＩ判別子（ＭＤ）の出力値と期待値には差があり、ＭＲＩ確率損失測定子（ＭＳＬ）はこのような出力値と期待値との差を算出する。
【００６４】
ＭＲＩ生成子（Ｇ）がＭＲＩ生成子（Ｇ）に入力されたＣＴ映像（ｒＣＴ）からＭＲＩ映像（ｃＭＲＩ）を生成すると、ＣＴ生成子（Ｆ）は生成されたＭＲＩ映像（ｃＭＲＩ）からＣＴ映像（ｃＣＴ）を再び生成することができる。ＣＴ基準損失測定子（ＣＬＬ）は、ＣＴ生成子（Ｆ）が再び生成したＣＴ映像（ｃＣＴ）とこれの基準になるＭＲＩ生成子（Ｇ）に入力されたＣＴ映像（ｒＣＴ）の差である基準損失を算出する。このような基準損失はＬ２  ｎｏｒｍ演算を介して算出することができる。
【００６５】
図６に示すように、ＣＴ判別子（ＣＤ）は、映像が入力されると、入力された映像に対して複数の演算を行い、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力する。ここで、ＣＴ判別子（ＣＤ）に入力される映像は、ＣＴ生成子（Ｆ）が生成したＣＴ映像（ｃＣＴ）または学習データであるＣＴ映像（ｒＣＴ）である。
【００６６】
ＣＴ確率損失測定子（ＣＳＬ）は、ＣＴ判別子（ＣＤ）からＣＴ判別子（ＣＤ）の出力値であるＣＴ判別子（ＣＤ）に入力された映像がＣＴ映像である確率とＣＴ映像でない確率を受け、ＣＴ映像である確率とＣＴ映像でない確率の出力値と期待値との差である確率損失を算出する。このとき、確率損失を算出するためにｓｏｆｔｍａｘ関数を用いることができる。
【００６７】
ＣＴ判別子（ＣＤ）には、ＣＴ生成子（Ｆ）が生成したＣＴ映像または学習データであるＣＴ映像が入力され、ＣＴ生成子（Ｆ）が十分学習された状態であれば、ＣＴ判別子（ＣＤ）はＣＴ生成子（Ｆ）が生成したＣＴ映像（ｃＣＴ）または学習データであるＣＴ映像（ｒＣＴ）を両方ともＣＴ映像として判別することを期待できる。このような場合、ＣＴ判別子（ＣＤ）は、ＣＴ映像である確率がＣＴ映像でない確率より高く、ＣＴ映像である確率が所定値以上であり、ＣＴ映像でない確率が所定値以下として出力することを期待できる。しかし、十分学習が行われてない場合は、ＣＴ判別子（ＣＤ）の出力値と期待値には差があり、ＣＴ確率損失測定子（ＣＳＬ）はこのような出力値と期待値との差を算出する。
【００６８】
ＣＴ生成子（Ｆ）がＣＴ生成子（Ｆ）に入力されたＭＲＩ映像（ｒＭＲＩ）からＣＴ映像（ｃＣＴ）を生成すると、ＭＲＩ生成子（Ｇ）は、生成されたＣＴ映像（ｃＣＴ）からＭＲＩ映像（ｃＭＲＩ）を再び生成することができる。ＭＲＩ基準損失測定子（ＭＬＬ）は、ＭＲＩ生成子（Ｇ）が再び生成したＭＲＩ映像（ｃＭＲＩ）とこれの基準となるＣＴ生成子（Ｆ）に入力されたＭＲＩ映像（ｒＭＲＩ）との差である基準損失を算出する。このような基準損失はＬ２  のｒｍ演算を介して算出することができる。
【００６９】
基本的に、変換部２４０の人工神経網は、ＣＴ映像をＭＲＩ映像に変換するためのものである。ＭＲＩ生成子（Ｇ）は、ＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成する。このために、ＭＲＩ生成子（Ｇ）に対する学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）が要求される。以下、前述したＭＲＩ生成子（Ｇ）を始め、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、ＣＴ判別子（ＣＤ）、ＭＲＩ確率損失測定子（ＭＳＬ）、ＣＴ確率損失測定子（ＣＳＬ）、ＭＲＩ基準損失測定子（ＭＬＬ）、及びＣＴ基準損失測定子（ＣＬＬ）を介した学習方法について説明する。
【００７０】
ＣＴ映像及びＭＲＩ映像は、同様に脳の断面を撮影するが、ＣＴとＭＲＩの装置と特性上、正確にマッチングする断面を撮影することはできない。従って、ＣＴ映像断面が同一のＭＲＩ映像は存在しないと言える。そのため、ＣＴ映像をＭＲＩ映像に変換することを学習するために、図５に示すような順方向プロセスと図６に示すような逆方向プロセスを介して確率損失と基準損失を求め、確率損失と基準損失が最小になるように逆伝搬（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）を介してＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）に含まれた複数の演算の加重値を修正する。
【００７１】
第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のそれぞれの人工神経網が十分学習された変換部２４０は、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４の何れか一つのＣＴ映像が入力されると、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応するモジュールの人工神経網を介してＭＲＩ映像に変換する。このように変換されたＭＲＩ映像は後処理部２５０に供給される。
【００７２】
後処理部２５０は、変換部２４０が変換したＭＲＩ映像に対する後処理を行う。後処理は、イメージの品質（Ｑｕａｌｉｔｙ）を向上させるためのデコンボリューション（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を含む。ここで、デコンボリューションは、逆フィルタリング、焦点合わせなどを含む。後処理部２５０は選択的な構成で、必要に応じて省略することができる。
【００７３】
評価部２６０は、変換部２４０が変換したＭＲＩ映像または後処理部２５０を経た映像がＭＲＩ映像である確率とＣＴ映像である確率を出力する。評価部２６０は、人工神経網を含み、このような人工神経網は、例えば、ＣＮＮである。評価部２６０は、入力層、コンボリューション層、ポーリング層、完全接続層、及び出力層のうち少なくとも一つを含み、各層は複数の演算、即ちポーリング演算、シグモード演算、ハイパータンジェンシャル演算のうち少なくとも一つを含む。各演算は加重値を有する。
【００７４】
学習データはＣＴ映像またはＭＲＩ映像を含む。人工神経網に学習データとしてＣＴ映像が入力されると、人工神経網の出力はＭＲＩ映像である確率よりＣＴ映像である確率が高く出力されると期待されるし、学習データとしてＭＲＩ映像が入力されると、人工神経網の出力はＣＴ映像である確率よりＭＲＩ映像である確率が高く出力されると期待される。学習の際に、このような出力に対する期待値は実際の出力値と差がある。従って、学習データを入力した後、このような期待値と出力値との差を求め、期待値と出力値との差が最小になるように逆伝搬アルゴリズムを介して評価部２６０の人工神経網の複数の演算の加重値を修正する。
【００７５】
どのような学習データを入力した場合にも期待値と出力値との差が所定値以下で変動がなければ、十分学習されたものとして判断する。十分学習が行われた後、評価部２６０は、変換部２４０が変換したＭＲＩ映像がＭＲＩ映像であるか否かを判断するために用いられる。特に、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。このとき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２４０の学習が十分行われていると判断することができる。
【００７６】
図７は、本発明の少なくとも一つの実施例に係る診断映像変換装置の変換部の学習方法を説明するためのフローチャートである。
【００７７】
以下、説明の便宜のため、ＭＲＩ機器が撮影したＭＲＩ映像を実際ＭＲＩ映像（ｒＭＲＩ）と称し、ＭＲＩ生成子（Ｇ）が生成したＭＲＩ映像を変換ＭＲＩ映像（ｃＭＲＩ）と称し、ＣＴ機器が撮影したＣＴ映像を実際ＣＴ映像（ｒＣＴ）と称し、ＣＴ生成子（Ｆ）が生成したＣＴ映像を変換ＣＴ映像（ｃＣＴ）と称する。
【００７８】
前述のように、本発明の少なくとも一つの実施例に係る変換部２４０の人工神経網に対する学習は、図５に示すような順方向プロセスと図６に示すような逆方向プロセスを介して確率損失と基準損失を求め、確率損失と基準損失が最小になるように逆伝搬アルゴリズムを介してＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）に含まれた複数の演算の加重値を修正する過程である。
【００７９】
図５及び図７を参照して順方向プロセスに関して説明すると、変換部２４０は、ステップＳ７１０で学習データである実際ＣＴ映像（ｒＣＴ）をＭＲＩ生成子（Ｇ）に入力する。ＭＲＩ生成子（Ｇ）は、ステップＳ７２０で実際ＣＴ映像（ｒＣＴ）から変換ＭＲＩ映像（ｃＭＲＩ）を生成する。変換部２４０は、ステップＳ７３０で変換ＭＲＩ映像（ｃＭＲＩ）及び実際ＭＲＩ映像（ｒＭＲＩ）それぞれをＭＲＩ判別子（ＭＤ）に入力する。そして、ＭＲＩ判別子（ＭＤ）は、ステップＳ７４０で変換ＭＲＩ映像（ｃＭＲＩ）及び実際ＭＲＩ映像（ｒＭＲＩ）それぞれに対してＭＲＩ映像である確率とＭＲＩ映像でない確率を出力する。続いて、ＭＲＩ確率損失測定子（ＭＳＬ）は、ステップＳ７５０でＭＲＩ判別子（ＭＤ）からＭＲＩ映像である確率とＭＲＩ映像でない確率を受け、ＭＲＩ映像である確率とＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出する。
【００８０】
一方、変換部２４０は、ステップＳ７６０でＭＲＩ生成子（Ｇ）が出力した変換ＭＲＩ映像（ｃＭＲＩ）をＣＴ生成子（Ｆ）に入力する。すると、ＣＴ生成子（Ｆ）は、ステップＳ７７０で変換ＭＲＩ映像（ｃＭＲＩ）から変換ＣＴ映像（ｃＣＴ）を生成する。そして、ＣＴ基準損失測定子（ＣＬＬ）は、ステップＳ７８０でＣＴ生成子（Ｆ）が生成した変換ＣＴ映像（ｃＣＴ）と先に（ステップＳ７１０で）入力された学習データである実際ＣＴ映像（ｒＣＴ）との差である基準損失を算出する。
【００８１】
次に、図６及び図７を参照して逆方向プロセスに関して説明すると、変換部２４０は、ステップＳ７１５で学習データである実際ＭＲＩ映像（ｒＭＲＩ）をＣＴ生成子（Ｆ）に入力する。ＣＴ生成子（Ｆ）は、ステップＳ７２５で実際ＭＲＩ映像（ｒＭＲＩ）から変換ＣＴ映像（ｃＣＴ）を生成する。変換部２４０は、ステップＳ７３５で変換ＣＴ映像（ｃＣＴ）及び実際ＣＴ映像（ｒＣＴ）それぞれをＣＴ判別子（ＣＤ）に入力する。すると、ＣＴ判別子（ＣＤ）は、ステップＳ７４５で変換ＣＴ映像（ｃＣＴ）及び実際ＣＴ映像（ｒＣＴ）それぞれに対してＣＴ映像である確率とＣＴ映像でない確率を出力する。続いて、ＣＴ確率損失測定子（ＣＳＬ）は、ステップＳ７５５でＣＴ判別子（ＣＤ）からＣＴ映像である確率とＣＴ映像でない確率を受け、ＣＴ映像である確率とＣＴ映像でない確率の期待値と出力値との差である確率損失を算出する。
【００８２】
一方、変換部２４０は、ステップＳ７６５でＣＴ生成子（Ｆ）が出力した変換ＣＴ映像（ｃＣＴ）をＭＲＩ生成子（Ｇ）に入力する。すると、ＭＲＩ生成子（Ｇ）は、ステップＳ７７５で変換ＣＴ映像（ｃＣＴ）から変換ＭＲＩ映像（ｃＭＲＩ）を生成する。そして、ＭＲＩ基準損失測定子（ＭＬＬ）は、ステップＳ７８５でＭＲＩ生成子（Ｇ）が生成した変換ＭＲＩ映像（ｃＭＲＩ）と先に（ステップＳ７１５で）入力された学習データである実際ＭＲＩ映像（ｒＭＲＩ）との差である基準損失を算出する。
【００８３】
次に、変換部２４０は、ステップＳ７９０で順方向プロセスのステップＳ７５０とステップＳ７８０で算出した確率損失と基準損失及び順方向プロセスのステップＳ７５５とステップＳ７８５で算出した確率損失と基準損失が最小になるように逆伝搬アルゴリズムを介してＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、及びＣＴ判別子（ＣＤ）に含まれた複数の演算の加重値を修正する。
【００８４】
本発明の少なくとも一つの実施例によれば、前述した学習過程は、複数の学習データ、即ち実際ＣＴ映像（ｒＣＴ）及び実際ＭＲＩ映像（ｒＭＲＩ）を用いて確率損失と基準損失が前もって設定した数値以下になるまで繰り返して行われる。従って、変換部２４０は、前述した順方向プロセス及び逆方向プロセスの結果、確率損失と基準損失が前もって設定した数値以下になれば、十分学習が完了したものとして判断し、学習過程を終了する。
【００８５】
一方、他の実施例によると、前述した学習過程の終了は評価部２６０によって決定することができる。即ち、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。ことのき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２６０の学習が十分行われているものとして判断し、学習過程を終了することができる。
【００８６】
次に、本発明の少なくとも一つの実施例に係る診断映像を変換する方法を説明する。図８は、本発明の少なくとも一つの実施例に係る診断映像変換方法を説明するためのフローチャートである。
【００８７】
図８に示すように、ステップＳ８１０でＣＴ映像が入力されると、前処理部２２０は、ステップＳ８２０でＣＴ映像に対する前処理を実行する。ここで、前処理は、正規化、グレー変換、及びサイズ調整を含む。このようなステップＳ８２０での前処理は省略可能である。
【００８８】
次に、分類部２３０は、ステップＳ８３０で入力されたＣＴ映像を前もって設定した４つの分類のうちいずれか一つに分類し、変換部２４０の第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応する変換モジュールに供給する。このとき、分類部２３０は、脳の最上段から眼球が現れる前までの映像を 第１層映像ｍ１に分類し、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像ｍ２として分類し、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像ｍ３として分類し、脳室が終わった後、脳の最下段までの映像を第４層映像ｍ４として分類する。
【００８９】
次に、変換部２４０は、ステップＳ８４０で分類部２３０が分類したＣＴ映像を第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４のうち対応する変換モジュールを介してＭＲＩ映像に変換する。ここで、対応する変換モジュール（２３１、２３２、２３３、２３４のうち何れか一つ）は人工神経網を含み、このような人工神経網は図５ないし図７で説明したように、ＣＴ映像をＭＲＩ映像に変換するように学習されたものである。
【００９０】
特に、第１変換モジュールないし第４変換モジュール２３１、２３２、２３３、２３４それぞれの人工神経網の学習データとして用いられるＣＴ映像及びＭＲＩ映像としては、図４で説明した第１層ないし第４層の映像（ｍ１、ｍ２、ｍ３、ｍ４）のうち対応する層の映像用い、ＣＴ映像及びＭＲＩ映像両方とも同一の層の映像を用いる。例えば、第３変換モジュール２３３の学習のために用いられる映像はＣＴ映像及びＭＲＩ映像両方とも第３層映像ｍ３である。このように、脳の映像を複数の領域に分け、特化した学習を行えるので、より正確な変換結果を提供することが可能である。
【００９１】
続いて、後処理部２５０は、ステップＳ８５０で変換したＭＲＩ映像に対して後処理を行う。後処理は、イメージの品質を向上させるためのデコンボリューション処理を含む。このようなステップＳ８５０の後処理は必要に応じて省略可能である。
【００９２】
次に、評価部２６０は、ステップＳ８６０で変換部２４０によって変換されたＭＲＩ映像を検証する。評価部２６０は、入力された映像、即ち変換部２４０によって変換されたＭＲＩ映像がＭＲＩ映像である確率とＣＴ映像である確率を算出する。評価部２６０は、ＭＲＩ映像である確率が前もって設定した数値以上であれば当該映像の検証に成功したものとして判断する。検証に成功すると、評価部２６０は、ステップＳ８７０で当該ＭＲＩ映像を出力する。
【００９３】
図９は、ＣＴ映像とＭＲＩ映像のペアドデータの生成を説明するためのイメージである。
【００９４】
理想的なペアドデータは、同一の患者の同一の部位（位置及び構造）を同一の時刻に撮影したＣＴ映像とＭＲＩ映像のペアであると言えるが、実際にはこのようなペアドデータは存在しない。従って、時間をおいて同一の患者の同一の位置及び構造を撮影したＣＴ映像とＭＲＩ映像をペアドデータであると言える。
【００９５】
このようなペアドデータと言っても、大体の場合は図９の上方に示すように、ＣＴ映像とＭＲＩ映像の角度がわずかに異なるので、これらをオーバレイしたときに望む結果を得られない場合がある。
【００９６】
このようなペアドデータを互いに整列させることで、図９の下方に示すように、望むＣＴ映像とＭＲＩ映像のペアドデータを得ることができる。
【００９７】
図９に示す例では、同一の患者のＣＴ映像とＭＲＩ映像が相互情報に基づいてアピン変換を用いて整列される。図９に示すように、処理後のＣＴ映像とＭＲＩ映像は、空間及び時間的に整列されているのが分かる。
【００９８】
図１０は、ペアドデータとアンペアドデータを用いた複合サイクル一致構造（Ｄｕａｌ  Ｃｙｃｌｅ−Ｃｏｎｓｉｓｔｅｎｔ  Ｓｔｒｕｃｔｕｒｅ）の例を示す概略図である。
【００９９】
図１０で、ＩＣＴはＣＴ映像を表し、ＩＭＲはＭＲＩ映像を表し、Ｓｙｎは合成ネットワーク（Ｓｙｎｔｈｅｔｉｃ  Ｎｅｔｗｏｒｋ）を表し、Ｄｉｓは判別子ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｏｒ  Ｎｅｔｗｏｒｋ）を表す。
【０１００】
図１０で、（ａ）は順方向アンペアドデータサイクルを表し、（ｂ）は逆方向アンペアドデータサイクルを表し、（ｃ）は順方向ペアドデータサイクルを表し、（ｄ）は逆方向ペアドデータサイクルを表す。
【０１０１】
順方向アンペアドデータサイクルで、入力ＣＴ映像は合成ネットワークＳｙｎＭＲによってＭＲＩ映像に変換される。合成されたＭＲＩ映像は、オリジナルＣＴ映像を近似するＣＴ映像に変換され、ＤｉｓＭＲは実際ＭＲＩ映像と合成ＭＲＩ映像を区別するように学習される。
【０１０２】
逆方向アンペアドデータサイクルでは、反対にＳｙｎＣＴによって入力ＭＲＩ映像からＣＴ映像が合成される。ＳｙｎＭＲが合成されたＣＴ映像からＭＲＩ映像を再構成し、ＤｉｓＣＴは実際ＣＴ映像と合成ＣＴ映像を区別するように学習される。
【０１０３】
順方向ペアドデータサイクルと逆方向ペアドデータサイクルはそれぞれ順方向アンペアドデータサイクルと逆方向アンペアドデータサイクルと同様に作用する。但し、順方向ペアドデータサイクルと逆方向ペアドデータサイクルでＤｉｓＭＲとＤｉｓＣＴは単に実際映像と合成映像を区別するのにとどまらないで、実際映像と合成映像ペアを分類するように学習される。さらに、ペアドデータサイクルでは合成映像と基準映像間のｖｏｘｅｌ−ｗｉｓｅ損失が含まれる。
【０１０４】
図１１は、上記のように学習された変換モジュールを用いてＣＴ映像をＭＲＩ映像に変換したときに、入力ＣＴ映像、合成ＭＲＩ映像、参照ＭＲＩ映像、及び実際ＭＲＩ映像と合成ＭＲＩ映像との絶対誤差を示すイメージである。
【０１０５】
図１１は、左側から入力ＣＴ映像、合成ＭＲＩ映像、参照ＭＲＩ映像、及び実際ＭＲＩ映像と合成ＭＲＩ映像間の絶対誤差を示す。
【０１０６】
図１２は、入力ＣＴ映像、ペアドデータ、アンペアドデータ、及びペアドデータとアンペアドデータを用いた場合の合成ＭＲＩ映像、及び参照ＭＲＩ映像を示すイメージである。
【０１０７】
図１２は、左側から入力ＣＴ映像、ペアド学習を用いて合成したＭＲＩ映像、アンペアド学習を用いて合成したＭＲＩ映像、ペアドとアンペアド学習両方を用いて合成したＭＲＩ映像、及び参照ＭＲＩ映像を示す。
【０１０８】
図１２に示すように、ペアドデータのみを用いる場合、内容の面では充実な結果を得ることができるが、構造的な面では満足できる結果を得ることができないことが分かる。一方、アンペアドデータのみを用いる場合、構造的な面では充実な結果を得ることができるが、内容的な面では満足できる結果を得ることができないことが分かる。
【０１０９】
ペアドデータとアンペアドデータを両方用いた学習は、図１２の左から４番目のイメージに示すように、内容と構造両方とも満足できる結果が得られることが分かる。
【０１１０】
図１３は、本発明の少なくとも一つの実施例に係る診断映像撮影装置１７００の機能ブロック図である。
【０１１１】
図１３に示すように、本発明の少なくとも一つの実施例に係る診断映像撮影装置１７００は、ＣＴ撮影のためのＸ線を発生させるＸ線発生装置１７１０、Ｘ線発生装置１７１０から発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得装置１７２０、データ取得装置１７２０が取得した映像データからＣＴ映像を構成して出力する映像構成装置１７３０、映像構成装置１７３０が構成したＣＴ映像を受け、ＭＲＩ映像に変換して出力する診断映像変換装置２００、及びＣＴ映像とＭＲＩ映像を表示するディスプレイ装置１７５０を備える。
【０１１２】
診断映像撮影装置１７００では、通常のＣＴ撮影工程でＸ線発生装置１７１０から発生されたＸ線を用いて身体部位をスキャンし、映像構成装置１７３０が通常のＣＴ映像を構成してディスプレイ装置１７５０に表示することができる。
【０１１３】
さらに、診断映像撮影装置１７００は、映像構成装置１７３０が構成したＣＴ映像を診断映像変換装置２００に入力し、ＣＴ映像をＭＲＩ映像に変換してディスプレイ装置１７５０に表示することができる。
【０１１４】
本発明の少なくとも一つの実施例において、ディスプレイ装置１７５０は、映像構成装置１７３０が構成したＣＴ映像と診断映像変換装置２００が変換したＭＲＩ映像を必要に応じて選択的にまたは両方とも表示する。
【０１１５】
このように、診断映像撮影装置１７００は、ＣＴ撮影のみで、ＣＴ映像とＭＲＩ映像を同時に得ることができるので、緊急事態でより多くの人命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約することができる。
【０１１６】
前述した本発明の少なくとも一つの実施例に係る様々の方法は、様々なコンピューティング手段を介して読み取り可能なプログラムの形態で実現され、コンピューターで読み取り可能な記録媒体に格納することができる。ここで、記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。
【０１１７】
記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたものであっても良いし、またはコンピューターソフトウェアの当業者に公知で使用可能なものであっても良い。
【０１１８】
例えば、記録媒体は、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ  Ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気・光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーのように、プログラム命令を格納して実行するように構成されたハードウェア装置を含む。
【０１１９】
プログラム命令の例には、コンパイラーによって作成される機械語ワイヤーのみならず、インタープリターなどを用いてコンピューターによって実行可能な高級言語ワイヤーが含まれる。前述のようなハードウェア装置は本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
【０１２０】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換装置を提供することができる。
【０１２１】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成装置を提供することができる。
【０１２２】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影装置を提供することができる。
【０１２３】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換方法を提供することができる。
【０１２４】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像変換モジュール生成方法を提供することができる。
【０１２５】
本発明の少なくとも一つの実施例によれば、ＣＴ映像からＭＲＩ映像を得ることが可能な診断映像撮影方法を提供することができる。
【０１２６】
本発明の少なくとも一つの実施例によれば、ＣＴ映像をＭＲＩ映像に変換し、緊急事態でより多くの命を救うことができるのみならず、ＭＲＩ撮影に必要な時間と費用を節約することができる。
【０１２７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【０１２８】
２００：診断映像変換装置            ２１０：入力部
２２０：前処理部                    ２３０：分類部
２４０：変換部                      ２４１：第１変換部
２４２：第２変換部                  ２４３：第３変換部
２４４：第４変換部                  ２５０：後処理部
２６０：評価部                      ２７０：出力部
Ｇ：ＭＲＩ生成子                    Ｆ：ＣＴ生成子
ＭＤ：ＭＲＩ判別子                  ＣＤ：ＣＴ判別子
ＭＳＬ：ＭＲＩ確率損失測定子         ＣＳＬ：ＣＴ確率損失測定子
ＭＬＬ：ＭＲＩ基準損失測定子         ＣＬＬ：ＣＴ基準損失測定子
【図１】
2020503075.tif 000004
【図２】
2020503075.tif 000005
【図３】
2020503075.tif 000006
【図４】
2020503075.tif 000007
【図５】
2020503075.tif 000008
【図６】
2020503075.tif 000009
【図７】
2020503075.tif 000010
【図８】
2020503075.tif 000011
【図９】
2020503075.tif 000012
【図１０】
2020503075.tif 000013
【図１１】
2020503075.tif 000014
【図１２】
2020503075.tif 000015
【図１３】
2020503075.tif 000016
【手続補正書】
【提出日】令和1年10月15日(2019.10.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＣＴ映像を入力するための入力部と、
前記入力部を介して入力されたＣＴ映像をＭＲＩ映像に変換する変換モジュールと、
前記変換モジュールが変換したＭＲＩ映像を出力するための出力部と
を備える、
診断映像変換装置。
【請求項２】
前記入力部を介して入力されたＣＴ映像を、撮影された断層の位置によって分類する分類部をさらに備え、
前記変換モジュールは、前記分類部によって分類されたＣＴ映像をＭＲＩ映像に変換する、
請求項１に記載の診断映像変換装置。
【請求項３】
前記分類部は、前記ＣＴ映像を、撮影された断層の位置によって、
脳の最上段から眼球が現れる前までの映像を第１層映像として分類し、
眼球が現れ始め、側脳室が現れる前までの映像を第２層映像として分類し、
側脳室が現れ始め、脳室が終わる前までの映像を第３層映像として分類し、
脳室が終わった後、脳の最下段までの映像を第４層映像として分類する、
請求項２に記載の診断映像変換装置。
【請求項４】
前記変換モジュールは、
前記第１層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第１変換モジュールと、
前記第２層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第２変換モジュールと、
前記第３層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第３変換モジュールと、
前記第４層映像として分類されたＣＴ映像をＭＲＩ映像に変換する第４変換モジュールと、
を含む、
請求項３に記載の診断映像変換装置。
【請求項５】
前記入力部を介して入力されたＣＴ映像に対し、正規化、グレー変換、及びサイズ調整のうち少なくとも一つを含む前処理を実行する前処理部をさらに備える、
請求項１に記載の診断映像変換装置。
【請求項６】
前記変換モジュールが変換したＭＲＩ映像に対し、デコンボリューションを含む後処理を実行する後処理部をさらに備える、
請求項１に記載の診断映像変換装置。
【請求項７】
前記変換モジュールが変換したＭＲＩ映像がＣＴ映像である確率とＭＲＩ映像である確率を出力する評価部をさらに備える、
請求項１に記載の診断映像変換装置。
【請求項８】
請求項１に記載の診断映像変換装置の前記変換モジュールを生成するための診断映像変換モジュール生成装置であって、
学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成子と、
学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成子と、
前記ＭＲＩ生成子が生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別子と、
前記ＣＴ生成子が生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別子と、
前記ＭＲＩ判別子から出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定子と、
前記ＣＴ判別子から出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定子と、
前記ＭＲＩ生成子が生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定子と、
前記ＣＴ生成子が生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定子と、
を備え、
前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、
診断映像変換モジュール生成装置。
【請求項９】
ペアドデータとアンペアドデータを用いて前記確率損失及び前記基準損失が最小になるように逆伝搬アルゴリズムを用いて前記ＭＲＩ生成子、前記ＣＴ生成子、前記ＭＲＩ判別子、及び前記ＣＴ判別子に含まれた複数の演算の加重値を修正する、
請求項８に記載の診断映像変換モジュール生成装置。
【請求項１０】
ＣＴ撮影のためのＸ線を発生するＸ線発生装置と、
前記Ｘ線発生装置から発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得装置と、
前記データ取得装置が取得した前記映像データからＣＴ映像を構成して出力する映像構成装置と、
前記映像構成装置が構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する請求項１ないし請求項７の何れか一項に記載の診断映像変換装置と、
前記ＣＴ映像と前記ＭＲＩ映像を表示するディスプレイ装置と、
を備え、
前記ディスプレイ装置は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する、
診断映像撮影装置。
【請求項１１】
ＣＴ映像を入力する入力工程と、
前記入力工程で入力されたＣＴ映像をＭＲＩ映像に変換する変換工程と、
前記変換工程で変換されたＭＲＩ映像を出力する出力工程と、
を備える、
診断映像変換方法。
【請求項１２】
請求項１１に記載の診断映像変換方法の変換工程で用いられる変換モジュールを生成するための診断映像変換モジュール生成方法であって、
学習データであるＣＴ映像が入力されると、複数の演算を行ってＭＲＩ映像を生成するＭＲＩ生成工程と、
学習データであるＭＲＩ映像が入力されると、複数の演算を行ってＣＴ映像を生成するＣＴ生成工程と、
前記ＭＲＩ生成工程で生成したＭＲＩ映像と学習データであるＭＲＩ映像を含む映像が入力されると、複数の演算を行って、入力された映像がＭＲＩ映像である確率とＭＲＩ映像でない確率を出力するＭＲＩ判別工程と、
前記ＣＴ生成工程で生成したＣＴ映像と学習データであるＣＴ映像を含む映像が入力されると複数の演算を行って、入力された映像がＣＴ映像である確率とＣＴ映像でない確率を出力するＣＴ判別工程と、
前記ＭＲＩ判別工程で出力される前記ＭＲＩ映像である確率と前記ＭＲＩ映像でない確率の期待値と出力値との差である確率損失を算出するＭＲＩ確率損失測定工程と、
前記ＣＴ判別工程で出力される前記ＣＴ映像である確率と前記ＣＴ映像でない確率の期待値と出力値との差である確率損失を算出するＣＴ確率損失測定工程と、
前記ＭＲＩ生成工程で生成したＭＲＩ映像と前記学習データであるＭＲＩ映像との差である基準損失を算出するＭＲＩ基準損失測定工程と、
前記ＣＴ生成工程で生成したＣＴ映像と前記学習データであるＣＴ映像との差である基準損失を算出するＣＴ基準損失測定工程と、
前記確率損失及び前記基準損失が最小になるように、逆伝搬（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを用いて前記ＭＲＩ生成工程、前記ＣＴ生成工程、前記ＭＲＩ判別工程、及び前記ＣＴ判別工程に含まれた複数の演算の加重値を修正する加重値修訂工程と
を備える、
診断映像変換モジュール生成方法。
【請求項１３】
ＣＴ撮影のためのＸ線を発生するＸ線発生工程と、
前記Ｘ線発生工程で発生して人体を透過したＸ線を検出し、検出したＸ線を電気信号に変換し、変換された電気信号から映像データを取得するデータ取得工程と、
前記データ取得工程で取得した前記映像データからＣＴ映像を構成して出力する映像構成工程と、
前記映像構成工程で構成した前記ＣＴ映像の入力を受け、ＭＲＩ映像に変換して出力する請求項１１に記載の診断映像変換方法を実行する診断映像変換工程と、
前記ＣＴ映像と前記ＭＲＩ映像を表示する映像表示工程と、
を備え、
前記映像表示工程は、前記ＣＴ映像と前記ＭＲＩ映像を選択的に表示するか、または両方とも表示する工程を含む、
診断映像撮影方法。
【請求項１４】
請求項１１に記載の診断映像変換方法をコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１２に記載の診断映像変換モジュール生成方法をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１３に記載の診断映像撮影方法をコンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図２に示すように、本発明の少なくとも一つの実施例に係る診断映像変換装置２００は、入力部２１０、前処理部２２０、分類部２３０、変換モジュール（変換部）２４０、後処理部２５０、評価部２６０、及び出力部２７０で構成され、例えば、脳を撮影したＣＴ映像をＭＲＩ映像に変換して提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
図４に示すように、変換部２４０は、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４を含む。第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４は、それぞれ第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に対応する。これによって、分類部２３０は、入力されるＣＴ映像を第１層映像ないし第４層映像ｍ１、ｍ２、ｍ３、 ｍ４に分類した後、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応する変換モジュールに供給する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４はそれぞれ人工神経網を含む。このような人工神経網は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を含む。本発明の少なくとも一つの実施例に係る第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のそれぞれに含まれる人工神経網の詳細構成を図５及び図６に示す。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４それぞれの人工神経網は、ＭＲＩ生成子（Ｇ）、ＣＴ生成子（Ｆ）、ＭＲＩ判別子（ＭＤ）、ＣＴ判別子（ＣＤ）、ＭＲＩ確率損失測定子（ＭＳＬ）、ＣＴ確率損失測定子（ＣＳＬ）、ＭＲＩ基準損失測定子（ＭＬＬ）、及びＣＴ基準損失測定子（ＣＬＬ）を含む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のそれぞれの人工神経網が十分学習された変換部２４０は、第１層ないし第４層の映像ｍ１、ｍ２、ｍ３、ｍ４の何れか一つのＣＴ映像が入力されると、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応するモジュールの人工神経網を介してＭＲＩ映像に変換する。このように変換されたＭＲＩ映像は後処理部２５０に供給される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
どのような学習データを入力した場合にも期待値と出力値との差が所定値以下で変動がなければ、十分学習されたものとして判断する。十分学習が行われた後、評価部２６０は、変換部２４０が変換したＭＲＩ映像がＭＲＩ映像であるか否かを判断するために用いられる。特に、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。このとき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２４０の学習が十分行われていると判断することができる。出力部２７０は変換部２４０が変換したＭＲＩ映像を出力する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
一方、他の実施例によると、前述した学習過程の終了は評価部２６０によって決定することができる。即ち、評価部２６０は、変換部２４０の学習が十分行われているか否かを判断するために用いることができる。変換部２４０にＣＴ映像を入力し、変換部２４０が出力した映像に対して評価部２６０がＭＲＩ映像である確率とＣＴ映像である確率を出力するテスト過程を複数回繰り返す。ことのき、繰り返すテスト過程で持続的にＭＲＩ映像である確率が所定値以上であれば、変換部２４０の学習が十分行われているものとして判断し、学習過程を終了することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
次に、分類部２３０は、ステップＳ８３０で入力されたＣＴ映像を前もって設定した４つの分類のうちいずれか一つに分類し、変換部２４０の第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応する変換モジュールに供給する。このとき、分類部２３０は、脳の最上段から眼球が現れる前までの映像を 第１層映像ｍ１に分類し、眼球が現れ始め、側脳室が現れる前までの映像を第２層映像ｍ２として分類し、側脳室が現れ始め、脳室が終わる前までの映像を第３層映像ｍ３として分類し、脳室が終わった後、脳の最下段までの映像を第４層映像ｍ４として分類する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
次に、変換部２４０は、ステップＳ８４０で分類部２３０が分類したＣＴ映像を第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４のうち対応する変換モジュールを介してＭＲＩ映像に変換する。ここで、対応する変換モジュール（２４１、２４２、２４３、２４４のうち何れか一つ）は人工神経網を含み、このような人工神経網は図５ないし図７で説明したように、ＣＴ映像をＭＲＩ映像に変換するように学習されたものである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
特に、第１変換モジュールないし第４変換モジュール２４１、２４２、２４３、２４４それぞれの人工神経網の学習データとして用いられるＣＴ映像及びＭＲＩ映像としては、図４で説明した第１層ないし第４層の映像（ｍ１、ｍ２、ｍ３、ｍ４）のうち対応する層の映像用い、ＣＴ映像及びＭＲＩ映像両方とも同一の層の映像を用いる。例えば、第３変換モジュール２４３の学習のために用いられる映像はＣＴ映像及びＭＲＩ映像両方とも第３層映像ｍ３である。このように、脳の映像を複数の領域に分け、特化した学習を行えるので、より正確な変換結果を提供することが可能である。
【国際調査報告】
2020503075.tif 000017
2020503075.tif 000018
2020503075.tif 000019
2020503075.tif 000020