(57)【要約】  本明細書中の１つ以上の実施形態によれば、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するためのシステム１００が提供される。システム１００は、第１および第２の画像型の元の医用画像を得、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得、第２の画像型の第１の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第１のパラメータ化変換関数Ｇ１を、第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第１の画像型の第１の元の医用画像に適用することにより生成された第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算し、第１の画像型の元の医用画像および／または第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第１の画像型の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を第１の画像型の元の医用画像に適用することにより生成された第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算し、かつ初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて最適化されたパラメータ化変換関数Ｔを生成するように構成された少なくとも１つの処理装置を備える。【選択図】図５
2021524631.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するためのシステム（１００）であって、前記システムは、
前記第１および第２の画像型の元の医用画像を得、
前記第１の画像型の元の医用画像を前記第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得、
前記第２の画像型の第１の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第１のパラメータ化変換関数Ｇ１を、前記第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された前記第１の画像型の第１の元の医用画像に適用することにより生成された前記第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算し、
前記第１の画像型の元の医用画像および／または前記第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、前記第１の画像型の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を前記第１の画像型の元の医用画像に適用することにより生成された前記第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算し、かつ
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて前記最適化されたパラメータ化変換関数Ｔを生成する
ように構成された少なくとも１つの処理装置を備える、システム（１００）。
【請求項２】
前記少なくとも１つの処理装置はさらに、
前記第２の画像型の元の医用画像と前記第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得、かつ
前記第２の画像型の少なくとも１つの元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を前記第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された前記第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合に前記第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算する
ように構成されており、
前記少なくとも１つの処理装置は、前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいて前記パラメータ化変換関数Ｔを生成する、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの処理装置は、前記第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Ｔを生成するために使用される前記パラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて前記第１のパラメータ化識別関数Ｄ１を得る、請求項２に記載のシステム。
【請求項４】
前記少なくとも１つの処理装置はさらに、
第２のパラメータ化識別関数Ｄ２を得て、
ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち前記第１の画像型の元の医用画像および前記第２の画像型の元の医用画像からなる画像ペアと、
ｂ）前記第１の画像型の元の医用画像および前記第２の画像型の対応する変換された医用画像からなる画像ペアと
を識別し、
前記第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算する
ように構成されており、
前記少なくとも１つの処理装置は、前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４に基づいて前記パラメータ化変換関数Ｔを生成する、請求項１〜３のいずれか１項に記載のシステム。
【請求項５】
前記少なくとも１つの処理装置は、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより前記初期パラメータ化変換関数Ｇを得る、請求項１〜４のいずれか１項に記載のシステム。
【請求項６】
前記少なくとも１つの処理装置は、前記パラメータ化変換関数Ｔが繰り返し最適化されるように、以前に生成された最適化されたパラメータ化変換関数Ｔを前記初期パラメータ化変換関数Ｇとして使用することにより前記初期パラメータ化変換関数Ｇを得る、請求項１〜４のいずれか１項に記載のシステム。
【請求項７】
前記少なくとも１つの処理装置は、最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第３の画像型に変換した後に、前記画像をボクセルごとに比較することにより前記第１の元の医用画像を前記対応する第１の変換された医用画像と比較し、ここでは前記第３の画像型はそれらをより容易に比較することができるように前記画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特定の特徴を増幅させる、請求項１〜６のいずれか１項に記載のシステム。
【請求項８】
前記第１のパラメータ化変換関数Ｇ１および／または前記第２のパラメータ化変換関数Ｇ２は前記初期パラメータ化変換関数Ｇと同じである、請求項１〜７のいずれか１項に記載のシステム。
【請求項９】
前記画像型は例えばＭＲ、ＣＴまたはＣＢＣＴなどの医用画像モダリティのものである、請求項１〜８のいずれか１項に記載のシステム。
【請求項１０】
第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するプロセッサ実装方法（６００）であって、
前記第１および第２の画像型の元の医用画像を得ること（６１０）と、
前記第１の画像型の元の医用画像を前記第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得ること（６２０）と、
前記第２の画像型の第１の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく前記第１のパラメータ化変換関数Ｇ１を、前記第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された前記第１の画像型の第１の元の医用画像に適用することにより生成された前記第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算すること（６３０）と、
前記第１の画像型の元の医用画像および／または前記第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、前記第１の画像型の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を前記第１の画像型の元の医用画像に適用することにより生成された前記第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算すること（６４０）と、
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて前記最適化されたパラメータ化変換関数Ｔを生成すること（６５０）と、
を含む、方法。
【請求項１１】
前記第２の画像型の元の医用画像と前記第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得ること（６６０）と、
前記第２の画像型の少なくとも１つの元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を前記第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された前記第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合に前記第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算すること（６７０）と、
をさらに含み、
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいて前記パラメータ化変換関数Ｔを生成する（６４０）、請求項１０に記載の方法。
【請求項１２】
前記第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Ｔを生成するために使用される前記パラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて前記第１のパラメータ化識別関数Ｄ１を得ること（６６０）をさらに含む、請求項１１に記載の方法。
【請求項１３】
ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち前記第１の画像型の元の医用画像および前記第２の画像型の元の医用画像からなる画像ペアと、
ｂ）前記第１の画像型の元の医用画像および前記第２の画像型の対応する変換された医用画像からなる画像ペアと、
を識別するための第２のパラメータ化識別関数Ｄ２を得ること（６８０）と、
前記第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算すること（６９０）と、
をさらに含み、
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４とに基づいて前記パラメータ化変換関数Ｔを生成する（６５０）、請求項１０〜１２のいずれか１項に記載の方法。
【請求項１４】
ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いてそれを生成することにより前記初期パラメータ化変換関数Ｇを得ること（６２０）をさらに含む、請求項１０〜１３のいずれか１項に記載の方法。
【請求項１５】
前記パラメータ化変換関数Ｔが繰り返し最適化されるように、以前に生成された最適化されたパラメータ化変換関数Ｔを前記初期パラメータ化変換関数Ｇとして使用することによって前記初期パラメータ化変換関数Ｇを得る（６２０）、請求項１０〜１３のいずれか１項に記載の方法。
【請求項１６】
前記第１の元の医用画像と前記対応する第１の変換された医用画像とのボクセルごとの比較は、最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第３の画像型に変換した後に前記画像を比較し、ここでは前記第３の画像型はそれらをより容易に比較することができるように前記画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特定の特徴を増幅させる、請求項１０〜１５のいずれか１項に記載の方法。
【請求項１７】
第１のパラメータ化変換関数Ｇ１および／または前記第２のパラメータ化変換関数Ｇ２は前記初期パラメータ化変換関数Ｇと同じである、請求項１０〜１６のいずれか１項に記載の方法。
【請求項１８】
前記画像型は例えばＭＲ、ＣＴまたはＣＢＣＴなどの医用画像モダリティのものである、請求項１０〜１７のいずれか１項に記載の方法。
【請求項１９】
請求項１０〜１８のいずれか１項に記載の方法によって生成される最適化されたパラメータ化変換関数Ｔ。
【請求項２０】
第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための請求項１０〜１８のいずれか１項に記載の方法によって生成される最適化されたパラメータ化変換関数Ｔの使用であって、これは例えば放射線治療計画における線量計算のために使用することができ、ここでは前記第２の画像型の変換された医用画像の分析に基づいて例えば制御信号の形態の機械命令を放射線治療機器に送信することができる、使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般に、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するためのシステムおよび方法に関する。
【背景技術】
【０００２】
コンピュータ断層撮影（ＣＴ）画像化は多くの目的のために有用である。ＣＴ画像は例えば放射線治療計画における線量計算のために使用することができる。しかしながら、線量計算のために使用することができる他の画像取得方法を見つけることができる場合には、ＣＴ検査には時間がかかり、患者が放射線に暴露されるという、ＣＴ画像化を避ける理由がある。
【０００３】
線量計算のためにコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を使用することができるが、ＣＢＣＴ画像はＣＴ画像よりもアーチファクトを生じやすく、かつその強度スケールがＣＴ画像におけるものとは異なる場合もある。
【０００４】
論文「Ｄｅｅｐ  ＭＲ  ｔｏ  ＣＴ  Ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  Ｕｎｐａｉｒｅｄ  Ｄａｔａ（ペアでないデータを用いた深層学習ベースのＭＲからＣＴへの合成）（Ｗｏｌｔｅｒｉｎｋら，２０１７）」は、ＣｙｃｌｅＧＡＮモデルとペアでないＭＲおよびＣＴ画像とを用いてＭＲ画像をＣＴ画像に変換するための敵対的生成ネットワーク（ＧＡＮ：ｇｅｎｅｒａｌ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ）のトレーニングについて記載している。
【０００５】
論文「Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ  ｗｉｔｈ  Ｃｏｎｔｅｘｔ−Ａｗａｒｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ（コンテキストアウェアな敵対的生成ネットワークによる医用画像合成）（Ｎｉｅら，２０１６）」は、敵対的トレーニング戦略および画像勾配差の損失関数を用いてＭＲ画像をＣＴ画像に変換するための完全畳み込みネットワークのトレーニングについて記載している。
【０００６】
先行技術に関する問題
論文「Ｄｅｅｐ  ＭＲ  ｔｏ  ＣＴ  Ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  Ｕｎｐａｉｒｅｄ  Ｄａｔａ」に記載されている手法では、ペアでないデータのみを使用するという事実により生成された変換関数があまり正確でなくなる可能性がある。この手法では、決して検出することができない偽情報を導入してしまうというリスクもある。
【０００７】
論文「Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ  ｗｉｔｈ  Ｃｏｎｔｅｘｔ−Ａｗａｒｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ」に記載されている手法では、変換された画像と元の画像とが比較されないという事実により生成された変換関数があまり正確でなくなる可能性がある。この手法は多くの正確なペアのデータも必要とする。
【０００８】
従って、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成する改良された方法が必要とされている。
【発明の概要】
【０００９】
上記問題は、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するための本特許請求されているシステムによって対処される。本システムは、第１および第２の画像型の元の医用画像を得、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得、第２の画像型の第１の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第１のパラメータ化変換関数Ｇ１を、第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第１の画像型の第１の元の医用画像に適用することにより生成された第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算し、第１の画像型の元の医用画像および／または第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第１の画像型の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を第１の画像型の元の医用画像に適用することにより生成された第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算し、かつ例えば前記第１および第２のペナルティＰ１およびＰ２を最小化するようにパラメータを適合させるために例えば前記第１および第２のペナルティＰ１およびＰ２の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて最適化されたパラメータ化変換関数Ｔを生成するように構成された少なくとも１つの処理装置を備えていてもよい。そのようなシステムにより、非常に正確な最適化されたパラメータ化変換関数Ｔの生成が可能になる。
【００１０】
実施形態では、少なくとも１つの処理装置はさらに、第２の画像型の元の医用画像と第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得、かつ第２の画像型の少なくとも１つの元の医用画像と、初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合に第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算するように構成されている。少なくとも１つの処理装置はこの場合、例えば前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３を最小化するようにパラメータを適合させるために例えば前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいてパラメータ化変換関数Ｔを生成する。少なくとも１つの処理装置は、第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、例えば前記第３のペナルティＰ３を最小化するようにパラメータを適合させるために例えば前記第３のペナルティＰ３の勾配の推定値を使用することにより、例えば前記最適化されたパラメータ化変換関数Ｔを生成するために使用されるパラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて第１のパラメータ化識別関数Ｄ１を得てもよい。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００１１】
実施形態では、少なくとも１つの処理装置はさらに、ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第１の画像型の元の医用画像および第２の画像型の元の医用画像からなる画像ペアと、ｂ）第１の画像型の元の医用画像および第２の画像型の対応する変換された医用画像からなる画像ペアとを識別するために、第２のパラメータ化識別関数Ｄ２を得、かつ第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算するように構成されている。少なくとも１つの処理装置はこの場合、例えば前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４を最小化するようにパラメータを適合させるために例えば前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４とに基づいてパラメータ化変換関数Ｔを生成してもよい。少なくとも１つの処理装置は、第２のパラメータ化識別関数Ｄ２が繰り返し最適化されるように、例えば前記第４のペナルティＰ４を最小化するようにパラメータを適合させるために例えば前記第４のペナルティＰ４の勾配の推定値を使用することにより、例えば前記最適化されたパラメータ化変換関数Ｔを生成するために使用されるパラメータ化識別関数Ｄ２のパラメータと少なくとも前記第４のペナルティＰ４とに基づいて第２のパラメータ化識別関数Ｄ２を得てもよい。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００１２】
また当然ながら、少なくとも１つの処理装置が、例えば前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４を最小化するようにパラメータを適合させるために例えば前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４とに基づいてパラメータ化変換関数Ｔを生成するように、第３および第４のペナルティを組み合わせてもよい。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００１３】
少なくとも１つの処理装置は例えば、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いてそれを生成することにより初期パラメータ化変換関数Ｇを得てもよい。機械学習アルゴリズムは例えば敵対的生成ネットワーク（ＧＡＮ）であってもよい。少なくとも１つの処理装置はパラメータ化変換関数Ｔが繰り返し最適化されるようにさらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Ｔを初期パラメータ化変換関数Ｇとして使用することにより初期パラメータ化変換関数Ｇを得てもよい。
【００１４】
少なくとも１つの処理装置は例えば、最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第３の画像型に変換した後に画像をボクセルごとに比較することにより第１の元の医用画像を対応する第１の変換された医用画像と比較してもよく、ここでは第３の画像型はそれらをより容易に比較することができるように画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特定の特徴を増幅させる。あるいは少なくとも１つの処理装置は、画像の比較前に第１の画像型の元の医用画像を第２の画像型に、あるいは第２の画像型の変換された医用画像を第１の画像型に変換してもよい。
【００１５】
少なくとも１つの処理装置は１つの処理装置であってもよく、あるいは本特許請求されている機能を一緒に行ういくつかの異なる処理装置を含んでもよい。
【００１６】
上記問題は、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成する本特許請求されているプロセッサ実装方法によってさらに対処される。本方法は、第１および第２の画像型の元の医用画像を得ることと、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得ることと、第２の画像型の第１の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第１のパラメータ化変換関数Ｇ１を、第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第１の画像型の第１の元の医用画像に適用することにより生成された第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算することと、第１の画像型の元の医用画像および／または第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第１の画像型の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を第１の画像型の元の医用画像に適用することにより生成された第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算することと、例えば前記第１および第２のペナルティＰ１およびＰ２を最小化するようにパラメータを適合させるために例えば前記第１および第２のペナルティＰ１およびＰ２の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて最適化されたパラメータ化変換関数Ｔを生成することとを含んでもよい。そのような方法により、非常に正確な最適化されたパラメータ化変換関数Ｔの生成が可能になる。
【００１７】
実施形態では、本方法は、第２の画像型の元の医用画像と第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得ることと、第２の画像型の少なくとも１つの元の医用画像と、初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合に第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算することとをさらに含む。パラメータ化変換関数Ｔはこの場合、例えば前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３を最小化するようにパラメータを適合させるために例えば前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいて生成してもよい。第１のパラメータ化識別関数Ｄ１は例えば、第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、例えば前記第３のペナルティＰ３を最小化するようにパラメータを適合させるために例えば前記第３のペナルティＰ３の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Ｔを生成するために使用されるパラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて得てもよい。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００１８】
実施形態では、本方法は、ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第１の画像型の元の医用画像および第２の画像型の元の医用画像からなる画像ペアと、ｂ）第１の画像型の元の医用画像および第２の画像型の対応する変換された医用画像からなる画像ペアとを識別するための第２のパラメータ化識別関数Ｄ２を得ることと、第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算することとをさらに含む。パラメータ化変換関数Ｔはこの場合、例えば前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４を最小化するようにパラメータを適合させるために例えば前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４とに基づいて生成してもよい。第２のパラメータ化識別関数Ｄ２は例えば、第２のパラメータ化識別関数Ｄ２が繰り返し最適化されるように、例えば前記第４のペナルティＰ４を最小化するようにパラメータを適合させるために例えば前記第４のペナルティＰ４の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Ｔを生成するために使用されるパラメータ化識別関数Ｄ２のパラメータと少なくとも前記第４のペナルティＰ４とに基づいて得てもよい。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００１９】
また当然ながら、例えば前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４を最小化するようにパラメータを適合させるために例えば前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４とに基づいてパラメータ化変換関数Ｔを生成するように、第３および第４のペナルティを組み合わせてもよい。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００２０】
初期パラメータ化変換関数Ｇは例えば、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより得てもよい。機械学習アルゴリズムは例えば敵対的生成ネットワーク（ＧＡＮ）であってもよい。パラメータ化変換関数Ｔが繰り返し最適化されるようにさらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Ｔを初期パラメータ化変換関数Ｇとして使用することにより初期パラメータ化変換関数Ｇを得てもよい。
【００２１】
実施形態では、パラメータを例えばペナルティの加重和の勾配に基づいて適合させることができるように、ペナルティをペナルティの加重和の形態で組み合わせる。他の実施形態では、パラメータを一度に１つのペナルティに基づいて適合させるように、代わりにペナルティを順々に適用する。
【００２２】
最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第３の画像型に変換した後に、第１の元の医用画像と対応する第１の変換された医用画像との比較により、例えば画像をボクセルごとに比較してもよく、ここでは第３の画像型はそれらをより容易に比較することができるように画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特定の特徴を増幅させる。あるいは画像の比較前に、第１の画像型の元の医用画像を第２の画像型に変換してもよく、あるいは第２の画像型の変換された医用画像を第１の画像型に変換してもよい。
【００２３】
第１のパラメータ化変換関数Ｇ１および／または第２のパラメータ化変換関数Ｇ２は例えば初期パラメータ化変換関数Ｇと同じであってもよい。但しそれらはまた、例えば第１のパラメータ化変換関数Ｇ１が初期パラメータ化変換関数Ｇのパラメータと第１のペナルティＰ１とに基づいており、かつ第２のパラメータ化変換関数Ｇ２が初期パラメータ化変換関数Ｇまたは第１のパラメータ化変換関数Ｇ１のいずれかのパラメータと第２のペナルティＰ２とに基づいていることによって異なってもよい。同じことが第３および第４のパラメータ化変換関数Ｇ３およびＧ４にも当てはまる。ペナルティを順々に適用する場合、１つのペナルティに基づいて適応させたパラメータ化変換関数を例えばその後のペナルティを計算する際に使用してもよい。
【００２４】
画像型は例えばＭＲ、ＣＴまたはＣＢＣＴなどの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第３の画像型に変換する。他の実施形態では、第１の画像型は特定の医用画像モダリティの医用画像であり、かつ第２の画像型は密度、阻止能、材料組成、および／または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第１の画像型はセグメント化画像であり、かつ第２の画像型は特定の医用画像モダリティの医用画像である。これは例えば、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために仮定の患者画像を作成するのに有用であり得る。
【００２５】
上記問題は、上記方法のいずれか１つによって生成される最適化されたパラメータ化変換関数Ｔによって、および第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための上記方法のいずれか１つによって生成される最適化されたパラメータ化変換関数Ｔの使用によってさらに対処され、これは例えば放射線治療計画における線量計算のために使用することができ、ここでは第２の画像型の変換された医用画像の分析に基づいて例えば制御信号の形態の機械命令を放射線治療機器に送信することができる。
【００２６】
本発明の範囲は特許請求の範囲によって定められており、それは参照によりこの箇所に組み込まれる。１つ以上の実施形態の以下の詳細な説明の考察により、本発明の実施形態のより完全な理解ならびにそのさらなる利点の実現が当業者に与えられることになる。最初に簡単に説明されている図面の添付されているシートに対して参照がなされることになる。
【図面の簡単な説明】
【００２７】
【図１】本明細書に記載されている１つ以上の実施形態に係る、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するためのシステムを概略的に例解している。
【図２】本明細書に記載されている１つ以上の実施形態に係る、第１のペナルティＰ１および第２のペナルティＰ２の計算を概略的に例解している。
【図３】本明細書に記載されている１つ以上の実施形態に係る、第３のペナルティＰ３の計算を概略的に例解している。
【図４】本明細書に記載されている１つ以上の実施形態に係る、第４のペナルティＰ４の計算を概略的に例解している。
【図５】本明細書に記載されている１つ以上の実施形態に係る、第２のペナルティＰ２の計算を概略的に例解している。
【図６】本明細書に記載されている１つ以上の実施形態に係る、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するプロセッサ実装方法を概略的に例解している。
【図７】本方法の工程を例示するフローチャートである。
【発明を実施するための形態】
【００２８】
本開示の実施形態およびそれらの利点は以下の詳細な説明を参照することにより最も良く理解される。当然のことながら同様の符号は図の１つ以上に例解されている同様の要素を特定するために使用されている。
【００２９】
導入
上で説明したように、ＭＲ画像に基づいてＣＴ画像を生成するために機械学習アルゴリズムをトレーニングする多くの異なる方法が公知である。しかし公知の方法は全て、アルゴリズムをトレーニングするためにペアの医用画像を使用すること、またはペアでない医用画像を用いてネットワークをトレーニングするために例えばＣｙｃｌｅＧＡＮモデルなどのフィードバックモデルを使用することのいずれかに依存している。例えば、論文「Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ  ｗｉｔｈ  Ｃｏｎｔｅｘｔ−Ａｗａｒｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ」を参照する論文「Ｄｅｅｐ  ＭＲ  ｔｏ  ＣＴ  Ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  Ｕｎｐａｉｒｅｄ  Ｄａｔａ」には、ＣｙｃｌｅＧＡＮモデルを使用する場合、トレーニングのためにペアの医用画像を使用することは必要でないと説明されている。
【００３０】
しかし本発明者らは、ペアの医用画像の組み合わせに基づく機械学習アルゴリズムのトレーニングおよび変換された医用画像と元の医用画像との比較はさらにより強力であること、およびそれにより改良された機械学習アルゴリズムが得られることを発見した。ペアのデータの使用は偽情報を導入するリスクを大きく減らす。機械学習アルゴリズムは、識別関数の使用に基づいてトレーニングすることによってもさらにもっと改良することができる。
【００３１】
ペアの医用画像は、例えば頭部または患者のあらゆる他の体部分などの同じ患者の同じ部分を示すために決定された異なる画像型の元の医用画像である。画像型は、例えば磁気共鳴画像法（ＭＲ）画像、コンピュータ断層撮影（ＣＴ）画像、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像またはポジトロン断層法（ＰＥＴ）画像などの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第３の画像型に変換する。他の実施形態では、第１の画像型は特定の医用画像モダリティの医用画像であり、かつ第２の画像型は密度、阻止能、材料組成、および／または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第１の画像型はセグメント化画像であり、かつ第２の画像型は特定の医用画像モダリティの医用画像である。
【００３２】
例えば本システムおよび方法を使用して第１の画像型の画像を第２の画像型の画像に、例えばＭＲ画像をＣＴ画像に、またはＣＢＣＴ画像をＣＴ画像に、あるいは任意の第１の画像型を密度、阻止能、材料組成、および／または線量計算のために使用することができるあらゆる他の特徴を示す第２の画像型に変換してもよい。変換された画像は例えば放射線治療計画における線量計算のために使用することができ、例えば変換された画像の分析に基づいて例えば制御信号の形態の機械命令を放射線治療機器に送信することができる。追加または代わりとして、本システムおよび方法を画像中のアーチファクトを除去するために使用することができる。
【００３３】
本開示は一般に、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するためのパラメータ化変換関数を生成するためのシステムおよび方法に関する。
【００３４】
ここに開示されている解決法の実施形態は図に関連してより詳細に示されている。
【００３５】
システムアーキテクチャ
図１は、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するためのシステム１００を概略的に例解している。実施形態によれば、本システムは、画像およびパラメータを受信および記憶するように構成された記憶媒体１１０を備える。いくつかの実施形態では、システム１００は図１では破線矢印によって示されているように、少なくとも１つの画像化システム１３０に通信可能に結合されている。画像化システム１３０は、例えばＸ線画像、超音波画像、コンピュータ断層撮影（ＣＴ）画像、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像、ポジトロン断層法（ＰＥＴ）画像などの核医学画像および／または磁気共鳴画像法（ＭＲ）画像などの元の医用画像を取り込むか生成するように構成されていてもよい。記憶媒体１１０は、少なくとも１つの画像化システム１３０から元の医用画像を受信し、かつ受信した元の医用画像を記憶するように構成されていてもよい。
【００３６】
システム１００は、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するように構成された少なくとも１つの処理装置１２０をさらに備える。少なくとも１つの処理装置１２０は例えば各種処理動作を行うための命令を実行することができる一般的なデータプロセッサまたは他の回路もしくは集積回路であってもよい。少なくとも１つの処理装置１２０は１つの処理装置であってもよく、あるいは本特許請求されている機能を一緒に行ういくつかの異なる処理装置を含んでもよい。
【００３７】
１つ以上の実施形態では、少なくとも１つの処理装置１２０は、例えば記憶媒体１１０から第１および第２の画像型の元の医用画像を得、例えば記憶媒体１１０から第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得、第２の画像型の第１の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第１のパラメータ化変換関数Ｇ１を、第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第１の画像型の第１の元の医用画像に適用することにより生成された第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算し、第１の画像型の元の医用画像および／または第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第１の画像型の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を第１の画像型の元の医用画像に適用することにより生成された第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算し、かつ例えば前記第１および第２のペナルティＰ１およびＰ２を最小化するようにパラメータを適合させるために例えば前記第１および第２のペナルティＰ１およびＰ２の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて最適化されたパラメータ化変換関数Ｔを生成するように構成されている。最適化されたパラメータ化変換関数Ｔは例えば記憶媒体１１０に記憶させてもよい。
【００３８】
従って第１のペナルティＰ１は、第２の画像型の変換された医用画像と第２の画像型のペアの元の医用画像とを比較することによりペアの画像に基づいていてもよい。例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えばボクセルごとに比較することができるものは、例えば画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特徴であってもよい。変換された医用画像がペアの元の医用画像に非常に類似している場合、第１のパラメータ化変換関数Ｇ１は第１の画像型の元の医用画像を第２の画像型の変換された医用画像に非常に正確に変換しており、従ってペナルティＰ１は低くなる。変換された医用画像がペアの元の医用画像と非常に異なる場合、第１のパラメータ化変換関数Ｇ１は第１の画像型の元の医用画像を第２の画像型の変換された医用画像に正確に変換しておらず、従ってペナルティＰ１は高くなる。この場合、少なくとも１つの処理装置１２０は、例えばペナルティＰ１を最小化するように最適化されたパラメータ化変換関数Ｔのパラメータを適合させてもよい。これは任意の数のペアの画像のために行ってもよい。
【００３９】
第２のペナルティＰ２は、同じ画像型の画像に変換した後の変換された医用画像と元の医用画像との例えばボクセルごとの比較に基づいている。これは画像の一方を他の画像型の画像に変換すること、または両方の画像を第３の画像型の画像に変換することのいずれかによって行ってもよい。但し画像をボクセルごとに比較するためにそれらを同じ画像型にしなければならない。
【００４０】
画像型は医用画像モダリティのものである必要はない。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第３の画像型に変換する。他の実施形態では、第１の画像型は特定の医用画像モダリティの医用画像であり、かつ第２の画像型は密度、阻止能、材料組成、および／または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第１の画像型はセグメント化画像であり、かつ第２の画像型は特定の医用画像モダリティの医用画像である。これは、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために例えば仮定の患者画像を作成するのに有用であり得る。
【００４１】
例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて比較することができるものは、例えば画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特徴であってもよい。２つの画像のこれらの特性が非常に類似している場合、第２のパラメータ化変換関数Ｇ２は第１の画像型の元の医用画像を第２の画像型の変換された医用画像に非常に正確に変換しており、ペナルティＰ２は非常に低くなる。２つの画像のこれらの特性が非常に異なる場合、第２のパラメータ化変換関数Ｇ２は第１の画像型の元の医用画像を第２の画像型の変換された医用画像に正確に変換しておらず、ペナルティＰ２は高くなる。この場合、少なくとも１つの処理装置１２０は、例えばペナルティＰ２を最小化するように最適化されたパラメータ化変換関数Ｔのパラメータを適合させてもよい。これは任意の数の変換された医用画像のために行ってもよい。
【００４２】
図２は、ＣＴ画像をＭＲ画像に変換し（図の左側）、かつＭＲ画像をＣＴ画像に変換する（図の右側）状況における第１および第２のペナルティＰ１およびＰ２の計算を概略的に例解しており、図２のそれぞれ半分は独立したプロセスである。ＣＴｐおよびＭＲｐはペアの元の医用画像であり、ＣＴｒおよびＭＲｒはペアでない元の医用画像である。ＭＲｒ＊およびＭＲｐ＊は変換関数ＧＭＲを用いてＣＴ画像からＭＲ画像に変換されている医用画像であり、ＣＴｐ＊およびＣＴｒ＊は変換関数ＧＣＴを用いてＭＲ画像からＣＴ画像に変換されている医用画像である。ＣＴｃｙｃは、変換関数ＧＭＲを用いてＣＴ画像からＭＲ画像に変換され、かつ次いで別の変換関数ＨＣＴを用いてＣＴ画像に再変換されている医用画像であり、ＭＲｃｙｃは、変換関数ＧＣＴを用いてＭＲ画像からＣＴ画像に変換され、かつ次いで別の変換関数ＨＭＲを用いてＭＲ画像に再変換されている医用画像である。図２に記載されている実施形態では、ＧＭＲおよびＨＭＲは典型的には同じ関数であり、ＧＣＴおよびＨＣＴは典型的には同じ関数である。
【００４３】
Ｐ１は、この例解では、ペアの画像との比較に基づいて決定されているので、Ｐ１はラベル付けされた「ペア損失」である。Ｐ１は図２によれば、ＭＲｐ＊をＭＲｐと比較するか、ＣＴｐ＊をＣＴｐと比較するかのいずれかによって決定してもよい。例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えばボクセルごとに比較することができるものは、例えば画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特徴であってもよい。
【００４４】
Ｐ２は、この例解では、変換された画像をその元の画像型にサイクル的に再変換した後に元の画像と変換された画像との比較に基づいて決定することができるため、Ｐ２はラベル付けされたサイクル損失である。Ｐ２はこの場合、ＧおよびＨの両方のパラメータを最適化するために使用されるペナルティを決定することができる。Ｐ２は図２によれば、ＣＴｒを変換関数ＧＭＲを用いて変換し、かつ別の変換関数ＨＣＴを用いて再変換したＣＴｒであるＣＴｃｙｃと比較することにより決定することができる。Ｐ２は図２によれば追加または代わりとして、ＭＲｒを変換関数ＧＣＴを用いて変換し、かつ別の変換関数ＨＭＲを用いて再変換したＭＲｒであるＭＲｃｙｃと比較することにより決定することができる。これらの比較は例えばボクセルごとであってもよい。
【００４５】
１つ以上の実施形態では、少なくとも１つの処理装置１２０はさらに、第２の画像型の元の医用画像と第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得、かつ第２の画像型の少なくとも１つの元の医用画像と、初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合の第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算するように構成されている。
【００４６】
少なくとも１つの処理装置１２０はこの場合、例えば前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３を最小化するようにパラメータを適合させるために例えば前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいてパラメータ化変換関数Ｔを生成する。少なくとも１つの処理装置は例えば、第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、例えば前記第３のペナルティＰ３を最小化するようにパラメータを適合させるために例えば前記第３のペナルティＰ３の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Ｔを生成するために使用されるパラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて第１のパラメータ化識別関数Ｄ１を得てもよい。
【００４７】
従って第３のペナルティＰ３は、同じ画像型の元の医用画像と変換された医用画像とを識別することを試みる場合の識別関数の分類誤差に基づいている。使用される元の医用画像は任意の元の医用画像であってもよく、それは変換された医用画像のベースとなる元の医用画像とペアである必要はない。そのような識別関数は敵対的ネットワークのトレーニングのために使用されることが多い。変換関数は識別関数をだますのに十分な程に現実的である変換された画像を生成することを試み、識別関数は元の画像を変換された画像と識別することを試みる。ＧＡＮフレームワークにおいてこれを行う１つの方法は、論文「Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ  ｗｉｔｈ  Ｃｏｎｔｅｘｔ−Ａｗａｒｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ」に記載されている。識別関数は好ましくは、例えば前記第３のペナルティＰ３を最小化するようにパラメータを適合させるために例えば分類誤差Ｐ３の勾配の推定値を使用することにより、少なくとも分類誤差Ｐ３に基づいて繰り返しトレーニングする。
【００４８】
図３は、第３のペナルティＰ３の計算を概略的に例解している。Ｐ３は図３によれば、ＣＴｒとＣＴｒ＊とを識別することを試みる場合の第１の識別関数Ｄ１ＣＴの分類誤差、および／またはＭＲｒとＭＲｒ＊とを識別することを試みる場合の第１の識別関数Ｄ１ＭＲの分類誤差に基づいて決定することができる。分類誤差は例えば分類誤差の割合または尤度を表す０〜１の数として決定してもよい。
【００４９】
１つ以上の実施形態では、少なくとも１つの処理装置１２０はさらに、ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第１の画像型の元の医用画像および第２の画像型の元の医用画像からなる画像ペアと、ｂ）第１の画像型の元の医用画像および第２の画像型の対応する変換された医用画像からなる画像ペアとを識別するために、第２のパラメータ化識別関数Ｄ２を得、かつ第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算するように構成されている。少なくとも１つの処理装置１２０はこの場合、例えば前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４を最小化するようにパラメータを適合させるために例えば前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４とに基づいてパラメータ化変換関数Ｔを生成してもよい。少なくとも１つの処理装置は例えば、第２のパラメータ化識別関数Ｄ２が繰り返し最適化されるように、例えば前記第４のペナルティＰ４を最小化するようにパラメータを適合させるために例えば前記第４のペナルティＰ４の勾配の推定値を使用することにより、前記最適化されたパラメータ化変換関数Ｔを生成するために使用されるパラメータ化識別関数Ｄ２のパラメータと少なくとも前記第４のペナルティＰ４とに基づいて第２のパラメータ化識別関数Ｄ２を得てもよい。
【００５０】
従って第４のペナルティＰ４は、元のペアの医用画像のペアと、元の画像および対応する変換された医用画像からなるペアとを識別することを試みる場合の識別関数の分類誤差に基づいている。
【００５１】
図４は、第４のペナルティＰ４の計算を概略的に例解している。Ｐ４は図４によれば、画像ペアＣＴｐおよびＭＲｐと画像ペアＣＴｒ＊およびＭＲｒとを識別することを試みる場合の第２の識別関数Ｄ２の分類誤差に基づいて決定してもよい。また対応するペナルティＰ４は当然ながら図４の左側のプロセスにおいて計算してもよい。この分類誤差は例えば分類誤差の割合または尤度を表す０〜１の数として決定してもよい。
【００５２】
また当然ながら、少なくとも１つの処理装置が、例えば前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４を最小化するようにパラメータを適合させるために例えば前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４の勾配の推定値を使用することにより、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４とに基づいてパラメータ化変換関数Ｔを生成するように、第３および第４のペナルティを組み合わせてもよい。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００５３】
実施形態では、パラメータを例えばペナルティの加重和の勾配に基づいて適合させるように、ペナルティをペナルティの加重和の形態で組み合わせる。他の実施形態では、パラメータを一度に１つのペナルティに基づいて適合させるように、代わりにペナルティを順々に適用する。
【００５４】
図５は、Ｐ２を計算するために使用される両方の画像を、それらを比較する前に第３の画像型に変換する一実施形態における第２のペナルティＰ２の計算を概略的に例解している。図５におけるＣＴｇｒａｄは、変換関数ＧＣＴを用いて第２の画像型の変換された医用画像ＣＴｒ＊（ＣＴ画像）に変換し、かつ次いで別の変換関数ＦＣＴを用いて第３の画像型の画像ＣＴｇｒａｄ（この例では勾配画像）に再変換した第１の画像型の元の医用画像ＭＲｒ（ＭＲ画像）に対応している。図５におけるＭＲｇｒａｄは、変換関数ＦＭＲを用いて同じ第３の画像型の画像ＭＲｇｒａｄ（この例では勾配画像）に変換した第１の画像型の同じ元の医用画像ＭＲｒ（ＭＲ画像）に対応している。図５に示されている例では、変換関数ＦＣＴおよびＦＭＲは同じ関数であるが、変換関数ＦＣＴおよびＦＭＲは異なる関数であってもよい。
【００５５】
少なくとも１つの処理装置１２０は例えば、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより初期パラメータ化変換関数Ｇを得てもよい。機械学習アルゴリズムは例えば敵対的生成ネットワーク（ＧＡＮ）であってもよい。これは、その後に本システムによって最適化することができる初期パラメータ化変換関数Ｇを得る有用な方法である。
【００５６】
少なくとも１つの処理装置１２０は、さらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Ｔを初期パラメータ化変換関数Ｇとして使用することにより初期パラメータ化変換関数Ｇを得てもよい。これによりパラメータ化変換関数Ｔの繰り返しの最適化が可能になる。
【００５７】
第１のパラメータ化変換関数Ｇ１および／または第２のパラメータ化変換関数Ｇ２は例えば初期パラメータ化変換関数Ｇと同じであってもよい。但しそれらはまた、例えば第１のパラメータ化変換関数Ｇ１が初期パラメータ化変換関数Ｇのパラメータと第１のペナルティＰ１とに基づき、かつ第２のパラメータ化変換関数Ｇ２が初期パラメータ化変換関数Ｇまたは第１のパラメータ化変換関数Ｇ１のいずれかのパラメータと第２のペナルティＰ２とに基づいていることによって異なってもよい。同じことが第３および第４のパラメータ化変換関数Ｇ３およびＧ４にも当てはまる。ペナルティを順々に適用する場合、１つのペナルティに基づいて適応させたパラメータ化変換関数を例えばその後のペナルティを計算する際に使用してもよい。
【００５８】
画像型は例えばＭＲ、ＣＴまたはＣＢＣＴなどの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第３の画像型に変換する。他の実施形態では、第１の画像型は特定の医用画像モダリティの医用画像であり、第２の画像型は密度、阻止能、材料組成、および／または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第１の画像型はセグメント化画像であり、かつ第２の画像型は特定の医用画像モダリティの医用画像である。これは、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために例えば仮定の患者画像を作成するのに有用であり得る。
【００５９】
１つ以上の実施形態では、システム１００は画像を表示するように構成された表示装置１４０を任意に備えていてもよい。表示装置１４０は少なくとも１つの処理装置１２０を介して表示のために画像を受信し、かつ／または場合により少なくとも１つの処理装置１２０または以下にさらに示されている入力装置１５０から受信した制御信号に応答して記憶媒体１１０から直接に表示のために画像を取り込むように構成されていてもよい。
【００６０】
いくつかの実施形態ではシステム１００は、ユーザ入力を受信するように構成された１つ以上の入力装置１５０を任意にさらに備えてもよい。入力装置１５０は典型的には受信したユーザ入力を解釈し、かつ前記受信したユーザ入力に応答して制御信号を生成するように構成されている。表示装置１４０および入力装置１５０は、システム１００に接続されているか通信可能に結合されている状態で一体化されていてもよい。入力装置１５０は例えば、表示されている画像に関連して入力されている受信したユーザ入力を解釈し、かつ前記受信したユーザ入力に応答して制御信号を生成して、画像の表示または表示されている画像の操作をトリガーするように構成されていてもよく、これらの操作は一時的または永続的であってもよい。そのような操作としては例えば、アノテーションを提供すること、画像もしくは画像の一部を移動もしくは変更すること、見る視点を変更すること、ズームインもしくはズームアウトすること、および／または改良された方法でユーザが表示されている画像データを見て分析するのを可能にするあらゆる他の好適な形態の操作が挙げられる。入力装置１５０は例えば、キーボード、コンピュータマウス、１つ以上のボタン、タッチ機能、ジョイスティックおよび／またはあらゆる他の好適な入力装置からなる選択対象を含んでもよい。いくつかの実施形態では、プロセッサ１２０は、入力装置１５０から制御信号を受信し、かつ受信した制御信号に応答して表示されている画像を処理する、すなわち言い換えると表示されている画像を操作するように構成されていてもよい。
【００６１】
少なくとも１つの処理装置１２０はさらに、本明細書に示されている実施形態のいずれかまたは全ての方法工程を行うように構成されていてもよい。
【００６２】
方法の実施形態
図６は、本明細書に記載されている１つ以上の実施形態に係る、第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するプロセッサ実装方法を概略的に例解している。方法６００は、
工程６１０：第１および第２の画像型の元の医用画像を得ることと、
工程６２０：第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得ることと、
工程６３０：第２の画像型の第１の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第１のパラメータ化変換関数Ｇ１を、第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された第１の画像型の第１の元の医用画像に適用することにより生成された第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算することと、
工程６４０：第１の画像型の元の医用画像および／または第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、第１の画像型の元の医用画像と、初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を第１の画像型の元の医用画像に適用することにより生成された第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算することと、
工程６５０：初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて最適化されたパラメータ化変換関数Ｔを生成することと、
を含んでもよい。
【００６３】
初期パラメータ化変換関数Ｇは、例えばニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより得てもよい（６２０）。機械学習アルゴリズムは例えば敵対的生成ネットワーク（ＧＡＮ）であってもよい。これは、その後に最適化することができる初期パラメータ化変換関数Ｇを得る（６２０）有用な方法である。
【００６４】
さらなる繰り返しにおいて以前に生成された最適化されたパラメータ化変換関数Ｔを初期パラメータ化変換関数Ｇとして使用することにより、初期パラメータ化変換関数Ｇを得てもよい（６２０）。これによりパラメータ化変換関数Ｔの繰り返しの最適化が可能になる。
【００６５】
第１の元の医用画像と対応する第１の変換された医用画像との比較は、例えば画像をボクセルごとに比較してもよい。その比較の前に、第１の画像型の元の医用画像を第２の画像型に変換してもよく、第２の画像型の変換された医用画像を第１の画像型に変換してもよく、あるいは両方の画像を第３の画像型に変換してもよい。第３の画像型はそれらをより容易に比較することができるように、例えば画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特定の特徴を増幅させてもよい。第３の画像型は例えば、勾配画像、セグメント化画像、または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力であってもよい。
【００６６】
第１のパラメータ化変換関数Ｇ１および／または第２のパラメータ化変換関数Ｇ２は例えば初期パラメータ化変換関数Ｇと同じであってもよい。但しそれらはまた、例えば第１のパラメータ化変換関数Ｇ１が初期パラメータ化変換関数Ｇのパラメータと第１のペナルティＰ１とに基づき、かつ第２のパラメータ化変換関数Ｇ２が初期パラメータ化変換関数Ｇまたは第１のパラメータ化変換関数Ｇ１のいずれかのパラメータと第２のペナルティＰ２とに基づいていることによって異なってもよい。同じことが第３および第４のパラメータ化変換関数Ｇ３およびＧ４にも当てはまる。ペナルティを順々に適用する場合、１つのペナルティに基づいて適応させたパラメータ化変換関数を例えばその後のペナルティを計算する際に使用してもよい。
【００６７】
画像型は例えばＭＲ、ＣＴまたはＣＢＣＴなどの例えば医用画像モダリティのものであってもよい。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第３の画像型に変換する。他の実施形態では、第１の画像型は特定の医用画像モダリティの医用画像であり、第２の画像型は密度、阻止能、材料組成、および／または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第１の画像型はセグメント化画像であり、かつ第２の画像型は特定の医用画像モダリティの医用画像である。これは、そのような仮定の患者画像に基づいて放射線治療をシミュレートするために例えば仮定の患者画像を作成するのに有用であり得る。
【００６８】
実施形態では、方法６００は、
工程６６０：第２の画像型の元の医用画像と第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得ることと、
工程６７０：第２の画像型の少なくとも１つの元の医用画像と、初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合の第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算することと、
をさらに含む。
【００６９】
最適化されたパラメータ化変換関数Ｔはこの場合、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいて生成してもよい（６５０）。
【００７０】
第１のパラメータ化識別関数Ｄ１は例えば、第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Ｔを生成するために使用されるパラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて得てもよい（６６０）。これにより最適化されたパラメータ化変換関数Ｔの正確性をさらに高める。
【００７１】
実施形態では、方法６００は、
工程６８０：
ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち第１の画像型の元の医用画像および第２の画像型の元の医用画像からなる画像ペアと、
ｂ）第１の画像型の元の医用画像および第２の画像型の対応する変換された医用画像からなる画像ペアと
を識別するための第２のパラメータ化識別関数Ｄ２を得ることと、
工程６９０：第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算することと、
をさらに含む。
【００７２】
パラメータ化変換関数Ｔはこの場合、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４に基づいて生成してもよい（６５０）。
【００７３】
また当然ながら、初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２、第３および第４のペナルティＰ１、Ｐ２、Ｐ３およびＰ４とに基づいてパラメータ化変換関数Ｔを生成するように、第３および第４のペナルティを組み合わせてもよい。
【００７４】
実施形態では、パラメータを例えばペナルティの加重和の勾配に基づいて適合させるように、ペナルティをペナルティの加重和の形態で組み合わせる。他の実施形態では、パラメータを一度に１つのペナルティに基づいて適合させるように、代わりにペナルティを順々に適用する。
【００７５】
使用事例の実施形態
本開示のシステムおよび方法をより大きなコンテキストに設定するために、使用事例の実施形態では最適化されたパラメータ化変換関数Ｔを生成することを元の医用画像を生成することの後に行ってもよい。
【００７６】
図７は、元の医用画像を得る工程、初期パラメータ化変換関数を得る工程、第２の画像型の変換された医用画像と第２の画像型のペアの元の医用画像とを比較することによりペアの画像に基づいて第１のペナルティＰ１を計算する工程、同じ画像型の画像に変換した後に変換された医用画像と元の医用画像との比較に基づいて第２のペナルティＰ２を計算する工程、初期パラメータ化変換関数のパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて最適化されたパラメータ化変換関数を生成する工程を含む、そのようなより大きなコンテキストを例示するフローチャートである。図７はさらに、例えば磁気共鳴画像法（ＭＲ）、コンピュータ断層撮影（ＣＴ）、コーンビームコンピュータ断層撮影（ＣＢＣＴ）および／またはポジトロン断層法（ＰＥＴ）などの画像取り込みシステムを用いてそれらを取り込むことにより元の医用画像を生成する工程、第３および第４のペナルティＰ３およびＰ４を計算する工程、および繰り返しのために変換関数を再供給する工程を含む。図７では、元の医用画像を得る工程、初期パラメータ化変換関数を得る工程、第１のペナルティＰ１を計算する工程、第２のペナルティＰ２を計算する工程およびパラメータ化変換関数を最適化する工程以外の全ては、それらがコンテキストのみを提供するために図に示されている任意の工程であり、かつ本明細書に示されている実施形態のいずれにも必須ではないことを明らかにするために破線で示されている。特に、元の医用画像の生成に関する工程７１０および７２０は本明細書に示されている実施形態の一部ではない。
【００７７】
図７に示されている例によれば、第１の画像型の元の医用画像は、例えば磁気共鳴画像法（ＭＲ）、コーンビームコンピュータ断層撮影（ＣＢＣＴ）および／またはポジトロン断層法（ＰＥＴ）を用いる画像取込システム１３０によって取り込むことによって工程７１０で生成してもよい。第２の画像型の元の医用画像は、例えばコンピュータ断層撮影（ＣＴ）を用いて取り込むことによって工程７２０で生成してもよい。これらの元の医用画像は同じ患者の同じ部分を示すために決定されている場合はペアであってもよい。
【００７８】
元の医用画像は工程７３０で画像取込システム１３０または記憶媒体１１０のいずれかから直接得てもよい。初期パラメータ化変換関数Ｇは工程７４０で、例えば機械学習アルゴリズムを用いて少なくとも１つの処理装置１２０によって決定することによって、または記憶媒体１１０から取り出すことによって得てもよく、あるいは初期パラメータ化変換関数Ｇとして以前に生成されたパラメータ化変換関数Ｔを用いることによりフィードバックによって得、それによりパラメータ化変換関数Ｔを繰り返し最適化してもよい。
【００７９】
工程７５０では、第２の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Ｇまたは適応させたパラメータ化変換関数Ｇ１を第１の画像型の元の医用画像に適用する。次いで、第２の画像型の変換された医用画像が同じ患者の同じ部分を示す第２の画像型の元の医用画像とどの程度一致しているかを決定することができるように、この変換された医用画像を第１の画像型の元の医用画像との画像ペアを形成する第２の画像型の元の医用画像と比較する。次いで第１のペナルティＰ１をこの比較に基づいて計算し、この比較は、例えばボクセルごとに行うことができ、かつ例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えば画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特徴を比較することができる。
【００８０】
工程７６０では、第２の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Ｇまたは適応させたパラメータ化変換関数Ｇ２を第１の画像型の元の医用画像に適用する。次いで画像を同じ画像型に変換する。これは、画像の一方を他の画像型の画像に変換すること、または両方の画像を第３の画像型の画像に変換することのいずれかによって行ってもよい。但し画像を比較するために、それらは同じ画像型でなければならない。画像型は医用画像モダリティのものである必要はない。他の実施形態では、画像型は畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力である。他の実施形態では、セグメント化することによって、例えば計算されている画像における勾配または周波数成分により別のドメインに移動させることによって、あるいは画像の解像度の変化によって医用画像を第３の画像型に変換する。他の実施形態では、第１の画像型は特定の医用画像モダリティの医用画像であり、かつ第２の画像型は密度、阻止能、材料組成、および／または線量計算のために使用することができるあらゆる他の特徴を示す画像である。他の実施形態では、第１の画像型はセグメント化画像であり、かつ第２の画像型は特定の医用画像モダリティの医用画像である。例えば畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムを用いて例えばボクセルごとに比較することができるものは、例えば画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特徴であってもよい。次いで第２のペナルティＰ２をこの比較に基づいて計算する。
【００８１】
任意の工程である工程７７０では、第２の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Ｇまたは適応させたパラメータ化変換関数Ｇ３を第１の画像型の元の医用画像に適用する。次いで第１の識別関数Ｄ１は、第２の画像型の変換された医用画像と第２の画像型の元の医用画像とを識別することを試みる。使用される元の医用画像は任意の元の医用画像であってもよく、それは変換された医用画像のベースとなる元の医用画像とペアである必要はない。次いで第３のペナルティＰ３を第１の識別関数Ｄ１の分類誤差に基づいて計算する。
【００８２】
同様に任意の工程である工程７８０では、第２の画像型の変換された医用画像が生成されるように、初期パラメータ化変換関数Ｇまたは適応させたパラメータ化変換関数Ｇ４を第１の画像型の元の医用画像に適用する。次いで第２の識別関数Ｄ２は元のペアの医用画像のペアと、元の画像および対応する変換された医用画像からなるペアとを識別することを試みる。次いで第４のペナルティＰ４を識別関数Ｄ２の分類誤差に基づいて計算する。
【００８３】
工程７９０では、初期パラメータ化変換関数Ｇのパラメータと、少なくとも第１および第２のペナルティＰ１およびＰ２と、任意に第３のペナルティＰ３および／または第４のペナルティＰ４とにも基づいて、最適化されたパラメータ化変換関数Ｔを生成する。パラメータ化変換関数Ｔのパラメータをペナルティの加重和に基づいて適合させるように、ペナルティをペナルティの加重和の形態で組み合わせてもよく、あるいはパラメータ化変換関数Ｔのパラメータを一度に１つのペナルティに基づいて適合させるように順々に適用してもよい。
【００８４】
使用事例の実施形態では、次いで最適化されたパラメータ化変換関数Ｔを第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するために使用してもよく、これは例えば放射線治療計画における線量計算のために使用することができ、ここでは第２の画像型の変換された医用画像の分析に基づいて例えば制御信号の形態の機械命令を放射線治療機器に送信することができる。
【００８５】
さらなる実施形態
適用可能な場合には、本開示によって提供される様々な実施形態はハードウェア、ソフトウェアまたはハードウェアとソフトウェアとの組み合わせを用いて実装することができる。また適用可能な場合には、本明細書に記載されている様々なハードウェアコンポーネントおよび／またはソフトウェアコンポーネントを本開示の特許請求の範囲から逸脱することなく組み合わせてソフトウェア、ハードウェアおよび／または両方を含む複合コンポーネントにすることができる。適用可能な場合には、本明細書に記載されている様々なハードウェアコンポーネントおよび／またはソフトウェアコンポーネントを本開示の特許請求の範囲から逸脱することなく分離してソフトウェア、ハードウェアまたは両方を含むサブコンポーネントにすることができる。また適用可能な場合には、ソフトウェアコンポーネントをハードウェアコンポーネントとして、ハードウェアコンポーネントをソフトウェアコンポーネントとして実装することができることが考えられる。本明細書に記載されている１つ以上の実施形態の方法工程は任意の好適な処理装置によって自動的に行ってもよく、あるいは１つ以上の工程を手動で行ってもよい。適用可能な場合には、本明細書に記載されている様々な工程の順序は変更することができ、本明細書に記載されている特徴を提供するためにそれらの工程を組み合わせて複合工程にし、かつ／または分離してサブ工程にしてもよい。
【００８６】
プログラムコードおよび／またはデータなど本開示に係るソフトウェアは１つ以上の機械可読媒体に非一時的な形態で記憶することができる。本明細書で特定されているソフトウェアは１つ以上の汎用もしくは特定目的のコンピュータおよび／またはコンピュータシステム、ネットワーク化および／またはそれ以外を用いて実装することができることも考えられる。
【００８７】
実施形態では、プロセッサで実行された場合に、本明細書に記載されている方法工程のいずれかまたは全てを行うように構成されたコンピュータ可読コードを含むコンピュータプログラム製品が提供される。いくつかの実施形態では、プロセッサにおいて実行された場合に本明細書に記載されている方法工程のいずれかまたは全てを行うように構成されたコンピュータ可読およびコンピュータ実行可能コードが記憶されている非一時的コンピュータ可読メモリが提供される。
【００８８】
１つ以上の実施形態では、プロセッサによって実行された場合に、本明細書に示されている方法実施形態のいずれかまたは全ての方法を行うようにプロセッサを制御する機械可読コードが記憶されている非一時的機械可読媒体が提供される。
【００８９】
上記開示は、本発明をここに開示されている正確な形態または特定の使用分野に限定するものではない。本明細書に明示的に記載または暗示されているかに関わらず、本開示を踏まえて本発明の様々な他の実施形態および／または修正が可能であることが考えられる。従って本発明の範囲は特許請求の範囲によってのみ定められる。
【図１】
2021524631.tif 000003
【図２】
2021524631.tif 000004
【図３】
2021524631.tif 000005
【図４】
2021524631.tif 000006
【図５】
2021524631.tif 000007
【図６】
2021524631.tif 000008
【図７】
2021524631.tif 000009
【手続補正書】
【提出日】令和3年6月7日(2021.6.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するためのシステム（１００）であって、前記システムは、
前記第１および第２の画像型の元の医用画像を得、
前記第１の画像型の元の医用画像を前記第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得、
前記第２の画像型の第１の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第１のパラメータ化変換関数Ｇ１を、前記第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された前記第１の画像型の第１の元の医用画像に適用することにより生成された前記第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算し、
前記第１の画像型の元の医用画像および／または前記第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、前記第１の画像型の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を前記第１の画像型の元の医用画像に適用することにより生成された前記第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算し、かつ
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて前記最適化されたパラメータ化変換関数Ｔを生成する
ように構成された少なくとも１つの処理装置を備える、システム（１００）。
【請求項２】
前記少なくとも１つの処理装置はさらに、
前記第２の画像型の元の医用画像と前記第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得、かつ
前記第２の画像型の少なくとも１つの元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を前記第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された前記第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合に前記第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算する
ように構成されており、
前記少なくとも１つの処理装置は、前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいて前記パラメータ化変換関数Ｔを生成する、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの処理装置は、前記第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Ｔを生成するために使用される前記パラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて前記第１のパラメータ化識別関数Ｄ１を得る、請求項２に記載のシステム。
【請求項４】
前記少なくとも１つの処理装置はさらに、
第２のパラメータ化識別関数Ｄ２を得て、
ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち前記第１の画像型の元の医用画像および前記第２の画像型の元の医用画像からなる画像ペアと、
ｂ）前記第１の画像型の元の医用画像および前記第２の画像型の対応する変換された医用画像からなる画像ペアと
を識別し、
前記第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算する
ように構成されており、
前記少なくとも１つの処理装置は、前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４に基づいて前記パラメータ化変換関数Ｔを生成する、請求項１〜３のいずれか１項に記載のシステム。
【請求項５】
前記少なくとも１つの処理装置は、ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いて生成することにより前記初期パラメータ化変換関数Ｇを得る、請求項１〜４のいずれか１項に記載のシステム。
【請求項６】
前記少なくとも１つの処理装置は、前記パラメータ化変換関数Ｔが繰り返し最適化されるように、以前に生成された最適化されたパラメータ化変換関数Ｔを前記初期パラメータ化変換関数Ｇとして使用することにより前記初期パラメータ化変換関数Ｇを得る、請求項１〜４のいずれか１項に記載のシステム。
【請求項７】
前記少なくとも１つの処理装置は、最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第３の画像型に変換した後に、前記画像をボクセルごとに比較することにより前記第１の元の医用画像を前記対応する第１の変換された医用画像と比較し、ここでは前記第３の画像型はそれらをより容易に比較することができるように前記画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特定の特徴を増幅させる、請求項１〜６のいずれか１項に記載のシステム。
【請求項８】
前記第１のパラメータ化変換関数Ｇ１および／または前記第２のパラメータ化変換関数Ｇ２は前記初期パラメータ化変換関数Ｇと同じである、請求項１〜７のいずれか１項に記載のシステム。
【請求項９】
前記画像型は例えばＭＲ、ＣＴまたはＣＢＣＴなどの医用画像モダリティのものである、請求項１〜８のいずれか１項に記載のシステム。
【請求項１０】
第１の画像型の元の医用画像を第２の画像型の変換された医用画像に変換するための最適化されたパラメータ化変換関数Ｔを生成するプロセッサ実装方法（６００）であって、前記方法は、
前記第１および第２の画像型の元の医用画像を得ること（６１０）と、
前記第１の画像型の元の医用画像を前記第２の画像型の変換された医用画像に変換するための初期パラメータ化変換関数Ｇを得ること（６２０）と、
前記第２の画像型の第１の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく前記第１のパラメータ化変換関数Ｇ１を、前記第２の画像型の第１の元の医用画像と画像ペアを形成し、かつそれにより同じ患者の同じ部分を示すために決定された前記第１の画像型の第１の元の医用画像に適用することにより生成された前記第２の画像型の第１の変換された医用画像との少なくとも１回の比較に基づいて第１のペナルティＰ１を計算すること（６３０）と、
前記第１の画像型の元の医用画像および／または前記第２の画像型の変換された医用画像を同じ画像型の画像に変換した後に、前記第１の画像型の元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第２のパラメータ化変換関数Ｇ２を前記第１の画像型の元の医用画像に適用することにより生成された前記第２の画像型の変換された医用画像との少なくとも１回の比較に基づいて第２のペナルティＰ２を計算すること（６４０）と、
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１および第２のペナルティＰ１およびＰ２とに基づいて前記最適化されたパラメータ化変換関数Ｔを生成すること（６５０）と、
を含む、方法。
【請求項１１】
前記第２の画像型の元の医用画像と前記第２の画像型の変換された医用画像とを識別するための第１のパラメータ化識別関数Ｄ１を得ること（６６０）と、
前記第２の画像型の少なくとも１つの元の医用画像と、前記初期パラメータ化変換関数Ｇに基づく第３のパラメータ化変換関数Ｇ３を前記第１の画像型の少なくとも１つの元の医用画像に適用することにより生成された前記第２の画像型の少なくとも１つの変換された医用画像とを識別することを試みる場合に前記第１のパラメータ化識別関数Ｄ１の分類誤差に基づいて第３のペナルティＰ３を計算すること（６７０）と、
をさらに含み、
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第３のペナルティＰ１、Ｐ２およびＰ３とに基づいて前記パラメータ化変換関数Ｔを生成する（６４０）、請求項１０に記載の方法。
【請求項１２】
前記第１のパラメータ化識別関数Ｄ１が繰り返し最適化されるように、前記最適化されたパラメータ化変換関数Ｔを生成するために使用される前記パラメータ化識別関数Ｄ１のパラメータと少なくとも前記第３のペナルティＰ３とに基づいて前記第１のパラメータ化識別関数Ｄ１を得ること（６６０）をさらに含む、請求項１１に記載の方法。
【請求項１３】
ａ）ペアにされてそれにより同じ患者の同じ部分を示すために決定された対応する元の医用画像、すなわち前記第１の画像型の元の医用画像および前記第２の画像型の元の医用画像からなる画像ペアと、
ｂ）前記第１の画像型の元の医用画像および前記第２の画像型の対応する変換された医用画像からなる画像ペアと、
を識別するための第２のパラメータ化識別関数Ｄ２を得ること（６８０）と、
前記第２のパラメータ化識別関数Ｄ２の分類誤差に基づいて第４のペナルティＰ４を計算すること（６９０）と、
をさらに含み、
前記初期パラメータ化変換関数Ｇのパラメータと少なくとも前記第１、第２および第４のペナルティＰ１、Ｐ２およびＰ４とに基づいて前記パラメータ化変換関数Ｔを生成する（６５０）、請求項１０〜１２のいずれか１項に記載の方法。
【請求項１４】
ニューラルネットワーク、ランダムフォレストまたはサポートベクターマシンなどの機械学習アルゴリズムを用いてそれを生成することにより前記初期パラメータ化変換関数Ｇを得ること（６２０）をさらに含む、請求項１０〜１３のいずれか１項に記載の方法。
【請求項１５】
前記パラメータ化変換関数Ｔが繰り返し最適化されるように、以前に生成された最適化されたパラメータ化変換関数Ｔを前記初期パラメータ化変換関数Ｇとして使用することによって前記初期パラメータ化変換関数Ｇを得る（６２０）、請求項１０〜１３のいずれか１項に記載の方法。
【請求項１６】
前記第１の元の医用画像と前記対応する第１の変換された医用画像とのボクセルごとの比較は、最初に両方の画像を例えば勾配画像、セグメント化画像または畳み込みニューラルネットワークなどの予めトレーニングされた機械学習アルゴリズムからの出力などの第３の画像型に変換した後に前記画像を比較し、ここでは前記第３の画像型はそれらをより容易に比較することができるように前記画像中の輪郭、関心領域（ＲＯＩ）および／または構造などの特定の特徴を増幅させる、請求項１０〜１５のいずれか１項に記載の方法。
【請求項１７】
第１のパラメータ化変換関数Ｇ１および／または前記第２のパラメータ化変換関数Ｇ２は前記初期パラメータ化変換関数Ｇと同じである、請求項１０〜１６のいずれか１項に記載の方法。
【請求項１８】
前記画像型は例えばＭＲ、ＣＴまたはＣＢＣＴなどの医用画像モダリティのものである、請求項１０〜１７のいずれか１項に記載の方法。
【国際調査報告】
2021524631.tif 000010
2021524631.tif 000011
2021524631.tif 000012
2021524631.tif 000013