(57)【特許請求の範囲】
【請求項１】
解剖学的構造の所望部分を分離するように解剖学的構造の三次元（３Ｄ）ボリュームビジュアライゼーション画像をリアルタイムで修正する方法であって、
解剖学的構造の３Ｄボリュームビジュアライゼーション画像の二次元（２Ｄ）画像    スライスを用意し、
関心のある解剖学的構造の所望の部分を特定し、
解剖学的構造の所望の部分を有する二次元（２Ｄ）画像スライスのプロトタイプ画    像を用意し、
プロトタイプ画像に十分に合致する画像を生成するように関心のある解剖学的構造    の所望の部分と一致する光学的特性を強度値にマッピングするように伝達関数を用い    るアルゴリズムのパラメータを進化させるようにエボルバを使用し、
生成された画像のパラメータがプロトタイプ画像に十分に適合したとき、修正され    た解剖学的構造の３Ｄボリュームビジュアライゼーション画像を生成するように３Ｄ    ボリュームビジュアライゼーション画像の追加の２Ｄ画像スライスに伝達関数を適用    する、
方法。
【請求項２】
光学的特性は色度および／または透明度値である、請求項１に記載の方法。
【請求項３】
エボルバは遺伝的アルゴリズムである、請求項１に記載の方法。
【請求項４】
パラメータ値はヒストグラムを選択するグラフィカルエレメントの組を画定する、請求項１に記載の方法。
【請求項５】
アルゴリズムは伝達関数を生成するようにヒストグラムを選択するグラフィカルエレメントを用いる、請求項１に記載の方法。
【請求項６】
伝達関数生成画像がプロトタイプ画像と十分に合致するかを評価し、画像が適合する度合いを示す０．０から１．０の間の適合度値を割り当てることにより遺伝的アルゴリズムの適合度関数を決定するようにパターン認識装置が用いられる、請求項３に記載の方法。
【請求項７】
中央サーバアプリケーションにより画像が正常か異常かのフラグを付されるかを決定しそして画像に異常性を特定するようにパターン認識装置が用いられる、請求項１に記載の方法。
【請求項８】
パターン認識装置は神経回路網モデルである、請求項６に記載の方法。
【請求項９】
神経回路網モデルは類似した画像を認識するように前もって学習される、請求項８に記載の方法。
【請求項１０】
伝達関数生成画像がプロトタイプ画像と適合するかを決定するように神経回路網モデルが用いられ、神経回路網は伝達関数生成画像およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される、請求項１に記載の方法。
【請求項１１】
神経回路網は畳み込み神経回路網モデルを用いる、請求項１に記載の方法。
【請求項１２】
伝達関数生成画像がプロトタイプ画像に十分に合致しているかを決定し、画像が一致する度合いを示す０．０と１．０の間の適合度値を与えるように二乗平均平方根誤差（Ｅｉ）適合度関数が用いられる、請求項１に記載の方法。
【請求項１３】
伝達関数生成画像がプロトタイプ画像に十分には合致していないときに、アルゴリズムのパラメータの進化を継続しそして前記工程を繰り返すことをさらに含む、請求項１に記載の方法。
【請求項１４】
解剖学的構造の所望の部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像のさらなる修正に適合遺伝子型または伝達関数を用いて前記工程を使用することをさらに含む、請求項１に記載の方法。
【請求項１５】
スキャン検査技師のセグメンテーションプロトコルの代わりに画像を生成するように適合遺伝子型または伝達関数を使用することをさらに含む、請求項１に記載の方法。
【請求項１６】
遠隔クライアントアプリケーションに適応ビジュアライゼーションをそしてその中央サーバアプリケーションで三次元（３Ｄ）ボリュームビジュアライゼーション画像を表示する方法であって、
解剖学的構造の３Ｄボリュームビジュアライゼーション画像の二次元（２Ｄ）画像    スライスを用意し、
遠隔クライアントアプリケーションで関心のある部分の画像表示を認定し、
関心のある部分の画像表示の情報を中央サーバアプリケーションに伝達し、
レンダリング画像の形態で関心のある部分の画像表示を作るように光学的特性を強    度値にマッピングするアルゴリズムの伝達関数パラメータを進化させるようにエボル    バを使用し、
レンダリング画像を圧縮するための圧縮アルゴリズムを最適化するアルゴリズムの    圧縮パラメータを進化させるようにエボルバを使用し、
中央サーバから遠隔クライアントアプリケーションへの圧縮画像の伝達を最適化す    るアルゴリズムの伝達パラメータを進化させるようにエボルバを使用する
ことを含む、方法。
【請求項１７】
圧縮パラメータの最適化は最高の圧縮率を作り出すと同時に診断に関する品質を維持する、請求項１６に記載の方法。
【請求項１８】
伝達パラメータの最適化は遠隔クライアントアプリケーションへの最速の伝達を作り出す、請求項１６に記載の方法。
【請求項１９】
エボルバは遺伝的アルゴリズムである、請求項１６に記載の方法。
【請求項２０】
伝達関数パラメータ値はヒストグラムを選択するグラフィカルエレメントの組を画定する、請求項１６に記載の方法。
【請求項２１】
アルゴリズムは伝達関数パラメータを生成するようにヒストグラムを選択するグラフィカルエレメントを用いる、請求項１６に記載の方法。
【請求項２２】
パターン認識装置は、レンダリング画像が関心のある部分の画像表示に十分に合致しているかを評価しそして画像の適合の度合いを示す０．０と１．０の間の適合度値を付与することにより遺伝的アルゴリズムの適合度関数を決定するように用いられる、請求項１６に記載の方法。
【請求項２３】
中央サーバアプリケーションにより画像表示が正常または異常としてフラグを付されているかを決定するようにパターン認識装置が用いられる、請求項１６に記載の方法。
【請求項２４】
中央サーバアプリケーションにより画像表示が正常または異常としてフラグを付されているかを決定しそして画像表示に異常性を特定するようにパターン認識装置が用いられる、請求項１６に記載の方法。
【請求項２５】
パターン認識装置は神経回路網モデルである、請求項２３に記載の方法。
【請求項２６】
類似のレンダリング画像を認識するように神経回路網モデルが前もって教え込まれる、請求項２５に記載の方法。
【請求項２７】
レンダリング画像がプロトタイプ画像に適合するかを決定するように神経回路網モデルが用いられ、神経回路網はレンダリング画像およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される、請求項１６に記載の方法。
【請求項２８】
神経回路網は畳み込み神経回路網モデルを用いる、請求項２７に記載の方法。
【請求項２９】
神経回路網モデルは正常または異常画像表示を認識するように前もって教え込まれる、請求項２８に記載の方法。
【請求項３０】
画像表示が正常か異常かをユーザに警告するようにフラグまたは警告が遠隔クライアントアプリケーションに送られる、請求項１６に記載の方法。
【請求項３１】
画像表示の異常区域は特定されそしてユーザに警告するように遠隔クライアントアプリケーションに送られる、請求項３０に記載の方法。
【請求項３２】
ユーザは放射線科医である、請求項３１に記載の方法。
【請求項３３】
ユーザは内科医である、請求項３１に記載の方法。
【請求項３４】
レンダリング画像がプロトタイプ画像と十分に合致するかを決定しそして画像の適合の度合いを示す０．０と１．０の間の適合度値を付与するように二乗平均平方根誤差（Ｅｉ）適合度関数が用いられる、請求項１６に記載の方法。
【請求項３５】
レンダリング画像がプロトタイプ画像と十分に合致しないとき、アルゴリズムの進化を継続しそして前述のステップを繰り返すことをさらに含む、請求項１６に記載の方法。
【請求項３６】
解剖学的構造の所望の部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像の将来的な修正でプロトタイプ画像に適合するレンダリング画像を生成する伝達関数パラメータを使用して前記工程を用いることをさらに含む、請求項１６に記載の方法。
【請求項３７】
スキャン検査技師のセグメンテーションプロトコルの代わりに画像を生成するようにプロトタイプ画像に適合したレンダリング画像を作り出す伝達関数パラメータを使用することをさらに含む、請求項１６に記載の方法。
【請求項３８】
解剖学的構造の所望の部分を分離するように解剖学的構造の三次元（３Ｄ）ボリュームビジュアライゼーション画像をリアルタイムで修正する方法であって、
解剖学的構造の３Ｄボリュームビジュアライゼーション画像スキャンの二次元（２    Ｄ）画像スライス用意し、
２Ｄ画像スライスの領域を特定し、
解剖学的構造の所望の部分のプロトコル画像を用意し、
プロトタイプ画像に対応する２Ｄ画像スライスの、２Ｄ画像スライスの特定領域の    強度値を含む仮想ヒストグラムを作り、
遺伝的アルゴリズムを使用し、仮想ヒストグラムの領域を選択し、そしてその各々    が遺伝的アルゴリズムの遺伝子型からなる１つまたはそれ以上の仮想グラフィカルエ    レメントで選択された領域をマーキングし、
多次元伝達関数（ＭＤＴＦ）を使用し、画像を生成するようにヒストグラムのマー    クを付した領域のプロトタイプ画像と一致する強度値に光学的特性をマッピングし、
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像と十分に合致するかを決定するよ    うにマークを付した部分のＭＤＴＦ生成画像をプロトタイプ画像と比較し、
ＭＤＴＦ生成画像がプロトタイプ画像と十分に合致するとき、解剖学的構造の修正    された３Ｄビジュアライゼーション画像を作るように３Ｄビジュアライゼーション画    像の追加の２Ｄ画像スライスにＭＤＴＦを適用する、
方法。
【請求項３９】
光学的特性は色度および／または透明度値を含む、請求項３８に記載の方法。
【請求項４０】
仮想ヒストグラムは数学的に表わされる、請求項３８に記載の方法。
【請求項４１】
仮想グラフィカルエレメントは数学的に表わされる、請求項３８に記載の方法。
【請求項４２】
遺伝子型は仮想グラフィカルエレメントを表す数学的表現のパラメータを表す、請求項３８に記載の方法。
【請求項４３】
遺伝的アルゴリズムは１つまたはそれ以上のグラフィカルエレメントを生成するように遺伝子型を適合することにより仮想ヒストグラムの領域を選択する、請求項３８に記載の方法。
【請求項４４】
遺伝的アルゴリズムは１つまたはそれ以上のグラフィカルエレメントのためにＢスプラインを用いる、請求項３８に記載の方法。
【請求項４５】
遺伝子型は仮想グラフィカルエレメントのＢスプラインを表わすパラメトリック方程式を表わす、請求項３８に記載の方法。
【請求項４６】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致するかを評価することにより神経回路網モデルが遺伝的アルゴリズムの適合度関数を決定するように用いられそして画像の適合の度合いを示す０．０と１．０の間の適合度値を付与する、請求項３８に記載の方法。
【請求項４７】
神経回路網モデルは類似の画像を認識するように前もって教え込まれる、請求項４６に記載の方法。
【請求項４８】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像と十分に合致するかを決定するように神経回路網モデルが用いられ、神経回路網はＭＤＴＦ生成画像およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される、請求項３８に記載の方法。
【請求項４９】
神経回路網は畳み込み神経回路網モデルを用いる、請求項４８に記載の方法。
【請求項５０】
関心のある画像がＭＤＴＦ生成画像の形態でありそして画像が中央サーバアプリケーションによって正常または異常としてフラグを付されているかをけっていするように神経回路網モデルが用いられる、請求項３８に記載の方法。
【請求項５１】
神経回路網モデルは正常または異常な画像を認識するように前もって教え込まれる、請求項５０に記載の方法。
【請求項５２】
画像が正常か異常かをユーザに警告するようにフラグまたは警告が遠隔クライアントアプリケーションに送られる、請求項５０に記載の方法。
【請求項５３】
画像の異常領域は特定されそしてユーザに警告するように遠隔クライアントアプリケーションに送られる、請求項５２に記載の方法。
【請求項５４】
ユーザは放射線科医である、請求項５３に記載の方法。
【請求項５５】
ユーザは内科医である、請求項５３に記載の方法。
【請求項５６】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像と十分に合致するかを決定し、そして画像の適合の度合いを示す０．０と１．０の間の適合度値を付与するように二乗平均平方根誤差（Ｅｉ）適合度関数が用いられる、請求項３８に記載の方法。
【請求項５７】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像と十分に合致しないとき、新しいグラフィカルエレメントを生成するように遺伝子型を修正し、そして前記の工程を繰り返すことをさらに含む、請求項３８に記載の方法。
【請求項５８】
解剖学的構造の所望の部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像の将来的な修正において適合された遺伝子型またはＭＤＴＦを使用し、前述の工程を用いることをさらに含む、請求項３８に記載の方法。
【請求項５９】
スキャン検査技師のセグメンテーションプロトコルの代わりに画像を生成するように適合された遺伝子型またはＭＤＴＦを用いることをさらに含む、請求項３８に記載の方法。
【請求項６０】
解剖学的構造の所望の部分を分離するように解剖学的構造の三次元（３Ｄ）ボリュームビジュアライゼーション画像をリアルタイムで修正するためのシステムであって、該システムはスキャンの仮想ヒストグラムを受け取るように適合され、該スキャンは解剖学的構造の３Ｄボリュームビジュアライゼーション画像の二次元（２Ｄ）画像スライスに基づくものであり、ヒストグラムは２Ｄ画像スライスの特定領域の強度値を含むシステムにおいて；遺伝的アルゴリズムを使用し、１つまたはそれ以上の仮想グラフィカルエレメントで仮想ヒストグラムの選択領域のマーキングを可能にし、グラフィカルエレメントの各々は遺伝的アルゴリズムの遺伝子型からなり；多次元伝達関数（ＭＤＴＦ）を使用し、ヒストグラムのマーキング領域の強度値に光学的特性をマッピングし；遺伝子型がプロトタイプ画像と十分に合致するかを決定するようにマーキング領域のＭＤＴＦ生成光学的特性をプロトタイプ画像と比較でき；そして遺伝子型がプロトタイプ画像に十分に合致するとき、解剖学的構造の修正された３Ｄボリュームビジュアライゼーション画像を生成するように３Ｄボリュームビジュアライゼーション画像の追加の２Ｄ画像スライスに遺伝子型またはＭＤＴＦを適用する、システム。
【請求項６１】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致するかを決定するように畳み込み神経回路網モデルが使用され、神経回路網はマーキング領域およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される、請求項６０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元の医用画像のコンピュータ処理に関し、特に、解剖学的構造の所望の部分を描くように、解剖学的構造の三次元（３Ｄ）ボリュームビジュアライゼーション画像をリアルタイムで修正するための方法およびシステムに関する。
【背景技術】
【０００２】
コンピュータ断層撮影（ＣＴ）や磁気共鳴画像（ＭＲＩ）のような視覚的医用スキャンは、断面、例えばＣＴスキャンは軸方向断面、を取得する（図１Ａ）。矢状１０、冠状１２および斜め１４の断面および３Ｄビジュアライゼーションは自動的にかつ要求に応じて作り出される。しかしながら、自動的な３Ｄ画像は可視化したい心臓を遮る胸郭を有する（図１Ｂ）。セグメンテーションタスクはこの画像表示から骨を取り除くことに取り組む。標準的技法によれば、セグメンテーションはスキャン検査技師により用意されそして放射線科医が見て診断するのに用いられるスナップ写真として保存される（１Ｄ）。例えば、これらの一連の画像は冠状最大強度画像（ＭＩＰ）多面復元（ＭＰＲ）２０、斜め矢状頸動脈分岐部ＭＩＰ  ＭＰＲ２１、冠状／矢状アーチＭＩＰ  ＭＰＲ２２、レンダリングボリューム２３、ＭＩＰ２４および頸動脈サイフォンを通る脊椎部分の曲線再構築２５の画像を含む。
【０００３】
医用画像セグメンテーションの研究および開発は、デジタル画像処理技術を用いるコンピュータ視覚ソリューションを提示している。現在の技術は、マウスやトラックボールのようなポインティングデバイスを用いてスライスすることにより曲線スライスを描かねばならないというスキャン検査技術者の能力を改善しなければならないということから生じるものであり、それらは非常に時間が掛かりそしてその結果は観測者内または観察者間のバラツキに悩まされることが知られている。研究者はセグメンテーション成果の精度を大きく高めるために、撮像装置からの情報および内科医の専門的な知識と同様に、検査技師により行われた、画像出現に最新の数学的および物理学的技術を組み合わせることによるコンピュータを使ったセグメンテーションを改良するようにアルゴリズムの開発に焦点を当ててきた。この技術は閾値、クラスタリング、および可変モデルベースに分類できる。これらのセグメンテーション技術はスキャン検査技師がスキャンを事前にセグメント化するように責務を与えられたコンピュータと人の両者の集約である。このことは、疾患の早期診断に必要な、わずかではあるが重要な情報を排除する。また、時間およびコストの観点により、セグメンテーションは診断ワークフローの本質的な部分というよりもむしろ例外になっている。さらに、医用スキャンサイズはより大きくなっており、それ故、診断の解釈はより困難になり、セグメンテーションの必要性はより重大になっている。セグメンテーションは、本発明の方法およびシステムにおいて診断ワークフローの本質的な部分となっている。
【０００４】
遺伝的アルゴリズム（ＧＡ）は自然進化の過程に似た検索発見的問題解決法である。この発見的問題解決法は最適化および検索問題に有用な解決法を生むように日常的に用いられる。遺伝的アルゴリズムはより大きなクラスの進化アルゴリズム（ＥＡ）に属し、それは遺伝的形質、突然変異、淘汰、および交差混合のような自然進化によって引き起こされる技術を用いて最適化問題に解決法を生む。
【０００５】
遺伝的アルゴリズムにおいて、最適化問題への候補ソリューション（個体、生物、または表現型と呼ばれる）をコード化する列の個体群（染色体またはゲノムの遺伝子型と呼ばれ、また、「遺伝子」として参照される）は、よりよい解決法に向かって発達する。伝統的に、ソリューションは０と１の列として２進法で表されるが、その他の符号化も可能である。進化は、通常、無作為に発生された個の個体群から出発しそして生成時に生じる。各生成時に、個体群の中のすべての個の適合性が評価され、複数の個が進行中の個体群（その適合性に基づいて）から確率的に選定され、そして新しい個体群を形成するように変形（再結合されそして場合によっては無作為に変異される）される。新しい個体群は、次いで、アルゴリズムの次の反復に用いられる。一般的に、アルゴリズムは、生成の最大値が生成されたときかまたは、固定群にとって満足のいく適合性が達成されたときに終結する。アルゴリズムが生成の最大値により終結するとき、満足のいくソリューションに到達し得るかまたは到達し得ない。
【０００６】
典型的な遺伝的アルゴリズムは、ソリューション領域を評価するのにソリューション領域の遺伝的表現および適合度関数を必要とする。ソリューションの標準的表現はビットの配列のようなものである。その他の形式および構成の配列も本質的に同じ方法で用いることができる。これらの遺伝的表現を使い易くさせる主要な特性は、それらの固定サイズによりそれらの部分が容易に整列されることであり、それは単純な交差操作を容易にする。可変長表現もまた使用され得るが、この場合、交差導入はより複雑である。樹状表現は遺伝的プログラミングで調査されそしてグラフ形式表現は進化的プログラミングで調査される。
【０００７】
適合度関数は遺伝的表現上で定義されそして表現されたソリューションの質を査定する。適合度関数は常に依存問題である。例えば、ナップザック問題において、或る一定容量のナップザックに入れることができる物の総量値を最大化したいとする。ソリューションの表現はビットの配列であり得、そこにおいて各ビットは異なった物を表し、そしてビットの値（０または１）は物がナップザック内にあるか否かを表す。物の寸法はナップザックの容量を超えることはないので、すべてのこの表現は正当ではない。表現が正当であるとき、或いはどちらかと言えば０のとき、ソリューションの適合性はナップザック内のすべての物の合計値である。適合性表現を定義することは困難であり、そのとき、対話型遺伝的アルゴリズムが用いられる。
【０００８】
遺伝的表現および適合度関数が定義されると、ＧＡは、ソリューションの個体群を無作為に初期化し、次いで変異、交差、反転および選択オペレータの反復適用を介して改良するように進める。最初に、初期個体群を形成するように多くの個別のソリューションが無作為に生成される。個体群サイズは問題の特質によるが、典型的に、数百または数千の可能なソリューションを含む。伝統的に、個体群は無作為に生成され、可能なソリューション（検索空間）の全範囲をカバーする。場合によっては、ソリューションは、最適なソリューションを見つけられそうな領域に「シード」され得る。
【０００９】
各継続する世代中、既存の個体群の割合は新しい世代を生むように選択される。個々のソリューションは適合性を基準とするプロセスを介して選択され、そこにおいて、典型的には、より適合性のあるソリューション（適合度関数により評価されるような）がより選択される可能性がある。信頼できる選択方法が各ソリューションの適合性を評価して最適なソリューションを優先的に選択する。その他の方法は、そのプロセスが非常に時間を要するので、個体群の無作為なサンプルのみを評価する。
【００１０】
次の工程は、遺伝的オペレータ、交差（組み換えとも言われる）、および／または変異によって選択されたものからソリューションの第２世代個体群を生成することである。生成される新しい各ソリューションについて、１対の「親」ソリューションは予め選択されたプールから生まれるように選択される。前述の交差および変異の方法を用いて「子」ソリューションを作り出すことにより、典型的に、その「親」の多くの特性を共有する新しいソリューションが創生される。新しい親は各新しい子のために選択され、そしてその過程は、新しい適当なサイズのソリューションの個体群が生成されるまで続く。２つの親を使用することに基づく繁殖方法はより「生物学的刺激」であるが、ある研究では良質な染色体を繁殖するのに２つ以上の「親」を用いることがより良好であることを示唆している。
【００１１】
これらの過程は、最終的に、初期の世代とは異なった染色体の次世代個体群を導き出す。一般的に、平均適合性は、前述した理由により、適していないソリューションを小さい割合とすると共に第１世代からの最良の有機体のみが繁殖のために選択されるので、個体群のためのこの手順により増大される。交差および変異は主要な遺伝的オペレータとして知られているが、遺伝的アルゴリズムにおける再編成、定着−消滅、または移動のようなその他のオペレータも使用できる。
【００１２】
この世代プロセスは終了条件が達成されるまで繰り返される。一般的な終了条件は、１）最小基準を満足するソリューションが見つかること；２）一定数の世代に達すること；３）割当予算（コンピューター使用時間／金額）に達すること；４）最高位のソリューションの適合性が停滞状態に達して持続の繰り返しではもはやよりよい結果を生み出さないこと；５）手作業の調査；および／または、６）これらの組合せ、である。
【００１３】
単純な世代遺伝的アルゴリズム手段は次の工程を伴う：１）個体の最初の個体群を選択し；２）その個体群における各個体の適合性を評価し；３）この世代を終了（制限時間、必要十分な適合性の達成、等）まで次のように繰り返す：ａ）繁殖のために最適な個体を選定し；ｂ）子孫を生み出すように交差および変異作業を介して新しい個体を繁殖させ；ｃ）新しい個体の個々の適合性を評価し；ｄ）最小の適合性の個体群を新しい個体と置き換える。
【００１４】
ニューラルネットワーク（ＮＮ）は生物学的ニューラルネットワークの構造および／または機能面により引き起こされた数理モデルまたは計算モデルである。ニューラルネットワークは人工ニューロンの相互接続したグループからなり、計算へのコネクショニストアプローチを用いて情報を処理する。ほとんどの場合、ＮＮは、学習フェーズ中にネットワークを流れる外部または内部情報に基づいてその構造を変化する適合システムである。最新のニューラルネットワークは非線形統計データモデリングツールである。困難な問題へのソリューションを提供するのに有用なＮＮのために、ネットワークはまず問題の領域からのデータを模範となるように用いて教え込まねばならない。ＮＮは、通常、入力と出力との間の複雑な関係をモデル化する、またはデータのパターンを見つけるように用いられる。
【００１５】
畳み込みＮＮはＮＮの類型であり、指紋同定や顔認識用のような画像認識タスクに適任である。
【発明の概要】
【発明が解決しようとする課題】
【００１６】
従来技術における問題および欠陥に鑑み、本発明の目的は、解剖学的構造の三次元ボリュームビジュアライゼーション画像をリアルタイムで修正する、改良された方法を提供することである。
【００１７】
本発明の別の目的は、画像表示を生成するのにスキャン検査技師を頼りにする代わりに、解剖学的構造の三次元画像から生成される画像表示を内科医が診断中にリアルタイムで制御できる方法を提供することにある。
【００１８】
本発明のまた別の目的は、セグメント化された画像表示を用いて正確な診断結果を内科医が行うことを支援する方法を提供することにある。
【００１９】
本発明のさらに別の目的は、将来の研究の基礎として役立ちそして内科医が正確な診断結果を導く助力となる方法の集合を提供することにある。
【００２０】
本発明のさらなる別の目的および利点は、本明細書から一部は自明となりそして一部は明らかとなる。
【課題を解決するための手段】
【００２１】
上述および当業者にとって明らかとなるその他の目的は本発明において達成され、それは、解剖学的構造の所望の部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像をリアルタイムで修正する方法を指向し、一形態において、解剖学的構造の三次元（３Ｄ）ボリュームビジュアライゼーション画像の二次元（２Ｄ）画像スライスを用意し、解剖学的構造の関心のある部分を特定し、そして解剖学的構造の所望の部分のプロトタイプ画像を用意することを含む。本方法はそのとき、プロトタイプ画像に十分に合致する画像を生成するように解剖学的構造の関心のある部分と一致する強度値に光学的特性をマッピングするように伝達関数を採用するアルゴリズムのパラメータを進化させるようにエボルバを用いることを含む。パラメータがプロトタイプ画像に合致すると、本方法は次いで、解剖学的構造の修正された３Ｄボリュームビジュアライゼーション画像を生成するように３Ｄボリュームビジュアライゼーション画像の追加の２Ｄ画像スライスに伝達関数を適用することを含む。
【００２２】
光学的特性は色度または透明度値で構成してもよい。エボルバは遺伝的アルゴリズムであり得る。パラメータ値はヒストグラムを選択するグラフィカルエレメントの組を画定する。アルゴリズムは伝達関数を生成するようにヒストグラムを選択するグラフィカルエレメントを用いる。
【００２３】
パターン認識装置は伝達関数生成画像がプロトタイプ画像に十分に合致しているかを評価することにより遺伝的アルゴリズムの適合度関数を決定するように用いることができ、そして本方法は画像が一致する度合いを示す０．０と１．０の間の適合度値を与えることを含み得る。パターン認識装置は神経回路網モデルであることができる。神経回路網モデルは類似画像を認識するように前もって教え込んでもよい。神経回路網モデルは伝達関数生成画像がプロトタイプ画像に合致するかを決定するように用いることもでき、神経回路網は伝達関数生成画像およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される。神経回路網モデルは画像表示が正常であるか異常であるかをそして神経回路網モデルから引き出された異常の特徴を分類するように用いることもできる。神経回路網は畳み込み神経回路網モデルを用いてもよい。
【００２４】
互換的に、伝達関数生成画像がプロトタイプ画像に十分に合致しているかを決定するのに二乗平均平方根誤差（Ｅｉ）適合度関数を用いることもでき、そして本方法は画像が一致する度合いを示す０．０と１．０の間の適合度値を与えることを含む。
【００２５】
本方法はさらに、伝達関数生成画像がプロトタイプ画像に十分に合致しないとき、アルゴリズムのパラメータの進化を続け、そして前述の工程を繰り返すことを含むこともできる。本方法はまた、前述の工程を用いて、解剖学的構造の所望部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像の将来の修正において適合遺伝子型または伝達関数を用いることも含み得る。適合遺伝子型または伝達関数はスキャン検査技師のセグメンテーションプロトコルの代わりに画像表示を作り出すように用いられ得る。
【００２６】
本発明の別の形態では、遠隔クライアントアプリケーションに適応ビジュアライゼーションおよび中央サーバアプリケーションでの三次元（３Ｄ）ボリュームビジュアライゼーション画像を表示する方法を指向しており、解剖学的構造の３Ｄボリュームビジュアライゼーション画像の２つの二次元（２Ｄ）画像スライスを用意し、遠隔クライアントアプリケーションに関心のある部分の画像表示を認識し、そして関心のある部分の画像表示の情報を中央サーバアプリケーションに伝達することから構成される。本方法はそのとき、レンダリング画像の形態で関心のある部分の画像表示を生成するように光学的特性を強度値に解析するアルゴリズムの伝達関数パラメータを進化させるようにエボルバを用いることを含む。本方法はさらに、レンダリング画像を圧縮するように圧縮アルゴリズムを最適化するアルゴリズムの圧縮アルゴリズムを進化させるようにエボルバを用い、次いで中央サーバから遠隔クライアントアプリケーションへの圧縮画像の伝達を最適化するアルゴリズムの伝達パラメータを進化させるようにエボルバを用いることを含む。
【００２７】
圧縮パラメータの最適化は最高の圧縮比を作り出す一方、診断品質を維持し、そして伝達パラメータの最適化は遠隔クライアントアプリケーションへの催促の伝達を作り出し得る。
【００２８】
中央サーバアプリケーションによって画像表示が正常または異常としてフラグを立てるかを決定するようにパターン認識装置が使用され、そして神経回路網モデルは正常または異常な画像表示を特定するように前もって教え込まれ得る。パターン認識装置は神経回路網モデルであることができる。
【００２９】
本方法は、ユーザに警告するために画像表示の異常区域を認識して遠隔クライアントアプリケーションに送ると共に或いはそれなしに、画像表示が正常か異常かについてユーザに警告するようにフラグまたは警告を遠隔クライアントアプリケーションに送ることを含むこともできる。ユーザは放射線科医または内科医であり得る。
【００３０】
エボルバは遺伝的アルゴリズムであってもよい。パラメータ値はヒストグラムを選択するグラフィカルエレメントの組を画定する。アルゴリズムは伝達関数を生成するようにヒストグラムを選択するグラフィカルエレメントを用いる。
【００３１】
レンダリング画像がプロトタイプ画像に十分に合致するかを評価することによって遺伝的アルゴリズムの伝達関数を決定するためにパターン認識装置が用いられ得、そして本方法は、画像の適合度を示す０．０と１．０の間の適合度値を付与することを含む。パターン認識装置は神経回路網モデルであることができる。神経回路網モデルは類似画像を認識するように前もって教え込まれ得る。神経回路網モデルはレンダリング画像がプロトタイプ画像と合致するかを決定するように使用され得、神経回路網はレンダリング画像およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される。神経回路網モデルは画像表示が正常であるか異常であるかをそして神経回路網モデルから引き出された異常の特徴を分類するように用いることもできる。神経回路網は畳み込み神経回路網モデルを使用し得る。
【００３２】
互換的に、レンダリング画像がプロトタイプ画像に十分に合致しているかを決定するのに二乗平均平方根誤差（Ｅｉ）適合度関数を用いることもでき、そして本方法は画像が一致する度合いを示す０．０と１．０の間の適合度値を与えることを含む。
【００３３】
本方法はさらに、レンダリング画像がプロトタイプ画像に十分に合致しないとき、アルゴリズムのパラメータの進化を続け、そして前述の工程を繰り返すことを含むことができる。本方法はまた、前述の工程を用いて、解剖学的構造の所望部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像の将来の修正においてプロトタイプ画像に合致するレンダリング画像を作り出す伝達関数パラメータを用いることも含み得る。プロトタイプ画像に合致するレンダリング画像を作り出す伝達関数パラメータはスキャン検査技師のセグメンテーションプロトコルの代わりに画像表示を作り出すように用いられ得る。
【００３４】
本発明の別の形態では、解剖学的構造の３Ｄボリュームビジュアライゼーション画像をリアルタイムで修正する方法に指向されており、解剖学的構造の三次元（３Ｄ）ボリュームビジュアライゼーション画像スキャンの二次元（２Ｄ）画像スライスを用意し、２Ｄ画像スライスの領域を認識し、そして解剖学的構造の所望部分のプロトタイプ画像を用意することから構成される。本方法は次いで、画像の認識領域の強度値を含むヒストグラムと共に、プロトタイプ画像または３Ｄスキャンに対応するスライスの仮想ヒストグラムを作り出すことを含む。本方法は次いで、遺伝的アルゴリズムを用いて、仮想ヒストグラムの領域を選択し、そして１つまたはそれ以上のグラフィカルエレメントで認識領域をマーキングすることを含み、このグラフィカルエレメントの各々は遺伝的アルゴリズムの遺伝子型から構成される。本方法は次いで、多次元伝達関数（ＭＤＴＦ）を用いて、画像を生成するようにヒストグラムのマーキング領域にプロトタイプスライスと一致する強度値に光学的特性をマッピングすることを含む。本方法はさらに、遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致するかを決定するためにマーキング領域の遺伝子型のＭＤＴＦ生成画像をプロトタイプ画像と比較することを含む。ＭＤＴＦ生成画像がプロトタイプ画像に十分に合致する場合、本方法はまた、解剖学的構造の修正された３Ｄボリュームビジュアライゼーション画像を生成するように、このＭＤＴＦを３Ｄボリュームビジュアライゼーション画像の別の２Ｄ画像スライスに適用することを含む。
【００３５】
光学的特性はカラーおよび／または透明値からなることもできる。仮想ヒストグラムおよび仮想グラフィカルエレメントは数学的に表現され得る。遺伝子型は仮想グラフィカルエレメントを説明する数学的表現のパラメータを表し得る。遺伝的アルゴリズムは、１つまたはそれ以上のグラフィカルエレメントを生成するように遺伝子型を適合することにより仮想ヒストグラム領域を選択し得る。遺伝的アルゴリズムは１つまたはそれ以上のグラフィカルエレメントのためにＢスプラインを用いることもでき、このＢスプラインは、次の媒介変数方程式により画定される表面を有する：
【数１】
0005926728.tif 000002
【００３６】
遺伝子型は仮想グラフィカルエレメントのＢスプラインを説明する媒介変数方程式を表す。
【００３７】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致するかを評価することにより遺伝的アルゴリズムの適合度関数を決定するのにパターン認識装置を使用することもでき、そして本方法は画像の適合度を反映する０．１と１．０の間の適合度値を割り当てることを含む。パターン認識装置は神経回路網モデルであることができる。神経回路網モデルは類似画像を認識するように前もって教え込んでもよい。神経回路網モデルは遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致するかを決定するように用いることもでき、神経回路網モデルはＭＤＴＦ生成画像およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される。神経回路網モデルは画像表示が正常であるか異常であるかをそして神経回路網モデルから引き出された異常の特徴を分類するように用いることもできる。請求項４５の方法では神経回路網に畳み込み神経回路網モデルを採用し得る。
【００３８】
互換的に、遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致しているかを決定するのに二乗平均平方根誤差（Ｅｉ）適合度関数が用いられ、そして画像の適合度を反映する０．１と１．０の間の適合度値を割り当てる。
【００３９】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致していない場合、本方法はさらに、新しいグラフィカルエレメントを生成するように遺伝子型を修正することと、前述の工程を繰り返すこととを含み得る。本方法はさらに、前述の工程を用いて解剖学的構造の所望部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像の将来の修正において合致する遺伝子型またはＭＤＴＦを用いることを含み得る。本方法はまた、スキャン検査技師のセグメンテーションプロトコルの代わりに画像表示を作り出すように適合した遺伝子型またはＭＤＴＦを用いることを含み得る。
【００４０】
さらに別の形態において、本発明は、解剖学的構造の所望部分を分離するように解剖学的構造の三次元（３Ｄ）ボリュームビジュアライゼーション画像をリアルタイムで修正するためのシステムを指向している。本システムはスキャンの仮想ヒストグラムを受け取るように適合されており、このスキャンは解剖学的構造の３Ｄボリュームビジュアライゼーション画像の２つの二次元（２Ｄ）画像スライスに基づき、そのヒストグラムは画像の認識領域の強度値を含む。遺伝的アルゴリズムを用いて、本システムは、その各々が遺伝的アルゴリズムの遺伝子型からなる１つまたはそれ以上の仮想グラフィカルエレメントで仮想ヒストグラムの選択領域をマーキングし、多次元伝達関数（ＭＤＴＦ）を用いて、ヒストグラムのマーキング領域の強度値に光学的特性をマッピングすることが可能である。本システムはさらに、遺伝子型がプロトタイプ画像と十分に合致するかを決定するためにマーキング領域のＭＤＴＦ生成光学的特性をプロトタイプ画像と比較することが可能である。遺伝子型がプロトタイプ画像と十分に合致する場合、本システムは、解剖学的構造の修正された３Ｄボリュームビジュアライゼーション画像を生成するように３Ｄボリュームビジュアライゼーション画像の追加の２Ｄ画像スライスに遺伝子型またはＭＤＴＦを適用し得る。
【００４１】
遺伝子型のＭＤＴＦ生成画像がプロトタイプ画像に十分に合致しているかを決定するために畳み込み神経回路網モデルを本システムに用いることもでき、この神経回路網はマーキング領域の画像およびプロトタイプ画像のピクセル画像から視覚的パターンを直接認識するように適合される。
【図面の簡単な説明】
【００４２】
新規であると信じられる本発明の特徴および本発明の特徴を示す要素は添付の請求の範囲に詳細に述べられている。図面は例示の目的だけのためのものであり、縮尺通りには記載されていない。しかしながら、本発明自体は、作業機構および方法の両者に関して、添付の図面と共に後述する詳細な説明を参照することにより良好に理解されよう。
【００４３】
【図１Ａ】図１Ａは、人体の方位面を示す人体の説明図である。
【００４４】
【図１Ｂ】図１Ｂは、胸郭により遮られた３Ｄ心臓画像表示の説明図である。
【００４５】
【図１Ｃ】図１Ｃは、従来技術を用いてスキャン検査技師により通常的に行われるような動脈断面（画像２７）となるように、胸郭が除かれそして動脈選定部３０（小さな白色ドットを有して示されそして画像２６の参照番号３０として描画される選択された動脈）を除いた図１Ｂの修正の説明図である。
【００４６】
【図１Ｄ】図１Ｄは、検査技師により用意される、セグメント化されたＣＴ血管造影スキャンのスナップ写真の組（画像２０−２５）を示す頸動脈プロトコル説明図である。
【００４７】
【図２】図２は、特徴ある領域を有する境界線をＬＨヒストグラムに形成し、そして多次元伝達関数（ＭＤＴＦ）を用いてセグメント化されたボリュームを導き出すことができるポリゴンでその領域をマーキングするマテリアルの説明図である。（分離するのが難しい細胞組織、血管および神経を含むので、ここでは実効データセットが選択される。）
【００４８】
【図３】図３は、本発明による、選択された２Ｄ医用画像の説明図である。
【００４９】
【図４】図４は、本発明による、図３の画像における内科医の関心領域へのマーキングの説明図である。
【００５０】
【図５】図５は、本発明による、図４の画像に関連して生成されるＢスプライン曲線の説明図である。
【００５１】
【図６】図６は、本発明による、図４および５の画像に関連して生成されるＢスプライン表面の説明図である。
【００５２】
【図７】図７は、従来技術のセグメンテーションアプローチ（右側）と本発明のもの（左側）との比較図である。
【００５３】
【図８】図８は、本発明により用いられる多層畳み込み神経回路網（ＭＣＮＮ）モデルの説明図である。
【００５４】
【図９】図９は、本発明により用いられる多層畳み込み神経回路網（ＭＣＮＮ）モデルにおけるｉ−ｔｈニューロンの概要の説明図である。
【００５５】
【図１０】図１０は、本発明により用いられる多層畳み込み神経回路網（ＭＣＮＮ）モデルにおけるＭＣＮＮ層、繋がり、ニューロン、およびＮ入力によるＭ出力のマトリックスとして表されるその重量の説明図である。
【００５６】
【図１１】図１１は、心機能の診断および閉塞分析のための冠循環血管のビジュアライゼーションの説明図である。（右冠動脈にステントが見える。）
【００５７】
【図１２】図１２は、冠状動脈閉塞を有する患者の治療に有用な下肢内のステントのビジュアライゼーションの説明図である。
【００５８】
【図１３】図１３は、頭蓋骨の除去により可能である脳の血管のビジュアライゼーションの説明図である。
【００５９】
【図１４】図１４は、乳癌のビジュアライゼーションの説明図である。（早期発見と適切な処置により、この患者は疾患を克服して乳腺切除を回避した。）
【発明を実施するための形態】
【００６０】
本発明の実施例の説明において、参照番号は図面の図１−１４について同様な参照番号が本発明の同様な特徴を示すように付されている。
【００６１】
医用画像のセグメンテーションは画像バックグラウンドから重要な生体構造を分離しようとするものである。しかしながら、このような方法はスキャン検査技術により達成されそして時間が掛かり、間違いを起こし易い。本発明は要求に応じて検査技師の助けなしに内科医の診断および患者のケアを改善するように使用できる適用可能な３Ｄ知的ビジュアライゼーションアプリケーションを指向するものである。
【００６２】
医用画像のセグメンテーションは医用スキャンの表現を内科医による解釈により適したものにするように変更しようとするものである。画像内の極度の変動性はスキャン検査技師が画像バックグラウンドから重要な解剖学的構造を分離するために採用されることを必要とする。この方法は時間が掛かり、間違いを起こし易く、そして診断ミスを引き起こす。この問題のソリューションは、適用可能であり、例示により学習でき、そして内科医と連携してリアルタイムに作業できる半自動システムである。
【００６３】
本発明は、ＦＤＡ認可医用画像ソフトウエアオファリングを達成する３Ｄ医用画像データにおける解剖学的構造のセグメンテーションのための内科医補助、リアルタイム適用可能なシステムを指向する。ビジュアライゼーションは、色度および透明度値の医用スキャンにおけるデータ強度値を伝達関数がマッピングするときに生成される。本発明は、伝達関数プリセットにリアルタイムで到達する、遺伝的アルゴリズム（ＧＡ）および神経回路網（ＮＮ）を基礎とした適合技術である。好ましくは、マルチコアの図形処理ユニット（ＧＰＵ）プロセッサで実行する並行処理および適合アルゴリズムを利用する。続いて、専門家と連携して作業することにより臓器または疾患特異臨床セグメンテーションアプリケーションが進展され得る。
【００６４】
新しい手法は、（ｉ）並行および分散型ナチュラルシステムをモデリングするようにＧＰＵプロセッサを使用するアーキテクチャを開発し、（ii）生データ値を前処理する従来のコンピュータビジョン方法の代わりに多次元伝達関数を用いるビジュアライゼーション方法を開発し、（iii）リアルタイムのセグメンテーションのためにヒストグラムにスプライン曲面を作るように遺伝的アルゴリズムを使用する方法を適用し、そして（iv）最終的に、患者を効果的に診断するように内科医のための、要求に応じ、適応可能でありそして双方向のセグメンテーションビジュアライゼーション医用アプリケーションに分配することにより達成される。患者の治療は、どちらかと言うと、スキャン自体がインテリジェントビジュアライゼーションなしでは問題を明らかし得ない初期段階で疾患を見つける場合に改善される。
【００６５】
本発明は、（ａ）医用画像のセグメンテーションが生データの数値計算によるよりもより良好にビジュアライゼーションおよび人工知能により行われ、そして（ｂ）要求に応じたインテリジェントビジュアライゼーションのための原理が、多次元伝達関数プリセットに達するように、ＧＡおよびＮＮを使用するという点にあるということの発見に基づく。
【００６６】
本発明は、３Ｄ医用スキャンの所望のセグメンテーションビジュアライゼーションを内科医が上述のシステムを用いてリアルタイムで生成することが可能である。このことを達成するために、本発明は次のことを提供する：（Ｉ）セグメント化された生体構造の認識のための並行マルチレイヤ畳み込み神経回路網の導入、（II）ＧＡおよびＮＮを用いて多項スプラインを適合することによる高機能伝達関数の自動生成、および（III）臨床セグメンテーションアプリケーションの生成。本発明は、要求に応じて３Ｄ医用スキャンのインテリジェントビジュアライゼーションを内科医に分配することにより診断の正確さを高める。
【００６７】
本発明は、３Ｄ医用画像データの解剖学的構造のセグメンテーションのための、内科医補助型、リアルタイムおよび適応可能なシステムを指向する。伝達関数は強度値を直接ＧＰＵにリアルタイムで色度値にマッピングする。丁寧に編集された多次元伝達関数は、ビジュアライゼーションパイプラインに、前処理されたセグメンテーションボリュームを必要とすることなしに、十分にセグメント化されたビジュアライゼーションを導き出すことができる。本発明のシステムは、リアルタイムで伝達関数プリセットに達する遺伝的アルゴリズム（ＧＡ）を基礎とした適合技術を採用する。マルチコアの図形処理ユニット（ＧＰＵ）プロセッサで実行する並行処理および適合アルゴリズムを利用する。プリセットは続いて、診断および／または予後診断中に、診断に役立つセグメント化された生体構造のビジュアライゼーションを直ちに構築するように再利用することが可能である。
【００６８】
本発明の３Ｄ医用画像セグメンテーションアプローチは後述する４つのシステムおよび方法を採用している。
【００６９】
第一に、本システムのアーキテクチャは並行および分散型神経回路網をモデリングするようにＧＰＵプロセッサを使用する。遺伝的アルゴリズムの神経回路網またはＤＮＡ鎖のシナプスをシミュレーションするようにＧＰＵの何百ものマルチコアプロセッサを用いることによって、大量のこれらのＧＰＵは脳または進化過程をシミュレーションする。困難な医用画像問題はこのようなシステムを用いて解消できる。
【００７０】
第二に、画像のセグメンテーションは直接、多次元伝達関数（ＭＤＴＦ）を用いるビジュアライゼーションドメインにある。本発明は、ビジュアライゼーションの前に生データ値を前処理する従来のコンピュータビジョン方法の代わりに多次元伝達関数を用いるビジュアライゼーション方法を展開する。セグメンテーションに基づく画像処理は、過度のメモリおよび計算要件に加えて、生およびそのセグメント化されたボリュームの両者が構成されそして考慮される必要があるので、ビジュアライゼーションの実行に責任を負う。代わりに、本発明によるセグメンテーションはビジュアライゼーションパイプラインに直接ＭＤＴＦとして表わされる。ＭＤＴＦは本質的に、図２に示されるグレースケールの異なった濃淡により表わされる、データの分布の視覚表示を含むヒストグラムのマーキング領域の強度値に色度および透明度値をマッピングしたものである。特許協力条約に基づく規則、第１１．１３規則（2011年7月1日施行）により、図面は黒および白のみにする必要があることを認識し理解されるべきである。しかしながら、図面は透明度値と共に色度のマッピングを含むことを意図し、図２に示されるようなヒストグラムのマーキング領域の強度値を示すことを認識し理解されたい。ヒストグラムは解剖学的構造、この場合、歯の３Ｄボリュームビジュアライゼーション画像の２Ｄ画像スライスから生成される。図２は、ＬＨヒストグラムに特徴ある領域を有する、スキャンに境界を形成する代表的なマテリアルを示す。ポリゴンを有するこれらの領域をマーキングすることは、ＭＤＴＦを用いてセグメント化されたボリュームを導き出すことができる。歯データセットは、分離するのが難しい細胞組織、血管および神経を含むので、ここでは一例として選ばれている。図２において、画像２９（すなわち、右側の画像）は、セグメント化された生体構造に対応するヒストグラムの領域を示している。例えば、第１四角形４１（赤色四角形として示される）は歯髄に対応し、第２四角形４２（黄色四角形として示される）は象牙質を表わし、そして第３四角形４３（灰色四角形として示される）は歯のエナメル質に対応する。ビジュアライゼーションを創出するためのデータドメインからカラー画像へのヒストグラム空間のカラー四角形領域のマッピングは、伝達関数として知られている。それ故、セグメンテーションは多角形ウィジェット、すなわち、図形要素を使用してヒストグラム領域をマーキングし、そして光学的特性を割り当てることにより達成される。マーキングおよび伝達関数の生成はすべてビジュアライゼーションパイプライン内にあるので、本発明はセグメンテーションに到達するのに生スキャンを前処理する必要がない。
【００７１】
第三に、２Ｄ画像の関心領域のヒストグラムをマーキングするために、リアルタイムで適合するＢスプラインが使用される。本発明の方法は、リアルタイムのセグメンテーションのために仮想多次元ヒストグラムにスプライン曲面を生成するように遺伝的アルゴリズムを使用する。ヒストグラム面に多角形ウィジェットを生成することにより多次元伝達関数を作ることは、医療行為において実用的でない特異な手動方法である。さらに、ヒストグラムを選択するのに用いられる多角形ウィジェットは、ヒストグラム特性マッピングの内側点にぴったりと合うことへの適合性を欠く。セグメンテーション処理は、図３および４に示されるように、より使い易いユーザーインターフェイスを用いてプロトタイプ２Ｄ画像に関心領域をマーキングすることから始まる。図３は本発明により選択された２Ｄ医用画像を示し、そして図４は本発明による図３の画像の関心のある領域への内科医のマーキングを示している。
【００７２】
２Ｄ画像スキャンの仮想多次元ヒストグラムは次いで要求に応じて構築される。ＧＡ実行はヒストグラム領域を選択するウィジェットを生成するように遺伝子を適合させる。スキャンの境界を形成するマテリアルはヒストグラムに明確な領域を有し、それにより、多角形でそれらの領域をマーキングすることはＭＤＴＦを用いてセグメント化されたボリュームを導くことができる（図２）。Ｂスプラインは、図５および６に示されるように、その制御点を変換することはより大きな適応性を有する形態を作り出すことができるので、ウィジェットの基礎として用いられる。Ｂスプライン（ベジエにちなんで名付けられている）は曲線および面を生成して表示するためにコンピュータグラフィックスで用いられる数学モデルであり、そして曲線自体から離れたところにある制御点を有して表わされる。図５は、本発明による仮想２Ｄヒストグラムの領域を特定するウィジェットを作成するようにＧＡによって生成することができるＢスプラインの一例を示す。図６は、本発明による仮想ヒストグラムの領域およびその内側点を特定するウィジェットを作成するようにＧＡによって生成できるＢスプライン曲面の一例を示す。重ねて、このＢスプライン曲面は好ましくは色度のマッピングを含むように表現されることを評価されそして理解されるべきである。ＧＡの遺伝子型は１つまたは複数のＢスプライン曲面を述べる。各Ｂスプライン曲線はＢスプライン曲線／基底関数の座標および次数として制御点の組（例えば、図６に示されるような制御点１−７）を述べることにより示される。ＧＡは本質的に制御点または次数を変更することによりいかなる形態にも生成できる。ＧＡは、解剖学的構造の関心のある部分と一致する強度値に光学的特性をマッピングするようにＭＤＴＦを用いるアルゴリズムのパラメータを進化するようにエボルバとして作用する。
【００７３】
各遺伝子型は畳み込み神経回路網（ＣＮＮ）を用いてプロトタイプ画像に対して可視化されて適合される。ゲノムの適合度はビジュアライゼーションがいかにして良好にプロトタイプ画像に適合するかの関数である。思い通りに適合すると、ゲノムは３Ｄビジュアライゼーションを生成するようにスキャン全体に適用される。ＧＡおよびＣＮＮのＧＰＵ実装はセグメンテーションの対話式応答を確保する。内科医はビジュアライゼーションを解剖学的構造と関連付け、そしてゲノムは必要なときに呼び出せるプリセットとして保存される。多次元ヒストグラムにおけるＢスプライン曲面を決定する確率的自然選択アプローチは、現在の技術では達成できなかった医用画像セグメンテーションについての発見をもたらすことができる。
【００７４】
第四に、本発明は、患者のケアを改善するように内科医が患者のスキャンを有効に診断できる、要求に応じ、適応できかつ対話式のセグメンテーションビジュアライゼーションを実現する。図７は、本発明のセグメンテーションアプローチ（左側）と従来技術のセグメンテーションアプローチ（右側）の比較である。慣用の従来方法（リアルタイムではない）では、スキャン検査技師はボリュームをセグメント化し、次いで、内科医が診断に使用できるようにスナップショットを作成する。本発明の方法（リアルタイムである）では、内科医は関心領域（ＲＯＩ）を設定すると、ＧＡがダイナミックビジュアライゼーションを提供するようにＲＯＩの合致した構造に適合させる。本発明において、内科医は有効なビジュアライゼーションを生成するように生スキャンを直接操作する。このことは患者のケアを改善し、スキャン自体がインテリジェントなビジュアライゼーションなしでは問題点を明らかにしない初期段階において疾患を見つける。癌患者の初期段階での診断および治療後の生存率は約９０パーセントにできる。
【００７５】
セグメント化された生体構造の認識のための並行多層畳み込み神経回路網の実行について以下説明する。
【００７６】
ＧＡの能力は、ユーザによって特定されたプロトタイプ画像と共に遺伝子により作られるＧＡの出力に適合する多層並行畳み込み神経回路網（ＭＣＮＮ）を有することにより評価される。その適合または欠損は遺伝子型の適合度値を示す。見つけられた最も良好な適合度はプロトタイプに適合する適切な多次元伝達関数を示す。
【００７７】
本発明で用いられるＭＣＮＮは誤差逆伝播アルゴリズムのバージョンで養成された神経回路網である。最小限の前処理でピクセル画像から仮想パターンを直接認識するように設計される。ＭＣＮＮは極度の変動性（手書き文字のような）を有し、そして歪みおよび簡単な幾何学的変換に対するロバスト性を有するパターンを認識できる。ＭＣＮＮは図８に示されており、それは本発明により採用された多層畳み込み神経回路網（ＭＣＮＮ）モデルを表す。入力層は５１２×５１２のセグメンテーション画像でよく、出力層は、１つのニューロンが｛＋１｝（答え）の値を有する一方、その他の９つのニューロンすべてが｛−１｝の値を有する１０のニューロンからなり得る。図９はニューロンおよびその関係を示し、そして本発明により用いられる多層畳み込み神経回路網（ＭＣＮＮ）モデルにおけるｉ番目のニューロンの概観を表す。各ニューロンは入力の加重和を計算してそれをバイアスと比較する。その和がバイアスよりも高いとき、出力は｛＋１｝となり、そうでなければ｛−１｝となる。畳み込み層の加重はすべて互いに結び付いており、それにより、自由パラメータの数をトレインの状態に変え、そして画像内へのシフトを検出する。
【００７８】
ＭＣＮＮはかなりの数のベクトルおよびマトリックス演算を必要とし、それ故、図１０に示されるように、並行プログラミングモデルにより実行されそしてＧＰＵで実行することが非常に好ましい。図１０はＭＣＮＮ層、連結、ニューロンを示し、その加重は本発明により用いられる多層畳み込み神経回路網（ＭＣＮＮ）モデルにおけるＮ入力によるＭ出力のマトリックスとして表される。
【００７９】
神経回路網のトレーニングはＧＰＵで実行される誤差逆伝搬を用いて行われる。回路網のトレーニングは、実際の出力を回路網［２０］の所望の出力に適合するように加重（Ｗ）を調整することを伴う。学習過程は平均二乗誤差（ＭＳＥ）を最小限にするＷの値を見つけることにある。
【００８０】
ＧＡの遺伝子型は１つまたは複数のＢスプライン曲面を示す。各Ｂスプライン曲面は座標としての制御点の組およびＢスプライン曲線／基底関数の次数を述べることにより示される。２Ｄヒストグラム（図２）の生成は、ヒストグラムを構築するためにスキャンを介して非常に多くの半直線を投影することを伴うので時間が掛かる。しかしながら、ヒストグラムは人にとって多角形領域を描き、目視検査を介して伝達関数を特定するためにだけ必要である。本発明のＧＡは仮想多角形領域の組（数学的助変数表示）であるＢスプライン表現を作るので、あまりにも仮想で、ビジュアライゼーションパイプラインを著しく加速するためにヒストグラムの生成は省略される。ＧＡアルゴリズムは仮想２Ｄヒストグラムを選択する適応可能な確率論的モデルであり、その結果は相手との適合度を導くようにプロトタイプ画像と比較される。ＧＡの最良適合度は、所望のセグメンテーションに到達するまでスキャン全体に適用される伝達関数を示す。ＧＡは制御点または次数を変更することにより本質的にどのような形状にも生成できる。２つまたはそれ以上のＢスプライン曲面はスキャン内の複数の生体構造がセグメント化できるように用いられる。Ｂスプライン曲面は媒介変数方程式により画定される。
【００８１】
【数２】
0005926728.tif 000003
【００８２】
上記ＧＡ個体群の各々は検索され、各ゲノムはビジュアライゼーションを作り出すために解析される。スプラインの媒介変数方程式はマトリックスとして示され、曲面上に補間点を得るようにＧＰＵを用いて効果的に実行される。この点は次いでヒストグラムをサンプリングするように用いられる。要約すると、遺伝子型はヒストグラムに特性選択マッピングを生成し、最終的に伝達関数を表現する。伝達関数の光学的特性はセグメンテーションを可視化するように医用スキャンに適用される。結果として生じる画像はＭＣＮＮを用いることを容認され、所望のセグメンテーションが達成されたか否かに分類される。神経回路網アーキテクチャのＧＰＵ実行は中間入力画像をユーザ選択部分のプロトタイプ画像とリアルタイムで認識するには十分である。その結果が肯定的であるとき、ゲノムは高度に適合することを意味し、そのゲノムは保存される。一方、結果が否定的であるとき、その適合度値はＭＣＮＮネットワークのＭＳＥの値を求めることにより演算され、その遺伝子型はＧＡによりさらに改作されて修正される。ＭＣＮＮはＧＡの適合度関数を測るように洗練された方法を提供する。
【００８３】
適合度関数を生成するＭＣＮＮ方法はより簡単な二乗平均平方根誤差（Ｅｉ）適合度関数を用いることにより省略できる。ＥｉはＧＡ生成ビジュアライゼーションと内科医によって選択された関心のある画像のプロトタイプ領域との間違いの程度を表わす。
【００８４】
ＧＡの適応圧力下で生成される多次元ヒストグラムに適用されたＢスプライン曲面の組は解剖学的構造を選び出すことができる。このようなセグメンテーションはプリセットとして保存でき、後に所望の生体構造を表示するように読み込むことができる。
【００８５】
遺伝的アルゴリズムおよび神経回路網が大規模ＧＰＵクラスタで実行されるとき、本発明は自然システムに似ている。本発明は、いかにして進化が遺伝的アルゴリズムに大量の個体群を生成することにより進化し；個体群がリアルタイムで迅速に進化して最適に乗り切るかに似ている。本発明はまた、神経回路網の大量の「シナプス／ニューロン」をシミュレーションすることによりいかにして脳が働くかに似ている。単一のＡＭＤ６９９０（商品名）ＧＰＵは３０７２コア／ストリームプロセッサを有する。米国特許１１／６７１，５８１を介して組み合わされた多重ＧＰＵは、解剖学的構造の所望部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像をリアルタイムで修正する問題を解決するために、自然システムに似た、大量の個体群または「シナプス／ニューロン」を生み出すように非常に拡張性のあるＧＰＵプラットフォームを提供できる。ＰＣＴ／ＵＳ２０１０／０３６３５５に述べられているシステムは、このことを可能にし得るシステムである。本発明によれば、遺伝的アルゴリズムは解答、すなわち、プロトタイプ画像に最適に適合する伝達関数を動作させるようにヒストグラム選択するためになにが最良のウィジェットであるか或いは最高の圧縮を可能にする一方、診断に関する品質を依然として維持できるものを選択するためになにが圧縮アルゴリズムの最良のパラメータであるかという問題に対する最良なソリューション（個体群を進化させる時間がどれくらいかかるかによって決まる）に確率的に到達できる。また、本発明は、なにが正常および異常なケースであるかを学習し、それにより内科医に異常を警告するようにアルゴリズムを開発し、内科医がミスを犯す  −  診断を提供する必要はなくて内科医により見逃された異常な生体構造を内科医に警告するように神経回路網を使用する。
【００８６】
臨床セグメンテーションアプリケーションについて以下説明する。
【００８７】
救命救急診療は心臓、血管から癌の疾患まで及ぶ。臨床的に関連のある進歩的なビジュアライゼーションの例が図１１、１２、１３および１４により示されている。これらの画像はセグメンテーションのために専門化が現在の手作業の方法を用いて得たものである。図１１は心機能および閉塞分析の診断のための冠循環血管のビジュアライゼーションを示す図である。右冠動脈のステント６０を見ることができる。図１２は冠動脈閉塞を有する患者のケアに役立つ下肢のステント６０のビジュアライゼーションを示す図である。図１３は脳の血管のビジュアライゼーションを示す図であり、それは頭蓋骨を除去することにより可能である。図１４は乳癌（この画像に白色の矢印で示されるように）のビジュアライゼーションを示す図である。この患者は早期の検診と適切なケアにより疾患を克服し、乳腺切除を回避した。
【００８８】
一旦、内科医のワークフローに組み込まれると、図１１−１４のビジュアライゼーションは本発明の方法およびシステムにより容易に生成できる。本発明はまたセグメンテーションタスクのための臨床ツールを生成することを含む。上述のセグメンテーションエンジンはウェブポータルプラットフォームと統合され、そうして診断または予後の間、インターネットまたはその他のネットワーク上でアクセスできる。この種のウェブポータルプラットフォームの例が、２０１０年５月２７日に出願された国際特許出願、第ＰＣＴ／ＵＳ２０１０／０３６３５５号、発明の名称「Method and System for Fast Access to Advanced Visualization of Medical Scans Using a Dedicated Web Portal」に開示されており、その内容は本説明において参照事項として組み込まれる。内科医はセグメンテーションエンジンを用いて開始し、内科医がビジュアライゼーションをリアルタイムで効果的に遂行する必要がある専用ツールのウェブポータルプラットフォームに伝える。内科医に要求されることは臨床ツールに取り込むことである。
【００８９】
セグメンテーション中、所望のセグメンテーションに適合するゲノムはプリセットとして保存される。内科医は予後診断中に数秒の間に診断に役立つビジュアライゼーションを構築するようにそれらのプリセットを再利用し得る。例えば、照会する内科医が患者に動脈瘤を伝えたいときがある。その内科医は、スキャンから頭蓋骨を取り除き、血管を反転表示させる一方、前後関係からして脳を半透明なものとして示すプリセットを選択し得る。本発明はこのようなプリセットを診断印象に組み込み、そして標準的報告ワークフローを介してアクセス可能にする方法を含む。
【００９０】
本発明はまた、脳の血管のビジュアライゼーションのための「脳動脈瘤読取りプロトコル」のような、支持された予備放射線学的読取りプロトコルの組を画定する。このことは診断での使用にとって有効な実施となり得る。内科医は、検査技師が介在することなしに所定の放射線学的読取りプロトコルの組について所望の詳細なビジュアライゼーションに到達するように本発明の臨床ツールを使用することが可能となる。
【００９１】
本発明は、１つまたはそれ以上の機能的コンポーネントまたはモジュールに配分され得る、所望のその部分を分離するように解剖学的構造の３Ｄボリュームビジュアライゼーション画像をリアルタイムで修正するための方法およびシステムを提供する。本発明はシステム、方法またはコンピュータプログラム製品として実施され得る。本発明は完全なハードウェアの実施形態、完全なソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、ほかを含む）、または本説明において「回路」、「モジュール」または「システム」としてすべて全体的に参照されるソフトウェアおよびハードウェア態様の組合せの形態を取り得る。本発明は、コンピュータ可読コードを有する１つまたはそれ以上のコンピュータ可読メディアで具体化されコンピュータプログラム製品の形態を取り得る。コンピュータ可読メディアに具体化されるプログラムコードは、これらに限定されるものではないが、無線、有線、光ファイバケーブル、無線周波（ＲＦ）または同様な手段を含む適当ないかなるメディア、或いは前述の手段の適当ないかなる組合せをも用いて伝達される。特に、１つまたはそれ以上の遠隔クライアントアプリケーション（例えば、遠隔コンピュータ）は、中央サーバアプリケーションに接続され、関心のある部分の２Ｄ画像は遠隔クライアントアプリケーションで認識され、そしてその他の作業の１つまたはそれ以上、或いはすべては中央サーバアプリケーションで遂行される。遠隔クライアントアプリケーションは次いで、正常か異常か、またはそのフラグまたは警告があるかの最終的な画像表示を提供される。
【００９２】
本発明の方法およびその他の態様のための作業を実現するためのコンピュータプログラムコードは、１つまたはそれ以上のコンピュータ言語のいかなる組合せでも書かれ得る。プログラムコードは、スタンドアロン型ソフトウェアパッケージのように、完全にユーザコンピュータで、部分的にユーザコンピュータで、部分的にユーザコンピュータでかつ部分的に遠隔コンピュータで或いは完全に遠隔コンピュータまたはサーバで実行し得る。後者の場合、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む、いかなるタイプのネットワークをも介してユーザコンピュータに接続でき、その接続は外部コンピュータにも（例えば、インターネット接続サービスプロバイダを利用するインターネットを介して）行われ得る。これらのコンピュータプログラム命令はまた、コンピュータ、その他のプログラム可能なデータ処理装置、または特定の手段で機能するその他の装置を指向できるコンピュータ可読メディアに保存され、それにより、コンピュータ可読メディアに保存された命令は、図面の機能ブロックまたはモジュールに特定される機能／作用を実行する命令を含む製品を作り出し得る。
【００９３】
コンピュータプログラム命令はまた、コンピュータ、その他のプログラム可能なデータ処理装置、または一連の作動ステップをコンピュータ上で遂行させるその他の装置、コンピュータ実行プロセスを作り出すその他のプログラム可能なデータ処理装置またはその他の装置にロードされ、それにより、コンピュータまたはその他のプログラム可能なデータ処理装置で実行する命令は図面の機能ブロックまたはモジュールに特定される機能／作用を実行するためのプロセスを提供し得る。
【００９４】
サーバとユーザと同様に、個々のシステムコンピュータまたはモジュール間の通信および伝達接続は、無線、有線、光ファイバケーブル、無線周波（ＲＦ）または同様な手段により行われ、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）および／またはインターネットまたはその他の接続手段を介しても行われ得る。個々のシステムコンポーネントはコンピュータにハードウェアまたはソフトウェアとして組み込まれ得る。ユーザはその他の点では、イントラネットまたはインターネットを使って通信できる遠隔コンピュータまたはその他の電子装置、この装置はまた顧客データソースとして使用され得るローカルコンピュータ可読記憶メディアと接続し得る、に慣用のウェブブラウザアプリケーションを採用し得る。適切な記憶メディアは、他の場所で作成されたＣＴまたはＭＲＩスキャンのようなボリュームビジュアライゼーションデータセットのすべてまたは一部を受け取り、そして、後にさらに述べるような、このデータセットの中央データベースへの伝達装置として機能するように用いられ得る。このような記憶メディアはまた、ボリュームビジュアライゼーションデータセットまたはそれから生成された画像表示のすべてまたは一部を中央データベースからダウンロードして保存するように使用され得る。１つまたはそれ以上のコンピュータ可読メディアは単独または組合せで用いられ得る。適切なコンピュータ可読記憶メディアは、例えば、これに限定されるものではないが、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、設備、または装置、或いはこれらの適当ないかなる組合せでもよい。適切なコンピュータ可読記憶メディアのその他の例は、限定ではなく、次のものがある：１つまたはそれ以上の導線を有する電気的接続、可搬型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラム可能型読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、可搬型コンパクトディスク読取専用メモリ（例えば、ＣＤ−ＲＯＭ）、光学式記憶装置（例えば、ＤＶＤ ＲＯＭ）、磁気記憶装置（例えば、ディスケット）、またはこれらの適当ないかなる組合せ。適切なコンピュータ可読記憶メディアは、命令実行システム、設備、または装置により、またはそれと接続して用いるためのプログラムを含む、または記憶することができるいかなる有形のメディアでもよい。
【００９５】
かくして、本発明は、以下の１つまたはそれ以上の利点を提供する：
【００９６】
１）  ＧＰＵで動作する内科医誘導の適合アルゴリズムを介して伝達関数として多次元特性をカプセル化することは解剖学的構造を相互から自動的およびリアルタイムで遠ざける。このことは診断中に生成される画像表示を内科医が制御できる。このことはより良い診断を行え、非常に強化された患者のケアを行える。
【００９７】
２）  これらの技術は、進歩したビジュアライゼーションなしではスキャン自体が問題点を明らかにすることはない初期段階で心臓、血管、および癌疾患を認識するように診断医を補助できる。
【００９８】
３）  ３Ｄビジュアライゼーションは使い易い解剖学的構造の生物学的ビジュアライゼーションを介してより深い理解を提供し、かくして放射線読取りを改善し、より多くの一日当りの読取りを可能にして時間を節約し、コストを切り下げる。
【００９９】
前述の国際特許出願に述べられているような、現行のＦＤＡ認可ウェブポータルプラットフォームと組み合わされたとき、診断精度は促進され、それにより、インテリジェントビジュアライゼーションはインターネット上で要求に応じてアクセスできる。
【０１００】
本発明は、特定の実施例に関連して具体的に述べられたが、上述の説明から明らかなように、当業者にとって多くの代替、修正および変更を行えることは明らかである。それ故、添付の請求の範囲は本発明の真正な範囲および主旨に属するいかなる代替、修正および変更も包含するものである。
【図１Ａ】
0005926728.tif 000004
【図１Ｂ】
0005926728.tif 000005
【図１Ｃ】
0005926728.tif 000006
【図１Ｄ】
0005926728.tif 000007
【図２】
0005926728.tif 000008
【図３】
0005926728.tif 000009
【図４】
0005926728.tif 000010
【図５】
0005926728.tif 000011
【図６】
0005926728.tif 000012
【図７】
0005926728.tif 000013
【図８】
0005926728.tif 000014
【図９】
0005926728.tif 000015
【図１０】
0005926728.tif 000016
【図１１】
0005926728.tif 000017
【図１２】
0005926728.tif 000018
【図１３】
0005926728.tif 000019
【図１４】
0005926728.tif 000020