(57)【要約】  確信レベル指標（ＣＬＩ）を生成するようにデバイスを訓練するために機械学習を利用する方法及び手段。デバイスは、デバイスに提示された画像特徴に関する分類を推薦するように初期機械学習を使用して最初に訓練されたＣＡＤシステムである。特定の画像特徴にどのクラスが関連付けられるべきかに関するＣＡＤシステムの推薦の確信レベルをより良く示すために、確率的分類を利用して、人間のオペレータによって与えられた中間値が組み込まれる。
2019526869.tif 000002
【特許請求の範囲】
【請求項１】
診断支援システムをパーソナライズする方法であって、
複数の訓練画像特徴にアクセスすることであって、前記複数の訓練画像特徴のそれぞれが、複数のクラスの内の既知のクラスと関連付けられ、前記既知のクラスが、前記訓練画像特徴のそれぞれに関する既知の正しい診断決定に対応することと、
前記複数の訓練画像特徴のそれぞれに対応した、少なくとも一人のオペレータからの複数の初期臨床医推薦診断決定にアクセスすることであって、前記複数の初期臨床医推薦診断決定のそれぞれが、臨床医確信度を有することと、
前記複数の訓練画像特徴のそれぞれに対応した複数のコンピュータ支援診断（ＣＡＤ）システム推薦診断決定にアクセスすることであって、前記複数のＣＡＤシステム推薦診断決定のそれぞれが、分類子出力スコア又はスコアのアンサンブルの組み合わせを有することと、
前記複数の訓練画像特徴のサブセットに対応した前記複数の初期臨床医推薦診断決定のサブセットにアクセスすることであって、前記複数の初期臨床医推薦診断決定の前記サブセットが、前記複数の訓練画像特徴の前記サブセットに対応した特定のＣＡＤシステム推薦診断決定とは異なることと、
前記複数の訓練画像特徴の前記サブセットに対応した前記特定のＣＡＤシステム推薦診断決定のそれぞれに関する確信レベル表示（ＣＬＩ）スコアを定義する関数を生成することと、
によって、ＣＡＤシステム推薦に関するＣＬＩを提供するようにデバイスを訓練するために機械学習を利用するステップを含む、方法。
【請求項２】
一連の訓練画像と関連付けられた初期訓練データセットを提供することであって、前記初期訓練データセットの少なくとも一部が、前記複数のクラスの内の初期の既知のクラスと関連付けられた画像特徴を有し、前記複数のクラスが、初期の予め定められた可能な臨床行為と関連付けられることと、
前記デバイスに対する前記初期訓練データセットの前記提供の結果に基づいて、重み付けされたエラー項の費用関数を決定することと、
診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴値に対して、前記費用関数の特定のパラメータに重み付けを行う、又はペナルティを科すことと、
によって、前記デバイスを最初に訓練するために初期機械学習を利用するステップをさらに有する、請求項１に記載の方法。
【請求項３】
インタフェースによって選択された画像を受信するステップであって、前記選択された画像が画像特徴を有する、ステップと、
前記選択された画像から少なくとも１つの画像特徴値を抽出すること、及び前記複数のクラスからクラスを識別するために前記重み付けされた費用関数を使用して訓練された前記デバイスに前記少なくとも１つの画像特徴値を適用することによって、具体的な臨床行為を与えるように前記デバイスを利用するステップと、
をさらに有する、請求項２に記載の方法。
【請求項４】
前記コンピュータ支援診断（ＣＡＤ）システム推薦に関する前記ＣＬＩを提供するように前記デバイスを訓練するために機械学習を利用する前に、前記初期機械学習を使用して、前記デバイスが訓練される、請求項２に記載の方法。
【請求項５】
前記複数の訓練画像特徴の前記サブセットに対応した前記特定のＣＡＤシステム推薦診断決定のそれぞれに関する前記ＣＬＩスコアが、特定のタイプの画像特徴に固有であり、及び前記少なくとも一人のオペレータに固有である、請求項１に記載の方法。
【請求項６】
前記関数のパラメータが、前記臨床医確信度、前記分類子出力スコア、及び前記複数の訓練画像特徴の前記サブセットのそれぞれに関する前記既知の正しい診断決定を含む、請求項１に記載の方法。
【請求項７】
前記ＣＬＩスコアを定義する前記関数を生成する前記ステップが、前記ＣＡＤシステムが、システムの推薦において、システムの確信により重く重み付けを行った画像の局所エリアを提供することを有する、請求項１に記載の方法。
【請求項８】
前記ＣＬＩの初期訓練段階を繰り返すことによって、前記ＣＤＩ／ＣＡＤシステムをある期間にわたり使用した産物としての、放射線科医が前記ある期間にわたり獲得したかもしれない放射線科医学習挙動に適応するステップをさらに有する、請求項１に記載の方法。
【請求項９】
前記複数の訓練画像特徴のサブセットに対応した前記複数の初期臨床医推薦診断決定の前記サブセットが、ある特定のオペレータ、複数の特定のオペレータ、機関、ロケール、ワークフロー位置、又は前記複数の訓練画像特徴の前記サブセットに対応した前記特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアを定義する前記関数と共に利用される、複数のオペレータによって下された最終決定の集約による初期及び最終決定プロファイルをさらに有する、請求項１に記載の方法。
【請求項１０】
前記複数のクラスのそれぞれが、乳腺画像報告データシステム（ＢＩ−ＲＡＤ）レキシコンの異なるカテゴリと関連付けられる、請求項１に記載の方法。
【請求項１１】
前記複数の訓練画像特徴画像のそれぞれが、軍団の関心領域と関連付けられたピクセル値又はピクセル値のサブセットを有する、請求項１に記載の方法。
【請求項１２】
前記関数が、前記ＣＬＩスコアを計算するために、オペレータによって与えられた１つ若しくは複数の中間値、及び／又は１つ若しくは複数のＣＡＤシステム推薦に基づく、請求項１に記載の方法。
【請求項１３】
前記関数が、
特徴ベクトルＸを所与として、及び前記オペレータが、ラベルＺを選択し、及び前記ＣＡＤシステム推薦が、ラベルＷによって定義され、既知のグラウンドトゥルースが、ラベルＱとして定義される、クラスｃにある確率を計算するためのＰ（ｃ／Ｘ；及びＺ；及びＷ；及びＱ）を有する、請求項１に記載の方法。
【請求項１４】
前記関数が、前記ＣＬＩスコアによって定義されたＣＡＤシステム推薦の確信レベルを示すために、人間のオペレータによって与えられた中間値を組み込みながら、確率的分類を利用する、請求項１に記載の方法。
【請求項１５】
少なくとも１つの訓練画像特徴に関する既知の正しい診断決定に対応した既知のクラスと関連付けられた前記訓練画像特徴にアクセスすることと、
前記訓練画像特徴に対応した、少なくとも一人のオペレータからの臨床医推薦診断決定にアクセスすることと、
分類子出力スコア又はスコアのアンサンブルの組み合わせを有する前記訓練画像特徴に対応したコンピュータ支援診断（ＣＡＤ）システム推薦診断決定にアクセスすることであって、前記ＣＡＤシステム推薦診断決定が、前記臨床医推薦診断決定とは異なることと、
前記ＣＡＤシステム推薦診断決定に関する確信レベル表示（ＣＬＩ）スコアを定義する関数を生成することと、
によって、ＣＡＤシステム推薦に関するＣＬＩを提供するようにデバイスを訓練するために機械学習を利用することを含む、方法。
【請求項１６】
前記関数のパラメータが、臨床医確信度、前記分類子出力スコア、及び前記訓練画像特徴に関する前記既知の正しい診断決定を含む、請求項１５に記載の方法。
【請求項１７】
前記臨床医推薦診断決定が、前記少なくとも一人のオペレータによって与えられた中間値を定義する、請求項１６に記載の方法。
【請求項１８】
コンピューティングデバイスを有する装置であって、前記コンピューティングデバイスが、重み付け項の費用関数を用いて、画像特徴に基づいた推薦クラスを生成するように機械学習によって訓練され、前記費用関数の特定のパラメータが、予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴に対して、重み付けされ、又はペナルティを科され、
複数の訓練画像特徴のそれぞれに対応した、オペレータからの前記コンピューティングデバイスによってアクセスされた複数の臨床医診断決定であって、前記複数の初期臨床医診断決定のそれぞれが臨床医確信度を有する、複数の臨床医診断決定と、
前記コンピューティングデバイスによってアクセスされた前記複数の訓練画像特徴のそれぞれに対応した複数のＣＡＤシステム診断決定であって、前記複数のＣＡＤシステム診断決定のそれぞれが、分類子出力スコア又はスコアのアンサンブルの組み合わせを有する、複数のＣＡＤシステム診断決定と、
前記コンピューティングデバイスによってアクセスされた前記複数の訓練画像特徴に関する特定のＣＡＤシステム診断決定とは異なる前記複数の訓練画像特徴のサブセットに対応した前記複数の臨床医診断決定のサブセットと、
前記複数の訓練画像特徴の前記サブセットに対応した前記特定のＣＡＤシステム診断決定のそれぞれに関するＣＬＩスコアを定義する、前記コンピューティングデバイスによって実行される関数と、
を有する追加の機械学習が、前記コンピューティングデバイスに適用される、装置。
【請求項１９】
前記関数が、
特徴ベクトルＸを所与として、及び前記オペレータが、ラベルＺを選択し、及びＣＡＤシステム推薦が、ラベルＷによって定義され、既知のグラウンドトゥルースが、ラベルＱとして定義される、クラスｃにある確率を計算するためのＰ（ｃ／Ｘ；及びＺ；及びＷ；及びＱ）を有する、請求項１８に記載の装置。
【請求項２０】
前記ＣＬＩスコアが、確率的分類を使用して、前記少なくとも一人のオペレータによって与えられた中間値を考慮に入れることによって、前記コンピューティングデバイスが前記推薦クラスを正しく生成する確率を定義する、請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]  本特許出願は、２０１６年８月１１日に出願され、及び「ＣＡＤシステム推薦に関する確信レベル指標（confidence level indicator）を提供するためのＣＡＤシステムパーソナライゼーションの方法及び手段」という名称の、その内容全体が、本明細書において参照により全体として援用される米国特許出願第１５／２３５，０５０号の継続出願である。
【０００２】
背景
[0002]  １．分野
[0003]  本発明概念は、一般に、医用画像及び解析に関し、並びに、より具体的には、医療診断用の画像報告データシステム（ＩＲＡＤＳ：image reporting and data system）の枠の中で、臨床的意思決定能力を向上させるシステム及び方法に関する。本発明概念は、システムのルールの解釈におけるグループ又は個人の偏りによる推薦臨床行為の逸脱を最小限に抑えるようにプログラミングされたコンピュータ支援診断（ＣＡＤ：computer-assisted diagnosis）システムに関する確信レベル表示（ＣＬＩ：confidence level indication）を提供する。
【背景技術】
【０００３】
[0004]  ２．関連分野の考察
[0005]  毎年、１，３００，０００件を超える乳房生検が米国で行われており、及び４，５００，０００件を超える乳房生検が、世界中で行われている。これらの生検の内、８０％が良性所見を得ている。乳房生検は、患者を臨床的リスクにさらす外傷性の体験であり、不快であり、及び値段が高い。
【０００４】
[0006]  放射線科医などの訓練を受けた医療専門家は、通常、手作業で、又はコンピュータソフトウェアを使用して、医用画像内の疑わしい領域を識別及び分類しようと試みるであろう。次いで、放射線科医は、関連の評点方式に従って、各疑わしい領域を手作業で特性化するかもしれない。例えば、乳房内の疑わしい関心領域が、乳腺画像報告データシステム（ＢＩ−ＲＡＤＳ：Breast Imaging Reporting and Data Systems）のガイドラインに従って特性化される場合がある。ＢＩ−ＲＡＤＳは、マンモグラフィ、超音波、又はＭＲＩを使用して乳癌を診断するために放射線科医によって使用される、広く受け入れられているリスク評価及び品質保証ツールである。各疑わしい領域に割り当てられた分類は、今後の方針を決定し得る。例えば、疑わしい領域が、おそらく悪性であると分類された場合、生検が指示されるかもしれない。疑わしい領域が、正常であると分類された場合、それ以上の行為は行われないかもしれない。但し、疑わしい領域が、おそらく良性であると分類された場合、方針は、６ヶ月後に変化がないか調べるために検査を繰り返すことであるかもしれない。ＢＩ−ＲＡＤＳ報告手法には、放射線科医が、画像ベースの所見の簡潔なレビューを提供し、並びに最終評価及び具体的な方針と共に、結果を照会する医師に明白及び一貫性のあるやり方で伝えることを可能にする、報告目的の標準レキシコン及び構造が含まれる。構造化された報告は、報告ターンアラウンドタイム（ＴＡＴ）を早め、請求書の作成及び規制順守の文書化を簡単にし、並びに利用レビュー、品質保証、及びリサーチ目的のデータ抽出のプロセスを簡単にする助けにもなる。医療監査及びアウトカムモニタリングにより、このシステムは、相互評価の重要な機構及び患者の治療の質を高めるための品質保証データを提供する。標準化した様式でまとめられた結果は、人口統計データ及びアウトカムデータの保守及び収集解析を可能にする。
【０００５】
[0007]  １９９３年のマンモグラフィの開始以来のＢＩ−ＲＡＤＳの成功は、様々な医用画像報告データシステム用のさらに多くの類似のチェックリストベースのシステムの導入に拍車をかけた。類似の報告データシステムの一部のリストには、それぞれ前立腺、甲状腺、肝臓、及び肺癌診断用の前立腺画像報告データシステム（ＰＩ−ＲＡＤＳ：Prostate Imaging-Reporting and Data System）、甲状腺画像報告データシステム（ＴＩ−ＲＡＤＳ：Thyroid Imaging Reporting and Data System）、肝臓画像報告データシステム（ＬＩ−ＲＡＤＳ：Liver Imaging Reporting and Data System）、及び肺ＲＡＤＳが含まれる。
【０００６】
[0008]  基本的ＢＩ−ＲＡＤＳ評価カテゴリは、以下の通りである。
[0009]  １：陰性、
[0010]  ２：良性、
[0011]  ３：おそらく良性、
[0012]  ４．疑わしい、及び
[0013]  ５：悪性を強く示唆。
【０００７】
[0014]  カテゴリ０（ＢＩ−ＲＡＤＳ０）及びカテゴリ６（ＢＩ−ＲＡＤＳ６）もある。ＢＩ−ＲＡＤＳ０は、比較のために以前の画像を確認する、又は追加の見解、より高品質なフィルム、若しくは追加の画像診断法のために患者に再び来てもらう努力を必要とする不完全な分類を示す。ＢＩ−ＲＡＤＳ６は、生検によって既に証明された、証明済みの悪性を示す。
【０００８】
[0015]  ＢＩ−ＲＡＤＳ４の分類は、以下のサブカテゴリに分けられることが多い。
[0016]  ４Ａ：悪性の低い疑い、
[0017]  ４Ｂ：悪性の中程度の疑い、及び
[0018]  ４Ｃ：悪性の高い疑い。
【０００９】
[0019]  ＢＩ−ＲＡＤＳシステムによって提供される推薦患者管理は、関心領域が、疑わしい、又は非常に疑わしい、すなわち、ＢＩ−ＲＡＤＳ４又はＢＩ−ＲＡＤＳ５と分類された場合、生検が指示されるべきである。疑わしい領域が、正常又は良性、すなわち、ＢＩ−ＲＡＤＳ１又はＢＩ−ＲＡＤＳ２と分類された場合、それ以上の行為は行われなくてもよい。但し、疑わしい領域が、おそらく良性、すなわち、ＢＩ−ＲＡＤＳ３と分類された場合、推薦は、変化がないか調べるための６カ月フォローアップである。ＢＩ−ＲＡＤＳスコアは、悪性腫瘍と相関した統計値であり、及び悪性腫瘍の決定性評価基準ではない。カテゴリ３（２％未満の悪性腫瘍のリスク）又はカテゴリ４（３％〜９４％の癌の確率）の病変が、異なる程度の悪性乳房病変と見なされることが明らかとなっている。これは、不確かなものであると見なされるカテゴリ３の過形成結節に特に当てはまる。このような病変は、良性病変の明らかな特性は持たないが、それでも主観的にカテゴリ３の病変と見なされる。カテゴリ４の病変の１〜２個の非良性特性が存在するが、米国放射線医学会（American College of Radiology）は、詳細なガイダンスを何ら提供していない。これは、分類における観察者間の一貫性の低さにつながり、ＢＩ−ＲＡＤＳシステムの理想的な使用からの相違が生じる結果となる。さらに、カテゴリ４ａは、一般的に、９０％〜９８％の良性病変から成り、４ｂは、５０％〜９０％の良性病変から成り、及び４ｃは、５％〜５０％の良性病変から成り、並びにＢＩ−ＲＡＤＳ５は、０％〜５％の良性病変を有するが、全てが生検に進まなければならない。従って、ＢＩ−ＲＡＤＳ４又はＢＩ−ＲＡＤＳ５のカテゴリの患者に対して行われた生検の内の８０％もの生検が、良性であると判明する。
【００１０】
[0020]  コンピュータ支援診断（ＣＡＤ）システムは、放射線科医の診断パフォーマンスを向上させる可能性を持つ。しかし、実際には、放射線科医は、ＣＡＤシステムによって行われる推薦を何時受け入れ、又は何時断るのかを知ることが難しい。
【００１１】
[0021]  特に、これらの知見を念頭に置いて、本発明概念の様々な局面が着想され、及び開発された。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
概要
[0022]  本発明概念は、ＣＡＤ推薦システムに対する確信レベルをより良く示すために、人間のオペレータによって与えられた中間値を組み込んだ確率的分類を利用するように構成されたコンピュータ化されたシステムを提供する。
【課題を解決するための手段】
【００１３】
[0023]  上記は、本発明概念のある局面において、診断支援システムをパーソナライズする方法を提供することによって達成することができる。この方法は、コンピュータ支援診断（ＣＡＤ）システム推薦に関する確信レベル表示（ＣＬＩ）を提供するようにデバイスを訓練するために機械学習を利用するステップを含んでいてもよい。このような訓練は、複数の訓練画像特徴にアクセスするステップを含んでいてもよい。複数の訓練画像特徴のそれぞれは、複数のクラスの内の既知のクラスと関連付けられてもよい。既知のクラスは、訓練画像特徴のそれぞれに関する既知の正しい診断決定に対応してもよい。
【００１４】
[0024]  上記訓練は、複数の訓練画像特徴のそれぞれに対応した、少なくとも一人のオペレータからの複数の初期臨床医推薦診断決定にアクセスするステップをさらに含んでいてもよい。複数の初期臨床医推薦診断決定のそれぞれは、臨床医確信度を含んでいてもよい。
【００１５】
[0025]  上記訓練は、複数の訓練画像特徴のそれぞれに対応した複数のＣＡＤシステム推薦診断決定にアクセスするステップをさらに含んでいてもよい。複数のＣＡＤシステム推薦診断決定のそれぞれは、分類子出力スコア又はスコアのアンサンブルの組み合わせを含んでいてもよい。
【００１６】
[0026]  上記訓練は、複数の訓練画像特徴のサブセットに対応した複数の初期臨床医推薦診断決定のサブセットにアクセスするステップをさらに含んでいてもよい。複数の初期臨床医推薦診断決定のサブセットは、複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定とは異なっていてもよい。
【００１７】
[0027]  上記訓練が、複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアを定義する関数を生成するステップをさらに含んでいてもよい。
【００１８】
[0028]  この方法は、一連の訓練画像と関連付けられた初期訓練データセットを提供することによって、デバイスを最初に訓練するために初期機械学習を利用するステップをさらに含んでいてもよい。初期訓練データセットの少なくとも一部は、複数のクラスの内の初期の既知のクラスと関連付けられた画像特徴を含んでいてもよい。複数のクラスは、初期の予め定められた可能な臨床行為と関連付けられてもよい。この方法は、デバイスに対する初期訓練データセットの提供の結果に基づいて、重み付けされたエラー項の費用関数を決定するステップをさらに含んでいてもよい。この方法は、診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴値に対して、費用関数の特定のパラメータに重み付けを行う、及び／又はペナルティを科すステップをさらに含んでいてもよい。
【００１９】
[0029]  この方法は、インタフェースによって選択された画像を受信するステップをさらに含んでいてもよい。選択された画像は、画像特徴を含んでいてもよい。この方法は、（ｉ）選択された画像から少なくとも１つの画像特徴値を抽出すること、及び／又は（ｉｉ）複数のクラスからクラスを識別するために重み付けされた費用関数を使用して訓練されたデバイスに少なくとも１つの画像特徴値を適用することによって、具体的な臨床行為を与えるようにデバイスを利用するステップをさらに含んでいてもよい。このデバイスは、コンピュータ支援診断（ＣＡＤ）システム推薦に関するＣＬＩを提供するようにデバイスを訓練するために機械学習を利用する前に、初期機械学習を使用して、訓練されてもよい。複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアは、特定のタイプの画像特徴に固有であり、及び／又は少なくとも一人のオペレータに固有であってもよい。関数の１つ又は複数のパラメータは、臨床医確信度、分類子出力スコア、及び／又は複数の訓練画像特徴のサブセットのそれぞれに関する既知の正しい診断決定を含んでいてもよい。ＣＬＩスコアを定義する関数を生成するステップは、ＣＡＤシステムが、システムの推薦において、システムの確信により重く重み付けを行った画像の局所エリアを提供することを含んでいてもよい。
【００２０】
[0030]  この方法は、ＣＬＩの１つ又は複数の段階又は訓練ステップ（例えば、初期訓練段階）を周期的に（例えば、年一回）繰り返すことによって、ある期間にわたるユーザ（例えば、放射線科医）の学習挙動に適応するステップをさらに含んでいてもよい。学習挙動は、ある期間にわたりＣＤＩ／ＣＡＤシステムを使用した産物、例えば、癌を正しく検出及び／又は診断する能力の向上、及び／又は放射線科医が、ある期間にわたり獲得したかもしれない診断画像解析に対する他の学習経験であってもよい。複数の訓練画像特徴のサブセットに対応した複数の初期臨床医推薦診断決定のサブセットは、ある特定のオペレータ、複数の特定のオペレータ、機関、ロケール、ワークフロー位置、及び／又は複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアを定義する関数と共に利用されることを含む、複数のオペレータによって下された最終決定の集約による初期決定プロファイル及び／又は最終決定プロファイルをさらに含んでいてもよい。つまり、個人又はグループの初期スコアは、ＣＡＤレコメンダースコアを見た後に、それらのスコアに続いて記録される。これらのスコアは、訓練を受けたＣＡＤデバイス／システムが、訓練中に見た各症例に類似した症例に関して、個人又はグループの決定よりも正しい確率を推定するようにＣＬＩ又はそれと関連付けられた関数を訓練することを助けるために使用されてもよい。
【００２１】
[0031]  複数のクラスのそれぞれが、乳腺画像報告データシステム（ＢＩ−ＲＡＤ）レキシコンの異なるカテゴリと関連付けられてもよい。複数の訓練画像特徴画像のそれぞれは、軍団の関心領域と関連付けられたピクセル値及び／又はピクセル値のサブセットを含んでいてもよい。関数は、ＣＬＩスコアを計算するために、オペレータによって与えられた１つ若しくは複数の中間値、及び／又はＣＡＤシステム推薦に基づいてもよく、又は因数分解してもよい。関数は、ＣＬＩスコアによって定義されたＣＡＤシステム推薦の確信レベルをより良く示すために、人間のオペレータによって与えられた中間値を組み込みながら、確率的分類を利用してもよい。
【００２２】
[0032]  上記は、本発明概念の別の局面において、診断支援システムを訓練する方法を提供することによって達成することができる。この方法は、コンピュータ支援診断（ＣＡＤ）システム推薦に関する確信レベル表示（ＣＬＩ）を提供するようにデバイスを訓練するために機械学習を利用するステップを含んでいてもよい。この訓練は、少なくとも１つの訓練画像特徴に関する既知の正しい診断決定に対応した既知のクラスと関連付けられた訓練画像特徴にアクセスするステップを含んでいてもよい。この訓練は、訓練画像特徴に対応した、少なくとも一人のオペレータからの臨床医推薦診断決定にアクセスするステップをさらに含んでいてもよい。この訓練は、分類子出力スコア又はスコアのアンサンブルの組み合わせを有する訓練画像特徴に対応したＣＡＤシステム推薦診断決定にアクセスするステップをさらに含んでいてもよい。ＣＡＤシステム推薦診断決定は、臨床医推薦診断決定とは異なっていてもよい。この訓練は、ＣＡＤシステム推薦診断決定に関するＣＬＩスコアを定義する関数を生成するステップをさらに含んでいてもよい。関数の１つ又は複数のパラメータは、臨床医確信度、分類子出力スコア、及び／又は訓練画像特徴に関する既知の正しい診断決定を含んでいてもよい。臨床医推薦診断決定は、少なくとも一人のオペレータによって与えられた中間値を定義してもよい。
【００２３】
[0033]  上記は、本発明概念の別の局面において、診断支援訓練システム又は装置を提供することによって達成することができる。この装置は、少なくとも１つのコンピューティングデバイスを含んでいてもよい。このコンピューティングデバイスは、１つ又は複数の重み付け項の費用関数を用いて、１つ又は複数の画像特徴に基づいた推薦クラスを生成するように機械学習によって訓練されるように動作可能であってもよく、費用関数の１つ又は複数のパラメータは、予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴に対して、重み付けされ、及び／又はペナルティを科されてもよい。追加の機械学習が、コンピューティングデバイスに適用されてもよい。このような追加の機械学習は、複数の訓練画像特徴のそれぞれに対応した、オペレータからのコンピューティングデバイスによってアクセスされた複数の臨床医診断決定を含んでいてもよい。複数の初期臨床医診断決定のそれぞれは、臨床医確信度を有していてもよい。このような追加の機械学習は、コンピューティングデバイスによってアクセスされた複数の訓練画像特徴のそれぞれに対応した複数のＣＡＤシステム診断決定を含んでいてもよい。複数のＣＡＤシステム診断決定のそれぞれは、分類子出力スコア又はスコアのアンサンブルの組み合わせを含んでいてもよい。複数の臨床医診断決定のサブセットは、コンピューティングデバイスによってアクセスされた複数の訓練画像特徴に関する特定のＣＡＤシステム診断決定とは異なる複数の訓練画像特徴のサブセットに対応していてもよい。このような追加の機械学習は、複数の訓練画像特徴のサブセットに対応した特定のＣＡＤシステム診断決定のそれぞれに関するＣＬＩスコアを定義することができる、コンピューティングデバイスによって実行される関数を含んでいてもよい。この関数は、特徴ベクトルＸを所与として、及びオペレータが、ラベルＺを選択し、及びＣＡＤシステム推薦が、ラベルＷによって定義され、既知のグラウンドトゥルースが、ラベルＱとして定義される、クラスｃにある確率を計算するためのＰ（ｃ／Ｘ；及びＺ；及びＷ；及びＱ）として定義されてもよい。ＣＬＩスコアは、確率的分類を使用して、少なくとも一人のオペレータによって与えられた中間値を考慮に入れることによって、コンピューティングデバイスが推薦クラスを正しく生成する確率を定義することができる。
【００２４】
図面の簡単な説明
[0034]  本明細書に記載する本発明概念の上記及び他の目的、特徴、並びに利点は、添付の図面に図示されるような発明概念の具体的な実施形態の以下の説明から明らかになるはずである。図面は、本発明概念の典型的な実施形態のみを示し、及び従って、範囲を限定すると見なされるものではない。
【図面の簡単な説明】
【００２５】
【図１】[0035]本発明概念の局面による例示的プロセスフローである。
【図２】[0036]本発明概念の局面による例示的プロセスフローである。
【図３】[0037]本発明概念の局面による例示的プロセスフローである。
【図４】[0038]本発明概念の局面による例示的プロセスフローである。
【図５】[0039]本発明概念の局面による例示的プロセスフローである。
【図６】[0040]本明細書に述べる様々なサービス、システム、及び方法を実施することができる例示的コンピューティングデバイスである。
【発明を実施するための形態】
【００２６】
[0041]  図面は、本発明概念を本明細書に開示及び記載される具体的な実施形態に限定しない。図面は、必ずしも一定の縮尺ではなく、その代わりに、本発明概念の特定の実施形態の原理を明白に示すことに重きを置いている。
【００２７】
詳細な説明
[0042]  以下の詳細な説明は、本発明概念の様々な実施形態を図示する添付の図面を参照する。それらの図示及び説明は、当業者が本発明概念を実施できるように十分に詳細に、本発明概念の局面及び実施形態を説明することを意図する。他の構成要素を利用することが可能であり、及び本発明概念の範囲から逸脱することなく、変更を行うことが可能である。従って、以下の詳細な説明は、限定的な意味で解釈されるべきものではない。本発明概念の範囲は、添付の特許請求の範囲と共に、この特許請求の範囲が権利を持つ均等物の全範囲によってのみ定義される。
【００２８】
[0043]  Ｉ．専門用語
[0044]  本明細書では、本発明概念の特徴を説明するために専門用語を使用する。例えば、「一実施形態（one embodiment）」、「ある実施形態（an embodiment）」、「上記実施形態（the embodiment）」、又は「複数の実施形態（embodiments）」という用語への言及は、言及されている１つ又は複数の特徴が、本発明概念の少なくとも１つの局面に含まれることを意味する。本明細書における「一実施形態」、「ある実施形態」、「上記実施形態」、又は「複数の実施形態」という用語への別々の言及は、必ずしも同じ実施形態に言及せず、並びに、そのように記載されている場合を除き、及び／又は容易に本明細書から当業者に明らかとなる場合を除き、相互排他的でもない。例えば、一実施形態に記載された特徴、構造、プロセス、ステップ、又は行為などは、他の実施形態に含まれてもよいが、必ずしも含まれるわけではない。従って、本発明概念は、本明細書に記載する実施形態の様々な組み合わせ及び／又は統合を含んでもよい。さらに、本明細に記載する本開示のあらゆる局面は、その実施に必須ではない。
【００２９】
[0045]  「アルゴリズム」という用語は、本明細書において具体的に記載した、又は本明細書に鑑みて当業者にとって容易に明らかである本発明概念の機能を含む（但し、それらに限定されない）１つ又は複数の機能を行うように構成された、論理、ハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせを指す。上記論理は、データ処理及び／又は記憶機能を持つ回路網を含んでいてもよい。このような回路網の例には、マイクロプロセッサ、１つ若しくは複数のプロセッサ、例えば、プロセッサコア、プログラマブルゲートアレイ、マイクロコントローラ、特定用途向け集積回路、ワイヤレスレシーバ、トランスミッタ、及び／又はトランシーバ回路網、半導体メモリ、又は組み合わせ論理が含まれ得るが、これらに限定されない。
【００３０】
[0046]  「論理」という用語は、実行可能アプリケーション、アプリケーションプログラミングインタフェース（ＡＰＩ）、サブルーチン、関数、プロシージャ、アプレット、サーブレット、ルーチン、ソースコード、オブジェクトコード、共用ライブラリ／ダイナミックロードライブラリ、又は１つ若しくは複数の命令の形式の実行可能コードなどの、１つ又は複数のソフトウェアモジュールの形式のコンピュータコード及び／又は命令を指す。これらのソフトウェアモジュールは、任意のタイプの適宜の非一時的ストレージ媒体、又は一時的ストレージ媒体（例えば、搬送波、赤外線信号、又はデジタル信号などの伝搬信号の電気、光、音響、又は他の形式）に保存されてもよい。非一時的ストレージ媒体の例には、プログラマブル回路、半導体メモリ、揮発性メモリ（例えば、任意のタイプのランダムアクセスメモリ「ＲＡＭ」）などの非永続ストレージ、不揮発性メモリ（例えば、リードオンリーメモリ「ＲＯＭ」、電源バックアップＲＡＭ、フラッシュメモリ、相変化メモリなど）などの永続ストレージ、ソリッドステートドライブ、ハードディスクドライブ、光ディスクドライブ、又はポータブルメモリデバイスが含まれ得るが、これらに限定又は制限されない。ファームウェアとして、実行可能コードは、永続ストレージに保存される。
【００３１】
[0047]  「ユーザ」という用語は、本明細書では、本発明概念のシステム及び／又は方法のユーザを表す同義語として一般に使用される。本明細書において、ユーザは、臨床医、診断医、医師、技術者、生徒、及び／又は管理者であってもよい。
【００３２】
[0048]  「識別された（identified）」、「処理された（processed）」、及び「選択された（selected）」という用語は、本明細書において、時制に関係なく、少なくとも１つのプロセッサを介して、１つ又は複数のプロセスにおいて、システムによって自動的に行われた、又は実行されたコンピュータ化されたプロセスを表す同義語として一般に使用される。
【００３３】
[0049]  「ＣＡＤ」という頭字語は、コンピュータ支援診断（Computer-Assisted Diagnosis）を意味する。
【００３４】
[0050]  「クライアント」という用語は、ＣＡＤ病変アプリケーションに接続するソフトウェアのあらゆるプログラムを意味する。
【００３５】
[0051]  「サーバ」という用語は、別段の指定がない限り、一般的に、１つ又は複数のクライアントをリッスンするＣＡＤ病変アプリケーションを指す。
【００３６】
[0052]  「ポスト処理」という用語は、入力された超音波画像に適用されたアルゴリズムを意味する。
【００３７】
[0053]  「ＰＡＣＳ」という頭字語は、画像保管通信システム（Picture Archival and Communication System）を意味する。
【００３８】
[0054]  「ＧＳＰＳ」という頭字語は、グレースケールソフトコピープレゼンテーションステート（Grayscale Softcopy Presentation State）を意味する。
【００３９】
[0055]  「ＤＩＣＯＭ」という頭字語は、医療におけるデジタル画像及び通信（Digital Imaging and Communications in Medicine）を意味する。
【００４０】
[0056]  「ＵＩ」という頭字語は、ユーザインタフェース（User Interface）を意味する。
【００４１】
[0057]  「ＰＨＩ」という頭字語は、個人健康情報（Private Health Information）を意味する。
【００４２】
[0058]  「コンピュータ化された（computerized）」という用語は、ソフトウェア及び／又はファームウェアと組み合わせたハードウェアによって、何らかの対応するオペレーションが行われることを一般に表す。
【００４３】
[0059]  「アンサンブル方法」という用語は、構成要素である学習アルゴリズムの何れかから得ることが可能な、より良いパフォーマンスを得るための複数の学習アルゴリズムを意味する。
【００４４】
[0060]  「スタッキング」という用語は、幾つかの他の学習アルゴリズムの予測を組み合わせるように学習アルゴリズムを訓練することを意味する。スタッキングは、スタックドゼネラリゼーション（stacked generalization）とも呼ばれる場合がある。
【００４５】
[0061]  「コンバイナ」という用語は、追加入力として他のアルゴリズムの予測を全て使用して最終予測を行うように訓練されたアルゴリズムを意味する。
【００４６】
[0062]  「ダイバーシティ」という用語は、アンサンブル方法／モデル間のバリエーションを意味する。アンサンブル方法の多くは、それらが組み合わせるモデル間のダイバーシティを促進させようとする。よりランダムなアルゴリズム（ランダム決定木など）を使用することによって、非常に作為的なアルゴリズム（エントロピー低減決定木など）よりも強力なアンサンブルを生成することができる。しかし、様々な強力学習アルゴリズム（ダイバーシティ）を使用することは、ダイバーシティを促進するためにモデルのレベルを下げようとする技術を使用するよりも効果的であることが示されている。
【００４７】
[0063]  最後に、本明細書で使用する「又は」並びに「及び／又は」という用語は、包括的に、又は任意の１つ、若しくは任意の組み合わせを意味すると解釈されるものである。従って、「Ａ、Ｂ、又はＣ」又は「Ａ、Ｂ及び／又はＣ」は、「以下：Ａ；Ｂ；Ｃ；Ａ及びＢ；Ａ及びＣ；Ｂ及びＣ；Ａ、Ｂ及びＣの何れか」を意味する。この定義に対する例外は、要素、関数、ステップ又は行為の組み合わせが、何らかの形で、本質的に相互排他的である場合にのみ生じる。
【００４８】
[0064]  本発明概念は、多くの異なる形式の実施形態が可能であるので、本開示が、本発明概念の原理の一例と見なされることが意図されており、並びに本発明概念を図示及び説明した具体的な実施形態に限定することは意図されていない。
【００４９】
[0065]  ＩＩ．米国特許出願第１５／２００，７１９号への言及
[0066]  本発明概念の局面は、本明細書に援用される関連の米国特許出願第１５／２００，７１９号に記載のコンピューティングデバイスで実施される既存のコンピュータ支援診断（ＣＡＤ）推薦システムを利用したシステム及び方法を提供する。米国特許出願第１５／２００，７１９号のＣＡＤ推薦システムは、個人又は特定の専門家グループから得た画像特徴に対処するための推薦臨床行為と、証明済み又は証拠に基づくデータとの相関関係に基づいた最適臨床行為との間の相違を最小限に抑えるように特別にプログラムされる。米国特許出願第１５／２００，７１９号のＣＡＤ推薦システムは、オペレータのエラープロファイルに基づいた生検などの間違った臨床行為の数を減らす。
【００５０】
[0067]  以前のＣＡＤ推薦システムの局面は、機械学習を利用して、画像特徴に関する臨床決定を提案するようにコンピューティングデバイスを訓練する。一連の訓練画像と関連付けられた訓練データセットは、コンピューティングデバイスに適用することができる。一連の訓練画像は、人の乳房などの人体のある特定のエリアを示す医用画像を有していてもよい。具体的には、訓練画像は、悪性又は良性病変を持つ乳房の一部の画像を有していてもよい。各画像は、示される病変によって、色及び陰影などの異なる特性を有する場合がある。訓練データセットの少なくとも一部は、訓練画像からの（医学レキシコンの）複数のクラスの内の既知のクラスと関連付けられた画像特徴を有していてもよい。つまり、画像特徴は、医学レキシコンの特定のクラスとリンクすることが証明されている。例えば、ＢＩ−ＲＡＤＳレキシコンのクラス１は、第１の訓練画像の画像特徴と関連付けられてもよく、又は割り当てられてもよく、及びＢＩ−ＲＡＤＳレキシコンのクラス２は、第２の訓練画像の画像特徴と関連付けられてもよく、又は割り当てられてもよい。画像特徴は、医用画像などのある特定の画像のベクトル又は他の値であってもよい。つまり、訓練データセットの少なくとも一部は、画像特徴が、医学レキシコンの１つ又は複数のクラスに何時割り当てられるべきかに関する例をコンピューティングデバイスに提供することができる。
【００５１】
[0068]  医学レキシコンの各クラスは、予め定められた可能な臨床行為と関連付けられてもよく、又は対応していてもよい。つまり、ある画像特徴が、ある特定のクラスに入る時に、そのクラスに特有の特定の臨床決定が推薦されるべきであることを予め定めることができる。臨床行為は、例えば、画像特徴に基づいて行われるべき特定のタスク又はプロシージャを有していてもよい。一例として、臨床行為は、病変の組織標本を除去し、並びに、検査及び解析用にその組織標本を提出するために、病変に生検を行うことを有していてもよい。別の臨床行為は、６カ月などの予め定められた期間の後に、患者及び病変のフォローアップを行うことを有していてもよい。
【００５２】
[0069]  重み付け項の費用関数は、コンピューティングデバイスに適用された訓練セットデータに基づいて決定されてもよい。さらに、費用関数の特定のパラメータは、診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴値に対して重み付けされてもよい。例えば、特定のパラメータは、放射線科医又は他の臨床医が、複数のクラスの内の１つ又は複数に属すると、ある画像特徴を正確に診断する難しさを考慮に入れるために重み付けされてもよい。
【００５３】
[0070]  ある具体的な実施形態において、上記の機械学習は、あり得る癌診断の具体的な状況において臨床決定を下すように、コンピューティングデバイスを訓練するために使用することができる。１つ又は複数の画像特徴と、既知の正しいＢＩ−ＲＡＤ分類との間の関係を識別する、予め選択されたデータパターングループの形式の訓練データセットが、分類のためにコンピューティングデバイスに提示されてもよい。訓練データセットは、例えば、ある特定の質感、形状、１つの成分／複数の成分、陰影、色、又はＢＩ−ＲＡＤレキシコンによるクラス４に入ると見なされた他の視覚的特徴を持つと人間の目には見える（例えば、病変の）画像特徴を識別することができる。画像特徴は、（あるピクセル、ピクセルグループ、又は複数のピクセル若しくはピクセルグループの関数の）ある特定の値をさらに有していてもよく、例えば、訓練データセットは、コンピューティングデバイスのために、各画像と関連付けられた１つ若しくは複数のピクセル（又は１つ若しくは複数のピクセルの関数）のある特定の値（特徴値）を識別する。そのため、訓練データセットは、コンピューティングデバイスのために、個々の放射線科医、又は放射線科医グループによって、１つ又は複数のＢＩ−ＲＡＤクラスに入ると見なされた、又は予め定められた（例えば、臨床的証拠に基づいて）画像と関連付けられた特徴値又は特徴値セットをさらに識別する。加えて、生検により証明された分類（病変が癌性であるか、又は良性であるかに関する）が既知である。
【００５４】
[0071]  訓練画像に応答して、コンピューティングデバイスによって生成された実際の出力が、費用関数を参照して、既知の生検により証明された結果と比較されてもよい。一実施形態において、放射線科医又は放射線科医グループに関して画像特徴がどのように分類されるべきであるか、及び彼らの画像に対するＢＩ−ＲＡＤレキシコンのクラスの選択に関する、コンピューティングデバイスによって出力されるエラーを最小限に抑えるためには、このような費用関数を最小限に抑えることが理想的である場合がある。この比較の局面を利用して、重み、偏り、又はエラー項に加えられるペナルティ関数などのコンピューティングデバイス及び／又は費用関数の特定のパラメータを調節することができる。さらに、費用関数の特定のパラメータは、診断するために重要であると予め定められた臨床的有意性の既知の例と関連付けられた特定の画像特徴値に対して重み付けされてもよい。例えば、特定のパラメータは、臨床医が病変の生検を推薦するか否かに関する決定に直面した場合に特に重要となり得る複数のクラスの内の１つ又は複数に属すると、放射線科医又は他の臨床医が、ある画像特徴を正確に診断する難しさを考慮に入れるために重み付けが行われてもよく、又はペナルティを科されてもよい。上記のプロセスは、適宜の第２の予め選択されたデータパターングループ又はバリデーションセットについて平均化された費用関数が、最小限に抑えられるまで繰り返されてもよい。このような実施形態では、ＢＩ−ＲＡＤ病変に対する臨床行為を示すようにするコンピューティングデバイスの訓練は、後続のテストデータが、コンピューティングデバイスに提示され、コンピューティングデバイスが、そのテストデータに関する出力を生成し、及びその出力と、既知の正しい結果との間の比較が、予め定められた許容差の範囲内の差又は値を生じさせると、完了したと見なされてもよい。訓練されたコンピューティングデバイスは、放射線医学及び超音波検査などの状況において決定を生じさせるようにコンピューティングデバイスを訓練することなどの様々な関連の適用例のために実施されてもよい。訓練されたコンピューティングデバイスは、ＣＡＤ推薦システムの一要素であってもよい。
【００５５】
[0072]  ＣＡＤ推薦システムの局面は、まだ診断されていない新しい画像の分類を推薦するために、上記の訓練段階の機械学習／訓練を利用し、これらの分類は、画像特徴に関する特定のＣＡＤ推薦臨床決定に対応する。新しく選択された画像は、インタフェースを使用して、ＣＡＤ推薦システムのコンピューティングデバイスによって受信されてもよい。コンピューティングデバイスは、選択された画像をスキャンし、選択された画像から画像特徴を読み出し、選択された画像から値を抽出し、及びそれらの値を病変又は他の異常（上記の訓練段階中に学習されたもの）と関連付けられていると認識するようにコンピューティングデバイスがプログラムされた、予め定められた値とマッチさせてもよい。いずれにしても、選択された画像は、解析のためにコンピューティングデバイスにとってアクセス可能にされた少なくとも１つの画像特徴を有する。
【００５６】
[0073]  コンピューティングデバイスは、選択された画像から少なくとも１つの画像特徴値を抽出してもよい。選択された画像特徴値は、ある数値と関連付けられてもよく、及び一部の実施形態では、ピクセル値又はピクセル値セットであってもよい。選択された画像特徴からこのように値を抽出することは、コンピューティングデバイスが理解可能なデータ、及び１つ若しくは複数の費用関数又は機械学習中に構築された他の関数と共に利用することができるデータに画像特徴を分解する。
【００５７】
[0074]  ＣＡＤ推薦システムのコンピューティングデバイスは、重み付けされた費用関数を用いて訓練されたコンピューティングデバイスに少なくとも１つの特徴値を適用することによって利用される。次いで、コンピューティングデバイスは、機械学習プロセス中に定義された複数のクラスの中から、あるクラスを出力する。ＣＡＤシステムの重み付け又はペナルティベースの訓練段階は、オペレータが正しくない可能性が高い時に、ＣＡＤシステムが正しいスコアを示す確率を高める。一般的に一人又は複数のユーザによるエラーに対してより多くの重みを置くことによって、ＣＡＤエラープロファイルがオペレータとは異なる可能性を高めるために、重み付け又はペナルティ関数が使用される。代替的に、一人又は複数のオペレータによって作り出される可能性が最も高いエラー項にペナルティを科すことにより、それらが、結果として生じるＣＡＤシステムのオペレーションにおいて補正される可能性が高まる。例えば、生検により証明された良性画像の所与の画像の場合、コンピューティングデバイスは、病変が良性であることを示す２のＢＩ−ＲＡＤカテゴリに相当するスコアを出力するかもしれないが、この同じ画像は、画像特徴値が疑わしい病変と関連付けられ、及びさらに診断を受けるべきであることをオペレータが示すことによって、ＢＩ−ＲＡＤＳ４とカテゴライズされる可能性が最も高いものであるかもしれない。従って、放射線科医が、自身の初期診断ではなく、ＣＡＤシステムの推薦に従った場合、彼らは、この不要な生検をなくすことができたかもしれない。
【００５８】
[0075]  ＩＩＩ．ＣＬＩシステムの全体アーキテクチャ
[0076]  本明細書に援用される米国特許出願第１５／２００，７１９号のＣＡＤ推薦システムなどのＣＡＤ推薦システムは、一般的に、熟練した放射線科医らと同様のエラーレートで動作する。ＣＡＤ推薦システムが、ある画像分類のクラスを出力し、このクラスが、画像特徴に関するＣＡＤ推薦診断決定に対応し、及びこのＣＡＤ推薦臨床決定が、初期臨床医推薦診断決定と一致する場合、初期臨床医推薦診断決定を行ったオペレータ（又は他のユーザ）は、画像特徴の自身の診断に対して、さらなる確信が与えられる。しかし、ＣＡＤ推薦診断決定が、初期臨床医推薦診断決定と一致しない場合、オペレータは、無支援診断（ＣＡＤシステムからの推薦を考慮に入れない初期臨床医推薦診断決定）か、ＣＡＤ推薦診断決定かを選択する決定を行うことを余儀なくされる。
【００５９】
[0077]  次いで、オペレータは、ＣＡＤ推薦臨床決定に対するオペレータの確信と比較した、オペレータの初期診断決定に対する確信に基づいて、最終決定を行うことができる。オペレータが、ＣＡＤシステムの能力よりも、自身の意見により確信があれば、オペレータは、ＣＡＤシステムの推薦を断る方に偏るであろう。一方、オペレータが、自身の能力よりもＣＡＤシステムに対して高い確信を持つ場合、彼らは、ＣＡＤシステムの推薦を受け入れる方に偏るであろう。信頼性の認知又は信頼性の欠如によるこの偏りは、診断ワークフローの各ステップ内の意思決定プロセスにおける、ＣＡＤ及び放射線科医／オペレータの組み合わせのパフォーマンスを制限する。
【００６０】
[0078]  理想的には、ＣＡＤシステムは、放射線科医などのオペレータの意見とは、放射線科医が正しくない場合にのみ異なり、及びＣＡＤシステムは、放射線科医を正すことができる。さらに、理想的なケースでは、ＣＡＤシステムは、放射線科医が正しい時には、常に同意する。しかし、放射線科医が正しく、且つＣＡＤシステムが正しくない場合もある。最適な意思決定プロセスは、放射線科医が、ＣＡＤシステムによって与えられる推薦に対して、ある程度の付加的な確信を持つことができれば、得られる可能性がある。機械学習で使用される分類子の標準出力値は、実際にはめったに満たされない、非常に限られた条件下の確率としてのみ解釈することができる。
【００６１】
[0079]  本発明概念は、この問題を解決し、及びある特定の画像／画像特徴に関して、放射線科医の意見が、ＣＡＤシステムの推薦とは異なる場合に、放射線科医が、放射線科医の初期意見よりもＣＡＤの推薦を何時受け入れるべきかを決定することを助けるように動作可能である。本発明概念は、放射線科医が、真のデータから成るデータベースに対してＣＡＤシステムを使用する間に、訓練データを収集することによって、この問題に対処する。訓練セッションは、放射線科医をＣＡＤシステムの長所及び短所に慣れさせ、並びに何時ＣＡＤシステムが放射線科医の初期決定を訂正することを助けることができるかに関するデータを収集する目的を果たす。訓練データを使用して、ＣＡＤ推薦システムによって特定のＣＡＤシステムの推薦に関する確信スコアを提供する予測モデルを訓練する。予測モデルは、画像データ及び放射線科医の以前のパフォーマンスを所与として、ＣＡＤ推薦が正しい可能性を表すスコアを提供する。放射線科医は、何時ＣＡＤシステムに従うことが最善であるかを決定することを助ける、パーソナライズされた確信スコアを使用することができる。本発明概念は、放射線科医らが、より効果的に、ＣＡＤシステムに対する自身の信頼を較正することを可能にする。
【００６２】
[0080]  ＣＡＤ推薦システムは、このシステムを使用する一人又は複数の放射線科医によるエラーを補完するエラーを有するように訓練されてもよい。ＣＡＤシステムは、ＣＡＤシステムに放射線科医のエラーを補完するエラーを与えるために、放射線科医らによるエラーにより重くペナルティを科すように訓練されてもよい。本発明概念は、ＣＡＤ推薦システムの向上又は調整をさらに行うために、機械学習／訓練を利用する。本発明概念は、それによって何時オペレータ（例えば、放射線科医）が、自身の初期意見よりも一層確信を持ってＣＡＤシステムを信頼すべきかを理解することを習得するように彼らが訓練される方法及び手段を提供する。オペレータは、適切な医用画像データセットを観察することに基づいて、予め保存された症例のセットを診断するように求められることが可能である。ＣＡＤシステムは、セカンドオピニオンを提供する。放射線科医は、自由に、ＣＡＤ推薦に基づいて自身の元の意見を変更することができ、又は推薦を断ることができる。次いで、実例によって、どの症例がＣＡＤシステムの推薦を用いることによってオペレータが恩恵を受けることが可能であり、及びどの症例がＣＡＤシステムの助けをあまり必要としないかをオペレータが学習することを助けるために、真の診断が、類似の症例の画像と共に表示されてもよい。この訓練段階を使用して、確信レベル指標（ＣＬＩ）の統計又は予測モデルを形成することができる。
【００６３】
[0081]  ＣＬＩの目的は、ＣＡＤシステムとオペレータとの間の不一致の場合に、症例データ、並びにそれぞれの傾向及び潜在的な偏りを所与として、どちらの方が正しい可能性が高いかを決定することである。この目的のために、放射線学的データ、当該データの真の（生検により証明された）診断、当該データのＣＡＤシステムの解釈、当該データのオペレータの解釈、及びＣＡＤシステムによって影響を受けた場合のオペレータのデータの解釈の変化を考慮に入れることによって、ＣＬＩのパラメータが決定される。本明細書におけるデータの真の診断とは、問題となっている症例の生検により証明された診断を指し得る。
【００６４】
[0082]  オペレータのデータの解釈は、多くの方法を使用して得ることができ、これらの方法の幾つかには、以下のある組み合わせが含まれ得る。
１）直接的ラベル−このシナリオでは、オペレータは、病変セットの悪性腫瘍の可能性を推定する任務を負う。それぞれの症例の状況において、これらのラベルは、ＣＬＩにオペレータの傾向を知らせるために使用される。その際、ＣＬＩは、そのオペレータにパーソナライズされる。
２）コンセンサスラベル−前のシナリオに類似するが、多くのオペレータが考慮される。次いで、ＣＬＩが、ある程度の彼らのコンセンサスによって決定されたラベルを中心に設計される。この場合、ＣＬＩは、パーソナライゼーションと引き換えに多数のオペレータに関する一般性を手に入れる。
３）オペレータモデル−ＣＬＩに影響を与えるためにオペレータのラベルを直接使用するのではなく、これらは、オペレータの意思決定のモデルを構築するために最初に使用される。次いで、このモデルは、多数のシミュレーションされたオペレータラベルを生成するために使用することができ、及びオペレータに手作業で多くの症例にラベルを付けさせる必要性をなくす。
４）マルチオペレータモデル−１つの挙動ではなく、多くのオペレータの挙動がモデル化される、方法３の拡張。これは、多くのオペレータのコンセンサスをモデル化すること、及び／又は多くのオペレータモデルのコンセンサスを考慮することによって達成することができる。
５）微調整オペレータモデル−この方法は、方法３のパーソナライズアプローチと、方法４の一般化アプローチとの折り合いをつける。そのためには、一般マルチオペレータモデルが、最初に構築される。このモデルは、ベースラインと見なすことができ、次いで、これは、最適であると見なされる程度が何であれ、個々のオペレータの好みに従うように微調整することができる。
６）アーキタイプオペレータモデル−この方法は、前の２つのいずれも拡張する。この具体化においては、幾つかのモデルが、予め訓練され、及び異なるオペレータアーキタイプを表す。個々のオペレータの挙動は、彼らの挙動を最も詳細に反映するモデルとマッチさせることができる。次いで、アーキタイプモデルを直接使用することができ、又はユーザに合わせてさらに微調整することができる。
【００６５】
[0083]  前述のファクタを使用して、ＣＡＤとオペレータとの間の不一致を最も最適なやり方で解決することができる。この解決は、オペレータ集団の中のあるオペレータに関する、ＣＡＤの決定に対するある程度の確信と見なすことができる。
【００６６】
[0084]  本発明概念の局面は、図１のフローチャート１００を参照して説明することができる。フローチャート１００は、プリＣＡＤ訓練を示す。ブロック１０２に示すように、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック１０４では、特徴抽出プロセスが実施されてもよい。ブロック１０６では、複数の画像特徴が、訓練画像から抽出されてもよい。ブロック１１０では、放射線科医又は他の臨床医などのオペレータが、パーソナライズ放射線科医モデル訓練を受けてもよい。具体的には、オペレータは、訓練画像から抽出された画像特徴の少なくとも一部のそれぞれに対して、診断決定、又はブロック１１４に示すようなプリＣＡＤビューイング診断を推薦してもよい。特定のオペレータが間違った診断決定（すなわち、既知の証明された診断決定（ブロック１１２に示すような）とは異なる決定）を何時したかに関するデータを有する、オペレータ（又はオペレータグループ）に特有の、ブロック１１６に示すようなパーソナライズ放射線科医／オペレータプリＣＡＤモデルが、生成されてもよい。ブロック１１６のパーソナライズ放射線科医／オペレータプリＣＡＤモデルは、特定のオペレータがどのタイプの画像特徴に対して間違った決定（すなわち、既知の正しい診断決定とは異なる決定）をする傾向があるかを識別するのに役立つことができる。図１のフローチャート１００は、オペレータがＣＡＤデータを見ることなく導出されたブロック１１６のパーソナライズ放射線科医／オペレータプリＣＡＤモデルを示すことが重要である。つまり、図１のオペレータは、ブロック１１６のパーソナライズ放射線科医／オペレータプリＣＡＤモデルを構築するために、プリＣＡＤ訓練を受ける。
【００６７】
[0085]  図１は、任意選択的な放射線科医プリＣＡＤビューイング診断データベース（プリＣＡＤデータベース）１０８をさらに示す。プリＣＡＤデータベースは、ブロック１１０のパーソナライズ放射線科医モデル訓練を用いてオペレータのパフォーマンスを実際に測定する前に、オペレータ（例えば、放射線科医）を訓練するために利用されてもよい。そのため、プリＣＡＤデータベース１０８は、オペレータが（実際の訓練中に診断決定を推薦する）ＣＡＤシステムの機能性をより深く理解することを助ける支援をすることができる。
【００６８】
[0086]  図２は、図１に類似した訓練プロセスのフローチャートを示す。このフローチャートは、ポストＣＡＤビューイング訓練（すなわち、オペレータポストＣＡＤビューイングの診断決定を解析すること）を示す。図１と同様に、ブロック１０２では、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック１０４では、特徴抽出プロセスが実施されてもよい。ブロック１０６では、複数の画像特徴が、訓練画像から抽出されてもよい。
【００６９】
[0087]  図２は、任意選択的な放射線科医プリＣＡＤビューイング診断データベース（プリＣＡＤデータベース）１５８をさらに示す。プリＣＡＤデータベースは、ブロック１３０のパーソナライズ放射線科医モデル訓練を用いてオペレータのパフォーマンスを実際に測定する前に、オペレータ（例えば、放射線科医）を訓練するために利用されてもよい。そのため、プリＣＡＤデータベース１５８は、オペレータが（実際の訓練中に診断決定を推薦する）ＣＡＤシステムの機能性をより深く理解することを助ける支援をすることができる。
【００７０】
[0088]  ブロック１３０では、放射線科医又は他の臨床医などのオペレータが、パーソナライズ放射線科医モデル訓練を受けてもよい。具体的には、オペレータは、訓練画像から抽出された画像特徴の少なくとも一部のそれぞれに対して、診断決定、又はブロック１３２に示すようなポストＣＡＤビューイング診断を推薦してもよい。特定のオペレータが間違った診断決定（すなわち、既知の証明された診断決定（ブロック１１２に示すような）とは異なる決定）を何時したか、及び何時オペレータが、同じ画像特徴に関してＣＡＤ決定にアクセスできるにもかかわらず、その決定を下したかに関するデータを有する、オペレータ（又はオペレータグループ）に特有の、ブロック１５２に示すようなパーソナライズ放射線科医／オペレータポストＣＡＤモデルが、生成されてもよい。ブロック１５２のパーソナライズ放射線科医／オペレータポストＣＡＤモデルは、特定のオペレータがどのタイプの画像特徴に対して間違った決定（すなわち、既知の正しい診断決定とは異なる決定）をする傾向があるかを識別するのに役立つことができる。図２のフローチャート１５０は、オペレータがＣＡＤデータを見た状態で導出されたブロック１５２のパーソナライズ放射線科医／オペレータポストＣＡＤモデルを示すことが重要である。つまり、図２のオペレータは、ブロック１５２のパーソナライズ放射線科医／オペレータプリＣＡＤモデルを構築するために、ポストＣＡＤ訓練を受ける。
【００７１】
[0089]  図３は、ＣＬＩモデル訓練の別のフローチャート２００を示し、この出力は、ブロック２１４に示すようなパーソナライズオペレータ／放射線科医訓練済みＣＬＩモデルである。図１及び２と同様に、ブロック１０２では、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック１０４では、特徴抽出プロセスが実施されてもよい。ブロック１０６では、複数の画像特徴が、訓練画像から抽出されてもよい。
【００７２】
[0090]  図示されるように、確信レベル指標モデル訓練は、ブロック１１２の既知の正しい診断決定ラベル、ブロック２１０のＣＡＤシステム分類子出力、ブロック２０２の訓練済み放射線科医プリＣＡＤ診断、ブロック２０６のパーソナライズ放射線科医プリＣＡＤモデル、ブロック２０４の訓練済み放射線科医ポストＣＡＤ診断、及びブロック２０８のパーソナライズ放射線科医ポストＣＡＤモデルを入力として取り込んでもよい。
【００７３】
[0091]  図４は、図３から導出されたＣＬＩモデルを使用して画像特徴を分類するためのフローチャート３００である。図１及び２と同様に、ブロック３０２では、複数の訓練画像が、医用画像データベースからアクセスされてもよい。訓練画像は、病気、ケガ、又は苦痛を示し得る特性を持つ人体のエリアを表してもよい。例えば、訓練画像には、示された部分が、癌領域の可能性があるか否かを決定するために診断される必要がある乳房の一部の画像が含まれ得る。ブロック３０４では、特徴抽出プロセスが実施されてもよい。ブロック３０６では、複数の画像特徴が、訓練画像から抽出されてもよい。
【００７４】
[0092]  ブロック３１２では、ブロック３０８のＣＡＤ分類子及びブロック３１０の任意選択的な放射線科医初期プリＣＡＤ診断を入力として取り込む、パーソナライズ確信レベル指標モデルが利用されてもよい。さらに図示するように、ＣＡＤ分類子３０８は、ブロック３１４のＣＡＤ分類子出力を生成し、及びパーソナライズ確信レベル指標モデルは、ブロック３１６のＣＬＩモデル出力を生成する。つまり、パーソナライズ確信レベル指標モデルを使用して、分類子出力又は診断決定に関するＣＡＤシステム推薦に関して、確信レベル指標を生成することができる。確信レベル指標又は３１６のＣＬＩモデル出力は、ＣＡＤシステム推薦が臨床医診断決定とは異なる場合に、３１４のＣＡＤ分類子出力が正しい可能性を示す。確信レベル指標は、ＣＡＤ出力に対して正しい確率に類似した確信レベルを提供し、従って、ＣＡＤシステムが、ある画像特徴が癌病変と関連付けられていることを示す場合、ＣＬＩは、例えば、この画像特徴が、癌軍団と関連付けられていることに関するＣＡＤ診断決定に対して、９５％の確信レベルであることを示す０．９５を出力してもよい。
【００７５】
[0093]  一実施形態において、ＣＡＤシステム推薦に対するＣＬＩスコアを計算するようにデバイスを訓練する前に、教師付き機械学習の第１の段階は、特定の画像特徴に基づいて分類を提案するようにデバイスを訓練することを有していてもよい。具体的には、多次元特徴ベクトルＸｉの一定のセットを使用して、各入力ベクトルＸｉに対してスコアｓ（Ｘｉ）を出力するようにデバイスを訓練する（機械学習）ことができる。次いで、その結果得られた訓練済みデバイスは、それに関してデバイスが訓練されていない新しいデータに対するオペレーションにおいて、訓練（学習と呼ばれることもある）中にデバイスが学習したパターンを一般化するために使用されてもよい。
【００７６】
[0094]  ほとんどの教師付き学習／訓練方法は、ｓ（Ｘｉ）が、０〜１のスカラー値であり、及びＸｉが、クラスｃの最も可能性の高いメンバーから最も可能性の低いメンバーまでのテストセット内の例をランク付けするために使用することができる特徴ベクトル（すなわち、多値アレイ）である、スコアｓ（ｘ）を出力する分類子を生成する。すなわち、ｘ及びｙの２つの例の場合、Ｓ（ｘ）＜Ｓ（ｙ）である（ｘの分類子によって与えられる出力スコアが、ベクトルｙに対して与えられるスコアよりも小さい）場合、Ｐ（ｃ／ｘ）＜Ｐ（ｃ／ｙ）である（特徴ベクトルｘを持つ画像がクラスＣにある（例えば、癌である）確率は、特徴ベクトルＹを持つ画像がクラスＣにある確率よりも低い）。しかし、多くの適用例において、クラスメンバーシップ確率に従った例のランク付けは、十分ではない可能性がある。ほとんどのパターン認識／機械学習システムは、クラスメンバーシップの確率に関する相対的スコアを与える。本発明概念は、ユーザモデル及びグラウンドトゥルースと共に、画像セットに対して収集された訓練データを使用して確信推定（ＣＬＩスコア）を生成するように動作可能である。使用された方法は、訓練データでは使用されないデータに関する有用な確信スコアを提供するように一般化する。従って、オペレータが１つ又は複数の提示された画像特徴に基づいて最適な最終決定を選択することを助けるために使用することができる確信又はＣＬＩスコアが生成される。
【００７７】
[0095]  つまり、分類に関する基本的な問題は、全データ値が、訓練中に、例えば癌の場合「１」、又は癌でない場合「０」とラベル付けされる点である。０〜１の間にある値は、分類子の出力として訓練されないので、実際のオペレーション時に、どのように介在する値が画像に割り当てられるかに関して、自由度が高い。そのため、相対的ランク付けのみが、クラスＣにある確率に結び付けられる。すなわち、理想的には、ある特定の画像例によって表される画像の８０％が癌であることを示すために＞０．８の出力スコアを人は望むであろうが、これは、０．７のスコアを有する画像よりも癌である可能性が高いことを意味するにすぎない。
【００７８】
[0096]  本発明概念は、訓練済みＣＡＤシステム推薦の確信レベルをより良く示すために、人間のオペレータ及び訓練済みＣＡＤシステムによって与えられた中間値を有する訓練データを利用する。従って、ＣＡＤシステム推薦の確信スコアを与えるために、特徴ベクトルＸを有した画像、並びにＣＡＤ推薦及び予期される又は実際のユーザ初期決定（オペレータの決定は、彼／彼女のエラープロファイルによって偏る可能性のあるＣＡＤシステムを使用して暗に得られる）を所与として、癌の確信（又は正しい確率）に関するより一般的な値が与えられる。
【００７９】
[0097]  一実施形態では、数学的に、ＣＬＩスコアを生成するための関数は、
Ｐ（ｃ／Ｘ及びＺ及びＷ及びＱ）
と記述することができ、これは、特徴ベクトルＸを所与として、ユーザ／オペレータがラベルＺを選択し、及びＣＡＤシステムがラベルＷを推薦し、既知のグラウンドトゥルースがラベルＱによって表される場合の、クラスがクラスｃにある確率を示す。
【００８０】
[0098]  ラベルは、癌、又は癌ではない、すなわち、それぞれ１又は０でもよい。ユーザ及び／又はＣＡＤシステムに関連する情報を因数分解することによって、推定の特異性を高めることは、推定の精度を高め、並びにユーザ及びＣＡＤシステムに特有の確信スコアを向上又は増加させる結果をもたらし、それによって、機械学習及び推定のプロセスが促進される。つまり、ＣＬＩスコアを計算するための関数は、一人若しくは複数の特定のユーザ及び／又は１つ若しくは複数の特定のＣＡＤシステムの状況において、ＣＬＩスコアがＣＡＤ診断決定に対する提案された確信を反映するように、一人又は複数の特定のオペレータ及び１つ又は複数の特定のＣＡＤ推薦システムを考慮に入れることができる。
【００８１】
[0100]  オペレータは、一般に、患者の症例研究のために収集された画像におけるＮ個の可能な関心領域（ＲＯＩ）の内のｉ番目のＲＯＩに対して、０（癌の可能性が最も低い）〜１（癌の可能性が最も高い）のスコアを割り当てることができる。割り当てられたスコアは、一般的に、オペレーション中は、０又は１であるが、訓練目的で、中間値が使用されてもよい。オペレータのスコアは、ｉ＝１〜Ｎの場合、Ｓ１（ｉ）と示すことができる。オペレータのスコアは、真のスコアＳ（ｉ）＋Ｅｌ（ｉ）によって示されるｉ番目のスコアのエラー値（ｉは、１〜Ｎまで）であるので、ｉ＝１〜Ｎの場合、５１（ｉ）＝Ｓ（ｉ）＋Ｅｌ（ｉ）である。ＣＡＤシステムは、Ｓ２（ｉ）＝Ｓ（ｉ）＋Ｅ２（ｉ）（式中、ｉ＝１〜Ｎ）によって示される類似の出力スコアを与えるように訓練されてもよい。ＣＡＤシステムは、そのエラーＥ２（ｉ）が、オペレータのエラーから統計的に独立しているように訓練される。従って、オペレータによって割り当てられたスコアが、ＣＡＤシステムの出力スコアの独立スコアと食い違う（又は一致しない）場合（０．５と比較して、第１の割り当てられたスコアが高く、及び第２の割り当てられたスコアが低い）、「引き分け状態」が検出され、及び最適な決定は、不明である。本明細書では、ＣＬＩは、Ｓ３（ｉ）＝Ｓ（ｉ）＋Ｅ３（ｉ）である第３の独立スコア生成デバイス（別のＣＡＤシステムに類似する）と等しくてもよい。ＣＬＩは、そのエラーＥ３（ｉ）（ｉ＝１〜Ｎ）が、オペレータのエラーＥｌ（ｉ）（ｉ＝１〜Ｎ）及び第１のＣＡＤシステムエラーＥ２（ｉ）（ｉ＝１〜Ｎ）の両方から統計的に独立するように設計されてもよい。従って、例えば、引き分け状態が、オペレータと第１のＣＡＤシステムとの間で生じた場合に、単純な多数決原理の投票論理を用いることによって（すなわち、３つのスコアの内の２つが高であれば、高を選択し、又は３つのスコアの内の２つが低であれば、低を選択する）、引き分け状態を打破するために、その出力を独立意見として使用することができる。オペレータの無支援パフォーマンスよりも高いパフォーマンスを得るために、トリム手段などの代替論理を３つの独立スコアに対して使用することができる。第１のＣＡＤシステムは、何らかの形式の推薦を生成するように訓練されてはいるが、本明細書で述べるようなＣＬＩ機能性を用いて高められてはいないＣＡＤシステムを包含してもよい。
【００８２】
[0101]  本発明概念のシステムは、オペレータが、ＣＡＤシステム／デバイスに頼り、及び例えば、ＣＡＤシステム／デバイスが正しく、且つオペレータが間違っている時に、自身の推薦よりもＣＡＤシステム／デバイスの推薦に従う場合、オペレータが、自身のエラーを訂正することを可能にする。ある固有の局面は、米国特許出願第１５／２００，７１９号に開示されるようなデバイスの初期訓練であり、オペレータが、オペレータの無支援推薦の訂正において助けを必要とする可能性が最も高い時に、ＣＡＤシステムのレコメンダーが、正しい推薦を与えることを確実にするために、個人及び／又はオペレータグループによるエラーに可変的に（例えば、より重く）重み付けを行うようにデバイスが具体的に訓練されることである。
【００８３】
[0102]  本発明概念は、組み合わせられた決定を最適化するために、それぞれ異なる１つ又は複数の分類子を選択及び利用するように動作可能である。米国特許出願第１５／２００，７１９号は、オペレータが、１つ又は複数の適切な時に、１つ又は複数の推薦を受け入れることを選択した場合に、自身のエラーの１つ又は複数を訂正することによって、オペレータの精度を高めるために、オペレータの初期推薦と組み合わせることができる推薦を提供するパーソナライズ多様分類子を得るための新しい方法及び手段を開示する。
【００８４】
[0103]  本発明概念は、最終決定又は推薦の精度を高めるために、米国特許出願第１５／２００，７１９号の訓練済みＣＡＤシステムの推薦をオペレータの初期推薦と組み合わせる新しいやり方を教示し、並びに、オペレータは、確信レベルがＣＤ！スコアの高（０．５よりもはるかに大きい）であれば、ＣＡＤ推薦を選択することも学び、及びこの再評価は、オペレータの間違った初期評価を訂正することができる。さらに、ＣＬＩシステムは、オペレータが、ＣＡＤ推薦に従わず、及び自身の初期評価を継続する方がおそらく良い場合に、低確信レベル（０．５よりはるかに低い）を提供することができる。
【００８５】
[0104]  図５は、診断決定に関するＣＡＤシステム推薦と共に利用されるＣＬＩモデルを生成するためのプロセスフロー４００である。ブロック４０２では、対象デバイス又は他のデバイスから生成されたＣＡＤ推薦診断決定に関する確信レベル指標（ＣＬＩ）を提供するために、機械学習が、利用されてもよく、又はデバイスによって別の方法で実施されてもよい。デバイス自体が、デバイスによってアクセスされた画像特徴の診断決定に関して推薦を生成するように既に最初に訓練されている場合、デバイスは、参照により援用される関連の米国特許出願第１５／２００，７１９号に記載の初期機械学習を使用して訓練されているかもしれない。従って、一実施形態において、ＣＬＩを提供するようにデバイスを訓練するために機械学習を利用することは、診断決定を推薦するように既に訓練されたＣＡＤシステムに対する改善となることが可能であり、及び同じデバイス／アプリケーションは、ＣＬＩスコアを生成するために使用される機能性（関数／アルゴリズム）を考慮するために変更されてもよい。
【００８６】
[0105]  ブロック４０４では、デバイスは、複数の訓練画像特徴にアクセスしてもよい。各訓練画像特徴は、既知のクラス内で関連付けられてもよい。つまり、特定の画像特徴が、癌であると証明された病変と関連付けられてもよい。別のケースでは、特定の画像特徴が、非癌性であると証明済みである。どちらの場合も、訓練画像特徴の全てが、証拠又は証明された検査結果などに基づいて、１つの臨床クラス又は別の臨床クラスに既に割り当てられている。クラスは、関連の米国特許出願第１５／２００，７１９号に記載されるＩＲＡＤＳシステムのクラスに対応してもよい。
【００８７】
[0106]  ブロック４０６では、少なくとも一人のオペレータからの複数の初期臨床医推薦診断決定がアクセスされる。各決定は、訓練画像特徴（これらの真の又は既知の結果は、オペレータには知られていない）の１つ又は複数を診断するために下されてもよい。訓練画像データのオペレータの診断決定又は解釈は、様々な方法を使用して得ることができる。例えば、直接的ラベルコンセンサスラベル、オペレータモデル、マルチオペレータモデル、微調整オペレータモデル、及び／又はアーキタイプオペレータモデルが、本明細書に説明されるように利用されてもよい（但し、本開示は、このようなモデルに限定されず、及び追加のモデルが企図される）。
【００８８】
[0107]  ブロック４０８では、複数の訓練画像特徴のそれぞれに対して、複数のＣＡＤシステム推薦診断決定がアクセスされてもよい。対象デバイスが、ＣＡＤシステム診断決定を下すために最初に訓練されたのと同じコンピューティングデバイス／ＣＡＤシステムである場合には、このデバイスは、訓練画像の初期訓練中に使用された手法及び関数を単に適用することによって、複数の訓練画像特徴のそれぞれに対して、上記ＣＡＤシステム推薦診断決定を計算することができる。
【００８９】
[0108]  ブロック４１０では、デバイスは、複数の訓練画像特徴のサブセットに対応する複数の初期臨床医推薦診断決定のサブセットにアクセスしてもよい。サブセットは、１つ又は複数の特定の訓練画像特徴に対して、オペレータが意見を異にする、あるいはＣＡＤシステム診断決定と一致しない、又は異なる診断決定を提供する場合である。
【００９０】
[0109]  一部の実施形態では、このステップにおいて、ＣＡＤシステム推薦診断決定を考慮に入れた際に、オペレータ／臨床医が、彼／彼女の診断決定を変更するか否かを決定することができる。例えば、場合によっては、オペレータは、ある訓練画像特徴に対して診断決定を出し、次いで、同じ訓練画像特徴に関するＣＡＤシステム推薦診断決定を与えられると、その決定を変更することができる。このようなデータは、このオペレータに関して集約することができ、及びＣＬＩスコアを計算するための関数の一部として利用することができる。
【００９１】
[0110]  ブロック４１２では、複数の訓練画像特徴のサブセットに対応する特定のＣＡＤシステム推薦診断決定のそれぞれに関するＣＬＩスコアを定義する関数が、生成されてもよい。つまり、オペレータが、特定のＣＡＤ推薦システム診断決定と意見を異にする場合に、その特定のＣＡＤ推薦システム診断決定に関するＣＬＩスコアを計算する１つ又は複数の関数を生成することができる。
【００９２】
[0111]  図６は、本明細書で述べた様々な手法を実施することができるコンピューティングシステム７００の例示的模式図である。例えば、コンピューティングシステム７００は、特定のＣＡＤシステム推薦に関するＣＬＩ又はＣＬＩスコアを生成するためのＣＬＩアプリケーション７０を実施するために使用されるコンピューティングデバイスを有していてもよい。コンピューティングシステム７００は、バス７０１（すなわち、相互接続）、少なくとも１つのプロセッサ７０２又は他のコンピューティング素子、少なくとも１つの通信ポート７０３、メインメモリ７０４、リムーバブルストレージ媒体７０５、リードオンリーメモリ７０６、及びマスストレージデバイス７０７を含む。１つ又は複数のプロセッサ７０２は、Intel（登録商標）、Itanium（登録商標）、又は１つ若しくは複数のItaniumプロセッサ、AMD（登録商標）、Opteron（登録商標）、Athlon MP（登録商標）の１つ若しくは複数のプロセッサ、又はMotorola（登録商標）ラインのプロセッサなどの（但し、これらに限定されない）任意の公知のプロセッサであってもよい。通信ポート７０３は、モデムベースのダイヤルアップ接続と共に使用するＲＳ−２３２ポート、１０／１００イーサネットポート、銅若しくはファイバを使用したギガビットポート、又はＵＳＢポートの何れであってもよい。１つ又は複数の通信ポート７０３は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、又はコンピュータシステム２００が接続する任意のネットワークなどのネットワークに応じて選択されてもよい。コンピューティングシステムは、トランスポート及び／又はトランジットネットワーク７５５、表示スクリーン７６０、入出力ポート７４０、並びにマウス又はキーボードなどの入力デバイス７４５をさらに含んでいてもよい。
【００９３】
[0112]  メインメモリ７０４は、ランダムアクセスメモリ（ＲＡＭ）又は当該分野で一般的に知られている１つ若しくは複数の他の動的ストレージデバイスであってもよい。リードオンリーメモリ７０６は、プロセッサ７０２の命令などの静的情報を保存するためのプログラマブルリードオンリーメモリ（ＰＲＯＭ）などの任意の１つ又は複数の静的ストレージデバイスであってもよい。マスストレージデバイス７０７は、情報及び命令を保存するために使用することができる。例えば、Adaptec（登録商標）ファミリーの小型コンピュータシリアルインタフェース（ＳＣＳＩ）ドライブなどのハードディスク、光ディスク、レイド（ＲＡＩＤ）などのディスクアレイ、Adaptec（登録商標）ファミリーのＲＡＩＤドライブなど、又はその他のマスストレージデバイスが使用されてもよい。
【００９４】
[0113]  バス７０１は、１つ又は複数のプロセッサ７０２を他のメモリ、ストレージ、及び通信ブロックと通信可能に結合させる。バス７０１は、使用されるストレージデバイスに応じて、ＰＣＩ／ＰＣＩ−Ｘ、ＳＣＳＩ、又はユニバーサルシリアルバス（ＵＳＢ）ベースのシステムバス（又はその他）であってもよい。リムーバブルストレージ媒体７０５は、任意の種類の外部ハードディスク、サムドライブ、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、書き換え可能コンパクトディスク（ＣＤ−ＲＷ）、デジタルビデオディスクリードオンリーメモリ（ＤＶＤ−ＲＯＭ）などであってもよい。
【００９５】
[0114]  本明細書の実施形態は、プロセスを行うようにコンピュータ（又は他の電子デバイス）をプログラミングするために使用することができる命令を保存した機械可読媒体を含むことができるコンピュータプログラムプロダクトとして提供されてもよい。機械可読媒体には、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、ＲＯＭ、ＲＡＭ、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ、又は電子命令の保存に適した他のタイプの媒体／機械可読媒体が含まれ得るが、これらに限定されない。また、本明細書の実施形態は、コンピュータプログラムプロダクトとしてダウンロードされることも可能であり、この場合、プログラムは、通信リンク（例えば、モデム又はネットワーク接続）を介して、搬送波又は他の伝搬媒体で具現化されたデータ信号によって、リモートコンピュータから要求側コンピュータへと転送することができる。
【００９６】
[0115]  このように、メインメモリ７０４は、本明細書で述べるような機能性をサポートするＣＬＩアプリケーション７０を用いて符号化される。ＣＬＩアプリケーション７０（及び／又は本明細書に記載するような他のリソース）は、本明細書に記載する異なる実施形態による処理機能性をサポートするデータ及び／又は論理命令（例えば、メモリ若しくはディスクなどの別のコンピュータ可読媒体に保存されたコード）などのソフトウェアコードとして具現化されてもよい。一実施形態のオペレーション中に、１つ又は複数のプロセッサ７０２が、例えば、論理命令により、プロセッサ７０２上で実行することにより、及びメインメモリに保存された、又は別の方法で有形的に保存されたＣＬＩアプリケーション７０に基づいて、プロセスを開始し、走らせ、実行し、解釈し、又は別の方法で行うために、バス７０１を使用して、メインメモリ７０４にアクセスする。
【００９７】
[0116]  上記の記載は、本開示の技術を具現化する例示的なシステム、方法、技術、命令シーケンス、及び／又はコンピュータプログラムプロダクトを含む。しかし、記載した開示は、これらの具体的な詳細を用いることなく実施されてもよいことが理解される。本開示では、開示した方法は、デバイスによって読み取り可能な命令セット又はソフトウェアとして実施されてもよい。さらに、開示した方法におけるステップの具体的な順序又は階層は、例示的アプローチの実例であることが理解される。設計の好みに基づいて、この方法におけるステップの具体的な順序又は階層が、開示の内容の範囲内にとどまりながら、再配置可能であることが理解される。添付の方法クレームは、様々なステップの要素を見本の順序で示し、及び必ずしも示された具体的な順序又は階層に限定されるというわけではない。
【００９８】
[0117]  記載した開示は、本開示によるプロセスを行うようにコンピュータシステム（又は他の電子デバイス）をプログラミングするために使用することができる命令を保存した機械可読媒体を含むことができるコンピュータプログラムプロダクト又はソフトウェアとして提供されてもよい。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形式（例えば、ソフトウェア、処理アプリケーション）で情報を保存するための任意の機構を含む。機械可読媒体には、光ストレージ媒体（例えば、ＣＤ−ＲＯＭ）、光磁気ストレージ媒体、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルメモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）、フラッシュメモリ、又は電子命令の保存に適した他のタイプの媒体が含まれてもよいが、これらに限定されない。
【００９９】
[0118]  本発明概念の追加の局面、利点、及び有用性は、部分的には本明細書及び図面に記載され、並びに部分的には本明細書及び図面から明らかとなり、又は本発明概念の実施によって学ぶことができる。
【０１００】
[0119]  本明細書及び図面は、例示的であることが意図され、及び限定的な意味のものではない。本発明概念の多くの特徴及びサブコンビネーションは、作り出すことが可能であり、並びに本明細書及び図面の研究により容易に明らかとなるであろう。これらの特徴及びサブコンビネーションは、他の特徴及びサブコンビネーションとは無関係に用いることができる。
【図１】
2019526869.tif 000003
【図２】
2019526869.tif 000004
【図３】
2019526869.tif 000005
【図４】
2019526869.tif 000006
【図５】
2019526869.tif 000007
【図６】
2019526869.tif 000008
【国際調査報告】
2019526869.tif 000009
2019526869.tif 000010