(57)【要約】  人工知能所見システムは人工知能所見システムを含んでいる。画像識別エンジンは、患者に関する新規画像データ並びに患者に関する過去のレポート及び画像データを受信する。画像識別エンジンは、患者に関する過去の画像データを用いて新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために画像を識別する。所見エンジンは、新規画像データを受信し、新規画像データを処理して、新規画像データに基づいて、並びに新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された画像に基づいて所見を生成する。通信インターフェースは、所見をユーザに提示する診断検証システムに所見を提供する。調整エンジンは、医用画像読影システムを用いる場合、ユーザによって行われる所見に対する変更の通知を受信する。
2020515924.tif 000002
【特許請求の範囲】
【請求項１】
医用画像読影システムであって、
患者に関する新規画像データ並びに前記患者に関する過去のレポート及び過去の画像データを受信する画像識別エンジンであって、前記患者に関する前記過去の画像データを用いて前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために画像を識別する画像識別エンジンと、
新規画像データを受信し、前記新規画像データを処理して、前記新規画像データに基づいて、並びに前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された画像に基づいて所見を生成する所見エンジンと、
画像を含むデータを備えて提示されるような前記所見をユーザに提示する診断検証システムと、
前記医用画像読影システムを用いる場合、前記ユーザによって行われる所見に対する変更の通知を受信する調整エンジンと、
を備える人工知能所見システム、
を備える医用画像読影システム。
【請求項２】
前記画像識別エンジンは、前記新規画像データに基づいて、並びに前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された前記画像に基づいて、追加の所見エンジンを呼び出して所見を生成し、前記画像識別エンジンによって呼び出されるよう選択される前記追加の所見エンジンは、前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された前記画像に基づき、並びに前記追加の所見エンジンのそれぞれの専門技術に基づく、請求項１に記載の医用画像読影システム。
【請求項３】
加えて、
所見及び前記診断検証システムを用いる場合に前記ユーザによって前記所見に対して行われた調整を追跡する追跡モジュールであって、前記所見及び前記ユーザによって前記所見に対して行われた調整に基づく追跡情報、並びに他のユーザに基づいて確認可能な使用パターンを生成する追跡モジュールと、
前記追跡情報を受信し、前記追跡情報に基づいて、患者のための検査画像を識別する場合に前記画像識別エンジンによって用いられる分類選好を調整する機械学習エンジンと、を備える、請求項１に記載の医用画像読影システム。
【請求項４】
前記診断検証システムによって前記ユーザに提示される前記所見は、検査のために識別される前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の前記画像よりも前の情報である前記患者のための過去のレポート及び画像データを含む、請求項１に記載の医用画像読影システム。
【請求項５】
前記画像識別エンジンは、前記新規画像データから特徴を抽出して、類似特性を有する画像データを含むアーカイブ内の画像データと一致させる、請求項１に記載の医用画像読影システム。
【請求項６】
前記画像識別エンジンは、前記新規画像データから特徴を抽出して、類似特性を有する画像データを含むアーカイブ内の画像データと一致させ、
前記診断検証システムは前記新規画像データを用いてハンギングプロトコルを構築し、前記新規画像データ及び前記アーカイブからの画像データを表示するコンピュータ画面上の前記画像は、前記ハンギングプロトコルによって特定されるように、複数のモニタ上で複数の画像と共に順に表示される、
請求項１に記載の医用画像読影システム。
【請求項７】
前記人工知能所見システムは、加えて、
所見及び前記診断検証システムを用いる場合に前記ユーザによって前記所見に対して行われた調整を追跡する追跡モジュールであって、前記所見及び前記ユーザによって前記所見に対して行われた調整に基づく追跡情報、並びに他のユーザに基づいて確認可能な使用パターンを生成する追跡モジュールを備える、
請求項１に記載の医用画像読影システム。
【請求項８】
前記診断検証システムは、
前記追跡情報に基づいて、それ自体を適合させる医師の読影ワークフローに組み込まれる前記画像を表示するビューアを含み、
前記診断検証システムは、前記所見が閲覧されていない、閲覧されている、追加されている、削除されている、調整されている、確認されていない、確認されている、報告されている、又は報告されていないかどうかを、前記追跡エンジンが追跡しながら、前記ユーザが所見を閲覧し、確認することを可能にし、
前記診断検証システムは、前記ユーザが前記画像を修正して派生画像を作成することを可能にし、
前記レポートに行われた変更は前記ビューアに表示される前記画像内に反映され、
前記ビューアによって表示される前記画像に行われた変更はレポート内に反映される、
請求項７に記載の医用画像読影システム。
【請求項９】
医用画像データからレポートを作成するための方法であって、
患者に関する新規画像データ並びに前記患者に関する過去のレポート及び過去の画像データを受信することと、
画像識別エンジンを用いて、前記患者に関する前記過去の画像データに基づいて、前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために画像を識別することと、
所見エンジンを用いて、前記新規画像データを処理して、前記新規画像データに基づいて、並びに前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された前記画像に基づいて所見を生成することと、
診断検証システムを用いて、画像を含むデータを備えて提示されるような前記所見をユーザに提示することと、
調整エンジンに、前記医用画像読影システムを用いる場合に前記ユーザによって行われる所見に対する変更の通知を提供することと、を含む、
方法。
【請求項１０】
画像識別エンジンを用いて、前記新規画像データに基づいて、並びに前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された前記画像に基づいて、検査のために画像を識別することは、追加の所見エンジンを呼び出して所見を生成することを含み、前記画像識別エンジンによって呼び出されるよう選択される前記追加の所見エンジンは、前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された前記画像に基づき、並びに前記追加の所見エンジンのそれぞれの専門技術に基づく、請求項９に記載の方法。
【請求項１１】
加えて、
追跡モジュールを用いて、所見及び前記診断検証システムを用いる場合に前記ユーザによって前記所見に対して行われた調整を追跡することであって、前記追跡モジュールは前記所見及び前記ユーザによって前記所見に対して行われた調整に基づく追跡情報、並びに他のユーザに基づいて確認可能な使用パターンを生成する、ことと、
機械学習エンジンを用いて、前記追跡情報を受信し、前記追跡情報に基づいて、患者のための検査画像を識別する場合に前記画像識別エンジンによって用いられる分類選好を調整することと、を含む、
請求項９に記載の方法。
【請求項１２】
前記診断検証システムによって前記ユーザに提示される前記所見は、検査のために識別される前記新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の前記画像よりも前の情報である前記患者のための過去のレポート及び画像データを含む、請求項９に記載の方法。
【請求項１３】
前記画像識別エンジンは、前記新規画像データから特徴を抽出して、類似特性を有する画像データを含むアーカイブ内の画像データと一致させる、請求項９に記載の方法。
【請求項１４】
前記画像識別エンジンは、前記新規画像データから特徴を抽出して、類似特性を有する画像データを含むアーカイブ内の画像データと一致させ、
前記診断検証システムは前記新規画像データを用いてハンギングプロトコルを構築し、前記新規画像データ及び前記アーカイブからの画像データを表示するコンピュータ画面上の前記画像は、前記ハンギングプロトコルによって特定されるように、複数のモニタ上で複数の画像と共に順に表示される、
請求項９に記載の方法。
【請求項１５】
加えて、
前記所見及び前記ユーザによって前記所見に対して行われた調整に基づく追跡情報、並びに他のユーザに基づいて確認可能な使用パターンを生成することを含む、追跡モジュールを用いて、所見及び前記診断検証システムを用いる場合に前記ユーザによって前記所見に対して行われた調整を追跡すること、を含む、
請求項９に記載の方法。
【請求項１６】
前記診断検証システムは、
前記追跡情報に基づいて、それ自体を適合させる医師の読影ワークフローに組み込まれる前記画像を表示するビューアを含み、
前記診断検証システムは、前記所見が閲覧されていない、閲覧されている、追加されている、削除されている、調整されている、確認されていない、確認されている、報告されている、又は報告されていないかどうかを、前記追跡エンジンが追跡しながら、前記ユーザが所見を閲覧し、確認することを可能にし、
前記診断検証システムは、前記ユーザが前記画像を修正して派生画像を作成することを可能にし、
前記レポートに行われた変更は前記ビューアに表示される前記画像内に反映され、
前記ビューアによって表示される前記画像に行われた変更はレポート内に反映される、
請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、一般に、医療情報処理システムに関する。より詳細には、発明の実施形態は、人工知能を用いる医用画像読影、反復画像処理エンジン訓練、及び画像処理エンジンの結果と医師との間の双方向インタラクションに関する。
【背景技術】
【０００２】
今日、医用画像検証プロセスにおいて、医師たちは、多くの場合、医師の検証のために用意された部分的に予め完成したレポートを検証する。予め完成したレポートは、例えば、患者の病歴、医学的所見、及び医用画像を含んでいる。医用画像は、画像処理エンジンによって画像データ内で発見された属性に基づいて画像から、情報、解剖学的領域、病変、生理学的兆候、時間分解所見、及び他の先進画像処理技術、又はそれらの組み合わせを抽出するための線、対象範囲、オーバーレイ、融合画像、体積外形、及び他の特徴抽出計算法を含むことができる一組の二次元若しくは三次元、又は時間分解四次元所見を例えば含むよう、自動的又は半自動的に所見を生成するよう前処理されてもよい。現在の画像データセットは、他の同様の以前に診断された患者ファイルと比較されて、最新の検査において、現在の検査の連続セット若しくは以前の関連する画像検査を比較及び分析することにおいて、又は、新しい検査を古い検査と比較することにおいて発見された可能性のある所見、類似点、又は異常を提案することができる。臨床的所見及び測定に加えて、新しい画像が元の画像の処理、若しくは画像オーバーレイ、又は分割された解剖学的範囲並びに識別された特徴を説明する分析値から引き出されてもよい。臨床報告システムにおいて閲覧されることに加えて、これらの画像は医用画像ビューア、画像保管通信システム（ＰＡＣＳ）システム、及び電子カルテ（ＥＨＲ）システム上で閲覧される。
【０００３】
実施形態を、添付図面において実施例を用いて示すが、限定するものではなく、同様の参照符号は類似要素を示す。
【図面の簡単な説明】
【０００４】
【図１】図１は、一実施形態による医療データ検証システムを示すブロック図である。
【図２】図２は、一実施形態による画像処理サーバの一実施例を示すブロック図である。
【図３】図３は、一実施形態による医用画像処理の処理フローを示すフロー図である。
【図４Ａ−４Ｃ】図４Ａ、図４Ｂ、及び図４Ｃは、ある特定の実施形態による画像処理エンジンの構成の実施例を示すブロック図である。
【図５】図５は、別の実施形態による医用画像処理の処理フローを示すフロー図である。
【図６】図６は、一実施形態と共に用いられてもよいデータ処理システムのブロック図である。
【図７】図７は、一実施形態による人工知能所見システムを示すブロック図である。
【図８−１０】図８、図９、及び図１０は、様々な実施形態による人工知能所見システム内部のデータの双方向フローを示すブロック図である。
【図１１】図１１は、一実施形態による人工知能所見システムの一実施例である。
【図１２】図１２は、一実施形態による人工知能所見システム内の論理フローを示す略フロー図である。
【図１３】図１３は、一実施形態によるピアレビュープロセスのワークフローを示すフロー図である。
【図１４】図１４は、一実施形態による機械学習ワークフローシステムを示すブロック図である。
【図１５】図１５は、一実施形態による機械学習ワークフローシステムを示すブロック図である。
【図１６】図１６は、一実施形態による機械学習ワークフローシステムを示すブロック図である。
【図１７】図１７は、一実施形態による機械学習ワークフローシステムを示すブロック図である。
【図１８】図１８は、一実施形態による機械学習ワークフローシステムを示すブロック図である。
【図１９】図１９は、ＤＩＣＯＭヘッダテーブルを示す。
【図２０】図２０は、一実施形態による機械学習ワークフローシステムを示すプロセスフローである。
【図２１】図２１は、一実施形態による機械学習ワークフローシステムを示すプロセスフローである。
【図２２】図２２は、一実施形態による機械学習ワークフローシステムを示すブロック図である。
【図２３−２５】図２３、図２４、及び図２５は、追跡モジュールがカテゴリテーブルに基づいて画像を追跡できることを示す。
【図２５−２８】図２５、図２６、図２７、及び図２８は、ワークフローを示すグラフィカルユーザインターフェース（ＧＵＩ）である。
【図２９】図２９は、医用画像読影システムで用いられるエンジンの配置を示す略ブロック図である。
【発明を実施するための形態】
【０００５】
様々な実施形態及び態様を以下で検討する詳細に関して説明し、添付図面は様々な実施形態を示している。以下の説明及び図面は実例であり、制限するものとして解釈すべきではない。多数の具体的な詳細を、本発明の様々な実施形態の完全な理解を提供するよう説明する。しかし、ある特定の例において、周知又は従来の詳細は、本発明の実施形態の簡潔な検討を提供するために説明しない。
【０００６】
明細書において、「一実施形態」又は「実施形態」に対する引用は、実施形態と共に説明される特定の特徴、構造、又は特性が少なくとも１つの実施形態に含まれ得ることを意味している。明細書内の様々な箇所における「一実施形態において」という語句の表示は、必ずしも全て同じ実施形態について言及していない。
【０００７】
一態様によれば、ローカルに設置されるシステム及び／又はクラウドベースのプラットフォームが利用されて検査を匿名化し、検査をアップロードし、新規アカウントに登録及びアクセスし、コミュニティを設立し、グループのための臨床諮問委員会及び／又は統治を指定し、機械学習したアルゴリズム／エンジンを訓練し且つ作成するためのツールにアクセスし、検査に関して公開されたアルゴリズム／エンジンにアクセスし且つ実行し、そして、確認されたか又は却下された所見に基づいて使用回数、精度、及び信頼レベル等の成果／結果を伝達し易くしている。システムは、類似点を特定するようビッグデータ解析と共に個人の見解又はグループの見解に基づいて構成可能な機械学習したアルゴリズムを組み込む読影ワークフロー最良実施及びそれらの間のクラウドソースの一般的慣行を特定するためのフレームワークを有することができる。個人の見解又はグループの見解に基づいて構成可能なアルゴリズムは１つ以上の医療機関に対して分担されてもよい。
【０００８】
システムは１つ以上の位置にある１つの医療機関のためのローカルクラウドシステムであってもよい。クラウドベースシステムは１つ以上の地理的位置にある１つの医療機関のためのプライベートクラウドであってもよい。システムは１つ以上の位置にある１つ以上の医療機関を接続することができるシステムであってもよい。クラウドベースシステムはパブリッククラウドであってもよい。複数のローカルクラウドシステムを接続することができるメインクラウドシステムが存在してもよい。例えば、複数の機関からの複数のプライベートクラウドシステムを接続することができるメインクラウドシステムが存在してもよい。メインクラウドシステムからプライベートクラウドシステムへの情報及びツールのアクセスの程度は医療機関によって事前構成される設定によって決定することができる。
【０００９】
画像処理エンジンは、医師又は臨床医によって確認される特定のターゲットとなる所見を有するより高い又はより低い予備検査確率又は信頼度を有する画像及び情報の向上したコーホートを達成するよう、医用画像データ、医用メタデータ、並びに他の患者及び処置関連内容上で実行する機械学習、深層学習、及び決定論的統計法（エンジン）を利用する他面プラットフォーム上で呼び出されるか又は可能となる場合に独立して又は互いに組み合わせて動作することができる。ターゲットの所見は医師が単独で同意すれば見るようわからない秘密で保持されるか、又は、所見は医師の読影プロセスにおいて反応を起こすよう提示され、どのようなフィードバック、調整、同意、若しくは相違も提案を作成したエンジンに対する成績フィードバックとして取り込まれ、利用される。
【００１０】
所見は、どのような対象の解剖学的構造、測定、兆候、関係するであろう参考資料、この検査に類似する先の検査、ツールの提案、及び診断又は研究の読影プロセスにおいて用いられるよう望まれるほとんど全てのその当時最新の情報又は自動化ツールも提示する。エンジンは医療データ検証システムにおいて交換可能である。このため、所見の種類及びエンジンの機能は時間の経過と共に変化し、変わる。エンジンが処理するデータ及び医療データ検証システム利用データの両方から受信される成績フィードバックは統計的インタラクションデータの形で取り込まれ、処理され、検証された現在の画像データコーホートの相対的値、並びに任意のツールの値及び精度、自動化されたインタラクション、所見、及び検査を準備するか又は医師若しくは臨床医の検証のために検査を表示するプロセスにおいて意図的に呼び出された他のデータ、及び／又はエンジン自体の値並びにそれらの様々な組み合わせを特定するために利用される。
【００１１】
このため、画像、データ、及び所見の意図的又は付随的な全ての提示は、盲検又は非盲検方法のどちらか一方で医師の同意、調整、又は相違のために測定され得、これは以下の：ａ）医師による高い確認率及び見落としの低減を可能にするよう新しいフィードバックが帰ってくる場合に改良されるエンジン、ｂ）検証者の成績を測定し、労力を低減し、医用画像（又は他の）ビューア内部の通常必要とされる項目へアクセスするよう検証ツール及び画像／内容表示を適合させることによって改善されるワークフロー、ｃ）既知の所見により精選された画像コーホートが医療データ検証のために送信（又は投入）され且つ盲検所見がコーホート内の実際の既知の所見と比較される場合に測定される医師の素養、及び、ｄ）並列盲検又は非盲検の自動生成された医療データ検証システム所見を予め組み込むよう医用画像のリアルタイムの医師初回読影を可能にする、読み取られていない検査を前処理するよう医療データ検証システムの予期される用途、並びにｅ）次の画像コーホート、ツール、及びレイアウト選択／提案、任意のエンジン可用性並びに医療データ検証及びこのコーホートの診断読影に必要な他の機能及びデータ（エンジンのエンジン）を作成するために用いられるエンジンを最適化するために、傾向を評価し及び／又は教師あり若しくは教師なしエンジンにこのデータを連続又は反復して解析させる能力を提供するよう反復又は連続してｄまでのかかる画像、データ、インタラクション、及び所見の機械及び人間が読取可能なデータベースの組み立て、のいずれか又は全てを可能にする貴重なデータを生成する。
【００１２】
一実施形態は、自律的に動作し、動作するエンジン（例えば、二次エンジン又はスレーブエンジン）並びに分散方式で、エンジン毎に、例えば、同時に（例えば、複数のスレッドを介して）動作する多くの画像検査又は患者内容セットを選択するよう、エンジンの教師なし（又は教師あり）エンジン（また、マスターエンジン、教師エンジン、又は管理エンジンとも称される）を可能にする。自律能力を達成するため、医療データ検証システム管理者は、コーホート内に設置するか又は医療データ検証のために送信する多数の検査又は内容セットの制限を複数エンジンのうちのエンジンに設けるよう要求され、それぞれは期間によって又は任意のコーホート、所見の種類及び量のための限度若しくは目標、コーホートのグループに関する仕様、又は期間内の１つのエンジン又は複数のエンジンの使用の制限によって制限される。
【００１３】
複数エンジンのうちの教師なしエンジンは、複数エンジンのうちのエンジンにその作業を最適化させ、その両方が相当なコストを有する医療データ検証のための医師の時間の多くを浪費させない、また、多くの計算リソースを消費させないよう強要するために、これらのエンジンを実行するよう及び／又は医師のためにこれらの処理を行うよう、画像、画像コーホート、内容、所見、インタラクション、及び処理時間の種類及び／又は数／量に関する個々の及び／又は集合的な制限（最小、最大、平均、又は他の統計的に関連する又は設定される限度／目標）を設けられる。所見の最大臨床値との教師なしエンジンの観察及び選択の整合、注釈調整、医療データ検証及び臨床診断読影において受け取る画像コーホート及び医師／臨床医フィードバックの組み立てを保証するため、加重値（同等又は不等の）は、ａ）エンジン、ｂ）各エンジンによって行われた所見の数量及び種類（何の所見もないことも含む）、ｃ）所見が複数のエンジンによって確認されるか又は否定される場合に適用される乗数、及びｄ）複数のエンジンが所見（又は非所見）を特定するよう画像又は内容セットに関して作業した場合に適用される乗数のうちの１つ以上に課せられる。
【００１４】
エンジンは、エンジンがアンサンブルエンジンとしても公知のシリアル又は階層方式で実行される複数のエンジンを可能にするためにそれらの入出力スキーマの共通性を利用しながら、医療データ検証システムを開発した同じ又は異なる個人又は会社によって開発されてもよい。これらのアンサンブルエンジンは、エンジンのうちの教師ありエンジン又は出力若しくはエンジンの実行若しくは複数の所見のうちの所見に課せられる値を有するエンジンのうちの教師なしエンジンを用いて、プログラムでアセンブルされてもよい。エンジンと医療データ検証システムとによる且つそれらの間又はエンジンと他のエンジンとの間の通信のための予め定義された入出力スキーマは、様々なエンジンによって必要とされるような様々な形態への入出力の抽象化を可能にする。例えば、エンジン１がデータ点座標を無限の正及び負の範囲ドメインの中央値としてのゼロと共に受け入れ、エンジン２がこれらを無限の常に正の範囲ドメイン内の最低値である０と共に受け入れると、通信スキーマにおいて行う抽象化は、これら２つのドメインの範囲値を可能性のある共有値の特定範囲の上にマッピングする。コンテナ化されたエンジン及び複数のエンジンのうちのエンジンの動作を実施する抽象化方法の実施は全ての可能性のある値型及び範囲全体にわたって機能する。
【００１５】
所見は、企業電子カルテシステム、画像保管通信システム、コンテンツ管理システム、医療データ検証システム、検査室システム、及び／又は高度視覚化システムにおいて一般に見られ、測定され、導出されるか、又は発見される導出画像、輪郭、セグメンテーション、オーバーレイ、数字、類似点、数量、及び任意の他の値を含むがこれらに限定されない。医療データ検証が生成した結果と医師又は臨床医が生成した結果との間の相違は、エンジンの将来の分析及び最適化のために医療データ検証システムによって取り込まれ、比較され、出力されてもよい。
【００１６】
マルチテナントプラットフォームとして、医療データ検証システムはエンジン作成者及びエンドユーザ（医師及び臨床医を有するヘルスケア提供者、研究者、産業実体、又はこれらのグループ）等の様々な利害関係者によってアクセスされてもよい。ある特定の画像、画像コーホート、エンドユーザ医師又は臨床医フィードバック、統治、アップロード又は削除用エンジン、画像及び臨床内容を実行するためのエンジン、及びユーザ設定に対するアクセス制御は、その正規所有者からの許可の無い画像、エンジンの混同又は使用を防ぐよう制御されることが可能である。任意の利害関係者は、エンドユーザがアルゴリズム、コード、又は画像データにアクセスすることなくエンドユーザによって用いられ得るアルゴリズムを作成することができるエンジン作成者であってもよい。これは、任意の数のコンテナ化されたエンジン／アルゴリズムにより検査を処理するようクラウドベースであるか又はローカルに設置することができるプライベート又はマルチテナントセキュアサーバに検査を送信することによって行われてもよい。アクセス制御は、アルゴリズム開発者に認証及び管理権限を付与することを許可する。
【００１７】
アルゴリズム及び使用認証の一実施形態は、異なるエンドユーザにアルゴリズムを用いる能力を付与する能力をアルゴリズム開発者に与えるか、又はそれらが公衆に用いられるために公開されることを可能にする一方で、エンドユーザが文書で又は法的諸条件をクリックスルーすることを介して提供されるプラットフォーム及びライセンス契約に同意することを必要とする。管理者権限は、他のアルゴリズム開発者にアルゴリズムを改変させるか又はアルゴリズムの新しいバージョン若しくはアルゴリズムを改変するエンジン若しくはエンジンのエンジンを作成させる能力をアルゴリズム開発者に与える。バージョン管理は、アルゴリズム開発者に彼らのアルゴリズムの異なる世代を作成する能力を可能にする一方で、規制当局の認可のためにアルゴリズムの技術ファイルに対する変更を追跡している。同様に、画像及び臨床内容コーホート並びに医療データ検証フィードバックデータの異なる世代も、固有値を保護し、データの意図しない拡散を防ぐようバージョン管理され、セキュリティ保護される。
【００１８】
一実施形態において、画像処理エンジン（任意の画像に関連するか又は関連しないデータも同様に処理するか又は処理するのみである画像処理モジュール又は画像処理ユニットとも称される）は、様々な組織又は企業実体によって運営されてもよい様々な開発者によって開発されてもよい。画像処理エンジンとは、幾つかの場合において、複数のハードウェア処理リソース（例えば、グラフィック処理ユニット又はＧＰＵ等のグラフィックアクセラレーションデバイス）の組み合わせで、画像上で特定の画像処理（外形認識、寸法測定、等のような）を行うよう、プロセッサによって個々に独立して起動され、実行され得る実行可能な画像又はバイナリコードを指す。画像処理エンジンは、ユーザが意図する動作パラメータを選択し、プログラミングすることを可能にするようＷｅｂサーバにアップロードされ、リスト化され得るか、及び／又は、１つ以上の画像処理エンジンをダウンロードして、特定の場所において閉鎖的なローカルに設置される医療データ検証システムソリューションとして独立して及び／又は別のシステムと通信し、組み合わせて（ハイブリッドモードで）実行することができる。選択された画像処理エンジンは、１つ以上の画像処理操作のシーケンスを実行するよう様々な構成（例えば、直列、並列、又は両方）に構成されてもよい。
【００１９】
別の態様によれば、画像処理エンジンは、医師団によって識別された医学的所見を検証するよう設計される他の市販の又は別々に開発された医療データ検証システムに検査を投入するために利用されてもよい。一実施形態において、画像処理エンジンは医師による所見を確認又は証明するために用いられ、ここでエンジンは医療データ検証システムとして動作する。画像処理エンジンは、また、異常な所見を有する可能性が高いいずれかの画像も選別及び識別し、それらをサードパーティシステム上での医療データ検証のために送信するか、又は医療データ検証システム上で診断検証を呼び出すために利用されてもよい。
【００２０】
識別された画像は、次いで、所見を証明及び確認するよう医師団によって検証される。後者の場合、エンジンは予備検証者として動作する。結果として、検証される必要がある何千もの医用画像のために、画像処理エンジンは異常画像を事前に識別するよう大量の画像処理操作を行うことができ、エンジンは、これらの画像が診断読影中に医師によって検証される場合に、フィードバックから将来を見越して「学習」することができる。画像処理エンジン及び検証する医師の所見が一致した場合、関与する画像処理エンジンの動作は正当であると確認することができ、すなわち、画像処理エンジンによって用いられたアルゴリズムが正当であると確認される。そうでなければ、かかるアルゴリズムは、例えば、機械学習法を用いる更なる微調整又は訓練を必要としてもよい。場合によっては、エンジンの機能がアルゴリズムと呼ばれる。医師又はエンジンが動作を行うか又はアルゴリズム／入力若しくはツールを適用する場合、これは、場合によっては、操作と称される。これらの操作は結果として、医療データ検証研究の全体の読影結果の一部である所見を生じる。医療データ検証システムにおいて、医療データ検証ワークフローと類似するが、エンジンを関与させるものは、第１の結果（医師、エンジン、複数のエンジンのうちのエンジン、又は操作からの）が存在し、これは第２の結果（医師、エンジン、複数のエンジンのうちのエンジン、又は操作からの）と比較され、一致しない場合、第３の結果（医師、エンジン、複数のエンジンのうちのエンジン、又は操作からの）によって判定される。このため、医療データ検証システムにおいて、実現技術は、読影する医師のために医師の前又は医師の後のどちらか一方に操作を行い、人間及び機械（エンジン）が発見した所見の比較を支援するためにこのインタラクションを用い、典型的な医療データ検証環境に加えて、リアルタイム画像読影環境において取り込まれ、照合され、及び組み合わされる人間の入力、エンジン、コンテンツ、及び所見のための技術プラットフォーム及び方法を提供することによって、新しい方法で医療データ検証の役割及び用途を拡張する。医療データ検証システムの場合、これは、医師、エンジン（又は複数のエンジンのうちのエンジン）、コンテンツ／画像コーホート、及び第三者有効データソースのうちの任意の組み合わせの間のインタラクションを（同期的又は非同期的に）含む。
【００２１】
医師の確認及び否定並びに彼らが医療データ検証システムを用いて提供する他の収集可能なワークフロー入力は、閉ループ方式での訓練データとして用いることができ、それによってエンジンは教師あり又は教師なし方式での機械学習技術を用いて連続又は反復して訓練される。エンジンの所見と医師の所見（医師の調整、確認、又は否定を含む）との間にいずれかの不一致が存在した場合、メッセージがデータベースに送信されてイベントを記録し、任意に、メッセージは一次読影プロセス又は医療データ検証システムプロセス中であってもいずれかの所定のデバイス、個人、又はグループに送信されて何かを注意する必要があることを示す。これは、エンジンが他のエンジンにフィードバックを提供し、それでも閉ループ学習シナリオを作成する教師なし方式で行ってもよい。かかる場合、第１、第２、及び更に第３の結果はエンジン（又は複数のエンジンのうちのエンジン）からであり、人間からではなく提供され、医療データ検証システムによって用いられるエンジンを強化する目的のために用いられてもよい。第１、第２、及び第３の結果が全て人間から得られる場合、これは通常の医療データ検証であり、医療データ検証システムの一部ではない。しかし、かかる場合、有効な検査結果によるこれらの読影の画像及びコンテンツコーホートが画像／コンテンツコーホートとして取り込まれてもよい。かかるコーホートは学習のために遡及的にエンジンによって用いられてもよく、これらのデータは、医師の成績を更に検証し、画像／コンテンツコーホートを更に向上させ、新しいエンジン及び／又はエンジンのエンジンを開発するために医療データ検証システムによる医療データ検証プロセスに投入されてもよい。
【００２２】
エンジン（及びエンジンのエンジン）は、画像／コンテンツコーホートだけでなく受信臨床データのライブストリームに関して良好に動作しなければならない。読影を必要とするこれらリアルタイムの臨床画像及び内容セットは、多くの場合、完全ではない。これは、走査プロトコルエラー、患者の動き、金属アーティファクト、肥満患者、等のような患者走査不具合があるために生じる可能性がある。また、それは、現在のものに関する先行画像検査の利用可能性の欠如、失われた臨床情報、又は医療ミス、等のため生じる恐れがある。これらの理由のため、リアルタイムの検査評価は画像／コンテンツコーホートを処理するよりも難しく、様々なエンジン／操作は失敗することが予想され得る。医療データ検証システムは、困難な又は失敗した検査のコーホートを利用して、使用事例及び提示されたデータの品質係数に基づく任意の所定のアンサンブル、エンジン、又は後続の操作の可能性を特定することができる。データを分析し、エンジン、アンサンブル、及び操作が実行されることに影響を及ぼす複数のエンジンのうちのエンジンにおいてこの情報を利用して、任意の特定の検査若しくは困難な画像のコーホートであっても、そのための必要な／所望の検査結果を最良に送ることができる。このように最適化することによって、医療データ検証システムは、無駄な計算パワーを低下させ、低品質な検査結果を検証する無駄な医師の時間を低減し、エンジン及びアンサンブルの一貫性及び性能を向上させ、それによって医療データ検証システムのインテリジェンスを利用して医療データ検証システム自体の性能を向上させている。
【００２３】
１つ以上のエンジン又はアンサンブルによって返された一貫性、矛盾、正常、異常、高品質、低品質、不合格、又は好結果がある場合、警告が提供されてもよい。加えて、教師あり又は教師なし機械学習エンジンは、様々な状況において様々なエンジンの効率を監視及び学習し、医療データ検証プロセスの中であろうと別の医師若しくは臨床医の画像読影若しくは検証プロセスの中であろうと、又は電子カルテ、ビューイングシステム、ＰＡＣＳ、若しくは３Ｄ高度視覚化システム内部で医師によって確認される必要がある又はそうでなければ、標識がなければ医師によって見落とされる恐れのある、又はそうでなければエンジンによって測定されるか、言及されるか、表示されるか、若しくは標識が付けられ、クラウドプラットフォームによって供給される所見の数を増加させるために、様々な使用事例に最良に適用されるよう様々なエンジンの使用を最適化し始めるために用いられてもよい。
【００２４】
一実施形態によれば、特定の臨床研究に関連する医用画像の第１のセットが医療データソースから受信される場合、１つ以上の画像処理エンジンは、特定の種類の画像検査のために構成されるエンジン操作を実行するための所定の若しくは機械学習した提案順序に従って、医用画像（又はこの用途において同義として用いられるデータ）を処理する（例えば、画像又は他のデータ又は測定における形状、特徴、傾向を認識する）よう呼び出される。画像処理エンジンは、医用画像のいずれかの異常所見を検出するために画像処理操作を実行するか又は（彼らが読影のために用いているシステムに基づいて、又は医療データ検証システム機能の一部としてエンドユーザがカスタマイズする方法で）エンドユーザの選好若しくはコンピュータで観察される作業方法に従って臨床ワークフローを最適化し、画像の異常所見又は好ましい表現並びに正常及び／又は異常所見を説明する第１の結果を生成するよう構成される。医師の入力は第２の結果を表している。医療データ検証システムは、結果及び所見における一致及び不一致を検出し、不一致結果を与える更なる判定のための警告を送信するか、又は、相違を記録し、これらをアルゴリズム／エンジンの所有者に提供して、彼らがこのフィードバックを受け入れるかどうか（すなわち、医師の入力を事実として受け入れるべきか否か、及び、この検査を新規又は最新のコーホートに含めるべきかどうか）を決定することを可能にしている。
【００２５】
一実施形態は、画像取得品質に基づいて推論及び画像コーホートコレクションを調整する。画像は、エンジン規格が適合することを保証するために任意の予測エンジンが呼び出される前後にチェックされ、検証される必要がある。これは、画像情報科学における品質管理の責任を負う規制及び監督団体の規格を含んでいてもよい。この一実施例は肺塞栓症の研究に関係する。肺塞栓症の検出のための感応性及び特異性は画像取得品質に直接関係する。呼吸運動アーティファクト又は技術的取得パラメータ（例えば、造影ボーラスタイミング）等の結果として画質劣化を生じるアーティファクトは、所定の所見を明確に識別するエンジンの能力に直接影響する。医師に提示されるか又は立証される肺塞栓症検出エンジン結果のために、品質管理エンジンは、肺塞栓症検出エンジンの信頼度を修正するために、呼吸運動アーティファクトに対して、造影ボーラスタイミングを判断しなければならない。画像を処理するよう自動的に選択されてもよい所定のアーティファクトの有無を考慮して良好又は劣って動作するエンジンがあってもよい。処理されるエンジンの組み合わせは、所定の所見のための所見出力の最適な及び適切な信頼度を保証する。所見の有無は、従って、検査品質の範囲又は機能として生じてもよく、必ずしも計数値ではない。これは、画像アーティファクト及び技術的画像取得品質のばらつきの品質管理及び処理に関するエンジンセレクタのエンジンの一実施形態である。
【００２６】
同様の品質管理パラダイムが画像コーホートキュレーション品質採点法に適用される。医師及びエンジンの組み合わせによって精選される所定の画像コーホートに格納された各画像のために、画像アーティファクトの有無を有する品質スコアは所見と共にデータベースに格納される。自動品質管理スコアは診断画像インタープリタ又はプロバイダによって受け入れられるか又は不合格にされてもよい。高低両方の品質ラベルセットが精選される。所定のエンジンの性能は、ある特定のアーティファクトが存在する場合にエンジンを用いることができるかどうかを特定するよう、高低両方の品質データセットに対して採点される。
【００２７】
特に、一実施形態において、画像処理エンジンは同じ又は異なる実体又は組織によって運営されてもよい１つ以上の画像処理エンジン開発者によって提供される。医用画像の第２のセットは第１の検証システムに送信され、ここで医用画像の第２のセットは医用画像の第１のセットのサブセットである。一実施形態において、医用画像の第２のセットは画像処理エンジンによって異常画像として分類されている。医療データ検証システムとして動作する検証システムは、医用画像の第２のセットを検証して画像の異常を証明若しくは確認するか又は証明しない若しくは不合格にして、第２の結果を生成するよう構成される。検証システムから受信した第２の結果に応じて、医療データ検証システム上で動作する画像処理エンジンの操作は第１の結果及び第２の結果に基づいて有効又は無効にされる（これは第３者の従来の医療データ検証システム上又はかかる性能を有する本明細書中に説明する医療データ検証システム上で行われる。
【００２８】
機械学習されるエンジンはこの情報から学習してもよいか、及び／又は、アルゴリズムの統治及び／又は所有者はかかるフィードバックを学習プロセスに受け入れるか又は拒否してもよいか、或いは、教師なしエンジンは幾つかのフィードバックを容認すること及び他のフィードバックを拒否することの統計的に理想の組み合わせを見出すよう様々なシナリオを独自に試してもよい。エンジン／アンサンブルの性能は、品質管理を行うために訓練データとしてエンジン作成者が利用できない参照基準の画像コーホートに対して証明することができ、ここでエンジンのバージョニングはこれらの性能測定基準を表示するか及び／又は所定のアルゴリズム並びに一般的な医療規制及び参照基準に従って、追跡可能性のために作成者に提供される画像のコーホートのバージョン管理を行う。アルゴリズム立証及びエンジン品質認定のために特別にアセンブルされる投入画像又は画像コーホートは、アルゴリズムの所定のバージョンのオーバーフィッティング（すなわち、アルゴリズムを見栄え良くするか又は良好に評価されるようデータを調整すること）を防ぐよう提供される画像の数及び種類の観点でランダム化される。かかるバージョニングは、参照基準コーホートを用いて証明を行うのに適切ではない場合において、訓練データと立証データとの間の規定された分離を確保する。
【００２９】
一実施形態において、画像処理エンジンの結果を一様に及び多くのユーザによって有効にすることによって、画像処理エンジンは、ＦＤＡ等のような外部の第三者団体による法的認定に対応するようこれらのデータを利用することによって「認証」又は「認可」される画像処理エンジンとなってもよい。画像処理エンジンがその使用結果に基づいて有効となることができない場合、画像処理エンジンのパラメータ又はアルゴリズムは、例えば、これらの先の結果（画像コーホート及び臨床コンテンツコーホート）に基づく機械学習方法を用いて調整されるか又は再訓練される必要があってもよい。更に、エンジンの改訂、画像コーホート、臨床コーホート、及び全ての医療データ検証システム利用データは、学習し、適合するよう、及びエンジン作成者に対してこれらの記録されたイベントに基づいて彼らのエンジンの性能を向上させるようエンジンのエンジンのための方法を提供する。
【００３０】
幾つかの実施形態によれば、機械学習されるワークフローシステムは画像データを受信することができる。機械学習されるワークフローシステムは画像データを検証し、１つ以上の臨床プロトコル又は１つ以上のワークフローを提案することができる。各画像データのための提案される臨床プロトコル又はワークフローは画像内解析及び／又は画像データのメタデータに基づいて特定され得る。機械学習したワークフローシステムは、ユーザが臨床プロトコル又はワークフローを置換、除去、又は追加することを可能にすることができる。機械学習したワークフローシステムはユーザインタラクションを追跡することができる。機械学習したワークフローシステムは、次回に同様の画像データが受信されるようにユーザインタラクションに基づいて機械学習することができ、機械学習したワークフローシステムは最適化された臨床プロトコル及びワークフローを提案することができる。
【００３１】
図１は、一実施形態による医療データ検証システムを示すブロック図である。図１を参照すると、医療データ検証システム１００はネットワーク１０３上で医用画像処理サーバ１１０に通信可能に結合される１つ以上のクライアント装置１０１〜１０２を含んでいる。クライアント装置１０１〜１０２は、デスクトップ、ラップトップ、モバイル装置、ワークステーション、等であってもよい。ネットワーク１０３は、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネット又はイントラネット等の広域ネットワーク（ＷＡＮ）、プライベートクラウドネットワーク、パブリッククラウドネットワーク、又はそれらの組み合わせであってもよい。
【００３２】
画像処理サーバ１１０は、医療データソース１０５によって提供されてもよい医用画像及び臨床内容に関する１つ以上の一連の画像処理操作又は臨床内容処理操作を実行するよう呼び出され、構成されてもよい多数の画像処理エンジン１１３〜１１５のホストとして動作する。医療データソース１０５は、検査室情報システム（ＬＩＳ）、放射線医学情報システム（ＲＩＳ）、エンタープライズコンテンツ管理システム（ＥＣＭ）、電子医療記録（ＥＭＲ）、病院情報システム（ＨＩＳ）、画像保管通信システム（ＰＡＣＳ）、ＶＮＡ（ベンダーニュートラルアーカイブ）、高度視覚化３Ｄシステム、ＥＭＲデータ、様々なディレクトリ、並びにＨＩＥ（医療情報交換）サーバ及び個人若しくは組織のレポジトリ等の他のデータソースを含むことができる。医療データソース１０５は、画像処理サーバ１１０を運用する組織とは異なる組織又は情報プロバイダによって管理及び／又は運営されてもよい。医用画像データソース１０５は、クラウドベースストレージ、ローカルドライブ、ＣＤ、ハードドライブ、ＤＶＤ、ＵＳＢ、Ｗｅｂアップローダ、任意のＤＩＣＯＭレポジトリ又はソース、画像及び臨床内容の他のソース、又はそれらの任意の組み合わせを含むことができる。画像処理サーバ１１０はネットワーク上で医用画像データソース１０５から画像データ（例えば、検査、臨床報告、画像、患者データ、利用データ、又はそれらの任意の組み合わせ）を受信することができる。例えば、画像データは使用制限を可能にするようセキュリティ情報を含んでいる。これは、例えば、セキュリティ情報内に含まれる透かし、基礎となる証明又は検証システムを有するか又は有していない埋込みメタデータを含むことによって達成されてもよい。
【００３３】
医療データ検証システムは人間の知力及び検証を必要とする標識されたデータの固有値又は大量の非標識データの意図的なコレクションを認識する。標識データの盗難によるエンジンのリバースエンジニアリングを防ぐか又はこのタスクを実行することができるエンジンを盗むことによって標識データセットを複製することを防ぐオプションとして、医療データ検証システムは、基礎となる証明又は検証システムを有するか又は有していない透かし、画像標識、及び／又は暗号化機能を含み、それらは標識データ、ソースデータのアクセス、実行、復号化、若しくはエクスポートを防ぐか又はかかるマーキングが有っても無くてもエンジン作成者の許可なしに実行することからエンジン／アンサンブルを制限するために利用することができる。
【００３４】
医療データ検証システムの一実施形態は、作成者の許可なしに注釈付きデータを収集することによるエンジンのリバースエンジニアリングを防ぐことによってエンジン作成者の知的財産を保護することができる。これは作成者及びエンドユーザによって設定されるＥＵＬＡ及び許可に基づいて変更してもよい。この特徴の幾つかの実施例は、ａ）ブロックチェーンベースの（例えば、イーサリアム）ＤＡｐｐ（分散型アプリケーション）を用いてメタデータ又は画像データに注釈を付けることによる検査の追跡、ｂ）エンジンによって生成される画像オーバーレイに透かしを入れること、ｃ）認証されたビューア又はＰＡＣＳ環境により閲覧されるようエンジンの出力を暗号化すること、ｄ）注釈付き画像データ及び又はメタデータの一括データエクスポートを防止すること、ｅ）注釈付き画像コーホートの使用をログ記録すること、ｆ）検証証明書の受領なしにエンジン／アンサンブルの実行を防止すること、及びｇ）特定のマーキング若しくは注釈付きメタデータ、又は暗号化されたアクセスキー、等を含まない限りエンジンがデータで実行することを防ぐことを含むが、これらに限定されない。
【００３５】
一実施形態において、データソース１０５によって提供される医療データは、ＤＩＣＯＭ形式の医用画像データ、非ＤＩＣＯＭ形式の医用画像データ、スケジューリングデータ、登録データ、人口統計データ、処方データ、請求書データ、保険データ、口述筆記データ、報告書データ、ワークフローデータ、ＥＫＧデータ、最善措置の参考資料、参考資料、訓練材料、等を含んでいてもよい。これらのデータは、ＨＩＳ、ＲＩＳ、ＰＡＣＳ、ＬＩＳ、ＥＣＭ、ＥＭＲ、又は他のシステムを含む幾つかの場所又はシステム内に常駐してもよい。非ＤＩＣＯＭデータは、Ａ／Ｖ、ＭＰＥＧ、ＷＡＶ、ＪＰＧ、ＰＤＦ、Ｍｉｃｒｏｓｏｆｔ  Ｏｆｆｉｃｅ（商標）形式、及び他の形式を含む幾つかの形式であってもよい。一般に、ＰＡＣＳにおけるデータはＤＩＣＯＭデータを含み、ここでＨＩＳ、ＲＩＳ及びＬＩＳ、ＥＣＭ、ＥＭＲにおけるデータは、画像及び非画像データを含む非ＤＩＣＯＭデータを含む。ＨＩＥデータは医療情報交換システムを介して利用可能なデータを含む。これらのデータは、一般に、範囲、地域、又は病院システム内部で異なる組織にわたって利用可能なデータを含み、テキストベース、ファイルベース、ＤＩＣＯＭ又は非ＤＩＣＯＭ画像データであってもよい。他のデータは、コンピュータ、データベース、白書及び臨床レポジトリ、研究機関上のディレクトリ内のデータ、及びユーザ、モバイル装置から並びに臨床用途の途中で収集したデータを含む他の関連データを含んでいてもよい。
【００３６】
画像処理エンジン１１３〜１１５は様々なベンダーによって開発され、提供されてもよく、様々な組織又は企業実体によって運営されてもよい。一実施形態は、幾つかの場合において、複数のハードウェア処理リソース（例えば、グラフィック処理ユニット又はＧＰＵ等のグラフィックアクセラレーションデバイス）の組み合わせで、傾向、比較、特定値、特性、形状又は類似点（相似）認識、対象の面積、大きさ、測定値、等のような画像（又は同義語として用いられるデータセット）上で特定の画像処理を行うよう、プロセッサによって個々に独立して起動され、実行され得る実行可能画像、コンテナ、仮想環境、又はバイナリコードとしての画像処理エンジンである。画像処理エンジン１１３〜１１５は、クライアント１０１〜１０２のユーザが１つ以上の画像処理エンジンをそれぞれクライアントアプリケーション１１１〜１１２の一部として購入、選択、及びダウンロードすることを可能にするよう、Ｗｅｂサーバ１０９、この実施例においては、アプリケーションストアにアップロードされ、リストにされてもよい。選択された画像処理エンジンは、１つ以上の画像処理操作のシーケンスを実行するよう様々な構成（例えば、直列、並列、又は両方）に構成されてもよい。画像処理エンジン１１３〜１１５はクライアントシステム１０１〜１０２にダウンロードされて操作を実行することができる。代替として、画像処理エンジン１１３〜１１５は、操作を実行し、エンジン作成者がアクセスを制御し、バージョン及び規制遵守を維持することを可能にするよう、サービス型ソフトウェア（ＳａａＳ）及び／又はサービス型プラットフォーム（ＰａａＳ）の一部としての画像処理サーバ１１０等のクラウドベースシステムにおいてホストとして動作することができる。
【００３７】
一実施形態において、画像処理エンジン又はモジュール１１３〜１１５のそれぞれは、例えば、肺小結節検出、骨折検出、器官識別及びセグメント化、血栓検出、画像部位分類、慢性閉塞性肺疾患（ＣＯＰＤ）検出、軟部組織特性化等の医用画像上で特定の画像処理操作を実行するよう構成されてもよい。画像処理エンジンは、医用画像から得られるか又は臨床内容によって導出されるか若しくは暗示される形状、テクスチャ、球形度測定、色、又は他の特徴に基づいてかかる検出を行うことができる。一実施形態において、複数のベンダーによって提供される複数の画像処理エンジンは、画像処理操作を実行するよう直列、並列、又は両方の組み合わせで構成され得、医用画像処理サーバ１１０の構成インターフェースを介して又はクライアントアプリケーション１１１〜１１２を通じて構成されてもよい。
【００３８】
一実施形態において、画像処理エンジン１１３〜１１５のうちのいずれか１つが呼び出される場合、それは更に、画像処理サーバ１１０の一部として、又は代替として、画像処理サーバ１１０に通信可能に結合されるリモート医用画像処理システム（又はシステム若しくはサーバのクラスタ）として統合されてもよい画像処理システム１０６の１つ以上の画像処理ツール１０７を呼び出してもよい。画像処理システム１０６はＴｅｒａＲｅｃｏｎ（登録商標）ＡｑｕａｒｉｕｓＮＥＴ（商標）サーバ及び／又はＴｅｒａＲｅｃｏｎ（登録商標）ＡｑｕａｒｉｕｓＡＰＳ（商標）サーバの一部として実装されてもよい。各画像処理エンジンは、ある特定の画像定量的データ又はかかる画像に関する測定データを生じさせるよう、ナビゲートされた又はエンジン若しくは複数のエンジンのうちのエンジンによって自動的に検出されてもよい患者の部位の画像上で画像処理操作を行うよう医用画像処理システム１０６を呼び出してもよい。同様に、臨床内容が調査されてもよい。
【００３９】
画像定量的データは医用画像の特定部位の大きさ及び／又は特性を手動若しくは半自動的に特定若しくは測定するために用いられてもよい。画像定量的データは、特定の医学的状態、医学的問題、又は疾患が存在しているか又は疑われるかどうかを特定するよう画像の種類に関連付けられた対応する基準値と比較されてもよい。かかる発症の可能性は、更に、患者の病歴及び／又は他の患者のデータの一部のような同じ種類の患者の医療データの傾向に基づいて予測又は特定されてもよい。一実施形態において、アンサンブルエンジンは、例えば、部位を見つけるもの、それをセグメント化する別のもの、その内部の解剖学的構造に標識付けする別のもの、及びその領域における主な疾患の兆候を検出する別のもの、そして最後に、これらの所見を臨床情報リソース及び推奨と照合して補助及び指示を医師に提供することができる別のものと組み合わされてもよい。
【００４０】
一実施形態において、処理エンジンは患者の特定部位に関連付けられてもよい。ある特定のエンジンのみが、それが関係する身体のどの部位かに従って又は何の画像診断方式（画像検査方式）が用いられているかに従って適用される。これは、上記の複数のエンジンのうちのエンジンが良好な選択を行い、何が機能するのかを学習することを補助する。
【００４１】
画像処理サーバ１１０は１つ以上のｅ−ｓｕｉｔｅを更に含むことができる（すなわち、アンサンブルとも称されるｅ−ｓｕｉｔｅは１つ以上の画像処理エンジンの組み合わせであってもよい）。このため、アンサンブルは粒状性を向上させるためにカスケード化されてもよく、それによって、アンサンブルエンジンの特定の意図する動作に対する感度及び特異性を向上させている。
【００４２】
エンジン又はｅ−ｓｕｉｔｅは所見（例えば、疾患、兆候、特徴、物体、形状、テクスチャ、測定、保険金詐欺、又はそれらの任意の組み合わせ）を検出することができる。１つ以上のエンジン及び／又は１つ以上のｅ−ｓｕｉｔｅは、メタデータ、画像内解析の公知の方法、又はそれらの任意の組み合わせに基づいて、検査から所見（例えば、臨床報告、画像、患者データ、画像データ、メタデータ、又はそれらの任意の組み合わせ）を検出することができる。画像処理サーバ１１０の画像処理エンジン１１３〜１１５は、画像データに所見の、例えば、画像データが異常であることを示すフラグを設定することができる。
【００４３】
フラグ設定は、実際の所見、又はエンジン／ｅ−ｓｕｉｔｅによって発見された所見の組み合わせを利用して導出された要約表示、エンジン／ｅ−ｓｕｉｔｅ名、検査が画像処理サーバ１１０によって処理されたことを表す簡単なマーク、検査が正常／異常だったことのマーキング、所見の危険度を示す一連のマクロレベル表示選択（例えば、赤、黄、緑、又はオレンジ）、重症度を有するマーキング（例えば、軽症、中程度、重症）、所見を示すアイコン（例えば、所見があることを示す簡単なマーク）、画像閲覧システムにおいて自動的に呼び出される関連ツール、若しくはそれらの任意の組み合わせを表示すること、又はそうでなければ、エンジン／ｅ−ｓｕｉｔｅ／アンサンブル若しくは複数のエンジンのうちのエンジンによって提供されるようなものを含むことができる。
【００４４】
フラグ設定は検査上で又は検査とは別に行うことができる。フラグ設定は１つ以上のｒｅｓｔｆｕｌ（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ  Ｓｔａｔｅ  Ｔｒａｎｓｆｅｒ）サービス、ＡＰＩ、通知システムを介して利用可能及びアクセス可能であり、サードパーティアプリケーションに又は画像処理サーバ若しくは医療データ検証システムのデータベース上でプッシュ通知されてもよい。一実施形態において、フラグ設定は３Ｄ医用画像ソフトウェアアプリケーション（例えば、クライアントアプリケーション１１１〜１１２）において表示されるか閲覧されてもよい。エンジン及び／又はｅ−ｓｕｉｔｅは、エンジン／ｅ−ｓｕｉｔｅがより多くの検査を処理するにつれて、エンジン／ｅ−ｓｕｉｔｅがより正確に所見を検出することができるように、先の所見に基づいて定期的に機械テアリングアルゴリズムを用いて機械学習するか又は訓練されてもよい。言い換えれば、所見を検出する信頼レベルは、より多くの検査が処理されるにつれて向上する。エンジン及び／又はｅ−ｓｕｉｔｅの所見に基づいて、画像処理サーバ１１０は、例えば、所見の種類、所見の重症度、患者の健康に対する危険度、又はそれらの任意の組み合わせに基づいて検査ワークリストに優先順位を付け、並び替えることができる。これは一次画像読影のプロセスにおいて用いることができる結果及びマクロ所見のリストを含むプラットフォームの最終的な出力であり、これらの所見のいずれかも調整のための基礎となる想定の観点から開放されるか若しくは更にデータを得ることができるか、又は、画像データ若しくは臨床データの品質は妥当性及び可能性のある交換若しくは編集のために評価されてもよい。
【００４５】
ｒｅｓｔｆｕｌサービスとのインターフェース又はＡＰＩは、これらのサードパーティアプリケーションにおいて提供されるいずれかのフィードバックも、エンジンの学習並びに追加の画像データコーホート及び臨床コンテンツコーホートの精選を容易にするよう医療データ検証システムに返すことができるように、医療データ検証システム、他の一般的な医療データ検証システム、及び他の医用画像ビューアとの間の双方向通信を提供する。
【００４６】
アプリケーションストア１０９は、１つ以上のエンジン、１つ以上のｅ−ｓｕｉｔｅ、又はそれらの任意の組み合わせを格納することができる電子商取引サーバであってもよい。画像処理サーバ１１０は同じ又は異なるエンジン又はｅ−ｓｕｉｔｅをアプリケーションストア１０９として格納することができる。画像処理サーバ１１０のエンジン又はｅ−ｓｕｉｔｅは、画像処理サーバ１１０のグラフィカルユーザインターフェース（ＧＵＩ）又はＷｅｂサイト（ローカル又はインターネット上）を介してユーザによってどのエンジンが選択されたかに応じて検査を処理することができる。画像処理サーバ１１０は更新された／向上されたエンジン又はｅ−ｓｕｉｔｅをアプリケーションストア１０９に送信することができる。アプリケーションストア１０９又は画像処理サーバ１１０はユーザプロファイル及び／又はグループプロファイルを格納することができる。ユーザプロファイルは１人以上のユーザに対して特有であってもよい。グループプロファイルは１つ以上のグループ、例えば、管理委員会、放射線専門医グループ、心臓専門医グループ、技師グループ、開発者グループ、又はそれらの任意の組み合わせに対して特有であってもよい。ユーザプロファイル及びグループプロファイルは、ツール、エンジン、ｅ−ｓｕｉｔｅ、訓練ツール、コード化ツール、又はそれらの任意の組み合わせに対するアクセス制御を有することができる。ユーザ及び／又はグループは他のユーザ及び／又はグループに対するアクセス制御を拡張又は低減させることができる。
【００４７】
ツール、エンジン、ｅ−ｓｕｉｔｅ、訓練ツール、コード化ツール、又はそれらの任意の組み合わせは、画像処理サーバ１１０を介して若しくは２Ｄ及び／又は３Ｄ医用画像ソフトウェアアプリケーション、又は医療データ検証システム、又は新規医療データ検証システムにおいて、表示され、用いられてもよい。医用画像ソフトウェアアプリケーションは画像処理システム１０６の画像処理ツール１０７の出力にアクセスするクライアントアプリケーションである。例えば、第１のユーザはクライアント装置（例えば、Ｗｅｂサイト、携帯電話、ワークステーション、コンピュータ、ｉＰａｄ（登録商標）、ラップトップ、又は他の任意の方法若しくは種類、又はそれらの組み合わせ）を介してアプリケーションストア１０９に格納され得る第１のエンジンをアップロードすることができる。第１のユーザ又は管理委員会はある特定のツール、例えば、機械学習／訓練ツールに対するアクセスを第２のユーザ又はグループに提供することができる。第２のユーザ又はグループは機械学習／訓練ツールを用いることができ、この使用からのフィードバックはより高い精度で所見を検出するよう第１のエンジンを訓練するために提供され得る。第１のエンジンは画像処理サーバ１１０によって更新され、アプリケーションストア１０９に格納されてもよい。エンジンによる画像データの処理及びエンジンの更新は、画像処理サーバ１１０、画像処理アプリケーションストア１０９、又はそれらの任意の組み合わせにおいて行うことができる。
【００４８】
これらのエンジンは、規範的であるか、教師あり学習により実装されるか、又は教師あり若しくは教師なし学習のどちらか一方によりエンジン（エンジンのエンジン）によって自己開発されるかのいずれか一方である測定された性能属性を有することができる。次いで、統治を通じて、エンジンをアップロードする人物は変更を受け入れるか又は拒否するかのどちらか一方を行うことができるか、及び／又は、他人による使用のためにそれらを公開するか否かを行うことができる。
【００４９】
画像処理サーバ１１０は異なる場所における１つ以上の医療機関、１人以上のユーザ、１つ以上のグループ、又はそれらの任意の組み合わせからのエンジン又はｅ−ｓｕｉｔｅによって実施されてもよい。画像処理サーバ１１０は、１人以上のユーザが１つ以上のエンジン又は１つ以上のｅ−ｓｕｉｔｅをアップロード又はダウンロードすることができるように、グラフィカルユーザインターフェース（ＧＵＩ）を有することができる。画像処理サーバ１１０は、エンジン若しくはｅ−ｓｕｉｔｅ上のデータを訓練、コード化、開発、アップロード、削除、追跡、購入、更新、又は処理するよう１人以上のユーザ又はグループのためのＧＵＩを有することができる。画像処理サーバ１１０はアクセス制御を有することができる。画像処理サーバ１１０は、エンジン、アンサンブルエンジン、エンジンのエンジン、及びそれらの構成に対する制御されたアクセスに対応するよう独立したセキュリティ及びクラウドアクセス制御を提供するマルチテナント環境に対応するようパスワード保護されてもよい。これらのパスワード（及び、又は、他のシステムと統合されたワークフローのための認証方法）は、画像コーホート、臨床データコーホート、エンジンアクセス性、及びインタラクションデータベースの別々のアクセス制御に対応している。
【００５０】
画像処理サーバ１１０は、ユーザ又はグループがツール及びエンジンに対するアクセス制御を同じ医療機関又は他の医療機関（例えば、マルチテナント機能構成）からの他のユーザ又はグループに与えることを可能にすることができる。これは、所見を検出するようエンジン又はｅ−ｓｕｉｔｅを向上させるために１つ以上の医療機関からの１人以上のユーザ又はグループ間の共同努力を促進することができる。画像処理サーバ１１０は、ユーザがエンジン又はｅ−ｓｕｉｔｅを実行させて画像データを処理することを可能にすることができるＧＵＩを有することができる。一実施形態において、医療データ検証システムの出力は、ｒｅｓｔｆｕｌ及び、若しくはＡＰＩ通信に対応するか又はプラットフォームのデータベースに対して読み取り／書き込みすることができるサードパーティシステムによって統合されるか及び／又は消費され得る。代替として、医療データ検証システムの閲覧する部分は、この内容の消費者であってもよく、及び／又は、サードパーティシステム内に埋め込まれるか若しくはスタンドアローンとして用いられてもよい。任意の画像処理エンジン１１３〜１１５は、更に、エンジン所有者並びに医療データ検証及び／又は診断読影を行う医療データ検証システムユーザによって適用されるセキュリティ及び統合のための設定に応じて画像処理システム１０６の画像処理ツール１０７を呼び出すことができる。
【００５１】
エンジン作成者はＷｅｂインターフェース等のそのグラフィカルインターフェースを用いて任意の画像処理エンジン又はｅ−ｓｕｉｔｅを画像処理サーバ１１０を通じてアプリケーションストア１０９にアップロードすることができる。画像処理サーバ１１０は、画像処理サーバ１１０上のエンジンのうちのいずれかを更新、変更、訓練、機械学習、又はそれらの任意の組み合わせを行うよう１人以上のエンジン開発者のための開発者プラットフォームを有することができる。エンジンは、例えば、機械学習アルゴリズムを用いる訓練を介して又は所定のエンジンのための予測方法のコンテナ化されたバージョンを修正することを介して、開発者プラットフォーム上で所見を検出するよう改良されてもよい。このアプローチが達成され得る１つの方法は、所定のエンジンを改良するようデータを集約すること並びに反復訓練評価及び所定のソフトウェアコンテナ若しくはラッパー内のエンジンソースコードのバージョニングのために用いられるデータを非同期的にバージョニングすることによって、クラウドにおいて使用中又はエンドユーザ及びプラットフォームにおいて協働し、取り組むアルゴリズム／エンジン作成者の行動によって管理され、統治される展開されたコンテナ化アルゴリズムプレーヤソフトウェアにおいてリモートで使用中のどちらか一方のアルゴリズムの配布及び更新を可能にすることである。
【００５２】
１つ以上の個々の処理エンジンは定義されたセットの入出力と共にソフトウェアコンテナ内にラップされ得る。互換性のある入出力を有する処理エンジンはシリアル又はパラレルに（例えば、マルチスレッドを介して）実行されてより正確な最終出力を生成することができる。一実施形態において、プラットフォームによって支持され、更新されるように標準の公開されたスキーマに対する特定のエンジン／アルゴリズムの必要とされる入出力の抽象化を可能にする標準化されたｒｅｓｔｆｕｌ  ｗｅｂサービスＡＰＩ（又は類似物）が利用されてもよい。これは、全てのエンジンがマッピング及び抽象化を可能にする入出力側に抽象化層を有することを必要とする。次いで、１つ以上の抽象化された出力が１つの又は抽象化された入力にマッピングされてもよい。
【００５３】
例えば、エンジン開発者は、肺小結節を検出する様々な特徴（例えば、幾何学的形状、テクスチャ、肺小結節の検出から結果として生じる特徴の他の組み合わせ、又はそれらの任意の組み合わせ）に基づいてエンジンを訓練することによって、アプリケーションストア１０９の開発者プラットフォーム又はデータ解析システム（図示せず）上で検査内の肺小結節を検出するよう肺小結節検出エンジンを訓練することができる。別の実施例において、エンジン開発者は開発者プラットフォーム上で血栓エンジンを訓練することができる。別の実施例において、骨折エンジンは画像処理サーバ１１０からの骨折エンジンデータに基づいて開発者プラットフォーム上で機械学習することができる。別の実施例において、ＣＯＰＤエンジンは、同じＣＯＰＤエンジンデータに基づいて、別のＣＯＰＤエンジンデータに基づいて、又はそれらの任意の組み合わせで機械学習することができる。
【００５４】
図２は、一実施形態による画像処理サーバの一実施例を示すブロック図である。図２を参照すると、画像処理サーバ１１０は、持続型ストレージデバイス２０２（例えば、ハードディスク）にインストールされ、それからロードされ、並びに１つ以上のプロセッサ（図示せず）によって実行されてもよい１つ以上の画像処理エンジン１１３〜１１５のホストとして動作するメモリ２０１（例えば、動的ランダムアクセスメモリすなわちＤＲＡＭ）を含む。画像処理サーバ１１０は、更に、追跡モジュール２１１、警告モジュール２１２、解析モジュール２１３、及び報告モジュール２１４を含む。画像処理エンジン１１３〜１１５はプロセス構成２２４に従って様々な構成に構成され得る。プロセス構成２２４は、ユーザによって又は特定の検査若しくは画像のために具体的に構成される構成ファイル内に格納されてもよい。医用画像処理サーバ１１０はマルチテナント機能クラウドサーバであってもよい。複数の構成ファイルが存在していてもよく、それぞれはユーザ又はユーザのグループに関連付けられてもよく、構成インターフェース（図示せず）を介して構成されてもよい。
【００５５】
例えば、図２及び３を参照すると、医療データ（この実施例において、医用画像）は画像処理サーバ１１０において医療データソース１０５から受信することができる。画像処理エンジン１１３〜１１５のうちの１つ以上はプロセス構成データ２２４に基づく順番に従って配置され得る。画像処理エンジン１１３〜１１５は、更に、医用画像処理システム１０６の画像処理ツール１０７を呼び出してもよい。１つ以上の結果２５０が出力データ２２２の一部として生成され、持続型ストレージデバイス２２４に格納されてもよい。一実施形態において、画像処理エンジン１１３〜１１５は直列に配置されてもよく、図４Ａに示すように、第１の画像処理エンジンの出力が第２の画像処理エンジンの入力として利用され得る。代替として、画像処理エンジン１１３〜１１５は、図４Ｂに示すように、同じ又は異なる画像処理操作を同時に行うよう並列に配置されてもよい。画像処理エンジンの出力は、次いで、最終決定を生成するよう集約される。更に、画像処理エンジン１１３〜１１５は、図４Ｃに示すように、直列又は並列に配置され得る。
【００５６】
一実施形態において、画像処理サーバ１１０は、更に、出力２５０のテキスト又は言語を処理するよう自然言語処理（ＮＬＰ）システム３１０を呼び出してもよい。ＮＬＰシステム３１０は、見落とした所見又は読影を誤った所見を有する検査を識別して出力２５０と相互に関連付けるよう、画像処理サーバ１１０によって抽出される特徴を走査、解析、及び照合することができる。ＮＬＰはコンピュータサイエンス、人工知能、及びコンピュータと人間の（自然）言語との間のインタラクションに関わる、特に、大量の自然言語コーパスを効果的に処理するようコンピュータをプログラミングすることに関わる言語学の分野である。多くの異なるクラスの機械学習アルゴリズムがＮＬＰタスクに適用されている。これらのアルゴリズムは入力データから生成される「特徴」の大規模なセットを入力として取り込む。
【００５７】
例えば、第１のエンジンは所見を検出するようアルゴリズムを実行することができる。第１のエンジンは第１のエンジンの所見の出力を作成することができる。第１のエンジンによる所見は、統計インターフェース、レポート（図示せず）、診断読影ビューア（図示せず、又はｒｅｓｔｆｕｌサービス及び／又はＡＰＩを介して結果及びコーホートにアクセスすることができる任意のシステム又はデータベースに含まれ得る。医師は所見の出力を検証することができる。医師は第１のエンジンの所見を有効／無効にすることができる。第１のエンジンの所見の有効化／無効化は出力データ２２２の一部として含まれ得る。第１のエンジンは１つ以上の医療機関からの検査を処理することができ、ここで結果は出力データ２２２に含まれ得る。
【００５８】
任意の利害関係者は、エンドユーザがアルゴリズム、コード、又はアルゴリズムを訓練することに必要とされる画像データにアクセスすることなくエンドユーザによって用いられ得るアルゴリズムを作成することができるエンジン作成者であってもよい。これは、任意の数のコンテナ化されたエンジン／アルゴリズムにより検査を処理するようクラウドベースであるか又はローカルに設置することができるプライベート又はマルチテナントセキュアサーバに検査を送信することによって行われる。アクセス制御は、アルゴリズム開発者に認証及び管理権限を付与することを許可する。アルゴリズム及び使用認証の実施形態は、異なるエンドユーザにアルゴリズムを用いる能力を付与する能力をアルゴリズム開発者に与えるか、又はそれらが公衆に用いられるために公開されることを可能にする一方で、エンドユーザが文書で又は法的諸条件をクリックスルーすることを介して提供されるプラットフォーム及びライセンス契約に同意することを必要とする。管理者権限は、他のアルゴリズム開発者にアルゴリズムを改変させるか又はアルゴリズムの新しいバージョン若しくはアルゴリズムを改変するエンジン若しくはエンジンのエンジンを作成させる能力をアルゴリズム開発者に与える。バージョン管理は、アルゴリズム開発者に彼らのアルゴリズムの異なる世代を作成する能力を可能にする一方で、規制当局の認可のためにアルゴリズムの技術ファイルに対する変更を追跡している。同様に、画像及び臨床内容コーホート並びに医療データ検証フィードバックデータの異なる世代も、固有値を保護し、データの意図しない拡散を防ぐようバージョン管理され、セキュリティ保護される。
【００５９】
一実施形態において、腹部の後造影ＣＴスキャンはＣＴ蛍光透視手順の前に処理される。後造影画像は位置合わせエンジンを用いてＣＴ蛍光透視データセットに対して位置合わせされる。位置合わせ及び解剖学的セグメント化の結果は、ＣＴガイド下生検又は切除中に非造影ＣＴ蛍光透視画像上に血管を表示するためにＣＴ蛍光透視データの上で切り替えることができる従って、結果として仮想造影強調蛍光透視結果を生じる。これは、ＭＲＩ等の他の診断法により同様に支持されてもよい。一実施形態において、ｅ−ｓｕｉｔｅの所見の出六の有効化又は無効化は追跡データ２２１及び／又は統計２２３に含まれ得る。
【００６０】
別のシナリオよれば、ＰＡＣＳサーバ若しくはＣＴ、ＭＲＩ、超音波、Ｘ線、又は他の画像診断法若しくは情報システムは検査をｅ−ｓｕｉｔｅの第１のエンジンに送信することができる。第１のエンジンが検査を処理した後、第１のエンジンからの所見の出力は第２のエンジン及び第３のエンジンに送信され得る。第２のエンジン及び第３のエンジンは並列で動作することができる。第２のエンジン及び第３のエンジンの所見の出力は組み合わされてもよい。第２のエンジン及び第３のエンジンの組み合わされた出力はｅ−ｓｕｉｔｅの所見の出力となることができる。代替として、処理は、処理するためのデータを受信する複数のエンジンにより開始してもよく、これらはそれらの結果を説明したような１つ以上の他のエンジンに送信する。最終的な出力は、ｅ−ｓｕｉｔｅアンサンブルの出力の所見を確認又は否認するために医師により検証されるようソース診断法すなわちＰＡＣＳ又は医療データ検証システムに送り返されてもよい。
【００６１】
第１のエンジンの出力は第１の重み係数を有することができる。第２のエンジンの出力は第２の重み係数を有することができる、等である。第１の重み係数及び第２の重み係数は、−１００％％から＋１００％の範囲の任意のパーセント、又は対数尺度、又は実行される試験及びコーホートの種類に適切な任意の種類の任意の作成者割当て尺度であってもよい。所見の重み付けされた出力は１つのエンジンが別のエンジンより多くの重みを有することを可能にすることができ、エンジンにおける所見の１つの型は各所見のための異なる重みを有することができる。ユーザは、画像処理サーバ１１０上のインターフェースから各エンジンの重みを操作することができる。代替として、複数のエンジンのうちのエンジンは、教師あり又は教師なし機械学習技術を用いてこれらの値を設定するよう適用され得る。
【００６２】
例えば、第１のエンジンはエッジ検出用のエンジンであってもよい。第２のエンジンは軟部組織検出用のエンジンであってもよい。ユーザは、第１のエンジンが２０％に重み付けされ、第２のエンジンが８０％に重み付けされるように、各エンジンを操作することができる。第１及び第２のエンジンの出力はかかる重みを反映することができる。複数のエンジン又はｅ−ｓｕｉｔｅは、同一の検査のために同時に並列で実行され得る。複数のエンジン又はｅ−ｓｕｉｔｅは、同じ患者からの又は異なる患者からの異なる検査のために同時に実行され得る。
【００６３】
類似所見を見つける類似エンジンは並列、直列、又はそれらの任意の組み合わせで実行されてもよく、同じ所見を検出する異なるエンジンであってもよい。例えば、第１のエンジン、第２のエンジン、及び第３のエンジンは肺小結節検出エンジンであってもよいが、それらは異なるエンジン開発者又は異なる医療機関からであってもよい。かかる構成は、異なるベンダーによる３つのエンジンからの所見を比較し、医療データ検証中に生じる診断読影プロセスのすぐ最中に、複数のツールに対する即時アクセス及び各エンジンからの所見の迅速な概要を医師に提供することを可能にすることができる。交互に、医療データ検証システムは診断検証が一般的なＰＡＣＳシステムにおいて生じ、次いで、医療データ検証がこれらの診断読影間の類似及び異なる所見を測定するために医療データ検証システムを用いるかかる検証後に生じることを可能にすることができる。
【００６４】
典型的な医療データ検証と医療データ検証システムとの間の相違は、一般的な医療データ検証は読影の結果全体についての同意を確認するよう探るのみであることに対して、医療データ検証システムは所見を含むより多くの粒状度での同意の測定を可能にしており、従って、改善された将来の結果を提供するよう画像処理又はデータ処理エンジンを訓練するために必要な詳細を提供する。医療データ検証システムは、それが開始される場合により多くの医師の関与時間を必要とする可能性がある一方で、高度に調整されたアルゴリズムの可用性は連続使用の結果であり、それは将来の医師の読影時間全体を低減し、時間の経過と共に改善される医療データ検証結果を提供する。
【００６５】
一実施形態によれば、処理エンジンは類似の診断法により複数の検査を分析し、「重大な間隔変化はない」という分析結果を生成することができる。例えば、処理エンジンは、異なる時間に生じるが、同じ診断法及び身体部位の２つの頭部ＣＴ検査を取り込むことができる。追跡検査から容易に抽出されるレポート特徴は「重大な間隔変化はない」である。処理エンジンは、次いで、両方のＣＴ検査に関して実行されて、２つを比較していずれかの相違が存在するかどうかを確認する。最新のレポートが「重大な間隔変化はない」と見なされる場合、医療データ検証システム機能は、類似点を検証することができるエンジンを実行することになり、その記述に同意又は反対する能力を提供することができる。多くの場合、報告された所見はレポート内に維持され、プラットフォームへの入力及び関連する内容である電子通信が、動作する場合にエンジンに提供される。
【００６６】
別の実施形態によれば、単一の検査上で動作するエンジンは、異常の安定性を評価するために、関連する比較に関して動作するよう別のエンジン又は複数のエンジンを呼び出してもよい。これは比較検査においてＣＴ肝臓障害エンジンをＭＲＩ肝臓障害エンジンと比較すること等のマルチモダリティであってもよい。この実施形態において、ＣＴ画像コーホートに関して動作するＣＴアルゴリズムを実行する処理エンジンは、別の処理エンジン又は同じ患者のためのＭＲＩ画像コーホートに関するＭＲＩアルゴリズムを実行する推論エンジンの先の結果を呼び出して単一の比較タスクを実行する。
【００６７】
エンジン及び／又はｅ−ｓｕｉｔｅは、所見を検出する（又は、それが目標であるならば、何の所見も確認しない）確率が高いか及び／又は最適化されるように、任意の構成において実行され得る。エンジン及び／又はｅ−ｓｕｉｔｅは、所見を検出する信頼レベルを最大にする任意の構成において実行され得る。エンジンは、所見の出力がどのように見えるか（例えば、所見を検出する高い確率、所見を検出する低い確率、ある特定の所見を除外する、ある特定の所見を含む、通常検査を選択すること、又はそれらの任意の組み合わせ）を、ユーザが構成することができるように、任意の構成において実行され得る。
【００６８】
例えば、ユーザがＣＯＰＤ及び／又はＣＯＰＤの特徴を検出したいと思う場合、ユーザは、エンジンの構成がＣＯＰＤ又はＣＯＰＤの特徴を検出する高い確率を有することができるように、１つ以上のＣＯＰＤエンジンを並列、直列、又はそれらの任意の組み合わせ（すなわち、ＣＯＰＤ  ｅ−ｓｕｉｔｅ）に構成することができる。これは、患者が医師によって確認されるような標的所見を有することに関するレポートにおいて情報を提供される場合、検出アルゴリズムの重み付けを自己最適化することができる複数のエンジンのうちのエンジンのための理想的な使用事例である。より多くの医師がＣＯＰＤ  ｅ−ｓｕｉｔｅを使用し、ＣＯＰＤ  ｅ−ｓｕｉｔｅの所見の出力を確認（すなわち、確証）するにつれて、より高い評価をｅ−ｓｕｉｔｅは有することができる。高い評価及び／又は増加した確認は、ＣＯＰＤ  ｅ−ｓｕｉｔｅが最良の所見検出率を有することを他の医師が認識することを可能にすることができる。これは、電子商取引サイトにおいて格付けシステムを提供することによってユーザに明らかとなる。
【００６９】
別の実施例において、ユーザが肺小結節を検出したいと思う場合、ユーザは、肺小結節の特定の特徴を検出するエンジン、例えば、テクスチャ用エンジン、小結節形状用エンジン、強度用エンジン、又はそれらの任意の組み合わせを選択することができる。かかるエンジンは、並列、直列、又はそれらの任意の組み合わせで動作され得る。多くの肺スキャンは所見を有するため、検出する大部分の重要なことは、結果として医師から指示される経過観察を生じる可能性が高い所見である。このため、エンジン又は複数のエンジンのうちのエンジンは、経過観察を必要とする可能性が高いその肺所見の検出を向上させるためにレポート情報又は他の臨床情報を提供され得る。偶発所見は見落とされた所見ではないため、一実施形態は、これらの所見を提示しないことによって又はそれらを提示し、偶発的である可能性があるものとしてそれらをマーキングすることによってのどちらか一方により医療データ検証及び診断読影プロセスにおける偶発所見を除外するシステムである。前述のプロセスを具現化する別の方法は、幾つかの偶発所見が臨床転帰に影響を及ぼす臨床的関連性を有するか又はそうではない可能性があるような臨床重症度スコアとしてのものである。ユーザは画像処理サーバ１１０の構成インターフェース（図示せず）によりエンジンを別のエンジンと手動で置き換えることができる。
【００７０】
図２に戻って参照すると、一実施形態によれば、追跡モジュール２１１は画像処理エンジン１１３〜１１５の割当て及びプロセスを追跡又は記録するよう構成される。画像処理エンジン１１３〜１１５はマルチテナント機能動作環境におけるマルチインスタンス（例えば、マルチスレッド）で実行され得ることに留意されたい。マルチテナント機能動作環境において、異なるユーザがログインし、認証され得る。ユーザが認証され、権限を付与されると、ユーザは、異なる検査、異なる組織、等のための彼らのサービス又はサブスクリプション契約に従って画像処理エンジンを構成し、利用することができる。追跡モジュール２１１は、どの画像処理エンジンがどの医学的検査のため又はどのユーザによって、どの画像コーホート及び臨床コンテンツコーホートに関して利用されるか、どのインデックス付きユーザデータを結果として生じるかを常時追跡し、次いで、単数又は複数のデータベースとも呼ばれる持続型ストレージデバイス２０２に格納される追跡データ２２１（エンジンデータとも称される）を生成するよう構成される。
【００７１】
図５は、一実施形態による医用画像を処理する処理フローである。図５を参照すると、医用画像５０１が受信される場合、画像処理エンジン１１３〜１１５のうちの１つ以上を有する処理エンジン５０２は医用画像を処理し、結果５０３を生成するよう構成される。画像５０１は、単一の検査内の複数の画像、検査内の複数の系列、又は異なる診断法の複数の検査からの系列及び画像の組み合わせを示してもよいことに留意されたい。結果５０３は統計データを生成するよう解析モジュール２１３によって解析される。その一方で、追跡モジュール２１１は処理エンジン５０２の動作を追跡するよう構成される。結果５０３は出力データ２２２の一部として格納されてもよい。追跡データ及び統計データ５０４は生成され、追跡データ２２１及び／又は統計２２３の一部として格納されてもよい。追跡データ／統計データ５０４に基づいて、異常所見又は矛盾する所見等の所定の条件を満足するいずれかのデータが存在した場合、警告モジュール２１２は、所定の装置、データベース、又はシステムに警告を生成し、送信するよう構成される。レポートも、追跡／統計データ５０４に基づいて報告モジュール２１４によって生成され得る。
【００７２】
追跡モジュール２１１は、１つ以上のエンジン（例えば、第１のエンジン）のためのエンジンデータ（例えば、どの検査が画像処理サーバ１１０に送信されたか；どの検査がどのエンジンによって処理されたか；どの検査がどのエンジンによってフラグ設定されたか；どの検査が複数のエンジンによってフラグ設定されたか；どの検査が医療データ検証サンプルの一部として送信されたか；エンジン名；所見；疾病検査の有効化及び／又は無効化された機械学習された場合によって高い可能性に関するデータ；壁厚、テクスチャ、傾斜、測定値、密度、異質性、ボクセルの範囲の標準偏差、又はそれらの任意の組み合わせを含むが、これらに限定されない検査における画像の特徴に関するデータ；読影医師並びにシステムを用いるその他の人物のユーザインタラクション；診断時間；例えば、患者の健康状態に対するリスクに基づいた検査のフラグ設定；リスクに基づいた検査の順序；又はそれらの任意の組み合わせ）を追跡することができる。エンジンデータは、各検査が１つ以上のエンジン又はｅ−ｓｕｉｔｅによって実行された後、手動、連続的、又は自動的に追跡され、更新され得る。医療データ検証機能は１つを超える、２つ又は３つの医師読影を伴ってもよく、医療データ検証システムは医師又は臨床試験による関連のない検査の逐次診断読影のために用いられてもよい。
【００７３】
加えて、統計データエンジンとも称される解析モジュール２１３は、画像処理エンジンのための追跡したエンジンデータに関する解析を行うことができる。統計データエンジン２１３は、エンジンを提供する１つ以上の医療機関から、並びに画像及び臨床コンテンツコーホートを提供するだけのその他を含む医療データ検証システム並びに外部ソースに関連する１つ以上の画像処理サーバ及び１つ以上のデータベースからのエンジンデータを集約することができる。統計データエンジン２１３は、エンジン格付けの一部としてアプリケーションストア１０９上で更新され得るエンジンデータに基づいて全てのエンジン及びエンジンのエンジンのための統計データを更新することができる。統計データも、統計データ２２３の一部として持続型ストレージデバイス２０２に格納されてもよい。同様のフィードバックは画像コーホート及び臨床データコーホートのために収集され、表示される。
【００７４】
上に示し、説明したような幾つか又は全てのコンポーネントはソフトウェア、ハードウェア、又はそれらの組み合わせで実装されてもよいことに留意されたい。例えば、かかるコンポーネントは、この出願全体にわたって説明するプロセス又は操作を実行するようプロセッサ（図示せず）によってメモリにロードされ、実行され得る、持続型ストレージデバイスにインストールされ、格納されるソフトウェアとして実装され得る。代替として、かかるコンポーネントは、アプリケーションから対応するドライバ及び／又はオペレーティングシステムを介してアクセスされ得る集積回路（例えば、特定用途向けＩＣすなわちＡＳＩＣ）、ＧＰＵ（グラフィック処理ユニット）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は類似のもの等の専用ハードウェアにプログラミングされるか又は埋め込まれる実行可能コードとして実装され得る。更に、かかるコンポーネントは、１つ以上の特定命令を介してソフトウェアコンポーネントによってアクセス可能な命令セットの一部として、プロセッサ又はプロセッサコア内の特定のハードウェアロジックとして実装され得る。
【００７５】
別の態様によれば、画像処理エンジンは、医師団によって行われる医学的所見を検証するよう医療データ検証システムの一部として利用されてもよい。画像処理エンジンは異常所見を有する可能性が高い任意の画像を選別し、識別するよう利用される。識別された画像は、次いで、所見を証明及び確認するよう医師団によって検証される。結果として、検証される必要がある何千もの医用画像のために、画像処理エンジンは異常画像を事前に識別するよう大量の画像処理操作を行うことができる。それらの画像は、次いで、所見を確認するよう医師によって検証される。画像処理エンジン及び検証する医師の所見が一致した場合、関与する画像処理エンジンの動作は正当であると確認することができ、すなわち、画像処理エンジンによって用いられたアルゴリズムが正当であると確認される。そうでなければ、かかるアルゴリズムは、例えば、機械学習法を用いる更なる微調整又は訓練を必要としてもよい。
【００７６】
代替として、機械所見と医師所見との間にいずれかの不一致が存在した場合、データベース内の表示及びｒｅｓｔｆｕｌサービス及び／又はＡＰＩにおける通知は所望のシステム及びスタッフに通知を送信する効果を有する。これらの識別された対立する検査は、次いで、二次的な医師検証のために送信される。両方の検証結果が知られると、解析モジュールを介する調和はエンジン精度の確認又はエンジンに対する改良を生じる結果となる可能性がある。
【００７７】
ある特定の実施形態によれば、様々な画像処理ツールが医療データ検証システムの診断画像処理機能を用いるユーザによってアクセスされ得る。代替として、かかる画像処理ツールは、次いで、ＰＡＣＳ若しくはＥＭＲ等の他のサードパーティシステム又は他の臨床若しくは情報システムにおいて呼び出される画像処理エンジン１１３〜１１５として実装されてもよい。以下は、上で説明した画像処理システムの一部として含まれるか及び／又は更に自動化され、又はエンジンに変換されてもよい現在主要な半自動画像閲覧及び高度視覚化システム内に存在する医用画像処理ツールの実施例である。これらの実施例は例示する目的のために提供され、制限する意図はない。
【００７８】
血管分析ツールは、広範囲の血管分析タスク、冠状動脈から大動脈へのエンドグラフトプランニング並びに頸動脈及び腎動脈を含むより一般的な血管検証が可能なＣＴ及びＭＲ血管造影法のための総合的血管分析パッケージを含んでいてもよい。自動中心線抽出、ゆがみ矯正図、直径及び長さ測定、ＣＰＲ及び軸方向レンダリング、自動化薄スラブＭＩＰのための血管追跡モードが含まれてもよい。
【００７９】
カルシウムスコアリングツールは、Ａｇａｔｓｔｏｎ、体積、及びミネラル量アルゴリズムによる冠動脈カルシウムの識別を含んでいてもよい。カスタマイズオプションを有する統合報告パッケージが含まれてもよい。
【００８０】
時間依存解析（ＴＤＡ）ツールはＣＴ又はＭＲにより取得される時間分解平面又は体積４Ｄ脳灌流検査を含んでいてもよい。ＴＤＡツールは高速分析に対する入力関数及び基準線の半自動選択による平均強調時間及び全体強調等の様々なパラメータの色又はマッピングに対応してもよい。ＴＤＡツールは取得数分での読影を保証するようダイナミック４Ｄ面積検出ＣＴ検査の急速自動処理に対応してもよい。
【００８１】
ＣＴ／ＣＴＡ（コンピュータ断層撮影血管造影法）減算ツールはＣＴ血管造影検査から非強調構造（例えば、骨）の除去に用いられ、ＣＴ／ＣＴＡオプションは、造影前及び造影後画像の自動位置合わせ、その後の、ノイズを増加させることなくＣＴＡスキャンから高輝度構造（骨及び外科クリップのような）を除去し、造影強調された血管構造の隔離で補助する高密度ボクセルマスキングアルゴリズムを含む。
【００８２】
小葉分解ツールは例えば、血管床を含む走査領域又は肝臓等の器官等の対象の体積内部の樹状構造を識別する。ＬＤツールは、次いで、木の所定の分岐又はその小枝の１つの近傍に基づいて対象のサブボリュームを識別することができる。調査アプリケーションは器官の小葉構造の解析を含む。
【００８３】
低露光による全体強調及びノイズ処理ツールは、ソース画像品質が最適ではない場合にでさえ、３Ｄ、中心線、並びに輪郭及びセグメント化アルゴリズムの効果を向上させるようノイズ管理技術を適用する高度体積フィルタアーキテクチャを含んでいてもよい。
【００８４】
球形ファインダツールは高い球形インデックス（多数の小結節及びポリープによって示される特性）を有する構造の位置を識別するよう体積検査の自動分析を実行する。球形ファインダは、多くの場合、対象の可能性のある領域を識別するために肺又は結腸ＣＴスキャンと共に用いられる。
【００８５】
セグメント化、解析、及び追跡ツールは孤立性肺結節又は他の可能性のある病変等の塊体及び構造の解析及び特徴付けに対応する。ツールは対象の範囲を識別し、セグメント化してもよく、次いで、ＲＥＣＩＳＴ及びＷＨＯ等の測定基準を適用して、所見及び経過観察比較の表集計レポートを導く。球形ファインダを含む任意の検出エンジンからの候補マーカの表示及び管理に対応してもよい。
【００８６】
時間量解析ツールは、心室等の律動的運動状態の小室からの駆出率の自動計算を提供してもよい。高速及び効率的なワークフローは、ユーザが対象の壁境界（例えば、心外膜及び心内膜）を識別することを可能にするよう、並びにこれらの対象のユーザ確認領域に基づいて、多相ＣＴデータから駆出率、壁容積（塊体）、及び壁肥厚を報告するよう含まれてもよい。表集計レポート出力が含まれる。
【００８７】
顎顔面ツールは顎顔面領域のＣＴ検査の解析及び視覚化に対応し、これらのツールはＣＰＲツールを適用して様々な面における及び様々な厚さの「パノラマ」投影及び規定された曲面に沿った設定増分での断面ＭＰＲ図を生成する。
【００８８】
結腸、肺、又は血管等の腔内ＣＴ又はＭＲ検査に適用できるフライスルーツールは、並列検証、以前見た領域の彩色、範囲追跡率、並びに前部、後部、魚眼、及び平面体積レンダリング図を含むマルチスクリーンレイアウトに対応する。造影減算用のツール「Ｃｕｂｅ  Ｖｉｅｗ」及び統合コンテクストレポートに対応してもよい。ｉＮｔｕｉｔｉｏｎの球形ファインダを含む任意の検出エンジンからの候補マーカの表示及び管理に対応してもよい。
【００８９】
体積ヒストグラムツールは対象の体積を比較のためにセグメント化及び解析することを可能にする。調査アプリケーションは、肺の低減衰領域の分析、ボクセル母集団への腫瘍の閾値に基づく分割、血栓性血管又は動脈瘤の検査、又は他の病理学を含む。
【００９０】
所見ワークフローツールは連続検査にわたる所見を追跡するための骨組みを提供する。データベースは測定値及び主要な画像を保持し、連続比較を表すためのＲＥＣＩＳＴ１．１アプローチ等のある期間にわたる所見の構造化比較及び表集計レポートのためのサポートを提供する。音声認識システム又は臨床データベースとの自動統合のために、注釈及び画像マークアップ（ＡＩＭ）ＸＭＬスキーマに対応してもよく、単語ベースのレポートがデータベースから導出されてもよい。
【００９１】
これらのツールと共に、任意の２つのＣＴ、ＰＥＴ、ＭＲ、若しくはＳＰＥＣＴ系列、又は任意の２つの系列の組み合わせは、半透明色コードを割り当てられた一方並びに解剖学的参照のためにグレースケール及び体積レンダリングで示された他方と重ね合わされてもよい。自動位置合わせが提供され、一時的系列又は保存された第３の系列への減算が可能である。ＰＥＴ／ＭＲ視覚化のためのサポートは含まれる。
【００９２】
ある特定のＭＲ検査（例えば、胸部ＭＲ）は、ある期間にわたって取り込まれる一連の画像取得を伴い、ここである特定の構造は他の構造に対して次第に強調される。これらのツールは、全ての強調後画像から強調前画像を減算して強調構造（例えば、血管構造及び他の強調組織）の視覚化を強調する能力を特色としている。時間依存関心領域ツールは所定の領域の時間強度グラフをプロットするよう提供されてもよい。
【００９３】
パラメトリックマッピングツールは多相ＭＲツールに対する強化であり、パラメトリックマッピングオプションはオーバーレイマップを予め計算し、ここで画像内の各ピクセルはピクセル強度の時間依存挙動に応じて色分けされている。一実施例として、このツールは強調した領域の高速識別及び検査に対する胸部ＭＲにおいて用いることができる。
【００９４】
ＭｕｌｔｉＫｖツールは、セグメント化又は造影抑制等の標準画像処理アルゴリズム並びに正確な解析及び新技術の開発のための包括的なツールキットを提供する複数のベンダーからのＤｕａｌ  Ｅｎｅｒｇｙ  ａｎｄ  Ｓｐｅｃｔｒａｌ  Ｉｍａｇｉｎｇ（デュアルエナジー及びスペクトル画像解析）取得のためのサポートを提供する。
【００９５】
これらの実施例、並びに現在の高度画像解析及び臨床データ解析の大部分の機能は、医療データ検証プラットフォームにおいてサポートされることが可能である。しかし、エンジン並びに複数のエンジンのうちのエンジンの性能ははるか先に進んでおり、より高いインテリジェンス及び自動化を有するツールに適応し、同様に、個人又はグループの好みにエンジンを適合させることによって個々に合わせたワークフローを与えることができる。
【００９６】
上で説明した実施形態は様々な医療領域に適用されてもよい。例えば、上で説明した技術は血管分析（大動脈血管内修復（ＥＶＡＲ）及び電気生理学（ＥＰ）プランニングを含む）に適用されてもよい。かかる血管分析は、大動脈エンドグラフト及び電気生理学プランニングに加えて、冠動脈並びに頸動脈及び腎動脈等の血管全体分析の両方の読影のために行われる。ローカル設置又はクラウド設置展開のためのプラットフォームのクラウドサービスとして提供されるツールは、自動中心線抽出、ゆがみ矯正図、直径及び長さ測定、色オーバーレイ、融合マッピング、湾曲平面再形成（ＣＰＲ）、及び軸方向レンダリング、並びに血管直径対距離及び断面図のチャート作成を含む。血管軌道ツールは、ナビゲーション及び深層反応測定を容易にするために血管中心線に沿って移動し、それを中心として回転する２つの直交面における最大値投影（ＭＩＰ）図を提供する。プラーク解析ツールは、軟性プラーク、石灰化プラーク、及び壁内病変等の非管腔構造の詳細な描写を提供する。
【００９７】
加えて、上で説明した技術は大動脈血管内修復の領域において利用され得る。幾つかの実施形態によれば、類似のクラウドサービスとして提供される血管分析ツールはエンドグラフトサイジングのための測定値を取り込むレポートテンプレートの定義に対応している。複数の中心線は、複数のアクセスポイントを有するＥＶＡＲ手順のプランニングを可能にするよう抽出され得る。血管と垂直な直径は２つの大動脈腸骨動脈経路に沿った距離と共に測定されてもよい。カスタムワークフローテンプレートは、ステントサイジングのために必要に応じて大手大動脈エンドグラフトメーカの測定仕様に設定されることを可能にするために用いられてもよい。有窓及び分岐デバイスプランニングのための血管枝の向き及び位置を文書化することで支援する「文字盤」オーバーレイによる嚢セグメント化及び容積特定も、用いられてもよい。必要な測定値及びデータを含むレポートが生成されてもよい。
【００９８】
上で説明した技術は、また、左心房分析モードにおいても適用することができ、各肺静脈口の半自動左心房セグメント化は、大静脈及び小静脈直径の評価のために、クラウドサービスとして提供される距離ペアツールでサポートされる。測定値は自動的に検出され、統合報告システムに取り込まれる。これらの機能を他の血管分析ツールと組み合わせて、切除及び指導アプローチプランニングのための包括的及びカスタマイズされるＥＰプランニングワークフローを提供することができる。
【００９９】
上で説明した技術はカルシウムスコアリングにも利用できる。冠動脈カルシウムの識別は、合計され、報告されるＡｇａｔｓｔｏｎ、体積、及びミネラル量アルゴリズムにより支持される。結果は、患者及び彼らの心血管履歴及び危険因子に関する他の様々なデータと共にオープンフォーマットのデータベースに格納されてもよい。カスタマイズされたレポートはこれらのデータに基づいて自動的に生成され得る。また、ＳＣＣＴ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｃａｒｄｉｏｖａｓｃｕｌａｒ  Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）ガイドラインで定義されるようなレポート生成も含まれる。
【０１００】
上で説明した技術は、また、多相データからの左室容積、駆出率、心筋体積（塊体）及び壁肥厚の完全自動計算を含んでいてもよい時間体積分析（ＴＶＡ）において利用され得る。
【０１０１】
上で説明した技術は、また、心肺ＣＴ検査を含む様々なスキャンにおける塊体及び構造の分析及び特徴付けを支援することを含むセグメント化分析及び追跡（ＳＡＴ）の領域においても利用され得る。特徴は、塊体のセグメント化、寸法及び体積の報告、選択された領域のグラフィカル３Ｄ表示、体積変化率及び倍加時間を含む経過観察比較のための支持、並びにフィルタ結果（例えば、球形度）の適用及び検証のための支持を含む。
【０１０２】
上で説明した技術は、また、結腸の自動セグメント化及び中心線抽出の特徴を含んでいてもよいフライスルーの領域においても利用することができ、２Ｄ検証は、代表的な同期管腔内図と共に軸方向、冠状、又は矢状図のいずれか１つにおける並置同期仰臥位及び伏臥位データセットを含む。３Ｄ検証は、大腔内図及び全結腸を表示する展開図と共に軸方向、冠状、若しくは矢状ＭＰＲ若しくはＭＩＰ画像表示を含む。範囲追跡は、閲覧されていない部分の段階的検証、ポリープ識別、所見のブックマーク及び結合、並びに対象の体積を隔離するための立体図、及び統合コンテクスト報告ツールによる１００％の有効範囲を保証するよう支持される。サポートはフィルタ結果（例えば、球形度）の使用のために提供される。
【０１０３】
上で説明した技術は、また、脳灌流検査内のような適切なコンピュータ断層血管造影法（ＣＴＡ）及び／又はＭＲＩ検査の時間依存挙動の評価解析を提供する時間依存解析（ＴＤＡ）ツールの領域においても利用することができる。複数の時間依存系列が同時に解析され、入出力機能及び対象領域を選択するための手続きワークフローが提供される。血流、血液量、及び通過時間マップのための値のエクスポートは、ＤＩＣＯＭ又は他の画像形式でサポートされるか又はエクスポートされる。他の出力は様々な時間依存パラメータの計算を含む。
【０１０４】
上で説明した技術は、また、造影前及び造影後画像の自動位置合わせ、その後の、ノイズを増加させることなく、造影血管構造を完全な状態で残す減算又は高輝度構造（骨及び外科クリップのような）をＣＴＡスキャンから除去する高密度ボクセルマスキング技術を含むＣＴＡ−ＣＴ減算の領域においても利用することができる。
【０１０５】
上で説明した技術は、また、歯科用ＣＴスキャンの検証に適用され、様々な面における及び様々な厚さの「パノラマ」投影、及び規定された曲面に沿った設定増分での断面ＭＰＲ図を生成する能力を提供することができるＣＰＲツールを提供する歯科分析においても利用することができる。
【０１０６】
上で説明した技術は、また、多相ＭＲ（基本、例えば、胸部、前立腺ＭＲ）の領域においても利用することができる。ある特定のＭＲ検査（例えば、胸部、前立腺ＭＲ）は、ある期間にわたって取り込まれる一連の画像取得を伴い、ここである特定の構造は他の構造に対して次第に強調される。機能は、全ての強調後画像から強調前画像を減算して強調構造（例えば、血管構造及び他の強調組織）の視覚化を強調する能力を特色としている。時間依存関心領域ツールは所定の領域の時間強度グラフをプロットするよう提供される。
【０１０７】
上で説明した技術は、また、パラメトリックマッピング（例えば、多相胸部ＭＲ用）においても利用することができ、パラメトリックマッピングモジュールはオーバーレイマップを予め計算し、ここで画像内の各ピクセルはピクセル強度の時間依存挙動に応じて色分けされている。
【０１０８】
上で説明した技術は、また、画像データセット内のオブジェクトの球形度を見つけることにも利用することができる。これは、多くの場合、対象の可能性のある領域を識別するために肺又は結腸ＣＴスキャンと共に用いられる。
【０１０９】
上で説明した技術は、また、ＣＴ／ＭＲ／ＰＥＴ／ＳＰＥＣＴのための融合においても利用することができる。任意の２つのＣＴ、ＰＥＴ、ＭＲ、若しくはＳＰＥＣＴ系列、又は任意の２つの系列の組み合わせは、半透明色コードを割り当てられた一方並びに解剖学的参照のためにグレースケール及び体積レンダリングで示された他方と重ね合わされてもよい。自動位置合わせが提供され、一時的系列又は保存された第３の系列への減算が可能である。
【０１１０】
上で説明した技術は、また、小葉分解の領域にも利用できる。小葉分解は、解剖学的構造を検出し、セグメント化するよう設計される分析及びセグメント化ツールである。樹状構造（動脈及び／又は静脈ツリー等の）と結び付いた任意の構造又は器官領域に対し、ツールは対象の体積並びにそれに関連するツリーを計算し、体積を葉又は、ツリー若しくはその任意の特定の小枝の近傍に大多数がある領域に分割する。この一般的で柔軟なツールは、肝臓、肺、心臓、及び様々な他の器官並びに病理学的構造の分析において潜在的な調査用途を有している。
【０１１１】
上で説明した技術は、また、体積ヒストグラム計算の領域にも利用できる。体積ヒストグラムは、異なる強度若しくは密度範囲の群若しくは母集団を作成する構成ボクセルに基づいて対象の所定の体積を分割する。これは、例えば、癌（進行性腫瘍、壊死組織、及び浮腫間の平衡を理解する試みにおいて、腫瘍の組成を分析することが望ましい場合）又は肺気腫（肺ＣＴ検査における低減衰ボクセルの母集団が早期疾患の意味のある指標となる可能性がある場合）等の疾患過程に関する調査を支持するために用いることができる。
【０１１２】
上で説明した技術は、また、動作解析の領域にも利用できる。動作解析は、対話型３Ｄ又は４Ｄ表示が利用できない場合、所見のより効果的な通信のために、４Ｄプロセスの強力な２Ｄ表現を提供する。鼓動する心臓等の任意の動的体積取得は、重要な境界の外形の色分けされた「軌跡」を生成するよう動作解析を受けることができ、動的シーケンス全体にわたって、資料で容易に報告され得る方法で単一の２Ｄフレームが動作を捕捉し、示すことを可能にしている。色パターンの均一性、又はその欠如は、動作が調和的である範囲を反映し、単一画像からの即時視覚フィードバックを提供する。
【０１１３】
図６は、一実施形態と共に用いられてもよいデータ処理システムのブロック図である。例えば、システム１７００は上で説明したようなサーバ又はクライアントの一部として用いられてもよい。例えば、システム１７００は、ネットワークインターフェース１７１０を介してリモートクライアント装置又は別のサーバに通信可能に結合される上で説明した画像処理サーバ１１０を表してもよい。図６はコンピュータシステムの様々なコンポーネントを示している一方で、かかる詳細は本発明と密接な関係がないように、任意の特定のアーキテクチャ又はコンポーネントを相互接続する方法を表すことを意図していないことに留意されたい。また、ネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、及びより少ないコンポーネント又はことによるとより多くのコンポーネントを有する他のデータ処理システムも本発明と用いられてもよいことは正しく認識されるであろう。
【０１１４】
図６に示すように、データ処理システムの一形態であるコンピュータシステム１７００は、１つ以上のマイクロプロセッサ１７０３及びＲＯＭ１７０７、揮発性ＲＡＭ１７０５、及び不揮発性メモリ１７０６に結合されるバス又は相互接続１７０２を含んでいる。マイクロプロセッサ１７０３はキャッシュメモリ１７０４に結合される。バス１７０２はこれらの様々なコンポーネントを共に相互接続し、また、これらのコンポーネント１７０３、１７０７、１７０５、及び１７０６をディスプレイコントローラ及びディスプレイ装置１７０８、並びにマウス、キーボード、モデム、ネットワークインターフェース、プリンタ、及び当該技術において周知の他の装置であってもよい入出力（Ｉ／Ｏ）装置１７１０に相互接続する。
【０１１５】
通常、入出力装置１７１０は入出力コントローラ１７０９を介してシステムに結合される。揮発性ＲＡＭ１７０５は、通常、メモリ内のデータをリフレッシュ又は維持するために継続的に電力を必要とするダイナミックＲＡＭ（ＤＲＡＭ）として実装される。不揮発性メモリ１７０６は、通常、磁気ハードドライブ、磁気光学ドライブ、光学ドライブ、若しくはＤＶＤ  ＲＡＭ、又は電力がシステムから切断された後でもデータを維持する他の種類のメモリシステムである。通常、不揮発性メモリはランダムアクセスメモリでもあるが、これは必須ではない。
【０１１６】
図６は、不揮発性メモリがデータ処理システム内の残りのコンポーネントに直接結合されるローカルデバイスであることを示している一方で、システムは、モデム又はイーサネット（登録商標）インタフェース等のネットワークインターフェースを介してデータ処理システムに結合されるネットワークストレージデバイス等のシステムから遠隔にある不揮発性メモリを利用してもよい。バス１７０２は、当該技術で周知のように、様々なブリッジ、コントローラ、及び／又はアダプタを介して互いに接続される１つ以上のバスを含んでいてもよい。一実施形態において、Ｉ／Ｏコントローラ１７０９はＵＳＢ周辺機器を制御するためのＵＳＢ（ユニバーサルシリアルバス）アダプタを含む。代替として、Ｉ／Ｏコントローラ１７０９は、ＦｉｒｅＷｉｒｅデバイスを制御するためのＦｉｒｅＷｉｒｅアダプタとしても公知のＩＥＥＥ−１３９４アダプタを含んでいてもよい。
【０１１７】
完成前のレポートを検証する場合、医師は、医師が完成前レポートを修正するよう自然言語の口述又はタイピングを用いることを可能にするＮｕａｎｃｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｉｎｃ．から市販されている製品ＰｏｗｅｒＳｃｒｉｂｅ  ３６０  Ｒｅｐｏｒｔｉｎｇ等の報告ソリューションを用いることができる。代替として、又は加えて、患者の状態及び以前の選択に基づいて関連する単語を選択するようプログラムされたロジックを用いる構造化報告ソリューションが、より均一なレポートを作成するために医師によって用いられてもよい。かかる特徴は、医師の所見とレポートとの間の一方向コミュニケーションを利用する。
【０１１８】
また、画像から引き出された情報又は推論が用いられて画像読影レポートの一部又は全部を入力することができるように、画像処理及びレポート作成に適用される人工知能又は機械学習の新興分野も存在する。例えば、Ｇａｌｉｌｅｏ  ＣＤＳ，Ｉｎｃ．から市販されているＧａｌｉｌｅｏ臨床意志決定支援システム、ＲａｄＬｏｇｉｃｓ，Ｉｎｃ．から市販されている医用画像解析のための機械学習ソリューション、及びＥｎｌｉｔｉｃ，Ｉｎｃ．から市販されている臨床支援製品を参照されたい。
【０１１９】
以下で説明するように、システムは、画像ビューアと解決策報告ソリューションとの間の双方向通信を可能にする。システムは、生成された所見が検証する医師によって見られ、受け入れられ、調整され、削除され、又は置換され得るように、コンピュータ生成所見をビューア内で実演する能力を含む。医師によるかかるレポートの変更は、医師が供給する情報に基づいてレポートを自動的に更新する。同様に、医師がレポート内の数字を画像ビューア内の別の測定値を介して作成された別の測定値と置き換えた場合、システムは、置換された古い測定値の削除を受け入れるよう医師に促すか、又はこれ及び他の選好に基づいて自動的にこれを行う。
【０１２０】
画像ビューアと解決策報告ソリューションとの間の双方向通信を可能にするかかるシステムは、画像から開始する医師の自然な傾向を支援し、演繹的知識による偏りの発生を防ぐことを助ける。これは、また、予め用意されたレポートから開始する医師がコンピュータ生成所見を盲目的に受け入れるか、又はそれらが所見と画像との間で議論されることを検証する必要があるかのどちらか一方の場合を回避することに役立つ。画像ビューア内の所見の変更によってレポートの結果が更新されない可能性があるため、ワークフローは中断されない。更に重要なことに、画像内の医師の更なる疑問及び測定によって行われたレポート内の所見の変更は、コンピュータ自動化方法によって画像内で行われた元の測定又は注釈が削除又は置換されるように整理される。これは、画像が最終レポートと共に格納される場合に生じる可能性がある患者記録の混乱を防ぎ、それらが複製され、更新されない場合にコンピュータ生成所見を削除する不必要な作業を回避する。かかるワークフローの混乱及び非効率は、それが変更されたレポートの値であるかどうか、又は、画像ビューア内で用いられる測定若しくは画像処理が調整されて新しい結果値を作成するかどうかの変更点に関わらず、レポート及び診断読影ビューア内の医師が調整、追加、又は削除した所見の双方向の更新によって解決される。
【０１２１】
画像読影環境内の人工知能所見（集合的に人工知能所見と称する）システム及び方法は、画像読影環境から構造化レポートへの双方向のデータフローを有することができる。人工知能所見は、画像読影環境レポートからクラウド（例えば、ＷＩＡクラウド）への双方向のフローを有することができる。
【０１２２】
手動報告方法を用いる医師がレポート内に配置された値にリンクされるビューア内の測定値を作成することを可能にするよう、システムが役立つように、レポートは構造化又は非構造化され得る。より高度な構造化又は他の報告システム若しくは画像処理エンジンにより、以前の医師の入力を有していない完全に確定されたレポートまでおよびそれを含んで既に作成された複数の測定値及び所見が存在する可能性がある。
【０１２３】
人工知能所見は、画像解釈環境からの及び画像内に自動所見を生成する画像処理システムとの双方向のフローを有することができる。加えて、人工知能所見は、上で更に説明したように、コンピュータ生成所見が医師によって調整されるか及び／又は受け入れられるように、医師が行った変更を画像処理システムに戻すよう通信して、それがこの「訓練データ」及び医師のグランドトルースに基づいて向上することを可能にする。
【０１２４】
人工知能所見は、報告された所見を順に調整する画像読影環境においてユーザによって調整され得る所見を有することができる。報告された所見は構造化レポート内にあってもよい。人工知能所見は、人工知能所見が画像内に効果的に提示された状態で、ユーザの目／視覚／集中が画像読影環境内に留まることを可能にするワークフローを有することができる。人工知能所見は、向上したワークフローを提供するよう、追跡され、分類され、学習され、及び最適化され得る画像におけるユーザ調整を可能にすることができる。人工知能所見は、ユーザ又はユーザグループによる所見に対する調整に基づいて画像読影環境内で所見を生成し、機械学習及び／又は深層学習することができる。機械学習及び／又は深層学習に基づいて、人工知能所見は特定のユーザ及び／又はグループのための所見を予測及び／又は生成することができる。
【０１２５】
例えば、画像処理システムで動作するコンピュータ処理エンジンは、最初に血管を通る中心線を三次元で配置することによって患者の腹部大動脈の最大直径の面積を示し、次いで、不規則で完全な円ではない長い血管壁の周囲に沿って輪郭又は表面エッジを作成することができる。コンピュータ処理エンジンは、次いで、この中心線に対して９０度の角度で多数の平面を配置し、この平面が平面内に存在する位置を発見する。対象のこれらの領域は、どれが最高値を有し、従って最も大きいかを特定するよう、ＲＥＳＩＳＴ測定値又は総面積を計算すること等の様々な方法を用いて測定される。このエッジ輪郭及び測定は、それが行われた特定の場所におけるその種類のこの測定が相関関係にあることを両方のシステムが認識することを可能にするリンクと共に読影ビューア及び報告システムに返される。
【０１２６】
加えて、コンピュータ処理エンジンは、ある特定の種類の所見を有する検査を読影する場合に最適化されたワークフローを可能にするよう、ビューアを医師の好みに適合させることができる。更に、自動生成された知見自体は、医師、医師のグループ、又はシステムのユーザの全体がある期間にわたって提供する「訓練」に基づいて個別化されるか及び／又は改善され得る。
【０１２７】
図７は、医用画像読影システム又は別の画像読影環境内の人工知能所見システム７０を示す略ブロック図である。例えば、人工知能所見システム７０は、ネットワークを介して人工知能所見インターフェース７２に送信される画像データ７１を含むことができる。人工知能所見インターフェース７２は、例えば、ワークステーション７３によって表されるように、ネットワークを介して少なくとも１つのワークステーションに通信可能に接続することができる。ワークステーション７３は、例えば、タブレット、モバイル装置、ラップトップ、デスクトップ、又はそれらの任意の組み合わせであってもよい。ワークステーション７３は、クライアントビューア７４、レポート７５（構造化又は非構造化であってもよい）、Ｗｅｂページ出力、インターフェースと通信することが可能な任意のシステムによるピックアップに利用可能な結果、又はそれらの任意の組み合わせを含むことができる診断検証システムとして機能する。診断検証システムはユーザが所見を閲覧し、確認することを可能にする。診断検証システムは、所見が閲覧されていない、閲覧されている、確認されていない、又は確認されているかどうかを追跡する。診断検証システムは、ユーザが画像を修正して派生画像を作成することを可能にする。レポートに行われた変更はビューアに表示される画像内に反映される。ビューアによって表示される画像に行われた変更はレポート内に反映される。図７はクライアントビューア７４及びレポートの両方を含む診断検証システムを示している一方で、診断検証システムはレポート若しくは報告システムを持たないクライアントビューアだけを含んでいてもよく、又はクライアントビューアを持たないレポート又は報告システムだけを含んでいてもよい。
【０１２８】
図７は、医用画像読影システム又は別の画像読影環境内の人工知能所見システム７０を示す略ブロック図である。例えば、人工知能所見システム７０は、ネットワークを介して人工知能所見インターフェース７２に送信される画像データ７１を含むことができる。人工知能所見インターフェース７２は、例えば、ワークステーション７３によって表されるように、ネットワークを介して少なくとも１つのワークステーションに通信可能に接続することができる。ワークステーション７３は、例えば、タブレット、モバイル装置、ラップトップ、デスクトップ、又はそれらの任意の組み合わせであってもよい。ワークステーション７３は、クライアントビューア７４、レポート７５（構造化又は非構造化であってもよい）、Ｗｅｂページ出力、インターフェースと通信することが可能な任意のシステムによるピックアップに利用可能な結果、又はそれらの任意の組み合わせを含むことができる診断検証システムとして機能する。診断検証システムは、ユーザがいずれかのユーザエクスペリエンスインターフェースにおいても所見を閲覧、調整、及び確認することを可能にする。所見は、ビューア内のみ、レポート内のみ、又はビューア及びレポートで一緒に示され得る。追跡されたユーザ挙動と共に設定及びユーザ選好はこれらの挙動を示す所見の種類及び量を修正することができる。診断検証システムは、所見が閲覧されていない、閲覧されている、調整されている、調整されていない、確認されていない、確認されている、報告されていない、又は報告されているかどうかを追跡する。診断検証システムは、ユーザが画像を修正して、新規又は調整された所見を生成し、所見を削除し、所見を有する新規派生画像を作成し、又は所見を持たない新規派生系列を作成することを可能にする。レポートに行われた変更はビューアに表示されるか又は画像がビューアによって表示される所見内に反映される。画像内の所見又はビューアによって表示される画像に対して行われる変更、追加、又は削除はレポートに反映される。
【０１２９】
例えば、レポート７５は、医師が画像データに基づいて所見を報告することによって完成される報告データ構造を表す。レポート７５は、ＡＩＦインターフェース及び／又はクライアントビューア７４による画像データの読影に基づいて、候補所見と共に予め用意されてもよい。レポートを検証及び／又はクライアントビューア７４と相互作用する際に、ユーザ（例えば、医師）は候補所見を調整してレポートを完成させる。レポート７４内の候補所見に対して行われた変更は、クライアントビューア７４内に表示される画像に対して調整を行うために医用画像読影システムによって用いられる。同様に、クライアントビューア７４内に表示される画像に対して行われた変更は、レポート７４内の所見に対して調整を行うために医用画像読影システムによって用いられる。ユーザが所見の調整を完了すると、レポート７４は最終的な形となる。
【０１３０】
人工知能所見システム７０とワークステーション７３との間の矢印は、人工知能所見システム７０が人工知能所見システム７０からワークステーション７３内の診断検証システムに所見を提供する通信インターフェースを含むことを示している。例えば、人工知能所見システム７０及びワークステーション７３は両方とも医用画像読影システム内にある。
【０１３１】
画像データ７１は画像の任意の診断法（例えば、Ｘ線、ＣＴ、ＭＲＩ、又はそれらの任意の組み合わせ）を含むことができる。画像データ７１は所見を生成するために所見エンジン７７によって読影される。所見は、例えば、疾患、徴候、特徴、物体、形状、テクスチャ、測定値、フラグ、レンダリング、輪郭、又はそれらの任意の組み合わせ等の医学的に重要なものであってもよい。データのみの要素（非画像データ）は同時に又は独立してサポートされる。通常、これらの所見は臨床的に重要なものであるが、ワークフローに重要であるか又はシステム性能でも重要なものであってもよい。かかる所見は、業界標準の通信及び／又は方法を用いてもよいが、人工知能所見システム７０の機能に何の相違もなく、用いられる画像又は情報処理エンジンに固有のものであってもよい。画像データ、関連する患者情報に基づいて、及びユーザのための格納されている選好を考慮に入れる画像読影アルゴリズムに基づいて所見を生成するよう、画像データを受信し、画像データを処理する所見エンジン７１。
【０１３２】
人工知能所見インターフェース７２は、画像プロセッサ７６、所見エンジン７７、追跡モジュール７８、調整エンジン７９、ストレージ（図示せず）、又はそれらの任意の組み合わせを含むことができる。画像プロセッサ７６は、例えば、所見を生成するよう画像データ７１を処理することができる。例えば、画像プロセッサ７６は色マップオーバーレイ等の処理機能を有することができ、ここである特定のピクセル又は近傍のピクセルの密度又は信号強度は画像取得中に時間と共に変化する。これは、また、パラメトリックマッピングとしても公知である。処理機能は、また、高い及び低い強度又は信号が変化した場合に面積を定義する輪郭を含むことができ、次いで、器官の縁部、又は心臓の心室、若しくは肝臓の臨床的に定義されたセグメントのうちの任意の１つ等の器官内の対象の特定領域を定義するために用いることができる縁部又は「輪郭」を定義する。非常に多くの場合、これらの輪郭線及びセグメント化手順は、臓器の体積、組織種類の分化、等のような分析計算のための基礎として用いられる。このため、輪郭線は一次元（２点間）であってもよいか、又は三次元で間隔を置いて接続される点群であってもよいか、又は、更に、ある期間にわたる一連の多点輪郭（例えば、四次元）としてある期間にわたって追跡されてもよい。かかる輪郭化及びセグメント化は、多くの場合、臨床知識に従って所望の結果を得るよう明るさ又は信号を調整する閾値を選択することによって実施されてもよい。人工知能エンジンの目標は、何百ものこれらの医師による閾値化及び輪郭化された画像を調べ、検証する医師のための画像を生成するよう医師の行動をシミュレートすることにある。これは、検証する医師が生成された画像を受け入れるか又はそれらに対して微調整を行い、他の多くのステップを回避することを可能にする。幾つかの場合において、定量化はほとんど無関係である可能性があるが、医師によって正しく認識され、更なる評価なしに受け入れられる可能性がある。例えば、冠状動脈中のカルシウムの量は、手動、半自動、又は完全自動化システムによって計算することができる。医師が心機能を検証している場合、完全に自動化されたカルシウムスコアを含み、上で説明したようにこれをレポートに押し込むよう良好に受け入れられてもよい。レポートは豊富に取り込まれ、どれが医師により検証され、どれが自動的に生成されるのかについて明確となる。これらのデータが頻繁に含まれる場合において、医師は、これが規定の挙動であるかどうかに関して促され得る。レポートは、その特定の所見が調整されたか、受け入れられたか、置換されたか、若しくは拒否されたか、又はエンドユーザによって元の独立した所見として行われたかどうかに関する各所見に対する状態表示を含んでもよい。報告ユーザの選好又は行動が追跡され、測定されて、初期レポートの品質を向上させ、承認されるレポートを達成するために必要な入力を次第に減少させることができ、場合によっては、時間の経過と共にいずれかの入力も必要としない。
【０１３３】
調整エンジン７９は、レポート７５及び／又は画像読影環境内で調整を見ることができるように、ユーザが画像読影環境（すなわち、クライアントビューア７４）内の所見を調整することを可能にすることができる。調整エンジン７９は、画像読影環境内で調整を見ることができるように、ユーザがレポート７５内の所見を調整することを可能にすることができる。調整は、リアルタイム、定期的、又はそれらの任意の組み合わせであってもよい。いずれかの調整も、所見のかかる調整を確認するようユーザに示すために確認表示を有することができる。例えば、ワークステーション７３内のクライアントビューア又は報告システムによって所見に対する変更が通知されると、人工知能インターフェース７２内の通信インターフェースによって調整が促される。所見エンジン７７は、画像データ７１及び／又は画像プロセッサ７６に基づいて所見を生成することができる。所見エンジン７７は画像処理機能に関連する所見を生成することができる。追跡エンジン７８は、初期所見、操作所見、調整所見、又はそれらの任意の組み合わせを追跡することができる。例えば、ユーザは、いずれかの見落としも回避するために、ユーザが見ていない、又はユーザが調整していない所見の要約を提供されてもよい。代替として、医師は、画像の読影から開始し、医師が受け入れるか又は拒否することができる未検証測定を偶然見つけることを望んでもよい。これは、レポート内で、調べられていない、削除された、調整された、全く新しくユーザによって追加された測定値がレポート内で一意に示される（色若しくは注釈、又はレポート内の分類を介して）ことができるようにすること等を意味する。例えば、ユーザは、閲覧、確認、却下、報告、又は調整されていない所見を検証するよう促される。ユーザオプションは、所見を却下としてマークするか、又は、所見がクライアントビューワ上でユーザに対して表示され、ユーザが表示された所見と何の更なる相互作用も行わないか又は表示された所見を確認しない場合、所見をレポートから省略するよう、システムのために提供される。
【０１３４】
例えば、人工知能所見インターフェース７２は、例えば、図７に示される医用画像読影システムによって、又は同様のアプリストアシステムによって実装され得る。代替として、人工知能所見インターフェース７２は、例えば、単一のサーバ、サーバの組み合わせ、クラウド上で利用可能なアプリケーション、又はその他のシステム上で実装され得る。代替として、単一の別個のサーバの代わりに、通信インターフェースは、例えばビューアが画像処理クラウドからの受信測定値に対応し、調整を戻して提供する場合に用いることができる。
【０１３５】
図８、図９、及び図１０は、ある特定の実施形態によるデータの双方向フローを示すブロック図である。図８において、ユーザ８１は、人工知能所見インターフェース７２によって生成されるクライアントビューア７４、レポート７５、又はそれらの任意の組み合わせに表示される初期所見を調整することができる。例えば、ユーザ８１は、医師、放射線技師、技術者、別の種類の医療専門家、又は人工知能所見インターフェース７２の任意のユーザである。ユーザ８１がクライアントビューア７４内で所見を操作すると、所見はレポート７５内で更新され得る。
【０１３６】
図９は、ユーザ８１が人工知能所見サーバによって生成されるクライアントビューア７４内に表示された初期所見を調整できることを示している。操作された所見は、追跡、更新、最適化、機械学習、又はそれらの任意の組み合わせのために人工知能所見インターフェース７２に送信することができる。人工知能所見インターフェース７２は、初期所見が操作された所見によって置換され得るように、操作された所見をレポート７５に送信することができる。レポート７５は操作された所見を表示することができる。
【０１３７】
図１０は、操作された所見が人工知能所見インターフェース７２に送信され得るように、ユーザ８１がレポート７５に表示された初期所見を操作できることを示している。人工知能所見インターフェース７２は、クライアントビューア７４に表示され得るユーザ操作所見によりクライアントビューア７４を更新できる。
【０１３８】
図１１は、人工知能所見システム７０の一実施例である。肺からの画像データは人工知能所見インターフェース７２によって処理することができる。画像データに基づく初期所見、例えば、肺の一部の体積Ｘは、人工知能所見インターフェース７２によって生成され、画像読影環境（すなわち、クライアントビューア７４）及び／又はレポート７５において表示することができる。初期所見は追跡モジュール７８を介して追跡することができる。例えば、追跡モジュールは、所見及び、ユーザがワークステーション７３内で実装されるような診断検証システムを用いる場合にユーザによって所見に対して行われた調整を追跡する。例えば、追跡モジュール７８は、所見及び現在のユーザによって所見に対して行われた調整に基づく追跡情報、並びに他のユーザに基づいて確認可能な使用パターンを生成する。
【０１３９】
ユーザ８１は、図１１に示すように、画像読影環境内で、初期所見を操作し、及び／又は、初期輪郭を変更して、例えば、体積Ｘから体積Ｙに体積を変更することができる。追跡エンジン７８は、追跡モジュール７８が画像データ７１からの初期所見及び操作された所見をメモリ内に格納することができるように、操作された所見を追跡することができる。調整エンジン７９は、クライアントビューア７４及び／又はレポート７５を更新して操作された所見を表示する（すなわち、体積Ｘの初期所見を体積Ｙの操作された所見で置き換える）ことができる。かかるワークフローは、ユーザ８１がクライアントビューア７４内の所見を調整することを可能にすることができ、ひいては、レポート７５を自動的に更新してユーザ８１が画像に集中することを可能にする。機械学習エンジンは、ユーザ調整、例えば、ユーザ８１が肺の体積を体積Ｘから体積Ｙに変更することに基づいて学習することができる。かかる機械学習は後続の所見に対してユーザ８１のための正確な所見を可能にすることができる。
【０１４０】
一実施形態において、自動輪郭は測定値を生成することができる。測定値が、ユーザ８１が測定したものと一致しないか又はかれらがそれを調整する場合、それは一致しないものとしてフラグ設定され得る。人工知能エンジンは、差異を学習し（深層学習、機械学習、ログ、又はそれらの任意の組み合わせ）、向上した所見をユーザに提案するために、又はシステム設定の変更を提案するために、又は更に、現在のユーザの選好及び検出された実施の相違に基づいて個別に適応される、最良診療、集団診療、又はある特定の同僚の診療により良好に一致する臨床ワークフローの変更を提案するために、フィードバック内の傾向に注目し始めることができる。加えて、一人の医師が、他が行うよりも一貫してより大きいか又はより寛大に解剖学的構造の輪郭を付ける場合のように、幾つかの違いを吸収することができる。医師の診療を変更するか又は最良診療の差異が問題であると考えるのではなく、システムは、医師がこの選好を有することを受け入れ、代わりに医師に彼らが調整なしでより多くの場合にそれらを受け入れる方法で調整された所見を提示するためにその双方向学習機能を用いようと試みることができる。これは、病変を大きく輪郭付ける人及び病変を小さく輪郭付ける人が個別の提案をすることができるように、ユーザ間の適合によって行うことができる。
【０１４１】
例えば、追跡モジュール７８と協働して動作する処理エンジンは、本質的に、表示選好を「学習」し、それらをユーザ選好又は見解システムに適合させることができる。例えば、他の全ての変数が一定である場合、時として、それらが測定する面積又は体積内に４０％以上の医師間差異が存在する。かかる場合、処理エンジンは集団的使用に基づく「集団思考」グランドトルース正常結果を学習することができる。次いで、追跡モジュール７８からの情報を考慮して、どの所見がユーザ８１にとって重要であるかを適合させ、これらの初期知見を、彼女の見解と調整行動との間の測定された分散及びグランドトルース集団思考正常結果に従って調整することができる。これは所見だけでなく、画像のレイアウト、及びどのツールが読影中に呼び出されるか又は利用可能であるかにも適用できる。これにより、コンピュータ生成結果がほとんど又は全く調整されずに受け入れられる可能性、又は医師の生産性及び読影システムの有用性が使用及び学習の増加により時間と共に向上する可能性が増加することによって、この自動化の医師による採用が増加する。更に、このアプローチを用いる将来の読影システムは、大幅に低減されたシステム事前設定が必要となる。例えば、処理エンジンは、また、最良診療ユーザグループと比較した、又は臨床的に受け入れられた診療ガイドラインと比較したような現在のユーザ又はユーザ診療の比較に基づいて、ある特定のツール又は画像ビューを用いることを提案することができる。例えば、ワークステーション７３内等の診断検証システムは、ビューアを用いて医師の読影ワークフローに組み込まれた画像を表示する。ユーザは診断検証システムを使用して所見を表示及び確認する。例えば、追跡モジュール７８又は診断検証システムは、所見が閲覧されていない、閲覧されている、確認されていないか又は確認されている、調整されている、調整されていない、削除されている、追加されている、報告されている、又は報告されていないかどうかを追跡する。例えば、診断検証システムはユーザがレポート７５内の所見７７を修正することを可能にし、これらの変更は、ユーザ（例えば、医師）がワークステーション７３を用いて画像及び所見を閲覧する場合に反映される。レポート７５及びワークステーション７３の両方において、所見のステータスは同期させることができる。例えば、画像プロセッサ７６は、所見エンジン７７、追跡モジュール７８、及び調整エンジン７９の幾つかの組み合わせに依存して、所見、オーバーレイ、輪郭、測定値、又は含まれる他の指示を有するか又は持たない派生画像を生成する。
【０１４２】
一実施形態において、ユーザ８１は閾値を調整することができ、従って、画像処理エンジンが選択した第１の閾値が２であり、ユーザ８１が読み取り中に同意せず、おそらくは閾値ツールであるツールを用い、４を選択した場合、報告システムが完成させたレポートは４に更新され得る。調整エンジンは、次いで、４を用いるべきであることを認識する。画像処理エンジンは、ａ）訓練（自動又は専門家による）を通じて、新しいアルゴリズム又はフィルタが必要であることを判断するか、又はｂ）所見計算を行うか又は派生画像を作成する場合、ビューアにおいて異なる閾値を単に設定するかのどちらか一方を行うことができる。画像及び他の医師検証出力は、例えば、ＶＮＡ、ＰＡＣＳ、ＥＣＭ、又はＥＭＲの記録システムに押し込むことができる。
【０１４３】
例えば、主な種類は、閾値を調整すること、パラメトリックマッピングのための設定を調整すること、具体的には、撤回される検査及びユーザ８１が除外した点に回復された画像体積に対して行われる編集、輪郭化、及び測定の全てを可能にするファイル（ＴｅｒａＲｅｃｏｎ  ＣＯＦファイル、又はＪＳＯＮ構造化オブジェクトファイルと類似した、又は機能が類似するもの）を入力することを含むことができる。このファイルにおいて、任意のデジタル記録されたオブジェクト、編集、変換、ルックアップテーブル、ベクタファイル、及びピクセル又はボクセルで構成される処理された医用画像を構成する他のデータを組み込んでいる調整可能なメタデータが多くの形が存在する。
【０１４４】
一実施形態において、人工知能所見システム７０は、ユーザ及び／又はグループの好ましいハンギングプロトコルを特定するために用いることができる。ハンギングプロトコルは、ＰＡＣＳビューアと呼ばれる放射線読影システム上で異なる画像を閲覧する標準的な方法である。ハンギングプロトコルにおいて、コンピュータ画面上の画像は、複数のモニタ上の複数の画像と共にある特定の順序で表示される。例えば、人工知能所見システム７０は、ユーザ８１がどのような順序の画像を好むのかについてのフィードバックを受信し、どの画像がどこに行くのかを自ら学習し始める。例えば、１人のユーザが正しい方法と考えるものとユーザグループの測定された行動との間の測定可能な相違は、グループエンジンの結果が個人の見解体系及び選好に適合される場合等の提案を行うために用いられる。これらのシステム（表示プロトコルについてはＧＥの特許を参照）はＤＩＣＯＭ画像ヘッダ情報を使用して画像タイプを特定し、次いで、エンドユーザによる使用を、彼らがどのような画像の順序を好むのかに関して監視する。人工知能システムにより、一実施形態は、標識から画像内を見る画像処理エンジンが、ＤＩＣＯＭ画像ヘッダを完全に考慮することなく画像タイプを特定することを可能にする。例えば、個人の読み方とグループの見解との間にいずれかの測定可能な大きな相違は、ユーザの好みの設定として承認又は却下される可能性のあるそのユーザに対する変更及び提案を誘発する可能性があり、その反応は個人の読み方及びツール設定プロトコルの一部として学習される。一実施形態において、可能性のある好みの設定を表す人工知能所見は自動的に呼び出される。別の実施形態において、これらの可能性のある好みの設定は、確認のためにエンドユーザに提示されて、それらをシステム挙動の制御下に保持する一方で、それらの読み方及び測定された活動に対する最良診療に向けたプロンプトを提供する。同様に、読影前、最中、及び読影後に画像を処理するために用いられる画像処理エンジンは、ａ）個々のユーザが選択した設定に従って、又はｂ）機械学習及びこれらのエンジンの教師あり又は教師なし訓練を実行するための追跡エンジン及び調整エンジンの使用又は適用からのデータの使用、並びにエンドユーザによって受け入れられるか又は拒否され得るシステムプロンプトにより特定されるデータ誘発提案に従ってのどちらか一方により、調整されることが可能であってもよい。
【０１４５】
人工知能所見は、クラス又はグループ見解体系ハンギングプロトコル（すなわち、画像及びツールのレイアウト）において最良を作成することができ、これは、次いで、個々の見解体系又は変更レイアウトと比較される。これは、統計的な最良診療又は提案される可能性のある改善に影響を及ぼすことができる。
【０１４６】
一実施形態において、人工知能所見は、患者リスト又は各画像提示パネル内に示すよう赤色灯、黄色灯、緑色灯インジケータを有することができ、それは、良好、適正、不良、実行、又は非実行等の状態及びエンジンからの出力所見全体（すなわち、画像読影環境内）を示す。画像又は検査のために複数のインジケータを付けることが可能である。また、複数の画像検査をビューア内に同時に表示して、医師にビューア内の複数の検査を同時に検証する機能を提供することもできる。それは所見を生じる画像処理エンジンからの素早い警告を提供することができる。各レベルを表す所見レベル又は所見数は、人工知能システム又は読影システム内の設定として、画像処理エンジンの作成者によって調整及び設定され得る。例えば、ライト、文字、数字、音、又はそれらの任意の組み合わせの任意のインジケータを用いることができる。
【０１４７】
本明細書中に説明するような人工知能所見システムは、医師がビューアのビューに目を配ってレポート内の所見と相関する自動生成所見を検討することを可能にする。これは、ビューア内の所見とレポート内の所見との間に明確な１対１の関係を提供する。ビューア内の複数の異なる測定値が結果として１つの「中程度」の所見を生じた場合でさえも、レポート内の所見が変更されて基礎となる所見を検証するようユーザ８１を誘発する場合に依然として可能である。そして、結果として、例えば、重度へのレベルの変化を生じる任意の所見が調整されると、レポートが更新され、ユーザ８１はその変更が行われたことを通知される。レポートが確定されると、結果のラベル付き画像が、何が見られたか、何が見られなかったか、及びどの所見が観察によって検証され、どの結果が検証されなかったかの記録と共に格納され得る。このレポートは、全ての結果、選択した結果のみ、結果なし、又は医師が検証した結果のみをシステムから表示するオプションを有することができる。
【０１４８】
図１２は、人工知能所見システム７０内の論理フローを示す略フロー図である。ブロック９１において、所見エンジン７７は、画像データ７１に基づいて、及びユーザ８１のための格納されている選好を考慮に入れる画像読影アルゴリズムに基づいて所見を生成するよう、画像データ７１を受信し、画像データを処理する。例えば、ユーザのための格納されている選好は、ユーザ、システム管理者、又は医用画像読影システムの他のユーザによって手動で更に調整することができる。例えば、格納されている選好は、また、追跡情報を受信する機械学習エンジンに基づいて調整することもでき、追跡情報に基づいてユーザのために格納されている選好を調整することもできる。例えば、所見は医用画像内の異常である。例えば、所見は、疾患、医学的に重要な解剖学的異常、医学的に重要な徴候、医学的に重要な特徴、医学的に重要な物体、医学的に重要な形状、医学的に重要なテクスチャ、医学的に重要な測定、医学的に重要なフラグ、医学的に重要なレンダリング、医学的に重要な輪郭、医学的に重要なソース画像データ内の不具合、医学的に重要な臨床データ内の不具合、医学的に重要な基準画像又はデータに対する類似性、測定された活動と最良／通常診療ビューアの使用及び／又は読影ワークフローとの間の医学的に重要な差異、又はレポート７５の作成における使用に対する対象のその他の所見、又は用いられる画像プロセッサエンジン７６又は画像データ７１の由来における医学的に重要な不具合であってもよい。例えば、画像読影アルゴリズムは、現在の最良診療、人工的所見システムのユーザの一般的慣行、臨床基準ガイドライン、集団診療を特定する検査に基づいており、決定論的公式、又はその他の基準である。代替として、又は加えて、所見は、人工所見システムのユーザの慣行について統計的に導出された情報に少なくとも部分的に基づくか、又は人工所見システムのユーザの慣行についての機械学習情報に基づく。
【０１４９】
ブロック９２において、所見がユーザ８１に提示される。例えば、所見は、クライアントビューア７４及びレポート７５から構成される診断検証システムによって提示される。例えば、所見は、クライアントビューア７４から利用可能な画像データ７１に対する調整を含むデータ画像でユーザ８１に提示される。例えば、画像データ７１に対する調整は、医用画像内の２Ｄ、３Ｄ、又は４Ｄ空間内のエッジを画成する輪郭又は多くの医用画像によって表される体積、医用画像の対象の領域を示すセグメント化、画像オーバーレイ又はレポート７５を作成する際のユーザ８１に対する対象の他の情報を含むことができる。代替として、所見は、クライアントビューア７４から利用可能な画像データ７１に対する調整を含むデータ画像で及び予め用意された版のレポート７５内の候補所見でユーザ８１に提示される。例えば、予め用意されたレポートは、リアルタイムでの画像内の所見に対する調整を含む。例えば、レポート内の候補所見に対する調整は調整された測定値又は測定値を調整する医師の誘発を招き、従って、これらは画像データに対する調整に反映される。調整は、例えば、以下のうちの少なくとも１つ：医用画像内のエッジを画成するか又は画像内の測定の一部である輪郭の表示；医用画像の対象領域又はある体積の医用画像内の対象領域を示すセグメント化、又は対象領域を開始点として使用して医師の検証、測定、又は医師の検証及び測定の両方のための臨床対象領域を定義すること；不透明度又は透明度が異なる色マップを示す画像オーバーレイ；輪郭を用いる派生画像、新しいソース画像データセットを生成するためのセグメント化及び画像オーバーレイ；輪郭、セグメント化、画像オーバーレイを用いて新しいソース画像データセットを生成する画像系列、を含む。
【０１５０】
ブロック９３において、調整エンジン７９は、ユーザ８１が所見を調整してレポート７５の最終版を作成することを可能にする。クライアントビューア７４を用いて画像データに対して行われた変更はレポート７５に反映される。レポート７５内で行われた変更はクライアントビューア７４を用いて示される画像データに対して行われる変化に反映される。
【０１５１】
ブロック９４において、追跡モジュール７８は、レポート７５の最終版を生成する場合に、所見及びユーザ８１によって所見に行われた調整を追跡する。追跡モジュール７８は、レポート７５に対して行われた変更及びクライアントビューア７４内の画像データに対して行われた変更の両方を反映する追跡情報を生成する。
【０１５２】
ブロック９５において、機械学習エンジン８２は追跡情報を受信し、ユーザ８１によって所見に対して行われた調整に基づいて、ユーザ８１のための格納された選好を調整する。例えば、画像読影アルゴリズムが人工所見システムのユーザの慣行についての統計的に導出されるか又は機械学習される情報に少なくとも部分的に基づいている場合、機械的知見システムのユーザの慣行についての、ユーザ８１によって所見に対して行われる調整は、人工所見システムのユーザの慣行についての導出された情報と共に含まれる。
【０１５３】
画像処理サーバ１１０は、図１３に示すようにピアレビューシステムに組み込むことができる。図１３は、一実施形態によるピアレビューシステムの新規ワークフローの実施例を示すワークフローループ図を示している。図１３を参照すると、ワークフローはピアレビュー高信頼度投入ワークフローループを含む。このワークフローループの間、画像処理サーバ１１０は、検査を撮像することによって開始されるか、又は画像処理サーバ１１０に到達する画像検査及びプロバイダ読影（レポートとしても示される）はステップ１として示されている。複数のエンジン及びエンジンの組み合わせが画像検査を処理した後、出力がステップ２として示されている。潜在的な所見又はプロバイダ読影との潜在的な矛盾の強い確信を有するよう特定された所見を有する検査又は画像は、ステップ３におけるピアレビューのための選択に投入される。ステップ４において、この投入された検査は医師（該当する場合、初期プロバイダ読影を行わなかった者）によって評価される。ピアレビューシステム読影と共にその読影の結果は、ステップ５としてデータベースに格納され、画像処理サーバ１１０及びピアレビューシステム内のエンジン及びエンジンのエンジンの将来の訓練のために用いることができる。加えて、ステップＢにおいて、ユーザインタラクションデータも同様にデータベースに格納される。
【０１５４】
このワークフローは、更に、ピアレビューが投入され医師が確認した所見のワークフローループを含んでいる。このワークフローループの間、画像処理サーバ１１０は、検査を撮像することによって開始されるか、又は画像処理サーバ１１０に到達する画像検査及びプロバイダ読影（レポートとしても示される）はステップ１として示されている。複数のエンジン及びエンジンの組み合わせが画像検査を処理した後、出力がステップ２として示されている。潜在的な所見又はプロバイダ読影との潜在的な矛盾の強い確信を有するよう特定された所見を有する検査又は画像は、ステップ３におけるピアレビューのための選択に投入される。ステップＡにおいて、検査は、信頼性の高い所見の値を重み付けし、医師の検証のためにある特定の最適化された数及び種類の検査（又は画像）を選択する複数のエンジンのうちのエンジンを介して選択される。ステップＢにおいて、検査は医師（該当する場合、初期プロバイダ読影を行わなかった者）によって評価される。その読影の陽性結果はステップＤにおけるピアレビューシステムへの検査の自動投入を生じ、これは医師が検査が陰性であると見出した場合には起こらない。陽性又は陰性両方の場合において、この読影の結果（及び任意の以前の読影）並びにピアレビューシステム読影は、ステップＣとしてデータベースに格納され、画像処理サーバ１１０及びピアレビューシステム内のエンジン及びエンジンのエンジンの将来の訓練のために用いることができる。加えて、ステップＢにおいて、ユーザインタラクションデータがデータベースに格納される。
【０１５５】
ワークフローは、盲検ピアレビューエンジン訓練ワークフローループにより診断読影を最初に読み取るルーチンを更に含んでいる。このワークフローループの間、画像処理サーバ１１０は、検査を撮像することによって開始されるか、又は画像処理サーバ１１０に到達する画像検査及びプロバイダ読影（レポートとしても示される）はステップ１として示されている。複数のエンジン及びエンジンの組み合わせが画像検査を処理した後、出力がステップ２として示されている。プロバイダ一次読影の間に潜在的な所見の強い確信を有するよう特定された所見を有する検査又は画像は、ステップＥにおける実際の医師の所見との比較のために計算される。ステップＢにおいて、検査は医師（該当する場合、初期プロバイダ読影を行わなかった者）によって評価される。ステップＣにおいて、この読影の結果（及び任意の以前の読影）並びにピアレビューシステム読影はデータベースに格納され、画像処理サーバ１１０及びピアレビューシステム内のエンジン及びエンジンのエンジンの将来の訓練のために用いることができる。加えて、ステップＢにおいて、ユーザインタラクションデータがデータベースに格納される。
【０１５６】
例えば、ピアレビューシステムによるピアレビューは、自然言語処理システム３１０からの開始に応答して又は医用画像データに基づいて生成された所見又は所見に対するユーザの調整に応答して呼び出される。例えば、所見エンジン７７とピアレビューシステムとの間、及び所見エンジン７７と他のエンジンとの間の通信のための予め定義された入出力スキーマは、入出力の抽象化の共通の方法を可能にするように。
【０１５７】
図１４は、一実施形態による機械学習ワークフローシステムを示すブロック図である。図１４を参照すると、画像処理サーバは、図１４に示すクライアント等の様々なクライアントに画像データを提供するよう構成される。画像データは、例えば、ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネット又はイントラネット等の広域ネットワーク（ＷＡＮ）、又はそれらの任意の組み合わせを介して提供される。画像処理サーバは、機械学習、人工知能（ＡＩ）技術、深層学習、又はそれらの任意の組み合わせを用いて実装されてもよい。一実施形態において、画像処理サーバは、ユーザの入力に基づいて、ビューア又はユーザから情報を受信することと、医用画像データソース及び／又はクライアントからのユーザ入力からデータを収集することと、医用画像データソース及びクライアント等のデータソースから受信したデータを統合、処理、及び送信することとを含む幾つかの機能を実行する。一実施形態において、画像処理サーバは、ユーザ入力に基づいて学習／訓練するよう反復機械学習プロセスを実行することができる。
【０１５８】
臨床プロトコルモジュールは、例えば、体積測定、ＣＴ心臓、ＣＴ胸部、ＣＴ身体、ＣＴ頭頸部、ＭＲ身体、身体融合、画像下治療、上顎顔面、ＥＶＡＲプランニング、ＴＡＶＲプランニング、血管分析、心臓ＭＲ、肺セグメント化、肝臓セグメント化、オートバッチ、本明細書に説明する医療分野に関する任意の臨床プロトコル、又はそれらの任意の組み合わせに関する臨床プロトコルを含むことができる。各臨床プロトコルは、１つ以上のワークフロー（図示せず）を有することができる。ワークフローは、各活動の実行順序に従って活動をプロセスフローに配置する。ワークフロー内の各活動は、その機能、活動の実行に必要なリソース、並びに活動によって受ける入力及びそれによって生成される出力の明確な定義を有する。ワークフロー内の各活動はワークフローステージ又はワークフロー要素と称される。ワークフローは、ワークフローを完了するために特定の画像データを必要とすることができる。現在、ユーザは特定の画像データを選択して各ワークフローで用いなければならず、これには時間がかかる。臨床プロトコル用の各ワークフローのために画像データを推奨することは医師の時間を低減することができる。ワークフローは、血管分析、カルシウムスコアリング、時間依存分析、ＣＴ／ＣＴＡ減算、小葉分解、セグメント化分析及び追跡、時間体積分析、フライスルー、体積ヒストグラム、融合ＣＴ／ＭＲ／ＰＥＴ／ＳＰＥＣＴ、多相ＭＲ、パラメトリックマッピング、球形ファインダ、マルチｋｖ、フローダイナミックＭＲ、オートバッチ、駆出率、中心線抽出、ゆがみ矯正図、直径及び長さ測定、ＣＰＲ及び軸方向レンダリング、自動化薄スラブＭＩＰ用Ｖトラックモード、測定計算、ｆｌｏｗ、灌流、ストレス、ｒｅｓｔ、ＤＥ、及びＴ１マッピング、本明細書に説明する医療分野に関するその他のワークフロー、本明細書に説明する臨床プロトコルに関するその他のワークフロー、又はそれらの任意の組み合わせを含むことができるが、これらに限定されない。
【０１５９】
機械学習モジュールは、医用画像データソースから画像データを受信することができる。機械学習モジュールは、画像内解析及びメタデータに基づいて、医用画像データソースからの画像データをワークフローに相関させることができる。このワークフローは、サードパーティアプリケーション内で消費される独自の又は一群の結果を提供することができる独自の機械学習モジュール又は一群の機械学習（アンサンブル）であってもよい。医療データと機械学習モジュール又は一群の機械学習との相関関係は、医用画像分類（クラスタ化）の結果であるパターン抽出、特徴抽出、又は画像処理に基づいて行うことができる。時間の経過と共に、械学習モジュールは、一連の個々のユーザの入力、ネットワークによる１つ以上の医療機関からのユーザの入力のグループ、画像内解析からの情報、メタデータからの情報、若しくは患者コンテクスト、又はそれらの任意の組み合わせに基づく機械学習によってワークフローと画像データとの間の関連付けを最適化し、向上させることができる。機械学習モジュールは、例えば、患者ＩＤ、受け入れ番号、日付、時間フレーム、本体部、本体領域、病状、衝突、手順、症状、説明、若しくはそれらの任意の組み合わせ等のＤＩＣＯＭファイル（ＤＩＣＯＭヘッダ及びタグ）内、又は、例えば、検査要求（ＯＲＭ、ＯＲＵ等・・・）に関する臨床関連情報を含むＨＬ７メッセージ内のメタデータに基づいて、系列（すなわち、画像データ）をワークフローと関連付けることができる。機械学習モジュールは、解剖学的構造又は診断法を特定するよう、例えば、画像を再構成することによって又はピクセル特性（輝度、陰影、色、等）を解析することによる画像内解析に基づいて、系列をワークフローと関連付けることができる。この相関関係は、器官（肝臓、腎臓、心臓、脳・・・）、身体の部位（頭、頭頸部、胸部、腹部・・・）、又は一般的な特徴抽出に基づいて行うことができる。例えば、ユーザが時間体積分析（ＴＶＡ）臨床プロトコルを開くと、駆出率ワークフローをワークフローテーブルに含めることができる。機械学習モジュールは、系列リストから画像データを読み取り、メタデータ及び画像データの画像内解析に基づいて、特定の画像データを駆出率ワークフローのためにユーザに推奨すべきであると特定することができる。この相関関係は、機械学習モジュールが他の機械学習モジュールによって処理される関連データを自動的に選択するか又は特定の臨床プロトコルを用いて読み取ることができる点までのエンドユーザフィードバックに基づいて強化される。ユーザは推奨画像データを削除し、結果の重みを更新し、機械学習モジュールを最適化する別の画像データに置き換えることができる。時間の経過と共に、多数の反復により、機械学習モジュールは、例えば、ユーザのインタラクション、並びに画像内解析、メタデータ、及び患者の臨床コンテクスト又は検査順序からの情報に基づいて、機械学習によって特定の画像データを提案することができる。
【０１６０】
例えば、人工知能所見システムの一部である機械学習モジュールは、解析されている新規医用画像から特徴を抽出してこのデータを同じ特徴（疾患）を有するアーカイブ内に存在するデータと一致させることができる画像識別エンジンを含む。加えて、例えば、機械学習モジュールは、データを解析して特徴を抽出し、より良好な閲覧体験のためにハンギングプロトコルを事前に構築することができる。加えて、例えば、機械学習モジュール内の画像識別エンジンは、データを解析して特徴を抽出し、同じ患者に対する類似データを見つけて、データをその関連する以前の情報と共に自動的に提示することができる。例えば、類似データは、身体部位、解剖学的異常、及び解剖学的特徴等の解剖学的構造に関係し得る。類似データは、また、同じ診断法であろうと異なる診断法であろうと、画像種類及び／又は診断法種類にも関係し得る。
【０１６１】
別の実施形態において、機械学習モジュールは画像データを受信することができる。機械学習モジュールは画像データを処理し、適用可能な臨床プロトコル及び／又はワークフローを提案することができる。機械学習モジュールは、メタデータ及び／又は画像データの画像内解析に基づいて臨床プロトコル及び／又はワークフローを提案することができる。時間の経過と共に、械学習モジュールは、一連の個々のユーザの入力、ネットワークによる１つ以上の医療機関からのユーザの入力のグループ、画像内解析からの情報、メタデータからの情報、又はそれらの任意の組み合わせに基づく機械学習によって画像データと提案されたワークフロー及び／又は臨床プロトコルとの間の関連付けを最適化し、向上させることができる。例えば、機械学習モジュールは、画像データを受信し、メタデータ及び画像データの画像内解析に基づいて、灌流ワークフローをユーザに推奨すべきであると特定することができる。ユーザは、画像データに関連するワークフローを灌流からｆｌｏｗに変更することができる。時間の経過と共に、機械学習モジュールは、類似画像データがロードされる場合、機械学習モジュールがｆｌｏｗワークフローを提案することができるように、例えば、ユーザのインタラクション並びに画像内解析及びメタデータからの情報に基づいて学習することができる。
【０１６２】
画像処理サーバは、医用画像データソース及び患者情報交換（例えば、検査室情報システム（ＬＩＳ）、放射線医学情報システム（ＲＩＳ）、エンタープライズコンテンツ管理システム（ＥＣＭ）、電子医療記録（ＥＭＲ）、病院情報システム（ＨＩＳ）、画像保管通信システム（ＰＡＣＳ）、ＶＮＡ（ベンダーニュートラルアーカイブ）、ＥＭＲデータ、様々なディレクトリ並びに他のデータソースＨＩＥ（健康情報交換）サーバ、又はそれらの任意の組み合わせ）と互換性のあるネットワークを介する様々な通信プロトコルを用いて、ネットワークを介して通信することができる。しかし、より多くの又はより少ない医療画像データソースが、特定の構成及び／又は求められる医療データに応じて適用されてもよい。医用画像データソースは、画像処理サーバを運営する組織とは異なる組織又は情報プロバイダによって管理及び／又は運営されてもよい。
【０１６３】
一実施形態において、データソースによって提供される医療データは、ＤＩＣＯＭ形式の医用画像データ、非ＤＩＣＯＭ形式の医用画像データ、スケジューリングデータ、登録データ、人口統計データ、処方データ、請求書データ、保険データ、口述筆記データ、報告書データ、ワークフローデータ、ＥＫＧデータ、最善措置の参考資料、参考資料、訓練材料、又はそれらの任意の組み合わせを含んでいてもよい。これらのデータは、ＨＩＳ、ＲＩＳ、ＰＡＣＳ、ＬＩＳ、ＥＣＭ、ＥＭＲ、又は他のシステムを含む幾つかの場所又はシステム内に常駐してもよい。
【０１６４】
一実施形態において、データソースによって提供される医療データは、ＤＩＣＯＭ形式の医用画像データ、非ＤＩＣＯＭ形式の医用画像データ、スケジューリングデータ、登録データ、人口統計データ、処方データ、請求書データ、保険データ、口述筆記データ、報告書データ、ワークフローデータ、ＥＫＧデータ、最善措置の参考資料、参考資料、訓練材料、又はそれらの任意の組み合わせを含んでいてもよい。これらのデータは、ＨＩＳ、ＲＩＳ、ＰＡＣＳ、ＬＩＳ、ＥＣＭ、ＥＭＲ、又は他のシステムを含む幾つかの場所又はシステム内に常駐してもよい。
【０１６５】
非ＤＩＣＯＭデータは、Ａ／Ｖ、ＭＰＥＧ、ＷＡＶ、ＪＰＧ、ＰＤＦ、Ｍｉｃｒｏｓｏｆｔ  Ｏｆｆｉｃｅ（商標）形式、及び他の形式を含む幾つかの形式であってもよい。
【０１６６】
様々なデータソース（例えば、ＬＩＳ、ＲＩＳ、ＥＣＭ、ＥＭＲ、ＨＩＳ、ＰＡＣＳ、等）は、ＤＩＣＯＭ、ＨＬ７（ｈｅａｌｔｈ  ｌｅｖｅｌ  ｓｅｖｅｎ）、ＸＤＳ、ＨＩＥ、ＯＲＵ、等のような異なる通信規格、形式、又はプロトコルを用いてもよく、本明細書内の機械学習モジュール及び他の要素は、データにアクセスするために特定のコネクタ又はデータソースインターフェースを用いることができる。機械学習ワークフローシステムにおいて用いることができるデータコネクタの種類は、モバイル、ＥＭＲプラグインＡＰＩ（アプリケーションプログラミングインターフェース）、Ｗｅｂサービス、Ｗｅｂブラウザのアップロード／ダウンロード、ＨＬ７、ディレクトリスキャナ、ＤＬＬ（ダイナミックリンクライブラリ）ＡＰＩ、ＸＤＳ（企業間文書共有）、ＶＮＡ（ベンダーニュートラルアーカイブ）、インデクシングサーバ、等を含むことができるが、これらに限定されない。一実施形態において、ルータ（図示せず）はデータをデータソースから画像処理サーバにルーティングすることができる。
【０１６７】
クライアントは、デスクトップ、ラップトップ、タブレット、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、ワークステーション等の様々なクライアントデバイスを表してもよい。幾つかのクライアントは、医用画像処理ツール等のリソースにアクセスするクライアントアプリケーション又はネットを介して画像処理サーバによってホストされるアプリケーションを含んでいてもよい。ビューア又はクライアントは、コンピュータ上のＷｅｂブラウザ、モバイルデバイス上のモバイルデバイスアプリケーション、等のようなシッククライアントアプリケーション又はシンクライアントアプリケーション等のアプリケーションを有していてもよい。ビューアは、任意のソフトウェア又はプラグインのダウンロード／インストールを必要としてもしなくてもよい。ビューアは、様々なデータソースから収集されたデータを表示するよう１つ以上のビューア／閲覧領域を有していてもよい。閲覧領域は、Ｗｅｂブラウザ又はアプリケーション内のフレーム及び／又はタブ内にあってもよい。閲覧領域は、重ね合わせるか、又は互いに統合されてもよい。閲覧領域は互いの内部にあってもよい。ビューアは１つを超える閲覧領域を持つことができる。
【０１６８】
図１５は、一実施形態による機械学習ワークフローシステムを示すブロック図である。図１５を参照すると、各医療機関からの各機械学習モジュールがネットワークを介してＷＩＡクラウド内のＷＩＡサーバにアップロードされ得るように、複数の医療機関が存在し得る。ＷＩＡサーバは、画像データとワークフローを相関させる高い信頼レベルを有することができるグループ機械学習ワークフローエンジン（図示せず）が存在することができるように、複数の機械学習モジュールの機械学習データを集約することができる。かかるグループ機械学習ワークフローエンジンを、ＷＩＡクラウドを介して任意の医療機関によって用いることができる。各医療機関からの各ワークフローエンジン（図示せず）を、ＷＩＡクラウド内のＷＩＡサーバにアップロードすることができる。ＷＩＡサーバは、各ワークフローエンジンを集約してグループワークフローエンジン（図示せず）を作成することができる。
【０１６９】
一実施形態において、ユーザのワークフローエンジン（図示せず）を、他のユーザが用いるために、ＷＩＡサーバにアップロードすることができる。単一の医療機関におけるユーザのグループは、他のユーザが用いるために、ワークフローエンジンをＷＩＡサーバにアップロードすることができる。ＷＩＡサーバは、ユーザ及び／又はグループのワークフローエンジンを組み合わせて、特定のワークフローのための信頼性レベルを最適化することができる。ＷＩＡクラウドは、ユーザ及び／又はグループの機械学習データを組み合わせて、高いレベルの信頼性で最適化されたワークフローエンジンを作成することができる。
【０１７０】
図１６は、一実施形態による機械学習ワークフローシステムを示すブロック図である。画像処理サーバは、機械学習モジュール、臨床プロトコルモジュール、ファイル解析モジュール、ユーザインタラクションモジュール、追跡モジュール、画像解析モジュール、データベース、又はそれらの任意の組み合わせを備えることができる。いずれの要素も互いに統合することができ、又は更に分離することができる。
【０１７１】
データベースは、ＤＩＣＯＭ（医療におけるデジタル画像と通信）互換データ、画像データ、ファイル、又はそれらの任意の組み合わせ等の医療データを格納するためのデータストアであってもよい。データベースは、また、暗号化機能を組み込んでもよい。データベースは複数のデータベースを含んでもよく及び／又はストレージプロバイダ等のサードパーティベンダによって保守されてもよい。
【０１７２】
データベースは、リレーショナルデータベース管理システム（ＲＤＢＭＳ）、例えば、Ｏｒａｃｌｅ（商標）データベース又はＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ、等により実装されてもよい。
【０１７３】
画像処理サーバは画像データを受信することができる。画像データは、機械学習モジュールによって受信され得る。画像解析モジュール及びファイル解析モジュールは、図１６に示すように、機械学習モジュール内に統合されるか、又は、機械学習モジュールとは別にすることができる。画像データが機械学習モジュールによって自動的に又はクライアントの要求において受信される場合、機械学習モジュールは画像データを分類することができる。機械学習モジュールは、画像内解析及び／又はメタデータ（例えば、ＤＩＣＯＭヘッダ又はタグ）に基づいて画像データを分類することができる。機械学習モジュールは、診断法、向き（例えば、軸方向、冠状、サジタル、軸外、短軸、三腔像、又はそれらの任意の組み合わせ）、解剖学的構造（器官、血管、骨、又はそれらの任意の組み合わせ）、身体部分（例えば、頭部、次、胸部、腹部、骨盤、四肢、又はそれらの任意の組み合わせ）、分類情報（例えば、２Ｄ、２．５Ｄ、３Ｄ、４Ｄ）、検査／系列の説明、走査プロトコル、シーケンス、オプション、フローデータ、又はそれらの任意の組み合わせ等の画像データから任意の画像情報を識別することができる。画像データからの画像情報に基づいて、機械学習モジュールは、特定のワークフローに対して画像データ（すなわち、系列）を推奨することができる。画像データからの画像情報に基づいて、機械学習モジュールは、特定の画像データに対してワークフローを推奨することができる。
【０１７４】
ファイル解析モジュールは、例えば、ＤＩＣＯＭヘッダを調べ、診断法、向き（例えば、軸方向、冠状、サジタル、軸外、短軸、又はそれらの任意の組み合わせ）、解剖学的構造（器官、血管、骨、又はそれらの任意の組み合わせ）、身体部分（例えば、頭部、次、胸部、腹部、骨盤、四肢、又はそれらの任意の組み合わせ）、分類情報（例えば、２Ｄ、２．５Ｄ、３Ｄ、４Ｄ）、検査／系列の説明、走査プロトコル、シーケンス、オプション、又はそれらの任意の組み合わせを特定することができる。
【０１７５】
画像解析モジュールは、画像データの画像内解析を実行することができる。画像内解析は、身体部分、向き、解剖学的構造、診断法、分類情報、又はそれらの任意の組み合わせを特定することができる。画像解析モジュールは、時間強度変化、ピクセル強度、公知の曲線と比較するための画像データの再構成、深層学習フレームワーク及び単純ベイズ分類器に基づく畳み込みニューラルネットワーク、又はそれらの任意の組み合わせ等の医用画像データのための画像内解析の公知の方法を用いることができる。例えば、画像内解析は、画像データを既知の座標を有するより小さいボックスに再構築し、各座標をグラフ上にプロットし、それを既知のグラフと比較して、器官又は診断法を含むがこれらに限定されない画像情報を特定することができる。
【０１７６】
メタデータ内及び／又は画像内解析から見つけられた画像情報は、各画像データについて抽出され、追跡モジュールによって追跡され得る。追跡モジュールは、画像データ、ユーザインタラクション、画像情報、又はそれらの任意の組み合わせを含むことができるログファイル（図示せず）を作成することができる。追跡モジュールは、ユーザインタラクション及び／又は画像情報の変化に基づいてログファイルを追跡し、更新することができる。
【０１７７】
ユーザインタラクションモジュールは、クライアントとのユーザのインタラクションを追跡することができる。ユーザインタラクションは、検査レイアウトに対するユーザの選好、画像表示状態、表示プロトコルの調整、画像特性、選好、作業パターン、マウス選択、マウス移動、系列移動、画像設定変更、ツール選択、ツール設定、マウスモード、画像ナビゲーション、画像操作、系列ナビゲーション、比較検査選択、ナビゲーション、ズーム、レイアウト、オーバーレイデータの選好、輪郭変更、クライアント上で実行されるその他の移動若しくは選択、又はそれらの任意の組み合わせを含むことができるが、これらに限定されない。ユーザインタラクションモジュールは、追跡されるようユーザインタラクションを追跡モジュールに送信し、ログファイルにログインさせることができる。ログファイルは継続的又は定期的に更新できる。ログファイルはデータベースに格納することができる。
【０１７８】
ユーザインタラクションは使用パターンについて評価され得る。図１７は、一実施形態による機械学習ワークフローシステムを示すブロック図である。画像処理サーバは、医用画像データソースから画像データを受信することができる。画像処理サーバ（例えば、画像処理サーバの一部であるエンジン（図示せず））は、画像データを解析し、ネットワーク（例えば、ＷＡＮ又はＬＡＮ）を介して表示されるようクライアント装置に対して送信することができる。クライアント上の画像データ及びアプリケーション設定／選好の表示は、ユーザのデフォルト選好又は画像処理サーバ／クライアントアプリケーションのデフォルト選好に基づくデフォルト選好であってもよい。ユーザは、例えば、検査レイアウト又はツール選好を変更することによって、ユーザインタラクションにより表示選好を操作することができる。ユーザインタラクションモジュールは、かかるユーザインタラクションを追跡することができる。かかるユーザインタラクションは、ユーザプロファイルで送信及び追跡され得る。機械学習モジュールは、使用パターンのためにユーザインタラクションを評価することができる。機械学習モジュールは、画像データがクライアントにロードされ、表示される次回に、ユーザの使用パターンに基づいてデフォルト選好を自動的に変更するようクライアントにプロンプトを送信することによってユーザに提案することができる。ユーザが使用パターンに基づいて変更を受け入れる場合、機械学習モジュールがデフォルト選好を自動的に更新してユーザによって受け入れられた使用パターンを含むことができるように、ユーザのユーザプロファイルは更新される。言い換えれば、ユーザが使用パターンに基づいて変更を受け入れる場合、ユーザプロファイルは、更新されたユーザインタラクション、例えば、ワークフロー、表示プロトコル、ツール選択、又は画像設定を反映するよう更新され得る。この実施形態は、システムがユーザインタラクションを追跡し、共通のステップを自動化するか及び／又は彼らの検査ナビゲーションにおける余分なステップを除去するオプションをユーザに与えることを可能にすることができる。
【０１７９】
図１８は、一実施形態による機械学習ワークフローシステムを示すブロック図である。機械学習ワークフローシステムは、１つ以上の異なる場所にある１つ以上の医療機関にとってローカル又はクラウドベースであってもよい。画像処理サーバは、グループ（１人以上のユーザ）の使用パターンを追跡することができるように、グループインタラクションモジュール及びグループユーザプロファイルを有することができる。グループユーザプロファイルは、グループの使用パターンに基づいて更新することができる。機械学習モジュールは、グループ又は統治組織／最良診療組織によって受け入れられたグループ使用パターンを含むようデフォルト選好を自動的に更新することができる。グループは、１つの医療機関の一部、１つ以上の医療機関の組み合わせ、又はそれらの任意の組み合わせであってもよい。
【０１８０】
別の実施形態（図示せず）では、機械学習モジュールは、放射線科医等の同じグループのユーザ間で一貫した使用パターンを探して、新しいデフォルトグループユーザ設定文字列を作成することができる。かかるデフォルトのグループユーザ設定文字列は、グループの任意の新規メンバーに割り当てることができる。ユーザは提案を拒否し、初期のデフォルト選好を維持し、かかる選好を手動で調整することができる。
【０１８１】
例えば、図１９は、一実施形態によるファイル解析モジュールによってＭＲ系列を時間体積分析（ＴＶＡ）、Ｆｌｏｗ、ＤＥ、及び潅流等の機能にマッピングするためのＤＩＣＯＭヘッダテーブルを示す。第１の列はラベルであってもよい。他の列は特徴ベクトルであってもよい。一実施形態において、ファイル解析モジュールは各列の文字列を単語に分割することができる。ファイル解析モジュールは、画像データ（例えば、系列）が関数にロードされる度に、機械学習モジュールが学習することができるように、マッピング関数（例えば、Ａｘ＝Ｂ）を作成することができる。このプロセスは、ｘが全てのラベル要件に対して収束するまで繰り返すことができる。例えば、図１９において、Ａ＝［ｍｒ  胸部  心臓  短軸  ４ｄ  無し  ｍｒｉ  心臓  収縮  ｆｌｏｗ  ｑｕａｎｔｒｏｓｓ  ｓａｘ分類済］；ラベル、Ｂ＝「ＴＶＡ」；及びマッピング関数、Ｘ、Ａｘ＝Ｂ。かかるプロセスはベイズ推論として公知である。画像情報及びマッピング機能の全てはログファイルで追跡することができる。
【０１８２】
例えば、同様のベイジアンアプローチは、画像内解析中に画像解析モジュールによって実行され得る。一実施形態において、画像内解析モジュールは、画像／画像体積の解析に基づいて解剖学的構造又は診断法等の情報を特定することができる。かかる画像情報は抽出され、上で説明したように類似の関数において処理することができる。かかる情報は追跡モジュールによってログファイル内に含まれ得る。ログファイルはデータベースに格納し、更新することができる。
【０１８３】
画像内解析モジュール及びファイル解析モジュールは、同時に、異なる時間に、特定の画像データ系列のために、ユーザによって予め選択されるか、又はそれらの任意の組み合わせで実行され得る。
【０１８４】
決定木学習、相関ルール学習、人工ニューラルネットワーク、深層学習、帰納的論理プログラミング、サポートベクターマシン、クラスタリング、強化学習、表現学習、類似性及びメトリック学習、スパース辞書学習、遺伝的アルゴリズム、ルールベース機械学習、学習分類器システム、深層学習フレームワーク及び単純ベイズ分類器に基づく畳み込みニューラルネットワーク、又はそれらの任意の組み合わせ等の画像内解析及びメタデータのための他の機械学習アプローチを実装することができる。
【０１８５】
臨床プロトコルモジュールは臨床プロトコルを含むことができる。ワークフローは、各活動の実行順序に従って活動をプロセスフローに配置することができる。各臨床プロトコルは、図２８に示すように、ワークフローテーブルに編成された１つ以上のワークフローを有することができる。
【０１８６】
一実施形態において、機械学習モジュールによって受信される画像データ（例えば、系列ボリューム）に基づいて、機械学習モジュール、ファイル解析モジュール、及び／又は画像解析モジュールはデフォルト臨床プロトコルを提案することができる。一実施形態において、機械学習モジュールによって受信される画像データ（例えば、系列ボリューム）に基づいて、機械学習モジュール、ファイル解析モジュール、及び／又は画像解析モジュールはデフォルトワークフローを提案し、どの画像データが提案された各ワークフローに含まれ得るかを推奨することができる。
【０１８７】
一実施形態において、機械学習モジュールは、ユーザインタラクション、画像解析モジュール、及び／又はファイル解析モジュールに基づいて、各ワークフローのための系列リストから提案された画像データを含むことができる。ユーザは、任意のワークフローのための提案された画像データが更新される必要があるとユーザが考えている場合、系列リストからワークフローテーブル内のワークフローに画像データをドラッグアンドドロップすることができる。ユーザインタラクションモジュールは、画像データを削除、置換、又はワークフローに追加するユーザのインタラクションを追跡することができる。ユーザインタラクションモジュールはかかる情報を追跡モジュールに送信してログファイルを更新することができる。機械学習モジュールは、画像データが機械学習モジュールによって受信される次回に、ワークフローエンジンがワークフローのための最適化された提案画像データを学習し、提案することができるように、ユーザのインタラクションに基づいてワークフローエンジンを訓練することができる。同様の技術は、画像データに基づいてワークフローを提案するために用いられ得る。
【０１８８】
図２０は、一実施形態による機械学習ワークフローシステムを示すプロセスフローである。ユーザはクライアントにログインできる。サーバは、臨床プロトコルをロードするユーザの行動を待つことができる。臨床プロトコルの選択に基づいて、適用可能なワークフローを表示することができる。臨床プロトコルの選択に基づいて、機械学習モジュール及び／又はワークフローエンジンは、臨床プロトコルに関する各ワークフローのための系列リストから画像データ推薦を計算することができる。ユーザインタラクションモジュールは、臨床プロトコルに関する各ワークフローに対するユーザのインタラクションを追跡することができる。機械学習モジュールは、更新されたユーザのインタラクションに基づいてワークフローエンジンを訓練することができる。機械学習モジュールは、更新されたユーザのインタラクションに基づいてワークフローエンジンを更新することができる。追跡モジュールは、関連する画像データ、メタデータ、画像内解析データ、画像情報、又はそれらの任意の組み合わせと共にログファイルにおいてユーザインタラクションを追跡することができることに留意されたい。かかるログファイルはワークフローエンジンを訓練するために使用することができる。
【０１８９】
例えば、ユーザはクライアントにログインできる。サーバは、臨床プロトコルをロードするユーザの行動を待つことができる。ユーザは臨床プロトコルとして心臓ＭＲを選択できる。心臓ＭＲの選択に基づいて、ＴＶＡ、ｆｌｏｗ、灌流、ストレス、ｒｅｓｔ、ＤＥ、Ｔ２マッピング、及びＴ１マッピング等のワークフローがあってもよい。各ワークフローは、関連する機械学習モジュール（例えば、ＴＶＡ機械学習モジュール、ｆｌｏｗ機械学習モジュール、等）及びワークフローエンジン（例えば、ＴＶＡワークフローエンジン、ｆｌｏｗワークフローエンジン等）を有することができる。ＴＶＡワークフローエンジンは、ＴＶＡワークフローのための系列リストから画像データ推奨（画像内解析、メタデータ、ユーザインタラクション、等による）を計算することができる。ユーザは各ワークフローのための推奨画像データを検証することができるか、又は、ユーザは系列リスト／ワークフローからワークフロー／系列リストに画像データをドラッグアンドドロップすることによって推奨画像データを削除、追加、又は置換することができる。ユーザインタラクションモジュールは、臨床プロトコルに関する各ワークフローのためのユーザインタラクションを追跡することができる（例えば、ユーザインタラクションモジュールは、ＴＶＡワークフローから推奨画像データを削除し、系列リストからの別の画像データと置き換えるユーザを追跡することができる）。時間の経過と共に、かかる反復プロセスにより、ＴＶＡ機械学習モジュールは、更新されたユーザインタラクションに基づいてＴＶＡワークフローエンジンを訓練することができる（すなわち、ワークフローエンジンは画像データを複数回推奨することができ、かかるユーザインタラクションがログファイルに記録され、ワークフローエンジンを訓練するために用いられるように、ユーザは毎回推奨画像データを修正することができる）。機械学習モジュールは、ユーザが臨床プロトコルとして心臓ＭＲを選択する次回に、ＴＶＡワークフローエンジンがユーザのための最適化された画像データの推奨を計算できるように、更新されたユーザのインタラクションに基づいてＴＶＡワークフローエンジンを更新することができる。ユーザは、個人、個人のグループ、又は複数の医療機関であってもよいことに留意されたい。図２１は、一実施形態による機械学習ワークフローシステムを示すプロセスフローである。処理サーバは医用画像データを受信することができる。処理サーバは医用画像データを検証し、医用画像データのカテゴリを特定することができる。処理サーバは、特定の医用画像データに基づいてデフォルトワークフローを特定することができる。例えば、メタデータ及び画像内解析に基づいて、灌流のための全ての基準が満たされたため、処理サーバは画像データを検証し、医用画像データが灌流ワークフローに属することを特定することができる。処理サーバは、提案されたワークフローをネットワークを介してクライアントアプリケーションに送信することができる。処理サーバは、処理サーバによってクライアントアプリケーションからワークフローに関するユーザインタラクションを受信することができる。処理サーバは、ワークフローに関するユーザインタラクションを個々のユーザ選好ファイル、若しくはグループ選好ファイル、又はログファイル内に格納することができる。処理サーバは、特定の医用画像データ系列又は類似の医用画像データ系列が受信される次回に、処理サーバが機械学習されたデフォルトワークフローを開くように、特定の医用画像データに基づいてデフォルトワークフローを更新することができる。
【０１９０】
図２２は、一実施形態による機械学習ワークフローシステムを示すブロック図である。クライアントアプリケーションは処理サーバの自動分類モジュールを介して画像を自動分類することができる。医用画像データはネットワークを介して処理サーバに送信され得、ここで自動分類モジュールは処理サーバに送信された画像のそれぞれを分類することができる。処理サーバは、クライアントアプリケーション上で閲覧するための画像を準備するために、例えば、医用画像データに対して前処理ステップを実行することができる。例えば、処理サーバは、生の画像データをＤＩＣＯＭ規格形式に変換し、ＤＩＣＯＭヘッダを添付し、画像内に標識を挿入し、診断法を特定し、解剖学的構造を特定し、診断法特有の強化（例えば、コントラスト又は周波数補償機能）を実行するか、又はそれらの任意の組み合わせを行うことができる。
【０１９１】
自動分類モジュールは、規則、ユーザに基づく訓練、機械学習、ＤＩＣＯＭヘッダ、画像内解析、ピクセル属性の解析、画像内の標識、特徴付け方法、統計的方法、又はそれらの任意の組み合わせに基づいて画像を分類することができる。追跡モジュールは、例えば、診断法、向き（例えば、軸方向、冠状、サジタル、軸外、短軸、三腔像、又はそれらの任意の組み合わせ）、解剖学的構造（器官、血管、骨、又はそれらの任意の組み合わせ）、身体部分（例えば、頭部、次、胸部、腹部、骨盤、四肢、又はそれらの任意の組み合わせ）、分類情報（例えば、２Ｄ、２．５Ｄ、３Ｄ、４Ｄ）、検査／系列の説明、走査プロトコル、シーケンス、オプション、フローデータ、又はそれらの任意の組み合わせのカテゴリに基づいて画像を追跡することができる。
【０１９２】
一実施形態において、追跡モジュールは、図２３に示すように、診断法に基づいて画像を追跡することができる。一実施形態において、追跡モジュールは、図２４に示すように、身体部位等の解剖学的構造に基づいて画像を追跡することができる。図２３及び図２４は、追跡モジュールがカテゴリテーブルに基づいて画像を追跡できることを示している。
【０１９３】
一実施形態において、機械学習ワークフローシステムは、ある期間にわたってワークフローエンジンにおけるトレーサビリティ記録を実行することができる（すなわち、反復を通じて、ワークフローエンジンは最適化され得る）。クラウドベースの前処理エンジンは、機械学習ワークフローシステムによって最適化され得る。
【０１９４】
図２５及び図２６は、一実施形態により、ワークフローを示すグラフィカルユーザインターフェース（ＧＵＩ）であり、ここでユーザはテンプレートの上部にある表示リボンから閲覧領域に画像をドラッグすることができる。表示リボンはカテゴリに基づいて画像を表示することができる。ユーザは、ユーザがリボン内の画像を見たいカテゴリを選択することができる。表示リボンは、次いで、かかる選択された画像カテゴリを自動的に表示することができる。ユーザインタラクションは、また、処理サーバがユーザ選好を学習することができるように、自動分類モジュールによって追跡され得る。例えば、第１のユーザがＣＴスキャンを閲覧することを選択した場合、処理サーバはかかるインタラクションを追跡することができる。処理サーバは、図２５に示すように、ユーザがテンプレートを開く次回に、ＣＴスキャンをクライアントアプリケーション内の表示リボンに表示することができる。例えば、第１のユーザがクライアントアプリケーションの閲覧ウィンドウ内で現在のＣＴスキャン及び前のＣＴスキャンをドラッグすると、処理サーバはかかるユーザインタラクションを追跡することができる。処理サーバは、図２５に示すように、ユーザがテンプレートを開く次回に、現在のＣＴスキャン及び前のＣＴスキャンを閲覧ウィンドウ内に表示することができる。システムは一連のユーザインタラクション（すなわち、反復）に基づいて学習することができる。
【０１９５】
グラフィカルユーザインターフェースは、一実施形態によれば、ユーザが、例えば、ユーザによって好まれるある特定の順序でツールをドラッグすることを可能にすることができる。ツールはデフォルト選好で表示され得る。ユーザは好みの順序でツールをドラッグすることができる。処理サーバは、ユーザインタラクションを追跡し、ユーザプロファイルにユーザインタラクションを含むことができる。処理サーバは、ユーザインタラクションに基づいて使用パターンを追跡することができる。処理サーバは、使用パターンに基づいて、ツールのデフォルト選好を（例えば、ツール２、ツール１、ツール３、ツール５、工具４の順に）変更するようユーザに促すことができる。ユーザが変更を受け入れると、アプリケーションが開かれる次回に、ツールのデフォルト選好が変更を含むよう更新され得る。
【０１９６】
ユーザは、図２６に示すように、リボン上の全てのＣＴ画像データ及び閲覧領域内の他の診断法を閲覧することを好む可能性がある。ユーザは、リボンへ／から選好に基づいて画像をドラッグアンドドロップすることができる。処理サーバは、ある期間にわたってユーザ選好を追跡し、機械学習によってディスプレイの提示を最適化することができる。
【０１９７】
図２７は、一実施形態による、画像処理サーバが画像データを読み取っている場合のワークフローを示すグラフィカルユーザインターフェース（ＧＵＩ）である。
【０１９８】
図２８は、画像処理サーバが画像データを読み取り、画像データを特定のワークフローに割り当てた場合のワークフローを示すグラフィカルユーザインターフェース（ＧＵＩ）である。ＧＵＩは患者からの画像データを備える系列リストを含むことができる。ＧＵＩはワークフローテーブルを有することができる。ワークフローテーブルはワークフローを有することができる。ワークフローは画像データを有することができる。ワークフローに関連する画像データは約０％から１００％の間の信頼性レベル又は評価を有することができる。ＧＵＩは、処理サーバが系列リスト内の各画像データを検証し、画像データをワークフローテーブル内の各ワークフローに関連付けることを可能にすることができる「推奨系列を選択」を示すボタンを含むことができる。ＧＵＩは、ユーザが、ワークフローテーブル内のワークフローのいずれかに対して画像データを削除、追加、又は置換するようドラッグアンドドロップすることを可能にすることができる。かかるユーザインタラクションは、上で説明したように追跡される。
【０１９９】
機械学習医用画像ワークフロー選択システムは、ユーザ（例えば、医師）の専門知識を活用してワークフローエンジンを訓練する。
【０２００】
図２９は、医用画像読影システムで用いられるエンジンの配置を示す略ブロック図である。画像識別エンジン２７３は、患者に関する新規画像データ２７２並びに患者に関する過去の画像データ及びレポート２７７を受信する。画像識別エンジン２７３は、過去の画像データ及びレポート２７７を用いて、検査のために新規画像データ２７２内の患者の器官、身体部位、及び特徴の画像を識別する。
【０２０１】
例えば、これは、１つ又は複数のエンジンが、ＤＩＣＯＭヘッダ情報ではなく画像データの調査から、又はＤＩＣＯＭヘッダデータに加えて、検査のために識別される解剖学的構造、解剖学的異常、及び解剖学的特徴を識別するために患者の１つ以上の医用画像検査に用いることを可能にする。これは、画像データのためのＤＩＣＯＭヘッダ情報が間違っていても正常な動作を可能にする。これは、ＤＩＣＯＭヘッダ及びＰＡＣＳ上で画像を表示する方法のためのユーザ選好を調査するだけのような他のシステムに優る改善である。
【０２０２】
メイン所見エンジン２７４は、新規画像データ２７２を受信し、新規画像データ２７２を処理して、新規画像データ２７２に基づいて、並びに新規画像データ２７２内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された画像に基づいて所見を生成する。
【０２０３】
例えば、画像識別エンジン２７３は、新規画像データ２７２に基づいて、並びに新規画像データ内の患者の解剖学的構造、解剖学的異常、及び解剖学的特徴の検査のために識別された画像に基づいて、追加の所見エンジン２７５を呼び出して所見を生成する。追加の所見エンジン２７５は、新規画像データ２７２内の患者の器官、身体部位、及び特徴の検査のために識別された画像に基づいて、並びに追加の所見エンジン２７５のそれぞれの専門技術に基づいて、画像識別エンジン２７３によって呼び出されるように選択される。これは、エンジン又は複数のエンジンのうちのエンジンが、患者の１つ以上の医用画像検査を処理して、器官、身体部位、又は身体部位若しくは器官において見られる特徴、更にはこれらの特徴の分類器さえも特定し、これらの全ての上で実行され得る適切な他のエンジン、及び画像データに対するエンジンの正確な適用を提供する画像の組み合わせを選択するためにこの情報を用いることを可能にする。
【０２０４】
例えば、診断検証システムを用いる場合に、追跡モジュールは、所見及びユーザによって所見に対して行われた調整を追跡する。上で説明したような追跡モジュールは、所見及びユーザによって所見に対して行われた調整に基づく追跡情報、並びに他のユーザに基づいて確認可能な使用パターンを生成する。上で説明したような機械学習エンジンは追跡情報を受信し、追跡情報に基づいて、患者のための検査画像を識別する場合に画像識別エンジンによって用いられる分類選好を調整する。
【０２０５】
例えば、これは、多くの画像取得、多くの画像系列、及び画像後処理ワークフローを呼び出す前にこれらの系列を選択し、分類するための手動のエンドユーザインタラクションの使用を含む多くの画像検査を可能にする。身体部分、器官、解剖学的セグメント化及びこれらの特徴についての上記の種類の知能及び認識と共に駆動される複数のエンジンのうちのエンジンは、この分類を自動的に実行するために用いられ得る。例えば、エンドユーザは、かかる人工知能作業の前後に分類を改良することができ、次いで、人工知能エンジンはその入力からこれらのタスクをより良好に実行するよう学習する。最終的に、それは完全に自動となる。
【０２０６】
上で説明した実施形態は様々な医療領域に適用されてもよい。機械学習ワークフローシステムは、以下に記載する領域における特定のワークフローに画像データを自動的にロードすることができる。機械学習ワークフローシステムは、画像データを検証し、以下に記載する領域における画像データに基づいてワークフローを特定することができる。
【０２０７】
例えば、上で説明した技術は血管分析（大動脈血管内修復（ＥＶＡＲ）及び電気生理学（ＥＰ）プランニングを含む）に適用されてもよい。かかる血管分析は、大動脈エンドグラフト及び電気生理学プランニングに加えて、冠動脈並びに頸動脈及び腎動脈等の血管全体分析の両方の読影のために行われる。
【０２０８】
加えて、上で説明した技術は大動脈血管内修復及びエンドグラフトサイジングのための測定の領域において利用され得る。複数の中心線は、複数のアクセスポイントを有するＥＶＡＲ手順のプランニングを可能にするよう抽出され得る。血管と垂直な直径は２つの大動脈腸骨動脈経路に沿った距離と共に測定されてもよい。カスタムワークフローテンプレートは、ステントサイジングのために必要に応じて大手大動脈エンドグラフトメーカの測定仕様に設定されることを可能にするために用いられてもよい。有窓及び分岐デバイスプランニングのための血管枝の向き及び位置を文書化することで支援する「文字盤」オーバーレイによる嚢セグメント化及び容積特定も、用いられてもよい。
【０２０９】
上で説明した技術は、また、左心房解析モードにも適用され得る。測定値は自動的に検出され、統合報告システムに取り込まれる。これらの機能を他の血管分析ツールと組み合わせて、切除及び指導アプローチプランニングのための包括的及びカスタマイズされるＥＰプランニングワークフローを提供することができる。
【０２１０】
上で説明した技術はカルシウムスコアリングにも利用できる。冠動脈カルシウムの半自動識別は、合計され、画面上で報告されるＡｇａｔｓｔｏｎ、体積、及びミネラル量アルゴリズムにより支持される。結果は、患者及び彼らの心血管履歴及び危険因子に関する他の様々なデータと共にオープンフォーマットのデータベースに格納されてもよい。
【０２１１】
上で説明した技術は、また、多相データからの左室容積、駆出率、心筋体積（塊体）及び壁肥厚の完全自動計算を含んでいてもよい時間体積分析（ＴＶＡ）において利用され得る。
【０２１２】
上で説明した技術は、また、心肺ＣＴ検査を含む様々なスキャンにおける塊体及び構造の分析及び特徴付けを支援することを含むセグメント化分析及び追跡（ＳＡＴ）の領域においても利用され得る。
【０２１３】
上で説明した技術は、また、必要に応じてこれらの中心線を再定義するために利用可能な編集ツールと共に、結腸の自動セグメント化及び中心線抽出の機能を含んでいてもよいフライスルーの領域においても利用され得る。
【０２１４】
上で説明した技術は、また、脳灌流検査内のような適切なコンピュータ断層血管造影法（ＣＴＡ）及び／又はＭＲＩ検査の時間依存挙動を解析するための評価ツールを提供する時間依存解析（ＴＤＡ）の領域においても利用され得る。機能は、複数の時間依存系列を同時にロードするためのサポート、及び入出力機能と対象領域を選択するための手続き型ワークフローを含む。統合された報告ツールは、血流、血液量、及び通過時間マップをＤＩＣＯＭにエクスポートする能力と共に提供される。ツールは、また、様々な時間依存パラメータを計算するために時間依存ＭＲ取得と共に用いられてもよい。上で説明した技術は、また、造影前及び造影後画像の自動位置合わせ、その後の、ノイズを増加させることなく、造影血管構造を完全な状態で残す減算又は高輝度構造（骨及び外科クリップのような）をＣＴＡスキャンから除去する高密度ボクセルマスキング技術を含むＣＴＡ−ＣＴ減算の領域においても利用することができる。
【０２１５】
上で説明した技術は、また、歯科用ＣＴスキャンの検証に適用され、様々な面における及び様々な厚さの「パノラマ」投影、及び規定された曲面に沿った設定増分での断面ＭＰＲ図を生成する能力を提供することができるＣＰＲツールを提供する歯科分析においても利用することができる。
【０２１６】
上で説明した技術は、また、多相ＭＲ（基本、例えば、胸部、前立腺ＭＲ）の領域においても利用することができる。ある特定のＭＲ検査（例えば、胸部、前立腺ＭＲ）は、ある期間にわたって取り込まれる一連の画像取得を伴い、ここである特定の構造は他の構造に対して次第に強調される。このモジュールは、全ての強調後画像から強調前画像を減算して強調構造（例えば、血管構造及び他の強調組織）の視覚化を強調する能力を特色としている。
【０２１７】
上で説明した技術は、また、パラメトリックマッピング（例えば、多相胸部ＭＲ用）においても利用することができ、パラメトリックマッピングモジュールはオーバーレイマップを予め計算し、ここで画像内の各ピクセルはピクセル強度の時間依存挙動に応じて色分けされている。上で説明した技術は、また、球形ファインダ（例えば、肺及び結腸用の球形度フィルタ）の領域においても利用され得る。球形ファインダは、データセットを受信すると同時にそれらを前処理し、フィルタを適用して球状構造を検出する。これは、多くの場合、対象の可能性のある領域を識別するために肺又は結腸ＣＴスキャンと共に用いられる。上で説明した技術は、また、ＣＴ／ＭＲ／ＰＥＴ／ＳＰＥＣＴのための融合においても利用することができる。任意の２つのＣＴ、ＰＥＴ、ＭＲ、若しくはＳＰＥＣＴ系列、又は任意の２つの系列の組み合わせは、半透明色コードを割り当てられた一方並びに解剖学的参照のためにグレースケール及び体積レンダリングで示された他方と重ね合わされてもよい。
【０２１８】
上で説明した技術は、また、小葉分解の領域にも利用できる。小葉分解は、解剖学的構造を念頭に置いて設計される分析及びセグメント化ツールである。樹状構造（動脈及び／又は静脈ツリー等の）と結び付いた任意の構造又は器官領域に対し、小葉分解ツールは、ユーザが対象の体積並びにそれに関連するツリーを選択し、体積を葉又は、ツリー若しくはその任意の特定の小枝の近傍に大多数がある領域に分割することを可能にする。この一般的で柔軟なツールは、肝臓、肺、心臓、及び様々な他の器官並びに病理学的構造の分析において潜在的な調査用途を有している。上で説明した技術は、また、体積ヒストグラムの領域にも利用できる。体積ヒストグラムは、構成ボクセルを異なる強度若しくは密度範囲の母集団に分割することに基づいて対象の所定の体積の解析に対応する。これは、例えば、癌（進行性腫瘍、壊死組織、及び浮腫間の平衡を理解する試みにおいて、腫瘍の組成を分析することが望ましい場合）又は肺気腫（肺ＣＴ検査における低減衰ボクセルの母集団が早期疾患の意味のある指標となる可能性がある場合）等の疾患過程に関する調査を支持するために用いることができる。
【０２１９】
上で説明した技術は、また、動作解析の領域にも利用され得る。動作解析は、対話型３Ｄ又は４Ｄ表示が利用できない場合、所見のより効果的な通信のために、４Ｄプロセスの強力な２Ｄ表現を提供する。鼓動する心臓等の任意の動的体積取得は、重要な境界の外形の色分けされた「軌跡」を生成するよう動作解析を受けることができ、動的シーケンス全体にわたって、資料で容易に報告され得る方法で単一の２Ｄフレームが動作を捕捉し、示すことを可能にしている。色パターンの均一性、又はその欠如は、動作が調和的である範囲を反映し、単一画像からの即時視覚フィードバックを提供する。
【０２２０】
上で説明した技術は、また、Ｍｕｌｔｉ−ＫＶ、強化マルチモダリティ、所見ワークフロー、及びＴｅｒａＲｅｃｏｎから市販されているｉＧＥＮＴＬＥ等の他の領域に対応するよう利用され得る。Ｍｕｌｔｉ−ＫＶ（Ｄｕａｌ  Ｅｎｅｒｇｙ  ａｎｄ  Ｓｐｅｃｔｒａｌ  Ｉｍａｇｉｎｇのサポート）は、骨又はコントラストの除去等の二重エネルギ又はスペクトル画像解析ＣＴデータの確立された用途のためのサポート、並びにかかるイメージング技術の新しい用途の研究及び調査に対応するツールキットを提供する。
【０２２１】
機械学習医用画像化ワークフロー選択システムはワークフローを最適化するために用いられ得る一方で、ユーザ又はユーザグループによる類似の機械学習訓練が表示プロトコルを向上させるために用いられ得る。
【０２２２】
前の図に示したプロセス又は方法は、ハードウェア（例えば、回路、専用ロジック、等）、ファームウェア、ソフトウェア（例えば、非一時的コンピュータ読取可能媒体上で具現化される）、又は両方の組み合わせを含む処理ロジックによって実行されてもよい。プロセス又は方法は幾つかの順次動作に関して上で説明されているが、説明された動作の幾つかは異なる順序で実行されてもよいことは、正しく認識するべきである。更に、幾つかの動作は、順次ではなく並列に実行されてもよい。
【０２２３】
前述の明細書において、実施形態はその特定の例示的な実施形態を参照して説明されてきた。以下の特許請求の範囲に記載されるような広範な精神及び適用範囲から逸脱することなく、様々な修正がそれに対して行われてもよいことは明らかであろう。従って、明細書および図面は、限定的な意味ではなく例示的な意味で見なされるべきである。
【０２２４】
前述の詳細な説明の幾つかの部分を、コンピュータメモリ内のデータビットに対する操作のアルゴリズム及び記号表現に関して提示してきた。これらのアルゴリズムの説明及び表現は、データ処理分野の当業者によってそれらの作業の内容を他の当業者に最も効果的に伝えるために用いられる方法である。アルゴリズムは、ここでは、及び一般的には、所望の結果をもたらす自己矛盾のない一連の動作であると考えられる。操作は物理量の物理的操作を必要とするものである。アルゴリズムは、所定の公式に頼ることができ、及び／又は機械学習情報を用いることができる。
【０２２５】
しかし、これら及び類似の用語のすべては、適切な物理的数量に関するものであり、これらの数量に適用される単に便利な表示であることは念頭に置かれたい。上の検討により明らかなように、特に明記のない限り、説明を通じて、以下の特許請求の範囲に記載されるもの等の用語を用いる検討は、コンピュータシステムのレジスタ及びメモリ内部の物理的（電子的）数量として表されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のかかる情報ストレージ、転送若しくは表示デバイス内部の物理的数量として同様に表される他のデータに操作及び変換するコンピュータシステム、又は同様の電子コンピューティングデバイスの動作及び処理を指すことは正しく理解される。
【０２２６】
図に示される技術は、１つ以上の電子デバイスが格納され、実行されるコード及びデータを用いて実施され得る。かかる電子デバイスは、非一時的コンピュータ読取可能ストレージ媒体（例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリデバイス、相変化メモリ）及び一時的コンピュータ読取可能伝送媒体（例えば、搬送波、赤外線信号、デジタル信号等の電気、光、音響、又は他の形態の伝搬信号）等のコンピュータ読取可能媒体を用いてコード及びデータを格納及び通信する（内部的に及び／又はネットワークを介して他の電子デバイスと）。
【図１】
2020515924.tif 000003
【図２】
2020515924.tif 000004
【図３】
2020515924.tif 000005
【図４Ａ−４Ｂ】
2020515924.tif 000006
【図４Ｃ】
2020515924.tif 000007
【図５】
2020515924.tif 000008
【図６】
2020515924.tif 000009
【図７】
2020515924.tif 000010
【図８】
2020515924.tif 000011
【図９】
2020515924.tif 000012
【図１０】
2020515924.tif 000013
【図１１】
2020515924.tif 000014
【図１２】
2020515924.tif 000015
【図１３】
2020515924.tif 000016
【図１４】
2020515924.tif 000017
【図１５】
2020515924.tif 000018
【図１６】
2020515924.tif 000019
【図１７】
2020515924.tif 000020
【図１８】
2020515924.tif 000021
【図１９】
2020515924.tif 000022
【図２０】
2020515924.tif 000023
【図２１】
2020515924.tif 000024
【図２２】
2020515924.tif 000025
【図２３】
2020515924.tif 000026
【図２４】
2020515924.tif 000027
【図２５】
2020515924.tif 000028
【図２６】
2020515924.tif 000029
【図２７−１】
2020515924.tif 000030
【図２７−２】
2020515924.tif 000031
【図２８−１】
2020515924.tif 000032
【図２８−２】
2020515924.tif 000033
【図２９】
2020515924.tif 000034
【国際調査報告】
2020515924.tif 000035