(57)【要約】  画像のテキスト記述の生成方法、システム、プログラムであって、画像データによって表現された画像を領域特定的カテゴリに分類することと、領域特定的カテゴリに基づいて画像データ内の１つまたは複数の要素を区分化することと、を含む。１つまたは複数の要素内の１つまたは複数の統計的異常を検出するために、１つまたは複数の要素の各要素を領域非依存的モデルと比較する。１つまたは複数の領域非依存的テキスト語句を用いて、１つまたは複数の検出された統計的異常を特徴付ける。領域特定的カテゴリに基づいて１つまたは複数の領域非依存的テキスト語句を１つまたは複数の領域特定的記述に変換する。
2021526247.tif 000002
【特許請求の範囲】
【請求項１】
画像のテキスト記述を生成するためのコンピュータ実施方法であって、
画像データによって表現された画像を領域特定的カテゴリに分類することと、
前記領域特定的カテゴリに基づいて前記画像データ内の１つまたは複数の要素を区分化することと、
前記１つまたは複数の要素内の１つまたは複数の統計的異常を検出するために前記１つまたは複数の要素の各要素を領域非依存的モデルと比較することと、
１つまたは複数の領域非依存的テキスト語句を用いて、前記１つまたは複数の検出された統計的異常を特徴付けることと、
前記領域特定的カテゴリに基づいて前記１つまたは複数の領域非依存的テキスト語句を１つまたは複数の領域特定的記述に変換することと、
を含む方法。
【請求項２】
前記１つまたは複数の領域特定的記述を出力することをさらに含む、請求項１に記載の方法。
【請求項３】
前記画像データを受信することと、
前記画像データのコンテキストを指示するコンテキスト情報を受信することと、
をさらに含み、前記領域特定的カテゴリへの前記画像の前記分類が前記コンテキスト情報に基づく、請求項１に記載の方法。
【請求項４】
前記コンテキスト情報が、前記画像データに関連付けられたメタデータを含む、請求項３に記載の方法。
【請求項５】
前記コンテキストが前記画像データのモダリティおよび視点を含む、請求項３に記載の方法。
【請求項６】
前記１つまたは複数の要素を区分化することが、前記領域特定的カテゴリに特定的な区分化手順を用いる、請求項１に記載の方法。
【請求項７】
前記１つまたは複数の要素を区分化することが、前記要素に特定的な区分化手順を用いる、請求項１に記載の方法。
【請求項８】
前記１つまたは複数の要素を区分化することが、一般的に区分化された要素を、前記領域特定的カテゴリに関連付けられた粗いモデルと整合させる、請求項１に記載の方法。
【請求項９】
前記領域非依存的モデルが輪郭ベースの形状モデルである、請求項１に記載の方法。
【請求項１０】
前記領域非依存的モデルがテクスチャ・ベースの内部モデルである、請求項１に記載の方法。
【請求項１１】
前記検出された統計的異常を特徴付けることが、欠落または提示過少要素に注目することを含む、請求項１に記載の方法。
【請求項１２】
前記検出された統計的異常を特徴付けることが、余分または提示過多要素に注目することを含む、請求項１に記載の方法。
【請求項１３】
１つまたは複数のコンピュータ可読記憶デバイス、および前記１つまたは複数の記憶デバイスのうちの少なくとも１つの上に記憶されたプログラム命令を備えるコンピュータ可用プログラム製品であって、前記記憶されたプログラム命令が、
画像データによって表現された画像を領域特定的カテゴリに分類するためのプログラム命令と、
前記領域特定的カテゴリに基づいて前記画像データ内の１つまたは複数の要素を区分化するためのプログラム命令と、
前記１つまたは複数の要素内の１つまたは複数の統計的異常を検出するために前記１つまたは複数の要素の各要素を領域非依存的モデルと比較するためのプログラム命令と、
１つまたは複数の領域非依存的テキスト語句を用いて、前記１つまたは複数の検出された統計的異常を特徴付けるためのプログラム命令と、
前記領域特定的カテゴリに基づいて前記１つまたは複数の領域非依存的テキスト語句を１つまたは複数の領域特定的記述に変換するためのプログラム命令と、
を含む、コンピュータ可用プログラム製品。
【請求項１４】
前記１つまたは複数の領域特定的記述を出力するためのプログラム命令をさらに含む、請求項１３に記載のコンピュータ可用プログラム製品。
【請求項１５】
前記画像データを受信するためのプログラム命令と、
前記画像データのコンテキストを指示するコンテキスト情報を受信するためのプログラム命令と、
をさらに含み、前記領域特定的カテゴリへの前記画像の前記分類が前記コンテキスト情報に基づく、請求項１３に記載のコンピュータ可用プログラム製品。
【請求項１６】
前記コンテキスト情報が、前記画像データに関連付けられたメタデータを含む、請求項１５に記載のコンピュータ可用プログラム製品。
【請求項１７】
前記コンテキストが前記画像データのモダリティおよび視点を含む、請求項１５に記載のコンピュータ可用プログラム製品。
【請求項１８】
コンピュータ可用コードがデータ処理システム内のコンピュータ可読記憶デバイス内に記憶され、前記コンピュータ可用コードがネットワークを通じてリモート・データ処理システムから転送される、請求項１３に記載のコンピュータ可用プログラム製品。
【請求項１９】
コンピュータ可用コードがサーバ・データ処理システム内のコンピュータ可読記憶デバイス内に記憶され、前記コンピュータ可用コードがネットワークを通じてリモート・データ処理システムに、前記リモート・データ処理システムに関連付けられたコンピュータ可読記憶デバイスにおける使用のためにダウンロードされる、請求項１３に記載のコンピュータ可用プログラム製品。
【請求項２０】
１つまたは複数のプロセッサ、１つまたは複数のコンピュータ可読メモリ、および１つまたは複数のコンピュータ可読記憶デバイス、ならびに前記１つまたは複数のメモリのうちの少なくとも１つを介した前記１つまたは複数のプロセッサのうちの少なくとも１つによる実行のための前記１つまたは複数の記憶デバイスのうちの少なくとも１つの上に記憶されたプログラム命令を備えるコンピュータ・システムであって、前記記憶されたプログラム命令が、
画像データによって表現された画像を領域特定的カテゴリに分類するためのプログラム命令と、
前記領域特定的カテゴリに基づいて前記画像データ内の１つまたは複数の要素を区分化するためのプログラム命令と、
前記１つまたは複数の要素内の１つまたは複数の統計的異常を検出するために前記１つまたは複数の要素の各要素を領域非依存的モデルと比較するためのプログラム命令と、
１つまたは複数の領域非依存的テキスト語句を用いて、前記１つまたは複数の検出された統計的異常を特徴付けるためのプログラム命令と、
前記領域特定的カテゴリに基づいて前記１つまたは複数の領域非依存的テキスト語句を１つまたは複数の領域特定的記述に変換するためのプログラム命令と、
を含む、コンピュータ・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、画像のテキスト記述を生成するための方法、システム、およびコンピュータ・プログラム製品に関する。より詳細には、本発明は、領域非依存的異常分析を用いて画像のテキスト記述を生成するための方法、システム、およびコンピュータ・プログラム製品に関する。
【背景技術】
【０００２】
データのテキスト・ベースまたは意味ネットワーク・ベースの表現を分析し、所望の情報をデータから抽出し、データに関連付けられた所与の主題に関係する質問への回答を決定するなどするための多数の人工知能ベースの推論システムが存在する。これらの推論システムは、通例、データ処理ハードウェア上で実行するアプリケーションを含む。時として、このようなシステムに与えられる問題は画像コンポーネントも有する。例えば、医師免許試験からのいくつかの質問は注釈付きの解剖図または放射線画像を含む。残念ながら、これらの意味ベースの（例えば、言語ベースの）ネットワークを、回答を決定するために画像データおよびテキスト・データを分析し、所望の情報を抽出し、テキスト・データおよび画像データに関係する質問に回答するなどする能力を推論システムに提供するよう変換するための直截的な仕方は存在しない。したがって、既存の推論システムは、これらの画像を、質問に回答するためのそれらの明白な有用性にもかかわらず、しばしば無視する。
【発明の概要】
【０００３】
例示的な諸実施形態は、方法、システム、およびコンピュータ・プログラム製品を提供する。画像のテキスト記述を生成するための方法の一実施形態は、画像データによって表現された画像を領域特定的カテゴリに分類することと、領域特定的カテゴリに基づいて画像データ内の１つまたは複数の要素を区分化することと、を含む。実施形態は、１つまたは複数の要素の各要素を領域非依存的モデルと比較し、１つまたは複数の要素内の１つまたは複数の統計的異常を検出することと、１つまたは複数の領域非依存的テキスト語句を用いて、１つまたは複数の検出された統計的異常を特徴付けることと、をさらに含む。実施形態は、領域特定的カテゴリに基づいて１つまたは複数の領域非依存的テキスト語句を１つまたは複数の領域特定的記述に変換することをさらに含む。
【０００４】
一実施形態は、１つまたは複数の領域特定的記述を出力することをさらに含む。別の実施形態は、画像データを受信することと、画像データのコンテキストを指示するコンテキスト情報を受信することと、をさらに含む。本実施形態では、領域特定的カテゴリへの画像の分類はコンテキスト情報に基づく。別の実施形態では、コンテキスト情報は、画像データに関連付けられたメタデータを含む。別の実施形態では、コンテキストは画像データのモダリティおよび視点を含む。
【０００５】
別の実施形態では、１つまたは複数の要素を区分化することは、領域特定的カテゴリに特定的な区分化手順を用いる。別の実施形態では、１つまたは複数の要素を区分化することは、要素に特定的な区分化手順を用いる。さらに別の実施形態では、１つまたは複数の要素を区分化することは、一般的に区分化された要素を、領域特定的カテゴリに関連付けられた粗いモデルと整合させる。
【０００６】
別の実施形態では、領域非依存的モデルは輪郭ベースの形状モデルである。別の実施形態では、領域非依存的モデルはテクスチャ・ベースの内部モデルである。
【０００７】
別の実施形態では、検出された統計的異常を特徴付けることは、欠落または十分に表現されていない要素（提示過少要素）に注目することを含む。別の実施形態では、検出された統計的異常を特徴付けることは、余分または提示過多要素に注目することを含む。
【０００８】
一実施形態はコンピュータ可用プログラム製品を含む。コンピュータ可用プログラム製品は、１つまたは複数のコンピュータ可読記憶デバイス、および１つまたは複数の記憶デバイスのうちの少なくとも１つの上に記憶されたプログラム命令を含む。
【０００９】
一実施形態はコンピュータ・システムを含む。コンピュータ・システムは、１つまたは複数のプロセッサ、１つまたは複数のコンピュータ可読メモリ、および１つまたは複数のコンピュータ可読記憶デバイス、ならびに１つまたは複数のメモリのうちの少なくとも１つを介した１つまたは複数のプロセッサのうちの少なくとも１つによる実行のための１つまたは複数の記憶デバイスのうちの少なくとも１つの上に記憶されたプログラム命令を含む。
【００１０】
本発明の特性と考えられる特定の新規な特徴が添付の請求項において規定される。しかし、本発明自体、ならびにその好ましい使用様式、さらなる目的および利点は、例示的な諸実施形態の以下の詳細な説明を参照することによって、添付の図面と併せて読むことで最も深く理解されるであろう。
【図面の簡単な説明】
【００１１】
【図１】例示的な諸実施形態が実施され得るデータ処理システムのネットワークのブロック図を示す。
【図２】例示的な諸実施形態が実施され得るデータ処理システムのブロック図を示す。
【図３】例示的な一実施形態に係る領域非依存的異常分析を用いて画像のテキスト記述を生成するためのアプリケーションの例示的な構成のブロック図を示す。
【図４】別の例示的な実施形態に係る領域非依存的異常分析を用いて医用画像のテキスト記述を生成するためのアプリケーションの例示的な構成のブロック図を示す。
【図５Ａ】例示的な一実施形態に係る医用画像分析の表面プリミティブの一例を示す図である。
【図５Ｂ】例示的な一実施形態に係る医用画像分析の表面プリミティブの一例を示す図である。
【図６Ａ】例示的な一実施形態に係る医用画像分析の管プリミティブの一例を示す図である。
【図６Ｂ】例示的な一実施形態に係る医用画像分析の管プリミティブの一例を示す図である。
【図７Ａ】例示的な一実施形態に係る医用画像分析の立体３次元（３Ｄ）物体プリミティブの一例を示す図である。
【図７Ｂ】例示的な一実施形態に係る医用画像分析の立体３次元（３Ｄ）物体プリミティブの一例を示す図である。
【図８】例示的な一実施形態に係る領域非依存的異常分析を用いて画像のテキスト記述を生成するための例示的なプロセスのフローチャートを示す。
【発明を実施するための形態】
【００１２】
本明細書において説明される例示的な諸実施形態は、概して、領域非依存的異常分析を用いた画像のテキスト記述の生成に関する。例示的な諸実施形態は、画像のテキスト記述を生成するための現在利用可能なツールまたは解決策はこれらの必要性に対処しないか、またはこれらの必要性のための解決策を提供しないことを認識している。
【００１３】
画像のためのテキスト記述を生成するための１つの既存のアプローチは、画像を「浜辺」、「牧草地」、または「都市風景」などの任意のシーン・クラスの一員として認識することである。シーン自体の内容よりも環境を記述する「屋内」または「Ｘ線」などの画像の部分的記述のみを試みる、このようなプロセスのより弱いバージョンが存在する。このような部分的記述は、画像データを大きな「ビットの袋（bag of bits）」として扱うよりは明らかにましではあるが、これらの部分的記述は、通例、インテリジェントな推論を可能にするほど十分に特定的ではない。
【００１４】
画像のためのテキスト記述を生成するための別の既存のアプローチは、画像が包含する物体によって画像を特徴付けることである。このような特徴付けは、「人物」または「動物」などの一般的特徴付け、あるいは「John Smith」および「ラブラドードル」などのより特定的な特徴付けであることができる。残念ながら、特定的なモデルは細粒度のクラスごとに学習されなければならず、それゆえ、このようなアプローチは大量のラベル付き訓練データおよび計算時間を必要とする。
【００１５】
物体を列挙することでさえも、いくつかの推論システムに対しては特に有用とならない場合がある。例えば、特定の医療診断が「胸部Ｘ線」であり、それが「左肺」、「右肺」、および「心臓」を含むことを指示することは、診断価値をほとんどまたは全く有しない。このようなシステムのためには、「肺結節」、「梗塞」、または「星細胞腫」などのさらにより粒度の細かい概念が訓練されなければならない。それゆえ、概して、医用画像を記述するためには、ともすれば、とてつもなく大量のカテゴリが必要とされるであろう。
【００１６】
様々な器官、条件、および心血流、心電図（ＥＫＧ）、血球計数などのモダリティのための既存の特殊医用画像分析システムが利用可能である。しかし、これらの特殊システムは、有効となるために、プログラムの注意深いハンド・コーディングを必要とする。加えて、特定の器官、条件、あるいは黒色腫、乳癌、および糖尿病性網膜症などのモダリティに関する検出または診断あるいはその両方のための機械学習システムが存在する。しかし、これらの機械学習システムは、正確にラベル付けされた訓練例を多数必要とする。さらに、主として、医用画像ではなく、ウェブ写真のために用いられる深層学習画像−テキスト生成システムが存在する。しかし、これらの既存の深層学習画像−テキスト生成システムは教師あり訓練データを必要とする。
【００１７】
本発明を説明するために用いられる例示的な諸実施形態は、概して、上述の問題、および画像のテキスト記述を生成することに関連する他の問題に対処し、これらを解決する。
【００１８】
本明細書において説明される１つまたは複数の実施形態は、まず、画像を特定の広いカテゴリに分類するアプリケーションを提供する。広いカテゴリから、シーン構成および内容の特定の要素が存在すると予想される。これらの要素は領域非依存的な仕方でモデル化される。例えば、特定の例示的なモデルでは、「浜辺の砂」がモデルとなる代わりに、モデルは、「画像の中央付近の、明るい、場合により黄色っぽい色の長い水平の帯」である。１つまたは複数の実施形態では、これらのモデルは、多数のラベル付きの例から統計的に導出された、「水平」などの規範条件を包含する。本実施形態では、システムは、指定された要素ごとの候補を見出すことを試み、それらのモデルに対する任意の異常に注目する。例えば、システムは、モデルと同様に見えるが、純粋に水平でなく若干斜めになった有色の領域が画像内に存在することを認識し得る。この異常が領域非依存的モデル内で検出されると、システムは好適な領域依存的術語を用いて異常を再特徴付けする。例えば、浜辺の画像の砂の部分が斜めに見えるときには、通例、それは「入江」の存在の証拠である。それゆえ、全体的な画像はテキスト記述「入江の浜辺シーン」を与えられ得る。
【００１９】
１つまたは複数の実施形態は、領域非依存的モデルの種類の小さなセットが、システムが遭遇する可能性のある全ての画像を潜在的にカバーできるという利点をもたらす。例えば、ほぼすべてのビジュアルオブジェクトには、３Ｄの「小塊」、２Ｄの「表面」、および１Ｄの「管」で十分である。これは、心臓のコンピュータ断層撮影（computed tomography、ＣＴ）スキャン用の「心内膜壁」、および末梢血液塗抹標本用の「赤血球」などの専門表現とは対照的である。
【００２０】
１つまたは複数の実施形態では、画像を、いくつかの基本クラスに加えて基本クラスからの偏差として記述することが有利な場合がある。医療分野では、そのような説明は特に有用である可能性がある。なぜなら、全ての異常が病理というわけではないが、概して、病理は異常を生じさせるためである。例えば、肺が、とがっているのではなく、「丸みのある角部」を有する３Ｄ小塊を遠心縁上に有することを検出したこと（領域非依存的特徴付け）を用いて、肋骨横隔膜角内に液体貯留が存在すると推測することができる（領域依存的特徴付け）。同様に、一部の要素の誤ったテクスチャ、色、または計数（全て領域非依存的特徴付け）は、多くの場合、診断に影響を与える。１つまたは複数の実施形態では、このような条件を領域非依存的な仕方で第１段階として検出することは、そうでなければ必要とされるであろうはるかにより多数のより専門化した検出器を構築するために必要な時間および労力を節約する。
【００２１】
一実施形態では、アプリケーションは入力画像を受信し、画像の広い領域分類を決定するために領域特定的分類器のセットを適用する。本実施形態では、アプリケーションは分類結果に基づいて多数の領域非依存的要素モデルを選択する。本実施形態では、アプリケーションは、これらのモデルに対応する入力画像内の要素を区分化することを試み、見出された要素を調査し、領域非依存的異常、または領域非依存的モデルからの要素の偏差を決定する。１つまたは複数の実施形態では、要素は、予想される外観、位置、サイズ、または形状、あるいはその組み合わせを有する画像内で見出された特徴である。例えば、要素は、身体器官の予想される外観、位置、サイズ、または形状、あるいはその組み合わせを含み得る。１つまたは複数の実施形態では、統計的異常は、決定された量を超える、要素の予想される外観位置、サイズ、または形状、あるいはその組み合わせからの偏差を含み得る。
【００２２】
本実施形態では、アプリケーションは、異常の特徴を領域非依存的な仕方で記述する領域非依存的異常記述を生成する。本実施形態では、アプリケーションは、領域非依存的異常記述を、領域特定的用語を含む異常の領域特定的テキスト記述に翻訳または再特徴付けする。本実施形態では、アプリケーションは、領域特定的テキスト記述を表現する出力テキスト記述を生成する。１つまたは複数の実施形態では、領域特定的テキスト記述は、身体器官の目印付近の領域の識別（例えば、肺の「尖」）、輪郭の部分（例えば、「肋骨横隔膜角」）、または異常の全体的な解剖学的座標（例えば、「左」、「遠位」）のうちの１つまたは複数などの異常の位置を含み得る。
【００２３】
１つまたは複数の実施形態では、多くの視覚特性のためのグラウンディングが学習され得る。例えば、「暗い」、「曇った」、および「線条のある（striated）」などの一般的外観用語が学習され得る。別の例では、「腫大した（swollen）」、「狭窄した（narrowed）」、および「肥大した（enlarged）」などの幾何用語が学習され得る。
【００２４】
特定の諸実施形態では、領域特定的分類器を用いた画像の初期分類は必ずしも画像自体の外観に基づいて遂行される必要はない。１つまたは複数の実施形態では、初期分類は、画像データの代わりに、またはそれに加えて、代替情報、追加情報、または画像に関連付けられたメタデータに基づくことができる。例えば、画像を包含する質問のテキストが、「胎児超音波検査が確認のために行われた」と陳述する場合がある。本例では、アプリケーションはテキスト単独から画像の基本性質を直接推測することができる。別の例では、画像は、足痛治療医の職場内のＸ線機械のディスク上に存在することが見出されたと仮定する。アプリケーションは、このような情報は、調査中の画像のクラスが「脚のＸ線」であることの強力な証拠であると推測することができる。
【００２５】
例示的な諸実施形態は、特定の種類の画像データ、分類器、モデル、領域、デバイス、データ処理システム、環境、コンポーネント、およびアプリケーションに関して例としてのみ説明される。これらおよび他の同様のアーティファクト（artifact）のいかなる特定的な顕示も、本発明の限定となることを意図されていない。これらおよび他の同様のアーティファクトの任意の好適な顕示が例示的な諸実施形態の範囲内で選択され得る。
【００２６】
さらに、例示的な諸実施形態は、任意の種類のデータ、データ・ソース、またはデータ・ネットワークを通じたデータ・ソースへのアクセスに関して実施され得る。任意の種類のデータ記憶デバイスが、本発明の範囲内で、データ処理システムにおいてローカルに、またはデータ・ネットワークを通じて、データを本発明の一実施形態に提供し得る。一実施形態がモバイル・デバイスを用いて説明される場合には、モバイル・デバイスに使用するために適した任意の種類のデータ記憶デバイスが、例示的な諸実施形態の範囲内で、モバイル・デバイスにおいてローカルに、またはデータ・ネットワークを通じて、データをこのような実施形態に提供し得る。
【００２７】
例示的な諸実施形態は、特定のコード、設計、アーキテクチャ、プロトコル、レイアウト、概略図、およびツールを例としてのみ用いて説明されており、例示的な諸実施形態を限定するものではない。さらに、例示的な諸実施形態は、場合によっては、説明を明瞭にするために、特定のソフトウェア、ツール、およびデータ処理環境を例としてのみ用いて説明されている。例示的な諸実施形態は、他の同等の、または同様の目的の構造、システム、アプリケーション、またはアーキテクチャと併用され得る。例えば、他の同等のモバイル・デバイス、構造、システム、アプリケーション、またはそのためのアーキテクチャが本発明の範囲内で本発明のこのような実施形態と併用され得る。例示的な一実施形態は、ハードウェア、ソフトウェア、またはこれらの組み合わせの形で実施され得る。
【００２８】
本開示における例は、説明を明瞭にするためにのみ用いられており、例示的な諸実施形態を限定するものではない。追加のデータ、動作、アクション、タスク、活動、および操作が本開示から考えられることになり、同じものが例示的な諸実施形態の範囲内で企図される。
【００２９】
本明細書において列挙された利点はいずれも単なる例にすぎず、例示的な諸実施形態への限定であることを意図されていない。さらなる、または異なる利点が特定の例示的な諸実施形態によって実現され得る。さらに、特定の例示的な実施形態は、以上において列挙された利点のうちの一部、全てを有するか、またはそれらを有しなくてもよい。
【００３０】
図を参照すると、ならびに特に、図１および図２を参照すると、これらの図は、例示的な諸実施形態が実施され得るデータ処理環境の例示的な図である。図１および図２は単なる例にすぎず、異なる実施形態が実施され得る環境に関するいかなる限定を主張または示唆することも意図されていない。特定の実装形態は以下の説明に基づいて図示の環境に多くの変更をなし得る。
【００３１】
図１は、例示的な諸実施形態が実施され得るデータ処理システムのネットワークのブロック図を示す。データ処理環境１００は、例示的な諸実施形態が実施され得るコンピュータのネットワークである。データ処理環境１００はネットワーク１０２を含む。ネットワーク１０２は、データ処理環境１００内の互いに接続された様々なデバイスおよびコンピュータの間の通信リンクを提供するために用いられる媒体である。ネットワーク１０２は、有線、無線通信リンク、または光ファイバ・ケーブルなどの、接続を含み得る。
【００３２】
クライアントまたはサーバは、ネットワーク１０２に接続された特定のデータ処理システムの単なる例示の役割にすぎず、これらのデータ処理システムのための他の構成または役割を除外することを意図されていない。サーバ１０４およびサーバ１０６は記憶ユニット１０８と共にネットワーク１０２に結合している。１つまたは複数の実施形態では、ストレージ１０８は、１つまたは複数のモデル、領域特定的分類器、領域非依存的要素モデル、領域非依存的異常記述、領域特定的異常記述、または要素記述、あるいはその組み合わせをデータベース１０９内に記憶するように構成され得る。ソフトウェア・アプリケーションはデータ処理環境１００内の任意のコンピュータ上で実行し得る。クライアント１１０、１１２、および１１４もまた、ネットワーク１０２に結合されている。サーバ１０４もしくは１０６、またはクライアント１１０、１１２、もしくは１１４などの、データ処理システムはデータを包含し得、その上で実行するソフトウェア・アプリケーションまたはソフトウェア・ツールを有し得る。
【００３３】
単なる一例として、かつこのようなアーキテクチャに対するいかなる限定をも示唆するものではなく、図１は、実施形態の例示的な実装形態において使用可能である特定のコンポーネントを示す。例えば、サーバ１０４および１０６、ならびにクライアント１１０、１１２、１１４は、単なる例としてのサーバおよびクライアントとして示されており、クライアント−サーバ・アーキテクチャに対する限定を示唆するために示されているわけではない。別の例として、一実施形態は、図示のように、いくつかのデータ処理システムおよびデータ・ネットワークにわたって分散させることができ、それに対して、別の実施形態は、例示的な諸実施形態の範囲において単一のデータ処理システム上で実施することができる。データ処理システム１０４、１０６、１１０、１１２、および１１４はまた、クラスタ、パーティション、および実施形態を実施するために適した他の構成内の例示的なノードを表す。
【００３４】
デバイス１３２は、本明細書において説明されるデバイスの一例である。例えば、デバイス１３２は、スマートフォン、ＰＤＡ、タブレット・コンピュータ、ラップトップ・コンピュータ、据え置きもしくは携帯形式のクライアント１１０、ウェアラブル・コンピューティング・デバイス、または任意の他の好適なデバイスの形態を取ることができる。図１における別のデータ処理システムにおいて実行するように説明されるソフトウェア・アプリケーションはいずれも、デバイス１３２において同様の仕方で実行するように構成することができる。図１における別のデータ処理システムにおいて記憶または生成されるデータまたは情報はいずれも、デバイス１３２において同様の仕方で記憶または生成するように構成することができる。
【００３５】
サーバ１０４のアプリケーション１０５は、本明細書において説明されるとおりの領域非依存的異常分析を用いて画像のテキスト記述を生成するためのプロセスの一実施形態を実施する。サーバ１０６の認知アプリケーション１０７は、本明細書において様々な実施形態に関して説明されるとおりの認知推論システムを実施する。撮像デバイス１１６は、テキスト記述が生成されるよう所望される、身体部分などの、被写体または物体を表現する画像データを取り込むように構成されている。特定の諸実施形態では、撮像デバイス１１６は、カメラ、Ｘ線機械、スキャナ、または任意の他の好適な撮像デバイスを含み得る。他の諸実施形態では、撮像デバイス１１６は省略されてもよく、画像データは別の好適なソースから得られてもよい。
【００３６】
サーバ１０４および１０６、記憶ユニット１０８、ならびにクライアント１１０、１１２、および１１４は、有線接続、無線通信プロトコル、または他の好適なデータ接続性を用いてネットワーク１０２に結合し得る。クライアント１１０、１１２、および１１４は、例えば、パーソナル・コンピュータまたはネットワーク・コンピュータであり得る。
【００３７】
図示の例では、サーバ１０４は、ブート・ファイル、オペレーティング・システム・イメージ、およびアプリケーションなどのデータをクライアント１１０、１１２、および１１４に提供し得る。クライアント１１０、１１２、および１１４は、本例では、サーバ１０４に対するクライアントであり得る。クライアント１１０、１１２、１１４、またはこれらの任意の組み合わせは、それらの固有のデータ、ブート・ファイル、オペレーティング・システム・イメージ、およびアプリケーションを含み得る。データ処理環境１００は、図示されていない追加のサーバ、クライアント、および他のデバイスを含み得る。
【００３８】
図示の例では、データ処理環境１００はインターネットであり得る。ネットワーク１０２は、伝送制御プロトコル／インターネット・プロトコル（Transmission Control Protocol/Internet Protocol、ＴＣＰ／ＩＰ）および他のプロトコルを用いて互いに通信するネットワークおよびゲートウェイの集合を表し得る。インターネットの中核には、データおよびメッセージを経路制御する、数千もの民営、官営、教育、および他のコンピュータ・システムを含む、大ノードまたはホスト・コンピュータの間のデータ通信リンクのバックボーンがある。無論、データ処理環境１００はまた、例えば、イントラネット、ローカル・エリア・ネットワーク（local area network、ＬＡＮ）、またはワイド・エリア・ネットワーク（widearea network、ＷＡＮ）などの、多数の異なる種類のネットワークとして実施されてもよい。図１は、一例として意図されており、異なる例示的な諸実施形態のためのアーキテクチャ上の制限として意図されてはいない。
【００３９】
利用法の中でもとりわけ、データ処理環境１００は、例示的な諸実施形態が実施され得るクライアント−サーバ環境を実施するために利用され得る。クライアント−サーバ環境は、アプリケーションが、クライアント・データ処理システムとサーバ・データ処理システムとの間の対話性を用いて機能するよう、ソフトウェア・アプリケーションおよびデータがネットワークにわたって分散することを可能にする。データ処理環境１００はまた、ネットワークにわたって分散した相互運用可能なソフトウェア・コンポーネントが、首尾一貫した業務アプリケーションとして互いにパッケージ化され得る、サービス指向アーキテクチャを採用し得る。データ処理環境１００はまた、クラウドの形態を取り、最小限の管理労力またはサービスのプロバイダとの対話をもって迅速にプロビジョニングし、解放することができる構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械、およびサービス）の共用プールへの簡便なオンデマンド・ネットワーク・アクセスを可能にするためのサービス提供のクラウド・コンピューティング・モデルを採用し得る。
【００４０】
図２を参照すると、本図は、例示的な諸実施形態が実施され得るデータ処理システムのブロック図を示す。データ処理システム２００は、図１におけるサーバ１０４および１０６、あるいはクライアント１１０、１１２、および１１４などの、コンピュータ、あるいはプロセスを実施するコンピュータ可用プログラム・コードまたは命令が例示的な諸実施形態のために配置され得る別の種類のデバイスの一例である。
【００４１】
データ処理システム２００はまた、例示的な諸実施形態のプロセスを実施するコンピュータ可用プログラム・コードまたは命令が配置され得るデータ処理システムまたはその内部の構成を表現する。データ処理システム２００は単なる一例としてのコンピュータとして説明されているにすぎず、それに限定されるわけではない。他のデバイスの形態の諸実装形態は、タッチ・インターフェースを追加することなどによって、データ処理システム２００を変更し得、さらに、本明細書において説明されるデータ処理システム２００の動作および機能の一般的説明から逸脱することなく、特定の図示されたコンポーネントをデータ処理システム２００から除き得る。
【００４２】
図示の例では、データ処理システム２００は、ノース・ブリッジおよびメモリ・コントローラ・ハブ（North Bridge and memory controller hub、ＮＢ／ＭＣＨ）２０２、ならびにサウス・ブリッジおよび入力／出力（Ｉ／Ｏ）コントローラ・ハブ（South Bridge and input/output controller hub、ＳＢ／ＩＣＨ）２０４を含むハブ・アーキテクチャを利用する。処理ユニット２０６、主メモリ２０８、およびグラフィック・プロセッサ２１０がノース・ブリッジおよびメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）２０２に結合されている。処理ユニット２０６は１つまたは複数のプロセッサを包含し得、１つまたは複数の異種プロセッサ・システムを用いて実施され得る。処理ユニット２０６はマルチコア・プロセッサであり得る。グラフィック・プロセッサ２１０は、特定の諸実装形態では、アクセラレイティッド・グラフィックス・ポート（accelerated graphics port、ＡＧＰ）を通じてＮＢ／ＭＣＨ２０２に結合されていてもよい。
【００４３】
図示の例では、ローカル・エリア・ネットワーク（ＬＡＮ）アダプタ２１２がサウス・ブリッジおよびＩ／Ｏコントローラ・ハブ（ＳＢ／ＩＣＨ）２０４に結合されている。オーディオ・アダプタ２１６、キーボードおよびマウス・アダプタ２２０、モデム２２２、リード・オンリー・メモリ（read only memory、ＲＯＭ）２２４、ユニバーサル・シリアル・バス（universalserial bus、ＵＳＢ）、および他のポート２３２、ならびにＰＣＩ／ＰＣＩｅデバイス２３４がバス２３８を通じてサウス・ブリッジおよびＩ／Ｏコントローラ・ハブ２０４に結合されている。ハード・ディスク・ドライブ（hard disk drive、ＨＤＤ）またはソリッド・ステート・ドライブ（solid-statedrive、ＳＳＤ）２２６ならびにＣＤ−ＲＯＭ２３０がバス２４０を通じてサウス・ブリッジおよびＩ／Ｏコントローラ・ハブ２０４に結合されている。ＰＣＩ／ＰＣＩｅデバイス２３４は、例えば、イーサネット（Ｒ）アダプタ、アドイン・カード、およびノートブック・コンピュータのためのＰＣカードを含み得る。ＰＣＩはカード・バス・コントローラを用い、その一方で、ＰＣＩｅは用いない。ＲＯＭ２２４は、例えば、フラッシュ・バイナリ入力／出力システム（binary input/output system、ＢＩＯＳ）であり得る。ハード・ディスク・ドライブ２２６およびＣＤ−ＲＯＭ２３０は、例えば、インテグレーティド・ドライブ・エレクトロニクス（integrated drive electronics、ＩＤＥ）、シリアル・アドバンスド・テクノロジー・アタッチメント（serial advanced technology attachment、ＳＡＴＡ）インターフェース、あるいは外部ＳＡＴＡ（external-SATA、ｅＳＡＴＡ）およびマイクロＳＡＴＡ（micro-SATA、ｍＳＡＴＡ）などの変形体を用い得る。スーパーＩ／Ｏ（super I/O、ＳＩＯ）デバイス２３６がバス２３８を通じてサウス・ブリッジおよびＩ／Ｏコントローラ・ハブ（ＳＢ／ＩＣＨ）２０４に結合され得る。
【００４４】
主メモリ２０８、ＲＯＭ２２４、またはフラッシュ・メモリ（図示せず）などの、メモリはコンピュータ可用記憶デバイスのいくつかの例である。ハード・ディスク・ドライブまたはソリッド・ステート・ドライブ２２６、ＣＤ−ＲＯＭ２３０、ならびに他の同様に可用のデバイスは、コンピュータ可用記憶媒体を含むコンピュータ可用記憶デバイスのいくつかの例である。
【００４５】
オペレーティング・システムが処理ユニット２０６上で実行する。オペレーティング・システムは図２におけるデータ処理システム２００内の様々なコンポーネントを協調させ、これらを制御する。オペレーティング・システムは、限定するものではないが、サーバ・システム、パーソナル・コンピュータ、およびモバイル・デバイスを含む、任意の種類のコンピューティング・プラットフォームのための市販のオペレーティング・システムであり得る。オブジェクト指向または他の種類のプログラミング・システムがオペレーティング・システムと連係して動作し、データ処理システム２００上で実行するプログラムまたはアプリケーションからオペレーティング・システムにコールを提供し得る。
【００４６】
オペレーティング・システム、オブジェクト指向プログラミング・システムのための命令、ならびに図１における認知アプリケーション１０５および文書オーサリング・アプリケーション１０７などの、アプリケーションまたはプログラムは、ハード・ディスク・ドライブ２２６上のコード２２６Ａの形態によるなど、記憶デバイス上に配置されており、処理ユニット２０６による実行のために、主メモリ２０８などの、１つまたは複数のメモリのうちの少なくとも１つの内部にロードされ得る。例示的な諸実施形態のプロセスは、処理ユニット２０６によって、例えば、主メモリ２０８、リード・オンリー・メモリ２２４などの、メモリ内、または１つまたは複数の周辺デバイス内に配置され得る、コンピュータ実施命令を用いて遂行され得る。
【００４７】
さらに、１つの場合には、コード２２６Ａはネットワーク２０１Ａを通じてリモート・システム２０１Ｂからダウンロードされてもよく、この場合、同様のコード２０１Ｃが記憶デバイス２０１Ｄ上に記憶される。別の場合には、コード２２６Ａはネットワーク２０１Ａを通じてリモート・システム２０１Ｂにダウンロードされてもよく、この場合、ダウンロードされたコード２０１Ｃは記憶デバイス２０１Ｄ上に記憶される。
【００４８】
図１〜図２におけるハードウェアは実装形態に依存して異なり得る。フラッシュ・メモリ、同等の不揮発性メモリ、または光ディスク・ドライブ、ならびに同様のものなどの、他の内部ハードウェアまたは周辺デバイスが、図１〜図２に示されるハードウェアに加えて、またはその代わりに用いられてもよい。加えて、例示的な諸実施形態のプロセスはマルチプロセッサ・データ処理システムに適用されてもよい。
【００４９】
例示の実施例によっては、データ処理システム２００は、概して、フラッシュ・メモリを用いて、オペレーティング・システム・ファイルまたはユーザ生成データあるいはその両方を記憶するための不揮発性メモリを提供するように構成された、パーソナル・デジタル・アシスタント（personal digital assistant、ＰＤＡ）であり得る。バス・システムは、システム・バス、Ｉ／Ｏバス、およびＰＣＩバスなどの、１つまたは複数のバスを含み得る。無論、バス・システムは、ファブリックまたはアーキテクチャに取り付けられた異なるコンポーネントまたはデバイスの間のデータの転送を提供する任意の種類の通信ファブリックまたはアーキテクチャを用いて実施され得る。
【００５０】
通信ユニットは、モデムまたはネットワーク・アダプタなどの、データを伝送および受信するために用いられる１つまたは複数のデバイスを含み得る。メモリは、例えば、主メモリ２０８、またはノース・ブリッジおよびメモリ・コントローラ・ハブ２０２内に見出されるキャッシュなどの、キャッシュであり得る。処理ユニットは１つまたは複数のプロセッサまたはＣＰＵを含み得る。
【００５１】
図１〜図２における図示の例、および上述の例は、アーキテクチャ上の制限を示唆することを意図されていない。例えば、データ処理システム２００はまた、モバイルまたはウェアラブル・デバイスの形態を取ることに加えて、タブレット・コンピュータ、ラップトップ・コンピュータ、または電話デバイスであってもよい。
【００５２】
コンピュータまたはデータ処理システムが仮想機械、仮想デバイス、または仮想コンポーネントとして説明されている場合には、仮想機械、仮想デバイス、または仮想コンポーネントは、データ処理システム２００が、データ処理システム２００内に示されたいくつかまたは全てのコンポーネントの仮想化された顕示を用いる様態で動作する。例えば、仮想機械、仮想デバイス、または仮想コンポーネントにおいて、処理ユニット２０６は、ホスト・データ処理システム内で利用可能なハードウェア処理ユニット２０６のうちの全てもしくは数個の仮想化インスタンスとして顕示され、主メモリ２０８は、ホスト・データ処理システム内で利用可能であり得る主メモリ２０８の全てもしくは一部の仮想化インスタンスとして顕示され、ディスク２２６は、ホスト・データ処理システム内で利用可能であり得るディスク２２６の全てまたは一部の仮想化インスタンスとして顕示される。このような場合におけるホスト・データ処理システムがデータ処理システム２００によって表現される。
【００５３】
図３を参照すると、本図は、例示的な一実施形態に係る領域非依存的異常分析を用いて画像のテキスト記述を生成するためのアプリケーション３０２の例示的な構成のブロック図を示す。アプリケーション３０２は図１におけるアプリケーション１０５の一例である。アプリケーション３０２は、入力画像３０４、ならびにテキストもしくはメタデータ３０６またはその両方を受信するように構成された領域特定的分類器コンポーネント３０８を含む。入力画像３０４は、１つまたは複数の特徴または要素の領域特定的テキスト記述が所望される１つまたは複数の特徴または要素を包含する画像である。テキストまたはメタデータ３０６あるいはその両方は、入力画像３０４のモダリティまたは視点などの入力画像３０４のコンテキストを指示するテキスト、メタデータ、または他の追加情報を含む。特定の一実施形態では、画像のモダリティは、限定するものではないが、Ｘ線撮影、超音波、核医学、コンピュータ断層撮影（ＣＴ）、磁気共鳴映像法（magnetic resonance imaging、ＭＲＩ）、および可視光を含む、身体の一部分の構造または機能画像を獲得するために用いられる一種の撮像機器を含む。
【００５４】
領域特定的分類器コンポーネント３０８は、１つまたは複数の領域特定的分類器のセットを適用し、入力画像３０４、ならびにテキストもしくはメタデータ３０６またはその両方に基づいて入力画像３０４の広い領域分類を決定するように構成されている。本実施形態では、領域非依存的要素モデルコンポーネント３１０が、分類結果に基づいて領域非依存的要素モデルのうちの１つまたは複数を選択するように構成されている。１つまたは複数の領域非依存的要素モデルは、入力画像３０４内に見出され得る要素または特徴のモデルを含む。本実施形態では、要素区分化コンポーネント３１２が、１つまたは複数の領域非依存的要素モデルに対応する入力画像３０４内の要素を区分化することを試みる。１つまたは複数の実施形態では、要素は、予想される外観、位置、サイズ、または形状、あるいはその組み合わせを有する画像内で見出された特徴である。例えば、要素は、身体器官の予想される外観、位置、サイズ、または形状、あるいはその組み合わせを含み得る。領域非依存的異常検出コンポーネント３１４が、区分化された要素を調査し、基礎にした領域非依存的モデルからの区分化された要素の領域非依存的統計的異常または偏差を決定／検出するように構成されている。１つまたは複数の実施形態では、統計的異常は、予想または許容量を超える、要素の予想される位置、サイズ、または形状、あるいはその組み合わせからの偏差を含み得る。
【００５５】
本実施形態では、領域非依存的異常記述コンポーネント３１６が、統計的異常の特徴を領域非依存的な仕方で説明する領域非依存的異常記述を生成する。特定の一実施形態では、領域非依存的異常記述は、特定の領域に特定的でない用語を用いた異常のテキスト記述を含む。
【００５６】
本実施形態では、領域特定的再特徴付けコンポーネント３１８が、領域非依存的異常記述を、統計的異常を記述するための、決定された特定の領域に特定的な用語を含む、統計的異常の領域特定的テキスト記述に翻訳または再特徴付けする。本実施形態では、テキスト記述コンポーネント３２０が、統計的異常を記述するための領域特定的用語を用いて領域特定的テキスト記述を表現する出力テキスト記述を生成する。
【００５７】
図４を参照すると、本図は、別の例示的な実施形態に係る領域非依存的異常分析を用いて医用画像のテキスト記述を生成するためのアプリケーション４０２の例示的な構成のブロック図を示す。本実施形態では、アプリケーション４０２は、医用画像解釈に関連する動作を遂行し、医用画像内における身体部分の異常領域または部分を識別するように構成されている。
【００５８】
本実施形態では、アプリケーション４０２は画像４０４ならびにモダリティおよび視点情報４０６を受信する。特定の一実施形態では、モダリティおよび視点情報４０６は、図３の領域特定的分類器３０８などの領域特定的分類器からの出力として受信される。特定の諸実施形態では、医用画像のために、モダリティおよび視点情報４０６は概して、分類情報のいくつかの部分から成る。この特定の実施形態では、１つの分類情報部分は、Ｘ線、ＣＴ、陽電子射出断層撮影法（positron emission tomography、ＰＥＴ）、ＭＲＩ、顕微鏡法等などの、用いられた放射線学または画像の種類である。分類情報の別の部分は、脚、心臓、腎臓、脳等などの、画像４０４内の解剖の部分である。分類情報の別の部分は、用いられた撮像方向である。例えば、胸部Ｘ線は、患者が台上に横たわった状態で前後方向（「前後（anterior-posterior）」もしくは「ＡＰ」）に撮影するか、または患者が立ち上がった状態で側方（「横」）方向から撮影することができる。これらの２つの視点から見える要素は、それらの予想される外観（位置、形状、テクスチャ等）のとおり、時として異なる。
【００５９】
本実施形態では、画像４０４内の予想される要素４１０が、モダリティおよび視点情報４０６に基づいてデータベース１０９内の意味論的データベース内で探索される。例えば、ＡＰ胸部Ｘ線については、左肺、右肺、心臓、横隔膜、および鎖骨が見えることを予想するであろう。これらの要素は、粗い外観、サイズ、形状、または位置、あるいはその組み合わせを含む特定の粗い特徴付け４１２を有すると予想される。例えば、左肺はＡＰ  Ｘ線の右側に現れ、大きな縦長の領域であり、呈色が暗く、画像の高さの約半分になる。他の予想される要素のためにデータベース１０９内のグラフィカル・データベースから探索される同様の粗い特徴付けも存在する。構造区分化４０８を用いて顕在的な外観に基づいて入力画像４０４を可能性のある領域に細分し、候補領域を形成する。本実施形態では、候補領域を粗い記述と突き合わせ、予想される要素の名称と画像領域との間の対応およびタグ付け４１４を発展させる。
【００６０】
代替的な実施形態では、粗いグラフィカルな記述の代わりに、アクティブ・シェイプ・モデル（Active Shape Model、ＡＳＭ）またはアクティブ・アピアランス・モデル（ActiveAppearance Model、ＡＡＭ）などのより詳細なモデルが、予想される要素ごとに取得されてもよく、関連付けられたより洗練された区分化方法が、各要素を位置付けるために入力画像に適用される。ＡＳＭおよびＡＡＭなどの本明細書において説明される方法は医療分野に特化したものではなく、多くの異なる種類の物体（例えば、飛行機、自動車、および馬）に用いることができることを理解されたい。
【００６１】
本実施形態では、部分的に区分化された画像は、異常を見出すために、領域非依存的な仕方で調査される。特定の一実施形態では、予想される要素が欠落している／提示過少であるかどうか（４１６）を判定するべく、全ての予想される要素が存在し、正しい数量であることを確認するための比較が行われる。例えば、右肺を見出すことができない場合には、それがつぶれてしまっている可能性があり、それゆえ、その不存在が注目されるべきである。同様に、予想される要素のリストの一員でなかった別個の物体（例えば、銃弾）が見出された場合には、この余分／提示過多要素４１８も記録されるべきである。いくつかの種類の画像にとって、存在または不存在のみでは十分でなく、重要であるのは、任意の種類の要素の予想される数である。例えば、末梢血液塗抹顕微鏡画像および赤血球の場合には  −  Ｍ個の他の要素（例えば、白血球）あたり、これらの要素がＮ個見えるはずである。特定の例では、このような異常の領域非依存的テキスト記述は「欠落した要素２」または「過剰な数の要素７」を含み得る。
【００６２】
本実施形態では、画像要素のより詳細な分析が要素の形状およびテクスチャも調査する。本実施形態では、要素の統計的輪郭４２２を識別し、要素の異常区分４２０を識別するべく、関連付けられた画像要素のために、統計モデルがデータベース１０９から取得される。一実施形態では、アプリケーション４０２は輪郭ベースの形状モデルを用いて各要素を比較する。別の実施形態では、アプリケーション４０２はテクスチャ・ベースの内部モデルを用いて各要素を比較する。本実施形態では、要素の統計的外観４２６を識別し、統計的外観４２６の異常領域４２４を決定するために、統計的外観モデルがさらにデータベース１０９から取得される。特定の諸実施形態では、統計モデルは、同じ種類の多数の「健全な」例示画像内の適切な要素にわたる、平均的外観、および変動の様々な様式の尤度を得ることによって学習される。例えば、検出された変動が集合の平均から２標準偏差より大きく離れているときには、異常が標識され得るであろう。または、より洗練された分析においては、訓練例の主成分分析（principle component analysis、ＰＣＡ）分解において、観察された変動の尤度が１パーセント（１％）未満であるときに、異常が宣言され得る。これらの種類の異常の例示的な最初の領域非依存的記述は、「境界区分１２上の過剰な湾曲」または「領域８における条線が不十分なテクスチャ」を含み得る。特定の諸実施形態では、「要素４が大きすぎる」または「要素２３が、澄明でなく、まだらのテクスチャ」などの全体的な特徴付けも可能である。
【００６３】
アプリケーション４０２はさらに、領域非依存的異常記述を領域依存的テキストに変換するように構成されている。例えば、末梢血液塗抹中に見出されたくぼみのある円形構造が少なすぎる場合には、これは、低赤血球（ＲＢＣ）数を指示する、欠落／提示過少要素４１６の領域特定的テキスト特徴付け４２８として、医学関連テキスト文字列「低ＲＢＣ」に翻訳され得るであろう。同様に、腹部のＣＴ画像（コンピュータ断層撮影）内の卵形構造内に、予想外の暗い色の要素が現れた場合には、この観察は、余分／提示過多要素４１８の領域特定的テキスト特徴付け４３０として、語句「左腎臓内に暗い結節」に変換され得るであろう。
【００６４】
輪郭形状および内部外観の異常はまた、より意味のある形に変換され得る。例えば、任意の物体のための輪郭の区間がいずれかの位置において外側に膨れていた場合には、この異常は、まず、領域非依存的用語「要素６の輪郭の区間４５における膨れ」に翻訳される。次に、異形の輪郭を有する要素の既知の識別、および異形の部位のゆえに、脚部Ｘ線における予想外の発見は、異常区分要素４２２の領域特定的テキスト特徴付け４３２として「大腿骨頭部付近のこぶ」と描写され得るであろう。別の例では、大きな楕円形物体の区間が、胸部Ｘ線において予想されるよりも暗いものとして見出される。包含する要素の既知の識別、およびこの要素内における異常の部位のゆえに、説明は、単なる「要素９内の暗い領域」から、異常領域要素４２４の領域特定的テキスト特徴付け４３４として「影のある下葉」に変換され得る。１つまたは複数の実施形態では、このような領域特定的テキスト記述は異常のカテゴリを任意の特定の用語に翻訳するだけでなく、異常の関連する解剖学的部位も提供する。
【００６５】
１つまたは複数の実施形態は、入力画像から決定された要素内の異常の検出のために領域非依存的要素モデルおよび領域非依存的方法の使用を頼りにする。１つまたは複数の実施形態では、ほとんどの関心項目は、３つの種類：表面（主として２次元）、管（主として１次元）、および物体もしくは小塊（主として３次元）のうちの１つまたは複数としてモデル化することができる。特定の諸実施形態では、特定の種類の測定は、これらの種類の各々、および測定の性質に基づいて、異常を見出すためのプロセスに関連付けられる。
【００６６】
次に図５Ａ〜図５Ｂを参照すると、これらの図は、例示的な一実施形態に係る医用画像分析の表面プリミティブの一例を示す。図５Ａは、ＡＰ胸部Ｘ線の横隔膜を含む表面プリミティブの一例を示す。表面プリミティブのための基本的測定は湾曲５０２のそのパターンであり、例えば、それは初めは直線状であり、その後、下方へ鋭く湾曲する。一実施形態では、湾曲５０２の左側のパターンは言葉によって表現されず、むしろ、図５Ｂに示されるとおりの値５０４のグラフによって表現される。横隔膜の例示的な表面プリミティブにおいて、湾曲パターンは、一方の端部において出発し、最もうまく整合するよう輪郭に沿って移動することによって特徴付けられ得る。一実施形態では、健全な個体からのこのようなグラフの集合が「正常帯（band of normalcy）」を規定する。本実施形態では、帯に入らない、入力画像から導出された試験横隔膜輪郭の部分が異常と考えられる。
【００６７】
他の諸実施形態では、湾曲が、表面のために評価することができる唯一の特性ではない。別の可能性は、横隔膜のテクスチャを決定するために、輪郭の両側の画像パッチ５０３Ａおよび５０３Ｂを見ることである。特定の諸実施形態では、画像パッチ５０３Ａおよび５０３Ｂは、それらの平均グレースケール値、強度の標準偏差、および縁部方向の分布によって表現することができる。この場合も先と同様に、「正常」の定量化された定義を提供するために、統計的分析をパッチ５０３Ａおよび５０３Ｂ（または表面にわたるパッチの相違）に対して遂行することができる。
【００６８】
実施形態によっては、「正常」は他の個体に対してのみ定義されなくてもよい。多くの解剖学的構造は対をなしており、これらは両方とも同じ画像内において可視である。それゆえ、横隔膜の左側は、画像の集合全体と比べて扁平に見え得るが、それは、同じ画像内で見える横隔膜の右側と湾曲が同様である。それゆえ、いくらか通常と異なっても、必ずしも異常として標識されることにはならないであろう。別の例では、横隔膜の相対位置が目印に対してチェックされ得る。
【００６９】
次に図６Ａ〜図６Ｂを参照すると、これらの図は、例示的な一実施形態に係る医用画像分析の管プリミティブの一例を示す。図６Ａは、血管６０２を含む管プリミティブの一例を示す。１つまたは複数の実施形態では、管プリミティブは、直線的に延びた項目である。管は、概して、表面の湾曲が変化することができるのと全く同様に、それらの長さに沿って変化することができる方向を有する。おそらく、より興味深いことに、管は、対称軸に沿って変化する特性幅を有する。したがって、管プリミティブのための測定値は管幅である。図６Ｂは、血管６０２の輪郭に沿った管幅変動６０４のグラフを示す。管幅変動６０４のグラフは、異常を強調するために、健全な個体から得られた同様のグラフと比較することができる。例えば、冠動脈における通常と異なる狭小化はアテローム性動脈硬化症の兆候であり、それゆえ、異常の領域特定的テキスト記述に描写するべき重要な態様である。識別され得る別の異常は、例えば、骨折を指示し得る不均質なテクスチャである。管のねじれ、伸展、または分枝を探すなど、軸方向形状または相対位置を用いて、他の異常も識別され得る。目印に対する偏位を探すことによって、さらに他の異常も識別され得る。
【００７０】
次に図７Ａ〜図７Ｂを参照すると、これらの図は、例示的な一実施形態に係る医用画像分析の立体３次元（３Ｄ）物体プリミティブの一例を示す図である。図７Ａは肺の３Ｄ物体プリミティブの一例を示す。表面プリミティブと同様に、３Ｄ物体プリミティブは、任意の開始基準点に対する位置の関数としてグラフ化することができる湾曲を有する輪郭を有する。管と同様に、３Ｄ物体プリミティブは、軸方向の管位置の代わりに物体重心からのラジアル角度の関数としてグラフ化することができる幅を有する。図７Ａは肺の３Ｄ物体プリミティブのラジアル７０２を示す。図７Ｂは、母集団の統計モデルを発展させ、かくして、正常形状対異常形状の指針を提供するために用いることができる図７Ａの３Ｄ物体プリミティブの重心からのラジアル距離７０４をプロットするグラフを示す。
【００７１】
境界に加えて、物体はまた、多数の仕方で外観を特徴付けることができる内部区域を有する。特定の諸実施形態では、小さい画像パッチ７０３Ａ〜７０３Ｃは、それらの強度分布、および畳み込みテクスチャ核に対する応答によって記述することができる。さらに、各パッチ７０３Ａ〜７０３Ｃの局所位置が分かっており、これにより、予想される外観の領域的特徴付けを発展させることもできる。すなわち、単に、特定のパッチが、肺から抽出された全てのパッチの平均よりも暗いというだけで、それが必ずしも異常というわけではない。パッチが中心付近に由来するものであるとすれば、このような領域モデルを所与とすると、パッチはより暗いことが予想されるであろう。
【００７２】
また、表面プリミティブのために説明されたように、多数の他の個体から導出された単なる集計モデルの代わりに、対応する対側要素の間で比較を遂行することができる。肺の場合には、例えば、内部境界と脊柱中心との間の距離が両側で正常範囲内にあるように見え得るであろう。しかし、一方の肺が他方よりもこの線に著しく接近していた場合には、これは、注目に値する異常となり得るであろう。
【００７３】
与えられた例は主として医療分野からのものであったが、本方法は他の種類の画像にも用いられ得る。（外観によるのか、関連付けられたテキストによるのか、それとも他の手段によるのかにかかわりなく）最初に「浜辺シーン」として分類された画像を考える。このカテゴリを所与とすると、画像の底部（「砂」）における明るい色の帯、画像の中央（「海洋」）付近における濃青色の帯、および中央（「空」）の上方の淡青色の区域を見出すことが予想される。上述されたように、砂の部分内の偏差は、代わりに、「入江」の図的記述をもたらすことができる。砂領域は通例、その中に明るい色の斑点を有すると仮定するならば（ブランケットおよび傘）、これらの斑点が欠落している場合には、このとき、記述は（単に「斑点の欠落」ではなく）「何もない浜辺」となるであろう。同様に、空領域はその中に数個の不定形の白っぽい小塊を有すると予想され得るであろう（「雲」）。カテゴリのための統計的平均と比べてこれらの白っぽい小塊が過度に多く存在する場合には、全体的記述は（単に「過度に多くの白い小塊」ではなく）「嵐の浜辺」に変更され得るであろう。最後に、空領域は通例、黄色っぽい円形要素（「太陽」）を示し得るであろう。黄色っぽい円形要素が存在するが、緑色の誤った色である場合には、（「上部領域内の誤った色の要素」とは対照的に）テキスト記述「緑色の太陽を有する浜辺シーン」が生成される。
【００７４】
図８を参照すると、本図は、例示的な一実施形態に係る領域非依存的異常分析を用いて画像のテキスト記述を生成するための例示的なプロセス８００のフローチャートを示す。１つまたは複数の実施形態では、プロセス８００はアプリケーション１０５において実施することができる。他の諸実施形態では、プロセス８００はクライアント・デバイス１１０またはデバイス１３２において実施することができる。
【００７５】
ブロック８０２において、アプリケーション１０５は、１つまたは複数の特徴または要素の領域特定的テキスト記述が所望される１つまたは複数の特徴または要素を包含する入力画像データを受信する。ブロック８０４において、アプリケーション１０５は、入力画像データのコンテキストを指示するコンテキスト情報を受信する。特定の諸実施形態では、コンテキスト情報は、入力画像データに関連付けられたテキストまたはメタデータあるいはその両方を含む。特定の諸実施形態では、入力画像データのコンテキストは入力画像データのモダリティおよび視点を含む。
【００７６】
ブロック８０６において、アプリケーション１０５は、コンテキスト情報に基づいて、入力画像データによって表現された全体的画像を領域特定的カテゴリに分類する。ブロック８０８において、アプリケーション１０５は領域特定的カテゴリに基づいて画像内の１つまたは複数の要素を区分化する。特定の一実施形態では、１つまたは複数の要素を区分化することは、領域特定的カテゴリに特定的な区分化手順を用いる。別の特定の実施形態では、１つまたは複数の要素を区分化することは、要素に特定的な区分化手順を用いる。別の実施形態では、１つまたは複数の要素を区分化することは、一般的に区分化された要素を、カテゴリに関連付けられた粗いモデルと整合させる。
【００７７】
ブロック８１０において、アプリケーション１０５は１つまたは複数の要素の各要素を領域非依存的モデルと比較し、１つまたは複数の要素内の統計的異常を検出する。一実施形態では、アプリケーション１０５は輪郭ベースの形状モデルを用いて各要素を比較する。別の実施形態では、アプリケーション１０５はテクスチャ・ベースの内部モデルを用いて各要素を比較する。
【００７８】
ブロック８１２において、アプリケーション１０５は、１つまたは複数の領域非依存的テキスト語句を用いて、検出された統計的異常を特徴付ける。一実施形態では、検出された統計的異常を特徴付けることは、欠落または提示過少要素に注目することを含む。一実施形態では、検出された統計的異常を特徴付けることは、余分または提示過多要素に注目することを含む。
【００７９】
ブロック８１４において、アプリケーション１０５は、領域特定的カテゴリに基づいて１つまたは複数の領域非依存的テキスト語句を１つまたは複数の領域特定的記述に変換する。ブロック８１６において、アプリケーション１０５は１つまたは複数の領域特定的記述を出力する。その後、プロセス８００は終了される。
【００８０】
それゆえ、例示的な諸実施形態において、領域非依存的異常分析ならびに他の関連特徴、機能、または動作を用いて画像のテキスト記述を生成するためのコンピュータ実施方法、システムまたは装置、ならびにコンピュータ・プログラム製品が提供される。それらの実施形態または部分がある種のデバイスに関して説明されている場合には、コンピュータ実施方法、システムまたは装置、コンピュータ・プログラム製品、あるいはそれらの部分は、その種のデバイスの好適な同等の顕示とともに使用するように適合または構成される。
【００８１】
一実施形態がアプリケーションにおいて実施されるものとして説明される場合には、Softwareas a Service（ＳａａＳ）モデルの形でのアプリケーションの配信が例示的な諸実施形態の範囲内において企図される。ＳａａＳモデルでは、一実施形態を実施するアプリケーションの能力は、アプリケーションをクラウド・インフラストラクチャ内で実行することによってユーザに提供される。ユーザは、ウェブ・ブラウザ（例えば、ウェブ・ベースの電子メール）などのシン・クライアント・インターフェース、または他の軽量クライアント・アプリケーションを通じて、様々なクライアント・デバイスを用いてアプリケーションにアクセスすることができる。ユーザは、ネットワーク、サーバ、オペレーティング・システム、またはクラウド・インフラストラクチャのストレージを含む、基礎をなすクラウド・インフラストラクチャを管理または制御しない。場合によっては、ユーザはＳａａＳアプリケーションの能力を管理または制御さえしなくてもよい。いくつかの他の場合には、アプリケーションのＳａａＳ実施は、場合によっては、限定的なユーザ固有のアプリケーション構成設定の例外を可能にし得る。
【００８２】
本発明は、任意の可能な技術的詳細統合レベルにおける、システム、方法、またはコンピュータ・プログラム製品あるいはその組み合わせであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の諸態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または媒体群）を含み得る。
【００８３】
コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる有形のデバイスであることができる。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上述のものの任意の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下のもの：ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（random access memory、ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭもしくはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（static random access memory、ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（compact disc read-only memory、ＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（digital versatile disk、ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、穿孔カード、または命令が記録された溝内の隆起構造などの、機械的に符号化されたデバイス、ならびに上述のものの任意の好適な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で使用するとき、電波または他の自由伝搬する電磁波、導波路または他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいは電線を通して伝送される電気信号などの、一過性信号自体であると解釈されるべきでない。
【００８４】
本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各々のコンピューティング／処理デバイスに、あるいはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、または無線ネットワーク、あるいはその組み合わせを経由して外部コンピュータまたは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを含み得る。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースがネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
【００８５】
本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（instruction-set-architecture、ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋、もしくは同様のものなどの、オブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの、手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれた、ソース・コードまたはオブジェクト・コードのいずれかであり得る。コンピュータ可読プログラム命令は完全にユーザのコンピュータ上で実行するか、一部ユーザのコンピュータ上で実行するか、独立型ソフトウェア・パッケージとして実行するか、一部ユーザのコンピュータ上で、かつ一部リモート・コンピュータ上で実行するか、または完全にリモート・コンピュータもしくはサーバ上で実行し得る。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む、任意の種類のネットワークを通じてユーザのコンピュータに接続され得るか、あるいは外部コンピュータへの接続が（例えば、インターネット・サービス・プロバイダを利用してインターネットを通じて）行われてもよい。実施形態によっては、例えば、プログラマブルロジック回路機構、フィールド・プログラマブル・ゲート・アレイ（field-programmable gate array、ＦＰＧＡ）、またはプログラマブルロジックアレイ（programmable logic array、ＰＬＡ）を含む電子回路機構が、本発明の諸態様を遂行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路機構を個別化することによって、コンピュータ可読プログラム命令を実行し得る。
【００８６】
本発明の諸態様は、本明細書において、本発明の諸実施形態に係る方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明されている。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施され得ることが理解されるであろう。
【００８７】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方のブロックまたはブロック群において指定された機能／行為を実施するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、または機械を作り出すための他のプログラム可能データ処理装置のプロセッサに提供され得る。これらのコンピュータ可読プログラム命令はまた、内部に記憶された命令を有するコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方のブロックもしくはブロック群内で指定された機能／行為の諸態様を実施する命令を含む製造品を構成するように、コンピュータ、プログラム可能データ処理装置、または他のデバイスあるいはその組み合わせを特定の仕方で機能するように仕向けることができるコンピュータ可読記憶媒体内に記憶され得る。
【００８８】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行する命令が、フローチャートまたはブロック図あるいはその両方のブロックまたはブロック群において指定された機能／行為を実施するように、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされ、一連の動作ステップを、コンピュータ、他のプログラム可能装置、または他のデバイス上で遂行させ、コンピュータ実施プロセスを作り出し得る。
【００８９】
図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータ・プログラム製品の可能な諸実装形態のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図における各ブロックは、指定されたロジック機能を実施するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または部分を表し得る。いくつかの代替的実装形態では、ブロック内に記された機能は、図面に記された順序に従わずに生じてもよい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてもよく、またはブロックは、時として、含まれる機能に依存して、逆の順序で実行されてもよい。また、ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方におけるブロックの組み合わせは、指定された機能もしくは行為を遂行するか、あるいは専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェア・ベースのシステムによって実施され得ることにも留意されたい。
【図１】
2021526247.tif 000003
【図２】
2021526247.tif 000004
【図３】
2021526247.tif 000005
【図４】
2021526247.tif 000006
【図５Ａ】
2021526247.tif 000007
【図５Ｂ】
2021526247.tif 000008
【図６Ａ】
2021526247.tif 000009
【図６Ｂ】
2021526247.tif 000010
【図７Ａ】
2021526247.tif 000011
【図７Ｂ】
2021526247.tif 000012
【図８】
2021526247.tif 000013
【手続補正書】
【提出日】令和2年11月26日(2020.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータの情報処理により画像のテキスト記述を生成する方法であって、
画像データによって表現された画像を領域特定的カテゴリに分類することと、
前記領域特定的カテゴリに基づいて前記画像データ内の１つまたは複数の要素を区分化することと、
前記１つまたは複数の要素内の１つまたは複数の統計的異常を検出するために前記１つまたは複数の要素の各要素を領域非依存的モデルと比較することと、
１つまたは複数の領域非依存的テキスト語句を用いて、前記１つまたは複数の検出された統計的異常を特徴付けることと、
前記領域特定的カテゴリに基づいて前記１つまたは複数の領域非依存的テキスト語句を１つまたは複数の領域特定的記述に変換することと、
を含む方法。
【請求項２】
前記１つまたは複数の領域特定的記述を出力することをさらに含む、請求項１に記載の方法。
【請求項３】
前記画像データを受信することと、
前記画像データのコンテキストを指示するコンテキスト情報を受信することと、
をさらに含み、前記領域特定的カテゴリへの前記画像の前記分類が前記コンテキスト情報に基づく、請求項１に記載の方法。
【請求項４】
前記コンテキスト情報が、前記画像データに関連付けられたメタデータを含む、請求項３に記載の方法。
【請求項５】
前記コンテキストが前記画像データのモダリティおよび視点を含む、請求項３に記載の方法。
【請求項６】
前記１つまたは複数の要素を区分化することが、前記領域特定的カテゴリに特定的な区分化手順を用いる、請求項１に記載の方法。
【請求項７】
前記１つまたは複数の要素を区分化することが、前記要素に特定的な区分化手順を用いる、請求項１に記載の方法。
【請求項８】
前記１つまたは複数の要素を区分化することが、一般的に区分化された要素を、前記領域特定的カテゴリに関連付けられた粗いモデルと整合させる、請求項１に記載の方法。
【請求項９】
前記領域非依存的モデルが輪郭ベースの形状モデルである、請求項１に記載の方法。
【請求項１０】
前記領域非依存的モデルがテクスチャ・ベースの内部モデルである、請求項１に記載の方法。
【請求項１１】
前記検出された統計的異常を特徴付けることが、欠落または提示過少要素に注目することを含む、請求項１に記載の方法。
【請求項１２】
前記検出された統計的異常を特徴付けることが、余分または提示過多要素に注目することを含む、請求項１に記載の方法。
【請求項１３】
請求項１〜１２の何れか1項に記載の方法をコンピュータに実行させる、コンピュータ・プログラム。
【請求項１４】
請求項１３に記載の前記コンピュータ・プログラムを、コンピュータ可読記憶媒体に記憶した。記憶媒体。
【請求項１５】
請求項１〜１２の何れか1項に記載の方法を、コンピュータ・ハードウェアによる手段として構成した、コンピュータ・システム。
【国際調査報告】
2021526247.tif 000014
2021526247.tif 000015