(57)【要約】  心エコー図を分析するコンピュータ実施方法が提供される。方法は、データベース２００から複数の被験者についての複数対の連続する心エコー図を取得するステップ３０２と、関連するクラスを決定するために連続する心エコー図の各対を分析するステップ３０４と、連続する心エコー図の各対について、各対における心エコー図に１回以上の畳み込み及び／又はリダクションを行うことによって、各心エコー図の抽象的表現を決定するステップ３０６と、複数対の連続する心エコー図の抽象的表現に基づいて、新しい１対の心エコー図のクラスを決定するために予測モデルをトレーニングするステップ３０８とを含み、各心エコー図は、心エコー図の内容の関連する指示を有し、クラスは、各対の連続する心エコー図間に変化があるかないかを示し、抽象的表現は、各対のクラスを示す１つ以上の特徴を含む。
2021501633.tif 000002
【特許請求の範囲】
【請求項１】
データベースから、複数の被験者についての複数対の連続する心エコー図を取得するステップと、
関連付けられるクラスを決定するために連続する心エコー図の各対を分析するステップと、
連続する心エコー図の各対について、前記各対における前記心エコー図に１回以上の畳み込み及び／又はリダクションを行うことによって、各心エコー図の抽象的表現を決定するステップと、
前記複数対の連続する心エコー図の前記抽象的表現に基づいて、新しい１対の心エコー図のクラスを決定するために予測モデルをトレーニングするステップと、
を含み、
各心エコー図は、前記心エコー図の内容に関連付けられる指示を有し、
前記クラスは、前記各対における前記連続する心エコー図間に変化があるかないかを示し、
前記抽象的表現は、前記各対の前記クラスを示す１つ以上の特徴を含む、心エコー図を分析するコンピュータ実施方法。
【請求項２】
前記各対の連続する心エコー図を、心周期に関して、時間的に整列させるステップを更に含む、請求項１に記載のコンピュータ実施方法。
【請求項３】
各心エコー図は、複数の画像フレームを含み、
前記方法は、各心エコー図が同数の画像フレームを含むように、前記各対の心エコー図の一方又は両方について１つ以上の画像フレームを補間するステップを更に含む、請求項１又は２に記載のコンピュータ実施方法。
【請求項４】
前記心エコー図の内容は、ユーザによって入力される１つ以上の観察ステートメント又は診断ステートメントを含む、請求項１から３のいずれか一項に記載のコンピュータ実施方法。
【請求項５】
被験者の新しい心エコー図を受信するステップと、
前記被験者の過去の心エコー図を取得するステップと、
前記新しい心エコー図及び前記過去の心エコー図のクラスを決定するために前記予測モデルを使用するステップと、
を更に含む、請求項１から４のいずれか一項に記載のコンピュータ実施方法。
【請求項６】
前記新しい１対の心エコー図の決定された前記クラスが、変化があることを示す場合、ユーザに通知を提供するようにインターフェースを制御するステップを更に含む、請求項５に記載のコンピュータ実施方法。
【請求項７】
過去の心エコー図を取得する前記ステップは、前記過去の心エコー図の内容に関連付けられる指示を受信するステップを含み、
前記方法は、前記新しい１対の心エコー図の決定された前記クラスが、変化がないことを示す場合、ユーザに前記関連付けられる指示及び／又は前記内容を提供するようにインターフェースを制御するステップを更に含む、請求項５又は６に記載のコンピュータ実施方法。
【請求項８】
各心エコー図は、複数のシーケンスを含み、
各シーケンスは、前記被験者の異なるビューを表し、
前記連続する心エコー図の各対を分析するステップは、単一の画像を形成するために各心エコー図の前記複数のシーケンスを結合するステップを更に含む、請求項１から７のいずれか一項に記載のコンピュータ実施方法。
【請求項９】
各心エコー図は、複数のシーケンスを含み、
各シーケンスは、前記被験者の異なるビューを表し、
前記連続する心エコー図の各対を分析するステップは、前記各対の一方の心エコー図における複数のシーケンスのそれぞれを、前記各対の他方の心エコー図における複数のシーケンスのそれぞれと比較するステップを更に含む、請求項１から７のいずれか一項に記載のコンピュータ実施方法。
【請求項１０】
各心エコー図は、複数のシーケンスを含み、
各シーケンスは、前記被験者の異なるビューを表し、
前記方法は、前記複数のシーケンスのそれぞれにビュータグを関連付けるステップを更に含み、
前記ビュータグは、前記シーケンスによって表される前記被験者のビューを示す、請求項１から９のいずれか一項に記載のコンピュータ実施方法。
【請求項１１】
前記ビュータグは、傍胸骨長軸、傍胸骨短軸、心尖部４腔、心尖部５腔、心尖部２腔、心尖部３腔、肋骨下及び胸骨上切痕のうちの１つである、請求項１０に記載のコンピュータ実施方法。
【請求項１２】
適切なコンピュータ又はプロセッサによる実行時に、前記コンピュータ又は前記プロセッサに請求項１から１１のいずれか一項に記載の方法を行わせるコンピュータ可読コードが具現化された、コンピュータ可読媒体。
【請求項１３】
データベースから、複数の被験者についての複数対の連続する心エコー図を取得し、
関連付けられるクラスを決定するために連続する心エコー図の各対を分析し、
連続する心エコー図の各対について、前記各対における前記心エコー図に１回以上の畳み込み及び／又はリダクションを行うことによって、各心エコー図の抽象的表現を決定し、
前記複数対の連続する心エコー図の前記抽象的表現に基づいて、新しい１対の心エコー図のクラスを決定するために予測モデルをトレーニングする、
プロセッサを含み、
各心エコー図は、前記心エコー図の内容に関連付けられる指示を有し、
前記クラスは、前記各対における前記連続する心エコー図間に変化があるかないかを示し、
前記抽象的表現は、前記各対の前記クラスを示す１つ以上の特徴を含む、
心エコー図を分析する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、心エコー図分析の分野に関し、特に、心エコー図を分析し、予測モデルをトレーニングして、１対の連続する心エコー図のクラスを決定する方法及び装置に関する。
【背景技術】
【０００２】
心エコー検査（「エコー」）は、患者の心機能を調べてモニタリングする主要なモダリティである一般的な非侵襲的イメージング技術の１つである。心エコー検査を行うには、医療技術者がトランスデューサを患者の胸に当てる。トランスデューサは、心臓の様々な構造によって反射されてトランスデューサに返ってくる高周波音波を生成する。音波のこの反射、即ち、エコーを使用して、画像が形成される。１つのエコーは１つ以上のシーケンスを含み、それぞれが異なる角度から且つ異なるズームレベルで心臓の解剖学的構造を調べる。
【０００３】
心エコー図を使用して、心臓のサイズ及び／又は構造、例えば心筋の厚さや血液が心腔をどのように流れるか（ドップラー技術と組み合わせた場合）を測定することができる。心エコー検査により、心臓内の腫瘍や塞栓を特定することができる。更に、心エコー図を使用して、心臓壁、弁及び血管の構造異常を視覚化することができる。したがって、この技術は、先天性心疾患（例えば心室中隔欠損）、心筋症及び動脈瘤の診断に役立つ。
【０００４】
心エコー図は、患者の心臓の状態に関する大量の情報を医師に提供するが、医師が膨大な量の情報を調べ、これに基づいて診断を行うことは、特に患者の数が多い場合、困難な場合がある。
【０００５】
心エコー検査は、超音波検査技師による収集と心臓学の副専門医による解釈が必要であるため、費用がかかる。毎年行われる心エコー検査の数は増え続けている。現在、患者のかなりの部分がフォローアップ心エコー検査を受け、これにより、医師（又は他の医療関係者）は、最初の検査からの画像変化を観察することができる。例えばシカゴ大学医療センターでは、患者の１０％以上が１週間以内にフォローアップ心エコー検査を受け、患者の約４０％が３年以内にフォローアップ心エコー検査を受ける。図１に、これらの及び他のフォローアップ統計値を示す。
【０００６】
特定の測定値及び評価を作成する機能の改良等、心臓専門医による心エコー図の解釈を向上及び支援するために画像処理技術を改良する努力が継続的に行われているが、心エコー図データの自動解釈の開発にはまだ課題がある。根本的な理由の１つは、人間の心臓が非常に様々に病的な状態にあることが可能である点である。したがって、一連の鑑別診断は広大な検索空間にひろがり、これは、自動手段には潜在的に大きすぎる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、幾つかの制約によって心エコー図の自動解釈の開発には困難がある。この解釈を簡略化する方法の１つは、単一の心エコー図を解釈するのではなく、連続する心エコー図を自動比較することである。これは、比較が（例えば直近の過去の心エコー図と比較した場合の有意な変化を特定する）バイナリ比較に依存していることによる。しかし、心エコー図の自動比較は一般に困難である。これは、３次元ビューが心臓の異なる平面に対応している場合があるからである。つまり、過去の心エコー図と現在の心エコー図とは異なる（シフトした）平面に対応している場合があるので、可視の心臓の構造が異なる。
【０００８】
最近では、人工畳み込みニューラルネットワーク（例えば畳み込み深層学習（ＣＤＬ））の画像認識／分類への適用に関して大きな進展があった。具体的には、ニューラルネットワークを画像の「生」のピクセルデータに、「特徴エンジニアリング」、つまり、ベースとなる画像データに関して下位情報を上位情報に変換するプロセスを必要とせずに適用することができることが示された。ＣＤＬの人気の高まりによって、様々な分野、特に心エコー図分析における適用への一般的な機械学習法への関心が高まっている。
【０００９】
連続する心エコー図の自動比較を行って連続する心エコー図間に変化があるかどうかを特定することは有利である。また、人工畳み込みニューラルネットワークを使用してトレーニングされた予測モデルに基づいて心エコー図分析を行ってより正確な分析を実現することも望ましい。
【課題を解決するための手段】
【００１０】
これらの懸念の１つ以上に適切に対処するために、第１の態様では、心エコー図を分析するコンピュータ実装方法が提供される。この方法は、データベースから、複数の被験者についての複数対の連続する心エコー図を取得するステップと、関連付けられるクラスを決定するために連続する心エコー図の各対を分析するステップと、連続する心エコー図の各対について、各対における心エコー図に１回以上の畳み込み及び／又はリダクションを行うことによって、各心エコー図の抽象的表現を決定するステップと、複数対の連続する心エコー図の抽象的表現に基づいて、新しい１対の心エコー図のクラスを決定するために予測モデルをトレーニングするステップとを含み、各心エコー図は、心エコー図の内容に関連付けられる指示を有し、クラスは、各対における連続する心エコー図間に変化があるかないかを示し、抽象的表現は、各対のクラスを示す１つ以上の特徴を含む。
【００１１】
幾つかの実施形態では、方法は更に、各対の連続する心エコー図を、心周期に関して、時間的に整列させるステップを含む。
【００１２】
幾つかの実施形態では、各心エコー図は、複数の画像フレームを含み、方法は更に、各心エコー図が同数の画像フレームを含むように、各対の心エコー図の一方又は両方について１つ以上の画像フレームを補間するステップを含む。
【００１３】
幾つかの実施形態では、心エコー図の内容は、ユーザによって入力される１つ以上の観察ステートメント又は診断ステートメントを含む。
【００１４】
幾つかの実施形態では、方法は更に、被験者の新しい心エコー図を受信するステップと、被験者の過去の心エコー図を取得するステップと、新しい心エコー図及び過去の心エコー図のクラスを決定するために予測モデルを使用するステップとを含む。これらの実施形態の幾つかでは、方法は更に、新しい１対の心エコー図の決定されたクラスが、変化があることを示す場合、ユーザに通知を提供するようにインターフェースを制御するステップを含む。更に、これらの実施形態の幾つかでは、過去の心エコー図を取得するステップは、過去の心エコー図の内容に関連付けられる指示を取得するステップを含む。方法は更に、新しい１対の心エコー図の決定されたクラスが、変化がないことを示す場合、ユーザに、関連付けられる指示及び／又は内容を提供するようにインターフェースを制御するステップを含む。
【００１５】
幾つかの実施形態では、各心エコー図は、複数のシーケンスを含み、各シーケンスは、被験者の異なるビューを表す。連続する心エコー図の各対を分析するステップは更に、単一の画像を形成するために各心エコー図の複数のシーケンスを結合するステップを含む。
【００１６】
幾つかの実施形態では、各心エコー図は、複数のシーケンスを含み、各シーケンスは、被験者の異なるビューを表す。連続する心エコー図の各対を分析するステップは更に、各対の一方の心エコー図における複数のシーケンスのそれぞれを、各対の他方の心エコー図における複数のシーケンスのそれぞれと比較するステップを含む。
【００１７】
幾つかの実施形態では、各心エコー図は、複数のシーケンスを含み、各シーケンスは、被験者の異なるビューを表す。方法は更に、複数のシーケンスのそれぞれにビュータグを関連付けるステップを含み、ビュータグは、シーケンスによって表される被験者のビューを示す。ビュータグは、傍胸骨長軸、傍胸骨短軸、心尖部４腔、心尖部５腔、心尖部２腔、心尖部３腔、肋骨下及び胸骨上切痕のうちの１つである。
【００１８】
第２の態様によれば、適切なコンピュータ又はプロセッサによる実行時に、当該コンピュータ又はプロセッサに第１の態様又はその任意の実施形態による方法を行わせるコンピュータ可読コードが具現化されたコンピュータ可読媒体を含むコンピュータプログラムプロダクトが提供される。
【００１９】
第３の態様では、心エコー図を分析する装置が提供される。装置は、データベースから、複数の被験者についての複数対の連続する心エコー図を取得し、関連付けられるクラスを決定するために連続する心エコー図の各対を分析し、連続する心エコー図の各対について、各対における心エコー図に１回以上の畳み込み及び／又はリダクションを行うことによって、各心エコー図の抽象的表現を決定し、複数対の連続する心エコー図の抽象的表現に基づいて、新しい１対の心エコー図のクラスを決定するために予測モデルをトレーニングするプロセッサを含み、各心エコー図は、心エコー図の内容に関連付けられる指示を有し、クラスは、各対における連続する心エコー図間に変化があるかないかを示し、抽象的表現は、各対のクラスを示す１つ以上の特徴を含む。
【００２０】
幾つかの実施形態では、プロセッサは更に、各対の連続する心エコー図を、心周期に関して、時間的に整列させる。
【００２１】
幾つかの実施形態では、各心エコー図は、複数の画像フレームを含み、プロセッサは更に、各心エコー図が同数の画像フレームを含むように、各対の心エコー図の一方又は両方について１つ以上の画像フレームを補間する。
【００２２】
幾つかの実施形態では、心エコー図の内容は、ユーザによって入力される１つ以上の観察ステートメント又は診断ステートメントを含む。
【００２３】
幾つかの実施形態では、プロセッサは更に、被験者の新しい心エコー図を受信し、被験者の過去の心エコー図を取得し、新しい心エコー図及び過去の心エコー図のクラスを決定するために予測モデルを使用する。これらの実施形態の幾つかでは、プロセッサは更に、新しい１対の心エコー図の決定されたクラスが、変化があることを示す場合、ユーザに通知を提供するようにインターフェースを制御する。更に、これらの実施形態の幾つかでは、プロセッサは更に、過去の心エコー図の内容に関連付けられる指示を取得する。プロセッサは更に、新しい１対の心エコー図の決定されたクラスが、変化がないことを示す場合、ユーザに、関連付けられる指示及び／又は内容を提供するようにインターフェースを制御する。
【００２４】
幾つかの実施形態では、各心エコー図は、複数のシーケンスを含み、各シーケンスは、被験者の異なるビューを表す。プロセッサは、単一の画像を形成するために各心エコー図の複数のシーケンスを結合することによって、連続する心エコー図の各対を分析する。
【００２５】
幾つかの実施形態では、各心エコー図は、複数のシーケンスを含み、各シーケンスは、被験者の異なるビューを表す。プロセッサは、各対の一方の心エコー図における複数のシーケンスのそれぞれを、各対の他方の心エコー図における複数のシーケンスのそれぞれと比較することによって、連続する心エコー図の各対を分析する。
【００２６】
幾つかの実施形態では、各心エコー図は、複数のシーケンスを含んでよく、各シーケンスは、被験者の異なるビューを表す。プロセッサは更に、複数のシーケンスのそれぞれにビュータグを関連付ける。ビュータグは、シーケンスによって表される被験者のビューを示す。ビュータグは、傍胸骨長軸、傍胸骨短軸、心尖部４腔、心尖部５腔、心尖部２腔、心尖部３腔、肋骨下及び胸骨上切痕のうちの１つである。
【００２７】
これらの及び他の態様は、以下に説明する実施形態から明らかとなり、また、当該実施形態を参照して説明する。
【図面の簡単な説明】
【００２８】
本明細書に説明する実施形態をより深く理解するために、また、当該実施形態をどのように実施することができるかをより明確に示すために、ここで、単なる例として、添付図面を参照する。
【００２９】
【図１】図１は、シカゴ大学医療センターにおいてフォローアップ心エコー検査を受けた患者の累積割合を示すグラフである。
【図２】図２は、一実施形態による心エコー図を分析する装置のブロック図である。
【図３】図３は、一実施形態による心エコー図を分析する方法を示す。
【図４】図４は、例示的な実施形態による心エコー図を分析する畳み込み深層ネットワークの概略図である。
【発明を実施するための形態】
【００３０】
前述したように、既存の問題を克服する心エコー図を分析する改良方法及び装置を提供する。
【００３１】
図２は、一実施形態による心エコー図を分析する装置１００のブロック図を示す。幾つかの実施形態では、装置は、コンピュータ、サーバ又はラップトップ等である。
【００３２】
図２に示すように、装置１００は、装置１００の動作を制御し、本明細書に説明する方法を実施することができるプロセッサ１０２を含む。プロセッサ１０２は、本明細書に説明するやり方で装置１００を制御するようにプログラムされた１つ以上のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを含むことができる。特定の実施態様では、プロセッサ１０２は、本明細書に説明する実施形態による方法の個々の又は複数のステップをそれぞれ行う複数のソフトウェア及び／又はハードウェアモジュールを含むことができる。
【００３３】
簡潔に説明すると、プロセッサ１０２は、データベース２００から、複数の被験者について、複数対の連続する心エコー図を取得する。各心エコー図は、心エコー図の内容に関連付けられる指示を有する。次に、プロセッサ１０２は、連続する心エコー図の各対を分析して関連するクラスを決定する。クラスは、各対における連続する心エコー図間に変化があるかないかを示す。プロセッサ１０２は、連続する心エコー図の各対について、各対における心エコー図に対して１回以上の畳み込み及び／又はリダクションを行うことによって各心エコー図の抽象的表現を決定する。プロセッサ１０２は更に、予測モデルをトレーニングして、複数対の連続する心エコー図の抽象的表現に基づいて、新しい対の心エコー図のクラスを決定する。
【００３４】
プロセッサ１０２は、以下に説明する様々な機能を行うために、ソフトウェア及び／又はハードウェアを用いて、多くのやり方で実装することができる。プロセッサ１０２は、ソフトウェア又はコンピュータプログラムコードを使用してプログラムされて、必要な機能を行うか及び／又はプロセッサ１０２のコンポーネントを制御して必要な機能を実行する１つ以上のマイクロプロセッサ又はデジタルシグナルプロセッサ（ＤＳＰ）を含む。プロセッサ１０２は、幾つかの機能を行う専用ハードウェア（例えば増幅器、前置増幅器、アナログ−デジタル変換器（ＡＤＣ）及び／又はデジタル−アナログ変換器（ＤＡＣ））と他の機能を行うプロセッサ（例えば１つ以上のプログラムされたマイクロプロセッサ、コントローラ、ＤＳＰ及び関連回路）との組み合わせとして実施される。本開示の様々な実施形態で使用され得るコンポーネントの例には、従来のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が含まれるが、これらに限定されない。
【００３５】
幾つかの実施形態では、装置は更に、少なくとも１つのユーザインターフェース１０４を含む。或いは又は更に、少なくとも１つのユーザインターフェース１０４は、装置１００のユーザがユーザ入力を提供し、装置１００とインタラクトする及び／又は装置１００を制御することを可能にする任意のユーザインターフェースである。例えばユーザインターフェース１０４は、１つ以上のスイッチ、１つ以上のボタン、キーパッド、キーボード、（例えばタブレット又はスマートフォン上の）タッチスクリーン若しくはアプリケーション、ディスプレイ画面、グラフィカルユーザーインターフェース（ＧＵＩ）若しくは他の視覚的レンダリングコンポーネント、１つ以上のスピーカ、１つ以上のマイク若しくは他のオーディオコンポーネント、１つ以上のライト、触覚フィードバックを提供するコンポーネント（例えば振動機能）又は他のユーザインターフェース若しくはユーザインターフェースの組み合わせを含む。
【００３６】
幾つかの実施形態では、装置１００はまた、プロセッサ１０２によって実行されて本明細書に説明する方法を実行するプログラムコードを格納するメモリ１０６を含む。メモリ１０６は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、消去可能なＰＲＯＭ（ＥＰＲＯＭ）及び電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）といった揮発性及び不揮発性コンピュータメモリを含むキャッシュ又はシステムメモリを含む。
【００３７】
或いは又は更に、１つ以上のメモリ１０６が、装置１００の外部にあってもよい（即ち、装置１００とは別個である又は装置１００からリモートであってよい）。例えば１つ以上のメモリ１０６が、別のデバイスの一部である。メモリ１０６を使用して、装置１００のプロセッサ１０２によって取得若しくは作成された、又は、装置１００の外部にある任意のインターフェース、メモリ又はデバイスからの画像（心エコー図を含む）、情報、データ、信号及び測定値を格納することができる。例えばメモリ１０６を使用して、分析に使用する１つ以上の過去の又は現在の心エコー図を（例えばローカルファイルに）格納することができる。プロセッサ１０２は、メモリ１０６を制御して、分析に使用する１つ以上の過去の又は現在の心エコー図を格納することができる。
【００３８】
幾つかの実施形態では、複数の被験者についての複数対の連続する心エコー図のデータベース２００はメモリ１０６に格納されていてよいが、他の実施形態では、データベース２００は、装置１００から別個である。
【００３９】
幾つかの実施形態では、装置１００はまた、装置１００が装置１００内外の任意のインターフェース、メモリ及びデバイスと通信することを可能にする通信インターフェース（回路）１０８を含む。通信インターフェース１０８は、装置１００内外の任意のインターフェース、メモリ及びデバイスと通信することができる。通信インターフェース１０８は、任意のインターフェース、メモリ及びデバイスと無線で又は有線接続を介して通信することができる。例えば１つ以上のユーザインターフェース１０４が装置１００の外部にある実施形態では、通信インターフェース１０８は、当該１つ以上の外部ユーザインターフェース１０４と無線で又は有線接続を介して通信することができる。同様に、１つ以上のメモリ１０６が装置１００の外部にある実施形態では、通信インターフェース１０８は、当該１つ以上の外部メモリ１０６と無線で又は有線接続を介して通信することができる。
【００４０】
当然ながら、図２は、本発明の上記態様の説明に必要なコンポーネントを示すに過ぎず、実際の実装では、装置１００は、示したものに追加のコンポーネントを含んでよい。例えば装置１００は、装置１００に給電するバッテリ若しくは他の電源や、装置１００を主電源に接続する手段を含む。
【００４１】
図３は、一実施形態による心エコー図を分析するコンピュータ実施方法３００を示す。図示する方法３００は、一般に、装置１００のプロセッサ１０２によって又はその制御下で行うことができる。
【００４２】
図３を参照すると、ステップ３０２において、複数の被験者についての複数対の連続する心エコー図がデータベース２００から取得される。プロセッサ１０２は、データベース２００から複数対を取り出すことによって当該複数対を取得することができる。複数対の連続する心エコー図における各心エコー図は、心エコー図の内容に関連付けられた指示を有する。幾つかの実施形態では、心エコー図の内容は、ユーザによって入力される１つ以上の観察ステートメント又は診断ステートメントを含む。より詳細には、これらのステートメントは２つの異なるカテゴリ、即ち、個別のステートメント（例えば「左心室は正常」）と測定ステートメント（例えば「左心室駆出率は４５．０％」）とに分けることができる。幾つかの実施形態では、１つ以上の観察ステートメント又は診断ステートメントのそれぞれに内部識別子が関連付けられる。
【００４３】
幾つかの実施形態では、装置１００のプロセッサ１０２は、１対の連続する心エコー図の観察ステートメント又は診断ステートメントに基づいて変化を検出することができる。例えばプロセッサ１０２は、１対の一方の心エコー図に関連付けられる「左心室駆出率は４５．０％」というステートメントと、当該１対の他方の心エコー図に関連付けられる「左心室駆出率は６０．０％」というステートメントとの間に変化があることを検出する。したがって、これらの実施形態の幾つかでは、ステップ３０４の前に、方法は更に、１対における心エコー図のそれぞれに関連付けられるステートメント間の変化が検出されたときに、当該１対の心エコー図の分析をトリガするステップを含む。より詳細には、これらの実施形態の幾つかでは、小さい変化（所定の差の閾値よりも低い）を無視できるように、所定の差の閾値を使用することができる。例えば「１０．０％未満の駆出率」という所定の差の閾値を設定して、１対の連続する心エコー図における一方の心エコー図が「左心室駆出率は４５．０％」という関連付けられる指示ステートメントを含み、同じ対の連続する心エコー図の他方の心エコー図が「左心室駆出率は５０．０％」という関連付けられる指示ステートメントを含んでいるならば、プロセッサ１０２は、ステートメント間のこの差（つまり、５．０％。これは１０．０％未満である）を無視することができる。
【００４４】
更に、プロセッサ１０２が１対の心エコー図の観察ステートメント又は診断ステートメントに基づいて変化を検出するこれらの実施形態の幾つかでは、方法は更に、ステップ３０４の前に、１対の心エコー図のそれぞれに関連付けられるステートメント間に変化はないと決定される場合に、当該対の心エコー図の分析をトリガするステップを含む。したがって、当該対の心エコー図を分析することによって、当該対の心エコー図間に変化はないことを更に確認することができる。
【００４５】
幾つかの実施形態では、各心エコー図は、複数の画像フレームを含む。具体的には、各心エコー図について、複数の画像フレームはそれぞれ、１つの心周期中の心臓の時間インスタンスに対応する。例えば画像フレームの一部は、心周期の収縮期部分に対応し、画像フレームの別の部分は、心周期の拡張期部分に対応する。
【００４６】
これらの実施形態では、方法は更に、心周期に関して１対の連続する心エコー図を時間的に整列させるステップを含むことができる。連続する心エコー図のこの時間的整列を行うことにより、１対の心エコー図における画像フレームが同期されて、当該１対の心エコー図の一方における画像フレームの心周期の一部が、当該１対の他方の心エコー図における画像フレームの心周期の一部と時間的に対応するので、心エコー図の分析の精度を向上させることができる。更に、これらの実施形態では、方法は更に、心エコー図の一方又は両方について、１つ以上の画像フレームを補間するステップを含んでよく、これにより、各心エコー図が同数の画像フレームを含む。
【００４７】
図３のステップ３０４において、連続する心エコー図の各対が分析されて、関連付けられるクラスが決定される。ステップ３０４における決定は、各対の連続する心エコー図のそれぞれに関連付けられる観察ステートメント又は診断ステートメント間の自動比較によって行われるか、又は、手動で行われてよい（つまり、ユーザが心エコー図の各対を観察し、ラベルを提供することにより、当該対の心エコー図間に変化が観察されるかどうかを示す）。クラスは、１対における連続する心エコー図間に変化があるかないかを示す。連続する心エコー図間の変化とは、連続する心エコー図間の視覚的表現（例えばノイズレベル、テクスチャ、ビューの位置）の変化ではなく、連続する心エコー図で表される心機能及び／又は心臓の構造の変化を指す。連続する心エコー図の各対について決定された関連付けられるクラスと、連続する心エコー図のそれぞれの対とは、グラウンドトゥルースを形成する。連続する心エコー図の各対に関連付けられるグラウンドトゥルースは、当該対の連続する心エコー図間で心機能及び／又は心臓の構造に変化があるかどうかを示し、ステップ３０８においてトレーニングされる予測モデルの基礎を形成する。
【００４８】
幾つかの実施形態では、各心エコー図は、複数のシーケンス（即ち、複数の画像シーケンス）を含み、各シーケンスは、被験者の異なるビューを表す。これらの実施形態では、連続する心エコー図の各対を分析するステップは、各心エコー図の複数のシーケンスを（例えば並べて）結合するステップを含むことにより、単一の画像が形成される。つまり、各心エコー図の複数のシーケンスは、複数のシーケンスの画像からなる単一の画像によって表される。この単一の画像は、単一のビューを有する１つの心エコー図と同じように分析することができる。或いは、これらの実施形態では、連続する心エコー図の各対を分析するステップは、複数のシーケンスに対して個別に畳み込み演算を行い、畳み込み深層学習ネットワークの全結合層において情報を混合するステップを含む。
【００４９】
また、或いは、各心エコー図が複数のシーケンスを含み、各シーケンスが被験者の異なるビューを表す幾つかの実施形態では、対毎の比較を行って、関連付けられるクラスを決定することができる。より詳細には、１対の心エコー図の一方がシーケンスＳ１、Ｓ２、…、Ｓｍを含み、心エコー図の他方がシーケンスＴ１、Ｔ２、…、Ｔｎを含む場合、連続する心エコー図の対の分析は、最初にＳ１をＴ１、Ｔ２、…、Ｔｎのそれぞれと比較し、次に、Ｓ２をＴ１、Ｔ２、…、Ｔｎのそれぞれと比較し、以降同様にすることを含み、これにより、１対の心エコー図のうちの第１の心エコー図の各シーケンスＳｉが、当該対の心エコー図のうちの第２の心エコー図の各シーケンスＴｊと比較される。方法が畳み込み深層学習ネットワーク（例えば図４に示すようなネットワーク）で実装される幾つかの実施形態では、シーケンスＳ１、Ｓ２、…、Ｓｍ及びＴ１、Ｔ２、…、Ｔｎのそれぞれは、畳み込み深層学習ネットワークの複数の入力ノードのそれぞれに関連付けられる。
【００５０】
各心エコー図が複数のシーケンスを含み、各シーケンスが被験者の異なるビューを表す実施形態において、方法は更に、複数のシーケンスのそれぞれにビュータグを関連付けるステップを含む。ビュータグは、シーケンスによって表される被験者のビューを示す。詳細には、心エコー図の複数のシーケンスのそれぞれは、現在の画像処理技術を使用して分析されて、被験者のビューが決定され、これにより、それぞれのシーケンスを、次のビュータグのうちの１つに関連付けることができる。傍胸骨長軸（ＰＬＡＸ）、傍胸骨短軸（ＰＳＡＸ）、心尖部４腔（ＡＰ４）、心尖部５腔（ＡＰ５）、心尖部２腔（ＡＰ２）、心尖部３腔（ＡＰ３）、肋骨下（ＳＣ）及び胸骨上切痕（ＳＳＮ）。更に、複数のシーケンスのそれぞれが対応するビュータグに関連付けられているこれらの実施形態において、方法は更に、（複数対の連続する心エコー図のうちの）１対の連続する心エコー図のビュータグが同じである（例えば当該対の心エコー図の両方のビュータグがＡＰ２である）場合にのみ、当該１対の心エコー図を分析するステップを含んでよい。一致する／同じビュータグを有するシーケンスのみを比較することによって、方法の効率を向上させることができる。
【００５１】
図３のステップ３０６において、連続する心エコー図の各対について、当該対における心エコー図に対して１回以上の畳み込み及び／又はリダクションを行うことによって、各心エコー図の抽象的表現が決定される。畳み込み（又はフィルタリング）演算は、画像内の各ピクセルの畳み込み値を計算できるようにする画像処理アルゴリズムに基づいて行われる。ピクセルの畳み込み値を計算するには、畳み込みカーネルの複数のパラメータで定義される線形係数を用いてすべての隣接ピクセルの線形結合が計算される。畳み込みカーネルのパラメータは、予測モデルのネットワークトレーニングプロセスで決定することができる。リダクション演算は、ピクセルを拡大し、ピクセルの平均値又はピクセルの最大値を取得することにより、画像のピクセル数を削減する。畳み込み及び／又はリダクションは、畳み込み深層学習ネットワークの層で行われてよく、畳み込み深層学習ネットワークでの畳み込み及び／又はリダクションに対応する層の数は様々であってよい。畳み込み及び／又はリダクションが行われた後、元の画像は変換され、複数の数によって特徴付けられる特徴のセットによって表される。この特徴のセットは更に、畳み込み深層学習ネットワークの意思決定ノードに関連付けられ、これにより、結果が決定される。
【００５２】
幾つかの実施形態では、抽象的表現の決定は、１対の心エコー図のそれぞれについて別々に行われる。抽象的表現は、当該１対のクラスを示す１つ以上の特徴を含む。例えば抽象的表現は、予測モデルによって生成される特徴ベクトルに対応するベクトルを含む。特徴ベクトルは、被験者の心臓の構造的及び／又は機能的特性の変化を示す。別の例として、抽象的表現は、予測モデルによって生成されるデータのセットに対応するデータを含む。データのセットは、被験者の心臓の構造的及び／又は機能的特性の変化を示す。この予測モデルは、ステップ３０８においてトレーニングされる予測モデルと同じである。
【００５３】
図３のステップ３０８において、複数対の連続する心エコー図の抽象的表現に基づいて予測モデルがトレーニングされて、これにより、新しい１対の心エコー図のクラスが決定される。幾つかの実施形態では、予測モデルは、畳み込み深層学習モデルである。トレーニングされた予測モデルを使用して、新しい対の心エコー図間の時間間隔が所定の時間閾値（例えば７日）を超えた場合に、類似した被験者の過去の心エコー図の対の研究に基づいて、当該新しい対の心エコー図のクラスを決定することもできる。
【００５４】
図３には示していないが、幾つかの実施形態による方法は更に、被験者の新しい心エコー図を受信するステップと、当該被験者の過去の心エコー図を取得するステップと、予測モデルを使用して新しい心エコー図及び過去の心エコー図のクラスを決定するステップを含む。場合によっては、過去の心エコー図は「以前の心エコー図」と呼ばれ、新しい心エコー図は「現在の心エコー図」と呼ばれることがある。これらの実施形態では、方法はまた、新しい１対の心エコー図の決定されたクラスが変化があることを示す場合、インターフェースを制御して、ユーザに通知を提供するステップを更に含む。また、これらの実施形態では、方法はまた、新しい１対の心エコー図の決定されたクラスの変化があることを示す場合、インターフェース上で当該対の心エコー図を強調表示するステップを更に含む。過去の心エコー図は、メモリ１０６から取り出すことによって又はデータベース２００から取り出すことによって取得することができる。新しい心エコー図は、被験者の心エコー図を作成するデバイスから直接受信されても、又は、装置１００による処理の前に新しい心エコー図を格納する別のデバイスから受信される。或いは、新しい心エコー図は、プロセッサ１０２によってメモリ１０６から受信される。
【００５５】
更に、新しい心エコー図が受信され、被験者の過去の心エコー図が取得されるこれらの実施形態において、過去の心エコー図を取得するステップは、過去の心エコー図の内容に関連付けられる指示を取得するステップを含む。これらの実施形態では、方法は更に、新しい１対の心エコー図の決定されたクラスが変化がないことを示す場合、インターフェースを制御して、過去の心エコー図の内容に関連付けられる指示をユーザに提供するステップを含む。したがって、過去の心エコー図と新しい心エコー図との間に変化がないと判断されると、過去の心エコー図の内容に関連付けられる指示は、（変更がないことにより）新しい心エコー図にも適用され、また、新しい心エコー図の詳細な分析や解釈を行う必要なく、ユーザ（例えば医療技術者）が簡単に確認することができるように利用可能にされる。
【００５６】
幾つかの実施形態では、図３に示す方法は、心臓全体の変化を観察するのではなく、特定の解剖学的変化を観察するように適用される。例えば幾つかの実施形態では、方法は、１対の連続する心エコー図間で、心臓の特定の部分、例えば左心室に変化があるかないかを示すクラスを決定するために適用される。更に、幾つかの実施形態では、図３に示す方法は、肝臓、胆嚢、腹部、直腸等といった被験者の他の臓器の構造的及び／又は機能的変化を観察するために適用される。同じ原理を胎児超音波検査にも適用することができる。
【００５７】
図４は、例示的な実施形態による心エコー図を分析する畳み込み深層学習ネットワーク４００の概略図である。図４に示す畳み込み深層学習ネットワーク４００は、図２を参照して先に説明した装置１００のより詳細な実施態様である。図４に示す例示的な実施形態では、装置１００のプロセッサ１０２が、ブロック４０２、４０４及び４０６を行う。
【００５８】
図４に示すように、１対の連続する心エコー図、即ち、過去の心エコー図４１０と現在の心エコー図４１２が、システム４００のデータベース（例えばデータベース２００）から取り出される。図３に関連して上述した連続する心エコー図の対と同様に、過去の心エコー図４１０及び現在の心エコー図４１２のそれぞれは、心エコー図の内容に関連付けられる指示を有する。心エコー図の内容は、「左心室は正常」又は「左心室は大幅に縮小している」といったユーザによって入力される１つ以上の観察ステートメント又は診断ステートメントを含む。更に、この実施形態では、過去の心エコー図４１０及び現在の心エコー図４１２のそれぞれは、１つの心周期中の心臓の時間インスタンスにそれぞれ対応する複数の画像フレームを含む。
【００５９】
前述したように、図４に示す例示的な実施形態では、プロセッサ１０２は、ブロック４０２、４０４及び４０６を行う。簡潔に説明すると、プロセッサ１０２は、心周期に関して、１対の連続する心エコー図４１０、４１２の時間的整列を行い、１回以上の畳み込み及び／又はリダクションを行って、過去の心エコー図４１０及び現在の心エコー図４１２のそれぞれの抽象的表現を決定し、畳み込み深層学習ネットワーク４００の全結合層において当該１対の連続する心エコー図４１０、４１２に関連付けられるクラスを決定する。これらのブロック４０２、４０４及び４０６のそれぞれの詳細は、以下で更に詳細に説明する。
【００６０】
図４のブロック４０２において、プロセッサ１０２は、心周期に関して、１対の連続する心エコー図４１０、４１２を時間的に整列させる。したがって、過去の心エコー図４１０の画像フレームの内容は、現在の心エコー図４１２の画像フレームの内容に時間的に対応し、これらは、後続のプロセス、例えば当該１対の心エコー図に関連付けられるクラスが決定されるブロック４０６において、より簡単に比較することができる。
【００６１】
図４のブロック４０４において、プロセッサ１０２は、心エコー図に対して１回以上の畳み込み及び／又はリダクションを行うことによって、過去の心エコー図４１０及び現在の心エコー図４１２のそれぞれの抽象的表現を決定する。過去の心エコー図の抽象的表現４２０及び現在の心エコー図の抽象的表現４２２はそれぞれ、当該１対の心エコー図のクラスを示す１つ以上の特徴を含む。
【００６２】
図４のブロック４０６において、プロセッサ１０２は、畳み込み深層学習ネットワーク４００の全結合層において、当該１対の連続する心エコー図４１０、４１２に関連付けられるクラスを決定する。全結合層では、当該１対の連続する心エコー図に関連付けられるクラスを決定するのに最適なやり方で、抽象的表現４２０、４２２からの情報を統合する画像減算又は任意の他の演算が行われる。この全結合層は、図４のブロック４３０として表され、元々は別々のプロセスの結果である抽象的表現４２０、４２２からの情報を統合することを可能にする。決定の結果、即ち、連続する心エコー図４１０、４１２間に変化があるかないかを示す対の連続する心エコー図４１０、４１２に関連付けられるクラスは、ブロック４４０（「変化あり／変化なし」）によって表される。
【００６３】
更に、本実施形態による畳み込み深層学習ネットワーク４００では、プロセッサ１０２はまた、ブロック４０８において予測モデルをトレーニングして、対の連続する心エコー図４１０、４１２の抽象的表現４２０、４２２に基づいて新しい１対の心エコー図のクラスを決定する。より詳細には、新しい１対の心エコー図に関連付けられるクラスの決定の精度は、抽象的表現４２０、４２２に基づいて情報を混合する演算を最適化することによって向上させることができる。
【００６４】
したがって、心エコー図を分析する改良方法及び装置が提供される。本明細書に説明する実施形態による方法及び装置は、注釈付き心エコー図（即ち、心エコー図の内容に関連付けられる指示を有する心エコー図）を含むデータベースに基づいて連続する心エコー図を自動的に比較し、重要な変化を検出する一方で、（例えば異なるノイズレベル又はビューの位置による）重要でない変化は無視する。
【００６５】
開示された実施形態に対する変形は、図面、開示及び添付の特許請求の範囲の検討から、請求された発明を実施する際に当業者によって理解及び達成されうる。請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学記憶媒体又はソリッドステート媒体といった適切な媒体上に記憶及び／又は分散されてもよいが、インターネット又は他の有線若しくは無線通信システムを介するといった他の形式で分配されてもよい。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。
【図１】
2021501633.tif 000003
【図２】
2021501633.tif 000004
【図３】
2021501633.tif 000005
【図４】
2021501633.tif 000006
【国際調査報告】
2021501633.tif 000007
2021501633.tif 000008