(57)【要約】  本発明は、３Ｄ画像における骨折、より具体的には脊椎骨折の確率を推定するためのマシンベースの学習法を提供するものである。この方法及びシステムは、椎骨骨折を分類するために３Ｄ画像の特徴を学習するためのデータ駆動計算モデルを利用する方法を利用するものである。
2021504061.tif 000002
【特許請求の範囲】
【請求項１】
被検者の脊椎骨折の存在を予測するための３次元医用画像解析システムであって、
前記被検者の３Ｄ画像データを受け取って処理し、３Ｄボクセルの２つ以上のセットを生成するための３Ｄ画像プロセッサ（１０１）であって、前記セットの各々が前記３Ｄ画像の全体に対応し、前記セットの各々が異なる寸法の等しいボクセルから成る、３Ｄ画像プロセッサ（１０１）と、
計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの１つ又は複数のクラス確率を割り当てるためのボクセル分類器（１０４）と、
前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器（１０３）とを備える３次元医用画像解析システム。
【請求項２】
前記画像の前記脊髄を含む部分を検出するための脊髄検出器（１０２）をさらに備える、請求項１に記載のシステム。
【請求項３】
前記脊髄検出器（１０２）が、前記画像データにおいて前記脊髄を突き止めるために最大の信号強度を使用する、請求項２に記載のシステム。
【請求項４】
前記脊髄検出器（１０２）が、ｘ軸、ｙ軸及びｚ軸に沿って前記脊髄を突き止めるために解剖学的事前情報を使用する、請求項３に記載のシステム。
【請求項５】
前記３Ｄ画像データがコンピュータ・ネットワークを介して受け取られる、請求項１に記載のシステム。
【請求項６】
３Ｄボクセルの少なくとも１つのセットが１ｍｍ３の等方性ボクセルのセットである、請求項１に記載のシステム。
【請求項７】
３Ｄボクセルの第１のセットが１ｍｍ３の等方性ボクセルのセットであり、３Ｄボクセルの第２のセットが３ｍｍ３の等方性ボクセルのセットである、請求項１に記載のシステム。
【請求項８】
３Ｄボクセルの少なくとも１つのセットが異方性ボクセルのセットである、請求項１に記載のシステム。
【請求項９】
前記３Ｄ画像プロセッサ（１０１）が、前記ボクセルの強度の平均値及び単位標準偏差に正規化された３Ｄボクセルのセットを出力する、請求項１に記載のシステム。
【請求項１０】
前記ボクセル分類器（１０４）が、周囲のボクセルのコンテキストでは、ボクセルの前記１つ又は複数のセットの、前記ボクセルの各々を分類する、請求項１に記載のシステム。
【請求項１１】
前記ボクセル分類器（１０４）が、前記周囲のボクセルのコンテキストでは、前記ボクセルの各々を分類し、３０〜４０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第１のセットに分類し、９０〜１２０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第２のセットに分類する、請求項６に記載のシステム。
【請求項１２】
前記第１のセットが３５ｍｍ３の前記ボクセルのコンテキストで分類され、前記第２のセットが１０５ｍｍ３の前記ボクセルのコンテキストで分類される、請求項１０に記載のシステム。
【請求項１３】
前記ボクセル分類器（１０４）が、各ボクセルについて１つ又は複数のクラス確率を割り当てることによって各ボクセルを分類する、請求項１に記載のシステム。
【請求項１４】
前記ボクセル分類器（１０４）が、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることによって各ボクセルを分類する、請求項１に記載のシステム。
【請求項１５】
前記ボクセル分類器（１０４）が、各ボクセルについて、背景クラス、正常クラス、骨折クラスとして分類される確率を計算する、請求項１に記載のシステム。
【請求項１６】
前記骨折確率推定器（１０３）が、前記ボクセル分類器（１０４）から入力を受け取るように構成された画像分類器（１０８）を備える、請求項１に記載のシステム。
【請求項１７】
前記骨折確率推定器（１０３）が備える画像分類器（１０８）が、前記３Ｄ画像を骨折の有／無で分類するように構成されており、前記ボクセル分類器（１０４）から前記３Ｄ画像の各ボクセルに関する入力を受け取って、前記３Ｄ画像に関する集約された確率値の出力をもたらす、請求項１に記載のシステム。
【請求項１８】
前記画像分類器（１０８）が、前記骨折クラスの確率を割り当てられたボクセルの数の最小閾値に基づいて前記３Ｄ画像を分類するように構成されている、請求項１７に記載のシステム。
【請求項１９】
前記骨折確率推定器（１０３）が、前記３Ｄ画像に存在する椎骨の解剖学的ラベル割当て器（１０６）を備える、請求項１に記載のシステム。
【請求項２０】
前記骨折確率推定器（１０３）が椎骨探知器（１０５）を備える、請求項１に記載のシステム。
【請求項２１】
前記椎骨探知器（１０５）が前記３Ｄ画像内の各椎骨の重心座標を生成する、請求項２０に記載のシステム。
【請求項２２】
前記骨折確率推定器（１０３）が椎骨分類器（１０７）を備える、請求項１に記載のシステム。
【請求項２３】
前記ボクセル分類器（１０４）が畳み込みニューラル・ネットワーク（ＣＮＮ）を利用する、請求項１に記載のシステム。
【請求項２４】
前記ボクセル分類器（１０４）が、ニューラル・ネットワーク層のセットを備えるＣＮＮを利用し、前記ニューラル・ネットワーク層のシーケンスが、
ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、
前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、
前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える、請求項１０に記載のシステム。
【請求項２５】
前記最後の分類が、正常、骨折、又は背景として分類される前記ボクセルの各々に確率を割り当てる、請求項２４に記載のシステム。
【請求項２６】
前記ボクセル分類器（１０４）が、注釈を付けてボクセルに分割された入力３Ｄ画像のセットを使用して事前訓練され、各３Ｄボクセルにはｘ軸、ｙ軸及びｚ軸に沿って強度ノイズ信号が付加される、請求項１に記載のシステム。
【請求項２７】
前記ボクセル分類器（１０４）が、フォアグラウンドを支援するためのサンプル抽出比を使用する注釈付きの入力３Ｄ画像のセットを使用して事前訓練されたＣＮＮを利用する、請求項１に記載のシステム。
【請求項２８】
前記ボクセル分類器（１０４）が、１：３：３の背景：正常：骨折のサンプル抽出比を使用する注釈付きの入力３Ｄ画像のセットを使用して事前訓練されているＣＮＮを利用する、請求項１に記載のシステム。
【請求項２９】
前記３Ｄ画像データが画像強度を含み、前記画像強度が信号の動的レンジを有する、請求項１に記載のシステム。
【請求項３０】
前記３Ｄ画像データがデータベース・システムに受け取られて記憶される、請求項１に記載のシステム。
【請求項３１】
被検者の少なくとも１つの３Ｄ画像（１４０１）を生成するための撮像装置と、
請求項１から３０までのいずれか一項に記載の少なくとも１つの生成された画像において前記被検者の脊椎骨折の存在を予測するためのシステムとを備える医用画像ワークステーション。
【請求項３２】
個人の脊椎骨折の存在を予測する３次元医用画像解析方法であって、
前記脊髄の撮像情報を含む３Ｄ撮像データを受け取るステップ（２０１）と、
前記画像を処理して３Ｄボクセルの２つ以上のセットを生成するステップであって、前記セットの各々が前記３Ｄ画像の全体に対応し、前記セットの各々が異なる寸法の等しいボクセルから成る、ステップ（２０２）と、
計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ（２０４）と、
前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ（２０５）と、
骨折を含有していると分類された前記ボクセルの前記識別に基づいて前記個人の脊椎骨折の存在を予測するステップ（２０６）とを含む方法。
【請求項３３】
前記画像の中で前記脊髄を突き止めるステップ（２０３）と、前記脊髄を含むボクセルの各セットについて脊柱によって切り取られた出力画像を生成するステップと、前記脊髄を含むボクセルのセットを出力するステップとをさらに含む、請求項３２に記載の方法。
【請求項３４】
前記３Ｄ撮像情報がコンピュータ・ネットワークを介して受け取られる、請求項３２に記載の方法。
【請求項３５】
前記分類が、
ｉ．ユーザ・インターフェースを介して訓練画像における各椎骨の重心座標を入力するステップと、
ｉｉ．ユーザ・インターフェースを介して椎骨骨折ラベルを入力するステップと、
ｉｉｉ．選択された重心座標のまわりにガウス重心の尤度関数を当てはめるステップと、
ｉｖ．訓練データセットにおける前記画像の各々に関する信号強度とラベルの対のデータセットを生成するステップとを含む方法を使用して生成された前記訓練データセットを使用して訓練されたモデルを使用して実行される、請求項３２に記載の方法。
【請求項３６】
前記計算モデルが事前注釈付きの画像のセット上で訓練されたものである、請求項３２に記載の方法。
【請求項３７】
前記計算モデルが、ボクセルの２つ以上のセットに分割された、事前注釈付きの画像のセット上で訓練されたものである、請求項３２に記載の方法。
【請求項３８】
前記画像を処理して２つ以上のボクセルのセットに分割するステップ（２０２）が、ｘ軸、ｙ軸及びｚ軸に沿って生成された各３Ｄボクセルに強度ノイズ信号を付加するステップを含む、請求項３２に記載の方法。
【請求項３９】
前記画像の中で前記脊髄を突き止める前記ステップ（２０３）が、最大の信号強度に基づいて、前記画像データの中で前記脊髄を粗く突き止めるものである、請求項３３に記載の方法。
【請求項４０】
前記画像の中で前記脊髄を突き止める前記ステップ（２０３）が、解剖学的事前情報を使用して、前記ｘ軸、ｙ軸及びｚ軸に沿って前記脊髄を粗く突き止めるものである、請求項３３に記載の方法。
【請求項４１】
前記３Ｄボクセルのセットのうち少なくとも１つが１ｍｍ３の等方性ボクセルのセットである、請求項３２に記載の方法。
【請求項４２】
前記３Ｄボクセルのセットのうち少なくとも１つが等方性ボクセルのセットである、請求項３２に記載の方法。
【請求項４３】
前記画像を処理してボクセルのセットに分割するステップ（２０２）が、前記ボクセルの強度の平均値及び単位標準偏差に正規化するステップをさらに含む、請求項３２に記載の方法。
【請求項４４】
前記画像を処理してボクセルのセットに分割するステップ（２０２）が、ｘ軸、ｙ軸及びｚ軸に沿ってそれぞれ生成された３Ｄボクセルに対して強度ノイズを付加するステップをさらに含む、請求項３２に記載の方法。
【請求項４５】
計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、ボクセルごとに１つ又は複数のクラスの確率を割り当てることによる各ボクセルの分類を含む、請求項３２に記載の方法。
【請求項４６】
計算モデルを使用して、各ボクセル・クラスについて、ボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、周囲のボクセルのコンテキストでは、ボクセルの前記１つ又は複数のセットにおける前記ボクセルの各々の分類を含む、請求項３２に記載の方法。
【請求項４７】
前記ボクセルの各々の分類が、前記周囲のボクセルのコンテキストで実行され、３０〜４０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第１のセットに分類し、９０〜１２０ｍｍ３の前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第２のセットに分類する、請求項４６に記載の方法。
【請求項４８】
前記第１のセットが３５ｍｍ３の前記ボクセルのコンテキストで分類され、前記第２のセットが１０５ｍｍ３の前記ボクセルのコンテキストで分類される、請求項４７に記載の方法。
【請求項４９】
計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることによって周囲のボクセルのコンテキストにおける各ボクセルを分類するために、分類器を使用する、請求項４６に記載の方法。
【請求項５０】
計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、前記画像における各ボクセルについて、背景クラス、正常クラス、又は骨折クラスと分類される出力確率を生成する、請求項３２に記載の方法。
【請求項５１】
脊椎骨折のリスクを予測する前記ステップ（２０６）が、前記３Ｄ画像を骨折の有／無に分類することを含み、前記ステップが、前記３Ｄ画像の各ボクセルに関する計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）から入力分類値を受け取り、前記ステップが、前記３Ｄ画像に関する集約された確率値の出力をもたらす、請求項３２に記載の方法。
【請求項５２】
脊椎骨折のリスクを予測する前記ステップ（２０６）が、割り当てられた前記骨折クラスの確率を有するボクセルの数の最小の閾値に基づく前記３Ｄ画像の分類を含む、請求項３２に記載の方法。
【請求項５３】
前記画像において前記椎骨を突き止めるステップと、前記３Ｄ画像に存在する椎骨に解剖学的ラベルを割り当てるステップとをさらに含む、請求項３２に記載の方法。
【請求項５４】
前記３Ｄ画像に存在する椎骨にラベルを割り当てるステップをさらに含む、請求項３２に記載の方法。
【請求項５５】
前記椎骨に骨折がある確率を割り当てることによって椎骨を分類するステップをさらに含む、請求項３２に記載の方法。
【請求項５６】
前記椎骨を突き止める前記ステップが、前記３Ｄ画像の内部に各椎骨の重心座標を生成する、請求項５３に記載の方法。
【請求項５７】
計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである、請求項３２に記載の方法。
【請求項５８】
計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、ニューラル・ネットワーク層のセットを備える畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものであり、ニューラル・ネットワーク層の前記セットが、
ボクセルの各セットについて、前記周囲のボクセルの前記コンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、
前記ボクセルのセットの各々について、前記１つ又は複数の畳み込まれた出力からの前記出力を集約するための集約層と、
第１の畳み込まれた出力及び第２の畳み込まれた出力からの前記集約された出力から入力を受け取る１つ又は複数の畳み込み層と、
前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、
前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える、請求項４６に記載の方法。
【請求項５９】
前記最後の分類が、正常、骨折、又は背景として分類される前記ボクセルの各々に確率を割り当てることによって遂行される、請求項５８に記載の方法。
【請求項６０】
計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、フォアグラウンドを支援するためのサンプル抽出比を用いて注釈付きの入力３Ｄ画像のセットを使用して事前訓練されている畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである、請求項３２に記載の方法。
【請求項６１】
計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算する前記ステップ（２０４）が、背景：正常：骨折が１：３：３となるサンプル抽出比を用いて注釈付きの入力３Ｄ画像のセットを使用して事前訓練されている畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである、請求項３２に記載の方法。
【請求項６２】
前記３Ｄ画像データが画像強度を含み、前記画像強度が信号の動的レンジを有する、請求項３２に記載の方法。
【請求項６３】
請求項３２から６２までのいずれか一項に記載の方法のステップを実行するためのコード手段を含むコンピュータ・プログラムであって、コンピュータ上で実行されるコンピュータ・プログラム。
【請求項６４】
実行可能命令を記憶している非一時的コンピュータ可読媒体であって、コンピュータが、前記実行可能命令を実行することにより、個人における脊椎骨折のリスクを予測するための、請求項３２から６２までのいずれか一項に記載の方法を実行する、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医用画像解析に関し、３Ｄ画像において、骨折、より具体的には脊椎骨折を識別するためのシステム及び方法を提供するものである。
【背景技術】
【０００２】
骨粗鬆症は、骨格に影響を及ぼす疾病であり、骨が弱くなって骨折のリスクが高くなる。一般的な骨粗鬆症性骨折は、脊柱における椎骨、前腕の骨格、及び腰において生じる。３秒ごとに骨粗鬆症性骨折が発生しており、脊椎骨折が最も一般的である（Ｊｏｈｎｅｌｌ  ｅｔ  ａｌ．、２００６）。脊椎骨折は後の骨折の前兆となり、たとえば中程度又は重症の脊椎骨折の患者は、後の股関節の骨折のリスクが４．８〜６．７倍高くなる（Ｂｕｃｋｅｎｓ  ｅｔ  ａｌ．、２０１４）。Ｒｏｕｘ  ｅｔ  ａｌ．は、ありがちな軽症の脊椎骨折患者の４人のうち１人は、次の２年以内に再び骨折する可能性が高いことを実証した（Ｒｏｕｘ  ｅｔ  ａｌ．、２００７）。
【０００３】
自分が脊椎骨折していることに気づかない患者も多いため、脊椎骨折の臨床的評価は困難である。臨床的に注目される脊椎骨折はわずか１／３であり（Ｃｏｏｐｅｒ  ｅｔ  ａｌ．、１９９２）、脊柱を包含するＣＴにおいて脊椎骨折の５４％が放射線専門医によって過少報告されている（Ｍｉｔｃｈｅｌ  ｅｔ  ａｌ．、２０１７）と推定される。脊椎骨折の注意を喚起するとともに椎骨骨折検出に関する訓練を提供するための国際骨粗鬆症財団の事業をよそに、臨床施設における骨格介護者が有する、脊椎骨折患者の検査及び早期段階調査のための手段は僅かである。
【０００４】
放射線専門医向けの画像解析のための一般的な手法には、提起された質問に依拠して、３Ｄ画像の特定の２Ｄスライスを検討することが包含される。これによって、特定の質問に対する画像解析ステップが制限され、元の３Ｄ画像における潜在的価値のある情報が排除されてしまう。現在の放射線学の慣行では、脊椎骨折は、Ｇｅｎａｎｔの準量的脊椎骨折評価（ＶＦＡ：Ｖｅｒｔｅｂｒａｌ  Ｆｒａｃｔｕｒｅ  Ａｓｓｅｓｓｍｅｎｔ）法（Ｇｅｎａｎｔ  ｅｔ  ａｌ．、１９９３）に従って類別される。この方法は、Ｘ線画像における、又は３Ｄ画像モダリティ（ＣＴ、ＭＲ）の正中矢状面における／正中矢状面のまわりの、椎体の形態を評価するものである。Ｂｕｃｋｅｎｓ  ｅｔ  ａｌ．（２０１３）で報告されているように、胸ＣＴに関する観察者内及び観察者間の信頼性並びに準量的ＶＦＡの合意は、患者レベル及び椎骨レベルで、決して些細なことではない。
【０００５】
椎骨の圧迫骨折は、様相及び程度において大幅に変化する（Ｓｃｈｗａｒｔｚ  ａｎｄ  Ｓｔｅｉｎｂｅｒｇ、２００５）。脊椎骨折検出に関する大多数の刊行物は、放射線専門医がＧｅｎａｎｔの分類を適用するやり方によって着想されており、最初に椎骨を高精度でセグメント化し、次に終板を検出して、最後に、脊椎骨折を検出するために、各椎骨の高さ損失を定量化することを試行するものである。
【０００６】
米国特許第８，１２６，２４９号には、骨粗鬆症性骨折を検出するための形状ベースのモデル法が開示されている。Ｋｌｉｎｄｅｒ  ｅｔ  ａｌ．（２００９）は、ＣＴにおける椎骨を自動的に検出し、識別して、セグメント化するために、モデルベースの手法を適用するものである。この方法は、１つのＳｉｅｍｅｎｓ  ＭＤＣＴスキャナ上で調査された８０人の患者を包含する横断的で長期にわたる研究において臨床的に検証されている。Ｇｅｎａｎｔ分類に従ってＴ５からＬ５まで等級付けされた脊椎骨折を報告するために、前部、中央及び後部の高さ減少が使用される。Ｂａｕｍ  ｅｔ  ａｌ．（２０１４）は、ＭＤＣＴ試験ごとに平均して５０分の高さ比及び実行性能に関するＲＯＣ解析を用いて、この方法に関する結果を報告している。Ｙａｏ  ｅｔ  ａｌ．（２０１２）は、ＣＴに存在する３Ｄ情報を活用する軸方向ｈｅｉｇｈｔ  ｃｏｍｐａｓｓを使用して、圧迫骨折を検出して局在化するものである。この方法は、等級及びタイプによってＴ１からＬ５までの椎骨の圧迫骨折の解剖学的局在化及び分類を報告する、対照群を伴う１５０人の患者を包含する横断的研究において最近論じられている（Ｂｕｒｎｓ  ｅｔ  ａｌ．、２０１７）。この研究は、胸や腰の椎体が骨折している２１０人を含む１２７５人の個人の椎骨のデータセットを使用して、９５．７％の感度及び４３の偽陽性所見で脊椎骨折の検出を報告している。これらの結果は、椎骨骨折のカスタム定義（最小で１０％の高さ損失）に基礎を置くものである。最近の刊行物（Ｂａｒらの文献、２０１７年）は、ＣＴで患者レベルの圧迫骨折を検出するための畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）及び再帰型ニューラル・ネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の使用について論じている。このアルゴリズムは、セグメント化された脊柱から抽出された矢状パッチ上の２Ｄ  ＣＮＮを使用して、局在化も骨折数のカウントもすることなく、患者画像における１つ又は複数の脊椎骨折の存在を予測するものである。
【０００７】
Ｂｕｃｋｅｎｓ  ｅｔ  ａｌ．（２０１３）は、３つの患者レベルの測度及び２つの椎骨レベルの測度を使用して、ＣＴ上のＶＦＡの観察者内及び観察者間の変動性及び信頼性について論じている。この著者は、結果が、容認できる再現性を明示すると結論しているが、データセットが使用している画像の数（５０）及び椎骨骨折（２〜４％）は限られたものである。提示された結果を詳細に解析すると、教師付き学習を使用するデータ駆動型の方法は放射線専門医（のグループ）によって提供された読出しにおけるかなりのノイズに対処する必要があることが示される。
【０００８】
臨床撮像データ量が着実に増加し続けているので、３次元画像処理システム及び方法の開発は、観察者間の変動性を低減して脊椎骨折の検査を可能にするための、臨床の重要な技術的課題である。本発明は、骨構造の詳細なセグメント化を実行することなく、３Ｄ画像において骨折を自動検出するために画像における特定のデータを解析する３次元画像処理方法を提供することによって、コンピュータ環境における技術的解決策を提供するものである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第８，１２６，２４９号
【非特許文献】
【００１０】
【非特許文献１】ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／Ｋａｍｎｉｔｓａｓｋ／ｄｅｅｐｍｅｄｉｃ
【発明の概要】
【００１１】
本発明が提供する、被検者の脊椎骨折の存在を予測するための３次元医用画像解析システムは、
前記被検者の３Ｄ画像データを受け取って処理し、３Ｄボクセルの２つ以上のセットを生成するための３Ｄ画像プロセッサ（１０１）であって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、３Ｄ画像プロセッサ（１０１）と、
計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの１つ又は複数のクラス確率を割り当てるためのボクセル分類器（１０４）と、
前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器（１０３）とを備える。
【００１２】
本発明がさらに提供する医用画像ワークステーションは、被検者の少なくとも１つの３Ｄ画像（１４０１）を生成するための撮像装置と、少なくとも１つの生成された画像において前記被検者の脊椎骨折の存在を予測するための本明細書で開示されたようなシステムとを備える。
【００１３】
本発明は個人の脊椎骨折の存在を予測する３次元医用画像解析方法をさらに提供するものであり、前記方法は、
脊髄の撮像情報を含む３Ｄ撮像データを受け取るステップ（２０１）と、
前記画像を処理して３Ｄボクセルの２つ以上のセットを生成するステップであって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、ステップ（２０２）と、
計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ（２０４）と、
前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ（２０５）と、
骨折を含有していると分類された前記ボクセルの識別に基づいて前記個人の脊椎骨折の存在を予測するステップ（２０６）とを含む。
【００１４】
本発明は、この方法のステップを実行するためのコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。
【００１５】
本発明は、実行可能命令を記憶している非一時的コンピュータ可読媒体も提供するものであり、コンピュータは、この命令を実行することにより、個人における脊椎骨折の存在を予測するための方法を実行する。
【００１６】
本発明は、以下の図面を参照することによって以下で説明される。
【図面の簡単な説明】
【００１７】
【図１】３Ｄ画像において骨折を識別するためのシステムのブロック図である。
【図２】３Ｄ画像において骨折を識別するための方法のブロック図である。
【図３】追加要素を備える、骨折を識別するためのシステムの概略図である。
【図４】本発明の撮像ワークステーションの概略図である。
【図５】３Ｄ画像プロセッサの動作ステップを表す流れ図である。
【図６】脊髄探知器の動作ステップを表す流れ図である。
【図７】ボクセル分類器の動作ステップを表す流れ図である。
【図８】椎骨探知器の動作ステップを表す流れ図である。
【図９】椎骨の解剖学的ラベル割当て器の動作ステップを表す流れ図である。
【図１０】椎骨分類器の動作ステップを表す流れ図である。
【図１１】画像分類器の動作ステップを表す流れ図である。
【図１２】ボクセル及び最終的画像を分類するためのＣＮＮの設計を示す図である。
【図１３】本明細書で説明された方法を使用する４重の相互検証試験結果であり、手動の椎骨レベルの誤差解析の後の脊柱に沿った誤差の分布を示す図である。ＦＮは偽陰性又は見逃しであり、ＦＰは偽陽性又は誤警報である。
【図１４】方法が、異なる骨折等級を有する骨折した椎骨並びにすべての正常な椎骨を正確に分類したサンプル画像を示す図である。
【発明を実施するための形態】
【００１８】
本発明は、機械学習法を使用して撮像データを解析し、３Ｄ画像、より具体的にはＣＴ画像において骨折を予測するものである。
【００１９】
詳細には、本発明が提供する、被検者の脊椎骨折の存在を予測するための３次元医用画像解析システムは、前記被検者の３Ｄ画像データを受け取って処理し、３Ｄボクセルの２つ以上のセットを生成するための３Ｄ画像プロセッサ（１０１）であって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、３Ｄ画像プロセッサ（１０１）と、計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの１つ又は複数のクラス確率を割り当てるためのボクセル分類器（１０４）と、前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器（１０３）とを備える。任意選択で、そのようなシステムは、前記画像の脊髄を含む部分を検出するための脊髄検出器（１０２）をさらに備え得る。これにより、解析して分類されるボクセルの数が減少され得て、コンピュータ処理時間が大幅に短縮される。
【００２０】
システムの要素の各々は、ステップの特定のセットを実行するサブシステムである。サブシステム（要素）の各々に関する例示のステップが、図５〜図１２に示されている。そのようなサブシステムの各々が、１つ又は複数の入力データ（又は信号）及び１つ又は複数の出力を有することができる。
【００２１】
図１は、被検者における脊椎骨折の存在を予測するための３次元医用画像解析システムの態様を図示するブロック図である。本開示に関連する要素のみが図示されている。システムは、たとえば適切な１つ又は複数のマイクロプロセッサを使用して実施され得る。図３にはシステムの追加要素が図示されている。たとえば、前記マイクロプロセッサ上でシステムを実施するためのコンピュータ・プログラムは、コンピュータ可読媒体で提供される。前記システムは、ソフトウェアを記憶するためのメモリと、データを記憶するためのメモリと、たとえば有線又は無線のネットワーク接続で他のデバイスと通信するための通信ポートとを備え得る。そのようなポートは、画像データを受け取って、システムによって生成されたデータ及び処理された信号を供給するように使用され得る。このシステムは、ユーザ・インターフェースと、ユーザ・インターフェースと相互作用するためのユーザ入力デバイスとをさらに備え得る。そのようなシステムは、システムによって生成された３Ｄ画像及び結果を表示するように使用され得る。
【００２２】
画像プロセッサ（１０１）は、受け取った３Ｄ画像データを３Ｄボクセルのセットへと切断する。画像プロセッサ（１０１）は、コンピュータ・ネットワーク又は画像ソースと相互作用するように構成された別の通信ポートを介して前記３Ｄ画像を受け取ることができる。そのような画像ソースは、撮像データベース、撮像コンピュータ、又はそのような画像を記録する撮像装置でよい。３Ｄ画像データは画像強度を含み得、前記画像強度は信号のダイナミック・レンジを有する。
【００２３】
一実施例では、画像プロセッサ（１０１）は１ｍｍ３の等方性ボクセルのセットを生成する。もう一つの実施例では、画像プロセッサは、第１のサイズの第１のボクセルのセット及び第２のサイズの第２のボクセルのセットを含む、同一の画像の全体を表すボクセルの２つのセットを生成する。一実施例では、第１のボクセルはそれぞれ１ｍｍ３の等方性ボクセルでよく、第２のボクセルはそれぞれ３ｍｍ３の等方性ボクセルでよい。そのような等方サイズによって後続のステップが大幅に簡素化される。特定の一実施例では、画像プロセッサ（１０１）は３Ｄボクセルのセットを出力し、前記３Ｄボクセルは異方性ボクセルである。
【００２４】
別の実施例では、前記画像プロセッサ（１０１）は、前記ボクセルの強度の平均値及び単位標準偏差に正規化された３Ｄボクセルのセットを出力する。画像におけるボクセル強度は、ゼロ平均値及び単位分散に正規化される。これら追加の前処理ステップは、ボクセル分類器（１０４）に均一な強度及び規模をもたらし、計算モデルが、この強度正規化をサブタスクとして学習するのを回避する。そのような画像前処理ステップが実行されなければ、機械学習モデルは、訓練データセットにおけるこの強度正規化を前もって暗黙のうちに学習しなければならないことになる。そうしないと、機械学習モデルは、異なる画像間の強度範囲における変動によって「オフセット」され、タスクに関連する一般化された画像特徴を学習してしまうことになる。
【００２５】
脊髄検出器（１０２）は、前記画像データにおいて脊髄を概略的に突き止めるために最大の信号強度を使用する。詳細には、信号強度は、累積分布関数（ＣＤＦ：Ｃｕｍｕｌａｔｉｖｅ  Ｄｉｓｔｒｉｂｕｔｉｏｎ  Ｆｕｎｃｔｉｏｎ）≧０．９８９５を使用して処理され得る。ＣＤＦは、確率変数（この場合信号強度）の値を見いだす確率を出力する統計関数である。脊髄検出器は非常に高いＣＤＦ値を伴う強度を考慮に入れることによって骨密度（ＣＴにおける非常に高い強度値）を突き止める。画像強度値だけを使用するのと比較して、ＣＤＦを使用することの利点は、その頑健性にある。強度値だけを使用すると、強度値に対して単純な閾値しか用意できないが、異なるスキャナは骨組織に関して少し異なる強度値をもたらし、これによって解析の精度が低下する可能性がある。ＣＤＦを使用すると、強度のダイナミック・レンジを考慮に入れることが可能になり、解析がより頑健になる。さらに、脊髄検出器（１０２）は、ｘ軸、ｙ軸及びｚ軸に沿って脊髄を粗く突き止めるために解剖学的事前情報を使用し得る。腹部及び胸部のＣＴ試験は、すべての組織を取り込んで広範囲にわたる兆候を解析するための広い視野を含有している。原理的に、ボクセル分類は画像のすべてのボクセルに対して実行され得る。本発明は、肺、肋骨、及び他の関係ない解剖学的構造におけるボクセルに関する無用の計算を回避するために、脊柱のまわりのボクセルに的を絞るものである。
【００２６】
脊髄検出器（１０２）は、ＣＴ画像における脊柱に関して有効な信号強度及びロケーション・プライアを利用することができる。より具体的には、脊柱境界を突き止めるために前述のように高強度の骨格強度が識別され得、これを改良して、脊柱がｘ軸（左から右）に沿って中心にあり、（重症の側弯症を除いて）身体に沿って後部にあることをさらに観測する。脊髄検出によって生成された出力画像は脊柱が切り取った体積であり、これによって、下流のステップでさらに処理するべきボクセルの体積が平均して１／１５に縮小する。
【００２７】
ボクセル分類器（１０４）は、３Ｄ画像データを、脊髄検出器（１０２）から、たとえば、脊柱によって切り取られた、それぞれが異なるボクセルサイズを有する少なくとも２つの出力画像の形態で、又は、３Ｄ画像プロセッサ（１０１）から直接、たとえばそれぞれが異なるボクセルサイズを有する少なくとも２つの画像（２つの画像データセット）の形態で、受け取ることができる。
【００２８】
特定の実施例では、ボクセル分類器（１０４）は、周囲のボクセルのコンテキストでは、ボクセルの前記１つ又は複数のセットの、前記ボクセルの各々を分類する。
【００２９】
より具体的な実施例では、ボクセル分類器（１０４）は、周囲のボクセルのコンテキストでは、前記ボクセルの各々を分類し、前記ボクセルの３０〜４０ｍｍ３のコンテキストでは、関心のあるボクセルを中心にして、ボクセルの各々を第１のセットに分類し、前記ボクセルの９０〜１２０ｍｍ３のコンテキストでは、関心のあるボクセルを中心にして、ボクセルの各々を第２のセットに分類する。具体的には、３Ｄボクセルの第１のセットは１ｍｍ３の等方性ボクセルのセットであり、３Ｄボクセルの第２のセットは３ｍｍ３の等方性ボクセルのセットである。
【００３０】
特定の実施例では、ボクセル分類器（１０４）は畳み込みニューラル・ネットワーク（ＣＮＮ）を利用する。そのようなネットワークの例示のセットが図３に与えられている。ＣＮＮは、分類タスク、対象物検出タスク及びセグメント化タスクにうまく適用されている。ＣＮＮアーキテクチャは様々な２Ｄ画像タスクに適用されており、バッチ正規化（Ｉｏｆｆｅ  ａｎｄ  Ｓｚｅｇｅｄｙ、２０１５）、開始モジュール（Ｓｚｅｇｅｄｙ  ｅｔ  ａｌ．、２０１５）及び残留接続（Ｈｅ  ｅｔ  ａｌ．、２０１６）などの改善は、ＩｍａｇｅＮｅｔ競技（自然画像の中の対象物の分類）において、人間のレベルをしのいで性能を押し進めた。意外にも、公開された方法のうち、ＣＴ及びＭＲＩで入手可能な３Ｄデータ構造を十分に利用するものはほんの僅かであった。Ｃｉｃｅｋ  ｅｔ  ａｌ．（２０１６）及びＫａｍｎｉｔｓａｓ  ｅｔ  ａｌ．（２０１７）からの最近の研究は、向上したメモリ及び計算に対処するように最適化されたアーキテクチャを用いて、３Ｄ  ＣＮＮを顕微鏡検査法及びＭＲＩ画像にうまく適用している。
【００３１】
ＣＮＮを構築する層は、それぞれが全体の入力画像にわたってフィルタ・ウィンドウをスライドさせる畳み込みを使用して個々のボクセルを処理する。フィルタ・サイズは、中心ボクセルの出力に寄与するボクセルの数を決定する（たとえば、３×３×３のサイズの３Ｄフィルタは、中心ボクセルが、すべての近隣ボクセルからの強度の加重和を出力することを意味する）。一般的には、すべての層が、様々な特徴を学習するために複数のフィルタを有し、ＣＮＮは、十分に大きい受容フィールドを構築するために多層から成る。受容フィールドは、最後のＣＮＮ層から見える構造のサイズと解釈され得る。
【００３２】
分類のためのＣＮＮネットワークは、一般的には、その終端に、完全に接続された２つの層及び分類層を有する。すべての層はエンドツーエンドで訓練され、このことは、学習された特徴が当面の分類にとって有意義であることを意味する。ＣＮＮは、１つのデータセット上でモデルをうまく訓練して、異なるタスクに取り組むためにこれらの特徴を伝達することが公表された後に、多くの関心を得ている。この伝達学習手法は、第１のＣＮＮ層が一般的な特徴（たとえばエッジ及びコーナー）を学習し、上位のＣＮＮ層が、当面のタスクに適する、より具体的な特徴（たとえば猫の顔又は自動車ホイールの形状）へとこれらを組み合わせる、という観測に基礎を置くものである。
【００３３】
特定の実施例では、ボクセル分類器（１０４）は、ニューラル・ネットワーク層のセット備えるＣＮＮを利用し、ニューラル・ネットワーク層のシーケンスは、ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える。
【００３４】
１つ又は複数の畳み込み層は２つの畳み込み層として設計され得る。開始において（それぞれが異なるサイズで同一の量のボクセルを有する）２つのボクセルのセットを使用すると、２つの畳み込まれた出力をもたらすことになる。ボクセルの各セットはそれ自体の個別のＣＮＮネットワークを使用して解析される。
【００３５】
１つ又は複数の接続された層により、ボクセルのセットの各々から生成された出力を集約することが可能になる。１つ又は複数の畳み込み層からの畳み込まれた出力は、学習された特徴と解釈され得る。（２つのＣＮＮネットワークによって解析された）ボクセルの２つのセットを使用すると、異なるコンテキストで学習された特徴の２つのセットを生成することになる（たとえば、一方は高分解能の画像を注視し、他方は画像のより大きな部分、より低い分解能の／より不明瞭な画像を注視する）。１つ又は複数の接続された層は、これらの特徴を、一緒に、１つの大きな特徴ベクトルに付加するかそうでなければ積み重ねる。最後の完全に接続された層は、最後の分類層（次のバレット）が、すべてのクラス向けに１つの確率を出力し、これを入力画像におけるすべてのボクセル向けに出力するように、これらの特徴ベクトルをもう一度処理する（非線形動作）（そのため、同ボクセルの確率１は背景ボクセルであり、同ボクセルの確率２は正常な椎骨ボクセルであり、同ボクセルの確率３は骨折した椎骨ボクセルである）。
【００３６】
分類層の出力は各クラスに関する確率値である。Ｎ×Ｍ×Ｋのボクセル（３Ｄ）を含む入力画像については、出力はＮ×Ｍ×Ｋのボクセルであり、それぞれがすべてのクラスについて１つの確率値を含有している。
【００３７】
ＣＮＮは、追加の集約層及び畳み込み層をさらに備え得る。より具体的には、上記で例示されたＣＮＮは、
前記１つ又は複数の畳み込まれた出力からの出力を集約するための集約層と、
第１の畳み込まれた出力及び第２の畳み込まれた出力からの前記集約された出力から入力を受け取る１つ又は複数の畳み込み層とをさらに備える。
【００３８】
より具体的には、ＣＮＮは、３３ボクセルのサイズを有するスライドするフィルタを使用する。
【００３９】
より具体的には、望ましい一実施例によれば、分類に使用されるＣＮＮが含む１７の畳み込み層は、通常の経路（１ｍｍ３のボクセルの第１のセット）における３５３の有効な受容フィールドと、サブサンプルの経路（３ｍｍ３のボクセルの第２のセット）における１０５３の有効な受容フィールドとを得るための、サイズ３３の各フィルタを有する（図１２）。この選択は、平均的な人間の椎骨の幅が最大５４ｍｍであるという経験的観察によるものであり、よって、あらゆる椎骨ボクセルを評価するとき、椎骨の内部のすべてのボクセルが寄与するように、最小１００ボクセルの受容フィールド（等方性の１ｍｍ３の入力画像）が必要とされる。通常の経路とサブサンプルの経路がともに積み重ねられた後に畳み込み層を追加すると、結果が平滑になり、システムの性能がさらに改善される。
【００４０】
ボクセル分類器（１０４）は、ボクセルごとに１つ又は複数のクラスの確率を割り当てることによって各ボクセルを分類する。任意の適切な分類器が選択されてよい。当業者には様々な分類手法が周知である。それぞれの特定の分類器が、システムの各構成要素における調節を必要とする可能性がある。特定の実施例では、ボクセル分類器（１０４）は、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることにより、ボクセルのグループにおけるそれぞれのボクセルを分類する。
【００４１】
特定の実施例では、ボクセル分類器（１０４）は、各ボクセルについて、背景クラス、正常クラス、骨折クラスとして分類される確率を計算する。
【００４２】
特定の実施例では、ボクセル分類器（１０４）は、注釈を付けてボクセルに分割された入力３Ｄ画像のセットを使用して事前訓練され、各３Ｄボクセルにはｘ軸、ｙ軸及びｚ軸に沿って強度ノイズ信号が付加される。入力強度に対してノイズを付加し、Ｘ軸、Ｙ軸及びＺ軸にわたって画像をランダムに除去することにより、データ拡大が実行される。これによって、入力画像における激しい変動性（様々なスキャナ、様々な患者位置）に対処するためのシステムの頑健性が向上する。
【００４３】
特定の実施例では、ＣＮＮを利用するボクセル分類器（１０４）は、フォアグラウンドを支援するためのサンプル抽出比、より具体的には背景：正常：骨折の比が１：３：３になり得るようなサンプル抽出比を使用し、注釈付きの入力３Ｄ画像のセットを使用して事前訓練される。そのような比を使用すると、最初に背景を除去し、次いで正常な椎骨と骨折した椎骨の区別に注目するための十分な実例が可能になる。
【００４４】
残留接続（Ｈｅ  ｅｔ  ａｌ．、２０１６）、バッチ正規化（Ｉｏｆｆｅ  ａｎｄ  Ｓｚｅｇｅｄｙ、２０１５）及びパラメトリック整流線形ユニット（ＰＲｅＬＵ：ｐａｒａｍｅｔｒｉｃ  ｒｅｃｔｉｆｉｅｄ  ｌｉｎｅａｒ  ｕｎｉｔ）の非線形性（Ｈｅ  ｅｔ  ａｌ．、２０１５）などの技術がＣＮＮに適用され得る。０．００１の学習率を指数関数的にアニールして、３５のエポックに関して訓練するために、ＲｍｓＰｒｏｐ最適化プログラム、Ｌ１及びＬ２正則化が適用され得る。
【００４５】
分類ネットワークは、たとえばＫａｍｎｉｔｓａｓ  ｅｔ  ａｌ．（２０１７）で説明されているような３Ｄ  ＣＮＮ、Ｔｈｅａｎｏ（Ｇｉｔｈｕｂ上で利用可能なコードベース）で構築されたボクセル分類パイプラインを使用して実施され得る。クラスの不均衡に対処し、通常の経路とサブアンプルの経路の組合せを生成してコンテキストを増加させ、最終的に、画像セグメント上での密なトレーニング計画を生成して、そのような３Ｄ  ＣＮＮで観察されるメモリ及び計算の制約に対処するために、重み付けされたサンプリングを実行するように、ＤｅｅｐＭｅｄｉｃソフトウェア（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／Ｋａｍｎｉｔｓａｓｋ／ｄｅｅｐｍｅｄｉｃ）が使用され得る。
【００４６】
ＣＮＮは、半手動の方法を使用して生成することができる訓練データセットを使用して訓練され得る。教師付き学習手法を使用するボクセル分類は、ボクセルごとに１つのラベルを必要とする。これは、分類を実行するために画像ごとに１時間超を要する可能性がある非常に割高なラベル付けタスクである。
【００４７】
そのような分類の可能なやり方の１つには、Ｇｌｏｃｋｅｒ  ｅｔ  ａｌ．（２０１３）で説明されている、画像ごとの手動の注釈時間を平均で２分に短縮する、まばらな注釈方式からの密な分類を使用するものがある。この方式は、椎骨の重心座標ｃｖのまわりにガウス重心の尤度関数ψｖを当てはめるものである。重心座標は、手動注釈によって与えられる（自由パラメータｈｖは、オーバラップしないポイントのクラウドを用いてすべての椎骨をうまくカバーするように実験的に決定される）。椎骨ごとに１つの重心ポイントを手動で注釈すれば、すべての椎骨について密なラベル・ポイントのクラウドを構築するのに十分である。視野ｖにおける椎骨のリストは動的であり、入力画像に依拠するものである。
【数１】
2021504061.tif 000003
【００４８】
読出しは、視野内に存在する椎骨ごとに１つのＧｅｎａｎｔ分類に制限され、ラベル画像Ｌは、脊柱によって切り取られた強度画像Ｉと同一の寸法を用いて自動的に生成される。説明された技法を用いてもたらされるラベル画像は、完全なボクセルのものではないが、そのような方法は、当面の検出タスクにとって十分に正確である。このステップは、背景ボクセルについては０、正常な椎骨ボクセルについては１、椎骨骨折ボクセルについては２の強度値を有する入力画像Ｉと同一のサイズ（寸法）を有する３Ｄ画像Ｌを生成する。ボクセル強度は、上記の方法のように半自動で生成される。このステップの結果は、Ｋ対の画像Ｉ及びラベル画像Ｌを有する訓練データベースであり、ＣＮＮ分類器に供給され得る。
【００４９】
骨折確率推定器（１０３）は、画像に存在する椎骨骨折の確率の推定をもたらすために、場合により他の付加情報と組み合わされたボクセル分類出力を使用するサブシステムである。そのような確率は、全体画像又は画像の一部分に対してもたらされ得る。
【００５０】
特定の実施例では、骨折確率推定器（１０３）は画像分類器（１０８）を備える。画像分類器（１０８）は前記３Ｄ画像を骨折の有／無で分類するように構成されており、ボクセル分類器（１０４）から前記３Ｄ画像の各ボクセルに関する入力を受け取って、前記３Ｄ画像に関する集約された確率値の出力をもたらし、そのような集約された確率は、性能メトリック（たとえば感度／特異性又は精度／再現度）を最適化することによって実験的に推定される。或いは、骨折クラスの確率を割り当てられたボクセルの数のカウントが使用され得る。
【００５１】
別の実施例では、画像分類器（１０８）は、骨折クラスの確率を割り当てられたボクセルの数の最小閾値に基づいて３Ｄ画像を分類するように構成されている。
【００５２】
別の実施例では、骨折確率推定器（１０３）は、３Ｄ画像における椎骨探知器（１０５）を備える。骨折確率推定器（１０３）は、椎骨探知器（１０５）と、椎骨の解剖学的ラベル割当て器（１０６）とを備え得る。
【００５３】
別の実施例では、骨折確率推定器（１０３）は、３Ｄ画像における各椎骨について、骨折している確率を出力する椎骨分類器（１０７）をさらに備え得る。そのような分類器は、椎骨探知器（１０５）及び椎骨の解剖学的ラベル割当て器（１０６）と連携するように構成され得る。椎骨探知器（１０５）は、３Ｄ画像内の各椎骨の重心座標を生成するように構成され得る。椎骨の解剖学的ラベル割当て器（１０６）は、３Ｄ画像における各椎骨に対して解剖学的レベル情報を割り当てるように使用され得る。そのような情報は、予測結果の可視化を支援するのに有効であり得る。椎骨分類器（１０７）は、すべての構成要素を、入力画像に存在するすべての椎骨（これらはこの方法によって自動的に検出される）に関する、骨折ラベル（たとえば正常な椎骨又は骨折した椎骨）、椎骨重心（３Ｄ空間における局在化）、椎骨の解剖学的ラベル（たとえばＬ５、Ｌ１、Ｔ１２など）といった解答へと組み合わせる。そのため、椎骨分類器（１０７）は、３Ｄ画像全体（１０８の出力）について１つの椎骨骨折予測をもたらすのではなく、存在する椎骨ごとに骨折予測をもたらし、この椎骨を画像において局在化する（空間において物理的に局在化するとともに、解剖学的ラベルを使用することによって局在化する）。
【００５４】
本発明がさらに提供する医用撮像ワークステーションは、被検者の少なくとも１つの３Ｄ画像（１４０１）を生成するための撮像装置と、少なくとも１つの生成された画像において前記被検者の脊椎骨折のリスクを予測するための本明細書で説明されたようなシステムとを備える。そのような装置は、画像を選択してシステムの出力を調査するためのスクリーン及び入力デバイスを有するデバイスの形態であり得る。このシステムは、コンピュータ・ネットワークを介して遠隔で撮像装置と相互作用することもできる。そのような撮像ワークステーションの要素は様々なサーバ間に分散してよく、データベース・システムは、撮像データ、計算モデル、システムの様々な要素の中間出力を記憶するため、並びに最終出力を記憶するために使用され得る。そのようなデータベース・システムも様々なサーバ間に分散してよく、様々なサーバ上に様々なデータが記憶され得る。
【００５５】
本発明は個人の脊椎骨折の存在を予測する３次元医用画像解析方法も提供するものであり、前記方法は、
脊髄の撮像情報を含む３Ｄ撮像データを受け取るステップ（２０１）と、
前記画像を処理して３Ｄボクセルの２つ以上のセットを生成するステップであって、セットの各々が前記３Ｄ画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、ステップ（２０２）と、
計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ（２０４）と、
前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ（２０５）と、
骨折を含有していると分類された前記ボクセルの識別に基づいて前記個人の脊椎骨折の存在を予測するステップ（２０６）とを含む。
【００５６】
特定の実施例では、この方法は、前記画像の中で脊髄を突き止めるステップ（２０３）と、脊髄を含むボクセルの各セットの脊柱によって切り取られた出力画像を生成するステップと、脊髄を含むボクセルのセットを出力するステップとをさらに含む。そのようなステップは画像処理ステップ（２０２）に続くことになる。
【００５７】
特定の実施例では、３Ｄ撮像情報はコンピュータ・ネットワークを介して受け取られる。或いは、そのような撮像情報は、画像情報生成デバイス又はシステムと通信するように構成された通信ポートを介して受け取られる。より詳細には、撮像情報は医用画像データベースに記憶されている。
【００５８】
この方法のより具体的な実施例では、ボクセル分類は、訓練データセットを使用して訓練されたモデルを使用して実行され、訓練データセットは、
ｉ．ユーザ・インターフェースを介して訓練画像における各椎骨の重心座標を入力するステップと、
ｉｉ．ユーザ・インターフェースを介して椎骨骨折ラベルを入力するステップと、
ｉｉｉ．選択された重心座標のまわりにガウス重心の尤度関数を当てはめるステップと、
ｉｖ．訓練データセットにおける前記画像の各々に関する信号強度とラベルの対のデータセットを生成するステップとを含む方法を使用して生成されたものである。
【００５９】
より具体的には、計算モデルは事前注釈付きの画像のセット上で訓練される。そのような画像は、重心座標を手動で突き止めること、及びそれに続くガウス重心の尤度関数の適用に頼る前述の方法を使用して注釈されてよい。その上、そのような画像に分類ラベルを割り当てるために、熟達者によって椎骨状態が評価される。そのような分類ラベルは正常若しくは骨折でよく、又は骨折の等級も指示し得る。
【００６０】
特定の実施例では、計算モデルは、ボクセルのセットに分割された事前注釈付き画像のセット上で訓練される。一実施例では、ｘ軸、ｙ軸及びｚ軸に沿ってそれぞれ生成された３Ｄボクセルに対して強度ノイズ信号が付加される。
【００６１】
別の実施例では、前記画像の中で脊髄を突き止めるステップ（２０３）は、前記画像データの中で脊髄を突き止めるために最大の信号強度の識別に基づくものである。詳細には、信号強度は、前述のように累積分布関数（ＣＤＦ）≧０．９８９５を使用して処理され得る。或いは、前記画像の中で脊髄を突き止めるステップ（２０３）は、ｘ軸、ｙ軸及びｚ軸に沿って脊髄を粗く突き止めるために、解剖学的事前情報をさらに使用することができる。
【００６２】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、１ｍｍ３の等方性ボクセルである３Ｄボクセルのセットを出力する。そのようなサイズは前述の理由で有利である。
【００６３】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、異方性ボクセルである３Ｄボクセルのセットを出力する。
【００６４】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、前記ボクセルの強度を平均値及び単位標準偏差へと正規化するステップをさらに含む。
【００６５】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ（２０２）は、ｘ軸、ｙ軸及びｚ軸に沿ってそれぞれ生成された３Ｄボクセルに対して強度ノイズ信号を付加するステップをさらに含む。
【００６６】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、ボクセルごとに１つ又は複数のクラスの確率を割り当てることによる各ボクセルの分類を含む。
【００６７】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、ボクセルの周囲のセットのコンテキストでは、各セットの前記３Ｄボクセルの各々の２つの分類を含む。より具体的には、前記ボクセルの各々のそのような分類は、周囲のボクセルのコンテキストで実行され、３０〜４０ｍｍ３の前記ボクセルのコンテキストではボクセルの各々を第１のセットに分類し、９０〜１２０ｍｍ３の前記ボクセルのコンテキストではボクセルの各々を第２のセットに分類する。特定の実施例では、第１のセットは３５ｍｍ３の前記ボクセルのコンテキストで分類され、第２のセットは１０５ｍｍ３の前記ボクセルのコンテキストで分類される。より具体的には、この場合、ボクセルの第１のセットは１ｍｍ３のボクセルのセットであり、ボクセルの第２のセットは３ｍｍ３のボクセルのセットである。
【００６８】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、事前訓練された分類器を使用して前記ボクセルに１つ又は複数のクラス・ラベルを割り当てることによってボクセルのグループにおける各ボクセルを分類するために、分類器を使用する。
【００６９】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、画像における各ボクセルについて、背景クラス、正常クラス、骨折クラスと分類される出力確率を生成する。
【００７０】
この方法の別の実施例では、脊椎骨折のリスクを予測するステップ（２０６）は、前記３Ｄ画像を、骨折の有／無に分類することを含み、前記ステップは、前記３Ｄ画像の各ボクセルに関する計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）から、入力分類値を受け取り、前記ステップは、前記３Ｄ画像に関する集約された確率値の出力をもたらす。
【００７１】
この方法の別の実施例では、脊椎骨折のリスクを予測するステップ（２０６）は、割り当てられた骨折クラスの確率を有するボクセルの数の最小の閾値に基づく前記３Ｄ画像の分類を含む。
【００７２】
別の実施例では、この方法は、画像において椎骨を突き止めるステップと、３Ｄ画像に存在する椎骨にラベルを割り当てるステップとをさらに含む。
【００７３】
別の実施例では、この方法は、３Ｄ画像に存在する椎骨にラベルを割り当てるステップをさらに含む。
【００７４】
別の実施例では、この方法は、前記椎骨に骨折がある確率を割り当てることによって椎骨を分類するステップをさらに含む。より具体的には、椎骨を突き止めるステップは、前記３Ｄ画像の内部に各椎骨の重心座標を生成する。
【００７５】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものである。より具体的には、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、ニューラル・ネットワーク層のセットを備える畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものであり、ニューラル・ネットワーク層のセットは、
ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って２つ以上の畳み込まれた出力を生成するように構成された１つ又は複数の畳み込み層と、
ボクセルの各セットについて、前記２つ以上の畳み込まれた出力を集約するための１つ又は複数の完全に接続された層と、
前記１つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える。
【００７６】
ＣＮＮは、追加の集約層及び畳み込み層をさらに備え得る。より具体的には、上記で例示されたＣＮＮは、
前記１つ又は複数の畳み込まれた出力からの出力を集約するための集約層と、
第１の畳み込まれた出力及び第２の畳み込まれた出力からの前記集約された出力から入力を受け取る１つ又は複数の畳み込み層とをさらに備える。この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ（２０４）は、畳み込みニューラル・ネットワーク（ＣＮＮ）を利用するものであり、ＣＮＮは、フォアグラウンドを支援するためのサンプル抽出比、より具体的には背景：正常：骨折の比が１：３：３になり得るようなサンプル抽出比を使用し、注釈付きの入力３Ｄ画像のセットを使用して事前訓練されている。
【００７７】
この方法の別の実施例では、前記３Ｄ画像データは画像強度を含み、前記画像強度は信号のダイナミック・レンジを有する。
【００７８】
本発明は、本発明のシステム及び方法を実現するように適合されたコンピュータ・プログラム、特にキャリア上又はキャリア内のコンピュータ・プログラムにも適応することが理解されよう。本発明は、本明細書で説明された方法のステップを実行するためのコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。本発明は、実行可能命令を記憶している非一時的コンピュータ可読媒体をさらに提供するものであり、コンピュータは、この命令を実行することにより、本明細書で説明されたように、個人における骨粗鬆症性骨折のリスクを予測するための方法を実行する。本発明は、本明細書で説明されたシステムの要素に関するコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。
【００７９】
コンピュータ・プログラムは、ソース・コード、オブジェクト・コード、コードの中間ソースの形態でよい。プログラムは部分的にコンパイルされた形態でよく、又はこの方法の実装形態において用いるのに適切な何らかの他の形態でよく、本発明に応じて変化する。そのようなプログラムは様々なアーキテクチャ上の設計を有し得る。本発明による方法又はシステムの機能性を実施するプログラム・コードは、１つ又は複数のサブルーチン又はサブコンポーネントに細分され得る。これらのサブルーチンの間で機能性を分配する様々なやり方が存在し、当業者には既知であろう。各サブルーチンが１つの実行可能ファイルに一緒に記憶されてよく、自己完結プログラムを形成する。或いは、サブルーチンのうち１つ若しくは複数又はすべてが、少なくとも１つの外部ライブラリ・ファイルに記憶されて、たとえば実行時に主プログラムと静的又は動的にリンクされてもよい。主プログラムは、サブルーチンのうち少なくとも１つに対する少なくとも１つのコールを含有している。サブルーチンが互いにコールしてもよい。
【００８０】
本発明は、本明細書で明らかにされた方法のステップ、又は本明細書で明らかにされたようなその変形形態を実施するコンピュータ実行可能命令を含むコンピュータ・プログラム製品をさらに提供するものである。これらの命令は、サブルーチンに細分されてよく、且つ／又は、静的若しくは動的にリンクされ得る１つ若しく複数のファイルに記憶されてよい。コンピュータ・プログラム製品に関連した別の実施例は、システムのうち少なくとも１つの各手段に対応するコンピュータ実行可能命令及び／又は本明細書で明らかにされた製品を含む。これらの命令は、サブルーチンに細分されてよく、且つ／又は１つ若しくは複数のファイルに記憶されてよい。
【００８１】
前述の実施例は本発明を制限するのではなく例証するものであり、当業者なら、特許請求の範囲から逸脱することなく、多くの代替実施例を設計し得ることに留意されたい。特許請求の範囲では、かっこの間に配置されたいかなる引用符号も、請求項を制限するようには解釈されないものとする。「備える」という動詞及びその語形変化の使用は、請求項において明示されたもの以外の要素又はステップの存在を除外することはない。
【００８２】
要素の前の「１つの（ａ）」又は「１つの（ａｎ）」という冠詞は、そのような要素の複数の存在を除外することはない。本発明は、いくつかの別個の要素を備えるハードウェア及び適切にプログラムされたコンピュータによって実施され得るものである。いくつかの要素を列挙しているシステムの請求項では、これらの要素（サブシステム）のうちいくつかは、ハードウェアの全く同一の項目によって具現され得る。ある手段が互いに異なる従属請求項に詳述されているという単なる事実は、これらの手段の組合せが使用不可能であることを示すわけではない。
【００８３】
実例
「実例１」ＣＴ画像のセット上の脊椎骨折を識別するためのシステムの性能。
本明細書で説明された方法のために、１つの大学病院のイメージングデータベースから、一連の腹部及び胸部のＣＴ試験の１２０の匿名化された画像が使用された。これらの画像は、７０歳を超える様々な兆候を有する患者（７０歳〜１０１歳、平均年齢は８１歳、６４％が女性患者）を含めて、４つの別々のスキャナ（Ｓｉｅｍｅｎｓ、Ｐｈｉｌｉｐｓ及び２つのタイプのＧＥスキャナ）で、２０１７年の２月及び３月に取得されたものである。結果として、このデータセットは、プロトコルの種々雑多な範囲、再構成フォーマット及びこの患者集団に対する臨床診療からのサンプルを表す患者を含有している。椎骨分布は、２２８（１８．７％）の骨折を含む合計１２１９の椎骨を含有している。このデータセットは、視野内のすべての椎骨に対してＧｅｎａｎｔ等級（正常、軽症、中程度、重症）を与える１人の放射線専門医（Ｓ．Ｒ．）によって監督された。
【００８４】
表１は、本明細書で説明された技法を使用して、データセット上で４重の相互検証を使用した患者レベルの予測結果を概括するものである。この場合、モデルを訓練するために使用されるデータセットが患者のサブセットに対する腹部試験と胸部試験の両方を含有しているため、Ｎｉｍａｇｅｓよりも少ないＮｐａｔｉｅｎｔｓを使用した。
【００８５】
表１：４重の相互検証を使用して患者の骨折を提示する性能（Ｎｐａｔｉｅｎｔｓ＝１０１）
【表１】
2021504061.tif 000004
【表２】
2021504061.tif 000005
【００８６】
ノイズで乱れたグラウンド・トゥルース椎骨重心を使用して椎骨レベルの結果を生成した。方法の誤りの種類及び根本原因（データ又はアルゴリズム）を理解するために、放射線専門医の読出しに対する椎骨レベルの誤りの手分析を行った。
【００８７】
誤りの３分の２超が胸部で生じており、このことは偏ったデータセットによって説明され得る（図１３を参照されたい）。
【００８８】
放射線専門医とともに個々の誤りを評価した後に、軽症の等級に関する誤りのほぼ１５％が疑わしいものであるとの結論に至った。この観測により、（Ｂｕｃｋｅｎｓ  ｅｔ  ａｌ．（２０１３）で観察者内及び観察者間の変動性として報告されたように）グラウンド・トゥルース・ラベルとして使用された放射線専門医の読出しがノイズで乱れていることが明瞭に実証された。
【００８９】
椎骨の誤りの４０％は、２つから６つの連続した椎骨における連続した間違いを包含していた。興味深いことに、本発明者のデータセットに関連した放射線専門医の読出しを調べると類似の結果が見られる。Ｇｅｎａｎｔ  ｅｔ  ａｌ．（１９９３）で説明されているように、１つの参照椎骨に対する高さ損失を比較する必要があり（複数の参照椎骨にわたる統計的平均を使用することによる相違が報告されている（Ｂｕｒｎｓ  ｅｔ  ａｌ．、２０１７））、これらの連続は、参照椎骨の概念を取り除き、椎骨サイズは低品位から高品位へと自然に縮小するので、参照椎骨をより離れて使用すると明瞭さが低下して問題を引き起こすのは驚くことではない。
【００９０】
試験結果が含有している椎骨は、骨粗鬆症診断（たとえばＳ１、Ｃ７及びＣ６）と臨床的にはあまり関連性がなく、そのため、データセットにおける実例の数は限られたものであった。
【００９１】
データセットは少数の椎骨病理（たとえば椎骨融合、海綿体内ヘルニア、進行中の骨形成過程による異常外観）を含有している。これらの椎骨病理の画像特徴は正常な椎骨とは明らかに異なり、分類器がこれらを骨折の場合と混同する可能性があるので、いくつかの誤りが生じる。
【００９２】
最終的に、低い胸椎（たとえばＬ２、Ｔ１２及びＴ１１）に比較的多くの見逃し（偽陰性）があることが理解され得、先行研究（Ｂｕｒｎｓ  ｅｔ  ａｌ．、２０１７）と合致する。
【００９３】
この方法は、臨床診療及びつい最近報告された患者レベルの骨折検出結果に対してさらにベンチマークテストされた。結果を臨床診療に対してベンチマークテストするために、１人の観察者に対する３人の観察者の正確さとして、Ｂｕｃｋｅｎｓ  ｅｔ  ａｌ．（２０１３）で報告された観察者間絶対一致を使用した（したがって後者はグラウンド・トゥルースと見なされる）。表１ａに報告された結果は、４人の人間の観察者にわたって報告された、患者の骨折を提示する正確さの範囲８２％〜９２％（Ｂｕｃｋｅｎｓ  ｅｔ  ａｌ．、２０１３）を凌ぐものである。これらの観察者が十中八九別々に訓練されている一方で、ボクセル分類器は同一の基準に対して訓練されて試験されたことに注意する必要がある。それにもかかわらず、Ｂｕｃｋｅｎｓ  ｅｔ  ａｌ．（２０１３）の結果は、研究センターにおいて臨床研究に採用されており、４人の放射線専門医が専用の骨折格付け訓練を前もって受け、画像ごとに椎骨骨折を分類すること（研究設定）に、より多くの時間が費やされている。これらの条件があらゆる病院における標準的な放射線学の慣行に対して有利である（単なる学業ではない）ため、この結果は臨床診療と同等である。表３は、本発明の方法を、報告された患者の骨折結果（Ｂａｒ  ｅｔ  ａｌ．、２０１７）と比較したものである。両方の結果が、異なるデータセットを使用して生成されたものであることに注意する必要がある。
【００９４】
表３：患者の骨折を提示する性能に関するプロキシ・ベンチマーク（両方の結果は異なる試験セットに対して報告されたものである）
【表３】
2021504061.tif 000006
参考文献
Baum et al (2014) Automatic detection of osteoporotic vertebral fractures in routine thoracic and abdominal mdct. European radiology, 24(4):872-880
Buckens et al (2013) Intra and interobserver reliability and agreement of semiquantitative vertebral fracture assessment on chest computed tomography. PloS one, 8(8):e71204
Buckens et al. (2014) Prevalent vertebral fractures on chest ct: higher risk for future hip fracture. Journal of Bone and Mineral Research, 29(2):392-398
Cicek et al (2016) 3d u-net: learning dense volumetric segmentation from sparse annotation. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 424-432. Springer
Cooper et al (1992) Incidence of clinically diagnosed vertebral fractures: A population-based study in rochester, minnesota, 1985-1989. Journal of Bone and Mineral Research, 7(2):221-227
Genant et al (1993) Vertebral fracture assessment using a semiquantitative technique. Journal of bone and mineral research, 8(9):1137-1148
Glocker et al (2013) Vertebrae localization in pathological spine ct via dense classification from sparse annotations. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 262-270. Springer
He et al (2015) Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE international conference on computer vision, pages 1026-1034
He et al (2016) Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770-778
International Osteoporosis Foundation. Vertebral Fracture Teaching Program. https: //www.iofbonehealth.org/what-we-do/training-and-education/educational-slide-kits/vertebral-fracture-teaching-program, 2017.
Ioffe and Szegedy (2015) Batch normalization: Accelerating deep network training by reducing internal covariate shift. In International Conference on Machine Learning, pages 448-456
Johnell et al (2006) An estimate of the worldwide prevalence and disability associated with osteoporotic fractures. Osteoporosis international, 17(12):1726-1733
Kamnitsas et al (2017) Efficient multi-scale 3d CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 36:61-78
Klinder et al (2009) Automated model-based vertebra detection, identification, and segmentation in ct images. Medical image analysis, 13(3):471-482
Litjens et al (2017) A survey on deep learning in medical image analysis. arXiv preprint arXiv:1702.05747
Mitchell et al (2017) Reporting of vertebral fragility fractures: can radiologists help reduce the number of hip fractures? Archives of Osteoporosis, 12(1):71
Roux et al (2007) Mild prevalent and incident vertebral fractures are risk factors for new fractures. Osteoporosis International, 18(12):1617-1624
Schwartz et al (2005) Detection of vertebral fractures. Current osteoporosis reports, 3(4): 126-135
Szegedy et al (2015) Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1-9
【図１】
2021504061.tif 000007
【図２】
2021504061.tif 000008
【図３】
2021504061.tif 000009
【図４】
2021504061.tif 000010
【図５】
2021504061.tif 000011
【図６】
2021504061.tif 000012
【図７】
2021504061.tif 000013
【図８】
2021504061.tif 000014
【図９】
2021504061.tif 000015
【図１０】
2021504061.tif 000016
【図１１】
2021504061.tif 000017
【図１２】
2021504061.tif 000018
【図１３】
2021504061.tif 000019
【図１４】
2021504061.tif 000020
【国際調査報告】
2021504061.tif 000021
2021504061.tif 000022
2021504061.tif 000023