(57)【要約】【課題】超音波画像によって胎児欠陥をより効果的に検出すること。【解決手段】実施形態に係る画像処理装置は、マッチングデータセット記憶部と、超音波画像記憶部と、処理部とを備える。マッチングデータセット記憶部は、異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶する。超音波画像記憶部は、妊娠期間情報を含む、目標胎児の複数の超音波画像を記憶する。処理部は、前記超音波画像に含まれる妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットを前記マッチングデータセット記憶部から選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、前記複数の超音波画像から目標画像を抽出する。【選択図】図１
2019107453.tif 000002
【特許請求の範囲】
【請求項１】
異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶するマッチングデータセット記憶部と、
妊娠期間情報を含む、目標胎児の複数の超音波画像を記憶する超音波画像記憶部と、
前記超音波画像に含まれる妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットを前記マッチングデータセット記憶部から選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、前記複数の超音波画像から目標画像を抽出する処理部と
を備える、画像処理装置。
【請求項２】
前記超音波画像記憶部に記憶されている前記複数の超音波画像それぞれについて、異常胎児特徴を抽出する特徴抽出部をさらに備え、
前記処理部は、前記複数の超音波画像それぞれについて、前記特徴抽出部により抽出された異常胎児特徴と、前記マッチングデータセット記憶部から選択されたマッチングデータセットに含まれる異常胎児特徴との間で前記パターンマッチングを行う、請求項１に記載の画像処理装置。
【請求項３】
前記マッチングデータセットに含まれる異常胎児特徴と妊娠期間情報とは、対応関係を有する、請求項１又は２に記載の画像処理装置。
【請求項４】
前記異常胎児特徴は、口唇裂欠陥、口蓋裂欠陥、手指欠陥、足指欠陥、脳欠陥、神経欠陥、臓器欠陥、骨格欠陥のいずれかである、請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項５】
訓練データである複数の超音波画像について、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴を基に機械学習を行うことで、１つ以上のデータセットモデルを取得する機械学習部と、
前記複数の超音波画像それぞれについて、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴と、前記１つ以上のデータセットモデルとの間で前記パターンマッチングを行うことで、１つ以上のマッチングデータセットを取得するマッチングデータセット取得部と
をさらに備える、請求項３に記載の画像処理装置。
【請求項６】
前記処理部により抽出された前記目標画像について、前記目標画像における異常胎児特徴の部位を標記してトラッキングするトラッキング部と、
前記トラッキング部により前記異常胎児特徴の部位が標記されてトラッキングされている前記目標画像を表示する表示部と
をさらに備える、請求項１に記載の画像処理装置。
【請求項７】
異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶することと、
妊娠期間情報を含む、目標胎児の複数の超音波画像を記憶することと、
前記超音波画像に含まれる妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットを選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、前記複数の超音波画像から目標画像を抽出することと
を含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、妊娠期間検査は、大部分の胎児欠陥を検出することができる。例えば、妊娠１２〜１４週目、妊娠２０〜２２週目及び３２週目にそれぞれ一回の超音波検査を行うことによって、７０％〜８０％の胎児欠陥を理論的に検出することができる。
【０００３】
しかしながら、実際の超音波検査、特に伝統的な２Ｄ超音波検査では、医者が超音波画像によって胎児欠陥を十分に効果的に検出することが難い場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８９６８５号公報
【特許文献２】特開２００６−２４７２０６号公報
【特許文献３】特開２０１０−１８７９８７号公報
【特許文献４】国際公開第２０１５／０４０４５７号
【特許文献５】米国特許出願公開第２０１４／０２４３６７０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、超音波画像によって胎児欠陥をより効果的に検出することである。
【課題を解決するための手段】
【０００６】
実施形態に係る画像処理装置は、マッチングデータセット記憶部と、超音波画像記憶部と、処理部とを備える。マッチングデータセット記憶部は、異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶する。超音波画像記憶部は、妊娠期間情報を含む、目標胎児の複数の超音波画像を記憶する。処理部は、前記超音波画像に含まれる妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットを前記マッチングデータセット記憶部から選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、前記複数の超音波画像から目標画像を抽出する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態に係る画像処理装置のブロック図である。
【図２】図２は、第１の実施形態に係る画像処理装置が実行する画像処理方法のフローチャートである。
【図３】図３は、第１の実施形態に係る口唇部に関する７種のマッチングデータセットを示す略図である。
【図４】図４は、第２の実施形態に係る画像処理装置のブロック図である。
【図５】図５は、第２の実施形態に係る画像処理装置が実行する画像処理方法のフローチャートである。
【図６】図６は、第３の実施形態に係る画像処理装置のブロック図である。
【図７】図７は、第３の実施形態に係る画像処理装置が実行する画像処理方法のフローチャートである。
【図８】図８は、第３の実施形態に係る訓練データに対して付されるタグの一例を示す図である。
【図９Ａ】図９Ａは、第３の実施形態に係る画像処理装置の１つの表示例の略図である。
【図９Ｂ】図９Ｂは、第３の実施形態に係る画像処理装置の１つの表示例の略図である。
【図９Ｃ】図９Ｃは、第３の実施形態に係る画像処理装置の１つの表示例の略図である。
【図９Ｄ】図９Ｄは、第３の実施形態に係る画像処理装置の１つの表示例の略図である。
【図９Ｅ】図９Ｅは、第３の実施形態に係る画像処理装置の１つの表示例の略図である。
【図１０】図１０は、第４の実施形態に係る画像処理装置のブロック図である。
【図１１】図１１は、第４の実施形態に係る画像処理装置が実行する画像処理方法のフローチャートである。
【図１２Ａ】図１２Ａは、第４の実施形態に係る画像処理装置の１つの表示例の略図である。
【図１２Ｂ】図１２Ｂは、第４の実施形態に係る画像処理装置の１つの表示例の略図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、本願に係る画像処理装置及び画像処理方法の実施形態について詳細に説明する。
【０００９】
従来、妊娠期間検査は、大部分の胎児欠陥を検出することができる。例えば、妊娠１２〜１４週目、妊娠２０〜２２週目及び３２週目にそれぞれ一回の超音波検査を行うことによって、７０％〜８０％の胎児欠陥を理論的に検出することができる。
【００１０】
しかしながら、実際の超音波検査、特に伝統的な２Ｄ超音波検査では、医者が超音波画像によって胎児欠陥を十分に効果的に検出することが難い場合がある。例えば、以下の表１は、胎児出生欠陥の発病率に関連する統計データを示し、表２は、胎児検査における胎児出生欠陥の診断率に関連する統計データを示している。
【００１１】
【表１】
2019107453.tif 000003
【００１２】
【表２】
2019107453.tif 000004
【００１３】
上記表１及び表２を参照すると、「心臓（全部）」という欠陥は、その発病率が５．６‰に至るが、その診断率が２７．７％だけであり、「口唇裂及び口蓋裂」という欠陥は、その発病率が１．９‰に至るが、その診断率が１８％だけである。
【００１４】
一方、現在の３Ｄ／４Ｄ超音波技術は普及しており、２Ｄ超音波に対して、胎児欠陥の検出率が向上している。しかし、胎児の体位、活動等の原因で、胎児欠陥の検出率が低下し、胎児検査は正常であっても、欠陥児童が生まれることがある。
【００１５】
このようなことから、超音波画像によって胎児欠陥を正確に、効率よく、かつ即時に検出する技術が求められている。
【００１６】
本願に係る一実施形態は、上述の問題を解決するためになされたものであり、３Ｄ／４Ｄの大量の超音波画像又はビデオから、胎児欠陥が十分に反映された画像又はビデオを正確に、効率よく、かつ即時に抽出することで、胎児欠陥の検出率を向上させることができ、また、超音波検査において検出された欠陥部位を即時にトラッキングすることで、超音波検査におけるユーザの操作性を向上させることができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１７】
上記目的を実現するために、本願に係る一実施形態は、異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶するマッチングデータセット記憶部と、妊娠期間情報を含む、目標胎児の複数の超音波画像を記憶する超音波画像記憶部と、前記超音波画像に含まれる妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットを前記マッチングデータセット記憶部から選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、前記複数の超音波画像から目標画像を抽出する処理部とを備える、画像処理装置を提供する。
【００１８】
また、一実施形態に係る画像処理装置は、前記超音波画像記憶部に記憶されている前記複数の超音波画像の超音波画像それぞれについて、異常胎児特徴を抽出する特徴抽出部をさらに備え、前記処理部は、前記複数の超音波画像それぞれについて、前記特徴抽出部により抽出された異常胎児特徴と、前記マッチングデータセット記憶部から選択されたマッチングデータセットに含まれる異常胎児特徴との間で前記パターンマッチングを行う。
【００１９】
また、一実施形態に係る画像処理装置において、前記マッチングデータセットに含まれる異常胎児特徴と妊娠期間情報とは、対応関係を有する。
【００２０】
また、一実施形態に係る画像処理装置において、前記異常胎児特徴は、口唇裂欠陥、口蓋裂欠陥、手指欠陥、足指欠陥、脳欠陥、神経欠陥、臓器欠陥、骨格欠陥のいずれかである。
【００２１】
また、一実施形態に係る画像処理装置は、訓練データである複数の超音波画像について、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴を基に機械学習を行うことで、１つ以上のデータセットモデルを取得する機械学習部と、前記複数の超音波画像それぞれについて、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴と、前記１つ以上のデータセットモデルとの間で前記パターンマッチングを行うことで、１つ以上のマッチングデータセットを取得するマッチングデータセット取得部とをさらに備える。
【００２２】
また、一実施形態に係る画像処理装置は、前記処理部により抽出された前記目標画像について、前記目標画像における異常胎児特徴の部位を標記してトラッキングするトラッキング部と、前記トラッキング部により異常胎児特徴の部位が標記されてトラッキングされている前記目標画像を表示する表示部とをさらに備える。
【００２３】
また、本願に係る他の一実施形態は、異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶することと、妊娠期間情報を含む、目標胎児の複数の超音波画像を記憶することと、前記超音波画像に含まれる妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットを選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、前記複数の超音波画像から目標画像を抽出することとを含む、画像処理方法を提供する。
【００２４】
本願に係る一実施形態によれば、３Ｄ／４Ｄの大量の超音波画像又はビデオから、胎児欠陥が十分に反映された画像又はビデオを正確に、効率よく、かつ即時に抽出することで、胎児欠陥の検出率を向上させることができ、また、超音波検査において検出された欠陥部位を即時にトラッキングすることで、超音波検査におけるユーザの操作性を向上させることができる。
【００２５】
以下に、本願に係る実施形態について、図面を参照して説明する。また、以下で説明する実施形態はいずれも一例である。このため、以下の実施形態に示される数値、形状、サイズ、構成要素、構成要素の配置位置及び接続方式等はいずれも一例であり、それらに限定されるものではない。よって、以下の実施形態の構成要素のうち、最上位概念となる構成に含まれない構成要素は、任意の構成要素として説明する。
【００２６】
また、各図面において、実質的に同じ構成には同じ符号を付すこととし、重複する説明は省略又は簡素化する場合がある。
【００２７】
（第１の実施形態）
以下、第１の実施形態に係る画像処理装置１００について説明する。
【００２８】
［画像処理装置１００の構成］
まず、図１〜図３を参照して、第１の実施形態に係る画像処理装置１００について説明する。図１は、第１の実施形態に係る画像処理装置１００のブロック図である。また、図２は、第１の実施形態に係る画像処理装置１００が実行する画像処理方法のフローチャートである。また、図３は、第１の実施形態に係る口唇部の７種のマッチングデータセットを示す略図である。
【００２９】
なお、画像処理装置１００は各種の構成要素を含んでいるが、図１では、本願の技術思想に関する構成要素のみを示し、その他の構成要素は図示を省略している。
【００３０】
図１に示すように、画像処理装置１００は、マッチングデータセット記憶部１０１と、超音波画像記憶部１０２と、処理部１０３とを備える。
【００３１】
マッチングデータセット記憶部１０１は、例えば、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、半導体メモリ又はレジスタ等の記憶機能を有する装置によって構成される。そして、マッチングデータセット記憶部１０１は、異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶する。
【００３２】
ここで、マッチングデータセットは、複数の超音波画像からなる集合である。また、超音波画像は、胎児検査において超音波診断装置により得られた、胎児特徴が反映された超音波画像である。そして、マッチングデータセットに含まれる各超音波画像は、妊娠期間情報及び胎児特徴情報を含む。この胎児特徴は、正常な胎児特徴であってもよく、異常胎児特徴であってもよい。また、各マッチングデータセット間では、胎児特徴が異なる。また、妊娠期間情報は、例えば、妊娠週数、妊娠月数、妊娠日数等で表される。
【００３３】
以下、口唇裂を例として、マッチングデータセットを具体的に説明する。図３は、口唇部に関する７種のマッチングデータセットを示す略図である。
【００３４】
図３では、正常な口唇のマッチングデータセット、単側口唇裂のマッチングデータセット、単側の不完全な口唇裂のマッチングデータセット、単側の完全な口唇裂のマッチングデータセット、両側の不完全な口唇裂のマッチングデータセット、両側の混合型の口唇裂のマッチングデータセット、両側の完全な口唇裂のマッチングデータセットという７種のマッチングデータセットを示している。
【００３５】
例えば、胎児の顔部を含む３Ｄ／４Ｄ超音波画像について、顔部の輪郭特徴、口部の輪郭特徴、口唇部の完全な輪郭特徴を抽出することで、抽出された特徴に従って、当該超音波画像がマッチングデータセットのうちの１種に分類される。
【００３６】
なお、ここでは、マッチングデータセット記憶部１０１が口唇部のマッチングデータセットを記憶する場合の例を説明するが、マッチングデータセット記憶部１０１は、１つ以上のマッチングデータセットを記憶してもよい。例えば、マッチングデータセット記憶部１０１は、心臓のマッチングデータセット、中枢神経系のマッチングデータセット、足奇形のマッチングデータセット等の各種の欠陥特徴のマッチングデータセットをさらに記憶してもよい。
【００３７】
ここで、マッチングデータセットに含まれる異常胎児特徴と妊娠期間情報との間には、対応関係がある。例えば、口唇裂及び口蓋裂の疾病については、妊娠期間の２２〜２６週が当該疾病を検査する最適の時間であるので、口唇裂及び口蓋裂の疾病という異常胎児特徴は、妊娠期間２２〜２６週と対応する。つまり、口唇裂及び口蓋裂の疾病の検出は、妊娠期間２２〜２６週の超音波画像によって行われると、検出の正確率を向上させることができる。
【００３８】
超音波画像記憶部１０２は、例えば、ＲＯＭ、ＲＡＭ、半導体メモリ又はレジスタ等の記憶機能を有する装置によって構成される。そして、超音波画像記憶部１０２は、妊娠期間情報を含む、目標胎児の複数の超音波画像を記憶する。ここで、超音波画像は、３Ｄ／４Ｄ超音波画像であることが好ましい。そして、超音波画像記憶部１０２により記憶された超音波画像は、少なくとも、当該超音波画像に含まれている妊娠期間情報と対応関係を有する異常胎児特徴を有する部位を含んでいる。例えば、超音波画像記憶部１０２により記憶された妊娠期間２２〜２６週の超音波画像には、少なくとも胎児の顔部が含まれている。
【００３９】
処理部１０３は、例えば、ＣＰＵ（Central  Processing  Unit）又はＭＰＵ（Micro  Processing  Unit）等のデータ処理装置によって構成される。ここで、処理部１０３は、画像処理装置１００の本体部と見なすことができ、マッチングデータセット記憶部１０１、超音波画像記憶部１０２と接続し、画像処理装置１００の全体の動作を制御することができる。そして、例えば、処理部１０３は、超音波画像に含まれている妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットをマッチングデータセット記憶部１０１から選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、超音波画像記憶部１０２に記憶されている複数の超音波画像から目標画像を抽出する。
【００４０】
ここで、目標画像は、胎児欠陥の特徴を多く含む画像であり、臨床情報が多く反映され、胎児欠陥の特徴を最適な観察角度で示す画像である。ユーザは、当該目標画像を観察することによって、胎児欠陥を明確、正確に観察することができる。
【００４１】
［画像処理装置１００が実行する画像処理方法］
以下、図２を参照して、画像処理装置１００が実行する画像処理方法を説明する。
【００４２】
図２に示すように、画像処理装置１００の作動が開始された後、まず、ステップＳ２００において、マッチングデータセット記憶部１０１が、異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶する。
【００４３】
次に、ステップＳ２０２において、超音波画像記憶部１０２が、妊娠期間情報を含む目標胎児の複数の超音波画像を記憶する。
【００４４】
次に、ステップＳ２０４において、処理部１０３が、超音波画像に含まれている妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットをマッチングデータセット記憶部１０１から選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、超音波画像記憶部１０２に記憶されている複数の超音波画像から目標画像を抽出し、その後、処理を終了する。
【００４５】
上述したように、第１の実施形態に係る画像処理装置１００は、妊娠期間情報を含む超音波画像を利用して、超音波画像に含まれている妊娠期間情報に基づいて、マッチングデータセットを選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、複数の超音波画像から目標画像を抽出する。このように、妊娠期間情報に基づいて、３Ｄ／４Ｄの大量の超音波画像から適切な超音波画像を選択し、また、妊娠期間情報に基づいて、適切なマッチングデータセットを選択して画像処理を行うことで、胎児欠陥が十分に反映された画像を正確に、効率よく、かつ即時に抽出することができ、胎児欠陥の検出率を向上させることができる。
【００４６】
（第２の実施形態）
以下、図４〜図５を参照して、第２の実施形態に係る画像処理装置１００Ａについて説明する。図４は、第２の実施形態に係る画像処理装置１００Ａのブロック図である。また、図５は、第２の実施形態に係る画像処理装置１００Ａが実行する画像処理方法のフローチャートである。
【００４７】
［画像処理装置１００Ａの構成］
図４に示すように、第２の実施形態に係る画像処理装置１００Ａは、図１に示す第１の実施形態に係る画像処理装置１００と比べて、特徴抽出部１０４をさらに備える。なお、本実施形態では、画像処理装置１００が有する構成要素と同じ構成要素については説明を省略する。
【００４８】
特徴抽出部１０４は、例えば、ＣＰＵ又はＭＰＵ等によって構成される。そして、特徴抽出部１０４は、超音波画像記憶部１０２に記憶されている複数の超音波画像それぞれについて、異常胎児特徴を抽出する。ここで、特徴抽出部１０４は、超音波画像に含まれる妊娠期間情報に基づいて、超音波画像における異常胎児特徴を抽出する。
【００４９】
また、本実施形態では、処理部１０３は、超音波画像記憶部１０２に記憶されている複数の超音波画像それぞれについて、当該超音波画像に含まれている妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットをマッチングデータセット記憶部１０１から選択し、特徴抽出部１０４により抽出された異常胎児特徴と、マッチングデータセット記憶部１０１から選択されたマッチングデータセットに含まれる異常胎児特徴との間でパターンマッチングを行うことで、超音波画像記憶部１０２に記憶されている複数の超音波画像から目標画像を抽出する。
【００５０】
［画像処理装置１００Ａが実行する画像処理方法］
以下、図５を参照して、画像処理装置１００Ａが実行する画像処理方法を説明する。なお、ここでは、図２に示すフローチャートに含まれるステップと同じステップについては、同じ番号を表記するとともに、詳細な説明を省略する。
【００５１】
図５に示すように、画像処理装置１００Ａの作動が開始された後、まず、第１の実施形態に係る画像処理装置１００と同様に、ステップＳ２００〜Ｓ２０２の処理が実行され、ステップＳ２０２の処理が終了した後、ステップＳ５００に進む。
【００５２】
次に、ステップＳ５００において、特徴抽出部１０４が、超音波画像記憶部１０２に記憶されている複数の超音波画像それぞれについて、異常胎児特徴を抽出する。ここで、特徴抽出部１０４は、超音波画像に含まれている妊娠期間情報に基づいて、超音波画像における異常胎児特徴を抽出する。
【００５３】
次に、ステップＳ５０４において、処理部１０３が、超音波画像記憶部１０２に記憶されている複数の超音波画像それぞれについて、当該超音波画像に含まれている妊娠期間情報に基づいて、当該超音波画像に含まれている妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットをマッチングデータセット記憶部から選択し、特徴抽出部１０４により抽出された異常胎児特徴と、マッチングデータセット記憶から選択されたマッチングデータセットとの間でパターンマッチングを行うことで、超音波画像記憶部１０２に記憶されている複数の超音波画像から目標画像を抽出する。
【００５４】
上述したように、第２の実施形態に係る画像処理装置１００Ａは、妊娠期間情報を含む超音波画像を利用して、超音波画像に含まれている妊娠期間情報に基づいて、マッチングデータセットを選択し、また、超音波画像に含まれている妊娠期間情報に基づいて、超音波画像について異常胎児特徴を抽出し、抽出された異常胎児特徴と、選択されたマッチングデータセットに含まれる異常胎児特徴との間でパターンマッチングを行うことで、複数の超音波画像から目標画像を抽出する。このように、妊娠期間情報に基づいて、３Ｄ／４Ｄの大量の超音波画像から適切な超音波画像を選択し、また、妊娠期間情報に基づいて、適切なマッチングデータセットを選択し、適切な胎児特徴を抽出してパターンマッチングを行い、複数の超音波画像から目標画像を抽出することで、胎児欠陥が十分に反映された画像を正確に、効率よく、かつ即時に抽出することができ、胎児欠陥の検出率を向上させることができる。
【００５５】
（第３の実施形態）
以下、図６〜図９Ｅを参照して、第３の実施形態に係る画像処理装置１０Ｂについて説明する。図６は、第３の実施形態に係る画像処理装置１００Ｂのブロック図である。また、図７は、第３の実施形態に係る画像処理装置１００Ｂが実行する画像処理方法のフローチャートである。また、図８は、第３の実施形態に係る訓練データに対して付されるタグの一例を示す図である。また、図９Ａ〜図９Ｅは、第３の実施形態に係る画像処理装置１００Ｂの１つの表示例の略図である。
【００５６】
［画像処理装置１００Ｂの構成］
図６に示すように、第３の実施形態に係る画像処理装置１００Ｂは、図１に示す第１の実施形態に係る画像処理装置１００と比べて、機械学習部１０５と、マッチングデータセット取得部１０６とをさらに備える。なお、本実施形態では、画像処理装置１００が有する構成要素と同じ構成要素については説明を省略する。
【００５７】
機械学習部１０５は、訓練データである複数の超音波画像について、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴を基に機械学習を行うことで、１つ以上のデータセットモデルを取得する。
【００５８】
ここで、訓練データは、複数の超音波画像であり、妊娠期間の様々な時期おける胎児の各部位又は全身の超音波画像である。すなわち、訓練データは、妊娠期間情報を含む超音波画像である。
【００５９】
訓練データである複数の超音波画像について、各超音波画像に含まれる妊娠期間情報、及び、妊娠期間情報と異常胎児特徴との対応関係に基づいて、異常胎児特徴を抽出することができ、抽出された異常胎児特徴を基に機械学習を行うことで、異常胎児特徴が反映された１つ以上のデータセットモデルを取得することができる。ここで、機械学習の方法としては、ランダムフォレスト法、ＳＶＭ（Support  Vector  Machine）法、深層学習法等の公知の方法を用いることができ、それらに関する説明はここでは省略する。また、訓練データである超音波画像の数は、特に限定されず、数百グループであってもよく、訓練データが多ければ多いほど、得られるデータセットモデルが正確になることは当然であり、異常胎児特徴の検出率を向上させるためには有利である。
【００６０】
マッチングデータセット取得部１０６は、超音波画像記憶部１０２に記憶されている複数の超音波画像それぞれについて、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴と、機械学習部１０５により得られた１つ以上のデータセットモデルとの間でパターンマッチングを行うことで、１つ以上のマッチングデータセットを取得する。
【００６１】
すなわち、１つの新たな超音波画像について、異常胎児特徴を抽出し、抽出された異常胎児特徴をデータセットモデルと比べることによって、当該超音波画像を分類することができる。この処理を複数回繰り返すことにより、１つ以上のマッチングデータセットを得ることができる。
【００６２】
また、訓練データについて、ユーザが、当該訓練データである超音波画像の特徴を取得し、取得された特徴に対して、当該超音波画像のキー情報を表すタグを割り当ててもよい。さらに、このタグに対して、タグを評価するための信頼係数が付されてもよい。図８は、第３の実施形態に係る訓練データに対して付されるタグの一例を示している。
【００６３】
タグが付された訓練データによって機械学習を行う場合には、それによって得られた１つ以上のデータセットモデルも、タグを付する機能を有する。つまり、この場合には、データセットモデルによって超音波画像を処理した際に、対応する特徴に対して、対応するタグを付すことができる。すなわち、この場合には、得られたマッチングデータセットに含まれる各超音波画像は、タグが付された超音波画像となる。
【００６４】
［画像処理装置１００Ｂが実行する画像処理方法］
以下、図７、図９Ａ〜図９Ｅを参照して、画像処理装置１００Ｂが実行する画像処理方法を説明する。なお、ここでは、図２及び図５に示すフローチャートに含まれるステップと同じステップについては、同じ番号を表記するとともに、詳細な説明を省略する。
【００６５】
図７に示すように、画像処理装置１００Ｂの作動が開始された後、まず、ステップＳ７００において、機械学習部１０５が、訓練データである複数の超音波画像（例えば、図９Ａに一部を示す）について、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴を基に機械学習を行うことで、異常胎児特徴が反映された１つ以上のデータセットモデルを取得する。
【００６６】
ここで、機械学習部１０５は、訓練データである複数の超音波画像それぞれについて、超音波画像に含まれている妊娠期間情報から異常胎児特徴を特定し、特定された異常胎児特徴と当該超音波画像との対応関係を学習することで、データセットモデルを作成する。例えば、データセットモデルは、モデルとなる超音波画像と異常胎児特徴との対応関係を示したテーブルとして作成される。
【００６７】
次に、ステップＳ７０２において、マッチングデータセット取得部１０６が、超音波画像記憶部１０２に記憶されている複数の超音波画像の超音波画像それぞれについて、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴を抽出し、抽出された異常胎児特徴と、ステップＳ７００において得られた１つ以上のデータセットモデルとの間でパターンマッチングを行うことで、１つ以上のマッチングデータセットを取得する。例えば、マッチングデータセット取得部１０６は、図９Ｂ、図９Ｃに示す２つのマッチングデータセットを取得する。
【００６８】
ここで、機械学習部１０５は、超音波画像記憶部１０２に記憶されている複数の超音波画像それぞれについて、超音波画像に含まれている妊娠期間情報から異常胎児特徴を特定する。そして、機械学習部１０５は、特定された異常胎児特徴に対応するデータセットモデルの超音波画像と、超音波画像記憶部１０２に記憶されている複数の超音波画像との間でパターンマッチングを行うことで、複数の超音波画像からマッチングデータセットを作成する。
【００６９】
次に、ステップＳ２００において、マッチングデータセット記憶部１０１が、マッチングデータセット取得部１０６によって取得された異常胎児特徴と妊娠期間情報とを含む１つ以上のマッチングデータセットを記憶する。例えば、マッチングデータセット記憶部１０１は、図９Ｂ、図９Ｃに示す２つのマッチングデータセットを記憶する。
【００７０】
次に、ステップＳ２０２において、超音波画像記憶部１０２が、妊娠期間情報を含む目標胎児の複数の超音波画像を記憶する。ここでは、例えば、超音波画像記憶部１０２は、図９Ａに示す複数の超音波画像を記憶すると仮定する。
【００７１】
次に、ステップＳ２０４において、処理部１０３が、超音波画像に含まれている妊娠期間情報に基づいて、当該妊娠期間情報と対応する妊娠期間情報を含むマッチングデータセットをマッチングデータセット記憶部１０１から選択し、選択されたマッチングデータセットに基づくパターンマッチングによって、複数の超音波画像から目標画像を抽出し、その後、処理を終了する。例えば、処理部１０３は、図９Ｄに示すマッチングデータを選択し、図９Ｅに示す目標画像を抽出する。
【００７２】
上述したように、第３の実施形態の画像処理装置１００Ｂは、妊娠期間情報を含む超音波画像を訓練データとして利用して、機械学習によって、異常胎児特徴が反映されたデータセットモデルを取得することで、異常胎児特徴が反映されたマッチングデータセットを取得することができる。または、画像処理装置１００Ｂは、タグが付されている訓練データを利用して、異常胎児特徴が反映されるとともにタグを付したデータセットモデルを取得することで、異常胎児特徴が反映されるとともにタグを付したマッチングデータセットを取得することができる。このようなマッチングデータセットを適用することにより、妊娠期間情報に基づいて、３Ｄ／４Ｄの大量の超音波画像から適切な超音波画像を選択し、また、妊娠期間情報に基づいて、適切なマッチングデータセットを選択し、適切な胎児特徴を抽出してパターンマッチングを行い、複数の超音波画像から目標画像を抽出することで、胎児欠陥が十分に反映された画像を正確に、効率よく、かつ即時に抽出することができ、胎児欠陥の検出率を向上させることができる。
【００７３】
なお、上述した第３の実施形態では、機械学習によってデータセットモデルを取得し、当該データセットモデルとのパターンマッチングを行うことで、複数の超音波画像からマッチングデータセットを取得する場合の例を説明したが、実施形態はこれに限られない。そこで、ここでは、機械学習を用いてマッチングデータセットを取得する他の例について説明する。
【００７４】
例えば、機械学習部１０５は、学習段階の処理として、妊娠期間情報を含む複数の超音波画像と、異常胎児特徴を示す複数の超音波画像とを取得し、それらを訓練データ（学習用データ）とした機械学習を行う。このとき、例えば、妊娠期間情報を含む複数の超音波画像として、超音波診断装置や画像保管サーバ等から取得された胎児に関する多数の超音波画像が用いられる。また、例えば、異常胎児特徴を示す複数の超音波画像として、胎児に関する多数の超音波画像の中から医師等の操作者によって異常胎児特徴を示すものとして選択された超音波画像や、予め決められた各異常胎児情報の画像特徴を用いた画像解析処理によって、胎児に関する多数の超音波画像の中から異常胎児特徴を示すものとして選択された超音波画像が用いられる。
【００７５】
ここで、機械学習部１０５が行う機械学習の方法としては、ディープラーニング（Deep  Learning）や、ニューラルネットワーク（Neural  Network）、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support  Vector  Machine：ＳＶＭ）、ランダムフォレスト（Random  Forest）、ナイーブベイズ（Naive  Bayes）等の各種の手法を用いることができる。
【００７６】
このような機械学習の結果として、機械学習部１０５は、例えば、妊娠期間情報と異常胎児特徴との対応関係を学習した第１の学習済みモデルと、超音波画像と異常胎児特徴との対応関係を学習した第２の学習済みモデルとを生成する。ここで、第１の学習済みモデルは、超音波画像に含まれる妊娠期間情報を入力することで、当該妊娠期間と対応関係を有する異常胎児特徴を出力するモデルとなる。また、第２の学習済みモデルは、複数の超音波画像と異常胎児特徴とを入力することで、当該異常胎児特徴を示す超音波画像を出力するモデルとなる。
【００７７】
また、マッチングデータセット取得部１０６は、運用段階の処理として、機械学習部１０５によって生成された第１の学習済みモデル及び第２の学習済みモデルを用いて、超音波画像記憶部１０２に記憶されている複数の超音波画像から、１つ以上のマッチングデータセットを取得する
【００７８】
具体的には、マッチングデータセット取得部１０６は、複数の超音波画像それぞれについて、当該超音波画像に含まれる妊娠期間情報を第１の学習済みモデルに入力することで、当該妊娠期間情報と対応関係を有する異常胎児特徴を取得する。また、マッチングデータセット取得部１０６は、複数の超音波画像と、第１の学習済みモデルを用いて取得した各異常胎児特徴とを第２の学習済みモデルに入力することで、異常胎児特徴ごとに、当該異常胎児特徴を示す超音波画像を取得する。そして、マッチングデータセット取得部１０６は、第２の学習済みモデルを用いて取得した複数の超音波画像を、マッチングデータセットとする。
【００７９】
なお、ここでは、２つの学習済みモデルを用いる場合の例を説明したが、学習済みモデルは１つにまとめられていてもよい。すなわち、その場合には、機械学習部１０５は、複数の超音波画像を入力することで、当該超音波画像に含まれる妊娠期間情報と対応関係を有する異常胎児特徴について、異常胎児特徴ごとに、各異常胎児特徴を示す超音波画像を出力する学習済みモデルを生成する。そして、マッチングデータセット取得部１０６は、超音波画像記憶部１０２に記憶されている複数の超音波画像を学習済みモデルに入力することで、異常胎児特徴ごとに、各異常胎児特徴を示す複数の超音波画像を取得し、マッチングデータセットとする。
【００８０】
（第４の実施形態）
以下、図１０〜図１２Ｂを参照して、第４の実施形態に係る画像処理装置１００Ｃについて説明する。図１０は、第４の実施形態に係る画像処理装置１００Ｃのブロック図である。また、図１１は、第４の実施形態に係る画像処理装置１００Ｃが実行する画像処理方法のフローチャートである。また、図１２Ａ及び図１２Ｂは、第４の実施形態に係る画像処理装置１００Ｃの１つの表示例の略図である。
【００８１】
［画像処理装置１００Ｃの構成］
図１０に示すように、第４の実施形態に係る画像処理装置１００Ｃは、図１に示す第１の実施形態に係る画像処理装置１００と比べて、トラッキング部１０７と、表示部１０８とをさらに備える。なお、本実施形態では、画像処理装置１００が有する構成要素と同じ構成要素については説明を省略する。
【００８２】
トラッキング部１０７は、処理部１０３により抽出された目標画像について、目標画像における異常胎児特徴の部位を標記してトラッキングする。
【００８３】
表示部１０８は、例えば、ＣＲＴ（Cathode  Ray  Tube）ディスプレイ、液晶ディスプレイ等の表示機能を有する装置によって構成される。そして、例えば、表示部１０８は、トラッキング部１０７により異常胎児特徴が標記されてトラッキングされている目標画像を表示する。
【００８４】
［画像処理装置１００Ｃが実行する画像処理方法］
以下、図１１を参照して、画像処理装置１００Ｃが実行する画像処理方法を説明する。なお、ここでは、図２に示すフローチャートに含まれるステップと同じステップについては、同じ番号を表記するとともに、詳細な説明を省略する。
【００８５】
図１１に示すように、画像処理装置１００Ｃの作動が開始された後、まず、第１の実施形態の画像処理装置１００と同様に、ステップＳ２００〜Ｓ２０４の処理が実行され、図１２Ａに示すような目標画像が取得される。そして、ステップＳ２０４の処理が終了した後、Ｓ１１００に進む。
【００８６】
次に、ステップＳ１１００において、トラッキング部１０７が、処理部１０３により抽出された目標画像について、当該目標画像における異常胎児特徴の部位を抽出して標記することで、図１２Ｂに示すような目標画像を取得する。さらに、トラッキング部１０７は、当該目標画像と同じ検査で撮像された時系列の一連の超音波画像を超音波画像記憶部１０２から読み出し、読み出した複数の超音波画像の間で、目標画像において抽出した異常胎児特徴の部位をトラッキング（追跡）する。
【００８７】
次に、ステップＳ１１０２において、表示部１０８が、ステップＳ１１００においてトラッキング部によって取得された、図１２Ｂに示すような、異常胎児特徴の部位が標記された目標画像と、当該異常胎児特徴の部位がトラッキングされた各時相の超音波画像とを表示する。
【００８８】
上述したように、第４の実施形態の画像処理装置１００Ｃは、第１の実施形態の効果に加えて、トラッキング部１０７をさらに備え、目標画像の異常胎児特徴の部位を標記してトラッキングすることによって、ユーザに胎児欠陥の部位を明確に提示することができ、人為的な検出漏れを回避することができる。また、超音波検査において、異常胎児特徴の部位を始めから終りまでトラッキングすることができ、より正確な観察及び検出を行えるように、ユーザが観察角度を容易に調整できるようになる。これにより、胎児欠陥の検出率を向上させることができ、誤診率を効果的に回避することができる。
【００８９】
（変形例）
なお、上述した各実施形態では、本願が開示する技術を画像処理装置及び画像処理装置が実行する方法として実施する場合を例として詳細に記載したが、本願が開示する技術の実施形態は、これには限られず、画像処理システム、方法、集積回路等の各種の形態で実施することもできる。
【００９０】
また、上述した実施形態では、口唇裂欠陥及び口蓋裂欠陥を例として説明したが、本願が開示する画像処理装置及び画像処理方法は、超音波画像の処理に広く適用されるものであり、例えば、手指欠陥、足指欠陥、脳欠陥、神経欠陥、臓器欠陥、骨格欠陥のうちいずれか１つ以上を検出することができる。また、超音波画像に時間情報さえ含めれば、本願が開示する画像処理装置及び画像処理方法を適用することができる。
【００９１】
また、上述した実施形態において、超音波画像記憶部に記憶されている複数の超音波画像は、１つずつ個別に撮像された画像であってもよいし、ビデオ（動画像）に含まれる複数のフレームであってもよい。例えば、第４の実施形態で用いられる時系列の一連の超音波画像として、ビデオに含まれる複数のフレームが用いられる。
【００９２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９３】
１００  画像処理装置
１０１  マッチングデータセット記憶部
１０２  超音波画像記憶部
１０３  処理部
１０４  特徴抽出部
１０５  機械学習部
１０６  マッチングデータセット取得部
１０７  トラッキング部
１０８  表示部
【図１】
2019107453.tif 000005
【図２】
2019107453.tif 000006
【図３】
2019107453.tif 000007
【図４】
2019107453.tif 000008
【図５】
2019107453.tif 000009
【図６】
2019107453.tif 000010
【図７】
2019107453.tif 000011
【図８】
2019107453.tif 000012
【図９Ａ】
2019107453.tif 000013
【図９Ｂ】
2019107453.tif 000014
【図９Ｃ】
2019107453.tif 000015
【図９Ｄ】
2019107453.tif 000016
【図９Ｅ】
2019107453.tif 000017
【図１０】
2019107453.tif 000018
【図１１】
2019107453.tif 000019
【図１２Ａ】
2019107453.tif 000020
【図１２Ｂ】
2019107453.tif 000021