(57)【要約】【課題】画像認識に関する機械学習の教師データの作成の手間を削減すること。【解決手段】実施形態に係る医用画像処理装置は、ディスプレイと決定部と整合判定部と表示制御部とを有する。ディスプレイには、画像認識に関する機械学習の教師データとして用いられる医用画像データが表示される。決定部は、前記医用画像データのうちの画像認識の対象領域を規定するアノテーションの付与領域を、ユーザによる指示に従い決定する。整合判定部は、前記医用画像データ内の前記付与領域の位置と前記医用画像データの被検体に関する臨床情報との比較結果を出力する。表示制御部は、前記比較結果を前記ディスプレイに表示する。【選択図】      図１
2019180866.tif 000002
【特許請求の範囲】
【請求項１】
画像認識に関する機械学習の教師データとして用いられる医用画像データが表示されるディスプレイと、
前記医用画像データのうちの画像認識の対象領域を規定するアノテーションの付与領域を、ユーザによる指示に従い決定する決定部と、
前記医用画像データ内の前記付与領域の位置と前記医用画像データに関連付けられた臨床情報との比較結果を出力する整合判定部と、
前記比較結果を前記ディスプレイに表示する表示制御部と、
を具備する医用画像処理装置。
【請求項２】
前記対象領域は、前記医用画像データ内の解剖学的部位に対応し、
臨床情報と当該臨床情報に対応する解剖学的部位の位置条件とを関連付けて記憶する記憶部を更に備え、
前記整合性判定部は、前記医用画像データに関連付けられた臨床情報に対応する解剖学的部位の位置条件と前記医用画像データ内の前記付与領域の位置とを比較することで前記比較結果を出力する、
請求項１記載の医用画像処理装置。
【請求項３】
前記表示制御部は、前記臨床情報を示すテキストを前記ディスプレイに表示する、請求項１又は２記載の医用画像処理装置。
【請求項４】
前記表示制御部は、前記警告として、前記ディスプレイに表示された前記テキストを視覚的に強調する、請求項４記載の医用画像処理装置。
【請求項５】
前記表示制御部は、前記付与領域が前記臨床情報との間で整合していないと判定された場合、前記ディスプレイに警告を表示する、請求項１記載の医用画像処理装置。
【請求項６】
前記整合判定部は、
前記臨床情報が示す解剖学的部位に対応する解剖学的基準点を特定し、
前記解剖学的基準点を介して前記付与領域が前記解剖学的部位との間で整合しているか否かを前記解剖学的基準点を介して判定する、
請求項１記載の医用画像処理装置。
【請求項７】
前記表示制御部は、前記医用画像データに基づく表示画像のちの前記付与領域に対応する画像領域に前記アノテーションを描画する、請求項１記載の医用画像処理装置。
【請求項８】
前記表示制御部は、前記臨床情報に対応する解剖学的部位に前記付与領域が指定された場合に限定して前記画像領域に前記アノテーションを描画する、請求項７記載の医用画像処理装置。
【請求項９】
前記医用画像データに基づいて表示画像を生成する画像生成部を更に備え、
前記画像生成部は、前記医用画像データの収集に利用した医用モダリティの撮影軸を基準線とするオリジナルの表示断面に関する第一の表示画像を生成し、
前記表示制御部は、前記第一の表示画像を前記ディスプレイに表示し、
前記画像生成部は、変更指示を受けた場合、前記医用画像データに基づいて、前記医用画像データに含まれる患者領域の基準軸を前記基準線とするセカンダリの表示断面に関する第二の表示画像を生成し、
前記表示制御部は、前記第一の表示画像に代えて前記第二の表示画像を前記ディスプレイに表示する、
請求項１記載の医用画像処理装置。
【請求項１０】
前記表示画像のデータを記憶する記憶部を更に備え、
前記表示制御部は、前記表示画像のデータを保存するための保存ボタンを前記ディスプレイに表示し、
前記記憶部は、前記第二の表示画像において前記付与領域に対応する画像領域が指定された後に前記保存ボタンが押下された場合、前記第二の表示画像のデータと前記付与領域とを記憶する、
請求項９記載の医用画像処理装置。
【請求項１１】
前記表示制御部は、前記保存ボタンが押下された場合、教師データとして用いられる他の医用画像データに基づく他の第一の表示画像を前記ディスプレイに表示する、請求項１０記載の医用画像処理装置。
【請求項１２】
前記表示制御部は、前記医用画像データに基づく表示画像に関する第一のスラブ厚を調整するための第一のＧＵＩツールと、前記アノテーションの前記付与領域に関する第二のスラブ厚を調整するための第二のＧＵＩツールとを前記ディスプレイに表示する、請求項１記載の医用画像処理装置。
【請求項１３】
前記決定部は、前記表示画像において前記アノテーションの付与対象の第一の画像領域が指定された場合、前記医用画像データにおける前記表示画像の表示断面の位置と前記第二のスラブ厚と前記第一の画像領域とに基づいて前記医用画像データにおける第二の画像領域を決定し、前記第二の画像領域を前記付与領域に設定する、請求項１２記載の医用画像処理装置。
【請求項１４】
前記表示制御部は、前記第一のＧＵＩツールと前記第二のＧＵＩツールとを視覚的に区別して表示する、請求項１２記載の医用画像処理装置。
【請求項１５】
前記決定部は、前記アノテーションの付与対象の第一の画像領域が第一の表示断面と第二の表示断面とで指定された場合、前記第一の表示断面と前記第二の表示断面とを包含する第二の画像領域を前記付与領域に設定する、請求項１２記載の医用画像処理装置。
【請求項１６】
前記決定部は、前記第二の画像領域から画像認識の対象外領域を除外した領域を前記付与領域に設定する、請求項１５記載の医用画像処理装置。
【請求項１７】
前記臨床情報は、前記医用画像データの被検体と同一被検体に関する過去の医用画像データに付与されたアノテーションの付与領域の位置である、請求項１記載の医用画像処理装置。
【請求項１８】
前記臨床情報は、前記医用画像データの被検体と同一被検体に関する過去の医用画像データに対する画像認識の認識結果である、請求項１記載の医用画像処理装置。
【請求項１９】
画像認識に関する機械学習の教師データとして用いられる医用画像データが表示されるディスプレイとの間で通信可能なコンピュータに、
前記医用画像データのうちの画像認識の対象領域を規定するアノテーションの付与領域を、ユーザによる指示に従い決定させる機能と、
前記医用画像データ内の前記付与領域の位置と前記医用画像データに関連付けられた臨床情報との比較結果を出力させる機能と、
前記比較結果を前記ディスプレイに表示させる機能と、
を実現させる教師データ作成プログラム。
【請求項２０】
画像認識に関する機械学習の教師データとして用いられる医用画像データが表示されるディスプレイとの間で通信可能なコンピュータによる教師データ作成方法であって、
前記医用画像データのうちの画像認識の対象領域を規定するアノテーションの付与領域を、ユーザによる指示に従い決定させる工程と、
前記医用画像データ内の前記付与領域の位置と前記医用画像データに関連付けられた臨床情報との比較結果を出力させる工程と、
前記比較結果を前記ディスプレイに表示させる工程と、
を具備する教師データ作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、医用画像処理装置、教師データ作成プログラム及び教師データ作成方法に関する。
【背景技術】
【０００２】
画像認識に関する機械学習の教師データの作成のため、医用画像の画像認識対象領域を画定するアノテーションがユーザの手入力により当該医用画像に描画されている。教師データとして多量の医用画像が必要であるため、アノテーションを描画する作業はユーザにとても手間がかかる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０９５０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明が解決しようとする課題は、画像認識に関する機械学習の教師データの作成の手間を削減することである。
【課題を解決するための手段】
【０００５】
実施形態に係る医用画像処理装置は、画像認識に関する機械学習の教師データとして用いられる医用画像データが表示されるディスプレイと、前記医用画像データのうちの画像認識の対象領域を規定するアノテーションの付与領域を、ユーザによる指示に従い決定する決定部と、前記医用画像データ内の前記付与領域の位置と前記医用画像データに関連付けられた臨床情報との比較結果を出力する整合判定部と、前記比較結果を前記ディスプレイに表示する表示制御部と、を具備する。
【図面の簡単な説明】
【０００６】
【図１】図１は、本実施形態に係る医用画像処理装置の構成を示す図である。
【図２】図２は、図１の処理回路による教師データ作成処理の典型的な流れを示す図である。
【図３】図３は、撮影軸基準のオリジナルの表示断面と被検体との位置関係を模式的に示す図である。
【図４】図４は、図２のステップＳ３におけるオリジナルの表示断面に関する表示画像の表示画面の一例を示す図である。
【図５】図５は、表示断面の回転の必要性を模式的に示す図である。
【図６】図６は、図２のステップＳ４における表示断面の回転処理を模式的に示す図である。
【図７】図７は、図２のステップＳ７におけるアノテーションの付与処理の実行画面の一例を示す図である。
【図８】図８は、図２のステップＳ７におけるアノテーションの付与処理の典型的な流れを示す図である。
【図９】図９は、図８のステップＳ７２において表示される表示画面の一例を示す図である。
【図１０】図１０は、図８のステップＳ７６において表示される、整合判定機能の比較結果の表示画面の一例を示す図である。
【図１１】図１１は、図１のディスプレイに表示される、画像厚調整ツールとアノテーション厚調整ツールとが表示された表示画面を示す図である。
【図１２】図１２は、図１１の表示画像のスラブ厚とアノテーションのスラブ厚とを模式的に示す図である。
【図１３】図１３は、図１のディスプレイに表示される、画像厚調整ツールとアノテーション厚調整ツールとの他の表示例を示す図である。
【図１４】図１４は、図１の付与領域決定機能によるアノテーションの補間処理を模式的に示す図である。
【図１５】図１５は、図１の付与領域決定機能によるアノテーションの補間処理の応用を模式的に示す図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら本実施形態に係わる医用画像処理装置を説明する。
【０００８】
本実施形態に係る医用画像処理装置は、医用画像データに画像処理を施すコンピュータである。医用画像処理装置としては、ワークステーションや画像閲覧装置（ビューワ）、読影レポート作成装置、ＰＡＣＳ（Picture Archiving and Communication System）等の医療施設等で用いられるコンピュータでもよいし、医用画像診断装置に含まれるコンピュータでもよい。医用画像診断装置としては、Ｘ線コンピュータ断層撮影装置、Ｘ線診断装置、磁気共鳴イメージング装置、超音波診断装置、核医学診断装置等の如何なる医用モダリティにも適用可能である。以下、本実施形態に係る医用画像処理装置は、説明を具体的に行うため、画像処理を行うワークステーションであるとする。
【０００９】
本実施形態に係る医用画像データは、医用画像診断装置により生成された、被検体を対象とする画像データである。医用画像データは、２次元状に配列された複数のピクセルの集合である２次元画像データでもよいし、３次元状に配列された複数のボクセルの集合である３次元画像データもよい。しかしながら、以下の説明を具体的に行うため、医用画像データは、３次元画像データであるとする。また、ピクセルとボクセルとをまとめて画素と呼ぶことにする。
【００１０】
図１に示すように、本実施形態に係る医用画像処理装置１は、処理回路１１、メモリ１３、入力インタフェース１５、通信インタフェース１７及びディスプレイ１９を有する。
【００１１】
処理回路１１は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等のプロセッサを有する。当該プロセッサがメモリ１３等にインストールされた教師データ作成プログラムを起動することにより、画像読出機能１１１、テキスト読出機能１１２、付与領域決定機能１１３、整合判定機能１１４、画像処理機能１１５、表示制御機能１１６、記憶制御機能１１７及び機械学習機能１１８等を実行する。なお、各機能１１１〜１１８は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能１１１〜１１８を実現するものとしても構わない。
【００１２】
画像読出機能１１１において処理回路１１は、メモリ１３から処理対象の医用画像データを読み出す。処理対象の医用画像データは、画像認識に関する機械学習の教師データとして用いられる医用画像データである。
【００１３】
テキスト読出機能１１２において処理回路１１は、メモリ１３から処理対象の医用画像データに関連付けられたテキストデータを読み出す。テキストデータは、医用画像データの被検体に関する臨床情報を表す文章のデータである。
【００１４】
付与領域決定機能１１３において処理回路１１は、画像読出機能１１１により読み出された医用画像データに対しアノテーションの付与領域を、入力インタフェース１５を介したユーザによる指示に従い決定する。本実施形態に係るアノテーションは、医用画像データに付される、画像認識の対象領域を規定するグラフィカルデータである。
【００１５】
整合判定機能１１４において処理回路１１は、付与領域決定機能１１３により決定されたアノテーションの付与領域とテキスト読出機能１１２により読み出されたテキストの臨床情報との比較結果を出力する。すなわち、整合判定機能１１４においては、アノテーションの付与領域とテキストが示す臨床情報との整合性が判定される。
【００１６】
画像処理機能１１５において処理回路１１は、一定の読影条件で連続して作業するために画像読出機能１１１により読み出された医用画像データ等に、画像位置や表示画像種も含め表示条件を揃えるための種々の画像処理を施す。典型的には、処理回路１１は、画像処理として、ＭＰＲ（Multi-Planer Reconstruction）処理を３次元の医用画像データに施し、所定の表示断面（ＭＰＲ断面）に関する２次元の表示画像データを生成する。なお、処理回路１１は、ＭＰＲ処理の他、ボリュームレンダリングやサーフェスボリュームレンダリング、画素値投影処理、ＣＰＲ（Curved MPR）処理等の画像処理を行うことも可能である。
【００１７】
表示制御機能１１６において処理回路１１は、種々の情報をディスプレイ１９に表示する。例えば、処理回路１１は、画像読出機能１１１により読み出された医用画像データに基づく表示画像とテキスト読出機能１１２により読み出されたテキストデータに対応するテキストとをディスプレイ１９に表示する。また、処理回路１１は、表示画像データにアノテーションを描画する。
【００１８】
記憶制御機能１１７において処理回路１１は、メモリ１３に記憶するために種々の情報をメモリ１３に転送する。例えば、処理回路１１は、ディスプレイ１９に表示された表示画像に対応する表示画像データをメモリ１３に記憶させる。
【００１９】
機械学習機能１１８において処理回路１１は、アノテーションが付与された医用画像データに対して、画像認識に関する機械学習を行う。例えば、処理回路１１は、アノテーションが付与された医用画像データをＤＮＮ（Deep Neural Network）に入力し、アノテーションの付与領域の解剖学的部位の分類結果を出力する。画像認識に関するＤＮＮの一つとしてＣＮＮ（Convolutional Neural Network）が挙げられる。
【００２０】
メモリ１３は、種々の情報を記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。メモリ１３は、上記記憶装置以外にも、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬型記憶媒体や、半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ１３は、医用画像処理装置１にネットワークを介して接続された他のコンピュータ内にあってもよい。例えば、メモリ１３は、教師データ作成プログラムを記憶する。また、メモリ１３は、医用画像データと臨床情報とを関連付けて記憶する。
【００２１】
例えば、医用画像データには、読影レポートや電子カルテ等のテキストデータに関連付けられている。テキストデータは、具体的には、所見や診療録、問診結果、検査オーダ、検査指示等の、医用画像データの被写体である被検体の臨床情報を表す文章のデータである。本実施形態に係る臨床情報は、被検体に生じた病変の手がかりになる情報である。すなわち、テキストデータは、臨床情報の一形態であり、病変の種類や場所等を示す単語や文節、文章である。メモリ１３には、医用画像データと臨床情報との複数の組合せが記憶されている。
【００２２】
入力インタフェース１５は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１に出力する。具体的には、入力インタフェース１５は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース１５は、当該入力機器への入力操作に応じた電気信号を処理回路１１へ出力する。また、入力インタフェース１５に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でも良い。
【００２３】
通信インタフェース１７は、他のコンピュータとの間でデータ通信するためのインタフェースである。例えば、通信インタフェース１７は、ＰＡＣＳからネットワークを介して、教師データとして利用される医用画像データとテキストデータとの複数の組合せを受信する。
【００２４】
ディスプレイ１９は、処理回路１１の表示制御機能１１６に従い種々の情報を表示する。例えば、ディスプレイ１９は、画像読出機能１１１により読み出された医用画像データに基づく表示画像とテキスト読出機能１１２により読み出されたテキストデータに対応するテキストとを表示する。ディスプレイ１９としては、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。
【００２５】
以下、本実施形態に係る医用画像処理装置１の動作例について説明する。
【００２６】
図２は、本実施形態に係る医用画像処理装置１の処理回路１１による教師データ作成処理の典型的な流れを示す図である。図２に示す処理は、処理回路１１がメモリ１３から教師データ作成プログラムを読み出して実行することにより実現される。なお、図２の処理の前段において、教師データの候補となる医用画像データとテキストデータとの複数の組合せが予めＰＡＣＳ等から通信インタフェース１７等を介して取得され、メモリ１３に記憶されているものとする。教師データの作成においては、作成対象とする症例に関する多数の医用画像データを用意し、当該医用画像データ各々についてアノテーションを付与する。すなわち、メモリ１３に記憶される医用画像データは、何れの症例に関するものであるかが判明しているものとする。
【００２７】
図２に示すように、まず、処理回路１１は、画像読出機能１１１を実行する（ステップＳ１）。ステップＳ１において処理回路１１は、教師データの作成対象の症例に関する１ボリュームの医用画像データをメモリ１３から読み出す。
【００２８】
ステップＳ１が行われると処理回路１１は、画像処理機能１１５を実行する（ステップＳ２）。ステップＳ２において処理回路１１は、ステップＳ１において読み出した医用画像データに基づいて、撮影軸基準の第一の表示断面に関する表示画像を生成する。以下、撮影軸基準の第一の表示断面をオリジナルの表示断面と呼ぶことにする。
【００２９】
ステップＳ２が行われると処理回路１１は、表示制御機能１１６を実行する（ステップＳ３）。ステップＳ３において処理回路１１は、ステップＳ２において生成されたオリジナルの表示断面の表示画像をディスプレイ１９に表示する。
【００３０】
図３は、撮影軸Ａ１基準のオリジナルの表示断面３１と被検体Ｐとの位置関係を模式的に示す図である。図３に示すように、撮影軸Ａ１は、医用画像データを収集した医用モダリティの撮影基準線である。例えば、医用モダリティがＸ線コンピュータ断層撮影装置である場合、撮影軸Ａ１は、ガントリの回転部の回転中心軸、換言すれば、被検体Ｐが載置される天板３３の長軸に平行に規定される。医用撮像においては撮影軸Ａ１に被検体軸Ａ２が一致するように位置合わせされる。被検体軸Ａ２は、撮像対象部位の基準線であり、典型的には、被検体Ｐの全身の体軸に規定される。医用画像データは撮影軸Ａ１を基準とした座標系により規定される。被検体軸Ａ２が撮影軸Ａ１に一致しているという仮定の下、被検体軸Ａ２を基準とする直交三断面（アキシャル断面、サジタル断面及びコロナル断面）が規定される。オリジナルの表示断面として被検体軸Ａ２を基準とする直交三断面の表示画像が生成される。例えば、アキシャル断面３１は、撮影軸Ａ１に直交する断面に規定される。図示しないが、コロナル断面は、撮影軸Ａ１に平行し且つ鉛直軸に直交する断面に規定され、サジタル断面は、撮影軸Ａ１及び鉛直軸に平行する断面に規定される。アキシャル断面に関する表示画像（以下、アキシャル画像）、サジタル断面に関する表示画像（以下、サジタル画像）及びコロナル断面に関する表示画像（以下、コロナル画像）は、ステップＳ１において読み出された医用画像データにＭＰＲ処理を施すことにより生成される。
【００３１】
図４は、オリジナルの表示断面に関する表示画像の表示画面ＩＳ１の一例を示す図である。図４に示すように、表示画面ＩＳ１には、オリジナルの表示断面に関する表示画像Ｉ１として、撮影軸Ａ１を基準としたアキシャル画像Ｉ１−１、コロナル画像Ｉ１−２及びサジタル画像Ｉ１−３が表示される。メインの表示画像が表示画面ＩＳ１において大きいサイズで表示され、他のサブの表示画像がメインの表示画像に比して小さいサイズで表示される。図４においては、アキシャル画像Ｉ１−１がメインの表示画像として表示され、コロナル画像Ｉ１−２及びサジタル画像Ｉ１−３がサブの表示画像として表示される。メインの表示画像は、入力インタフェース１５等を介したユーザ指示に従いアキシャル画像Ｉ１−１、コロナル画像Ｉ１−２及びサジタル画像Ｉ１−３の中から任意に変更可能である。また、処理回路１１は、メインの表示画像として、入力インタフェース１５等を介したユーザ指示に従う任意の断面（オブリーク断面）に関する表示画像を医用画像データに基づいて生成しても良い。
【００３２】
図４に示すように、処理回路１１は、表示画面ＩＳ１に、回転ボタンＢ１と固定ボタンＢ２とを表示する。回転ボタンＢ１は、表示断面の回転を指示するためのＧＵＩ（Graphical User Interface）ボタンである。回転ボタンＢ１は、表示画面ＩＳ１への表示対象を、撮影軸を基準とするオリジナルの表示断面から、被検体軸を基準とする第二の表示断面へ変更するために設けられる。以下、第二の表示断面をセカンダリの表示断面と呼ぶことにする。固定ボタンＢ２は、表示断面の回転を停止するためのＧＵＩボタンである。
【００３３】
図５は、表示断面の回転の必要性を模式的に示す図である。図５に示すように、被検体軸（具体的には、被検体の体軸）Ａ２が撮影軸Ａ１に一致しない場合がある。被検体軸Ａ２が撮影軸Ａ１に一致しないと、撮影軸Ａ１に直交するオリジナルのアキシャル断面３１は、被検体軸Ａ２に直交せず、真のアキシャル断面とはいえない。大量の表示画像のうちの特定の解剖学的部位にアノテーションを描画する教師データ作成処理においては、アノテーションの描画効率等の観点から、表示断面が被検体軸Ａ２に対して常に一定の向きであることが望まれる。被検体軸Ａ２に対する表示断面の向きは一定でないとするとユーザは、アノテーションの付与対象である解剖学的部位を見つけづらいからである。そこで、本実施形態に係る画像処理機能１１５は、ステップＳＡ４において被検体軸Ａ２を基準とする第二の表示断面に関する表示画像を生成する。
【００３４】
ユーザにより入力インタフェース１５を介して回転ボタンＢ１が押下された場合、処理回路１１は、画像処理機能１１５を実行する（ステップＳ４）、ステップＳ４において処理回路１１は、表示断面を回転して、被検体軸基準の第二の表示断面に関する表示画像を生成する。
【００３５】
図６は、ステップＳ４における表示断面の回転処理を模式的に示す図である。図６に示すように、被検体軸Ａ２が撮影軸Ａ１に一致せず、オリジナルの表示断面３１であるアキシャル断面が被検体軸Ａ２に非直交であるとする。ユーザにより入力インタフェース１５を介して回転ボタンＢ１が押下された場合、処理回路１１は、表示断面３１を、被検体軸Ａ２に直交する表示断面３５まで自動的に回転する。
【００３６】
ステップＳ４が行われると処理回路１１は、固定ボタンの押下を待機する（ステップＳ６）。ユーザは、表示断面の回転の完了後、入力インタフェース１５を介して固定ボタンを押下する。回転ボタンの押下後は固定ボタンの押下に起因してアノテーションの付与処理（ステップＳ７）が可能になる。
【００３７】
ステップＳ６において固定ボタンが押下された場合（ステップＳ６：ＹＥＳ）、処理回路１１は、アノテーションの付与処理を実行する（ステップＳ７）。
【００３８】
図７は、アノテーションの付与処理の実行画面Ｉ２の一例を示す図である。図７に示すように、表示画面ＩＳ２には、被検体軸Ａ２を基準としたアキシャル画像Ｉ２−１、コロナル画像Ｉ２−２及びサジタル画像Ｉ２−３が表示される。ユーザは、アキシャル画像Ｉ２−１、コロナル画像Ｉ２−２及びサジタル画像Ｉ２−３を観察し、教師データの作成対象である解剖学的部位を見つけ出す。そしてユーザは、入力インタフェース１５を介して、アキシャル画像Ｉ２−１等の表示画像Ｉ２のうちの当該解剖学的部位に対応する画像領域を指定する。処理回路１１は、入力インタフェース１５を介して指定された表示画像領域に対応する、医用画像データ内の医用画像領域を特定し、特定された医用画像領域にアノテーションを付与する。
【００３９】
アノテーションの付与領域の指定方法としては、例えば、以下の方法が挙げられる。
１）認識対象の領域（例：腫瘍）の領域そのものを、円を描くなどの方法でユーザが指定する。２）認識対象の領域「以外」をユーザが指定することで、認識対象の領域を指定する。３）認識対象が、領域ではなく「点」または「線」で指定される。４）認識対象の領域の内部の１点をユーザが指定すると、同じ画素値を持つ領域をワークステーションで検出し、その領域を認識対象の領域として指定する。５）動画像の各フレームに対して認識対象を指定することで、時間とともに領域が変化するような認識対象を指定する。
【００４０】
本実施形態に係る処理回路１１は、アノテーションの付与作業を簡便・容易にするための種々の処理を実行可能である。これら処理については後述する。
【００４１】
ステップＳ７が行われると処理回路１１は、記憶制御機能１１７を実行する（ステップＳ８）。ステップＳ８において処理回路１１は、表示画像のデータをセカンダリの表示断面の向きと共にメモリ１３に保存する。例えば、表示画面に保存ボタンが表示され、当該保存ボタンが入力インタフェース１５等を介して押下されたことを契機として処理回路１１は、表示画像のデータをセカンダリの表示断面の向きと共にメモリ１３に保存する。当該表示断面の向きと共に表示画像のデータを保存することにより、ステップＳ４における回転処理を実行することなく、セカンダリの表示画像を表示させることが可能になる。
【００４２】
ステップＳ８が行われると処理回路１１は、他の医用画像データについて処理するか否かを判定する（ステップＳ９）。教師データの作成対象である同一の症例に関する医用画像データがメモリ１３に存在する場合、他の医用画像データについて処理すると判定し（ステップＳ９：ＹＥＳ）、処理回路１１は、当該他の医用画像データについて再びステップＳ１−Ｓ９を繰り返す。そして教師データの作成対象である同一の症例に関する医用画像データがメモリ１３に存在せず、他の医用画像データについて処理しないと判定した場合（ステップＳ９：ＮＯ）、処理回路１１は、教師データ作成処理を終了する。
【００４３】
以上により、本実施形態に係る教師データ作成処理が終了する。
【００４４】
なお、本実施形態に係る教師データ作成処理の手順は図２に示す手順のみに限定されない。例えば、オリジナルの表示断面に関する表示画像の生成及び表示をすることなく、被検体軸を基準とするセカンダリの表示断面に関する表示画像を生成及び表示しても良い。被検体軸が撮影軸に一致している場合、表示断面の回転処理（ステップＳ４）は行われなくても良い。
【００４５】
教師データ作成処理が終了すると処理回路１１は、機械学習機能１１８を実行する。機械学習機能１１８において処理回路１１は、アノテーションが付与された医用画像データをＣＮＮ等の画像認識に関するＤＮＮに適用して順伝播処理を行い、アノテーションの付与領域の推定認識結果を出力する。次に処理回路１１は、推定認識結果と正解認識結果との差分（誤差）を当該ＤＮＮに適用して逆伝播処理を行い、勾配ベクトルを計算する。次に処理回路１１は、勾配ベクトルに基づいて当該ＤＮＮの重み付き行列やバイアス等のパラメータを更新する。
【００４６】
なお、機械学習機能１１８は、画像読出機能１１１、テキスト読出機能１１２、付与領域決定機能１１３及び整合判定機能１１４と同一の処理回路１１により実装される必要はない。すなわち、機械学習機能１１８は、医用画像処理装置１ではなく、他のＤＮＮ学習のためのコンピュータ（以下、ＤＮＮ学習装置と呼ぶ）に実装されても良い。この場合、アノテーションが付与された医用画像データは、機械学習のため、通信インタフェース１７を介してＤＮＮ学習装置に送信される。そしてＤＮＮ学習装置により機械学習機能１１８が実行される。
【００４７】
次に、図２のステップＳ７におけるアノテーションの付与処理の詳細について説明する。なお、以下の説明において、教師データの作成対象の症例は脳虚血であるとする。
【００４８】
図８は、図２のステップＳ７におけるアノテーションの付与処理の典型的な流れを示す図である。図８に示すように、処理回路１１は、テキスト読出機能１１２を実行する（ステップＳ７１）。ステップＳ７１において処理回路１１は、ステップＳ１において読み出された医用画像データに関連付けられたテキストデータを読み出す。テキストデータとしては、例えば、当該医用画像データに関連付けられた所見のテキストデータが読み出される。この場合、処理回路１１は、所見全体のテキストデータから、典型的には、予め定義された臨床的に意味のある単語や文節、文章の単位でテキストデータを個別に抽出する。例えば、「脳虚血」や「左半身不随」に対応するテキストデータが個別に抽出される。
【００４９】
ステップＳ７１が行われると処理回路１１は、表示制御機能１１６を実行する（ステップＳ７２）。ステップＳ７２において処理回路１１は、表示画像とステップＳ７１において読み出したテキストデータに対応するテキストとを表示する。
【００５０】
図９は、ステップＳ７２において表示される表示画面ＩＳ３の一例を示す図である。図９に示すように、表示画面ＩＳ３には、表示画像Ｉ３とステップＳ７１において抽出されたテキストデータに対応するテキストＴ３とが並べて表示される。図９においては、表示画像Ｉ３に関連するテキストＴ３として、脳虚血に由来する脳卒中の徴候に関するテキスト「Side of symptoms」Ｔ３−１、テキスト「Time since onset」Ｔ３−２、テキスト「Neurological defect」Ｔ３−３が表示される。テキストＴ３は、ユーザが教師データの作成対象である症例の部位を見いだす事を支援するために表示される。例えば、左半身に不随がある場合、右脳に症状がみられるはずである。テキスト「Side of symptoms」Ｔ３−１が表示されることにより、ユーザは、右脳又は左脳の何れかに症状がみられるかはずである、ということがわかる。また、テキスト「Time since onset」Ｔ３−２が表示されることにより、脳卒中等の徴候が出現した後の画像であることがわかり、従って右脳に症状がみられるはずである、ということがわかる。また、テキスト「Neurological defect」Ｔ３−３が表示されることにより、画像に視神経障害が描出されているはずである、ということがわかる。このように、ユーザは、表示画像Ｉ３だけでなく、テキストＴ３が表す臨床情報を参考にすることにより、教師データの作成対象である症例の部位を容易に見いだすことができる。なおテキストＴ３の表示形態は特に限定されない。
【００５１】
ステップＳ７２が行われると処理回路１１は、入力インタフェース１５を介してアノテーションの描画領域が指定されることを待機する（ステップＳ７３）。ユーザは、ステップＳ７２において表示された表示画像とテキストとを観察しながら、教師データの作成対象である脳虚血部位を見いだす。脳虚血部位が見いだされるとユーザは、入力インタフェース１５を介して表示画像の脳虚血部位に対応する表示画像領域を描画領域として指定する。
【００５２】
アノテーションの描画領域が指定された場合（ステップＳ７３：ＹＥＳ）、処理回路１１は、付与領域決定機能１１３を実行する（ステップＳ７４）。ステップＳ７４において処理回路１１は、ステップＳ７３において指定された描画領域に対応する、医用画像データ内の画像領域（以下、付与領域と呼ぶ）を決定する。具体的には、処理回路１１は、医用画像データ内における表示断面の位置に基づいて、表示画像の描画領域に対応する医用画像データの医用画像領域の座標を計算し、当該座標に対応する医用画像領域を付与領域として決定する。
【００５３】
ステップＳ７４が行われると処理回路１１は、整合判定機能１１４を実行する（ステップＳ７５）。ステップＳ７５において処理回路１１は、ステップＳ７４において決定された付与領域の位置とステップＳ７２において表示されたテキストが示す臨床情報とを比較する。より詳細には、処理回路１１は、ステップＳ７４において決定された付与領域の解剖学的部位がステップＳ７２において表示されたテキストが示す臨床情報に整合するか否かを判定する。例えば、処理回路１１は、テキストが示す臨床情報と当該臨床情報に対応する解剖学的部位の位置条件とを関連付けたテーブル（ＬＵＴ：Look Up Table）を利用して整合性の判定を行う。位置条件は、当該臨床情報に対応する解剖学的部位の位置である。当該テーブルにおいては、例えば、テキスト「Side of symptoms」に解剖学的部位「右脳」が関連付けられている。この場合、処理回路１１は、まず、医用画像データ内における付与領域の位置を特定し、特定された位置が、テキストに当該テーブルにおいて関連付けられた解剖学的部位に一致しているか否かを判定する。医用画像データ内における付与領域の位置として、当該位置の解剖学的部位が特定される。付与領域に対応する解剖学的部位は、例えば、解剖学的基準点（anatomical landmark）等を用いて特定されれば良い。例えば、メモリ１３は、予め複数の解剖学的基準点が登録された人体解剖図譜のデータを記憶している。人体解剖図譜は、人体の標準的な形態のデータに、当該形態に対応する解剖学的部位の識別子である解剖学的基準点を関連付けたデータである。処理回路１１は、医用画像データと人体解剖図譜のデータとを位置合わせし、付与領域に対応する人体解剖図譜の位置を特定し、当該位置に関連付けられた解剖学的部位を特定する。特定された解剖学的部位と、テキストに当該テーブルにおいて関連付けられた解剖学的部位とが一致している場合、処理回路１１は、付与領域がテキストの臨床情報との間で整合していると判定し、一致していない場合、整合していないと判定する。
【００５４】
なお、上記テーブルの位置条件は、厳密度に応じて段階付けられても良い。例えば、臨床情報「左脳に虚血あり」であるとした場合、例えば、厳密度が軽度の位置条件は「左脳」に規定され、厳密度が高度の位置条件は「脳室以外の左脳」に規定される。採用する源密度は、ユーザにより任意に設定可能である。
【００５５】
上記整合性の判定処理は、表示されたテキスト全てについて個別に行われても良いし、表示されたテキストについて順番に整合の有無を判定し、「整合無し」と判定された時点で終了しても良い。
【００５６】
ステップＳ７５が行われると処理回路１１は、表示制御機能１１６を実行する（ステップＳ７６）。ステップＳ７６において処理回路１１は、ステップＳ７５における比較結果をディスプレイ１９に表示する。比較結果の表示形態については種々の態様が考えられる。
【００５７】
図１０は、整合判定機能１１４の比較結果の表示画面ＩＳ４の一例を示す図である。図１０に示すように、表示画面ＩＳ４には表示画像Ｉ３とテキストＴ３とが並べて表示される。表示画像Ｉ３のちのアノテーションの描画領域にはアノテーションＩＡが表示される。アノテーションＩＡは、赤等の特定のカラーで表示される。
【００５８】
比較結果として、処理回路１１は、テキストＴ３−１、テキストＴ３−２及びテキストＴ３−３のうちの「整合無し」又は「整合有り」と判定されたテキストを強調して表示する。例えば、図１０に示すように、テキスト「Side of symptoms」Ｔ３−１が表示されているにも関わらず、アノテーションＩＡが左脳に指定された場合、アノテーションＩＡの描画領域（すなわち、付与領域）がテキスト「Side of symptoms」Ｔ３−１が表す臨床情報との間で整合していないと判定される。この場合、テキスト「Side of symptoms」Ｔ３−１が他のテキスト「Time since onset」Ｔ３−２及び「Neurological defect」Ｔ３−３とは異なる視覚効果で警告として強調される。警告の視覚効果としては、例えば、図１０に示すように、「整合無し」と判定されたテキストを太線で表示し、「整合有り」と判定されたテキストを通常の太さの線で表示すると良い。なお、強調の視覚効果として、テキストの線種を変更しても良いし、背景や文字の色を変更しても良いし、拡大又は縮小しても良いし、点滅等しても良い。
【００５９】
このように「整合無し」又は「整合有り」と判定されたテキストを強調して表示することにより、ユーザは、アノテーションの付与領域と当該テキストが表す臨床情報とが整合していないことを明瞭に把握することができる。これによりアノテーションの付与間違いを低減することができる。
【００６０】
「整合無し」の比較結果の他の表示形態として、処理回路１１は、ディスプレイ１９に、「アノテーションがテキストに整合していません！」等の警告メッセージを表示しても良い。その他、処理回路１１は、スピーカ等を介して当該警告メッセージの音声や警告音を発しても良い。また、処理回路１１は、「整合有り」と判定された場合と「整合無し」と判定された場合とでアノテーションの視覚効果を変更しても良い。例えば、「整合有り」と判定された場合、アノテーションを黄色で表示し、「整合無し」と判定された場合、アノテーションを赤色で表示すると良い。また、整合の有無の判定結果をテキストデータとしてアノテーションに付随させてメモリ１３に記憶されても良い。
【００６１】
また、他の整合の比較結果の表示形態を説明する。例えば、処理回路１１は、「整合無し」と判定された場合、ユーザが指定したアノテーションの描画領域にアノテーションを描画しなくても良い。換言すれば、処理回路１１は、テキストの臨床情報に整合する解剖学的部位にアノテーションの描画領域が指定された場合に限定して当該描画領域にアノテーションを描画する。このように、アノテーションの描画領域を指定しているのにも関わらずアノテーションが表示されないことにより、ユーザは、アノテーションの描画領域と当該テキストが表す臨床情報とが整合していないことを明瞭に把握することができる。これによりアノテーションの付与間違いを低減することができる。
【００６２】
以上により、本実施形態に係るアノテーションの付与処理が終了する。
【００６３】
なお、上記のアノテーションの付与処理は一例であって種々の変形が可能である。例えば、上記説明においては、図２のステップＳ７として図８のステップＳ７１−Ｓ７６が行われるとした。しかしながら、図８の処理は単独で行われても良い。すなわち、撮影軸基準のオリジナル断面の表示画像に対してテキストが並べて表示されたり、アノテーションの描画領域が指定されたりしても良い。
【００６４】
上記説明においては、教師データの作成対象の症例に関する医用画像データのみがメモリ１３に記憶されているとした。しかしながら、本実施形態はこれに限定されない。例えば、教師データの作成対象の症例及び非作成対象の症例の双方に関する医用画像データがメモリ１３に記憶されていても良い。この場合、処理回路１１は、図８のステップＳ７１のテキスト読出機能１１２において、当該医用画像データに関連付けられているテキストデータの中から、教師データの作成対象の症例に関連するテキストデータのみを読み出すと良い。また、メモリ１３には教師データの作成対象の症例に関する医用画像データと教師データの非作成対象の症例に関する医用画像データとが記憶されても良い。この場合、処理回路１１は、図２のステップＳ１の画像読出機能１１１において、教師データの作成対象の症例に関する医用画像データのみを読み出すと良い。この機能の実装により、教師データの作成対象に関わらず大量の医用画像データ及びテキストデータをメモリ１３に記憶させることができる。そして処理回路１１は、その大量の医用画像データ及びテキストデータの中から教師データの作成対象の症例に関するデータのみを事後的に読み出すことができる。
【００６５】
上記説明においては、ステップＳ７２において表示画像と臨床情報を示すテキストとがディスプレイ１９に表示されるとした。しかしながら、本実施形態はこれに限定されない。例えば、ステップＳ７２において臨床情報を示すテキストが表示されず、表示画像だけが表示されても良い。当該実施形態においてユーザは、ステップＳ７６における比較結果を参照することにより、アノテーションの付与領域が臨床情報に照らし正しいか否かを判断することが可能になる。
【００６６】
次に、アノテーションの付与領域の効率化及び高精度化について説明する。
【００６７】
本実施形態に係る処理回路１１は、アノテーションの付与の効率化及び高精度化等のため、表示画像に関するスラブ厚とアノテーションに関するスラブ厚とを独立に調整可能にする。このため処理回路１１は、表示画像に関するスラブ厚を調整するためのＧＵＩツール（以下、画像厚調整ツールと呼ぶ）と、アノテーションに関するスラブ厚を調整するためのＧＵＩツール（アノテーション厚調整ツールと呼ぶ）とを表示画面に表示する。
【００６８】
図１１は、ディスプレイ１９に表示される、画像厚調整ツールＧＩとアノテーション厚調整ツールＧＡとが表示された表示画面ＩＳ５を示す図である。表示画面ＩＳは、例えば、アノテーションＩＡの付与のため、図３のステップＳ７や図９のステップＳ７２等において表示される。
【００６９】
図１１に示すように、表示画面ＩＳ５には表示画像Ｉ５が表示される。表示画像Ｉ５にはアノテーションＩＡが描画される。表示画像Ｉ５に並んで画像厚調整ツールＧＩとアノテーション厚調整ツールＧＡとが表示される。画像厚調整ツールＧＩとアノテーション厚調整ツールＧＡとは、色や線種等で視覚的に区別して表示される。画像厚調整ツールＧＩは、表示画像のスラブ厚を調整するためのＧＵＩツールである。画像厚調整ツールＧＩは、つまみＧＩ１と一対のバーＧＩ２と中心バーＧＩ３を含む。一対のバーＧＩ２の間隔は、表示画像Ｉ５のスラブ厚を示す。中心バーＧＩ３は、表示画像Ｉ５の表示断面のスラブ厚の中心を示す。例えば、マウス等により上側のＧＩ１をドラッグしながらＧＩ１を上に動かすことにより一対のバーＧＩ２の間隔が広がる。処理回路１１は、表示画像Ｉ５にアノテーションの付与対象の描画領域が指定された場合、一対のバーＧＩ２の間隔に応じたスラブ厚をリアルタイムで計算し、医用画像データ内における中心バーＧＩ３が示す表示断面の位置を特定し、特定された位置を含み且つ当該スラブ厚を有する医用画像データの画像領域を特定し、特定された画像領域に基づいて表示画像Ｉ５を生成し、ディスプレイ１９にリアルタイムで表示する。
【００７０】
図１１に示すように、アノテーション厚調整ツールＧＡは、つまみＧＡ１と一対のバーＧＡ２と中心バーＧＡ３を含む。一対のバーＧＡ２の間隔は、アノテーションＩＡのスラブ厚を示す。中心バーＧＩ３は、アノテーションＩＡのスラブ厚の中心を示す。例えば、マウス等により上側のＧＡ１をドラッグしながらＧＡ１を上に動かすことにより一対のバーＧＡ２の間隔が広がる。処理回路１１は、一対のバーＧＡ２の間隔に応じたスラブ厚をリアルタイムで計算し、医用画像データ内における中心バーＧＡ３が示すアノテーションＩＡの中心位置を特定し、特定された中心位置を含む且つ当該スラブ厚を有する医用画像データの画像領域を特定し、当該画像領域をアノテーションＩＡの付与領域に設定する。
【００７１】
図１２は、図１１の表示画像Ｉ５のスラブ厚ＳＩとアノテーションＩＡのスラブ厚ＳＡとを模式的に示す図である。アノテーションＩＡの付与領域ＲＡは、表示画像Ｉ５のスラブ厚に対応する画像領域ではなく、アノテーションＩＡのスラブ厚ＳＡに対応する画像領域に限定して設定される。処理回路１１は、画像厚調整ツールＧＩとアノテーション厚調整ツールＧＡとを提供することにより、表示画像Ｉ５のスラブ厚ＳＩとアノテーションＩＡのスラブ厚ＳＡとを個別に設定することができる。表示画像Ｉ５のスラブ厚ＳＩとアノテーションＩＡのスラブ厚ＳＡとの大小関係は特に限定されない。例えば、図１２に示すように、スラブ厚ＳＡをスラブ厚ＳＩよりも狭めることにより、アノテーションＩＡの付与領域を表示画像に比して高解像度で決定することができる。また、スラブ厚ＳＡをスラブ厚ＳＩよりも広げることにより、アノテーションＩＡの付与領域を簡易且つ高効率で決定することができる。
【００７２】
図１３は、ディスプレイ１９に表示される、画像厚調整ツールＧＩとアノテーション厚調整ツールＧＡとの他の表示例を示す図である。図１３に示すように、表示画面ＩＳ６にはメイン画像としてアキシャル画像Ｉ６−１が、サブ画像としてコロナル画像Ｉ６−２とサジタル画像Ｉ６−３とが表示される。
【００７３】
図１３に示すように、各画像Ｉ６には他の画像の表示断面を示す断面線Ｌが表示される。具体的には、アキシャル画像Ｉ６−１にはコロナル画像Ｉ６−２のコロナル断面を示す断面線ＬＡＣとサジタル画像Ｉ６−３のサジタル断面を示す断面線ＬＡＳとが重畳され、コロナル画像Ｉ６−２にはアキシャル画像Ｉ６−１のアキシャル断面を示す断面線ＬＣＡとサジタル画像Ｉ６−３のサジタル断面を示す断面線ＬＣＳとが重畳され、サジタル画像Ｉ６−３にはアキシャル画像Ｉ６−１のアキシャル断面を示す断面線ＬＳＡとコロナル画像Ｉ６−２のコロナル断面を示す断面線ＬＳＣとが重畳される。各断面線Ｌの移動操作に連動して断面画像を更新することも可能である。
【００７４】
図１３に示すように、アキシャル画像Ｉ６−１に隣接してアキシャル断面のスラブ厚を調整するための画像厚調整ツールＧＩ−１、コロナル画像Ｉ６−２に隣接してコロナル断面のスラブ厚を調整するための画像厚調整ツールＧＩ−２、サジタル画像Ｉ６−３に隣接してサジタル断面のスラブ厚を調整するための画像厚調整ツールＧＩ−３が表示される。メイン画像であるアキシャル画像Ｉ６−１については画像厚調整ツールＧＩ−１に隣接してアノテーション厚調整ツールＧＡが表示される。図１３に示すように、画像厚調整ツールＧＩは各断面線Ｌの延長線上に表示されると良い。より詳細には、画像厚調整ツールＧＩの中心バーが断面線Ｌに一致するように表示される。これにより、断面線Ｌが示す表示断面と画像厚調整ツールＧＩが示す当該表示断面のスラブ厚との関連性を直感的に理解することができる。アノテーション厚調整ツールＧＡによりアノテーションのスラブ厚を調整可能である。アノテーション厚調整ツールＧＡについても同様に、各断面線Ｌの延長線上に表示されると良く、より詳細には、アノテーション厚調整ツールＧＡの中心バーが断面線Ｌに一致するように表示される。これにより、断面線Ｌが示す表示断面と画像厚調整ツールＧＩが示す当該表示断面のスラブ厚とアノテーション厚調整ツールＧＡが示す当該アノテーションのスラブ厚との関連性を直感的に理解することができる。
【００７５】
例えば、ユーザは、入力インタフェース１５を介して、メイン画像であるアキシャル画像Ｉ６−１においてアノテーションＩＡの描画領域を指定する。アキシャル画像Ｉ６−１に描画されたアノテーションＩＡは、他の断面にも反映される。すなわち、前述の通り、処理回路１１は、アノテーションＩＡの描画領域が指定された場合、当該描画領域に対応する医用画像データ内のアノテーションＩＡの付与領域を決定する。また、処理回路１１は、医用画像データ内におけるコロナル断面及びサジタル断面の位置と付与領域とに基づいて、コロナル断面及びサジタル断面における描画領域を計算し、描画領域にアノテーションを描画する。図１４においてはコロナル断面には描画領域が存在するが、サジタル断面には描画領域が存在しない。この場合、処理回路１１は、コロナル断面の描画領域にアノテーションＩＡを描画する。
【００７６】
なお、画像厚調整ツールＧＩ及びアノテーション厚調整ツールＧＡは各スラブ厚を調整可能であれば形態は特に限定されない。例えば、画像厚調整ツールＧＩ及びアノテーション厚調整ツールＧＡはスライダ等のＧＵＩツールにより実現されても良い。
【００７７】
アノテーションの付与領域を三次元的に決定する場合、ユーザは、所与のスラブ厚を有する表示断面をスライドし、複数の表示断面位置で描画領域を指定する。例えば、所与のスラブ厚を有するアキシャル断面をスライドしながら描画領域が複数のアキシャル断面位置で指定される。この際、処理回路１１は、アキシャル断面を被検体軸に沿って互いに重複無く段階的にスライドしても良いし、重複しながら滑らかにスライドしても良い。
【００７８】
また、処理回路１１は、付与領域決定機能１１３において、互いに離れた二つの表示画像で付与領域が指定された場合、当該二つの付与領域に対応する二つの付与領域を包含する画像領域を、アノテーションの付与領域に設定する。この処理をアノテーションの補間処理と呼ぶことにする。
【００７９】
図１４は、付与領域決定機能１１３によるアノテーションの補間処理を模式的に示す図である。なお、図１４においては、説明の簡単のため、表示画像Ｉ７のスラブ厚とアノテーションのスラブ厚とは同一であるとしている。まず、第一の表示画像Ｉ７−１においてアノテーションの描画領域が指定された場合、医用画像データＤＩにおいて当該描画領域に対応する付与領域ＲＡ１が決定される。次に入力インタフェース１５等介した指示に従い断面移動が行われ、第一の表示画像から離れた第二の表示画像Ｉ７−２が設定される。この第二の表示断面１７−２おいても同様に、医用画像データＤＩにおいてアノテーションの付与領域ＲＡ２が決定される。
【００８０】
次に処理回路１１は補間処理を行う。補間処理において処理回路１１は、医用画像データＤＩにおける付与領域ＲＡ１と付与領域ＲＡ２とを包含する画像領域を決定し、当該画像領域を補間後の付与領域ＲＡＩ１に設定する。具体的には、付与領域ＲＡ１と付与領域ＲＡ２とを結ぶ直線上にある全画素が特定される。当該特定された画素の集合はアノテーションの補間領域ＲＡ３と呼ぶことができる。補間領域ＲＡ３と付与領域ＲＡ１と付与領域ＲＡ２との集合が補間後の付与領域ＲＡＩ１に設定される。なお、補間は上記の直線補間に限定されず、任意の曲線補間でも良いし、直線と曲線とを合わせた補間でも良い。このようにアノテーションの補間処理を行うことにより、アノテーションの付与処理を簡便且つ高効率で行うことができる。
【００８１】
なお、アノテーションの補間領域ＲＡ３には、単純な補間処理の場合、アノテーションの付与領域から除外すべき画像領域、すなわち、画像認識の対象外の画像領域が含まれてしまう場合がある。例えば、脳実質の虚血部分にアノテーションの付与領域を設定したい場合、画像認識の対象外である脳室が補間後の付与領域に含まれてしまう場合がある。処理回路１１は、補間後の付与領域ＲＡＩ１から画像認識の対象外領域を除外した領域を補間後の付与領域に設定する。この処理をアノテーションの補間＆除外処理と呼ぶことにする。
【００８２】
図１５は、付与領域決定機能１１３によるアノテーションの補間処理の応用を模式的に示す図である。図１５に示すように、図１４と同様、医用画像データＤＩにおいて第一の表示画像Ｉ７−１に由来するアノテーションの付与領域ＲＡ１と第二の表示画像Ｉ７−２に由来するアノテーションの付与領域ＲＡ２とが決定される。
【００８３】
次に処理回路１１は補間＆除外処理を行う。補間＆除外処理において処理回路１１は、まず、医用画像データＤＩに含まれる除外対象領域ＲＢ３を抽出する。除外対象領域は脳室等の任意の解剖学的部位に相当する。処理回路１１は、除外対象領域ＲＢを、閾値等により抽出することも可能であるし、解剖学的基準点を利用して抽出することも可能である。除外対象領域ＲＢの抽出処理については特に限定されない。次に処理回路１１は、医用画像データＤＩにおける付与領域ＲＡ１と付与領域ＲＡ２とを包含する画像領域を決定し、当該画像領域から除外対象領域ＲＢ３を除外した画像領域を補間後の付与領域ＲＡＩ２に設定する。具体的には、付与領域ＲＡ１と付与領域ＲＡ２とを結ぶ補間領域（図１４の補間領域ＲＡ３と同様）が特定され、当該補間領域から除外対象領域ＲＢを除外する。除外対象領域ＲＢの除外後の補間領域が補間＆除外後の補間領域ＲＡ４に設定される。補間＆除外後の補間領域ＲＡ４と付与領域ＲＡ１と付与領域ＲＡ２との集合が補間後の付与領域ＲＡＩ２に設定される。このように補間＆除外処理を行うことにより、除外対象領域ＲＢを自動的にアノテーションの付与領域から除外することができるので、アノテーションの付与処理を正確且つ簡便に行うことができる。
【００８４】
上記実施形態において臨床情報は、所見等に含まれる単語、文節又は文章が示す臨床的内容であるとした。しかしながら、本実施形態はこれに限定されない。例えば、臨床情報は、画像読出機能１１１により読み出された医用画像データの被検体と同一被検体に関する過去の医用画像データに付与されたアノテーションの付与領域の位置でも良い。当該過去の医用画像データは、教師データとして用いられた医用画像データでも良いし、単にアノテーションが付与された医用画像データでも良い。この場合、処理回路１１は、整合判定機能１１４を実行し、画像読出機能１１１により読み出された今回の医用画像データに含まれるアノテーションの付与領域の位置と、過去の医用画像データに含まれるアノテーションの付与領域の位置とを比較する。付与領域の位置は、医用画像データにおける座標でも良いし、付与領域の解剖学的部位でも良い。比較結果の表示形態として、処理回路１１は、例えば、今回のアノテーションの付与領域の位置と過去のアノテーションの付与領域の位置とが大幅に異なっている場合、警告をディスプレイ１９に表示すると良い。また、今回のアノテーションの付与領域の位置と過去のアノテーションの付与領域の位置とが大幅に異なっていない場合、その旨のメッセージ等をディスプレイ１９に表示しても良い。
【００８５】
他の例として、臨床情報は、画像読出機能１１１により読み出された医用画像データの被検体と同一被検体に関する過去の医用画像データに対する画像認識の認識結果である。当該過去の医用画像データは、今回の認識対象と同一の認識対象が明瞭に映像化された他モダリティにより収集された医用画像データが好ましい。画像認識の認識結果は、認識対象に関する画像領域である。この場合、処理回路１１は、整合判定機能１１４を実行し、画像読出機能１１１により読み出された今回の医用画像データに含まれるアノテーションの付与領域の位置と、過去の医用画像データに対する画像認識結果の位置とを比較する。例えば、今回の医用画像データがＸ線コンピュータ断層撮影装置により収集されたＣＴ画像データであり、過去の医用画像データが核医学診断装置により収集されたＮＭ画像データであり、心筋虚血部位が認識対象であり、認識結果は、画像認識により心筋虚血部位であると認識された画像領域であるとする。付与領域の位置と画像認識結果の位置とは、医用画像データにおける座標でも良いし、付与領域の解剖学的部位でも良い。比較結果の表示形態として、処理回路１１は、例えば、今回のアノテーションの付与領域の位置と過去の画像認識結果の位置とが大幅に異なっている場合、警告をディスプレイ１９に表示すると良い。また、今回のアノテーションの付与領域の位置と過去の画像認識結果の位置とが大幅に異なっていない場合、その旨のメッセージ等をディスプレイ１９に表示しても良い。
【００８６】
上記の通り、本実施形態に係る医用画像処理装置１は、少なくともディスプレイ１９と処理回路１１とを有する。ディスプレイ１９には、画像認識に関する機械学習の教師データとして用いられる医用画像データが表示される。処理回路１１は、付与領域決定機能１１３、整合判定機能１１４及び表示制御機能１１６を実現する。付与領域決定機能１１３において処理回路１１は、医用画像データのうちの画像認識の対象領域を規定するアノテーションの付与領域を、ユーザによる指示に従い決定する。整合判定機能１１４において処理回路１１は、医用画像データ内の付与領域の位置と当該医用画像データに関連付けられた臨床情報との比較結果を出力する。表示制御機能１１６において処理回路１１は、整合判定機能１１４による比較結果をディスプレイ１９に表示する。
【００８７】
上記構成により、アノテーションを付すべき領域が指定されると、当該領域の位置と臨床情報と比較され、その比較結果が表示されるので、ユーザは、指定した領域が正しいのか否かを即時的に判断することができる。画像認識に関する機械学習の教師データの作成のために大量の画像にアノテーションを付す作業を行わなければならないが、本実施形態によれば、この作業を簡易且つ正確に行うことができる。
【００８８】
以上説明した少なくとも１つの実施形態によれば、画像認識に関する機械学習の教師データの作成の手間を削減することができる。
【００８９】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【００９０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９１】
１  医用画像処理装置
１１  処理回路
１３  メモリ
１５  入力インタフェース
１７  通信インタフェース
１９  ディスプレイ
１１１  画像読出機能
１１２  テキスト読出機能
１１３  付与領域決定機能
１１４  整合判定機能
１１５  画像処理機能
１１６  表示制御機能
１１７  記憶制御機能
１１８  機械学習機能
【図１】
2019180866.tif 000003
【図２】
2019180866.tif 000004
【図３】
2019180866.tif 000005
【図４】
2019180866.tif 000006
【図５】
2019180866.tif 000007
【図６】
2019180866.tif 000008
【図７】
2019180866.tif 000009
【図８】
2019180866.tif 000010
【図９】
2019180866.tif 000011
【図１０】
2019180866.tif 000012
【図１１】
2019180866.tif 000013
【図１２】
2019180866.tif 000014
【図１３】
2019180866.tif 000015
【図１４】
2019180866.tif 000016
【図１５】
2019180866.tif 000017