(57)【特許請求の範囲】
【請求項１】
被検体を撮影して得られた画像から被検体の体格を表す情報を抽出する抽出部と、
前記抽出部により抽出された前記被検体の体格を表す情報を用いて、前記被検体が分類されるグループを特定する特定部と、
前記グループ毎の学習用データを用いた機械学習によって前記グループ毎に予め得られた学習済みモデルのうち、前記特定部により特定されたグループに対応する前記学習済みモデルに対して前記被検体を撮影して得られた医用画像を表す画像データを入力する入力部と、
前記入力部による入力により前記学習済みモデルから出力された前記医用画像から抽出された領域を表す情報を取得する取得部と、
を備えた情報処理装置。
【請求項２】
前記被検体の体格を表す情報は、前記被検体の骨格である、
請求項１に記載の情報処理装置。
【請求項３】
前記被検体の体格を表す情報は、前記被検体の体表である、
請求項１に記載の情報処理装置。
【請求項４】
前記被検体の体格を表す情報の抽出に用いられる前記画像は、前記医用画像である、
請求項１から請求項３の何れか１項に記載の情報処理装置。
【請求項５】
前記グループは、前記被検体の年齢、性別、人種、又は種族によって前記被検体が分類されるグループである、
請求項１から請求項４の何れか１項に記載の情報処理装置。
【請求項６】
被検体を撮影して得られた画像から被検体の体格を表す情報を抽出し、
抽出した前記被検体の体格を表す情報を用いて、前記被検体が分類されるグループを特定し、
前記グループ毎の学習用データを用いた機械学習によって前記グループ毎に予め得られた学習済みモデルのうち、特定したグループに対応する前記学習済みモデルに対して前記被検体を撮影して得られた医用画像を表す画像データを入力し、
前記入力により前記学習済みモデルから出力された前記医用画像から抽出された領域を表す情報を取得する、
処理をコンピュータが実行する情報処理方法。
【請求項７】
被検体を撮影して得られた画像から被検体の体格を表す情報を抽出し、
抽出した前記被検体の体格を表す情報を用いて、前記被検体が分類されるグループを特定し、
前記グループ毎の学習用データを用いた機械学習によって前記グループ毎に予め得られた学習済みモデルのうち、特定したグループに対応する前記学習済みモデルに対して前記被検体を撮影して得られた医用画像を表す画像データを入力し、
前記入力により前記学習済みモデルから出力された前記医用画像から抽出された領域を表す情報を取得する、
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
入力画像に含まれる顔を、検出すべき顔の傾きを変えながら検出する顔検出方法が開示されている（特開２００７−１２８１２７号公報参照）。この顔検出方法では、検出すべき顔の傾きに応じて、第１の検出処理及び第２の検出処理の何れかの検出処理によって顔検出を行う。【０００３】
また、入力画像の種類に応じた顔検出手法を用いて、入力画像から顔を検出する画像処理装置が開示されている（特開２００９−７００９９号公報参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
医用画像から対象とする領域を精度良く抽出することができると、医師が診断を行ううえで好ましい。しかしながら、特開２００７−１２８１２７号公報及び特開２００９−７００９９号公報に記載の技術では、医用画像から対象とする領域を精度良く抽出することはできない。【０００５】
本開示は、医用画像から対象とする領域を精度良く抽出することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の情報処理装置は、被検体を撮影して得られた画像から被検体の体格を表す情報を抽出する抽出部と、抽出部により抽出された被検体の体格を表す情報を用いて、被検体が分類されるグループを特定する特定部と、グループ毎の学習用データを用いた機械学習によってグループ毎に予め得られた学習済みモデルのうち、特定部により特定されたグループに対応する学習済みモデルに対して被検体を撮影して得られた医用画像を表す画像データを入力する入力部と、入力部による入力により学習済みモデルから出力された医用画像から抽出された領域を表す情報を取得する取得部と、を備える。【０００７】
被検体の体格を表す情報は、被検体の骨格であってもよい。【０００８】
また、被検体の体格を表す情報は、被検体の体表であってもよい。【０００９】
また、被検体の体格を表す情報の抽出に用いられる画像は、医用画像であってもよい。【００１０】
また、グループは、被検体の年齢、性別、人種、又は種族によって被検体が分類されるグループであってもよい。【００１１】
本開示の情報処理方法では、被検体を撮影して得られた画像から被検体の体格を表す情報を抽出し、抽出した被検体の体格を表す情報を用いて、被検体が分類されるグループを特定し、グループ毎の学習用データを用いた機械学習によってグループ毎に予め得られた学習済みモデルのうち、特定したグループに対応する学習済みモデルに対して被検体を撮影して得られた医用画像を表す画像データを入力し、入力により学習済みモデルから出力された医用画像から抽出された領域を表す情報を取得する処理をコンピュータが実行する。【００１２】
また、本開示のプログラムは、被検体を撮影して得られた画像から被検体の体格を表す情報を抽出し、抽出した被検体の体格を表す情報を用いて、被検体が分類されるグループを特定し、グループ毎の学習用データを用いた機械学習によってグループ毎に予め得られた学習済みモデルのうち、特定したグループに対応する学習済みモデルに対して被検体を撮影して得られた医用画像を表す画像データを入力し、入力により学習済みモデルから出力された医用画像から抽出された領域を表す情報を取得する処理をコンピュータに実行させる。【００１３】
本開示の非一時的記録媒体は、被検体を撮影して得られた画像から被検体の体格を表す情報を抽出し、抽出した被検体の体格を表す情報を用いて、被検体が分類されるグループを特定し、グループ毎の学習用データを用いた機械学習によってグループ毎に予め得られた学習済みモデルのうち、特定したグループに対応する学習済みモデルに対して被検体を撮影して得られた医用画像を表す画像データを入力し、入力により学習済みモデルから出力された医用画像から抽出された領域を表す情報を取得する処理をコンピュータに実行させるプログラムを記録している。【００１４】
また、本開示の情報処理装置は、メモリと、メモリに接続されたプロセッサと、を備え、プロセッサは、被検体を撮影して得られた画像から被検体の体格を表す情報を抽出し、抽出した被検体の体格を表す情報を用いて、被検体が分類されるグループを特定し、グループ毎の学習用データを用いた機械学習によってグループ毎に予め得られた学習済みモデルのうち、特定したグループに対応する学習済みモデルに対して被検体を撮影して得られた医用画像を表す画像データを入力し、入力により学習済みモデルから出力された医用画像から抽出された領域を表す情報を取得するように構成されている。
【発明の効果】
【００１５】
本開示によれば、医用画像から対象とする領域を精度良く抽出することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る診断支援システムの構成の一例を示すブロック図である。
【図２】実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３】実施形態に係る学習済みモデルの一例を示す図である。
【図４】実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。
【図５】実施形態に係る診断支援処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本開示の実施形態例を詳細に説明する。
【００１８】
まず、図１を参照して、本実施形態に係る診断支援システム１０の構成を説明する。図１に示すように、診断支援システム１０は、画像管理装置１２及び情報処理装置１４を含む。画像管理装置１２及び情報処理装置１４は、各々ネットワークＮに接続され、ネットワークＮを介した通信が可能とされる。画像管理装置１２は、ＣＴ（Computed Tomography）及びＭＲＩ（Magnetic Resonance Imaging）等の医用画像を撮影する撮影装置により被検体を撮影して得られた医用画像を表す画像データ（以下、「医用画像データ」という）を記憶する。画像管理装置１２の例としては、ＰＡＣＳ（Picture Archiving and Communication System）等が挙げられる。情報処理装置１４は、画像管理装置１２に記憶された医用画像データを用いて診断の支援を行う。情報処理装置１４の例としては、パーソナルコンピュータ及びサーバコンピュータ等の情報処理装置が挙げられる。
【００１９】
次に、図２を参照して、本実施形態に係る情報処理装置１４のハードウェア構成を説明する。図２に示すように、情報処理装置１４は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、情報処理装置１４は、液晶ディスプレイ等の表示部２３、キーボード、マウス等の入力部２４、及びネットワークＮに接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、表示部２３、入力部２４、及びネットワークＩ／Ｆ２５は、バス２６に接続される。
【００２０】
記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の非一時的記録媒体であってよい。記憶部２２には、情報処理プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から情報処理プログラム３０を読み出してからメモリ２１に展開し、展開した情報処理プログラム３０をロードして実行する。
【００２１】
また、記憶部２２には、複数（本実施形態では、２つ）の学習済みモデル３２が記憶される。図３を参照して、学習済みモデル３２について説明する。図３に示すように、本実施形態では、学習済みモデル３２の一例として入力層、複数の中間層、及び出力層を含むニューラルネットワークを適用した形態例を説明する。
【００２２】
本実施形態では、学習済みモデル３２は、被検体が分類されるグループ毎に記憶部２２に記憶される。詳細には、被検体の年齢によって分類される小児のグループに対応する学習済みモデル３２と、成人のグループに対応する学習済みモデル３２とが記憶部２２に記憶される。なお、ここでいう小児とは、予め定められた年齢未満の子供を意味し、成人とは、予め定められた年齢以上の人を意味する。また、小児と成人との境界の年齢は、特に限定されず、例えば、１５歳としてもよいし、１８歳としてもよい。また、被検体を分類するグループの数は２つに限定されず、３つ以上としてもよい。
【００２３】
学習済みモデル３２には、入力データの一例として、ＣＴにより被検体を撮影して得られた医用画像データが入力される。また、学習済みモデル３２からは、出力データの一例として、入力の医用画像データが示す医用画像から抽出された領域を表す情報が出力される。本実施形態では、学習済みモデル３２は、入力の医用画像データが示す医用画像における肺領域を抽出し、抽出した肺領域を予め定められた色（例えば、赤色）で塗りつぶした画像を表す画像データを出力する。図３では、抽出された肺領域を斜線の領域で示している。
【００２４】
なお、本実施形態では、学習済みモデル３２が左右両方の肺領域を抽出する場合について説明するが、これに限定されない。学習済みモデル３２が左右の何れか一方の肺領域を抽出してもよいし、肺以外の領域を抽出してもよいし、複数種類の領域を抽出してもよい。学習済みモデル３２が抽出する領域の例としては、各種臓器領域、骨の領域、血管の領域、及び皮下脂肪の領域等が挙げられる。
【００２５】
学習済みモデル３２は、複数組の医用画像データ及び医用画像データにおける肺領域を表す情報を学習用データ（教師データとも称される）として前述したグループ毎に機械学習を行うことによって予め得られたモデルである。すなわち、小児のグループに対応する学習済みモデル３２は、小児に分類される被検体を撮影して得られた医用画像データ及び医用画像データにおける肺領域を表す情報を学習用データとして用いた機械学習によって予め得られたモデルである。また、成人のグループに対応する学習済みモデル３２は、成人に分類される被検体を撮影して得られた医用画像データ及び医用画像データにおける肺領域を表す情報を学習用データとして用いた機械学習によって予め得られたモデルである。なお、この際の機械学習に用いられる手法の例としては、誤差逆伝播法等が挙げられる。
【００２６】
次に、図４を参照して、本実施形態に係る情報処理装置１４の機能的な構成について説明する。図４に示すように、情報処理装置１４は、抽出部４０、特定部４２、入力部４４、取得部４６、及び出力部４８を含む。ＣＰＵ２０が情報処理プログラム３０を実行することで、抽出部４０、特定部４２、入力部４４、取得部４６、及び出力部４８として機能する。
【００２７】
抽出部４０は、後述する入力部４４により画像管理装置１２から取得された医用画像データが示す医用画像から、被検体の体格を表す情報を抽出する。本実施形態では、抽出部４０は、医用画像に対して画像解析処理を行うことによって、被検体の体格を表す情報として被検体の骨格を抽出する。詳細には、例えば、骨の領域は他の領域に比べてＣＴ画像の信号値が高いため、抽出部４０は、医用画像から信号値が閾値以上の領域を抽出することによって、被検体の骨格を抽出する。この際、抽出部４０は、抽出した骨格における椎骨及び骨盤の特徴を識別し、かつ頭部、胸部、腹部、及び下肢等の部位を識別する。
【００２８】
特定部４２は、抽出部４０により抽出された被検体の体格を表す情報を用いて、被検体が分類されるグループを特定する。本実施形態では、特定部４２は、抽出部４０により抽出された被検体の骨格を用いて、その被検体が分類されるグループが小児であるか、又は成人であるかを特定する。詳細には、例えば、特定部４２は、被検体の骨格について、全身における頭部の割合から、その被検体が分類されるグループが小児であるか、又は成人であるかを特定する。なお、全身における頭部の割合は、幼児から小学生までは１５％〜２５％程度であり、高校生以上では１５％未満となる場合が多い。そこで、例えば、１５％を閾値とすることで、被検体が分類されるグループを特定することができる。
【００２９】
入力部４４は、画像管理装置１２から医用画像データを取得し、取得した医用画像データを、記憶部２２に記憶された学習済みモデル３２のうち、特定部４２により特定されたグループに対応する学習済みモデル３２に入力する。取得部４６は、入力部４４による入力に対応して学習済みモデル３２から出力された医用画像から抽出された領域を表す情報を取得する。
【００３０】
出力部４８は、取得部４６により取得された医用画像から抽出された領域を表す情報を表示部２３に出力する。この出力により、表示部２３には、例えば、肺領域が予め定められた色で塗りつぶされた画像が表示される。ユーザは、表示部２３に表示された画像を用いて、被検体の診断を行う。なお、出力部４８は、取得部４６により取得された医用画像から抽出された領域を表す情報を記憶部２２に出力（記憶）してもよいし、画像管理装置１２に出力（送信）してもよい。
【００３１】
次に、図５を参照して、本実施形態に係る情報処理装置１４の作用を説明する。ＣＰＵ２０が情報処理プログラム３０を実行することによって、図５に示す診断支援処理が実行される。図５に示す診断支援処理は、例えば、ユーザにより入力部２４を介して、診断支援処理の実行指示が入力された場合に実行される。
【００３２】
図５のステップＳ１０で、入力部４４は、画像管理装置１２から医用画像データを取得する。ステップＳ１２で、抽出部４０は、前述したように、ステップＳ１０の処理により取得された医用画像データが示す医用画像から、被検体の体格を表す情報を抽出する。ステップＳ１４で、特定部４２は、前述したように、ステップＳ１２の処理により抽出された被検体の体格を表す情報を用いて、被検体が分類されるグループを特定する。
【００３３】
ステップＳ１６で、入力部４４は、ステップＳ１０で取得した医用画像データを、記憶部２２に記憶された学習済みモデル３２のうち、ステップＳ１４の処理により特定されたグループに対応する学習済みモデル３２に入力する。ステップＳ１８で、取得部４６は、ステップＳ１６の処理による入力に対応して学習済みモデル３２から出力された医用画像から抽出された領域を表す情報を取得する。
【００３４】
ステップＳ２０で、出力部４８は、前述したように、ステップＳ１８の処理により取得された医用画像から抽出された領域を表す情報を表示部２３に出力する。ステップＳ２０の処理が終了すると、診断支援処理が終了する。
【００３５】
以上説明したように、本実施形態によれば、被検体の体格を表す情報を用いて被検体が分類されるグループを特定し、特定したグループに対応する学習済みモデル３２に対して被検体を撮影して得られた医用画像を表す画像データを入力する。そして、学習済みモデル３２から出力された医用画像から抽出された領域を表す情報を取得する。
【００３６】
被検体を撮影して得られた医用画像は、小児であるか、又は成人であるかによって、撮影時の放射線量、臓器の大きさ、及び脂肪の量等が異なる。詳細には、小児の方が成人よりも撮影時の放射線量が少ない、臓器が小さい、及び脂肪が小さい等の特徴がある。従って、本実施形態のように、小児に対応する学習済みモデル３２と成人に対応する学習済みモデル３２とを使い分けることによって、医用画像から対象とする領域を精度良く抽出することができる。
【００３７】
また、本実施形態によれば、被検体を撮影して得られた医用画像から被検体の体格を表す情報を抽出し、抽出した情報を用いて被検体が分類されるグループを特定している。従って、被検体の体格を抽出するための専用の画像が不要となり、またユーザがグループを設定することなくグループを特定することができる結果、被検体が分類されるグループを効率的に特定することができる。
【００３８】
なお、上記実施形態では、被検体の体格を表す情報として、被検体の骨格を適用した場合について説明したが、これに限定されない。例えば、被検体の体格を表す情報として、被検体の体表を適用する形態としてもよい。この場合、特定部４２が、抽出された被検体の体表から被検体の腹囲長及び肩幅等を導出し、導出した被検体の腹囲長及び肩幅等の体格から、被検体が分類されるグループを特定する形態が例示される。この場合、例えば、性別の特定のための閾値としてメタボリックシンドロームの判定基準を適用することができる。
【００３９】
また、上記実施形態では、被検体が分類されるグループとして、被検体の年齢によって被検体が分類されるグループ（上記実施形態では、小児及び成人）を適用した場合について説明したが、これに限定されない。例えば、被検体が分類されるグループとして、被検体の性別によって分類されるグループを適用する形態としてもよいし、被検体の人種によって分類されるグループを適用する形態としてもよい。また、例えば、被検体が分類されるグループとして、人、犬、及び猫等の被検体の種族によって分類されるグループを適用する形態としてもよい。また、以上の例の複数の組み合わせによって被検体を分類してもよい。この場合、被検体を「小児・男性」、「小児・女性」、「成人・男性」、及び「成人・女性」のように、被検体の年齢及び性別の組み合わせによって分類されるグループに分類する形態が例示される。
【００４０】
例えば、骨盤の中央の孔の形状は、男性では三角形に近く、女性では円形に近い。従って、骨盤の中央の孔の形状から被検体の性別を特定することができる。また、骨の総数、尾の骨の有無、及び歯の数等から、被検体が人であるか、又は人以外であるかを特定することができる。
【００４１】
また、上記実施形態では、医用画像から被検体の体格を表す情報を抽出する場合について説明したが、これに限定されない。例えば、医用以外の撮影装置により撮影された画像から被検体の体格を表す情報を抽出する形態としてもよい。この場合、デジタルカメラにより被検体を撮影して得られた画像に対して画像解析処理を行うことによって、画像から被検体の体表を抽出する形態が例示される。
【００４２】
また、上記実施形態において、全グループ共通の汎用の学習済みモデル３２を予め用意しておき、医用画像から被検体が分類されるグループを特定できなかった場合に、汎用の学習済みモデル３２を用いる形態としてもよい。
【００４３】
また、上記実施形態において、例えば、抽出部４０、特定部４２、入力部４４、取得部４６、及び出力部４８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【００４４】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【００４５】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【００４６】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より詳細には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
【００４７】
また、上記実施形態では、情報処理プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラム３０は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【００４８】
本願は２０１８年１０月２９日出願の日本出願第２０１８−２０２９４９号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
【図１】
0006968298.tif 000002
【図２】
0006968298.tif 000003
【図３】
0006968298.tif 000004
【図４】
0006968298.tif 000005
【図５】
0006968298.tif 000006