(57)【要約】【課題】画像分類装置、方法およびプログラムにおいて、３次元画像を複数のクラスに分類するに際し、少ない演算量にて３次元画像を複数のクラスに精度よく分類できるようにする。【解決手段】抽出部２２が、３次元画像Ｖ０から対象物を抽出し、特徴点検出部２３が、抽出部２２が３次元画像Ｖ０に含まれる少なくとも１つの特徴点を検出する。基準軸設定部２４が、特徴量に基づいて３次元画像Ｖ０に基準軸Ｂ０を設定し、２次元画像生成部２５が、基準軸Ｂ０を基準として、３次元画像Ｖ０に含まれる対象物を特定の投影方向に投影することにより２次元画像Ｇ０を生成する。分類部２６が、２次元画像Ｇ０に基づいて、対象物の各画素を複数のクラスに分類する。【選択図】図２
2018139693.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像を複数のクラスに分類する画像分類装置であって、
前記３次元画像に含まれる少なくとも１つの特徴点を検出する特徴点検出手段と、
前記少なくとも１つの特徴点に基づいて前記３次元画像に基準軸を設定する基準軸設定手段と、
前記基準軸を基準として、前記３次元画像に含まれる対象物を特定の投影方向に投影することにより２次元画像を生成する２次元画像生成手段と、
前記２次元画像に基づいて、前記対象物の各画素を前記複数のクラスに分類する分類手段とを備えたことを特徴とする画像分類装置。
【請求項２】
前記３次元画像から前記対象物を抽出する抽出手段をさらに備えた請求項１記載の画像分類装置。
【請求項３】
前記分類手段は、前記対象物を複数のクラスに分類するために、前記２次元画像についての教師データを用いて学習がなされたニューラルネットワークである請求項１または２記載の画像分類装置。
【請求項４】
前記ニューラルネットワークは複数の処理層が階層的に接続されてなる請求項３記載の画像分類装置。
【請求項５】
前記ニューラルネットワークは、前記対象物の全体についての前記２次元画像を教師データとして学習がなされ、
前記２次元画像生成手段は、前記対象物の全体についての前記２次元画像を生成する請求項３または４記載の画像分類装置。
【請求項６】
前記ニューラルネットワークは、前記対象物の局所領域毎に前記２次元画像を教師データとして学習がなされ、
前記２次元画像生成手段は、前記対象物の局所領域毎に前記２次元画像を生成する請求項３または４記載の画像分類装置。
【請求項７】
前記２次元画像はスピンイメージである請求項１から６のいずれか１項記載の画像分類装置。
【請求項８】
前記対象物が心臓の血管である場合において、前記特徴点検出手段は、大動脈弁、僧帽弁および心尖部の少なくとも１つを前記特徴点として検出し、
前記分類手段は、前記心臓の血管を冠動脈および冠静脈に分類する請求項１から７のいずれか１項記載の画像分類装置。
【請求項９】
前記対象物が人体の大動脈からの分岐血管である場合において、前記特徴点検出手段は、大動脈弓、腹部大動脈から腸骨動脈への分岐位置、および背骨の少なくとも１つを前記特徴点として検出し、
前記分類手段は、前記動脈を、頸動脈、鎖骨下動脈、腹腔動脈、腎動脈、腸間膜動脈および腸骨動脈の少なくとも１つに分類する請求項１から７のいずれか１項記載の画像分類装置。
【請求項１０】
前記２次元画像生成手段は、前記対象物を連続させた木構造を生成し、該生成された木構造を前記特定の投影方向に投影することにより前記２次元画像を生成する請求項１から９のいずれか１項記載の画像分類装置。
【請求項１１】
３次元画像を複数のクラスに分類するための教師データを用いてニューラルネットワークの学習を行う学習装置であって、
前記教師データとなる前記３次元画像に含まれる少なくとも１つの特徴点を検出する特徴点検出手段と、
前記少なくとも１つの特徴点に基づいて前記教師データとなる３次元画像に基準軸を設定する基準軸設定手段と、
前記基準軸を基準として、前記教師データとなる３次元画像に含まれる対象物を特定の投影方向に投影することにより前記教師データとなる２次元画像を生成する２次元画像生成手段と、
前記教師データとなる２次元画像を入力とし、前記分類結果を出力とするよう前記ニューラルネットワークを学習する学習手段とを備えたことを特徴とする学習装置。
【請求項１２】
前記ニューラルネットワークは複数の処理層が階層的に接続されてなる請求項１１記載の学習装置。
【請求項１３】
３次元画像を複数のクラスに分類する画像分類方法であって、
前記３次元画像に含まれる少なくとも１つの特徴点を検出し、
前記少なくとも１つの特徴点に基づいて前記３次元画像に基準軸を設定し、
前記基準軸を基準として、前記３次元画像に含まれる対象物を特定の投影方向に投影することにより２次元画像を生成し、
前記２次元画像に基づいて、前記対象物の各画素を前記複数のクラスに分類することを特徴とする画像分類方法。
【請求項１４】
３次元画像を複数のクラスに分類するための教師データを用いてニューラルネットワークの学習を行う学習方法であって、
前記教師データとなる前記３次元画像に含まれる少なくとも１つの特徴点を検出し、
前記少なくとも１つの特徴点に基づいて前記教師データとなる３次元画像に基準軸を設定し、
前記基準軸を基準として、前記教師データとなる３次元画像に含まれる対象物を特定の投影方向に投影することにより前記教師データとなる２次元画像を生成し、
前記教師データとなる２次元画像を入力とし、前記分類結果を出力とするよう前記ニューラルネットワークを学習することを特徴とする学習方法。
【請求項１５】
３次元画像を複数のクラスに分類する画像分類方法をコンピュータに実行させるための画像分類プログラムであって、
前記３次元画像に含まれる少なくとも１つの特徴点を検出する手順と、
前記少なくとも１つの特徴点に基づいて前記３次元画像に基準軸を設定する手順と、
前記基準軸を基準として、前記３次元画像に含まれる対象物を特定の投影方向に投影することにより２次元画像を生成する手順と、
前記２次元画像に基づいて、前記対象物の各画素を前記複数のクラスに分類する手順とをコンピュータに実行させることを特徴とする画像分類プログラム。
【請求項１６】
３次元画像を複数のクラスに分類するための教師データを用いてニューラルネットワークの学習を行う学習方法をコンピュータに実行させるための学習プログラムであって、
前記教師データとなる前記３次元画像に含まれる少なくとも１つの特徴点を検出する手順と、
前記少なくとも１つの特徴点に基づいて前記教師データとなる３次元画像に基準軸を設定する手順と、
前記基準軸を基準として、前記教師データとなる３次元画像に含まれる対象物を特定の投影方向に投影することにより前記教師データとなる２次元画像を生成する手順と、
前記教師データとなる２次元画像を入力とし、前記分類結果を出力とするよう前記ニューラルネットワークを学習する手順とをコンピュータに実行させることを特徴とする学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像を複数のクラスに分類する画像分類装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、医療機器（例えば多検出器型ＣＴ（Computed Tomography）等）の進歩により質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。ここで、３次元画像は多数の２次元画像から構成され情報量が多いため、医師が所望の観察部位を見つけ診断することに時間を要する場合がある。そこで、注目する臓器を認識し、注目する臓器を含む３次元画像から、例えば最大値投影法（ＭＩＰ（Maximum Intensity Projection）法）および最小値投影法（ＭｉｎＩＰ（Minimum Intensity Projection）法）等の方法を用いて、注目する臓器を抽出してＭＩＰ表示等を行ったり、３次元画像のボリュームレンダリング（ＶＲ（Volume Rendering））表示を行ったりすることにより、臓器全体や病変の視認性を高め、診断の効率化を図ることが行われている。
【０００３】
一方、３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。特に、２次元の画像を複数クラスに分類するための多層ニューラルネットワークとして、いわゆる畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が提案されている。
【０００４】
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
【０００５】
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像を複数のクラスに分類することが考えられる。例えば、３次元画像において注目する構造物を検出するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、注目する構造物とそうでない構造物という複数のクラスに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、注目する構造物とそうでない構造物とに精度よくクラス分けすることが可能となる。
【０００６】
一方、３次元画像の特徴量として、スピンイメージ(Spin Image）特徴量が知られている。スピンイメージとは、３次元画像上のある注目点における法線に垂直な面を設定し、法線方向と法線に直交する方向に関して、法線を軸とする円柱面に周辺の点座標を投票し、これを２次元的に表現したデータからなる画像である。このようなスピンイメージを用いて、３次元画像から対象とする物体を抽出する手法が提案されている。例えば特許文献１，２には、スピンイメージを抽出して辞書として保持しておき、対象物のスピンイメージを用いて認識を行うことにより、対象物を抽出する手法が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−１０９６３０号公報
【特許文献２】特開２０１４−２０２５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した３次元画像は２次元画像と比較して画素数が多いため、ディープラーニングの手法を用いて、学習を行ったりクラス分類を行ったりする際に、演算量が多大なものとなる。また、演算時に非常に多くのメモリを消費する。さらに、画素数が多くなると、ニューラルネットワークに入力される画像が取りうるパターンが非常に多くなる。このため、ディープラーニングにより３次元画像をクラス分けするニューラルネットワークを構築するためには、学習のために莫大な量のデータが必要となる。
【０００９】
このため、上述したスピンイメージを用いることにより、入力される画像の次元を３次元から２次元に変更することにより、ディープラーニングに使用する画像のデータ量を低減することが考えられる。しかしながら、スピンイメージは、３次元画像上の注目点における法線の方向によって、取得される特徴量が異なるものとなる。このため、スピンイメージは特徴量としての信頼性が低く、その結果、ディープラーニングに適用しても精度よくクラス分類を行うことができなくなるおそれがある。
【００１０】
本発明は上記事情に鑑みなされたものであり、３次元画像を複数のクラスに分類するに際し、少ない演算量にて３次元画像を複数のクラスに精度よく分類できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明による画像分類装置は、３次元画像を複数のクラスに分類する画像分類装置であって、
３次元画像に含まれる少なくとも１つの特徴点を検出する特徴点検出手段と、
少なくとも１つの特徴点に基づいて３次元画像に基準軸を設定する基準軸設定手段と、
基準軸を基準として、３次元画像に含まれる対象物を特定の投影方向に投影することにより２次元画像を生成する２次元画像生成手段と、
２次元画像に基づいて、対象物の各画素を複数のクラスに分類する分類手段とを備えたことを特徴とするものである。
【００１２】
「３次元画像を複数のクラスに分類する」とは、３次元画像を構成する各画素を、３次元画像に含まれる構造物のいずれかに属するものに分類すること、または３次元画像を構成する各画素を、３次元画像に含まれる特定の構造物とそれ以外の構造物とに属するものに分類することを意味する。例えば、前者の場合、心臓の血管の３次元画像を、冠動脈および冠静脈のいずれかに分類するものとなる。後者の場合、３次元画像を構成する各画素を、例えば血管と血管でないものとに分類するものとなる。
【００１３】
なお、本発明による画像分類装置においては、３次元画像から対象物を抽出する抽出手段をさらに備えるものとしてもよい。
【００１４】
また、本発明による画像分類装置においては、分類手段は、対象物を複数のクラスに分類するために、２次元画像についての教師データを用いて学習がなされたニューラルネットワークであってもよい。
【００１５】
また、本発明による画像分類装置においては、ニューラルネットワークは複数の処理層が階層的に接続されてなるものであってもよい。
【００１６】
また、本発明による画像分類装置においては、ニューラルネットワークは、対象物の全体についての２次元画像を教師データとして学習がなされるものであり、
２次元画像生成手段は、対象物の全体についての２次元画像を生成するものであってもよい。
【００１７】
また、本発明による画像分類装置においては、ニューラルネットワークは、対象物の局所領域毎に２次元画像を教師データとして学習がなされるものであり、
２次元画像生成手段は、対象物の局所領域毎に２次元画像を生成するものであってもよい。
【００１８】
また、本発明による画像分類装置においては、２次元画像はスピンイメージであってもよい。
【００１９】
また、本発明による画像分類装置においては、対象物が心臓の血管である場合において、特徴点検出手段は、大動脈弁、僧帽弁および心尖部の少なくとも１つを特徴点として検出し、
分類手段は、心臓の血管を冠動脈および冠静脈に分類するものであってもよい。
【００２０】
また、本発明による画像分類装置においては、対象物が人体の大動脈からの分岐血管である場合において、特徴点検出手段は、大動脈弓、腹部大動脈から腸骨動脈への分岐位置、および背骨の少なくとも１つを特徴点として検出し、
分類手段は、動脈を、頸動脈、鎖骨下動脈、腹腔動脈、腎動脈、腸間膜動脈および腸骨動脈の少なくとも１つに分類するものであってもよい。
【００２１】
また、本発明による画像分類装置においては、２次元画像生成手段は、対象物を連続させた木構造を生成し、生成された木構造を特定の投影方向に投影することにより２次元画像を生成するものであってもよい。
【００２２】
本発明による学習装置は、３次元画像を複数のクラスに分類するための教師データを用いてニューラルネットワークの学習を行う学習装置であって、
教師データとなる３次元画像に含まれる少なくとも１つの特徴点を検出する特徴点検出手段と、
少なくとも１つの特徴点に基づいて教師データとなる３次元画像に基準軸を設定する基準軸設定手段と、
基準軸を基準として、教師データとなる３次元画像に含まれる対象物を特定の投影方向に投影することにより教師データとなる２次元画像を生成する２次元画像生成手段と、
教師データとなる２次元画像を入力とし、分類結果を出力とするようニューラルネットワークを学習する学習手段とを備えたことを特徴とするものである。
【００２３】
なお、本発明による学習装置においては、ニューラルネットワークは複数の処理層が階層的に接続されてなるものであってもよい。
【００２４】
本発明による画像分類方法は、３次元画像を複数のクラスに分類する画像分類方法であって、
３次元画像に含まれる少なくとも１つの特徴点を検出し、
少なくとも１つの特徴点に基づいて３次元画像に基準軸を設定し、
基準軸を基準として、３次元画像に含まれる対象物を特定の投影方向に投影することにより２次元画像を生成し、
２次元画像に基づいて、対象物の各画素を複数のクラスに分類することを特徴とするものである。
【００２５】
本発明による学習方法は、３次元画像を複数のクラスに分類するための教師データを用いてニューラルネットワークの学習を行う学習方法であって、
教師データとなる３次元画像に含まれる少なくとも１つの特徴点を検出し、
少なくとも１つの特徴点に基づいて教師データとなる３次元画像に基準軸を設定し、
基準軸を基準として、教師データとなる３次元画像に含まれる対象物を特定の投影方向に投影することにより教師データとなる２次元画像を生成し、
教師データとなる２次元画像を入力とし、分類結果を出力とするようニューラルネットワークを学習することを特徴とするものである。
【００２６】
なお、本発明による画像分類方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２７】
また、本発明による学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２８】
本発明による他の画像分類装置は、３次元画像を複数のクラスに分類する画像分類装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサであって、
３次元画像に含まれる少なくとも１つの特徴点を検出する特徴点検出処理、
少なくとも１つの特徴点に基づいて３次元画像に基準軸を設定する基準軸設定処理、
基準軸を基準として、３次元画像に含まれる対象物を特定の投影方向に投影することにより２次元画像を生成する２次元画像生成処理、および
２次元画像に基づいて、対象物の各画素を複数のクラスに分類する分類処理を実行するプロセッサとを備えたことを特徴とするものである。
【００２９】
本発明による他の学習装置は、３次元画像を複数のクラスに分類するための教師データを用いてニューラルネットワークの学習を行う学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサであって、
教師データとなる３次元画像に含まれる少なくとも１つの特徴点を検出する特徴点検出処理、
少なくとも１つの特徴点に基づいて教師データとなる３次元画像に基準軸を設定する基準軸設定処理、
基準軸を基準として、教師データとなる３次元画像に含まれる対象物を特定の投影方向に投影することにより教師データとなる２次元画像を生成する２次元画像生成処理、および
教師データとなる２次元画像を入力とし、分類結果を出力とするようニューラルネットワークを学習する学習処理を実行するプロセッサとを備えたことを特徴とするものである。
【発明の効果】
【００３０】
本発明によれば、３次元画像に含まれる少なくとも１つの特徴点が検出され、少なくとも１つの特徴点に基づいて３次元画像に基準軸が設定される。そして、基準軸を基準として、３次元画像に含まれる対象物を特定の投影方向に投影することにより２次元画像が生成され、２次元画像に基づいて、対象物の各画素が複数のクラスに分類される。このように、本発明によれば、３次元画像から生成された２次元画像に基づいて分類を行っているため、３次元画像に基づいて分類を行う場合と比較して、使用される画像のデータ量を低減することができる。また、特徴点に基づいて設定された基準軸を基準として３次元画像に含まれる対象物を投影して２次元画像を生成しているため、３次元画像の被写体が異なることに起因する２次元画像における特徴量の変動を小さくすることができる。したがって、本発明によれば、少ない演算量にて３次元画像を複数のクラスに精度よく分類することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態による画像分類装置および学習装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】コンピュータに画像分類プログラムおよび学習プログラムをインストールすることにより実現される画像分類装置の概略構成を示す図
【図３】基準軸の設定を説明するための図
【図４】スピンイメージの生成を説明するための図
【図５】スピンイメージの生成を説明するための図
【図６】スピンイメージの生成を説明するための図
【図７】畳み込みニューラルネットワークの構成を概念的に示す図
【図８】心臓の血管を示す図
【図９】教師データの例を示す図
【図１０】本実施形態において行われる画像分類処理を示すフローチャート
【図１１】本実施形態において行われる学習処理を示すフローチャート
【図１２】局所的な領域におけるスピンイメージの生成を説明するための図
【図１３】人体の動脈を示す図
【発明を実施するための形態】
【００３２】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による画像分類装置および学習装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による画像分類装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。なお、本実施形態による学習装置は、画像分類装置１に内包されている。
【００３３】
３次元画像撮影装置２は、被検体の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ(Positron Emission Tomography )装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。
【００３４】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。
【００３５】
画像分類装置１は、１台のコンピュータに、本発明の画像分類プログラムおよび学習プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像分類プログラムおよび学習プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３６】
図２は、コンピュータに画像分類プログラムおよび学習プログラムをインストールすることにより実現される、学習装置を内包する画像分類装置の概略構成を示す図である。図２に示すように、画像分類装置１は、標準的なワークステーションの構成として、プロセッサであるＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、画像分類装置１には、ディスプレイ１４と、マウス等の入力部１５とが接続されている。
【００３７】
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０、後述するように画像分類装置１での処理に必要な情報を含む各種情報が記憶されている。
【００３８】
また、メモリ１２には、画像分類プログラムおよび学習プログラムが記憶されている。また、メモリ１２は、画像分類プログラムおよび学習プログラムが処理を行う際の作業領域にもなる。画像分類プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像撮影装置２が取得した３次元画像Ｖ０を取得する画像取得処理、３次元画像Ｖ０から対象物を抽出する抽出処理、３次元画像Ｖ０に含まれる少なくとも１つの特徴点を検出する特徴点検出処理、少なくとも１つの特徴点に基づいて３次元画像Ｖ０に基準軸を設定する基準軸設定処理、基準軸を基準として、３次元画像Ｖ０に含まれる対象物を特定の投影方向に投影することにより２次元画像を生成する２次元画像生成処理、および２次元画像に基づいて、対象物の各画素を複数のクラスに分類する分類処理を規定する。一方、学習プログラムは、画像分類プログラムと同様の抽出処理、特徴点検出処理、基準軸設定処理および２次元画像生成処理に加えて、教師データとなる２次元画像を入力とし、分類結果を出力とするよう後述するニューラルネットワークを学習する学習処理を規定する。
【００３９】
なお、本実施形態の画像分類装置１は、心臓が含まれる３次元画像Ｖ０において、心臓の血管を抽出し、抽出した血管を動脈および静脈、すなわち冠動脈および冠静脈の２つのクラスに分類するものとする。
【００４０】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、抽出部２２、特徴点検出部２３、基準軸設定部２４、２次元画像生成部２５、分類部２６および学習部２７として機能する。なお、本実施形態においては、分類部２６は、複数の処理層が階層的に接続され、深層学習がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であるものとする。また、画像分類装置１は、画像取得処理、抽出処理、特徴点検出処理、基準軸設定処理、２次元画像生成処理、分類処理および学習処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。
【００４１】
画像取得部２１は、画像保管サーバ３から３次元画像Ｖ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。なお、本実施形態においては、３次元画像Ｖ０はＣＴ画像であるものとする。
【００４２】
抽出部２２は、３次元画像Ｖ０からまず心臓を抽出する。具体的には、３次元画像Ｖ０における心臓が存在する信号値（ＣＴ値）の範囲を推定し、その値を用いてしきい値処理を行うことにより心臓を抽出する。さらに抽出部２２は、心臓から血管を対象物として抽出する。血管を抽出する手法としては、例えば特開２０１０−２２０７４２号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報および主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法、または特開２０１１−２１２３１４号公報に記載された、自動で血管を区別して抽出する手法等を用いることができる。
【００４３】
特徴点検出部２３は、３次元画像Ｖ０に含まれる少なくとも１つの特徴点を検出する。本実施形態においては、抽出部２２が３次元画像Ｖ０から抽出した心臓から、心臓の大動脈弁、僧帽弁および心尖部の３つの特徴点を検出する。詳細には、大動脈弁における血液の出入口、僧帽弁における血液の出入口および心尖部の最も突出している部分をそれぞれ特徴点として検出する。なお、抽出部２２が心臓を抽出しないものである場合、特徴点検出部２３が３次元画像Ｖ０から心臓を抽出し、特徴点を抽出する。なお、特徴点の検出は、大動脈弁における血液の出入口、僧帽弁における血液の出入口および心尖部の最も突出している部分のそれぞれについて学習を行うことにより生成された検出器を用いて行う。なお、特徴点の検出を、大動脈弁、僧帽弁および心尖部についてのテンプレートを用意しておき、これらのテンプレートを用いたテンプレートマッチングにより行ってもよい。
【００４４】
基準軸設定部２４は、特徴点検出部２３が検出した大動脈弁、僧帽弁および心尖部に基づいて、３次元画像Ｖ０に基準軸を設定する。図３は基準軸の設定を説明するための図である。図３には心臓における大動脈弁Ｐ１、僧帽弁Ｐ２および心尖部Ｐ３が示されている。基準軸設定部２４は、大動脈弁Ｐ１と心尖部Ｐ３とを通る軸を基準軸Ｂ０に設定する。また、基準軸Ｂ０の周りの角度として、僧帽弁Ｐ２が存在する矢印Ａで示す方向を角度の基準（すなわち０度）とする。このように基準軸Ｂ０を設定することにより心臓の姿勢を規格化することができる。さらに僧帽弁Ｐ２を角度の基準位置とすることにより、心臓における左右方向の姿勢も規格化することができる。
【００４５】
２次元画像生成部２５は、基準軸Ｂ０を基準として、３次元画像Ｖ０に含まれる対象物、すなわち心臓の血管を特定の投影方向に投影することにより、２次元画像Ｇ０を生成する。本実施形態においては、スピンイメージを２次元画像として生成する。以下、スピンイメージについて説明する。
【００４６】
図４〜図６はスピンイメージの生成を説明するための図である。スピンイメージは、画像上のある注目点における法線βに垂直な面Ｍ０を設定し、その面Ｍ０におけるデータを法線βが存在する方向に投影することにより生成される。例えば、図５に示すように面Ｍ０にデータが存在する場合、面Ｍ０のデータを法線βのある矢印Ｂ方向に投影すると、法線方向に延在する一列の画素列からなる投影データＥ１が得られる。なお、本実施形態における「投影」とは、法線βに垂直な方向における画素列に存在するデータの数を投票することを意味する。このため、図５に示すように、法線βに垂直な方向における画素列に存在するデータの数が投影データＥ１の画素値となる。例えば、法線βに垂直な方向における画素列にデータが３つ存在すれば、投影データＥ１の画素値は３となり、法線βに垂直な方向における画素列にデータが１つも存在しない場合には、投影データＥ１の画素値は０となる。
【００４７】
なお、血管の候補点を候補点同士の近さ等を基準として接続して木構造を生成し、候補点同士を接続する線分を投影して、スピンイメージを生成するようにしてもい。これによって、候補点が粗な場合に，血管と見なされる経路が途切れて見えることを防止し、血管の経路がより連続的に投影されたスピンイメージを生成することができる。
【００４８】
そして、法線βに垂直な面を法線の周りに一周させ、図６に示すように、縦軸が法線β、横軸が法線周りの角度αであり、各画素が各面における投影されたデータを表すスピンイメージを生成する。スピンイメージが２次元画像Ｇ０となる。なお、スピンイメージにおいては、縦軸の一列の画素が、その列に対応する法線周りの角度における、法線βに垂直な面のデータの投影結果となる。
【００４９】
本実施形態においては、法線βに代えて、基準軸設定部２４が設定した基準軸Ｂ０を使用し、基準軸Ｂ０に垂直な面を上述した０度を基準として基準軸Ｂ０の周りに一周させつつ、各垂直な面における、抽出部２２が抽出した心臓の血管のデータを基準軸Ｂ０に向けて投影することにより、スピンイメージである２次元画像Ｇ０を生成する。なお、本実施形態においては、抽出部２２が抽出した心臓の血管の全体についての１つの２次元画像Ｇ０を生成する。また、２次元画像Ｇ０はあらかじめ定められたサイズに正規化される。
【００５０】
分類部２６は、２次元画像Ｇ０に基づいて、心臓の血管を冠動脈および冠静脈の２つのクラスに分類する分類処理を行い、分類結果を出力する。分類部２６は上述したように畳み込みニューラルネットワークである。畳み込みニューラルネットワークでは、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、畳み込み層において各種カーネルを用いて畳み込み演算処理を行い、これにより得られる特徴量のデータを取得し、特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
【００５１】
例えば、２次元画像を複数のクラスに分類する畳み込みニューラルネットワークにおいては、入力される画像に対して、畳み込み層において各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを取得し、取得された特徴量マップに対して、次段以降の処理層においてさらなる演算を行って、入力された画像における処理対象となる画素をクラス分類することができる。
【００５２】
図７は畳み込みニューラルネットワークの一例を示す図である。図７に示すように、畳み込みニューラルネットワーク（以下、ＣＮＮとする）３０は、畳み込み層３１、プーリング層３２、および全結合層３３を含む複数の処理層が階層的に接続されて構成されている。
【００５３】
畳み込み層３１は、あらかじめ定められたカーネルを用いて、２次元画像Ｇ０に対して畳み込み処理を行う。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、２次元画像Ｇ０のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層３１は、カーネルの注目画素をずらしながら、２次元画像Ｇ０の全体にカーネルを適用する。さらに、畳み込み層３１は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴量マップＦ０を出力する。
【００５４】
プーリング層３２は、畳み込み層３１が出力した特徴量マップＦ０をプーリングすることにより、特徴量マップＦ０のデータ量を低減して、特徴量マップＦ１を生成する。
【００５５】
全結合層３３は、一般的な多層ニューラルネットワークと同様の構造をなしており、複数の処理層間のユニットがすべて繋がっている層である。なお、図７においてユニットは丸形状で示されている。また、ユニット間の結合は入力側から出力側に向かう矢印により示されている。全結合層３３には、特徴量マップＦ１が入力され、２次元画像Ｇ０の各画素における画素が冠動脈および冠静脈のいずれであるかのクラス分類結果を出力する。
【００５６】
ここで、全結合層３３におけるある１つの処理層のユニットに対する前段の処理層の複数のユニットからの入力をｘｊ、出力をｙｉ、ユニット間の結合の重みをｗｉｊ、バイアスをｂｉとすると、出力ｙｉは下記の式（１）により表される。なお、式（１）におけるｆは、シグモイド関数等の活性化関数である。式（１）における重みｗｉｊおよびバイアスｂｉが後述する学習により算出される。
【００５７】
【数１】
2018139693.tif 000003
全結合層３３の最終階層である出力層は２つあり、１つは２次元画像Ｇ０上の各画素が冠動脈であるか否かを表すクラス分類結果を出力する。例えば、冠動脈である場合には１、冠動脈でない場合には０を出力する。もう１つは２次元画像Ｇ０上の各画素が冠静脈であるか否かを表すクラス分類結果を出力する。例えば、冠静脈である場合には１、冠静脈でない場合には０を出力する。これにより、分類部２６によって、２次元画像Ｇ０上の各画素を冠動脈および冠静脈の２つのクラスに分類することができる。そして、２次元画像Ｇ０を用いた分類結果を、スピンイメージを生成した場合とは逆に３次元画像Ｖ０に反映させることにより、３次元画像Ｖ０に含まれる心臓の血管を冠動脈および冠静脈に分類することができる。
【００５８】
学習部２７は、ＣＮＮ３０の学習を行う。以下、ＣＮＮ３０の学習について説明する。ＣＮＮ３０の学習は周知の誤差逆伝搬法を用いる。ＣＮＮ３０の学習のために、多数の教師データを用意する。なお、教師データは冠動脈および冠静脈のそれぞれについて用意される。冠動脈の教師データは、２次元画像Ｇ０と同一サイズを有し、心臓における冠動脈のみから生成された、スピンイメージである。冠静脈の教師データは、２次元画像Ｇ０と同一サイズを有し、心臓における冠静脈のみから生成された、スピンイメージである。
【００５９】
なお、本実施形態においては、操作者が３次元画像Ｖ０における心臓から冠動脈および冠静脈をマニュアル操作により抽出し、特徴点検出部２３が、心臓の大動脈弁、僧帽弁および心尖部の３つの特徴点を検出し、基準軸設定部２４が、心臓の大動脈弁と心尖部とを結ぶ軸を基準軸Ｂ０に設定し、２次元画像生成部２５が、基準軸Ｂ０に基づく冠動脈および冠静脈のそれぞれのスピンイメージを２つのクラスの教師データとして生成する。
【００６０】
図８は心臓の血管を示す図、図９は教師データの例を示す図である。なお、図８においては、大動脈弁と心尖部とを結ぶ基準軸Ｂ０が上下方向となるように、姿勢が正規化されている。図８に示すように、心臓の姿勢が大動脈弁と心尖部とを結ぶ基準軸Ｂ０が上下方向となるように正規化された場合、冠動脈４０は心臓における上下方向に延在し、冠静脈４１は心臓における左右方向に延在するようになる。このため、図９に示すように冠動脈についての教師データＴ１は２次元画像における縦方向にデータが連続する。一方、冠静脈についての教師データＴ２は２次元画像における横方向にデータが連続する。
【００６１】
このように、スピンイメージにおいては、冠動脈および冠静脈が延在する方向が異なることとなる。このため、ＣＮＮ３０を教師データを用いて学習させることにより、心臓の血管を冠動脈および冠静脈に分類することができる。
【００６２】
学習部２７は、ＣＮＮ３０に教師データを入力して、クラス分類結果を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、全結合層３３に含まれるユニットの各階層間における結合の重みおよびバイアスを修正する。結合の重みおよびバイアスの修正を、多数の教師データを用いて、あらかじめ定められた回数、または出力されるクラス分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
【００６３】
次いで、本実施形態において行われる処理について説明する。図１０は本実施形態において行われる画像分類処理を示すフローチャートである。まず、画像取得部２１が３次元画像Ｖ０を取得し（ステップＳＴ１）、抽出部２２が、３次元画像Ｖ０から心臓および対象物である心臓の血管を抽出する（ステップＳＴ２）。そして、特徴点検出部２３が、抽出部２２が３次元画像Ｖ０から抽出した心臓から、心臓の大動脈弁、僧帽弁および心尖部を特徴点として検出する（ステップＳＴ３）。次いで、基準軸設定部２４が、特徴点検出部２３が検出した大動脈弁、僧帽弁および心尖部に基づいて、３次元画像Ｖ０に基準軸Ｂ０を設定する（ステップＳＴ４）。次いで、２次元画像生成部２５が、基準軸Ｂ０を基準として、３次元画像Ｖ０に含まれる対象物、すなわち血管についてのスピンイメージを２次元画像Ｇ０として生成する（ステップＳＴ５）。そして、分類部２６が、２次元画像Ｇ０の入力を受け付け（ステップＳＴ６）、血管の冠動脈および冠静脈へのクラス分類結果を出力し（ステップＳＴ７）、処理を終了する。
【００６４】
なお、クラス分類結果に基づいて、３次元画像Ｖ０から抽出した血管から冠静脈を削除し、冠動脈の候補点を接続して冠動脈の木構造を生成して表示する等の処理を行うことが可能である。
【００６５】
図１１は本実施形態において行われる学習処理を示すフローチャートである。なお、抽出部２２は、教師データとするための３次元画像Ｖ０から心臓を抽出しているものとする。まず、画像取得部２１が３次元画像Ｖ０を取得し（ステップＳＴ１１）、抽出部２２が、３次元画像Ｖ０から心臓を抽出し、さらに教師データとなる対象物である、心臓の冠動脈および冠静脈の抽出の指示を受け付ける（ステップＳＴ１２）。具体的には、操作者による３次元画像Ｖ０における冠動脈および冠静脈のマニュアル操作による抽出の指示を受け付ける。そして、特徴点検出部２３が、抽出部２２が３次元画像Ｖ０から抽出した心臓から、心臓の大動脈弁、僧帽弁および心尖部を特徴点として検出する（ステップＳＴ１３）。次いで、基準軸設定部２４が、特徴点検出部２３が検出した大動脈弁、僧帽弁および心尖部に基づいて、３次元画像Ｖ０に基準軸Ｂ０を設定する（ステップＳＴ１４）。次いで、２次元画像生成部２５が、基準軸Ｂ０を基準として、３次元画像Ｖ０に含まれる冠動脈および冠静脈のそれぞれについてのスピンイメージを教師データとして生成する（ステップＳＴ１５）。そして、学習部２７が、教師データとなる２次元画像を入力とし、冠動脈および冠静脈へのクラス分類結果を出力とするよう分類部２６のＣＮＮ３０を学習し（ステップＳＴ１６）、処理を終了する。
【００６６】
このように、本実施形態においては、３次元画像Ｖ０に含まれる少なくとも１つの特徴点を検出し、少なくとも１つの特徴点に基づいて３次元画像Ｖ０に基準軸Ｂ０を設定し、基準軸Ｂ０を基準として、スピンイメージを２次元画像Ｇ０として生成し、２次元画像Ｇ０に基づいて、心臓の血管を冠動脈および冠静脈に分類するようにしたものである。このように、本実施形態によれば、３次元画像Ｖ０から生成された２次元画像Ｇ０に基づいて分類を行っているため、３次元画像Ｖ０に基づいて分類を行う場合と比較して、使用される画像のデータ量を低減することができる。また、特徴点に基づいて設定された基準軸Ｂ０を基準として３次元画像Ｖ０に含まれる対象物を投影して２次元画像Ｇ０を生成しているため、３次元画像Ｖ０の被写体が異なることに起因する２次元画像Ｇ０における特徴量の変動を小さくすることができる。したがって、本実施形態によれば、少ない演算量にて３次元画像Ｖ０における心臓の血管を冠動脈および冠静脈の２つのクラスに精度よく分類することができる。
【００６７】
また、分類部２６を、２次元画像Ｇ０についての教師データを用いて学習がなされたＣＮＮ３０とすることにより、ＣＮＮ３０に入力される画像のデータ量を低減することができるため、ＣＮＮ３０を用いた分類を少ない演算量にて行うことができる。
【００６８】
また、ニューラルネットワークを複数の処理層が階層的に接続されてなるＣＮＮ３０とすることにより、ＣＮＮ３０が持つ特徴抽出能力を生かして、より精度のよいクラス分類を行うことができる。
【００６９】
なお、上記実施形態においては、抽出部２２が抽出した血管の全体についての１つの２次元画像Ｇ０を生成している。しかしながら、血管における局所的な領域毎に複数の２次元画像Ｇ０を生成してもよい。例えば、スピンイメージを生成する際に、血管のデータを投影する候補点を、心臓上に複数設定し、候補点毎にスピンイメージを２次元画像Ｇ０として生成する。例えば、図１２に示すように心臓上の各画素を候補点Ｃ１，Ｃ２…として設定し、候補点を中心とする領域Ｋ１，Ｋ２…毎にスピンイメージを２次元画像Ｇ０として生成する。そして、各領域についての２次元画像Ｇ０を分類部２６に入力し、各候補点を冠動脈および冠静脈の２つのクラスに分類する。
【００７０】
この場合、分類部２６のＣＮＮ３０の学習に際しては、心臓上の各位置における冠動脈および冠静脈において、領域Ｋ１，Ｋ２…と同一サイズの領域からスピンイメージを生成し、これを教師データとして使用して、ＣＮＮ３０の学習を行う。
【００７１】
このように心臓上の各候補点毎に２次元画像Ｇ０を生成することによっても、少ない演算量にて３次元画像Ｖ０における心臓の血管を冠動脈および冠静脈の２つのクラスに精度よく分類することができる。
【００７２】
また、上記実施形態においては、心臓の血管を冠動脈および冠静脈に分類している。しかしながら、３次元画像Ｖ０に含まれる他の対象物を複数のクラスに分類するものであれば、本発明は任意の対象物に適用できる。例えば、人体の全身についての３次元画像Ｖ０において、対象物を大動脈からの分岐血管とし、大動脈からの分岐血管を、頸動脈、鎖骨下動脈、腹腔動脈、腎動脈、腸間膜動脈および腸骨動脈の少なくとも１つに分類する場合にも本発明を適用できる。
【００７３】
この場合、抽出部２２は、３次元画像Ｖ０から動脈を抽出する。特徴点検出部２３は、３次元画像における大動脈弓、腹部大動脈から腸骨動脈への分岐位置および背骨の少なくとも１つを特徴点として検出する。本実施形態においては、動脈弓、腹部大動脈から腸骨動脈への分岐位置および背骨のすべてを特徴点として検出する。基準軸設定部２４は、特徴点を用いて基準軸Ｂ０を設定する。具体的には、大動脈弓と腹部大動脈から腸骨動脈への分岐位置とを通る軸を基準軸Ｂ０に設定する。さらに、基準軸Ｂ０と、基準軸Ｂ０から見た、背骨が存在する方向を、基準軸Ｂ０の周りの角度の基準点（すなわち０度）に設定する。
【００７４】
そして、心臓の場合と同様に、基準軸Ｂ０を基準とした大動脈からの分岐血管のスピンイメージ特徴点を２次元画像として生成する。なお、分類部２６は、図１３に示すように、大動脈からの分岐血管を、頸動脈５０、鎖骨下動脈５１、腹腔動脈５２、腎動脈５３、腸間膜動脈５４および腸骨動脈５５の６つのクラスに分類するように、ＣＮＮ３０の学習がなされている。
【００７５】
このように学習がなされた分類部２６に、２次元画像を入力とすることにより、３次元画像Ｖ０から抽出した大動脈からの分岐血管を、頸動脈、鎖骨下動脈、腹腔動脈、腎動脈、腸間膜動脈および腸骨動脈に分類することが可能となる。
【００７６】
なお、上記実施形態においては、分類部２６においてＣＮＮ３０を用いてクラス分類を行っているが、これに限定されるものではなく、例えば、スピンイメージである２次元画像Ｇ０に対するフィルタリング処理等によりクラス分類を行うようにしてもよい。
【００７７】
また、上記実施形態においては、スピンイメージを２次元画像Ｇ０として分類に用いているが、２次元画像Ｇ０としてはスピンイメージに限定されるものではなく、基準軸Ｂ０を基準として生成されるものであれば、どのような２次元画像Ｇ０をも用いることができる。例えば、基準軸Ｂ０を基準として、ボリュームレンダリング等の手法を用いてあらかじめ定められた方向に３次元画像Ｖ０を投影することにより、２次元画像Ｇ０を生成してもよい。この場合、学習に用いる教師データについても、同様に基準軸Ｂ０を基準として、あらかじめ定められた方向に３次元画像Ｖ０を投影することにより生成すればよい。
【００７８】
また、上記実施形態において、３次元画像Ｖ０自体を特定の部位とそれ以外の部位とに分類するように、ＣＮＮ３０を構築してもよい。例えば、３次元画像Ｖ０に含まれる心臓を血管とそれ以外の部位に分類するものとなるように、ＣＮＮ３０を構築してもよい。
【００７９】
また、上記実施形態においては、ＣＮＮ３０の構成は図７に示すものに限定されるものではない。例えば、図７では１つの畳み込み層３１および１つのプーリング層３２を有するものとしているが、複数の畳み込み層３１および複数のプーリング層３２を有するものとしてもよい。この場合、各畳み込み層３１において、２次元画像Ｇ０からそれぞれ異なる特徴量を抽出して特徴点マップを生成するように、各畳み込み層３１においてカーネルが設定される。また、畳み込み層３１を一階層のみ設けているが、畳み込み層３１の後段に、さらに別の畳み込み層を設けるようにしてもよい。
【００８０】
以下、本実施形態の作用効果について説明する。
【００８１】
分類手段を対象物を複数のクラスに分類するために、２次元画像についての教師データを用いて学習がなされたニューラルネットワークとすることにより、ニューラルネットワークに入力される画像のデータ量を低減することができるため、ニューラルネットワークを用いた分類を少ない演算量にて行うことができる。
【００８２】
ニューラルネットワークを複数の処理層が階層的に接続されてなるものとすることにより、ニューラルネットワークが持つ特徴抽出能力を生かして、より精度のよいクラス分類を行うことができる。
【符号の説明】
【００８３】
１    画像分類装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    ディスプレイ
１５    入力部
２１    画像取得部
２２    抽出部
２３    特徴点検出部
２４    基準軸設定部
２５    ２次元画像生成部
２６    分類部
２７    学習部
３０    畳み込みニューラルネットワーク（ＣＮＮ）
３１    畳み込み層
３２    プーリング層
３３    全結合層
４０    冠動脈
４１    冠静脈
５０    頸動脈
５１    鎖骨下動脈
５２    腹腔動脈
５３    腎動脈
５４    腸間膜動脈
５５    腸骨動脈
【図１】
2018139693.tif 000004
【図２】
2018139693.tif 000005
【図３】
2018139693.tif 000006
【図４】
2018139693.tif 000007
【図５】
2018139693.tif 000008
【図６】
2018139693.tif 000009
【図７】
2018139693.tif 000010
【図８】
2018139693.tif 000011
【図９】
2018139693.tif 000012
【図１０】
2018139693.tif 000013
【図１１】
2018139693.tif 000014
【図１２】
2018139693.tif 000015
【図１３】
2018139693.tif 000016