(57)【要約】  画像処理装置（３１０）は、検査対象の画像である検査画像を取得する検査画像取得部（１００）と、検査画像取得部（１００）により取得された検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するシフト不変特徴量算出部（１０５）と、各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、上記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした場合の、クラスの複数の正常画像における相対的な位置関係と、検査画像に含まれる各シフト不変量が属するクラスの検査画像における相対的な位置関係との適合度が所定閾値以下となる検査画像上の画素を選択する選択部（１０６）と、選択部（１０６）による選択結果を出力する出力部（２００）とを備える。
2013175719.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の画像である検査画像を取得する検査画像取得部と、
前記検査画像取得部により取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するシフト不変特徴量算出部と、
各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした場合の、クラスの前記複数の正常画像における相対的な位置関係と、前記検査画像に含まれる各シフト不変量が属するクラスの前記検査画像における相対的な位置関係との適合度が所定閾値以下となる前記検査画像上の画素を選択する選択部と、
前記選択部による選択結果を出力する出力部と
を備える画像処理装置。
【請求項２】
前記シフト不変特徴量算出部は、
前記検査画像取得部により取得された前記検査画像から、複数のシフト不変特徴量をベクトルの要素とする検査画像特徴量ベクトルを、画素ごとに算出する画像特徴量算出部と、
前記複数の正常画像に含まれる複数の画素から算出される複数の正常画像特徴量ベクトルの基底ベクトルであって、各々が複数のシフト不変特徴量をベクトルの要素とする複数の正常画像特徴量ベクトルの基底ベクトルである正常画像基底ベクトルの線形和で前記検査画像特徴量ベクトルを記述した際の、係数を算出し、算出した前記係数をベクトルの要素とする検査画像基底係数ベクトルを、前記検査画像の画素ごとに算出する基底表現部とを含み、
前記選択部は、
各々が、正常画像特徴量ベクトルを前記正常画像基底ベクトルの線形和で記述した際の係数を要素とする正常画像基底係数ベクトルであって、前記複数の正常画像特徴量ベクトルから得られる複数の正常画像基底係数ベクトルをクラスタリングした場合の、各クラスに属する少なくとも１つ以上の正常画像基底係数ベクトルを代表する中心ベクトルを局所特徴正常構造ベクトルとして、当該中心ベクトルが属するクラスのクラス番号と共に格納している局所特徴正常構造データベースの中から、前記検査画像基底係数ベクトルに最も類似する局所特徴正常構造ベクトルを、前記検査画像の画素ごとに取得し、取得した各前記局所特徴正常構造ベクトルが属するクラスのクラス番号と、前記検査画像基底係数ベクトル及び取得した各前記局所特徴正常構造ベクトルの間の距離とを取得する最近傍ベクトル取得部と、
前記正常画像特徴量ベクトルをクラスタリングした結果のクラス番号から求められる、前記複数の正常画像におけるクラスの相対的な位置関係を、構造的な適合度として格納している相対位置関係正常構造データベースから、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像の各画素の構造的な適合度を取得する相対位置関係取得部と、
前記最近傍ベクトル取得部により得られた距離が第１閾値以上、または前記相対位置関係取得部で得られた構造的な適合度が第２閾値以下である、前記検査画像上の画素を選択する画素選択部とを含み、
前記出力部は、前記画素選択部による選択結果を出力する
請求項１記載の画像処理装置。
【請求項３】
前記画素選択部は、前記最近傍ベクトル取得部により得られた距離が第１閾値以上、または前記相対位置関係取得部で得られた構造的な適合度が第２閾値以下である、前記検査画像上の画素を、病変部の画素として判定する病変判定部を含み、
前記出力部は、前記病変判定部による判定結果を出力する
請求項２記載の画像処理装置。
【請求項４】
前記相対位置関係正常構造データベースは、所定の位置関係に位置する画素同士のクラスの出現確率を、構造的な適合度として格納しており、
前記相対位置関係取得部は、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像において前記所定の位置関係に位置する画素同士のクラスを特定し、特定した前記所定の位置関係に位置する画素同士のクラスの出現確率を、前記相対位置関係正常構造データベースから取得することにより、前記検査画像に含まれる各画素の構造的な適合度を取得する
請求項２または３記載の画像処理装置。
【請求項５】
前記相対位置関係正常構造データベースは、画素間を結ぶ方向が所定の方向であり、かつ互いにクラス番号が異なる画素同士のクラスの出現確率を、構造的な適合度として格納しており、
前記相対位置関係取得部は、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像において、画素間を結ぶ方向が前記所定の方向であり、かつ互いにクラス番号が異なる画素同士のクラスの出現確率を、前記相対位置関係正常構造データベースから取得することにより、前記検査画像に含まれる各画素の構造的な適合度を取得する
請求項２または３記載の画像処理装置。
【請求項６】
病変を含まない画像である複数の正常画像を取得する正常画像取得部と、
前記正常画像取得部により取得された前記複数の正常画像各々から、複数のシフト不変特徴量をベクトルの要素とする正常画像特徴量ベクトルを、画素ごとに算出する画像特徴量算出部と、
前記画像特徴量算出部により前記複数の正常画像に含まれる複数の画素から算出された複数の正常画像特徴量ベクトルを主成分分析することにより、前記複数の正常画像特徴量ベクトルの基底ベクトルである正常画像基底ベクトルと、前記複数の正常画像特徴量ベクトルを前記正常画像基底ベクトルを用いて基底変換した結果の複数の正常画像基底係数ベクトルとを取得する主成分分析部と、
前記主成分分析部により取得された前記正常画像基底ベクトルを基底ベクトル格納部に書き込む基底ベクトル出力部と、
前記複数の正常画像基底係数ベクトルをクラスタリングすることにより、クラスごとに、当該クラスに属する少なくとも１つ以上の正常画像基底係数ベクトルを代表する中心ベクトルを取得するクラスタリング部と、
前記クラスタリング部で取得された中心ベクトルを当該中心ベクトルが代表するクラスのクラス番号と共に局所特徴正常構造データベースに書き込む中心ベクトル出力部と、
前記クラス番号から求められる、前記複数の正常画像におけるクラスの相対的な位置関係を、構造的な適合度として算出する相対位置関係算出部と、
前記相対位置関係算出部により算出された、前記複数の正常画像におけるクラスの相対的な位置関係を、構造的な適合度として相対位置関係正常構造データベースに書き込む相対位置関係出力部と
を備える画像処理装置。
【請求項７】
前記シフト不変特徴量は、ウェーブレット係数、ＨＬＡＣ特徴量、ＳＩＦＴ特徴量またはＨＯＧ特徴量を含む
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像は、放射線画像、超音波画像または病理標本画像を含む
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
検査対象の画像である検査画像を取得する検査画像取得ステップと、
取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するステップと、
各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした場合の、クラスの前記複数の正常画像における相対的な位置関係と、前記検査画像に含まれる各シフト不変量が属するクラスの前記検査画像における相対的な位置関係との適合度が所定閾値以下となる前記検査画像上の画素を選択するステップと、
選択結果を出力するステップと
を含む画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、コンピュータを用いた画像解析技術により、医師の診断を支援するＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ  Ｄｉａｇｎｏｓｉｓ）の重要性が増してきている。ＣＡＤの最も一般的な機能は、画像中からの病変部の検出である。【０００３】
コンピュータにより病変検出を行う場合、検査画像と正常画像を比較し、違いを発見する。コンピュータ処理において、２つのデータの差分を計算することは基本的な機能であり、正常構造の医用画像である正常画像と、検査画像との比較から病変部を検出する画像診断は、コンピュータ処理が得意とするところである。【０００４】
しかし、差分計算を行うには正常画像と検査画像との位置合わせを行う必要がある。特許文献１に記載の方法では、正常画像及び検査画像中にそれぞれランドマークを設定し、ランドマークが一致するように、正常画像と検査画像の位置合わせを行い、正常画像と検査画像の差分から病変部を検出することで、画像診断の支援を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−４１６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１には、ランドマークの設定方法について開示されていない。ランドマークの設定方法の違いや、ランドマークの設定位置のばらつきなどによって、同じ正常画像と検査画像との組み合わせであっても、様々な態様で位置合わせされてしまう。このため、位置合わせの態様によって、病変部が検出されたり検出されなかったりしてしまい、正確な病変検出を行うことができないという課題がある。【０００７】
本発明は、上述の課題を解決するためになされたものであり、正確な病変検出を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像処理装置は、検査対象の画像である検査画像を取得する検査画像取得部と、前記検査画像取得部により取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するシフト不変特徴量算出部と、各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした場合の、クラスの前記複数の正常画像における相対的な位置関係と、前記検査画像に含まれる各シフト不変量が属するクラスの前記検査画像における相対的な位置関係との適合度が所定閾値以下となる前記検査画像上の画素を選択する選択部と、前記選択部による選択結果を出力する出力部とを備える。【０００９】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明によると、正確な病変検出を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、特許文献１における、ランドマーク設定を説明するための図である。
【図２】図２は、本発明の実施の形態における、画像処理装置の構成を示すブロック図である。
【図３】図３は、図２の画像処理装置で利用されるデータを作成する画像処理装置の構成を示すブロック図である。
【図４】図４は、正常構造データベースを作成する手順を示すフローチャートである。
【図５】図５は、ウェーブレット変換によるシフト不変画像特徴量の算出例を示す図である。
【図６Ａ】図６Ａは、ハール型のマザーウェーブレットを用いたウェーブレット係数の算出例を示す図である。
【図６Ｂ】図６Ｂは、ハール型のマザーウェーブレットを用いたウェーブレット係数の算出例を示す図である。
【図７】図７は、正常画像特徴量ベクトルの例を示す図である。
【図８】図８は、正常画像特徴量ベクトルをクラス番号に変換した例を示す図である。
【図９】図９は、局所特徴正常構造データベースの例を示す図である。
【図１０】図１０は、局所特徴量のみでは正しく病変部を判別できない例を示す図である。
【図１１】図１１は、局所特徴量間の相対位置関係を構造関係として取り入れた例を示す図である。
【図１２】図１２は、相対位置関係正常構造データベースの例（隣接右画素のクラスとの関係）を示す図である。
【図１３】図１３は、相対位置関係正常構造データベースの例（隣接する右クラスとの関係）を示す図である。
【図１４】図１４は、病変検出処理の手順を示すフローチャートである。
【図１５】図１５は、病変判定のための閾値を決定する手順の例を示す図である。
【発明を実施するための形態】
【００１２】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、特許文献１の方法に関し、以下の問題が生じることを見出した。
【００１３】
上述のように、差分計算を行うには正常画像と検査画像との位置合わせを行う必要がある。正常画像を作るには、通常、過去に撮影された医用画像が利用される。検査画像を診断医が確認した結果、病変部が見つからなければ、この画像は正常画像となる。つまり、過去に撮影された患者の検査画像に病変部が見つからなければ、この検査画像を正常画像として利用することができる。しかし、撮影条件の違いまたは患者の体型の変化などの様々な要因から、同一患者であっても正常画像と検査画像とにおける臓器等の位置が食い違うことが通常である。また、検査画像を初めて撮影する場合には比較対象とする同一患者の正常画像が存在しない。この場合には、他の患者の正常画像を比較対象として利用することになるが、他の患者との体型の違いから正常画像と検査画像との位置合わせが必要になる。
【００１４】
位置合わせは、具体的には、回転、平行移動、拡大・縮小などの幾何変換により実現される。例えば、正常画像と検査画像とにそれぞれ対応点を複数設定し、各画像の対応点が一致するように、一方の画像にアフィン変換と拡大・縮小処理とを施す。
【００１５】
ところで、正常画像は、過去に撮影され、病変がないことを確認した検査画像から作成される。その理由は、第一に、初めて撮影された患者の検査画像には比較対象となる医用画像が存在しないためであり、上述したとおりである。第二に、医学的知識は過去症例の積み上げで構築される傾向にあり、病変を含まない正常画像に関しても、過去症例から作成した方が、医学的利用価値が高くなる可能性が高いからである。医学的知識は、日進月歩で向上しており、過去症例の解釈が改善されることがしばしば起こる。ＩＴシステムに登録した医学的知識は、常に更新が必要であり、正常画像も例外ではない。
【００１６】
そこで、複数の患者の正常画像を集めて、これらを網羅的に表現できるような汎用性の高い正常画像を作ることが望ましい。その具体的実現方法として、たとえば特許文献１が開示するように、正常画像を平均形状と固有形状の線形和で表現する。すなわち、正常構造を表わす形状ベクトルｘは以下の式１で表現される。
【００１７】
【数１】
2013175719.tif 000003
【００１８】
ここで、ｘaveは平均形状ベクトル、Ｐｓは形状の固有ベクトル、ｂｓは形状係数のセットを表わす。
【００１９】
式１を計算するには、平均形状ベクトルｘaveと形状の固有ベクトルＰｓが必要であり、画像情報をベクトル化するために、図１に示すようなランドマークＭを画像上に設定する。図中の複数の黒点がランドマークＭである。ランドマークＭのｘ座標及びｙ座標がベクトルの要素となり、画像情報がベクトル化される。検査画像Ｐ１、Ｐ２、Ｐ３に示すように、複数の正常画像で個別にランドマークを設定し、形状ベクトルを定義し、これらから平均ベクトルと固有ベクトルを算出する。なお、検査画像についても同様に式１で表すことができる。
【００２０】
以上説明したベクトルを用いて、正常画像と検査画像の位置合わせを行い、正常画像と検査画像の差分から病変部を検出して、画像診断の支援を行う。
【００２１】
しかしながら、特許文献１に記載の方法では、ランドマークの設定作業が煩雑であり、診断業務の効率低下につながる。また、ランドマークの設定方法を変えれば、ランドマークのｘ座標及びｙ座標が変わりベクトル要素が変わるため、結果的に平均形状ベクトル及び固有形状ベクトルがランドマークの設定方法の変更前と異なってくる。特許文献１は、ランドマークの設定方法について開示していないため、同じ手法を利用したとしても、ランドマークの設定方法の違いや、ランドマークの設定位置のばらつきによって、様々な正常画像（正常構造を表す形状ベクトル）が生成されてしまう。医学的知見は過去症例からの蓄積で構築されており、ある一つの症例がランドマークの設定方法に応じて多様に定義されるのは再利用性の観点で課題がある。このように一つの症例が多様に定義されると、病変部の判定精度が低下するという課題がある。つまり、定義によって同じ検査画像が病変画像と判断されたり正常画像と判断されたりしてしまう。
【００２２】
本開示は、シフト不変特徴量を使って、正常画像の構造を記述することで、位置合わせのためのランドマーク設定が不要な病変検出を可能とする。さらに局所的な画像特徴量間の相対的な位置関係を知識として用いることにより、局所的な特徴のみでは表現できない、人体の構造を考慮に入れた、より正確な病変検出を可能とする。
【００２３】
本発明の一態様に係る画像処理装置は、検査対象の画像である検査画像を取得する検査画像取得部と、前記検査画像取得部により取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するシフト不変特徴量算出部と、各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした場合の、クラスの前記複数の正常画像における相対的な位置関係と、前記検査画像に含まれる各シフト不変量が属するクラスの前記検査画像における相対的な位置関係との適合度が所定閾値以下となる前記検査画像上の画素を選択する選択部と、前記選択部による選択結果を出力する出力部とを備える。
【００２４】
この構成によると、正常画像から算出されるシフト不変特徴量と検査画像から算出されるシフト不変特徴量とを同一の基底ベクトルで表現している。このため、正常画像と検査画像との位置合わせのためのランドマーク設定が不要である。また、検査画像のシフト不変特徴量のクラスタリング結果から得られるクラスの相対的な位置関係と、正常画像のシフト不変特徴量のクラスタリング結果から得られるクラスの相対的な位置関係との適合度を用いて画素選択を行っている。これにより、局所的な画像特徴量間の相対的な位置関係を知識として用いることにより、局所的な特徴のみでは表現できない、人体の構造を考慮に入れた、より正確な病変検出が可能となる。
【００２５】
例えば、前記シフト不変特徴量算出部は、前記検査画像取得部により取得された前記検査画像から、複数のシフト不変特徴量をベクトルの要素とする検査画像特徴量ベクトルを、画素ごとに算出する画像特徴量算出部と、前記複数の正常画像に含まれる複数の画素から算出される複数の正常画像特徴量ベクトルの基底ベクトルであって、各々が複数のシフト不変特徴量をベクトルの要素とする複数の正常画像特徴量ベクトルの基底ベクトルである正常画像基底ベクトルの線形和で前記検査画像特徴量ベクトルを記述した際の、係数を算出し、算出した前記係数をベクトルの要素とする検査画像基底係数ベクトルを、前記検査画像の画素ごとに算出する基底表現部とを含み、前記選択部は、各々が、正常画像特徴量ベクトルを前記正常画像基底ベクトルの線形和で記述した際の係数を要素とする正常画像基底係数ベクトルであって、前記複数の正常画像特徴量ベクトルから得られる複数の正常画像基底係数ベクトルをクラスタリングした場合の、各クラスに属する少なくとも１つ以上の正常画像基底係数ベクトルを代表する中心ベクトルを局所特徴正常構造ベクトルとして、当該中心ベクトルが属するクラスのクラス番号と共に格納している局所特徴正常構造データベースの中から、前記検査画像基底係数ベクトルに最も類似する局所特徴正常構造ベクトルを、前記検査画像の画素ごとに取得し、取得した各前記局所特徴正常構造ベクトルが属するクラスのクラス番号と、前記検査画像基底係数ベクトル及び取得した各前記局所特徴正常構造ベクトルの間の距離とを取得する最近傍ベクトル取得部と、前記正常画像特徴量ベクトルをクラスタリングした結果のクラス番号から求められる、前記複数の正常画像におけるクラスの相対的な位置関係を、構造的な適合度として格納している相対位置関係正常構造データベースから、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像の各画素の構造的な適合度を取得する相対位置関係取得部と、前記最近傍ベクトル取得部により得られた距離が第１閾値以上、または前記相対位置関係取得部で得られた構造的な適合度が第２閾値以下である、前記検査画像上の画素を選択する画素選択部とを含み、前記出力部は、前記画素選択部による選択結果を出力しても良い。
【００２６】
この構成によると、シフト不変特徴量を用い、検査画像と正常画像との比較を基底係数ベクトル間で行っている。このため、正常画像と検査画像の位置合わせを行うことなく、病変の有無を判定できる。位置合わせ工程が不要となることにより、ランドマークの設定方法の違いや設定位置のばらつきによる病変部の判定精度の低下が無くなり、病変部の判定精度が高い画像処理装置を提供することができる。また、正常画像におけるクラスの相対的な位置関係を示す構造的な適合度が第２閾値以下となる検査画像上の画素を選択している。このため、正常画像の構造と異なる構造を有する検査画像上の画素を選択することができる。つまり、局所的な特徴のみでは表現できない、人体の構造を考慮に入れた、より正確な病変検出が可能となる。
【００２７】
具体的には、前記画素選択部は、前記最近傍ベクトル取得部により得られた距離が第１閾値以上、または前記相対位置関係取得部で得られた構造的な適合度が第２閾値以下である、前記検査画像上の画素を、病変部の画素として判定する病変判定部を含み、前記出力部は、前記病変判定部による判定結果を出力しても良い。
【００２８】
また、前記相対位置関係正常構造データベースは、所定の位置関係に位置する画素同士のクラスの出現確率を、構造的な適合度として格納しており、前記相対位置関係取得部は、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像において前記所定の位置関係に位置する画素同士のクラスを特定し、特定した前記所定の位置関係に位置する画素同士のクラスの出現確率を、前記相対位置関係正常構造データベースから取得することにより、前記検査画像に含まれる各画素の構造的な適合度を取得しても良い。
【００２９】
この構成によると、正常画像で所定の位置関係に位置する画素同士のクラスの出現確率を適合度として用いていることにより、正常画像にあまり表れないクラスの組み合わせが検査画像に出現した場合に、病変部として検出することができる。
【００３０】
また、前記相対位置関係正常構造データベースは、画素間を結ぶ方向が所定の方向であり、かつ互いにクラス番号が異なる画素同士のクラスの出現確率を、構造的な適合度として格納しており、前記相対位置関係取得部は、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像において、画素間を結ぶ方向が前記所定の方向であり、かつ互いにクラス番号が異なる画素同士のクラスの出現確率を、前記相対位置関係正常構造データベースから取得することにより、前記検査画像に含まれる各画素の構造的な適合度を取得しても良い。
【００３１】
隣接する画素においては同じクラスが現れる確率が高くなることがある。しかし、この構成によると、互いにある程度離れた位置に存在する、クラス番号が異なる画素同士のクラスの出現確率を適合度として用いて、病変検出を行うことができる。このため、検査画像の構造が捉えやすくなり、病変検出の精度を高めることができる。
【００３２】
本発明の他の一態様に係る画像処理装置は、病変を含まない画像である複数の正常画像を取得する正常画像取得部と、前記正常画像取得部により取得された前記複数の正常画像各々から、複数のシフト不変特徴量をベクトルの要素とする正常画像特徴量ベクトルを、画素ごとに算出する画像特徴量算出部と、前記画像特徴量算出部により前記複数の正常画像に含まれる複数の画素から算出された複数の正常画像特徴量ベクトルを主成分分析することにより、前記複数の正常画像特徴量ベクトルの基底ベクトルである正常画像基底ベクトルと、前記複数の正常画像特徴量ベクトルを前記正常画像基底ベクトルを用いて基底変換した結果の複数の正常画像基底係数ベクトルとを取得する主成分分析部と、前記主成分分析部により取得された前記正常画像基底ベクトルを基底ベクトル格納部に書き込む基底ベクトル出力部と、前記複数の正常画像基底係数ベクトルをクラスタリングすることにより、クラスごとに、当該クラスに属する少なくとも１つ以上の正常画像基底係数ベクトルを代表する中心ベクトルを取得するクラスタリング部と、前記クラスタリング部で取得された中心ベクトルを当該中心ベクトルが代表するクラスのクラス番号と共に局所特徴正常構造データベースに書き込む中心ベクトル出力部と、前記クラス番号から求められる、前記複数の正常画像におけるクラスの相対的な位置関係を、構造的な適合度として算出する相対位置関係算出部と、前記相対位置関係算出部により算出された、前記複数の正常画像におけるクラスの相対的な位置関係を、構造的な適合度として相対位置関係正常構造データベースに書き込む相対位置関係出力部とを備える。
【００３３】
この構成によると、正常画像におけるクラスの相対的な位置関係を示す構造的な適合度を知識として作成することができる。上述した画像処理装置が、このような知識を用いることにより、正確な病変検出が可能となる。
【００３４】
例えば、前記シフト不変特徴量は、ウェーブレット係数、ＨＬＡＣ（Ｈｉｇｈｅｒ  ｏｒｄｅｒ  Ｌｏｃａｌ  ＡｕｔｏＣｏｒｒｅｌａｔｉｏｎ）特徴量、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量またはＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量を含んでいても良い。
【００３５】
また、前記画像は、放射線画像、超音波画像または病理標本画像を含んでいても良い。
【００３６】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３８】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３９】
図２は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００４０】
本実施の形態では、まず前処理として医療機器により撮影された検査画像を検査画像格納部３００に蓄積しておく。画像処理装置３１０は、検査画像格納部３００から検査画像を取得し、取得した検査画像から病変部を検出し、検出結果を出力する。
【００４１】
画像処理装置３１０は、基底ベクトル格納部１３０と、局所特徴正常構造データベース１５０と、相対位置関係正常構造データベース１７０と、病変判定閾値データベース１９０と、検査画像取得部１００と、シフト不変特徴量算出部１０５と、選択部１０６と、出力部２００とを含む。
【００４２】
基底ベクトル格納部１３０は、正常画像基底ベクトル（正常画像基底ベクトル行列、正常画像平均ベクトル）を格納している。正常画像基底ベクトルは、複数の正常画像に含まれる複数の画素から算出される複数の正常画像特徴量ベクトルの基底ベクトルであって、各々が複数のシフト不変特徴量をベクトルの要素とする複数の正常画像特徴量ベクトルの基底ベクトルである。
【００４３】
局所特徴正常構造データベース１５０は、あらかじめ複数の正常画像から算出した複数の局所特徴正常構造ベクトルを格納している。局所特徴正常構造ベクトルは、後述する複数の正常画像基底係数ベクトルをクラスタリングした場合の、各クラスに属する少なくとも１つ以上の正常画像基底係数ベクトルを代表する中心ベクトルである。ここで、正常画像基底係数ベクトルは、正常画像特徴量ベクトルを正常画像基底ベクトルの線形和で記述した際の係数を要素とするベクトルである。
【００４４】
相対位置関係正常構造データベース１７０は、あらかじめ複数の正常画像から算出した局所的なシフト不変特徴量である局所特徴量間の構造的な適合度を格納している。具体的には、相対位置関係正常構造データベース１７０は、複数の正常画像特徴量ベクトルをクラスタリングした結果のクラス番号から求められる、複数の正常画像におけるクラスの相対的な位置関係を、構造的な適合度として格納している。
【００４５】
病変判定閾値データベース１９０は、病変を判定するための閾値として、第１閾値及び第２閾値を格納している。
【００４６】
なお、基底ベクトル格納部１３０、局所特徴正常構造データベース１５０、相対位置関係正常構造データベース１７０、病変判定閾値データベース１９０は、画像処理装置３１０に内蔵されていても良いし、画像処理装置３１０の外部に設けられ、有線又は無線通信により画像処理装置３１０に接続されていても良い。局所特徴正常構造データベース１５０、相対位置関係正常構造データベース１７０及び病変判定閾値データベース１９０の各データベースは、ハードウェア等により構成される記憶装置であるが、以下の説明では、当該記憶装置に格納されるデータのことをデータベースとも呼ぶ。
【００４７】
検査画像取得部１００は、検査画像格納部３００に格納されている検査対象の医用画像である検査画像を取得する。
【００４８】
シフト不変特徴量算出部１０５は、検査画像取得部１００により取得された検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出する。シフト不変特徴量算出部１０５の詳細については、後述する。
【００４９】
選択部１０６は、各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、上記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした場合の、クラスの相対的な位置関係と、検査画像に含まれる各シフト不変量が属するクラスの相対的な位置関係との適合度が所定閾値以下となる検査画像上の画素を選択する。選択部１０６の詳細については後述する。
【００５０】
シフト不変特徴量算出部１０５は、画像特徴量算出部１１０と、基底表現部１２０とを含む。
【００５１】
画像特徴量算出部１１０は、検査画像取得部１００により取得された検査画像から、複数のシフト不変特徴量をベクトルの要素とする検査画像特徴量ベクトルを、画素ごとに算出する。
【００５２】
基底表現部１２０は、基底ベクトル格納部１３０から正常画像基底ベクトルを取得し、画像特徴量算出部１１０により算出された検査画像特徴量ベクトルを、基底表現に変換する。つまり、基底表現部１２０は、正常画像基底ベクトルの線形和で検査画像特徴量ベクトルを記述した際の、係数を算出し、算出した係数をベクトルの要素とする検査画像基底係数ベクトルを、検査画像の画素ごとに算出する。
【００５３】
選択部１０６は、最近傍ベクトル取得部１４０と、相対位置関係取得部１６０と、画素選択部１０７とを含む。
【００５４】
最近傍ベクトル取得部１４０は、基底表現部１２０により算出された検査画像基底係数ベクトルと、局所特徴正常構造データベース１５０に格納されている、あらかじめ複数の正常画像から算出した各局所特徴正常構造ベクトルとを比較し、検査画像基底係数ベクトルとの距離が最も小さい局所特徴正常構造ベクトルを、検査画像の画素ごとに取得する。この際、最近傍ベクトル取得部１４０は、取得した各局所特徴正常構造ベクトルが属するクラスのクラス番号と、検査画像基底係数ベクトル及び取得した各局所特徴正常構造ベクトルの間の距離とを取得する。
【００５５】
相対位置関係取得部１６０は、あらかじめ正常画像から算出した局所特徴量間の構造的な適合度が格納されている相対位置関係正常構造データベース１７０から、検査画像における局所特徴量間の相対位置関係の適合度を取得する。つまり、相対位置関係取得部１６０は、相対位置関係正常構造データベース１７０から、最近傍ベクトル取得部１４０により取得されたクラス番号を用いて、検査画像の各画素の構造的な適合度を取得する。
【００５６】
画素選択部１０７は、最近傍ベクトル取得部１４０により得られた距離が第１閾値以上、または相対位置関係取得部１６０で得られた構造的な適合度が第２閾値以下である、検査画像上の画素を選択する処理部であり、病変判定部１８０を含む。
【００５７】
病変判定部１８０は、病変判定閾値データベース１９０から病変を判定するための閾値を取得し、閾値処理による病変判定を行う。閾値として、局所特徴量による異常判定を行うための第１閾値、構造関係による異常判定を行うための第２閾値の２種類の閾値を用いる。病変判定部１８０は、最近傍ベクトル取得部１４０により取得された検査画像基底係数ベクトル及び当該検査画像基底係数ベクトルに最も類似する局所特徴正常構造ベクトルの間の距離が、局所特徴量を判別する第１閾値以上の場合、検査画像基底係数ベクトルに対応する検査画像の画素を病変部の画素と判定する。また、病変判定部１８０は、相対位置関係取得部１６０で取得された構造的な適合度が、構造関係を判別する第２閾値以下の場合に、その構造的な適合度に対応する検査画像の画素を病変部の画素と判定する。
【００５８】
出力部２００は、病変判定部１８０による判定結果を出力する。例えば、出力部２００は、病変と判定された部分をディスプレイ装置などの表示画面に表示する。
【００５９】
図３は、図２の画像処理装置３１０で利用されるデータを作成する画像処理装置の構成を示すブロック図である。つまり、画像処理装置４００は、基底ベクトル格納部１３０に格納される基底ベクトル、局所特徴正常構造データベース１５０及び相対位置関係正常構造データベース１７０を作成する。
【００６０】
画像処理装置４００は、正常画像取得部２１０と、画像特徴量算出部１１０と、主成分分析部２２０と、基底ベクトル出力部２３０と、基底ベクトル格納部１３０と、クラスタリング部２４０と、中心ベクトル出力部２５０と、局所特徴正常構造データベース１５０と、相対位置関係算出部２６０と、相対位置関係出力部２７０と、相対位置関係正常構造データベース１７０とを含む。
【００６１】
正常画像取得部２１０は、医師によってあらかじめ異常がないことが確認された画像を正常画像として読み込む。つまり、正常画像取得部２１０は、病変を含まない画像である複数の正常画像を取得する。
【００６２】
画像特徴量算出部１１０は、正常画像取得部２１０によって取得された正常画像から画像特徴量を算出し、正常画像特徴量ベクトルを生成する。つまり、画像特徴量算出部１１０は、正常画像取得部２１０により取得された複数の正常画像各々から、複数のシフト不変特徴量をベクトルの要素とする正常画像特徴量ベクトルを、画素ごとに算出する。
【００６３】
主成分分析部２２０は、画像特徴量算出部１１０で得られた正常画像特徴量ベクトルを主成分分析し、正常画像基底ベクトルと、正常画像特徴量ベクトルを基底表現した正常画像基底係数ベクトルを得る。つまり、主成分分析部２２０は、画像特徴量算出部１１０により複数の正常画像に含まれる複数の画素から算出された複数の正常画像特徴量ベクトルを主成分分析することにより、複数の正常画像特徴量ベクトルの基底ベクトルである正常画像基底ベクトルと、複数の正常画像特徴量ベクトルを正常画像基底ベクトルを用いて基底変換した結果の複数の正常画像基底係数ベクトルとを取得する。
【００６４】
基底ベクトル出力部２３０は、主成分分析部２２０によって得られた正常画像基底ベクトルを基底ベクトル格納部１３０に格納する。
【００６５】
クラスタリング部２４０は、主成分分析部２２０で得られた正常画像基底係数ベクトルをクラスタリングし、クラスごとに、当該クラスに含まれる正常画像基底係数ベクトルの中心ベクトルを求め、当該クラスに含まれる各正常画像基底係数ベクトルにクラス番号を付与する。
【００６６】
中心ベクトル出力部２５０はクラスタリング部２４０によって得られた各クラスの中心ベクトルを局所的な正常構造を表す局所特徴正常構造ベクトルとして、クラス番号と共に局所特徴正常構造データベース１５０に書き込む。
【００６７】
相対位置関係算出部２６０は、クラスタリング部２４０で得られた各正常画像基底係数ベクトルのクラス番号から、各クラスの相対位置関係を、構造的な適合度として算出する。
【００６８】
相対位置関係出力部２７０は、相対位置関係算出部２６０で得られたクラスの相対的な位置関係を、構造的な適合度として相対位置関係正常構造データベース１７０に書き込む。
【００６９】
以下、本実施の形態に係る画像処理装置３１０及び画像処理装置４００の動作について詳細に説明する。
【００７０】
＜データベースの事前作成＞
本実施の形態では、位置合わせを不要とするため、シフト不変の局所的な画像特徴量をベースとした正常構造のデータベースを構築する。具体的には、画像処理装置４００が、正常画像から得られたシフト不変の局所的な画像特徴量、及び局所特徴量間の相対位置関係をそれぞれ局所特徴正常構造データベース１５０、相対位置関係正常構造データベース１７０に格納する。画像処理装置３１０は、シフト不変の局所特徴量を病変判断の基準として用いることで、画像全体の位置合わせを不要とする。また、画像処理装置３１０は、局所特徴量間の相対位置関係を病変判断の基準として用いることで、局所特徴量のみでは判断できない、人体の構造的な正常／異常を判別することを可能とする。
【００７１】
以下、図４のフローチャートを用いて、画像処理装置４００による正常構造データベース作成時の手順を説明する。本実施の形態では、対象の医用画像として胸部単純Ｘ線画像を用いるが、ＣＴ（Ｃｏｍｐｕｔｅｒ  Ｔｏｍｏｇｒａｐｈｙ）画像、ＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）画像、ＰＥＴ（Ｐｏｓｉｔｒｏｎ  Ｅｍｉｓｓｉｏｎ  Ｔｏｍｏｇｒａｐｈｙ）画像、病理画像などの医用画像についても同様の処理が可能である。
【００７２】
ステップＳ１０では、正常画像取得部２１０が、正常構造データベースを作成するための正常画像を１枚取得する。正常画像としては、医師によって診断が確定され、異常がないことが確認された医用画像を用いる。現在、多くの病院において撮影された医用画像は、診断結果とともにＰＡＣＳ（Ｐｉｃｔｕｒｅ  Ａｒｃｈｉｖｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍｓ）に格納されている。このため、正常画像を大量に収集することは容易となっている。正常構造データベースを作成するためには、数百〜数千以上の正常画像を用いることが望ましい。
【００７３】
ステップＳ１１では、画像特徴量算出部１１０が、ステップＳ１０で取得された正常画像から、シフト不変な画像特徴量であるシフト不変特徴量を算出し、シフト不変特徴量を用いて画像情報をベクトル化し、正常画像特徴量ベクトルｆを出力する。本実施の形態では、シフト不変な画像特徴量としてウェーブレット係数を用いる。
【００７４】
図５は、ウェーブレット変換によるシフト不変画像特徴量の算出例を示す。画像特徴量算出部１１０は、ウェーブレット変換により、正常画像の、スケールｔの多重解像度表現を行う。
【００７５】
スケール１では、隣接画素との輝度差が算出され、スケール２へ移行する際に複数画素間での平滑化が施される。
【００７６】
スケール２でも、隣接画素との輝度差が算出されるが、スケール２の各画素は、スケール１の複数画素が平滑化されたものであり、スケール２の方が低い周波数成分となる。したがって、スケール１からスケールｔ（ｔは２以上整数）まで計算を進めることで、高周波成分から徐々に低周波数成分へ移行しながら、ウェーブレット係数Ｖ，Ｈ，Ｄが各スケールで算出される。画像特徴量算出部１１０は、画素ごとに、各ステージで算出されたウェーブレット係数Ｖ、Ｈ、Ｄと、スケールｔの画像から算出される輝度平均値Ｌと、からなる空間周波数ベクトルＦを生成する。つまり、空間周波数ベクトルＦの次元数は（３ｔ＋１）次元になる。
【００７７】
ハール型のマザーウェーブレットを用いた場合、図６Ａに示すように、Ｖは処理対象の画素６０の右隣接画素６１との輝度差分値であり、Ｈは処理対象の画素６０の下隣接画素６２との輝度差分値であり、Ｄは右斜下隣接画素６３との輝度差分値であり、Ｌは処理対象の画素６０、右隣接画素６１、下隣接画素６２、右斜下隣接画素６３からなる４つの画素の輝度平均値である。図６Ａはスケール１に相当し、図６Ｂはスケール２に相当する。スケール２の検査画像は、スケール１の検査画像の４つの画素の輝度平均値を１画素とする画像である。つまり、スケール２では、スケール１における４画素の輝度平均値である出力Ｌが輝度差分値の計算対象であるブロックの輝度値になる。スケール２における出力Ｖはブロック６４と右隣接ブロック６５との輝度差分値、スケール２における出力Ｈはブロック６４と下隣接ブロック６６との輝度差分値、スケール２における出力Ｄはブロック６４と右斜下隣接ブロック６７と輝度の差分値である。また、スケール２における出力Ｌはブロック６４から右斜下隣接ブロック６７の４つのブロックの輝度平均値である。
【００７８】
以上より、ウェーブレット変換を用いた場合、正常画像特徴量ベクトルｆは、図５の空間周波数ベクトルＦとして算出される。
【００７９】
なお、本実施の形態では、シフト不変な画像特徴量として、ウェーブレット係数を用いるが、シフト不変特徴量はこれに限定されるものではなく、任意のシフト不変特徴量を用いることができる。例えば、シフト不変特徴量として、ＳＩＦＴ特徴量、ＨＬＡＣ特徴量、またはＨＯＧ特徴量などを用いることができる。
【００８０】
ステップＳ１２では、正常画像取得部２１０が、取得していない正常画像があるか否かを判断する。未取得の正常画像がある場合は、ステップＳ１０に戻り、未取得の画像を１枚取得し画像特徴を抽出する処理（Ｓ１１）を繰り返す。すべての正常画像が取得済みの場合には、ステップＳ１３に進む。
【００８１】
ステップＳ１３では、主成分分析部２２０が、ステップＳ１２までの処理で得られた正常画像特徴量ベクトルを主成分分析し、正常画像平均ベクトルｇ、正常画像基底ベクトル行列Ｂ、及び正常画像基底係数ベクトルを算出する。ステップＳ１２までの処理で得られた正常画像特徴量ベクトルの例を図７に示す。正常画像の幅がＷ、高さがＨとすると、１枚の正常画像から（Ｗ×Ｈ）本の正常画像特徴量ベクトルが算出される。正常画像の枚数をＱ枚とすると、Ｑ枚の正常画像から（Ｗ×Ｈ×Ｑ）本の正常画像特徴量ベクトルが得られる。正常画像特徴量ベクトルの次元数はｎ次元とする。
【００８２】
正常画像平均ベクトルｇは、正常画像特徴量ベクトルの要素ごとに平均値を算出することで求められる。
【００８３】
正常画像基底ベクトル行列Ｂは、主成分分析によって以下の式２の連立方程式の解である固有ベクトルｂ１、ｂ２、・・・、ｂｎとして算出される。
【００８４】
【数２】
2013175719.tif 000004
【００８５】
ここで、行列Ｓは分散共分散行列であり、以下の式３で与えられる。
【００８６】
【数３】
2013175719.tif 000005
【００８７】
ｓiは画像特徴量ベクトルのｉ次元要素の分散である。上述したように、画像特徴量ベクトルは（Ｗ×Ｈ×Ｑ）本だけ得られ、よって、画像特徴量ベクトルのｉ次元要素は（Ｗ×Ｈ×Ｑ）個だけ存在する。ｓiはその分散である。
【００８８】
また、固有値λは式４で与えられる。
【００８９】
【数４】
2013175719.tif 000006
【００９０】
固有値λはｎ個求められ、大きい値から順番にλ１、λ２、…、λｎとする。
【００９１】
正常画像基底係数ベクトルαは、式５に従って算出される。
【００９２】
【数５】
2013175719.tif 000007
【００９３】
ここで、ベクトルｆは正常画像特徴量ベクトルである。
【００９４】
ステップＳ１４では、基底ベクトル出力部２３０が、ステップＳ１３で得られた正常画像平均ベクトルｇ、正常画像基底ベクトル行列Ｂを、基底ベクトル格納部１３０に保存する。
【００９５】
ステップＳ１５では、クラスタリング部２４０が、ステップＳ１３で得られた正常画像基底係数ベクトルをクラスタリングし、各クラスのクラス番号を決定する。また、同時に各クラスの中心ベクトルを得る。
【００９６】
本実施の形態では、クラスタリングの手法として、Ｋ−ｍｅａｎｓ法を用いる。Ｋ−ｍｅａｎｓ法では、クラスの中心ベクトルの計算と、各正常画像基底係数ベクトルのクラス分類（中心ベクトルとの距離が最短となるクラスへの割り当て）を繰り返すことで、全正常画像基底係数ベクトルのクラス分類を行う。正常画像基底係数ベクトルのクラス番号を決定した例を図８に示す。例えば、１枚目の画像の座標（ｘ，ｙ）が（１，１）の画素の正常画像基底係数ベクトルはクラス番号が０のクラスに分類されていることが示されている。
【００９７】
ステップＳ１６では、中心ベクトル出力部２５０が、ステップＳ１５において算出された各クラスの中心ベクトルを局所的な正常構造として、局所特徴正常構造データベース１５０に保存する。
【００９８】
局所特徴正常構造データベースの例を図９に示す。図９のように、局所特徴正常構造データベース１５０は、クラス番号とその中心ベクトルをセットで保持するものとする。
【００９９】
ステップＳ１７では、相対位置関係算出部２６０が、ステップＳ１５で得られた正常画像特徴量ベクトルのクラス番号から、局所特徴量間の相対的な位置関係を構造関係（構造的な適合度）として算出する。
【０１００】
図１０は正しい病変部分の判定のために、構造関係が必要となる例である。図１０中の領域（ａ）は病変部、領域（ｂ）は正常部であるが、局所的な画像特徴量で両者を比較した場合には、両者はほぼ同一のパターンとなっている。このため、各領域から類似した画像特徴量が抽出される。そのため、局所的な画像特徴量のみでは領域（ａ）と領域（ｂ）を区別することは困難である。
【０１０１】
このような問題を解決するために、本実施の形態では構造関係を利用する。図１１のように画像中から抽出された局所特徴量間の相対位置関係を構造関係として考慮することで、画像の正常、異常を区別可能となる。図１０の場合、周囲との構造関係を考慮に入れることで領域（ａ）は腫瘤を形成している異常部であることが、領域（ｂ）は正常部の一部であることがわかる。
【０１０２】
本実施の形態では、図１１のように周囲の局所特徴量との相対位置関係を構造として捉えることで、例えば、領域（ａ）、領域（ｂ）が背骨の左右どちらにあるかを判別可能となる。
【０１０３】
本実施の形態では、局所特徴量間の相対的な位置関係（構造的な適合度）として、クラス同士が隣接する確率を用いる。ステップＳ１５において、各座標の正常画像特徴量ベクトルのクラス番号が算出されている。このため、相対位置関係算出部２６０は、正常画像において各クラスが隣接する確率を求めることができる。
【０１０４】
図１２は、ある画素に注目した時、その右画素に各クラスが現れる確率を示す表である。例えば、注目画素がクラス１の画素である場合に、その右画素にクラス１が現れる確率は０．８である。また、注目画素の右画素にクラス２が現れる確率は０．０９である。このような表を用いることで、検査画像にある局所特徴量が現れた時に、その局所特徴量を周囲まで含めてみた時の構造的な正常らしさを判定することができる。図１２の表中の値（確率）が大きい注目画素は、正常画像中で頻出する局所特徴量間の相対位置関係を有することが示されている。このため、その注目画素は正常な構造である可能性が高いと考えられる。逆に表中の値が小さい注目画素は、注目画素が構造的に正常ではない可能性が高いことを示す。本実施の形態では、このような構造関係を表す表が隣接する周囲８方向について求められる。
【０１０５】
なお、構造関係を表す表は、隣接する周囲８方向について求められるものに限定する必要はなく、２画素以上離れた画素との関係や、ウェーブレット変換がカバーする領域が重ならない距離のクラスとの関係などを利用して求めることも可能である。
【０１０６】
また、図１３のように隣接する同様のクラスはひとまとめとして考え、隣接する異なるクラスとの関係をデータベース化することも可能である。図１３は、注目画素から右方向に辿った場合に、注目画素のクラスと異なるクラスが出現する確率を、クラス番号ごとに示している。例えば、注目画素のクラス番号が１であった場合には、右方向に辿った場合に、最初にクラス２の画素が出現する確率は０．０９であり、右方向に辿った場合に、最初にクラス３の画素が出現する確率は０．０２であることが示されている。隣接する画素同士は同じクラスになる確率が高くなることがある。このため、ある程度離れた位置から得られた局所画像特徴量との関係を保持することで構造が捉えやすくなり、精度を高めることができる。つまり、隣接する画素においては同じクラスが現れる確率が高くなることがある。しかし、この構成によると、互いにある程度離れた位置に存在するクラス番号が異なる画素同士のクラスの出現確率を適合度として用いて、病変検出を行うことができる。このため、検査画像の構造が捉えやすくなり、病変検出の精度を高めることができる。
【０１０７】
ステップＳ１８では、相対位置関係出力部２７０が、ステップＳ１７で算出された、正常画像における局所特徴量間の相対位置関係を相対位置関係正常構造データベース１７０に格納する。
【０１０８】
＜病変の検出＞
以下、図１４のフローチャートを用いて、図２に示した画像処理装置３１０による病変検出の手順について説明する。
【０１０９】
ステップＳ２０では、検査画像取得部１００が、病変検出の対象となる検査画像を、検査画像格納部３００から取得する。
【０１１０】
ステップＳ２１では、画像特徴量算出部１１０が、ステップＳ２０で取得された検査画像について、シフト不変特徴量を用いて画像情報をベクトル化し、検査画像特徴量ベクトルｆｐを出力する。ステップＳ２１はステップＳ１１と同様の処理により実現可能である。
【０１１１】
ステップＳ２２では、基底表現部１２０が、ステップＳ２１で算出された検査画像特徴量ベクトルｆｐを基底ベクトル表現に変換することにより、検査画像基底係数ベクトルαｐを取得する。
【０１１２】
まず、基底表現部１２０は、基底表現に変換するための、正常画像平均ベクトルｇと正常画像基底ベクトル行列Ｂを、基底ベクトル格納部１３０から取得する。基底表現部１２０は、検査画像特徴量ベクトルｆｐを、以下の式６に従って、検査画像基底係数ベクトルαｐに変換する。
【０１１３】
【数６】
2013175719.tif 000008
【０１１４】
式６の構成は式５と同一であり、式５における正常画像特徴量ベクトルｆの代わりに検査画像特徴量ベクトルｆｐを与えると、検査画像基底係数ベクトルαｐが算出される。
【０１１５】
以上のように、基底表現部１２０が検査画像の画像特徴量ベクトルを基底表現に変換することで、検査画像と正常画像との比較が可能になる。
【０１１６】
ステップＳ２３では、最近傍ベクトル取得部１４０が、ステップＳ２２で得られた検査画像基底係数ベクトルとの間の距離が最も近い局所特徴正常構造ベクトルと、そのクラス番号とを、局所特徴正常構造データベース１５０から取得する。
【０１１７】
その際、最近傍ベクトル取得部１４０は、取得された局所特徴正常構造ベクトルと検査画像基底係数ベクトルとの間の距離も同時に算出する。局所特徴正常構造データベースに格納されているベクトルは、正常画像から作成したものとなっている。このため、距離が近い局所特徴正常構造ベクトルが存在するほど、検査画像は正常らしいといえる。
【０１１８】
ステップＳ２４では、相対位置関係取得部１６０が、ステップＳ２３において得られた局所特徴量のクラス番号をもとに、相対位置関係正常構造データベース１７０から、局所特徴量間の相対位置関係の適合度を取得する。ステップＳ２３において検査画像の各画素における検査画像基底係数ベクトルに最も類似した局所特徴正常構造ベクトルのクラス番号が求められている。このクラス番号同士の相対位置関係を、相対位置関係正常構造データベース１７０から取得することにより、検査画像の注目画素の構造的な適合度を求める。相対位置関係正常構造データベース１７０には、正常画像から算出された各クラスの相対位置関係（クラス同士が隣接する確率）が格納されているため、データベース中の値が大きいほど、検査画像の着目画素の正常画像に対する構造的な適合度が高いといえる。本実施の形態では、相対関係として、注目画素と周囲８マスの画素の関係（構造的な適合度）をそれぞれ相対位置関係正常構造データベースから取得する。最終的な適合度としては、周囲８マスのそれぞれの構造的な適合度の平均値または最大値を用いる。
【０１１９】
ステップＳ２５では、病変判定部１８０が、ステップＳ２３において得られた最近傍ベクトルとの距離と、ステップＳ２４において得られた局所特徴量間の構造関係とから病変の判定を行う。本実施の形態では、局所的な特徴量と構造的な適合度の２つの判定基準を用いて病変判定を行う。
【０１２０】
局所的な特徴による病変判定には、ステップＳ２３において求められた、検査画像基底係数ベクトルと局所特徴正常構造ベクトルとの距離を用いる。この距離が第１閾値以上の場合は、注目画素の局所特徴量は正常画像の中には現れなかった特徴であり、注目画素を病変部分と判断することができる。
【０１２１】
病変有無の判定閾値は過去症例から算出し、病変判定閾値データベース１９０に格納される。
【０１２２】
図１５は、病変有無の判定閾値の求め方の一例を示す図である。病変部の存在が医師により確認された病変画像を過去症例から多数取得し、病変部分の位置を予め教師付けしておく。つまり、予め病変部の位置を指定しておく。次に、画像特徴量算出部１１０がシフト不変特徴量をベクトルの要素とする病変画像特徴量ベクトルを、画素ごとに算出する。この時、画像特徴量算出部１１０は、病変画像を病変部分と正常部分に分けて病変画像特徴量ベクトルを算出し、病変部分からは病変部分画像特徴量ベクトルｆｄ、正常部分からは正常部分画像特徴量ベクトルｆｎを得る。
【０１２３】
病変部分画像特徴量ベクトルｆｄ、正常部分画像特徴量ベクトルｆｎは、基底表現部１２０で式６のベクトルｆｐに代入され、それぞれ病変部分基底係数ベクトルαｄ、正常部分基底係数ベクトルαｎに変換される。
【０１２４】
次に、最近傍ベクトル取得部１４０が、すべての病変部分基底係数ベクトルαｄ、正常部分基底係数ベクトルαｎに最も近い正常画像基底係数ベクトルαをそれぞれ見つけ出し、それぞれ距離を求める。
【０１２５】
以上の処理により、正常部分における距離、異常部分における距離がそれぞれ算出される。この情報を教師として、閾値に従って病変の判断を行った際に、病変部分、正常部分を最も良く分離できるような（正解数が最大となる）第１閾値を決定する。
【０１２６】
構造的な適合度の評価では、病変判定部１８０は、ステップＳ２４において得られた構造的な適合度から病変判定を行う。局所特徴量の場合と同様に、予め病変判定閾値である第２閾値を求めておき、閾値処理によって病変判断を行う。局所特徴量による病変判定に加え、構造的な適合度を判断することにより、図１０のような局所特徴量のみでは判別できない構造的な適合度を判定することが可能となる。
【０１２７】
ステップＳ２６では、出力部２００が、ステップＳ２５において得られた病変部の判定結果を出力する。例えば、出力部２００は、病変部が存在すると判定された場合には、病変部分の画素値を特定の色の画素値で置き換えて、病変部の存在とその位置を画像として表示する。
【０１２８】
以上の処理により、シフト不変な局所画像特徴量を利用することで画像間の位置合わせが不要な病変検出を実現することができる。さらに局所特徴量間の相対位置関係を構造として利用することで、局所特徴量のみでは判定できない構造的な正常／異常を判定することが可能な病変検出を実現することができる。
【０１２９】
本実施の形態によると、正常画像から算出されるシフト不変特徴量と検査画像から算出されるシフト不変特徴量とを同一の基底ベクトルで表現している。このため、正常画像と検査画像との位置合わせのためのランドマーク設定が不要である。また、検査画像のシフト不変特徴量のクラスタリング結果から得られるクラスの相対的な位置関係と、正常画像のシフト不変特徴量のクラスタリング結果から得られるクラスの相対的な位置関係との適合度を用いて画素選択を行っている。これにより、局所的な画像特徴量間の相対的な位置関係を知識として用いることにより、局所的な特徴のみでは表現できない、人体の構造を考慮に入れた、より正確な病変検出が可能となる。
【０１３０】
より具体的には、シフト不変特徴量を用い、検査画像と正常画像との比較を基底係数ベクトル間で行っている。このため、正常画像と検査画像の位置合わせを行うことなく、病変の有無を判定できる。位置合わせ工程が不要となることにより、ランドマークの設定方法の違いや設定位置のばらつきによる病変部の判定精度の低下が無くなり、病変部の判定精度が高い画像処理装置を提供することができる。また、正常画像におけるクラスの相対的な位置関係を示す構造的な適合度が第２閾値以下となる検査画像上の画素を選択している。このため、正常画像の構造と異なる構造を有する検査画像上の画素を選択することができる。つまり、局所的な特徴のみでは表現できない、人体の構造を考慮に入れた、より正確な病変検出が可能となる。
【０１３１】
また、正常画像で所定の位置関係に位置する画素同士のクラスの出現確率を適合度として用いていることにより、正常画像にあまり表れないクラスの組み合わせが検査画像に出現した場合に、病変部として検出することができる。
【０１３２】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１３３】
すなわち、このプログラムは、コンピュータに、検査対象の画像である検査画像を取得する検査画像取得ステップと、取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するステップと、各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした場合の、クラスの前記複数の正常画像における相対的な位置関係と、前記検査画像に含まれる各シフト不変量が属するクラスの前記検査画像における相対的な位置関係との適合度が所定閾値以下となる前記検査画像上の画素を選択するステップと、選択結果を出力するステップとを実行させる。
【０１３４】
以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１３５】
本発明は、医用画像から病変部を特定する画像処理装置等に適用可能である。
【符号の説明】
【０１３６】
１００  検査画像取得部
１０５  シフト不変特徴量算出部
１０６  選択部
１０７  画素選択部
１１０  画像特徴量算出部
１２０  基底表現部
１３０  基底ベクトル格納部
１４０  最近傍ベクトル取得部
１５０  局所特徴正常構造データベース
１６０  相対位置関係取得部
１７０  相対位置関係正常構造データベース
１８０  病変判定部
１９０  病変判定閾値データベース
２００  出力部
２１０  正常画像取得部
２２０  主成分分析部
２３０  基底ベクトル出力部
２４０  クラスタリング部
２５０  中心ベクトル出力部
２６０  相対位置関係算出部
２７０  相対位置関係出力部
３００  検査画像格納部
３１０、４００  画像処理装置
【図１】
2013175719.tif 000009
【図２】
2013175719.tif 000010
【図３】
2013175719.tif 000011
【図４】
2013175719.tif 000012
【図５】
2013175719.tif 000013
【図６Ａ】
2013175719.tif 000014
【図６Ｂ】
2013175719.tif 000015
【図７】
2013175719.tif 000016
【図８】
2013175719.tif 000017
【図９】
2013175719.tif 000018
【図１０】
2013175719.tif 000019
【図１１】
2013175719.tif 000020
【図１２】
2013175719.tif 000021
【図１３】
2013175719.tif 000022
【図１４】
2013175719.tif 000023
【図１５】
2013175719.tif 000024
【手続補正書】
【提出日】平成26年10月8日(2014.10.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検査対象の画像である検査画像を取得する検査画像取得部と、
前記検査画像取得部により取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するシフト不変特徴量算出部と、
各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした結果のクラス番号から求められた、所定の位置関係に位置する画素同士のクラス番号の出現確率を格納している相対位置関係正常構造データベースを用いて、前記検査画像に含まれる各画素のシフト不変特徴量が属するクラスのクラス番号であって前記所定の位置関係に位置する画素同士のクラス番号の、前記複数の正常画像における出現確率が所定閾値以下となる前記検査画像上の画素を選択する選択部と、
前記選択部による選択結果を出力する出力部と
を備える画像処理装置。
【請求項２】
前記シフト不変特徴量算出部は、
前記検査画像取得部により取得された前記検査画像から、複数のシフト不変特徴量をベクトルの要素とする検査画像特徴量ベクトルを、画素ごとに算出する画像特徴量算出部と、
前記複数の正常画像に含まれる複数の画素から算出される複数の正常画像特徴量ベクトルの基底ベクトルであって、各々が複数のシフト不変特徴量をベクトルの要素とする複数の正常画像特徴量ベクトルの基底ベクトルである正常画像基底ベクトルの線形和で前記検査画像特徴量ベクトルを記述した際の、係数を算出し、算出した前記係数をベクトルの要素とする検査画像基底係数ベクトルを、前記検査画像の画素ごとに算出する基底表現部とを含み、
前記選択部は、
各々が、正常画像特徴量ベクトルを前記正常画像基底ベクトルの線形和で記述した際の係数を要素とする正常画像基底係数ベクトルであって、前記複数の正常画像特徴量ベクトルから得られる複数の正常画像基底係数ベクトルをクラスタリングした場合の、各クラスに属する少なくとも１つ以上の正常画像基底係数ベクトルを代表する中心ベクトルを局所特徴正常構造ベクトルとして、当該中心ベクトルが属するクラスのクラス番号と共に格納している局所特徴正常構造データベースの中から、前記検査画像基底係数ベクトルに最も類似する局所特徴正常構造ベクトルを、前記検査画像の画素ごとに取得し、取得した各前記局所特徴正常構造ベクトルが属するクラスのクラス番号と、前記検査画像基底係数ベクトル及び取得した各前記局所特徴正常構造ベクトルの間の距離とを取得する最近傍ベクトル取得部と、
前記相対位置関係正常構造データベースを用いて、前記最近傍ベクトル取得部により取得された前記検査画像の画素ごとのクラス番号であって、前記所定の位置関係に位置する画素同士のクラス番号の、前記複数の正常画像における出現確率を取得する相対位置関係取得部と、
前記最近傍ベクトル取得部により得られた距離が第１閾値以上、または前記相対位置関係取得部で得られた出現確率が第２閾値以下である、前記検査画像上の画素を選択する画素選択部とを含み、
前記出力部は、前記画素選択部による選択結果を出力する
請求項１記載の画像処理装置。
【請求項３】
前記画素選択部は、前記最近傍ベクトル取得部により得られた距離が第１閾値以上、または前記相対位置関係取得部で得られた出現確率が第２閾値以下である、前記検査画像上の画素を、病変部の画素として判定する病変判定部を含み、
前記出力部は、前記病変判定部による判定結果を出力する
請求項２記載の画像処理装置。
【請求項４】
前記相対位置関係取得部は、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像において前記所定の位置関係に位置する画素同士のクラス番号を特定し、特定した前記所定の位置関係に位置する画素同士のクラス番号の、前記複数の正常画像における出現確率を、前記相対位置関係正常構造データベースから取得する
請求項２または３記載の画像処理装置。
【請求項５】
前記相対位置関係正常構造データベースは、画素間を結ぶ方向が所定の方向であり、かつ互いにクラス番号が異なる画素同士のクラス番号の出現確率を格納しており、
前記相対位置関係取得部は、前記最近傍ベクトル取得部により取得されたクラス番号を用いて、前記検査画像において、画素間を結ぶ方向が前記所定の方向であり、かつ互いにクラス番号が異なる画素同士のクラス番号の出現確率を、前記相対位置関係正常構造データベースから取得する
請求項２または３記載の画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置において利用される相対位置関係正常構造データベースを作成するための画像処理装置であって、
病変を含まない画像である複数の正常画像を取得する正常画像取得部と、
前記正常画像取得部により取得された前記複数の正常画像各々から、複数のシフト不変特徴量をベクトルの要素とする正常画像特徴量ベクトルを、画素ごとに算出する画像特徴量算出部と、
前記画像特徴量算出部により前記複数の正常画像に含まれる複数の画素から算出された複数の正常画像特徴量ベクトルを主成分分析することにより、前記複数の正常画像特徴量ベクトルの基底ベクトルである正常画像基底ベクトルと、前記複数の正常画像特徴量ベクトルを前記正常画像基底ベクトルを用いて基底変換した結果の複数の正常画像基底係数ベクトルとを取得する主成分分析部と、
前記主成分分析部により取得された前記正常画像基底ベクトルを基底ベクトル格納部に書き込む基底ベクトル出力部と、
前記複数の正常画像基底係数ベクトルをクラスタリングすることにより、クラスごとに、当該クラスに属する少なくとも１つ以上の正常画像基底係数ベクトルを代表する中心ベクトルを取得するクラスタリング部と、
前記クラスタリング部で取得された中心ベクトルを当該中心ベクトルが代表するクラスのクラス番号と共に局所特徴正常構造データベースに書き込む中心ベクトル出力部と、
前記クラス番号から求められる、前記複数の正常画像における所定の位置関係に位置する画素同士のクラス番号の出現確率を算出する相対位置関係算出部と、
前記相対位置関係算出部により算出された出現確率を前記相対位置関係正常構造データベースに書き込む相対位置関係出力部と
を備える画像処理装置。
【請求項７】
前記シフト不変特徴量は、ウェーブレット係数、ＨＬＡＣ特徴量、ＳＩＦＴ特徴量またはＨＯＧ特徴量を含む
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像は、放射線画像、超音波画像または病理標本画像を含む
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
検査対象の画像である検査画像を取得する検査画像取得ステップと、
取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するステップと、
各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした結果のクラス番号から求められた、所定の位置関係に位置する画素同士のクラス番号の出現確率を格納している相対位置関係正常構造データベースを用いて、前記検査画像に含まれる各画素のシフト不変特徴量が属するクラスのクラス番号であって前記所定の位置関係に位置する画素同士のクラス番号の、前記複数の正常画像における出現確率が所定閾値以下となる前記検査画像上の画素を選択するステップと、
選択結果を出力するステップと
を含む画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一態様に係る画像処理装置は、検査対象の画像である検査画像を取得する検査画像取得部と、前記検査画像取得部により取得された前記検査画像から、画素ごとに所定の基底ベクトルで基底表現されたシフト不変特徴量を算出するシフト不変特徴量算出部と、各々が病変部を含まない画像である複数の正常画像に含まれる複数の画素から算出される、前記所定の基底ベクトルで基底表現された複数のシフト不変特徴量をクラスタリングした結果のクラス番号から求められた、所定の位置関係に位置する画素同士のクラス番号の出現確率を格納している相対位置関係正常構造データベースを用いて、前記検査画像に含まれる各画素のシフト不変特徴量が属するクラスのクラス番号であって前記所定の位置関係に位置する画素同士のクラス番号の、前記複数の正常画像における出現確率が所定閾値以下となる前記検査画像上の画素を選択する選択部と、前記選択部による選択結果を出力する出力部とを備える。
【国際調査報告】
2013175719.tif 000025
2013175719.tif 000026
2013175719.tif 000027