(57)【要約】【課題】  不要領域の視認性を低下させることにより画像データの視認性を向上させること。【解決手段】  音響波に基づくボリュームデータを用いて生成された複数の第１の画像データを取得する。複数の前記第１の画像データから特徴点を抽出する。前記抽出された特徴点の分布を用いて、１または複数の前記第１の画像データに不要領域を設定する。前記不要領域が設定された１または複数の前記第１の画像データにおいて、前記不要領域の画素値を低減する。前記不要領域の画素値が低減された１または複数の前記第１の画像データと、前記不要領域を含んでいない１または複数の前記第１の画像データとを用いて、第２の画像データを生成する。【選択図】  図１１
2019097591.tif 000002
【特許請求の範囲】
【請求項１】
音響波に基づくボリュームデータを用いて生成された複数の第１の画像データを取得する取得手段と、
複数の前記第１の画像データから特徴点を抽出する抽出手段と、
前記抽出された特徴点の分布を用いて、１または複数の前記第１の画像データに不要領域を設定する設定手段と、
前記不要領域が設定された１または複数の前記第１の画像データにおいて、前記不要領域の画素値を低減する画像処理手段と、
前記不要領域の画素値が低減された１または複数の前記第１の画像データと、前記不要領域を含んでいない１または複数の前記第１の画像データとを用いて、第２の画像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記設定手段は、少なくとも１つの前記第１の画像データにおいて基準点を設定し、前記基準点と前記特徴点の分布とを用いて、前記不要領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像データが示す画像と、前記第１の画像データに含まれる前記特徴点に関する情報とを表示部に表示させる表示制御手段
を更に備え、
前記設定手段は、前記表示された画像上に指定された点を基準点として設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記特徴点に関する情報は、前記特徴点の分布を示す二次元ヒストグラムであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴点に関する情報は、前記特徴点の密度を推定した画像であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記表示制御手段は、更に、表示中の前記第１の画像データとは異なる他の前記第１の画像データに切り替えるためのＧＵＩを前記表示部に表示させることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、最大値投影法により、前記第２の画像データを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記不要領域の画素値が低減された１または複数の前記第１の画像データと、前記不要領域を含んでいない１または複数の前記第１の画像データとを合成することにより、前記第２の画像データを生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記ボリュームデータは、被検体の乳房に対して光音響測定を行うことにより取得されたデータであり、
前記不要領域は、前記被検体の乳頭周辺に相当する領域であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
音響波に基づくボリュームデータを用いて生成された複数の第１の画像データを取得する取得ステップと、
複数の前記第１の画像データから特徴点を抽出する抽出ステップと、
前記抽出された特徴点の分布を用いて、１または複数の前記第１の画像データに不要領域を設定する設定ステップと、
前記不要領域が設定された１または複数の前記第１の画像データにおいて、前記不要領域の画素値を低減する画像処理ステップと、
前記不要領域の画素値が低減された１または複数の前記第１の画像データと、前記不要領域を含んでいない１または複数の前記第１の画像データとを用いて、第２の画像データを生成する生成ステップと、
を備えることを特徴とする画像処理方法。
【請求項１１】
音響波に基づくボリュームデータを用いて生成された複数の第１の画像データを取得する取得ステップと、
複数の前記第１の画像データから特徴点を抽出する抽出ステップと、
前記抽出された特徴点の分布を用いて、１または複数の前記第１の画像データに不要領域を設定する設定ステップと、
前記不要領域が設定された１または複数の前記第１の画像データにおいて、前記不要領域の画素値を低減する画像処理ステップと、
前記不要領域の画素値が低減された１または複数の前記第１の画像データと、前記不要領域を含んでいない１または複数の前記第１の画像データとを用いて、第２の画像データを生成する生成ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
光音響イメージングは、光を照射することで光吸収体から発生した音響波を受信して、光吸収体の空間分布を画像化することができるイメージング装置である。生体に適用することで、非侵襲的に血管イメージングをすることが可能である。
【０００３】
光音響イメージング装置においては、皮膚表面から発生する光音響波により、生体内部の関心部位からの信号を可視化されにくくなるという問題があることが分かっている。
【０００４】
特許文献１では、光音響波の信号強度に基づいて皮膚領域を検出し、その近傍領域の信号強度を低減させる手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３―１８８４６１号公報
【非特許文献】
【０００６】
【非特許文献１】Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ  Ｄａｖｉｄ  Ｇ．  Ｌｏｗｅ  ｅｔ  ａｌ．  ２００４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
光音響イメージング装置で、乳房を撮像すると、皮膚表面のみならず、乳頭・乳輪に由来する強い信号が検知される。この乳頭とその周辺組織に由来する強い信号は、血管の可視化を目的とした場合には、不要な信号となる。特許文献１にて開示される方法を用いた場合には、皮膚表面にある乳頭由来の信号のみ低減させることができるが、実際には皮膚よりやや深い位置にも不要領域が存在する。また、これを低減させるために、皮膚近傍領域として判断する範囲を一律に広げる方法が考えられるが、本来の関心領域の信号も併せて低減させてしまう可能性がある。
【０００８】
そこで、本発明は、不要領域の視認性を低下させることにより画像データの視認性を向上させることを目的とする。
【０００９】
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、音響波に基づくボリュームデータを用いて生成された複数の第１の画像データを取得する取得手段と、複数の前記第１の画像データから特徴点を抽出する抽出手段と、前記抽出された特徴点の分布を用いて、１または複数の前記第１の画像データに不要領域を設定する設定手段と、前記不要領域が設定された１または複数の前記第１の画像データにおいて、前記不要領域の画素値を低減する画像処理手段と、前記不要領域の画素値が低減された１または複数の前記第１の画像データと、前記不要領域を含んでいない１または複数の前記第１の画像データとを用いて、第２の画像データを生成する生成手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、不要領域の視認性を低下させることにより画像データの視認性を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】光音響イメージング装置によって、乳房を撮影してボリュームデータを得たのち、Ａｘｉａｌ  Ｐｌａｎｅの断面とＣｏｒｏｎａｌ  Ｐｌａｎｅの断面を画像化した一例を示す図である。
【図２】画像上の局所的な特徴量を一般的な画像処理の手法により取得した一例を示す図である。
【図３】画像の局所特徴量の検出に関する一般的な手法の処理手順の一例を示す図である。
【図４】光音響イメージングの原理を説明するための図である。
【図５】酸素化ヘモグロビンと脱酸素化ヘモグロビンの吸光スペクトルのグラフの一例を示す図である。
【図６】光音響装置の構成の一例を示す図である。
【図７】乳房を被検体として光音響測定を行うことで得られた被検体画像の一例を示す図である。
【図８】乳頭周辺領域由来の信号を低減させた状態で最大値投影法により乳房の画像を得るための処理手順の一例を示す図である。
【図９】ステップＳ８０７で表示される画面例を示す図である。
【図１０】不要領域を定義するためのＧＵＩの一例を示す図である。
【図１１】乳頭周辺領域の信号を除去しないで最大値投影法により作成した乳房の画像と、不要領域であると定義した領域の信号を除去してから最大値投影法により作成した乳房の画像の一例を示す図である。
【図１２】特徴点の分布密度の画像の一例を示す図である。
【図１３】乳頭部に特異的に観察される酸素飽和度と同等の酸素飽和度を示す画素の分布の一例を示す図である。
【図１４】画像処理装置１４００の機能構成の一例を示す図である。
【図１５】第三の実施形態における処理手順を示す図である。
【発明を実施するための形態】
【００１３】
図１（ａ）は、光音響イメージング装置によって、乳房を撮影してボリュームデータを得たのち、Ａｘｉａｌ  Ｐｌａｎｅの断面を画像化したものである。
【００１４】
ヘモグロビンの吸収が大きい波長の光を照射して、乳房の光音響イメージングを実施すると、ヘモグロビンに由来する光音響波を画像化することができる。これにより、乳房内の血管を可視化することができるようになる。
【００１５】
生体に光を照射した際に得られる光音響波の大部分は血管中のヘモグロビンにおける光吸収に由来するものであるが、一部皮下の組織におけるメラニン色素にも非特異的な光吸収があるため、例えば、ほくろや毛などからも光音響波が発生する。乳房を対象に光音響イメージングを行った場合には、これに加えて乳頭・乳輪に由来する光音響波が発生し、画像化される際のノイズ源となる。
【００１６】
図１（ａ）の符号１１に示す領域は、乳頭に由来する信号が画像化されている領域を示す。図１（ａ）の符号１１に示す付近には、乳頭・乳輪に由来する信号が多く、周辺の血管由来の信号の有無が分かりづらくなっている。図１（ｂ）に示すように、Ｃｏｒｏｎａｌ  Ｐｌａｎｅの断面をＭａｘｉｍｕｍ  Ｉｎｔｅｎｓｉｔｙ  Ｐｒｏｊｅｃｔｉｏｎ法（最大値投影法、ＭＩＰ）にて画像化した場合には、特にその影響が顕著である。
【００１７】
乳頭・乳輪は皮膚表面付近の組織であるため、特許文献１にて開示される手法に基づき皮膚表面付近の信号を除去することで、ある程度の信号を削除することができる。しかし、特許文献１にて開示される手法では、皮膚表面の信号を一律に除去する手法であるため、皮膚からやや深い位置の乳頭・乳輪由来の信号を除去することができない。また、皮膚表面付近の乳頭・乳輪付近の信号のみを除去することも困難である。
【００１８】
そこで、本発明者らは上記課題を鑑みて、関心領域の血管由来の信号を可視化する際に、乳頭・乳輪部に由来する光音響信号を抽出し、これを他の領域と区別する方法を考案した。
【００１９】
以下、図を用いて、本発明に係る乳頭・乳輪部に由来する光音響信号を他の領域と区別する手段について説明する。
【００２０】
各実施形態を説明する前に、各実施形態で行われる、画像上の局所的な特徴量を抽出するための画像処理の手法について説明する。図２は、画像上の局所的な特徴量を一般的な画像処理の手法により取得し、図示した例である。図２（ａ）の画像に対して、特徴量抽出処理を行い、特徴量の大きい箇所を重畳して表示したものが図２（ｂ）である。
【００２１】
画像の局所特徴量の検出に関する一般的な手法について、非特許文献１を参照しながら、図３に示すフローチャートを用いて説明する。以下に示す各処理は、画像処理装置の制御部が実行するものとして説明するが、あくまで一例であり、これに限らない。また、画像の局所特徴量の検出に関する手法は、以下の手法に限らない。
【００２２】
まず、図３におけるＳ３０１では、制御部が対象とする画像を読み込む。この時、対象とする画像がカラー画像である場合には、制御部は、画像を読み込む際にグレースケール画像に変換する。
【００２３】
続いて、ステップＳ３０２では、制御部が画像にぼかし処理を行い、ステップＳ３０３では、制御部がぼかし処理が行われた画像からコントラストの高い場所を抽出する。ステップＳ３０４では、制御部はぼかし強度を変更し、さらにステップＳ３０２とステップＳ３０３を繰り返す。ステップＳ３０２、Ｓ３０３、Ｓ３０４を指定回数繰り返した結果、スケール変化に対して頑強な画素が特徴点の候補として抽出される（ステップＳ３０５）。この際、コントラスト強度が強いだけではなく、全方向に対して画素値の変化が観測される場所を、特徴点の候補として選択する。
【００２４】
続いて、ステップＳ３０６では、制御部は特徴点候補となった画素とその周辺の画素の画素値を用いて、画素値の強度の勾配を求める。特徴点候補となった画素とその周辺の画素を観察領域として設定し、観察領域の画像とその画像に対するぼかし画像を合わせて、画素値の勾配とその角度ごとの頻度を計算する。この頻度情報をベクトルで表現したものが画像の局所特徴量であり、任意に指定する閾値以上の局所特徴量を持つ点が特徴点である（ステップＳ３０７）。
【００２５】
以上の手法により、画像上には、拡大・縮小・回転・輝度変化に対して頑強な局所特徴量を持つ特徴点を抽出することができる。
【００２６】
次に、各実施形態における光音響装置について説明する。
【００２７】
本発明に係る光音響装置は、被検体に光（電磁波）を照射することにより被検体内で発生した音響波を受信して、被検体の特性情報を画像データとして取得する光音響効果を利用した装置である。この場合、特性情報とは、光音響波を受信することにより得られる受信信号を用いて生成される、被検体内の複数位置のそれぞれに対応する特性値の情報である。
【００２８】
光音響測定により取得される特性情報は、光エネルギーの吸収率を反映した値である。例えば、光照射によって生じた音響波の発生源、被検体内の初期音圧、あるいは初期音圧から導かれる光エネルギー吸収密度や吸収係数、組織を構成する物質の濃度を含む。
【００２９】
また、異なる複数波長の光によって発生する光音響波に基づいて、被検体を構成する物質の濃度といった分光情報が得られる。分光情報は、酸素飽和度、酸素飽和度に吸収係数等の強度を重み付けした値、トータルヘモグロビン濃度、オキシヘモグロビン濃度、またはデオキシヘモグロビン濃度であってもよい。また、グルコース濃度、コラーゲン濃度、メラニン濃度、または脂肪や水の体積分率であってもよい。
【００３０】
以下に説明する実施形態では、ヘモグロビンを吸収体として想定した波長の光を被検体に照射することで、被検体内の血管の分布・形状のデータと、その血管における酸素飽和度分布のデータを取得し、画像化する光音響イメージング装置を想定する。
【００３１】
被検体内の各位置の特性情報に基づいて、二次元または三次元の特性情報分布が得られる。分布データは画像データとして生成され得る。特性情報は、数値データとしてではなく、被検体内の各位置の分布情報として求めてもよい。すなわち、初期音圧分布、エネルギー吸収密度分布、吸収係数分布や酸素飽和度分布などの分布情報である。
【００３２】
本明細書における音響波とは、典型的には超音波であり、音波、光音響波と呼ばれる弾性波を含む。探触子等により音響波から変換された電気信号を音響信号とも呼ぶ。ただし、本明細書における超音波または音響波という記載には、それらの弾性波の波長を限定する意図はない。光音響効果により発生した音響波は、光音響波または光超音波と呼ばれる。光音響波に由来する電気信号を光音響信号とも呼ぶ。なお、本明細書において、光音響信号とは、アナログ信号とデジタル信号の双方を含む概念である。分布データは、光音響画像データや再構成画像データとも呼ばれる。
【００３３】
図４を参照して、光音響イメージングの原理を説明する。
【００３４】
図４には、光源４０１、音響波プローブ４０２、被検体４０３、被検体内部に存在する光吸収体４０４、光源から照射される光４０５、光吸収体４０４から発せられる音響波４０６が含まれる。
【００３５】
光源４０１から、被検体４０３に対して光４０５が照射されると、光４０５が被検体４０３の内部に到達し、光吸収体４０４にて吸収される。この際に音響波４０６が発生し、音響波プローブ４０２に到達する。音響波プローブ４０２で受信された音響波４０６は、電気信号に変換され、光の照射タイミングや、被検体内における伝搬速度などに基づいた演算によって画像化され、画面に表示される。
【００３６】
光吸収体４０４として赤血球中のヘモグロビンを対象にした場合、ヘモグロビンに特異的に吸収される波長の光を照射する。これにより得られる画像は、生体内におけるヘモグロビンの偏在を示したものとなる。ヘモグロビンは赤血球内に多く存在するため、これにより、赤血球が存在する血管の像を得ることができる。
【００３７】
図５は、酸素化ヘモグロビンと脱酸素化ヘモグロビンの吸光スペクトルを示したグラフである。グラフの横軸は波長（ｎｍ）を示し、グラフの縦軸は、吸収スペクトル（ｃｍ−１／Ｍ）を示す。このグラフにおいて、符号５０１で示した実線は酸素化ヘモグロビンの吸光スペクトルを示し、符号５０２で示した破線は脱酸素化ヘモグロビンの吸光スペクトルを示す。酸素化ヘモグロビンと脱酸素化ヘモグロビンの吸光スペクトルの差がある波長の光を被検体に照射し、得られた音響波を解析することで、被検体内の酸素化ヘモグロビンと脱酸素化ヘモグロビンの存在比を取得することができる。
【００３８】
（第一の実施形態）
以下、図６を用いて、本発明の第一の実施形態に係る光音響装置の構成を説明する。なお、以下の説明する光音響装置の構成はあくまで一例であり、これに限らない。
【００３９】
図６に示す光音響装置は、光源６０１、光学系６０２、音響整合材６０３、音響波探触子６０４、信号処理部６０５、データ処理部６０６、表示部６０７を含んで構成される。データ記憶部６０８は、データ処理部６０６とバスあるいはネットワークを通じて接続されている。符号６０９は被検体であり、符号６１０は被検体内部にある光吸収体を示す。
【００４０】
光源６０１は、被写体に照射するパルス光を発生させる装置である。光源は、大出力を得るためにレーザ光源であることが望ましいが、レーザの代わりに発光ダイオードやフラッシュランプを用いることもできる。光源としてレーザを用いる場合、個体レーザ、ガスレーザ、色素レーザ、半導体レーザなど様々なものが使用できる。
【００４１】
また、パルス光の波長は、被検体を構成する成分のうち特定の成分に吸収される特定の波長であって、被検体内部まで光が伝搬する波長であることが望ましい。具体的には、７００ｎｍ以上１２００ｎｍ以下であることが望ましい。この領域の光は、比較的生体深部まで到達することができ、深部の情報を得ることができる。
【００４２】
また、光音響波を効果的に発生させるためには、被検体の熱特性に応じて十分短い時間に光を照射させなければならない。本実施形態に示すように被検体が生体である場合は、光源から発生するパルス光のパルス幅は数十ナノ秒以下が好適である。
【００４３】
なお、光照射のタイミング、波形、強度等は、不図示の制御手段によって制御される。
【００４４】
光学系６０２は、光源６０１から発せられたパルス光を伝送する部材である。光源６０１から出射された光は、レンズやミラーなどの光学部品により、所定の光分布形状に加工されながら被検体に導かれ、照射される。なお、光ファイバなどの光導波路などを用いて光を伝搬させることも可能である。
【００４５】
光学系６０２は、例えば、レンズ、ミラー、プリズム、光ファイバ、拡散板、シャッター、フィルタなどの光学機器を含んでいてもよい。光源６０１から発せられた光を被検体６０９に所望の形状で照射できれば、光学系６０２には、どのような光学部品を用いてもよい。なお、光はレンズで集光させるより、ある程度の面積に広げる方が、生体への安全性ならびに診断領域を広げられるという観点で好ましい。
【００４６】
音響波探触子６０４は、被検体６０９の内部から到来する音響波を受信して、アナログの電気信号に変換する手段である。音響波探触子は、探触子、音響波検出素子、音響波検出器、音響波受信器、トランスデューサとも呼ばれる。生体から発生する音響波は、１００ＫＨｚから１００ＭＨｚの超音波であるため、音響波探触子には、上記の周波数帯を受信できる素子を用いる。具体的には、圧電現象を用いたトランスデューサ、光の共振を用いたトランスデューサ、容量の変化を用いたトランスデューサなどを用いることができる。
【００４７】
また、音響素子は、感度が高く、周波数帯が広いものを用いることが望ましい。具体的にはＰＺＴ（チタン酸ジルコン酸鉛）などを用いた圧電素子、ＰＶＤＦ（ポリフッ化ビニリデン）などの高分子圧電膜材料、ＣＭＵＴ（容量性マイクロマシン超音波トランスデューサ）、ファブリペロー干渉計を用いたものなどが挙げられる。ただし、ここに挙げたものだけに限定されず、探触子としての機能を満たすものであれば、どのようなものであってもよい。
【００４８】
なお、音響波探触子６０４と被検体６０９の間には、音響インピーダンスを整合させるための部材である音響整合材６０３が配置される。音響整合材６０３には、ジェルや水、オイルなどを利用することができる。
【００４９】
信号処理部６０５は、取得したアナログの電気信号を増幅してデジタル信号に変換する手段である。信号処理部６０５は、受信信号を増幅する増幅器、アナログの受信信号をデジタル変換するＡ／Ｄ変換器、受信信号を記憶するＦＩＦＯ等のメモリと、ＦＰＧＡチップ等の演算回路を用いて構成されてもよい。また、信号処理部６０５は、複数のプロセッサや演算回路から構成されていてもよい。
【００５０】
データ処理部６０６は、デジタル変換された光音響信号に基づいて、被検体内部の光吸収係数や酸素飽和度等といった被検体情報を生成する手段である。具体的には、収集した光音響信号に基づいて、三次元の被検体内の初期音圧分布を生成する。初期音圧分布の生成には、例えば、ユニバーサルバックプロジェクション（ＵＢＰ）アルゴリズムや、ディレイアンドサムアルゴリズムを用いることができる。
【００５１】
また、データ処理部６０６は、被検体６０９に照射される光の光量に基づいて、被検体内の三次元の光強度分布を生成する。三次元の光強度分布は、二次元の光強度分布に関する情報から光拡散方程式を解くことで取得できる。
【００５２】
この他にも、データ処理部６０６は、初期音圧分布と光強度分布に基づいて、三次元の吸収係数分布を生成する機能や、複数波長の光に基づいて生成した吸収係数分布から、酸素飽和度分布を生成する機能などを有している。
【００５３】
データ処理部６０６は、ＣＰＵとＲＡＭ、不揮発メモリ、制御ポートを有するコンピュータ（画像処理装置）で構成してもよい。少なくとも１つの不揮発メモリに格納されたプログラムが少なくとも１つのＣＰＵで実行されることにより制御が行われる。データ処理部６０６は、汎用コンピュータや、専用に設計されたワークステーションによって実現されてもよい。また、データ処理部６０６の演算機能を担うユニットは、ＣＰＵやＧＰＵ等のプロセッサ、ＦＰＧＡチップ等の演算回路で構成されていてもよい。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
【００５４】
また、データ処理部６０６の記憶機能を担うユニットは、ＲＯＭ、磁気ディスクやフラッシュメモリなどの非一時記憶媒体や、ＲＡＭなどの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、これらのユニットは、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。データ処理部６０６の制御機能を担うユニットは、ＣＰＵなどの演算素子で構成される。
【００５５】
表示部６０７は、データ処理部が取得した情報およびその加工情報を表示する手段であり、典型的にはディスプレイ装置である。表示部６０７は、複数の表示部を備え、並列表示が可能な構成であってもよい。
【００５６】
データ記憶部６０８は、磁気ディスクなどから構成された記憶手段であり、データ処理部と内部バスあるいはネットワークを介して接続される。
【００５７】
被検体６０９は、光音響イメージング装置の一部を構成するものではないが、以下に説明する。本実施形態に係る光音響イメージング装置は、人や動物の疾患部など体内の状態を画像として可視化する装置である。よって、被検体としては、生体、具体的には、乳房、手足、指などが想定されるが、本実施形態では乳房を想定するものとする。
【００５８】
乳房の内部には、血管が走行しており、酸素化ヘモグロビン、還元脱酸素化ヘモグロビンなど、光吸収係数の大きい光吸収体６１０が存在するため、光照射に起因して光音響波が発生する。この光音響波を画像として再構成することで、乳房内のヘモグロビン分布が可視化される。ヘモグロビンは主に赤血球内に存在し、赤血球は血管内に存在することから、血管の構造が画像として可視化される。また、複数の波長の光を照射することで、酸素化ヘモグロビンと還元脱酸素化ヘモグロビンの存在比を可視化することも可能である。
【００５９】
＜測定の概要＞
次に、本実施形態に係る光音響装置が、被検体である生体を測定する方法について説明する。
【００６０】
まず、光源６０１から発せられたパルス光が、光学系６０２を通じて、被検体６０９に照射される。被検体６０９の内部を伝搬した光のエネルギーの一部が血液などの光吸収体６１０に吸収されると、熱膨張により当該光吸収体から音響波が発生する。生体内にがんが存在する場合は、がんの新生血管において他の正常部の血液と同様に光が特異的に吸収され、音響波が発生する。生体内で発生した光音響波は、音響波探触子６０４によって受信される。
【００６１】
音響波探触子６０４が受信した信号は、信号処理部６０５で変換されたのち、データ処理部６０６で解析される。解析結果は、生体内の特性情報（例えば、初期音圧分布や吸収係数分布）を表すボリュームデータ（以下、光音響データ）となり、二次元の画像に変換されたのちに表示部６０７を介して出力される。
【００６２】
また、データ処理部６０６にてデータ化された、光吸収体６１０に由来する光音響データは、データ記憶部６０８に記憶される。この際、被検体や、測定に関する他の情報を関連付けてもよい。データ記憶部６０８に記憶されるデータには、測定によって得られたボリュームデータ、画像データ、被検体の情報、撮像時のパラメータ等が含まれる。
【００６３】
なお、データ記憶部６０８に記憶される光音響データは、三次元のボリュームデータが公的であるが、当該データから得られた二次元の画像データであってもよい。例えば、最大値投影法（ＭＩＰ）によって三次元データを二次元化したものであってもよいし、三次元データを任意の平面や曲面で切り出した二次元画像であってもよい。
【００６４】
＜検体画像の表示＞
図７は、乳房を被検体として光音響測定を行うことで得られた被検体画像の例である。具体的には、ヘモグロビンに吸収されやすい波長の光を乳房全体に照射し、得られた音響波に基づいてボリュームデータを生成し、最大値投影法を用いて二次元画像に変換して可視化した例である。図７に示した画像は、視点を正面方向とした冠状面（ｃｏｒｏｎａｌ  ｐｌａｎｅ）に対応する画像である。本実施形態では、Ｃｏｒｏｎａｌ  Ｐｌａｎｅの画像データを作成するものとして説明するが、これに限らず、用途や目的に応じて、Ａｘｉａｌ  ＰｌａｎｅやＳａｇｉｔａｌ  Ｐｌａｎｅであってもよい。
【００６５】
本実施形態に係る光音響装置の画像を対象とした情報処理装置は、乳房を対象として、血管を可視化することを目的としたＭＩＰ画像に基づいて、血管以外の信号源である乳頭周辺領域由来の信号を少なくとも低減して画像化する機能を有する。当該機能について、図８、図９を用いて説明する。
【００６６】
図８は、乳頭周辺領域由来の信号を低減した状態で最大値投影法により乳房の画像を得るためのフローチャートである。
【００６７】
ステップＳ８０１では、データ処理部６０６は、光音響データを読み込む。光音響データは、三次元のボリュームデータである。
【００６８】
ステップＳ８０２では、データ処理部６０６は、読み込んだ光音響データからＣｏｒｏｎａｌ  Ｐｌａｎｅの断面画像を最大値投影法により作成する。このステップにて作成される断面画像は、装置により設定されているスライス厚で光音響データをスライスした複数のＭＩＰ画像である。この際、被検体の皮膚表面を検出し、この皮膚表面が平面になるように変形させた画像を作成してもよい。また、スライス厚は、ユーザーにより設定された値を用いてもよい。
【００６９】
ステップＳ８０３では、データ処理部６０６は、ステップＳ８０２で作成した画像のうち、基準面の画像を表示部６０７に表示させる。基準面とは皮膚表面、乳頭の先端を含む水平面、画像生成した際の奥行の軸の原点を含む面など、任意に設定してよい。
【００７０】
ステップＳ８０４では、データ処理部６０６は、表示された皮膚表面の画像上において、乳頭の座標の指定を受け付ける。なお、このステップは、省略してもよい。また、ユーザーによる乳頭位置の指定は、マウスなどポインティングデバイスを使用しても良いし、座標を数値で入力するなどしても良い。また、光音響データの取得時に同時に撮影するなどしたキャプチャー画像を利用してもよい。
【００７１】
乳頭とその周辺領域を不要領域として定義するにあたり、乳頭位置が基準位置として定義されていることで、ユーザーが、体表面の体毛やほくろなどに由来する局所特徴量の多い他の場所と区別して、不要領域を判断できるようになる。ただし、乳頭位置を基準点として設定することは、本実施形態において必須のステップではない。
【００７２】
ステップＳ８０５では、データ処理部６０６は、ステップＳ８０３にて作成した画像を対象に、図３を用いて前述したフローチャートに基づくなどして、局所特徴量を計算し、特徴点を抽出する。なお、特徴点の抽出はこれに限らず、ＨＯＧ特徴量の抽出方法、ＯＲＢ法など公知の様々な手法を用いることができる。
【００７３】
ステップＳ８０６では、データ処理部６０６は、抽出した特徴点の二次元分布を画像化する。
【００７４】
ステップＳ８０７では、データ処理部６０６は、ステップＳ８０４にてユーザーが指定した乳頭位置をステップＳ８０６にて抽出された特徴点の画像上に重畳して、これを表示部６０７に表示させる。この際に、ステップＳ８０６にて作成した画像と、ステップＳ８０３にて作成した画像を自在に切り替えて表示できるようなＧＵＩになっていても良い。
【００７５】
ステップＳ８０７では、図９（ａ）に示すように特徴点の分布を点で表示したり、図９（ｂ）に示すように二次元ヒストグラムで表示したり、図９（ｃ）に示すように点密度を推定した画像として表示したりしても良い。また、これらの表示方法をＧＵＩ上で切り替えることができるようになっていても良い。
【００７６】
ステップＳ８０８では、データ処理部６０６は、ステップＳ８０４にて指定された乳頭位置周辺における特徴点の分布密度が高い領域を関心領域とは異なる不要領域であるとして定義する。
【００７７】
ここでステップＳ８０８の具体的な手順について説明する。まず、ステップＳ８０７において表示される、図１０に示す画面（ＧＵＩ）について説明する。
【００７８】
図１０は、不要領域の定義手段のＧＵＩの例である。図１０に示すウィンドウは、一般的なＧＵＩを持つコンピュータアプリケーションの実行時イメージを示す。なお、この画面構成はあくまで一例であり、用途や目的に応じて様々な構成例がある。そのため、各ＧＵＩは本発明を実施するために必ずしも備えている必要はない。
【００７９】
１００２は、図８に示すフローチャートにてステップＳ８０５を実施することで抽出した特徴点の分布をヒストグラム形式で表示する領域である。１００３に表示される画像に対して縦軸と横軸のそれぞれにヒストグラム形式のグラフが描画される。
【００８０】
１００３は、光音響データに基づく二次元の画像データが描画された画像を表示する領域である。この領域に表示される画像は、ボタン１００５の操作により、図９（ａ）（ｂ）（ｃ）に示すような情報に切り替えて表示することが可能である。すなわち、１００３は、表示中の第１の画像データとは異なる他の第１の画像データに切り替えるためのＧＵＩである。ユーザーは、ここに表示される特徴点の分布を可視化した情報と、１００２のヒストグラムの領域とを参考にして、乳頭とその周辺組織に由来する高信号領域を判断する。
【００８１】
１００４から１００８はユーザーが操作を行うためのボタンである。１００４は、１００３の領域に表示された画像上で乳頭位置をマウスなどのポインティングデバイスで指定したのちに、その位置が乳頭位置であるということを確定させるためのボタンである。このとき、確定された乳頭位置は、１０１０のように表示される。
【００８２】
１００５は、１００３の領域に表示する情報を切り替えるためのボタンである。これは、ボタンによる切替ではなく、ラジオボタン、トグルスイッチなどによる切替で実装されてもよい。
【００８３】
１００６は、１００２の領域に表示されるヒストグラムをもとに１００３の領域上に乳頭周辺の高輝度領域を推定するガイドライン１０１１の表示と非表示を切り替えるためのボタンである。これは、ウィンドウ上に表示される押下可能なボタン、表示・非表示を切り替えるラジオボタンやトグルボタン、あるいはメニューなどの形式であってもよい。
【００８４】
１００７は、指定した乳頭周辺領域の画素値の低減（減衰あるいは削除）を指示するためのボタンである。なお、削除ボタンと減衰ボタンの両方をＧＵＩとして配置してもよいし、図１０に示すように、いずれか一方のボタンを配置してもよい。また、ラジオボタンやトグルボタン、あるいはメニューなどの形式であってもよい。
【００８５】
１００８は、乳頭周辺領域の画素値を低減した画像データの保存を指示するためのボタンである。１００８のボタンが押下されると、データ記憶部６０８やＲＡＭに画像データが保存される。
【００８６】
１００９は、最大値投影法を行うためのボリュームデータのスライス厚を指定するための入力欄である。図１０中に示すような入力欄、あるいはスライドバー、メニューによる入力であってもよい。また、入力するスライス厚は、ボリュームデータを構成する画像の実際のスライスの枚数であってもよいし、それを実際の組織の厚さとしてミリメートル等の単位で入力する実装であってもよい。
【００８７】
１０１０は、マウスなどのポインティングシステムによって指定した乳頭位置を示すマーカーである。マーカーの色や形状は実際のプログラムの実装により異なる。乳頭位置マーカー１０１０は、図１０に示すような特徴点の分布画面上で設定してもよいし、測定時にあらかじめ撮影した画像から乳頭位置を取得して、座標を合わせることで１００３の画像表示領域上に重畳して表示してもよい。
【００８８】
１０１１は、１００２の領域に表示される特徴点のヒストグラムに基づき、１００３の領域上に表示されるガイドラインである。このガイドラインに囲まれる領域が乳頭周辺の信号強度が高い位置であることを示唆するものである。１０１１に示すガイドラインの作成方法は、一例として、乳頭の座標がヒストグラムの半値幅に含まれる場合に、頻度が半値となっている座標にガイドラインを表示する方法が挙げられる。あるいは、ヒストグラム形状を参照しながら設定した閾値を超える頻度の特徴点が観測される領域のもっとも外側の輪郭をガイドラインとして表示してもよい。ガイドライン１０１１はユーザーの操作によりボタン１００６などで、表示・非表示を切り替えられるようにしてもよい。
【００８９】
また、図１０の画面は、スライドバー等のＧＵＩ部品により、スライス位置を指定する機能を有してもよい。画像データをＣｏｒｏｎａｌ  Ｐｌａｎｅにて作成するためのスライス位置をスライドバー等のＧＵＩ部品にて指定できてもよい。また、スライス位置の数値を入力したり、メニューによって選択したりすることで、スライス位置を指定する機能を実現しても良い。
【００９０】
次に、不要領域の定義方法について説明する。ユーザーは、図１０に示されるＧＵＩにて、１００２に表示される特徴点のヒストグラムを参照しながら、不要領域をマウスなどのポインティングデバイスを使用することで指定する。例えば、データ処理部６０６は、ポインティングデバイスにより不要領域の境界となる輪郭線の描画指示を受け付けて、該輪郭線を描画し、この輪郭線で囲まれた範囲を不要領域として定義する。
【００９１】
あるいは、後述する第三の実施形態のように、特徴点の分布に関する情報を利用して、自動的に不要領域を判別してもよい。自動で判別された不要領域を１００３の領域に重畳して表示することで、ユーザーがマウスなどポインティングデバイスを用いて、自動で選別された不要領域を微調整することを可能としても良い。
【００９２】
以上のように、ユーザーは画面に表示された特徴点の分布に関する情報や基準点の情報等を参考にして、画像データに対して不要領域の定義を行う。
【００９３】
ステップＳ８１０では、データ処理部６０６は、画像データに対して不要領域が定義されたか否かを判定する。画像データが示す画像上に不要領域が描画され、１００８の保存ボタンが押下された場合には、不要領域が定義されたと判定し、ステップＳ８１４に処理を進める。ユーザーが画像データには不要領域が存在しないと判断し、不要領域を定義しなかった場合は、不要領域が定義されていないと判定し、ステップＳ８１２に処理を進める。
【００９４】
ステップＳ８１４では、データ処理部６０６は、ステップＳ８０７で定義された不要領域、すなわち乳頭周辺領域に相当する画素値を少なくとも低減する。画像データのうち、不要領域に相当する画素を特定し、特定された画素の画素値を限りなくゼロに低減する（あるいは減衰する）、またはゼロにする（すなわち、削除する）ことにより、画像データから乳頭に由来する信号を除去する。
【００９５】
ステップＳ８０９では、データ処理部６０６は、ステップＳ８１４にて作成した画像データをデータ記憶部６０８やＲＡＭ等の記憶手段に一時保存する。
【００９６】
ステップＳ８１１では、データ処理部６０６は、現在のスライス位置を皮膚表面からより体内の方向に進める。そして、新たなスライス位置に対応する画像データを処置対象として選択し、ステップＳ８０３に処理を戻す。このようにステップＳ８１１で処理がされる度に、処理対象の画像データが示すスライス位置を、皮膚表面等の体表から体内へ徐々に進めていく。
【００９７】
ステップＳ８１０において、不要領域が定義されていないと判定された場合、それ以上の深度においては、乳頭周辺領域に由来する不要領域は存在しないと判断し、不要領域を指定し削除するための処理は行わない。
【００９８】
ステップＳ８１２では、データ処理部６０６は、ステップＳ８１０において、乳頭周辺領域が定義されないと判断された深度より体内方向に向かってすべてのスライスを対象に最大値投影法にて合成した画像を作成し保存する。すなわち、乳頭周辺領域が定義されないと判断された深度から最も深い深度（最深度）までの全スライスを用いて、ＭＩＰ画像データを生成する。
【００９９】
ステップＳ８１３では、データ処理部６０６は、ステップＳ８０９にて作成され一時的に保存された１または複数の画像データと、ステップＳ８１２にて作成され保存された１または複数の画像データとを最大値投影法により合成した画像を作成する。
【０１００】
最後に、ステップＳ８１４では、データ処理部６０６は、ステップＳ８１３で作成された画像をデータ記憶部６０８に保存する。
【０１０１】
図１２は、ステップＳ８０７で表示される、特徴点の分布に関する情報が表示された画像の例である。図１２（ａ）から図１２（ｄ）へ、奥行き方向（皮膚表面から体内に向かう方向）の深度を変化させた画像を作成し、それぞれ局所特徴量の計算を実施し、特徴点分布を画像化したものである。図１２（ａ）では非常に特徴点の分布密度の高い領域が可視化されていることが分かる。そこで、ユーザーがこの特徴点の分布密度の高い領域を不要領域として定義し、定義された不要領域の画素値を低減した画像を保存した後に、図１２（ｂ）に示す特徴量画像が強調表示された画像を得る。図１２（ｂ）の次に得られる画像を示す図１２（ｃ）の深度では、特徴点の分布密度が極端に高い箇所がなくなっているため、ユーザーは不要領域を設定せずに１００８の保存ボタンを押下する。そして、次のステップであるＳ８１２に処理を進める。すなわち、図１２（ｂ）よりも深い位置を示す画像である図１２（ｃ）と図１２（ｄ）には不要領域が設定されない。
【０１０２】
図１１（ａ）は、乳頭周辺領域の信号を除去しないで最大値投影法により作成した乳房のＭＩＰ画像である。また、図１１（ｂ）は、不要領域であると定義した領域の信号を除去してから最大値投影法により作成した乳房のＭＩＰ画像を示す。
【０１０３】
図１１（ａ）においては、乳頭とその周辺組織に由来する信号強度が強いため、乳頭とその周辺組織よりも体内方向に存在する血管の構造を観察することができない。一方、本発明によれば、乳頭とその周辺組織に由来する信号を除去することができるため図１１（ｂ）に示すように、乳頭とその周辺組織の血管を観察することが可能になっている。
【０１０４】
図７、図１１（ａ）に示すように、光音響装置により得られたボリュームデータから生成した画像においては、乳頭とその周辺組織からは強い信号が得られるため、血管を可視化する目的で画像化した際には、ノイズ源となる。
【０１０５】
乳頭とその周辺組織については、画像からは明確な境界線が得られないため、この領域を機械的に指定して削除することは困難である。
【０１０６】
特に、Ｃｏｒｏｎａｌ  Ｐｌａｎｅで画像化した上で、スライスを深度方向に送った場合に、深さごとに乳頭とその周辺組織に由来する信号により血管の可視化が阻害される領域は変化するため、表面の画像から常に一定の領域を指定して削除するのは困難である。
【０１０７】
本発明によれば、画像の特徴点に着目し、その分布を可視化することで、ユーザーに対して、不要領域を容易に判断して定義できる手段を提供することができる。
【０１０８】
（第二の実施形態）
第一の実施形態においては画像の局所特徴量を用いて不要領域を定義したが、複数の波長の光を照射することで発生する光音響信号の信号強度比を用いて、不要領域を定義する方法を第二の実施形態として説明する。
【０１０９】
図５に示すように、照射する光の波長により、酸素化ヘモグロビンと脱酸素化ヘモグロビンの吸収スペクトルが異なることが分かっている。このことを利用して、複数の波長の光を照射することで、酸素化ヘモグロビンと脱酸素化ヘモグロビンの存在比を計算し、酸素飽和度を求めることが可能である。
【０１１０】
複数の波長の光を照射した際の光音響波のデータを元に酸素飽和度を計算し、画像化すると、乳頭とその周辺の組織は一定の酸素飽和度の血管であるかのように画像化されることが経験的に分かっている。
【０１１１】
このことから、図１０の１００２の領域に乳頭とその周辺の組織に由来して計算される酸素飽和度を示す画素の頻度をヒストグラムとして表示することで、第一の実施形態にて、局所特徴量の頻度分布を用いたのと同様に、不要領域を定義することが可能となる。
【０１１２】
第一の実施形態同様に、定義した不要領域の座標に相当するボリュームデータの領域の信号値を低減させることで、図１１（ｂ）に示すような血管像を得ることが可能となる。
【０１１３】
図１３は、乳頭部に特異的に観察される酸素飽和度と同等の酸素飽和度を示す画素の分布を示した図の例である。図９、図１０などに示した第一の実施形態に基づく、特徴点分布と同様に、画像領域の縦軸・横軸に沿った、該酸素飽和度を示す画素の頻度分布を表示する。
【０１１４】
図１３に示す画像を参考にして、ユーザーは、不要領域の定義を容易に行うことが可能となる。
【０１１５】
（第三の実施形態）
前述した第一の実施形態では、ユーザーが範囲指定した領域を不要領域として設定する一例を説明した。第三の実施形態では、ユーザーが不要領域の指定を行わなくとも、自動的に画像データから不要領域を特定し、該不要領域を除去した画像を生成する形態について説明する。
【０１１６】
第三の実施形態についても、第一の実施形態と同様の光音響装置を用い、乳頭に由来する信号を除去する一例を説明する。
【０１１７】
図１４は、第三の実施形態における画像処理装置１４００の機能構成の一例を示す図である。本実施形態における画像処理装置１４００は、前述した各実施形態におけるデータ処理部６０６に相当する。なお、画像処理装置は、表示部６０７やデータ記憶部６０８を備えてもよい。また、図１４には図示していないが、図６に示す他の構成部を備えてもよい。
【０１１８】
画像処理装置は、第一の実施形態と同様に、ＣＰＵやＧＰＵ等のプロセッサが、ＲＯＭ、磁気ディスク、フラッシュメモリ等の非一時記憶媒体やＲＡＭなどの揮発性の記憶媒体と協働して動作する。すなわち、少なくとも１つのプロセッサが少なくとも１つのメモリに格納されたプログラム（指示）を実行することで、各機能が実現される。なお、画像処理装置は、いわゆるクラウドシステム（１または複数の仮想サーバ）として動作してもよい。
【０１１９】
本実施形態における画像処理装置１４００は、取得部１４０１、抽出部１４０２、設定部１４０３、画像処理部１４０４、生成部１４０５、表示制御部１４０６を機能部として備えている。なお、本発明を実施するにあたり、表示制御部１４０６は必須ではない。よって、表示制御部１４０６に対する出力や表示制御部１４０６による表示制御は実行しなくてもよい。
【０１２０】
取得部１４０１（取得手段）は、データ記憶部６０８から、音響波に基づくボリュームデータ（前述した各実施形態における光音響データ）を用いて生成された複数の第１の画像データを取得する。本実施形態においても、第１の画像データは最大値投影法により投影することで生成される二次元画像データ、すなわちＭＩＰ画像データである。データ記憶部６０８に第１の画像データが記憶されていない場合は、後述する生成部１４０５がボリュームデータを用いて第１の画像データを生成する。具体的には、前述した各実施形態と同様に、生成部１４０５は、ボリュームデータのスライス位置を変更し、所定のスライス厚で最大値投影法により投影することで複数の第１の画像データを生成する。乳頭の信号を除去する場合は、スライス位置を、体表面である皮膚表面から体内方向に移動させることが望ましい。そして、取得部１４０１は、取得した複数の第１の画像データを抽出部１４０２、生成部１４０５、表示制御部１４０６に出力する。
【０１２１】
抽出部１４０２（抽出手段）は、取得部１４０１から出力された複数の第１の画像データを受け取り、該複数の第１の画像データから特徴点を抽出する。すなわち、抽出部１４０２は、複数の第１の画像データそれぞれに対して図３に示すような処理を実行し、各画像データから局所特徴量を持つ特徴点を抽出する。なお、特徴点の抽出手法は、前述した手法に限らない。そして、抽出部１４０２は、抽出した特徴点に関する情報と複数の第１の画像データとを設定部１４０３に出力する。また、抽出部１４０２は、抽出した特徴点に関する情報を表示制御部１４０６に出力する。
【０１２２】
設定部１４０３（設定手段）は、抽出部１４０２から出力された特徴点に関する情報と複数の第１の画像データとを受け取る。そして、設定部１４０３は、抽出された特徴点の分布を用いて、１または複数の第１の画像データに不要領域を設定する。具体的には、設定部１４０３は、受け取った第１の画像データそれぞれに対して、特徴点の分布密度を求める。前述した通り、特徴点の分布密度が高い領域は、乳頭周辺領域（すなわち、不要領域）である可能性が高い。よって、第１の画像データごとに、こうした領域の有無を判断する。所定値よりも高い分布密度を有する領域が画像データに含まれていれば、不要領域を含む画像データであると判断し、そうでなければ、不要領域を含んでいない画像データであると判断する。なお、判断基準である所定値は、任意の値が設定可能である。そして、不要領域を含む画像データであると判断された１または複数の第１の画像データにおいて、特徴点の分布密度が高いと判断された領域の画素を不要領域の画素として設定する。設定部１４０３は、設定された画素に関する情報（例えば、画素の座標）と、不要領域を含む１または複数の第１の画像データを画像処理部１４０４に出力する。
【０１２３】
画像処理部１４０４（画像処理手段）は、設定部１４０３から出力された不要領域として設定された画素に関する情報と、不要領域を含む１または複数の第１の画像データとを受け取る。そして、画像処理部１４０４は、不要領域が設定された１または複数の第１の画像データにおいて、不要領域の画素値を少なくとも低減する。不要領域を含むと判断された各画像データにおいて、不要領域として設定された画素に関する情報に従って、画素値を低減する画素を特定する。そして、該特定された画素の画素値を少なくとも低減することで、不要領域を各画像データから除去する。画像処理部１４０４は、不要領域が除去された１または複数の第１の画像データを生成部１４０５に出力する。
【０１２４】
生成部１４０５（生成手段）は、画像処理部１４０４から出力された、不要領域が除去された１または複数の第１の画像データを受け取る。また、取得部１４０１から出力された複数の第１の画像データを受け取る。そして、生成部１４０５は、不要領域の画素値が少なくとも低減された１または複数の第１の画像データと、不要領域を含んでいない１または複数の第１の画像データとを用いて、第２の画像データを生成する。具体的には、まず、生成部１４０５は、画像処理部１４０４から出力された、不要領域が除去された１または複数の第１の画像データを取得する。そして、取得部１４０１から出力された複数の第１の画像データのうち、不要領域を含んでいない１または複数の第１の画像データを取得する。これらを最大値投影法により合体して投影し、第２の画像データとして、１または複数のＭＩＰ画像を生成する。そして、生成部１４０５は、生成した第２の画像データを表示制御部１４０６に出力する。
【０１２５】
表示制御部１４０６（表示制御手段）は、取得部１４０１から出力された１または複数の第１の画像データを受け取る。また、抽出部１４０２から出力された特徴点に関する情報を受け取る。そして、表示制御部１４０６は、受け取った１または複数の第１の画像データが示す画像と特徴点に関する情報とを表示部６０７に表示させる。第１の実施形態と同様に、図１０に示すようなＧＵＩにこれらの情報を表示すればよい。このようにすることで、ユーザーに各画像データにおける特徴点の分布を確認させることが可能である。また、設定部１４０３は、表示された画像上でユーザーから１点の指定を受け付けて、これを第一の実施形態における基準点として設定することも可能である。画像処理部１４０４は、この基準点と特徴点の分布とを用いて、不要領域を設定する。このようにすることで、乳頭とその周辺領域を不要領域として自動的に設定するにあたり、乳頭位置が基準点として設定されていれば、体表面の体毛やほくろなどに由来する局所特徴量の多い他の場所と区別することができる。すなわち、不要領域を精度よく設定することができる。
【０１２６】
また、表示制御部１４０６は、生成部１４０５から出力された第２の画像データを受け取り、これを表示部６０７に表示させる。こうすることで、本一連の処理結果をユーザーに確認させることができる。
【０１２７】
次に、図１５を用いて、第三の実施形態の処理手順を説明する。図１５は、第三の実施形態における一連の処理を示すフローチャートである。なお、図１５に示す各ステップの内容や順番はあくまで一例であり、用途や目的に応じて様々な形態がある。
【０１２８】
ステップＳ１５０１では、取得部１４０１は、データ記憶部６０８から複数の第１の画像データを取得する。前述した通り、複数の第１の画像データは、音響波に基づくボリュームデータ（光音響データ）を用いて生成されたＭＩＰ画像データである。
【０１２９】
ステップＳ１５０２では、抽出部１４０２は、ステップＳ１５０１にて取得された複数の第１の画像データそれぞれから、特徴点を抽出する。特徴点の抽出方法は、図３に示す方法や公知の方法を用いて、拡大・縮小・回転・輝度変化に対して頑強な局所特徴量を有する特徴点を抽出する。
【０１３０】
ステップＳ１５０３では、表示制御部１４０６は、ステップＳ１５０１で取得した複数の第１の画像データと、ステップＳ１５０２で取得した特徴点に関する情報とを表示部６０７に表示させる。ステップＳ１５０３は、基準点を指定する場合に実行されるものであり、必須の処理ではない。表示制御部１４０６は、前述した図１０に示すような画面を表示する。そして、該画面にいずれかの第１の画像データと、表示された第１の画像データに対応する特徴点に関する情報（例えば、特徴点自体、二次元ヒストグラム、特徴点の密度を推定した画像データ等）とを表示させる。そして、設定部１４０３は、少なくとも１つの第１の画像データにおいて基準点の指定を受け付ける。
【０１３１】
ステップＳ１５０４では、設定部１４０３は、ステップＳ１５０２で抽出された特徴点の分布を用いて、１または複数の第１の画像データに不要領域を設定する。前述した通り、各画像データにおける特徴点の分布密度を求めて、所定値よりも分布密度の高い領域を不要領域として設定する。ステップＳ１５０３で基準点の指定を受け付けている場合には、該基準点の周辺の分布密度が所定値よりも高いか否かを判定すればよい。
【０１３２】
ステップＳ１５０５では、画像処理部１４０４は、不要領域を含む１または複数の第１の画像データにおいて、ステップＳ１５０４で不要領域として設定された画素の画素値を少なくとも低減する。画像データのうち、不要領域に相当する画素を特定し、特定された画素の画素値を限りなくゼロに近い値に低減する（あるいは減衰する）、またはゼロに低減する（すなわち、削除する）ことにより、画像データから乳頭に由来する信号を除去する。後述するステップＳ１５０６で生成する第２の画像データにおいて不要領域が視認しづらくなれば、どのような画像処理を行ってもよい。
【０１３３】
ステップＳ１５０６では、生成部１４０５は、不要領域の画素値が少なくとも低減された１または複数の第１の画像データと、不要領域を含んでいない１または複数の第１の画像データとを用いて、第２の画像データを生成する。第１の実施形態と同様に、これらの画像データを最大値投影法により合成することで、第２の画像データとして、ＭＩＰ画像データを生成する。こうして生成された第２の画像データの一例が、第一の実施形態でも示した図１１（ｂ）である。
【０１３４】
ステップＳ１５０７では、表示制御部１４０６は、ステップＳ１５０６で生成された第２の画像データを表示部６０７に表示させる。これにより、生成結果をユーザーに確認させる。
【０１３５】
以上のようにすることで、乳頭・乳輪付近に由来する光音響信号と、乳頭・乳輪よりも体内に存在する関心領域の光音響信号とを識別することが困難であったという課題を解決することが可能となる。
【０１３６】
＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、画像処理装置の機能を分散させることで複数の機器から構成されるシステムに本発明を適用してもよいし、一つの機器からなる装置に適用してもよい。また、本発明の機能および処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。また、本発明の範囲には、上述の実施例に示す機能および処理を実現するためのコンピュータプログラム自体も含まれる。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合には、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。なお本発明の範囲は上述した実施形態に限定されるものではない。
【符号の説明】
【０１３７】
１４００  画像処理装置
１４０１  取得部
１４０２  抽出部
１４０３  設定部
１４０４  画像処理部
１４０５  生成部
１４０６  表示制御部
【図１】
2019097591.tif 000003
【図２】
2019097591.tif 000004
【図３】
2019097591.tif 000005
【図４】
2019097591.tif 000006
【図５】
2019097591.tif 000007
【図６】
2019097591.tif 000008
【図７】
2019097591.tif 000009
【図８】
2019097591.tif 000010
【図９】
2019097591.tif 000011
【図１０】
2019097591.tif 000012
【図１１】
2019097591.tif 000013
【図１２】
2019097591.tif 000014
【図１３】
2019097591.tif 000015
【図１４】
2019097591.tif 000016
【図１５】
2019097591.tif 000017