(57)【要約】【課題】対象者体内から摘出された検体の画像を処理することで、必要以上の数の検体が対象者から摘出されることを抑制することができる画像処理装置を提供する。【解決手段】画像処理装置１００は、対象者体内の構造を表す第１放射線画像を解剖学的構造に基づいて複数の画像領域に分割する領域分割部１０１と、第１放射線画像内の位置の入力を利用者から受ける入力部１０６と、対象者体内から摘出された複数の検体を表す複数の検体画像の中から、入力の位置を含む画像領域に対応する対象者体内の区分から摘出された２以上の検体を表す２以上の検体画像を選択する画像選択部１０３ａと、選択された２以上の検体画像を用いてモーフィング処理を実施することにより、入力の位置に対応するモーフィング画像を生成する画像生成部１０３ｂと、を備える。【選択図】図１
2017099721.tif 000002
【特許請求の範囲】
【請求項１】
対象者体内の構造を表す第１放射線画像を解剖学的構造に基づいて複数の画像領域に分割する領域分割部と、
前記第１放射線画像内の位置の入力を利用者から受ける入力部と、
前記対象者体内から摘出された複数の検体を表す複数の検体画像の中から、前記入力の位置を含む画像領域に対応する前記対象者体内の区分から摘出された２以上の検体を表す２以上の検体画像を選択する画像選択部と、
選択された前記２以上の検体画像を用いてモーフィング処理を実施することにより、前記入力の位置に対応するモーフィング画像を生成する画像生成部と、を備える、
画像処理装置。
【請求項２】
前記画像処理装置は、さらに、
前記モーフィング画像から細胞核領域を抽出する細胞核抽出部と、
前記細胞核抽出部によって抽出された細胞核領域の形状と予め定められた形状モデルとを比較することにより、前記モーフィング画像の評価を行い、前記評価の結果に応じて前記モーフィング処理に利用された対応点の位置を変更する対応点変更部と、を備え、
前記画像生成部は、前記対応点変更部によって位置が変更された対応点を用いてモーフィング処理を実施することにより、前記入力の位置に対応するモーフィング画像を再生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、さらに、
予め定められた正常又は異常な細胞核の条件に基づいて前記２以上の検体画像から異常な細胞核を検出する異常核検出部を備え、
前記画像生成部は、前記異常核検出部によって検出された前記異常な細胞核の周辺領域に含まれる対応点の前記モーフィング処理への使用を禁止する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記モーフィング処理は、前記２以上の画像間の対応点セットに含まれる２以上の対応点の位置が一致するように前記２以上の対応点の少なくとも１つを移動させることにより前記２以上の画像間のモーフィング画像を生成する処理である、
請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理装置は、さらに、
前記第１放射線画像を表示する表示部を備え、
前記入力部は、前記表示部に表示された前記第１放射線画像の一部分の選択を前記利用者から受けることで、前記位置の入力を受け、
前記表示部は、さらに、前記画像生成部によって生成されたモーフィング画像を表示する、
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像処理装置は、さらに、
前記第１放射線画像と異なる第２放射線画像と、前記第２放射線画像に対応する複数の検体画像であって前記第２放射線画像内における位置と病名とが付与された複数の検体画像と、を格納しているデータ記憶部と、
前記データ記憶部に格納された複数の検体画像の中から、前記対象者の病名及び前記入力の位置に基づいて検体画像を探索するデータ探索部と、を備え、
前記表示部は、前記データ探索部で探索された前記検体画像を表示する、
請求項５に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
複数の前記第１放射線画像を用いて３次元ボリュームレンダリング処理を行うことにより、患者体内の３次元コンピュータグラフィックスを生成する画像再構成部を備え、
前記表示部は、前記３次元コンピュータグラフィックスを表示し、
前記入力部は、前記表示部に表示された前記３次元コンピュータグラフィックスの一部分の選択を前記利用者から受けることで、前記位置の入力を受ける、
請求項５又は６に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記複数の検体画像の各々と、当該検体画像に表された検体が摘出された前記患者体内の位置に対応する前記第１放射線画像内の位置を示す位置情報とを格納している検体画像記憶部と、
前記複数の検体画像の各々について、当該検体画像の位置情報が示す位置を含む画像領域に対応するラベルを付与するラベル付与部と、を備え、
前記画像選択部によって選択された前記２以上の検体画像は、前記入力の位置を含む画像領域のラベルと同一のラベルが付与されている、
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１放射線画像は、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）画像又はＭＲ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ）画像である、
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
患者体内の構造を表す第１放射線画像を解剖学的構造に基づいて複数の画像領域に分割するステップと、
前記第１放射線画像内の位置の入力を利用者から受けるステップと、
患者体内から摘出された複数の検体を表す複数の検体画像の中から、前記複数の画像領域のうちの前記入力の位置を含む画像領域に対応する患者体内の区分から摘出された２以上の検体を表す２以上の検体画像を選択するステップと、
選択された前記２以上の検体画像を用いてモーフィング処理を実施することにより、前記入力の位置に対応するモーフィング画像を生成するステップと、を含む、
画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、患者体内から摘出された検体の画像を処理する画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
病理診断では、病理医は、患部領域の範囲の決定や患部の良悪性鑑別、さらには患部が悪性だった場合に患部が患者体内に取り残されていないかなどを判定する。ただし、病理診断を実施する際に１度に観察できる組織サイズ（つまり、検体サイズ）は、患部のサイズと比べて非常に小さい。そのため、従来は、患部の切除範囲の決定のために、一切片のみではなく、多数の切片が検体として摘出される。そして、多数の検体の画像に基づいて患部の切除範囲の決定が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−５３８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、病理診断において、必要以上の数の検体が摘出され、患者への余分な負担が発生することがある。
【０００５】
そこで、本開示は、対象者体内から摘出された検体の画像を処理することで、必要以上の数の検体が対象者から摘出されることを抑制することができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る画像処理装置は、対象者体内の構造を表す第１放射線画像を解剖学的構造に基づいて複数の画像領域に分割する領域分割部と、前記第１放射線画像内の位置の入力を利用者から受ける入力部と、前記対象者体内から摘出された複数の検体を表す複数の検体画像の中から、前記入力の位置を含む画像領域に対応する前記対象者体内の区分から摘出された２以上の検体を表す２以上の検体画像を選択する画像選択部と、選択された前記２以上の検体画像を用いてモーフィング処理を実施することにより、前記入力の位置に対応するモーフィング画像を生成する画像生成部と、を備える。
【０００７】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示の一態様に係る画像処理装置によれば、対象者体内から摘出された検体の画像を処理することで、必要以上の数の検体が対象者から摘出されることを抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、実施の形態１に係る画像処理装置の処理を示すフローチャートである。
【図３】図３は、解剖モデルを利用した領域分割の一例を示す図である。
【図４】図４は、肺の詳細な解剖モデルの一例を示す図である。
【図５】図５は、各ボクセルにおける存在確率の一例を示す図である。
【図６】図６は、検体画像記憶部に保持されているデータの一例を示す図である。
【図７】図７は、表示部によって表示される画面の一例を示す図である。
【図８】図８は、実施の形態１における画像選択処理を示すフローチャートである。
【図９】図９は、実施の形態１におけるモーフィング処理を示すフローチャートである。
【図１０】図１０は、モーフィング処理を説明するための図である。
【図１１】図１１は、実施の形態１の変形例１に係る画像処理装置の処理を示すフローチャートである。
【図１２】図１２は、実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１３】図１３は、実施の形態２におけるモーフィング処理を示すフローチャートである。
【図１４】図１４は、実施の形態２における細胞核領域の抽出処理を示すフローチャートである。
【図１５】図１５は、勾配ベクトルの集中度を説明するための図である。
【図１６】図１６は、実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１７】図１７は、実施の形態３におけるモーフィング処理を示すフローチャートである。
【図１８】図１８は、実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図１９Ａ】図１９Ａは、データ記憶部に格納されているデータの一例を示す図である。
【図１９Ｂ】図１９Ｂは、データ記憶部に格納されているデータの他の一例を示す図である。
【図２０】図２０は、実施の形態４において表示部によって表示される画面の一例を示す図である。
【図２１】図２１は、実施の形態１〜４に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２２】図２２は、データサーバを利用した画像処理装置を示す模式図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
医療における診断業務は、病名と病状の把握が目的であり、病名又は病状に応じて治療方針が決定される。病名又は病状を確定するためには、対象者（患者）体内の病変部から検体を摘出して細胞レベルで状態観察を行う病理診断が行われる。病理診断では、摘出した検体を顕微鏡で観察できる厚みにスライスすることにより標本が作製される。近年では、標本は顕微鏡越しにデジタルカメラ又はスキャナで撮影され、デジタル画像として保存及び参照される。
【００１１】
一方、病理診断を実施する際には、１度に観察できる組織のサイズは、患部のサイズと比べて非常に小さい。そのため、従来は患部の切除範囲を決定するために、一切片の組織のみではなく、多数の切片の組織を検体として摘出する。この際、必要以上の数の検体が摘出され、患者に余分な負担が発生することがある。
【００１２】
そこで、不要な検体の摘出を減らすために、実際には検体を摘出していない箇所の検体画像を病理医に提示する技術が望まれる。
【００１３】
ところで、実際には撮影されていない画像を実際に撮影された画像を用いて生成する技術としてモーフィング処理がある。例えば、特許文献１では、航空機や車に搭載されている複数のデジタルカメラを使って撮影された複数の画像を用いて、画像間の位置関係を考慮して任意の位置の画像がモーフィング処理によって生成される。
【００１４】
しかしながら、病理診断のための検体画像の処理にモーフィング処理を単純に適用するだけでは、適切な検体画像を生成できない場合がある。病理診断のための検体画像の処理では、人体における解剖学的構造が考慮される必要がある。
【００１５】
以下、検体画像の処理における解剖学的構造の重要性について、肝臓から摘出される検体の画像をモーフィング処理によって擬似的に生成する場合を例として説明する。
【００１６】
肝臓以外の臓器から摘出された検体の画像を利用してモーフィング処理が実施されれば、本来肝臓から摘出される検体には含まれないような形状の組織がモーフィング処理によって生成された画像（以下、モーフィング画像という）に含まれうる。例えば、肝臓と距離が近い肺から摘出された検体の画像を利用してモーフィング処理が行われた場合、モーフィング画像中に肝臓には含まれない肺胞などの組織が含まれうる。
【００１７】
また、肝臓は、機能的に８つの区分に分割される。したがって、たとえ肝臓から摘出された検体の画像がモーフィング処理に利用されたとしても、対象位置が含まれる区分と機能的に異なる区分に含まれる検体の画像が利用されれば、対象位置には存在しないはずの組織がモーフィング画像に含まれうる。つまり、検体画像の処理では、人体の解剖学的構造を考慮したモーフィング処理が必要となる。
【００１８】
そこで、本開示の一態様に係る画像処理装置は、対象者体内の構造を表す第１放射線画像を解剖学的構造に基づいて複数の画像領域に分割する領域分割部と、前記第１放射線画像内の位置の入力を利用者から受ける入力部と、前記対象者体内から摘出された複数の検体を表す複数の検体画像の中から、前記入力の位置を含む画像領域に対応する前記対象者体内の区分から摘出された２以上の検体を表す２以上の検体画像を選択する画像選択部と、選択された前記２以上の検体画像を用いてモーフィング処理を実施することにより、前記入力の位置に対応するモーフィング画像を生成する画像生成部と、を備える。
【００１９】
この構成によれば、人体の解剖学的構造に基づいて分割して得られた第１放射線画像の複数の画像領域と利用者による入力の位置とに基づいて選択された２以上の検体画像を用いて、入力の位置に対応するモーフィング画像を生成することができる。したがって、実際には検体が摘出されていない位置に対応する検体画像（モーフィング画像）を生成することができ、必要以上の数の検体が患者から摘出されることを抑制することができる。さらに、解剖学的構造に基づいてモーフィング画像の生成に用いる２以上の検体画像が選択されるので、入力の位置が含まれる部位と解剖学的に異なる部位から摘出された検体に含まれる組織がモーフィング画像に含まれることを抑制することができる。その結果、入力の位置に適したモーフィング画像を生成することができる。
【００２０】
また、例えば、前記画像処理装置は、さらに、前記モーフィング画像から細胞核領域を抽出する細胞核抽出部と、前記細胞核抽出部によって抽出された細胞核領域の形状と予め定められた形状モデルとを比較することにより、前記モーフィング画像の評価を行い、前記評価の結果に応じて前記モーフィング処理に利用された対応点の位置を変更する対応点変更部と、を備え、前記画像生成部は、前記対応点変更部によって位置が変更された対応点を用いてモーフィング処理を実施することにより、前記入力の位置に対応するモーフィング画像を再生成してもよい。
【００２１】
この構成よれば、モーフィング画像から抽出された細胞核領域の形状に基づいてモーフィング画像を評価し、その評価の結果に応じてモーフィング画像を再生成することができる。したがって、病理診断において重要な細胞核の形状がモーフィング画像において不適切に変形されることを防ぐことができる。
【００２２】
また、例えば、前記画像処理装置は、さらに、予め定められた正常又は異常な細胞核の条件に基づいて前記２以上の検体画像から異常な細胞核を検出する異常核検出部を備え、前記画像生成部は、前記異常核検出部によって検出された前記異常な細胞核の周辺領域に含まれる対応点の前記モーフィング処理への使用を禁止してもよい。
【００２３】
この構成によれば、検体画像内の異常な細胞核の周辺領域に含まれる対応点のモーフィング処理への使用を禁止することができる。したがって、モーフィング処理によってモーフィング画像内の異常な細胞核が不適切に変形されることを抑制することができ、病理診断に適したモーフィング画像を生成することができる。
【００２４】
また、例えば、前記モーフィング処理は、前記２以上の画像間の対応点セットに含まれる２以上の対応点の位置が一致するように前記２以上の対応点の少なくとも１つを移動させることにより前記２以上の画像間のモーフィング画像を生成する処理であってもよい。
【００２５】
この構成によれば、２以上の対応点の位置が一致するように２以上の対応点の少なくとも１つを移動させることによりモーフィング画像を生成することができる。
【００２６】
また、例えば、前記画像処理装置は、さらに、前記第１放射線画像を表示する表示部を備え、前記入力部は、前記表示部に表示された前記第１放射線画像の一部分の選択を前記利用者から受けることで、前記位置の入力を受け、前記表示部は、さらに、前記画像生成部によって生成されたモーフィング画像を表示してもよい。
【００２７】
この構成によれば、表示部に表示された第１放射線画像の一部分の選択を利用者から受けることで、第１放射線画像内の位置の入力を受けることができる。したがって、利用者は、対象者の放射線画像を参照しながら、検体画像を見たい位置の入力を容易に行うことができる。
【００２８】
また、例えば、前記画像処理装置は、さらに、前記第１放射線画像と異なる第２放射線画像と、前記第２放射線画像に対応する複数の検体画像であって前記第２放射線画像内における位置と病名とが付与された複数の検体画像と、を格納しているデータ記憶部と、前記データ記憶部に格納された複数の検体画像の中から、前記対象者の病名及び前記入力の位置に基づいて検体画像を探索するデータ探索部と、を備え、前記表示部は、前記データ探索部で探索された前記検体画像を表示してもよい。
【００２９】
この構成により、データ記憶部に格納された第２放射線画像に対応する複数の検体画像の中から対象患者の病名及び入力の位置に基づいて探索された検体画像を表示することができる。
【００３０】
また、例えば、前記画像処理装置は、さらに、複数の前記第１放射線画像を用いて３次元ボリュームレンダリング処理を行うことにより、患者体内の３次元コンピュータグラフィックスを生成する画像再構成部を備え、前記表示部は、前記３次元コンピュータグラフィックスを表示し、前記入力部は、前記表示部に表示された前記３次元コンピュータグラフィックスの一部分の選択を前記利用者から受けることで、前記位置の入力を受けてもよい。
【００３１】
この構成によれば、表示部に表示された３次元コンピュータグラフィックスの一部分の選択を利用者から受けることで、放射線画像内の位置の入力を受けることができる。したがって、対象者の体内を立体的に利用者に視認させることができ、正確な位置の入力が可能となる。
【００３２】
また、例えば、前記画像処理装置は、さらに、前記複数の検体画像の各々と、当該検体画像に表された検体が摘出された前記患者体内の位置に対応する前記第１放射線画像内の位置を示す位置情報とを格納している検体画像記憶部と、前記複数の検体画像の各々について、当該検体画像の位置情報が示す位置を含む画像領域に対応するラベルを付与するラベル付与部と、を備え、前記画像選択部によって選択された前記２以上の検体画像は、前記入力の位置を含む画像領域のラベルと同一のラベルが付与されていてもよい。
【００３３】
この構成によれば、複数の検体画像に自動的にラベルを付与することができる。したがって、利用者が手動でラベルを付与する必要がなく、利用者の利便性を向上させることができる。
【００３４】
また、例えば、前記第１放射線画像は、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）画像又はＭＲ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ）画像であってもよい。
【００３５】
この構成によれば、ＣＴ画像又はＭＲ画像を放射線画像として用いることができる。
【００３６】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００３７】
以下、図面を参照して実施の形態を詳細に説明する。
【００３８】
（実施の形態１）
本実施の形態では、解剖学的構造に基づいて領域分割された対象患者の放射線画像に基づいて、モーフィング処理に用いる２以上の検体画像を選択する画像処理装置について説明する。
【００３９】
［画像処理装置の構成］
まず、本実施の形態に係る画像処理装置の機能構成について説明する。図１は、実施の形態１に係る画像処理装置の構成を示すブロック図である。
【００４０】
画像処理装置１００は、領域分割部１０１と、ラベル付与部１０２と、モーフィング処理部１０３と、画像再構成部１０４と、表示部１０５と、入力部１０６と、放射線画像記憶部１０７と、解剖モデル記憶部１０８と、検体画像記憶部１０９とを有する。
【００４１】
領域分割部１０１は、解剖学的構造に基づいて対象患者（対象者）の放射線画像（第１放射線画像）を複数の画像領域に分割する。ここでは、解剖学的構造とは、パーツを構成する組織及びパーツの位置等に基づいて分類された、人体を構成する複数のパーツの組み合わせを意味する。
【００４２】
放射線画像とは、放射線を用いて撮影された、患者体内の構造を表す画像である。例えば、放射線画像は、ＣＴ画像又はＭＲ画像である。
【００４３】
ラベル付与部１０２は、放射線画像の解剖学的構造に基づく分割結果（つまり複数の画像領域）に基づいて、対象患者体内から摘出された複数の検体を表す複数の検体画像の各々にラベルを付与する。具体的には、ラベル付与部１０２は、複数の検体画像の各々について、当該検体画像の放射線画像内の位置を含む画像領域に対応するラベルを付与する。検体画像の放射線画像内の位置とは、検体画像に表された検体が摘出された対象患者体内の位置に対応する放射線画像内の位置である。
【００４４】
モーフィング処理部１０３は、複数の検体画像のうちの２以上の検体画像を用いてモーフィング処理を行うことにより、入力部１０６が利用者（ここでは病理医）から受けた入力の位置に対応するモーフィング画像を生成する。具体的には、モーフィング処理部１０３は、画像選択部１０３ａと、画像生成部１０３ｂとを備える。
【００４５】
画像選択部１０３ａは、複数の検体画像の中から、入力の位置を含む画像領域に対応する対象患者体内の区分から摘出された２以上の検体を表す２以上の検体画像を選択する。画像領域は、領域分割部１０１によって分割された複数の画像領域に含まれる。入力の位置は、入力部１０６が病理医から受けた入力によって示される放射線画像内の位置である。なお、画像選択部１０３ａの処理の詳細についてはフローチャートを用いて後述する。
【００４６】
画像生成部１０３ｂは、画像選択部１０３ａによって選択された２以上の検体画像を用いてモーフィング処理を実施することにより、入力の位置に対応するモーフィング画像を生成する。モーフィング画像とは、２以上の画像のうちの１つから他の１つに非線形に変化していく際に得られる中間画像を意味する。つまり、モーフィング画像とは、モーフィング映像に含まれる１つのピクチャである。モーフィング処理の詳細についてはフローチャートを用いて後述する。
【００４７】
画像再構成部１０４は、複数の放射線画像を用いて３次元ボリュームレンダリング処理を行うことにより、対象患者体内の３次元コンピュータグラフィックスを生成する。この３次元ボリュームレンダリングの手法については、特に限定される必要はなく、一般的な手法が用いられればよい。
【００４８】
表示部１０５は、例えば液晶ディスプレイ等の表示デバイスによって実現される。表示部１０５は、放射線画像を表示する。さらに、表示部１０５は、画像再構成部１０４によって生成された３次元コンピュータグラフィックスを表示する。また、表示部１０５は、モーフィング処理部１０３の画像選択部１０３ａによって選択された２以上の検体画像、及び、画像生成部１０３ｂによって生成されたモーフィング画像を表示してもよい。
【００４９】
入力部１０６は、マウス及びキーボード等の入力デバイスによって実現される。入力部１０６は、放射線画像内の位置の入力を病理医から受ける。例えば、病理医は、入力部１０６を用いて、表示部１０５に表示されている放射線画像又は３次元コンピュータグラフィックスの一部分を選択することで検体画像を表示したい位置を入力する。つまり、入力部１０６は、表示部１０５に表示された放射線画像又は３次元コンピュータグラフィックスの一部分の選択を病理医から受けることで、放射線画像内の位置の入力を受ける。
【００５０】
放射線画像記憶部１０７は、例えばハードディスクドライブ、半導体メモリによって実現される。放射線画像記憶部１０７は、対象患者の放射線画像（第１放射線画像）を格納している。
【００５１】
解剖モデル記憶部１０８は、例えばハードディスクドライブ、半導体メモリによって実現される。解剖モデル記憶部１０８は、人体の解剖学的構造に基づく解剖モデルを格納している。この解剖モデルは、領域分割部１０１による放射線画像の領域分割に利用される。
【００５２】
検体画像記憶部１０９は、例えばハードディスクドライブ、半導体メモリによって実現される。検体画像記憶部１０９は、実際に対象患者から摘出された検体を表す検体画像と、当該検体が摘出された放射線画像上の位置を示す位置情報との複数のペアを格納している。位置情報は、例えば、３次元のベクトルで表され、その値によって放射線画像上の位置が識別される。
【００５３】
［画像処理装置の動作］
次に、以上のように構成された画像処理装置１００の動作について図面を参照しながら具体的に説明する。図２は、実施の形態１に係る画像処理装置１００の処理を示すフローチャートである。
【００５４】
領域分割部１０１は、解剖学的構造に基づいて放射線画像を複数の画像領域に分割する（Ｓ１０１）。具体的には、領域分割部１０１は、図３に示すように、解剖モデル記憶部１０８に格納されている人体の解剖学的構造に基づいた解剖モデル１１を利用して、放射線画像記憶部１０７に記憶されている対象患者の放射線画像１２を属性毎に複数の画像領域に分割する。そして、領域分割部１０１は、分割結果画像１３を出力する。
【００５５】
解剖モデル１１には、肝臓や腎臓などの臓器名とその体内における位置や形状のみが示されているだけでなく、各臓器内を機能的に分割して得られる複数の区分も示されている。例えば、図４に示すように、肺は、解剖学的には右肺と左肺とに分かれ、さらに右肺は上葉と中葉と下葉とに分かれ、左肺は上葉と下葉とに分かれる。さらに、肺は、より細かく１０の区分に分割することもできる。本実施の形態では、このような詳細な区分まで分割された解剖モデルが利用される。
【００５６】
本実施の形態においては、このような解剖モデルとして確率アトラスを利用する。確率アトラスは、体内における各区分の存在確率を表し、ボクセル毎に各区分の確率値を有する。領域分割部１０１は、対象患者の放射線画像に合うように、解剖モデルの各ボクセルの確率値を修正する。なお、修正の方法としては、ｇｒａｐｈ−ｃｕｔやｌｅｖｅｌ−ｓｅｔなどの一般的な方法が利用される。
【００５７】
その結果、例えば肺の場合には、図５のように、各ボクセルに２０次元のベクトルが割り当てられる。ベクトルの各変数の値がそのボクセルにおける各区分の存在確率を表す。例えば、図５の矢印で示したボクセルは、右肺の５番目の区分の存在確率が最も高いため、右肺の５番目の区分に対応すると判定される。このようにして放射線画像は、解剖学的構造に基づいて複数の画像領域に分割される。
【００５８】
次に、ラベル付与部１０２は、検体画像記憶部１０９に格納されている複数の検体画像を読み出す（Ｓ１０２）。つまり、ラベル付与部１０２は、放射線画像に対応する複数の検体画像を検体画像記憶部１０９から取得する。例えば、図６に示すように、実際に対象患者から摘出された検体を表す検体画像２１と、当該検体が摘出された位置を示す位置情報２２とのペアを検体画像記憶部１０９から読み出す。
【００５９】
続いて、ラベル付与部１０２は、検体画像記憶部１０９から読み出された複数の検体画像の各々にラベルを付与する（Ｓ１０３）。具体的には、ラベル付与部１０２は、複数の検体画像の各々について、当該検体画像の位置を含む放射線画像内の画像領域に対応する区分（例えば、右肺の５番目の区分）を示すラベルを付与する。つまり、ラベル付与部１０２は、領域分割部１０１が出力した分割結果画像１３に基づいて検体画像にラベルを付与する。
【００６０】
ここで、入力部１０６が病理医から放射線画像上の位置の入力を受けたか否かが判定される（Ｓ１０４）。図７は、実施の形態１において表示部１０５によって表示される画面の一例を示す。本実施の形態では、入力部１０６は、図７に示すように表示された放射線画像３１及び３次元コンピュータグラフィックス３２のいずれかに対する病理医からの位置の入力を受ける。
【００６１】
ここで、位置の入力が無い場合は（Ｓ１０４のＮｏ）、ステップＳ１０４が繰り返される。一方、位置の入力が有る場合は（Ｓ１０４のＹｅｓ）、画像選択部１０３ａは、ステップＳ１０２において読み出された複数の検体画像の中から、第１選択画像及び第２選択画像を含む２以上の検体画像を選択する（Ｓ１０５）。この選択処理の詳細については図８を用いて後述する。
【００６２】
次に、表示部１０５は、画像選択部１０３ａによって選択された２以上の検体画像を表示する（Ｓ１０６）。例えば、図７では、表示部１０５は、第１選択画像３３及び第１位置情報３４と、第２選択画像３５及び第２位置情報３６とをそれぞれ表示する。
【００６３】
そして、病理医から画像生成の指示があるか否かが判定される（Ｓ１０７）。ここで、画像生成の指示が無い場合は（Ｓ１０７のＮｏ）、ステップＳ１０７が繰り返される。一方、画像生成の指示が有る場合は（Ｓ１０７のＹｅｓ）、モーフィング処理部１０３は、選択された２以上の検体画像を用いてモーフィング処理を実施することによりモーフィング画像を生成する（Ｓ１０８）。例えば、図７において、病理医が画像合成ボタン３９を押下した場合に、第１選択画像３３及び第２選択画像３５を用いて、入力位置情報４１に対応するモーフィング画像４０が生成される。
【００６４】
なお、表示されている検体画像とは異なる検体画像を利用してモーフィング処理を行いたい場合には、病理医は、図７において画像選択ボタン３８を押下すればよい。これにより、第１選択画像３３及び第２選択画像３５が変更される。
【００６５】
ここで、モーフィング画像４０は、第１選択画像３３を第２選択画像３５へと非線形に変形していく際に得られる中間画像である。本実施の形態においては、ｆｒｅｅ−ｆｏｒｍ−ｄｅｆｏｒｍａｔｉｏｎ法を利用してモーフィング画像が生成される。詳細については、図９を用いて後述する。
【００６６】
最後に、表示部１０５は、画像生成部１０３ｂが第１選択画像３３及び第２選択画像３５を用いて生成したモーフィング画像４０を入力の位置を示す入力位置情報４１とともに表示する（Ｓ１０９）。つまり、表示部１０５は、入力の位置に対応するモーフィング画像４０を表示する。
【００６７】
次に、図２のステップＳ１０５における画像選択の詳細について、図８を参照しながら具体的に説明する。図８は、実施の形態１における画像選択処理を示すフローチャートである。図８では、２枚の検体画像が選択される場合について説明する。
【００６８】
まず、画像選択部１０３ａは、画像選択処理に用いられるカウンタｉ及び距離Ｄ１、Ｄ２を初期化する（Ｓ２０１）。例えば、画像選択部１０３ａは、カウンタｉに１を設定し、距離Ｄ１、Ｄ２に上限値を設定する。
【００６９】
続いて、画像選択部１０３ａは、カウンタｉがＮ＋１よりも小さいか否かを判定する（Ｓ２０２）。Ｎは、図２のステップＳ１０２で読み出された検体画像の数を表す。ここで、ｉがＮ＋１以上である場合（Ｓ２０２のＮｏ）、処理が終了される。一方、ｉがＮ＋１よりも小さい場合（Ｓ２０２のＹｅｓ）、Ｎ枚の検体画像のうちｉ番目の検体画像をカレント画像に設定する（Ｓ２０３）。カレント画像とは、処理対象の画像である。
【００７０】
次に、画像選択部１０３ａは、カレント画像のラベルが入力の位置のラベルと一致するか否かを判定する（Ｓ２０４）。つまり、画像選択部１０３ａは、カレント画像が、病理医からの入力の位置を含む画像領域に対応する対象患者体内の区分から摘出された検体を表す画像であるか否かを判定する。
【００７１】
ここで、カレント画像のラベルが入力の位置のラベルと一致する場合（Ｓ２０４のＹｅｓ）、画像選択部１０３ａは、放射線画像上におけるカレント画像の位置と入力の位置との距離Ｄを算出する（Ｓ２０５）。例えば、カレント画像の位置が（１０、１００、１５０）で示され、入力の位置が（１０、９０、１４０）で示される場合、画像選択部１０３ａは、距離Ｄ＝１４．１４（＝ＳＱＲＴ（０＋１００＋１００））と算出する。
【００７２】
次に、画像選択部１０３ａは、現在選択されている２枚の検体画像の位置と入力の位置との間の距離を示すＤ１及びＤ２を比較する（Ｓ２０６）。
【００７３】
ここで、Ｄ１がＤ２より大きい場合（Ｓ２０６のＹｅｓ）、画像選択部１０３ａは、ＤがＤ１より小さいか否かを判定する（Ｓ２０７）。つまり、画像選択部１０３ａは、１番目からｉ番目までの検体画像において、カレント画像の位置と入力の位置との距離が昇順で２番以内であるか否かを判定する。ここで、ＤがＤ１より小さい場合（Ｓ２０７のＹｅｓ）、画像選択部１０３ａは、Ｄ１の値をＤの値で更新する（Ｓ２０８）。そして、画像選択部１０３ａは、カレント画像を第１選択画像に設定する（Ｓ２０９）。その後、画像選択部１０３ａは、カウンタｉをインクリメントし（Ｓ２１３）、ステップＳ２０２に戻る。
【００７４】
一方、Ｄ１がＤ２以下である場合（Ｓ２０６のＮｏ）、画像選択部１０３ａは、ＤがＤ２より小さいか否かを判定する（Ｓ２１０）。つまり、画像選択部１０３ａは、１番目からｉ番目までの検体画像において、カレント画像の位置と入力の位置との距離が昇順で２番以内であるか否かを判定する。ここで、ＤがＤ２より小さい場合（Ｓ２１０のＹｅｓ）、画像選択部１０３ａは、Ｄ２の値をＤの値で更新する（Ｓ２１１）。そして、画像選択部１０３ａは、カレント画像を第２選択画像に設定する（Ｓ２１２）。その後、画像選択部１０３ａは、カウンタｉをインクリメントし（Ｓ２１３）、ステップＳ２０２に戻る。
【００７５】
カレント画像のラベルが入力の位置のラベルと一致しない場合（Ｓ２０４のＮｏ）、ＤがＤ１以上である場合（Ｓ２０７のＹｅｓ）、又は、ＤがＤ２以上である場合（Ｓ２１０のＮｏ）、画像選択部１０３ａは、カウンタｉをインクリメントし（Ｓ２１３）、ステップＳ２０２に戻る。
【００７６】
このような選択処理によって、Ｎ枚の検体画像の中から、入力の位置のラベルと一致するラベルを有する検体画像であって入力の位置に近い位置の検体画像（第１選択画像及び第２選択画像）が選択される。
【００７７】
次に、図２のステップＳ１０８におけるモーフィング処理の詳細について、図９及び図１０を参照しながら具体的に説明する。図９は、実施の形態１におけるモーフィング処理を示すフローチャートである。図１０は、実施の形態１におけるモーフィング処理を説明するための図である。具体的には、図１０は、第１選択画像５１から第２選択画像５２への変形の過程を示している。
【００７８】
まず、画像生成部１０３ｂは、第１選択画像５１内に複数の第１対応点（第１対応点５３ａを含む）を配置する（Ｓ３０１）。本実施の形態においては、複数の第１対応点は格子状に配置される。ただし、この複数の第１対応点の配置方法は、これに限定される必要はなく、ＳＩＦＴ（Scale-Invariant Feature Transform）などで検出される複数の特徴点が複数の第１対応点として用いられてもよい。
【００７９】
次に、画像生成部１０３ｂは、第１選択画像５１内に配置された複数の第１対応点の各々に対応する第２選択画像５２内の第２対応点を決定する（Ｓ３０２）。これにより、第１対応点及び第２対応点の対応点ペアが決定される。具体的には、画像生成部１０３ｂは、例えば、第１対応点の周辺領域の画像と類似する画像を有する領域を第２選択画像５２内で探索することにより、当該第１対応点に対応する第２対応点を決定する。図１０では、第１対応点５３ａ及び第２対応点５３ｂが対応点ペアと決定されている。このように、対応点とは、第１及び第２選択画像の両方に内包されている同一の点（すなわち画素）のことを表す。
【００８０】
次に、画像生成部１０３ｂは、第１選択画像５１内に配置された第１対応点の座標と、第１対応点に対応する第２対応点の座標とが一致するように、第１選択画像５１上の第１対応点の座標を徐々に変更していく（Ｓ３０３）。つまり、画像生成部１０３ｂは、第１選択画像５１及び第２選択画像５２間の対応点ペアに含まれる第１対応点及び第２対応点の画像上の位置が一致するように、第１対応点を徐々に移動させる。この際、第１対応点以外の画素は、各第１対応点の移動量に基づいてスプライン補間などを用いて移動される。
【００８１】
画像生成部１０３ｂは、この第１対応点の移動の過程で得られる複数のモーフィング画像５４、５５の１つを出力する（Ｓ３０４）。このとき、複数のモーフィング画像の中から１つのモーフィング画像を選択するために、本実施の形態においては、図７の出力画像の調整バー３７が利用される。つまり、出力画像の調整バー３７の位置に応じて、どのモーフィング画像を出力するかが決定される。病理医が出力画像の調整バー３７をスライドさせることにより、第１選択画像３３に近いモーフィング画像や第２選択画像３５に近いモーフィング画像が出力される。
【００８２】
［効果］
以上のように、本実施の形態に係る画像処理装置１００によれば、人体の解剖学的構造に基づいて分割して得られた放射線画像の複数の画像領域と病理医による入力の位置とに基づいて選択された第１選択画像３３及び第２選択画像３５を用いて、入力の位置に対応するモーフィング画像４０を生成することができる。したがって、実際には検体が摘出されていない位置に対応する検体画像（モーフィング画像４０）を生成することができ、必要以上の数の検体が患者から摘出されることを抑制することができる。さらに、解剖学的構造に基づいてモーフィング画像の生成に用いる２以上の検体画像が画像選択部１０３ａによって選択されるので、入力の位置が含まれる部位と解剖学的に異なる部位から摘出された検体に含まれる組織がモーフィング画像に含まれることを抑制することができる。その結果、画像生成部１０３ｂは、入力の位置に適したモーフィング画像を生成することができる。
【００８３】
また、本実施の形態に係る画像処理装置１００によれば、表示部１０５に表示された放射線画像３１の一部分の選択を病理医から受けることで、放射線画像３１内の位置の入力を受けることができる。したがって、病理医は、対象患者の放射線画像３１を参照しながら、検体画像を見たい位置の入力を容易に行うことができる。
【００８４】
また、本実施の形態に係る画像処理装置１００によれば、表示部１０５に表示された３次元コンピュータグラフィックス３２の一部分の選択を病理医から受けることで、放射線画像内の位置の入力を受けることができる。したがって、対象患者の体内を立体的に病理医に視認させることができ、正確な位置の入力が可能となる。
【００８５】
（実施の形態１の変形例１）
なお、上記実施の形態１における処理の流れは、図２に限定されない。例えば、上記実施の形態１では、ラベル付与は、位置の入力の前にすべての検体画像に対して行われていたが、これに限定されない。
【００８６】
図１１は、実施の形態１の変形例１に係る画像処理装置の処理を示すフローチャートである。ただし、図１１において、図２と実質的に同じ処理を行うステップには同じ符号を付し、詳細な説明を省略する。
【００８７】
図１１に示すように、本変形例では、位置の入力が有る場合に（Ｓ１０４のＹｅｓ）、入力の位置との距離が閾値距離より小さい検体画像にのみラベルを付与する（Ｓ４０１）。その後、付与されたラベルに従って、検体画像が選択される（Ｓ１０５）。
【００８８】
［効果］
以上のように、本変形例に係る画像処理装置１００によれば、入力の位置の近傍から得られた検体画像のみにラベルを付与することができ、ラベルを付与するための処理負荷を低減させることができる。
【００８９】
（実施の形態２）
次に、実施の形態２に係る画像処理装置について説明する。本実施の形態に係る画像処理装置は、モーフィング画像内の細胞核の形状に基づいてモーフィング画像を評価し、評価結果に応じてモーフィング画像を再生成する点が上記実施の形態１に係る画像処理装置１００と異なる。以下に、本実施の形態に係る画像処理装置について、実施の形態１と異なる点を中心に説明する。
【００９０】
［画像処理装置の構成］
図１２は、実施の形態２に係る画像処理装置２００の構成を示すブロック図である。図１２において、なお、図１２において、図１と実質的に同一の構成要素には同じ符号を付し、詳細な説明を省略する。
【００９１】
本実施の形態に係る画像処理装置２００は、領域分割部１０１と、ラベル付与部１０２と、モーフィング処理部１０３と、画像再構成部１０４と、表示部１０５と、入力部１０６と、放射線画像記憶部１０７と、解剖モデル記憶部１０８と、検体画像記憶部１０９と、細胞核抽出部２０１と、対応点変更部２０２と、細胞核モデル記憶部２０３とを有する。
【００９２】
細胞核抽出部２０１は、画像生成部１０３ｂによって生成されたモーフィング画像から細胞核領域を抽出する。
【００９３】
対応点変更部２０２は、細胞核抽出部２０１によって抽出された細胞核領域の形状を予め定められた形状モデルと比較することにより、モーフィング画像の評価を行う。そして、対応点変更部２０２は、評価の結果に応じて、モーフィング処理に利用された対応点の位置を変更する。対応点の位置が変更された場合、変更後の対応点を用いてモーフィング処理が再実施される。
【００９４】
細胞核モデル記憶部２０３は、例えばハードディスクドライブ、半導体メモリによって実現される。細胞核モデル記憶部２０３は、予め定められた形状モデルを格納している。本実施の形態において、形状モデルは、正常細胞から生成された部分空間を指す。この部分空間の生成には、一般的な主成分分析等が利用される。形状モデルは、正常な細胞核の形状を表す。
【００９５】
［画像処理装置の動作］
以上のように構成された画像処理装置２００の動作について図面を参照しながら具体的に説明する。なお、本実施の形態の全体的な処理の流れは、実施の形態１の図２と同じであるので、図示を省略する。
【００９６】
図１３は、実施の形態２におけるモーフィング処理を示すフローチャートである。図１３において、図９と実質的に同一のステップについては、同一の符号を付し、詳細な説明を省略する。
【００９７】
まず、画像生成部１０３ｂは、ステップＳ３０１〜ステップＳ３０３によって、実施の形態１のように第１選択画像内の第１対応点を移動させることにより、モーフィング画像を生成する。
【００９８】
次に、画像生成部１０３ｂは、第１対応点の移動の過程で得られる複数のモーフィング画像のうちの１つを決定する（Ｓ５０１）。そして、細胞核抽出部２０１は、ステップＳ５０１で決定されたモーフィング画像から細胞核領域を抽出する（Ｓ５０２）。
【００９９】
対応点変更部２０２は、抽出された各細胞核領域の復元誤差Ｅを算出する。復元誤差Ｅは、以下の式１により算出される。
【０１００】
【数１】
2017099721.tif 000003
【０１０１】
ここで、Ｓは細胞核の形状を表し、ｗｉは正常細胞から生成された部分空間におけるｉ番目の固有ベクトルを表している。また、ａは部分空間を表現するために必要な固有ベクトルの数を表す。
【０１０２】
なお、この復元誤差Ｅは、抽出された細胞核領域の形状が正常な細胞の形状からどれだけ逸脱しているかを示す指標である。つまり、復元誤差Ｅは、抽出された細胞核領域の形状と、予め定められた形状モデルとの比較結果に相当する。
【０１０３】
続いて、対応点変更部２０２は、各細胞核領域の復元誤差Ｅが閾値Ｅｔｈより小さいか否かを判定する（Ｓ５０４）。ここで、各細胞核領域の復元誤差Ｅが閾値Ｅｔｈよりも小さい場合（Ｓ５０４のＹｅｓ）、決定されたモーフィング画像が表示部１０５に出力される（Ｓ５０５）。つまり、各細胞核領域の形状が正常であるので、モーフィング画像が正確であると評価される。一方、いずれかの細胞核領域の復元誤差Ｅが閾値Ｅｔｈ以上である場合（Ｓ５０４のＮｏ）、対応点変更部２０２は、第１選択画像内に配置された第１対応点の位置を変更し（Ｓ５０６）、ステップＳ３０２に戻る。つまり、各細胞核領域の形状が異常であるので、モーフィング画像が不正確であると評価される。そして、対応点変更部２０２は、例えば、閾値Ｅｔｈ以上の復元誤差Ｅを有する細胞核領域及びその周辺領域に含まれる第１対応点をランダムな位置に変更する。
【０１０４】
次に、図１３のステップＳ５０２における細胞核領域の抽出の詳細について、図１４を参照しながら具体的に説明する。図１４は、実施の形態２における細胞核領域の抽出処理を示すフローチャートである。
【０１０５】
まず、細胞核抽出部２０１は、モーフィング画像に対して二値化処理を行う。本実施の形態においては、黒の値が１であり、白の値が０である。その後、細胞核抽出部２０１は、二値化したモーフィング画像の各座標において勾配ベクトルの集中度を算出する（Ｓ６０２）。画像中の座標（ｘ，ｙ）における勾配ベクトルの集中度Ｃ（ｘ，ｙ）は下記の式で算出される。
【０１０６】
【数２】
2017099721.tif 000004
【０１０７】
【数３】
2017099721.tif 000005
【０１０８】
式２及び式３における各変数は、図１５のように定義される。図１５では、座標（ｘ，ｙ）の対象点６２の集中度を算出するために注目点６３、及び、ドーナツ状の白領域６５が定義されている。対象点６２に対する相対的な注目点６３の位置は、ｉ及びｊで表される。ｉは、対象点６２に対する注目点６３の方向（角度）を表し、ｊは、対象点６２からの注目点６３の距離を表す。また、ｒは、白領域６５の内周円の半径を表し、Ｒは、白領域６５の外周円の半径を表し、ｄは、白領域６５の径方向の幅（つまりＲ−ｒ）を表す。ｌは、Ｒの上限値を表す。
【０１０９】
式３では、白領域６５内の任意の方向ｉに位置する複数の注目点におけるｃｏｓθの和を幅ｄで除することによりｃｉが算出される。θは、注目点６３における勾配ベクトル６４と、当該注目点６３及び対象点６２を結ぶ線分６６との間の角度を示す。したがって、ｃｉは、対象点６２から任意の方向ｉに位置する複数の注目点における複数の勾配ベクトルが、対象点６２の方向に向いているほど大きな値をとり、対象点６２から離れた方向に向いているほど小さな値をとる。
【０１１０】
式２では、複数の方向におけるｃｉの平均値の、白領域６５の半径ｒを０からｌ−ｄまで変更したときの最大値を算出することにより、集中度Ｃ（ｘ，ｙ）が算出される。
【０１１１】
次に、細胞核抽出部２０１は、モーフィング画像中における集中度Ｃ（ｘ，ｙ）の分布に基づいて細胞核領域の中心位置を求める（Ｓ６０３）。具体的には、細胞核抽出部２０１は、集中度Ｃ（ｘ，ｙ）の分布において、Ｃ（ｘ，ｙ）が極大値をとる位置を特定する。Ｃ（ｘ，ｙ）の極大値は、座標（ｘ，ｙ）の画素周辺において勾配ベクトルの方向が座標（ｘ，ｙ）の画素に最も集中していることを表す。細胞核のように、領域が円や楕円の形状を有する場合、勾配ベクトルの方向が最も集中する位置が円や楕円の中心に対応する。したがって、本実施の形態においては、細胞核抽出部２０１は、Ｃ（ｘ，ｙ）が極大値を取る位置を細胞核領域の中心位置と決定する。
【０１１２】
次に、ステップＳ６０３にて求められた中心位置の各々における細胞核領域を、領域拡張法を用いて算出する（Ｓ６０４）。領域拡張法は、中心位置から放射線上に延びるＮ個の方向へ細胞核領域の境界を探索する手法である。本実施の形態においては、勾配強度が閾値ＴＨ（例えば２）以上となったときにｋ番目の方向への探索を終了し、探索終了した方向が３以上となったときに全ての方向の探索を終了する。これにより、２つの細胞核領域が１つに結合されている場合においても、２つの細胞核領域を区別できる。
【０１１３】
［効果］
以上のように、本実施の形態に係る画像処理装置２００によれば、モーフィング画像から抽出された細胞核領域の形状に基づいてモーフィング画像を評価し、その評価の結果に応じてモーフィング画像を再生成することができる。したがって、病理診断において重要な細胞核の形状がモーフィング画像において不適切に変形されることを防ぐことができる。
【０１１４】
（実施の形態３）
次に、実施の形態３に係る画像処理装置について説明する。本実施の形態に係る画像処理装置は、検体画像から異常な細胞核を検出し、検出結果に基づいてモーフィング処理を実施する点が、上記実施の形態１、２と異なる。以下に、本実施の形態に係る画像処理装置について、実施の形態１、２と異なる点を中心に説明する。
【０１１５】
［画像処理装置の構成］
図１６は、実施の形態３に係る画像処理装置３００の構成を示すブロック図である。なお、図１６において、図１及び図１２と実質的に同一の構成要素には同じ符号を付し、詳細な説明を省略する。
【０１１６】
本実施の形態に係る画像処理装置３００は、領域分割部１０１と、ラベル付与部１０２と、モーフィング処理部１０３と、画像再構成部１０４と、表示部１０５と、入力部１０６と、放射線画像記憶部１０７と、解剖モデル記憶部１０８と、検体画像記憶部１０９と、細胞核抽出部２０１と、対応点変更部２０２と、細胞核モデル記憶部２０３と、異常核検出部３０１とを有する。
【０１１７】
異常核検出部３０１は、予め定められた正常又は異常な細胞核の条件に基づいて２以上の検体画像から異常な細胞核を検出する。本実施の形態では、予め定められた正常な細胞核の条件として、細胞核モデル記憶部２０３に記憶されている形状モデルが利用される。形状モデルについては、実施の形態２と同一であるので説明を省略する。
【０１１８】
例えば、異常核検出部３０１は、画像選択部１０３ａによって選択された第１選択画像３３及び第２選択画像３５から細胞核領域を抽出する。そして、異常核検出部３０１は、細胞核モデル記憶部２０３に記憶されている形状モデルに基づいて式１を用いて、各細胞核領域の復元誤差Ｅを算出する。異常核検出部３０１は、閾値以上の復元誤差Ｅの値を有する細胞核領域を異常な細胞核として検出する。
【０１１９】
画像生成部１０３ｂは、このように検出された異常な細胞核の周辺領域に含まれる対応点のモーフィング処理への使用を禁止する。つまり、画像生成部１０３ｂは、異常な細胞核の周辺領域に含まれる対応点を無効化する。
【０１２０】
周辺領域とは、例えば、異常な細胞核の中心から予め定められた距離の範囲内の領域である。また例えば、周辺領域とは、異常な細胞核を中心に含む、予め定められた形状及びサイズを有する領域であってもよい。つまり、周辺領域は、円領域に限定される必要はない。
【０１２１】
［画像処理装置の動作］
以上のように構成された画像処理装置３００の動作について図面を参照しながら具体的に説明する。なお、本実施の形態の全体的な処理の流れは、実施の形態１の図２と同じであるので、図示を省略する。
【０１２２】
図１７は、実施の形態３におけるモーフィング処理を示すフローチャートである。図１７において、図９及び図１３と実質的に同一のステップについては、同一の符号を付し、詳細な説明を省略する。
【０１２３】
第１対応点及び第２対応点のペアが決定された後（Ｓ３０１、Ｓ３０２）、異常核検出部３０１は、第１選択画像及び第２選択画像から細胞核領域を抽出する（Ｓ７０１）。なお、細胞核領域の抽出では、モーフィング画像の代わりに検体画像（第１選択画像及び第２選択画像）が用いられる点を除いて、図１４に示すフローチャートと実質的に同一の処理が行われる。
【０１２４】
続いて、異常核検出部３０１は、第１選択画像及び第２選択画像から異常な細胞核を検出する（Ｓ７０２）。異常な細胞核の検出では、モーフィング画像の代わりに検体画像（第１選択画像及び第２選択画像）が用いられる点を除いて、図１３のステップＳ５０３〜ステップＳ５０６と実質的に同一の処理が行われる。
【０１２５】
つまり、異常核検出部３０１は、抽出された各細胞核領域の復元誤差Ｅを算出する。そして、異常核検出部３０１は、復元誤差Ｅを閾値Ｅｔｈと比較することにより、各細胞各領域が異常か否かを評価する。ここでは、形状モデルとして正常な細胞核の形状モデルが利用されているので、異常核検出部３０１は、細胞核領域の復元誤差Ｅが閾値Ｅｔｈよりも大きい場合に、当該細胞核領域を異常な細胞核として検出する。
【０１２６】
次に、異常核検出部３０１は、検出された異常な細胞核領域及びその周辺領域に含まれる第１対応点及び第２対応点の少なくとも一方を含む対応点ペアを特定する（Ｓ７０３）。ここで特定された対応点ペアのモーフィング処理への利用が禁止される。したがって、画像生成部１０３ｂは、移動が禁止された対応点ペアを除く他の対応点ペアの第１対応点及び第２対応点の位置が一致するように、第１対応点を移動させる（Ｓ７０４）。
【０１２７】
そして、画像生成部１０３ｂは、第１対応点の移動の過程で得られる複数のモーフィング画像のうちの１つを決定する（Ｓ７０５）。さらに、画像生成部１０３ｂは、ステップＳ７０５で決定されたモーフィング画像から、ステップＳ７０２で検出された異常な細胞核の領域を除く細胞核領域を抽出する（Ｓ７０６）。この細胞核の抽出は、異常な細胞核の領域を抽出しない点を除いて、図１３のステップＳ５０２と実質的に同一であるので図示及び詳細な説明を省略する。その後、実施の形態２と同様に、ステップＳ５０３〜ステップＳ５０６が実行される。
【０１２８】
［効果］
以上のように、本実施の形態に係る画像処理装置３００によれば、検体画像内の異常な細胞核の周辺領域に含まれる対応点のモーフィング処理への使用を禁止することができる。したがって、モーフィング処理によってモーフィング画像内の異常な細胞核が不適切に変形されることを抑制することができ、病理診断に適したモーフィング画像を生成することができる。
【０１２９】
また、本実施の形態に係る画像処理装置３００によれば、検体画像から検出された異常な細胞核を除く細胞核領域の形状を用いて、モーフィング画像を評価することができる。したがって、不必要なモーフィング画像の再生成を抑制することができる。例えば、上記実施の形態２においては、検体画像内において元々異常な形状の細胞核に対しても細胞核モデルとの比較が行われるため、モーフィング画像の再生成が繰り返されてしまう場合がある。そこで、本実施の形態のように、検体画像から異常な細胞核を検出することにより、モーフィング画像の評価を適切に行うことが可能となる。
【０１３０】
（実施の形態４）
次に、実施の形態４に係る画像処理装置について説明する。本実施の形態に係る画像処理装置は、データ記憶部に格納された複数の検体画像の中から、病理医に指示された放射線画像上の位置と対象患者の病名とに対応する検体画像を探索し、探索された検体画像を表示する点が、上記実施の形態１〜３と異なる。以下に、本実施の形態に係る画像処理装置について、実施の形態１〜３と異なる点を中心に説明する。
【０１３１】
［画像処理装置の構成］
図１８は、実施の形態４に係る画像処理装置４００の構成を示すブロック図である。なお、図１８において、図１、図１２及び図１６と実質的に同一の構成要素には同じ符号を付し、詳細な説明を省略する。
【０１３２】
本実施の形態に係る画像処理装置４００は、領域分割部１０１と、ラベル付与部１０２と、モーフィング処理部１０３と、画像再構成部１０４と、表示部１０５と、入力部１０６と、放射線画像記憶部１０７と、解剖モデル記憶部１０８と、検体画像記憶部１０９と、細胞核抽出部２０１と、対応点変更部２０２と、細胞核モデル記憶部２０３と、異常核検出部３０１と、データ探索部４０１と、データ記憶部４０２とを有する。
【０１３３】
データ探索部４０１は、データ記憶部４０２に格納された複数の検体画像の中から、対象患者の病名と病理医から受け付けた入力の位置とに基づいて検体画像を探索する。つまり、データ探索部４０１は、複数の検体画像の中から、入力の位置の近傍の位置情報が付与された検体画像であって、対象患者の病名と同一の病名が付与された検体画像を探索する。
【０１３４】
データ記憶部４０２は、対象患者の放射線画像（第１放射線画像）とは異なる放射線画像（第２放射線画像）と、第２放射線画像に対応する複数の検体画像であって第２放射線画像内における位置と病名とが付与された複数の検体画像と、を格納している。具体的には、データ記憶部４０２は、例えば図１９Ａ及び図１９Ｂに示すデータを格納している。図１９Ａは、患者Ａのデータを示し、図１９Ｂは、患者Ｂのデータを示す。例えば図１９Ａに示すように、データ記憶部４０２は、過去に患者Ａから摘出された検体の位置を示す位置情報７１及び病名７２のタグが付された検体画像７３と、患者Ａの放射線画像７４とを格納している。
【０１３５】
ただし、位置情報７１は、患者Ａの放射線画像７４上の座標で表される。そのため、データ探索部４０１は、対象患者の放射線画像における入力の位置と近い位置の位置情報が付与された患者Ａの検体画像を探索するために、まず患者Ａの放射線画像７４（第２放射線画像）と対象患者の放射線画像３１（第１放射線画像）との非剛体位置合わせを実施する。
【０１３６】
本実施の形態においては、非剛体位置合わせとしてｆｒｅｅ−ｆｏｒｍ−ｄｅｆｏｒｍａｔｉｏｎ法を用いる。Ｆｒｅｅ−ｆｏｒｍ−ｄｅｆｏｒｍａｔｉｏｎ法では、図１０で示したように、放射線画像内に対応点を配置する必要がある。本実施の形態では、格子状に対応点を配置するが、それ以外にも解剖学的に意味のある対応点を自動的に探索し、探索された対応点を利用してもよい。例えば、左右肺の下端、肝臓の下端、及び、腎臓の上下端などの解剖学的に意味のある点を抽出し、抽出された点を対応点として利用してもよい。これにより、非剛体位置合わせによる患者間の解剖学的な構造のずれを防ぐことができる。このように、非剛体位置合わせを行うことで、検体画像の位置情報７１は、患者Ａの放射線画像７４に固有の座標から、対象患者の放射線画像３１における座標へと変換される。そして、対象患者の放射線画像３１の座標空間において、病理医が入力した位置から予め定められた距離ＤＮ以内の位置の検体画像が探索され、表示部１０５に表示される。
【０１３７】
図２０は、実施の形態４において表示部１０５によって表示される画面の一例を示す。なお、図２０において、図７と同様の構成要素には同じ符号を付し、詳細な説明を省略する。
【０１３８】
図２０に示すように、表示部１０５は、データ記憶部４０２に格納されている複数の検体画像のうち、入力の位置の近傍の位置にある検体画像群８１のうち、対象患者の病名と一致する病名８４が付された検体画像８２と位置情報８３と病名８４とを表示する。このとき、位置情報８３は、非剛体位置合わせ後の位置情報である。また、病理医は、検体画像群８１のうちの任意の検体画像を選択することで、検体画像８２、位置情報８３、及び病名８４の表示を変更することができる。
【０１３９】
［効果］
異常、本実施の形態に係る画像処理装置４００によれば、データ記憶部４０２に格納された第２放射線画像に対応する複数の検体画像の中から対象患者の病名及び入力の位置に基づいて探索された検体画像を表示することができる。これにより、病理医は、モーフィング画像だけでなく、過去に実際に摘出された検体の画像を参照しつつ、病理診断が実施できる。
【０１４０】
（他の実施の形態）
以上、１つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つまたは複数の態様の範囲内に含まれてもよい。
【０１４１】
例えば、上記各実施の形態において、検体画像にラベルが付与されていたが、必ずしも検体画像にラベルが付される必要はない。ラベルは、解剖学的構造に基づいて分割された画像領域を区別するための名称である。したがって、画像領域が座標等によって区別されれば、ラベルが付されなくても上記各実施の形態の効果を実現できる。
【０１４２】
なお、上記実施の形態３において、異常な細胞核の周辺領域に含まれる対応点のモーフィング処理への利用を禁止していたが、これに限定されない。例えば、異常な細胞核の周辺領域に含まれる対応点の位置を、当該周辺領域外の位置に変更してもよい。
【０１４３】
なお、上記実施の形態２〜４において、細胞核モデル記憶部２０３は、正常な細胞核の形状を表す形状モデルを格納していたが、異常な細胞核の形状を表す形状モデルを格納していてもよい。この場合、細胞核領域の復元誤差Ｅが閾値Ｅｔｈより小さければ、当該細胞核領域の形状が異常であると判断される。
【０１４４】
なお、上記各実施の形態において、モーフィング処理は、２枚の検体画像を用いて行われていたが、３以上の検体画像を用いてモーフィング処理が行われてもよい。
【０１４５】
例えば、画像処理装置１００、２００、３００、４００は、図２１のようにコンピュータを利用して実現することも可能である。画像処理装置１００、２００、３００、４００は、コンピュータ１００１とコンピュータ１００１に指示を与えるためのキーボード１００２及びマウス１００３と、コンピュータ１００１の演算結果等の情報を提示するためのディスプレイ１００４と、コンピュータ１００１で実現されるプログラムを読み取るためのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）装置１００５及び通信モデム１００６とを含む。
【０１４６】
画像処理装置１００、２００、３００、４００が行うプログラムは、コンピュータで読み取り可能な非一時的な記録媒体であるＣＤ−ＲＯＭ１００７に記録され、ＣＤ−ＲＯＭ装置１００５で読み取られる。または、コンピュータネットワークを通じて通信モデム１００６で読み取られる。
【０１４７】
コンピュータ１００１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００８と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００９と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０１０と、ハードディスク１０１１と、通信モデム１００６とバス１０１２とを含む。
【０１４８】
ＣＰＵ１００８は、ＣＤ−ＲＯＭ装置１００５又は通信モデム１００６を介して読み取られたプログラムを実行する。ＲＯＭ１００９は、コンピュータ１００１の動作に必要なプログラムやデータを記憶する。ＲＡＭ１０１０は、プログラム実行時のパラメータなどのデータを記憶する。ハードディスク１０１１は、プログラムやデータなどを記憶する。通信モデム１００６は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス１０１２は、ＣＰＵ１００８、ＲＯＭ１００９、ＲＡＭ１０１０、ハードディスク１０１１、通信モデム１００６、ディスプレイ１００４、キーボード１００２、マウス１００３及びＣＤ−ＲＯＭ装置１００５を相互に接続する。なお、コンピュータ１００１に接続されているキーボード１００２、マウス１００３及びＣＤ−ＲＯＭ装置１００５は、例えばディスプレイがタッチパネルになっている場合や通信モデムを利用する場合には、取り外してもよい。
【０１４９】
また、本開示は、上記各実施の形態に示す画像処理方法をコンピュータにより実現するコンピュータプログラムを含んでもよいし、前記コンピュータプログラムからなるデジタル信号を含んでもよい。
【０１５０】
さらに、本開示は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体（例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなど）を含んでもよい。また、本開示は、これら非一時的な記録媒体に記録されている上記デジタル信号を含んでもよい。
【０１５１】
また、本開示は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回路、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１５２】
また、上記プログラム又は上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号は上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１５３】
また、図２２のように、コンピュータ１００１以外にも別途データサーバ１１０１を構築し、そのデータサーバ１１０１が放射線画像記憶部１０７、解剖モデル記憶部１０８、検体画像記憶部１０９、細胞核モデル記憶部２０３、データ記憶部４０２などを備え、上記ネットワーク等を経由してそのデータサーバ１１０１に格納された情報をコンピュータ１１０２が読み出してもよい。また、データサーバ１１０１から情報を読み出すコンピュータ１１０２は１台である必要はなく、複数であってもよい。
【０１５４】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する趣旨ではない。また、実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明した。
【産業上の利用可能性】
【０１５５】
本開示に係る画像処理装置は、複数の検体画像から実際には検体が摘出されていない位置の検体画像を生成する画像処理装置等に利用可能である。
【符号の説明】
【０１５６】
１１  解剖モデル
１２、３１、７４  放射線画像
１３  分割結果画像
２１、７３、８２  検体画像
２２、７１、８３  位置情報
３２  ３次元コンピュータグラフィックス
３３、５１  第１選択画像
３４  第１位置情報
３５、５２  第２選択画像
３６  第２位置情報
３７  調整バー
３８  画像選択ボタン
３９  画像合成ボタン
４０、５４、５５  モーフィング画像
４１  入力位置情報
５３ａ  第１対応点
５３ｂ  第２対応点
６２  対象点
６３  注目点
６４  勾配ベクトル
６５  白領域
６６  線分
７２、８４  病名
８１  検体画像群
１００、２００、３００、４００  画像処理装置
１０１  領域分割部
１０２  ラベル付与部
１０３  モーフィング処理部
１０３ａ  画像選択部
１０３ｂ  画像生成部
１０４  画像再構成部
１０５  表示部
１０６  入力部
１０７  放射線画像記憶部
１０８  解剖モデル記憶部
１０９  検体画像記憶部
２０１  細胞核抽出部
２０２  対応点変更部
２０３  細胞核モデル記憶部
３０１  異常核検出部
４０１  データ探索部
４０２  データ記憶部
１００１、１１０２  コンピュータ
１００２  キーボード
１００３  マウス
１００４  ディスプレイ
１００５  ＲＯＭ装置
１００６  通信モデム
１０１１  ハードディスク
１０１２  バス
１１０１  データサーバ
【図１】
2017099721.tif 000006
【図２】
2017099721.tif 000007
【図３】
2017099721.tif 000008
【図４】
2017099721.tif 000009
【図５】
2017099721.tif 000010
【図６】
2017099721.tif 000011
【図７】
2017099721.tif 000012
【図８】
2017099721.tif 000013
【図９】
2017099721.tif 000014
【図１０】
2017099721.tif 000015
【図１１】
2017099721.tif 000016
【図１２】
2017099721.tif 000017
【図１３】
2017099721.tif 000018
【図１４】
2017099721.tif 000019
【図１５】
2017099721.tif 000020
【図１６】
2017099721.tif 000021
【図１７】
2017099721.tif 000022
【図１８】
2017099721.tif 000023
【図１９Ａ】
2017099721.tif 000024
【図１９Ｂ】
2017099721.tif 000025
【図２０】
2017099721.tif 000026
【図２１】
2017099721.tif 000027
【図２２】
2017099721.tif 000028