(57)【要約】【課題】より正確な診断を行う。【解決手段】断面取得部は、人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像を取得し、評価値取得部は、複数の断面画像それぞれについて、所定の細胞組織の病巣部位らしさを表す評価値を取得し、出力制御部は、評価値に基づいて、評価値が最も高く最も病巣部位らしい第１の断面画像と、第１の断面画像とは評価値の異なる少なくとも１つの第２の断面画像とを特定し、第１の断面画像と第２の断面画像の出力を制御する。本技術は、例えば病理画像の表示を行う画像処理装置に適用することができる。【選択図】図３
2019012071.tif 000002
【特許請求の範囲】
【請求項１】
人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像を取得する断面取得部と、
複数の前記断面画像それぞれについて、前記所定の細胞組織の病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値に基づいて、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを特定し、前記第１の断面画像と前記第２の断面画像の出力を制御する出力制御部と
を備える画像処理装置。
【請求項２】
前記評価値取得部は、複数の前記断面画像について、それぞれの前記断面画像の病巣部位らしさを表す前記評価値を取得する
請求項１に記載の画像処理装置。
【請求項３】
前記評価値は、前記細胞組織のがんらしさを表す
請求項２に記載の画像処理装置。
【請求項４】
前記出力制御部は、
前記評価値に応じて、所定の前記断面画像の表示を制御し、
複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい前記第１の断面画像と、前記評価値が最も低く最もがんらしくない前記第２の断面画像とを表示させる
請求項３に記載の画像処理装置。
【請求項５】
前記出力制御部は、前記第１の断面画像と前記第２の断面画像とを交互に表示させる
請求項４に記載の画像処理装置。
【請求項６】
前記出力制御部は、前記第１の断面画像と前記第２の断面画像とを並べて表示させる
請求項４に記載の画像処理装置。
【請求項７】
前記３次元画像から、前記画素ブロックを抽出するブロック抽出部をさらに備え、
前記断面取得部は、前記画素ブロックにおいて基準となる断面を回転させることで、複数の前記断面画像を取得する
請求項５に記載の画像処理装置。
【請求項８】
前記出力制御部は、複数の前記断面画像のうちの第３の断面画像を、前記第１の断面画像と前記第２の断面画像との間に表示させる
請求項７に記載の画像処理装置。
【請求項９】
前記第３の断面画像は、前記第１の断面画像と前記第２の断面画像との間を補間する補間画像である
請求項８に記載の画像処理装置。
【請求項１０】
前記評価値取得部は、前記画素ブロックに含まれる任意の断面を表す前記断面画像について、前記評価値を取得する
請求項７に記載の画像処理装置。
【請求項１１】
前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに備え、
前記出力制御部は、前記断面推定部によって推定された断面画像のうちの所定の断面画像を表示させる
請求項５に記載の画像処理装置。
【請求項１２】
画像処理装置が、
人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像を取得し、
複数の前記断面画像それぞれについて、前記所定の細胞組織の病巣部位らしさを表す評価値を取得し、
前記評価値に基づいて、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを特定し、前記第１の断面画像と前記第２の断面画像の出力を制御する
画像処理方法。
【請求項１３】
コンピュータに、
人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像を取得し、
複数の前記断面画像それぞれについて、前記所定の細胞組織の病巣部位らしさを表す評価値を取得し、
前記評価値に基づいて、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを特定し、前記第１の断面画像と前記第２の断面画像の出力を制御する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、より正確な診断を行うことができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、人体の臓器等を撮像して得られる病理画像上から、腫瘍等の病巣部位を検出するための画像認識技術がある。
【０００３】
例えば、病理画像の各画素の輝度差分特徴量に基づいて、予め学習されている細胞組織検出器を用いて、細胞組織領域を設定することで、注目すべき細胞組織領域を的確に検出する技術がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２１５０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、３次元の人体を断層撮影して得られる病理画像は、その断面のとり方（角度や奥行き）によって異なる画像となる。
【０００６】
例えば、図１に示される細胞組織１の断面Ａの断面画像２Ａと、断面Ｂの断面画像２Ｂとでは、その断面のとり方が異なることにより、同一部分の細胞組織であっても異なる細胞組織に見えてしまうことがある。
【０００７】
図１において、断面画像２Ａは、がん（悪性腫瘍）の可能性はないと判断される画像であり、断面画像２Ｂは、がんの可能性があると判断される画像であるとする。同一部分の細胞組織のある断面が、断面画像２Ｂのような断面であったとしても、他の断面が断面画像２Ａのような断面であれば、医師は、その細胞組織はがんの可能性はないと診断することができる。
【０００８】
しかしながら、医師が、断面画像２Ｂのみを観察した場合には、その細胞組織はがんの可能性があるという診断を行ってしまう。
【０００９】
このように、病理画像の断面のとり方によっては、医師は謝った診断を行ってしまう恐れがあった。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、より正確な診断を行うことができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の画像処理装置は、人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像を取得する断面取得部と、複数の前記断面画像それぞれについて、前記所定の細胞組織の病巣部位らしさを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを特定し、前記第１の断面画像と前記第２の断面画像の出力を制御する出力制御部とを備える画像処理装置である。
【００１２】
本技術の画像処理方法は、画像処理装置が、人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像を取得し、複数の前記断面画像それぞれについて、前記所定の細胞組織の病巣部位らしさを表す評価値を取得し、前記評価値に基づいて、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを特定し、前記第１の断面画像と前記第２の断面画像の出力を制御する画像処理方法である。
【００１３】
本技術のプログラムは、コンピュータに、人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像を取得し、複数の前記断面画像それぞれについて、前記所定の細胞組織の病巣部位らしさを表す評価値を取得し、前記評価値に基づいて、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを特定し、前記第１の断面画像と前記第２の断面画像の出力を制御する処理を実行させるプログラムである。
【００１４】
本技術においては、人体の３次元画像における所定の細胞組織を含む画素ブロックに対して複数の断面を設定することで、複数の断面画像が取得され、複数の前記断面画像それぞれについて、前記所定の細胞組織の病巣部位らしさを表す評価値が取得され、前記評価値に基づいて、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とが特定され、前記第１の断面画像と前記第２の断面画像の出力が制御される。
【発明の効果】
【００１５】
本技術によれば、より正確な診断を行うことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】細胞組織の断面画像の例を示す図である。
【図２】本技術を適用した情報処理装置の構成例を示すブロック図である。
【図３】CPUの機能的構成を示すブロック図である。
【図４】断面表示処理について説明するフローチャートである。
【図５】領域の選択について説明する図である。
【図６】領域の選択について説明する図である。
【図７】画素ブロックについて説明する図である。
【図８】画素ブロックの断面について説明する図である。
【図９】断面画像の表示例について説明する図である。
【図１０】断面画像の表示例について説明する図である。
【図１１】断面画像の表示例について説明する図である。
【図１２】断面画像の表示例について説明する図である。
【図１３】CPUの他の機能的構成を示すブロック図である。
【図１４】断面表示処理について説明するフローチャートである。
【図１５】CPUのさらに他の機能的構成を示すブロック図である。
【図１６】断面表示処理について説明するフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本技術の実施の形態について図を参照して説明する。
【００１８】
[画像処理装置の構成]
【００１９】
図２は、画像処理装置の構成例を示すブロック図である。画像処理装置１１は、例えばパーソナルコンピュータにより構成される。
【００２０】
画像処理装置１１において、CPU（Central Processing Unit）２１，ROM（Read Only Memory）２２，RAM（Random Access Memory）２３は、バス２４により相互に接続されている。
【００２１】
バス２４には、さらに、入出力インタフェース２５が接続されている。入出力インタフェース２５には、入力部２６、出力部２７、記憶部２８、通信部２９、およびドライブ３０が接続されている。
【００２２】
入力部２６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２７は、ディスプレイ、スピーカなどよりなる。記憶部２８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２９は、ネットワークインタフェースなどよりなる。ドライブ３０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１を駆動する。
【００２３】
以上のように構成される画像処理装置１１では、CPU２１が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２５およびバス２４を介して、RAM２３にロードして実行することにより、所定の処理が実行される。
【００２４】
画像処理装置１１では、プログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１をドライブ３０に装着することにより、入出力インタフェース２５を介して、記憶部２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２９で受信し、記憶部２８にインストールすることができる。その他、プログラムは、ROM２２や記憶部２８に、あらかじめインストールしておくことができる。
【００２５】
次にCPU２１の機能的構成について説明する。図３は、CPU２１の機能的構成を示すブロック図である。
【００２６】
図３に示されるように、CPU２１は、断面設定部５１、領域選択部５２、ブロック抽出部５３、評価値算出部５４、表示制御部５５を備えている。各部は必要に応じて情報を授受する機能を有している。
【００２７】
断面設定部５１は、３次元空間における物体を表す３次元画像に対して所定の断面を設定する。
【００２８】
領域選択部５２は、断面設定部５１によって３次元画像に対して設定された断面において、所定の領域を選択する。
【００２９】
ブロック抽出部５３は、３次元画像から、領域選択部５２によって選択された領域に対応する３次元の画素ブロックを抽出する。
【００３０】
評価値算出部５４は、ブロック抽出部５３によって抽出された画素ブロックの所定の断面を表す断面画像について、それぞれの画像を評価するための評価値を算出する。言い換えると、評価値算出部５４は、３次元空間における物体の所定の部分（画素ブロックに含まれる部分）を対象とした複数の画像について、評価値を算出する。
【００３１】
表示制御部５５は、出力部２７としてのディスプレイの表示を制御する。特に、表示制御部５５は、評価値算出部５４によって評価値に応じて、その評価値が算出された複数の断面画像のうちの所定の画像の表示を制御する。
【００３２】
［画像処理装置による断面表示処理］
次に、図４のフローチャートを参照して、画像処理装置１１による断面表示処理について説明する。この断面表示処理によれば、例えば通信部２９を介して供給される、CT(Computerized Tomography)スキャナにより得られたCT画像や、MRI(Magnetic Resonance Imaging)画像等の、人体の３次元画像における所定の細胞組織の断面が、出力部２７としてのディスプレイに表示される。
【００３３】
ステップＳ１１において、断面設定部５１は、人体の３次元画像に対して所定の断面を設定する。ここで設定される断面は、３次元画像が得られた断層撮影時の断面であってもよいし、３次元空間上で予め決められた平面上の断面であってもよい。また、ユーザ（医師）によって選択された断面であってもよい。設定された断面の断面画像は、出力部２７としてのディスプレイに表示される。
【００３４】
ステップＳ１２において、領域選択部５２は、断面設定部５１によって設定された３次元画像の断面において、がんらしい（悪性腫瘍）細胞組織を含む領域を選択する。
【００３５】
領域選択部５２によって選択される領域は、例えば、図５に示されるように、断面設定部５１によって設定された断面画像８１において、ユーザががんらしいと判断した細胞組織に対して、入力部２６としてのマウスに対するユーザの操作（ドラッグ）に応じてマウスポインタ８２により形成される領域８３とする。
【００３６】
また、領域選択部５２によって選択される領域は、図６で示されるように、断面画像８１において、予め学習されているがん検出器を用いることによって算出されるスコアが最も高い細胞組織を含む領域８３であってもよい。この場合、入力部２６としてのマウスに対するユーザの操作（クリック）に応じて、マウスポインタ８２により領域８３が選択される。また、この場合、領域８３のサイズは、がん検出器によって決められてもよいし、ユーザの操作により決められるようにしてもよい。なお、がん検出器を用いたスコアの算出は、例えば特許文献１に開示されている手法を用いるものとする。
【００３７】
また、図５および図６において、領域８３は矩形であるものとしたが、円形や楕円形等、他の形状であってもよい。
【００３８】
図４のフローチャートに戻り、ステップＳ１３において、ブロック抽出部５３は、３次元画像から、領域選択部５２によって選択された領域を含む画素ブロックを抽出する。すなわち、ブロック抽出部５３は、３次元画像から、がんらしい細胞組織を含む画素ブロックを抽出する。
【００３９】
具体的には、例えば、図７に示されるように、３次元画像の断面画像８１における領域８３を、断面画像８１の上面側および下面側の法線方向に延ばして得られる直方体９１を、画素ブロック（以下、画素ブロック９１という）として３次元画像から抽出する。ここで、３次元画像は、断層撮影して得られた断層画像の集合であり、断層画像それぞれの画素全てが３次元行列の要素となる。この要素が、３次元画像上での画素（いわゆるボクセル）であり、それぞれ３次元空間上の座標を有する。すなわち、画素ブロックもまたボクセルから構成されており、画素ブロックは、それを構成する画素（ボクセル）の３次元空間上の位置（座標）で指定され抽出される。
【００４０】
なお、画素ブロックの形状は、直方体に限らず、領域８３の形状に応じて、球であってもよいし楕円体であってもよい。
【００４１】
ステップＳ１４において、評価値算出部５４は、ブロック抽出部５３によって抽出された画素ブロックの任意の断面を表す断面画像について、がんらしさを表す評価値を算出する。具体的には、評価値算出部５４は、画素ブロック９１において、領域８３を基準とした（言い換えると画素ブロック９１に含まれるがんらしい細胞組織を基準とした）複数の方向の断面を表す断面画像について、評価値を算出する。なお、画素ブロック９１における任意の断面は、画素ブロックを構成するボクセルの位置により指定され、例えばCT画像における任意断面再構成(Multiplanar Reconstruction: MPR)の技術を用いて設定される。
【００４２】
具体的には、図８に示される画素ブロック９１において、領域８３の画像を、基準となる断面を表す断面画像S0とすると、評価値算出部５４は、領域８３の２長辺の中点を結んだ線分Ｌを軸として断面画像S0を回転させて得られる断面画像Smや断面画像Snについて、評価値を算出する。断面画像S0を回転させて得られる断面画像の数は、任意に設定することができ、例えば、断面画像S0を45度ずつ回転させて得られる４（断面画像S0を含む）であってもよいし、断面画像S0を30度ずつ回転させて得られる６（断面画像S0を含む）であってもよい。なお、がんらしさを表す評価値は、上述で説明した、がん検出器を用いたスコアとして求めることができる。
【００４３】
なお、図８においては、線分Ｌを軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしたが、線分Ｌに直交する線分を軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしてもよい。また、画素ブロックが球や楕円体である場合には、基準となる断面画像の中心点を回転中心として得られる断面画像について評価値を算出するようにしてもよい。
【００４４】
ステップＳ１５において、表示制御部５５は、評価値算出部５４によって評価値が算出された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。
【００４５】
具体的には、図９左上に示される断面画像８１において、がんらしい細胞組織を含む領域８３が選択されると、断面画像８１の領域８３には、図９右上に示されるように、最も評価値の高い（最もがんらしい）断面画像Smax（例えば、図１の断面画像２Ｂ）が表示される。また、図９右上の状態で、例えば、入力部２６としてのマウスがユーザにより操作（クリック）されると、断面画像８１の領域８３には、図９下に示されるように、最も評価値の低い（最もがんらしくない）断面画像Smin（例えば、図１の断面画像２Ａ）が表示される。さらに、図９下の状態で、入力部２６としてのマウスがユーザにより操作（クリック）されると、図９右上の状態に戻る。すなわち、断面画像８１の領域８３には、ユーザの操作毎に、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に表示されるようになる。
【００４６】
また、図９左上に示される断面画像８１において、がんらしい細胞組織を含む領域８３が選択されると、ユーザの操作を必要とせずに、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に連続的に表示されるようにしてもよい。
【００４７】
以上の処理によれば、同一部分の細胞組織についての複数の断面画像について、がんらしさを表す評価値が算出され、その評価値に応じて、最も評価値の高い断面画像と最も評価値の低い断面画像とが交互に表示されるようになる。したがって、ユーザは、同一部分の細胞組織について、最もがんらしい断面と最もがんらしくない断面とを確認することができ、それらの断面を参考にすることで、より正確な診断を行うことが可能となる。
【００４８】
なお、以上においては、最も評価値の高い断面画像と最も評価値の低い断面画像の２つの断面画像が交互に表示されるようにしたが、最も評価値の高い断面画像と最も評価値の低い断面画像との間に、その間を補間する補間画像を表示させるようにしてもよい。ここで、補間画像とは、例えば、モーフィングの手法において生成される、異なる２つの画像の間を補間する画像であり、その２つの画像の画素値を所定の比率で合成（ブレンド）することで得られる。これにより、１つの画像の表示が他の画像の表示に切り替わる際に、自然に切り替わるようになる。
【００４９】
補間画像としては、例えば、図８を参照して説明した線分Ｌを回転軸として得られた断面画像であって、最も評価値の高い断面画像と最も評価値の低い断面画像との間にある断面画像を用いることができる。なお、補間画像は１つであってもよいし、複数であってもよい。これにより、最も評価値の高い断面画像と最も評価値の低い断面画像の２つの断面画像が交互に表示される場合と比べて、補間画像の数が多いほど、スムーズな表示を行うことができる。
【００５０】
また、補間画像として、評価値が、最高値と最低値との間の値となる断面画像を用いるようにしてもよいし、最も評価値の高い断面画像と最も評価値の低い断面画像とを用いて補間画像を新たに生成するようにしてもよい。
【００５１】
さらに、評価値が算出された複数の断面画像を、評価値によって順位付けし、評価値の高い上位の断面画像いずれかと、最も評価値の低い断面画像とを交互に表示させるようにしてもよい。
【００５２】
具体的には、例えば、図１０に示されるように、出力部２７としてのディスプレイ１０１に、断面画像８１とともに、評価値が算出された複数の断面画像の中で評価値の高い上位３つの断面画像S1，S2，S3を表示させる。
【００５３】
図１０において、ユーザの操作により、断面画像S1，S2，S3の中から、断面画像S1が選択された場合、図１１に示されるように、断面画像８１の領域８３には、１番目に評価値の高い断面画像S1と最も評価値の低い断面画像Sminが交互に表示されるようになる。この場合でも、交互に表示される２つの断面画像の間に、補間画像を表示するようにしてもよい。また、図１１下において、最も評価値の低い断面画像Sminに代えて、基準となる断面画像S0が表示されるようにしてもよい。
【００５４】
また、以上においては、断面画像８１の領域８３に、評価値を算出した断面画像を表示させるようにしたが、図１２に示されるように、断面画像８１とは別の表示領域１１１に、評価値を算出した断面画像を表示させるようにしてもよい。もちろん、この場合でも、交互に表示される２つの断面画像の間に、補間画像を表示するようにしてもよい。
【００５５】
ところで、上述した説明では、画像処理装置１１が、所定の細胞組織の、複数の方向の断面について、評価値を算出するものとしたが、外部に接続されている図示せぬサーバ等が、任意の断面についての評価値を算出し、画像処理装置１１が、その評価値をサーバから取得して、取得した評価値に応じて、所定の断面画像を表示させるようにしてもよい。
【００５６】
［CPUの他の機能的構成］
図１３は、CPU２１の他の機能的構成を示すブロック図である。
【００５７】
図１３に示されるように、CPU２１は、評価値取得部１５１および表示制御部５５を備えている。なお、図１３において、表示制御部５５は、図３のCPU２１における表示制御部５５と同一であるので、その説明は省略する。
【００５８】
評価値取得部１５１は、通信部２９を介して、外部に接続されているサーバから、３次元画像における画素ブロックの所定の断面を表す断面画像についての評価値を取得する。
【００５９】
なお、外部のサーバは、図３のCPU２１における断面設定部５１、領域選択部５２、ブロック抽出部５３、および評価値算出部５４と同様の機能を備えており、３次元画像において設定された領域を含む画素ブロックにおける任意の断面について、評価値を算出する。
【００６０】
［画像処理装置による断面表示処理］
次に、図１４のフローチャートを参照して、図１３で説明した機能を備える画像処理装置１１による断面表示処理について説明する。
【００６１】
なお、外部のサーバにおいては、人体の３次元画像における所定の細胞組織に対して設定された領域を含む画素ブロックの任意の断面について、評価値が算出されている。
【００６２】
ステップＳ３１において、評価値取得部１５１は、通信部２９を介して、外部に接続されているサーバから、人体の３次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。
【００６３】
ステップＳ３２において、表示制御部５５は、評価値取得部１５１によって評価値が取得された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、２つの断面画像は、図９を参照して説明したように表示されてもよいし、図１１または図１２を参照して説明したように表示されてもよい。
【００６４】
以上の処理によっても、図４のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。
【００６５】
なお、以上においては、評価値が取得（算出）された断面画像のみを表示の対象としたが、例えば、図８を参照して説明した断面のとり方では、断面として指定されなかった断面の断面画像の評価値が最も高くなる（または低くなる）可能性もある。
【００６６】
そこで、以下においては、指定された断面以外の断面について、その評価値を推定する構成について説明する。
【００６７】
［CPUのさらに他の機能的構成］
図１５は、CPU２１のさらに他の機能的構成を示すブロック図である。
【００６８】
図１５に示されるように、CPU２１は、評価値取得部１５１、断面推定部２１１、および表示制御部５５を備えている。なお、図１５において、評価値取得部１５１および表示制御部５５は、図１３のCPU２１における評価値取得部１５１および表示制御部５５と同一であるので、その説明は省略する。
【００６９】
断面推定部２１１は、評価値取得部１５１によって取得された評価値に基づいて、評価値が取得（算出）されなかった断面の断面画像を推定する。
【００７０】
［画像処理装置による断面表示処理］
次に、図１６のフローチャートを参照して、図１５で説明した機能を備える画像処理装置１１による断面表示処理について説明する。
【００７１】
ステップＳ５１において、評価値取得部１５１は、通信部２９を介して、外部に接続されているサーバから、人体の３次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。
【００７２】
ステップＳ５２において、断面推定部２１１は、評価値取得部１５１によって取得された評価値に基づいて、評価値が最も高い断面の断面画像、および評価値が最も低い断面の断面画像を推定する。具体的には、断面推定部２１１は、評価値取得部１５１によって取得された各断面についての評価値から、断面の回転方向についての評価値の分布を、線形補間等により推定する。そして、断面推定部２１１は、推定した評価値の分布を基に、評価値が最も高い断面画像と評価値が最も低い断面画像とを生成する。例えば、ある２つの断面画像の間で、評価値が最も高くなると推定された場合、その２つの断面画像それぞれの評価値と、推定された最も高くなる評価値との差に応じた比率で、２つの断面画像の画素値を合成（ブレンド）することで、評価値が最も高い断面画像が得られる。
【００７３】
ステップＳ５３において、表示制御部５５は、断面推定部２１１によって推定された、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、２つの断面画像は、図９を参照して説明したように表示されてもよいし、図１１または図１２を参照して説明したように表示されてもよい。
【００７４】
以上の処理によっても、図４のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。
【００７５】
また、図１５のCPU２１における断面推定部２１１を、図３のCPU２１に設けるようにしてもよい。この場合、図４のフローチャートのステップＳ１４とステップＳ１５の間に、断面推定部２１１による断面画像の推定処理（図１６のフローチャートのステップＳ５１の処理）が実行される。
【００７６】
なお、以上においては、本技術を、人体の細胞組織の断面を表示する構成に適用した場合について説明してきたが、野菜や果物、肉等の食品、電子機器、構造物、地層等の断面を表示する構成に適用することで、異物の発見、部品や堆積物の解析をより正確に行うことができるようになる。
【００７７】
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【００７８】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００７９】
このようなプログラムを含む記録媒体は、図２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVDを含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM２２や、記憶部２８に含まれるハードディスクなどで構成される。
【００８０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８１】
また、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００８２】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００８３】
また、本技術は、１つの機能をネットワーク上の複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００８４】
さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００８５】
また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００８６】
本技術は以下のような構成をとることができる。
（１）
３次元空間における物体を表す３次元画像の所定断面においてユーザにより選択された１つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値に応じて、所定の前記断面画像の出力を制御する出力制御部と
を備え、
前記出力制御部は、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを出力させる
画像処理装置。
（２）
前記評価取得部は、前記所定領域についての複数の方向の断面を表す複数の前記断面画像について、それぞれの前記断面画像の病巣部位らしさを表す評価値を取得する
（１）に記載の画像処理装置。
（３）
前記評価値は、人体の所定の部分の細胞組織を対象とした画像における前記細胞組織のがんらしさを表す
（１）または（２）に記載の画像処理装置。
（４）
前記出力制御部は、
前記評価値に応じて、所定の前記断面画像の表示を制御し、
複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい前記第１の断面画像と、前記評価値が最も低く最もがんらしくない前記第２の断面画像とを表示させる
（３）に記載の画像処理装置。
（５）
前記出力制御部は、前記所定領域上で、前記第１の断面画像と前記第２の断面画像とを交互に表示させる
（４）に記載の画像処理装置。
（６）
前記出力制御部は、前記第１の断面画像と前記第２の断面画像とを並べて表示させる
（４）に記載の画像処理装置。
（７）
前記３次元画像から、前記所定領域を含む画素ブロックを抽出するブロック抽出部をさらに備え、
前記評価値取得部は、前記画素ブロックの複数の断面を表す断面画像について、前記評価値を取得する
（５）に記載の画像処理装置。
（８）
前記出力制御部は、複数の前記断面画像のうちの第３の断面画像を、前記第１の断面画像と前記第２の断面画像との間に表示させる
（７）に記載の画像処理装置。
（９）
前記第３の断面画像は、前記第１の断面画像と前記第２の断面画像との間を補間する補間画像である
（８）に記載の画像処理装置。
（１０）
前記評価値取得部は、前記画素ブロックに含まれる任意の断面を表す前記断面画像について、前記評価値を取得する
（７）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに備え、
前記出力制御部は、前記断面推定部によって推定された断面画像のうちの所定の断面画像を表示させる
（５），（７）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
３次元空間における物体を表す３次元画像の所定断面においてユーザにより選択された１つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値に応じて、前記断面画像の出力を制御する出力制御部と
を備える画像処理装置の画像処理方法であって、
前記出力制御部が、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを出力させる
ステップを含む画像処理方法。
（１３）
３次元空間における物体を表す３次元画像の所定断面においてユーザにより選択された１つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得ステップと、
前記評価値に応じて、前記断面画像の出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させ、
前記出力制御ステップは、前記評価値が最も高く最も病巣部位らしい第１の断面画像と、前記第１の断面画像とは前記評価値の異なる少なくとも１つの第２の断面画像とを出力させる
プログラム。
【符号の説明】
【００８７】
１１  画像処理装置，  ２１  CPU，  ５１  断面設定部，  ５２  領域選択部，  ５３  ブロック抽出部，  ５４  評価値算出部，  ５５  表示制御部，  １５１  評価値取得部，  ２１１  断面推定部
【図１】
2019012071.tif 000003
【図２】
2019012071.tif 000004
【図３】
2019012071.tif 000005
【図４】
2019012071.tif 000006
【図５】
2019012071.tif 000007
【図６】
2019012071.tif 000008
【図７】
2019012071.tif 000009
【図８】
2019012071.tif 000010
【図９】
2019012071.tif 000011
【図１０】
2019012071.tif 000012
【図１１】
2019012071.tif 000013
【図１２】
2019012071.tif 000014
【図１３】
2019012071.tif 000015
【図１４】
2019012071.tif 000016
【図１５】
2019012071.tif 000017
【図１６】
2019012071.tif 000018
【手続補正書】
【提出日】平成30年8月27日(2018.8.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像において、所定の組織を含む領域を選択する領域選択部と、
前記第１の画像において選択された前記領域を含む複数の断面画像から、予め学習されている病巣部位検出器を用いて求められた病巣部位らしさを表す評価値が最も高く最も病巣部位らしい第２の画像と、前記第２の画像とは前記評価値の異なる少なくとも１つの第３の画像とを特定し、前記第２の画像と前記第３の画像の出力を制御する出力制御部と
を備える画像処理装置。
【請求項２】
前記領域選択部は、入力部に対するユーザの操作に応じて、前記領域を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記領域選択部は、前記第１の画像において前記病巣部位検出器を用いることによって算出されるスコアに基づいて、前記領域を選択する
請求項３に記載の画像処理装置。
【請求項４】
前記領域選択部は、前記スコアが最も高い前記所定の組織を含む前記領域を選択する
請求項１に記載の画像処理装置。
【請求項５】
前記出力制御部は、前記第１の画像において選択された前記領域に、前記第２の画像と前記第３の画像を表示する
請求項１に記載の画像処理装置。
【請求項６】
前記出力制御部は、前記第２の画像と前記第３の画像とを交互に表示させる
請求項５に記載の画像処理装置。
【請求項７】
前記出力制御部は、入力部に対するユーザの操作毎に、前記第２の画像と前記第３の画像とを交互に表示させる
請求項６に記載の画像処理装置。
【請求項８】
前記出力制御部は、前記第１の画像において前記領域が選択されると、入力部に対するユーザの操作を必要とすることなく、前記第２の画像と前記第３の画像とを交互に連続的に表示させる
請求項６に記載の画像処理装置。
【請求項９】
前記第３の画像は、前記評価値が最も低く最も病巣部位らしくない画像である
請求項６に記載の画像処理装置。
【請求項１０】
前記出力制御部は、前記領域が選択された前記第１の画像とともに、前記第２の画像と前記第３の画像を表示させる
請求項１に記載の画像処理装置。
【請求項１１】
前記第３の画像は、前記第２の画像に次いで前記評価値の高い画像である
請求項１０に記載の画像処理装置。
【請求項１２】
前記出力制御部は、前記第２の画像と前記第３の画像とを並べて表示させる
請求項１０に記載の画像処理装置。
【請求項１３】
前記評価値は、前記細胞組織のがんらしさを表す
請求項１に記載の画像処理装置。
【請求項１４】
前記第１の画像は、人体の３次元画像であり、
前記３次元画像において選択された前記領域を含む画素ブロックを抽出するブロック抽出部と、
前記画素ブロックにおいて基準となる断面を回転させることで、複数の前記断面画像を取得する断面取得部とをさらに備える
請求項１に記載の画像処理装置。
【請求項１５】
前記出力制御部は、複数の前記断面画像のうちの第４の画像を、前記第２の画像と前記第３の画像との間に表示させる
請求項１４に記載の画像処理装置。
【請求項１６】
前記第４の画像は、前記第２の画像と前記第３の画像との間を補間する補間画像である
請求項１５に記載の画像処理装置。
【請求項１７】
前記画素ブロックに含まれる任意の断面を表す前記断面画像について、前記評価値を取得する評価値取得部をさらに備える
請求項１４に記載の画像処理装置。
【請求項１８】
前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに備え、
前記出力制御部は、前記断面推定部によって推定された断面画像のうちの所定の断面画像を表示させる
請求項１７に記載の画像処理装置。
【請求項１９】
画像処理装置が、
第１の画像において、所定の組織を含む領域を選択し、
前記第１の画像において選択された前記領域を含む複数の断面画像から、予め学習されている病巣部位検出器を用いて求められた病巣部位らしさを表す評価値が最も高く最も病巣部位らしい第２の画像と、前記第２の画像とは前記評価値の異なる少なくとも１つの第３の画像とを特定し、前記第２の画像と前記第３の画像の出力を制御する
画像処理方法。
【請求項２０】
コンピュータに、
第１の画像において、所定の組織を含む領域を選択し、
前記第１の画像において選択された前記領域を含む複数の断面画像から、予め学習されている病巣部位検出器を用いて求められた病巣部位らしさを表す評価値が最も高く最も病巣部位らしい第２の画像と、前記第２の画像とは前記評価値の異なる少なくとも１つの第３の画像とを特定し、前記第２の画像と前記第３の画像の出力を制御する
処理を実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本技術の画像処理装置は、第１の画像において、所定の組織を含む領域を選択する領域選択部と、前記第１の画像において選択された前記領域を含む複数の断面画像から、予め学習されている病巣部位検出器を用いて求められた病巣部位らしさを表す評価値が最も高く最も病巣部位らしい第２の画像と、前記第２の画像とは前記評価値の異なる少なくとも１つの第３の画像とを特定し、前記第２の画像と前記第３の画像の出力を制御する出力制御部とを備える画像処理装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本技術の画像処理方法は、画像処理装置が、第１の画像において、所定の組織を含む領域を選択し、前記第１の画像において選択された前記領域を含む複数の断面画像から、予め学習されている病巣部位検出器を用いて求められた病巣部位らしさを表す評価値が最も高く最も病巣部位らしい第２の画像と、前記第２の画像とは前記評価値の異なる少なくとも１つの第３の画像とを特定し、前記第２の画像と前記第３の画像の出力を制御する画像処理方法である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本技術のプログラムは、コンピュータに、第１の画像において、所定の組織を含む領域を選択し、前記第１の画像において選択された前記領域を含む複数の断面画像から、予め学習されている病巣部位検出器を用いて求められた病巣部位らしさを表す評価値が最も高く最も病巣部位らしい第２の画像と、前記第２の画像とは前記評価値の異なる少なくとも１つの第３の画像とを特定し、前記第２の画像と前記第３の画像の出力を制御する処理を実行させるプログラムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本技術においては、第１の画像において、所定の組織を含む領域が選択され、前記第１の画像において選択された前記領域を含む複数の断面画像から、予め学習されている病巣部位検出器を用いて求められた病巣部位らしさを表す評価値が最も高く最も病巣部位らしい第２の画像と、前記第２の画像とは前記評価値の異なる少なくとも１つの第３の画像とが特定され、前記第２の画像と前記第３の画像の出力が制御される。