(57)【要約】【課題】複数の画像の対応する部位を正確に並べて表示する。【解決手段】第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、前記第１の領域および前記第２の領域の表示を制御する表示制御部と、を備え、前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、情報処理装置が提供される。【選択図】図２
2020119588.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、
前記第１の領域および前記第２の領域の表示を制御する表示制御部と、
を備え、
前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理装置。
【請求項２】
前記グループに係る分類は、学習データに基づいて実行される、
請求項１に記載の情報処理装置。
【請求項３】
前記学習データは、背景部分が中心の画像と、当該画像を除く前記被写体を含む画像と、を含む、
請求項２に記載の情報処理装置。
【請求項４】
前記画像取得部は、向き、位置、サイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域を、それぞれ第１の切り出し画像および第２の切り出し画像として取得する、
請求項１に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記第１の切り出し画像および前記第２の切り出し画像に係る同期表示を制御する、
請求項４に記載の情報処理装置。
【請求項６】
前記表示制御部は、ガイドスクロール表示、自動縦横割選択表示、瞬時切り替え表示、切り出し並べ表示、めくり表示、または多染色合成表示のうちの少なくとも１つに係る表示制御を行う、
請求項１に記載の情報処理装置。
【請求項７】
前記第１の画像および前記第２の画像は、医療画像である、
請求項１に記載の情報処理装置。
【請求項８】
前記被写体は生体組織から切り出された生検であり、
前記医療画像は、同一の生体組織から隣り合って切り出された前記生検がスライドガラスに配置されて、異なる種類の染色が施されているプレパラートをスキャニングした病理画像である、
請求項７に記載の情報処理装置。
【請求項９】
前記画像処理部は、ネットワーク上に設けられたサーバである、
請求項１に記載の情報処理装置。
【請求項１０】
前記画像処理部をさらに備える、
請求項１に記載の情報処理装置。
【請求項１１】
第１の病理画像および第２の病理画像を画像処理部に供給し、前記第１の病理画像から抽出された第１の細胞領域と、前記第２の病理画像から抽出された第２の細胞領域と、を取得する画像取得部と、
前記第１の細胞領域および前記第２の細胞領域の表示を制御する表示制御部と、
を備え、
前記第１の細胞領域および前記第２の細胞領域は画像パターンに基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の細胞領域および前記第２の細胞領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の細胞領域および前記第２の細胞領域に係る表示を制御する、
情報処理装置。
【請求項１２】
前記第１の細胞領域および前記第２の細胞領域は、生検を含む領域であり、
前記グループに係る分類は、前記生検に基づいて実行される、
請求項１１に記載の情報処理装置。
【請求項１３】
プロセッサが、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得することと、
前記第１の領域および前記第２の領域の表示を制御することと、
を含み、
前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、
前記取得することは、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記制御することは、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理方法。
【請求項１４】
コンピュータを、
第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、
前記第１の領域および前記第２の領域の表示を制御する表示制御部と、
を備え、
前記第１の領域および前記第２の領域は前記被写体に基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理装置、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、医療の場において、腫瘍などの病理組織を診断する（例えば、癌などの悪性腫瘍であるか否かを判断する）方法として、患者から病理組織の一部を採取して薄く切り、その切片（以下、生検と称する）をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。
【０００３】
染色方法（試薬など）と染色対象とその色については、以下の関係が知られている。
染色方法            染色対象              色
ヘマトキシリン      細胞核                青紫
エオジン            細胞質、結合組織      淡赤
PAS染色              粘液                  紫
KB染色              神経線維              青
ケラチン903          基底細胞              茶色
この他にも染色方法としては、H&E（Hematoxylin&Eosin）、IHC(Immunohistochemistry）、FISH（Fluorescence  In  Situ  Hybridization）などを挙げることができる。
【０００４】
H&Eは、好塩基性の細胞核、骨組織、軟骨組織の一部、漿液成分などを青紫色に、好酸性の細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒などを赤ピンク色に分けて染色できる。
【０００５】
IHCは、抗原抗体反応を可視化することができる。FISHは、遺伝子のマッピングや染色体異常などを検出することができる。
【０００６】
このように、各染色は、それぞれ染色対象が異なるので、生体組織の同一部位に対して、異なる染色を施して観察すれば、より正確に診断することが可能となる。
【０００７】
ただし、１枚のプレパラート上の切片を異なる複数の染色方法により染色した場合、染色の発色状態が悪くなって診断しづらくなる傾向がある。また、染色方法の組み合わせによっては同時に使えないものもある。したがって、１枚のプレパラートに複数の異なる染色が混在する状態は避けることが望ましい。
【０００８】
図１は、生成されたプレパラートの例を示している。同図ＡのプレパラートＰ１と同図ＢのプレパラートＰ２は、採取された病理組織から隣り合って切り出された生検から成る。例えば、プレパラートＰ１，Ｐ２の一方の染色がH&Eであり、他方の染色がIHCであるとする。
【０００９】
同図ＡのプレパラートＰ１上の左端の生検ｂ１１と同図ＢのプレパラートＰ２上の左端の生検ｂ１２とは穿刺採取された病理組織から隣り合って切り出されたものである。以下、生検ｂ１１と生検ｂ２１との関係を対応する生検と称する。同図中央の生検ｂ２１，ｂ２２、および同図右端の生検ｂ３１，ｂ３２についても同様である。
【００１０】
なお、プレパラートＰ１，Ｐ２上の矩形枠は、プレパラート上の同一座標の領域を示し
ており、両者を比較して明らかなように、２枚のプレパラートＰ１，Ｐ２上の対応する生検は、必ずしも同一の座標に配置されているわけではない。また、生検を切り出すときの力具合などよって、その形状が変形したりすることも発生し得る。
【００１１】
２枚のプレパラートＰ１，Ｐ２を見比べる最もシンプルな方法は、病理医などの診断者が顕微鏡下で２枚のプレパラートＰ１，Ｐ２を並べて持ち、観察する位置を高速に移動させながら、対応する部位を探して診断する方法である。しかしながら、この場合、プレパラートを移動させ過ぎてしまったり、移動量が足らなかったりして、対応する部位を正しく効率的に観察することが困難であった。
【００１２】
そこで、このような診断者によるプレパラートの移動を必要としない方法としてバーチャル顕微鏡システムが提案されている（例えば、特許文献１参照）。
【００１３】
該バーチャル顕微鏡システムでは、診断対象とするプレパラート上の生検を小領域に分割し、分割した小領域を解像度の高い対物レンズを用いて各々撮影した後、撮影によって得られた複数の小領域の画像をつなぎ合わせることによって診断対象の生検の画像をデジタル画像データとして再構築している。
【００１４】
該バーチャル顕微鏡システムにより２枚のプレパラートをデジタル画像データとして再構築すれば、それらを同時に並べてパーソナルコンピュータの画面などに表示させることができる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開平０９−２８１４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、該バーチャル顕微鏡システムを使用したとしても、２枚のプレパラートにおける対応する部位を正確に並べて表示させるためには、診断者による画像の拡大、縮小、回転などを指示する操作が依然として必要である。
【００１７】
本開示はこのような状況に鑑みてなされたものであり、複数の画像における対応する部位を正確に並べて表示できるようにするものである。
【課題を解決するための手段】
【００１８】
本開示によれば、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、前記第１の領域および前記第２の領域の表示を制御する表示制御部と、を備え、前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、情報処理装置が提供される。
【００１９】
また、本開示によれば、第１の病理画像および第２の病理画像を画像処理部に供給し、前記第１の病理画像から抽出された第１の細胞領域と、前記第２の病理画像から抽出された第２の細胞領域と、を取得する画像取得部と、前記第１の細胞領域および前記第２の細胞領域の表示を制御する表示制御部と、を備え、前記第１の細胞領域および前記第２の細胞領域は画像パターンに基づいたグループに分類され、前記画像取得部は、同一の前記グループに分類された前記第１の細胞領域および前記第２の細胞領域を取得し、前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の細胞領域および前記第２の細胞領域に係る表示を制御する、情報処理装置が提供される。
【００２０】
また、本開示によれば、プロセッサが、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得することと、前記第１の領域および前記第２の領域の表示を制御することと、を含み、前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、前記取得することは、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、前記制御することは、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、情報処理方法が提供される。
【００２１】
また、本開示によれば、コンピュータを、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、前記第１の領域および前記第２の領域の表示を制御する表示制御部と、を備え、前記第１の領域および前記第２の領域は前記被写体に基づいたグループに分類され、前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、情報処理装置、として機能させるためのプログラムが提供される。
【００２２】
以上説明したように本開示によれば、複数の画像における対応する部位を正確に並べて表示することが可能となる。
【００２３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００２４】
【図１】プレパラートの例を示す図である。
【図２】本開示の実施の形態である病理画像表示制御装置の構成例を示すブロック図である。
【図３】病理画像の例を示す図である。
【図４】生検領域画像生成サーバの構成例を示すブロック図である。
【図５】検出辞書の生成手順を説明する図である。
【図６】細胞組織領域の検出と、生体領域のグルーピング、およびその切り出しを説明する図である。
【図７】切り出された生検領域画像の拡大図である。
【図８】生検領域画像の位置とサイズの補正を説明する図である。
【図９】補正された生検領域画像の拡大図である。
【図１０】病理画像シンクロ表示処理を説明するフローチャートである。
【図１１】自動縦横割選択表示の表示例を示す図である。
【図１２】瞬時切り替え表示の表示例を示す図である。
【図１３】切り出し並べ表示の表示例を示す図である。
【図１４】めくり表示の表示例を示す図である。
【図１５】多染色合成表示の表示例を示す図である。
【図１６】コメント対応表示の表示例を示す図である。
【図１７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２６】
［病理画像表示制御装置の構成例］
本開示の情報処理装置の実施の形態である病理画像表示制御装置は、採取した病理組織から隣り合って切り出された生検が写っている複数の病理画像の対応する部位の位置を正確に並べて表示させるものである。
【００２７】
ただし、以下においては２枚の病理画像を並べて表示する場合について説明するが、本開示は３枚以上の病理画像を並べて表示する場合にも適用可能である。
【００２８】
ここで、病理画像とは、人体などの生体組織から採取された検体またはサンプルから病理診断を目的に作製された病理標本（プレパラート）を、専用のスキャナで読み込んで作成したデジタル画像データを指す。
【００２９】
さらに、本開示は病理画像のみならず、ＣＴ、MRI、Ｘ線などより人体などを撮像して得られる医療画像、医療分野に限定されない任意の画像を並べて表示させる場合にも適用できる。
【００３０】
図２は、本開示の情報処理装置を適用した病理画像表示制御装置の構成例を示している。
【００３１】
病理画像表示制御装置１０は、操作入力部１１、病理画像入力部１２、生検領域画像取得部１３、および表示制御部１４から構成される。
【００３２】
操作入力部１１は、ユーザ（診断者）による病理画像の選択操作、表示に関する様々な操作などを受け付けて、それに対応する操作信号を病理画像入力部１２または表示制御部１４に出力する。
【００３３】
病理画像入力部１２は、ユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像のうち、見比べて診断に用いるための、対応する生検が写っている２枚の病理画像PP1，PP2を生検領域画像取得部１３に入力する。
【００３４】
図３は、病理画像入力部１２から生検領域画像取得部１３に入力される２枚の病理画像PP1，PP2の一例である。これらは、図１に示されたプレパラートＰ１，Ｐ２をスキャナなどによりスキャニングして得られたものである。
【００３５】
生検領域画像取得部１３は、２枚の病理画像を生検領域画像生成サーバ２０に送信し、生検領域画像生成サーバ２０にて２枚の病理画像PP1，PP2それぞれに基づいて生成される生検領域画像を取得して表示制御部１４に供給する。
【００３６】
なお、生検領域画像生成サーバ２０は、例えばインターネット上に設けるようにするが、生検領域画像生成サーバ２０の全体またはその一部を病理画像表示制御装置１０に内蔵するようにしてもよい。
【００３７】
生検領域画像とは、病理画像（プレパラート全体の画像）上に存在する細胞組織の領域を検出し、検出した細胞組織の領域を生検毎に区分けて抽出し、その向きやサイズを補正して統一したものを指す。
【００３８】
表示制御部１４は、ユーザの操作に対応し、生検領域画像取得部１３から供給される２
枚の生検領域画像を後段のディスプレイ３０に並べて表示させる。以下、生検領域画像を並べて表示させることをシンクロ表示とも称する。表示制御部１４による様々なシンクロ表示の方法については、図１１乃至図１６を参照して後述する。
【００３９】
次に、図４は生検領域画像生成サーバ２０の構成例を示している。
【００４０】
生検領域画像生成サーバ２０は、細胞組織領域検出部２１、検出辞書２２、生検領域グルーピング部２３、生検領域切り出し部２４、および位置補正部２５から構成される。
【００４１】
細胞組織領域検出部２１は、検出辞書２２を用いることにより、図３に示されたような病理画像PP1，PP2の全領域から細胞組織領域（すなわち、図３Ａの生検ｂ１１，ｂ２１，ｂ３１の領域、図３Ｂのｂ１２，ｂ２２，ｂ３２の領域）を検出する。
【００４２】
検出辞書２２は、学習用の細胞組織領域画像を用いた統計学習により予め生成されたものである。検出辞書２２の生成について図５を参照して説明する。
【００４３】
まず、学習用の細胞組織領域画像から細胞組織領域を中心として切り出したパッチ画像と、背景部分（非細胞組織領域）を中心として切り出したパッチ画像を学習データセットとして準備し、それぞれの画像特徴量を抽出する。そして、細胞組織領域が中心の画像をPositiveデータ、背景部分が中心の画像をNegativeデータとして統計学習を行う。
【００４４】
パッチ画像の画像特徴量の抽出方法については任意であるが、例えば特開２００５−２８４３４８に開示されている、パッチ画像上の所定の２点の輝度差分を算出するPixDif輝度差分特徴量を適用することができる。統計学習の方法についても任意であるが、例えばBoostingを適用することができる。
【００４５】
検出辞書２２を用いることにより、入力パッチ画像ｘに対して、学習で得られたＴ個の弱仮説ｆ、重みαを用いて次式（１）により表される最終仮説Ｆを得ることができる。
【数１】
2020119588.tif 000003
【００４６】
したがって、細胞組織領域検出部２１において、病理画像PP1，PP2の全画素を順次中心として入力パッチ画像を切り出し、その入力パッチ画像に対して最終仮説Ｆを算出し、そのＦの値を閾値処理することで、入力パッチ画像の中心の画素がPositive領域（細胞組織領域）であるのかNegative領域（非細胞組織領域）であるのかを判別することができる。
【００４７】
細胞組織領域検出部２１による細胞組織領域の検出結果は、例えば図６Ｂに示されるようなものとなる。
【００４８】
図４に戻る。生検領域グルーピング部２３は、細胞組織領域検出部２１により検出された細胞組織領域を生検毎に区分けする。
【００４９】
具体的には、細胞組織領域とされた画素を病理画像上の生検を表す生検番号毎にグルーピングする。なお、病理画像における生検数は、一般的にプレパラート作成時に既知である。したがって、このグルーピングは、クラスタ数が既知であるクラスタリング問題となる。以下に、スペクトラルクラスタリングによりクラスタリングを行なう方法を説明する。
【００５０】
細胞組織領域の画素数をｎ、目標とするグルーピングのクラスタ数（生検数）をＣ、画素ｉと画素ｊの座標値におけるユークリッド距離をｄijとする。
【００５１】
さらに、affinity  matrix  Ａijを次式（２）のように定義する。
【数２】
2020119588.tif 000004
【００５２】
ここで、σは、スケールパラメータであり、対象に適切な値（例えば、０．１）を設定する。
【００５３】
次に、次式（３）のように対角行列Ｄを定義して行列Ｌを求める。
【数３】
2020119588.tif 000005
【００５４】
次に、行列Ｌの固有値の大きい順にＣ個の固有ベクトルｘ1，ｘ2，・・・，ｘCを求め、行列Ｘ＝［ｘ1，ｘ2，・・・，ｘC］を作成する。そして、次式（４）のように、このＸを各行で正規化した行列Ｙを求める。
【数４】
2020119588.tif 000006
【００５５】
この行列Ｙの各行を要素ベクトルとしてK-meansによりＣ個にクラスタリングすると、行列Ｙの行番号ｉのクラスタが画素ｉのクラスタと対応する。
【００５６】
なお、生検領域グルーピング部２３におけるグルーピングには、スペクトラルクラスタリングの他、入力データに直接K-meansを適応するなどの任意のクラスタリングの技術を用いることもできる。その場合、入力されるデータの特性に応じて、適切なクラスタリング技術を用いることが望ましい。
【００５７】
生検領域グルーピング部２３によるグルーピング結果は、例えば図６Ｃに示されるように、図６Ｂに示されていた細胞組織領域が生検の数と同じ数の３つのグループにグルーピングされたものとなる。
【００５８】
再び図４に戻る。生検領域切り出し部２４は、グルーピングされた生検領域毎に、病理
画像の回転補正と切り出しを行なう。
【００５９】
回転補正は、各生検領域毎に、重心周りのｘ軸のｐ次のモーメント、ｙ軸のｑ次のモーメントをｕpqとして、次式（５）に基づいて慣性主軸の傾きθが求められる。
【数５】
2020119588.tif 000007
【００６０】
そして、慣性主軸の傾きθだけ、元の病理画像が回転補正される。この後、生検領域の周囲に所定の幅（例えば、数百ピクセル）の余白を確保した領域を、回転補正後の病理画像から切り出すことにより、図６Ｄに示されるような生検領域画像を生成する。
【００６１】
なお、図６Ｄ以降においては、病理画像PP1，PP2上に存在していた３つの生体のうち、左端の生検ｂ１１，ｂ１２についてのみを図示しているが、中央の生検ｂ２１，ｂ２２、右端の生検ｂ３１，ｂ３２についても同様の処理が行われる。
【００６２】
図７は、生検領域切り出し部２４により切り出された生検領域画像の拡大図である。なお、同図Ａは、病理画像PP1の左端の生検ｂ１１から切り出された生検領域画像であり、同図Ｂは、病理画像PP2の左端の生検ｂ１２から切り出された生検領域画像である。
【００６３】
同図から明らかなように、生検ｂ１１と生検ｂ１２とは縦方向に若干のずれが生じ、サイズも変化してしまっている（伸びている、または縮んでいる）。これは、生検ｂ１１，ｂ１２を生体組織から切り出したり、スライドガラスに載せたりするときの力加減などに起因するものと考えられ、このままでは、生検ｂ１１，ｂ１２の対応する部位を正確に並べて観察、診断するに際して不都合である。
【００６４】
そこで、生検領域切り出し部２４の後段の位置補正部２５は、切り出された生検領域画像の位置とサイズを補正して統一する。具体的手順について、図８を参照して説明する。なお、図８においては、生検領域画像の縦方向の位置ずれとサイズの補正についてのみ説明するが、横方向についても同様の処理を行うものとする。
【００６５】
まず、同図Ａに示される生検領域画像から、同図Ｂに示される細胞組織領域と背景（非細胞組織領域）と区別して表す２値化画像を得る。次に、２値化画像の縦方向の同一座標に位置する細胞組織領域に属する画素数をカウントし、同図Ｃに示される、縦軸が２値化画像の縦座標を示し、横軸が画素数を示すヒストグラムを生成する。
【００６６】
さらに、得られた２つのヒストグラムを同図Ｄに示すようにして重ね、２つのヒストグラムが十分に重なるまで（実際には、所定の評価関数値（例えば、内積値）が所定の値以上となるまで）一方を固定し、他方についてのみ縦方向に位置を調整し、縦方向にサイズを伸縮補正することを繰り返して実行する。
【００６７】
そして、最終的な縦方向の位置の調整値と、縦方向のサイズの伸縮補正値を元の生検領域画像に適用する。これにより、図９に示されるように、ずれの生じていた２枚の生検領域画像が、ずれのない２枚の生検領域画像に補正される。なお、図９は、図７に示されたずれの生じていた２枚の生検領域画像の補正後の状態である。
【００６８】
このようにして補正された生検領域画像は、生検領域画像生成サーバ２０から生検領域画像取得部１３に戻される。
【００６９】
［動作説明］
次に、病理画像表示制御装置１０による病理画像シンクロ表示処理について、図１０を参照して説明する。図１０は、病理画像シンクロ表示処理を説明するフローチャートである。
【００７０】
ステップＳ１において、病理画像入力部１２は、ユーザの選択操作に基づく操作信号に従い、見比べて診断に用いる２枚の病理画像PP1，PP2を生検領域画像取得部１３に入力する。生検領域画像取得部１３は、２枚の病理画像を生検領域画像生成サーバ２０に送信する。
【００７１】
ステップＳ２において、生検領域画像生成サーバ２０の細胞組織領域検出部２１は、検出辞書２２を用いることにより、病理画像PP1，PP2から細胞組織領域を検出する。
【００７２】
ステップＳ３において、生検領域グルーピング部２３は、細胞組織領域検出部２１により検出された細胞組織領域を生検毎に区分けする。生検領域切り出し部２４は、グルーピングされた生検領域毎に、その慣性主軸の傾きθに基づいて回転補正を行い、その後、生検領域の周囲に所定の幅（例えば、数百ピクセル）の余白を確保した領域を、回転補正後の病理画像から切り出すことにより生検領域画像を生成する。
【００７３】
ステップＳ４において、位置補正部２５は、生検領域画像の位置とサイズを補正する。補正後の生検領域画像は、生検領域画像生成サーバ２０から生検領域画像取得部１３に戻される。
【００７４】
ステップＳ５において、表示制御部１４は、ユーザの操作に対応し、生検領域画像取得部１３から供給される２枚の生検領域画像を後段のディスプレイ３０にシンクロ表示させる。以上で、病理画像シンクロ表示処理の説明を終了する。
【００７５】
[シンクロ表示の具体例]
以下、表示制御部１４によるシンクロ表示の例を説明する。
【００７６】
「ガイドスクロール表示」
生検領域画像をより拡大して上下方向または左右方向にスクロールしながらシンクロ表示させる場合、表示画面の中心を生検領域画像の形状に合わせて移動させる。例えば、生検領域画像の形状が図９に示されたような「く」の字状である場合に、上方から下方にスクロール表示するときには、画面の中心が生検領域画像の形状に合わせて始めは左側に移動され、その後は右側に移動される。これにより、ユーザは常に診断に必要な部位のみをスクロールさせながら観察することができる。
【００７７】
「自動縦横割選択表示」
生検領域画像における生検領域の形状が縦長の場合には、図１１Ａに示されるように、画面５０を縦方向に分割して２枚の生検領域画像を左右に並べて表示する。生検領域画像における生検領域の形状が横長の場合には、図１１Ｂに示されるように、画面６０を横方向に分割して２枚の生検領域画像を上下に並べて表示する。これにより画面に表示される生検領域が広くなるのでユーザによって観察、診断し易くなる。
【００７８】
生検領域が縦長であるか横長であるかの判断は、生検領域の慣性主軸の角度（傾き）に基づいて行なう。すなわち、慣性主軸の角度を、垂直上向きを０度、反時計回りに正の角度と定義した場合、算出された慣性主軸の角度が−４５度から＋４５度まで、または１３５度から２２５度までのときには縦長、それ以外のときには横長と判断して表示を切り
替えるようにする。
【００７９】
「瞬時切り替え表示」
図１２Ａに示されるような生検領域画像７０と、それに対応する図１２Ｂに示されるような生検領域画像７１を、ユーザからの所定の操作に応じて瞬間的に切り替えて表示するようにしてもよい。この表示方法の場合、空間的に２枚の画像を並べて同時に表示するよりも、ユーザは視点を動かさないで済むので、より容易に２枚生検領域画像の対応する部位を見比べることができる。
【００８０】
「切り出し並べ表示」
図１３Ａに示されるように、生体ｂ１１を示す生検領域画像８０においてユーザが任意のサイズの選択領域８１を設定すると、図１３Ｂに示されるように、選択領域８１の隣に切り出し表示領域８３が設けられる。切り出し表示領域８３には、選択領域８１により指定された生体ｂ１１の部位に対応する、生体ｂ１２の部位が表示される。なあお、切り出し表示領域８３の表示位置は、選択領域８１の隣からユーザが任意に移動させることができる。また、ユーザは生検領域画像８０の選択領域８１を任意に移動させることができ、この移動に伴って切り出し表示領域８３も移動され、そこに表示される生体ｂ１２の部位も変更される。この表示方法の場合、ユーザは見比べたい部位を任意の位置に並べることができる。
【００８１】
「めくり表示」
図１４Ａに示されるように、生体ｂ１１を示す生検領域画像９１においてユーザが任意のサイズの選択領域９２を設定し、選択領域９２に対してユーザが所定の操作（マウスドラッグなど）を行なうと、図１４Ｂに示されるように、選択領域８１内の表示が、生体ｂ１１の部位から、それに対応する生体ｂ１２の部位に徐々に切り替えられる。この表示方法により、ユーザは視点を動かすことなく、生体ｂ１１と生体ｂ１２の対応する部位を見比べることができる、また、ユーザの操作量（マウスドラッグの量など）により、見比べる領域の比率を調整することができる。
【００８２】
「多染色合成表示」
図１５Ａに示されるように、複数の対応する生検に対して発色が異なる複数のIHC（免疫染色）を施し、それぞれの染色部位（同図Ｂ）を、H&E染色された生検領域画像（同図Ｃ）に重畳し、同図Ｄに示されるような複数のIHCとH&Eの結果を同時に表示するようにしてもよい。これにより、ユーザはIHCとH&Eの結果を同時に見て診断することができる。なお、発色が異なる複数のIHC（免疫染色）の染色部位（同図Ｂ）を、H&E染色された生検領域画像（同図Ｃ）に重畳せず、発色が異なる複数のIHC（免疫染色）の染色部位（同図Ｂ）を合成して表示するようにしてもよい。
【００８３】
「コメント対応表示」
ユーザは上述した「瞬時切り替え表示」において一方の生検ｂ１１を示す生検領域画像１１０の所定の部位に対して診断コメント１１１を画面上に貼付することができる。この後、他方の生検ｂ１２を示す生検領域画像１１２に表示が切替えられた場合、生検ｂ１２の対応する部位に対して、生検ｂ１１に基づいて下した診断コメント１１１が貼付表示される。これによりユーザは、診断が下された生検ｂ１１の部位に対応する、生検ｂ１２の部位を確認することができる。
【００８４】
以上説明したように、本実施の形態である病理画像表示制御装置１０によれば、複数の画像をシンクロ表示することが可能となる。
【００８５】
具体的には、複数の画像における対応する部位を同時表示することができるので、ユー
ザは診断精度を改善することができる。また、１つの生検を異なる複数の染色方法により染色してそれらの発色を分離する場合にさせることに比較し、クオリティの高い多染色の画像をシンクロ表示できる。さらに、複数の生検領域画像の位置とサイズを補正する処理を行うため、位置ズレなく対応する画像を表示することができる。
【００８６】
またさらに、通常では同時に施すことができない染色方法を組み合わせてシンクロ表示することができる。また、暗視野観察と明視野観察と位相差観察による撮影の画像など、従来の顕微鏡では同時に見ることができなかった組み合わせの画像もシンクロ表示することができる。
【００８７】
以上のような効果の結果として、ユーザ（診断者）は診断精度を向上させることができ、また、診断時間を短縮することができる。
【００８８】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００８９】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９０】
コンピュータ２００において、CPU（Central  Processing  Unit）２０１，ROM（Read  Only  Memory）２０２，RAM（Random  Access  Memory）２０３は、バス２０４により相互に接続されている。
【００９１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【００９２】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【００９３】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【００９４】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、インターネット上の所定のサーバにアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供することができる。
【００９５】
また、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。さらに、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【００９６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。また、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【００９７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、
前記第１の領域および前記第２の領域の表示を制御する表示制御部と、
を備え、
前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理装置。
（２）
前記グループに係る分類は、学習データに基づいて実行される、
前記（１）に記載の情報処理装置。
（３）
前記学習データは、背景部分が中心の画像と、当該画像を除く前記被写体を含む画像と、を含む、
前記（２）に記載の情報処理装置。
（４）
前記画像取得部は、向き、位置、サイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域を、それぞれ第１の切り出し画像および第２の切り出し画像として取得する、
前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記表示制御部は、前記第１の切り出し画像および前記第２の切り出し画像に係る同期表示を制御する、
前記（４）に記載の情報処理装置。
（６）
前記表示制御部は、ガイドスクロール表示、自動縦横割選択表示、瞬時切り替え表示、切り出し並べ表示、めくり表示、または多染色合成表示のうちの少なくとも１つに係る表示制御を行う、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記第１の画像および前記第２の画像は、医療画像である、
前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記被写体は生体組織から切り出された生検であり、
前記医療画像は、同一の生体組織から隣り合って切り出された前記生検がスライドガラスに配置されて、異なる種類の染色が施されているプレパラートをスキャニングした病理画像である、
前記（７）に記載の情報処理装置。
（９）
前記画像処理部は、ネットワーク上に設けられたサーバである、
前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記画像処理部をさらに備える、
前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１１）
第１の病理画像および第２の病理画像を画像処理部に供給し、前記第１の病理画像から抽出された第１の細胞領域と、前記第２の病理画像から抽出された第２の細胞領域と、を取得する画像取得部と、
前記第１の細胞領域および前記第２の細胞領域の表示を制御する表示制御部と、
を備え、
前記第１の細胞領域および前記第２の細胞領域は画像パターンに基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の細胞領域および前記第２の細胞領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の細胞領域および前記第２の細胞領域に係る表示を制御する、
情報処理装置。
（１２）
前記第１の細胞領域および前記第２の細胞領域は、生検を含む領域であり、
前記グループに係る分類は、前記生検に基づいて実行される、
前記（１１）に記載の情報処理装置。
（１３）
プロセッサが、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得することと、
前記第１の領域および前記第２の領域の表示を制御することと、
を含み、
前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、
前記取得することは、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記制御することは、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理方法。
（１４）
コンピュータを、
第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、
前記第１の領域および前記第２の領域の表示を制御する表示制御部と、
を備え、
前記第１の領域および前記第２の領域は前記被写体に基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理装置、
として機能させるためのプログラム。
【符号の説明】
【０１００】
１０  病理画像表示制御装置，  １１  操作入力部，  １２  病理画像入力部，  １３
生検領域画像取得部，  １４  表示制御部，  ２０  生検領域画像生成サーバ，  ２１
細胞組織領域検出部，  ２２  検出辞書，  ２３  生検領域グルーピング部，  ２４  生検領域切り出し部，  ２５  位置補正部，  ３０  ディスプレイ，  ２００  コンピュータ，  ２０１  CPU
【図１】
2020119588.tif 000008
【図２】
2020119588.tif 000009
【図３】
2020119588.tif 000010
【図４】
2020119588.tif 000011
【図５】
2020119588.tif 000012
【図６】
2020119588.tif 000013
【図７】
2020119588.tif 000014
【図８】
2020119588.tif 000015
【図９】
2020119588.tif 000016
【図１０】
2020119588.tif 000017
【図１１】
2020119588.tif 000018
【図１２】
2020119588.tif 000019
【図１３】
2020119588.tif 000020
【図１４】
2020119588.tif 000021
【図１５】
2020119588.tif 000022
【図１６】
2020119588.tif 000023
【図１７】
2020119588.tif 000024
【手続補正書】
【提出日】令和2年5月7日(2020.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の細胞組織領域および第２の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、対応する領域を含むように抽出する画像抽出部、
を備え、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
前記画像抽出部は、前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する、情報処理システム。
【請求項２】
前記第１の病理画像は、前記暗視野画像、前記明視野画像、または前記位相差観察画像のうち、前記第２の病理画像とは異なる画像である、請求項１に記載の情報処理システム。
【請求項３】
前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織を異なる試薬で染色した組織を撮像した画像である、
請求項１または２に記載の情報処理システム。
【請求項４】
前記第１の病理画像および前記第２の病理画像は、H&E染色または免疫染色された組織の画像である、
請求項１〜３のいずれか一項に記載の情報処理システム。
【請求項５】
前記第１の病理画像および前記第２の病理画像は、発色が異なる免疫染色された組織の画像である、
請求項１〜４のいずれか一項に記載の情報処理システム。
【請求項６】
前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織の隣り合う切片の組織を撮像した画像である、
請求項１〜５のいずれか一項に記載の情報処理システム。
【請求項７】
前記対応する領域は、同一の細胞を含む領域である、
請求項１〜６のいずれか一項に記載の情報処理システム。
【請求項８】
前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域を、画像パターンに基づいたグループに分類する、
請求項１〜７のいずれか一項に記載の情報処理システム。
【請求項９】
前記画像抽出部は、同一の前記グループに分類した前記第１の細胞組織領域および前記第２の細胞組織領域ごとに、向き、位置またはサイズのうち少なくともいずれかを調整する、
請求項８に記載の情報処理システム。
【請求項１０】
前記画像抽出部は、前記第１の病理画像から抽出した複数の第１の細胞組織領域、および前記第２の病理画像から抽出した複数の第２の細胞組織領域を、生検ごとに前記グループに分類する、
請求項８または９に記載の情報処理システム。
【請求項１１】
前記画像抽出部は、抽出した前記第１の細胞組織領域および前記第２の細胞組織領域を、クラスタリング手法を用いて前記グループに分類する、
請求項８〜１０のいずれか一項に記載の情報処理システム。
【請求項１２】
前記識別関数は、背景部分が中心の画像と、細胞を含む画像と、を含む学習データに基づいて生成される、
請求項１〜１１のいずれか一項に記載の情報処理システム。
【請求項１３】
前記画像抽出部は、前記背景部分が中心の画像と前記細胞を含む画像とに基づく統計学習により得られた前記識別関数を用いて前記第１の細胞組織領域および前記第２の細胞組織領域を抽出する、
請求項１２に記載の情報処理システム。
【請求項１４】
前記画像抽出部は、前記第１の病理画像および前記第２の病理画像の全画素を順次中心としたパッチ画像を切り出し、前記識別関数に基づいて、前記パッチ画像の中心の画素が前記細胞であるのか前記背景部分であるのかを判別する、
請求項１３に記載の情報処理システム。
【請求項１５】
前記第１の細胞組織領域および前記第２の細胞組織領域の表示部への表示を制御する表示制御部、
をさらに備える、
請求項１〜１４のいずれか一項に記載の情報処理システム。
【請求項１６】
前記表示制御部と、前記画像抽出部とが、互いに異なる装置または同一の装置に配設される、
請求項１５に記載の情報処理システム。
【請求項１７】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項１５または１６に記載の情報処理システム。
【請求項１８】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方に対するユーザの操作に基づいて、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項１７に記載の情報処理システム。
【請求項１９】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方の組織形状に基づき、スクロール方向を制御する、
請求項１５〜１８のいずれか一項に記載の情報処理システム。
【請求項２０】
前記表示制御部は、少なくとも前記第１の細胞組織領域または前記第２の細胞組織領域の画像のひとつに基づいて、前記表示部に表示する表示領域を制御する、
請求項１５〜１９のいずれか一項に記載の情報処理システム。
【請求項２１】
前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域の組織の形状に基づいて、前記表示部の表示領域を、縦方向または横方向に分割してそれぞれの領域に前記第１の細胞組織領域または前記第２の細胞組織領域を表示するよう制御する、
請求項１５〜２０のいずれか一項に記載の情報処理システム。
【請求項２２】
前記第１の細胞組織領域の表示領域および前記第２の細胞組織領域の表示領域は、同じサイズである、
請求項１５〜２１のいずれか一項に記載の情報処理システム。
【請求項２３】
前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域を切り替えて表示するよう制御する、
請求項１５〜２２のいずれか一項に記載の情報処理システム。
【請求項２４】
前記表示制御部は、前記表示部の所定の領域に、前記第１の細胞組織領域と前記第２の細胞組織領域とを切り替えて表示するよう制御する、
請求項１５〜２３のいずれか一項に記載の情報処理システム。
【請求項２５】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の前記対応する領域の少なくとも一部が、表示領域の所定の位置にくるように、切り替えて表示するように制御する、
請求項１５〜２４のいずれか一項に記載の情報処理システム。
【請求項２６】
前記表示制御部は、前記第１の細胞組織領域の所定の位置に付与された第１のアノテーション情報に基づき、前記第２の細胞組織領域の対応する位置に、第２のアノテーション情報を表示するよう制御する、
請求項１５〜２５のいずれか一項に記載の情報処理システム。
【請求項２７】
前記アノテーション情報は、テキスト情報である請求項２６に記載の情報処理システム。
【請求項２８】
前記表示制御部は、前記第１の細胞組織領域に対応する前記第２の細胞組織領域を、前記第１の細胞組織領域に重畳して表示するよう制御する、
請求項１５〜２７のいずれか一項に記載の情報処理システム。
【請求項２９】
前記表示制御部は、前記表示部に、前記第１の細胞組織領域、および、前記第２の細胞組織領域の一部である第２の領域であって、前記第１の細胞組織領域の一部である第１の領域に対応する前記第２の領域、を表示するよう制御する、
請求項１５〜２８のいずれか一項に記載の情報処理システム。
【請求項３０】
前記表示制御部は、前記第２の領域を、前記第１の領域とは異なる位置に表示するよう制御する、
請求項２９に記載の情報処理システム。
【請求項３１】
前記表示制御部は、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項２９に記載の情報処理システム。
【請求項３２】
前記表示制御部は、ユーザの操作に基づき、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項３１に記載の情報処理システム。
【請求項３３】
前記表示制御部は、ユーザの操作に基づき、前記第１の領域に重畳して表示する前記第２の領域と、前記第１の領域と、を切り替えて表示するよう制御する、
請求項３１または３２に記載の情報処理システム。
【請求項３４】
前記表示制御部は、前記第１の細胞組織領域と、前記第２の細胞組織領域とを合成して表示するよう制御する、
請求項１５〜２８のいずれか一項に記載の情報処理システム。
【請求項３５】
前記画像抽出部は、第３の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである第３の病理画像から、前記識別関数に基づき、前記対応する領域を含むように抽出し、
前記第３の細胞組織領域は、前記第１の病理画像および前記第２の病理画像と同一の前記検体から切り出された前記生体組織を含む画像であり、
前記画像抽出部は、前記第１の細胞領域、前記第２の細胞領域、および、前記第３の細胞領域を出力する、
請求項１〜３４のいずれか一項に記載の情報処理システム。
【請求項３６】
第１の病理画像、および、前記第１病理画像の撮像条件とは異なる撮像条件で撮像された第２の病理画像を取得し、
前記第１の病理画像および前記第２の病理画像から、細胞領域を検出するための識別関数に基づき、それぞれ対応する領域を含むように、第１の細胞組織領域および第２の細胞組織領域を抽出する画像抽出部、
を備え、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
前記画像抽出部は、前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する、情報処理システム。
【請求項３７】
第１の医療画像、および、前記第１の医療画像の撮像条件とは異なる撮像条件で撮像された第２の医療画像を取得し、
前記第１の医療画像および前記第２の医療画像から、所定の生体領域を検出するための識別関数に基づき、それぞれ対応する領域を含むように、第１の生体領域および第２の生体領域を抽出する画像抽出部、
を備え、
前記第１の医療画像および前記第２の医療画像は、同一の患者の生体組織を含む画像であり、
前記画像抽出部は、前記第１の生体領域、および、前記第１の生体領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の生体領域を出力する、情報処理システム。
【請求項３８】
前記第１の医療画像および前記第２の医療画像は、ＣＴ、ＭＲＩ、または、Ｘ線を用いて前記患者を撮像した画像である、
請求項３７に記載の情報処理システム。
【請求項３９】
コンピュータを、
第１の細胞組織領域および第２の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、対応する領域を含むように抽出する画像抽出部、
を備え、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
前記画像抽出部は、前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する、情報処理装置
として機能させるためのプログラム。
【請求項４０】
前記第１の病理画像および前記第２の病理画像は、異なる撮像条件で撮像された画像である、請求項３９に記載のプログラム。
【請求項４１】
前記第１の病理画像は、前記暗視野画像、前記明視野画像、または前記位相差観察画像のうち、前記第２の病理画像とは異なる画像である、請求項３９または４０に記載のプログラム。
【請求項４２】
前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織を異なる試薬で染色した組織を撮像した画像である、
請求項３９〜４１のいずれか一項に記載のプログラム。
【請求項４３】
前記第１の病理画像および前記第２の病理画像は、H&E染色または免疫染色された組織の画像である、
請求項３９〜４２のいずれか一項に記載のプログラム。
【請求項４４】
前記第１の病理画像および前記第２の病理画像は、発色が異なる免疫染色された組織の画像である、
請求項３９〜４３のいずれか一項に記載のプログラム。
【請求項４５】
前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織の隣り合う切片の組織を撮像した画像である、
請求項３９〜４４のいずれか一項に記載のプログラム。
【請求項４６】
前記対応する領域は、同一の細胞を含む領域である、
請求項３９〜４５のいずれか一項に記載のプログラム。
【請求項４７】
前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域を、画像パターンに基づいたグループに分類する、
請求項３９〜４６のいずれか一項に記載のプログラム。
【請求項４８】
前記画像抽出部は、同一の前記グループに分類した前記第１の細胞組織領域および前記第２の細胞組織領域ごとに、向き、位置またはサイズのうち少なくともいずれかを調整する、
請求項４７に記載のプログラム。
【請求項４９】
前記画像抽出部は、前記第１の病理画像から抽出した複数の第１の細胞組織領域、および前記第２の病理画像から抽出した複数の第２の細胞組織領域を、生検ごとに前記グループに分類する、
請求項４７または４８に記載のプログラム。
【請求項５０】
前記画像抽出部は、抽出した前記第１の細胞組織領域および前記第２の細胞組織領域を、クラスタリング手法を用いて前記グループに分類する、
請求項４７〜４９のいずれか一項に記載のプログラム。
【請求項５１】
前記識別関数は、背景部分が中心の画像と、細胞を含む画像と、を含む学習データに基づいて生成される、
請求項３９〜５０のいずれか一項に記載のプログラム。
【請求項５２】
前記画像抽出部は、前記背景部分が中心の画像と前記細胞を含む画像とに基づく統計学習により得られた前記識別関数を用いて前記第１の細胞組織領域および前記第２の細胞組織領域を抽出する、
請求項５１に記載のプログラム。
【請求項５３】
前記画像抽出部は、前記第１の病理画像および前記第２の病理画像の全画素を順次中心としたパッチ画像を切り出し、前記識別関数に基づいて、前記パッチ画像の中心の画素が前記細胞であるのか前記背景部分であるのかを判別する、
請求項５２に記載のプログラム。
【請求項５４】
前記第１の細胞組織領域および前記第２の細胞組織領域の表示部への表示を制御する表示制御部、
をさらに備える、
請求項３９〜５３のいずれか一項に記載のプログラム。
【請求項５５】
前記表示制御部と、前記画像抽出部とが、互いに異なる装置または同一の装置に配設される、
請求項５４に記載のプログラム。
【請求項５６】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項５４または５５に記載のプログラム。
【請求項５７】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方に対するユーザの操作に基づいて、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項５６に記載のプログラム。
【請求項５８】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方の組織形状に基づき、スクロール方向を制御する、
請求項５４〜５７のいずれか一項に記載のプログラム。
【請求項５９】
前記表示制御部は、少なくとも前記第１の細胞組織領域または前記第２の細胞組織領域の画像のひとつに基づいて、前記表示部に表示する表示領域を制御する、
請求項５４〜５８のいずれか一項に記載のプログラム。
【請求項６０】
前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域の組織の形状に基づいて、前記表示部の表示領域を、縦方向または横方向に分割してそれぞれの領域に前記第１の細胞組織領域または前記第２の細胞組織領域を表示するよう制御する、
請求項５４〜５９のいずれか一項に記載のプログラム。
【請求項６１】
前記第１の細胞組織領域の表示領域および前記第２の細胞組織領域の表示領域は、同じサイズである、
請求項５４〜６０のいずれか一項に記載のプログラム。
【請求項６２】
前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域を切り替えて表示するよう制御する、
請求項５４〜６１のいずれか一項に記載のプログラム。
【請求項６３】
前記表示制御部は、前記表示部の所定の領域に、前記第１の細胞組織領域と前記第２の細胞組織領域とを切り替えて表示するよう制御する、
請求項５４〜６２のいずれか一項に記載のプログラム。
【請求項６４】
前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の前記対応する領域の少なくとも一部が、表示領域の所定の位置にくるように、切り替えて表示するように制御する、
請求項５４〜６３のいずれか一項に記載のプログラム。
【請求項６５】
前記表示制御部は、前記第１の細胞組織領域の所定の位置に付与された第１のアノテーション情報に基づき、前記第２の細胞組織領域の対応する位置に、第２のアノテーション情報を表示するよう制御する、
請求項５４〜６４のいずれか一項に記載のプログラム。
【請求項６６】
前記アノテーション情報は、テキスト情報である請求項６５に記載のプログラム。
【請求項６７】
前記表示制御部は、前記第１の細胞組織領域に対応する前記第２の細胞組織領域を、前記第１の細胞組織領域に重畳して表示するよう制御する、
請求項５４〜６６のいずれか一項に記載のプログラム。
【請求項６８】
前記表示制御部は、前記表示部に、前記第１の細胞組織領域、および、前記第２の細胞組織領域の一部である第２の領域であって、前記第１の細胞組織領域の一部である第１の領域に対応する前記第２の領域、を表示するよう制御する、
請求項５４〜６７のいずれか一項に記載のプログラム。
【請求項６９】
前記表示制御部は、前記第２の領域を、前記第１の領域とは異なる位置に表示するよう制御する、
請求項６８に記載のプログラム。
【請求項７０】
前記表示制御部は、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項６８に記載のプログラム。
【請求項７１】
前記表示制御部は、ユーザの操作に基づき、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項７０に記載のプログラム。
【請求項７２】
前記表示制御部は、ユーザの操作に基づき、前記第１の領域に重畳して表示する前記第２の領域と、前記第１の領域と、を切り替えて表示するよう制御する、
請求項７０または７１に記載のプログラム。
【請求項７３】
前記表示制御部は、前記第１の細胞組織領域と、前記第２の細胞組織領域とを合成して表示するよう制御する、
請求項５４〜６７のいずれか一項に記載のプログラム。
【請求項７４】
顕微鏡と、前記顕微鏡により撮像される対象物に対応する病理画像の処理に使われるソフトウェアとを含んで構成される表示制御システムであって、
前記ソフトウェアは、
第１の細胞組織領域および第２の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、対応する領域を含むように抽出し、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する処理を情報処理システムに実行させる、
表示制御システム。
【請求項７５】
前記ソフトウェアは、
前記第１の病理画像および前記第２の病理画像をサーバに送信し、
前記サーバにて、前記第１の病理画像および前記第２の病理画像から、前記識別関数に基づき、それぞれ所定の被写体を含むように、第１の領域および第２の領域を抽出し、
前記第１の領域および前記第２の領域を受信し、
前記第１の領域および前記第２の領域を表示部に表示するよう制御する処理を前記情報処理システムに実行させる、
請求項７４に記載の表示制御システム。
【請求項７６】
前記サーバは、インターネット上に設けられる、
請求項７５に記載の表示制御システム。
【請求項７７】
前記第１の細胞組織領域および前記第２の細胞組織領域の表示部への表示を制御する、
請求項７４〜７６のいずれか一項に記載の表示制御システム。
【請求項７８】
前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項７７に記載の表示制御システム。
【請求項７９】
前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方に対するユーザの操作に基づいて、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項７８に記載の表示制御システム。
【請求項８０】
前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方の組織形状に基づき、スクロール方向を制御する、
請求項７７〜７９のいずれか一項に記載の表示制御システム。
【請求項８１】
少なくとも前記第１の細胞組織領域または前記第２の細胞組織領域の画像のひとつに基づいて、前記表示部に表示する表示領域を制御する、
請求項７７〜８０のいずれか一項に記載の表示制御システム。
【請求項８２】
前記第１の細胞組織領域または前記第２の細胞組織領域の組織の形状に基づいて、前記表示部の表示領域を、縦方向または横方向に分割してそれぞれの領域に前記第１の細胞組織領域または前記第２の細胞組織領域を表示するよう制御する、
請求項７７〜８１のいずれか一項に記載の表示制御システム。
【請求項８３】
前記第１の細胞組織領域の表示領域および前記第２の細胞組織領域の表示領域は、同じサイズである、
請求項７７〜８２のいずれか一項に記載の表示制御システム。
【請求項８４】
前記第１の細胞組織領域または前記第２の細胞組織領域を切り替えて表示するよう制御する、
請求項７７〜８３のいずれか一項に記載の表示制御システム。
【請求項８５】
前記表示部の所定の領域に、前記第１の細胞組織領域と前記第２の細胞組織領域とを切り替えて表示するよう制御する、
請求項７７〜８４のいずれか一項に記載の表示制御システム。
【請求項８６】
前記第１の細胞組織領域および前記第２の細胞組織領域の前記対応する領域の少なくとも一部が、表示領域の所定の位置にくるように、切り替えて表示するように制御する、
請求項７７〜８５のいずれか一項に記載の表示制御システム。
【請求項８７】
前記第１の細胞組織領域の所定の位置に付与された第１のアノテーション情報に基づき、前記第２の細胞組織領域の対応する位置に、第２のアノテーション情報を表示するよう制御する、
請求項７７〜８６のいずれか一項に記載の表示制御システム。
【請求項８８】
前記アノテーション情報は、テキスト情報である請求項８７に記載の表示制御システム。
【請求項８９】
前記第１の細胞組織領域に対応する前記第２の細胞組織領域を、前記第１の細胞組織領域に重畳して表示するよう制御する、
請求項７７〜８８のいずれか一項に記載の表示制御システム。
【請求項９０】
前記表示部に、前記第１の細胞組織領域、および、前記第２の細胞組織領域の一部である第２の領域であって、前記第１の細胞組織領域の一部である第１の領域に対応する前記第２の領域、を表示するよう制御する、
請求項７７〜８９のいずれか一項に記載の表示制御システム。
【請求項９１】
前記第２の領域を、前記第１の領域とは異なる位置に表示するよう制御する、
請求項９０に記載の表示制御システム。
【請求項９２】
前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項９０に記載の表示制御システム。
【請求項９３】
ユーザの操作に基づき、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項９２に記載の表示制御システム。
【請求項９４】
ユーザの操作に基づき、前記第１の領域に重畳して表示する前記第２の領域と、前記第１の領域と、を切り替えて表示するよう制御する、
請求項９２または９３に記載の表示制御システム。
【請求項９５】
前記第１の細胞組織領域と、前記第２の細胞組織領域とを合成して表示するよう制御する、
請求項７７〜８９のいずれか一項に記載の表示制御システム。
【請求項９６】
コンピュータを、
同一の検体から切り出された細胞組織を含む画像である、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、それぞれ第１の細胞組織領域および第２の細胞組織領域を抽出し、
前記第１の細胞組織領域に基づき、前記第２の細胞組織領域の形状、向き、位置またはサイズのうち少なくともいずれかを調整する情報処理装置、として機能させるためのプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本開示は、情報処理システム、表示制御システム、およびプログラムに関する。