(57)【要約】  生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置に関するものである。この情報処理装置は、組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信して解析する。この解析結果に基づいて、倍率のより高い画像データに基づく解析が必要か否かを判定する。必要と判定されると、エリア画像に対する倍率のより高い画像データの送信要求を通知して、送信要求に応答して送信された倍率のより高い画像データを受信して解析し、解析結果を送信する。かかる構成により、伝送容量の制約に関わらず、病理医からの組織標本画像に対して迅速に精度の高い診断支援を行うことができる。
2012102069.tif 000002
【特許請求の範囲】
【請求項１】
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信手段と、
前記第１受信手段が受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析手段と、
前記第１解析手段が生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定手段と、
前記判定手段が前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知手段と、
前記通知手段による送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信手段と、
前記第２受信手段が受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析手段と、
前記第２解析手段が生成した前記第２特徴情報を送信する送信手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記エリア画像の画像データを、前記画像データの送信元を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて管理する管理手段をさらに備え、
前記第１および第２受信手段は、前記エリア画像の画像データを前記送信元特定情報および前記画像データ特定情報と共に受信し、
前記通知手段は、前記倍率のより高い画像データの送信要求を前記送信元特定情報および前記画像データ特定情報と共に通知し、
前記送信手段は、前記第２解析手段が生成した前記第２特徴情報を前記送信元特定情報および前記画像データ特定情報と共に送信することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像データ特定情報は前記組織標本画像の生体における部位を特定する情報を含み、
前記第１および第２解析手段による解析と前記判定手段による判定とは、それぞれ前記組織標本画像の生体における部位に対応する解析と判定とであることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記画像データ特定情報は前記組織標本画像の染色法を特定する情報を含み、
前記第１および第２解析手段による解析と前記判定手段による判定とは、それぞれ前記組織標本画像の染色法に対応する解析と判定とであることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記染色法は、ＨＥ法を含むことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１解析手段が生成する第１特徴情報は、前記エリア画像における染色された組織構造を含むことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記組織構造は、腺管の形状を含むことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記判定手段は、前記エリア画像における染色された組織構造がガン細胞候補と判断される場合に、前記エリア画像について、前記倍率のより高い画像データに基づく解析が必要であると判定することを特徴とする請求項６または７に記載の情報処理装置。
【請求項９】
前記第２解析手段が生成する前記第２特徴情報は、前記エリア画像における染色された細胞に関する特徴量を含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記特徴量は、平均核サイズ、平均異形度、テクスチャを含むことを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記エリア画像の画像データに対応付けた診断結果を受信する第３受信手段と、
前記エリア画像の画像データを、前記第３受信手段が受信した前記診断結果に対応付けて診断事例として蓄積する蓄積手段と、
前記第２受信手段が受信した前記エリア画像の画像データから、前記蓄積手段に蓄積された画像データを参照して診断補助情報を生成する生成手段と、
をさらに備え、
前記送信手段は、さらに、前記生成手段により生成された診断補助情報を送信することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記生成手段による診断補助情報は、病状が悪性か良性かの情報と、平均生存期間と、移転の有無と、再発率と、治療計画の補助情報との少なくともいずれかを含むことを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信ステップと、
前記第１受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信ステップと、
前記第２受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記第２解析ステップにおいて生成した前記第２特徴情報を送信する送信ステップと、
を含むことを特徴とする情報処理装置の制御方法。
【請求項１４】
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムを格納した記憶媒体であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信ステップと、
前記第１受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信ステップと、
前記第２受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記第２解析ステップにおいて生成した前記第２特徴情報を送信する送信ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
【請求項１５】
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信手段と、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信手段と、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信手段と、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示手段と、
を備えることを特徴とする情報処理装置。
【請求項１６】
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御方法であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信ステップと、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信ステップと、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
を含むことを特徴とする情報処理装置の制御方法。
【請求項１７】
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御プログラムを格納した記憶媒体であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信ステップと、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信ステップと、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
【請求項１８】
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第１特徴情報を生成する第１解析手段と、
前記第１解析手段が生成した第１特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定手段と、
前記判定手段が前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第２特徴情報を生成する第２解析手段と、
前記判定手段による判定の結果と、前記第２解析手段が生成した前記第２特徴情報とを、識別可能に表示する表示手段と、
を備えることを特徴とする情報処理システム。
【請求項１９】
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記組織標本画像内の選択されたエリアのエリア画像について、前記エリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記判定ステップによる判定の結果と、前記第２解析ステップにおいて生成した前記第２特徴情報とを、識別可能に表示する表示ステップと、
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体組織の組織標本画像に基づく診断を支援する情報処理技術に関する。
【背景技術】
【０００２】
生体組織の組織標本画像に基づく診断を支援する技術においては、たとえば、組織標本画像から癌細胞の領域を選択して癌細胞の数などの特徴を解析し、病理医に提供する。たとえば、特許文献１では、医療画像形成システム１２から遠隔観察ステーション２６の専門医に医療画像を送信して、専門医による診断の支援を受ける診断支援システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００４−５００２１１号公報（ＷＯ２００１／０７５７７６）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術を、多数の病理医が組織標本画像の診断支援を診断センターに依頼する診断支援システムに適用すると、伝送容量の制約により組織標本画像の送信に時間を要するため解析結果の返信を長時間待機しなくてはならなくなる。例えば、一般の公衆回線を使ってスライド１枚分の組織標本画像を送信すると数分から１０分以上の時間を要する場合もある。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信手段と、
前記第１受信手段が受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析手段と、
前記第１解析手段が生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定手段と、
前記判定手段が前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知手段と、
前記通知手段による送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信手段と、
前記第２受信手段が受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析手段と、
前記第２解析手段が生成した前記第２特徴情報を送信する送信手段と、
を備えることを特徴とする。【０００７】
上記目的を達成するため、本発明に係る方法は、
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信ステップと、
前記第１受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信ステップと、
前記第２受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記第２解析ステップにおいて生成した前記第２特徴情報を送信する送信ステップと、
を含むことを特徴とする。【０００８】
上記目的を達成するため、本発明に係る記憶媒体は、
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムを格納した記憶媒体であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信ステップと、
前記第１受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信ステップと、
前記第２受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記第２解析ステップにおいて生成した前記第２特徴情報を送信する送信ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする。【０００９】
上記目的を達成するため、本発明に係る装置は、
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信手段と、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信手段と、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信手段と、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示手段と、
を備えることを特徴とする。【００１０】
上記目的を達成するため、本発明に係る方法は、
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御方法であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信ステップと、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信ステップと、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
を含むことを特徴とする。【００１１】
上記目的を達成するため、本発明に係る記憶媒体は、
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御プログラムを格納した記憶媒体であって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信ステップと、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信ステップと、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする。【００１２】
上記目的を達成するため、本発明に係るシステムは、
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第１特徴情報を生成する第１解析手段と、
前記第１解析手段が生成した第１特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定手段と、
前記判定手段が前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第２特徴情報を生成する第２解析手段と、
前記判定手段による判定の結果と、前記第２解析手段が生成した前記第２特徴情報とを、識別可能に表示する表示手段と、
を備えることを特徴とする。【００１３】
上記目的を達成するため、本発明に係る方法は、
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記組織標本画像内の選択されたエリアのエリア画像について、前記エリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを解析して、前記エリア画像の第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対する倍率のより高い画像データの解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データの解析が必要と判定した場合に、前記倍率のより高い画像データに基づいて前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記判定ステップによる判定の結果と、前記第２解析ステップにおいて生成した前記第２特徴情報とを、識別可能に表示する表示ステップと、
を含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、伝送容量の制約に関わらず、病理医からの組織標本画像に対して迅速に精度の高い診断支援を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理装置を有する情報処理システムの構成を示すブロック図である。
【図３】本発明の第２実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。
【図４】本発明の第２実施形態に係る病理医用端末からＲＯＩ画像を送信する時点の表示画面を示す図である。
【図５Ａ】本発明の第２実施形態に係る病理医用端末への解析結果の表示画面を示す図である。
【図５Ｂ】本発明の第２実施形態に係る病理医用端末への解析結果の表示画面を示す図である。
【図６】本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【図７Ａ】本発明の第２実施形態に係る低倍率画像用テーブルの構成を示すブロック図である。
【図７Ｂ】本発明の第２実施形態に係る高倍率画像用テーブルの構成を示すブロック図である。
【図８Ａ】本発明の第２実施形態に係る組織構造解析ＤＢの構成を示すブロック図である。
【図８Ｂ】本発明の第２実施形態に係る特徴量解析ＤＢの構成を示すブロック図である。
【図９】本発明の第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。
【図１０】本発明の第２実施形態に係る病理医用端末のハードウェア構成を示すブロック図である。
【図１１】本発明の第２実施形態に係る画像識別テーブルおよび送受信データの構成を示すブロック図である。
【図１２】本発明の第２実施形態に係る病理医用端末の処理手順を示すフローチャートである。
【図１３】本発明の第３実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。
【図１４】本発明の第４実施形態に係る情報処理装置を有する情報処理システムの構成を示すブロック図である。
【図１５】本発明の第４実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。
【図１６】本発明の第４実施形態に係る病理医用端末から診断結果を送信する時点の表示画面を示す図である。
【図１７】本発明の第４実施形態に係る病理医用端末への解析結果の表示画面を示す図である。
【図１８】本発明の第４実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【図１９】本発明の第４実施形態に係る診断事例ＤＢの構成を示すブロック図である。
【図２０】本発明の第４実施形態に係る情報処理装置の処理手順を示すフローチャートである。
【図２１】本発明の第４実施形態に係る患者履歴ＤＢの構成を示すブロック図である。
【図２２】本発明の第４実施形態に係る病理医用端末の処理手順を示すフローチャートである。
【図２３】本発明の第５実施形態に係る情報処理装置を有する情報処理システムの動作シーケンスを示すシーケンス図である。
【発明を実施するための形態】
【００１６】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１７】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。図１の情報処理装置１００は、生体組織を染色して撮像した組織標本画像に基づく診断を支援する装置である。図１に示すように、情報処理装置１００は、第１受信部１０１と、第１解析部１０２と、判定部１０３と、通知部１０４と、第２受信部１０５と、第２解析部１０６と、送信部１０７と、を含む。
【００１８】
第１受信部１０１は、組織標本画像１１０内の選択されたエリアのエリア画像１１１に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データ１２１を受信する。第１解析部１０２は、第１受信部１０１が受信した倍率のより低い画像データ１２１に基づいて、エリア画像１１１を解析して第１特徴情報を生成する。判定部１０３は、第１解析部１０２が生成した第１特徴情報に基づいて、エリア画像１１１に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する。通知部１０４は、判定部１０３が倍率のより高い画像データに基づく解析が必要と判定した場合、エリア画像１１１に対する倍率のより高い画像データの送信要求１２２を通知する。第２受信部１０５は、通知部１０４による送信要求１２２に応答して送信された倍率のより高い画像データ１２３を受信する。第２解析部１０６は、第２受信部１０５が受信した倍率のより高い画像データ１２３に基づいて、エリア画像１１１を解析して第２特徴情報を生成する。送信部１０７は、第２解析部１０６が生成した第２特徴情報１２４を送信する。
【００１９】
本実施形態によれば、伝送容量の制約に関わらず、病理医からの組織標本画像に対して迅速に精度の高い診断支援を行うことができる。
【００２０】
［第２実施形態］
第２実施形態は、ネットワークを介して複数の病理医用端末と解析センターとが接続し、解析センターが病理医用端末から送信された組織標本画像を解析して診断を支援する病理画像診断支援システムである。病理医用端末からはまず選択されたエリアの低倍率のエリア画像が送信される。解析センターは、この低倍率のエリア画像を解析して高倍率のエリア画像を解析する必要があるかを判定する。必要であれば、病理医用端末に要求して高倍率のエリア画像を送信させる。解析センターは、高倍率のエリア画像を解析して診断を支援する解析結果を病理医用端末に報知する。本実施形態によれば、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。また、解析センターにおける診断支援サービスをより少ない資源で実現できる。
【００２１】
《情報処理システムの構成》
図２は、本実施形態に係る情報処理システムである病理画像診断支援システム２００の構成を示すブロック図である。
【００２２】
病理画像診断支援システム２００は、解析センター２１０として機能する情報処理装置と、複数の病理医用端末２２０として機能する情報処理装置と、これら解析センター２１０と複数の病理医用端末２２０とを接続するネットワーク２３０とを備える。
【００２３】
解析センター２１０は、ネットワーク２３０を介して複数の病理医用端末２２０と通信するための通信制御部２１５を備える。また、病理医用端末２２０から送信された１つの注目領域（以下、ＲＯＩ:Region of Interest）の低倍率のエリア画像を解析して、その解析結果として必要であれば同じＲＯＩの高倍率エリア画像の送信要求を行なう低倍率画像解析部２１１を備える。低倍率画像解析部２１１は、低倍率エリア画像の解析と高倍率エリア画像の送信要求とに使用する低倍率画像用テーブル２１２を有する。また、病理医用端末２２０から送信された同じＲＯＩの高倍率エリア画像を解析して、その解析結果を診断支援情報として病理医用端末２２０に返信する高倍率画像解析部２１３を備える。高倍率画像解析部２１３は、高倍率エリア画像の解析と診断支援情報の送信とに使用する高倍率画像用テーブル２１４を有する。
【００２４】
各々の病理医用端末２２０は、病理医用端末２２０の動作および解析センター２１０との通信を制御する制御部２２１を備える。また、染色した生体組織を撮影した病理スライドを高倍率に対応する解像度で読み取るスキャナ２２２を備える。また、スキャナ２２２で読み取った組織標本画像を表示するディスプレイ２２３を備える。図２には、データ入力や操作指示用のキーボードやポインティングデバイスなどは図示していないが、必要な入出力デバイスは接続しているものとする。
【００２５】
本実施形態では、低倍率を“Ｘ１０”とし、高倍率を“Ｘ４０”として説明する。組織標本画像の解像度で表現すれば、低倍率の場合は3,000×3,000画素で0.21μm/画素であり、高倍率の場合は12,000×12,000画素である。低倍率の場合には、例えば、腺管の形状などを含む組織構造は解析できるが、個々の細胞や細胞核について解析できない。一方、高倍率の場合には、個々の細胞や細胞核についても正確な解析できる。
【００２６】
《情報処理システムの動作シーケンス》
図３は、本実施形態の情報処理システムである病理画像診断支援システム２００の動作シーケンス３００を示すシーケンス図である。図３においては、病理医用端末２２０のスキャナ２２２による病理スライドの読み取りから、診断支援情報の画面表示までの動作を説明する。
【００２７】
まず、病理医用端末２２０は、ステップＳ３０１において、スキャナ２２２で病理スライドから組織標本画像を読み込む。なお、本実施形態では、スキャナ２２２の解像度は組織標本画像の高倍率画像データに対応しているとするが、解像度の上限は無い。次に、ステップＳ３０３において、読み込んだ組織標本画像をディスプレイ２２３に表示する。そして、組織標本画像内の複数の組織領域から診断に使用する組織領域を選択する。さらに、選択された組織領域上から診断支援のため解析センター２１０に解析を依頼するＲＯＩを選択する（図４参照）。なお、組織領域の選択やＲＯＩの選択は、病理医がディスプレイ２２３画面上の組織標本画像から指示してもよいし、既存の自動ＲＯＩ設定ソフトウェアにより決定してもよい。例えば、自動ＲＯＩ設定ソフトウェアは、解析センター２１０で行う本格的ガン診断のための計算量に比較して負荷の小さい計算(例えば、濃くヘマトキシリンに染まっている領域の検出など)によって標的領域を決定する、軽いソフトウェアモジュールである。以下、本明細書ではこのソフトウェアモジュールをＬＷＡ(Light-weight Analyzer)と呼ぶ。
【００２８】
ステップＳ３０５において、病理医用端末２２０は、選択されたＲＯＩの低倍率画像データを解析センター２１０に送信する。本実施形態では、スキャナ２２２で読み込んだ組織標本画像は高倍率画像データに対応するので、ここでは例えば間引き処理などにより解像度を下げて低倍率画像データを生成する。送信する低倍率画像データには、少なくとも、病理医用端末２２０の端末ＩＤ、画像を特定する画像番号、撮影した生体組織の部位（胃、肺、乳房、前立腺など）、染色法（ＨＥ法、ＩＨＣ法、ＦＩＳＨ法など）を、解析センター２１０による解析および結果送信のために添付する。ここで、画像番号は患者の個人情報から独立した番号であり、個人情報の管理は病理医用端末２２０内で完結するように変換されて割り当てられる。その割当て方については図７Ａで説明する。また、生体組織の部位と染色法とには関連性があり、一方の情報のみで解析方法の選択に十分であれば、一方の情報のみでよい。患者の個人情報が漏洩しない範囲で、例えば、性別や年齢の情報、住所や国籍の情報などが、解析あるいはデータベース（以下、ＤＢ）への情報蓄積や分析のために付加されてよい。なお、通常、１つの組織領域内に複数のＲＯＩが選択されるが、複数のＲＯＩについて低倍率画像データを一括して送信しても、各ＲＯＩについて個別に送信してもよい。
【００２９】
低倍率画像データを受信した解析センター２１０は、ステップＳ３０７において、ＲＯＩの低倍率画像データに基づいてあらかじめ学習登録された組織構造解析ＤＢを使って簡易な組織構造解析を行なう。組織構造解析の結果、ステップＳ３０９において、このＲＯＩはガン細胞候補であると思われるので高倍率画像データを使った解析が必要であるかが判定される。なお、組織構造解析の結果と、高倍率画像データを使った解析が必要であるかの判定とは、生体組織の部位や染色法により異なる場合がある。図８Ａに組織構造解析ＤＢの例を示す。
【００３０】
高倍率画像データを使った解析が必要で無ければ、次のＲＯＩについて判定を行なう。本実施形態において、各ＲＯＩのエリア画像は患者や送信元の病理医用端末とは関連させずまったく独立に解析される。また、同じ病理スライドからの組織標本画像における他のＲＯＩのエリア画像とも独立に解析されてよい。
【００３１】
高倍率画像データを使った解析が必要であると判定した場合に、ステップＳ３１１において、解析センター２１０は病理医用端末２２０に対して高倍率画像データの送信要求をする。送信要求は、送信元の端末ＩＤと画像番号とにより、患者情報の送信無しにエリア画像の特定が可能である。病理医用端末２２０は、送信元の端末ＩＤにより要求相手が自端末であることを確認し、画像番号により送信すべき高倍率画像データを特定する。そして、ステップＳ３１３において、高倍率画像データを要求されたＲＯＩ情報を解析結果の表示のために保持する。ステップＳ３１５において、病理医用端末２２０は、送信元の端末ＩＤおよび画像番号と共に、要求されたＲＯＩの高倍率画像データを解析センター２１０に送信する。
【００３２】
高倍率画像データを受信した解析センター２１０は、ステップＳ３１７において、ＲＯＩの高倍率画像データに基づいてあらかじめ学習登録された特徴量解析ＤＢを使って精細な特徴量解析を行なう。なお、特徴量解析は、生体組織の部位や染色法により異なる場合がある。図８Ｂに特徴量解析ＤＢの例を示す。ステップＳ３１９において、解析センター２１０は病理医用端末２２０に対して高倍率画像データに基づき解析した特徴量あるいは特徴量を表わす特徴量情報を解析結果として送信する。
【００３３】
解析結果を受信した病理医用端末２２０は、ステップＳ３２１において、ステップＳ３０１において病理スライドから読み込んだ組織標本画像に解析結果を重畳して、ステップＳ３２３においてディスプレイ２２３に表示する（図５Ａ、図５Ｂ参照）。病理医はディスプレイ２２３に表示された解析結果を支援情報として参照して、組織標本画像の診断を行なう。
【００３４】
なお、ステップＳ３１７の特徴量解析において特徴量から診断予測を行なうことも既に実現されており、その場合には、ステップＳ３２３ではその診断予測もディスプレイ２２３に表示して、診断支援を行なってよい。
【００３５】
《病理医用端末での表示画面》
以下、本実施形態の処理におけるディスプレイ２２３の表示画面を、図４、図５Ａ、図５Ｂに従って説明する。
【００３６】
（エリア画像送信時の表示画面）
図４は、選択したＲＯＩのエリア画像を解析センター２１０に送信する時点での、病理医用端末２２０のディスプレイ２２３に表示された画面４００を示す図である。
【００３７】
画面４００には、組織標本画像から選択された組織領域に重畳して、選択した複数のＲＯＩ４０１〜４０４が表示されている。これら複数のＲＯＩ４０１〜４０４内の低倍率のエリア画像が、診断支援情報を得るために解析センター２１０に送信される。送信は、複数のＲＯＩ４０１〜４０４のエリア画像を一括に送信してもよいし、ＲＯＩの１つずつを順次に送信してもよい。なお、図４には、ＲＯＩが矩形の場合を示したが、円や楕円などの他の形状であってもよいし、細胞の塊の輪郭に合わせた形状であってもよい。
【００３８】
図４の４０５は、表示された組織標本画像の病理医用端末２２０における管理情報と、診断支援を依頼する依頼先の解析センター２１０を特定する情報とである。この内、氏名などの個人情報は解析センター２１０には送信されない。なお、４０５に示す情報は一例であって、これに限定されない。
【００３９】
（解析結果の表示画面）
図５Ａは、解析センター２１０において、低倍率画像データに基づいて解析された解析結果が、病理医用端末２２０のディスプレイ２２３に表示された第１画面５１０を示す図である。
【００４０】
図５Ａにおいては、図４の複数のＲＯＩ４０１〜４０４の解析結果が、ＲＯＩを囲む矩形枠の線の相違で表わされている。ＲＯＩ５１１は、細い実線により、高倍率の画像データを解析する必要の無い、ガン細胞の無いエリアであることを示している。ＲＯＩ５１２および５１３は、太い実線により、高倍率の画像データの解析を必要とし、かつ、ガン細胞が明瞭であるエリアであることを示している。ＲＯＩ５１４は、太い破線により、高倍率の画像データの解析を必要とするが、ガン細胞の無いエリアであることを示している。なお、図５Ａでは矩形枠の線の相違で表わしたが、色の相違などの他の識別可能な表示であってよい。
【００４１】
図５Ａの５１５は、表示された組織標本画像の病理医用端末２２０における管理情報と、診断支援の解析結果を報告した報告元の解析センター２１０を特定する情報とである。この内、氏名などの個人情報は病理医用端末２２０で管理されているものである。なお、５１５に示す情報は一例であって、これに限定されない。
【００４２】
図５Ｂは、解析センター２１０において、高倍率画像データに基づいて解析された解析結果が、病理医用端末２２０のディスプレイ２２３に表示された第２画面５２０を示す図である。
【００４３】
図５Ｂにおいては、図４の複数のＲＯＩ４０１〜４０４の解析結果が、ガン細胞を有する各ＲＯＩに対応して解析した特徴量の表示で表わされている。ＲＯＩ５２１および５２４は、特徴量が表示されてないことから、ガン細胞の無いエリアであることを示している。ＲＯＩ５２２および５２３は、特徴量として、平均核サイズ（μm2）と、平均異形度と、テクスチャとの値により表示されている。なお、特徴量は生体組織の部位や染色法により異なり、その例は図８Ｂを参照して示す。また、図５Ｂの表示を図５Ａと組み合わせて表示してもよい。
【００４４】
図５Ｂの５２５は、表示された組織標本画像の病理医用端末２２０における管理情報と、診断支援の解析結果を報告した報告元の解析センター２１０を特定する情報とである。この内、氏名などの個人情報は病理医用端末２２０で管理されているものである。なお、５２５に示す情報は一例であって、これに限定されない。
【００４５】
《解析センターのハードウェア構成》
図６は、本実施形態に係る解析センター２１０のハードウェア構成を示すブロック図である。なお、図６には、１つの装置による構成を示したが、機能別の複数の装置により構成されてもよい。
【００４６】
図６において、ＣＰＵ６１０は演算制御用のプロセッサであり、プログラムを実行することで解析センター２１０の制御部を実現する。ＲＯＭ６２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２１５は、ネットワーク２３０を介して複数の病理医用端末２２０との通信を制御する。かかる通信は有線であっても無線であってもよい。
【００４７】
ＲＡＭ６４０は、ＣＰＵ６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ６４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。各領域には、病理医用端末２２０から受信したエリア画像の画像データを含む受信データ６４１が記憶される。また、病理医用端末２２０から受信した低倍率画像データを管理するための低倍率画像用テーブル２１２が記憶される（図７Ａ参照）。また、病理医用端末２２０から受信した高倍率画像データを管理するための高倍率画像用テーブル２１４が記憶される（図７Ｂ参照）。また、病理医用端末２２０に送信する解析結果を含む送信データ６４２が記憶される。
【００４８】
ストレージ６５０は、データベースや各種のパラメータ、ＣＰＵ６１０が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ６５０には、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。データの記憶部としては、低倍率画像データによるＲＯＩの組織構造解析を行ない高倍率画像データの解析が必要か否かを判定するために使用される組織構造解析用ＤＢ６５１（図８Ａ参照）が格納される。また、高倍率画像データによるＲＯＩの特徴量解析を行なうために使用される特徴量解析用ＤＢ６５２（図８Ｂ参照）が格納される。なお、かかる組織構造解析用ＤＢ６５１および特徴量解析用ＤＢ６５２は、病理医用端末２２０から受信した画像データや解析結果のフィードバック、解析結果の統計的な処理などを使って学習することによって、更新されるのが望ましい。
【００４９】
また、本実施形態では、プログラムとして、一連の病理画像診断支援を実現する病理画像診断支援プログラム６５３を格納する（図９参照）。また、病理画像診断支援プログラム６５３の一部を構成する、組織構造解析用ＤＢ６５１を使って低倍率画像データによるＲＯＩの組織構造解析を行なう組織構造解析モジュール６５４を格納する。また、病理画像診断支援プログラム６５３の一部を構成する、特徴量解析用ＤＢ６５２を使って高倍率画像データによるＲＯＩの特徴量解析を行なう特徴量解析モジュール６５５を格納する。また、解析結果を診断支援情報として病理医用端末２２０に送信する解析結果送信モジュール６５６を格納する。
【００５０】
なお、図６には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
【００５１】
（低倍率画像用テーブル）
図７Ａは、低倍率画像データを管理するための図２および図６の低倍率画像用テーブル２１２の構成を示す図である。この低倍率画像用テーブル２１２により、低倍率画像データを送信した送信元とＲＯＩとの特定が個人情報無しに可能となり、同じＲＯＩの高倍率画像データの送信要求が可能になる。そして、低倍率画像データと個人情報との関連はすべて病理医用端末２２０内に保持され、外部に出ることはない。
【００５２】
低倍率画像用テーブル２１２には、ＲＯＩの低倍率画像データを送信した送信元の送信元特定情報である病理医用端末２２０の端末ＩＤ７０１が記憶される。また、病理医用端末２２０で割り当てられた画像データ特定情報である画像番号が受信した画像番号７０２として記憶される。ここで、本実施形態では、画像番号７０２の最上位ビットの“０”が低倍率画像データであることを表わしているが、他の方法で表わしてもよい。端末ＩＤ７０１と受信した画像番号７０２とが、高倍率画像データの送信要求をどの病理医用端末２２０のどのＲＯＩの画像データであるかを個人情報無しに特定できる。したがって、端末ＩＤ７０１と受信した画像番号７０２とを１つの番号として画像データの管理に使用してもよい。そして、受信した低倍率画像データ７０３が記憶される。なお、低倍率画像データ７０３には他の位置に記憶された記憶アドレスをポイントするポンターが記憶されていてもよい。
【００５３】
生体組織の部位７０４、染色法７０５、性別／年齢７０６は、低倍率画像データ７０３の組織構造解析方法を選択するための情報である。なお、部位や染色法が１つに固定されていればこれらの情報は必要ない。また、性別／年齢７０６やその他の組織構造解析の精度を高めるための情報は、組織構造解析の精度要求により病理医用端末２２０から送信され参照されても送信しなくてもよい。そして、低倍率画像データ７０３に対する組織構造解析の結果７０７と、その組織構造解析の結果に基づく同じＲＯＩの高倍率画像の要否７０８とが記憶される。
【００５４】
（高倍率画像用テーブル）
図７Ｂは、高倍率画像データを管理するための図２および図６の高倍率画像用テーブル２１４の構成を示す図である。この高倍率画像用テーブル２１４により、高倍率画像データを送信した送信元とＲＯＩとの特定が個人情報無しに可能となり、解析結果の送信および管理が可能になる。高倍率画像データと個人情報との関連はすべて病理医用端末２２０内に保持され、外部に出ることはない。
【００５５】
高倍率画像用テーブル２１４には、ＲＯＩの高倍率画像データを送信した送信元の病理医用端末２２０の端末ＩＤ７１１が記憶される。また、病理医用端末２２０で割り当てられた画像番号が受信した画像番号７１２として記憶される。ここで、画像番号７１２の最上位ビットの“１”が高倍率画像データであることを表わしており、下位ビットが示す番号はＲＯＩが同じである場合は、図７Ａの画像番号７０２と同じ番号で管理される。端末ＩＤ７１１と受信した画像番号７１２とが、高倍率画像データによる解析結果がどの病理医用端末２２０のどのＲＯＩの画像データに基づくものであるかを個人情報無しに特定できる。そして、受信した高倍率画像データ７１３が記憶される。なお、高倍率画像データ７１３には他の位置に記憶された記憶アドレスをポイントするポンターが記憶されていてもよい。
【００５６】
生体組織の部位７１４、染色法７１５、性別／年齢７１６は、高倍率画像データ７１３の特徴量解析方法を選択するための情報である。なお、部位や染色法が１つに固定されていればこれらの情報は必要ない。また、性別／年齢７１６やその他の特徴量解析の精度を高めるための情報は、特徴量解析の精度要求により病理医用端末２２０から送信され参照されても送信しなくてもよい。そして、高倍率画像データ７１３に対する特徴量解析の結果７１７と、その特徴量解析の結果に基づいて病理医参照用に生成された解析結果報知用データ７１８とが記憶される。なお、解析結果報知用データが特徴量解析結果そのものである場合には、解析結果報知用データ７１８を別途設ける必要は無い。
【００５７】
（組織構造解析用ＤＢ）
図８Ａは、図６の組織構造解析用ＤＢ６５１の構成を示す図である。なお、組織構造解析に使用されるパラメータ類やそれを使った各特徴量の計算などについては、本実施形態の特徴部分ではなく既知であるので、説明は省略する（特開２００６−１５３７４２号参照）。
【００５８】
８００は、上記既知である組織構造解析に使用されるパラメータ類である。８０１から８０５は、図７Ａの組織構造解析の結果７０７から高倍率画像の要否７０８を判定するために、あらかじめ学習登録されている判定条件である。判定条件は、解析対象の生体組織の部位８０１や染色法８０２、その他８０３などの組織標本画像そのものの特質により異なる判定条件となる。組織構造解析結果の高倍率画像データ必要条件８０４は、組織構造解析結果からあらかじめ求められた高倍率画像データ必要条件パラメータである。かかる値は、閾値であっても、範囲を定めるものであってもよい。かかる判定条件は、このＲＯＩがガンを有する疑いが有るか否かを判定する条件であり、１つの条件でも満たせばガンを有すると判定する場合も、複数の条件を満たすことでガンを有すると判定する場合もある。
【００５９】
以下、組織構造解析で解析される特徴量について、ＨＥ染色法の場合を簡単に説明するが、かかる説明に限定されない。特徴量としては、対象となる臓器によっては特殊な特徴量が使われる場合があるが、概ねどの部位のガンにおいても下記特徴量が重要な特徴となっている。図８Ａに記載したf1-f10としては、
f1) 核のサイズ、
f2) 大きい核の密度 = 大きい核の数 / 全核の数、
f3) 腺管に属する核の密度、
f4) 核の向き、
f5) 核の扁平度、
f6) 腺管の厚さ、
f7) 色(RGB)、
f8) 色(HSV)、
f9) 腺管領域、
f10) Gabor関数でフィルタリングした信号（方位特徴、配列）、
がある。
また、大域的特徴としては、上記特徴量に加えて、粘液、脂肪などの領域に関する情報も使う場合がある。特殊な特徴量としては、例えば胃生検では印環細胞（以下、Signet ring）の疑いなどがある。
【００６０】
なお、実際の条件判断に使用されるのは、上記特徴量を基本特徴量として，その平均，分散，中央値，四分位数，ヒストグラムのP-percentile(例えばP = 5, 25, 50, 75, 95)など，派生的に得られる統計量を、ＲＯＩ単位で算出した上でＲＯＩの特徴量とする。
これらのいずれかの条件、あるいはその組合せがガンである条件を満たせば、高倍率画像の要否８０５から“要”を、低倍率画像用テーブル２１２の高倍率画像の要否７０８にコピーし、高倍率画像データを要求してさらに詳細な特徴量解析をすることになる。
【００６１】
（特徴量解析用ＤＢ）
図８Ｂは、図６の特徴量解析用ＤＢ６５２の構成を示す図である。なお、特徴量解析に使用されるパラメータ類やそれを使った各特徴量の計算などについては、本実施形態の特徴部分ではなく既知であるので、説明は省略する（特開２００６−１５３７４２号参照）。
【００６２】
８１０は、上記既知である特徴量解析に使用されるパラメータ類である。８１１から８１５は、図７Ｂの特徴量解析の結果７１７から解析結果報知用データ７１８を生成するために、あらかじめ学習登録されている判定基準である。判定基準は、解析対象の生体組織の部位８１１や染色法８１２、その他８１３などの組織標本画像そのものの特質により異なる判定基準となる。ガン細胞有無の判定基準８１４は、特徴量解析結果からあらかじめ求められたガン細胞有無の判定条件パラメータである。かかる値は、閾値であっても、範囲を定めるものであってもよい。かかる判断条件は、このＲＯＩがガンを有する疑いが有ったが結論としてガンであったか、ガンを有する疑いが有ったが結論として良性疾患であったかを判断する条件である。そして、１つの条件でも満たせばガンと判断する場合も、複数の条件を満たすことでガンと判断する場合もある。
【００６３】
以下、特徴量解析で解析される特徴量について、ＨＥ染色法の場合を簡単に説明するが、かかる説明に限定されない。特徴量としては、対象となる臓器によっては特殊な特徴量が使われる場合があるが、概ねどの部位のガンにおいても下記特徴量が重要な特徴となっている。図８Ｂに記載したF1-F7としては、
F1) 核のサイズ、
F2) 核の長径および短径、
F3) 円形度(円に近ければ最大値1を取り，円から外れている度合いが大きいほど小さい値)、
F4) テクスチャ、
F5) 色(RGB)、
F6) 色(HSV)、
F7) 腺管領域、
がある。
特殊な特徴量としては、例えば、低倍率画像データによる胃生検では印環細胞（以下、Signet ring）の疑いなどがある場合の、高倍率画像データによるSignet ringの有無の確認がある。
【００６４】
なお、実際の条件判断に使用されるのは、上記特徴量を基本特徴量として，その平均，分散，中央値，四分位数，ヒストグラムのP-percentile(例えばP = 5, 25, 50, 75, 95)など，派生的に得られる統計量を、ＲＯＩ単位で算出した上でＲＯＩの特徴量とする。
これらのいずれかの条件、あるいはその組合せがガンである条件を満たせば、ガン細胞の有無８１５にコピーし、組織標本画像の送信元に診断支援のため送信される。
【００６５】
なお、低倍率画像データの解析と高倍率画像データの解析とで用いられている同じ名前の特徴量は、画像の解像度が異なるため同じものではない。例えば。核のサイズでは、低倍率画像データの解析においては、ヘマトキシンリンに染まった領域を抽出してそのピクセルサイズをもとに大きな核と小さな核に分類するなど、おおざっぱに解析をする。これに対して、高倍率画像データの解析においては、核の輪郭を正確に抽出してその輪郭を元にサイズ(あるいは円形度など)を算出する。
また、腺管などの大域的な情報は低倍率でしか得られないため，まず低倍率画像データの解析で腺管領域を抽出して腺管マスクを生成し、そのマスク情報をそのまま高倍率画像データの解析モジュールに渡す。高倍率画像データの解析モジュールはこの情報に基づいて、解析対象である核が腺管に含まれているかどうかを確認して、もし腺管に含まれているならばたとえサイズが大きくてもガンとは判定しないようにする。
これら低倍率画像データの解析と高倍率画像データの解析との関係は単純な一次解析と二次解析ではないが、本実施形態においては煩雑になるので詳細な説明は省略する。
【００６６】
《解析センターの動作手順》
図９は、解析センター２１０の動作手順を示すフローチャートである。このフローチャートは、図６のＣＰＵ６１０がＲＡＭ６４０を使用しながら実行して、図２の解析センター２１０の機能を実現する。
【００６７】
まず、ステップＳ９０１において、病理医用端末２２０からの画像受信を待つ。画像受信があればステップＳ９０３に進んで、受信した画像データの送信元の端末ＩＤ、画像番号、部位、染色法、性別／年齢などの情報を記憶保持する。次に、ステップＳ９０５において、送信された画像データを記憶保持する。ここで、本実施形態では、画像番号から受信した画像データが低倍率画像データか高倍率画像データかを判別して、ステップＳ９０３およびＳ９０５で記憶保持した情報を図７Ａの低倍率画像用テーブル２１２または図７Ｂの高倍率画像用テーブル２１４に格納する。
【００６８】
ステップＳ９０７においては、受信した画像データが低倍率画像データか高倍率画像データかの判別に対応して分岐する。受信した画像データが低倍率画像データの場合はステップＳ９０９に進んで、部位、染色法、性別／年齢などに対応した低倍率画像データの組織構造解析を行なう。ここで行なう組織構造解析は、例えばＨＥ染色された胃の生体組織であれば、既知のInfoMaxアルゴリズムを使用した腺管の形状の乱れなどからガン候補領域の選別が行なわれることになる。次に、ステップＳ９１１において組織構造解析の結果から同じＲＯＩの高倍率画像データの解析が必要か否かを判断する。同じＲＯＩの高倍率画像の解析が必要である場合はステップ９１３に進んで、同じＲＯＩの高倍率画像データの送信を送信元の病理医用端末２２０に対して要求する。
【００６９】
一方、受信した画像データが高倍率画像データである場合はステップＳ９１５に進んで、部位、染色法、性別／年齢などに対応した高倍率画像データの特徴量解析を行なう。ここで行なう特徴量解析は、例えばＨＥ染色された胃の生体組織であれば、既知のＳＶＭアルゴリズムを使用した細胞核の寸法や形状解析が行なわれることになる。ステップＳ９１７においては、高倍率画像データの特徴量解析結果を送信元の病理医用端末２２０に対して送信元からの画像番号を付して送信する。
【００７０】
《病理医用端末のハードウェア構成》
図１０は、本実施形態に係る病理医用端末２２０のハードウェア構成を示すブロック図である。図２に示したように、病理医用端末２２０は、基本的構成として、制御部２２１と、スキャナ２２２と、ディスプレイ２２３とを有している。
【００７１】
図１０において、ＣＰＵ１０１０は演算制御用のプロセッサであり、プログラムを実行することで病理医用端末２２０の制御部を実現する。ＲＯＭ１０２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部１０３０は、ネットワーク２３０を介して解析センター２１０との通信を制御する。かかる通信は有線であっても無線であってもよい。
【００７２】
ＲＡＭ１０４０は、ＣＰＵ１０１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。各領域には、スキャナ２２２が病理スライドから読み取った組織標本画像読取データ１０４１が記憶される。また、解析センター２１０に送信する低倍率画像データおよび高倍率画像データを管理すると共に、患者や部位、ＲＯＩなどを特定するための画像識別テーブル１０４２が記憶される（図１１参照）。また、解析センター２１０と送受信する送受信データ１０４３が記憶される（図１１参照）。また、病理医用端末２２０のディスプレイ２２３に表示するための表示データ１０４４が記憶される。
【００７３】
ストレージ１０５０は、データベースや各種のパラメータ、ＣＰＵ１０１０が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ１０５０には、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。データの記憶部としては、病理医がローカルに蓄積した、スキャナ２２２で読み取った組織標本画像ＤＢ１０５１が格納される。また、患者に対応する診断履歴を保持する患者履歴ＤＢ１０５２が格納される。なお、第４実施形態で説明するように解析センター２１０に必要な情報を集中して蓄積管理するシステムの場合は、病理医用端末２２０の組織標本画像ＤＢ１０５１と患者履歴ＤＢ１０５２には、病理医用端末２２０から解析センター２１０の情報にアクセス可能なパラメータが記憶されればよい。
【００７４】
また、本実施形態では、プログラムとして、病理画像診断支援を解析センター２１０に依頼する処理を含む病理画像診断処理プログラム１０５３を格納する（図１２参照）。また、病理画像診断処理プログラム１０５３の一部を構成する、組織標本画像から診断対象の組織領域およびＲＯＩを選択するＲＯＩ選択モジュール１０５４を格納する。また、病理画像診断処理プログラム１０５３の一部を構成する、解析センター２１０とのデータ通信を制御する送受信制御モジュール１０５５を格納する。また、解析センター２１０から受信した解析結果を組織標本画像に重畳して表示する解析結果表示モジュール１０５６を格納する。
【００７５】
入力インタフェース１０６０は、ＣＰＵ１０１０による制御に必要な制御信号およびデータを入力するインタフェースである。本実施形態では、スキャナ２２２により病理スライドを読み取った組織標本画像の画像データを入力する。なお、他のキーボードやポインティングデバイスなどの図示は省略している。出力インタフェース１０７０は、ＣＰＵ１０１０による制御の下に機器に対して制御信号およびデータを出力するインタフェースである。本実施形態では、ディスプレイ２２３に組織標本画像や解析センター２１０への診断支援の依頼情報、あるいは解析センター２１０から送信された解析結果を出力する。
【００７６】
なお、図１０には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
【００７７】
（画像識別テーブルおよび送受信データ）
図１１は、図１０に示した画像識別テーブル１０４２および送受信データ１０４３の構成を示す図である。
【００７８】
１１０１は患者を特定する患者ＩＤ、１１０２は患者の性別および年齢であり、患者を特定する情報である。なお、さらに、患者の住所など他の特定情報も記憶されるが、図１１には、本実施形態の処理に必要な情報のみを示している。１１０３は解析対象の組織標本画像の部位、１１０４はその生体組織の染色法であり、解析センター２１０での解析法に関連する情報である。
【００７９】
１１０５は病理スライドを特定するスライドＩＤ、１１０６は病理スライドからスキャナ２２２で読み取った組織標本画像内での解析対象の組織領域を特定する組織領域ＩＤ，１１０７は組織領域内の解析対象のＲＯＩを特定するＲＯＩ＿ＩＤである。そして、本実施形態では、１１０８に、組織標本画像内のＲＯＩ＿ＩＤ１１０７を示す矩形の左上と右下の位置アドレスが記憶される。なお、ＲＯＩの形状により位置の記憶データは異なる。
【００８０】
本実施形態では、１１０１〜１１０８のデータの内、解析センター２１０での解析法に関連する情報は解析センター２１０に送信されるが、他の患者の個人情報に関連する情報は解析センター２１０に送信されない。すなわち、１１０１〜１１０８のデータにより特定されるＲＯＩの画像に、患者の個人情報に関連しない病理医用端末２２０で独自の送信する画像番号１１０９を割り当てる。
【００８１】
１１１０は、送信する画像番号１１０９により特定されるＲＯＩの低倍率画像データ、１１１１は、送信する画像番号１１０９により特定されるＲＯＩの高倍率画像データである。さらに、解析センター２１０から報告された解析結果１１１２、解析結果１１１２を支援情報として参照して病理医は診断した診断結果１１１３が記憶される。
【００８２】
本図１１および図７、図８から明瞭なように、病理医用端末２２０と解析センター２１０との間のＲＯＩの画像データおよび解析結果の通信は、基本的に、患者の個人情報に関連しない病理医用端末２２０で割り当てられた画像情報により行なわれる。
【００８３】
《病理医用端末の動作手順》
図１２は、本実施形態の病理医用端末２２０の動作手順を示すフローチャートである。このフローチャートは、図１０のＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図２の病理医用端末２２０の機能を実現する。
【００８４】
まず、ステップＳ１２０１において、スキャナ２２２によって病理スライドを高倍率に対応する解像度で読み取り、ステップＳ１２０３において、その読み取った高倍率画像データを記憶する。ステップＳ１２０５において、病理スライドに対応する組織標本画像をディスプレイ２２３に表示する。ステップＳ１２０７において、病理スライドに対応する組織標本画像から解析依頼対象の組織領域の選択、その組織領域からのＲＯＩの選択が行なわれ、ＲＯＩの画像に画像番号が割り当てられる。なお、ステップＳ１２０７の処理は、病理医用端末２２０に搭載された上記ＬＷＡにより自動的に行なわれてもよいし、病理医との対話形式でディスプレイ画面上のタッチパネルなどにより行なわれてもよい。ステップＳ１２０７の処理の結果、選択された組織領域上に解析依頼のために選択された複数のＲＯＩが重畳されて表示された例が、図４に相当する。
【００８５】
ステップＳ１２０９において、選択されたＲＯＩの低倍率画像データを生成する。低倍率画像データの生成方法は既存の方法でよく、例えば、間引き処理が簡単である。本実施形態の倍率（×４０）から倍率（×１０）への変換にためには、３画素が間引きされることになる。ステップＳ１２１１において、生成された低倍率画像データを割り当てられた画像番号を付して解析センター２１０に送信する。なお、病理医用端末２２０を特定する端末ＩＤや解析センター２１０の解析法に関連する情報も共に送信する。
【００８６】
ステップＳ１２１３において、解析センター２１０から同じＲＯＩの高倍率画像データの送信要求があるか否かを判断する。高倍率画像データの送信要求があればステップＳ１２１５に進んで、要求されたＲＯＩを解析結果の表示のために記憶保持する。そして、ステップＳ１２１７において、画像番号を付与して要求されたＲＯＩの高倍率画像データを解析センター２１０に送信する。一方、高倍率画像データの送信要求がなければステップＳ１２１９に進む。
【００８７】
ステップＳ１２１９においては、解析センター２１０からの解析結果の受信を待つ。解析結果の受信があればステップＳ１２２１に進んで、解析結果を数値データのまま（図５Ｂ参照）、あるいは解析結果からＲＯＩ枠の色などの表示データを生成して（図５Ａ参照）、解析対象の組織領域に重畳した表示画面を生成する。ステップＳ１２２３において、生成された表示画面をディスプレイ２２３に表示することで、病理医の診断を支援する。
【００８８】
［第３実施形態］
第２実施形態において、解析センター２１０の解析対象は、病理スライドの組織標本画像から選択された１つの組織領域内のＲＯＩに限定されていた。本実施形態では、同じ病理スライドの他の組織領域内のＲＯＩについても参照することで、特徴量解析を行なう。本実施形態によれば、選択された組織領域のみの分析では診断に十分でない場合も、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。
【００８９】
第３実施形態の情報処理システムの構成および解析センター、病理医用端末の構成は、
第２実施形態と類似であり、推定できる範囲であるので、説明の繰り返しは省略する。
【００９０】
《情報処理システムの動作シーケンス》
図１３は、本実施形態の情報処理システムである病理画像診断支援システム２００の動作シーケンス３００を示すシーケンス図である。図１３においては、病理医用端末２２０のスキャナ２２２による病理スライドの読み取りから、解析センター２１０の特徴量解析までの動作を説明する。特徴量解析後の動作（Ｓ３１９〜Ｓ３２３）は第２実施形態の図３と同様であるので省略する。
【００９１】
ステップＳ３０１からＳ３１５までの処理は、第２実施形態の図３と同様であり、ＲＯＩの低倍率画像データの組織構造解析により高倍率画像データが必要かを判定し、必要であれば病理医用端末２２０に要求して送信させる。
【００９２】
本実施形態では、高倍率画像データが必要無い場合（Ｓ３０９のＮＯ）、あるいは高倍率画像データが送信された（Ｓ３１５）後に、ステップＳ１３０９において、診断支援のために他の組織領域の画像の解析が必要か否かを判定する。
【００９３】
例えば、一般には、低倍率画像データ(10X)の解析でガンと疑わしき領域が見つかった場合、その低倍率画像の領域の中から８個の領域画像を選んで高倍率画像データによる解析にかけるよう設計されている。したがって、組織領域中にガンと疑わしき領域が８個未満であれば、他の組織領域中からガンと疑わしき領域をさらに選択する必要がある。なお、この８個の領域という数は経験的に決定したもので、かならずしも８個に限るものではなく、高倍率画像データの解析には時間がかかるので，精度と時間とのトレードオフで決めている。この８個の領域を選ぶ基準としては、例えば低倍率画像データの解析でガンと判定された領域の核密度を基準とし、密度の高い方を優先的に選ぶことになる。
かかる他の組織領域の画像の解析を遠隔で行なう場合には、８個の領域すべてをネットワークを介して送ることは効率が悪いので、例えば次のような処理を行うのが望ましい。まず、１つ領域の高倍率画像データを送って解析し、ガン判定がでればその時点で高倍率画像データを送るのは終了し、最終判定をガンとして終了する。一方、高倍率画像データの解析でガンでないと判定されれば、次の高倍率画像データを要求して解析をするように続けていく。もし８個すべての高倍率画像データの解析でガンが否定されれば，最終的に判定は良性となる。このデータ転送方式とすれば、ガンと判定した時点で処理は終了となるため、８個すべての高倍率画像データを送らなくともよく、データの転送量が小さくなりトータルの診断時間が短縮されることになる。８個の領域が初期に依頼した組織領域内にある場合も、その効果は同様である。
【００９４】
他の組織領域の解析が無くても解析に十分な場合はステップＳ３１７に進んで、高倍率画像データによる特徴量解析が行なわれる。他の組織領域の解析が必要であれば、ステップＳ１３１１において、解析センター２１０から病理医用端末２２０に他の組織領域の画像を要求する。病理医用端末２２０では、ステップＳ１３１３において、要求に従って他の組織領域を選択してその選択情報を保持し、その組織領域からＲＯＩを選択する。ステップＳ１３１５において、選択された他の組織領域のＲＯＩの高倍率画像データを解析センター２１０に送信する。
【００９５】
解析センター２１０では、ステップＳ３１７の特徴量解析で、最初に選択されたＲＯＩの画像データの解析に加えて、追加解析が必要な他の組織領域のＲＯＩの画像データの解析を行なう。そして、その解析結果も診断支援情報として病理医用端末２２０に表示されることになる。なお、図１３では最初に選択されたＲＯＩの高倍率画像データの要求および送信と、追加解析が必要な他の組織領域のＲＯＩの高倍率画像データの要求送信を別処理として図示したが、同時に要求して送信してもよい。
【００９６】
［第４実施形態］
第２および第３実施形態では、解析センター２１０は、病理医用端末２２０から送られたＲＯＩの画像データの解析結果を診断支援情報として報知するのみであった。本実施形態においては、解析センター２１０が今まで診断支援で解析してきたＲＯＩの画像データと、解析結果を参照した病理医による診断結果とを、事例ＤＢとして蓄積し、解析結果の報知時に事例ＤＢに基づく参考データをさらに報知する。本実施形態によれば、一人の病理医の判断のみでなく、多数の病理医の組織標本画像と解析結果と診断結果との関係の学習結果を踏まえて、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。さらに、病理医用端末２２０からいつでも診断事例を参照可能となり、病理医用端末２２０において過去の診断事例を管理する必要が低減する。
【００９７】
《情報処理システムの構成》
図１４は、本実施形態に係る情報処理システムである病理画像診断支援システム１４００の構成を示すブロック図である。なお、図２と同様の機能を果たす構成部には、同じ参照番号を付している。図１４の図２との相違は、解析センター１４１０の構成のみであり、同様の機能部には同じ参照番号を付す。
【００９８】
病理画像診断支援システム１４００は、解析センター１４１０として機能する情報処理装置と、複数の病理医用端末２２０として機能する情報処理装置と、これら解析センター２１０と複数の病理医用端末２２０とを接続するネットワーク２３０とを備える。
【００９９】
解析センター１４１０は、ネットワーク２３０を介して複数の病理医用端末２２０と通信するための通信制御部１４１５を備える。また、病理医用端末２２０から送信された１つのＲＯＩの低倍率のエリア画像を解析して、その解析結果として必要であれば同じＲＯＩの高倍率エリア画像の送信要求を行なう低倍率画像解析部２１１を備える。低倍率画像解析部２１１は、低倍率エリア画像の解析と高倍率エリア画像の送信要求とに使用する低倍率画像用テーブル２１２を有する。また、高倍率画像解析部１４１３を備える。高倍率画像解析部１４１３は、病理医用端末２２０から送信された同じＲＯＩの高倍率エリア画像を解析して、その解析結果を診断支援情報として病理医用端末２２０に返信する。それと共に、診断事例ＤＢ１４１６に蓄積された過去のエリア画像と解析結果と診断結果とを参照した診断補助情報を病理医用端末２２０に返信する。高倍率画像解析部１４１３は、高倍率エリア画像の解析と診断支援情報の送信とに使用する高倍率画像用テーブル２１４を有する。また、診断事例ＤＢ１４１６は、各々の病理医用端末２２０から解析結果を参照した診断結果の通知に基づいて、ＲＯＩの組織標本画像と解析結果と診断結果とを関連付けて蓄積して、診断補助情報の生成にために参照される。
【０１００】
なお、病理医用端末２２０の構成は第２実施形態と同ようなので、説明は省略する。
【０１０１】
《情報処理システムの動作シーケンス》
図１５は、本実施形態の情報処理システムである病理画像診断支援システム１４００の動作シーケンス１５００を示すシーケンス図である。図１５においては、図３（あるいは図１３）におけるシーケンスが開始前あるいは中央の省略部で実行されるが、それは図示せずに本実施形態の特徴部のみを図示している。すなわち、中央の省略部の前は、病理医用端末２２０における病理医の診断結果の入力から、診断事例ＤＢ１４１６への事例の蓄積までの動作を示す。また、中央の省略部の後は、図３における要求されたＲＯＩの高倍率画像データの送信から、解析結果および診断保持情報の病理医用端末２２０における表示までの動作である。
【０１０２】
病理医用端末２２０は、図３または図１３の解析結果の表示（Ｓ３２３）の後、ステップＳ１５０１において、病理医による解析結果を参照した診断結果の入力を待つ。診断結果の入力があるとステップＳ１５０３に進んで、入力された診断結果と対応する治療方法を解析センター２１０に送信する（図１６参照）。診断結果と治療方法には、端末ＩＤと図３と同じＲＯＩの画像を特定する画像番号とを付して送信する（Ｓ１５０５）。
【０１０３】
解析センター２１０では診断結果と治療方法とを受信すると、ステップＳ１５０７において、解析センター２１０内でＲＯＩの画像を送信元や患者などに依存しないデータとして蓄積するため、解析センター２１０内での画像番号の再割当を行なう。ステップＳ１５０９において、再割当された画像番号を病理医用端末２２０に通知する。病理医用端末２２０は、ステップＳ１５１１において、通知された再割当された画像番号を患者などの個人情報と関連付けて保持する。このようにすることによって、解析センター２１０は個人情報と無関係にデータを蓄積管理でき、病理医用端末２２０では必要な時に自分が解析依頼したＲＯＩの画像データを読出すことが可能となる。解析センター２１０は、ステップＳ１５１３において、再割当した画像番号、画像データおよび解析結果に対応付けて、受信した診断結果と治療方法とを診断事例ＤＢ１４１６に蓄積する。なお、診断事例ＤＢ１４１６に蓄積する情報はすべての情報である必要はなく、今後の診断補助に役立つ情報を選別して蓄積してもよい。ただし、解析センター２１０を病理医用端末２２０による情報蓄積サーバとしても使用する場合は、診断支援で病理医用端末２２０から送信されたすべての情報を蓄積するようになる。
【０１０４】
省略部において、病理医用端末２２０からの新たな診断支援依頼により、図３のＳ３０１からＳ３１３までの処理が行なわれる。ステップＳ３１５において高倍率画像データが解析センター２１０に送信されて、ステップＳ３１７において特徴量解析が行なわれた後、ステップＳ１５１９において、診断事例ＤＢ１４１６を参照して診断補助情報が生成される。ステップＳ１５２１において、診断結果と共に診断補助情報が病理医用端末２２０に報告される。病理医用端末２２０は、ステップＳ１５２３において、受診した診断結果と診断補助情報とを組織標本画像の選択された組織領域に重畳して表示画像を生成する。そして、ステップＳ１５２５において、ディスプレイ２２３に表示を行なって、病理医の診断を支援する（図１７参照）。
【０１０５】
《病理医用端末での表示画面》
以下、本実施形態の処理におけるディスプレイ２２３の表示画面を、図１６および図１７に従って説明する。
【０１０６】
（診断結果送信時の表示画面）
図１６は、選択したＲＯＩによる診断結果と治療方法とを解析センター２１０に送信する時点での、病理医用端末２２０のディスプレイ２２３に表示された画面１６００を示す図である。
【０１０７】
画面１６００には、組織標本画像から選択された組織領域に重畳して、選択した複数のＲＯＩ１６０１〜１６０４が表示されている。これら複数のＲＯＩ１６０１〜１６０４の内、ＲＯＩ１６０１は病理医によりＲＯＩから削除された状態を示す。また、ＲＯＩ１６０４は病理医により悪性(malignant)から良性(benign)へと変更された状態を示す。ＲＯＩ１６０２と１６０３は、解析結果そのままである。
【０１０８】
図１６の１６０５は、表示された組織標本画像の病理医用端末２２０における管理情報と、診断結果を報告する報告先の解析センター２１０を特定する情報と、病理医による診断結果および治療方法とである。この内、氏名などの個人情報は解析センター２１０には送信されない。なお、１６０５に示す情報は一例であって、これに限定されない。
【０１０９】
（解析結果および診断補助情報の表示画面）
図１７は、解析センター２１０において解析された解析結果と診断補助情報とが、病理医用端末２２０のディスプレイ２２３に表示された画面１７００を示す図である。
【０１１０】
図１７においては、複数のＲＯＩ１７０１〜１７０４の解析結果が、ＲＯＩを囲む矩形枠の線の相違で表わされている。ＲＯＩ１７０１は、細い実線により、高倍率の画像データを解析する必要の無かったガン細胞の無いエリアであることを示している。ＲＯＩ１７０２および１７０３は、太い実線により、高倍率の画像データの解析を必要とし、かつ、ガン細胞が明瞭であるエリアであることを示している。ＲＯＩ１７０４は、太い破線により、高倍率の画像データの解析を必要としたが、ガン細胞の無いエリアであることを示している。なお、図１７では矩形枠の線の相違で表わしたが、色の相違などの他の識別可能な表示であってよい。
【０１１１】
図１７の１７０５は、表示された組織標本画像の病理医用端末２２０における管理情報と、診断支援の解析結果を報告した報告元の解析センター２１０を特定する情報とである。この内、氏名などの個人情報は病理医用端末２２０で管理されているものである。それの加えて、図１７には、病状が悪性か良性かの情報と、今後の病歴の予測と、治療計画の補助情報との少なくともいずれかを含む診断補助情報１７０６が表示されている。かかる診断補助情報１７０６は、解析センター２１０においてＲＯＩの画像データによる解析結果から診断事例ＤＢ１４１６を参照して生成されたものである。なお、１７０５および１７０６に示す情報は一例であって、これに限定されない。例えば、診断補助情報１７０６としては、症状が悪性か良性かの情報と、平均生存期間と、治療計画とが示されているが、移転の有無、再発率などを含んでもよい。
【０１１２】
《解析センターのハードウェア構成》
図１８は、本実施形態に係る解析センター２１０のハードウェア構成を示すブロック図である。なお、図１８には、１つの装置による構成を示したが、機能別の複数の装置により構成されてもよい。なお、図１８において、図６と同様の機能部には同じ参照番号が付されている。
【０１１３】
図１８において、ＣＰＵ６１０は演算制御用のプロセッサであり、プログラムを実行することで解析センター２１０の制御部を実現する。ＲＯＭ６２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部１４１５は、ネットワーク２３０を介して複数の病理医用端末２２０との通信を制御する。通信制御部１４１５は、診断結果および治療方法を病理医用端末２２０から受信して、診断事例ＤＢ１４１６に転送する。かかる通信は有線であっても無線であってもよい。
【０１１４】
ＲＡＭ１８４０は、ＣＰＵ６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。各領域には、病理医用端末２２０から受信したエリア画像の画像データを含む受信データ１８４１が記憶される。受信データ１８４１としては、ＲＯＩの画像データに加えて、診断結果や治療方法が含まれる。また、病理医用端末２２０から受信した低倍率画像データを管理するための低倍率画像用テーブル２１２が記憶される（図７Ａ参照）。また、病理医用端末２２０から受信した高倍率画像データを管理するための高倍率画像用テーブル２１４が記憶される（図７Ｂ参照）。また、病理医用端末２２０に送信する解析結果を含む送信データ１８４２が記憶される。送信データ１８４２としては、解析結果に加えて、診断補助情報が含まれる。
【０１１５】
ストレージ１８５０は、データベースや各種のパラメータ、ＣＰＵ６１０が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ１８５０には、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。データの記憶部としては、低倍率画像データによるＲＯＩの組織構造解析を行なうために使用される組織構造解析用ＤＢ６５１が格納される。また、高倍率画像データによるＲＯＩの特徴量解析を行なうために使用される特徴量解析用ＤＢ６５２が格納される。さらに、ストレージ１８５０には、診断結果や治療方法をＲＯＩの画像データに対応付けて蓄積する診断事例ＤＢ１４１６が格納される（図１９参照）。
【０１１６】
また、本実施形態では、プログラムとして、一連の病理画像診断支援を実現する病理画像診断支援プログラム１８５３を格納する（図２０参照）。また、病理画像診断支援プログラム１８５３の一部を構成する、組織構造解析用ＤＢ６５１を使って低倍率画像データによるＲＯＩの組織構造解析を行なう組織構造解析モジュール６５４を格納する。また、病理画像診断支援プログラム１８５３の一部を構成する、特徴量解析用ＤＢ６５２を使って高倍率画像データによるＲＯＩの特徴量解析を行なうと共に、診断事例ＤＢ１４１６を参照して診断補助情報を生成する特徴量解析モジュール１８５５を格納する。また、解析結果と診断補助情報とを診断支援情報として病理医用端末２２０に送信する解析結果送信モジュール１８５６を格納する。
【０１１７】
なお、図１８には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
【０１１８】
（診断事例ＤＢ）
図１９は、診断事例ＤＢ１４１６に蓄積されるデータの構成を示す図である。この診断事例ＤＢ１４１６は、解析センター２１０で独自に再割当した画像番号によりデータが管理されており、患者や送信元などの個人情報から完全に独立したデータであり、ＲＯＩごとに管理される。そして、再割当した画像番号は、送信元の病理医用端末２２０のみに通知されるので、個人情報の外部漏れがなく、かつ、送信元からはいつでもアクセスが可能である。
【０１１９】
診断事例ＤＢ１４１６は、再割当画像番号１９０１により管理される。各再割当画像番号１９０１に対応して、ＲＯＩの高倍率画像データ１９０２が記憶される。なお、高倍率画像データ１９０２には他の位置に記憶された記憶アドレスをポイントするポインターが記憶されていてもよい。また、同じ患者の症状の推移であることなどが分かるように、画像のリンク情報１９０３、蓄積日時１９０４が記憶される。また、解析法や診断法に関連する生体組織の部位１９０５、染色法１９０６、性別／年齢１９０７が記憶される。そして、解析センター２１０における画像データからの解析結果１９０８、解析結果１９０８を支援情報として送信元の病理医が診断した診断結果１９０９と治療方法１９１０、が記憶される。
【０１２０】
《解析センターの動作手順》
図２０は、解析センター２１０の動作手順を示すフローチャートである。このフローチャートは、図１８のＣＰＵ６１０がＲＡＭ６４０を使用しながら実行して、図１４の解析センター２１０の機能を実現する。なお、図９と同様のステップには同じ参照番号が付されている。
【０１２１】
まず、ステップＳ９０１において、病理医用端末２２０からの画像の受信を待つ。画像の受信があればステップＳ９０３に進んで、受信した画像データの送信元の端末ＩＤ、画像番号、部位、染色法、性別／年齢などの情報を記憶保持する。次に、ステップＳ９０５において、送信された画像データを記憶保持する。ここで、本実施形態では、画像番号から受信した画像データが低倍率画像データか高倍率画像データかを判別して、ステップＳ９０３およびＳ９０５で記憶保持した情報を図７Ａの低倍率画像用テーブル２１２または図７Ｂの高倍率画像用テーブル２１４に格納する。
【０１２２】
画像の受信が無い場合は（Ｓ９０１のＮＯ）、ステップＳ２００１において、診断結果と治療方法との受信であるかを判断する。診断結果と治療方法との受信であればステップＳ２００３に進んで、解析センター２１０独自の画像番号を再割当する。ステップＳ２００５において、再割当した画像番号を送信元の病理医用端末２２０のみに通知する。ステップＳ２００７において、各ＲＯＩの画像データと解析結果に診断結果と治療方法とを付加して診断事例ＤＢ１４１６に記録する。
【０１２３】
ステップＳ９０７においては、受信した画像データが低倍率画像データか高倍率画像データかの判別に対応して分岐する。受信した画像データが低倍率画像データの場合はステップＳ２００９に進んで、部位、染色法、性別／年齢などに対応した低倍率画像データの組織構造解析を行なう。なお、詳説はしないが、ステップＳ２００９で行なう組織構造解析に、診断事例ＤＢ１４１６の情報を利用することもできる。次に、ステップＳ９１１において組織構造解析の結果から同じＲＯＩの高倍率画像の解析が必要か否かを判断する。同じＲＯＩの高倍率画像の解析が必要である場合はステップ９１３に進んで、同じＲＯＩの高倍率画像データの送信を送信元の病理医用端末２２０に対して要求する。
【０１２４】
一方、受信した画像データが高倍率画像データである場合はステップＳ２０１５に進んで、部位、染色法、性別／年齢などに対応した高倍率画像データの特徴量解析を行なう。次に、本実施形態では、ステップＳ２０１７において、診断事例ＤＢ１４１６を参照して診断補助情報を生成する。そして、ステップＳ２０１９においては、高倍率画像データの特徴量解析結果と、診断補助情報とを送信元の病理医用端末２２０に対して送信元からの画像番号を付して送信する。
【０１２５】
《病理医用端末のハードウェア構成》
病理医用端末のハードウェア構成は、図１０と基本的には同様であるので、重複説明は避ける。
【０１２６】
（患者履歴ＤＢ）
図２１は、図１０に示した患者履歴ＤＢ１０５２の構成を示す図である。
【０１２７】
図２１の上図において、２１０１は患者を特定する患者ＩＤ、２１０２は患者の性別および年齢であり、患者を特定する情報である。なお、さらに、患者の住所など他の特定情報も記憶されるが、図２１には、本実施形態の処理に必要な情報のみを示している。２１０３は解析対象の組織標本画像の部位、２１０４はその生体組織の染色法であり、解析センター２１０での解析法に関連する情報である。また、２１０５は、対象とする組織標本画像を得た検査日時である。
【０１２８】
上記検査の結果としての情報である、解析センター２１０からの解析結果２１０６、解析センター２１０からの診断補助情報２１０７、病理医による診断結果２１０８が、検査ごとに記憶される。
【０１２９】
図２１の下図には、画像データを特定する情報が示されている。２１１１は病理スライドを特定するスライドＩＤ、２１１２は病理スライドからスキャナ２２２で読み取った組織標本画像内での解析対象の組織領域を示す解析組織領域、２１１３は組織領域内の解析対象のＲＯＩを示す解析対象ＲＯＩである。そして、本実施形態では、解析センター２１０の診断事例ＤＢ１４１６に蓄積された画像データについては、再割当画像番号２１１４が登録されている。したがって、再割当画像番号２１１４が無い画像データは、解析センター２１０の診断事例ＤＢ１４１６に蓄積されていないことになる。このように、再割当画像番号２１１４の有無はその画像が診断に使用されたか否かのバロメータにもなる。画像データを特定する情報は、各検査に対応して２１１０と２１２０のように登録されている。
【０１３０】
《病理医用端末の動作手順》
図２２は、本実施形態の病理医用端末２２０の動作手順を示すフローチャートである。このフローチャートは、図１０のＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図１４の病理医用端末２２０の機能を実現する。なお、図２２のステップＳ１２０１からＳ１２１７までは、図１２と同様であるので、説明は省略する。
【０１３１】
ステップＳ２２１９において、解析結果と診断補助情報との受信を待つ。解析結果と診断補助情報との受信があればステップＳ２２２１に進んで、解析結果と診断補助情報とを組織領域に重畳して、表示画像を生成する。ステップＳ２２２３において、重畳画像を表示する（図１７参照）。
【０１３２】
ステップＳ２２２５において、病理医による診断結果の入力を待つ。病理医による診断結果の入力があるとステップＳ２２２７に進んで、診断結果を解析センター２１０に送信する。そして、ステップＳ２２２９において、解析センター２１０から再割当画像番号を受信して、図２１の患者履歴ＤＢ１０５２に記録する。このように、診断に関連する情報は、画像データを含めて解析センター２１０に保持するようにすれば、病理医用端末２２０における蓄積データが削減される（図２１参照）。
【０１３３】
［第５実施形態］
第２乃至第５実施形態においては、病理医の診断を経ずに、ＲＯＩの画像データを病理医用端末２２０から解析センター２１０に送信していた。本実施形態では、病理医がローカルであるいはリモートで診断をしても診断が難しい組織標本画像について、解析センター２１０に診断支援を依頼する処理を説明する。本実施形態によれば、すべての組織標本画像について診断支援をせずに、病理医による診断が難しい場合のみに診断支援を依頼するので、解析センター２１０の負荷を低減しながら、病理医による組織標本画像に基づく診断に対する解析センターの支援を迅速に精度良く受けることができる。
【０１３４】
第５実施形態の情報処理システムの構成および解析センター、病理医用端末の構成は、
第４実施形態と類似であり、推定できる範囲であるので、説明の繰り返しは省略する。
【０１３５】
《情報処理システムの動作シーケンス》
図２３は、本実施形態の情報処理システムである病理画像診断支援システム１４００の動作シーケンス２３００を示すシーケンス図である。
【０１３６】
まず、ステップＳ２３０１において、スキャナ２２２で病理スライドを読み込み、ステップＳ２３０３において、ローカルであるいはリモートで病理医の診断処理が行なわれる。ステップＳ２３０５において、診断が難しいかが判断される。診断が難しくなければ診断結果が患者に通知される。
【０１３７】
一方、診断が難しい場合にはステップＳ２３０７に進んで、診断支援のために解析を依頼する組織領域のＲＯＩを選択する。この場合のＲＯＩの選択は、診断において判断が難しい場所の選択である。ステップＳ２３０９において、選択されたＲＯＩの高倍率画像データが解析センター２１０に送信されて、解析が依頼される。
【０１３８】
以下、解析センター２１０の解析処理（Ｓ１５１７）から病理医用端末２２０のディスプレイ２２３への表示（Ｓ１５２５）までは、図１５と同様であるので、説明は省略する。なお、解析センター２１０への判断が難しい場所の解析依頼においても、本実施形態のまず低倍率画像データを送り、必要であれば高倍率画像データを送る処理を適用してもよい。
【０１３９】
［他の実施形態］
なお、上記実施形態では、染色法としてＨＥ法を使った組織標本画像からガンを検出する場合を主に説明した。しかしながら、ＩＨＣ法で免疫染色した組織標本画像からガン領域の陽性／陰性を判定する場合にさらに適用が可能である。例えば、乳腺のＩＨＣ法に関しては、茶色に染まった核の割合、染まらなかった核(青い核)の割合、膜の全周性(膜がすべて染まっているかどうか)などを特徴量とする。そして、ＩＨＣ法は、ガンであることが分かっている領域に対して固定倍率(例えば、20X)でER/PR，あるいはHer2陽性か陰性かを判断し、この結果を受けて治療法を選択する。かかるＩＨＣ法による組織標本画像の解析を遠隔で行なう場合には、ＨＥ法の組織標本画像から検出したガン領域に対して連続切片で作った、ＩＨＣ法で染色した組織標本画像の20X画像を解析センター２１０に送信して、陰性／陽性の結果を受け取る処理も考えられる。
【０１４０】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０１４１】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【０１４２】
この出願は、２０１１年１月２４日に出願された日本国特許出願  特願２０１１−０１２４２５号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【図１】
2012102069.tif 000003
【図２】
2012102069.tif 000004
【図３】
2012102069.tif 000005
【図４】
2012102069.tif 000006
【図５Ａ】
2012102069.tif 000007
【図５Ｂ】
2012102069.tif 000008
【図６】
2012102069.tif 000009
【図７Ａ】
2012102069.tif 000010
【図７Ｂ】
2012102069.tif 000011
【図８Ａ】
2012102069.tif 000012
【図８Ｂ】
2012102069.tif 000013
【図９】
2012102069.tif 000014
【図１０】
2012102069.tif 000015
【図１１】
2012102069.tif 000016
【図１２】
2012102069.tif 000017
【図１３】
2012102069.tif 000018
【図１４】
2012102069.tif 000019
【図１５】
2012102069.tif 000020
【図１６】
2012102069.tif 000021
【図１７】
2012102069.tif 000022
【図１８】
2012102069.tif 000023
【図１９】
2012102069.tif 000024
【図２０】
2012102069.tif 000025
【図２１】
2012102069.tif 000026
【図２２】
2012102069.tif 000027
【図２３】
2012102069.tif 000028
【手続補正書】
【提出日】平成25年7月11日(2013.7.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１２
【補正方法】変更
【補正の内容】
【請求項１２】
前記生成手段による診断補助情報は、病状が悪性か良性かの情報と、平均生存期間と、転移の有無と、再発率と、治療計画の補助情報との少なくともいずれかを含むことを特徴とする請求項１１に記載の情報処理装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムであって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信ステップと、
前記第１受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信ステップと、
前記第２受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記第２解析ステップにおいて生成した前記第２特徴情報を送信する送信ステップと、
をコンピュータに実行させる制御プログラム。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１７
【補正方法】変更
【補正の内容】
【請求項１７】
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御プログラムであって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信ステップと、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信ステップと、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
をコンピュータに実行させる制御プログラム。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本発明に係るプログラムは、
生体組織を染色して撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムであって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを受信する第１受信ステップと、
前記第１受信ステップにおいて受信した前記倍率のより低い画像データに基づいて、前記エリア画像を解析して第１特徴情報を生成する第１解析ステップと、
前記第１解析ステップにおいて生成した第１特徴情報に基づいて、前記エリア画像に対して、倍率のより高い画像データに基づく解析が必要か否かを判定する判定ステップと、
前記判定ステップにおいて前記倍率のより高い画像データに基づく解析が必要と判定した場合、前記エリア画像に対する前記倍率のより高い画像データの送信要求を通知する通知ステップと、
前記通知ステップにおける送信要求に応答して送信された前記倍率のより高い画像データを受信する第２受信ステップと、
前記第２受信ステップにおいて受信した前記倍率のより高い画像データに基づいて、前記エリア画像を解析して第２特徴情報を生成する第２解析ステップと、
前記第２解析ステップにおいて生成した前記第２特徴情報を送信する送信ステップと、
をコンピュータに実行させる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記目的を達成するため、本発明に係るプログラムは、
生体組織を染色して撮像した組織標本画像に基づく診断の支援を依頼する情報処理装置の制御プログラムであって、
前記組織標本画像内の選択されたエリアのエリア画像に対して異なる倍率で得られる複数の画像データのうち、倍率のより低い画像データを、前記情報処理装置を特定する送信元特定情報と前記画像データを特定する画像データ特定情報とに対応付けて送信する第１送信ステップと、
前記異なる倍率で得られる複数の画像データのうち、倍率のより高い画像データの送信要求の通知に応答して、前記エリア画像に対する前記倍率のより高い画像データを前記送信元特定情報と前記画像データ特定情報とに対応付けて送信する第２送信ステップと、
前記画像データ特定情報に対応付けられた前記エリア画像の特徴量情報を受信する受信ステップと、
前記エリア画像に対する前記送信要求の通知の有無と、前記エリア画像の前記特徴量情報とを、前記組織標本画像に重畳して識別可能に表示する表示ステップと、
をコンピュータに実行させる。
【国際調査報告】
2012102069.tif 000029
2012102069.tif 000030
2012102069.tif 000031
2012102069.tif 000032