(57)【要約】【課題】病理診断をコンピュータシステム等によって支援する技術分野において、医師による病理診断をより効率よく行うことができる技術を提供する。【解決手段】撮像部２０で撮像された検体組織の画像（対象画像）をグリッド画像生成部１０１により複数のグリッド画像に分割する。各グリッド画像の特徴量を計算するとともに、既存のサンプル画像を基準画像とするサンプル画像基準分類器１０７と、入力部１５０へのユーザの操作入力に応じて対象画像内から選択されたグリッド画像を基準画像とする対象画像基準分類器１０８とによりそれぞれ分類作業を行う。分類結果集積部１０９に集積された分類結果は必要に応じて集合演算部１１０で集合演算され、表示処理部１１１で処理されて表示部１６０に表示される。表示部１６０では、分類結果に応じて色分けされたグリッド画像が対象画像内での配置にしたがって配置されて表示される。【選択図】図２
2011215680.tif 000002
【特許請求の範囲】
【請求項１】
検体組織を撮像した原画像を取得する画像取得手段と、
撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理手段と、
複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示する表示手段と
を備えることを特徴とする病理診断支援装置。
【請求項２】
前記表示手段は、前記原画像の全体もしくは一部領域を表示対象領域として、当該表示対象領域内の各グリッド画像を原画像内における配置と同じ配置で、かつ前記視覚情報を付して表示する請求項１に記載の病理診断支援装置。
【請求項３】
前記表示手段は、前記表示対象領域の大きさおよび前記原画像における位置の少なくとも一方を切り替え表示可能な請求項２に記載の病理診断支援装置。
【請求項４】
前記処理手段における分類ルールを決定するための指示入力をユーザから受け付ける入力手段を備え、前記処理手段は、前記入力手段への指示入力に応じた分類ルールで前記グリッド画像を分類する請求項１ないし３のいずれかに記載の病理診断支援装置。
【請求項５】
前記処理手段は、基準画像の特徴量と前記グリッド画像の特徴量とに基づき、前記グリッド画像を前記複数の分類カテゴリに分類する分類器を有する請求項１ないし４のいずれかに記載の病理診断支援装置。
【請求項６】
前記処理手段は、前記基準画像として予め用意された画像を用いる第１の分類器と、前記基準画像として前記複数のグリッド画像の中から選択されたグリッド画像を用いる第２の分類器とを有する請求項５に記載の病理診断支援装置。
【請求項７】
前記複数のグリッド画像の中から前記基準画像をユーザに選択させるための選択手段を備え、前記処理手段は、選択されたグリッド画像を前記基準画像として他の前記グリッド画像を分類する請求項５または６に記載の病理診断支援装置。
【請求項８】
検体組織を撮像した原画像を取得する画像取得手段と、
撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像から選択された基準画像と、他の各グリッド画像とをその特徴量に基づき比較して前記グリッド画像それぞれの前記基準画像に対する類似または非類似を判断する処理手段と、
前記複数のグリッド画像の中から前記基準画像をユーザに選択させるための選択手段と
を備えることを特徴とする病理診断支援装置。
【請求項９】
複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ、前記基準画像に類似と判断されたグリッド画像と、非類似と判断されたグリッド画像とに互いに異なる視覚情報を付して表示する表示手段を備える請求項８に記載の病理診断支援装置。
【請求項１０】
検体組織を撮像した原画像を取得する画像取得工程と、
撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、
複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させる表示工程と
を備えることを特徴とする病理診断支援方法。
【請求項１１】
前記処理工程では、ユーザにより前記複数のグリッド画像の中から選択された基準画像の特徴量と、前記基準画像以外の前記グリッド画像の特徴量とに基づき、前記基準画像以外の前記グリッド画像を分類する請求項１０に記載の病理診断支援方法。
【請求項１２】
前記処理工程では、前記グリッド画像のそれぞれについて互いに異なる分類ルールに基づく複数通りの分類を行い、
前記表示工程では、前記複数通りの分類の結果を反映させた画像を前記表示手段に表示させる請求項１０または１１に記載の病理診断支援方法。
【請求項１３】
検体組織を撮像した原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、
複数のグリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させる表示工程と
をコンピュータに実行させることを特徴とする、病理診断支援のための制御プログラム。
【請求項１４】
請求項１３に記載の制御プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、病理診断をコンピュータシステム等によって支援するための技術に関するものである。
【背景技術】
【０００２】
病理診断の１つに、患者から臓器の一部を検体として採取し、これを組織切片ガラススライド標本（プレパラート）にして顕微鏡下に観察し診断を行う生検組織診断がある。このような診断自体は医師が行わなければならないが、そのための作業量は膨大であり、医師の負担は重い。そこで、診断のための観察作業を効率よく行い医師の負担を軽減するために、コンピュータシステムによる画像処理技術を利用した種々の診断支援装置が従来より提案されている。例えば、特許文献１では、染色された検体を撮像した画像中から特定の条件を満たす領域を検索することで、癌化した細胞の位置を特定する病理診断支援装置が提案されている。また、特許文献２では、染色された検体を撮像した画像から色素量を推定し、画像中の各画素をその色素量に基づいてクラス分類して分類結果を表示する画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１１５５９８号公報（例えば、段落００３３）
【特許文献２】特開２００５−３３１３９４号公報（例えば、図７）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種の装置を用いて診断を効率よく行うためには、ある特徴を有する細胞が検体内においてどのような分布をしているかが容易に判る機能が重要である。しかしながら、従来技術の病理診断支援装置では、このような要求に十分に応えるに至っていなかった。その主な理由は以下の通りである。すなわち、従来の技術においては、検体内で撮像された画像を個別に評価して既知の異常組織のサンプル画像と共通する特徴を有する画像を抽出することに主眼が置かれている。然るに、実際の検体においては細胞の形状等に個体差が大きいため、他の個体から採取したサンプル画像と検体の部分画像とを比較対照するだけでは必ずしも思わしい結果が得られない。このように、従来の診断支援技術においては、診断の効率化という点でさらなる改善の余地が残されていた。
【０００５】
この発明は上記課題に鑑みなされたものであり、医師による病理診断をコンピュータシステム等によって支援する技術分野において、病理診断（例えば、断端判定など）をより効率よく行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明にかかる病理診断支援装置の一の態様は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得手段と、撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理手段と、複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示する表示手段とを備えることを特徴としている。
【０００７】
このように構成された発明では、原画像を分割してなるグリッド画像がその特徴に応じて複数の分類カテゴリに分類される。ここでいう分類カテゴリは、例えば、「ある特徴を有するものとそうでないもの」などである。そして、その分類結果に基づく視覚情報が付されたグリッド画像が、原画像における配置に対応する配置で表示される。このため、装置のユーザはどの分類カテゴリに分類されたグリッド画像が検体内のどの位置に分布しているかを一目で確認することができ、これによりユーザは効率よく診断を行うことが可能となる。ここでいう「視覚情報」を伴う表示としては、例えば分類カテゴリを示す記号の添付、分類カテゴリごとの色分け、特定の分類カテゴリに分類されたグリッド画像の強調表示などが可能である。
【０００８】
上記態様において、表示手段は、原画像の全体もしくは一部領域を表示対象領域として、当該表示対象領域内の各グリッド画像を原画像内における配置と同じ配置で、かつ分類結果に基づく視覚情報を付して表示するようにしてもよい。このようにすると、顕微鏡で検体を観察しているのと同様の画像を表示し、分類結果を示す視覚情報も同時に表示することができるので、ユーザの利便性を大きく向上させることができ、診断をさらに効率化することができる。
【０００９】
この場合において、表示手段は、表示対象領域の大きさおよび原画像における位置の少なくとも一方を切り替え表示可能としてもよい。このようにすると、表示対象領域を拡大・縮小したり観察位置を変化させることができ、しかも各グリッド画像には分類結果に基づく視覚情報が付されているので、利便性がさらに向上する。
【００１０】
また、処理手段における分類ルールを決定するための指示入力をユーザから受け付ける入力手段を備え、処理手段は、入力手段への指示入力に応じた分類ルールでグリッド画像を分類するようにしてもよい。こうすることで、ユーザの要求に応じた種々の態様で分類および表示を行うことができ、装置の機能を拡充することができる。
【００１１】
ここで、処理手段は、基準画像の特徴量とグリッド画像の特徴量とに基づき、グリッド画像を複数の分類カテゴリに分類する分類器を有してもよい。特徴量に基づき分類を行う分類器は公知のものであるが、本発明にこのような分類器を適用し各グリッド画像を基準画像に基づき分類することによって、種々の特徴を有するグリッド画像を容易に有限の分類カテゴリに分類することができる。
【００１２】
この場合、基準画像として予め用意された画像を用いる第１の分類器と、基準画像として複数のグリッド画像の中から選択されたグリッド画像を用いる第２の分類器とを設けてもよい。前記したように、検体組織を撮像した画像は個体差が大きいので、既知の画像のみを基準画像とする分類では良好な結果が得られないことがある。同一の検体組織を撮像した原画像内のグリッド画像を基準画像とする分類器と併用することにより、原画像に含まれる各グリッド画像の分類をより高精度に行うことができる。
【００１３】
また、例えば、複数のグリッド画像の中から基準画像をユーザに選択させるための選択手段を備え、処理手段は、選択されたグリッド画像を基準画像として他のグリッド画像を分類するようにしてもよい。このようにすると、原画像内から選択されたグリッド画像の特徴に基づいて他のグリッド画像が分類されるので、例えば検体組織内のある部分と類似する特徴を有する部分を抽出したり、ある部分と他の部分との類似の度合いを評価するといった使い方が可能となる。また、ユーザが基準画像を選択することができるので、既知のサンプル画像に示された特徴に限定されず、ユーザが調べたい任意の部分の特徴を評価することができる。
【００１４】
また、この発明にかかる診断支援装置の他の態様は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得手段と、撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像から選択された基準画像と、他の各グリッド画像とをその特徴量に基づき比較して前記グリッド画像それぞれの前記基準画像に対する類似または非類似を判断する処理手段と、前記複数のグリッド画像の中から前記基準画像をユーザに選択させるための選択手段とを備えることを特徴としている。
【００１５】
このように構成された発明では、同一の検体組織から得られた原画像内のグリッド画像を基準画像として他のグリッド画像の類否を判断する。このため、組織の個体差がある場合でも、検体組織内の各部における類似の有無を確実に判断することができ、ユーザに効率よく診断を行わせることができる。
【００１６】
この発明においては、複数のグリッド画像を、原画像における配置に基づく配置で、かつ、基準画像に類似と判断されたグリッド画像と、非類似と判断されたグリッド画像とに互いに異なる視覚情報を付して表示する表示手段を備えることが好ましい。このような構成では、ユーザは画面を一見しただけで検体組織内における類似部分の有無やその分布を判断することができるので、診断の効率を向上させることができる。
【００１７】
また、この発明にかかる病理診断支援方法は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得工程と、撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させる表示工程とを備えることを特徴としている。
【００１８】
このように構成された発明では、上記した病理診断支援装置の発明と同様に、当該方法を利用するユーザがどの分類カテゴリに分類されたグリッド画像が検体内のどの位置に分布しているかを一目で確認することができ、これにより効率よく診断を行うことが可能となる。
【００１９】
ここで、処理工程では、ユーザにより複数のグリッド画像の中から選択された基準画像の特徴量と、基準画像以外のグリッド画像の特徴量とに基づき、基準画像以外のグリッド画像を分類するようにしてもよい。上記した通り、検体組織においては細胞の形状等に個体差が大きいため、既存のサンプルとの比較では十分な成果が得られない場合がある。この発明では、検体組織を撮像した原画像から基準画像が選択されるので、このような個体差にも対応して、精度よく画像の分類が可能である。
【００２０】
また、処理工程では、グリッド画像のそれぞれについて互いに異なる分類ルールに基づく複数通りの分類を行い、表示工程では、複数通りの分類の結果を反映させた画像を表示手段に表示させるようにしてもよい。具体的には、１つの分類の結果として分類カテゴリに分類されたグリッド画像群と、他の分類の結果としてある分類カテゴリに分類されたグリッド画像群とを同一の画面に表示したり、それらの和集合や積集合などの集合演算結果を表示させることができる。このようにすると、種々の分類ルールでの分類結果に基づく総合的な診断が可能となり、より効率的で精度のよい診断をユーザに行わせることができる。
【００２１】
また、この発明にかかる制御プログラムは、上記目的を達成するため、検体組織を撮像した原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、複数のグリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させる表示工程とをコンピュータに実行させることを特徴としている。さらに、この発明にかかる記録媒体は、コンピュータ読み取り可能な記録媒体であって、上記した病理診断支援のための制御プログラムを記録したことを特徴としている。これらの発明によれば、上記発明にかかる病理診断支援方法をコンピュータにより実行させることができ、ユーザによる診断を効率よく行わせることができる。
【発明の効果】
【００２２】
この発明にかかる病理診断支援技術によれば、ユーザ（診断医）による病理診断（例えば、断端判定など）を効率よく行わせることが可能である。
【図面の簡単な説明】
【００２３】
【図１】この発明にかかる病理診断支援装置の一実施形態を示す図である。
【図２】この病理診断支援装置の構成を示すブロック図である。
【図３】この装置における診断支援処理を示すフローチャートである。
【図４】対象画像の例を示す図である。
【図５】分類器のモデル例を示す図である。
【図６】基準画像の選択処理を示すフローチャートである。
【図７】基準画像の選択処理における画面表示の例を示す図である。
【図８】この実施形態における表示処理を示すフローチャートである。
【図９】画面に表示される画像の例を示す図である。
【図１０】集合演算処理を示すフローチャートである。
【図１１】集合演算処理の概念を示す図である。
【発明を実施するための形態】
【００２４】
図１はこの発明にかかる病理診断支援装置の一実施形態を示す図である。この診断支援装置１は、ホストコンピュータ１０と撮像部２０とを備えている。ホストコンピュータ１０は、例えば公知のパーソナルコンピュータやワークステーション端末と同等の構成および機能を有するものであり、各種の制御プログラムを実行するプロセッサ部１００と、ユーザからの操作入力を受け付ける入力部１５０と、各種の情報を表示する表示部１６０と、制御プログラムや画像データなどの各種データを記録した外部記録媒体である光学ディスクＯＤにアクセスしてデータを読み出すディスクドライブ１７０と、インターフェース１８０とを備えている。このホストコンピュータ１０は、インターフェース１８０を介して構内ＬＡＮやインターネットなどの電気通信回線３０に接続可能となっている。
【００２５】
表示部１６０としては例えば液晶ディスプレイを用いることができる。また、入力部１５０としては、例えばマウスのようなポインティングデバイスやキーボードのほか、表示部１６０と一体となったタッチパネルを用いてもよい。また、制御プログラムや画像データを記録した記録媒体としては、光学ディスクに限定されず、ハードディスクやメモリーカード、ＵＳＢメモリなど任意のものを用いることができる。
【００２６】
撮像部２０は、ＣＣＤカメラ２０１を取り付けられた顕微鏡２０２を有している。顕微鏡２０２は、患者から採取された検体組織から作成されたプレパラートの拡大光学像をＣＣＤカメラ２０１の受光部に結像し、ＣＣＤカメラ２０１はこれを撮像しデジタルデータ化していわゆるバーチャルスライドを作成する。検体組織は観察目的に応じて適宜の染色法によって染色される（例えばヘマトキシリン・エオジン（ＨＥ）染色）。
【００２７】
ホストコンピュータ１０は、光学ディスクＯＤから読み込まれた制御プログラムにしたがって、撮像部２０によって撮像されデジタルデータ化された検体組織の画像に各種の画像処理を施して表示部１６０に表示させることで、ユーザ（診断医）による病理診断を支援する。
【００２８】
図２はこの病理診断支援装置の構成を示すブロック図である。より詳しくは、ホストコンピュータ１０が光学ディスクＯＤから読み込んだ制御プログラムを実行することにより、図２の一点鎖線で囲んだ各機能ブロックがプロセッサ部１００内でソフトウェアにより実現される。これらの機能ブロックにより実現される診断支援処理の内容については後に詳述するが、ここでは個々の機能ブロックの概要について簡単に説明しておく。
【００２９】
この装置１において処理対象となる画像（対象画像）は、例えば、検体組織を撮像しデータ化してなるバーチャルスライドの全体またはそれを複数に分割した画像である。また、同一または複数の患者から採取した複数の検体組織のそれぞれを個別に撮像した複数の画像を対象画像としてもよい。１つのバーチャルスライドを複数に分割して複数の対象画像とする場合には、後の処理でバーチャルスライドを復元できるように、元のバーチャルスライドにおける各対象画像の位置を特定できる情報（例えば、座標情報）を各対象画像データに付しておくことが望ましい。
【００３０】
グリッド画像生成部１０１は、撮像部２０から入力された対象画像を予め定められた、あるいはユーザにより指定された任意の大きさのグリッドで複数のグリッド画像に分割する。この際、各グリッド画像が元の対象画像においてどの位置にあったかを示す情報（例えば、座標情報）を、グリッド画像データに付与しておく。入力受付部１０２は入力部１５０を介したユーザからの操作入力を受け付けるインターフェースとして機能し、後述するように、ユーザからの基準画像や処理パラメータなどの操作入力を受け付ける。
【００３１】
第１画像特徴量計算部１０４および第２画像特徴量計算部１０５はそれぞれ、作成された各グリッド画像の特徴量を計算する機能を有している。画像の特徴量としては、例えば画像の輝度、テクスチャ情報、所定の条件を満たす領域の大きさなど種々のものを用いることができる。特徴量としてどのような物理量を採用するかについては、第１画像特徴量計算部１０４に対しては予め定められたサンプル画像基準分類器用パラメータ１０３によって、また第２画像特徴量計算部１０５に対しては予め定められた、またはユーザからの操作入力に応じて決定される対象画像基準分類器用パラメータ１０６によって定められる。
【００３２】
第１画像特徴量計算部１０４で計算されたグリッド画像の特徴量はサンプル画像基準分類器１０７に入力される。サンプル画像基準分類器１０７は、予めサンプル画像記憶部１１２に保存されているサンプル画像、例えば癌化した細胞に特有の特徴が現れている画像を基準画像として用いて、撮像された対象画像から抜き出されたグリッド画像を分類する。分類は公知の分類技術、例えば特徴量空間内におけるユークリッド距離を用いて行われ、分類に使用される特徴量や分類アルゴリズム等はサンプル画像基準分類器用パラメータ１０３によって決定される。同様に、第２画像特徴量計算部１０５で計算されたグリッド画像の特徴量は対象画像基準分類器１０８に入力される。対象画像基準分類器１０８は、撮像された対象画像の中からユーザにより選ばれたグリッド画像を基準画像として用いて、他のグリッド画像の分類を行う。分類に使用される特徴量は、ユーザからの操作入力により指定された対象画像基準分類器用パラメータ１０６によって決定される。
【００３３】
こうしてサンプル画像基準分類器１０７および対象画像基準分類器１０８により処理された分類結果は分類結果集積部１０９に集積される。そして、それらの分類結果が必要に応じて集合演算部１１０によって集合演算され、その結果が表示処理部１１１によって処理されて表示用データが作成され、表示部１６０に送られて目的の画像が表示部１６０に表示される。
【００３４】
図３はこの装置における診断支援処理を示すフローチャートである。また、図４は対象画像の例を示す図である。診断支援処理においては、まず最初に診断の対象となる対象画像を取得する（ステップＳ１０１）。対象画像は、図４（ａ）に示すように、主として検体組織Ｓの全体を撮像したバーチャルスライド画像Ｉvであるが、同図に破線で示すように、画像のサイズが大きい場合にはバーチャルスライド画像Ｉvを複数の部分画像に分割して各部分画像をそれぞれ対象画像としてもよい。また、バーチャルスライド画像Ｉvについては撮像部２０から受け取ることができるほか、他の撮像装置やストレージから電気通信回線３０等を介して受け取ってもよい。
【００３５】
こうして取得した対象画像（ここではバーチャルスライド画像Ｉvの部分画像Ｉp）を、図４（ｂ）に示すように、任意の大きさのグリッドによって複数のグリッド画像Ｉgに分割する（ステップＳ１０２）。そして、こうして作成された各グリッド画像Ｉgの特徴量を計算する（ステップＳ１０３）。続いて、求められた特徴量に基づき各グリッド画像Ｉgの分類を分類器によって行う。
【００３６】
図５は分類器のモデル例を示す図である。本実施形態における分類器１０７，１０８では、図５（ａ）に示す分類器５のように、ある基準画像と入力画像とが入力され、これらが互いに類似しているか、非類似であるかを判定し出力する。より具体的には、分類器５は基準画像および入力画像それぞれの特徴量から特徴量空間における両者のユークリッド距離を求め、その距離が所定の閾値より小さければ両者は類似していると判定する一方、距離が閾値よりも大きければ非類似と判定する。
【００３７】
このような分類器５に、対象画像内の各グリッド画像を入れ替えて順次入力することで、各グリッド画像を基準画像に類似するものとそうでないものとに分類することができる。分類結果は基準画像の選び方や使用する特徴量などの分類ルールを変えればその都度変化する。したがって、この実施形態における分類器５は図５（ｂ）のように表すことができる。すなわち、分類器５にはＮ個のグリッド画像＃１，＃２，…，＃Ｎが入力画像として入力され、これに分類ルールが与えられることでグリッド画像が分類される。例えばある分類ルールでは分類結果Ａが、また他の分類ルールでは分類結果Ｂ、Ｃ、Ｄがそれぞれ得られる。なお、このような分類器のアルゴリズムとしてはニューラルネットワークや判別分析など各種のモデルが提案されており、本実施形態でも上記に限定されずそのような公知の分類器（例えば特開２００３−３１７０８２号公報に記載のもの）を適宜選択して使用することが可能である。
【００３８】
図２に示したように、この実施形態では、分類器としてサンプル画像基準分類器１０７と対象画像基準分類器１０８とを備えている。サンプル画像基準分類器１０７は、予め収集された画像を基準画像、つまり分類器５の一方の入力画像として各グリッド画像を分類する。したがって、サンプル画像基準分類器１０７では、対象画像を構成する各グリッド画像が既知のサンプル画像と類似する特徴を有しているかどうかが判定される。一方、対象画像基準分類器１０８は、対象画像内から選択された一のグリッド画像を基準画像として他のグリッド画像を分類する。すなわち、基準画像として選択されたグリッド画像と類似する部分が対象画像内にあるか否かが判定される。
【００３９】
図３に戻って診断支援処理の説明を続ける。ステップＳ１０３において各グリッド画像の特徴量が計算されると、続いて上記した分類器によりグリッド画像の分類を行うが、それに先立って２つの分類器（サンプル画像基準分類器１０７、対象画像基準分類器１０８）のいずれを使用して分類を行うかを決定する（ステップＳ１０４）。この決定はユーザの指示に基づいて行ってもよく、またサンプル画像基準分類器１０７による分類については既定のパラメータを用いて行うことも可能であることから、ユーザの指示に関わりなく行うようにしてもよい。
【００４０】
最初にサンプル画像基準分類器１０７による分類を行うケースについて説明する。このとき、サンプル画像基準分類器１０７の分類ルールを表すパラメータを、当該分類器用パラメータ１０３として予め定められたものに設定する（ステップＳ１０５）。このパラメータについてはユーザにより変更可能としてもよい。こうして設定されたパラメータに基づいて、サンプル画像基準分類器１０７による分類作業を行い（ステップＳ１０６）、分類結果については分類結果集積部１０９に記録しておく（ステップＳ１０７）。また、分類結果については必要に応じて表示部１６０に表示する（ステップＳ１０８）。
【００４１】
一方、対象画像基準分類器１０８による分類を行う場合には、まずユーザにより基準画像を選択させる（ステップＳ１１０）。
【００４２】
図６は基準画像の選択処理を示すフローチャートである。また、図７は基準画像の選択処理における画面表示の例を示す図である。この処理では、対象画像が複数ある場合、それらの対象画像を表示部１６０の画面１６１にサムネイル表示させる（ステップＳ３０１）。図７（ａ）の例では、４つの対象画像（対象画像Ａ、Ｂ、ＣおよびＤ）が表示されている。そして、マウスポインタを表示させてユーザにいずれかのサムネイル画像をマウスにより選択入力させ、該選択入力を受け付ける（ステップＳ３０２）。
【００４３】
ここでは対象画像Ｂが選択されたものとする。こうしてユーザにより選択されたサムネイル画像に対応する対象画像を、図７（ｂ）に示すように表示部１６０の画面１６１に拡大表示させる（ステップＳ３０３）。また、グリッド画像の境界を明示するために、グリッド線Ｇを対象画像に重ねて表示する（ステップＳ３０４）。そして、再びマウスポインタを表示させて、表示されたグリッド画像の中からユーザに対象画像を選択させ、該選択入力を受け付ける（ステップＳ３０５、図７（ｂ））。
【００４４】
ユーザからの選択入力があれば、選択されたグリッド画像を枠で囲んだり輝度または色を変えるなどの強調表示を行って選択箇所を明示し（ステップＳ３０６、図７（ｃ））、さらなる選択を受け付ける。すなわち、現在表示されている対象画像から新たな基準画像を指定するか、サムネイル表示されている他の対象画像から基準画像を指定するかをユーザに選択させ、現在の対象画像内での指定が選択された場合にはステップＳ３０５に戻って新たな選択入力を受け付ける一方（ステップＳ３０７）、他の対象画像からの指定が選択された場合にはステップＳ３０２のサムネイル画像選択まで戻る（ステップＳ３０８）。新たな選択が必要なければ処理を終了する。
【００４５】
図３に戻って、こうしてステップＳ１１０においてユーザにより基準画像が選択されると、当該基準画像について、対象画像基準分類器用パラメータ１０６により指定される特徴量を計算する（ステップＳ１１１）。そして、当該基準画像と、対象画像基準分類器用パラメータ１０６とにより決まる分類ルールに基づいて（ステップＳ１１２）、対象画像基準分類器１０８が各グリッド画像の分類を行う（ステップＳ１１３）。以後の動作（ステップＳ１０７以降）はサンプル画像基準分類器１０７による分類作業と同様であり、こうして得られた対象画像基準分類器１０８による分類結果も分類結果集積部１０９に記録される。
【００４６】
このように、対象画像基準分類器１０８は、対象画像内から選択されたグリッド画像を基準画像として、対象画像内の他のグリッド画像の分類を行う。前記したように、生体組織には個体差があるから、他の個体から得たサンプルとの類否よりも同一組織内での類否が重要となる場合がある。対象画像基準分類器１０８は対象画像内のグリッド画像を基準画像として分類を行うので、このような目的の達成に極めて有効である。また、ユーザは基準画像を選択するだけで当該基準画像と類似する部分の分布を直ちに知ることができるので、診断を効率よく的確に行うことができる。
【００４７】
分類器による分類作業の終了後、ユーザが新たな分類ルールに基づくさらなる分類を希望する場合、あるいは所定の機能を実現するためにさらなる分類が必要である場合には、ステップＳ１０４に戻って上記処理を繰り返して実行する（ステップＳ１０９）。そして、次にこうして得られた分類結果を種々の態様で表示させるための処理を実行する。
【００４８】
この実施形態では、上記のように分類ルールを変えて行った複数通りの分類結果を分類結果集積部１０９に集積記録しており、これらの分類結果を単独で、あるいは適宜組み合わせて表示部１６０に表示させることで、ユーザによる診断の効率化を図っている。複数の分類結果を組み合わせて表示するために表示処理（ステップＳ１１５）に先立って行われる処理が、分類結果の集合演算（ステップＳ１１４）であるが、ここでは、理解を容易にするために、まず分類結果を単独で表示する場合の表示処理（ステップＳ１１５）について説明する。
【００４９】
図８はこの実施形態における表示処理を示すフローチャートである。また、図９は画面に表示される画像の例を示す図である。表示処理部１１１では、分類結果に基づいて各グリッド画像の色分けを行う（ステップＳ５０１）。この色分けは、例えば、ある基準画像に類似していると判定されたグリッド画像は赤く、それ以外のグリッド画像は原画像どおりの色とする、というように行うことができる。これにより、各グリッド画像には分類結果を反映させた視覚情報が付される。なお、視覚情報としてはこのような色分けに限定されず、前記したように、例えばグリッド画像ごとの明暗や画像に付す枠など種々のものを用いることが可能である。
【００５０】
次に、各グリッド画像に付されている、元の対象画像内における座標情報に基づいて各グリッド画像を配置することで、当該対象画像をバーチャルスライド画像Ｉvの部分画像Ｉpとして再構成する（ステップＳ５０２）。この実施形態では、バーチャルスライド画像の全体を表示させるかその一部分を表示させるかをユーザに選択させる。この選択内容を判断して（ステップＳ５０３）、全体表示が選択されていなければ、上記のようにして得られた部分画像Ｉpを表示部１６０の画面１６１に表示させる（ステップＳ５０６）。
図９（ａ）に示すように、こうして再構成され表示された部分画像Ｉpは、撮像部２０によって撮像されたバーチャルスライド画像の一部が分類器による分類結果に応じて色分けされてマッピングされたものである。したがって、ユーザは先に指定した分類ルールに対応する細胞や組織が対象画像内でどのように分布しているかを一目で把握することができる。
【００５１】
図９（ｂ）に示すように、バーチャルスライド画像Ｉvは複数の部分画像Ｉpから構成されている。そこで、全体表示が選択されている場合には、バーチャルスライド画像Ｉvを構成する各部分画像をそのバーチャルスライド画像Ｉv内の位置を示す座標情報に基づいて配置することで、バーチャルスライド画像Ｉvを再構成する（ステップＳ５０４）。そして、再構成されたバーチャルスライド画像Ｉvの全体が画面１６１に収まるように縮小画像データを作成して（ステップＳ５０５）、該画像データに対応する画像を表示する（ステップＳ５０６）。こうすることで、図９（ｃ）に示すように、表示部１６０の画面１６１にはバーチャルスライド画像Ｉvの全体が表示される。
【００５２】
このとき、バーチャルスライド画像Ｉvを構成する各グリッド画像には色分け等によって分類結果が反映されているため、ユーザは先に指定した分類ルールに対応する細胞や組織が、バーチャルスライド内でどのように分布しているかを一目で把握することができる。また、必要に応じて全体画像と部分画像とを切り替えることで、画像の拡大・縮小を行うことができる。また、拡大表示される部分画像を切り替えることで、バーチャルスライド内の位置を変えて観察を行うことができる。
【００５３】
次に、分類結果の集合演算について説明する。上記のように分類結果を反映させた画面表示を行うことによって、ある特徴を有する細胞が検体組織内にどのように分布しているかをユーザが把握することができるが、より精度の高い診断を行うために、複数の条件での分類結果を同時に表示させたい場合もある。例えば、既知のサンプル画像との比較の結果明らかにサンプル画像と共通する特徴を有していると見られる部分と、サンプル画像との直接の類似度は低いがサンプル画像に類似すると判定されたグリッド画像との間に類似性が見られる部分とを一度に見たい、というような場合である。
【００５４】
「発明が解決しようとする課題」の項で述べたように、生体から採取した検体組織においては個体差が大きいため、既存のサンプル画像との画一的な比較だけでは精度の高い診断が難しい。この装置１では、種々の分類結果を合わせて１つの画面に表示させることでより精度の高い診断を支援することが図られている。そのための処理の１つが、以下に説明する集合演算処理である。
【００５５】
図１０は集合演算処理を示すフローチャートである。また、図１１は集合演算処理の概念を示す図である。より詳しくは、図１１（ａ）は集合演算処理の実行中の画面表示の例を示し、図１１（ｂ）は集合演算処理によって得られる画像の例を示す図である。集合演算処理では、図１１（ａ）に示すように、設定用画面として、画面１６１に「演算」、「演算子入力」、「分類結果入力」の各表示項目と、「演算実行」ボタンとが表示される（ステップＳ７０１）。最初に、「分類結果入力」のプルダウンメニューから、先に実行された複数通りの分類結果のうち、どの分類結果を表示に反映させるかをユーザに選択させる（ステップＳ７０２）。選択された分類結果は「演算」欄に入力される（ステップＳ７０３）。また、「演算子入力」欄から演算子が選択されると（ステップＳ７０６）、選択された演算子が「演算」欄に追加入力される（ステップＳ７０７）。演算子は任意の論理演算子を用いることができる。これを適宜繰り返すことにより、演算式が作成される。この間、「演算実行」ボタンが押されると（ステップＳ７０４）、作成された演算式に基づいて集合演算部１１０が分類結果間の集合演算を行う（ステップＳ７０５）。
【００５６】
この集合演算とは、例えばある分類ルールで得られた第１の分類結果と他の分類ルールで得られた第２の分類結果との和集合を取ることで２つの分類ルールの少なくとも一方に該当する部分を抽出する、といった演算である。この場合、例えば図１１（ｂ）に示すように、第１の分類結果に該当するグリッド画像と、第２の分類結果に該当するグリッド画像とがそれぞれ他のグリッド画像と異なる色分けを施されて互いに重ね合わせられた画像が演算結果として得られる。分類結果ごとに異なる色分けをすれば、複数の分類結果を個別に反映させることができ、結果の視認性がより向上する。集合演算の結果は表示処理部１１１に送られ、表示処理によって表示部１６０の画面１６１に表示される。
【００５７】
このようなグリッド画像単位の集合演算をバーチャルスライド画像Ｉvの全体について行い表示をすることで、この実施形態では、複数の分類結果を同じ画面に表示させることができる。また、必要に応じてバーチャルスライド全体や部分を拡大・縮小して表示させることができる。このため、ユーザは、検体組織の中で各種の特徴を有する部分がどのように分布しているのかを一目で把握することができる。
【００５８】
以上のように、この実施形態では、検体組織を撮像してなるバーチャルスライド画像を複数のグリッド画像に分割し、各グリッド画像の有する特徴量に基づいて分類器による分類を行う。そして、分類結果を反映する視覚情報を各グリッド画像に付して検体組織の画像を再構成し表示する。また、分類器による分類としては、既存のサンプル画像を基準画像とするものと、対象画像内から選択したグリッド画像を基準画像とするものとを併用している。また、複数の分類結果を集合演算して表示する機能を有している。これらの機能により、少ない作業量で的確な診断を効率よく行うことが可能となり、診断医の負担が大きく軽減される。
【００５９】
以上説明したように、この実施形態においては、撮像部２０が本発明の「画像取得手段」として機能する一方、ホストコンピュータ１０、特にプロセッサ部１００が本発明の「処理手段」として機能している。また、この実施形態においては、表示部１６０が本発明の「表示手段」として機能しており、入力部１５０が本発明の「入力手段」および「選択手段」として機能している。また、この実施形態においては、サンプル画像基準分類器１０７および対象画像基準分類器１０８がそれぞれ本発明の「第１の分類器」および「第２の分類器」として機能している。また、この実施形態では、バーチャルスライド画像Ｉvが本発明の「原画像」に相当している。
【００６０】
また、上記実施形態の病理診断支援処理（図３）では、ステップＳ１０１が本発明の「画像取得工程」に相当しており、ステップＳ１０２〜Ｓ１１４が本発明の「処理工程」に相当している。さらに、ステップＳ１１５が本発明の「表示工程」に相当している。
【００６１】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、ＣＣＤカメラ２０１および顕微鏡２０２を有する撮像部２０を「画像取得手段」として備えているが、撮像部は必須ではない。前記したように電気通信回線３０からインターフェース１８０を介して、あるいは外部記録媒体から適宜のインターフェースを介して原画像を受け取ることも可能であり、その場合にはこれらのインターフェースが「画像取得手段」として機能することになる。また、この意味において、本発明の制御プログラムにおいては「画像を取得するための工程」は必須ではない。
【００６２】
また、上記実施形態では、既存のサンプル画像を基準画像とするサンプル画像基準分類器１０７と、対象画像内から選択されたグリッド画像を基準画像とする対象画像基準分類器１０８とを設けているが、常にこれらの両方が必要というわけではなく、いずれか一方のみでも利便性に優れた病理診断支援装置を構成することが可能である。
【００６３】
また、上記実施形態では対象画像内からユーザが任意のグリッド画像を基準画像として選択可能となっているが、さらに、既存のサンプル画像についても、複数の画像からユーザが基準画像を選択することができるようにしてもよい。また、上記実施形態ではユーザにより選択されたグリッド画像を基準画像として対象画像基準分類器１０８が分類作業を行うが、例えばサンプル画像に基づく分類によってサンプル画像に類似すると判定されたグリッド画像を自動的に対象画像内の基準画像として対象画像基準分類器１０８を動作させることで、サンプル画像に基づく分類と対象画像内のグリッド画像に基づく分類とを一連の処理として自動的に行うようにしてもよい。
【００６４】
また、この実施形態では、光学ディスクＯＤに記録された制御プログラムをホストコンピュータ１０が実行することで各機能ブロックによる処理が実現されているが、制御プログラムを記録する記録媒体は光学ディスクに限定されるものではなく、前記したとおり他の任意の記録媒体を用いることができる。また、この制御プログラムは電気通信回線３０を通じて頒布されるものであってもよい。
【００６５】
また、上記実施形態の病理診断支援装置１は汎用のホストコンピュータ１０と撮像部２０とを組み合わせて構成されているが、撮像部と専用端末とを組み合わせて病理診断支援装置を構成するようにしてもよい。また、既存のバーチャルスライド作成装置に本発明にかかる制御プログラムを組み込むことで、バーチャルスライド作成装置を病理診断支援装置として機能させるようにしてもよい。
【００６６】
また、例えば、分類の結果や集合演算の結果については表示部１６０に表示させるのに代えて、あるいはそれに加えて、電気通信回線３０を通じて外部に配信したり、外部記録媒体に記録することができるようにしてもよい。
【産業上の利用可能性】
【００６７】
この発明は、医師による各種の病理診断をコンピュータシステム等によって支援する技術分野に好適に適用することができる。
【符号の説明】
【００６８】
２０  撮像部（画像取得手段）
１００  プロセッサ部（処理手段）
１０７  サンプル画像基準分類器（第１の分類器）
１０８  対象画像基準分類器（第２の分類器）
１５０  入力部（入力手段、選択手段）
１６０  表示部（表示手段）
Ｉg  グリッド画像
Ｉp  部分画像（対象画像）
Ｉv  バーチャルスライド画像（原画像）
【図１】
2011215680.tif 000003
【図２】
2011215680.tif 000004
【図３】
2011215680.tif 000005
【図４】
2011215680.tif 000006
【図５】
2011215680.tif 000007
【図６】
2011215680.tif 000008
【図７】
2011215680.tif 000009
【図８】
2011215680.tif 000010
【図９】
2011215680.tif 000011
【図１０】
2011215680.tif 000012
【図１１】
2011215680.tif 000013