(57)【要約】【課題】  観察作業に適した表示レイアウトで表示を行うことができない場合があり、画像観察作業の効率が低下してしまう可能性があった。【解決手段】  描画データ生成装置は、細胞を含む試料を撮像して得られた画像の情報を入力する画像入力手段と、複数のレイアウトを保持するレイアウト保持手段と、前記画像を表示装置に表示する際の表示レイアウトを前記複数のレイアウトの中から決定する表示レイアウト決定手段と、前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成手段と、を有する。前記複数のレイアウトは、組織構造を保持した状態の前記試料を撮像した画像を観察するための第一のレイアウトと、組織構造を保持しない状態の前記試料を撮像した画像を観察するための第二のレイアウトと、を含む。【選択図】  図６
2013190787.tif 000002
【特許請求の範囲】
【請求項１】
細胞を含む試料を撮像して得られた画像の情報を入力する画像入力手段と、
複数のレイアウトを保持するレイアウト保持手段と、
前記画像を表示装置に表示する際の表示レイアウトを前記複数のレイアウトの中から決定する表示レイアウト決定手段と、
前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成手段と、を有し、
前記複数のレイアウトは、組織構造を保持した状態の前記試料を撮像した画像を観察するための第一のレイアウトと、組織構造を保持しない状態の前記試料を撮像した画像を観察するための第二のレイアウトと、を含む
ことを特徴とする描画データ生成装置。
【請求項２】
前記表示レイアウト決定手段は、表示モードに応じて、前記複数のレイアウトの中から前記表示レイアウトを決定する
ことを特徴とする請求項１に記載の描画データ生成装置。
【請求項３】
前記表示モードを入力する表示モード入力手段を有し、
前記表示レイアウト決定手段は、前記表示モード入力手段に入力された前記表示モードに基づいて前記表示レイアウトを決定する
ことを特徴とする請求項２に記載の描画データ生成装置。
【請求項４】
前記画像の関連情報を入力する関連情報入力手段と、前記表示モードを決定する表示モード決定手段と、を有し、
前記表示モード決定手段は、前記関連情報に基づいて前記表示モードを決定する
ことを特徴とする請求項２に記載の描画データ生成装置。
【請求項５】
前記第一及び第二のレイアウトのそれぞれは、第一の画像表示領域と前記第一の画像表示領域よりも表示倍率が低い第二の画像表示領域とを有する
ことを特徴とする請求項１〜４のいずれか１項に記載の描画データ生成装置。
【請求項６】
前記第一のレイアウトおける前記第二の画像表示領域の面積は、前記第二のレイアウトにおける前記第二の画像表示領域の面積よりも広い
ことを特徴とする請求項５に記載の描画データ生成装置。
【請求項７】
前記第二のレイアウトでは、第一の画像表示領域に表示されている前記画像の撮像面に垂直な方向に関して複数の位置で撮像された画像を選択的に表示可能である
ことを特徴とする請求項１〜６のいずれか１項に記載の描画データ生成装置。
【請求項８】
前記第二のレイアウトは、前記複数の位置で撮像された画像の中から前記第一の画像表示領域に表示されている画像の位置を表示するための垂直方向位置表示領域を有する
ことを特徴とする請求項７に記載の描画データ生成装置。
【請求項９】
前記第一及び第二のレイアウトは、それぞれ画像観察作業を支援するためのツールを選択するツール選択領域を有し、
前記表示レイアウト決定手段は、前記表示モードに応じて前記ツール選択領域に表示されるツールを決定する
ことを特徴とする請求項２〜４のいずれか１項に記載の描画データ生成装置。
【請求項１０】
前記第一及び第二のレイアウトは、画像表示に関する情報を表示する表示情報表示領域を有し、
前記表示レイアウト決定手段は、前記表示モードに応じて前記表示情報表示領域に表示する情報を決定する
ことを特徴とする請求項２〜４のいずれか１項に記載の描画データ生成装置。
【請求項１１】
細胞を含む試料を撮像して得られた画像の情報を入力する画像入力工程と、
前記画像を表示装置に表示する際の表示レイアウトを複数のレイアウトの中から決定する表示レイアウト決定工程と、
前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成工程と、を有し、
前記複数のレイアウトは、組織構造を保持した状態の前記試料を撮像した画像を観察するための第一のレイアウトと組織構造を保持しない状態の前記試料を撮像した画像を観察するための第二のレイアウトとを含む
ことを特徴とする描画データ生成方法。
【請求項１２】
請求項１１に記載の描画データ生成方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
描画データ生成装置と表示装置とを有する描画データ生成システムであって、
細胞を含む試料を撮像して得られた画像の情報を入力する画像入力手段と、
複数のレイアウトを保持するレイアウト保持手段と、
前記画像を前記表示装置に表示する際の表示レイアウトを前記複数のレイアウトの中から決定する表示レイアウト決定手段と、
前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成手段と、を有し、
前記複数のレイアウトは、組織構造を保持した状態の前記試料を撮像した画像を観察するための第一のレイアウトと、組織構造を保持しない状態の前記試料を撮像した画像を観察するための第二のレイアウトと、を含む
ことを特徴とする描画データ生成システム。
【請求項１４】
細胞を含む試料を撮像して得られた画像の情報を入力する画像入力手段と、
前記画像の関連情報を入力する関連情報入力手段と、
複数のレイアウトを保持するレイアウト保持手段と、
前記画像を表示装置に表示する際の表示レイアウトを前記複数のレイアウトの中から決定する表示レイアウト決定手段と、
前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成手段と、を有し、
前記表示レイアウト決定手段は、前記関連情報に基づいて前記複数のレイアウトの中から前記表示レイアウトを決定し、
前記関連情報は、試料の使用目的の情報、試料の使用目的を推認させる情報、プレパラートの厚さまたは試料の厚さの情報、画像平面に対して垂直な方向の画像数の情報、プレパラート上の又は試料上の撮像面積の情報、画像の解像度の情報、画像の画素数の情報のうちの少なくとも一つであることを特徴とする描画データ生成装置。
【請求項１５】
細胞を含む試料を撮像して得られた画像の情報を入力する画像入力工程と、
前記画像の関連情報を入力する関連情報入力工程と、
前記画像を表示装置に表示する際の表示レイアウトを複数のレイアウトの中から決定する表示レイアウト決定工程と、
前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成工程と、を有し、
前記表示レイアウト決定工程は、前記関連情報に基づいて前記複数のレイアウトの中から前記表示レイアウトを決定し、
前記関連情報は、試料の使用目的の情報、試料の使用目的を推認させる情報、プレパラートの厚さまたは試料の厚さの情報、画像平面に対して垂直な方向の画像数の情報、プレパラート上の又は試料上の撮像面積の情報、画像の解像度の情報、画像の画素数の情報のうちの少なくとも一つであることを特徴とする描画データ生成方法。
【請求項１６】
請求項１５に記載の描画データ生成方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
描画データ生成装置と表示装置とを有する描画データ生成システムであって、
細胞を含む試料を撮像して得られた画像の情報を入力する画像入力手段と、
前記画像の関連情報を入力する関連情報入力手段と、
複数のレイアウトを保持するレイアウト保持手段と、
前記画像を表示装置に表示する際の表示レイアウトを前記複数のレイアウトの中から決定する表示レイアウト決定手段と、
前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成手段と、を有し、
前記表示レイアウト決定手段は、前記関連情報に基づいて前記複数のレイアウトの中から前記表示レイアウトを決定し、
前記関連情報は、試料の使用目的の情報、試料の使用目的を推認させる情報、プレパラートの厚さまたは試料の厚さの情報、画像平面に対して垂直な方向の画像数の情報、プレパラート上の又は試料上の撮像面積の情報、画像の解像度の情報、画像の画素数の情報のうちの少なくとも一つであることを特徴とする描画データ生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞を含む試料を撮像して得られた複数の画像を観察するための描画データを生成する描画データ生成装置、描画データ生成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から画像を表示する際の表示レイアウトを切り替えることが行われている（特許文献１）。特許文献１では、撮像した画像を表示させる際に表示領域中における表示位置の指定を行い、指定された表示位置に応じて表示レイアウトを変更する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００７／１４１９９５号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、ユーザーにより指定された画像の表示位置に応じてレイアウトを決定する方法が開示されている。しかし、特に医用画像などでは様々な種類の画像を観察する場合があり、画像の内容や観察目的によって画像表示を行う際に適したレイアウトが異なる場合がある。このような場合に、画像の表示位置の指定のみによりレイアウトを決定しようとしても、観察作業に適した表示レイアウトで表示を行うことができない場合があり、画像観察作業の効率が低下してしまう可能性がある。
【課題を解決するための手段】
【０００５】
その課題を解決するために、本発明の一側面としての描画データ生成装置は、細胞を含む試料を撮像して得られた画像の情報を入力する画像入力手段と、複数のレイアウトを保持するレイアウト保持手段と、前記画像を表示装置に表示する際の表示レイアウトを前記複数のレイアウトの中から決定する表示レイアウト決定手段と、前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成手段と、を有し、前記複数のレイアウトは、組織構造を保持した状態の前記試料を撮像した画像を観察するための第一のレイアウトと、組織構造を保持しない状態の前記試料を撮像した画像を観察するための第二のレイアウトと、を含むことを特徴とする。
【０００６】
また、本発明の他の側面としての描画データ生成装置は、細胞を含む試料を撮像して得られた画像の情報を入力する画像入力手段と、前記画像の関連情報を入力する関連情報入力手段と、複数のレイアウトを保持するレイアウト保持手段と、前記画像を表示装置に表示する際の表示レイアウトを前記複数のレイアウトの中から決定する表示レイアウト決定手段と、前記画像の情報及び前記表示レイアウトに基づいて前記表示装置に表示するための描画データを生成する描画データ生成手段と、を有し、前記表示レイアウト決定手段は、前記関連情報に基づいて前記複数のレイアウトの中から前記表示レイアウトを決定し、前記関連情報は、試料の使用目的の情報、試料の使用目的を推認させる情報、プレパラートの厚さまたは試料の厚さの情報、画像平面に対して垂直な方向の画像数の情報、プレパラート上の又は試料上の撮像面積の情報、画像の解像度の情報、画像の画素数の情報のうちの少なくとも一つであることを特徴とする。
【０００７】
本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
【発明の効果】
【０００８】
本発明の一側面としての描画データ生成装置によれば、画像を作成した被写体、或いは、画像観察目的に応じてレイアウトを決定することが可能となる。その結果、画像観察作業に適したレイアウトで画像の表示を行うことが可能となり、画像観察作業の効率を上げることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る装置構成図
【図２】本発明に係る表示レイアウト切り替えを行うコンピュータの構成図
【図３】本発明に係る撮像対象のプレパラートの例
【図４】本発明に係る撮像対象のプレパラートの例
【図５】本発明の実施例１における表示レイアウト切り替え方法の機能ブロック図
【図６】本発明の実施例１における表示レイアウト切り替え方法の動作の流れを示すフローチャート
【図７】本発明の実施例１における表示レイアウト例を示す図
【図８】本発明の実施例２における表示レイアウト切り替え方法の機能ブロック図
【図９】本発明の実施例２における表示レイアウト切り替え方法の動作の流れを示すフローチャート
【図１０】本発明の実施例３における表示レイアウト例を示す図
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、実施形態は被写体を撮像した画像の表示を行う際に、ユーザーによる表示モードの選択、或いは、表示画像の関連情報に基づいて、表示レイアウトを決定するものである。また、実施形態において画像を取得する撮像装置の具体的な適用例として、高解像度で静止画の撮像を行う顕微鏡等を想定し、以後の説明を行う。
【実施例１】
【００１１】
図１は本実施形態における装置構成を示している。図１中、１００は静止画の撮像が可能な顕微鏡装置を示している。１０１は被写体となる試料が載せられたプレパラートであり、本実施例の説明において試料は透過物体であるものとして説明する。１０２はプレパラート１０１を載せるためのステージであり、撮像時に使う対物レンズ１０４の光軸方向に垂直な平面における位置の移動を行うことが可能である。また、ステージ１０２は撮像時に使う対物レンズ１０４の光軸方向に対しても移動可能であり、被写体の厚さ方向に対する位置（焦点位置）を変更することが可能である。１０３は光源、１０４は対物レンズであり、光源１０３からの光はプレパラート１０１を透過して対物レンズ１０４に入射する。１０５は撮像部であり、対物レンズ１０４が形成した被写体の像を撮像する。１０６はコントローラであり、ステージ１０２、光源１０３、撮像部１０５等の動作制御を行う。なお、対物レンズ１０４は複数のレンズを切り替えられるようになっている、或いは、ズーム機構を備えているものであっても良い。この場合、レンズの切り替え、或いはズーム機能の制御はコントローラ１０６が行うようにすると良い。１０７は顕微鏡装置１００に動作指示を送信するとともに、撮像された画像データを受信するための端末である。なお、コントローラ１０６の機能が端末１０７により実現されるような構成でも良い。
【００１２】
１０８は操作者に対して顕微鏡装置１００の動作指示を指定するための画面、及び、撮像された画像情報の表示を行うディスプレイである。１０９は操作者の操作指示を入力するためのキーボードである。１１０は操作者の操作指示を入力するためのマウスである。１１１はネットワークを介して端末１０７と接続されたサーバーであり、顕微鏡装置１００で撮像された画像データを記録する。なお、サーバー１１１は顕微鏡装置１００とネットワークを介して直接接続されていて、撮像された画像データが直接サーバー１１１に記録されるようにしても良い。
【００１３】
本実施形態の画像表示方法は、描画データ生成装置としての端末１０７により実行され、表示装置としてのディスプレイ１０８により表示されるものである。しかし、顕微鏡装置１００が上述の構成に加えてディスプレイ及びボタン等の操作指示入力手段を有する構成にし、端末１０７の機能をコントローラ１０６に組み込み、本実施形態の画像表示方法をコントローラ１０６により実現しても良い。なお、本明細書では、描画データ生成装置と表示装置とで構成されるシステムを描画データ生成システムと呼ぶ。
【００１４】
図２は、本実施形態の画像表示方法を実行する端末（コンピュータ）１０７の内部構成、及び、外部機器との関係を示している。２００はＣＰＵであり、処理に必要な演算を行う。２０１はプログラムやデータを記憶するＲＯＭであり、記憶されているプログラムやデータを読み出すことが可能である。２０２はＲＡＭであり、プログラムや処理に必要なデータの書き込み、或いは、読み出しが可能である。２０３はプログラムや画像データなどの書き込み、或いは、読み出しが可能なストレージであり、ＨＤＤやＳＳＤなどから構成される。２０４はグラフィックボードであり、画面表示を行う際に使用する描画データの生成を行う。２０５はインターフェースであり、端末１０７が外部機器である顕微鏡装置１００との通信を行う際にデータの送受信を行う。２０６はＬＡＮインターフェースであり、端末１０７がネットワークと接続するサーバー１１１との通信を行う際にデータの送受信を行う。インターフェース２０５又はＬＡＮインターフェース２０６は画像情報入力手段に相当する。
【００１５】
以下に説明する実施例は、ＣＰＵ２００によって実行されるプログラムにより実現されるものとする。
【００１６】
次に、図３及び図４を用いて本実施形態の撮像対象であるプレパラート１０１の例を説明する。なお、図３及び図４を用いて行う以下の説明では、本実施形態に関係するプレパラート作成工程のみ説明するものとし、その他は省略する。
【００１７】
図３は、本実施形態の撮像対象であるプレパラート１０１の一例を示しており、病理診断時において使用される組織細胞の診断（以下、組織診と呼ぶ）向けのプレパラートの作成例である。組織診用のプレパラートでは、検体の組織的な構造、及び個々の細胞の形態を観察する目的で作成される。
【００１８】
３００はパラフィンブロックであり、手術で切り出した検体３０１を薄切するためにパラフィン３０２で埋包したものである。通常、病理診断向けのプレパラート作成時には、スライドガラスに載せる試料は細胞１つの厚さに対して十分薄く切断される。そのため、連続的に薄切した試料はほぼ同じ細胞に対する断面とみなすことが可能である。３０６〜３０８は、パラフィンブロック３００における連続的な切断位置３０３〜３０５においてそれぞれ薄切した結果の試料である。３０９〜３１１はそれぞれ３０６〜３０８からパラフィンを除去し、スライドガラス上に載せて異なる染色、或いは蛍光剤の付与を行った後に、カバーガラスを載せてプレパラートを作成した結果である。そして、各プレパラートの試料に対して拡大、縮小させた像を観察することにより、診断に有用な様々な情報を得ることが可能となる。更に、３０９〜３１１に示したように、ほぼ同じ細胞の様子を異なる染色結果や蛍光を用いて比較観察することにより、診断に有用な異なる複数の情報を得ることが可能となる。以上のように、１つのプレパラート内における様々な位置で、試料を拡大、縮小させた結果の比較観察や、異なる作成方法で作成されたプレパラート間の比較観察は、病理診断時において有用な情報を得るために重要である。
【００１９】
図４は、本実施形態の撮像対象であるプレパラート１０１の他の例を示しており、病理診断時において使用される剥離細胞の診断（以下、細胞診と呼ぶ）向けのプレパラートの作成例である。細胞診用のプレパラートでは、検体の組織的な構造を観察することはできないが、組織表面からこすりとった細胞や、体液中に浮遊している個々の細胞の形態を観察する目的で作成される。４００はスライドガラスである。４０１は綿棒やへら等の細胞採取用の道具であり、細胞を採取したい部位の表面を擦過することにより組織表面の細胞を採取する。そして、細胞を含む試料４０２が付着した道具４０１をスライドガラス４００に押し付けて移動させながら細胞を含む試料４０２を塗布した後に染色することにより、プレパラート４０３を作成する。細胞診用のプレパラートの作成方法は数種類あり、他の代表的な方法を以下に説明する。４０４はスライドガラスであり、喀痰などの粘性のある液体状の試料４０５をスライドガラス上に塗布する。そして、他のスライドガラス４０６を用いて試料４０５を均一に広げた後に染色を行うことにより、プレパラート４０７を作成する。
【００２０】
以上、図３及び図４を用いて撮像、及び観察対象となるプレパラート１０１の主要な例を示した。ここで、図３を用いて説明した組織診用のプレパラートでは、検体の臓器の組織構造を保持した状態で作成される。そして、個々の細胞の形状を観察するだけでなく、癌が存在する組織的な位置の観察や、癌の浸潤度合い等のように広範囲を観察することも行われる。一方、図４を用いて説明した細胞診用のプレパラートでは、試料中の細胞は数個〜数十個程度の塊が広範囲に散らばってスライドガラス上に塗布されることになる。そのため、臓器を構成していた際の組織構造を保持してはおらず、図３において説明した組織診断用のプレパラートとは異なり、組織構造を見ることは困難である。つまり、細胞診用のプレパラートを観察する場合、全体を眺めることの重要性は低く、注目する細胞のプレパラート上の位置の確認が主目的となる。更に、細胞診用のプレパラートの場合、採取した細胞をスライドガラス上にそのまま塗布しているため、薄切して作成される組織診用のプレパラート中の細胞に比べて厚みがあり、更に採取された細胞同士が重なっている場合もある。ここで、一般的な顕微鏡の対物レンズは被写界深度が非常に浅く、奥行き方向に対して焦点の合う範囲が狭いため、細胞診においては１つの細胞の塊を観察する場合においても、焦点位置を変化させながら観察する必要が生じる場合がある。
【００２１】
以上説明したように、特に病理診断用のプレパラートでは、用途に応じて作成方法も、観察方法も大きく異なる。本実施形態は、用途に応じて画面レイアウトを変更させることにより、上述の観察作業を容易にすることを目的とする。
【００２２】
図５は本実施例における画像表示方法の機能ブロック図である。５００は表示モードを入力する入力端子である。５０１は表示レイアウト決定手段としてのレイアウト決定部であり、表示モード入力端子５００から入力された表示モード情報に基づいて、レイアウト保持部５０２に予め保持されているレイアウト（情報）の中から画面上に表示する際のレイアウト（情報）を決定する。５０３は表示に関する操作指示を入力する操作指示入力端子であり、キーボード１０９或いはマウス１１０等を用いてユーザーによって指定された表示位置の変更指示や表示倍率の変更指示等の画像表示に関する操作指示が入力される。５０４は画像入力端子であり、表示するための画像データが入力される。５０５は描画データ生成部であり、操作指示入力端子５０３から入力された操作指示、及びレイアウト決定部５０１において決定されたレイアウトに基づいて、画像表示を行うための描画データを生成する。５０６は画像表示部であり、描画データ生成部５０５において生成された描画データを表示する。
【００２３】
図６は本実施例における画像表示方法の動作フローを示すフローチャートである。処理が開始されるとまず、ステップ６００において初期表示モードの取得が行われる。ステップ６００では更に、画像表示を行うための初期表示倍率や初期表示位置などの初期表示パラメータの取得も行われる。そして、ステップ６０１において初期表示画像データの取得が行われる。なお、初期表示モード、初期表示パラメータ、及び、初期表示画像データは予め決定されているか、或いは、初期表示前にユーザーが選択するようにすると良い。次に、ステップ６０２では、ステップ６００で取得した表示モードに基づいて予め保持されているレイアウトの中から表示レイアウトの決定が行われる。ステップ６０３では、ステップ６０２で決定された表示レイアウト、及びＳ６００で取得した表示パラメータに基づいて、ステップ６０１で取得された画像データをディスプレイ１０８に表示するための描画データの生成を行う。そして、Ｓ６０４においてＳ６０３で生成された描画データを用いて表示を行う。
【００２４】
次に、Ｓ６０５において、ユーザーからの操作指示が入力されたか否かの判定が行われ、入力が行われていなければ、繰り返し操作指示が入力されるのを待つ。そして、操作指示が入力されると処理はＳ６０６に移行し、操作指示内容が画像表示内容の変更指示であったか否かの判定が行われる。なお、画像表示内容としては例えば、表示倍率の変更、表示位置の移動が代表的な例であるが、注目領域の指定やコントラスト変更など画像の表示内容を変更する指示であればどのようなものでも良い。Ｓ６０６において操作指示内容が画像表示内容の変更指示であった場合、Ｓ６０７において指示内容から表示パラメータを取得する。そして、Ｓ６０３に移行して、Ｓ６０７で取得した表示パラメータに基づいて、表示用描画データの生成を行う。一方、Ｓ６０６で操作指示内容が画像表示内容の変更指示ではないと判断されると処理はＳ６０８に移行し、操作指示内容が表示画像の変更指示であったか否かの判定を行う。Ｓ６０８において操作指示内容が表示画像の変更指示であった場合、処理はＳ６０９に移行して指示内容に基づいて表示画像データの取得を行った後に、Ｓ６０３に戻り表示用描画データの生成を行う。一方、Ｓ６０８において操作指示内容が表示画像の変更指示でなかった場合、処理はＳ６１０に移行し操作指示内容が表示モードの変更指示であったか否かが判定される。Ｓ６１０において操作指示が表示モードの変更指示であった場合、Ｓ６１１において指示内容から表示モードの取得を行う。そして、Ｓ６０２に移行し、Ｓ６１１で取得した表示モードに基づいて表示レイアウトの決定を行う。一方、Ｓ６１０において操作指示が表示モードの変更指示でなかった場合、処理はＳ６１２に移行し、操作指示内容が終了指示であったか否かが判定される。Ｓ６１２において操作指示内容が終了指示であった場合は処理を終了させ、逆に、終了指示では無かった場合にはＳ６０５に移行して再び操作指示の入力を待つ。
【００２５】
なお、図６においては本実施形態に必要な操作指示内容のみが記載されているが、その他の操作指示を含むようにしても良い。その場合には、Ｓ６１２において操作指示が終了指示以外であった場合に、対応する処理を追加するようにすると良い。
【００２６】
次に、本実施形態の特徴である、表示レイアウトについて図７を用いて説明する。図７（ａ）は上述した組織診用のプレパラートを撮像した画像を表示するための好適な第一のレイアウトの例を示している。また、図７（ｂ）は上述した細胞診用のプレパラートを撮像した画像を表示するための好適な第二のレイアウトの例を示している。図７（ａ）、（ｂ）の決定は、図６のＳ６０２で行われるものであり、ユーザーにより指定された表示モードに応じて切り替えられる。
【００２７】
図７（ａ）において、７００はディスプレイ１０８に表示されるアプリケーションウィンドウである。７０１は第一の画像表示領域であり、ユーザーによって指定された画像を表示する領域である。７０２は第二の画像表示領域であり、第一の画像表示領域７０１に表示されている画像と同じ画像が異なる表示倍率で表示されており、図７（ａ）の例では７０２に比べ７０１の表示領域の表示倍率が高くなっている。図３、及び、図４を用いて説明したように、組織診用のプレパラートの観察では、個々の細胞を観察することとともに、組織構造を観察することも重要である。個々の細胞の観察と組織構造の観察では表示する際の倍率が異なるため、比較観察を行うためには図７（ａ）の７０１、及び、７０２のように異なる表示倍率で並列に表示することで診断作業時の画像観察作業を効率的に行うことが可能となる。７０３は画像観察時の作業を支援するためのツールを選択するツール選択領域である。７０４は、表示画像中における７０１、及び、７０２の表示位置が撮像した画像平面（以下、ｘ、ｙ座標で表現する）内のどの位置にあたるかを、ｘ、ｙ座標値で表示する、表示情報表示領域である。なお、表示情報表示領域７０４には表示位置のみならず、画像の表示倍率を表示するようにしても良い。また、ツール選択領域７０３で選択されたツールを用いて行われた作業内容等、表示位置以外の情報を表示するようにしても良い。
【００２８】
次に、図７（ｂ）を用いて、細胞診用のプレパラートを撮像した画像を表示する際の表示レイアウトについて説明する。７０５は第一の画像表示領域であり、ユーザーによって指定された画像を表示する領域である。７０６は観察中のプレパラート画像の全体像を表示するプレパラート表示領域である。７０７は画像平面（撮像面）に対して垂直な方向（以下、ｚ座標で表現する）に異なるｚ位置で撮像された画像平面の様子を示す、ｚ位置表示領域（垂直方向位置表示領域）である。ｚ位置表示領域７０７では、単にｚ位置を表示するのみならず、例えば各ｚ位置の画像における細胞に焦点のあっている範囲（例えば、コントラストの高い位置、画像のエッジ成分が急峻な位置等により判断）を表示するなどしても良い。
【００２９】
７０８は図７（ａ）における７０３と同様に画像観察時の作業を支援するためのツールを選択するツール選択領域である。また、７０９は７０４と同様に画像表示に関する情報を表示するための表示情報表示領域である。
【００３０】
図３、及び、図４を用いて説明したように、細胞診用のプレパラートにおいては個々の細胞はある程度の数の塊として、組織構造を持たない状態でプレパラート上に散らばっている。そのため、画像表示領域７０５に示すように個々の細胞のみを観察することに重点が置かれる一方、７０２に示すような表示倍率の異なる画像を用いた観察の必要性は低い。一方、注目すべき細胞のｘ、ｙ位置は、組織構造が失われている細胞診用のプレパラートの場合、プレパラート上の位置で表現する以外には困難である。そこで、異なる表示倍率で表示を行うための表示領域７０２の代わりに、注目すべき細胞の位置を特定する目的でプレパラート画像の全体像を表示するための領域７０６を設けると良い。更に、細胞診用のプレパラートでは細胞が薄切されていないために細胞に厚みがあり、更に細胞の塊の中でｚ位置方向に重なり合っている場合がある。上述したように一般的な顕微鏡では被写界深度が非常に浅いため、一つの細胞の塊に含まれる複数の細胞を観察する場合においては特定のｚ位置で撮像された画像のみでは焦点が合わずに観察ができない場合がある。つまり、操作指示を行ってｘ、ｙ位置を合わせただけでは、所望の細胞を表示させることができない恐れがある。そこで、ｚ位置表示領域７０７を設けることにより、画像表示領域７０５に表示されている画像の、プレパラート上のｘ、ｙ位置におけるｚ位置を把握することが可能となり、所望の細胞の表示位置を把握することが可能となる。なお、図７（ａ）においては、第二の画像表示領域７０２は画像の観察を行う目的があるため、ある程度、面積の広い表示領域が必要となる。一方、図７（ｂ）においてはプレパラート表示領域７０６、及び、ｚ位置表示領域７０７は位置を特定することが主目的であるため、位置を確認することができるだけの大きさの表示領域があればよい。そこで、プレパラート表示領域７０６、及び、ｚ位置表示領域７０７は、第二の画像表示領域７０２に比べて狭い表示領域にすると良い。また、レイアウト切り替えを行う場合には、第二の画像表示領域７０２を表示していた範囲内のレイアウトを変更して、プレパラート表示領域７０６、及び、ｚ位置表示領域７０７の表示を行うようにすると良い。なお、図７（ａ）に示す第二の画像表示領域７０２の表示範囲と、図７（ｂ）に示すプレパラート表示領域７０６、及び、ｚ位置表示領域７０７の表示の表示範囲は完全に一致している必要はなく、レイアウト変更時に位置がずれても良いことは言うまでもない。また、図７の例では第一の表示領域７０１、或いは、７０５はアプリケーションウィンドウ７００の左側である。一方、第二の画像表示領域７０２、及び、プレパラート表示領域７０６、及び、ｚ位置表示領域７０７はアプリケーションウィンドウ７００の右側であるが、ウィンドウ内における各表示領域の表示位置はこれに限定されるものではない。更には、第一の表示領域７０５の表示位置をレイアウト変更後に切り替えても良く、プレパラート表示領域７０６、及び、ｚ位置表示領域７０７の大きさやアスペクト比を考慮した上でレイアウトが決定されると良い。
【００３１】
また、ツール選択領域７０３、及び、７０８に対してもレイアウト変更により表示内容を変更させても良い。例えば、組織診用のプレパラート画像を観察する場合には、癌が見つかった場合に表皮からどの程度の距離まで癌細胞が浸潤しているかを測定する必要が生じる場合がある。このような場合には長さを図るメジャーツールがあると非常に便利である。しかし、細胞診用のプレパラート画像を観察する場合には、癌細胞の浸潤距離を図る必要が無くメジャーツールの有効性が低くなる。そのため、組織診用の観察を行う際のレイアウトの場合にのみメジャーツールを表示する等といった切り替えを行うと良い。逆に、細胞診用の観察を行う際にのみ表示するツールも考えられる。例えば、細胞診用のプレパラート上には様々な細胞が分散して存在する。そのため確認すべき細胞の位置が分かりにくく、診断効率を上げるためにプレパラート作成時に確認が必要な細胞の位置を予め油性ペンなどでマーキングしてある場合がある。このようにマーキングされたプレパラートを撮像した画像に対しては、マーキング位置を検出し、マーキング位置近傍を表示するようにすることで診断効率を上げることが可能となる。そこで、細胞診用のレイアウトの場合にはツール選択領域７０８にマーキング位置検出ツールを表示すると良い。なお、マーキング位置検出ツールの処理内容としては、例えば所定サイズよりも大きな予め登録された色の領域をマーキングと判断する等が挙げられるが、他の方法を用いても良い。更には、検出された複数のマーキング位置に囲まれた範囲を優先的に表示するようにするなどを行っても良い。
【００３２】
なお本発明において、ツール選択領域７０３、及び、７０８の表示内容の切り替えは上記に限定されず、各レイアウトの目的に応じて他の様々なツールを切り替えられるようにしても良い。
【００３３】
更に、表示情報表示領域７０４、及び、７０９に対してもレイアウト変更により表示内容を変更させても良い。例えば、上述の説明では組織診用のレイアウトである図７（ａ）の場合、表示情報表示領域７０４には、２つの画像表示領域７０１、及び、７０２の表示位置をｘ、ｙ座標で表示するものとした。一方、細胞診用のレイアウトである図７（ｂ）の場合には、画像表示領域は１つのため、ｘ、ｙ座標は１つ分表示されていれば良い。しかし、細胞診用の観察では上述したようにｚ位置も含めて表示範囲を決定する必要が生じる場合があるため、表示情報表示領域７０９ではｘ、ｙ、ｚの座標を表示するようにすると良い。
【００３４】
以上説明したように、本実施例によると組織診用、或いは、細胞診用のいずれの観察を行うかの表示モードをユーザーが指定することにより表示レイアウトの変更を行うことが可能となる。その結果、組織診、或いは、細胞診のいずれの画像観察を行う場合でも、各作業に適した表示が行われたレイアウトの画面で観察作業を行うことができるため、ユーザーの観察作業効率を高めることが可能となる。
【実施例２】
【００３５】
実施例１においては、ユーザーが指定した表示モードに基づいて表示レイアウトを変更することにより、組織診、或いは、細胞診に適した表示レイアウトで表示を行うことを可能とする例を説明した。本実施例では、表示画像の関連情報に基づいてレイアウトを決定する例を説明する。
【００３６】
図８は本実施例における画像表示方法の機能ブロック図である。以下の説明においては、実施例１のブロック図である図５と同様の項目には同じ符号を付し、説明は省略する。図８において、８００は関連情報を入力する入力手段としての入力端子である。８０１は表示モード決定部であり、関連情報入力端子８００から入力された関連情報に基づいて表示モードを決定する。そして、表示モード決定部８０１で決定された表示モードに基づいてレイアウト決定部５０１は表示レイアウトを決定する。
【００３７】
図９は本実施例における画像表示方法の動作フローを示すフローチャートである。以下の説明においては、実施例１のフローチャートである図６と同様の項目には同じ符号を付し、説明は省略する。また図９においては、図６に示した項目の内、本実施例で不要な項目である、ステップ６０２、ステップ６１０、ステップ６１１は削除されている。
【００３８】
図９中、ステップ６０１で初期表示画像データの取得が行われるか、或いは、ステップ６０９でユーザーの変更指示に基づいて表示画像データの取得が行われると、ステップ９００において表示画像データの関連情報の取得が行われる。なお、関連情報は画像データを含むファイルの中に併せて記録されている、或いは、画像データと関連付けがなされた状態で別ファイルの形式で記録されている等が代表的な例として挙げられる。そして、取得された画像データに関連付けられた関連情報を取得する。次にステップ９０１では、ステップ９００において取得した関連情報に基づいて表示レイアウトの決定が行われる。そして、処理はステップ６０３に移行し、図６で説明した内容と同様に処理が進められる。
【００３９】
なお、関連情報の例としては、例えば画像を撮像した際の被写体を示す情報が挙げられる。例えば、図３及び図４を用いて説明したプレパラートには作成時点で、組織診用、或いは、細胞診用のように使用目的が明確になっている。そのため、プレパラートを撮像して画像データを取得する際に、併せて関連情報としてプレパラートの使用目的（別の側面からとらえれば、プレパラートの作成目的ということも可能である）を記録しておく。そして、上述の実施例のように関連情報として使用目的の情報を用いることで、画像観察時に目的に適したレイアウトで表示を行うことが可能となる。
【００４０】
また、関連情報の例としては上述の使用目的以外にも、使用目的が推測可能な情報であっても構わない。例えば、プレパラート作成工程の情報として、薄切が行われたか、或いは、綿棒を用いて塗布したか、等といったスライドガラスに試料を載せる際の情報が挙げられる。或いは、検体を採取した際の方法として、手術により切り出してきたか、体液を採取したか、擦過により採取したか、等でも良い。更には、プレパラート作成時には目視で確認しやすいように染色が行われるが、染色方法の情報を用いても良い。関連情報としては、その他使用目的が推測可能なあらゆる情報が適用可能である。使用目的が推測可能な情報は、使用目的を推認させる情報と言い換えることもできる。
【００４１】
また、使用目的とは異なる関連情報に基づいてレイアウトを切り替えるようにしても良い。
【００４２】
例えば、プレパラートや検体の厚さに関する情報、或いは、画像平面に対して垂直な方向に位置を変えながら撮像した際の画像数の情報（若しくは、「撮像位置の数」等の画像数と等価な情報）を用いても良い。
【００４３】
このような場合には例えば、プレパラート内の被写体すなわち試料が所定以上の厚さである場合や、所定以上の数の奥行き方向の画像が存在する場合には画像平面に対して垂直な方向の観察を重要視すると判断する。一方、厚さや数が所定未満の場合には、平面方向の観察を重要視するようにレイアウトを切り替える、などのようにすると良い。
【００４４】
画像平面に対して垂直な方向に複数の画像が存在する場合には更に、プレパラート上または試料上の撮像面積、画像の解像度や画素数のような画像の大きさを示す情報をも考慮しても良い。そして、所定以上の大きさの画像であった場合には、平面方向の観察を重要視すると判断する。一方、所定未満の大きさの画像であった場合には、画像平面に対して垂直な方向の観察を重要視すると判断して、レイアウトを切り替えるようにすると良い。
【００４５】
当然のことであるが、関連情報として、複数の情報を用いてもよい。たとえば、ここで用いる関連情報は、試料の使用目的の情報、試料の使用目的を推測させる情報、プレパラートまたは試料の厚さの情報、画像平面に対して垂直な方向の画像数を示す情報、プレパラート上または試料上の撮像面積の情報、画像の解像度の情報、画像の画素数の情報のうちの少なくとも一つを含むものとすることができる。
【００４６】
更には、画像の大きさが所定以上であり、画像平面に対して垂直な方向に複数の画像が存在する場合には、平面方向と共に画像平面に対して垂直な方向の両方の観察を行う可能性がある。そこで、最初に平面方向の観察を重要視すると判断してレイアウトを決定し、その後ユーザーが手動でレイアウトを変更可能なようにしても良い。
【００４７】
以上説明したように、本実施例によると表示させる画像データに関連付けられた関連情報を用いて、画像表示時の画面レイアウトを変更することが可能となる。このようにすることで、ユーザーによる選択を行うことなく各作業に適した表示が行われたレイアウトの画面で観察作業を行うことができるため、ユーザーの観察作業効率を高めることが可能となる。
【実施例３】
【００４８】
上述の実施例１、或いは、実施例２においては、レイアウトの切り替えを行う際に、ユーザーの指定、或いは、表示画像の関連情報を用いてレイアウトを決定する例を示した。
【００４９】
上述の実施例では、図７において第一の画像表示領域７０１、及び、７０５に関する変更については、レイアウト上の位置の変更以外に関しては述べていない。しかし、目的に応じて第一の画像表示領域７０１、及び、７０５の表示方法を切り替えることにより、複数の画像を比較する際においても比較観察が行いやすくなる場合がある。そこで、本実施例では、複数の表示画像を比較しながら観察する際に最適なレイアウトの例を説明する。
【００５０】
組織診においては、同じ試料内に似たような形態の癌細胞が点在していることがあり、同じ試料内の複数の位置の細胞を比較して最終診断を下す場合がある。或いは図３で説明したように、薄切時に隣接切片を用いて異なる染色を行うことで、ほぼ同じ細胞に対して異なる染色を行うことが可能になり、ほぼ同じ細胞に対して異なる染色結果を施した結果を比較することが行われる場合がある。このような場合、第一の画像表示領域７０１を分割し、比較すべき画像を並列に表示させると画像観察作業の効率を上げることが可能となる。図１０（ａ）は組織診向けの画像観察時における比較観察時に好適なレイアウトの例を示している。図１０（ａ）では、第一の画像表示領域７０１の代わりに画像表示領域１０００、及び、１００１が並列に比較しやすい配置で表示を行う。なお、図７（ａ）のレイアウトから図１０（ａ）のレイアウトへの変更は、図７（ａ）の表示状態において第二の表示位置、或いは、表示画像が選択された際に行うと良い。そして、第二の表示位置の選択方法としては例えば、第二の画像表示領域７０２内で異なる位置を選択する方法が挙げられる。或いは、予め第一の画像表示領域７０１で観察を行っているときに注目領域として登録できるようにしておき、該登録された領域を比較領域として選択するなどの方法がある。
【００５１】
一方、細胞診においては、プレパラート内に存在する細胞は、同一組織の細胞である保証はなく様々な組織からはがれ落ちてきた細胞が混在している可能性がある。また、組織診の場合と異なり、同一箇所の細胞の様子を複数の染色を行って観察することも困難である。ここで細胞診においては、前述の通りｘ、ｙ平面内のみならず、ｚ位置がずれるだけでも観察可能な細胞が異なる場合がある。そのため、同一の細胞の塊内に含まれる複数の細胞を観察する場合に、同じｘ、ｙ位置における複数のｚ位置を比較しながら観察できるようにすることにより画像観察作業の効率を挙げることが可能となる。図１０（ｂ）は細胞診向けの画像観察時における比較観察時に好適なレイアウトの例を示している。１００２は画像表示領域であり、第一の画像表示領域７０５内に含まれるユーザーによって指定された領域である。画像表示領域１００２では、第一の画像表示領域７０５内の他の領域とは異なるｚ位置の画像を選択的に表示することが可能である。
【００５２】
なお、図１０（ｂ）において画像表示領域１００２は矩形領域として図示してあるが、本発明はこれに限るものではなく、その他の多角形、楕円形、或いは、ユーザーによる自由選択された領域であっても良い。
【００５３】
更に、ｚ方向にほぼ重なり合っている細胞を比較観察する場合には、比較したい画像領域のｘ、ｙ位置が同じでｚ位置が異なる領域が並列に表示可能である方が望ましい。そこで、図１０（ｂ）の表示状態から、画像表示領域１００２内に表示される画像のｘ、ｙ位置を固定して画像表示領域１００２の位置とは独立させ、画像表示領域１００２の画面上での表示位置を変更可能にしても良い。
【００５４】
図１０（ｂ）のようにすることで、ｚ方向に焦点の合う位置が異なる細胞が含まれるような細胞診の場合に、同一の組織の細胞で構成される塊内に含まれる複数の細胞を比較しながら観察を行うことが容易になる。
【００５５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【００５６】
プレパラート作成時の情報以外の情報を用いてレイアウトを変更する方法もある。例えば、癌は再発の可能性があるため、過去の診断時に作成したプレパラート画像と、現在の診断のために作成したプレパラートの比較を行う場合がある。或いは、他の人から作成された類似症例のプレパラートを比較基準として参照する場合も考えられる。このような場合には、プレパラート作成時に切り出された試料の形状は異なるため、第二画像表示領域７０２に表示すべき画像も複数必要となる。そのため、このような作業目的のための表示モードを有しており、第二画像表示領域７０２を複数表示するようにしても良い。或いは、表示領域の数が増加すると個々の表示領域が狭くなるため、第二画像表示領域７０２は表示しない、或いは、表示／非表示を所望のタイミングで指示可能にするようにしても良い。また、比較基準として画像を表示させる場合には、一時的に第一画像表示領域を追加して表示し、不要になり次第表示を終了することを可能にしても良い。なお、一時的に表示させる領域は移動可能にしても良く、一時的な観察の間には参照しない他の表示領域の上にオーバーラップして表示させることを可能にしておくのも良い。
【００５７】
更に、レイアウト保持部５０２に保持されているレイアウトは、図７、或いは、図１０で挙げたレイアウト例以外に、組織診用、或いは、細胞診用の各レイアウトをユーザーが予め編集できるようにしておいても良い。具体的には、例えば組織診においては試料を採取した臓器によってプレパラートを作成する枚数が異なる、或いは、染色方法などや細胞の比較方法などが異なる場合がある。そのため、比較しやすいように画像表示領域の配置や大きさ、ツール選択領域等の画像表示以外の表示内容や位置をユーザーが予め編集したレイアウトを保存しておき、使用するようにしても良い。
【００５８】
なお、上述の実施例はＣＰＵ２００によって実行されるプログラムにより実現されるものとして説明したが、本発明はこれに限るものではない。例えば、上述の一部、或いは全部をハードウェアにより構成するようにしても良い。
【００５９】
更に、本発明はディスプレイ１０８が接続された端末１０７中で実施されるのみならず、ネットワークに接続された他の端末により描画データの生成を行うようにする。そして、ネットワークを介して送信された描画データがディスプレイ１０８に表示されるような構成であっても良い。つまり、描画データの生成と画像表示が行われるディスプレイが離れた位置にあるようなシステム構成においても適用可能である。
【符号の説明】
【００６０】
１００  顕微鏡装置
１０１  プレパラート
１０２  ステージ
１０３  光源
１０４  対物レンズ
１０５  撮像部
１０６  コントローラ
１０７  端末
１０８  ディスプレイ
１０９  キーボード
１１０  マウス
１１１  サーバー
２００  ＣＰＵ
２０１  ＲＯＭ
２０２  ＲＡＭ
２０３  ストレージ
２０４  グラフィックボード
２０５  Ｉ／Ｆ
２０６  ＬＡＮ  Ｉ／Ｆ
３００  パラフィンブロック
３０１  検体
３０２  パラフィン
３０６〜３０８  試料
３０９〜３１１  プレパラート
４００  スライドガラス
４０１  綿棒
４０２  試料
４０３  プレパラート
４０４  スライドガラス
４０５  試料
４０６  スライドガラス
４０７  プレパラート
【図１】
2013190787.tif 000003
【図２】
2013190787.tif 000004
【図３】
2013190787.tif 000005
【図４】
2013190787.tif 000006
【図５】
2013190787.tif 000007
【図６】
2013190787.tif 000008
【図７】
2013190787.tif 000009
【図８】
2013190787.tif 000010
【図９】
2013190787.tif 000011
【図１０】
2013190787.tif 000012