(57)【特許請求の範囲】
【請求項１】
第１の解像度を有する第１の画像データと、前記第１の画像データから異なる倍率で空間的に圧縮された１以上の第２の画像データがそれぞれ１つの標本に対する階層別の画像データとして保存される画像保存部と、
前記画像保存部から前記第１の解像度を等分割可能な所定の第２の解像度の単位で、指定された階層の画像データを取得し、表示装置に表示させる画像データ取得部と、
ユーザからの指令に応じて、前記表示された画像データの任意の空間位置にアノテーションを設定するアノテーション設定部と、
前記画像保存部から、前記アノテーションが設定された階層より解像度が高い階層の画像データを削除する画像最適化部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記１以上の第２の画像データは、前記第１の画像データから１／２、１／２２  、１／２３  、・・・、１／２Ｎ  の倍率（但し、Ｎは１以上の定数）で空間的に圧縮された画像データである
情報処理装置。
【請求項３】
画像保存部に、第１の解像度を有する第１の画像データと、前記第１の画像データから異なる倍率で空間的に圧縮された１以上の第２の画像データを、それぞれ１つの標本に対する階層別の画像データとして保存し、
画像データ取得部が、前記画像保存部から前記第１の解像度を等分割可能な所定の第２の解像度の単位で、指定された階層の画像データを取得して、表示装置に表示させ、
アノテーション設定部が、ユーザからの指令に応じて、前記表示された画像データの任意の空間位置にアノテーションを設定し、
画像最適化部が、前記画像保存部から、前記アノテーションが設定された階層より解像度が高い階層の画像データを削除する
画像データ最適化方法。
【請求項４】
第１の解像度を有する第１の画像データと、前記第１の画像データから異なる倍率で空間的に圧縮された１以上の第２の画像データがそれぞれ１つの標本に対する階層別の画像データとして保存される画像保存部と、
前記画像保存部から前記第１の解像度を等分割可能な所定の第２の解像度の単位で、指定された階層の画像データを取得し、表示装置に表示させる画像データ取得部と、
ユーザからの指令に応じて、前記表示された画像データの任意の空間位置にアノテーションを設定するアノテーション設定部と、
前記画像保存部から、前記アノテーションが設定された階層より解像度が高い階層の画像データを削除する画像最適化部と
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを蓄積し、ユーザからの画像閲覧リクエストに対して画像データを取得して表示する情報処理装置、画像データ最適化方法、プログラムに関する。
【背景技術】
【０００２】
医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の標本の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、診断したりするシステムが提案されている。
【０００３】
例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。（例えば、特許文献１の段落[００２７]、[００２８]、図５参照）。
【０００４】
また、特許文献２に記載のシステムでは、このような画像の任意の箇所、例えば、疾患部として疑わしいと観察者が判断した部位に位置情報を設定し、この位置情報に内容情報を関連付ける。このシステムは、位置情報をマークとして画像とともに表示し、表示したマークに対するマウス等の入力装置を用いた選択操作を受け付け、関連付けられて登録された内容情報をコメントとして表示する（例えば、特許文献２の段落［００２７］、図５参照）。このように、画像に位置情報や内容情報を関連付け、これら位置情報や内容情報を視覚的に合成した画像を表示する機能は、「アノテーション機能」と呼ばれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３７２５０号公報
【特許文献２】特開２０００−１４８８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような顕微鏡システムでは、観察画像から細胞組織の状態を目視により診断するために、高倍率に拡大された標本の顕微像を膨大な解像度をもつＣＣＤなどのイメージセンサにより撮像する。撮像された画像（元画像）はそのまま保存されるとともに、表示画像のズームイン／アウトに高速に応答することができるように、元画像から１／２、１／２２  、１／２３  、・・・、１／２Ｎ  の各倍率で圧縮された各画像が生成されて保存される。このように元画像を異なる倍率で圧縮して階層化した構造は「画像ピラミッド構造」と呼ばれる。また、それぞれの画像は、タイルと呼ばれる２５６×２５６（pixel）、２５６×５１２（pixel）程度の所定の解像度の単位で管理されており、タイルＩＤの指定によって、任意の倍率の任意のタイルを一意に選択できるようになっている。
【０００７】
また、近年、顕微鏡により撮影した画像データをサーバ装置にて一元管理し、サーバ装置にネットワークを通じて接続されたビューワ装置からの画像閲覧リクエストに対して必要な画像データを応答する仕組みが検討されている。このようなシステムによると、複数のビューワ装置からサーバ装置にアクセスすることで同時に複数の観察者による画像の観察が可能になり、診断の効率化を期待できる。
【０００８】
しかしながら、顕微鏡により撮像される画像のサイズは膨大であるとともに、１つの標本の元画像はピラミッド構造化されることによって容量は益々増大する。近年ＨＤＤ（Hard Disc Drive）などに代表される記録装置の大容量化は目覚しいとは言え、一度の撮影でＧ（ギガ）バイトオーダーの情報が記録されるような顕微鏡システムでは、記録装置を比較的短い周期で交換しなければならないという問題が発生し得る。そこで、重要度の低いデータや不要となったデータを削除することが考えられるが、人為的にデータの重要度を管理して削除するデータを決定することは、コストの問題、作業効率の点などから困難である。
【０００９】
以上のような事情に鑑み、本発明の目的は、異なる解像度で階層化された画像データのサイズを、その情報性を低下させることなく効果的にサイズダウンさせることで、画像データを保存する装置の実質的な容量利用効率を向上させ、運用コストを軽減することのできる情報処理装置、画像データ最適化方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第１の解像度を有する第１の画像データと、前記第１の画像データから異なる倍率で空間的に圧縮された１以上の第２の画像データがそれぞれ１つの標本に対する階層別の画像データとして保存される画像保存部と、前記画像保存部に保存された前記各階層の画像データから、前記第１の解像度を等分割可能な所定の第２の解像度の単位で画像データを取得し、表示装置に表示させる画像データ取得部と、ユーザからの指令に応じて、前記表示された画像データの任意の空間位置にアノテーションを設定するアノテーション設定部と、前記画像保存部に保存された前記各画像データの要否を前記アノテーションの設定状態をもとに前記階層の単位または第２の解像度の単位で判定し、不要とされた画像データを削除する画像最適化部とを具備する。
【００１１】
本発明では、第１の解像度を有する第１の画像データと、第１の画像データから異なる倍率で空間的に圧縮された１以上の第２の画像データとで、１つの標本に対する階層別の画像データが構成される場合を想定している。このような異なる解像度で階層化された画像データを保存する画像保存部には、次々に標本の画像データが保存されて行くに従い空き容量が減ってくる。本発明では、画像最適化部が、ユーザからの指令に応じて画像データに対して設定されるアノテーションの設定状態をもとに、１つの標本に対する階層別の画像データにおいて不要な画像データを階層の単位または第２の解像度の単位で判定し、不要とされた画像データを削除する。ここで、アノテーションが設定された画像データは、画像の観察者によって一度は注意が向けられた画像データであるから、その情報性という意味において価値の高い画像データと言えるため、最適化のための削除の対象から外される。逆にアノテーションが設定されていない画像データは情報性において比較的低価値な画像データと言えるので、最適化のための削除対象となる。また、アノテーションは画像データの任意の階層の任意の空間位置に設定されるので、画像最適化部は、不要な画像データを階層の単位または第２の解像度の単位で判定し、削除することができる。したがって、本発明によれば、異なる解像度で階層化された画像データのサイズを、その情報性を低下させることなく効果的にサイズダウンさせることができる。
【００１２】
１以上の第２の画像データは、第１の画像データから１／２、１／２２  、１／２３  、・・・、１／２Ｎ  の倍率（但し、Ｎは１以上の定数）で空間的に圧縮された画像データであってもよい。
【００１３】
画像最適化部は、１つの標本に対するどの階層の画像データにもアノテーションが設定されていない場合、所定の解像度以上の階層の画像データを削除するものであってもよい。
また、画像最適化部は、前記アノテーションが設定された階層より解像度が高い階層の画像データを削除するものとしてもよい。
さらに、画像最適化部は、第２の解像度の単位をタイルとして、所定の解像度以上の階層の画像データの中でアノテーションが設定されたタイル以外の１以上のタイルを削除するようにしてもよい。
【００１４】
画像データ取得部は、画像最適化部によって削除されたタイルが表示対象の画像データとされたとき、当該削除されたタイルに空間的に対応する他の階層のタイルを画像保存部から取得し、情報処理装置は、さらに、画像データ取得部にて取得された他の階層のタイルから前記削除されたタイルの疑似タイルを生成する疑似タイル生成部を具備するものであってもよい。
これにより、本発明では、最適化によって削除されたタイルを擬似的に再現して表示することができ、削除されたタイルが欠けた画像を表示する場合に比べ不自然さの少ない閲覧画像が得られる。また、最適化によって削除されたタイルは情報性において比較的低価値な画像データのはずであるから、空間的に対応する他の階層のタイルから擬似的に生成された疑似タイルで補うことによって、観察上の弊害は何ら生じない。
【００１５】
疑似タイル生成部は、生成された疑似タイルが正規のタイルに対して識別可能なように、疑似タイルに対して視覚的な特徴を付与するようにしてもよい。これにより、観察者に疑似タイルに対する無駄な違和感を与えることを止めることができる。
【００１６】
本発明の別の側面に基づく画像データ最適化方法は、画像保存部に、第１の解像度を有する第１の画像データと、前記第１の画像データから異なる倍率で空間的に圧縮された１以上の第２の画像データを、それぞれ１つの標本に対する階層別の画像データとして保存し、画像データ取得部が、前記画像保存部に保存された前記各階層の画像データから、前記第１の解像度を等分割可能な所定の第２の解像度の単位で画像データを取得して、表示装置に表示させ、アノテーション設定部が、ユーザからの指令に応じて、前記表示された画像データの任意の空間位置にアノテーションを設定し、画像最適化部が、前記画像保存部に保存された前記各画像データの要否を前記アノテーションの設定状態をもとに前記階層の単位または第２の解像度の単位で判定し、不要とされた画像データを削除することを特徴とする
【００１７】
本発明の別の側面に基づくプログラムは、第１の解像度を有する第１の画像データと、前記第１の画像データから異なる倍率で空間的に圧縮された１以上の第２の画像データがそれぞれ１つの標本に対する階層別の画像データとして保存される画像保存部と、前記画像保存部に保存された前記各階層の画像データから、前記第１の解像度を等分割可能な所定の第２の解像度の単位で画像データを取得し、表示装置に表示させる画像データ取得部と、ユーザからの指令に応じて、前記表示された画像データの任意の空間位置にアノテーションを設定するアノテーション設定部と、前記画像保存部に保存された前記各画像データの要否を前記アノテーションの設定状態をもとに前記階層の単位または第２の解像度の単位で判定し、不要とされた画像データを削除する画像最適化部としてコンピュータを機能させるプログラムである。
【発明の効果】
【００１８】
本発明によれば、異なる解像度で階層化された画像データのサイズを、その情報性を低下させることなく効果的にサイズダウンさせることで、画像データを保存する装置の実質的な容量利用効率を向上させ、運用コストを軽減できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る顕微鏡システムの全体構成を示す図である。
【図２】図１の制御装置の構成を示すブロック図である。
【図３】図１のサーバ装置の構成を示すブロック図である。
【図４】図１のビューワ装置の構成を示すブロック図である。
【図５】顕微鏡画像の圧縮方法の例を示す図である。
【図６】画像ピラミッド構造における各タイルへのＩＤの割り当ての例を示す図である。
【図７】図２の制御装置の動作を示すフローチャートである。
【図８】図３のサーバ装置の画像登録部の動作を示すフローチャートである。
【図９】図３のサーバ装置の画像閲覧応答部の動作を示すフローチャートである。
【図１０】図３のサーバ装置のアノテーション応答部の動作を示すフローチャートである。
【図１１】標本画像データ群の最適化処理の第１の方法のフローチャートである。
【図１２】第１の方法による最適化処理の例を示す図である。
【図１３】標本画像データ群の最適化処理の第２の方法のフローチャートである。
【図１４】第２の方法による最適化処理の例を示す図である。
【図１５】標本画像データ群の最適化処理の第３の方法のフローチャートである。
【図１６】第３の方法による最適化処理の例を示す図である。
【図１７】ズーム倍率の変更とタイルとの関係を示す図である。
【図１８】アノテーションデータのＸＭＬによる記述例を示す図である。
【図１９】本実施形態の顕微鏡システムでの画像閲覧シーケンスを示す図である。
【図２０】最適化によって削除されたタイルを含む画像領域を別の階層の画像データを利用して表示する場合のビューワ装置の動作を示すフローチャートである。
【図２１】疑似タイルを用いた画像表示のための処理の概要を示す図である。
【図２２】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１の実施形態＞
本実施形態は、標本の拡大画像を撮像する顕微鏡装置と、顕微鏡装置にて撮像された画像をデジタル化して蓄積するサーバ装置と、サーバ装置に蓄積された画像データをダウンロードして閲覧することのできるビューワ装置と含む顕微鏡システムに関するものである。
【００２１】
このような顕微鏡システムにおいて、顕微鏡により撮像されてサーバ装置に蓄積される標本毎の画像データ群のサイズはＧ（ギガ）バイトオーダーと膨大であることから、撮影の繰り返しによってサーバ装置のストレージの容量は急速に消費され、短い周期でストレージを交換したり、別の記録媒体にデータを移動させたりするなど、保守に手間がかかり、運用コストが増大する傾向にある。そこでストレージに蓄積された画像データの中から重要度の低い画像データを削除して最適化することで、ストレージ交換やデータ移動の頻度を抑える仕組みが求められる。
【００２２】
本実施形態では、画像データに設定される「アノテーション」を、画像データの重要度を示す指標として用いたものである。アノテーションとは、画像データに対して注釈として付与される情報であり、注釈があるという属性を示す情報、あるいは注釈内容を含めて「アノテーション」と呼ばれる。サーバ装置に蓄積された画像データはビューワ装置よりアクセスされて観察者によって観察される。その際、画像の中で観察者が認めた注目すべき部位（空間位置）に対してアノテーションを適宜設定するという操作が行われる。例えば、病理標本の画像を観察して診断を行う用途では、複数の観察者が各々の視点から病理標本画像を観察して病変部として疑わしき部位を探し出すといったことが行われる。この際、観察者であるビューワ装置の操作者は病変部として疑わしき部位に対してアノテーションを設定する。このようにアノテーションを設定できることで、観察の成果を保存することができ、病理診断の効率の向上に大きく寄与する。
【００２３】
以下に、このアノテーションを利用して画像データの最適化を行うことのできる顕微鏡システムについて詳述する。
【００２４】
［顕微鏡システムの構成］
図１は、本発明の第１の実施形態に係る顕微鏡システムの全体構成を示す図である。
同図に示すように、この顕微鏡システム１００は、顕微鏡装置１０、制御装置２０、サーバ装置３０、およびビューワ装置４０を有する。
【００２５】
顕微鏡装置１０は、標本の画像を拡大光学系により拡大し、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）イメージセンサなどの撮像素子の撮像面に結像して電気的な信号に変換し、さらに電気信号をデジタル化して制御装置２０に伝送する。
【００２６】
制御装置２０は、顕微鏡装置１０と信号線を通じて接続され、この信号線を通じて顕微鏡装置１０に各種の制御信号を供給して顕微鏡装置１０の制御を行ったり、顕微鏡装置１０で得られた画像データを受け取ったりする。制御装置２０は、顕微鏡装置１０より取得した画像データを符号化し、ローカルエリアネットワークなどの第１のネットワーク１を通じてサーバ装置３０にアップロードする。なお、制御装置２０は、一般的なＰＣ（Personal Computer）であってもよい。
【００２７】
サーバ装置３０は、制御装置２０と第１のネットワーク１を通じて接続可能とされ、第１のネットワーク１を通じて制御装置２０よりアップロードされた画像データをストレージに蓄積する。また、サーバ装置３０は、ビューワ装置４０とローカルエリアネットワークなどの第２のネットワーク２を通じて接続可能とされ、ビューワ装置４０からのリクエストに対して画像データを第２のネットワーク２を通じて応答する。
【００２８】
ビューワ装置４０は、第２のネットワーク２を通じてサーバ装置３０に画像データを取得するためのリクエストを送り、サーバ装置３０より応答された画像データをデコードして、ビューワ装置４０に接続された外部の表示装置に出力する。
なお、第１のネットワーク１と第２のネットワーク２は共通のネットワークであってもよい。
【００２９】
［制御装置２０の構成］
図２は制御装置２０の構成を示すブロック図である。
同図に示すように、制御装置２０は、顕微鏡Ｉ／Ｏ２１、画像圧縮部２２、顕微鏡制御部２３、サーバＩ／Ｏ２４などを有する。顕微鏡Ｉ／Ｏ２１は、顕微鏡装置１０との間での各種データの入出力を制御する部分である。画像圧縮部２２は、顕微鏡Ｉ／Ｏ２１より入力された元画像（第１の解像度の第１の画像データ）から画像ピラミッド構造を生成し、ピラミッド構造化された各階層の画像データを所定の解像度（第１の解像度を等分割可能な所定の第２の解像度）の単位（タイル単位）で圧縮符号化する部分である。画像ピラミッド構造については後で説明する。画像の圧縮符号化方式としては、例えば、ＪＰＥＧ(Joint Photographic Experts Group)、ＪＰＥＧ ２０００などが採用される。顕微鏡制御部２３は、顕微鏡装置１０のステージ、撮像部など、顕微鏡装置１０による撮像の動作を制御する。サーバＩ／Ｏ２４は、サーバ装置３０との間での各種データの入出力を制御する部分である。
【００３０】
［制御装置２０の動作］
図７は制御装置２０の動作を示すフローチャートである。
制御装置２０は、顕微鏡制御部２３により顕微鏡装置１０のステージや撮像部などを制御して、標本の撮影を実行させる（ステップＳ１０１）。これにより顕微鏡装置１０から制御装置２０に標本の元画像が伝送される（ステップＳ１０２）。制御装置２０の画像圧縮部２２は、顕微鏡装置１０より取得した元画像から画像ピラミッド構造を生成し、この画像ピラミッド構造における各階層の画像データを上記タイル単位で圧縮符号化する（ステップＳ１０３）。このようにして１つの標本から得られた各階層の圧縮符号化画像データを以降「標本画像データ群」と呼ぶこととする。標本画像データ群はサーバＩ／Ｏ２４を通じてサーバ装置３０にアップロードされ、サーバ装置３０の画像データストレージに標本名と関連付けられて保存される（ステップＳ１０４）。
なお、標本画像データ群を特定する名前としては、スライドガラスの上に標本が載置され、標本の上をカバーガラスで覆ったものを観察対象とする場合の、スライドガラスに記されたＩＤ（スライド名）が用いられることもある。
【００３１】
［標本画像データ群の構造］
制御装置２０内の画像圧縮部２２は、１つの標本から得られた元画像を１／２、１／２２  、１／２３  、・・・、１／２Ｎ  の各倍率で空間的に圧縮する。これにより１つの標本に対して（Ｎ＋１）階層分の画像データが得られる。このように元画像を異なる倍率で圧縮し、元画像を含めて階層化された画像データの構造は「画像ピラミッド構造」と呼ばれる。
【００３２】
さらに、各階層の画像データは、元画像の解像度を等分割可能な所定の解像度の単位で管理される。この単位が上記のタイルである。タイルの解像度は、例えば２５６×２５６（pixel）、２５６×５１２（pixel）などである。それぞれのタイルには、画像ピラミッド構造において個々をユニークに識別することができるようにタイルＩＤが割り当てられる。これにより、ビューワ装置４０は表示させる画像の階層位置を変更（ズーム倍率を変更）したり表示させる画像の位置を変更したりする際に必要な画像データを標本名とタイルＩＤとの組み合わせにより一意に指定することができる。また、サーバ装置３０は標本名とタイルＩＤとの組み合わせをもとに画像データストレージから該当するタイルを一意に特定して読み出すことができる。したがって、ビューワ装置４０から見て画像閲覧の高速な応答性が得られる。
【００３３】
図５は元画像の圧縮方法の例を示す図である。
説明の簡単のため、この例では階層数を"３"とした。元画像は縦横４×４＝１６のタイル群で構成されるものとする。この場合、元画像を１／２倍率で圧縮したものは縦横２×２＝４のタイル群で構成され、元画像を１／２２  で圧縮したものは１つのタイルで構成される。実際には階層数は３よりも多い。図６は各タイルへのＩＤの割り当て例を示す図である。このように、各タイルにタイル毎にユニークなＩＤを割り当てたことで、個々のタイルをタイルＩＤで一意に指定することができ、さらには階層間のタイルの空間的な対応関係も容易に知ることもできる。階層間のタイルの空間的な対応関係とは、互いに共通の空間位置の画像であるという関係である。例えば、図６において、階層２のタイルＩＤ＝４のタイルと階層３（元画像）のタイルＩＤ＝１４，１５，１８，１９の４つのタイルは空間的な対応関係にある、と言うことができる。
【００３４】
［サーバ装置３０の構成］
図３はサーバ装置３０の構成を示すブロック図である。
同図に示すように、サーバ装置３０は、制御装置Ｉ／Ｏ３１、画像データストレージ３２（画像保存部）、アノテーションストレージ３３、画像登録部３４、画像閲覧応答部３５（画像データ取得部の一部）、画像最適化／削除応答部３６（画像最適化部）、アノテーション応答部３７（アノテーション設定部の一部）、ビューワＩ／Ｏ３８を有する。
【００３５】
制御装置Ｉ／Ｏ３１は、制御装置２０との間での各種データの入出力を制御する部分である。画像データストレージ３２は、標本画像データ群が標本名と関連付けて保存されるランダムアクセス型の記憶部である。アノテーションストレージ３３は、標本画像データ群に対して設定されたアノテーションデータが保存される記憶部である。
【００３６】
画像登録部３４は、図８に示すように、制御装置２０よりアップロードされた標本画像データ群を制御装置Ｉ／Ｏ３１を通じて受け付ける（ステップＳ２０１）。画像登録部３４は、受け付けた標本画像データ群を画像データストレージ３２に標本名と関連付けて保存する（ステップＳ２０２）。その際、画像登録部３４は、標本画像データ群の階層数、元画像の解像度などのメタデータを生成して、画像メタデータストレージ（図示せず）に標本名と関連付けて登録する。
【００３７】
ビューワＩ／Ｏ３８は、ビューワ装置４０との間での各種データの入出力を制御する部分である。
【００３８】
画像閲覧応答部３５は、ビューワ装置４０からの、標本名を含むメタデータ取得リクエストや、標本名とタイルＩＤを含む画像閲覧リクエストを受け付けて応答する処理を行う。すなわち、画像閲覧応答部３５は、図９に示すように、ビューワ装置４０から標本名を含むメタデータ取得リクエストを受けると（ステップＳ３０１のＹＥＳ）、標本名をもとに画像メタデータストレージ（図示せず）から該当する標本画像データ群に関するメタデータを読み込み、ビューワＩ／Ｏ３８を通じてビューワ装置４０にそのメタデータを転送する（ステップＳ３０２）。ビューワ装置４０は、取得したメタデータをもとに当該標本画像データ群における画像ピラミッド構造を認識することができ、表示させる画像の階層位置を変更（ズーム倍率の変更）したり表示させる画像の位置を変更したりする際に必要な画像データを特定するタイルＩＤを算出することができる。また、画像閲覧応答部３５は、ビューワ装置４０から標本名、タイルＩＤを含む画像閲覧リクエストを受けた場合には（ステップＳ３０３のＹＥＳ）、画像閲覧リクエストに含まれる標本名およびタイルＩＤをもとに画像データストレージ３２から該当する画像データ（タイル）を検索し、ビューワＩ／Ｏ３８を通じてビューワ装置４０に転送する（ステップＳ３０４）。
【００３９】
アノテーション応答部３７は、ビューワ装置４０からのアノテーション保存リクエストおよびアノテーション取得リクエストを受け付けて応答する処理を行う。すなわち、アノテーション応答部３７は、図１０に示すように、ビューワ装置４０からのアノテーション保存リクエストを受けたとき（ステップＳ４０３のＹＥＳ）、このアノテーション保存リクエストに含まれる情報をもとにアノテーションデータを生成してアノテーションストレージ３３に標本名と関連付けて登録する（ステップＳ４０４）。アノテーション保存リクエストに含まれる情報とは、標本名と画像の位置情報である。画像の位置情報とは、画像の階層位置、当該階層の画像の座標空間における位置などである。また、アノテーション応答部３７は、ビューワ装置４０からのアノテーション取得リクエストを受けたとき（ステップＳ４０１のＹＥＳ）、このアノテーション取得リクエストに含まれる標本名（ビューワ装置４０にて閲覧中の画像の標本名）に関連付けられたアノテーションデータをアノテーションストレージ３３より読み込み、ビューワＩ／Ｏ３８を通じてビューワ装置４０に応答する（ステップＳ４０２）。
【００４０】
画像最適化／削除応答部３６は、ビューワ装置４０からの最適化リクエストを受けたとき、この最適化リクエストに含まれる標本名に対応するアノテーションデータをもとに重要度の低いタイル単位、階層単位の画像データを判定し、これらの画像データを削除することによって、画像データストレージ３２に保存された標本画像データ群の最適化を行う。画像データストレージ３２に保存された標本画像データ群を以降「標本画像データ群」と呼ぶ。この標本画像データ群の最適化の処理の詳細については後で説明する。
また、画像最適化／削除応答部３６は、ビューワ装置４０より削除リクエストを受け付けた場合には、この削除リクエストに含まれる標本名をもとに画像データストレージ３２より該当する標本画像データ群を削除したり、アノテーションストレージ３３から該当するアノテーションデータを削除したりする。
【００４１】
［ビューワ装置４０の構成］
図４はビューワ装置４０の構成を示すブロック図である。
同図に示すように、ビューワ装置４０は、サーバＩ／Ｏ４１、コントローラＩ／Ｏ４２、画像データ取得部４３（画像データ取得部）、アノテーション取得部４４、デコーダ４５、表示合成部４６（疑似タイル生成部）、表示位置計算部４７、アノテーション保存処理部４８（アノテーション設定部の一部）、画像最適化／削除要求部４９などを有する。
【００４２】
サーバＩ／Ｏ２４は、サーバ装置３０との間での各種データの入出力を制御する部分である。コントローラＩ／Ｏ４２は、ユーザの操作するコントローラ５０との通信を行うインタフェースである。コントローラ５０はユーザからの各種命令や入力データを受け付けることが可能な機器である。
【００４３】
ユーザは、コントローラ５０の操作により、
１．表示させる画像の階層位置の変更命令（ズーム倍率の変更命令）
２．表示させる画像の空間位置の変更命令
３．アノテーションの設定命令
４．標本画像データ群の最適化命令
５．標本画像データ群の削除命令
などの各種命令を与えることができる。これらの命令の入力は、表示装置６０の画面に表示されたＧＵＩ（Graphical User Interface）などを介して行われる。表示させる画像の階層位置の変更命令（ズーム倍率の変更命令）と表示させる画像の空間位置の変更命令は「視点変更命令」と総称される。
【００４４】
画像データ取得部４３は、標本名を含むメタデータ取得リクエストをサーバ装置３０に送信し、サーバ装置３０より該当する標本画像データ群に関するメタデータを取得する。また、画像データ取得部４３は、取得したメタデータをもとに当該標本画像データ群における画像ピラミッド構造を認識して、表示させる画像の階層位置を変更（ズーム倍率の変更）したり表示させる画像の位置を変更したりする際に必要な画像データのタイルＩＤを算出することが可能である。そして画像データ取得部４３は、このタイルＩＤと標本名を含む画像閲覧リクエストを生成してサーバＩ／Ｏ２４を通じてサーバ装置３０に送信し、サーバ装置３０より必要な画像データ（タイル）を取得することができる。
【００４５】
アノテーション取得部４４は、標本名を含むアノテーション取得リクエストをサーバＩ／Ｏ２４を通じてサーバ装置３０に送り、サーバ装置３０よりその標本名に関連付けられたアノテーションデータを取得する。
【００４６】
デコーダ４５は、画像データ取得部４３により取得した画像データ（タイル）をデコードしてビットマップ形式の画像を復元する。
【００４７】
表示合成部４６は、デコーダ４５により生成されたビットマップ形式の画像にアノテーション取得部４４により取得されたアノテーションデータを合成した画面イメージを生成し、ビューワ装置４０に接続された表示装置６０に出力する。
【００４８】
表示位置計算部４７は、標本の観察者であるユーザがコントローラ５０を操作することによって、表示させる画像の階層位置を変更（ズーム倍率の変更）したり表示させる画像の位置を変更したりした際に、その変更後に表示されるべき画像データのタイルＩＤを算出し、画像データ取得部４３に画像閲覧リクエストの送信を依頼する。画像データ取得部４３は、この依頼を受けて、標本名および上記算出されたタイルＩＤを含む画像閲覧リクエストをサーバＩ／Ｏ２４を通じてサーバ装置３０に送信する。
【００４９】
アノテーション保存処理部４８は、コントローラ５０の操作によってユーザより、画像の位置情報を含むアノテーション設定命令が入力されたとき、アノテーション保存リクエストをサーバＩ／Ｏ２４を通じてサーバ装置３０に送信する。アノテーション保存リクエストは、標本名と画像の位置情報を含む。画像の位置情報とは、アノテーションを設定するようにユーザにより指定された画像の階層、タイルＩＤ、タイル中の位置などである。
【００５０】
画像最適化／削除要求部４９は、コントローラ５０の操作によってユーザより標本画像データ群の最適化命令が入力されたとき、閲覧中の画像の標本名を含む最適化リクエストをサーバＩ／Ｏ２４を通じてサーバ装置３０に送信する。また、コントローラ５０の操作によってユーザより標本画像データ群の削除命令が入力されたとき、閲覧中の画像の標本名を含む削除リクエストをサーバＩ／Ｏ２４を通じてサーバ装置３０に送信する。
【００５１】
［ビューワ装置４０での画像表示のズームイン／ズームアウト］
ビューワ装置４０は、画像表示のズームイン／ズームアウトをサポートする。
コントローラ５０の操作によってユーザよりズーム倍率の変更指示（ズームイン／ズームアウト指示）の入力されたとき、表示位置計算部４７は、指示されたズーム倍率に対応する解像度（階層）の画像データの中で必要なタイルのタイルＩＤを算出し、このタイルＩＤのタイルの取得を画像データ取得部４３に依頼する。画像データ取得部４３は、この依頼を受けると、そのタイルＩＤと標本名を含む画像閲覧リクエストを生成してサーバＩ／Ｏ２４を通じてサーバ装置３０に送信し、サーバ装置３０よりそのタイルを取得する。取得されたタイルはデコーダ４５にて復号され、表示合成部４６を通じて表示装置６０に出力される。この結果、画像表示のズーム倍率が変更される。
【００５２】
図１７はズーム倍率の変更とタイルとの関係を示す図である。
同図において、Ｄは表示装置６０の物理画面である。元画像を１タイル分の解像度まで圧縮した階層１のタイル（タイルＩＤ＝１）を物理画面Ｄに表示させた状態からズームイン命令が入力されると、ズームイン後に必要なタイルが階層２のタイルＩＤ＝２，３，４，５であることが表示位置計算部４７によって算出される。これにより画像データ取得部４３はタイルＩＤ＝２，３，４，５を含む画像閲覧リクエストをサーバ装置３０に送信することによって４つのタイルを取得し、デコーダ４５に供給する。続いてズームイン命令が再び入力されると、ズームイン後に必要なタイルが階層３（元画像）のタイルＩＤ＝１１，１２，１５，１６であることが表示位置計算部４７によって算出される。これにより同様に画像データ取得部４３はタイルＩＤ＝１１，１２，１５，１６を含む画像閲覧リクエストをサーバ装置３０に送信して、新たな４つのタイルを取得してデコーダ４５に供給する。
【００５３】
［アノテーションの設定と保存］
次に、アノテーションの設定と保存について説明する。
アノテーションの設定は、表示装置６０の画面を通して観察中の画像の任意の箇所、例えば観察者が病変部として疑わしいと判断した箇所にコントローラ５０の操作によりマークを付けたり、その箇所を線で囲むことなどによって行われる。あるいは、表示中の画像の階層に対してアノテーションを設定することも可能である。アノテーション設定命令がユーザより入力されると、ビューワ装置４０のアノテーション保存処理部４８は、標本名および階層レベルの情報とともに、その階層レベルの画像の座標空間においてユーザが指定したマークや囲み線の位置情報などを含むアノテーション保存リクエストを生成し、サーバ装置３０に送信する。
【００５４】
サーバ装置３０のアノテーション応答部３７は、ビューワ装置４０からのアノテーション保存リクエストを受信すると、このアノテーション保存リクエストに含まれる情報をもとにアノテーションデータを生成し、アノテーションストレージ３３に保存する。
【００５５】
アノテーションデータは、例えば、標本名、アノテーションが設定された階層、当該階層の画像の座標空間におけるアノテーションの位置などのデータを含む。図１８はＸＭＬ（Extensible Markup Language）などのマークアップ言語などによってアノテーションデータを記述した場合の一例である。このＸＭＬでは、slide要素の中のname属性の値として標本名の記述が可能とされている。また、position要素の中のx属性の値とy属性の値でアノテーションの位置を記述することが可能とされ、さらにposition要素の中のzoomlevel属性の値で画像の階層レベルを記述できるようになっている。なお、annotation要素の中のtype属性の値はアノテーションの種類である。図１８の例ではタイプは"arrow"とされている。これは、矢印を用いて画像の任意の箇所を指し示す形式のアノテーションであることを意味している。このようなフォーマットのアノテーションデータを採用することで、サーバ装置３０の画像最適化／削除応答部３６は、アノテーションが設定された階層を一意に知ることができるとともに、当該階層の画像の座標空間におけるアノテーションの位置を含むタイルＩＤを容易に算出することができる。
【００５６】
次に、本実施形態の顕微鏡システム１００の動作を説明する。
動作の説明は、
１．通常の画像閲覧シーケンス
２．標本画像データ群の最適化処理を含む画像閲覧シーケンス
３．標本画像データ群の最適化処理の動作
４．最適化によって削除されたタイルを含む画像表示の動作
の順で行う。
【００５７】
［１．通常の画像閲覧シーケンス］
図１９は本実施形態の顕微鏡システム１００での画像閲覧シーケンスを示す図である。
まず、ビューワ装置４０の画像データ取得部４３から標本名を含むメタデータ取得リクエストがサーバ装置３０に送られる（Ｓ８０１）。サーバ装置３０の画像閲覧応答部３５は、メタデータ取得リクエストを受けると、このメタデータ取得リクエストに含まれる標本名をもとに該当する標本画像データ群に関するメタデータを画像メタデータストレージ（図示せず）より検索してビューワ装置４０に応答する（ステップＳ８０２）。
【００５８】
次に、ビューワ装置４０のアノテーション取得部４４から、上記標本名を含むアノテーション取得リクエストがサーバ装置３０に送られる（Ｓ８０３）。サーバ装置３０のアノテーション応答部３７は、ビューワ装置４０からアノテーション取得リクエストを受信すると、このアノテーション取得リクエストに含まれる標本名をもとにアノテーションストレージ３３から該当するアノテーションデータを検索してビューワ装置４０に応答する（ステップＳ８０４）。
【００５９】
次に、ビューワ装置４０の画像データ取得部４３から、上記標本名、デフォルト設定されたタイルＩＤ（例えば＝１）などを含む画像閲覧リクエストがサーバ装置３０に送られる（Ｓ８０５）。サーバ装置３０の画像閲覧応答部３５は、ビューワ装置４０からの画像閲覧リクエストを受けると、この画像閲覧リクエストに含まれる標本名およびタイルＩＤをもとに画像データストレージ３２から該当する画像データ（タイル）を検索し、ビューワ装置４０に転送する（Ｓ８０６）。この画像閲覧リクエストの送信と画像データの受信は、表示に必要なタイル数分繰り返される。ビューワ装置４０にて受信された画像データ（タイル）はデコーダ４５にて復号された後、表示合成部４６にて必要なアノテーションデータ（そのタイル内の位置に対して設定されているアノテーションデータ）と合成されて表示装置６０に供給される。これにより表示装置６０に標本の最初の閲覧画像が表示される（Ｓ８０７）。
【００６０】
ビューワ装置４０のユーザは、コントローラ５０を操作して、表示させる画像の階層位置を変更（ズーム倍率を変更）したり表示させる画像の位置を変更したりする命令を視点変更命令として入力することができる。視点変更命令がコントローラ５０より入力されると（Ｓ８０８）、表示位置計算部４７が、変更後に表示されるべき画像データのタイルＩＤを算出し、画像データ取得部４３に画像閲覧リクエストの送信を依頼する。画像データ取得部４３は、この依頼を受けると、表示位置計算部４７により算出されたタイルＩＤと、標本名を含む画像閲覧リクエストをサーバ装置３０に送信する（ステップＳ８０９）。サーバ装置３０の画像閲覧応答部３５は、ビューワ装置４０からの画像閲覧リクエストを受信すると、同様に該当する画像データ（タイル）を検索し、ビューワ装置４０に転送する（Ｓ８１０）。この画像閲覧リクエストと画像データ（タイル）の送受信は、視点変更後の表示に必要なタイル数分繰り返される。ビューワ装置４０にて受信された各画像データはそれぞれデコーダ４５にて復号された後、表示合成部４６にて必要なアノテーションデータ（そのタイル内の位置に対して設定されているアノテーションデータ）と合成されて表示装置６０に供給される。これにより、視点変更先の画像が表示される（Ｓ８１１）。
【００６１】
［２．標本画像データ群の最適化処理を含む画像閲覧シーケンス］
次に、図１９を参照して標本画像データ群の最適化処理を含む画像閲覧シーケンスを説明する。
【００６２】
ビューワ装置４０のユーザは、コントローラ５０を操作して、表示装置６０に表示された任意の階層の画像における任意の位置を指定してアノテーション設定命令を入力することができる。このアノテーション設定命令が入力されると（Ｓ８１２）、ビューワ装置４０内のアノテーション保存処理部４８は、標本名と、上記指定された階層と、この階層の画像において任意に指定された位置の情報を含むアノテーション保存リクエストを生成してサーバ装置３０に送信する（Ｓ８１３）。サーバ装置３０のアノテーション応答部３７は、ビューワ装置４０からのアノテーション保存リクエストを受けたとき、このアノテーション保存リクエストに含まれる情報をもとにアノテーションデータを生成してアノテーションストレージ３３に保存する。アノテーションデータの保存完了後、ビューワ装置４０にアノテーション保存応答が送信される（Ｓ８１４）。
【００６３】
ビューワ装置４０のユーザは、コントローラ５０を操作して、表示装置６０に表示された標本画像に対応する標本画像データ群の最適化命令を随時入力することができる。コントローラ５０を操作してユーザより当該最適化命令が入力されると（Ｓ８１５）、ビューワ装置４０の画像最適化／削除要求部４９は、表示中の標本名を含む最適化リクエストをサーバＩ／Ｏ２４を通じてサーバ装置３０に送信する（Ｓ８１６）。画像最適化／削除応答部３６は、ビューワ装置４０からの最適化リクエストを受信すると、この最適化リクエストに含まれる標本名に対応するアノテーションデータをもとに削除すべきタイル単位あるいは階層単位の画像データを判定し、画像データストレージ３２からそれらの画像データを削除することによって標本画像データ群の最適化を行う。標本画像データ群の最適化が完了すると、その旨を最適化応答としてビューワ装置４０に送信する（Ｓ８１７）。
【００６４】
この後、コントローラ５０を操作してユーザより、上記同様に視点変更命令が入力されたものとする（Ｓ８１８）。表示位置計算部４７は、この視点変更命令をもとに変更後に表示されるべき画像データのタイルＩＤを算出し、画像データ取得部４３に画像閲覧リクエストの送信を依頼する。画像データ取得部４３は、この依頼に応じて、表示位置計算部４７により算出されたタイルＩＤと、標本名を含む画像閲覧リクエストをサーバ装置３０に送信する（ステップＳ８１９）。サーバ装置３０の画像閲覧応答部３５は、ビューワ装置４０からの画像閲覧リクエストを受けると、同様に該当する画像データ（タイル）を検索し、ビューワ装置４０に転送する（Ｓ８２０）。この画像閲覧リクエストの送信と画像データの受信は、表示に必要なタイル数分繰り返される。ビューワ装置４０にて受信された各画像データはそれぞれデコーダ４５にて復号された後、表示合成部４６にて必要なアノテーションデータ（そのタイル内の位置に対して設定されているアノテーションデータ）と合成されて表示装置６０に供給される。これにより、視点変更先の画像が表示される（Ｓ８２１）。但し、その際、最適化処理によって削除された画像データ（タイル）がリクエスト対象画像の一部である場合がある。この場合については後で説明する。
【００６５】
［３．標本画像データ群の最適化処理の動作］
次に、サーバ装置３０の画像最適化／削除応答部３６での標本画像データ群に対する最適化処理の詳細を説明する。最適化のための削除の方法には、
第１の方法：標本画像データ群に対してアノテーションが設定されていなければ所定の解像度以上の画像データを削除する。
第２の方法：所定の解像度以上の画像データ中でアノテーションが設定されたタイル以外のタイルを削除する。
第３の方法：アノテーションが設定された階層より解像度が高い階層の画像データを削除する。
などがある。以下にそれぞれの最適化方法について説明する。
【００６６】
図１１は標本画像データ群の最適化処理の第１の方法のフローチャートである。画像最適化／削除応答部３６は、ビューワ装置４０からの最適化リクエストを受信すると（ステップＳ５０１のＹＥＳ）、最適化リクエストに含まれる標本名に関連付けられたアノテーションデータをアノテーションストレージ３３から検索する（ステップＳ５０２）。該当するアノテーションデータが存在しない場合（ステップＳ５０３のＮＯ）、画像最適化／削除応答部３６は、予め決められた解像度以上の画像データを不要な画像データとして判定し、画像データストレージ３２から削除する（ステップＳ５０４）。また、最適化リクエストに含まれる標本名に関連付けられたアノテーションデータがアノテーションストレージ３３から検索された場合には（ステップ５０３のＹＥＳ）、何もしないで最適化の処理を終了する。
【００６７】
図１２は第１の方法による最適化処理の例を示す図である。
例えば、３つの階層からなる画像ピラミッド構造において、アノテーションはどの階層のタイルにも設定されていないものとする。方法１によると、画像最適化／削除応答部３６は、どの階層にもアノテーションが設定されていない場合には、予め決められた解像度以上の画像データを不要な画像データとして判定し、画像データストレージ３２から削除する。この例では、階層３（元画像）の解像度以上の画像データを全て削除する場合を示している。設定により削除対象とする解像度の値を変更できるようにしてもよい。また、削除対象の基準を解像度ではなく階層で指定するようにしてもよい。
【００６８】
図１３は第２の方法のフローチャートである。画像最適化／削除応答部３６は、ビューワ装置４０からの最適化リクエストを受信すると（ステップＳ６０１のＹＥＳ）、最適化リクエストに含まれる標本名に関連付けられたアノテーションデータをアノテーションストレージ３３から検索する（ステップＳ６０２）。該当するアノテーションデータが存在する場合（ステップＳ６０３のＹＥＳ）、画像最適化／削除応答部３６は、そのアノテーションデータの中からアノテーションの位置情報つまりアノテーションが設定された階層、当該階層の画像の座標空間におけるアノテーションの位置の各データを取得する（ステップＳ６０４）。画像最適化／削除応答部３６は、取得したアノテーションの位置情報からアノテーションを含むタイルのタイルＩＤを算出し、予め決められた解像度以上の階層の画像データの中で、上記のアノテーションを含むタイル以外のタイルを不要な画像データとして判定し、画像データストレージ３２から削除する（ステップＳ６０５）。最適化リクエストに含まれる標本名に関連付けられたアノテーションデータがアノテーションストレージ３３に存在しない場合には（ステップ６０３のＮＯ）、画像最適化／削除応答部３６は、予め決められた解像度以上の画像データを不要な画像データとして判定し、画像データストレージ３２から削除する（ステップＳ６０６）。
【００６９】
図１４は第２の方法による最適化処理の例を示す図である。
例えば、３つの階層からなる画像ピラミッド構造において、階層３（元画像）の例えば２つのタイルにアノテーションＡ１，Ａ２が含まれているものとし、階層３（元画像）以下の画像データを最適化のための削除対象とする場合を考える。この場合、方法２によると、画像最適化／削除応答部３６は、階層３（元画像）の画像データの中でアノテーションＡ１，Ａ２を含むタイル（タイルＩＤ＝８，９）以外のタイルを不要な画像データとして判定し、画像データストレージ３２から削除する。仮に階層２以下の画像データを最適化のための削除対象とする場合も同じである。
【００７０】
図１５は第３の方法のフローチャートである。画像最適化／削除応答部３６は、ビューワ装置４０からの最適化リクエストを受信すると（ステップＳ７０１のＹＥＳ）、最適化リクエストに含まれる標本名に関連付けられたアノテーションデータをアノテーションストレージ３３から検索する（ステップＳ７０２）。該当するアノテーションデータが存在する場合（ステップＳ７０３のＹＥＳ）、画像最適化／削除応答部３６は、そのアノテーションデータの中からアノテーションが設定された階層のデータを取得する（ステップＳ７０４）。画像最適化／削除応答部３６は、アノテーションが設定された階層よりも解像度が高い階層の画像データを不要な画像データとして判定し、画像データストレージ３２から削除する（ステップＳ７０５）。最適化リクエストに含まれる標本名に関連付けられたアノテーションデータがアノテーションストレージ３３に存在しない場合には（ステップ７０３のＮＯ）、画像最適化／削除応答部３６は、予め決められた解像度以上の画像データを不要な画像データとして判定し、画像データストレージ３２から削除する（ステップＳ７０６）。
【００７１】
図１６は第３の方法による最適化処理の例を示す図である。
例えば、３つの階層からなる画像ピラミッド構造において、階層２にアノテーションＡ３が含まれているものとする。この場合、方法３によると、画像最適化／削除応答部３６は、階層２よりも解像度の高い階層つまり階層３（元画像）の画像データを不要な画像データとして判定し、画像データストレージ３２から削除する。
【００７２】
［４．最適化によって削除されたタイルを含む画像表示の動作］
前述したように、最適化によって削除されたタイルを含む画像領域を表示する場合が考えられる。この場合、削除されたタイルに相当する部分をどのように表示するかといった課題がある。この場合の対応策としては、
第１の方法：削除されたタイルの領域を黒で表示する方法
第２の方法：別の階層の画像データから疑似タイルを生成して表示する方法
などが考えられる。
【００７３】
ここでは、第２の方法を採用した場合を説明する。
図２０は、最適化によって削除されたタイルを含む画像領域を別の階層の画像データを利用して表示する場合のビューワ装置４０の動作を示すフローチャートである。
【００７４】
ビューワ装置４０の画像データ取得部４３は、取得対象の画像データのタイルＩＤを決定した後（ステップＳ９０１）、このタイルＩＤを含む画像閲覧リクエストを生成してサーバ装置３０に送信する（ステップＳ９０２）。
【００７５】
サーバ装置３０は、画像閲覧リクエストを受けると、この画像閲覧リクエストに含まれるタイルＩＤに対応する画像データが画像データストレージ３２に保存されているならこの画像データを画像閲覧応答としてビューワ装置４０に送信し、対応する画像データが画像データストレージ３２に保存されていない場合には、画像データが保存されていない旨の情報を画像閲覧応答としてビューワ装置４０に送信する。
【００７６】
ビューワ装置４０の画像データ取得部４３は、サーバ装置３０からの画像閲覧応答を受信すると（ステップＳ９０３）、この画像閲覧応答に画像データが含まれている場合には（ステップＳ９０４のＹＥＳ）、この画像データをデコーダ４５に供給する（ステップＳ９０５）。デコーダ４５にて復号された画像データは、表示合成部４６にて、対応するアノテーションデータと合成されて表示装置６０に供給される（ステップＳ９０６）。
【００７７】
また、最適化によって削除されたタイルが取得対象とされたために画像閲覧応答に画像データが含まれていない場合には（ステップＳ９０４のＮＯ）、画像データ取得部４３は、要求したタイルの階層から何階層上であるかを示す変数Ｍを"１"に初期化し（ステップＳ９０８）、取得に失敗したタイルに位置的に対応する１階層上の画像データのタイルのタイルＩＤを算出する（ステップＳ９０９）。この後、画像データ取得部４３は、このタイルＩＤを含む画像閲覧リクエストを生成してサーバ装置３０に送信する（ステップＳ９１０）。ビューワ装置４０の画像データ取得部４３は、サーバ装置３０から代用する画像データの取得に成功すると（ステップＳ９１１、Ｓ９１２のＹＥＳ）、この画像データをデコーダ４５に供給する（ステップＳ９１３）。デコーダ４５にて復号された画像データは、表示合成部４６に供給される。表示合成部４６は、本来要求した階層の画像データの倍率まで復号画像を拡大し、その中の必要な領域の画像を切り出し、さらに切り出した画像に対して疑似タイルであることの所定の視覚効果を付与して、表示装置６０に出力する（ステップＳ９１４）。
【００７８】
例えば図１４において、閲覧対象のタイルを階層３（元画像）のタイルＩＤ＝７，８，１１，１２の４つのタイルとする場合を考える。階層３（元画像）のタイルＩＤ＝８のタイルにはアノテーションＡ１が設定され、タイルＩＤ＝７，１１，１２の３つのタイルは最適化により削除されているものとする。この場合の疑似タイルを用いた画像表示のための処理の概要を図２１に示す。
【００７９】
画像データ取得部４３は、図１４に示したように、タイルＩＤ＝７，１１の２つのタイルに空間的に対応する階層２のタイルＩＤ＝２のタイルを取得するとともに、タイルＩＤ＝１２のタイルに空間的に対応する階層２のタイルＩＤ＝３のタイルを取得する。図２１に示すように、表示合成部４６は、取得されたタイルＩＤ＝２のタイルおよびタイルＩＤ＝３のタイルをそれぞれ２倍に拡大する。次に、表示合成部４６は、拡大したそれぞれの画像データを縦横２×２の４領域に等分割する。そして表示合成部４６は、タイルＩＤ＝２のタイルの拡大画像から右側２つの領域の画像データ２−２，２−４を切り出して、閲覧対象である階層３（元画像）のタイルＩＤ＝７，１１それぞれの疑似タイルとする。また、表示合成部４６は、タイルＩＤ＝３のタイルの拡大画像から左下の領域の画像データ３−３を切り出して、閲覧対象である階層３（元画像）のタイルＩＤ＝１２の疑似タイルとする。次に、表示合成部４６は、切り出した画像データ２−２，２−４、画像データ３−３に対して、これらが疑似タイルであることの所定の視覚効果を付与するための画像処理を一様に施す。そして表示合成部４６は、画像データ２−２，２−４、画像データ３−３、およびアノテーションＡ１が設定された階層３（元画像）のタイルＩＤ＝８のタイルを１つの画像データに連結する。
【００８０】
疑似タイルであることの視覚効果としては、画像データの輝度を一様に一定の割合落とす処理などが挙げられる。これに限らず、ユーザが一見して疑似タイルであることを視認することができる視覚効果が得られる処理であればよい。
【００８１】
ビューワ装置４０の画像データ取得部４３は、１階層上の画像データのタイルも取得できなかった場合（ステップＳ９１２のＮＯ）、Ｍの値をインクリメントし（ステップＳ９１５）、さらに１階層上の画像データのタイルの取得を試みる。結局どの階層からも疑似タイルを生成可能な画像データを得られなかった場合には（ステップＳ９１６のＹＥＳ）、表示合成部４６にてタイルを埋めるための所定の画像が生成され、表示装置６０に出力される（ステップＳ９１７）。所定の画像は、例えば、黒画像などでよい。
【００８２】
以上のように本実施形態によれば、サーバ装置３０の画像最適化／削除応答部３６が、画像データに対するアノテーションの設定状態をもとに不要な画像データを階層単位またはタイル単位で判定し、これらの画像データを画像データストレージ３２から削除する。ここで、アノテーションが設定された画像データは、画像の観察者によって一度は注意が向けられた画像データであるから、その情報性という意味において価値の高い画像データと言えるため、最適化のための削除の対象から外される。逆にアノテーションが設定されていない画像データは情報性において比較的低価値な画像データと言えるので、最適化のための削除対象となる。したがって、本発明によれば、異なる解像度で階層化された画像データのサイズを、その情報性を低下させることなく効果的にサイズダウンさせることができる。これに伴い、画像データを保存する装置の実質的な容量利用効率を向上させ、運用コストを軽減できる。
【００８３】
また、本実施形態では、最適化によって削除されたタイルを擬似的に再現して表示することができ、削除されたタイルが欠けた画像を表示する場合に比べ不自然さの少ない閲覧画像が得られる。最適化によって削除されたタイルは情報性において比較的低価値な画像データのはずであるから、空間的に対応する他の階層のタイルから擬似的に生成された疑似タイルで補うことによって、観察上の弊害は何ら生じない。
【００８４】
［第１の実施形態の顕微鏡システム１００と本発明の情報処理装置との関係］
第１の実施形態では、顕微鏡システム１００が、顕微鏡装置１０、制御装置２０、サーバ装置３０、およびビューワ装置４０で構成された。しかしながら、制御装置２０、サーバ装置３０、およびビューワ装置４０は個別の機器として実現されることに限らない。例えば、制御装置２０、サーバ装置３０、およびビューワ装置４０がコンピュータベースの１つの情報処理装置で構成されることも可能である。あるいは、サーバ装置３０とビューワ装置４０とが１つの情報処理装置で構成されてもよい。あるいは、制御装置２０とサーバ装置３０とが１つの情報処理装置で構成されてもよい。
【００８５】
［制御装置２０、サーバ装置３０、ビューワ装置４０のハードウェア構成］
次に、制御装置２０、サーバ装置３０、ビューワ装置４０のハードウェア構成を説明する。制御装置２０、サーバ装置３０、ビューワ装置４０はそれぞれ典型的なコンピュータのハードウェアを備える。
【００８６】
図２２は制御装置２０、サーバ装置３０、ビューワ装置４０に採用されたコンピュータのハードウェア構成を示す図である。
同図に示すように、コンピュータは、ＣＰＵ７１、ＲＯＭ７２、メインメモリ７３、ストレージ部７４、ネットワークインタフェース部７５、データ入出力インタフェース部７６、ディスプレイ制御部７７、ユーザ入力インタフェース部７８、システムバス７９などで構成される。
【００８７】
ＲＯＭ７２には、ＣＰＵ７１により実行されるプログラムや各種の固定データなどが格納される。
メインメモリ７３は、ＣＰＵ７１による演算処理の作業空間として用いられるメモリである。
ストレージ部７４は、ユーザデータとして、画像データなどのデータを保存するための装置である。ストレージ部７４は、より具体的には、ＨＤＤ、ＳＳＤ（Solid State Drive）などの大容量で書き換えが可能な記憶装置である。
【００８８】
ネットワークインタフェース部７５は、インターネット、ローカルエリアネットワークなどのネットワーク８０との有線または無線での接続を処理するインタフェースである。
データ入出力インタフェース部７６は、外部機器（例えば顕微鏡装置１０など）との間での各種データの入出力に用いられるインタフェース部である。
【００８９】
ディスプレイ制御部７７は、ディスプレイ部９０に出力する表示用データを生成する。
ユーザ入力インタフェース部７８は、例えば、マウス、キーボード、コントローラなどのユーザの入力装置９１からの入力を処理する。
【００９０】
ＣＰＵ７１（Central Processing Unit）は、ＲＯＭ７２に記憶されたプログラムにしたがって、各種の制御や演算処理を行うことが可能である。
【００９１】
なお、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００９２】
＜変形例＞
サーバ装置は、一台であるとは限らない。複数台のサーバ装置で処理を分散してもよい。また、サーバ装置に接続されるビューワ装置も複数台であってもよい。この場合、複数台のビューワ装置からサーバ装置に同じ画像閲覧リクエストを送信することで、同時に複数の観察者で同一の標本の画像を観察することができ、診断効率を高めることができる。また、複数台のビューワ装置がサーバ装置に接続される場合には、最適化リクエストを送信できる権限を管理する仕組みを導入することが望ましい。
ビューワ装置４０はコントローラ５０または表示装置６０を一体に備えるものであってもよい。
【符号の説明】
【００９３】
１０…顕微鏡装置
２０…制御装置
２２…画像圧縮部
２３…顕微鏡制御部
３０…サーバ装置
３２…画像データストレージ
３３…アノテーションストレージ
３４…画像登録部
３５…画像閲覧応答部
３６…画像最適化／削除応答部
３７…アノテーション応答部
４０…ビューワ装置
４３…画像データ取得部
４４…アノテーション取得部
４５…デコーダ
４６…表示合成部
４７…表示位置計算部
４８…アノテーション保存処理部
４９…画像最適化／削除要求部
５０…コントローラ
６０…表示装置
１００…顕微鏡システム
【図１】
0005685928.tif 000002
【図２】
0005685928.tif 000003
【図３】
0005685928.tif 000004
【図４】
0005685928.tif 000005
【図５】
0005685928.tif 000006
【図６】
0005685928.tif 000007
【図７】
0005685928.tif 000008
【図８】
0005685928.tif 000009
【図９】
0005685928.tif 000010
【図１０】
0005685928.tif 000011
【図１１】
0005685928.tif 000012
【図１２】
0005685928.tif 000013
【図１３】
0005685928.tif 000014
【図１４】
0005685928.tif 000015
【図１５】
0005685928.tif 000016
【図１６】
0005685928.tif 000017
【図１７】
0005685928.tif 000018
【図１８】
0005685928.tif 000019
【図１９】
0005685928.tif 000020
【図２０】
0005685928.tif 000021
【図２１】
0005685928.tif 000022
【図２２】
0005685928.tif 000023