(57)【要約】【課題】標本観察（スクリーニング）の負担を軽減する画像処理装置を提供する。【解決手段】標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置であって、前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、前記撮像画像から生成された前記標本の一部を拡大して表示するための拡大画像と、を取得する取得手段と、前記全体画像及び前記拡大画像を含む表示画像を生成する生成手段と、を有し、前記拡大画像は、拡大して表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であることを特徴とする画像処理装置。【選択図】図１５
2014130221.tif 000002
【特許請求の範囲】
【請求項１】
標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、前記撮像画像から生成された前記標本の一部を拡大して表示するための拡大画像と、を取得する取得手段と、
前記全体画像及び前記拡大画像を含む表示画像を生成する生成手段と、
を有し、
前記拡大画像は、拡大して表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であることを特徴とする画像処理装置。
【請求項２】
前記標本情報は、標本の幾何的重心を通り標本内を通過する長さが最も長くなる軸である長径軸又は標本の幾何的重心を通り標本内を通過する長さが最も短くなる軸である短径軸の少なくともいずれかであり、
前記拡大画像は、長径軸又は短径軸が表示画像において水平又は垂直になるように回転させた画像である請求項１に記載の画像処理装置。
【請求項３】
前記標本情報は、標本の外接矩形のうち面積が最小のものである最小外接矩形の情報であり、
前記拡大画像は、最小外接矩形の辺が表示画像において水平又は垂直になるように回転させた画像である請求項１に記載の画像処理装置。
【請求項４】
ユーザから、前記拡大画像に表示させる領域を一定の方向へスクロールさせながら標本の観察を行う場合のスクロール方向の指定を受け付ける入力手段を更に有し、
前記拡大画像の回転は、前記指定されたスクロール方向に基づいて行われる請求項２又は３に記載の画像処理装置。
【請求項５】
前記標本情報は、標本の病変が疑われる領域の情報であり、
前記拡大画像は、標本の病変が疑われる領域の標本内での位置が所定の位置になるように回転させた画像である請求項１に記載の画像処理装置。
【請求項６】
ユーザから、前記拡大画像による標本の観察を開始する場合に、標本内のどの位置から観察を開始するか、及び、標本内の正常な領域又は病変が疑われる領域のどちらから観察を開始するかの指定を受け付ける入力手段を更に有し、
前記拡大画像の回転は、前記指定された観察を開始する位置及び領域に基づいて行われる請求項５に記載の画像処理装置。
【請求項７】
ユーザから、前記拡大画像を回転させる指示を受け付ける入力手段を更に有し、
前記拡大画像の回転は、ユーザによる指示に基づいて行われる請求項１に記載の画像処理装置。
【請求項８】
前記全体画像は、前記拡大画像によって表示されている領域を示す枠の画像を含む請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記全体画像は、前記全体画像に対する前記拡大画像の傾きを示す方向指示画像を含む請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮像画像は、撮像範囲が同一で合焦位置が前記スライドに垂直の方向に異なる複数の深度画像から構成されており、
前記全体画像は、前記スライドの全体における合焦の度合が最も高い深度画像から生成された画像であり、
前記拡大画像は、前記拡大画像によって表示されている領域における合焦の度合が最も高い深度画像から生成された画像である請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記スライドには複数の標本が載置されており、
前記拡大画像の回転は、複数の標本それぞれの標本情報に基づいて行われる請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記取得手段は、前記拡大画像によって拡大して表示する標本の全体を表示するための標本画像をさらに取得し、
前記生成手段は、前記全体画像、前記拡大画像、及び前記標本画像を含む表示画像を生成し、
前記標本画像は、前記拡大画像によって表示する標本の標本情報に基づいて、前記全体画像に対して回転させた画像である請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記全体画像に対する前記標本画像の傾きと前記全体画像に対する前記拡大画像の傾きとは等しい請求項１２に記載の画像処理装置。
【請求項１４】
前記全体画像は、前記標本画像によって表示されている領域を示す枠の画像を含む請求項１２又は１３に記載の画像処理装置。
【請求項１５】
前記標本画像は、前記拡大画像によって表示されている領域を示す枠の画像を含む請求項１２〜１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記全体画像は、前記全体画像に対する前記標本画像の傾きを示す方向指示画像を含む請求項１２〜１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記撮像画像は、撮像範囲が同一で合焦位置が前記スライドに垂直の方向に異なる複数の深度画像から構成されており、
前記標本画像は、前記標本画像によって表示されている領域における合焦の度合が最も高い深度画像から生成された画像である請求項１２〜１６のいずれか１項に記載の画像処理装置。
【請求項１８】
前記スライドには複数の標本が載置されており、
前記標本画像の回転は、複数の標本それぞれの標本情報に基づいて行われる請求項１２〜１７のいずれか１項に記載の画像処理装置。
【請求項１９】
ユーザから、複数の標本のうち前記標本画像に表示させる標本を選択する指示を受け付ける入力手段を更に有し、
前記標本の選択の指示は、前記全体画像において選択する標本が存在する領域及びその周辺の所定の範囲の領域にポインタを移動させる操作により入力が可能である請求項１８に記載の画像処理装置。
【請求項２０】
前記撮像画像は、撮像範囲が同一で合焦位置が前記スライドに垂直の方向に異なる複数の深度画像に基づき、前記標本の３次元形状を再現できるように構築された３次元画像であり、
前記全体画像は、前記標本の３次元形状を３次元的に表示する画像であり、
前記拡大画像は、前記標本の３次元形状の断面を拡大して表示する画像であり、
前記拡大画像の回転は、拡大して表示する前記断面の標本情報に基づいて行われる請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項２１】
前記撮像画像は、撮像範囲が同一で合焦位置が前記スライドに垂直の方向に異なる複数の深度画像に基づき、前記標本の３次元形状を再現できるように構築された３次元画像であり、
前記全体画像は、前記標本の３次元形状を３次元的に表示する画像であり、
前記拡大画像は、前記標本の３次元形状の断面を拡大して表示する画像であり、
前記標本画像は、前記拡大画像によって表示する断面の全体の２次元形状を２次元的に表示する画像であり、
前記標本画像の回転は、前記拡大画像によって表示する断面の標本情報に基づいて行われる請求項１２〜１６のいずれか１項に記載の画像処理装置。
【請求項２２】
標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置の制御方法であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、前記撮像画像から生成された前記標本の一部を拡大して表示するための拡大画像と、を取得する取得工程と、
前記全体画像及び前記拡大画像を含む表示画像を生成する生成工程と、
を有し、
前記拡大画像は、拡大して表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であることを特徴とする画像処理装置の制御方法。
【請求項２３】
標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置の制御をコンピュータに行わせるプログラムであって、コンピュータに、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、前記撮像画像から生成された前記標本の一部を拡大して表示するための拡大画像と、を取得する取得工程と、
前記全体画像及び前記拡大画像を含む表示画像を生成する生成工程と、
を行わせ、
前記拡大画像は、拡大して表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であることを特徴とするプログラム。
【請求項２４】
請求項１〜２１のいずれか１項に記載の画像処理装置と、撮像装置と、表示装置と、から構成される画像処理システムであって、
前記画像処理装置は、前記撮像装置から前記撮像画像を取得し、前記表示装置へ前記表示画像を出力する画像処理システム。
【請求項２５】
複数の標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、複数の標本のうち選択された一の標本の全体を表示するための標本画像と、前記標本画像によって表示される標本の一部を拡大して表示するための拡大画像と、を取得する取得手段と、
前記全体画像、前記標本画像、及び前記拡大画像を含む表示画像を生成する生成手段と、
を有し、
前記標本画像は、前記標本画像によって表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であり、前記拡大画像は、前記標本画像に対して
回転していない画像であることを特徴とする画像処理装置。
【請求項２６】
複数の標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置の制御方法であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、複数の標本のうち選択された一の標本の全体を表示するための標本画像と、前記標本画像によって表示される標本の一部を拡大して表示するための拡大画像と、を取得する取得工程と、
前記全体画像、前記標本画像、及び前記拡大画像を含む表示画像を生成する生成工程と、
を有し、
前記標本画像は、前記標本画像によって表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であり、前記拡大画像は、前記標本画像に対して回転していない画像であることを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、画像処理システム、及びプログラムに関する。
【背景技術】
【０００２】
プレパラート上の試料をデジタル顕微鏡で撮像することでバーチャルスライド画像を取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている（特許文献１）。
【０００３】
また、大容量の画像データであっても、縮小画像及び拡大画像を効率良く表示する画像提示技術が知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１１８１０７号公報
【特許文献２】特開２０１１−１７０４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１で示されたバーチャル・スライドシステムにおいて、スライド上の標本が複数ある場合に、標本の見落としに注意しながら個別標本毎にスクリーニングを行う必要があり、標本観察の負担が大きいという課題がある。
【０００６】
特許文献２で示された表示技術は、個別標本の見落としリスクを軽減できるが、個別標本におけるスクリーニング負担を軽減するものではない。
【０００７】
そこで、本発明は、スライド上に標本が複数ある場合に、標本観察（スクリーニング）の負担を軽減できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、前記撮像画像から生成された前記標本の一部を拡大して表示するための拡大画像と、を取得する取得手段と、
前記全体画像及び前記拡大画像を含む表示画像を生成する生成手段と、
を有し、
前記拡大画像は、拡大して表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であることを特徴とする画像処理装置である。
【０００９】
本発明は、標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置の制御方法であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、前記撮像画像から生成された前記標本の一部を拡大して表示するための拡大画像と、を取得する取得工程と、
前記全体画像及び前記拡大画像を含む表示画像を生成する生成工程と、
を有し、
前記拡大画像は、拡大して表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であることを特徴とする画像処理装置の制御方法である。
【００１０】
本発明は、標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置の制御をコンピュータに行わせるプログラムであって、コンピュータに、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、前記撮像画像から生成された前記標本の一部を拡大して表示するための拡大画像と、を取得する取得工程と、
前記全体画像及び前記拡大画像を含む表示画像を生成する生成工程と、
を行わせ、
前記拡大画像は、拡大して表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であることを特徴とするプログラムである。
【００１１】
本発明は、複数の標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、複数の標本のうち選択された一の標本の全体を表示するための標本画像と、前記標本画像によって表示される標本の一部を拡大して表示するための拡大画像と、を取得する取得手段と、
前記全体画像、前記標本画像、及び前記拡大画像を含む表示画像を生成する生成手段と、
を有し、
前記標本画像は、前記標本画像によって表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であり、前記拡大画像は、前記標本画像に対して回転していない画像であることを特徴とする画像処理装置である。
【００１２】
本発明は、複数の標本が載置されたスライドを撮像装置によって撮像して得られた撮像画像を表示装置によって表示するための表示画像を生成する画像処理装置の制御方法であって、
前記撮像画像から生成された前記スライドの全体を表示するための全体画像と、複数の標本のうち選択された一の標本の全体を表示するための標本画像と、前記標本画像によって表示される標本の一部を拡大して表示するための拡大画像と、を取得する取得工程と、
前記全体画像、前記標本画像、及び前記拡大画像を含む表示画像を生成する生成工程と、
を有し、
前記標本画像は、前記標本画像によって表示する標本の特徴を示す標本情報に基づいて、前記全体画像に対して回転させた画像であり、前記拡大画像は、前記標本画像に対して回転していない画像であることを特徴とする画像処理装置の制御方法である。
【発明の効果】
【００１３】
本発明によれば、スライド上の標本が複数ある場合に、標本観察（スクリーニング）の負担を軽減することができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理システムの装置構成を示す図
【図２】撮像装置の機能ブロック図
【図３】画像処理装置のハードウェア構成図
【図４】画像処理装置の制御部の機能ブロック図
【図５】階層画像データの構造を示す模式図
【図６】複数の標本が載置されたスライドを示す模式図
【図７】画像提示アプリケーションの画面例
【図８】画像提示アプリケーションにおける画像提示方法の設定を説明する模式図
【図９】標本情報（形状）に基づく画像回転と提示画像を説明する模式図
【図１０】標本情報（形状）に基づく画像回転を説明するフローチャート
【図１１】標本情報（性状）に基づく画像回転と提示画像を説明する模式図
【図１２】標本情報（性状）に基づく画像回転を説明するフローチャート
【図１３】最小外接矩形領域に基づく画像回転と提示画像を説明する模式図
【図１４】最小外接矩形領域に基づく画像回転を説明するフローチャート
【図１５】画像提示アプリケーションの画面例
【図１６】第３の画像における個別標本の指定処理を説明する模式図
【図１７】観察エリアの移動を説明する模式図
【図１８】深度構造を追加した階層画像データを説明する模式図
【図１９】立体標本を説明する模式図
【図２０】立体標本の撮像を説明する模式図
【図２１】立体標本の主断面を説明する模式図
【図２２】画像提示アプリケーションの画面例
【図２３】立体標本の主断面画像生成を説明するフローチャート
【図２４】画像提示アプリケーションの画面例
【発明を実施するための形態】
【００１５】
（実施例１）
以下、図面を参照しながら本発明の実施例を説明する。
【００１６】
（画像処理システムの装置構成）
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図１を用いて説明する。
【００１７】
図１は、本発明の画像処理装置を用いた画像処理システムを示す図であり、撮像装置（デジタル顕微鏡装置、又はバーチャル・スライド・スキャナ）１０１、画像処理装置１０２、表示装置１０３、データサーバ１０４から構成さる。このシステムは、撮像対象となる標本の２次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用又は汎用Ｉ／Ｆのケーブル１０５で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０６で接続される。データサーバ１０４と画像処理装置１０２との間は、ネットワーク１０７を介して、汎用Ｉ／ＦのＬＡＮケーブル１０８で接続される。
【００１８】
撮像装置１０１は、２次元の平面方向の異なる複数の位置で撮像を行って複数枚の２次元画像のデジタル画像データを出力する機能を持つバーチャル・スライド・スキャナである。２次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary
Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、バーチャル・スライド・スキャナの代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。
【００１９】
画像処理装置１０２は、ユーザからの要求に応じて、撮像装置１０１から取得した複数枚の原画像（撮像画像）データから、表示装置１０３に表示させる画像のデータ（表示データ）を生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（central processing unit；中央演算処理装置）、ＲＡＭ（Random Access Memory）、記憶装置、操
作部、各種Ｉ／Ｆ等のハードウェア資源を備える。画像処理装置１０２は、汎用のコンピュータやワークステーションで構成される。記憶装置は、例えば、ハードディスクドライブ等の大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ
、ＯＳ（オペレーティングシステム）等が格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラム及びデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウス等により構成され、ユーザが各種の指示を画像処理装置１０２へ入力するために利用される。
【００２０】
表示装置１０３は、画像処理装置１０２が生成した表示データに基づく画像（観察用画像）を表示するディスプレイであり、ＣＲＴ（cathode-ray tube）や液晶ディスプレイ等により構成される。
【００２１】
データサーバ１０４は、ユーザが標本を診断する際の指針となる診断基準情報（診断基準に関わるデータ）が格納されているサーバである。診断基準情報は病理診断の現状に合わせて、随時、更新される。データサーバ１０４は、その診断基準情報の更新に合わせて、その格納内容を更新する。診断基準情報については図８を用いて後述する。
【００２２】
図１では、撮像装置１０１、画像処理装置１０２、表示装置１０３とデータサーバ１０４の４つの装置によるシステム構成の例を示したが、本発明の画像処理システムの構成はこの例に限定されるものではない。例えば、画像処理装置と表示装置とは一体構成の装置であっても良いし、画像処理装置の機能を撮像装置に組み込んでも良い。また撮像装置、画像処理装置、表示装置、データサーバの機能を全て有する１つの装置によるシステム構成であっても良い。また逆に、画像処理装置等の各機能がそれぞれ別個の装置によって実現され、画像処理装置等が複数の装置によって構成されても良い。
【００２３】
（撮像装置の機能構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。
【００２４】
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、外部装置Ｉ／Ｆ２２２から構成される。
【００２５】
照明ユニット２０１は、ステージ２０２上に配置されたスライド２０６に対して均一に光を照射する手段であり、光源、照明光学系、及び光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの３軸方向への移動が可能である。スライド２０６は、観察対象となる組織の切片や塗抹した細胞をスライドガラス上に貼り付け、封入剤とともにカバーガラスの下に固定した部材である。
【００２６】
ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量等は、プレ計測ユニット２２０によって計測した標本の位置情報及び厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。
【００２７】
結像光学系２０７は、スライド２０６の標本の光学像を撮像センサ２０８へ結像するためのレンズ群である。
【００２８】
撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元又は２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。撮像センサが１次元センサにより構成される場合、主走査方向へ電気的にスキャンするとともに、副走査方向へステージ２０２を移動させることで２次元画像が
得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像によりカラー画像を取得する場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いれば良い。撮像ユニット２１０は、ステージ２０２をＸＹ軸方向に駆動させることにより、標本の分割画像を撮像する。
【００２９】
ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Correlated Double Sampling）、アンプ、ＡＤ変換器及びタイミングジェネレータによって構成される。
Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号及び水平同期信号を、センサ駆動に必要な電位に変換する。
ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。
アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。
ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置１０１が最終的に出力するデータの精度が８ビットの場合、後段（現像処理ユニット２１９等）での処理の精度を確保するために、ＡＤ変換器がアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力しても良い。このようにして撮像センサによる出力信号を変換して得られるデータはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。
タイミングジェネレータは、撮像センサ２０８の動作タイミング及び後段の現像処理ユニット２１９の動作タイミングを調整する信号を生成する。
【００３０】
撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサを用いる場合は、上記ＡＦＥ２０９の機能はセンサが有することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、シャッタースピード、フレームレートやＲＯＩ（Region Of Interest）等の撮像センサ２０８の動作やタイミングの制御を行う。
【００３１】
現像処理ユニット２１９は、黒補正部２１１、デモザイキング処理部２１２、ホワイトバランス調整部２１３、画像合成処理部２１４、フィルタ処理部２１６、γ補正部２１７及び圧縮処理部２１８から構成される。
【００３２】
黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。
【００３３】
デモザイキング処理部２１２は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１２は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部２１２は、欠陥画素の補正処理（補間処理）も実行する。
なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となり、デモザイキング処理部２１２は欠陥画素の補正処理を実行する。
【００３４】
ホワイトバランス調整部２１３は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。
【００３５】
本実施例の撮像装置１０１では、撮像センサ２０８による１回の撮像で画像取得可能な大きさの小領域によって撮像領域（スライドの存在範囲）を分割し、小領域毎に撮像を行
う。画像合成処理部２１４は、このような分割撮像により取得した複数の画像をつなぎ合わせて撮像領域全体（スライド全体）が写った大容量画像データを生成する処理を行う。本実施例では、イメージセンサによって１回の撮像で画像取得できる領域の大きさより撮像領域全体の大きさの方が広いことを想定している。そのため、分割撮像により得られた複数の画像をつなぎ合わせる処理を行うことによって、撮像領域全体（スライド全体）が写った１枚の２次元画像のデータを生成する。
【００３６】
例えば、０．２５μｍの分解能でスライド２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍ＝４万画素となり、トータルの画素数はその自乗である１６億画素となる。撮像センサ２０８の画素数を１０Ｍ（１０００万）とすると、１６億画素の画像データを取得するには、撮像対象（スライド）の全範囲を１６億／１０００万＝１６０個に分割して撮像を行う必要がある。
【００３７】
なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点又は線を用いてつなぐ方法、分割画像の位置情報に基づいてつなぐ方法等がある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施例では、撮像装置１０１が１枚の大容量画像データを生成する構成を説明するが、画像処理装置１０２が、撮像装置１０１による分割撮像により取得された分割画像をつなぎ合わせる処理を実行して1枚の大容量画像データを生成する構成でも良い。
【００３８】
フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調等の処理を行うデジタルフィルタである。
【００３９】
γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施例では、形態学的観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。
【００４０】
圧縮処理部２１８は、大容量の２次元画像データの伝送の効率化及び保存する際の容量削減を目的として行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ  ＸＲ等の規格化された符号化方式が広く一般に知られている。また、２次元画像データの縮小処理を実行し、階層画像データを生成する。階層画像データについては図５で説明する。
【００４１】
プレ計測ユニット２２０は、スライド２０６上の標本の位置情報の取得、所望の焦点位置までの距離情報の取得、及び標本厚みに応じた光量調整用のパラメータの算出等を行うための計測を行うユニットである。この計測は、バーチャルスライド画像取得のための撮像（本計測）の前に行う事前計測である。本計測の前にプレ計測ユニット２２０によって撮像対象（スライド）の情報を取得することで、効率的な撮像を実施することが可能となる。２次元平面の位置情報取得には、撮像センサ２０８より解像力の低い２次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から標本のＸＹ平面上での位置情報を取得する。距離情報及び厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。
【００４２】
メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う。メイン制御系２２１及び現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭ（read-only memory）とＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラム及びデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行する
ことで、メイン制御系２２１及び現像処理ユニット２１９の機能が実現される。
【００４３】
ＲＯＭには例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）やフラッシュメモリ等のデバイスが用いられる。ＲＡＭには例えばＤＤＲ３
等のＤＲＡＭ（dynamic RAM）デバイスが用いられる。なお、現像処理ユニット２１９の
機能を専用のハードウェアデバイスとしてＡＳＩＣ（application specific integrated circuits）化したもので置き換えても良い。
【００４４】
外部装置Ｉ／Ｆ２２２は、現像処理ユニット２１９によって生成された階層画像データを画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信ケーブルにより接続される。あるいは、撮像装置１０１と画像処理装置１０２との接続には、ＵＳＢやGigabit Ethernet（登録商標）等の汎用インターフェースが使用される。
【００４５】
（画像処理装置のハードウェア構成）
図３は、本発明の画像処理装置１０２のハードウェア構成を示すブロック図である。
【００４６】
画像処理を行う装置として、例えばＰＣ（Personal Computer）が用いられる。ＰＣは
、制御部３０１、メインメモリ３０２、サブメモリ３０３、グラフィックスボード３０４、これらを互いに接続する内部バス３０５、ＬＡＮ  Ｉ／Ｆ３０６、記憶装置Ｉ／Ｆ３０７、外部装置Ｉ／Ｆ３０９、操作Ｉ／Ｆ３１０、入出力Ｉ／Ｆ３１３を備える。
【００４７】
制御部３０１は、必要に応じてメインメモリ３０２、サブメモリ３０３等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。
【００４８】
メインメモリ３０２及びサブメモリ３０３はＲＡＭにより構成される。メインメモリ３０２は、制御部３０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、表示データの生成等処理の対象となる各種データを一時的に保持する。また、メインメモリ３０２及びサブメモリ３０３は、画像データの格納領域としても用いられる。制御部３０１のＤＭＡ（Direct Memory Access）機能により、メインメモリ３０２とサブメモリ３０３の間、サブメモリ３０３とグラフィックスボード３０４の間の画像データの高速転送が実現される。
【００４９】
グラフィックスボード３０４は、表示装置１０３に画像処理結果を出力する。表示装置１０３は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスである。本実施例では、表示装置１０３は、外部装置として画像処理装置１０２に接続される構成を例示するが、画像処理装置と表示装置とを一体構成としても良い。例えばノートＰＣ等によりこのような構成が可能である。
【００５０】
入出力Ｉ／Ｆ３１３には、ＬＡＮ  Ｉ／Ｆ３０６を介してデータサーバ１０４が、記憶装置Ｉ／Ｆを介して記憶装置３０８が、外部装置Ｉ／Ｆ３０９を介して撮像装置１０１が、操作Ｉ／Ｆ３１０を介してキーボード３１１やマウス３１２がそれぞれ接続される。撮像装置１０１は、例えば、バーチャル・スライド・スキャナやデジタル顕微鏡装置である。
【００５１】
記憶装置３０８は、制御部３０１に実行させるＯＳ、プログラムや各種パラメータ等をファームウェアとして固定的に記憶する補助記憶装置であり、記憶装置Ｉ／Ｆ３０７を介してこれらのデータや情報が読み出し可能である。また、記憶装置３０８は、撮像装置１０１から送られてきた階層画像データの格納領域としても用いられる。記憶装置３０８としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の磁気ディスクド
ライブ又はＦｌａｓｈメモリを用いた半導体デバイスが用いられる。
【００５２】
操作Ｉ／Ｆ３１０と接続される入力デバイスとしてキーボード３１１やマウス３１２等のポインティングデバイスを例示したが、タッチパネル等、表示装置１０３の画面そのものが入力デバイスとなる構成を取ることも可能である。その場合、入力デバイスとしてのタッチパネルは表示装置１０３と一体構成となる。
【００５３】
（画像処理装置の制御部の機能ブロック構成）
図４は、本発明の画像処理装置１０２の制御部３０１の機能構成を示すブロック図である。
【００５４】
制御部３０１は、ユーザ入力情報取得部４０１、画像データ取得制御部４０２、階層画像データ取得部４０３、表示データ生成制御部４０４、表示候補画像データ取得部４０５、表示候補画像データ生成部４０６、表示画像データ転送部４０７から構成される。
【００５５】
ユーザ入力情報取得部４０１は、ユーザがキーボード３１１やマウス３１２を用いて入力した画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小等の指示内容を操作Ｉ／Ｆ３１０を介して取得する。
【００５６】
画像データ取得制御部４０２は、ユーザ入力情報に基づいて、記憶装置３０８からの画像データの読み出しとメインメモリ３０２への画像データの展開を制御する。画像データ取得制御部４０２は、画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小等の各種ユーザ入力情報に基づいて、表示領域（表示装置に実際に表示される画像領域）の変化を予測する。そして、表示領域の画像の生成に画像データが必要となる画像領域（第１表示候補領域）を特定する。
【００５７】
メインメモリ３０２が第１表示候補領域の画像データを保持していなければ、画像データ取得制御部４０２は、階層画像データ取得部４０３に対して、第１表示候補領域の画像データの記憶装置３０８からの読み出しとメインメモリ３０２への展開を指示する。記憶装置３０８からの画像データの読み出しは時間を要する処理のため、第１表示候補領域をできるだけ広範囲として、この処理にかかるオーバーヘッドを抑制することが望ましい。
【００５８】
階層画像データ取得部４０３は、画像データ取得制御部４０２の制御指示に従って、記憶装置３０８からの画像データの読み出しと、メインメモリ３０２への展開を行う。
【００５９】
表示データ生成制御部４０４は、ユーザ入力情報に基づいて、メインメモリ３０２からの画像データの読み出しとその画像データの処理方法、グラフィックスボード３０４への画像データの転送を制御する。表示データ生成制御部４０４は、画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小等の各種ユーザ入力情報に基づいて、表示領域の変化を予測する。そして、表示領域の画像の生成に画像データが必要となる画像領域（第２表示候補領域）と、実際に表示装置１０３に表示する画像領域（表示領域）を特定する。
【００６０】
サブメモリ３０３が第２表示候補領域の画像データを保持していなければ、表示データ生成制御部４０４は、表示候補画像データ取得部４０５に対して、第２表示候補領域の画像データのメインメモリ３０２からの読み出しを指示する。さらに、表示データ生成制御部４０４は、表示候補画像データ生成部４０６に対して、スクロール要求に対する画像データの処理方法を指示する。
【００６１】
また、表示データ生成制御部４０４は、表示画像データ転送部４０７に対して、表示領
域の画像データのサブメモリ３０３からの読み出しを指示する。記憶装置３０８からの画像データの読み出しと比較すると、メインメモリ３０２からの読み出しは高速に実行できる。そのため、第１表示候補領域と比較して第２表示候補領域は狭い範囲としても良い。すなわち、上記の第１表示候補領域、第２表示候補領域、及び表示領域の広さの大小関係は、第１表示候補領域≧第２表示候補領域≧表示領域となる。
【００６２】
表示候補画像データ取得部４０５は、表示データ生成制御部４０４の制御指示に従って、メインメモリ３０２からの第２表示候補領域の画像データの読み出しを実行し、表示候補画像データ生成部４０６に転送する。
【００６３】
表示候補画像データ生成部４０６は、圧縮画像データである表示候補領域の画像データの伸長処理を実行し、サブメモリ３０３への展開を行う。
【００６４】
表示画像データ転送部４０７は、表示データ生成制御部４０４の制御指示に従って、サブメモリ３０３からの表示領域の画像データの読み出しを実行し、グラフィックスボード３０４に転送する。ＤＭＡ機能により、サブメモリ３０３とグラフィックスボード３０４間の高速画像データ転送が実現される。
【００６５】
（階層画像データの構造）
図５は、階層画像データの構造を示す模式図である。ここでは、階層画像データは、解像度（画素数）の違う４階層の画像データ、すなわち、第１階層画像５０１、第２階層画像５０２、第３階層画像５０３、第４階層画像５０４により構成されているものとする。階層の数はこの例に限られない。標本５０５は、観察対象となる組織の切片や塗抹した細胞である。図では、階層構造をイメージし易いように、同一の標本５０５の各階層画像での大きさを示している。
【００６６】
第１階層画像５０１が最も低解像度の画像であり、サムネイル画像等に用いられる。第２階層画像５０２、第３階層画像５０３は中程度の解像度の画像であり、バーチャルスライド画像の広域観察等に用いられる。第４階層画像５０４は最も高解像度の画像であり、バーチャルスライド画像を詳細に観察するときに用いられる。
【００６７】
各階層の画像は、幾つかの圧縮画像ブロックが集まって構成される。圧縮画像ブロックは、例えばＪＰＥＧ圧縮形式の場合には、１つのＪＰＥＧ画像である。ここでは、第１階層画像５０１は圧縮画像１ブロックから、第２階層画像５０２は圧縮画像４ブロックから、第３階層画像５０３は圧縮画像１６ブロックから、第４階層画像５０４は圧縮画像６４ブロックから構成されている。
【００６８】
画像の解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第１階層画像５０１を表示装置に表示させて観察することは低倍での顕微鏡観察に相当し、第４階層画像５０４を表示装置に表示させて観察することは高倍での顕微鏡観察に相当する。例えば、ユーザが標本について詳細観察したい場合には、第４階層画像５０４を表示装置に表示させて観察すれば良い。
【００６９】
（スライド）
図６は、複数の標本が載置されたスライドを示す模式図である。スライド２０６は、複数の標本をスライドガラス上に貼り付け、封入剤とともにカバーガラスの下に固定した部材である。スライド２０６の端には、標本の識別情報を示すラベル６０１がある。ラベル６０１には、患者識別のための識別番号、胃、肝臓、大腸、小腸等の標本の部位、スライドを作成した施設名、所見の参考となるコメント、等が記される。
【００７０】
ここでは、スライド２０６に９つの標本が貼り付けられており、個別標本６０２はその内の一つを示している。胃や肝臓の生検（生体組織診断）等では、図６に示すように複数の標本が１つのスライドに載置されることがある。なお、本発明は、１つのスライドに複数の標本が存在する場合に限って適用されるものではなく、１つのスライドに１つの標本が存在する場合にも適用可能であり、いずれの場合においても優れた効果（後述）を奏する。
【００７１】
（画像提示アプリケーションの画面例）
図７は、バーチャルスライド画像を提示するアプリケーションの画面の一例を示す図である。画像提示アプリケーションのプログラムは、画像処理装置１０２の記憶装置３０８に記憶されており、制御部３０１がプログラムを記憶装置３０８から読み込んでメモリに展開し、実行することにより、画像提示アプリケーションの機能が実現される。画像提示アプリケーションにより、記憶装置３０８から読み込んだ階層画像データやＧＵＩデータを用いて画像提示のための表示データが生成され、表示データがグラフィックスボード３０４から表示装置１０３へ出力される。これにより、表示装置１０３において画像提示のためのアプリケーション画面が表示される。なお、画像提示アプリケーションの実行方法は上記の例に限らない。
【００７２】
例えば、画像提示アプリケーションの機能を実行する専用のハードウェアを画像処理装置１０２が備えていても良い。また、そのようなハードウェアが実装された機能拡張ボードを画像処理装置１０２に装着することによって画像処理装置１０２が画像提示アプリケーションを実行する機能を有するようになる構成でも良い。また、画像提示アプリケーションは外部記憶装置から提供される場合に限らず、ネットワーク経由でダウンロードにより提供される形態でも良い。
【００７３】
図７（ａ）は、表示装置１０３の画面に表示されるアプリケーション画面の全体構成を示す。アプリケーション画面は、第１の画像７０１、第２の画像７０２、第３の画像７０３のそれぞれを表示する３つのウィンドウから構成される。
【００７４】
図７（ｂ）は、第２の画像７０２が表示されるウィンドウを示す図である。第２の画像７０２は、スライド２０６のラベル６０１以外の領域を撮像して得られた画像（スライド画像）である。スライド２０６に複数の標本が存在する場合、第２の画像７０２が表示されるウィンドウにおいて、ユーザは、スライドに貼り付けられた全ての標本を確認することができる。第２の画像７０２が表示されるウィンドウでは、ユーザは第２の画像７０２に写っている複数の標本から１つの標本（個別標本）を選択することができ、図７（ｂ）に示す例では個別標本６０２が選択されている。選択された個別標本は標本指定枠７０４で明示される。第２の画像７０２が表示されるウィンドウにおける個別標本の選択のための処理については後述する（図１６参照）。
【００７５】
図７（ｃ）は、第３の画像７０３が表示されるウィンドウを示す図である。第３の画像７０３は、第２の画像７０２で選択された個別標本６０２を拡大した画像（個別標本画像）である。第３の画像７０３が表示されるウィンドウでは、ユーザは個別標本６０２のうち第１の画像７０１において拡大表示したい領域を指定することができ、指定された領域（拡大領域）は拡大領域指定枠７０５で明示される。
【００７６】
図７（ａ）の第１の画像７０１が表示されるウィンドウには、第２の画像７０２を表示するウィンドウ、第３の画像７０３を表示するウィンドウ、及び拡大倍率の情報７０６が重畳して表示される。第１の画像７０１は、第２の画像７０２で選択された個別標本６０２のうち、第３の画像７０３の拡大領域指定枠７０５で指定される領域を拡大した画像（拡大画像）であり、標本の詳細観察に用いられる。
【００７７】
第２の画像７０２と第３の画像７０３が互いに親画像及び子画像に対応する第１の拡大縮小関係、第３の画像７０３と第１の画像７０１が互いに親画像及び子画像に対応する第２の拡大縮小関係と考えることができる。このような画像提示とすることで、効率良く標本を観察することができる。本発明の画像提示のポイントは図８以降で説明する。
【００７８】
（画像提示アプリケーションの設定）
図８は、画像提示アプリケーションにおける画像提示方法の設定を説明する模式図である。
【００７９】
図８（ａ）は、表示装置１０３の画面に表示されるアプリケーション画面の全体構成を示す図であり、図７（ａ）と同様であるが、図８（ａ）では、画像提示方法の設定を説明するため、メニューバー８０１を示している。メニューバー８０１には、「ファイル」、「表示」、「ツール」、「ヘルプ」の４つのメニューがある。画像提示方法の設定は表示メニューで行う。メニュー構成は一例であり、これに限られない。
【００８０】
図８（ｂ）は、図８（ａ）の「表示」メニューを構成するメニューリスト８０２を示している。表示メニューの第１階層には、「倍率」、「深度」、「ツールバー」、「ステータス」、「イメージリスト」、「ナビゲータ」、「スライド」、及び「全画面」の８つのメニューを例として示している。
「倍率」、「深度」のメニューでは、第１の画像７０１として提示する画像の倍率や深度の情報の表示・非表示を設定する。図８（ａ）の画面例では、倍率の情報として「ｘ４０」というテキスト７０６が第１の画像７０１に重畳表示され、深度の情報は非表示となっている。
「ツールバー」のメニューでは、画像のコピーや切り出し、貼り付け等を行うツールを並べたツールバーの表示・非表示を設定する。
「ステータス」のメニューでは、画像フォーマットの情報や、画像上のマウスポインタが指し示す位置の座標情報等を表示するステータスパネルの表示・非表示を設定する。
「イメージリスト」のメニューでは、フォルダ内にある画像ファイルのリストを表示するイメージリストの表示・非表示を設定する。
「ナビゲータ」のメニューについては後述する。
「スライド」のメニューでは、プレ計測で撮像したラベルを含むスライド全体画像の表示・非表示を設定する。「全画面」のメニューでは、第１の画像７０１を表示装置１０３の画面に全画面で表示するか否かを設定する。
【００８１】
「ナビゲータ」のメニューでは、ナビゲーション画面として第２の画像７０２と第３の画像７０３の表示・非表示を設定する。「ナビゲータ」のメニューの下層には、更に、「２画面ナビ」、「１画面ナビ」、「非表示」のメニューがある。
「２画面ナビ」に設定すると、図８（ａ）の画面例のように、第１の画像７０１（拡大画像）に加えて、第２の画像７０２（スライド画像）と第３の画像７０３（個別標本画像）が表示された状態で画像提示が行われる。
「１画面ナビ」に設定すると、第１の画像７０１（拡大画像）に加えて、第２の画像７０２（スライド画像）が表示された状態で画像提示が行われる。このとき、第２の画像７０２に標本指定枠７０４は表示されず、拡大領域指定枠７０５のみが表示される構成とする。この場合、第２の画像７０２において、第１の画像７０１によって拡大表示する領域の指定を行う。なお、第２の画像７０２に標本指定枠７０４及び拡大領域指定枠７０５の両方が表示される構成としても良い。このような構成については実施例３で説明する。
「非表示」の設定では、第１の画像７０１のみ表示され、第２の画像７０２と第３の画像７０３はいずれも表示されない。
【００８２】
「２画面ナビ」のメニューの下層には、「自動回転ＯＮ」、「手動回転ＯＮ」、「回転モードＯＦＦ」の３種類の設定がある。
「自動回転ＯＮ」又は「手動回転ＯＮ」に設定すると、第１の画像（拡大画像）、第２の画像における標本指定枠、第３の画像（個別標本画像）が、個別標本の形状や性状に応じて、又はユーザの回転操作に従って、回転した状態で画像提示が行われる。「自動回転ＯＮ」及び「手動回転ＯＮ」の設定を総称して「回転モードＯＮ」とも呼ぶ。詳細は図９と図１１を参照して後述する。
「回転モードＯＦＦ」に設定すると、図７に示すように、撮像装置１０１から取得した階層画像データに対して画像回転を行わない状態で画像提示が行われる。
【００８３】
図８（ｂ）は、「表示」メニューにおいて、「ナビゲータ」、「２画面ナビ」、「自動回転ＯＮ」を選択したときのメニューのＧＵＩ（グラフィカルユーザインターフェース）の表示例を示す。「表示」メニューにおいて図８（ｂ）に示すような設定をした場合のアプリケーション画面例については、図９以降で説明する。なお、画像提示アプリケーションにおいて画像提示方法の設定を行うためのインターフェースは、上述した構成によるＧＵＩメニューに限らない。
【００８４】
（標本形状に基づく画像回転）
図９は、標本情報（形状）に基づく画像回転と画像提示を説明する模式図である。図９（ａ）は、回転モードＯＦＦの場合の画像提示例を示し、図９（ｂ）は、回転モードＯＮの場合の画像提示例を示す。
【００８５】
図９（ａ）は、回転モードＯＦＦの場合の画像提示例を示し、第２の画像７０２（回転モードＯＦＦ）が表示されるウィンドウ、第３の画像７０３（回転モードＯＦＦ）が表示されるウィンドウ、個別標本６０２を示している。
【００８６】
これに対し、回転モードＯＮの場合の画像提示では、第３の画像７０３として、個別標本６０２を回転させた画像を表示する。個別標本６０２の回転は、個別標本６０２の標本形状に基づいて行われる。図９（ａ）の第２の画像７０２及び第３の画像７０３の右側に示した個別標本６０２の図は、個別標本６０２の標本形状を示す情報の例を示す。ここでは、個別標本６０２の標本形状を示す情報として、個別標本６０２の幾何的重心９０１、長径軸９０２、短径軸９０３を用いる。長径軸とは、個別標本の幾何的重心を通り個別標本上での長さが最も長くなる軸である。また、短径軸とは、個別標本の幾何的重心を通り個別標本上での長さが最も短くなる軸である。
【００８７】
図９（ｂ）は、回転モードＯＮの場合の画像提示例を示し、第２の画像９０４（回転モードＯＮ）が表示されるウィンドウ、第３の画像９０５（回転モードＯＮ）が表示されるウィンドウ、個別標本６０２を示している。図９（ａ）と比較すると、幾何的重心９０１を中心として長径軸９０２がウィンドウ内で水平となるように、第３の画像９０５の表示において個別標本６０２を回転させている。ここでは長径軸と短径軸が直交しているため、この回転により、同時に、幾何的重心９０１を中心として短径軸９０３がウィンドウ内で垂直となるように、第３の画像９０５の表示において個別標本６０２を回転させていることにもなっている。
【００８８】
第３の画像９０５（回転モードＯＮ）は、このように個別標本６０２を回転させた画像である。第２の画像９０４（回転モードＯＮ）は、個別標本６０２の回転に合わせて標本指定枠７０４を回転させた画像である。第３の画像９０５（回転モードＯＮ）に示す拡大領域指定枠７０５は、図９（ａ）の拡大領域指定枠７０５と、枠形状は同じだが、個別標本６０２が回転しているため、枠により指定される拡大領域は、図９（ａ）と図９（ｂ）とで異なる。
【００８９】
図９（ａ）、図９（ｂ）では、個別標本６０２の長径軸と短径軸が直交する特別な場合を示したが、個別標本の形状によっては、長径軸と短径軸が直交しない場合もある。その場合、長径軸のみ又は短径軸のみに着目して個別標本を回転させても良い。例えば、長径軸がウィンドウ内で水平又は垂直になるように第３の画像において個別標本を回転させたり、短径軸がウィンドウ内で水平又は垂直になるように第３の画像において個別標本を回転させたりしても良い。
【００９０】
図９（ｃ）は、回転モードＯＮの場合の画像提示アプリケーションの画面例を示す。第１の画像９０６（回転モードＯＮ）、第２の画像９０４（回転モードＯＮ）、第３の画像９０５（回転モードＯＮ）には、図９（ｂ）に示す回転モードＯＮの場合の回転処理が反映しており、図７（ａ）の画面提示例と異なっている。図７（ａ）との相違としては、第３の画像９０５（回転モードＯＮ）では個別標本６０２が回転している点、第２の画像９０４（回転モードＯＮ）では標本指定枠７０４が回転している点である。また、図面は模式図であるため明らかではないが、図７（ａ）の第１の画像７０１と図９（ｃ）の第１の画像９０６（回転モードＯＮ）とは、拡大領域が異なる（個別標本のうち拡大されている領域が異なる）。
【００９１】
図９（ｂ）に示すように、標本形状に基づき、第１の画像と、第３の画像と、第２の画像のうち第３の画像の領域を示す枠を回転させることで、ユーザの標本観察（スクリーニング）の負担を軽減することができる。効果の具体例は後述する（図１７参照）。
【００９２】
（標本形状に基づく画像回転のフロー）
図１０は、標本情報（形状）に基づく画像回転の処理を説明するフローチャートである。このフローチャートの処理は、画像提示アプリケーションの実行主体である画像処理装置１０２の制御部３０１が実行する。
【００９３】
ステップＳ１００１では、制御部３０１は、スライド２０６に複数の標本があるか否かを判断する。このステップはプレ計測で実行される。一例として、スライド２０６作成時にラベル６０１に標本の数の情報を明記するか、電子的に書き込む等しておき、プレ計測でラベル６０１の情報の読み込みと標本の数の情報の取得が行われる。
【００９４】
標本の数の情報は、撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から標本の数の情報を取得し、その情報に基づき、スライド２０６に複数の標本があるか否かの判断を行う。
【００９５】
或いは、プレ計測で撮像によって得られたスライド２０６の画像が撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持されるようにしても良い。この場合、画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置からスライド２０６の画像を取得し、画像処理で標本の数を判断することもできる。
【００９６】
ステップＳ１００２では、制御部３０１は、画像提示アプリケーションにおける画像提示方法の設定が自動回転ＯＮかどうかを判断する。自動回転ＯＮの設定は、図８で説明した表示メニューでユーザが実行する。ユーザが、キーボード３１１やマウス３１２を用いて画像提示アプリケーションのＧＵＩを操作することにより、当該操作に応じた指示が操作Ｉ／Ｆ３１０を介して画像処理装置１０２に入力される。
【００９７】
画像提示アプリケーションを実行する制御部３０１は、当該指示の入力を受けて、画像
提示方法における回転モードの設定を行い、当該設定に応じたアプリケーション画面の描画処理を行う。現在の画像提示アプリケーションの画像提示方法の設定情報は、メインメモリ３０２やサブメモリ３０３に格納され、制御部３０１は、これらのメモリに格納された情報に基づき、画像提示方法の設定についての判断を行うことができる。
【００９８】
ステップＳ１００３では、制御部３０１は、ユーザによる個別標本の選択の指示を受け付け、ユーザにより選択された個別標本の情報を取得する。具体的には、ユーザが、アプリケーション画面の第２の画像が表示されたウィンドウにおいて、キーボード３１１やマウス３１２を用いて、観察したい個別標本を選択する操作を行う。すると、当該操作に応じていずれかの個別標本を選択する指示が操作Ｉ／Ｆ３１０を介して画像処理装置１０２に入力される。図９（ｂ）は、第２の画像９０４を用いて、観察したい個別標本６０２をユーザが選択した例である。個別標本の選択の処理については後述する（図１６参照）。
【００９９】
ステップＳ１００４では、制御部３０１は、ステップＳ１００３で選択された個別標本の幾何的重心位置の情報を取得する。個別標本それぞれの幾何的重心位置は、予めプレ計測時に算出されており、その情報は撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から幾何的重心位置の情報を取得する。
【０１００】
ステップＳ１００５では、制御部３０１は、ステップＳ１００３で選択された個別標本の長径軸の情報を取得する。個別標本それぞれの長径軸は、予めプレ計測時に算出されており、その情報は撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から個別標本の長径軸の情報を取得する。図９で説明したように、ステップＳ１００５で取得する個別標本の形状に関する情報は、長径軸の情報に限らず、短径軸の情報でも良いし、両方でも良い。
【０１０１】
ステップＳ１００６では、制御部３０１は、ステップＳ１００４で取得した幾何的重心位置の情報と、ステップＳ１００５で取得された長径軸の情報から、個別標本の回転角度を算出する。個別標本の回転角度は、図９（ｂ）に示すように、長径軸がウィンドウ内で水平となる角度とする。
【０１０２】
ステップＳ１００７では、制御部３０１は、第２の画像における標本指定枠の描画処理と、第３の画像における個別標本の回転処理を行い、その処理結果を反映させた画像の提示処理を行う。また、制御部３０１は、第３の画像における拡大領域指定枠により指定される領域の拡大画像を第１の画像として提示するための処理を行う。すなわち、制御部３０１は、第３の画像における拡大領域指定枠により指定される領域の画像データを読み込み、ステップＳ１００６で取得した回転角度に応じて回転処理を施し、第１の画像を生成する処理を行う。図９（ｂ）には、回転処理後の第２の画像、及び、回転された標本指定枠を含む第３の画像が示されており、図９（ｃ）には、回転処理後の第３の画像で拡大領域指定枠により指定される領域の拡大画像である第１の画像が示されている。
【０１０３】
第１の画像は、図５の第４階層画像に相当し、最も高解像度の画像である。そのため、ステップＳ１００７において第１の画像を生成する際の画像の回転処理は、高解像度の画像に対する回転処理であり、高負荷処理が要求される。そのため、ステップＳ１００３において個別標本が選択されてから当該個別標本の画像についてステップＳ１００４〜ステップＳ１００７の処理を実行するのではなく、予め各個別標本についてこれらの処理を実行しておく。そして、回転処理された画像を記憶装置３０８に保持する形態が好ましい。各個別標本についてステップＳ１００４〜ステップＳ１００７の処理を実行するタイミングは、例えば、撮像直後のタイミングとする。この場合、処理は、撮像装置１０１で実行
しても良いし、画像処理装置１０２で実行しても良い。
【０１０４】
（標本性状に基づく画像回転）
図１１は、標本情報（性状）に基づく画像回転と画像提示を説明する模式図である。標本の性状とは、本実施例では、特定の病変に対応する特徴的な標本の性質をいう。例えば癌が疑われる領域における標本の特徴的な性質としては、核の巨大化や細胞配列の乱れ等がある。標本性状に基づく画像処理とは、標本におけるこのような特徴的な性質を呈する領域の情報（位置、形状等）に基づいて回転等の画像処理を行うことをいう。図１１（ａ）は、回転モードＯＦＦの場合の画像提示例を示し、図１１（ｂ）は、回転モードＯＮの場合の画像提示例を示す。
【０１０５】
図１１（ａ）は、回転モードＯＦＦの場合の画像提示例を示し、第２の画像７０２（回転モードＯＦＦ）が表示されるウィンドウ、第３の画像７０３（回転モードＯＦＦ）が表示されるウィンドウ、個別標本６０２を示している。
【０１０６】
これに対し、回転モードＯＮの場合の画像提示では、第３の画像７０３として、個別標本６０２を回転させた画像を表示する。個別標本６０２の回転は、個別標本６０２の標本性状に基づいて行われる。図１１（ａ）の第２の画像７０２及び第３の画像７０３の右側に示した個別標本６０２の図は、個別標本６０２の標本性状を示す情報の例を示す。ここでは、個別標本６０２の標本性状を示す情報として、個別標本６０２の疑癌領域１１０１の位置を用いる。疑癌領域とは、標本において癌が疑われる領域である。
【０１０７】
図１１（ｂ）は、回転モードＯＮの場合の画像提示例を示し、第２の画像１１０２（回転モードＯＮ）が表示されるウィンドウ、第３の画像１１０３（回転モードＯＮ）が表示されるウィンドウ、個別標本６０２を示している。図１１（ａ）と比較すると、疑癌領域１１０１がウィンドウ内の左上の位置にくるように、第３の画像１１０３の表示において個別標本６０２を回転させている。第３の画像１１０３（回転モードＯＮ）は、このように個別標本６０２を回転させた画像である。第２の画像１１０２（回転モードＯＮ）は、個別標本６０２の回転に合わせて標本指定枠７０４を回転させた画像である。第３の画像１１０３（回転モードＯＮ）に示す拡大領域指定枠７０５は、図１１（ａ）の拡大領域指定枠７０５と、枠形状は同じだが、個別標本６０２が回転しているため、枠により指定される拡大領域の位置は図１１（ａ）と図１１（ｂ）とで異なる。
【０１０８】
図１１（ａ）、図１１（ｂ）では、個別標本６０２の疑癌領域に着目して画像の回転処理を行う例を示したが、癌に限らず、何らかの病変が疑われる領域に着目して画像の回転処理を行っても良い。
【０１０９】
図１１（ｃ）は、回転モードＯＮの場合の画像提示アプリケーションの画面例を示す。第１の画像１１０４（回転モードＯＮ）、第２の画像１１０２（回転モードＯＮ）、第３の画像１１０３（回転モードＯＮ）には、図１１（ｂ）に示す回転モードＯＮ場合の回転処理が反映しており、図７（ａ）の画面提示例と異なっている。図７（ａ）との相違としては、第３の画像１１０３（回転モードＯＮ）では個別標本６０２が回転している点、第２の画像１１０２（回転モードＯＮ）では標本指定枠７０４が回転している点である。また、図面は模式図であるため明らかではないが、図７（ａ）の第１の画像７０１と図１１（ｃ）の第１の画像１１０４（回転モードＯＮ）とは、拡大領域が異なる（個別標本のうち拡大されている領域が異なる）。
【０１１０】
図１１（ｂ）に示すように、標本性状に基づき、第１の画像と、第３の画像と、第２の画像のうち第３の画像の領域を示す枠を回転させることで、ユーザの標本観察（スクリーニング）の負担を軽減することができる。効果の具体例は後述する（図１７参照）。
【０１１１】
（標本性状に基づく画像回転のフロー）
図１２は、標本情報（性状）に基づく画像回転の処理を説明するフローチャートである。以下では、標本における疑癌領域の位置に基づいて個別標本の画像の回転を行う場合を例に説明するが、これは標本性状に基づく画像処理の一例であり、本発明をこれに限定する趣旨ではない。図１２のフローチャートで示す処理は、画像提示アプリケーションの実行主体である画像処理装置１０２の制御部３０１が実行する。
【０１１２】
ステップＳ１２０１では、制御部３０１は、スライド２０６に複数の標本があるか否かを判断する。このステップはプレ計測で実行される。一例として、スライド２０６作成時にラベル６０１に標本の数の情報を明記するか、電子的に書き込む等しておき、プレ計測でラベル６０１の情報の読み込みと標本の数の情報の取得が行われる。
【０１１３】
標本の数の情報は、撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から標本の数の情報を取得し、その情報に基づき、スライド２０６に複数の標本があるか否かの判断を行う。
【０１１４】
或いは、プレ計測で撮像によって得られたスライド２０６の画像が撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持されるようにしても良い。この場合、画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置からスライド２０６の画像を取得し、画像処理で標本の数を判断することもできる。
【０１１５】
ステップＳ１２０２では、制御部３０１は、画像提示アプリケーションにおける画像提示方法の設定が自動回転ＯＮかどうかを判断する。自動回転ＯＮの設定は、図８で説明した表示メニューでユーザが実行する。ユーザが、キーボード３１１やマウス３１２を用いて画像提示アプリケーションのＧＵＩを操作することにより、当該操作に応じた指示が操作Ｉ／Ｆ３１０を介して画像処理装置１０２に入力される。
【０１１６】
画像提示アプリケーションを実行する制御部３０１は、当該指示の入力を受けて、画像提示方法における回転モードの設定を行い、当該設定に応じたアプリケーション画面の描画処理を行う。現在の画像提示アプリケーションの画像提示方法の設定情報は、メインメモリ３０２やサブメモリ３０３に格納され、制御部３０１は、これらのメモリに格納された情報に基づき、画像提示方法の設定についての判断を行うことができる。
【０１１７】
ステップＳ１２０３では、制御部３０１は、ユーザによる個別標本の選択の指示を受け付け、ユーザにより選択された個別標本の情報を取得する。具体的には、ユーザが、アプリケーション画面の第２の画像が表示されたウィンドウにおいて、キーボード３１１やマウス３１２を用いて、観察したい個別標本を選択する操作を行う。すると、当該操作に応じていずれかの個別標本を選択する指示が操作Ｉ／Ｆ３１０を介して画像処理装置１０２に入力される。図１１（ｂ）は、第２の画像１１０２を用いて、観察したい個別標本６０２をユーザが選択した例である。個別標本の選択の処理については後述する（図１６参照）。
【０１１８】
ステップＳ１２０４では、制御部３０１は、ステップＳ１２０３で選択された個別標本の疑癌領域の情報を取得する。個別標本の疑癌領域は、細胞検査士等によるスクリーニングで予め標識を付しておく。標識を付する方法としては、例えば、スライド２０６にペン等で直接的に印を付けることにより疑癌領域を明示するアナログ的な手法がある。また、スライド２０６を撮像して得られた画像をビューアで表示させ、ビューア上でデジタル的
にアノテーションを付する手法でも良い。スクリーニングは予備的な観察であり、低倍画像を用いて行うことができる。個別標本の疑癌領域の標識の情報は、撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から個別標本の疑癌領域の標識の情報を取得する。
【０１１９】
ステップＳ１２０５では、制御部３０１は、ステップＳ１２０４で取得された疑癌領域の情報に基づき、個別標本の回転角度を算出する。個別標本の回転角度は、図１１（ｂ）に示すように、疑癌領域がウィンドウ内の左上に位置する角度とする。なお、ここでは疑癌領域がウィンドウ内の左上に位置するように個別標本の画像を回転させる例を示したが、これは一例である。疑癌領域のウィンドウ内での位置をユーザの好みの観察開始位置、又は、観察終了位置となるように個別標本の画像を回転させることが本実施例の処理の主旨である。
【０１２０】
ステップＳ１２０６では、制御部３０１は、第２の画像における標本指定枠の描画処理と、第３の画像における個別標本の回転処理を行い、その処理結果を反映させた画像を提示処理を行う。また、制御部３０１は、第３の画像における拡大領域指定枠により指定される領域の拡大画像を第１の画像として提示するための処理を行う。すなわち、制御部３０１は、第３の画像における拡大領域指定枠により指定される領域の画像データを読み込み、ステップＳ１２０５で取得した回転角度に応じて回転処理を施し、第１の画像を生成する処理を行う。図１１（ｂ）には、回転処理後の第２の画像、及び、回転された標本指定枠を含む第３の画像が示されており、図１１（ｃ）には、回転処理後の第３の画像で拡大領域指定枠により指定される領域の拡大画像である第１の画像が示されている。
【０１２１】
図９、図１０で説明した標本形状に基づく画像回転は画像処理等により自動実行することも可能である。しかし、ここで説明した標本性状に基づく画像回転を行う場合には、例えば、標本の撮像後に個別標本の性状について、ある程度の所見（それに基づいて少なくとも画像回転の処理を行うことができる程度の所見）が得られていることが必要である。標本性状（病変の疑いのある領域の位置等の情報）に関してそのような所見を得るには、一般的には、細胞検査士や病理医等による判断作業が必要となる。
【０１２２】
本実施例では、撮像装置１０１でスライド２０６の撮像を行った後に、撮像により得られた画像が画像処理装置１０２の記憶装置３０８に保管される。その画像を用いて、細胞検査士や病理医が個別標本の性状についてスクリーニングをする。その結果は、デジタル的なアノテーションやアナログ的なマーキングにより、回転処理に利用可能な形で保存されることが望ましい。
【０１２３】
細胞診では、一般に、細胞検査士等によるスクリーニング後に、病理医による診断が行われる。この細胞検査士等によるスクリーニングにおいて、一般に、個別標本の性状について予備的な検索が行われる。この予備的な検索結果の一部として、本実施例の標本性状に基づく画像回転処理に利用するための標本性状情報が含まれていれば良い。これにより、画像提示アプリケーションにおいて標本性状に応じた画像回転が実行された状態で、病理医が診断を行うことができるため、病理医による標本観察時の操作負担軽減という本発明の効果が期待できる。
【０１２４】
また、個別標本の性状に基づく画像回転についても自動実行するよう構成しても良い。例えば、スライド２０６の臨床所見、部位等に応じて、画像処理等により、個別標本の性状の認識（病変の疑いのある領域の機械的な抽出）を行うような構成も考えられる。例えば、癌が疑われる領域では、核の巨大化や配列の乱れがあるため、HE染色（ヘマトキシリン・エオジン染色）画像では正常領域と比較して相対的に暗く見える傾向にある。この傾
向に基づき、画像処理により、HE染色画像の輝度が基準値以下の領域を抽出し、個別標本における病変の疑いのある領域（疑癌領域）を機械的に認識（識別）することができる。このように、画像処理等により認識した標本性状の情報（疑癌領域の位置）に基づき、個別標本の画像回転を自動実行するようにしても良い。
【０１２５】
本実施例では、標本性状の情報としては、疑癌領域の位置を例示したが、これに限らず、炎症や腫瘍等の何らかの病変が疑われる領域の情報を用いることができる。
【０１２６】
（最小外接矩形領域での画像回転）
図１３は、最小外接矩形領域に基づく画像回転と画像提示を説明する模式図である。
【０１２７】
図１３（ａ）から図１３（ｄ）は、個別標本６０２の外接矩形領域の４つのパターンを示す図である。外接矩形領域の回転角度に応じて、外接矩形領域の面積は変化する。矩形領域の回転角度とは、矩形のいずれかの辺と所定の基準線（例えばｘｙ２次元座標系でｘ軸）とのなす角度とする。
【０１２８】
図１３（ａ）に示す外接矩形領域は、４つのパターンの外接矩形領域の中で最も面積が小さいものであり、最小外接矩形領域１３０１と呼ぶ。図１３（ｂ）から図１３（ｄ）に示す外接矩形領域１３０２〜１３０４は、図１３（ａ）の最小外接矩形領域１３０１よりも面積が大きい。
【０１２９】
ここでは、個別標本６０２の画像回転は、最小外接矩形領域１３０１の回転角度に基づいて行う。すなわち、面積が最小となるときの個別標本６０２の外接矩形領域の回転角度に基づいて、個別標本６０２の画像回転を行う。個別標本６０２の形状に基づいて最小外接矩形領域を求めるアルゴリズムは既存のものを利用することができる。個別標本６０２の形状は、例えばコントラストに基づく画像処理によって自動的に取得することができる。
【０１３０】
図１３（ｅ）は、面積が最小となるときの個別標本６０２の外接矩形領域の回転角度（最小外接矩形領域１３０１の回転角度）に基づいて個別標本６０２を回転させた場合の図であり、第３の画像として表示される個別標本６０２の画像である。外接矩形領域の回転角度に基づく個別標本の画像回転は、例えば、外接矩形領域の長辺又は短辺が個別標本画像が表示されるウィンドウに対し水平又は垂直になるように行う。
【０１３１】
（最小外接矩形領域での画像回転のフロー）
図１４は、最小外接矩形領域に基づく画像回転の処理を説明するフローチャートである。このフローチャートの処理は、画像提示アプリケーションの実行主体である画像処理装置１０２の制御部３０１が実行する。
【０１３２】
ステップＳ１４０１では、制御部３０１は、スライド２０６に複数の標本があるか否かを判断する。このステップはプレ計測で実行される。一例として、スライド２０６作成時にラベル６０１に標本の数の情報を明記するか、電子的に書き込む等しておき、プレ計測でラベル６０１の情報の読み込みと標本の数の情報の取得が行われる。
【０１３３】
標本の数の情報は、撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から標本の数の情報を取得し、その情報に基づき、スライド２０６に複数の標本があるか否かの判断を行う。
【０１３４】
或いは、プレ計測で撮像によって得られたスライド２０６の画像が撮像装置１０１、記
憶装置３０８、又はネットワーク上の装置に保存され、保持されるようにしても良い。この場合、画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置からスライド２０６の画像を取得し、画像処理で標本の数を判断することもできる。
【０１３５】
ステップＳ１４０２では、制御部３０１は、画像提示アプリケーションにおける画像提示方法の設定が自動回転ＯＮかどうかを判断する。自動回転ＯＮの設定は、図８で説明した表示メニューでユーザが実行する。ユーザが、キーボード３１１やマウス３１２を用いて画像提示アプリケーションのＧＵＩを操作することにより、当該操作に応じた指示が操作Ｉ／Ｆ３１０を介して画像処理装置１０２に入力される。画像提示アプリケーションを実行する制御部３０１は、当該指示の入力を受けて、画像提示方法における回転モードの設定を行い、当該設定に応じたアプリケーション画面の描画処理を行う。現在の画像提示アプリケーションの画像提示方法の設定情報は、メインメモリ３０２やサブメモリ３０３に格納され、制御部３０１は、これらのメモリに格納された情報に基づき、画像提示方法の設定についての判断を行うことができる。
【０１３６】
ステップＳ１４０３では、制御部３０１は、ユーザによる個別標本の選択の指示を受け付け、ユーザにより選択された個別標本の情報を取得する。具体的には、ユーザが、アプリケーション画面の第２の画像が表示されたウィンドウにおいて、キーボード３１１やマウス３１２を用いて、観察したい個別標本を選択する操作を行う。すると、当該操作に応じていずれかの個別標本を選択する指示が操作Ｉ／Ｆ３１０を介して画像処理装置１０２に入力される。個別標本の指定方法は後述する（図１６参照）。
【０１３７】
ステップＳ１４０１〜ステップＳ１４０３の処理は、図１０のステップＳ１００１〜ステップＳ１００３の処理と同様である。
【０１３８】
ステップＳ１４０４では、制御部３０１は、ステップＳ１４０３で選択された個別標本の最小外接矩形領域の情報を取得する。個別標本それぞれの最小外接矩形領域は、予めプレ計測時に算出されており、その情報は撮像装置１０１、記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から最小外接矩形領域の情報を取得する。
【０１３９】
ステップＳ１４０５では、制御部３０１は、ステップＳ１４０４で取得した最小外接矩形領域の情報に基づき個別標本の回転角度を算出する。個別標本の回転角度は、最小外接矩形領域の長軸、又は、短軸がウィンドウ内で水平となる角度とする。
【０１４０】
ステップＳ１４０６では、制御部３０１は、第２の画像における標本指定枠の描画処理と、第３の画像における個別標本の回転処理を行い、その処理結果を反映させた画像の提示処理を行う。また、制御部３０１は、第３の画像における拡大領域指定枠により指定される領域の拡大画像を第１の画像として提示するための処理を行う。すなわち、制御部３０１は、第３の画像における拡大領域指定枠により指定される領域の画像データを読み込み、ステップＳ１４０５で取得した回転角度に応じて回転処理を施し、第１の画像を生成する処理を行う。
【０１４１】
第１の画像は、図５の第４階層画像に相当し、最も高解像度の画像である。そのため、ステップＳ１４０６において第１の画像を生成する際の画像の回転処理は、高解像度の画像に対する回転処理であり、高負荷処理が要求される。そのため、ステップＳ１４０３において個別標本が選択されてから当該個別標本の画像についてステップＳ１４０４からステップＳ１４０６の処理を実行するのではなく、予め各個別標本についてこれらの処理を
実行しておく。そして、回転処理された画像を記憶装置３０８に保持する形態が好ましい。各個別標本についてステップＳ１４０４からステップＳ１４０６の処理を実行するタイミングは、例えば、撮像直後のタイミングとする。この場合、処理は、撮像装置１０１で実行しても良いし、画像処理装置１０２で実行しても良い。
【０１４２】
（手動での画像回転）
以上、図９から図１４を参照して、標本の形状や性状に応じて自動で画像を回転させる構成での本発明の実施例を説明したが、本発明の実施例は、手動で画像を回転させる構成とすることもできる。個別標本の観察方法にはユーザ毎の好みもあるため、手動で画像回転を行うことで、ユーザの観察方法の好みに適合する画像提示ができる。図８で説明した画像提示アプリケーションにおける画像提示設定において、ユーザは「自動回転ＯＮ」「手動回転ＯＮ」の設定を行うことができる。
【０１４３】
「手動回転ＯＮ」の場合、例えば、ユーザは、第２の画像上で、回転させたい個別標本の画像上にマウスポインタを置き、その状態でマウスをドラッグする操作を行うことで、個別標本指定枠を回転させる指示を画像処理装置１０２に入力することができる。
【０１４４】
（画像方向ポインタを明示する画像提示）
図１５は、本発明による画像提示アプリケーションの画面の別の例である。図１５の画像提示において、上述の図９（ｃ）、図１１（ｃ）に例示した画像提示との相違点は、主に、画像の方向（第１の画像及び第３の画像の回転角度）を明示する方向指示画像である方向ポインタ（矢印）を追加表示している点である。
【０１４５】
図１５（ａ）は、第２の画像９０４を示しており、第１の画像９１３及び第３の画像９０５における個別標本６０２の回転に合わせて標本指定枠７０４を回転させた画像である。第２の画像９０４に対する第１の画像９１３や第３の画像９０５の傾きをユーザが明確に認識できるように、第２の画像９０４における標本指定枠７０４に方向ポインタである標本方向矢印１５０１を示している。
【０１４６】
図１５（ｂ）は、本発明の画像提示アプリケーションの画面例を示す。この例では、第１の画像９１３と第２の画像９０４に方向ポインタである標本方向矢印１５０１が表示されている。これにより、ユーザが、第１の画像９１３と第２の画像９０４との角度（傾き）を認識し易くなる。すなわち、第２の画像９０４における標本方向矢印１５０１がスライドに対してなす角度と、第１の画像９１３における標本方向矢印１５０１がスライドに対してなす角度と、は等しい。言い換えると、第２の画像９０４が表示されるウィンドウの水平方向と、第１の画像９１３が表示されるウィンドウの水平方向とは、実際の標本（スライド）において標本方向矢印１５０１同士のなす角度だけ互いに傾いている。
【０１４７】
（個別標本の指定方法）
図１６は、第２の画像において個別標本を指定する処理の方法を説明するための模式図である。
【０１４８】
図１６（ａ）は、第２の画像１６０１が表示されるウィンドウを示す図である。このウィンドウ上で、ユーザは、指定ポインタ（マウスポインタ）を用いて個別標本の指定を行う。指定ポインタは個別標本選択矢印１６０２として図示している。第２の画像１６０１は、点線で示される個別標本選択境界１６０３によって複数の個別標本選択領域１６０４に区分けされる。個別標本選択境界１６０３は、個別標本選択領域１６０４の各々に１つの個別標本が存在するように設定される。
【０１４９】
個別標本選択境界１６０３を示す点線は、図１６（ａ）に示すように第２の画像１６０
１上に実際に表示されていても良いし、非表示でも良い。図１６（ｂ）は、個別標本６０２が存在する個別標本選択領域１６０４を単独で示した図である。ユーザは、個別標本６０２が存在する個別標本選択領域１６０４上に個別標本選択矢印１６０２を移動させる（置く）操作を行い、必要に応じてクリックする等の操作を行うことにより、個別標本６０２を選択する指示を入力することが可能である。
【０１５０】
図９（ｃ）、図１１（ｃ）、図１５（ｂ）に示すように、表示装置１０３の画面に表示されるアプリケーション画面全体に対して、第２の画像は比較的小さく表示される場合、第２の画像において個別標本の位置に正確にマウスカーソルを移動させる操作が難しい。上記のような処理を行うことにより、個別標本を選択する指示の入力のための操作が容易になる。ユーザは、個別標本６０２の位置に正確に個別標本選択矢印１６０２を移動させなくても個別標本６０２を指定することができるからである。
【０１５１】
（効果）
図１７は、本発明の効果を説明する模式図である。
【０１５２】
図１７（ａ）は画像回転前の個別標本１７０１であり、図９（ａ）、図１１（ａ）、図１３の個別標本６０２に相当する。四角系の枠で示す観察エリア１７０２は、画像提示アプリケーションの第１の画像（詳細観察用の拡大画像）が表示されるウィンドウ内に表示できるエリア（一度に表示できるエリア）を示している。詳細観察用の高解像度の階層画像による個別標本１７０１の全体の画像が、ウィンドウ内に一度に表示できるサイズを超えている場合、ユーザは、観察エリア１７０２を移動させながら個別標本１７０１の全体を観察する必要がある。
【０１５３】
観察エリア１７０２の移動のさせ方にはユーザ（細胞検査士等の技師や病理医等の医師）毎の好みがある。図１７（ａ）には、ユーザが、個別標本１７０１の左下の部分から右上の部分に向かって順々に観察エリア１７０２を移動させながら観察（スクリーニング）する場合の観察エリア１７０２の移動例を示している。
【０１５４】
画像提示アプリケーションにおいて観察エリア１７０２の移動を行うための操作としては、例えば、マウスによるドラッグや、キーボードの矢印キーの操作がある。マウスによるドラッグでは、観察エリア１７０２を任意の方向へ移動（図１７（ａ）で斜め矢印によって示す移動）させることが可能であるが、ユーザは見落としがないように慎重に観察エリア１７０２の移動を行う必要があり、心理的負担が大きい。その点、キーボードによる上下左右の移動の場合見落としの可能性は減るものの、図１７（ａ）のように細長い個別標本１７０１が斜めに表示される場合、ウィンドウ内のごく一部にしか標本画像が存在しない観察エリアが多くなり、非効率である。
【０１５５】
図１７（ｂ）は画像回転後の個別標本１７０１である。図１７（ｂ）では、図９で説明したように、個別標本１７０１の長径軸がウィンドウ内で水平となるように個別標本６０２を回転させている。この画像回転により、図１７（ａ）での斜め移動操作が６回であったのに対し、図１７（ｂ）では斜め移動操作は２回に減少させることができている。このように、個別標本の画像回転により、斜め移動操作に起因してユーザが感じる負担を軽減できる。
【０１５６】
ユーザが好みのスクロール方向を予め登録（設定）したり、観察時に選択したりできるようにしても良い。
【０１５７】
図１７（ｃ）はユーザの設定したスクロール方向に応じた画像回転を説明する例である。ユーザが一定の方向にスクロールしながら観察する場合のスクロール方向として垂直方
向を設定した場合には、図１７（ｃ）に示すように画像回転が行われる。この例では、垂直方向に連続的に観察でき、垂直方向スクロールを好むユーザにとっては標本観察（スクリーニング）の負担が軽減する。また、斜め移動操作は３回となるため、図１７（ｂ）と同様に、斜め移動操作に起因してユーザが感じる負担も軽減できる。
【０１５８】
図１７（ｄ）はユーザの設定したスクロール方向に応じた画像回転を説明する別の例である。ユーザが一定の方向にスクロールしながら観察する場合のスクロール方向として水平方向を設定した場合には、図１７（ｄ）に示すように画像回転が行われる。この例では、水平方向に連続的に観察でき、水平方向スクロールを好むユーザにとっては標本観察（スクリーニング）の負担が軽減する。また、斜め移動操作は３回となるため、図１７（ｂ）と同様に、斜め移動操作に起因してユーザが感じる負担も軽減できる。
【０１５９】
また、ユーザは、標本観察（スクリーニング）において、正常領域と異常領域（病変領域）の対比を行うが、個別標本内の正常領域又は異常領域（病変領域）のいずれから観察（スクリーニング）を始めるかはユーザによって異なる。正常領域から観察（スクリーニング）を始めることで、異常領域（病変領域）を認識し易い場合や、逆に、異常領域（病変領域）から観察（スクリーニング）を始めることで正常領域を認識し易い場合もある。そのため、図１１、図１２で説明したように標本の性状に合わせて画像を回転させることでも、ユーザの標本観察（スクリーニング）の負担を軽減できる。
【０１６０】
例えば、ユーザが異常領域から観察を始めるのを好み、かつ、標本の左上の部位から観察を始めるのを好む場合は、図１１（ｂ）に示すように、疑癌領域１１０１が標本の左上の位置にくるように個別標本６０２の画像を回転させると良い。このように、ユーザの好みに応じて画像回転のしかたを制御できるように、画像提示アプリケーションでは、ユーザの好みの観察順序（正常領域優先、病変領域優先）、観察開始位置、観察方向（スクロール方向）等を設定することができることが好ましい。これらの設定は、予め設定して登録しておき、又は、観察時に都度設定できるようにすると良い。
【０１６１】
図１７（ｅ）は、最小外接矩形領域を用いた画像回転の効果を説明する例である。図１７（ｅ）に示すような歪な形の個別標本１７０４の場合、個別標本の外部に重心１７０５が位置することがあり、長径軸や短径軸が定義できない場合がある。このような場合には、図１３、図１４で説明した最小外接矩形領域を用いた画像回転、又は、手動による画像回転を行う。実用上は、自動による画像回転ができない場合、又は、自動による画像回転結果がユーザにとって好ましくない場合に、ユーザが手動で画像回転を行えるような構成が望ましい。
【０１６２】
（実施例１（２次元画像への適用）の応用例）
以下では、実施例１の応用例として、ある１つの深度画像を画像回転の対象とする例について説明する。
【０１６３】
（深度構造を追加した階層画像データの構造）
図１８（ａ）は、深度構造を追加した階層画像データの模式図である。ここでは、階層画像データは、解像度（画素数）の違う４階層の深度画像群、すなわち、第１階層の深度画像群１８０１、第２階層の深度画像群１８０２、第３階層の深度画像群１８０３、第４階層の深度画像群１８０４により構成されているものとする。この階層画像データでは、図５と異なり、各階層で深度構造が追加されており、各階層は４枚の深度画像を有しているものとする。階層の数、深度の数はこの例に限られない。
【０１６４】
標本１８０５は、観察対象となる組織の切片や塗抹した細胞である。図では、階層構造をイメージし易いように、同一の標本１８０５の各階層画像での大きさを示している。第
１階層の深度画像群１８０１が最も低解像度の画像であり、サムネイル画像等に用いられる。第２階層の深度画像群１８０２、第３階層の深度画像群１８０３は中程度の解像度の画像であり、バーチャルスライド画像の広域観察等に用いられる。第４階層の深度画像群１８０４は最も高解像度の画像であり、バーチャルスライド画像を詳細に観察するときに用いられる。
【０１６５】
各階層の画像は、幾つかの圧縮画像ブロックが集まって構成される。圧縮画像ブロックは、例えばＪＰＥＧ圧縮形式の場合には、１つのＪＰＥＧ画像である。ここでは、第１階層の深度画像群１８０１はそれぞれ圧縮画像１ブロックから、第２階層の深度画像群１８０２はそれぞれ圧縮画像４ブロックから構成されている。また、第３階層の深度画像群１８０３はそれぞれ圧縮画像１６ブロックから、第４階層の深度画像群１８０４はそれぞれ圧縮画像６４ブロックから構成されている。
【０１６６】
画像の解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものである。すなわち、第１階層の深度画像群１８０１を表示装置に表示させて観察することは低倍での顕微鏡観察に相当し、第４階層の深度画像群１８０４を表示装置に表示させて観察することは高倍での顕微鏡観察に相当する。例えば、ユーザが標本について詳細観察したい場合には、第４階層の深度画像群１８０４を表示装置に表示させて観察すれば良い。
【０１６７】
図１８（ｂ）は、深度構造を説明する模式図であり、スライド２０６の面に垂直の断面による断面図を示す。スライド２０６は、標本（観察対象となる組織の切片や塗抹した細胞）をスライドガラス１８０７上に貼り付け、封入剤とともにカバーガラス１８０６の下に固定した部材である。標本は数μｍから数十μｍほどの厚みのある透明体である。複数の深度（厚み方向の位置、合焦位置）で同一の撮像範囲で標本を撮像して得られる複数の画像により深度画像群が構成される。ユーザは、この深度画像群により、複数の異なる深度（厚み方向の位置）で標本を観察することができる。図１８（ｂ）では、撮像時の深度が異なる深度画像として、第１深度画像１８０８、第２深度画像１８０９、第３深度画像１８１０、第４深度画像１８１１を示している。ここでは、図１８（ａ）の各階層の深度画像群は、図１８（ｂ）に示す４つの深度画像からなっているものとする。
【０１６８】
（深度画像の画像回転）
ある１つの深度画像を画像回転の対象とする例について、図９と図１８を参照して説明する。
【０１６９】
撮像装置１０１は、撮像により、スライド２０６の第４階層の各深度画像を取得する。撮像装置１０１又は画像処理装置１０２において、最も高解像度の階層画像（第４階層の各深度画像）から低解像度の階層画像（第１階層から第３階層までの各深度画像）を生成する処理が行われ、得られた低解像度の階層画像は記憶装置３０８に保持される。
【０１７０】
第２の画像９０４は第１階層の画像であり、第１階層の深度画像群のうち画像全体の合焦の度合の高い深度画像を選ぶ。第３の画像９０５は、第１階層より高解像度の階層、すなわち、第２階層、第３階層、第４階層のいずれかの階層の深度画像から生成される。ただし、第３の画像９０５としては個別標本６０２の合焦の度合の高い深度画像を選ぶため、第２の画像９０４と第３の画像９０５の深度が一致している必要はない。例えば、第２の画像９０４の合焦の度合の高い深度画像が第２深度画像１８０９であり、第３の画像９０５の合焦の度合の高い深度画像が第３深度画像１８１０である、という場合がある。このような場合、第３の画像９０５における画像回転処理は、第２の画像９０４の深度とは異なる深度の深度画像に対して実行されることになる。
【０１７１】
ここで、画像の合焦の度合は画像コントラストを用いて判定することができる。画像コ
ントラストとは、画像コントラストをＥ、画素の輝度成分をＬ（ｍ、ｎ）とした場合に、以下の式を用いて算出できる。ここで、ｍは画素のＹ方向位置、ｎは画素のＸ方向位置を表している。
【数１】
2014130221.tif 000003
【０１７２】
右辺の第１項はＸ方向に隣り合う画素の輝度差を表しており、第２項はＹ方向に隣り合う画素の輝度差を表している。画像コントラストＥは、Ｘ方向とＹ方向に隣り合う画素の輝度差の自乗和により算出することができる。
【０１７３】
第１の画像９０６としては、最も高解像度の第４階層の深度画像群のうち、第３の画像９０５の拡大領域指定枠７０５で指定される領域のおける合焦の度合が高い深度画像を選ぶ。そのため、第１の画像９０６の深度と、第３の画像９０５の深度とが異なる場合がある。例えば、第１の画像９０６の深度画像が第４深度画像１８１１であり、第３の画像９０５の深度画像が第３深度画像１８１０である、という場合がある。このような場合、第３の画像９０５における拡大領域指定枠７０５で指定される領域の拡大画像である第１の画像９０６の表示のために、第３の画像９０５と深度が異なる深度画像が読み出されることになる。
【０１７４】
すなわち、第１の画像、第２の画像、第３の画像のために、各画像の表示領域内の合焦の度合の高い画像が深度画像群のうちから選択されることになる。ここで、第１の画像の表示領域は第３の画像の拡大領域指定枠で指定される領域、第２の画像の表示領域はスライド２０６の全域、第３の画像の表示領域は第２の画像で選択された個別標本６０２の全体を含む領域である。
【０１７５】
上記実施例において、スライドに存在する個別標本の数の情報、標本形状の情報、標本性状の情報、最小外接矩形領域の情報等は、プレ計測時に取得されて撮像装置、画像処理装置、ネットワーク上の装置等に保存され保持される例を示した。これらの情報は、階層画像データにメタデータとして付加され、階層画像データとともに撮像装置、画像処理装置、ネットワーク上の装置等の間で送受信される形態でも良い。
【０１７６】
（実施例２）
実施例２は、３次元標本画像を提示する場合への本発明の適用例である。
【０１７７】
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムの構成、画像処理システムにおける撮像装置の機能ブロック、画像処理装置のハードウェア構成、画像処理装置の制御部の機能ブロック、階層画像データの構造、スライドの構成は、実施例１で説明した内容と同様であり、説明を省略する。
【０１７８】
実施例１は平面的な標本を対象とし、主に病理診断の組織診へ好適に適用される。組織診の標本は４μｍ程度と薄く、平面標本とみなすことができる。一方、実施例２は立体的な標本を対象とし、主に病理診断の細胞診へ好適に適用される。細胞診の標本は数十μｍから１００μｍと厚く、立体標本とみなすことができる。本実施例は、立体標本において、ユーザが観察したい断面（主断面）の画像提示方法に特徴を有し、標本観察（スクリーニング）におけるユーザの負担を軽減する効果を有する。
【０１７９】
（立体標本）
図１９は、立体標本を説明する模式図である。ここでは、細胞診の標本のモデルとして、直方体及び円錐を組み合わせた標本モデル１９０１を考える。これは、重積性の細胞集塊をイメージしてモデル化したものである。この立体標本は、実施例１の図６に示した個別標本６０２に対応するもので、ＸＹ面はスライド２０６の面に対応し、Ｚ軸はスライド２０６の面に垂直な方向（厚み方向、深度方向）に対応する。
【０１８０】
（立体標本の構築）
図２０は、立体標本の画像取得を説明するための模式図であり、スライド２０６の面に垂直の断面による断面図である。スライド２０６は、標本（ここでは標本モデル１９０１として図示）をスライドガラス２００２上に貼り付け、封入剤とともにカバーガラス２００１の下に固定した部材である。標本は数十μｍから１００μｍほどの厚みのある透明体である。複数の深度（厚み方向の位置）で標本を撮像して得られる複数の画像により深度画像群が構成される。ここでは、異なる深度で撮像して得られた画像として、第１深度画像２００３、第２深度画像２００４、第３深度画像２００５、及び第４深度画像２００６を例示する。深度の数はこの例に限られない。この深度画像群から、標本の３次元形状を再現できるような３次元標本画像が構築される。より多くの深度で撮像することで、より精密な３次元標本画像の構築が可能である。
【０１８１】
（標本形状に基づく主断面）
図２１は、立体標本の主断面を説明する模式図である。
【０１８２】
図２１（ａ）は、標本モデル１９０１と、その幾何的重心２１０１、主軸２１０２、主面２１０３を示している。ここで、主軸２１０２とは、幾何的重心２１０１を通り、標本モデル１９０１内での長さが最も長くなる軸である。主面２１０３とは、主軸２１０２を含み、標本モデル１９０１内での面積が最も大きくなる面である。
【０１８３】
ここでは、説明の簡単のため、標本モデル１９０１は直方体及び円錐の組み合わせによる軸対称の図形であり、主軸２１０２は両端の２個の円錐の頂点を通過するものとし、主軸２１０２及び主面２１０３が図２１のように設定されるものとする。
【０１８４】
図２１（ｂ）は、標本モデル１９０１と、その主軸２１０２、主断面２１０４を示している。ここで、主断面２１０４とは、主面２１０３により標本モデル１９０１を切断した場合の断面である。図２１（ｂ）は標本モデル１９０１における主断面２１０４を示しており、図２１（ｃ）は主断面２１０４そのものを抽出して示したものである。
【０１８５】
ここでは、重積性の細胞集塊をイメージしてモデル化した標本モデル１９０１において、主断面２１０４の画像をユーザの観察のために提示する場合を例示する。異なる標本モデルにおいては、ユーザの観察のために提示する断面の決定方法は異なるものとなる。例えば、インディアン・ファイル状配列（細胞が１列に並んだ状態）の立体標本では、その軸（図２１における主軸）が最も長くなるように２次元平面に投影し、その面を主断面としても良い。
【０１８６】
（アプリケーション画面（提示画像））
図２２は、本発明による提示画像アプリケーションの画像提示画面例を示す。
【０１８７】
図２２（ａ）は、表示装置１０３に表示されるアプリケーション画面である。アプリケーション画面には、第１の画像２２０１、第２の画像２２０２、第３の画像２２０３のそれぞれを表示する３つのウィンドウがある。
【０１８８】
図２２（ｂ）は、第２の画像２２０２が表示されるウィンドウを示す図である。第２の
画像２２０２は、スライド２０６のラベル６０１以外の領域を異なる複数の深度で撮像して得られた複数の深度画像から構築した３次元標本画像を３次元的に表示する画像である。ここでは、第２の画像２２０２に、標本モデル１９０１の３次元標本画像とともに、その主軸２１０２と主面２１０３を立体的に表示する例を示す。また、ここでは、第２の画像２２０２に、３次元空間における３次元標本画像の方向がわかり易いように、Ｘ軸、Ｙ軸、Ｚ軸を明示する例を示す。
【０１８９】
第２の画像２２０２は、複数の個別標本を含む画像である必要はなく、単体の個別標本を含む画像であっても良い。第２の画像２２０２が複数の個別標本を含む画像である場合には、実施例１と同様に、ユーザが所望の個別標本を選択でき、選択された個別標本が標本指定枠で明示される構成としても良い。
【０１９０】
図２２（ｃ）は、第３の画像２２０３が表示されるウィンドウを示す図である。第３の画像２２０３は、第２の画像２２０２に示す標本モデル１９０１の主断面２１０４の２次元形状を２次元的に表示する画像である。第３の画像２２０３は、実施例１の図９から図１４で説明した手法を用いて回転させた画像である。主断面２１０４は３次元空間内の平面であり、このような平面の回転角度は、例えば、主面２１０３の法線がＺ軸と平行になり、かつ主軸２１０２がＸ軸又はＹ軸と平行となるような回転角度として算出することができる。
【０１９１】
図２２（ａ）の第１の画像２２０１が表示されるウィンドウには、第２の画像２２０２と第３の画像２２０３をそれぞれ表示するウィンドウと、拡大倍率の情報が重畳して表示される。第１の画像２２０１は、第３の画像２２０３の拡大領域指定枠２２０４で指定される領域の拡大画像であり、標本の詳細観察に用いられる。第２の画像２２０２は３次元画像であり、第１の画像２２０１と第３の画像２２０３は２次元画像である。
【０１９２】
第２の画像２２０２と第３の画像２２０３が互いに親画像及び子画像に対応する第１の拡大縮小関係、第３の画像２２０３と第１の画像２２０１が互いに親画像及び子画像に対応する第２の拡大縮小関係と考えることができる。ここで、第２の画像２２０２の主断面の拡大図を第１の画像２２０１として提示することで、効率良く標本を観察することができる。これは、主断面に３次元標本の多くの情報が含まれている、という考えに基づいたものである。
【０１９３】
（標本形状に基づく主断面決定のフロー）
図２３は、立体標本の主断面画像生成を説明するフローチャートである。このフローチャートの処理は、画像提示アプリケーションの実行主体である画像処理装置１０２の制御部３０１が実行する。
【０１９４】
ステップＳ２３０１では、制御部３０１は、画像提示アプリケーションにおける画像提示方法の設定が自動回転ＯＮかどうかを判断する。自動回転ＯＮの設定は、図８で説明した表示メニューでユーザが実行する。ユーザが、キーボード３１１やマウス３１２を用いて画像提示アプリケーションのＧＵＩを操作することにより、当該操作に応じた指示が操作Ｉ／Ｆ３１０を介して画像処理装置１０２に入力される。
【０１９５】
画像提示アプリケーションを実行する制御部３０１は、当該指示の入力を受けて、画像提示方法における回転モードの設定を行い、当該設定に応じたアプリケーション画面の描画処理を行う。現在の画像提示アプリケーションの画像提示方法の設定情報は、メインメモリ３０２やサブメモリ３０３に格納され、制御部３０１は、これらのメモリに格納された情報に基づき、画像提示方法の設定についての判断を行うことができる。
【０１９６】
ステップＳ２３０２では、制御部３０１は、ユーザによる個別立体標本の選択の指示を受け付け、ユーザにより選択された個別立体標本の情報を取得する。具体的には、ユーザが、アプリケーション画面の第２の画像が表示されたウィンドウにおいて、キーボード３１１やマウス３１２を用いて、観察したい個別立体標本を選択する操作を行う。すると、当該操作に応じていずれかの個別立体標本を選択する指示がＩ／Ｆ３１０を介して画像処理装置１０２に入力される。なお、本実施例では、スライド２０６に複数の個別立体標本があるとは限らない。スライド２０６に単体の個別立体標本しかない場合にはこのステップをスキップできる。
【０１９７】
ステップＳ２３０３では、制御部３０１は、ステップＳ２３０２で選択された個別立体標本の幾何的重心位置の情報を取得する。個別立体標本それぞれの幾何的重心位置は、予め算出されており、その情報は撮像装置１０１，記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から個別立体標本それぞれの幾何的重心位置の情報を取得する。
【０１９８】
ステップＳ２３０４では、制御部３０１は、ステップＳ２３０２で選択された個別立体標本の主軸の情報を取得する。個別標本それぞれの主軸は、予め算出されており、その情報は撮像装置１０１，記憶装置３０８、又はネットワーク上の装置に保存され、保持される。画像処理装置１０２の制御部３０１は、撮像装置１０１，記憶装置３０８、又はネットワーク上の装置から個別立体標本それぞれの幾何的重心位置の情報を取得する。
【０１９９】
ステップＳ２３０５では、制御部３０１は、ステップＳ２３０３で取得した幾何的重心位置の情報と、ステップＳ２３０４で取得した主軸の情報から、個別立体標本の主断面を算出する。
【０２００】
ステップＳ２３０６では、制御部３０１は、第２の画像における主面の描画処理と、個別立体標本の主断面の画像を求める処理を行う。制御部３０１は、求めた主断面の画像に対して、実施例１で説明した回転処理を行い、第３の画像として提示するための処理を行う。同様に、第３の画像における拡大領域指定枠により指定される領域の拡大画像を第１の画像として提示するための処理を行う。すなわち、制御部３０１は、第３の画像における拡大領域指定枠により指定される領域の画像データを読み込み、回転処理を施し、第１の画像を生成する処理を行う。
【０２０１】
第１の画像は、図５の第４階層画像に相当し、最も高解像度の画像である。そのため、ステップＳ２３０６において第１の画像を生成する際の画像の回転処理は、高解像度の画像に対する回転処理であり、高負荷処理が要求される。そのため、ステップＳ２３０２において個別立体標本が選択されてから当該個別立体標本の画像についてステップＳ２３０３からステップＳ２３０６の処理を実行するのではなく、予め各個別立体標本についてこれらの処理を実行しておく。そして、回転処理された画像を記憶装置３０８に保持する形態が好ましい。各個別立体標本についてステップＳ２３０３からステップＳ２３０６の処理を実行するタイミングは、例えば、撮像直後のタイミングとする。この場合、処理は、撮像装置１０１で実行しても良いし、画像処理装置１０２で実行しても良い。
【０２０２】
本実施例によれば、撮像によって得られた深度画像とは異なる断面による立体標本の断面図が、観察時のユーザの負担を軽減することができるようなしかたで提示される。撮像によって得られた深度画像は、例えばスライドの面に平行な断面による立体標本の断面図だが、ユーザが観察したい立体標本の断面は、必ずしもこのような深度画像の撮像に係る断面と同じではない。
【０２０３】
本実施例によれば、複数の深度画像から構築される３次元標本画像から、深度画像の撮像に係る断面とは異なる断面による立体標本の断面図を切り出す（生成する）ことができる。よって、ユーザが観察したい断面による立体標本の断面図を提示することができる。
【０２０４】
本実施例によれば、標本形状や標本性状に応じて、当該切り出された立体標本の断面図を回転させて提示するので、スクリーニングの際の観察エリアの斜め方向の移動が減り、スクロール操作等に起因するユーザの操作負担を軽減できる。
【０２０５】
本実施例では、３次元標本画像から主断面による立体標本の断面図を提示する例を示したが、これは、主断面に立体標本の多くの情報が含まれているとの仮定に基づく一例であり、どの断面による立体標本の断面図を提示するかはこの例に限らない。
【０２０６】
（実施例３）
実施例３は、画像提示アプリケーションを２ウィンドウ構成とする実施例である。
【０２０７】
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムの構成、画像処理システムにおける撮像装置の機能ブロック、画像処理装置のハードウェア構成、画像処理装置の制御部の機能ブロック、階層画像データの構造、スライドの構成は、実施例１で説明した内容と同様であり、説明を省略する。
【０２０８】
実施例１と実施例２は表示装置に第１の画像（拡大画像）、第２の画像（スライド全体画像）、及び第３の画像（個別標本画像）のそれぞれを表示する３つのウィンドウにより画像提示アプリケーションが構成されていた。実施例３では、第１の画像と第２の画像を表示し、第３の画像を表示しない２ウィンドウ構成の画像提示アプリケーションの例を示す。画像提示のための画像回転の方法及び処理フローは、実施例１及び実施例２で説明した内容と同様であり、具体的には、標本形状や標本性状、最小外接矩形領域に基づいて行われる。実施例３では、実施例１又は実施例２に対し、回転処理した画像の提示方法が異なる。
【０２０９】
（アプリケーション画面（提示画像））
図２４は、本発明の画像提示アプリケーションの画面例である。
【０２１０】
図２４（ａ）は、表示装置１０３の画面に表示されるアプリケーション画面である。アプリケーションには、第１の画像２４０１及び第２の画像２４０２のそれぞれを表示する２つのウィンドウと、拡大倍率の情報が重畳して表示される。
【０２１１】
図２４（ｂ）は、第２の画像２４０２が表示されるウィンドウを示す図である。第２の画像２４０２は、スライド２０６のラベル６０１以外の領域を撮像して得られた画像である。第２の画像２４０２が表示されるウィンドウでは、スライドに複数の標本が貼り付けられている場合にはその全ての標本を確認（認識）することができるように画像提示が行われる。第２の画像２４０２では、ユーザは、複数の標本のうちから１つの標本（個別標本）を選択することができ、図２４（ｂ）の例では個別標本６０２が選択されている。選択された個別標本は標本指定枠２４０４で明示される。
【０２１２】
更に、第２の画像２４０２では、個別標本６０２のうち、第１の画像２４０１として拡大表示する領域を指定することができ、指定された領域は拡大領域指定枠２４０５で明示される。上記の実施例と同様に、個別標本６０２の標本形状や標本性状、最小外接矩形領域に基づいて、標本指定枠２４０４及び拡大領域指定枠２４０５は回転して表示される。また、拡大領域指定枠２４０５により指定される領域の拡大画像である第１の画像２４０
１も元の画像に対して回転処理が施された画像である。
【０２１３】
図２４（ａ）の第１の画像２４０１が表示されるウィンドウには、第２の画像２４０２をそれぞれ表示するウィンドウと、拡大倍率の情報が重畳して表示される。第１の画像２４０１は、第２の画像２４０２の拡大領域指定枠２４０５で指定される領域を拡大した画像であり、標本の詳細観察に用いられる。ユーザが個別標本を観察する際には第１の画像２４０１を用いる。第１の画像２４０１は、選択された個別標本６０２の標本形状、標本性状、又は最小外接矩形領域に応じた回転処理が施されている。
【０２１４】
そのため、図１７で説明したように、個別標本６０２のスクリーニングに際し、第１の画像２４０１の垂直方向又は水平方向に順々に観察エリアを移動させれば良く、斜め方向の観察エリアの移動を減らすことができる。この場合、第２の画像２４０２内の拡大領域指定枠２４０５は、第１の画像２４０１や第２の画像２４０２を表示するウィンドウに対し、斜め方向に順々に移動するが、その移動方向は、標本指定枠２４０４の辺に対しては平行又は垂直となる。
【０２１５】
（３次元標本画像での２ウィンドウ表示構成）
図２４では、平面的な標本を対象とし、主に病理診断の組織診への適用を想定した画像提示の一例を示したが、立体的な標本を対象とし、主に病理診断の細胞診への適用を想定した画像提示も可能である。この場合、第２の画像２４０２には、３次元標本画像、主断面による立体標本の断面図、拡大領域指定枠等を表示する。３次元標本画像の表示方法としては、３次元画像表示に関する既存の技術を適用することができる。例えば立体標本内部に存在する主断面による断面図の視認性を良くするために断面図以外の部分を半透明表示にしたり、主断面による断面図が露出するようなしかたで立体標本を切断した状態の３次元標本画像を表示したり、等を例示できる。
【０２１６】
これにより、立体標本の全体像と、第１の画像として表示されている断面と、を同時に観察できるようなしかたで画像提示を行うことができる。このような画像提示によれば、ユーザは、第１の画像２４０１に表示されている拡大画像が立体標本の内部断面のどの位置の領域なのかを容易に確認することができる。また、第１の画像２４０１に表示される拡大画像には、第２の画像２４０２に表示される立体標本の内部断面の形状、性状、傾き等に応じて回転処理が施されるので、ユーザによる観察エリアの移動の操作負担を軽減することができる。
【０２１７】
図２４の例では、例えば矢印キーを操作すると、第１の画像２４０１の拡大画像に表示される標本の観察エリアは第１の画像２４０１内で上下左右に移動する。しかし、第２の画像２４０２に表示される拡大領域指定枠２４０５は第２の画像２４０２内で画像回転角度に応じて斜め方向に移動することになる。第２の画像２４０２には、図２２（ｂ）に示すような３次元標本画像が表示される。この第２の画像において、主断面の形状、性状、傾き等に基づき３次元標本画像の回転処理を行ったり、或いは、ユーザが手動で３次元標本画像を回転させることができるようにしたりしても良い。こうすることで、観察エリアの上下左右の移動のための矢印キーの操作に伴って、第１の画像だけでなく、第２の画像に表示される拡大領域指定枠も上下左右方向に移動するようにできる。
【０２１８】
（効果）
本実施例では、第１の画像（拡大画像）と第２の画像（スライド画像）のみを画像提示することで、実施例１、実施例２に対して画像提示アプリケーションのウィンドウ構成を簡略化できる。また、標本や標本断面の形状、標本性状等に基づく画像回転により、観察エリアの斜め移動操作を減らすことができるので、ユーザの負担を軽減できる。
【符号の説明】
【０２１９】
６０２：個別標本、９０４：第２の画像、９１３：第１の画像
【図１】
2014130221.tif 000004
【図２】
2014130221.tif 000005
【図３】
2014130221.tif 000006
【図４】
2014130221.tif 000007
【図５】
2014130221.tif 000008
【図６】
2014130221.tif 000009
【図７】
2014130221.tif 000010
【図８】
2014130221.tif 000011
【図９】
2014130221.tif 000012
【図１０】
2014130221.tif 000013
【図１１】
2014130221.tif 000014
【図１２】
2014130221.tif 000015
【図１３】
2014130221.tif 000016
【図１４】
2014130221.tif 000017
【図１５】
2014130221.tif 000018
【図１６】
2014130221.tif 000019
【図１７】
2014130221.tif 000020
【図１８】
2014130221.tif 000021
【図１９】
2014130221.tif 000022
【図２０】
2014130221.tif 000023
【図２１】
2014130221.tif 000024
【図２２】
2014130221.tif 000025
【図２３】
2014130221.tif 000026
【図２４】
2014130221.tif 000027