(57)【要約】【課題】  Ｚスタック画像中の構造物の位置ずれを低減することができる画像処理装置を提供すること。【解決手段】  画像処理装置は、検体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のレイヤー画像を含むＺスタック画像のデータを取得する画像取得手段３０１と、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像のＸＹ平面における位置ずれの情報を取得する位置ずれ取得手段３０４，３０５と、前記位置ずれの情報に基づいて、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像の位置ずれを補正する位置ずれ補正手段３０６と、を備える。【選択図】  図３
2013152429.tif 000002
【特許請求の範囲】
【請求項１】
検体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のレイヤー画像を含むＺスタック画像のデータを取得する画像取得手段と、
前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像のＸＹ平面における位置ずれの情報を取得する位置ずれ取得手段と、
前記位置ずれの情報に基づいて、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像の位置ずれを補正する位置ずれ補正手段と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記位置ずれ取得手段は、
前記複数のレイヤー画像のうち少なくとも第１および第２のレイヤー画像のそれぞれにおいて所定の特徴を持つ特徴領域を抽出する抽出手段と、
前記第１のレイヤー画像の特徴領域の位置と前記第２のレイヤー画像の特徴領域の位置とに基づいて、前記第１のレイヤー画像と前記第２のレイヤー画像との位置ずれ量を計算する計算手段と、を有する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記抽出手段は、
前記複数のレイヤー画像のうち少なくとも第１および第２のレイヤー画像のそれぞれにおいて、該第１および第２のレイヤー画像に共通する第１の特徴領域を抽出し、
前記複数のレイヤー画像のうち少なくとも前記第２のレイヤー画像および第３のレイヤー画像のそれぞれにおいて、該第２および第３のレイヤー画像に共通し且つ前記第１の特徴領域と異なる第２の特徴領域を抽出し、
前記計算手段は、
前記第１のレイヤー画像の前記第１の特徴領域の位置と前記第２のレイヤー画像の前記第１の特徴領域の位置とに基づいて、前記第１のレイヤー画像と前記第２のレイヤー画像との位置ずれ量を計算し、
前記第２のレイヤー画像の前記第２の特徴領域の位置と前記第３のレイヤー画像の前記第２の特徴領域の位置とに基づいて、前記第２のレイヤー画像と前記第３のレイヤー画像との位置ずれ量を計算する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記位置ずれ取得手段は、前記位置ずれの情報として、前記顕微鏡装置の変位計によって取得されたデータを取得する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記変位計は、前記顕微鏡装置のイメージセンサと該イメージセンサに形成される前記検体の光学像との相対距離に関するデータを取得する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記第１ないし第３のレイヤー画像は、前記Ｚスタック画像の中にその順番で並んでいる
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記抽出手段は、所定の特徴を持つ複数の特徴領域を抽出し、
前記計算手段は、前記第１のレイヤー画像の複数の特徴領域の位置と前記第２のレイヤー画像の複数の特徴領域の位置とに基づいて、前記第１のレイヤー画像と前記第２のレイヤー画像との位置ずれ量を計算する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記計算手段は、前記第１のレイヤー画像に対する前記第２のレイヤー画像の傾きを計算する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記複数のレイヤー画像のうちの１つのレイヤー画像を基準レイヤー画像として選択する選択手段を更に備え、
前記抽出手段は、前記基準レイヤー画像の複数の特徴領域と、前記複数のレイヤー画像のうちの前記基準レイヤー画像以外のレイヤー画像の複数の特徴領域と、を抽出し、
前記計算手段は、前記基準レイヤー画像と該基準レイヤー画像以外のレイヤー画像との位置ずれ量と、前記基準レイヤー画像に対する該基準レイヤー画像以外のレイヤー画像の傾きを計算する
ことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記選択手段は、前記複数のレイヤー画像のうちの前記傾きが最も小さいレイヤー画像を前記基準レイヤー画像として選択する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記位置ずれ補正手段は、前記位置ずれの情報に基づいて、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像に座標変換を施す
ことを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記特徴領域は、特徴点である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１３】
検体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のレイヤー画像を含むＺスタック画像のデータを取得するステップと、
前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像のＸＹ平面における位置ずれの情報を取得するステップと、
前記位置ずれの情報に基づいて、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像の位置ずれを補正するステップと、を有する
ことを特徴とする画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、Ｚスタック画像のデータを処理する画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像し、デジタル化してディスプレイ上での病理診断を可能とするバーチャルスライドシステムがある。バーチャルスライドシステムによる病理診断のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、デジタル画像を使った患者への説明、希少症例の共有化、遠隔診断の迅速化、教育・実習の効率化などの点で、利便性の向上が期待できる。
【０００３】
また、バーチャルスライドのＺスタック画像取得機能は、対象となる検体の３次元構造を把握する上で非常に有用な機能である（特許文献１）。なお、本明細書において、「Ｚスタック画像」とは、顕微鏡装置により、焦点位置を変更しながら撮像して得られた複数枚の画像から構成されるデータのことである。また、この「Ｚスタック画像」を構成する各画像のことを、「レイヤー」もしくは「レイヤー画像」と呼ぶ。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０４２４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
Ｚスタック画像の各レイヤー画像を撮像する際、撮像素子を移動するメカ機構の誤差など、または、撮像対象である検体を移動するステージのメカ機構の誤差などにより、撮像素子と検体（プレパラート）の相対位置が撮像位置（Ｚ位置）によってずれる場合がある。それにより、撮像された複数のレイヤー画像ごとに、検体中の細胞などの構造物の位置がずれ、そのため正確な３次元構造の把握が出来ない場合があった。
【０００６】
そこで、本発明は、Ｚスタック画像中の構造物の位置ずれを低減することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
その目的を達成するために、本発明の一側面としての画像処理装置は、検体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のレイヤー画像を含むＺスタック画像のデータを取得する画像取得手段と、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像のＸＹ平面における位置ずれの情報を取得する位置ずれ取得手段と、前記位置ずれの情報に基づいて、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像の位置ずれを補正する位置ずれ補正手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
Ｚスタック画像中の構造物の位置ずれを低減することができる画像処理装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】実施例１を実現するシステム構成図
【図２】実施例１を実現するハードウェア構成図
【図３】実施例１における画像処理装置の機能ブロック図
【図４】実施例１における被写体と各レイヤーの位置関係を示す模式図
【図５】実施例１における全レイヤーの理想的な撮像画像
【図６】（ａ）は実施例１におけるレイヤー０の実際の撮像画像、（ｂ）は実施例１におけるレイヤー１の実際の撮像画像、（ｃ）は実施例１におけるレイヤー２の実際の撮像画像
【図７】実施例１における画像処理の流れを示すフローチャート
【図８】実施例１におけるレイヤー０の撮像画像上で抽出される特徴領域
【図９】（ａ）は実施例１におけるレイヤー１の撮像画像上で抽出される特徴領域、（ｂ）は実施例１におけるレイヤー２の撮像画像上で抽出される特徴領域
【図１０】実施例２における被写体と各レイヤーの位置関係を示す模式図
【図１１】（ａ）は実施例２におけるレイヤー０の理想的な撮像画像、（ｂ）は実施例２におけるレイヤー１の理想的な撮像画像、（ｃ）は実施例２におけるレイヤー２の理想的な撮像画像、（ｄ）は実施例２におけるレイヤー３の理想的な撮像画像
【図１２】（ａ）は実施例２におけるレイヤー０の実際の撮像画像と抽出される特徴領域、（ｂ）は実施例２におけるレイヤー０の実際の撮像画像と抽出される特徴領域、（ｃ）は実施例２におけるレイヤー０の実際の撮像画像と抽出される特徴領域、（ｄ）は実施例２におけるレイヤー０の実際の撮像画像と抽出される特徴領域
【図１３】実施例２における画像処理の流れを示すフローチャート
【図１４】実施例３におけるシステム構成図
【図１５】実施例３における被写体と各レイヤーの位置関係を示す模式図
【図１６】（ａ）は実施例３におけるレイヤー１の実際の撮像画像、（ｂ）は実施例３におけるレイヤー２の実際の撮像画像
【図１７】実施例３における画像処理の流れを示すフローチャート
【図１８】実施例３における特徴領域の対応付けの例
【図１９】実施例４におけるシステム構成図
【図２０】実施例４における本計測ユニットの構成図
【図２１】実施例４における画像処理装置の機能ブロック図
【図２２】実施例４における撮像装置の処理の流れを示すフローチャート
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための最良の形態を、図面と合わせて説明する。
【実施例１】
【００１１】
本発明を実現する第１の実施の形態を、図に従って説明する。
【００１２】
本実施例で示す手法は、図１のようなシステム構成の元で実現される。１０１は撮像装置（顕微鏡装置）であり、主にバーチャルスライドシステムにおける撮像部分に当たる。撮像装置１０１は、検体のＺ方向位置（対物レンズの光軸方向における位置）を変更しながら検体を撮影することで、検体の異なるＺ方向位置を撮像し、複数枚のレイヤー画像を生成する。１０２は本実施例で示す手法を実現するための主要部分であり、撮像装置１０１で生成された画像データ（Ｚスタック画像）を受け取り、処理を行う画像処理装置である。１０３は画像表示装置であり、画像処理装置１０２で処理された画像データを受け取り、画面に表示する。
【００１３】
本実施例において、画像処理装置１０２は、例えば図２に示されるハードウェア構成から成る。２０１は入力部であり、キーボードやマウス等が該当する。２０２は記憶部であり、本実施例で示す手法を実現するためのプログラムや、処理対象データなどを格納する部分であり、ＲＡＭ等が該当する。２０３は演算部であり、記憶部２０２に格納されたデータに対し、記憶部２０２に格納されたプログラムに従って各種演算処理を行う部分であり、ＣＰＵ等が該当する。２０４はＩ／Ｆ部であり、撮像装置１０１および画像表示装置１０３とのデータ入出力を制御するインターフェース部分である。２０５は補助記憶装置であり、ハードディスクやフラッシュメモリ等が該当する。２０６は上記２０１〜２０５を接続するデータバスである。画像処理装置１０２は汎用のコンピュータに後述する各工程を実行させるプログラムをインストールすることにより構成することもできるし、専用のハードウェアとプログラムから構成することもできる。
【００１４】
本実施例における画像処理装置１０２の機能ブロック図を、図３に示す。画像データ取得部（画像取得手段）３０１は、撮像装置１０１から画像データを取得する部分である。画像データ格納部３０２は、画像データ取得部３０１から取得した画像データを格納しておく部分である。画像補正制御部３０３は、特徴領域抽出部３０４や補正量計算部３０５および画像補正部３０６と連携しながら、画像処理を行う。特徴領域抽出部（抽出手段）３０４は、画像補正制御部３０３から画像データを受け取り、その画像データから特徴領域の抽出を行う。抽出された特徴領域データは、補正量計算部（計算手段）３０５へ送られる。補正量計算部３０５は、画像補正制御部３０３から受け取った画像データと、特徴領域抽出部３０４から受け取った特徴領域データを用いて、各レイヤー画像の補正量データ（位置ずれの情報）を計算し、その計算結果を画像補正部３０６に送る。特徴領域抽出部３０４及び補正量計算部３０５の機能は、位置ずれ取得手段に対応する。画像補正部（位置ずれ補正手段）３０６は、画像補正制御部３０３から受け取った画像データと、補正量計算部３０５から受け取った補正量データを用いて画像データに座標変換等を施すことにより補正する。画像補正部３０６のこの機能が座標変換手段に対応する。さらに、画像補正部３０６は、補正画像データを画像データ出力部３０７へ送る。画像データ出力部３０７は、画像補正部３０６から受け取った補正画像データを、表示画像データとして画像表示装置１０３へ送る。
【００１５】
本実施例では、図４に示す状況を例にとる。なお、図４は本実施例におけるアルゴリズムを説明するための便宜的な模式図であって、実際の病理組織や細胞の構造は、ずっと複雑である。
【００１６】
図４では、構造物１（４０１）と、構造物２（４０２）の２つが存在している。この２つの構造物は、構造が単純であり、ＸＹ平面に垂直に位置しているとする。そして、この構造物に対して、深度を変えた撮像を行い、レイヤー０（４０３）とレイヤー１（４０４）、およびレイヤー２（４０５）の画像を取得するとする。
【００１７】
もし、これらの撮像時に、撮像素子の位置ずれがなければ、４０３、４０４、および４０５の画像として記録される画像データは、全て図５に示される同一の画像５０１となるはずである。しかし実際には、撮像素子またはステージに接続されているメカ機構の誤差などにより、これらの画像は同一にならない可能性がある。例えば、４０３、４０４、および４０５の画像は、それぞれ図６（ａ）〜図６（ｃ）に示される画像６０１、６１１、および６２１として取得される。なお、基準線５０４、５０５、および５０６は、実際に画像に記録される線ではなく、画像に記録される形状６０２、６０３、６１２、６１３、６２２、および６２３が、理想的な位置からどれくらいずれているかを示すための、説明上の便宜的な線である。また、図６（ａ）〜図６（ｃ）では、分かりやすくするために各形状のずれ量の割合を大きめに示してある。実際のバーチャルスライドシステムによる撮像時のずれ量は、これらの図で示しているずれ量よりもはるかに小さい。
【００１８】
本実施例では、これらのＸＹ平面に対する位置誤差を含んだ画像データを表示する際、位置誤差をなくした形で表示する方法について述べる。
【００１９】
図７は、本実施例における画像処理の流れを示すフローチャートである。以下、図７に従って処理の流れを説明する。
【００２０】
まず、各種初期設定を行う（ステップＳ７０１）。
【００２１】
次に、画像補正制御部３０３は、位置ずれ補正の基準となるレイヤー画像（第１のレイヤー画像）を一つ選択する（ステップＳ７０２）。画像補正制御部３０３のこの機能が本発明の選択手段に対応する。この基準となるレイヤー画像は、基本的に、複数のレイヤー画像の中から任意のレイヤーを選択して良い。
【００２２】
次に、特徴領域抽出部３０４は、選択した基準レイヤー画像の中から、画像の所定の特徴を示す特徴領域を抽出する（ステップＳ７０３）。この特徴領域抽出には、コーナー抽出やその他の適切な処理を用いれば良い。本実施例では、この特徴領域を、周知のコーナー抽出アルゴリズム（コーナー検出アルゴリズム）によって抽出されたコーナー（特徴点）とする。例えば、基準レイヤー画像として６１１を選択して、コーナー抽出アルゴリズムを６１１に適用すると、８０１〜８０５で示されるコーナーが特徴点として抽出される。
【００２３】
次に、特徴領域抽出部３０４は、抽出された特徴領域が一つだけかどうかを判定する（条件判定Ｓ７０４）。Ｓ７０４の判定結果が真であれば、Ｓ７０６に進む。Ｓ７０４の判定結果が偽であれば、画像には複数の特徴領域が存在しているはずなので、その中からある一つの特徴領域を選択する。なおこの場合、複数の特徴領域からどれを選択するかについては任意性があるので、目的に応じてユーザが適切な選択方法を設定しておけば良い。本実施例では、図８に５つの特徴点が示されているので、特徴領域抽出部３０４は、この中からコーナー８０３を選択することにする。
【００２４】
次に、画像補正制御部３０３は、基準レイヤー画像以外の特徴領域を抽出していないレイヤー群から、ある一つのレイヤー（第２のレイヤー画像）を選択する（ステップＳ７０６）。
【００２５】
次に、特徴領域抽出部３０４は、選択したレイヤーから、特徴領域を抽出する（ステップＳ７０７）。なお、Ｓ７０３で特徴領域が複数抽出されている場合には、Ｓ７０７でも同様に複数の特徴領域が抽出される可能性がある。よってこの場合は、補正できる最大位置ずれ量をあらかじめ定義しておいて、すでに選択された一つの特徴領域の位置と、そこから最大位置ずれ量を考慮したある限られた領域の中から特徴領域を抽出すると良い。このような処理を行うことで、すでに抽出されている特徴領域に対応した特徴領域を効率的に抽出できる。例えば、６０１と６２１にこの処理を適用した場合、すでに抽出されているコーナー８０３に対応するコーナーは、６０１に対してはコーナー９０１、６２１に対してはコーナー９１１となる（図９（ａ）、図９（ｂ））。
【００２６】
次に、全てのレイヤーで特徴領域を抽出したかどうかを判定する（条件判定Ｓ７０８）。Ｓ７０８の判定結果が真であれば、Ｓ７０９に進み、判定結果が偽であれば、Ｓ７０６に戻る。
【００２７】
次は、画像補正制御部３０３は、基準レイヤー以外のレイヤーを、一つ選択する（ステップＳ７０９）。
【００２８】
次に、補正量計算部３０５は、選択されたレイヤーに対する適切な補正量を計算する（ステップＳ７１０）。補正量計算部３０５のこの機能が本発明の計算手段に対応する。具体的には、基準レイヤーにおける特徴領域の位置と、選択されたレイヤーにおける特徴領域の位置を用いて、その差分から補正量を計算すれば良い。
【００２９】
次に、全レイヤーで補正量を求めたかどうかを判定する（条件判定Ｓ７１１）。Ｓ７１１の判定結果が真であれば、Ｓ７１２へ進む。Ｓ７１１の判定結果が偽であれば、Ｓ７０９に戻る。
【００３０】
次に、補正量テーブルをメモリ等に作成して、計算した値をテーブルに格納する（ステップＳ７１２）。この補正量テーブルは、例えば以下の表１に示すように、各要素にレイヤー番号と、対応するｘ方向補正量、ｙ方向補正量を格納する。
【００３１】
【表１】
2013152429.tif 000003
【００３２】
なお、本実施例では基準レイヤーをレイヤー１としているので、レイヤー１の補正量はｘ方向、ｙ方向ともにゼロである。また、補正量の値の単位は場合に応じて適切なものを用いれば良いが、最も簡単なのは、ピクセル数を単位とする方法である。
【００３３】
Ｓ７１２の処理が終われば、一連の処理が終了する。
【００３４】
以上で、本実施例における画像処理の流れの説明を終了する。
【００３５】
この本実施例によって、実際に複数枚の深度画像を表示する際、表示レイヤーに対応した補正量で画像のＸＹ方向の位置ずれを補正でき、従来技術と比較して、被写体のより正確な３次元構造を把握することが可能となる。
【実施例２】
【００３６】
本発明を実現する第２の実施の形態を、図に従って説明する。
【００３７】
本実施例を実現する画像処理装置のシステム構成、ハードウェア構成、および機能ブロックは実施例１と同様であるが、各レイヤー画像の位置ずれを補正するアルゴリズムが異なる。
【００３８】
実施例１では、図４に示す状況を考えた。この例では、撮像対象となる被写体が各レイヤーと垂直に交わっており、全レイヤーで同様の特徴領域がほぼ同じ位置で抽出されることを仮定していた。しかし、現実の病理組織では、そのような状況が生じることがまれである。むしろ、撮像時の深度が変化するにつれて、異なる特徴領域が異なる位置に現れる方が普通である。この場合、実施例１で示したアルゴリズムは利用できない。
【００３９】
そこで本実施例では、図１０に示す状況を例にとる。なお、実施例１と同様に、図１０は本実施例におけるアルゴリズムを説明するための便宜的な模式図であって、実際の病理組織や細胞の構造は、ずっと複雑である。
【００４０】
図１０では、構造物１（１００１）、構造物２（１００２）、および構造物３（１００３）の３つの構造物が存在している。これら３つの構造物は、全てのレイヤーと交わっているわけではない。１００１はレイヤー０（１００４）とレイヤー１（１００５）、１００２はレイヤー２（１００６）とレイヤー３（１００７）、１００３はレイヤー１（１００５）とレイヤー２（１００６）とだけ交わっている。そして、これらの構造物に対して深度を変化させた撮像を行い、４枚のレイヤー画像を順番に取得するとする。
【００４１】
もし、撮像時に、撮像素子または検体の位置ずれがなければ、レイヤー０（１００４）〜レイヤー３（１００７）の画像として記録される画像データは、図１１（ａ）〜図１１（ｄ）に示される画像１１０１、１１１１、１１２１、１１３１となるはずである。しかし実際には、撮像素子またはステージに接続されているメカ機構の誤差などにより、これらの画像と実際の画像とでは、位置ずれが生じる場合がある。例えば、レイヤー０（１００４）〜レイヤー３（１００７）は、実際にはそれぞれ図１２（ａ）〜図１２（ｄ）に示される画像１２０１、１２１１、１２２１、および１２３１として取得される。なお、画像１２０１、１２１１、１２２１、および１２３１は、第１のレイヤー画像、第２のレイヤー画像、第３のレイヤー画像、第４のレイヤー画像に対応する。また、基準線１１０３、１１０４、１１０５、および１１０６は、実際に画像に記録される線ではない。これらの基準線は、画像に記録される形状１２０２、１２１２、１２１３、１２２２、１２２３、および１２３２が、理想的な位置からどれくらいずれているかを示すための、説明上の便宜的な線である。また、図１２（ａ）〜図１２（ｄ）では、分かりやすくするために各形状のずれ量の割合を大きめに示してある。実際のバーチャルスライドシステムによる撮像時のずれ量は、これらの図で示しているずれ量よりもはるかに小さい。
【００４２】
本実施例では、これらのＸＹ平面に対する位置誤差を含んだ画像データを表示する際、位置誤差をなくした形で表示する方法について述べる。
【００４３】
図１３は、本実施例における画像処理の流れを示すフローチャートである。以下、図１３に従って処理の流れを説明する。
【００４４】
まず、各種初期設定を行う（ステップＳ１３０１）。
【００４５】
次に、何らかの整数型変数ｉを用意し、値としてゼロを代入する（ステップＳ１３０２）。
【００４６】
次に、レイヤーｉの特徴領域を抽出する（ステップＳ１３０３）。
【００４７】
次に、レイヤーｉ＋１の特徴領域を抽出する（ステップＳ１３０４）。
【００４８】
次に、レイヤーｉとレイヤーｉ＋１に共通する特徴領域を一つ選択する（ステップＳ１３０５）。ここで、「共通する特徴領域」とは、ある２つの特徴領域を考えたとき、それらの位置のずれがあらかじめ設定した最大ずれ量よりも小さく、またその画像パターン（特徴）が十分に似通っているような場合のことである。
【００４９】
ここで述べた条件を満たす特徴領域のペアは複数存在する可能性があるので、その場合、実際のアルゴリズムでは、任意のペアを一つ選べば良い。例えば本実施例では、共通する特徴領域として、１２０３と１２１４（第１の特徴領域）、１２１５と１２２５（第２の特徴領域）、および１２２４と１２３３（第３の特徴領域）のペアが選択されるとする。なお、第１〜第３の特徴領域は、互いに、それらの位置のずれがあらかじめ設定した最大ずれ量よりも大きい、または、その画像パターン（特徴）が似通っていない。
【００５０】
次に、抽出したレイヤーｉの特徴領域とレイヤーｉ＋１の特徴領域の位置ずれ量から、各レイヤーにおける補正量を計算する（ステップＳ１３０６）。これは例えば、以下の表２に示すテーブルを作る処理である。ｉ＝０がゼロであれば、レイヤー０を基準として、２つの特徴領域の位置ずれ量をそのままレイヤー１の補正量として、テーブルに格納する。
【００５１】
【表２】
2013152429.tif 000004
【００５２】
次に、整数型変数ｉの値を１つ増やす（ステップＳ１３０７）。
【００５３】
次に、Ｎを全レイヤーの枚数とした場合、ｉの値がＮ−１と等しいかどうかを判定する（条件判定Ｓ１３０８）。Ｓ１３０８の判定結果が真であれば、ステップＳ１３０９に進む。Ｓ１３０８の判定結果が偽であれば、ステップＳ１３０３に戻る。
【００５４】
次に、全レイヤーに対する補正量テーブルを作成する（ステップＳ１３０９）。具体的には、例えばＳ１３０６の繰り返しで表２〜表４に示す３個（本実施例では、Ｎ＝４）のテーブルがすでに作成されていれば、表２におけるレイヤー１の補正量を基準として新しいレイヤー２の補正量を計算する。また同様に、表３におけるレイヤー２の補正量を基準として新しいレイヤー３の補正量を計算する。それらの結果を全て結合すれば、表５のようなテーブルを作成できる。
【００５５】
【表３】
2013152429.tif 000005
【００５６】
【表４】
2013152429.tif 000006
【００５７】
【表５】
2013152429.tif 000007
【００５８】
Ｓ１３０９の処理が終われば、一連の処理が終了する。
【００５９】
以上で、本実施例における画像処理の流れの説明を終了する。
【００６０】
この本実施例によって、実際に複数枚の深度画像を表示する際、表示レイヤーに対応した補正量で画像のＸＹ方向の位置ずれを補正でき、従来技術と比較して、被写体のより正確な３次元構造を把握することが可能となる。また、実施例１と比較して、より多くの種類の被写体画像に対して位置ずれ補正を適用することができる。
【実施例３】
【００６１】
本発明を実現する第３の実施の形態を、図に従って説明する。
【００６２】
本実施例を実現する画像処理装置の形態について、ハードウェア構成と機能ブロックは実施例１や２と共通であるが、システム構成と画像処理アルゴリズムには相違点がある。
【００６３】
実施例１や実施例２では、図１のようなシステム構成を用いていたが、本実施例では図１４のようなネットワークに接続されたシステム構成を用いる。１４０１は撮像装置であり、主にバーチャルスライドシステムにおける撮像部分に当たる。１４０２はサーバであり、１４０１によって撮像・生成された画像データなどを格納している。１４０３は本実施例で示す手法を実現するための主要部分である画像処理装置であり、１４０２に格納されている画像データを読み込み、処理を行う。１４０４は画像表示装置であり、１４０３で処理された画像データを受け取り、画面に表示する。１４０５，１４０８はネットワークに接続された一般的なＰＣであり、１４０６，１４０７はＰＣに接続された画像表示装置である。１４０９はネットワーク回線であり、様々なデータのやり取りを行う。
【００６４】
本実施例では、図１５に示す状況を例にとる。なお、実施例１や実施例２と同様に、図１５は本実施例におけるアルゴリズムを説明するための便宜的な模式図であって、実際の病理組織や細胞の構造は、ずっと複雑である。
【００６５】
図１５の基本的な状況は、図１０と同じであるが、図１０のレイヤー１（１００５）とレイヤー２（１００６）が、図１５では傾いたレイヤー１（１５０２）と傾いたレイヤー２（１５０３）になっているところが異なる。これは、撮像装置１０１の撮像素子の水平方向の位置ずれの他にも、垂直方向に傾くことによって生じるずれがあることを表している。図１５に示す状況が発生すると、実際に取得されるレイヤー１（１５０２）とレイヤー２（１５０３）の画像データは、例えば図１６（ａ）や図１６（ｂ）に示す１６０１や１６１１となる。この例では、各レイヤーが傾いているため、画像に記録される構造物の断面１６０２、１６０３、１６１２、および１６１３は、傾きの方向にそれらの形状が伸びることになる。
【００６６】
図１７は、本実施例における画像処理の流れを示すフローチャートである。以下、図１７に従って処理の流れを説明する。
【００６７】
まず、各種初期設定を行う（ステップＳ１７０１）。
【００６８】
次に、補正処理の基準となる基準レイヤーを、一つ選択する（ステップＳ１７０２）。この基準レイヤーとしては、傾きによるずれがないレイヤーを選択するのが望ましい。しかし、傾きの情報を常に画像から取得できるとは限らないので、その場合は例えば、ユーザが基準レイヤーを直接指定しても良い。
【００６９】
次に、何らかの整数型変数ｉを用意し、値として基準レイヤーのレイヤー番号を代入する（ステップＳ１７０３）。
【００７０】
次に、基準レイヤーの特徴領域群を抽出する（ステップＳ１７０４）。実施例１や実施例２では、特徴領域は一つだけしか選択しなかったが、本実施例では複数の特徴領域を抽出し、そのうち必要十分な数の特徴領域を補正のために利用する。
【００７１】
次に、整数型変数ｉの値を１だけ減らす（ステップＳ１７０５）。
【００７２】
次に、レイヤーｉの特徴領域群を抽出する（ステップＳ１７０６）。
【００７３】
次に、Ｓ１７０４とＳ１７０６で抽出された特徴領域群を用いて、画像の補正を行う（ステップＳ１７０７）。この補正の際には、例えば２つのレイヤーで抽出された特徴領域群をそれぞれ対応付け、画像処理におけるワーピングなどの手法を用いて補正を行えば良い。その具体的な方法の図解を図１８に示す。例えばレイヤー０に構造物１（１００１）の断面１２０２が記録されており、レイヤー１に構造物１（１００１）の断面１６０２が記録されているとする。この時、１２０２の５個のコーナー１８０１〜１８０５と、１６０２の５個のコーナー１８０６〜１８１０を、それぞれ関連付ける。コーナーごとに、その位置とＸＹ方向ずれ量が異なるため、適切なアフィン変換を行えば、１２０２と１６０２のずれ量を補正し、その形状を一致させることが可能になる。また、アフィン変換によるずれ補正を保証できない場合は、より複雑な非線形変換などを用いても良い。
【００７４】
次に、ｉが０に等しいかどうかを判定する（条件判定Ｓ１７０８）。Ｓ１７０８の判定結果が真であれば、Ｓ１７０９に進む。Ｓ１７０８の判定結果が偽であれば、Ｓ１７０５に戻る。
【００７５】
次に、ｉに再び基準レイヤーのレイヤー番号を代入する（ステップＳ１７０９）。
【００７６】
次に、ｉの値を１だけ増やす（ステップＳ１７１０）。
【００７７】
次に、Ｓ１７０６と同様に、レイヤーｉの特徴領域群を抽出する（ステップＳ１７１１）。
【００７８】
次に、Ｓ１７０４とＳ１７１１で抽出された特徴領域群を用いて、画像の補正を行う（ステップＳ１７１２）。この補正でも、Ｓ１７０７と同様の処理を用いれば良い。
【００７９】
次に、レイヤー総数をＮとしたときに、ｉがＮ−１に等しいかどうかを判定する（条件判定Ｓ１７１３）。Ｓ１７１３の判定結果が真であれば、一連の処理を終了させる。Ｓ１７１３の判定結果が偽であれば、Ｓ１７１０に戻る。
【００８０】
以上で、本実施例における画像処理の流れの説明を終了する。
【００８１】
この本実施例によって、実際に複数枚の深度画像を表示する際、表示レイヤーに対応した補正量で画像の位置ずれを補正でき、従来技術と比較して、被写体のより正確な３次元構造を把握することが可能となる。また、実施例１や２と比較して、撮像装置が斜め方向にずれた場合でも、適切に撮像画像を補正することができる。
【実施例４】
【００８２】
本発明を実現する第４の実施の形態を、図に従って説明する。
【００８３】
本実施例で示す方法は、図１９のような構成のバーチャルスライドシステムの元で実現される。
【００８４】
図１９で示すバーチャルスライドシステムは、検体の撮像データを取得する撮像装置（顕微鏡装置）１９１０とデータ処理や制御を行う画像処理装置１９１２およびその周辺機器から構成されている。
【００８５】
画像処理装置１９１２には、ユーザからの入力を受け付けるキーボードやマウスなどの操作入力デバイス１９１１、処理画像を表示する画像表示装置１０３が接続される。また画像処理装置１９１２には、記憶装置１９１３、他のコンピュータシステム１９１４が接続されている。
【００８６】
多数の検体（プレパラート）の撮像をバッチ処理で行う場合、画像処理装置１９１２の制御の下で撮像装置１９１０が各検体を順に撮像し、画像処理装置１９１２が各検体の画像データに対し必要な処理を施す。そして得られた各検体の画像データは、大容量のデータストレージである記憶装置１９１３又は他のコンピュータシステム１９１４へ伝送され、蓄積される。
【００８７】
撮像装置１９１０での撮像（プレ計測および本計測）は、ユーザの入力を受けて画像処理装置１９１２がコントローラ１９０８へ指示を送り、次にコントローラ１９０８が本計測ユニット１９０１とプレ計測ユニット１９０２を制御することで実現される。
【００８８】
本計測ユニット１９０１は、プレパラート内の検体診断のための高精細な画像を取得する撮像ユニットである。プレ計測ユニット１９０２は、本計測に先立って撮像を行う撮像ユニットで、本計測で精度の良い画像取得をするための撮像制御情報取得を目的とした画像取得を行う。
【００８９】
コントローラ１９０８には変位計１９０３が接続され、本計測ユニット１９０１またはプレ計測ユニット１９０２内のステージに設置されるプレパラートの位置や距離が測定できる構成となっている。
【００９０】
またコントローラ１９０８には、本計測ユニット１９０１およびプレ計測ユニット１９０２の撮像条件を制御するための開口絞り制御１９０４、ステージ制御１９０５、照明制御１９０６、センサ制御１９０７が接続されている。そして、それぞれはコントローラ１９０８からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。
【００９１】
ステージには、プレパラートを光軸に垂直な方向に移動するＸＹステージと、光軸に沿った方向に移動するＺステージがある。それぞれ、ＸＹステージは光軸に垂直な方向に分布する検体画像を、Ｚステージは奥行き方向に焦点位置を変えた画像を撮像するために用いる。図示しないが、撮像装置１９１０には、複数のプレパラートをセットすることが可能なラックと、ラックからステージ上の撮像位置へとプレパラートを送り出す搬送機構とが設けられている。バッチ処理の場合は、コントローラ１９０８が搬送機構を制御することで、ラックからプレパラートを１枚ずつ、プレ計測ユニット１９０２のステージ、本計測ユニット１９０１のステージの順に送り出す。
【００９２】
本計測ユニット１９０１およびプレ計測ユニット１９０２には、撮像した画像を用いてオートフォーカスを実現するＡＦユニット１９０９が接続されている。ＡＦユニット１９０９は、コントローラ１９０８を介して、本計測ユニット１９０１、プレ計測ユニット１９０２のステージの位置を制御することで合焦位置を探し出すことが出来る。
【００９３】
図２０は、本実施例における本計測ユニット１９０１の内部構成を示す図である。
【００９４】
光源２００１の光は、照明光学系２００２を通じ、光量ムラが無いように均一化され、ステージ２００３の上に設置されたプレパラート２００４を照射する。プレパラート２００４は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、検体（被写体）を観察可能な状態に準備したものである。
【００９５】
結像光学系（対物レンズ）２００５は、検体の像を拡大して撮像手段である撮像部２００７上に形成する光学系である。プレパラート２００４を通った光は、結像光学系２００５を介して、撮像部２００７上の撮像面で結像する。結像光学系２００５の中には開口絞り２００６が存在し、開口絞り２００６を調整することで被写界深度が制御できる。
【００９６】
撮像にあたっては、光源２００１を点灯させ、プレパラート２００４に光を照射する。そして、照明光学系２００２、プレパラート２００４、結像光学系２００５を通って撮像面に結像した像を撮像部２００７のイメージセンサで受光する。モノクロ（グレースケール）撮影時には光源２００１を白色で露光し、１回撮像を行う。カラー撮影時には、ＲＧＢの３つの光源２００１で順番に露光し、３回撮像を行うことで、カラー画像を取得する。
【００９７】
撮像面で結像した検体の像は、撮像部２００７で光電変換され、Ａ／Ｄ変換を実行した後、電気信号として画像処理装置１９１２に送られる。
【００９８】
本実施例における画像処理装置１９１２の機能ブロック図を、図２１に示す。画像データ取得部（画像取得手段）３０１、画像データ格納部３０２、画像補正部（位置ずれ補正手段）３０６および画像データ出力部３０７は、実施例１と同様である。本実施例では、撮像装置１９１０から補正量データを補正量取得部（位置ずれ取得手段）２１０１で取得し、取得したデータを画像補正部３０６へ送る。補正量取得部２１０１が画像補正部３０６へ送る補正量データの形式は、実施例１における補正量計算部３０５が画像補正部３０６へ送るデータ形式と同じである。よって、画像補正の方法も、実施例１と同様である。
【００９９】
なお、補正量取得部２１０１が取得する補正量データは、変位計１９０３によって取得されたデータであり、本実施例ではＸＹステージの絶対位置もしくは基準位置からの相対位置である。なお、変位計１９０３は、イメージセンサとそのイメージセンサに形成される検体の光学像との相対距離に関するデータを取得できるものであれば良い。本実施例では、イメージセンサが固定されているため、変位計１９０３でＸＹステージの位置のみを計測した。
【０１００】
この補正量データを取得する流れを、図２２に示す。以下、図２２に従って説明を行う。
【０１０１】
初めに、撮像装置１９１０の初期化処理を行う（ステップＳ２２０１）。この中には、システムの自己診断や、各種パラメータ初期化、各ステージの基準位置設定、各ユニット間の相互接続確認などの処理が含まれる。
【０１０２】
次に、変数ｉに０を代入する（ステップＳ２２０２）。この変数ｉはレイヤー番号を表しており、取得するレイヤー数をＮとするとき、０〜Ｎ−１までの値をとる。
【０１０３】
次に、Ｚステージの位置を決定する（ステップＳ２２０３）。通常は、Ｚスタック撮像時に各レイヤーの焦点位置がユーザから与えられるので、レイヤー番号ｉの撮像におけるＺステージの位置はそのデータに基づいて決定すれば良い。
【０１０４】
次に、ＸＹステージを駆動させ、その位置を決定する（ステップＳ２２０４）。ＸＹステージの位置は、ステップＳ２２０１で設定した基準位置を用いて決められる。例えば、センサの有効撮像領域の形状が１辺の長さＬの正方形である場合、ＸＹステージの位置は基準位置からｘ方向、ｙ方向ともにＬの整数倍だけずれた位置に駆動される。
【０１０５】
次に、ＸＹステージの実際の位置を取得する（ステップＳ２２０５）。本実施例では、変位計１９０３を用いてＸＹステージの位置を取得する。本来は、ステップＳ２２０４のために与えられた位置データと、ステップＳ２２０５で取得された位置は一致するはずであるが、実際はメカ精度等の関係により両者が一致しない場合がある。また、ステップＳ２２０４の位置精度を向上させるためには、ステップＳ２２０４とステップＳ２２０５をフィードバック制御で繰り返す方法が考えられるが、本実施例では高速処理を重視してそのようなフィードバック制御等は行わないとする。このＸＹステージ位置のデータが、最終的に補正量データとして画像処理装置１９１２に送られる。
【０１０６】
次に、プレパラート２０４上にある検体の光学像を、撮像部２０７により撮像する（ステップＳ２２０６）。
【０１０７】
次に、変数ｉに１を加える（ステップＳ２２０７）。これは、焦点位置を変えて次のレイヤーを撮像する指示に相当する。
【０１０８】
次に、変数ｉの値がＮ−１より大きいかどうかを判定する（条件判定Ｓ２２０８）。条件判定Ｓ２２０８の結果が偽であれば、ステップＳ２２０３に戻り、次のレイヤーを撮像するために再びＺステージを駆動し、その位置を決定する。条件判定Ｓ２２０８の結果が真であれば、全レイヤーの撮像が完了したものとし、一連の処理を終了させる。
【０１０９】
上記処理によって、画像データとステージ位置データすなわち補正量データを取得することができる。
【０１１０】
なお、ｉが１以上の場合、処理速度を優先させるのであれば、ステップＳ２２０４は省略しても良い。なぜならば、ｉが０の段階でＸＹステージの大体の位置は決まっており、撮像するレイヤーを変更するためにステージを光軸方向に動かしても、ＸＹステージは水平方向に大きく移動しないと考えられるためである。その場合、本実施例における水平方向ずれ補正によって画像補正効果が十分見込めると考えられる。
【０１１１】
さらに、実用上は撮像センサよりも撮像対象領域が大きいことがほとんどであり、その場合は図２２で示したアルゴリズムを実行しても、各レイヤーの一部のみを撮像した小ブロック状のレイヤー画像群とそれに対応するＸＹステージ情報が得られるだけである。この場合は、図２２で示したアルゴリズムを水平方向に繰り返し、各水平位置ごとに小ブロック状のレイヤー画像群と対応するＸＹステージ位置情報のペアを、画像処理装置１９１２に送ればよい。さらに画像処理装置では、画像補正部３０６と画像データ出力部３０７との間で、レイヤーごとに水平方向位置ずれが補正された小ブロック状画像を繋ぎ合わせて、それを最終的な補正画像データとすれば良い。
【０１１２】
以上で、本実施例における画像処理の流れの説明を終了する。
【０１１３】
この本実施例によって、実際に複数枚の深度画像を表示する際、表示レイヤーに対応した補正量で画像の位置ずれを補正でき、従来技術と比較して、被写体のより正確な３次元構造を把握することが可能となる。また、実施例１や２と比較して、特徴量による位置ずれ検出を用いないことで、補正処理の負荷が軽くなり、高速な位置ずれ処理を行うことが可能になる。
【０１１４】
［その他の実施例］
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施例の機能の全部又は一部を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１１５】
また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部又は全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
【０１１６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
【０１１７】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１１８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【０１１９】
２０６  データバス
４０１  構造物１
４０２  構造物２
４０３  レイヤー０
４０４  レイヤー１
４０５  レイヤー２
５０１  各レイヤーにおける理想的な撮像画像
５０２  構造物１の断面
５０３  構造物２の断面
５０４〜５０６  基準線
６０１  レイヤー０における実際の撮像画像
６０２  レイヤー０における構造物１の断面
６０３  レイヤー０における構造物２の断面
６１１  レイヤー１における実際の撮像画像
６１２  レイヤー１における構造物１の断面
６１３  レイヤー１における構造物２の断面
６２１  レイヤー２における実際の撮像画像
６２２  レイヤー２における構造物１の断面
６２３  レイヤー２における構造物２の断面
８０１〜８０５  抽出されるコーナー
９０１  位置ずれ補正に利用するコーナー
９１１  位置ずれ補正に利用するコーナー
１００１  構造物１
１００２  構造物２
１００３  構造物３
１００４  レイヤー０
１００５  レイヤー１
１００６  レイヤー２
１００７  レイヤー３
１１０１  レイヤー０における理想的な撮像画像
１１０２  構造物１の断面
１１０３〜１１０６  基準線
１１１１  レイヤー１における理想的な撮像画像
１１１２  構造物１の断面
１１１３  構造物３の断面
１１２１  レイヤー２における理想的な撮像画像
１１２２  構造物２の断面
１１２３  構造物３の断面
１１３１  レイヤー３における理想的な撮像画像
１１３２  構造物２の断面
１２０１  レイヤー０における実際の撮像画像
１２０２  構造物１の断面
１２０３  コーナー
１２１１  レイヤー１における実際の撮像画像
１２１２  構造物１の断面
１２１３  構造物３の断面
１２１４  コーナー
１２２１  レイヤー２における実際の撮像画像
１２２２  構造物２の断面
１２２３  構造物３の断面
１２２４  コーナー
１２２５  コーナー
１２３１  レイヤー３における実際の撮像画像
１２３２  構造物２の断面
１２３３  コーナー
１４０９  ネットワーク回線
１５０１  レイヤー０
１５０２  レイヤー１
１５０３  レイヤー２
１５０４  レイヤー３
１６０１  レイヤー１における実際の撮像画像
１６０２  構造物１の断面
１６０３  構造物３の断面
１６１１  レイヤー２における実際の撮像画像
１６１２  構造物２の断面
１６１３  構造物３の断面
１８０１〜１８１０  コーナー
１９１０  撮像装置
２００１  光源
２００２  照明光学系
２００３  ステージ
２００４  プレパラート
２００５  結像光学系
２００６  開口絞り
２００７  撮像部
【図１】
2013152429.tif 000008
【図２】
2013152429.tif 000009
【図３】
2013152429.tif 000010
【図４】
2013152429.tif 000011
【図５】
2013152429.tif 000012
【図６】
2013152429.tif 000013
【図７】
2013152429.tif 000014
【図８】
2013152429.tif 000015
【図９】
2013152429.tif 000016
【図１０】
2013152429.tif 000017
【図１１】
2013152429.tif 000018
【図１２】
2013152429.tif 000019
【図１３】
2013152429.tif 000020
【図１４】
2013152429.tif 000021
【図１５】
2013152429.tif 000022
【図１６】
2013152429.tif 000023
【図１７】
2013152429.tif 000024
【図１８】
2013152429.tif 000025
【図１９】
2013152429.tif 000026
【図２０】
2013152429.tif 000027
【図２１】
2013152429.tif 000028
【図２２】
2013152429.tif 000029