(57)【要約】【課題】複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができ、ひいては所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上することのできる技術を提供する。【解決手段】本発明の撮像システムは、結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得する撮像手段と、前記撮像手段で取得された前記複数の画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た前記被写体の画像を生成する生成手段と、を有し、前記撮像手段で取得された画像は、決まった位置に現れる固定パターンノイズを含むことがあり、前記撮像手段は、前記被写体に対する前記固定パターンノイズの相対位置が前記複数の画像の間でばらつくように、撮像領域の位置又は向きを変えながら前記被写体を複数回撮像する。【選択図】図７
2014090401.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得する撮像手段と、
前記撮像手段で取得された前記複数の画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た前記被写体の画像を生成する生成手段と、
を有し、
前記撮像手段で取得された画像は、決まった位置に現れる固定パターンノイズを含むことがあり、
前記撮像手段は、前記被写体に対する前記固定パターンノイズの相対位置が前記複数の画像の間でばらつくように、撮像領域の位置又は向きを変えながら前記被写体を複数回撮像する
ことを特徴とする撮像システム。
【請求項２】
前記撮像手段は、前記複数の画像のうちの２つの画像の全ての組み合わせにおいて、前記被写体の位置及び向きを一致させたときの前記固定パターンノイズの位置の差が１ピクセル以上となるように、前記撮像領域の位置又は向きを変える
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記任意の視線方向は、前記光軸方向に対する角度が所定角度以下の方向であり、
前記撮像手段は、前記複数の画像のうちの２つの画像の全ての組み合わせにおいて、前記被写体の位置及び向きを一致させたときの一方の画像の前記固定パターンノイズが、他方の画像の前記固定パターンノイズの位置を通る方向であって、前記光軸方向に対する角度が前記所定角度である方向よりも外側に位置するように、前記撮像領域の位置又は向きを変える
ことを特徴とする請求項１又は２に記載の撮像システム。
【請求項４】
前記撮像手段は、
イメージセンサを有し、
前記イメージセンサ又は前記被写体を前記光軸方向に垂直な方向に平行移動させながら前記被写体を複数回撮像する
ことを特徴とする請求項１〜３のうちいずれか１項に記載の撮像システム。
【請求項５】
前記イメージセンサは、各々が１ライン分の画像を生成し、ライン方向に垂直な方向に配列された複数のＡＤコンバータを有し、
前記撮像手段は、前記イメージセンサ又は前記被写体を前記複数のＡＤコンバータの配列方向に平行移動させながら前記被写体を複数回撮像する
ことを特徴とする請求項４に記載の撮像システム。
【請求項６】
前記撮像手段は、
イメージセンサを有し、
前記イメージセンサ又は前記被写体を前記光軸方向を軸として回転させながら前記被写体を複数回撮像する
ことを特徴とする請求項１〜３のうちいずれか１項に記載の撮像システム。
【請求項７】
前記撮像手段で取得された前記複数の画像を、前記被写体の位置及び向きが一致するように補正する補正手段をさらに有し、
前記生成手段は、前記補正手段による補正後の前記複数の画像から、前記任意の被写界深度の画像又は前記任意の視線方向から見た前記被写体の画像を生成する
ことを特徴とする請求項１〜６のうちいずれか１項に記載の撮像システム。
【請求項８】
前記補正手段は、前記撮像領域の変更量に基づいて前記複数の画像を補正する
ことを特徴とする請求項７に記載の撮像システム。
【請求項９】
前記補正手段は、前記複数の画像のそれぞれから特徴点を検出し、検出した特徴点の位置が互いに一致するように前記複数の画像を補正する
ことを特徴とする請求項８に記載の撮像システム。
【請求項１０】
前記生成手段は、所定のボケ関数を用いて前記任意の被写界深度の画像を生成する
ことを特徴とする請求項１〜９のうちのいずれか１項に記載の撮像システム。
【請求項１１】
前記光軸方向に焦点位置を変えながら被写体を撮像する回数がしきい値より多い場合に限り、撮像領域の位置又は向きを変えながら前記被写体を複数回撮像するモードを有することを特徴とする請求項１〜１０のうちのいずれか１項に記載の撮像システム。
【請求項１２】
前記被写体から得られる光量がしきい値より少ない場合に限り、撮像領域の位置又は向きを変えながら前記被写体を複数回撮像するモードを有する
ことを特徴とする請求項１〜１０のうちのいずれか１項に記載の撮像システム。
【請求項１３】
前記光軸方向に焦点位置を変えながら被写体を撮像する回数がしきい値より多く、且つ、前記被写体から得られる光量がしきい値より少ない場合に限り、撮像領域の位置又は向きを変えながら前記被写体を複数回撮像するモードを有する
ことを特徴とする請求項１〜１０のうちのいずれか１項に記載の撮像システム。
【請求項１４】
前記被写体から得られる光量がしきい値より少ない場合は、前記撮像手段が、前記被写体に励起光を照射することによって該被写体で発生した蛍光を前記結像光学系を介して検知し、検知結果に基づいて前記画像として蛍光画像を取得する場合である
ことを特徴とする請求項１２又は１３に記載の撮像システム。
【請求項１５】
結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得する撮像ステップと、
前記撮像ステップで取得された前記複数の画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た前記被写体の画像を生成する生成ステップと、
を有し、
前記撮像ステップで取得された画像は、決まった位置に現れる固定パターンノイズを含むことがあり、
前記撮像ステップでは、前記被写体に対する前記固定パターンノイズの相対位置が前記複数の画像の間でばらつくように、撮像領域の位置又は向きを変えながら前記被写体が複数回撮像される
ことを特徴とする撮像システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム及びその制御方法に関する。
【背景技術】
【０００２】
病理分野には、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド・システムがある。このバーチャル・スライド・システムにより、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱えるようになる。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。
さらに、バーチャル・スライド・システムで光学顕微鏡の操作を仮想化して実現するためには、プレパラート内の被検試料全体像をデジタル化する必要がある。被検試料全体像のデジタル化により、バーチャル・スライド・システムで作成したデジタルデータをＰＣやワークステーション上で動作するビューアソフトで観察することができる。被検試料全体像をデジタル化した場合の画素数は、通常、数億画素から数十億画素であり、非常に大きなデータ量となる。
バーチャル・スライド・システムで作成したデータの量は膨大であるが、それゆえ、ビューアで拡大／縮小を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することができ、種々の利便性が提供される。必要な情報を予め全て取得しておくことで、低倍画像から高倍画像までユーザが欲する解像度・倍率による即時の表示が可能となる。
【０００３】
しかし、プレパラートにはカバーグラスやスライドグラス、被検試料（標本）の凹凸が原因のうねりが存在する。また上述の凹凸が無い場合でも、被検試料は厚みを持っており、観察したい組織や細胞が存在する奥行き位置がプレパラートの（水平方向の）観察位置によって異なる。そのため、１つのプレパラート（被写体）に対し、結像光学系の光軸方向に沿って焦点位置を変えて複数枚の画像を撮像する構成が必要になる。このような構成で取得した複数枚の画像データを「Ｚスタック画像」もしくは「Ｚスタックデータ」と呼び、Ｚスタック画像もしくはＺスタックデータを構成する各焦点位置の平面画像を「レイヤー画像」と呼ぶ。
【０００４】
バーチャル・スライド・システムでは、効率の観点から通常、高倍率（高ＮＡ）対物レンズを用いて局所領域毎に被検試料を撮像し、撮像によって得られた画像を繋ぎ合せて全体画像を生成する。この場合、全体画像の空間分解能は高くなるが、被写界深度は浅くなる。また、通常のバーチャル・スライド・システムにおいては、高倍画像（例えば対物レンズ４０倍）を縮小して低倍画像（例えば対物レンズ１０倍）を生成する。そのため、上記手順で生成された低倍画像の被写界深度は、同倍率の光学顕微鏡像に比べて浅くなるので、本来の光学顕微鏡像では存在しないはずのピンぼけ等が発生することになる。通常、病理医は、診断において病変部の見落としがないように全体のスクリーニングを行うが、それにはピンボケによる画質劣化の少ない低倍画像が必要とされる。そのようなピンボケ等を低減する技術として、被写界深度制御技術がある。
【０００５】
被写界深度制御技術には、大きく分けて２種類の方法が存在する。一つは、Ｚスタックデータの各レイヤー画像における合焦領域を選択・結合して１枚の画像を生成する方式で、本明細書ではこの方式を「パッチ型方式」と称することにする。もう一つは、Ｚスタックデータとボケ関数をデコンボリューションさせることによって所望の深度制御画像を生成する方式で、本明細書中ではこの方式を「フィルタ型方式」と称することにする。さら
にフィルタ型方式には、Ｚスタックデータの各レイヤー画像と各レイヤーにおける２次元ボケ関数を足し合わせ、それらをデコンボリューションさせる方式と、Ｚスタックデータ全体に所望のボケ関数を直接デコンボリューションさせる方式がある。本明細書では、前者を「２次元フィルタ型方式」と称し、後者を「３次元フィルタ型方式」と称することにする。
【０００６】
被写界深度制御技術に関する従来技術は、例えば、特許文献１に開示されている。具体的には、特許文献１には、焦点位置の異なる複数枚の画像に対し、画像が３次元のコンボリューションモデルに合致するように座標変換処理と、３次元周波数空間上でぼけを変える３次元フィルタリング処理とを施すことで被写界深度を拡大する構成が開示されている。この方式は、上記「３次元フィルタ型方式」に該当する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１２８００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら上述した従来の技術においては、以下のような課題があった。
特許文献１の方法によれば、Ｚスタック画像から任意の被写界深度の画像（被写界深度画像）を生成することができる。しかしながら、被写界深度画像生成用のＺスタック画像を取得する際には、各レイヤー画像の決まった位置に固定パターンノイズ（例えばセンサ（撮像装置が有するイメージセンサ）由来のノイズ）が記録され、各レイヤー画像の固定パターンノイズが一か所に集中する場合があった。換言すれば、複数のレイヤー画像間で、被写体に対する固定パターンノイズの相対位置が同一となってしまう場合があった。特に、バーチャル・スライド・システムのＸＹステージを固定し、Ｚステージを駆動させてＺスタック画像を取得する場合にこの傾向が顕著である。また、Ｚステージを固定してＸＹステージを駆動させながら各レイヤー画像の撮像処理を行う場合であっても、焦点位置が変わるごとにセンサの位置合わせを行うため、先に述べた駆動方法と同様に固定パターンノイズが一か所に集中していた。このような固定パターンノイズが一か所に集中したＺスタック画像は、特許文献１の方法が適用できる画像とは異なったものであるため、結果的に生成される深度制御画像の品質が悪化するという課題があった。
【０００９】
本発明は、複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができ、ひいては所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像システムは、
結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得する撮像手段と、
前記撮像手段で取得された前記複数の画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た前記被写体の画像を生成する生成手段と、
を有し、
前記撮像手段で取得された画像は、決まった位置に現れる固定パターンノイズを含むことがあり、
前記撮像手段は、前記被写体に対する前記固定パターンノイズの相対位置が前記複数の画像の間でばらつくように、撮像領域の位置又は向きを変えながら前記被写体を複数回撮像する
ことを特徴とする。
【００１１】
本発明の撮像システムの制御方法は、
結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得する撮像ステップと、
前記撮像ステップで取得された前記複数の画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た前記被写体の画像を生成する生成ステップと、
を有し、
前記撮像ステップで取得された画像は、決まった位置に現れる固定パターンノイズを含むことがあり、
前記撮像ステップでは、前記被写体に対する前記固定パターンノイズの相対位置が前記複数の画像の間でばらつくように、撮像領域の位置又は向きを変えながら前記被写体が複数回撮像される
ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができ、ひいては所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係るバーチャル・スライド・システムの構成図
【図２】実施例１に係る本計測ユニットの構成図
【図３】実施例１に係る画像処理装置の内部構成図
【図４】従来のＺスタックデータ取得処理の流れを示すフローチャート
【図５】従来のＺスタックデータと撮像単位を示す模式図
【図６】従来のＺスタックデータ取得処理の流れを示すフローチャート
【図７】実施例１に係るＺスタックデータ取得処理の流れを示すフローチャート
【図８】実施例１に係る位置ずれ量テーブルの模式図
【図９】実施例１に係るＺスタックデータと撮像単位を示す模式図
【図１０】実施例１に係る位置ずれ量テーブル作成処理の流れを示すフローチャート
【図１１】実施例１に係る位置ずれ量ベクトルを決定する手順を示した模式図
【図１２】実施例１に係る位置ずれ補正処理の流れを示すフローチャート
【図１３】実施例１に係るレイヤー画像と固定パターンノイズの関係を示す模式図
【図１４】実施例１に係る固定パターンノイズの分散を示す模式図
【図１５】実施例２に係るＺスタックデータ取得処理の流れを示すフローチャート
【図１６】光軸方向に並んだ固定パターンノイズ群を示す模式図
【図１７】光軸方向以外の視点方向に並んだ固定パターンノイズ群を示す模式図
【図１８】実施例４に係る位置ずれ補正処理の流れを示すフローチャート
【図１９】実施例５に係る処理の流れを示すフローチャート
【図２０】実施例６に係る処理の流れを示すフローチャート
【図２１】実施例７に係る処理の流れを示すフローチャート
【発明を実施するための形態】
【００１４】
以下に、本発明の実施例に係る撮像システム及びその制御方法について、図面を用いて説明する。
＜実施例１＞
本発明の実施例１について、図面を用いて説明する。
本実施例で示す手法は、図１のような構成のバーチャル・スライド・システム（撮像システム）の元で実現される。
バーチャル・スライド・システムは、被写体の撮像データを取得する撮像装置（バーチ
ャル・スライド・スキャナとも呼ぶ）１２０、撮像データ処理・制御を行う画像処理装置（ホストコンピュータとも呼ぶ）１１０、及び、その周辺機器から構成されている。
【００１５】
画像処理装置１１０には、ユーザからの入力を受け付けるキーボードやマウスなどの操作入力デバイス１１１、処理画像を表示するディスプレイ１１２が接続される。また画像処理装置１１０には、記憶装置１１３、他のコンピュータシステム１１４が接続されている。
多数の被写体（プレパラート）の撮像をバッチ処理で行う場合、画像処理装置１１０の制御の下で撮像装置１２０が各被写体を順に撮像し、画像処理装置１１０が各被写体の画像データ（撮像データ）に対し必要な処理を施す。そして得られた各被写体の画像データは、大容量のデータストレージである記憶装置１１３又は他のコンピュータシステム１１４へ伝送され、蓄積される。
【００１６】
撮像装置１２０での撮像（プレ計測および本計測）は、ユーザの入力を受けて画像処理装置１１０がコントローラ１０８へ指示を送り、次にコントローラ１０８が本計測ユニット１０１とプレ計測ユニット１０２を制御することで実現される。
本計測ユニット１０１は、プレパラート内の被検試料診断のための高精細な画像を取得する撮像ユニットである。プレ計測ユニット１０２は、本計測に先立って撮像を行う撮像ユニットで、本計測で精度の良い画像取得をするための撮像制御情報の取得を目的とした画像取得を行う。
コントローラ１０８には変位計１０３が接続され、本計測ユニット１０１またはプレ計測ユニット１０２内のステージに設置されるプレパラートの位置や距離が測定できる構成となっている。変位計１０３は、本計測およびプレ計測を行うにあたり、プレパラート内の検体の厚みを計測するために用いられる。
またコントローラ１０８には、本計測ユニット１０１およびプレ計測ユニット１０２の撮像条件を制御するための開口絞り制御部１０４、ステージ制御部１０５、照明制御部１０６、センサ制御部１０７が接続されている。そして、それぞれはコントローラ１０８からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。
ステージには、プレパラートを結像光学系の光軸方向に垂直な方向に移動するＸＹステージと、光軸方向に沿った方向に移動するＺステージがある。ＸＹステージは撮像領域を変えるため（例えば、撮像領域の位置を光軸方向に垂直な方向に移動させるため）に用いる。ＸＹステージを制御しながら被写体（プレパラート）を撮像することにより、光軸方向に垂直な方向に分布した複数の画像（撮像領域の異なる複数の画像）が得られる。Ｚステージは光軸方向（奥行き方向）に焦点位置を変えるために用いる。Ｚステージを制御しながら被写体を撮像することにより、焦点位置の異なる複数の画像が得られる。図示しないが、撮像装置１２０には、複数のプレパラートをセットすることが可能なラックと、ラックからステージ上の撮像位置へとプレパラートを送り出す搬送機構とが設けられている。バッチ処理の場合は、コントローラ１０８が搬送機構を制御することで、ラックからプレパラートを１枚ずつ、プレ計測ユニット１０２のステージ、本計測ユニット１０１のステージの順に送り出す。
本計測ユニット１０１およびプレ計測ユニット１０２には、撮像した画像を用いてオートフォーカスを実現するＡＦユニット１０９が接続されている。ＡＦユニット１０９は、コントローラ１０８を介して、本計測ユニット１０１、プレ計測ユニット１０２のステージの位置を制御することで合焦位置を探し出すことが出来る。オートフォーカスの方式は画像を用いるパッシブ型であり、公知の位相差検出方式やコントラスト検出方式が用いられる。
【００１７】
図２は、実施例１における本計測ユニット１０１の内部構成を示す図である。
光源２０１からの光は、照明光学系２０２において光量ムラが無いように均一化され、
ステージ２０３の上に設置されたプレパラート２０４を照射する。プレパラート２０４（被写体）は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、観察対象を観察可能な状態に準備したものである。
結像光学系２０５は、被写体の像を拡大して撮像部２０７に導くものである。プレパラート２０４を通った光は、結像光学系２０５を介して、撮像部２０７上の撮像面で結像する。結像光学系２０５の中には開口絞り２０６が存在し、開口絞り２０６を調整することで被写界深度が制御できる。
撮像にあたっては、光源２０１を点灯させ、プレパラート２０４に光を照射する。そして、照明光学系２０２、プレパラート２０４、結像光学系２０５を通って撮像面に結像した像を撮像部２０７のイメージセンサで受光する。モノクロ（グレースケール）撮像時には光源２０１からの白色光を露光し、１回撮像を行う。カラー撮像時には、ＲＧＢの３つの光源２０１からの赤色光、緑色光、青色光を順番に露光し、３回撮像を行うことで、カラー画像を取得する。
撮像面で結像した被写体の像は、撮像部２０７で光電変換され、不図示のＡ／ＤコンバータでＡ／Ｄ変換された後、電気信号として画像処理装置１１０に送られる。撮像部２０７は、複数のイメージセンサから構成されることを想定しているが、単一のセンサで構成されていても良い。また、本実施例では、Ａ／Ｄ変換を実行した後のノイズ除去や色変換処理、鮮鋭化処理に代表される現像処理を画像処理装置１１０内部で行うとする。しかし、現像処理は撮像部２０７に接続された専用の画像処理ユニット（不図示）で行い、その後画像処理装置１１０にデータを送信することも可能であり、そのような形態での実施も本発明の範疇となる。
【００１８】
図３は、画像処理装置（ホストコンピュータ）１１０の内部構成を示す図である。
ＣＰＵ３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いて画像処理装置全体の制御を行う。またＣＰＵ３０１は、各種演算処理やデータ処理、例えば被写界深度拡大処理、現像・補正処理、合成処理、圧縮処理等を行う。
ＲＡＭ３０２は、記憶装置１１３からロードされたプログラムやデータ、他のコンピュータシステム１１４からネットワークＩ／Ｆ（インターフェース）３０４を介してダウンロードしたプログラムやデータを一時的に記憶する。また、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアも備える。
ＲＯＭ３０３は、コンピュータの機能プログラムや設定データなどを記憶する。
ディスプレイ制御装置３０６は、画像や文字等をディスプレイ１１２に表示させるための制御処理を行う。ディスプレイ１１２は、ユーザに入力を求めるための画像を表示するとともに、撮像装置１２０から取得しＣＰＵ３０１で処理した画像（画像データ）を表示する。
操作入力デバイス１１１は、キーボードやマウスなどＣＰＵ３０１に各種の指示を入力することのできるデバイスにより構成される。ユーザは、撮像装置１２０の動作を制御する情報を操作入力デバイス１１１により入力する。符号３０８は、操作入力デバイス１１１を介して入力された各種の指示等をＣＰＵ３０１に通知するためのＩ／Ｏを示す。
記憶装置１１３は、ハードディスクなどの大容量情報記憶装置である。記憶装置１１３は、ＯＳ（オペレーティングシステム）や後述する処理をＣＰＵ３０１に実行させるためのプログラム、またバッチ処理によりスキャンした画像データなどを記憶する。
記憶装置１１３への情報の書き込みや記憶装置１１３からの情報の読み出しは、Ｉ／Ｏ３１０を介して行われる。
制御Ｉ／Ｆ３１２は、撮像装置１２０を制御するためのコントローラ１０８と制御コマンド（信号）をやりとりするためのＩ／Ｆである。コントローラ１０８は、本計測ユニット１０１およびプレ計測ユニット１０２を制御する機能を持つ。
画像Ｉ／Ｆ（インターフェース）３１３には、上述以外のインターフェース、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサの出力データを取り込むための外部インタ
ーフェースが接続されている。なお、インターフェースとしてはＵＳＢ、ＩＥＥＥ１３９４などのシリアルインターフェースやカメラリンクなどのインターフェースを使うことが出来る。画像Ｉ／Ｆ３１３を通じて本計測ユニット１０１やプレ計測ユニット１０２が接続される。
符号３２０は、画像処理装置１１０の機能部間の信号の伝達に使用されるバスである。
【００１９】
以下では、図１〜図３に示したシステムを用いた処理の流れについて説明を行う。なお、従来との違いを明確にするために、まずはＺスタック画像を取得する従来の処理について説明する。その後、本実施例の説明を行うことにする。Ｚスタック画像は、結像光学系の光軸方向に焦点位置を変えながら被写体（プレパラート）を複数回撮像することにより得られる複数の画像（レイヤー画像）である。
【００２０】
図４は、従来の処理の流れの一例を示すフローチャートである。以下、図４に従って説明を行う。
初めに、ＣＰＵ３０１が、バーチャル・スライド・システムの初期化処理を行う（Ｓ４０１）。初期化処理は、システムの自己診断、各種パラメータの初期化、各ユニット間の相互接続確認などの処理を含む。
次に、ＣＰＵ３０１が、ＸＹステージを駆動するための基準となる位置Ｏ（ＸＹステージの基準位置）を設定する（Ｓ４０２）。必要な精度でＸＹステージを駆動できれば、この基準位置Ｏはどのように設定しても良い。しかし、この基準位置Ｏは、Ｚステージの駆動に関わらず一度設定したら変更はされないものとする。
そして、ＣＰＵ３０１が、変数ｉに１を代入する（Ｓ４０３）。この変数ｉはレイヤー番号を表しており、取得する画像のレイヤー数をＮとするとき、１〜Ｎまでの値をとる。１つのレイヤーは１つの焦点位置に対応する。
次に、ＣＰＵ３０１がＸＹステージの位置を決定し、ステージ制御部１０５が決定された位置までＸＹステージを駆動させる（Ｓ４０４）。ＸＹステージの位置は、Ｓ４０２で設定した基準位置Ｏを用いて決められる。例えば、センサの有効撮像領域の形状が１辺の長さＬの正方形である場合、ＸＹステージは基準位置Ｏを基準として、ｘ方向、ｙ方向ともにＬの整数倍だけずれた位置に駆動される。
そして、ＣＰＵ３０１がＺステージの位置（ｚ方向のプレパラートの位置）を決定し、ステージ制御部１０５が決定された位置までＺステージを駆動させる（Ｓ４０５）。通常は、Ｚスタック画像の撮像時に各レイヤーの焦点位置を表す焦点位置データがユーザから与えられる。そのため、レイヤー番号ｉの画像を撮像するためのＺステージの位置（焦点位置）は、焦点位置データに基づいて決定すれば良い。
次に、撮像部２０７が、プレパラート２０４（プレパラート２０４内にある被検試料の光学像）を撮像する（Ｓ４０６）。
そして、ＣＰＵ３０１が、変数ｉに１を加える（Ｓ４０７）。これは、焦点位置を変えて次のレイヤーを撮像する指示に相当する。
次に、ＣＰＵ３０１が、変数ｉの値がレイヤー数Ｎより大きいかどうかを判定する（Ｓ４０８）。Ｓ４０８の判定結果が偽であれば、Ｓ４０５に戻り、次のレイヤーを撮像するために再びＺステージが駆動され、撮像が行われる。Ｓ４０８の判定結果が真であれば、ＣＰＵ３０１が、全レイヤーの撮像が完了したかどうかを判定する（Ｓ４０９）。これは、全てのＸＹステージの位置について撮像が行われたか否かを判定する処理である。Ｓ４０９の判定結果が偽であれば、Ｓ４０３に戻る。Ｓ４０９の判定結果が真であれば、ＣＰＵ３０１が、画像つなぎ合わせ処理を行う（Ｓ４１０）。これは、この時点における１つのレイヤーの撮像画像がセンサの有効撮像領域の大きさの小画像群であるため、レイヤー単位でそれら小画像群をつなぎ合わせる処理である。その後、一連の処理が終了する。
以上で、図４の説明を終了する。
【００２１】
上記処理の模式図を図５に示す。符号５０１はセンサの有効撮像領域を示す。有効撮像
領域５０１を水平方向（光軸方向に垂直な方向）もしくは光軸方向に移動させながらレイヤー群５０２（Ｚスタック画像）の撮像を行う。符号５０３は基準位置Ｏを示す。符号５０４〜５０７は撮像対象であるレイヤー１〜レイヤーＮを示し、符号５０８〜５１１は各レイヤーにおける撮像単位を示す。図５から分かるように、撮像単位のサイズは有効撮像領域５０１のサイズと一致しており、１つのレイヤーにおいて有効撮像領域５０１が水平方向に隙間なく並べられている。また、図４で示す方法では、各撮像単位５０８〜５１１の位置が基準位置Ｏを基準とする位置となっており、レイヤー間で撮像単位が完全に一致している。
なお、図４で説明したＺスタックデータ取得方法は、光軸方向の焦点位置の変更を優先させて、全ての焦点位置についての撮像が終了するたびに水平方向へ撮像領域を移動させるものである。これに対し、同様のＺスタックデータを取得するために、水平方向への領域移動を優先させ、あるレイヤーの全領域を撮像したのち、別のレイヤーを撮像する方法を用いても良い。図６は、そのような手順の流れを示すフローチャートである。図６の方法では、光軸方向の焦点位置の変更よりも水平方向への撮像領域の移動を優先して行う点が図４の方法と異なる。しかし、図６の各処理の具体的な内容は図４の各処理と同じであるため、詳細については割愛する。
【００２２】
これら従来の方法（Ｚスタック画像の取得方法）に対して、本実施例では、大きく以下の２つの処理を行う。
１つ目は、センサと被写体の水平方向の位置ずれを発生させながらＺスタックデータ（Ｚスタック画像）を取得する処理である。具体的には、取得（撮像）された画像は、決まった位置に現れる固定パターンノイズを含むことがある。そのため、１つ目の処理として、被写体に対する固定パターンノイズの相対位置が複数の画像（焦点位置が互いに異なる複数の画像）の間でばらつくように、撮像領域の位置又は向きを変えながら被写体を複数回撮像する処理を行う。本実施例では、１つ目の処理として、イメージセンサ又は被写体を光軸方向に垂直な方向に平行移動させながら被写体を複数回撮像する処理を行う。
２つ目は、１つ目の処理によって得られたＺスタックデータの位置ずれを補正する処理である。具体的には、２つ目の処理として、取得された複数の画像（焦点位置が互いに異なる複数の画像）を、被写体の位置及び向きが一致するように補正する処理を行う。
固定パターンノイズは、例えば、イメージセンサ由来のノイズ（Ａ／Ｄコンバータの故障などによって生じる画素欠陥など）である。また、固定パターンノイズは、イメージセンサ上のゴミや顕微鏡の照明系の照度ムラや顕微鏡の対物レンズに付着したゴミ（例えば、中間像近くの光学素子に付着したゴミ）等の影響により生じることもある。
【００２３】
図７は、本実施例の処理（Ｚスタックデータを取得する処理）の流れの一例を示すフローチャートである。以下、図７に従って説明を行う。
まず、ＣＰＵ３０１が、バーチャル・スライド・システムの初期化処理を行う（Ｓ７０１）。この処理は、Ｓ４０１と同じである。
次に、ＣＰＵ３０１が、位置ずれ量テーブルを作成する（Ｓ７０２）。このテーブルは、例えば図８に示されるように、各レイヤーのｘ方向ずれ量とｙ方向ずれ量を格納するものである。Ｓ７０２の処理の詳細については、後ほど説明を行う。
そして、ＣＰＵ３０１が、ＸＹステージを駆動するための基準となる位置Ｏ（ＸＹステージの基準位置）を設定する（Ｓ７０３）。この処理は、Ｓ４０２と同じ処理である。
次に、ＣＰＵ３０１が、変数ｉに１を代入する（Ｓ７０４）。この処理は、Ｓ４０３と同じである。
そして、ＣＰＵ３０１が、Ｓ７０２で作成された位置ずれ量テーブルから、レイヤーｉの位置ずれ量ベクトルＧｉを取得する（Ｓ７０５）。この位置ずれ量ベクトルＧｉは、ｘ方向ずれ量とｙ方向ずれ量をセットで持つ２次元ベクトルである。
次に、ＣＰＵ３０１が、基準位置Ｏとレイヤーｉの位置ずれ量ベクトルＧｉを用いて、レイヤーｉにおける新たな基準位置Ｏｉを設定する（Ｓ７０６）。この基準位置Ｏｉは、
基準位置Ｏから位置ずれ量ベクトルＧｉだけ水平方向にずれた位置である。
そして、ＣＰＵ３０１がＸＹステージの位置を決定し、ステージ制御部１０５が決定された位置までＸＹステージを駆動させる（Ｓ７０７）。ＸＹステージの位置は、Ｓ７０６で設定したレイヤーｉの基準位置Ｏｉを用いて決められる。例えば、センサの有効撮像領域の形状が１辺の長さＬの正方形である場合、レイヤーｉにおけるＸＹステージは、Ｏｉを基準としてｘ方向、ｙ方向ともにＬの整数倍だけずれた位置に駆動される。
次に、ＣＰＵ３０１がＺステージの位置を決定し、ステージ制御部１０５が決定された位置までＺステージを駆動させる（Ｓ７０８）。この処理は、Ｓ４０５と同じである。
そして、撮像部２０７が、プレパラート２０４（プレパラート２０４内にある被検試料の光学像）を撮像する（Ｓ７０９）。この処理は、Ｓ４０６と同じである。
次に、ＣＰＵ３０１が、変数ｉに１を加える（Ｓ７１０）。この処理は、Ｓ４０７と同じである。
そして、ＣＰＵ３０１が、変数ｉの値がレイヤー数Ｎより大きいかどうかを判定する（Ｓ７１１）。Ｓ７１１の判定結果が偽であれば、Ｓ７０５に戻る。Ｓ７１１の判定結果が真であれば、ＣＰＵ３０１が、全レイヤーの撮像が完了したかどうかを判定する（Ｓ７１２）。Ｓ７１２の判定結果が偽であれば、Ｓ７０４に戻る。Ｓ７１２の判定結果が真であれば、ＣＰＵ３０１がＳ４１０と同様の画像つなぎ合わせ処理（Ｓ７１３）を行った後、一連の処理が終了する。
以上で、図７の説明を終了する。
【００２４】
図７の処理の模式図を図９に示す。レイヤー群９０１を撮像するにあたって、レイヤー１（９０２）の撮像単位９０６は図５と同様である。しかし、レイヤー２（９０３）やレイヤー３（９０４）、レイヤーＮ（９０５）を撮像するにあたっては、それらの撮像単位９０７，９０８，９０９がそれぞれ水平方向に移動する。例えばレイヤーＮ（９０５）の場合、その撮像単位９０９は、基準位置９１０から位置ずれ量ベクトル９１２だけずらした新たな基準位置９１１を基準とした位置にずれることになる。
【００２５】
位置ずれ量テーブルを作成する処理（Ｓ７０２の処理）は、図１０に示す処理の流れに従って実現される。以下、図１０の説明を行う。
まず、ＣＰＵ３０１が、位置ずれ量ベクトルを格納するテーブル領域をＲＡＭ３０２上に確保する（Ｓ１００１）。
次に、ＣＰＵ３０１が、排他領域Ｄの初期化を行う（Ｓ１００２）。排他領域Ｄは、各レイヤーの基準位置が重なり合わないようにするための領域のことである。Ｓ１００２では、排他領域Ｄは面積ゼロの空集合として初期化される。
そして、ＣＰＵ３０１が、変数ｊに１を代入する（Ｓ１００３）。
次に、ＣＰＵ３０１が、レイヤーｊにおける仮の位置ずれ量ベクトルＧｊを設定する（Ｓ１００４）。このＧｊの決め方については、いくつかの方法が考えられる。例えば、ある値を最大値とする乱数をＧｊとする方法が考えられる。より簡単な方法としては、常に前のレイヤーの位置ずれ量ベクトルに対してある定数ベクトルを足したものをＧｊとする方法が考えられる。また、イメージセンサが、各々が１ライン分の画像を生成し、ライン方向に垂直な方向に配列された複数のＡＤコンバータを有する場合には、Ｇｊの方向をＡＤコンバータの配列方向（ラインに垂直な方向）に設定しても良い。特にこの設定方法は、ＡＤコンバータの不良によるライン状ノイズを回避する場合に有効である。
そして、ＣＰＵ３０１が、レイヤーｊにおける仮の基準位置Ｏｊとして、基準位置Ｏから位置ずれ量ベクトルＧｊだけずれた位置を算出する（Ｓ１００５）。
次に、ＣＰＵ３０１が、基準位置Ｏｊが排他領域Ｄの外部に存在するかどうかを判定する（Ｓ１００６）。Ｓ１００６の判定結果が偽であれば、Ｓ１００４に戻り、仮の位置ずれ量ベクトルＧｊを再設定する。Ｓ１００６の判定結果が真であれば、レイヤーｊにおける排他領域Ｄｊを算出する（Ｓ１００７）。本実施例では、このＤｊとして、Ｏｊを中心とする半径ｒの円の内部の領域が算出される。この半径ｒには、固定ノイズが一部分に集
中することによる画質への影響を確実に回避できる値を設定しておく。具体的には、半径ｒの値として、センサ１ピクセル分の長さ以上に設定しておくのが好ましい。
そして、ＣＰＵ３０１が、排他領域Ｄとレイヤーｊにおける排他領域Ｄｊの論理和をとり、それを新たな排他領域Ｄとして再定義する（Ｓ１００８）。
次に、ＣＰＵ３０１が、Ｇｊをレイヤーｊにおける正式な位置ずれ量ベクトルとして、位置ずれ量テーブルに登録する（Ｓ１００９）。
そして、ＣＰＵ３０１が、ｊの値に１を加える（Ｓ１０１０）。
次に、ＣＰＵ３０１が、ｊの値がレイヤー数Ｎよりも大きいかどうかを判定する（Ｓ１０１１）。Ｓ１０１１の判定結果が偽であれば、Ｓ１００４に戻る。Ｓ１０１１の判定結果が真であれば、位置ずれ量テーブル作成ルーチンを抜けて、Ｓ７０３に戻る。
以上で、図１０の説明を終了する。
【００２６】
図１０の処理の模式図を図１１に示す。図１１は、ｊ＝３のときのＳ１００４の処理を示している。
符号１１１２、１１１５は、それぞれレイヤー１における基準位置Ｏ１、レイヤー２における基準位置Ｏ２を示す。この基準位置Ｏ１、Ｏ２は、基準位置Ｏ（１１１１）から位置ずれ量ベクトルＧ１（１１１３）、Ｇ２（１１１６）だけ平行移動した位置である。また、符号１１１４、１１１７は、それぞれレイヤー１における排他領域Ｄ１、レイヤー２における排他領域Ｄ２を示す。そして、これらの論理和が現時点における排他領域Ｄである。符号１１１８は、図１０のＳ１００４において設定された仮の位置ずれ量ベクトルＧ３（１１１９）を用いて算出される基準位置Ｏ３である。図１１から分かるように、上記処理を行えば、どの組み合わせの２つの基準位置Ｏｊを選択してもそれら２つの基準位置が重なり合うことはない。よって、この処理によって作成された位置ずれ量テーブルを用いて図７に示される処理を行えば、複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができる。
【００２７】
ただし、図７で示す撮像処理を行っただけでは、被写体の位置がレイヤー間で異なってしまうため、撮像処理後には各レイヤー画像の位置ずれ補正を行う必要がある。その処理の流れを図１２に示す。
まず、ＣＰＵ３０１が、図７で示す撮像処理により生成されたＺスタックデータを、ＲＡＭ３０２から読み出す（Ｓ１２０１）。
次に、ＣＰＵ３０１が、変数ｉに１を代入する（Ｓ１２０２）。
そして、ＣＰＵ３０１が、レイヤーｉにおける位置ずれ量ベクトルＧｉを、Ｓ７０２で作成した位置ずれ量テーブルから取得する（Ｓ１２０３）。
次に、ＣＰＵ３０１が、図７のＳ７０７の処理による撮像領域の移動量（位置や向きの変更量）に基づいてレイヤーｉの画像（レイヤー画像）を補正する（Ｓ１２０４）。具体的には、ＣＰＵ３０１が、Ｓ１２０３で取得した位置ずれ量ベクトルＧｉを用いて、レイヤーｉの画像の位置ずれを補正する。
そして、ＣＰＵ３０１が、変数ｉの値に１を加える（Ｓ１２０５）。
最後に、ＣＰＵ３０１が、変数ｉの値がレイヤー数Ｎよりも大きいかどうかを判定する（Ｓ１２０６）。Ｓ１２０６の判定結果が偽であれば、Ｓ１２０３に戻る。Ｓ１２０６の判定結果が真であれば、処理を終了する。
以上で、図１２の説明を終了する。
【００２８】
図１２の処理について図１３と図１４を用いて説明する。
図１３は、Ｚスタック画像が３枚のレイヤー画像からなるときの、図７の処理により取得された画像の模式図である。なお、説明を簡略化するため、図では各レイヤー画像の大きさはセンサの有効撮像面積に等しいと仮定し、また被写体の形状も焦点位置に関わらず一定とする。このような条件で得られたＺスタック画像は、レイヤー１の画像１３０１、レイヤー２の画像１３０４、およびレイヤー３の画像１３０７から構成される。画像１３
０１、画像１３０４、画像１３０７には、それぞれ、被写体像１３０２、被写体像１３０５、被写体像１３０８が記録されている。また、画像１３０１、画像１３０４、画像１３０７には、それぞれ、固定パターンノイズ１３０３、固定パターンノイズ１３０６、固定パターンノイズ１３０９も記録されている。図１３から分かるとおり、レイヤー画像内における固定パターンノイズの位置は、当然ながら変化していない。しかし、各レイヤー画像の被写体像と固定パターンノイズの位置関係は、それぞれ異なっていることが分かる。このＺスタック画像に対して図１２で示した処理を適用すると、図１４に示すように、各レイヤー画像の被写体像の位置及び向きが一致する。図１４は各レイヤー画像を重ね合わせた図であり、図１４から各レイヤー画像の被写体像の領域が符号１４０１の領域となることが分かる。また、図１２で示した処理により、図１４に示すように、各レイヤー画像の固定パターンノイズの位置が、符号１４０２，１４０３，１４０４に示す位置に分散される。
【００２９】
ＣＰＵ３０１は、上述した方法で取得されたＺスタック画像に基づいて、任意の被写界深度の画像や任意の視線方向から見た被写体の画像を生成する。具体的には、図１２で示す補正後のＺスタック画像から、任意の被写界深度の画像や任意の視線方向から見た被写体の画像が生成される。例えば、所定のボケ関数を用いたフィルタ型方式の深度制御技術により、任意の被写界深度の画像が生成される。図１４に示すように、各レイヤー画像の固定パターンノイズの位置は分散されているため、任意の被写界深度の画像や任意の視線方向から見た被写体の画像においても、固定パターンノイズは一部分に集中せず分散することになる。そのため、固定パターンノイズによる画質（任意の被写界深度の画像や任意の視線方向から見た被写体の画像の画質）の劣化を低減することができる。
【００３０】
以上述べたように、本実施例によれば、複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができ、ひいては所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上することができる。
なお、複数の画像のうちの２つの画像の全ての組み合わせにおいて、被写体の位置及び向きを一致させたときの固定パターンノイズの位置の差が１ピクセル以上となるように、撮像領域の位置又は向きを変えることが好ましい。具体的には、位置ずれ量テーブルに登録されるずれ量ベクトルの長さを１ピクセル以上にすることが好ましい。それにより、固定パターンノイズが一部分に集中してしまうことをより確実に回避できる。
また、ずれ量ベクトルの方向をセンサのＡＤコンバータの配列方向に設定することが好ましい。それにより、ＡＤコンバータの不良によるライン状ノイズが発生したとしても、ライン状ノイズが一部分に集中することをより確実に回避できる。
なお、本実施例では、撮像範囲の位置を変えるために、ＸＹステージを用いて被写体を移動させたが、イメージセンサを移動させて撮像範囲の位置を変えてもよい。
【００３１】
＜実施例２＞
本発明の実施例２について、図面を用いて説明する。
本実施例を実現するバーチャル・スライド・システムの構成、本計測ユニットの構成、および画像処理装置の内部構成は実施例１と同様である。
本実施例では、センサの有効撮像領域が正方形であり、センサが有効撮像領域の中心を軸として回転動作ができるものとする。
【００３２】
以下では、上記前提条件を踏まえた上で、本実施例の処理（Ｚスタックデータを取得する処理）の流れについて、図１５のフローチャートを用いて説明する。
図１５のＳ１５０１〜Ｓ１５０５、Ｓ１５０７〜Ｓ１５１０およびＳ１５１２では、それぞれ図４のＳ４０１〜Ｓ４０５、Ｓ４０６〜Ｓ４０９およびＳ４１０と同じ処理が行われる。図４と図１５の相違点は、Ｓ１５０６においてセンサを回転させることと、Ｓ１５１１において小画像群を逆回転させることにある。即ち、Ｓ１５０６の処理を行うことに
より、本実施例では、イメージセンサを光軸方向を軸として回転させながら被写体が複数回撮像される。Ｓ１５１１は、実施例１に記した画像の位置ずれ補正に相当する処理である。
センサの回転処理（Ｓ１５０６）と小画像群の逆回転処理（Ｓ１５１１）により、各レイヤーの固定パターンノイズを分散させることができる。センサの回転で最も簡単に実現できる方法は、レイヤーが変わることにセンサを時計回りもしくは反時計回りに９０度ずつ回転させる方法である。なお、Ｓ１５０６では９０度以外の角度でセンサを回転させても良いが、その場合はＳ１５０４のＸＹステージ位置決定で撮像箇所の漏れがないように適切なステージ位置を計算する必要がある。また、Ｓ１５１２の画像つなぎ合わせ処理においても、画像同士のオーバーラップ領域を検出してつなぎ合わせるなどの追加処理が必要になる。
【００３３】
以上述べたように、本実施例によれば、複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができ、ひいては所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上することができる。また、本実施例では、位置ずれ量テーブルの作成などを行う必要がなく、実施例１に比べ処理を簡略化することができる。
なお、本実施例ではイメージセンサを回転させたが、被写体を回転させてもよい。
【００３４】
＜実施例３＞
本発明の実施例３について、図面を用いて説明する。
本実施例を実現するバーチャル・スライド・システムの構成、本計測ユニットの構成、および画像処理装置の内部構成は実施例１と同様である。また、Ｚスタックデータ取得処理やレイヤー画像の位置ずれを補正する補正処理の流れについても実施例１と同様である。実施例３と実施例１との違いは、図１０のＳ１００４の具体的な処理内容にある。
【００３５】
図１６，１７は、Ｚスタックデータが５つのレイヤー１〜５の画像からなる場合の例を示している。
実施例１における方法は、主に図１６に示すような光軸方向に並んだ固定パターンノイズによる画質の劣化を回避することを目的としていた。しかし、特許文献１に示される方法では、単なる深度制御のみならず、様々な視線方向から見た被写体の画像（視点画像）を生成することができる。任意の被写界深度の画像（深度制御画像）を生成する際には、光軸方向に固定パターンノイズが並ぶことのみを回避すれば良かった。しかし、視点画像を生成する際には、光軸方向に固定パターンノイズが並んでいなくても、固定パターンノイズにより視点画像の画質が劣化してしまうことがある。具体的には、図１７に示すように固定パターンノイズがちょうどある視線方向に並んでいた場合に、固定パターンノイズにより視点画像の画質が劣化してしまう。実施例１による方法では、このような画質の劣化（固定パターンノイズがある視線方向に並んでしまうこと）を確実に回避できるとは限らない。
【００３６】
光軸方向に対する任意の視線方向の角度には上限がある。即ち、任意の視線方向は、光軸方向に対する角度が所定角度以下の方向である。
そこで、本実施例では、Ｚスタックデータを構成する複数の画像のうちの２つの画像の全ての組み合わせにおいて、被写体の位置及び向きを一致させたときの一方の画像の固定パターンノイズが、他方の画像の固定パターンノイズの位置を通る方向であって、光軸方向に対する角度が所定角度である方向よりも外側に位置するように、撮像領域の位置又は向きを変える。それにより、固定パターンノイズがある視線方向に並んでしまうことを確実に回避できる。
【００３７】
例えば、特許文献１に開示の方法では、光軸方向に対する視線方向の最大角度はＺスタ
ックデータの撮像に使用した対物レンズの開口数によって決定される。よって、視点画像を生成する際に固定パターンノイズが視線方向に並んでしまうことを防ぐためには、対物レンズの開口数とＺスタックデータの取得間隔の情報とを用いればよい。
そこで、本実施例では、Ｓ１００４において、Ｚスタックデータの撮像に用いた対物レンズの開口数と、Ｚスタックデータの取得間隔の情報とを用いて、仮の位置ずれ量ベクトルＧｊを設定する。
【００３８】
具体的には、Ｓ１００４において以下に述べるような処理を行う。
対物レンズの開口数をδ、対物レンズと被写体の間の媒質の屈折率をｎ、物体から対物レンズに入射する光線の光軸方向に対する最大角度（光軸方向に対する任意の視線方向の最大角度）をθとすれば、以下の式１が成り立つ。
δ＝ｎ×ｓｉｎθ  ・・・（式１）
式１を満たすθと、Ｚスタックデータの取得間隔（レイヤーの間隔）Ｌとから、以下の式２により算出されるｘを位置ずれ量ベクトルＧｊの大きさの最小値として、仮の位置ずれ量ベクトルＧｊを設定する。
ｘ＝Ｌ×ｔａｎθ  ・・・（式２）
このような方法により、固定パターンノイズがある視線方向に並んでしまうことを確実に回避できる位置ずれ量ベクトルＧｊを設定することができる。
【００３９】
以上述べたように、本実施例によれば、複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができ、ひいては所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上することができる。
さらに、本実施例によれば、固定パターンノイズがある視線方向に並んでしまうことを確実に回避できるため、どのような視線方向から見た被写体の画像に対しても画像の品質を向上することができる。
【００４０】
＜実施例４＞
本発明の実施例４について、図面を用いて説明する。
本実施例を実現するバーチャル・スライド・システムの構成、本計測ユニットの構成、および画像処理装置の内部構成は実施例１と同様である。また、Ｚスタックデータ取得処理の流れについても実施例１と同様である。実施例３と実施例１との違いは、取得したＺスタックデータの位置ずれを補正する補正処理（位置ずれ補正処理）の内容にある。
【００４１】
本実施例においては、Ｚスタックデータを構成する複数の画像のそれぞれから特徴点を検出し、検出した特徴点の位置が互いに一致するように複数の画像を補正する。具体的には、Ｚスタックデータの位置ずれ補正処理として、図１８の処理を行う。以下、図１８の説明を行う。
まず、ＣＰＵ３０１が、図７で示す処理により生成されたＺスタックデータを、ＲＡＭ３０２から読み出す（Ｓ１８０１）。
次に、ＣＰＵ３０１が、Ｚスタックデータから、位置ずれの補正の基準となるレイヤー画像ｋを１つ選択する（Ｓ１８０２）。
そして、ＣＰＵ３０１が、変数ｉに１を代入する（Ｓ１８０３）。
次に、ＣＰＵ３０１が、ｉの値がｋの値と異なるかどうかを判定する（Ｓ１８０４）。Ｓ１８０４の判定結果が偽であれば、Ｓ１８０７（後述）に進む。Ｓ１８０４の判定結果が真であれば、レイヤー画像ｉとレイヤー画像ｋの間の被写体の位置（水平方向の位置）のずれ量を、水平方向ずれ量として検出する（Ｓ１８０５）。具体的には、画像に対して
特徴点抽出アルゴリズムを適用して特徴点を抽出し、レイヤー画像ｉとレイヤー画像ｋの共通する特徴点同士のずれ量を上記水平方向ずれ量とする。
そして、ＣＰＵ３０１が、Ｓ１８０５で得られた水平方向ずれ量を用いて、レイヤー画像ｉのずれ量を補正する（Ｓ１８０６）。具体的には、Ｓ１８０５で得られた水平方向ずれ量分だけ、レイヤー画像ｉを水平方向にずらす。
次に、ＣＰＵ３０１が、変数ｉの値に１を加える（Ｓ１８０７）。
最後に、ＣＰＵ３０１が、変数ｉの値がレイヤー数Ｎよりも大きいかどうかを判定する（Ｓ１８０８）。Ｓ１８０８の判定結果が偽であれば、Ｓ１８０４に戻る。Ｓ１８０８の判定結果が真であれば、処理を終了する。
以上で、図１８の説明を終了する。
【００４２】
本実施例で説明した位置ずれ補正処理では、実施例１とは異なり、Ｚスタックデータ以外の情報を用いる必要がない。よって、例えばＺスタックデータを取得する際にＸＹステージを制御せず、メカ精度等によって自然発生する水平方向ずれを利用して固定パターンノイズの集中を回避するような構成を用いたとしても、問題なくＺスタックデータの位置ずれ補正を行うことができる。
【００４３】
以上述べたように、本実施例によれば、複数のレイヤー画像間で被写体に対する固定パターンノイズの相対位置をばらつかせることができ、ひいては所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上することができる。特に、実施例１と比較した場合、Ｚスタックデータ以外の情報を用いる必要がないため、Ｚスタックデータ取得の際に水平方向の制御を行わない構成で撮像を行ったとしても、問題なく固定パターンノイズの集中を回避することができる。
【００４４】
＜実施例５＞
本発明の実施例５について、図面を用いて説明する。
本実施例を実現するバーチャル・スライド・システムの構成、本計測ユニットの構成、および画像処理装置の内部構成の概略は実施例１と同様である。
本実施例では、撮像システム（バーチャル・スライド・システム）の動作モードとして、「通常モード」と「高画質モード」が用意されている。「通常モード」は、撮像領域の位置及び向きを変えずに被写体を複数回撮像するモードである。「高画質モード」は、光軸方向に焦点位置を変えながら被写体を撮像する回数がしきい値Ｍよりも多い場合に限り、撮像領域の位置又は向きを変えながら被写体を複数回撮像するモードである。即ち、「高画質モード」は、Ｚスタックデータを構成するレイヤー画像の取得枚数がしきい値Ｍよりも多い場合に限り、図７や図１２で示される処理を行うモードである。
なお、動作モードは「通常モード」と「高画質モード」に限らない。「通常モード」と「高画質モード」以外の動作モードが用意されていてもよい。
【００４５】
本実施例の処理の流れについて、図１９のフローチャートを用いて説明する。
まず、ＣＰＵ３０１が、バーチャル・スライド・システムの初期化処理を行う（Ｓ１９０１）。この処理は、Ｓ４０１と同じである。
次に、しきい値Ｍの設定が行われる（Ｓ１９０２）。しきい値Ｍは、ユーザが手動で設定してもよいし、ＣＰＵ３０１が、システムの内部状態を用いて、自動で設定してもよい。システムがしきい値Ｍを自動で設定することにより、ユーザの負荷が減り、システムの操作性が向上する。
次に、ＣＰＵ３０１が、高画質モードが有効であるかどうかを判断する（Ｓ１９０３）。
高画質モードが有効である場合には、ＣＰＵ３０１が、Ｚスタック取得枚数Ｎ（Ｚスタックデータを構成するレイヤー画像の取得枚数；光軸方向に焦点位置を変えながら被写体を撮像する回数）がしきい値Ｍより多いかどうかを判断する（Ｓ１９０４）。
ＮがＭよりも多い（大きい）場合には、「高画質撮像処理」が実行され（Ｓ１９０５）、一連の処理が終了される。「高画質撮像処理」は、図７で示される処理によって固定パターンノイズの影響を回避した位置ずれ画像を撮像した後、その画像に対して図１２で示される処理を適用することで画像の位置ずれを補正し、最終的な画像を取得する一連の処理である。
Ｓ１９０３で高画質モードが有効でない（通常モードが有効である）とＣＰＵ３０１が判断した場合、及び、Ｓ１９０４でＮがＭ以下であるとＣＰＵ３０１が判断した場合には、「通常撮像処理」が実行され（Ｓ１９０６）、一連の処理が終了される。「通常撮像処理」は、例えば、図４のＳ４０２〜Ｓ４１０や、図６のＳ６０２〜Ｓ６１０で示される処理である。
以上で、図１９の説明を終了する。
【００４６】
一般的には、Ｚスタックデータを構成するレイヤー画像の取得枚数が増えるにつれて固定ノイズの影響が累積していき、深度制御画像の品質低下が顕著になっていく。しかし、この課題は、「高画質撮像処理」の適用により、解決することできる。それが、実施例１〜実施例４で説明した内容である。ただし、この「高画質撮像処理」には、「通常撮像処理」に比べて撮像速度が遅いという課題がある。本実施例の「高画質モード」では、固定パターンノイズの影響が無視できない場合に「高画質撮像処理」が行われる。そして、固定ノイズの影響がそれほど顕著にならない場合には、「通常撮像処理」が行われ、撮像に要する時間が短縮される。それにより、画質と撮像速度の両立が図られる。その具体的な処理の流れが図１９に示す処理の流れである。
【００４７】
以上に述べたように、本実施例の「高画質モード」によれば、固定パターンノイズの影響が無視できないときにのみ固定パターンノイズの相対位置をばらつかせる処理が行われ、それ以外のときには「通常撮像処理」が行われる。これにより、実施例１〜４と比較して、撮像速度の低下を最小限に抑えつつ、深度制御画像の品質を向上させることができる。
【００４８】
＜実施例６＞
本発明の実施例６について、図面を用いて説明する。
本実施例を実現するバーチャル・スライド・システムの構成、本計測ユニットの構成、および画像処理装置の内部構成の概略は実施例１と同様である。
本実施例では、撮像システム（バーチャル・スライド・システム）の動作モードとして、「通常モード」と「高画質モード」が用意されている。「通常動作モード」は、実施例５と同様である。ただし、「高画質モード」は、実施例５と異なる。「高画質モード」は、被写体から得られる光量がしきい値より少ない場合に限り、撮像領域の位置又は向きを変えながら被写体を複数回撮像するモードである。具体的には、本実施例におけるバーチャル・スライド・システムでは、図２を用いて説明した撮像の他に、蛍光試料の撮像（蛍光撮像）を行うことができ、「高画質モード」は、蛍光撮像を行う場合に限り、図７や図１２で示される処理を行うモードである。蛍光撮像を行う場合には、光源２０１として励起光源が使用される。また、結像光学系２０５に含まれる対物レンズとして、自家蛍光の少ない専用の対物レンズが使用される。蛍光撮像では、被写体に励起光を照射することによって該被写体で発生した蛍光が結像光学系を介して検知され、検知結果に基づいて画像（撮像画像）として蛍光画像が取得される。
【００４９】
本実施例の処理の流れについて、図２０のフローチャートを用いて説明する。
まず、ＣＰＵ３０１が、バーチャル・スライド・システムの初期化処理を行う（Ｓ１９０１）。
次に、ＣＰＵ３０１が、高画質モードが有効であるかどうかを判断する（Ｓ１９０３）。
高画質モードが有効である場合には、ＣＰＵ３０１が、撮像モードが蛍光撮像を行うモード（蛍光撮像モード）であるかどうかを判断する（Ｓ２００１）。
撮像モードが蛍光撮像モードである場合には、「高画質撮像処理」が実行され（Ｓ１９０５）、一連の処理が終了される。なお、本実施例における「高画質撮像処理」は、実施例５で説明した処理と同様である。
Ｓ１９０３で高画質モードが有効でないとＣＰＵ３０１が判断した場合、及び、Ｓ２００１で撮像モードが蛍光撮像モードでないとＣＰＵ３０１が判断した場合には、「通常撮像処理」が実行され（Ｓ１９０６）、一連の処理が終了される。なお、本実施例における「通常撮像処理」も、実施例５で説明した処理と同様である。
以上で、図２０の説明を終了する。
【００５０】
一般的には、蛍光撮像のように撮像対象の被写体から得られる光量が少ないと、画像信号に対するノイズの影響が相対的に増大し、深度制御画像の品質低下が顕著になっていく。当然、固定パターンノイズの影響も増大する。しかしこの課題は、「高画質撮像処理」の適用により、解決することできる。それが、実施例１〜実施例４で説明した内容である。ただし、この「高画質撮像処理」には、「通常撮像処理」に比べて撮像速度が遅いという課題がある。本実施例の「高画質モード」では、撮像モードが蛍光撮像モードである場合に「高画質撮像処理」が行われる。そして、撮像モードが蛍光撮像モードでない場合には、「通常撮像処理」が行われ、撮像に要する時間が短縮される。それにより、画質と撮像速度の両立が図られる。その具体的な処理の流れが図２０に示す処理の流れである。
【００５１】
以上に述べたように、本実施例の「高画質モード」によれば、蛍光撮像モードのように被写体から得られる光量が少ないときにのみ固定パターンノイズの相対位置をばらつかせる処理が行われ、それ以外のときには「通常撮像処理」が行われる。これにより、実施例１〜４と比較して、撮像速度の低下を最小限に抑えつつ、深度制御画像の品質を向上させることができる。
【００５２】
なお、本実施例では、「高画質モード」が、蛍光撮像を行う場合に限り、撮像領域の位置又は向きを変えながら被写体を複数回撮像するモードである場合の例を説明したが、「高画質モード」はこれに限らない。「高画質モード」は、被写体から得られる光量がしきい値より少ない場合に限り、撮像領域の位置又は向きを変えながら被写体を複数回撮像するモードであればよい。例えば、被検体の種類が特定の種類である場合に限り、撮像領域の位置又は向きを変えながら被写体を複数回撮像するモードであってもよい。
【００５３】
＜実施例７＞
本発明の実施例７について、図面を用いて説明する。
本実施例を実現するバーチャル・スライド・システムの構成、本計測ユニットの構成、および画像処理装置の内部構成の概略は実施例１と同様である。
本実施例では、撮像システム（バーチャル・スライド・システム）の動作モードとして、「通常モード」と「高画質モード」が用意されている。また、本実施例におけるバーチャル・スライド・システムでは、実施例６と同様に、図２を用いて説明した撮像の他に、蛍光撮像が行える。「通常動作モード」は、実施例５，６と同様である。ただし、「高画質モード」は、実施例５，６と異なる。「高画質モード」は、光軸方向に焦点位置を変えながら被写体を撮像する回数がしきい値より多く、且つ、被写体から得られる光量がしきい値より少ない場合に限り、撮像領域の位置又は向きを変えながら被写体を複数回撮像するモードである。具体的には、「高画質モード」は、Ｚスタックデータを構成するレイヤー画像の取得枚数がしきい値Ｍよりも多く、且つ、蛍光撮像を行う場合に限り、図７や図１２で示される処理を行うモードである。
【００５４】
本実施例では、図１９で示した処理と、図２０で示した処理を組み合わせた処理が行わ
れる。本実施例の処理の流れについて、図２１のフローチャートを用いて説明する。
まず、ＣＰＵ３０１が、バーチャル・スライド・システムの初期化処理を行う（Ｓ１９０１）。
次に、しきい値Ｍの設定が行われる（Ｓ１９０２）。
次に、ＣＰＵ３０１が、高画質モードが有効であるかどうかを判断する（Ｓ１９０３）。
高画質モードが有効である場合には、ＣＰＵ３０１が、撮像モードが蛍光撮像モードであるかどうかを判断する（Ｓ２００１）。
撮像モードが蛍光撮像モードである場合には、ＣＰＵ３０１が、Ｚスタック取得枚数Ｎがしきい値Ｍより多いかどうかを判断する（Ｓ１９０４）。
ＮがＭよりも多い（大きい）場合には、「高画質撮像処理」が実行され（Ｓ１９０５）、一連の処理が終了される。なお、本実施例における「高画質撮像処理」は、実施例５，６で説明した処理と同様である。
Ｓ１９０３で高画質モードが有効でないとＣＰＵ３０１が判断した場合には、「通常撮像処理」が実行され（Ｓ１９０６）、一連の処理が終了される。Ｓ２００１で撮像モードが蛍光撮像モードでないとＣＰＵ３０１が判断した場合、及び、Ｓ１９０４でＮがＭ以下であるとＣＰＵ３０１が判断した場合にも、「通常撮像処理」が実行され（Ｓ１９０６）、一連の処理が終了される。なお、本実施例における「通常撮像処理」も、実施例５，６で説明した処理と同様である。
以上で、図２１の説明を終了する。
【００５５】
実施例５で説明したように、一般的には、Ｚスタックデータを構成するレイヤー画像の取得枚数が増えるにつれて固定ノイズの影響が累積していき、深度制御画像の品質低下が顕著になっていく。また、実施例６で説明したように、蛍光撮像のように撮像対象の被写体から得られる光量が少ないと、画像信号に対するノイズの影響が相対的に増大し、深度制御画像の品質低下が顕著になっていく。この両者の効果が重なると、画像の品質はさらに低下する。しかしこの課題は、「高画質撮像処理」の適用により、解決することできる。それが、実施例１〜実施例４で説明した内容である。ただし、この「高画質撮像処理」には、「通常撮像処理」に比べて撮像速度が遅いという課題がある。本実施例の「高画質モード」では、固定パターンノイズがしきい値以上累積し、且つ、撮像モードが蛍光撮像モードである場合に「高画質撮像処理」が行われる。そして、それ以外の場合には「通常撮像処理」が行われる。これにより、画質と撮像速度の両立が図られる。その具体的な処理の流れが図２１に示す処理の流れである。
【００５６】
以上に述べたように、本実施例の「高画質モード」によれば、固定パターンノイズがしきい値以上累積し、且つ、蛍光撮像のように被写体から得られる光量が少ないときにのみ、固定パターンノイズの相対位置をばらつかせる処理が行われる。そして、それ以外のときには「通常撮像処理」が行われる。これにより、実施例１〜４と比較して、撮像速度の低下を最小限に抑えつつ、深度制御画像の品質を向上させることができる。
【符号の説明】
【００５７】
１１０  画像処理装置
１２０  撮像装置
【図１】
2014090401.tif 000003
【図２】
2014090401.tif 000004
【図３】
2014090401.tif 000005
【図４】
2014090401.tif 000006
【図５】
2014090401.tif 000007
【図６】
2014090401.tif 000008
【図７】
2014090401.tif 000009
【図８】
2014090401.tif 000010
【図９】
2014090401.tif 000011
【図１０】
2014090401.tif 000012
【図１１】
2014090401.tif 000013
【図１２】
2014090401.tif 000014
【図１３】
2014090401.tif 000015
【図１４】
2014090401.tif 000016
【図１５】
2014090401.tif 000017
【図１６】
2014090401.tif 000018
【図１７】
2014090401.tif 000019
【図１８】
2014090401.tif 000020
【図１９】
2014090401.tif 000021
【図２０】
2014090401.tif 000022
【図２１】
2014090401.tif 000023