(57)【要約】【課題】バーチャル・スライド・システムでのユーザ設定に応じた被写界深度の拡大処理において演算コストを抑制し、装置のスループット（単位時間当たりの処理枚数）や応答速度を向上する。【解決手段】画像処理装置が、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、前記結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択手段と、前記選択手段により選択された第１の画像データを用いて、前記第２の画像データを生成する生成手段と、を有する。【選択図】図９
2015108837.tif 000002
【特許請求の範囲】
【請求項１】
光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、
生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、
前記結像特性取得手段で取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択手段と、
前記選択手段により選択された第１の画像データを用いて、前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定手段をさらに有し、
前記決定手段は、前記合成焦点面を中心とする前記被写界深度内に物体が最も多く含まれるように、前記合成焦点面の位置を決定し、
前記選択手段は、前記決定手段で決定された合成焦点面を中心として前記影響範囲を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、
生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、
前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定手段と、
前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、前記前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項４】
前記決定手段は、前記合成焦点面を中心とする前記被写界深度内に物体が最も多く含まれるように、前記合成焦点面の位置を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、
前記複数の第１の画像データの各々について、画像内に焦点が合った領域がどの程度存在するかを表す画像評価値を計算し、
複数の焦点位置のそれぞれについて、前記焦点位置を中心とする前記被写界深度内で第１の画像データの画像評価値を積分した画像評価積分値を計算し、
前記画像評価積分値が最も良い値となる焦点位置を前記合成焦点面の位置に決定することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記決定手段で決定された合成焦点面を基準として複数の合成焦点面を設定し、前記複数の合成焦点面のそれぞれに対応する第２の画像データが生成されることを特徴とする請求項３〜５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の合成焦点面は、その間隔が前記指定された被写界深度に等しくなるように設定されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記被写界深度を指定する情報は、対物レンズ倍率、開口絞り、又はその両方を指定する情報であることを特徴とする請求項１〜７のうちいずれか１項に記載の画像処理装置。
【請求項９】
前記被写界深度を指定する情報は、開口数を指定する情報であることを特徴とする請求項１〜７のうちいずれか１項に記載の画像処理装置。
【請求項１０】
前記生成手段は、
前記仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって、前記第１の画像データの各々に対し焦点位置からの距離に応じたぼけを付与した後、
ぼけを付与した第１の画像データを合成して前記第２の画像データを生成することを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。
【請求項１１】
前記生成手段は、前記仮想的な光学系の結像特性に基づいて決定される重みを用いて、周波数空間上で前記第１の画像データを重み付け加算することにより、前記第２の画像データを生成することを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。
【請求項１２】
前記生成手段は、
前記複数の第１の画像データを撮像した光学系の結像特性によるぼけをキャンセルし、且つ、前記仮想的な光学系の結像特性によるぼけを付与するフィルタを用いて、周波数空間上で前記第１の画像データに対し前記フィルタを適用することにより、前記第２の画像データを生成することを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。
【請求項１３】
前記結像特性は、ＰＳＦまたはＯＴＦであることを特徴とする請求項１〜１２のうちいずれか１項に記載の画像処理装置。
【請求項１４】
前記被写体を複数の領域に分割することで得られる複数の分割領域毎に前記複数の第１の画像データが取得され、前記分割領域毎に第２の画像データが生成されることを特徴とする請求項１〜１３のうちいずれか１項に記載の画像処理装置。
【請求項１５】
第２の画像データの被写界深度として、互いに異なる複数の被写界深度を指定可能であることを特徴とする請求項１〜１４のうちいずれか１項に記載の画像処理装置。
【請求項１６】
前記指定された複数の被写界深度のそれぞれに対応する複数の第２の画像データが生成されることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、
コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、
コンピュータが、前記結像特性取得ステップで取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択ステップと、
コンピュータが、前記選択ステップにより選択された第１の画像データを用いて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法。
【請求項１８】
光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、
コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、
コンピュータが、前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定ステップと、
コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法。
【請求項１９】
請求項１７又は１８に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の画像データから、それよりも被写界深度が深い画像データを生成するための技術に関する。
【背景技術】
【０００２】
病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド・システムがある。バーチャル・スライド・システムによる病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。
【０００３】
バーチャル・スライド・システムで光学顕微鏡の操作を仮想化して実現するためには、プレパラート上の被検試料全体像をデジタル化する必要がある。被検試料全体像のデジタル化により、バーチャル・スライド・システムで作成したデジタルデータをＰＣやワークステーション上で動作するビューアソフトで観察することができる。被検試料全体像をデジタル化した場合の画素数は、通常、数億画素から数十億画素であり、非常に大きなデータ量となる。
バーチャル・スライド・システムで作成したデータの量は膨大であるが、それゆえ、ビューアで拡大／縮小を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することができ、種々の利便性を提供する。必要な情報を予め全て取得しておくことで、低倍画像から高倍画像までユーザが欲する解像度・倍率による即時の表示が可能となる。
【０００４】
しかし、プレパラートにはカバーグラスやスライドグラス、標本の凹凸が原因のうねりが存在する。また前記の凹凸が無い場合でも、標本は厚みを持っており、観察したい組織や細胞が存在する奥行き位置がプレパラートの（水平方向の）観察位置によって異なる。そのため、１つのプレパラート（被写体）に対し、光軸方向に沿って焦点位置を変えて複数枚の画像を撮像する構成が存在する。このような構成で取得した複数枚の画像データを「Ｚスタック画像」と呼び、Ｚスタック画像を構成する各焦点位置の平面画像を「レイヤー画像」と呼ぶ。
【０００５】
バーチャル・スライド・システムでは、効率の観点から通常、高倍率（高ＮＡ）で標本の局所領域毎に標本を撮影し、その撮影像を繋ぎ合せて全体画像を生成する。全体画像の空間分解能は高いが、被写界深度が浅い。そのため、バーチャル・スライド・システムにおいて、高倍画像（例えば対物レンズ４０倍）を縮小した低倍画像（例えば対物レンズ１０倍）の被写界深度は光学顕微鏡の直接観察像の被写界深度に比べて浅く、本来低倍画像では存在しないピンぼけが含まれる。病理診断においては低倍画像で病変部の見落としがないように全体のスクリーニングを行う必要があるため、病理医は低倍画像の画質を重視しており、ピンぼけによる画質劣化の少ない低倍画像を作る必要がある。
【０００６】
バーチャル・スライド・システムにおける低倍画像の画質向上に関しては、従来、以下の提案がされている。特許文献１では、高倍画像の表示時にはＺスタック画像の中から選択したレイヤー画像を表示し、一方、低倍画像の表示時にはＺスタック画像を構成する全てのレイヤー画像を用いて、全てに焦点が合った画像（全焦点画像）を合成し表示する構成を開示している。
また、被写界深度の制御技術に関しては、従来、以下の提案がされている。特許文献２では、焦点位置を変えた複数枚の撮影像に対し、撮影像が３次元のコンボリューションモデルに合致するように座標変換処理を行い、３次元周波数空間上でぼけを変える３次元フィルタリング処理を行うことで被写界深度を拡大する構成を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−０３７９０２号公報
【特許文献２】特開２００７−１２８００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら上述した従来の技術においては、以下のような問題があった。
特許文献１の方法では、被写界深度が浅い画像か、もしくは全焦点画像かの２通りしか選定できない。いずれの画像も光学顕微鏡の目視観察像とは被写界深度（或いは像のぼけ）が大きく異なる。病理医は、画像に含まれるぼけ情報から組織や細胞の３次元的な立体構造の把握をしており、倍率に応じたぼけは診断上有益な情報である。しかし特許文献１の方法では、被写界深度の浅い高倍画像か、全焦点画像の低倍画像のいずれかしか生成できないため、その中間倍率（例えば対物レンズ２０倍）においてぼけ情報を元にした立体構造の推測が難しいという課題があった。
特許文献２の方法によれば、Ｚスタック画像から任意の被写界深度の画像を生成することができる。しかしながら、特許文献２には、Ｚスタック画像の全てのレイヤー画像を使用する方法しか開示されていない。被写界深度の拡大処理に全てのレイヤー画像を使用すると、演算コストの増加、応答速度の低下が発生する課題がある。特にレイヤー画像の高解像度化や大サイズ化が進むほど、またレイヤー画像の枚数が増えるほど、この問題は深刻なものとなる。
【０００９】
本発明は、このような問題点に鑑みてなされたものであり、バーチャル・スライド・システムでのユーザ設定に応じた被写界深度の拡大処理において演算コストを抑制し、装置のスループット（単位時間当たりの処理枚数）や応答速度の向上を目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、前記結像特性取得手段で取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択手段と、前記選択手段により選択された第１の画像データを用いて、前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置である。
【００１１】
本発明に係る別の画像処理装置は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定手段と、前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、
前記前記第２の画像データを生成する生成手段と、を有することを特徴とする画像処理装置である。
【００１２】
本発明に係る画像処理方法は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、コンピュータが、前記結像特性取得ステップで取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択ステップと、コンピュータが、前記選択ステップにより選択された第１の画像データを用いて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法である。
【００１３】
本発明に係る別の画像処理方法は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、コンピュータが、前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定ステップと、コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記第２の画像データを生成する生成ステップと、を有することを特徴とする画像処理方法である。
【００１４】
本発明に係るプログラムは、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
【発明の効果】
【００１５】
本発明では、バーチャル・スライド・システムでのユーザ設定に応じた被写界深度の拡大処理において、演算コストを低減し、装置のスループットや応答速度を向上することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１におけるバーチャル・スライド・システムの構成図。
【図２】実施例１における本計測ユニットとプレ計測ユニットの構成図。
【図３】実施例１における画像処理装置の内部構成図。
【図４】実施例１における深度拡大処理のフローチャート。
【図５】実施例１における本計測とプレ計測の撮像領域を説明する図。
【図６】実施例１におけるＸＹステージ及びＺステージの移動方向を説明する図。
【図７】実施例１におけるプレ計測処理Ｓ４０２のフローチャート。
【図８】実施例１における本計測処理Ｓ４０３のフローチャート。
【図９】実施例１における深度拡大処理Ｓ４０４のフローチャート。
【図１０】実施例１における画像評価値計算処理Ｓ１１０１を説明する図。
【図１１】実施例１における画像評価積分値計算処理Ｓ１１０２を説明する図。
【図１２】実施例１における被写界深度拡大後の結像特性（ＰＳＦ）を説明する図。
【図１３】実施例１における合成焦点面と合成対象面を説明する図。
【図１４】実施例１における深度合成データ生成処理Ｓ９０３のブロック図。
【図１５】実施例１における画像合成処理の３つの方法のフローチャート。
【図１６】実施例２における深度拡大処理Ｓ４０４のフローチャート。
【図１７】実施例２における領域内サブ分割処理Ｓ２００２を説明する図。
【図１８】実施例３における被写界深度を変えた複数の画像出力を説明する図。
【発明を実施するための形態】
【００１７】
［実施例１］
（システムの全体構成）
図１は、本発明の撮像システムの一実施例である、バーチャル・スライド・システムの構成を示している。
バーチャル・スライド・システムは、検体の撮像データを取得する撮像装置（バーチャル・スライド・スキャナとも呼ぶ）１２０とそのデータ処理・制御を行う画像処理装置（ホストコンピュータとも呼ぶ）１１０およびその周辺機器から構成されている。
画像処理装置１１０にはユーザからの入力を受け付けるキーボードやマウスなどの操作入力デバイス１１１、処理画像を表示するディスプレイ１１２が接続される。また画像処理装置１１０には、記憶装置１１３、他のコンピュータシステム１１４が接続されている。
【００１８】
多数の検体（プレパラート）の撮像をバッチ処理で行う場合、画像処理装置１１０の制御の下で撮像装置１２０が各検体を順に撮像し、画像処理装置１１０が各検体の画像データに対し必要な処理を施す。そして得られた各検体の画像データは、大容量のデータストレージである記憶装置１１３又は他のコンピュータシステム１１４へ伝送され、蓄積される。
【００１９】
撮像装置１２０での撮像（プレ計測および本計測）は、ユーザの入力を受けて画像処理装置１１０がコントローラ１０８へ指示を送り、次にコントローラ１０８が本計測ユニット１０１とプレ計測ユニット１０２を制御することで実現される。
本計測ユニット１０１はプレパラート内の検体診断のための高精細な画像を取得する撮像ユニットである。プレ計測ユニット１０２は本計測に先立って撮像を行う撮像ユニットで、本計測で精度の良い画像取得をするための撮像制御情報取得を目的とした画像取得を行う。
【００２０】
コントローラ１０８には変位計１０３が接続され、本計測ユニット１０１またはプレ計測ユニット１０２内のステージに設置されるプレパラートの位置や距離が測定できる構成となっている。変位計１０３は、本計測およびプレ計測を行うにあたり、プレパラート内の検体の厚みを計測するために用いられる。
【００２１】
またコントローラ１０８には本計測ユニット１０１およびプレ計測ユニット１０２の撮像条件を制御するための、開口絞り制御１０４、ステージ制御１０５、照明制御１０６、センサ制御１０７が接続されている。そして、それぞれはコントローラ１０８からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。
【００２２】
ステージにはプレパラートを光軸に垂直な方向に移動するＸＹステージと光軸に沿った方向に移動するＺステージがある。それぞれ、ＸＹステージは光軸に垂直な方向に分布する検体画像を、Ｚステージは奥行き方向に焦点位置を変えた画像を撮像するために用いる。図示しないが、撮像装置１２０は、複数のプレパラートをセット可能なラックと、ラックからステージ上の撮像位置へとプレパラートを送り出す搬送機構とが設けられている。バッチ処理の場合は、コントローラ１０８が搬送機構を制御することで、ラックからプレパラートを１枚ずつ、プレ計測ユニット１０２のステージ、本計測ユニット１０１のステージの順に送り出す。
【００２３】
本計測ユニット１０１、プレ計測ユニット１０２には撮像した画像を用いてオートフォーカスを実現するＡＦユニット１０９が接続されている。ＡＦユニット１０９は、コントローラ１０８を介して、本計測ユニット１０１、プレ計測ユニット１０２のステージの位置を制御することで合焦位置を探し出すことが出来る。オートフォーカスの方式は画像を用いるパッシブ型であり、公知の位相差検出方式やコントラスト検出方式が用いられる。
【００２４】
（本計測ユニット）
図２（ａ）は実施例１における本計測ユニット１０１の内部構成を示す図である。
光源２０１ａの光は照明光学系２０２ａを通じ、光量ムラが無いように均一化され、ステージ２０３ａの上に設置されたプレパラート２０４を照射する。プレパラート２０４は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、検体（被写体）を観察可能な状態に準備したものである。
【００２５】
結像光学系２０５ａは検体の像を拡大して撮像手段である撮像部２０７ａに導くものである。プレパラート２０４を通った光は結像光学系２０５ａを介して、撮像部２０７ａ上の撮像面で結像する。結像光学系２０５ａの中には開口絞り２０６ａが存在し、開口絞り２０６ａを調整することで被写界深度が制御できる。
【００２６】
撮像にあたっては、光源２０１ａを点灯させ、プレパラート２０４に光を照射する。そして、照明光学系２０２ａ、プレパラート２０４、結像光学系２０５ａを通って撮像面に結像した像を撮像部２０７ａのイメージセンサで受光する。モノクロ（グレースケール）撮影時には光源２０１ａを白色で露光し、１回撮像を行う。カラー撮影時には、ＲＧＢの３つの光源２０１ａで順番に露光し、３回撮像を行うことで、カラー画像を取得する。
【００２７】
撮像面で結像した検体の像は、複数のイメージセンサから構成される撮像部２０７ａで光電変換され、Ａ／Ｄ変換を実行した後、像は電気信号として画像処理装置１１０に送られる。本実施例ではＡ／Ｄ変換を実行した後のノイズ除去や色変換処理、鮮鋭化処理に代表される現像処理は画像処理装置１１０内部で行うとして説明する。しかし、現像処理は撮像部２０７ａに接続された専用の画像処理ユニット（不図示）で行い、その後画像処理装置１１０にデータを送信することも可能であり、そのような形態での実施も本発明の範疇となる。
【００２８】
（プレ計測ユニット）
図２（ｂ）は実施例１におけるプレ計測ユニット１０２の内部構成を示す図である。
光源２０１ｂの光は照明光学系２０２ｂを通じ、光量ムラが無いように均一化され、ステージ２０３ｂの上に設置されたプレパラート２０４を照射する。プレパラート２０４を通った光は結像光学系２０５ｂにより、撮像部２０７ｂ上の撮像面で結像する。結像光学系２０５ｂの中には開口絞り２０６ｂが存在し、開口絞り２０６ｂを調整することで被写界深度が制御できる。
【００２９】
撮像にあたっては、光源２０１ｂを点灯させ、プレパラート２０４に光を照射する。そして、照明光学系２０２ｂ、プレパラート２０４、結像光学系２０５ｂを通って撮像面に結像した像を撮像部２０７ｂのイメージセンサで受光する。モノクロ（グレースケール）撮影時には光源２０１ｂを白色で露光し、１回撮像を行う。カラー撮影時には、ＲＧＢの３つの光源２０１ｂで順番に露光し、３回撮像を行うことで、カラー画像を取得する。
【００３０】
撮像面で結像した検体の像は、イメージセンサを備えた撮像部２０７ｂで光電変換され、Ａ／Ｄ変換を実行した後、像は電気信号として画像処理装置１１０に送られる。本実施
例ではＡ／Ｄ変換を実行した後のノイズ除去や色変換処理、鮮鋭化処理に代表される現像処理は画像処理装置１１０内部で行うとして説明する。しかし、現像処理は撮像部２０７ｂに接続された専用の画像処理ユニット（不図示）で行い、その後画像処理装置１１０にデータを送信することも可能であり、そのような形態での実施も本発明の範疇とする。
【００３１】
（画像処理装置）
図３は本発明における画像処理装置（ホストコンピュータ）１１０の内部構成を示す図である。
ＣＰＵ３０１はＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いて画像処理装置全体の制御を行う。またＣＰＵ３０１は、以降の実施例で説明する各種演算処理、データ処理、例えば、後述する被写界深度拡大処理、現像・補正処理、合成処理、圧縮処理等を行う。
【００３２】
ＲＡＭ３０２は記憶装置１１３からロードされたプログラムやデータ、他のコンピュータシステム１１４からネットワークＩ／Ｆ（インターフェース）３０４を介してダウンロードしたプログラムやデータを一時的に記憶するエリアを備える。またＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。ＲＯＭ３０３はコンピュータの機能プログラムや設定データなどを記憶する。ディスプレイ制御装置３０６は画像や文字等をディスプレイ１１２に表示させるための制御処理を行う。ディスプレイ１１２はユーザに入力を求めるための画面表示を行うとともに、撮像装置１２０から取得しＣＰＵ３０１で処理した画像データを画像表示する。
【００３３】
操作入力デバイス１１１はキーボードやマウスなどＣＰＵ３０１に各種の指示を入力することのできるデバイスにより構成される。ユーザは撮像装置１２０の動作を制御する情報を操作入力デバイス１１１により入力する。３０８は操作入力デバイス１１１を介して入力された各種の指示等をＣＰＵ３０１に通知するためのＩ／Ｏである。
【００３４】
記憶装置１１３はハードディスクなどの大容量情報記憶装置であり、ＯＳ（オペレーティングシステム）や以降の実施例で説明する処理をＣＰＵ３０１に実行させるためのプログラムやバッチ処理によりスキャンした画像データなどを記憶する。
記憶装置１１３への情報の書き込みや記憶装置１１３からの情報の読み出しはＩ／Ｏ３１０を介して行われる。制御Ｉ／Ｆ３１２は、撮像装置１２０を制御するためのコントローラ１０８と制御コマンド（信号）をやりとりするためのＩ／Ｆである。
【００３５】
コントローラ１０８は本計測ユニット１０１およびプレ計測ユニット１０２を制御する機能を持つ。画像Ｉ／Ｆ（インターフェース）３１３には上述以外のインターフェース、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサの出力データを取り込むための外部インターフェースが接続されている。なおインターフェースとしてはＵＳＢ、ＩＥＥＥ１３９４などのシリアルインターフェースやカメラリンクなどのインターフェースを使うことが出来る。この画像Ｉ／Ｆ３１３を通じて本計測ユニット１０１やプレ計測ユニット１０２が接続される。
【００３６】
（深度拡大処理フロー）
本実施例のバーチャル・スライド・システムは、図４に示す深度拡大処理フローを実行し、ユーザが指定する被写界深度を持つ深度拡大画像データを生成する。以下、深度拡大処理について図４を用いて説明する。
【００３７】
まず、深度拡大設定Ｓ４０１では、画像処理装置１１０に対し、操作入力デバイス１１１を通じてユーザが所望する被写界深度の拡大量（つまり深度拡大画像データの被写界深度を指定する情報）を、深度拡大原情報として設定する。深度拡大原情報には様々な設定
を割り当てることが出来る。一例としては、対物レンズ倍率および／または開口絞りがある。その他には実在する光学顕微鏡の対物レンズの型番や仮想的な対物レンズの種類、被写界深度拡大後のＮＡ（開口数）などがある。なお、ＮＡを設定する場合、結像光学系２０５ａのＮＡよりも小さくする必要がある。もちろん被写界深度そのものを指定することもできる。
【００３８】
深度拡大設定Ｓ４０１では、画像処理装置１１０上の撮像装置１２０を制御するアプリケーションを通じて、画像処理装置１１０に接続されたディスプレイ１１２に設定画面を表示し、ユーザに前述の深度拡大原情報を設定させる。例えば、対物レンズ倍率を設定させる場合には、光学顕微鏡で良く使用される倍率、例えば４０倍、２０倍、１０倍等を選択させる構成を取ると、ユーザにとって被写界深度が感覚的に把握しやすくなる。また開口絞りを設定させる場合、ＮＡの変更率を設定させると良い。
【００３９】
次に、プレ計測処理Ｓ４０２では、後段の本計測処理Ｓ４０３でのデータ取得に必要なＸＹ分割撮像位置情報およびＺスタック撮像位置情報を決定する。ここでＸＹ分割撮像位置情報は標本を光軸（Ｚ軸）に垂直な面（ＸＹ平面）に複数回に渡って分割撮像する際に必要な情報で、具体的には各分割撮像領域の中心を結像光学系２０５ａと重ねるために必要なＸＹステージの位置や移動量を表す。Ｚスタック撮像位置情報は分割撮像領域毎に光軸（Ｚ軸）に沿って移動してＺスタック画像データを取得する際のＺステージ移動に必要な位置情報を表す。なお、Ｚスタック撮像位置は分割撮像領域毎に異なってもよい。
【００４０】
次に本計測処理Ｓ４０３では、前記プレ計測処理Ｓ４０２で決定した情報を用いて、コントローラ１０８を制御し、分割撮像領域毎にＺスタック画像データを取得し、画像処理装置１１０に送信する。
次に深度拡大処理Ｓ４０４では、前記本計測処理Ｓ４０３で撮影した分割撮像領域毎のＺスタック画像データと深度拡大設定Ｓ４０１で設定した深度拡大原情報（被写界深度の拡大量）を用いて、被写界深度を拡大した画像データを生成する。
上記のプレ計測処理Ｓ４０２、本計測処理Ｓ４０３、深度拡大処理Ｓ４０４に関しては、後に詳しく説明する。
【００４１】
次に現像・補正処理Ｓ４０５では、前述の被写界深度を拡大した画像データに対し、画像処理装置１１０が色変換処理、鮮鋭化処理、ノイズ低減処理などを実施する。これらの処理により、ディスプレイ１１２に表示される画像の色を標本の実際の色に近づけ、観察に好ましい鮮鋭化処理を施し、画像のノイズを抑制する。
次に合成処理Ｓ４０６では、画像処理装置１１０が分割撮像領域毎に深度拡大処理および現像・補正処理を行った画像データをつなぎ合わせ、プレパラート上の観察対象領域全体（例えば２０ｍｍ角の領域）の像を作る。
次に圧縮処理Ｓ４０７では、画像処理装置１１０が合成処理を行った画像データを圧縮し、データ容量を削減する。圧縮方法としては静止画圧縮符号化方式のＪＰＥＧやＪＰＥＧ２０００などを用いることが可能である。
続いて、伝送処理Ｓ４０８では、画像処理装置１１０が圧縮処理した画像データを記憶装置１１３に送り、データを保存する。画像処理装置１１０はネットワークＩ／Ｆを介してネットワーク上のコンピュータシステム１１４や画像サーバに画像データを送信してもよい。
【００４２】
（プレ計測及び本計測における装置の動作）
図５（ａ）〜図５（ｄ）、図６（ａ）、図６（ｂ）を用いてプレ計測処理Ｓ４０２及び本計測処理Ｓ４０３における装置の動作について説明する。
【００４３】
図５（ａ）はプレパラートの模式図である。スライドグラス５１０上にはカバーグラス
５１１によって検体５００を封入した領域とラベルエリア５１２がある。本計測処理Ｓ４０３では、プレ計測で求めた検体５００が存在する外接矩形領域の内部を撮像対象とする。
【００４４】
図５（ｂ）は本計測処理Ｓ４０３で検体５００が存在する外接矩形領域を複数領域に分割して撮像する様子を表している。図５（ｃ）は撮像面を表しており、有効視野５０２は本計測ユニット１０１の結像光学系２０５ａを通して像が映る範囲を、センサ有効領域５０３は撮像部２０７ａのイメージセンサで撮像可能な領域を示している。物体面における撮像領域５０１（斜線領域）は本計測ユニット１０１の結像光学系２０５ａを通じて結像し、撮像面における撮像領域５０４に対応する。
【００４５】
図５（ｃ）に示すように、センサ有効領域５０３には、撮像領域５０４に対して若干広い領域が割り当てられている。これは、結像光学系２０５ａが有する光学的な収差やイメージセンサの取付位置のズレを許容するためのマージンである。すなわち、光学的な収差やセンサの取付位置のズレがあったとしても、物体面の撮像領域５０１がセンサ有効領域５０３内に収まるようにしてある。合成処理Ｓ４０６では、センサ有効領域５０３の画像に対して収差補正や位置ズレ補正を行い、補正した画像から撮像領域５０４に対応する部分を切り出し、その画像を合成に用いる。
【００４６】
図５（ｄ）はプレ計測におけるプレパラート２０４の撮像領域５０５を示している。プレ計測は本計測を精度よく撮像するための撮像制御情報取得を目的としており、画像の特徴が大まかに把握できれば良く、本計測ほどの解像度（倍率）は必要ない。本実施例のプレ計測では低倍率でプレパラート２０４の全体を撮像する。また、本計測と異なり複数の領域に分割することなく１つのイメージセンサでプレパラート２０４の全体を一括撮像する。これによりプレ計測ユニット１０２の構成を簡易化することができるとともに、プレ計測に要する時間、ひいてはプレ計測と本計測を含む撮像処理全体の時間を短縮することができる。
【００４７】
図６（ａ）は図５（ｂ）で示す分割撮像領域をラスタースキャン順に撮像する場合のステージ２０３ａのＸＹ方向の移動方向と順序を表している。プレパラートの左上から右下の領域を撮像するには、プレパラートを搭載するステージ２０３ａは逆方向の右下から左上に移動する。このように撮像領域を複数領域に分割し、ステージ２０３ａを移動しながら繰り返し撮像することで比較的小さなイメージセンサでも広い領域を撮像することができる。
【００４８】
図６（ｂ）は本計測処理Ｓ４０３で、焦点位置（観察深さ、フォーカス位置、或いはピント位置ともいう）の異なる複数の画像を取得する場合のステージ２０３ａのＺ方向（奥行き方向）の移動方向を示している。図に示すように、プレパラート２０４内の検体の上側（カバーグラス裏面側）に焦点位置を移動するには、結像光学系２０５ａの光軸方向に沿って、ステージ２０３ａをＺ方向下向きに移動させる。逆に、検体の下側（スライドグラス表面側）に焦点位置を移動するには、ステージ２０３ａをＺ方向上向きに移動させる。
【００４９】
撮像部２０７ａ、或いは、撮像部２０７ａとステージ２０３ａの両方を結像光学系２０５ａの光軸方向に沿って移動することでも焦点位置を変更することができる。また、結像光学系２０５ａのレンズを制御することにより光学的に焦点距離を変更することでも、焦点位置を変更可能である。なお、プレ計測ユニット１０２のステージ機構は本計測ユニット１０１とほぼ同じため、説明は省略する。
【００５０】
（プレ計測処理Ｓ４０２）
続いて、図７を用いてプレ計測処理Ｓ４０２の内部処理フローについて説明する。
プレ計測処理ではまずプレ計測データ取得Ｓ７０１で標本の画像（プレ計測データと呼ぶ）を取得する。取得時の装置の動作については既に述べたため、省略する。
【００５１】
続いてＸＹ分割撮像位置決定処理Ｓ７０２では、標本のＸＹ方向の撮像領域を決定し、ＸＹ分割撮像位置情報を計算する。具体的にはプレ計測データの画像から検体５００を検出し、検体５００の外接矩形を計算し、標本の撮像範囲を決定する。この矩形範囲を本計測ユニット１０１で１回で撮像出来ない場合には、図５（ｂ）で示すように、矩形範囲を分割し本計測の分割撮像領域５０１を決定する。その後、求めた分割撮像領域毎に撮影時のＸＹステージ移動に必要な情報、即ちＸＹ分割撮像位置情報を計算する。
なお、外接矩形の計算は画像輝度の分析等、公知の技術で実現できるため、詳細説明は省く。またユーザから撮像領域の指定がある場合には、その領域に対して分割撮像領域の決定とＸＹ分割撮像位置情報の計算を行う。
【００５２】
続いて、ＡＦ合焦位置取得処理Ｓ７０３では、ＡＦユニット１０９を用いて分割撮像領域毎にオートフォーカスを実施し、フォーカスが合うＺ位置（ＡＦ合焦位置と呼ぶ）を取得する。
【００５３】
続いて、Ｚスタック撮像位置決定処理Ｓ７０４では本計測ユニット１０１を用いて分割撮像領域毎にＺスタック撮像位置を決定する。この処理では、各分割撮像領域に対し、ＡＦ合焦位置から光軸方向に沿って前後にステージ２０３ａを動かし、画像内に一定以上の鮮鋭度（コントラスト）を持つＺ方向の範囲を求め、その範囲をＺスタック撮像領域に決定する。なおＳ７０４では本計測ユニット１０１の代わりにプレ計測ユニット１０２を用いても良いし、変位計１０３を用いて、プレパラート内の検体の表面と裏面位置を調べ、その間をＺスタック撮像領域に定めても良い。
【００５４】
その後、ＡＦ合焦位置を中心として所定のＺスタック間隔で動かすことにより、求めたＺスタック撮像領域がカバー出来るよう、レイヤー画像の枚数と撮影時のＺステージの移動に必要な情報、即ち、Ｚスタック撮像位置情報を求める。なお、Ｚスタック間隔は結像光学系２０５ａの被写界深度が好ましいが、ユーザが事前に設定した値を用いることもできる。
【００５５】
例えば、Ｚスタック撮像領域はＡＦ合焦位置を中心に±５μｍの領域で、結像光学系２０５ａの被写界深度は０．５μｍとする。その場合、Ｚスタック画像を構成するレイヤー画像の枚数は２１枚となり、Ｚスタック撮像位置情報は、ＡＦ合焦位置±０．５ｎ［μｍ］（ｎ＝０〜１０）となる。このように分割撮像領域毎にＺスタック撮像位置情報を決めるのは、標本の凹凸やカバーグラスのうねり等の影響により、観察対象となる検体（細胞や組織）のＺ方向の位置がばらついているからである。
【００５６】
上記のＸＹ分割撮像位置情報およびＺスタック撮像位置情報は、画像処理装置１１０で撮影時にステージ２０３ａの移動量が少なく済むように、昇順または降順に位置を並べ替え、画像処理装置１１０内のＲＡＭ３０２や記憶装置１１３に格納する。
【００５７】
（本計測処理Ｓ４０３）
本計測処理Ｓ４０３では後段の深度拡大処理Ｓ４０４での被写界深度拡大処理に必要となる分割領域毎のＺスタック画像の取得を行う。Ｚスタック画像とは、光軸方向に焦点位置を変えながら被写体（プレパラート）を撮像することにより得られる画像群データであり、１つのＺスタック画像は各焦点位置で得られた複数枚のレイヤー画像データで構成される。本計測処理Ｓ４０３の内部処理について図８を用いて説明する。
【００５８】
まずＳ８０１では、画像処理装置１１０からプレ計測処理Ｓ４０２で求めたＸＹ分割撮像位置情報の初期位置を読み出し、コントローラ１０８が、ステージ制御１０５を介して、初期の分割撮像領域が撮影できる位置にステージ２０３ａを移動させる。
【００５９】
次にＳ８０２では、画像処理装置１１０から初期の分割撮像領域におけるＺスタック撮像位置情報を読み出し、同様にコントローラ１０８が、ステージ制御１０５を介してステージ２０３ａを初期のＺ位置へ移動する。例えば前述の例であれば、ＡＦ合焦位置＋０．５×１０［μｍ］の位置に焦点位置を合わせるようにステージ２０３ａが移動する。
【００６０】
続いてＳ８０３で画像データの取得を行う。取得した画像データは本計測ユニット１０１から画像処理装置１１０に転送され、画像処理装置１１０内のＲＡＭ３０２あるいは記憶装置１１３に格納される。
【００６１】
続いてＳ８０４では、現在の分割撮像領域においてＺスタック画像の全てのレイヤー画像のデータを取得したかを判定し、未取得のデータが存在すれば、Ｓ８０５に進み、ステージ２０３ａを次のＺ位置に移動する。例えば前述の例であれば、焦点位置を０．５μｍずつ小さくしていき、全部で２１枚のレイヤー画像を取得する。Ｓ８０４で全て取得済みであれば、次のＳ８０６に進む。
【００６２】
続いてＳ８０６では、全ての分割撮像領域のＺスタック画像を取得したかを判定し、未取得のデータが存在すれば、Ｓ８０７に進み、ステージ２０３ａを次の分割撮像領域に移動させる。全て取得済みであれば、処理を終了する。
以上の処理を繰り返し、本計測処理Ｓ４０３では、各分割撮像領域のＺスタック画像のデータを取得する。
【００６３】
（深度拡大処理Ｓ４０４）
深度拡大処理Ｓ４０４では、分割撮像領域毎に、本計測処理Ｓ４０３で取得したＺスタック画像を構成する複数のレイヤー画像データから、このレイヤー画像データよりも被写界深度が深い深度拡大画像データを生成する処理を行う。以下、撮像により得られたレイヤー画像データを第１の画像データ、深度拡大処理により生成される画像データを第２の画像データとも呼ぶ。
【００６４】
本実施例では説明の簡略化のため、分割撮像領域が１つで（検体５００が、本計測撮像領域５０１よりも小さい場合）、本計測処理Ｓ４０３でモノクロ（グレースケール）撮像する場合について説明する。ただし、複数の分割撮像領域が存在する場合でも、以降で説明する深度拡大処理Ｓ４０４を分割撮像領域毎に繰り返すことで、検体５００全体の被写界深度の拡大が可能である。またカラー撮像においてもＲＧＢ毎に被写界深度の拡大が可能である。
【００６５】
図９（ａ）を用いて深度拡大処理Ｓ４０４について説明する。
深度拡大処理Ｓ４０４では、画像処理装置１１０は、まず、深度拡大特性情報取得処理Ｓ９０１において深度拡大設定Ｓ４０１で設定された深度拡大原情報から、被写界深度と結像特性情報を取得する。本処理については後に詳しく説明する。
次に合成焦点面・対象面決定処理Ｓ９０２では、画像処理装置１１０は、後段の深度合成データ生成処理Ｓ９０３で用いる、画像合成時の焦点面、即ち合成焦点面と、画像合成時の処理対象面、即ち合成対象面を決定する。合成焦点面・対象面決定処理Ｓ９０２は本実施例の深度拡大アルゴリズムにおける特徴的な処理の一つであり、後段の深度合成データ生成処理９０３での被写界深度の拡大処理の計算負荷を軽減する。本処理については後に詳しく説明する。
【００６６】
次に深度合成データ生成処理Ｓ９０３では、前段の合成焦点面・対象面決定処理Ｓ９０２で決定した合成焦点面および合成対象面を用いて、被写界深度を拡大したデータを生成する。本処理の内部で用いる被写界深度の拡大処理としては様々な方式が考えられるが、本実施例では後に３つの手法に絞って説明する。しかし説明した手法に限定されないため、それ以外の手法を用いる場合でも本発明の範疇となる。
【００６７】
（深度拡大特性情報取得処理Ｓ９０１）
図９（ｂ）は深度拡大特性情報取得処理Ｓ９０１の内部処理フローである。
被写界深度取得処理Ｓ１００１では、画像処理装置１１０が、深度拡大設定Ｓ４０１で設定した深度拡大原情報から被写界深度を取得する。
例えば、深度拡大原情報として対物レンズ倍率を設定する場合、画像処理装置１１０は、画像処理装置１１０内にある対物レンズ倍率と被写界深度の関係を記録する対応表を用いて、対物レンズ倍率から被写界深度を求めると良い。対応表には事前の実験または計算により求めた対物レンズ倍率と被写界深度の対応関係を記載しておく。深度拡大原情報として実在する光学顕微鏡の対物レンズの型番や仮想的な対物レンズの種類を設定する場合も同様に対応表を用いて被写界深度を求められる。
【００６８】
深度拡大原情報として、対物レンズ倍率および開口絞りを設定する場合には、画像処理装置１１０は、対応表を用いて対物レンズ倍率に対応するＮＡを取得し、開口絞りによるＮＡの変更率を掛け算してトータルでのＮＡを求める。そして、下記の＜１＞式により、被写界深度Ｄを求めると良い。
±Ｄ＝ｎλ／｛２（ＮＡ）２｝    …＜１＞式
ｎ：媒質の屈折率、λ：光の波長［μｍ］、ＮＡ：対物レンズのＮＡ（開口数）
屈折率と光の波長はそれぞれ一般的な標本の屈折率、基準波長０．５５μｍを用いることで大まかに計算できる。
【００６９】
続いて結像特性取得処理Ｓ１００２では、画像処理装置１１０は、深度拡大原情報を用いて結像特性情報を求める。結像特性情報とは、深度拡大原情報で指定された被写界深度（拡大後の被写界深度）をもつ仮想的な光学系の結像特性を表す情報である。具体的には、焦点位置からの距離に従って変化する、複数の２次元ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）の情報や、３次元ＰＳＦの情報を結像特性情報として用いることができる。ＰＳＦは周波数変換してＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）の形で与えても構わない。これらの情報は深度拡大原情報と対応付けて、前述の対応表に格納しておくことで実現できる。また深度拡大原情報から求めた値（例えばＮＡ）から数式で被写界深度拡大後の結像特性である３次元ＰＳＦや３次元ＯＴＦを計算しても良い。
【００７０】
（合成焦点面・対象面決定処理Ｓ９０２）
図９（ｃ）を用いて合成焦点面・対象面決定処理Ｓ９０２の内部処理フローを説明する。合成焦点面・対象面決定処理Ｓ９０２では、拡大後の被写界深度に基づいて深度拡大画像の焦点位置に相当する合成焦点面を決定する処理と、Ｚスタック画像を構成する全レイヤー画像の中から深度拡大画像の生成に使う画像を合成対象面として選択する処理を行う。
【００７１】
まず、合成焦点面の決定処理について説明する。ここでは、合成焦点面を中心とする被写界深度（拡大後の被写界深度）の内に観察対象としての物体が最も多く含まれるように、合成焦点面のＺ方向の位置を決定する。
画像処理装置１１０は、まず画像評価値計算処理Ｓ１１０１でＺスタック画像を構成す
る各レイヤー画像の画像評価値を計算する。画像評価値は、レイヤー画像内に焦点があった領域がどの程度存在するかを分析する評価値であり、画像に対する鮮鋭度評価値の面内積分値が好適である。鮮鋭度評価値としては、フーリエ変換やウェーブレット変換等の画像の周波数解析を含むコントラスト評価値、ラプラシアンフィルタに代表されるエッジ検出フィルタによる演算値、局所領域内の画素値の分散を画像全体に渡って求めた分散値等が挙げられる。
【００７２】
図１０（ａ）及び図１０（ｂ）は画像評価値の計算の様子を示す図である。図１０（ａ）はＺ方向に焦点位置を変えて撮像装置で撮像した標本のＺスタック画像を示す。このＺスタック画像は１６枚のレイヤー画像で構成されている。Ｚ軸に記載の番号はレイヤー画像の位置を識別するためのインデックスであり、単位は持たない。図１０（ｂ）は各レイヤー画像に対して計算した画像評価値を示す。横軸は画像評価値、縦軸は前述のレイヤー画像の位置を表すインデックスを示す。図１０（ａ）のレイヤー画像１２０１ａの画像評価値は図１０（ｂ）の１２０１ｂの値に対応している。図１０（ｂ）のグラフは、標本内でインデックス＋２および０のＺ位置に、焦点が合う物体が最も多く在在することを示している。
【００７３】
次の画像評価積分値計算処理Ｓ１１０２では、画像処理装置１１０は、深度拡大処理Ｓ４０４において被写界深度を拡大した後の画像における画像評価値を予測する処理を行う。図１１（ａ）〜図１１（ｃ）を用いて画像評価積分値計算処理Ｓ１１０２の処理を説明する。図１１（ａ）、（ｂ）、（ｃ）はそれぞれ被写界深度が前後１枚、２枚、３枚（それぞれ合計３枚、５枚、７枚）の場合における画像評価積分値を示すグラフである。これらのグラフは、図１０（ｂ）の各インデックスにおいて、各インデックスを中心として被写界深度の枚数分だけ隣接するインデックスの画像評価値を積分した結果であり、被写界深度拡大後の各Ｚ位置における画像評価値の推定値となっている。
【００７４】
上記の処理により、撮像時の対物レンズ倍率や開口絞りが被写界深度拡大後のそれらと異なる場合でも、被写界深度拡大後に最もピントが合うＺ位置を予測できる。図１１（ａ）〜図１１（ｃ）から分かるように、被写界深度が変わると、ピントが合う物体が最も多く含まれるＺ位置（画像評価値が最も大きくなるＺ位置）も変わり得る。
なお、被写界深度拡大後の被写界深度が、撮像時のＺスタック間隔（レイヤー画像の間隔）の整数倍で表現できない場合には、図１０（ｂ）の各Ｚ位置の画像評価値を補間して積分区間内の画像評価値を求め、それらを積分することにより画像評価積分値を求めると良い。なお、補間方式としては公知の線形補間やスプライン補間等が適用可能である。
【００７５】
次に合成焦点面決定処理Ｓ１１０３の処理を説明する。本処理では前段の画像評価積分値計算処理Ｓ１１０２で求めた画像評価積分値が最大となるＺ位置を求め、そのＺ位置を被写界深度拡大後の焦点面に設定する。
図１１（ａ）ではインデックス＋１で表されるＺ位置で画像評価積分値が最大になっており、そのＺ位置が被写界深度拡大後に最も焦点が合う領域と推測される。そのため、前後１枚（合計３枚）の範囲まで被写界深度を拡大する場合には、合成焦点面はインデックス＋１で表されるＺ位置に決定する。同様に、前後２枚（合計５枚）の範囲まで被写界深度を拡大する場合にはインデックス＋２のＺ位置、前後３枚（合計７枚）の範囲まで被写界深度を拡大する場合にはインデックス＋３のＺ位置がそれぞれ合成焦点面に選ばれる。
【００７６】
次に合成対象面決定処理Ｓ１１０４の処理を説明する。
合成対象面決定処理Ｓ１１０４では、画像処理装置１１０が、前述の結像特性情報に基づいて、焦点位置（合成焦点面）から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる範囲（これを影響範囲と呼ぶ）を求める。そして、Ｚスタック画像を構成するレイヤー画像の中から、影響範囲内に焦点位置が含まれるレイヤー画像
を合成対象面として選択する。選択された合成対象面は、後段の深度合成データ生成処理Ｓ９０３での被写界深度拡大処理に用いられる。
【００７７】
合成対象面の選択基準となる、所定の条件及び影響範囲の決め方の一例について、図１２（ａ）及び図１２（ｂ）を用いて説明する。図１２（ａ）及び図１２（ｂ）は結像特性取得処理Ｓ１００２で求めた、被写界深度拡大後（つまり仮想的な光学系）の結像特性（ＰＳＦ）を示す図である。
図１２（ａ）の円錐は、焦点位置（図の原点）から離れる程、ＰＳＦが拡がる様子を示している。図１２（ｂ）は図１２（ａ）で示した３次元ＰＳＦの、原点からの距離が異なる２つの平面Ｚ＝ａおよびＺ＝ｂ（ａ＜ｂ）における２次元ＰＳＦ（横軸：ｒ、縦軸：強度）を示している。Ｚ＝ａは被写界深度内の平面の２次元ＰＳＦを示し、Ｚ＝ｂは被写界深度外の平面の２次元ＰＳＦを示している。Ｚ＝ｂにおける原点（中心画素）の像強度はＺ＝ａにおけるそれと比べてかなり小さくなっている。このようなＰＳＦ形状から予測できるように、被写界深度拡大後の焦点面における画像において、｜Ｚ｜＞ｂの位置にある物体は大きくぼけて重畳されるのみで、焦点面での画質に大きな影響を及ぼさないことが推定される。
【００７８】
ここで焦点位置から離れた位置の物体の、焦点位置に対する画質影響評価指標の例として、焦点位置および焦点位置から離れた位置のＰＳＦの中心（イメージセンサの中心画素）の強度比を定義する。そして、中心の強度比が１／Ｎ以下なら焦点面の画質への影響が無視できるとする。Ｎには任意の値（正の実数）を設定することができるが、被写界深度拡大後の画像の画質評価実験やシミュレーションなどから適切な値を求めると良い。本実施例では、Ｎ＝１０に設定する。
【００７９】
図１２（ａ）においてＰＳＦの中心の強度比が１／Ｎとなる、焦点位置からの距離をＺ＝ｂとすると、少なくとも｜Ｚ｜≦ｂの範囲内に存在する画像を用いれば、合成焦点面の画像が精度よく再現できる。従って、｜Ｚ｜≦ｂの範囲内に存在するレイヤー画像を合成対象面と定義し、深度合成データ生成処理Ｓ９０３に入力すれば、画質を維持した上で、合成枚数の削減による演算コストの低減が実現できる。この例では、「ＰＳＦの中心の強度比が１／Ｎ」が前述の所定の条件に対応し、「｜Ｚ｜≦ｂの範囲」が影響範囲に対応する。
【００８０】
上記のように、本実施例では、合成対象面決定処理Ｓ１１０４において、深度拡大像の画質に与える寄与を考慮し、深度拡大処理に用いるレイヤー画像の枚数を削減する。これにより、従来の方法（Ｚスタック画像を構成する全てのレイヤー画像を用いる方法）に比べて、後段の深度合成データ生成処理Ｓ９０３における処理の高速化が実現できる。
【００８１】
なお、焦点位置における画質影響評価指標は前記の方法に限らない。例えば、焦点位置から離れた位置の、指定周波数におけるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を評価指標と定め、１０％以上となる範囲を合成対象面と定めても良い。またＭＴＦと人間の視覚特性の積の積分値を評価指標とし、人間の知覚特性に基づく閾値から合成対象面を定めても良い。その他にも様々な変形例が考えられる。従って、前記以外の評価指標を適用し、合成焦点面を定める場合も本発明の範疇となる。また、画質と速度のバランスに応じて、前記で定めた合成対象面から一部の画像を間引くことでさらなる処理枚数の低減と高速化を実現することも可能である。
【００８２】
なお、前述の画質影響評価指標を用いた合成対象面決定処理は必ずしも必須ではない。すなわち、合成焦点面を定めた後、合成対象面決定処理の代わりに、合成対象面として分割領域毎のＺスタック画像を構成するレイヤー画像の全てを設定したり、合成焦点面を中心として予め定めた一定範囲のレイヤー画像を一律に設定することでも実現できる。この
方法は前述の画質影響評価指標を用いて合成対象面を選択する方法に比べ、処理枚数が増加する可能性があるが、条件判定による分岐処理を減らし、回路構成の簡素化や安定動作を実現出来るメリットがある。いずれの方法においても合成焦点面を定めることにより、後段の深度合成データ生成性処理Ｓ９０３の計算負荷を低減できるメリットが実現できる。
【００８３】
図１３は合成焦点面・対象面決定処理Ｓ９０２で決定した情報を説明する模式図である。１５０１は合成焦点面、１５０２は合成対象面、１５０３は拡大後の被写界深度を表している。前述の数値と対応づけると、１５０２はｂ＝５（合計１１枚）、１５０３はａ＝１（合計３枚）となっている。
【００８４】
（深度合成データ生成処理Ｓ９０３）
図１４は深度合成データ生成処理Ｓ９０３の内部処理を示すブロック図である。
画像処理装置１１０は、画像取得処理１６０１において、合成焦点面の情報と合成対象面のレイヤー画像のデータを、画像処理装置１１０内のＲＡＭ３０１や記憶装置１１３から取得する。
次に画像処理装置１１０は、画像合成処理１６０２において、合成対象面のレイヤー画像データに対し処理を施し、被写界深度を拡大した画像データを出力する。
【００８５】
画像合成処理１６０２の内部処理として様々な方式を用いることが出来る。例えば、（１）評価値に基づく選択・統合手法、（２）重み付け合成手法、（３）３次元フィルタリング手法などが存在する。本実施例では前記３つの手法を用いる場合に絞って説明するが、それ以外の被写界深度拡大方法を用いた場合も本発明の範疇に含まれるとする。
【００８６】
（１）評価値に基づく選択・統合手法
図１５（ａ）を用いて（１）評価値に基づく選択・統合手法の例について説明する。この手法（１）は、拡大後の被写界深度に対応する仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって合成対象面の各々に対し焦点位置（合成焦点面）からの距離に応じたぼけを付与する手法である。
まずコンボリューション処理Ｓ１７０１では、画像処理装置１１０は、結像特性取得処理Ｓ１００２で求めた結像特性情報、つまり合成焦点面を原点としたときの当該Ｚ位置における被写界深度拡大後の２次元ＰＳＦであるｗｎ（ｘ，ｙ）を取得する。
【００８７】
続いて、画像処理装置１１０は、合成対象面のレイヤー画像ｇｎ（ｘ，ｙ）に対し、前記のｗｎ（ｘ，ｙ）をコンボリューションし、各レイヤー画像に合成焦点面からの距離に応じたぼけを与える。数式で表現すると以下の＜２＞式で表現できる。
【数１】
2015108837.tif 000003
なお、＜２＞式で＊＊はコンボリューション演算を表し、ｎはレイヤー画像の位置を識別するためのインデックスを表す。
これにより、各々のＺ位置に焦点を合わせて撮像された各Ｚ位置のレイヤー画像は、合成焦点面からの距離に応じて、ユーザの設定する被写界深度拡大量に対応するぼけを持つ画像に補正される。
【００８８】
次に評価値計算処理Ｓ１７０２では、画像処理装置１１０は、コンボリューション処理を適用したレイヤー画像のそれぞれに対し、画像評価値を計算する。画像評価値は画像内の鮮鋭度の高い位置、即ち、焦点の合った位置の抽出に適した値であり、合成焦点面・対象面決定処理Ｓ９０２で述べた鮮鋭度評価値が活用できる。画像評価値は、レイヤー画像内の各画素の水平（ＸＹ）位置について計算される。
【００８９】
次に選択処理Ｓ１７０３では、画像処理装置１１０は、合成対象面のレイヤー画像の間で画像評価値を比較し、画像評価値が最も高くなるＺ位置を特定する。画像評価値の比較は画像内の同一のＸＹ位置について行われ、ＸＹ位置毎に画像評価値が最も高くなるＺ位置が選択される。その結果は、ＸＹ位置と選択されたＺ位置との対応を表すＺ位置マップとして出力される。
【００９０】
このとき、各ＸＹ位置において最も鮮鋭度評価値が高いＺ位置を抽出すると、ノイズ等の影響により画像面内でＺ位置が急激に変化し、合成画像の画質を低下させる可能性がある。そこで例えば、Ｚ位置マップに対して空間フィルタ（ノイズ抑制フィルタ）を適用し、Ｚ位置の急激な変化を抑えることが好ましい。ノイズ抑制フィルタとしては、メディアンフィルタやバイラテラルフィルタ等を用いることができる。
【００９１】
次に統合処理Ｓ１７０４では、画像処理装置１１０が、ＸＹ位置毎に、合成対象面のレイヤー画像群からＺ位置マップに記載されたＺ位置の画素値を抽出し、それらを統合した合成画像を生成する。なお、ここでは画素単位で処理を行ったが、所定サイズの画素ブロック単位で同様の処理を行うことで計算量を削減することも可能である。
【００９２】
（２）重み付け合成手法
次に図１５（ｂ）を用いて（２）重み付け合成手法の例について説明する。
手法（２）は、仮想的な光学系の結像特性に基づいて決定される重みを用いて、周波数空間上で合成対象面のレイヤー画像を重み付け加算する手法である。具体的には、合成対象面となる複数のレイヤー画像の各々を２次元離散フーリエ変換し、それらを被写界深度拡大後の焦点距離に応じて重み付け加算した後、２次元離散逆フーリエ変換することで合成画像（深度拡大画像）を生成する。なお、以降の説明では、離散フーリエ変換をＤＦＴ、離散逆フーリエ変換をＩＤＦＴと記載する。
【００９３】
まず、周波数変換処理Ｓ１８０１では、画像処理装置１１０が、各Ｚ位置（ｎ）のレイヤー画像ｇｎ（ｘ，ｙ）に対し、２次元ＤＦＴを行う。その結果、合成対象面の枚数分の２次元ＤＦＴ画像Ｇｎ（ｕ，ｖ）が生成される。
【００９４】
次に、重み付け合成処理Ｓ１８０２では、画像処理装置１１０が、各２次元ＤＦＴ画像Ｇｎ（ｕ，ｖ）に対し、空間周波数成分毎に係数を持つ重み付け関数Ｗｎ（ｕ，ｖ）を掛け算した後、全画像を合計することで合成周波数データＡ（ｕ，ｖ）を生成する。数式で表現すると、下記の＜３＞式のようになる。
【数２】
2015108837.tif 000004
Ｎｓ：合成対象面の画像の枚数
被写界深度の変更はこの空間周波数成分毎に係数を持つ重み付け関数Ｗｎ（ｕ，ｖ）を変更することで実現できる。
【００９５】
一般に焦点位置から離れるほど画像のＭＴＦは低下するため、重み付け関数Ｗｎ（ｕ，ｖ）は合成焦点面からの距離に応じて小さくなるように設定するとよい。重み付け関数Ｗｎ（ｕ，ｖ）には様々な関数が適用できるが、例えば、結像特性取得処理Ｓ１００２で取得した焦点位置からの距離に従って変化する２次元ＯＴＦを用いて重み付け関数Ｗｎ（ｕ，ｖ）を決定することが可能である。
最後に逆周波数変換処理Ｓ１８０３では、画像処理装置１１０は、合成周波数データＡ（ｕ，ｖ）を２次元ＩＤＦＴし、被写界深度を拡大した像ａ（ｘ，ｙ）を得る。
【００９６】
（３）３次元フィルタリング手法
次に図１５（ｃ）を用いて（３）３次元フィルタリング手法の例について説明する。なお、ここで３次元フィルタリング手法と呼ぶ手法は、特許文献２に記載される手法である。
【００９７】
まず本手法では、画像処理装置１１０が、合成対象面の各レイヤー画像ｇｎ（ｘ，ｙ）に座標変換処理Ｓ１９０１を施し、３次元フィルタ処理で被写界深度拡大が可能な形式ｇ（Ｘ，Ｙ，Ｚ）に変換する。なお、本処理はＺ位置により像倍率が変わらない場合には不要で、その場合にはＳ１９０１の処理は省略する。
【００９８】
次に３次元フィルタ計算Ｓ１９０２では、画像処理装置１１０が、被写界深度拡大に必要な３次元フィルタを計算する。結像光学系２０５ａの撮像時の３次元ＯＴＦをＨ（ｕ，ｖ，ｗ），被写界深度を拡大した撮影像の３次元ＯＴＦをＨａ（ｕ，ｖ，ｗ）とすると、３次元フィルタはＨａ（ｕ，ｖ，ｗ）＊Ｈ（ｕ，ｖ，ｗ）−１で計算できる。このフィルタは、レイヤー画像を撮像した結像光学系２０５ａの結像特性によるぼけをキャンセルした上で、仮想的な光学系の結像特性によるぼけを付与する機能をもつフィルタである。
【００９９】
結像光学系２０５ａの撮像時の３次元ＯＴＦであるＨ（ｕ，ｖ，ｗ）に関しては、予め求めた値を画像処理装置１１０内のＲＯＭ３０３や記憶装置１１３に格納しておき、画像合成処理１６０２でその値を読み出して用いる。被写界深度を拡大した撮影像の３次元ＯＴＦであるＨａ（ｕ，ｖ，ｗ）には結像特性取得処理Ｓ１００２で取得した値を設定する。
【０１００】
次に、３次元フィルタ処理Ｓ１９０３では、画像処理装置１１０が、ｇ（Ｘ，Ｙ，Ｚ）に対し、３次元ＤＦＴを実施し、Ｇ（ｕ，ｖ，ｗ）を計算する。その後、３次元フィルタ計算Ｓ１９０２で求めた３次元フィルタＨａ（ｕ，ｖ，ｗ）＊Ｈ（ｕ，ｖ，ｗ）−１と積算し、被写界深度を拡大した３次元ＤＦＴ画像Ａ（ｕ，ｖ，ｗ）を求める。
【数３】
2015108837.tif 000005
【０１０１】
次に、焦点面データ算出処理Ｓ１９０４では、画像処理装置１１０が、原理的には、Ａ（ｕ，ｖ，ｗ）に対し３次元ＩＤＦＴを実施することで、座標変換空間における被写界深度拡大像ａ（Ｘ，Ｙ，Ｚ）を求めることが出来る。
【数４】
2015108837.tif 000006
Ｆ−１｛｝は３次元ＩＤＦＴを示す。
【０１０２】
しかし、上記のように、３次元ＩＤＦＴを変数ｕ，ｖ，ｗ（それぞれＸ，Ｙ，Ｚの周波数変換後の変数）に適用し、その後、合成焦点面（座標変換前ｚ＝ｐ、座標変換後Ｚ＝Ｐ）の画像ａ（Ｘ，Ｙ，Ｐ）を抽出すると演算コストが増加し、計算時間がかかる。
３次元ＤＦＴ（ＩＤＦＴ）は、それぞれの変数ｕ，ｖ，ｗに対し、順次１次元ＤＦＴ（ＩＤＦＴ）を行うことで実現できる。そのため、Ａ（ｕ，ｖ，ｗ）の変数ｗの全要素に１次元ＩＤＦＴを行うのではなく、合成焦点面Ｚ＝Ｐのみの１次元ＩＤＦＴ値を求め、変数ｕ，ｖに対しそれぞれ１次元ＩＤＦＴを実施してａ（Ｘ，Ｙ，Ｐ）を求めることで演算コストを抑えることができる。
【０１０３】
最後に座標変換処理Ｓ１９０５おいて、画像処理装置１１０が合成焦点面の画像データ
に対して座標変換処理を行い、ａ（ｘ，ｙ，ｐ）を求める。なお、Ｓ１９０５においてもＳ１９０１同様、空間変換処理が必要ない場合には本処理は省略できる。
【０１０４】
以上のように深度合成データ生成処理Ｓ９０３で適用可能な３つの手法について述べた。いずれの手法においても、前段の合成焦点面・対象面決定処理Ｓ９０３において合成焦点面および合成対象面を定めることで、演算コストを抑え、計算時間を短縮できることが分かる。
【０１０５】
予め合成焦点面を定めない場合、想定される複数の焦点面に対し、被写界深度拡大処理を行う必要があり、演算コストがかかることが課題である。本実施例の方法では比較的良く標本の内部構造を表している被写界深度の浅い画像データを用いて合成焦点面を予測することにより、被写界深度拡大処理の演算コストを大幅に低減し、撮像装置のスループットや応答速度を高めることが出来る。
【０１０６】
なお、深度合成データ生成処理Ｓ９０３において、（２）および（３）の手法で用いるＤＦＴは計算負荷がかかるため、本計測処理Ｓ４０３と深度拡大処理Ｓ４０４をパイプライン的に処理しても良い。例えば、本計測処理Ｓ４０３において、次のＺ位置の画像データを取得している間に、取得済みの画像データに対して２次元ＤＦＴを実行すると良い。さらに次の分割撮像領域のＺスタック画像取得に移った後、取得済みの分割撮像領域のＺスタック画像に対し、深度拡大処理Ｓ４０４を実行すると良い。上記の並列処理により、深度拡大処理Ｓ４０４の深度合成データ生成処理Ｓ９０３における計算時間を短縮することが出来、応答速度を高めることが出来る。
【０１０７】
本実施例では本計測処理Ｓ４０３でモノクロ撮像する場合について説明したが、カラー撮像する場合について補足する。カラー撮像の場合、合成焦点面および合成対象面はＲＧＢ共通に設定するのが好ましい。例えば、いずれか１つのチャネル（Ｇ）の画像を用いて合成焦点面および合成対象面を決定し、それらをＲＧＢで共通に用いると良い。結像特性情報（ＰＳＦ）はＲＧＢ共通でもＲＧＢ毎に変えても良い。共通に設定する場合には、例えば、いずれか１つのチャネル（Ｇ）のＰＳＦをＲＧＢで共通に用いると良い。結像特性情報（ＰＳＦ）をＲＧＢ毎に変える場合には、深度拡大特性情報取得処理Ｓ９０１でＲＧＢそれぞれの結像特性情報を求め、それらを用いてＲＧＢ毎に深度合成データ生成処理Ｓ９０３を実施する。
【０１０８】
またカラー撮像はＲＧＢ３色に限らない。光源２０１ａが複数波長の光源またはカラーフィルタを備える場合、複数波長での撮像（マルチバンド撮像）が可能となり、ＲＧＢと同様に複数波長毎の深度合成データ生成処理が可能となる。
【０１０９】
本実施例の構成によれば、高い解像度を持つ結像光学系２０５ａを用いて撮像した像をユーザが所望する設定値に応じて被写界深度拡大した像に高速に補正出力することが可能となり、ユーザ（病理医）の標本の診断効率を高められる効果が実現できる。
【０１１０】
［実施例２］
本実施例では、本計測処理Ｓ４０３における分割撮像領域間で合成焦点面のＺ位置が大きく異なる場合の被写界深度の拡大方法について述べる。本実施例で述べる構成により、プレパラートのうねりや凹凸、標本内の組織や細胞の分布位置のばらつきが大きい場合であっても、合焦位置では焦点ぼけの無い明瞭な像を生成してユーザ（病理医）の診断効率を高められる効果が実現できる。
【０１１１】
図１６（ａ）は本実施例における深度拡大処理Ｓ４０４の内部処理フローを示す。
深度拡大特性情報取得処理Ｓ２００１では、画像処理装置１１０は、Ｓ９０１と同様の
方法で深度拡大処理後の被写界深度および結像特性情報を取得する。これらの処理は既に述べた為、詳細は省略する。
【０１１２】
続いて領域内サブ分割処理Ｓ２００２では、画像処理装置１１０は、本計測処理Ｓ４０３で定めた分割撮像領域に対し、さらに領域内のサブ分割処理を行う。
続いてＳ２００３では、画像処理装置１１０が、Ｓ２００２で作成された複数のサブ分割領域の中から最初の処理対象となるサブ分割領域を選ぶ。画像処理装置１１０は、処理対象のサブ分割領域に対し、合成焦点面と合成対象面を決定し（Ｓ２００４）、被写界深度を拡大した深度合成データを生成する（Ｓ２００５）。合成焦点面・対象面決定処理Ｓ２００４および深度合成データ生成処理Ｓ２００５の処理は実施例１のＳ９０２およびＳ９０３と同様のため、説明は省略する。ループ処理（Ｓ２００６，Ｓ２００７）により、領域内サブ分割処理Ｓ２００２で定めた全てのサブ分割領域に対し、Ｓ２００４とＳ２００５の処理が実行される。
【０１１３】
続いて図１６（ｂ）、図１７（ａ）および図１７（ｂ）を用いて領域内サブ分割処理Ｓ２００２の詳細を説明する。
初期分割処理Ｓ２１０１では、画像処理装置１１０は予め定めた所定の領域サイズで領域内のサブ分割を行う。例えば、本計測撮像領域５０４の画素数を２０４８×２０４８画素とし、サブ分割領域サイズは５１２×５１２画素とすると、この処理により１６のサブ分割領域に分割できる。
【０１１４】
続いて、画像評価値計算処理Ｓ２１０２では、画像処理装置１１０は、各レイヤー画像の各サブ分割領域（１６個）に対する画像評価値を計算する。続いて、画像評価積分値計算処理Ｓ２１０３では、画像処理装置１１０は、Ｓ２１０２で求めた画像評価値から、各サブ分割領域のＺ位置毎に画像評価積分値を計算する。続いて、合成焦点面決定処理Ｓ２１０４では、画像処理装置１１０は、サブ分割領域毎に画像評価積分値が最大となるＺ位置を求め、これを被写界深度拡大後の焦点面である合成焦点面に決定する。Ｓ２１０２、Ｓ２１０３、Ｓ２１０４の処理は、それぞれ、実施例１で述べた図９（ｃ）のＳ１１０１、Ｓ１１０２、Ｓ１１０３の処理に対応している。
【０１１５】
続いて、隣接領域差計算処理Ｓ２１０５では、画像処理装置１１０は、隣接するサブ分割領域の合成焦点面のＺ位置の差を計算する。続いて、閾値判定Ｓ２１０６では、画像処理装置１１０は、全てのサブ分割領域において隣接する合成焦点面のＺ位置の差が閾値未満ならば、領域分割処理を終了する。一つでもＺ位置の差が閾値以上であれば再分割処理Ｓ２１０７に進み、さらに細かな分割領域サイズ（例えば、５１２×５１２画素の半分の２５６×２５６画素）で分割し、画像評価値計算処理Ｓ２１０２からの処理を続行する。
【０１１６】
なお、閾値判定Ｓ２１０６で用いる閾値の一例としては、深度拡大処理後の被写界深度がある。被写界深度を拡大した後でもサブ分割領域間で合成焦点面の差が被写界深度内に収まっていれば、サブ領域間の繋ぎ目を目立たなくできる。または閾値として事前に設定した一定の距離値を用いることも可能である。
【０１１７】
再分割処理Ｓ２１０７において新たに適用するサブ分割領域サイズとして様々な値が設定可能であるが、一例として現在の分割領域サイズの半分とする。例えば、５１２×５１２画素の分割で閾値以上と判定された場合、２５６×２５６画素で再分割する。その後、１２８×１２８画素、６４×６４画素、３２×３２画素、・・・のように、隣接するサブ分割領域間での合成焦点面のＺ位置の差が閾値未満となるまで再分割が繰り返される。
【０１１８】
図１７（ａ）および図１７（ｂ）は領域内サブ分割処理Ｓ２００２でのサブ分割処理を説明する１次元の模式図である。図１７（ａ）の領域１、２はそれぞれ初期分割処理Ｓ２
１０１で本計測撮像領域５０４を分割したサブ分割領域を示している。また点線２２は、標本内の物体（組織や細胞）の分布を模式的に示している。図１７（ａ）において領域１、２の隣接する合成焦点面の差はａとなり、差ａは被写界深度拡大後の被写界深度ｔよりも大きい。このｔを閾値とした場合、領域１、２はそれぞれ図１７（ｂ）に示すように半分のサブ分割領域に再分割される。領域１、２を再分割した領域１−１、１−２、２−１、２−２において隣接する合成焦点面の差はそれぞれａ１、ａ２、ａ３となり、いずれも閾値である被写界深度ｔ未満に収まっている。
【０１１９】
本実施例では１つの分割撮像領域の中を再分割する方法について説明したが、隣接する分割撮像領域の間で合成焦点面の差が閾値ｔ以上となる場合も想定される。そこで、領域内サブ分割処理Ｓ２００２内で隣接する分割撮像領域の合成焦点面の差を計算し、閾値ｔ以上ならば、それらの分割撮像領域を再分割する処理を追加すると良い。
【０１２０】
本実施例によれば、領域内サブ分割処理Ｓ２００２を導入することにより、プレパラートのうねりや凹凸、標本内の組織や細胞の分布位置のばらつきにかかわらず、標本の全域で焦点が合い、かつ、繋ぎ目が滑らかな被写界深度拡大像を生成することが出来る。
【０１２１】
［実施例３］
本実施例では深度拡大設定Ｓ４０１において、複数の被写界深度に対応する深度拡大原情報を指定可能とし、複数の被写界深度拡大像を生成する処理について述べる。被写界深度が異なる複数枚の被写界深度拡大像を生成することにより、光学顕微鏡を操作して得られる画像を一度に生成でき、バーチャルスライドを用いたユーザの診断効率を高める効果が実現できる。
【０１２２】
図９（ａ）を用いて処理の流れを説明する。まず、深度拡大特性情報取得処理Ｓ９０１において、画像処理装置１１０が、深度拡大設定Ｓ４０１において設定した深度拡大原情報から複数の被写界深度と結像特性情報を取得する。次に合成焦点面・対象面決定処理Ｓ９０２では、画像処理装置１１０が、深度拡大原情報毎に合成焦点面と合成対象面を設定する。次に深度合成データ生成処理Ｓ９０３では、画像処理装置１１０が、Ｓ９０１で求めた複数の被写界深度と結像特性情報を用いて、複数の被写界深度拡大画像を生成する。Ｓ９０１〜９０３のいずれの処理も複数の深度拡大原情報毎に計算する以外には実施例１、２との違いはないため、説明は省略する。
【０１２３】
次に上記で生成した画像データについて説明する。
図１８（ａ）は、対物レンズ倍率４０倍で撮影したＺスタック画像から、対物レンズ倍率４０倍、２０倍、１０倍、５倍に対応する被写界深度の画像を同一の画像サイズで計算した例を示している。２３０１、２３０２、２３０３、２３０４はそれぞれ対物レンズ４０倍、２０倍、１０倍、５倍に対応する被写界深度を持つ画像を表す。４０倍の画像データ２３０１については、被写界深度拡大処理は必要なく、合成焦点面の位置のレイヤー画像がそのまま利用される。このように画像サイズを同一にした、被写界深度を変えた複数枚の画像は、光学顕微鏡の操作において開口絞りを切替えて得られる画像に近く、ぼけの情報によってユーザに標本の奥行き情報を提示する効果がある。
【０１２４】
図１８（ｂ）は対物レンズ倍率４０倍で撮影したＺスタック画像から、対物レンズ倍率４０倍、２０倍、１０倍、５倍に対応する被写界深度の画像を、対物レンズ倍率に応じて縮小して計算した場合の例を示している。２３１１、２３１２、２３１３、２３１４はそれぞれ対物レンズ４０倍、２０倍、１０倍、５倍に対応する被写界深度を持つ画像を表す。図に示すように２３１２、２３１３、２３１４の画像の一辺はそれぞれ２３１１の画像の一辺の１／２、１／４、１／８となっている。
【０１２５】
図１８（ｂ）のように画像サイズを撮影時の対物レンズ倍率との比に応じて縮小することでディスプレイ１１２で画像を画面全面に表示したときに広い視野を表示できるようになる。従って、対物レンズ倍率に応じて画像サイズを縮小したデータをファイル内に階層的に格納することで、データ容量を抑えて、光学顕微鏡の低倍観察像（被写界深度が深く視野が広い）と高倍観察像（被写界深度が浅く視野が狭い）を高速に表示できるようになる。
【０１２６】
図１８（ｂ）で示した画像サイズの縮小は、深度合成データ生成処理Ｓ９０３で実現する。このとき、画像サイズの縮小処理のタイミングは複数存在する。単純な実装では、図１４の画像合成処理Ｓ１６０２の後に対物レンズ倍率に応じた縮小処理（不図示）を挿入することで実現できる。
【０１２７】
しかし、画像合成処理Ｓ１６０２において、計算負荷の大きい処理の前に縮小することで計算速度を高めることも可能である。例えば、深度合成データ生成処理Ｓ９０３の内部処理として（１）評価値に基づく選択・統合手法を用いる場合、対物レンズ倍率に応じて、レイヤー画像や２次元ＰＳＦを縮小してから処理するとコンボリューションの演算コストを低減できる。
【０１２８】
また（２）重み付け合成手法を用いる場合や（３）３次元フィルタリング手法を用いる場合には、周波数領域上で原点を中心とした縮小した画像サイズに相当する低周波成分領域のみを処理対象とし、その処理対象領域のみ逆変換を行うと良い。これにより、逆フーリエ変換の計算負荷を低減して縮小した合成画像が得られる。（２）を例に説明すると、撮像時の対物レンズ倍率と被写界深度拡大後の対物レンズ倍率の比が１／Ｎとすると、合成周波数データＡ（ｕ，ｖ）の内、原点を中心として画像サイズが１／Ｎの範囲の周波数データを取得し、その成分のみを逆フーリエ変換すると良い。（３）においても３次元フーリエ変換像のうち、逆フーリエ変換するＵＶ平面の範囲は原点を中心として画像サイズが１／Ｎの範囲の周波数データで良い。
【０１２９】
また、本実施例では、複数の対物レンズ倍率や開口絞りにおいて、共通の合成焦点面になるように設定することも可能である。合成焦点面を共通にすることにより、複数の被写界深度拡大像を画面上で切り替えて表示したときに、光学顕微鏡の対物レンズ倍率や開口絞りを調整した場合と同じような視覚効果が得られるという利点がある。
【０１３０】
簡単な方法としては、最も被写界深度が浅い場合における合成焦点面を共通の焦点面として用いるとよい。別の方法としては、対物レンズ倍率毎に求めた画像評価積分値に対し、ウェイトを掛けて合計した値を新たな画像評価積分値とし、そこから合成焦点面を定めるとよい。対物レンズ倍率が４０倍、２０倍、１０倍、５倍における画像評価積分値をそれぞれＥａ（ｚ）、Ｅｂ（ｚ）、Ｅｃ（ｚ）、Ｅｄ（ｚ）とする。このとき、下記の＜６＞式に示す新たな画像評価積分値ｆ（ｚ）を用いて、倍率にかかわらず合成焦点面を一つに定めることが出来る。
【数５】
2015108837.tif 000007
（Ｗａ、Ｗｂ、Ｗｃ、Ｗｄは重み係数）
＜６＞式では、重視する倍率の重み係数を大きくすることで、合成焦点面の位置を制御出来る。
【０１３１】
以上、本実施例の構成によれば、Ｚスタック画像から被写界深度を変えた複数の画像を生成し、ファイルに格納することにより、画像処理装置１１０上で光学顕微鏡に近い操作性を提供でき、ユーザ（病理医）の診断効率を高める効果が実現できる。
【０１３２】
［実施例４］
実施例１〜３では一つの被写界深度に対して一つの合成焦点面を設定する場合について説明したが、本実施例では、一つの被写界深度に対し、複数の合成焦点面を設定し、被写界深度を拡大したＺスタック画像を生成する場合について説明する。
【０１３３】
図９（ａ）を用いて処理の流れを説明する。まず、深度拡大特性情報取得処理Ｓ９０１において、画像処理装置１１０は、深度拡大設定Ｓ４０１において設定した深度拡大原情報から被写界深度と結像特性情報を取得する。次に合成焦点面・対象面決定処理Ｓ９０２では、画像処理装置１１０は、実施例１と同様の手法で合成焦点面と合成対象面を決定する。本実施例では、事前にユーザが指定するＺスタック枚数から、複数の合成焦点面と合成対象面を決定していく。なお、Ｚスタック枚数は深度拡大設定Ｓ４０１で設定する。
【０１３４】
図９（ｃ）を用いて本実施例における合成焦点面・対象面決定処理Ｓ９０２の内部処理を説明する。画像評価値計算処理Ｓ１１０１、画像評価積分値計算処理Ｓ１１０２については実施例１と同様のため、説明を省略する。
【０１３５】
合成焦点面決定処理Ｓ１１０３では、画像処理装置１１０が、実施例１と同じ方法で合成焦点面を決定し、これを第１の合成焦点面とする。次に、画像処理装置１１０は、深度拡大設定Ｓ４０１で設定したＺスタック枚数に従い、複数の合成焦点面を決定していく。
【０１３６】
例えば、ユーザから「ｍ［μｍ］間隔でＺスタック枚数３枚」と指定された場合、画像処理装置１１０は、第１の合成焦点面を中心として、Ｚ方向の上下にｍ［μｍ］離れた第２、第３の合成焦点面を設定する。なお、指定された位置にレイヤー画像が存在しない場合には、指定された位置に最も近いレイヤー画像のＺ位置に合成焦点面を設定する。また深度拡大設定Ｓ４０１での設定により、Ｚスタック間隔には被写界深度拡大後の被写界深度距離を設定することも可能である。このとき被写界深度の値として深度拡大特性情報取得処理Ｓ９０１で求めた値を用いる。
【０１３７】
次に合成対象面決定処理Ｓ１１０４では、画像処理装置１１０が、前段で定めた複数の合成焦点面に対して、それぞれ合成対象面を設定する。合成対象面はそれぞれの合成焦点面に対し、個別に求める。なお、合成対象面の求め方は実施例１と同様のため、説明は省略する。
【０１３８】
上記のように、合成焦点面・対象面決定処理Ｓ９０２で定めた複数の合成焦点面の情報および合成対象面のデータを用いて、深度合成データ生成処理Ｓ９０３では、被写界深度を拡大した複数の画像データを生成し、これらをＺスタック画像として出力する。ここでは各々の合成焦点面および合成対象面からの被写界深度拡大処理を複数実行する。個々の処理については実施例１と同様のため、説明は省略する。
以上、一つの被写界深度に対して、被写界深度を拡大した複数の画像データ（Ｚスタック）を生成する方法について述べた。
【０１３９】
本実施例においても、実施例１と同様に、事前に合成焦点面、合成対象面を定めることにより、深度合成データ生成処理Ｓ９０３における演算コストを抑制することで撮像装置のスループットや応答速度を高めることが出来る。また、本実施例を実施例２、３と組合せることで、従来のバーチャルスライドの機能を強化できる。実施例２との組合せにより、検体の注目箇所でピンぼけが無く、さらにＺスタック画像により奥行きまで観察できる。また、実施例３との組合せにより、被写界深度を変えながらの観察が可能となる。
【０１４０】
［実施例５］
実施例１〜４では、深度拡大処理Ｓ４０４を現像・補正処理Ｓ４０５の前段で行う場合について説明したが、深度拡大処理Ｓ４０４は本計測処理Ｓ４０３の直後ではなく伝送処理Ｓ４０８の後で実施しても良い。例えば、本計測ユニット１０１で撮像し、現像・補正処理や合成処理、圧縮処理を施した画像データを画像処理装置１１０上の画像表示アプリケーションで表示しているとする。実施例１〜４で述べた被写界深度拡大処理を、前記の画像表示アプリケーション上で高速に実行することで、被写界深度拡大像の対話的な表示が可能となり、光学顕微鏡の観察に近い操作性が実現でき、ユーザ（病理医）の診断効率を高める効果が期待できる。
【符号の説明】
【０１４１】
１１０：画像処理装置、１１１：操作入力デバイス、１１２：ディスプレイ、１１３：記憶装置、１２０：撮像装置、２０４：プレパラート
【図１】
2015108837.tif 000008
【図２】
2015108837.tif 000009
【図３】
2015108837.tif 000010
【図４】
2015108837.tif 000011
【図５】
2015108837.tif 000012
【図６】
2015108837.tif 000013
【図７】
2015108837.tif 000014
【図８】
2015108837.tif 000015
【図９】
2015108837.tif 000016
【図１０】
2015108837.tif 000017
【図１１】
2015108837.tif 000018
【図１２】
2015108837.tif 000019
【図１３】
2015108837.tif 000020
【図１４】
2015108837.tif 000021
【図１５】
2015108837.tif 000022
【図１６】
2015108837.tif 000023
【図１７】
2015108837.tif 000024
【図１８】
2015108837.tif 000025
【手続補正書】
【提出日】平成27年1月7日(2015.1.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プレパラートの複数のレイヤーを撮像装置で撮像することにより得られた複数のレイヤー画像のデータから、前記複数のレイヤー画像のそれぞれよりも被写界深度が深い合成画像のデータを生成する画像処理装置であって、
前記合成画像のデータの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、
前記指定された被写界深度に基づいて、前記合成画像のデータの焦点位置に相当する合成焦点面を決定する決定手段と、
前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、前記合成画像のデータを生成する生成手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記撮像装置は、バーチャル・スライド・スキャナである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記合成焦点面を中心とする前記被写界深度内に物体が最も多く含まれるように、前記合成焦点面の位置を決定する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記複数のレイヤー画像のデータの各々について、画像内に焦点が合った領域がどの程度存在するかを表す画像評価値を計算し、
複数の焦点位置のそれぞれについて、前記焦点位置を中心とする前記被写界深度内でレイヤー画像のデータの画像評価値を積分した画像評価積分値を計算し、
前記画像評価積分値が最も良い値となる焦点位置を前記合成焦点面の位置に決定する
ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理装置。
【請求項５】
前記決定手段で決定された合成焦点面を基準として複数の合成焦点面を設定し、前記複数の合成焦点面のそれぞれに対応する合成画像のデータが生成される
ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記被写界深度を指定する情報は、対物レンズ倍率、開口絞り、又はその両方を指定する情報である
ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、
前記仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって、前記レイヤー画像のデータの各々に対し焦点位置からの距離に応じたぼけを付与した後、
ぼけを付与したレイヤー画像のデータを合成して前記合成画像のデータを生成する
ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記仮想的な光学系の結像特性に基づいて決定される重みを用いて、周波数空間上で前記レイヤー画像のデータを重み付け加算することにより、前記合成画像のデータを生成する
ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、
前記複数のレイヤー画像のデータを撮像した前記撮像装置の光学系の結像特性によるぼけをキャンセルし、且つ、前記仮想的な光学系の結像特性によるぼけを付与するフィルタを用いて、周波数空間上で前記レイヤー画像のデータに対し前記フィルタを適用することにより、前記合成画像のデータを生成する
ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
【請求項１０】
前記結像特性は、ＰＳＦまたはＯＴＦである
ことを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。
【請求項１１】
前記プレパラートを複数の領域に分割することで得られる複数の分割領域毎に前記複数のレイヤー画像のデータが取得され、前記分割領域毎に合成画像のデータが生成される
ことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像処理装置。
【請求項１２】
プレパラートの複数のレイヤーを撮像装置で撮像することにより得られた複数のレイヤー画像のデータから、前記複数のレイヤー画像のそれぞれよりも被写界深度が深い合成画像のデータを生成する画像処理方法であって、
コンピュータが、前記合成画像のデータの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、
コンピュータが、前記指定された被写界深度に基づいて、前記合成画像のデータの焦点位置に相当する合成焦点面を決定する決定ステップと、
コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記合成画像のデータを生成する生成ステップと、を有する
ことを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の各ステップをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明に係る画像処理装置は、プレパラートの複数のレイヤーを撮像装置で撮像することにより得られた複数のレイヤー画像のデータから、前記複数のレイヤー画像のそれぞれよりも被写界深度が深い合成画像のデータを生成する画像処理装置であって、前記合成画像のデータの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、前記指定された被写界深度に基づいて、前記合成画像のデータの焦点位置に相当する合成焦点面を決定する決定手段と、前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、前記合成画像のデータを生成する生成手段と、を有することを特徴とする画像処理装置である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明に係る画像処理方法は、プレパラートの複数のレイヤーを撮像装置で撮像することにより得られた複数のレイヤー画像のデータから、前記複数のレイヤー画像のそれぞれよりも被写界深度が深い合成画像のデータを生成する画像処理方法であって、コンピュータが、前記合成画像のデータの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、コンピュータが、前記指定された被写界深度に基づいて、前記合成画像のデータの焦点位置に相当する合成焦点面を決定する決定ステップと、コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記合成画像のデータを生成する生成ステップと、を有することを特徴とする画像処理方法である。