(57)【特許請求の範囲】
【請求項１】
同一被写体に対し異なる焦点位置で撮像された複数の画像を取得する画像取得部と、
前記画像の各画素に対し複数の前記画像に基づき３次元形状の候補値を推定する候補値推定部と、
複数の前記画像の各画素に対し、複数の周波数帯域ごとに、前記画像が含む帯域の帯域評価値を算出する帯域特性評価部と、
前記帯域評価値の統計情報に基づいて前記画素の有効周波数を決定する有効周波数決定部と、
前記有効周波数に基づいて、前記候補値に対してデータ補正とデータ補間とのうち少なくとも一方を行い、前記被写体の３次元形状を表す修正候補値を算出する候補値修正部と、
を具備し、
前記候補値修正部は、前記候補値が表す局所領域の値の相関を用いて前記修正候補値を算出する修正候補値算出部を含み、
前記局所領域の面積は、前記有効周波数に応じて決定される
ことを特徴とする画像処理システム。
【請求項２】
前記データ補正は、前記候補値が表す局所領域の値の相関を用いて小振幅信号と判断される変動成分を抑制することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記相関は、離れた２点の値の相関である第１の相関と、距離による相関である第２の相関とを含み、
前記第１の相関と前記第２の相関とは、前記有効周波数に応じて決定される、
ことを特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記修正候補値算出部は、前記第１の相関と前記第２の相関とを含むバイラテラルフィルタを用いて前記修正候補値を算出することを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記相関は、確率密度関数に基づくことを特徴とする請求項３に記載の画像処理システム。
【請求項６】
前記データ補正は、前記候補値に含まれる孤立変動成分を抑制することを含むことを特徴とする請求項１に記載の画像処理システム。
【請求項７】
前記データ補間は、距離による相関を用いて、前記候補値のうち決定できなかった値を補間することを含むことを特徴とする請求項１乃至６のうち何れか１項に記載の画像処理システム。
【請求項８】
前記修正候補値と前記複数の画像とに基づいて、全焦点画像を作成する全焦点画像作成部をさらに具備することを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理システム。
【請求項９】
前記修正候補値と前記複数の画像とに基づいて、３次元再構成画像を作成する３次元再構成画像作成部をさらに具備することを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理システム。
【請求項１０】
前記面積は、前記有効周波数が低いほど広くなるように決定されることを特徴とする請求項１に記載の画像処理システム。
【請求項１１】
前記距離による相関は、前記有効周波数が低いほど広い領域の値の重みが高くなるように決定されることを特徴とする請求項７に記載の画像処理システム。
【請求項１２】
顕微鏡光学系と、
前記顕微鏡光学系を介した標本の像を標本画像として取得する撮像部と、
前記標本画像を前記画像として取得する請求項１乃至１１のうち何れか１項に記載の画像処理システムと、
を備えることを特徴とする顕微鏡システム。
【請求項１３】
前記顕微鏡光学系は、変倍光学系を含むことを特徴とする請求項１２に記載の顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム及びそれを備えた顕微鏡システムに関する。
【背景技術】
【０００２】
一般に、画像の帯域コントラストに基づいて、合焦を評価する方法が知られている。コントラストに基づく合焦評価は、オートフォーカス機能等の他、例えば被写体の奥行情報の取得にも用いられる。奥行情報は、例えば、被写体を複数の焦点位置で撮像した後に、各位置について合焦している画像を、この複数の画像から選択することで取得される。また、奥行情報は、被写体像を複数の焦点位置で撮像した後に、被写体の各位置について合焦している画像をこの複数の画像から選択し、それら合焦している画像を合成して全焦点画像や３次元再構築画像を作成する場合に用いられる。
【０００３】
全焦点画像や３次元再構成画像の作成において、画像中の各位置に対し焦点面が異なる複数の画像から最も合焦している画像を選択して被写体の３次元形状を推定した後に、この３次元形状の推定値に対して最適化処理が必要となる。この最適化処理には、画素間の相関に基づき孤立点の推定誤差を低減することが含まれ得る。また、上記の選択ができなかった位置について、標本の形状を推定することが含まれ得る。
【０００４】
例えば特許文献１には、全焦点画像を作成する顕微鏡システムに係る技術が開示されている。特許文献１には、全焦点画像を作成した後に回復フィルタによる処理を行うことが開示されている。一般に画像は、その画像の取得に用いられた光学系、倍率、被写体の特性等によって、異なる周波数帯域を有する。特許文献１に開示されている技術では、回復フィルタの係数は、光学系の帯域変化を考慮して対物レンズの倍率や開口数といった光学系の設定に応じて決められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２９８６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記特許文献１に係る技術では、回復フィルタによる処理を行うことで、構造の回復及びエッジの強調が行われる。これは、上記したような標本の３次元形状の推定値に対する最適化処理とは異なる。上記したような最適化処理においても、画像が有する周波数帯域を考慮しないと、最適化処理に誤差が含まれ得る。
【０００７】
そこで本発明は、画像の周波数帯域を考慮して被写体の３次元形状の推定値に対する最適化処理を行える画像処理システム及びそれを備えた顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を果たすため、本発明の一態様によれば、画像処理システムは、同一被写体に対し異なる焦点位置で撮像された複数の画像を取得する画像取得部と、前記画像の各画素に対し複数の前記画像に基づき３次元形状の候補値を推定する候補値推定部と、複数の前記画像の各画素に対し、複数の周波数帯域ごとに、前記画像が含む帯域の帯域評価値を算出する帯域特性評価部と、前記帯域評価値の統計情報に基づいて前記画素の有効周波数を決定する有効周波数決定部と、前記有効周波数に基づいて、前記候補値に対してデータ補正とデータ補間とのうち少なくとも一方を行い、前記被写体の３次元形状を表す修正候補値を算出する候補値修正部と、を具備し、前記候補値修正部は、前記候補値が表す局所領域の値の相関を用いて前記修正候補値を算出する修正候補値算出部を含み、前記局所領域の面積は、前記有効周波数に応じて決定されることを特徴とする。
【０００９】
また、本発明の一態様によれば、顕微鏡システムは、顕微鏡光学系と、前記顕微鏡光学系を介した標本の像を標本画像として取得する撮像部と、前記標本画像を前記画像として取得する上記の画像処理システムと、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、帯域評価値の統計情報に基づいて前記画素の有効周波数を決定し、この有効周波数に応じて、３次元形状の候補値に対してデータ補正とデータ補間とのうち少なくとも一方を行うので、画像の周波数帯域を考慮して被写体の３次元形状の推定値に対する最適化処理を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の各実施形態に係る画像処理システムの構成例を示すブロック図。
【図２】各実施形態に係る帯域処理部が有するフィルタバンクの周波数特性の一例を示す図。
【図３】各実施形態に係る帯域処理部が有するフィルタバンクの周波数特性の別の例を示す図。
【図４】第１の実施形態に係る画像処理システムにおける処理の一例を示すフローチャート。
【図５】第１の実施形態に係るノイズ・孤立点除去処理の一例を示すフローチャート。
【図６Ａ】コアリング処理を説明するための図であり、形状候補値に相当する原信号の例を表す図。
【図６Ｂ】コアリング処理を説明するための図であり、移動平均と閾値との例を表す図。
【図６Ｃ】コアリング処理を説明するための図であり、コアリング処理の結果例を表す図。
【図７】第１の実施形態に係る補間処理の一例を示すフローチャート。
【図８】第３の実施形態に係る顕微鏡システムの構成例を示すブロック図。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態に係る画像処理システム１００の構成例の概略を示す。この図に示すように、画像処理システム１００は、画像取得部１１０と、帯域処理部１２０と、帯域特性評価部１３０と、有効周波数決定部１４０と、候補値推定部１５０と、データ修正部１６０と、３Ｄ形状推定部１７０と、画像合成部１８０とを備える。有効周波数決定部１４０は、統計情報算出部１４２と、パラメータ決定部１４４とを有する。候補値推定部１５０は、コントラスト評価部１５２と、形状候補推定部１５４とを有する。データ修正部１６０は、データ補正部１６２とデータ補間部１６４とを有する。
【００１３】
画像取得部１１０は、記憶部１１４を有している。画像取得部１１０は、同一被写体に対し焦点位置を変化させながら撮像された複数の画像を取得し、記憶部１１４に記憶する。ここで、これら画像の各々は、その画像が取得された際の光学系の焦点位置に係る情報、すなわち奥行に係る情報が含まれているものとする。画像取得部１１０は、帯域処理部１２０、形状候補推定部１５４及び画像合成部１８０からの要求に応じてこれら画像を出力する。
【００１４】
帯域処理部１２０は、フィルタバンクを有する。すなわち、帯域処理部１２０は、例えば、第１のフィルタ１２１と、第２のフィルタ１２２と、第３のフィルタ１２３とを有する。第１のフィルタ１２１、第２のフィルタ１２２、及び第３のフィルタ１２３の周波数特性を図２に示す。この図に示すように、これらフィルタはローパスフィルタとなっており、第１のフィルタ１２１、第２のフィルタ１２２、第３のフィルタ１２３の順にカットオフ周波数が高くなっている。すなわち、各フィルタが透過する信号の周波数帯域は異なる。なお、第１のフィルタ１２１、第２のフィルタ１２２、及び第３のフィルタ１２３は、図３にその周波数特性を示すような、バンドパスフィルタでもよい。その他、異なる周波数帯域を透過するように設計された複数のフィルタであればどのようなフィルタが用いられてもよい。また、本実施形態では、帯域処理部１２０が有するフィルタは３つであるとしているが、この数はいくつでもよい。帯域処理部１２０は、画像取得部１１０から画像を取得し、焦点位置が異なる複数の画像の各々に対して、画像の各領域（例えば各画素）について第１のフィルタ１２１、第２のフィルタ１２２、及び第３のフィルタ１２３のそれぞれを用いてフィルタリング処理を行う。以降、画素ごとに処理を行うものとして説明するが、複数の画素からなる領域ごとに処理を行っても同様である。帯域処理部１２０は、フィルタリング処理の結果を帯域特性評価部１３０に出力する。
【００１５】
帯域特性評価部１３０は、フィルタ処理された複数の画像の各画素について帯域評価値を算出する。帯域評価値は、例えば、フィルタごとに通過した信号の積分値を算出することで求められる。このようにして各画像に対し、画素ごと及び周波数帯域ごとに帯域評価値が得られる。帯域特性評価部１３０は、算出した帯域評価値を有効周波数決定部１４０内の統計情報算出部１４２及び候補値推定部１５０内のコントラスト評価部１５２に出力する。
【００１６】
有効周波数決定部１４０内の統計情報算出部１４２は、周波数帯域ごとに、焦点位置が異なる複数の画像の帯域評価値の平均値と関係を有する統計情報値を算出する。この統計情報については後述する。統計情報算出部１４２は、算出した統計情報値をパラメータ決定部１４４に出力する。
【００１７】
有効周波数決定部１４０内のパラメータ決定部１４４は、統計情報算出部１４２から入力された統計情報値に基づいて、有効周波数を算出する。パラメータ決定部１４４は、さらにこの有効周波数に基づいてデータ修正部１６０内のデータ補正部１６２で用いられる補正パラメータと、データ修正部１６０内のデータ補間部１６４で用いられる補間パラメータと、を算出する。補正パラメータ及び補間パラメータの算出については、後述する。パラメータ決定部１４４は、算出した補正パラメータをデータ修正部１６０内のデータ補正部１６２に、補間パラメータをデータ修正部１６０内のデータ補間部１６４にそれぞれ出力する。なお、周波数の決定に関しては、本実施形態に有るようなフィルタバンクでも良いし、ウエーブレット変換の様な直行基底による周波数解析に基づくデータを用いても良い。
【００１８】
候補値推定部１５０内のコントラスト評価部１５２は、帯域特性評価部１３０から入力された帯域評価値に基づいて、複数の画像の各画素について高周波成分の強度を評価し、コントラスト評価値を算出する。コントラスト評価部１５２は、コントラスト評価値の算出にあたり、帯域特性評価部１３０が算出した複数の帯域評価値のうち１つの帯域評価値を用いてもよいし、複数の帯域評価値を用いてもよい。コントラスト評価部１５２は、算出した各画像の各画素に係るコントラスト評価値を形状候補推定部１５４に出力する。
【００１９】
候補値推定部１５０内の形状候補推定部１５４は、コントラスト評価部１５２から入力されたコントラスト評価値に基づいて、複数の画像のそれぞれに対し画像中の各画素の合焦を評価する。さらに、形状候補推定部１５４は、画像中の各画素対し焦点位置が異なる複数の画像のうち最も合焦している画素を選択する。形状候補推定部１５４は、最も合焦している画像が撮像された際の焦点位置に係る情報を画像取得部１１０から取得し、その情報に基づいて画像中の各画素に対応する被写体の奥行を推定し、被写体の３次元形状の候補値としての情報である形状候補値を算出する。コントラスト評価値に基づいて被写体の奥行を推定できなかった画素については、形状候補推定部１５４は、当該画素に対応する形状候補値を、推定不能を表す値とする。形状候補推定部１５４は、算出した形状候補値をデータ修正部１６０内のデータ補正部１６２に出力する。
【００２０】
データ修正部１６０が備えるデータ補正部１６２は、形状候補推定部１５４から入力された形状候補値に対して例えばノイズコアリングを行い、形状候補値のノイズを除去する。データ補正部１６２は、ノイズコアリングを行う際に、後に詳述するように、パラメータ決定部１４４から入力された補正パラメータを用いる。データ補正部１６２は、ノイズが除去された形状候補値であるノイズ除去形状候補値を、データ補間部１６４に出力する。
【００２１】
データ修正部１６０が備えるデータ補間部１６４は、データ補正部１６２から入力されたノイズ除去形状候補値のうち、推定不能を表す値となっている画素について、データの補間を行う。データ補間部１６４は、データを補間する際に、後述するようにパラメータ決定部１４４から入力された補間パラメータを用いる。データ補間部１６４は、ノイズが除去され推定不能な画素の値が補間された形状候補値である補間形状候補値を、３Ｄ形状推定部１７０に出力する。
【００２２】
３Ｄ形状推定部１７０は、データ補間部１６４から入力された補間形状候補値に基づいて、高さ情報の最適化を行い、被写体の３次元形状の推定値を確定する。３Ｄ形状推定部１７０は、確定した被写体の３次元形状を画像合成部１８０に出力する。画像合成部１８０は、３Ｄ形状推定部１７０から入力された被写体の３次元形状と、画像取得部１１０から取得した複数の画像とに基づいて、焦点位置が異なる複数の画像を合成して合成画像を作成する。この合成画像は、例えば３次元再構成画像や、全焦点画像等である。画像合成部１８０は、作成した合成画像を、例えば表示させるために表示部に出力したり、例えば記憶させるために記憶装置に出力する。
【００２３】
本実施形態に係る画像処理システム１００の動作の一例を、図４に示すフローチャートを参照して説明する。画像取得部１１０は、ステップＳ１０１において、同一被写体について焦点位置を変化させながら撮像された複数の画像を取得する。これら画像には、その画像が取得された際の光学系の焦点位置に係る情報等の奥行に係る情報が含まれているものとする。画像取得部１１０は、取得した画像を記憶部１１４に記憶する。
【００２４】
帯域処理部１２０は、ステップＳ１０２において、記憶部１１４に記憶された焦点位置が異なる複数の画像の各画素に対し、例えば第１のフィルタ１２１、第２のフィルタ１２２及び第３のフィルタ１２３のそれぞれを用いてフィルタリング処理を行う。ここで、フィルタの数はいくつでもよいので、以降の説明において帯域処理部１２０は、Ｎ個のフィルタを有しているものとして説明する。帯域処理部１２０は、フィルタリング処理の結果を帯域特性評価部１３０に出力する。
【００２５】
帯域特性評価部１３０は、ステップＳ１０３において、フィルタリング処理された複数の画像の各領域に対し、帯域ごとに帯域評価値を算出する。すなわち、各焦点位置ｈ（ｈ＝１，２，…，Ｈ）について、また、各画素（ｉ，ｊ）（画像の全領域Ａに含まれる各画素（ｉ，ｊ））について、すなわち、データＩ（ｈ，ｉ，ｊ）のそれぞれについて、周波数帯域ｆｎ（ｎ＝１，２，…，Ｎ）ごとに帯域評価値Ｑ（ｈ，ｆｎ，ｉ，ｊ）を算出する。帯域評価値Ｑ（ｈ，ｆｎ，ｉ，ｊ）は、例えばフィルタを通過した信号の積分値として算出され、このフィルタを透過する帯域における振幅に相当する量となる。帯域特性評価部１３０は、帯域評価値Ｑ（ｈ，ｆｎ，ｉ，ｊ）を統計情報算出部１４２及びコントラスト評価部１５２に出力する。
【００２６】
統計情報算出部１４２は、ステップＳ１０４において、周波数帯域ごとに、焦点位置が異なる複数の画像について帯域評価値Ｑ（ｈ，ｆｎ，ｉ，ｊ）の平均値を表す統計情報値を算出する。この統計情報値は、例えば平均値Ｌ（ｆｎ，ｉ，ｊ）として下記式（１）で表される。
【数１】
0005914092.tif 000002
統計情報算出部１４２は、算出した統計情報値をパラメータ決定部１４４に出力する。
【００２７】
パラメータ決定部１４４は、ステップＳ１０５において、有効周波数ｆνを決定する。有効周波数ｆνは、例えば以下のように決定される。平均値Ｌ（ｆｎ，ｉ，ｊ）に係る値が所定の条件を満たすか否かに応じて、変数ＬＮ（ｆｎ，ｉ，ｊ）を１又は０とする。すなわち、変数ＬＮ（ｆｎ，ｉ，ｊ）は例えば下記式（２）で表される。
【数２】
0005914092.tif 000003
ここで、閾値Ｔｈｒは、例えばＮ＝５の場合は０．２といった任意の設計値である。この変数ＬＮ（ｆｎ，ｉ，ｊ）を用いて、有効周波数ｆνを決定する。例えば、低周波数側から計数して、すなわち低周波数側からｎを順に大きくして、下記条件式（３）を満たす最小の周波数ｆｍに対するｆｍ−１を有効周波数ｆνとする。
【数３】
0005914092.tif 000004
すなわち、下記式（４）の条件を満たす最大の周波数を有効周波数ｆνとする。
【数４】
0005914092.tif 000005
なお、上記式（２）及び（３）を用いた処理に限らず、単に閾値Ｔｈｒを超える最大の周波数を有効周波数ｆνとしてもよい。
【００２８】
パラメータ決定部１４４は、ステップＳ１０６において、有効周波数ｆνに基づいて、データ補正部１６２で用いられる補正パラメータｍ，ｎ，ｗ（ｋ，ｌ）と、データ補間部１６４で用いられる補間パラメータσｋ，σｌとを決定する。パラメータ決定部１４４は、例えば有効周波数ｆνと補正パラメータｍ，ｎ，ｗ（ｋ，ｌ）との関係を示すルックアップテーブルを記憶している。パラメータ決定部１４４は、このルックアップテーブルを参照して、有効周波数ｆνに基づいて補正パラメータｍ，ｎ，ｗ（ｋ，ｌ）を決定する。ここで、補正パラメータｍ，ｎは、有効周波数ｆνが低いほど大きな値となる。また、ｗ（ｋ，ｌ）としては、後述の式（７）においてｍ，ｎの値が大きいときに重みが減少しないような関数が与えられる。パラメータ決定部１４４は、決定した補正パラメータｍ，ｎ，ｗ（ｋ，ｌ）をデータ補正部１６２に出力する。
【００２９】
また、距離の次元と周波数の次元（例えば単位距離ごとの周期数）は逆数の関係にあることから、パラメータ決定部１４４は、下記式（５）により、補正パラメータｍ，ｎを求めてもよい。
【数５】
0005914092.tif 000006
ここで、ｉｎｔは整数化処理であり、Ｃ１及びＣ２は任意の係数である。このほかに一般に負の相関を有する関数を使用してもよい。
【００３０】
また、パラメータ決定部１４４は、有効周波数ｆνに基づいて、データ補間部１６４で用いられる補間パラメータσｋ，σｌを決定する。パラメータ決定部１４４は、例えば有効周波数ｆνと補間パラメータσｋ，σｌとの関係を示すルックアップテーブルを記憶している。パラメータ決定部１４４は、このルックアップテーブルを参照して、有効周波数ｆνに基づいて補間パラメータσｋ，σｌを決定する。ここで、補間パラメータσｋ，σｌは、有効周波数ｆνが低いほど大きな値となる。パラメータ決定部１４４は、決定した補間パラメータσｋ，σｌをデータ補間部１６４に出力する。
【００３１】
また、補間パラメータσｋ，σｌは分散を表し、分散は距離の次元を有することから、補正パラメータｍ，ｎの場合と同様に、パラメータ決定部１４４は、下記式（６）により補間パラメータσｋ，σｌを求めてもよい。
【数６】
0005914092.tif 000007
ここで、ｉｎｔは整数化処理であり、Ｃ３及びＣ４は任意の係数である。
【００３２】
コントラスト評価部１５２は、ステップＳ１０７において、帯域特性評価部１３０から帯域評価値Ｑ（ｈ，ｆｎ，ｉ，ｊ）を取得し、複数の画像の各画素について高周波成分の強度を評価し、コントラスト評価値を算出する。コントラスト評価部１５２は、算出した各画像の各画素に係るコントラスト評価値を形状候補推定部１５４に出力する。
【００３３】
形状候補推定部１５４は、ステップＳ１０８において、コントラスト評価部１５２から入力されたコントラスト評価値に基づいて、複数の画像のそれぞれについて画像中の各画素の合焦を評価する。形状候補推定部１５４は、例えばコントラストが高いほど合焦度が高いと評価する。さらに、形状候補推定部１５４は、画像中の各画素について焦点面が異なる複数の画像のうち最も合焦している画像を選択する。形状候補推定部１５４は、最も合焦している画像が撮像された際の焦点位置の情報を画像取得部１１０から取得する。形状候補推定部１５４は、画像取得部１１０から取得した情報に基づいて画像中の各画素に対応する被写体の奥行を推定し、被写体の形状に係る情報である形状候補値Ｐ（ｉ，ｊ）を算出する。形状候補値Ｐ（ｉ，ｊ）は、例えば座標（ｉ，ｊ）における被写体の奥行を表す。コントラスト評価値に基づいて被写体の奥行を推定できなかった場合は、形状候補推定部１５４は、当該画素に対応する形状候補値Ｐ（ｉ，ｊ）を、推定不能を表す値とする。形状候補推定部１５４は、算出した形状候補値Ｐ（ｉ，ｊ）をデータ修正部１６０内のデータ補正部１６２に出力する。
【００３４】
データ補正部１６２は、ステップＳ１０９において、形状候補値Ｐ（ｉ，ｊ）に対してノイズ又は孤立点の除去を行うノイズ・孤立点除去処理を行う。本実施形態では、ノイズ・孤立点除去処理は、コアリング処理によって行われる。ノイズ・孤立点除去処理の例を図５に示すフローチャートを参照して説明する。
【００３５】
ステップＳ２１０において、データ補正部１６２は、形状候補値Ｐ（ｉ，ｊ）を読み込む。本実施形態では、画像のサイズは、横が０からｐまでのｐ＋１画素、縦が０からｑまでのｑ＋１画素であるものとする。ステップＳ２２０において、データ補正部１６２は、補正パラメータｍ，ｎ，ｗ（ｋ，ｌ）を読み込む。
【００３６】
本実施形態では、図５に示すように、ステップＳ２３１乃至ステップＳ２３４において、画像の全画素に対応する形状候補値Ｐ（ｉ，ｊ）について順に以下の処理を行う。ステップＳ２３１において、データ補正部１６２は、（ｉ，ｊ）を含む領域の基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）を下記式（７）に基づいて算出する。
【数７】
0005914092.tif 000008
上記式（７）のとおり、基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）は、この領域における平均値を表す。また、上記式（７）において、パラメータ決定部１４４が決定した補正パラメータｍ，ｎ，ｗ（ｋ，ｌ）が用いられている。すなわち、上記式（７）は、有効周波数ｆνに応じて変化する。
【００３７】
ステップＳ２３２において、データ補正部１６２は、形状候補値Ｐ（ｉ，ｊ）と基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）との差が所定の閾値よりも小さいか否かを判定する。形状候補値Ｐ（ｉ，ｊ）と基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）との差が所定の閾値Ｔｈｒ−１よりも小さいとき、すなわち、「｜Ｐ（ｉ，ｊ）−Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）｜＜Ｔｈｒ−１」の判断が真のとき、処理はステップＳ２３４に進む。なお、ここで閾値Ｔｈｒ−１は、基準値の誤差範囲内に入るか否かの基準等、経験則に基づいて決定される。
【００３８】
一方、形状候補値Ｐ（ｉ，ｊ）と基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）との差が所定の閾値よりも小さくないとき、ステップＳ２３３において、データ補正部１６２は、形状候補値Ｐ（ｉ，ｊ）は孤立点であるか否かを判定する。形状候補値Ｐ（ｉ，ｊ）は孤立点であるとき、処理はステップＳ２３４に進む。
【００３９】
ここで、孤立点であるか否かの判定には、例えば「｜Ｐ（ｉ，ｊ）−Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）｜＞Ｔｈｒ−２」が真であるか否かの判断が用いられる。ここで、Ｔｈｒ−２は所定の複数画素領域における分散値に基づいて設定される閾値である。より具体的には、例えば、分散値がσであった場合、Ｔｈｒ−２は±２σに設定される。
【００４０】
ステップＳ２３４において、データ補正部１６２は、形状候補値Ｐ（ｉ，ｊ）の値を基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）に設定する。これらステップＳ２３１乃至ステップＳ２３４の処理が、全ての画素について行われる。すなわち、本処理は、上記の所定の閾値をΔＴとし、処理後の形状候補値をノイズ除去形状候補値Ｐ´（ｉ，ｊ）としたときに、下記式（８）で表される。
【数８】
0005914092.tif 000009
【００４１】
本実施形態で用いられるコアリング処理の概念を図６Ａ，６Ｂ，６Ｃを参照して説明する。図６Ａは、形状候補値Ｐ（ｉ，ｊ）に相当する原信号を表す。この原信号に対して、上記式（７）で算出される平均値に相当する移動平均が、図６Ｂに一点鎖線で示されている。また、移動平均に対して上記の所定の閾値ΔＴに相当する閾値を加算又は減算した値が図６Ｂに破線で示されている。この場合、上記式（８）で表されるように、図６Ｂにおいて原信号が２本の破線の間に位置する場合には、原信号は、一点鎖線で示された移動平均に置き換えられる。その結果、図６Ｃに示すような結果が得られる。なお、この図において丸印は移動平均に置き換えられた値を示す。このように、コアリング処理は、小振幅信号と判断される変動成分を抑制し、エラーを削除する効果を有する。
【００４２】
データ補正部１６２は、形状候補値Ｐ（ｉ，ｊ）に対して図５を参照して説明したノイズ・孤立点除去処理を施したもの、すなわち、ノイズ除去形状候補値Ｐ´（ｉ，ｊ）を、データ補間部１６４に出力する。
【００４３】
データ補間部１６４は、ステップＳ１１０において、データ補正部１６２から入力されたノイズ除去形状候補値Ｐ´（ｉ，ｊ）について、推定不能を表す値となっているデータについて補間する補間処理を行う。推定不能とは、コントラスト評価部１５２が算出したコントラスト評価値に基づいて形状候補推定部１５４が形状候補値Ｐ（ｉ，ｊ）を算出する際に、形状候補推定部１５４が画像の合焦を特定できなかったことを意味する。すなわち推定不能とは、当該画素について複数の画像のうち何れの画像のコントラスト評価値も、所定の合焦を示す条件に適合しなかったことを表す。
【００４４】
ノイズ除去形状候補値Ｐ´（ｉ，ｊ）について推定不能を表す値の周囲が推定不能でない場合、すなわち、例えば５画素×５画素の領域のうち１画素のみが推定不能である場合には、データ補間部１６４は、当該推定不能のデータについて近隣のデータを用いて補間を行う。この際、データ補間部１６４は、データの補間に例えば双１次補間（ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）や、双３次補間（ｂｉｃｕｂｉｃ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いることができる。
【００４５】
一方、ノイズ除去形状候補値Ｐ´（ｉ，ｊ）について推定不能を表す値が連続して存在する場合には、データ補間部１６４は、近隣のデータとの相関を表す関数に基づいて、推定不能となっているデータの補間を行う。すなわち、推定不能となっている箇所の周辺の分布を仮定することで、当該箇所の値を推定する。本実施形態では、補間にカーネル回帰法が用いられる。この際、データ補間部１６４は、パラメータ決定部１４４から入力された補間パラメータσｋ，σｌを用いる。この補間処理の例を図７に示すフローチャートを参照して説明する。
【００４６】
ステップＳ３１０において、データ補間部１６４は、ノイズ除去形状候補値Ｐ´（ｉ，ｊ）を読み込む。ステップＳ３２０において、データ補間部１６４は、補間パラメータσｋ，σｌを読み込む。続いてデータ補間部１６４は、補間データＲ（ｉ，ｊ）の算出を行う。ここで、補間データＲ（ｉ，ｊ）は、下記式（９）で表される。
【数９】
0005914092.tif 000010
ここで、Ｎはサンプリング数を表し、下記式（１０）で表される。
【数１０】
0005914092.tif 000011
また、Ｃ（ｋ，ｌ）は、下記式（１１）で表される。
【数１１】
0005914092.tif 000012
上記式（１１）に示すようにＣ（ｋ，ｌ）は、補間パラメータσｋ，σｌに応じて決定される。なお、Ｂは変数である。
【００４７】
ステップＳ３３１において、データ補間部１６４は、変数Ｂを更新する。ステップＳ３３２において、データ補間部１６４は、ノイズ除去形状候補値Ｐ´（ｉ，ｊ）に、上記式（９）乃至（１１）に基づいてガウスカーネルを重畳する。ステップＳ３３３において、データ補間部１６４は、ステップＳ３３２で得られた値が例えば下記式（１２）で表される所定の収束条件を満たしているか否かを判定する。
【数１２】
0005914092.tif 000013
ここで、Ｔｈｒは、所定の閾値である。この収束条件を満たしていれば、処理はステップＳ３４０に進む。一方、収束条件を満たしていなければ、所定の回数であるＤ回まで、ステップＳ３３１乃至ステップＳ３３３の処理を繰り返す。すなわち、収束条件を満たすまで、ステップＳ３３１で変数Ｂの値を変更しながら、ステップＳ３３２で各変数Ｂに対する補間データＲ（ｉ，ｊ）を算出し、ステップＳ３３３で算出した補間データＲ（ｉ，ｊ）が収束条件を満たすか否か判定する。
【００４８】
ステップＳ３３３における判定で、補間データＲ（ｉ，ｊ）が収束条件を満たしていると判定されたら、ステップＳ３４０において、データ補間部１６４は、条件を満たした補間データＲ（ｉ，ｊ）に基づいて拡張データを生成する。ステップＳ３５０において、データ補間部１６４は、ノイズ除去形状候補値Ｐ´（ｉ，ｊ）のうち推定不能であったデータに生成した拡張データを割り当てて、補間形状候補値Ｐ´´（ｉ，ｊ）を生成する。データ補間部１６４は、生成した補間形状候補値Ｐ´´（ｉ，ｊ）を３Ｄ形状推定部１７０に出力する。
【００４９】
図４に戻って説明を続ける。３Ｄ形状推定部１７０は、ステップＳ１１１において、データ補間部１６４から入力された補間形状候補値Ｐ´´（ｉ，ｊ）に基づいて、高さ情報の最適化を行い、被写体の３次元形状を推定する。３Ｄ形状推定部１７０は、推定した被写体の３次元形状を画像合成部１８０に出力する。
【００５０】
画像合成部１８０は、ステップＳ１１２において、３Ｄ形状推定部１７０から入力された被写体の３次元形状と、画像取得部１１０から取得した複数の画像とに基づいて、焦点面が異なる複数の画像を合成して合成画像を作成する。例えば合成画像が３次元再構成画像であれば、３次元形状とその３次元形状の各部に係る合焦している画像を合成させた合成画像を作成する。また、例えば合成画像が全焦点画像であれば、各画素についてその高さに相当する焦点面を有する画像から抽出した画像を組み合わせて、全ての画素について合焦している画像を合成する。画像合成部１８０は、作成した合成画像を表示部や記憶装置に出力する。
【００５１】
例えば顕微鏡画像のように、被写界深度が浅い光学系を用いて被写界深度よりも大きな奥行きを有する被写体が撮像された場合、その画像はユーザに認識されにくい。これに対して３次元再構成画像や全焦点画像によれば、被写界深度よりも大きな奥行きを有する被写体の像が、容易にユーザに認識され得る。
【００５２】
このように、例えば画像取得部１１０は、同一被写体に対し異なる焦点位置で撮像された複数の画像を取得する画像取得部として機能する。例えば候補値推定部１５０は、画像の各画素に対し、複数の画像に基づき３次元形状の候補値を推定する候補値推定部として機能する。例えば帯域特性評価部１３０は、複数の画像の各画素に対し、複数の周波数帯域ごとに、画像が含む帯域の帯域評価値を算出する帯域特性評価部として機能する。例えば有効周波数決定部１４０は、帯域評価値の統計情報に基づいて画素の有効周波数を決定する有効周波数決定部として機能する。例えばデータ修正部１６０は、有効周波数に基づいて、候補値に対してデータ補正とデータ補間とのうち少なくとも一方を行い、被写体の３次元形状を表す修正候補値を算出する候補値修正部として機能する。例えばデータ補正部１６２は、候補値修正部は、候補値が表す局所領域の値の相関を用いて修正候補値を算出する修正候補値算出部として機能する。例えば３Ｄ形状推定部１７０は、全焦点画像作成部又は３次元再構成画像作成部として機能する。
【００５３】
本実施形態によれば、データ補正部１６２によるノイズ・孤立点除去処理の結果、画像のノイズ及び推定処理に起因するエラーが効果的に低減させられる。ここで、本実施形態では、ノイズ・孤立点除去処理で用いられる補正パラメータｍ，ｎは、画像における有効周波数ｆνに基づいて決定されている。すなわち、補正パラメータｍ，ｎは有効周波数ｆνが低いほど大きな値となっているので、上記式（７）において、有効周波数ｆνが低いほど広い領域の形状候補値Ｐ（ｉ，ｊ）に基づいて基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）が算出され、有効周波数ｆνが高いほど狭い領域の形状候補値Ｐ（ｉ，ｊ）に基づいて基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）が算出される。つまり、画像の有効周波数ｆνに応じた最適な基準値Ｐａｖｅ（ｉ，ｊ，ｍ，ｎ）が算出されることになる。その結果、画像の有効周波数ｆνを考慮しない場合に比べて、精度よくノイズが低減させられ得る。すなわち、形状候補値Ｐ（ｉ，ｊ）が過度に平滑化されることも無く、ノイズが多い場合でも入力信号が過度に高周波信号であると評価されることも無い。
【００５４】
また、データ補間部１６４における補間処理では、近隣のデータの相関が仮定される際に画像の有効周波数ｆνの情報が用いられる。すなわち、周波数帯域に応じて最適化されたガウスカーネルが生成され、コントラスト評価値に基づいて推定不能であった位置における被写体の奥行の値が推定される。この際、有効周波数ｆνに基づいて補間パラメータσｋ，σｌが与えられるので、これらの値を変化させながら収束値が探索される場合に比べて、計算量が減少するため処理速度が上昇し、かつ、計算結果が誤った値に集束することが防止され得る。ここで、補間パラメータσｋ，σｌは有効周波数ｆνが低いほど大きな値となるので、上記式（９）において、有効周波数ｆνが低いほど広い領域のノイズ除去形状候補値Ｐ´（ｉ，ｊ）に基づいて補間データＲ（ｉ，ｊ）が算出され、有効周波数ｆνが高いほど狭い領域のノイズ除去形状候補値Ｐ´（ｉ，ｊ）に基づいて補間データＲ（ｉ，ｊ）が算出される。すなわち、過度に平滑化されることなく、エッジ構造の評価も適正に行われ、ノイズが多い場合でも入力信号が過度に高周波信号と評価されることも無い。
【００５５】
なお、上記の各式は一例であり、上述の効果が得られれば、これらの式に限定されず、他の式が用いられてももちろんよい。例えば上記式（５）及び（６）に代わり、実数次数の多項式、対数関数、指数関数が用いられ得る。また、上記式（１）の代わりに分散等も用いられ得る。なお、上述の実施形態では、画素ごとに処理が行われているが、複数の画素からなる領域ごとに処理が行われてもよい。
【００５６】
［第１の実施形態の変形例］
第１の実施形態の変形例について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。第１の実施形態におけるデータ補間部１６４による処理では、図５を参照して説明したステップＳ３３１乃至ステップＳ３３３のループ処理において、上記式（１１）におけるσｋ，σｌには補間パラメータσｋ，σｌが設定され、これらの値は変化しない。
【００５７】
これに対して本変形例では、σｋ，σｌもステップＳ３３１において変化させられながら収束値が探索される。このため本変形例では、パラメータ決定部１４４は、補間パラメータσｋ，σｌとして、取り得る範囲又は確率密度関数をデータ補間部１６４に出力する。データ補間部１６４は、ステップＳ３３１乃至ステップＳ３３３のループ処理において、パラメータ決定部１４４から入力された補間パラメータσｋ，σｌとしての取り得る範囲又は確率密度関数に基づいて、σｋ，σｌも変化させながら収束値を探索する。その他の動作は第１の実施形態と同様である。
【００５８】
本変形例によれば、第１の実施形態よりも処理量は増加するが、補間データＲ（ｉ，ｊ）は、第１の実施形態よりも適した収束値に集束し得る。本変形例においてもパラメータ決定部１４４は、有効周波数ｆνに基づいて補間パラメータσｋ，σｌとしての取り得る範囲又は確率密度関数を決定するので、第１の実施形態と同様の効果が得られる。
【００５９】
［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、データ補正部１６２においてノイズ除去のためにバイラテラルフィルタが用いられる。本実施形態で用いられるバイラテラルフィルタを表す式を、下記式（１３）に示す。
【数１３】
0005914092.tif 000014
ここで、Ｃ（ｋ，ｌ）は距離相関を規定する因子であり、Ｓ（Ｐ１−Ｐ２）は異なる画素間における画素レベルの差に起因する相関を規定する因子である。Ｃ（ｋ，ｌ）及びＳ（Ｐ１−Ｐ２）にどのような分布関数を用いるかによって、生成される画像の鮮鋭度、Ｓ／Ｎ比が変化する。
【００６０】
本実施形態では、例えばＣ（ｋ，ｌ）及びＳ（Ｐ１−Ｐ２）にガウス分布に基づく関数が用いられる。すなわち、Ｃ（ｋ，ｌ）を例えば下記式（１４）とする。
【数１４】
0005914092.tif 000015
ここで、σｋ，σｌは補正パラメータであり、Ｃ５は所定の定数である。補正パラメータσｋ，σｌは、第１の実施形態における補間パラメータσｋ，σｌと同じである。また、Ｓ（Ｐ１−Ｐ２）を例えば下記式（１５）とする。
【数１５】
0005914092.tif 000016
ここで、σＰは補正パラメータであり、Ｃ６は所定の定数である。本実施形態では、パラメータ決定部１４４は、補正パラメータσＰをも画像の有効周波数ｆνに基づいてルックアップテーブルを参照して決定する。ここで、補正パラメータσＰは、有効周波数ｆνが低いほど大きな値となる。
【００６１】
また、補正パラメータσpと周波数とは正の相関を有することから、パラメータ決定部１４４は、下記式（１６）に示すようなＭ（Ｍ＞０の整数）次の多項式を用いて補正パラメータσpを求めてもよい。
【数１６】
0005914092.tif 000017
【００６２】
第１実施形態の場合と同様に、画像の有効周波数ｆνの情報が取得されれば、画像が本来持っている鮮鋭度が推定され得る。例えば、有効周波数ｆνが低い場合には、長距離の相関が重視されるように、Ｃ（ｋ，ｌ）が設定され、さらに、近隣のデータで急激な段差が生じないという仮定に基づいてＳ（Ｐ１−Ｐ２）が設定される。このように、例えばＳ（Ｐ１−Ｐ２）は、離れた２点の値の相関である第１の相関として機能する。例えばＣ（ｋ，ｌ）は、距離による相関である第２の相関として機能する。
【００６３】
本実施形態では、近隣データの相関が仮定される際に、画像が本来持っている周波数帯域の情報が用いられる。この近隣データの相関に基づいて、バイラテラルフィルタが設定される。その結果、本実施形態によれば、形状候補値Ｐ（ｉ，ｊ）のノイズ及びエラーが効果的に低減させられたノイズ除去形状候補値Ｐ´（ｉ，ｊ）が取得され得る。
【００６４】
なお、本実施形態においても第１の実施形態の第１の変形例と同様に、補正パラメータσｋ，σｌ，σPを確立密度変数としてもよい。この場合も本実施形態と同様の効果が得られる。
【００６５】
［第２の実施形態の第１の変形例］
第２の実施形態の第１の変形例について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本変形例では、データ補正部１６２においてノイズ除去のためにトリラテラルフィルタが用いられる。本実施形態で用いられるトリラテラルフィルタを表す式を、下記式（１７）に示す。
【数１７】
0005914092.tif 000018
ここで、ＰΔ（ｉ，ｊ，ｋ，ｌ）は、下記式（１８）で表される。
【数１８】
0005914092.tif 000019
また、Ｎ（ｉ，ｊ，ｋ，ｌ）は、下記式（１９）で表される。
【数１９】
0005914092.tif 000020
ここで、Ｕ（ｉ，ｊ）は平滑化した勾配ベクトルを表し、下記式（２０）で表される。
【数２０】
0005914092.tif 000021
ここで、Ｐｆ（ｉ，ｊ，ｋ，ｌ）は、下記式（２１）で表される。
【数２１】
0005914092.tif 000022
ここで、Ｕ（ｉ，ｊ）ｉは勾配の水平成分を表し、Ｕ（ｉ，ｊ）ｊは勾配の垂直成分を表している。
【００６６】
このトリラテラルフィルタは、第２の実施形態で用いられるバイラテラルフィルタを勾配∇Ｐ（ｉ，ｊ）に適用したものである。∇Ｐ（ｉ，ｊ）を導入することにより、インパルスノイズ、すなわち、孤立変動成分を強く抑制することができる。
【００６７】
本変形例でも、第２の実施形態の場合と同様に、画像の有効周波数ｆνに応じて決定されたＣ（ｋ，ｌ）及びＳ（Ｐ１−Ｐ２）が用いられる。その結果、第２の実施形態の場合と同様の効果が得られる。
【００６８】
［第３の実施形態］
本発明の第３の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態は、第１の実施形態に係る画像処理システム１００を備える顕微鏡システム２００である。
【００６９】
本実施形態に係る顕微鏡システム２００の構成例の概略を図８に示す。この図に示すように、顕微鏡システム２００は、顕微鏡２１０と第１の実施形態に係る画像処理システム１００とを有する。顕微鏡２１０は、例えばデジタル顕微鏡である。顕微鏡２１０は、ＬＥＤ光源２１１と、照明光学系２１２と、光路制御素子２１３と、対物レンズ２１４と、図示しないステージ上の標本面２１５と、観察光学系２１８と、撮像面２１９と、撮像部２２０と、コントローラ２２２とを有する。観察光学系２１８は、ズーム光学系２１６と、結像光学系２１７とを有する。観察光路には、標本面２１５から撮像面２１９に向かって、対物レンズ２１４と、光路制御素子２１３と、ズーム光学系２１６と、結像光学系２１７とが、この順に配置されている。
【００７０】
ＬＥＤ光源２１１から射出された照明光は、照明光学系２１２を介して、光路制御素子２１３に入射する。光路制御素子２１３は、照明光を観察光路上の対物レンズ２１４に向けて反射する。照明光は、対物レンズ２１４を介して標本面２１５に配置された標本に照射される。
【００７１】
標本に照明光が照射されると、標本から観察光が生じる。ここで、観察光は反射光や蛍光等である。観察光は、光路制御素子２１３に入射する。光路制御素子２１３は、照明光の場合と異なり、観察光を透過させて、観察光をズーム光学系２１６及び結像光学系２１７を有する観察光学系２１８に入射させる。このように光路制御素子２１３は、入射光の特性に応じて、入射光を反射又は透過させる光学素子である。光路制御素子２１３には、例えば、入射光の偏光方向に応じて入射光を反射又は透過させるワイヤーグリッドや偏光ビームスプリッタ（ＰＢＳ）等の偏光素子が用いられ得る。なお、この光路制御素子２１３は、例えば、入射光の周波数に応じて入射光を反射又は透過させるダイクロイックミラー等を用いても良い。
【００７２】
観察光学系２１８は、観察光を撮像面２１９に集光させ、標本の像を撮像面２１９に結像させる。撮像部２２０は、撮像面２１９に結像した画像に基づく画像信号を生成し、この画像信号を顕微鏡画像として画像取得部１１０に出力する。コントローラ２２２は、顕微鏡２１０の動作を制御する。本実施形態では、顕微鏡２１０は、同一標本について、異なる焦点面において撮像した複数の顕微鏡画像を取得する。このため、コントローラ２２２は、顕微鏡２１０の光学系を制御して焦点面を徐々に変化させながら、各焦点面における標本の画像を撮像部２２０に撮像させる。具体的には、例えばコントローラ２２２は、顕微鏡２１０のステージの高さ、又は、対物レンズの高さの位置を変化させながら、撮像部２２０に撮像させる。コントローラ２２２は、撮像部２２０が撮像した画像と関連付けて、焦点位置に係る情報を画像取得部１１０に出力する。
【００７３】
本実施形態に係る顕微鏡システム２００の動作を説明する。標本は、標本面２１５を有するように図示しないステージ上に配置される。コントローラ２２２は、顕微鏡２１０を制御する。コントローラ２２２は、例えば標本面２１５の位置を光軸方向に徐々に変化させ、標本に対する光学系の焦点位置を徐々に変化させる。具体的には、例えばコントローラ２２２は、顕微鏡２１０のステージの高さ、対物レンズの高さ又はフォーカスレンズの位置を変化させる。このとき、コントローラ２２２は、各焦点位置における標本の顕微鏡画像を撮像部２２０に順次撮像させる。画像取得部１１０は、撮像部２２０から各焦点位置における標本の顕微鏡画像を取得する。また、画像取得部１１０は、コントローラ２２２から各画像が撮像された際の焦点位置を取得する。画像取得部１１０は、取得した顕微鏡画像をその焦点位置と関連付けて記憶部１１４に記憶する。
【００７４】
記憶部１１４に記憶された顕微鏡画像に基づいて、焦点位置が異なる複数の画像を合成して合成画像を作成する処理は、第１の実施形態の処理と同様である。本実施形態では、顕微鏡システム２００は、顕微鏡画像に係る合成画像、例えば３次元再構成画像や全焦点画像を作成する。画像合成部１８０は、作成した合成画像を、例えば、表示させるために表示部に出力したり、記憶させるために記憶装置に出力したりする。３次元再構成画像や全焦点画像によれば、一般の顕微鏡画像のように被写界深度よりも大きな奥行きを有する被写体の像が、容易にユーザに認識され得る。
【００７５】
このように、例えば照明光学系２１２、光路制御素子２１３、対物レンズ２１４、観察光学系２１８等は、顕微鏡光学系として機能する。例えば撮像部２２０は、顕微鏡光学系を介した標本の像を標本画像として取得する撮像部として機能する。
【００７６】
一般に、顕微鏡の光学系は、デジタルカメラの光学系に比べて像の拡大率が大きい。このため、顕微鏡撮影においては、カメラの撮像素子のサンプリング帯域に対して、顕微鏡の光学系の帯域がそれほど高くない場合がある。また、光学系の帯域は、光学系の開口数や倍率等によって変化し得る。例えば顕微鏡がズーム光学系を有する場合にも、その光学系の帯域は変化する。本実施形態によれば、統計情報算出部１４２は画像の周波数帯域が考慮された統計情報値を算出し、パラメータ決定部１４４はこの統計情報値に基づいて補正パラメータ及び補間パラメータを算出する。画像の有効周波数ｆνを考慮しない場合に比べて、精度よくノイズ等が低減させられ、また適切に補間がなされ得る。その結果、顕微鏡システム２００は、精度よく３次元再構築顕微鏡画像や全焦点顕微鏡画像を作成できる。
【００７７】
なお、顕微鏡２１０の光学系にズーム光学系が含まれている場合、ズーム光学系の焦点距離に応じて開口数が変化し顕微鏡画像の帯域が変化するので、本実施形態は特に効果を奏する。上記の実施形態では、画像処理システム１００は第１の実施形態に係るものであるとして説明したが、第２の実施形態やそれらの変形例が用いられてもよい。
【００７８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００７９】
１００…画像処理システム、１１０…画像取得部、１１４…記憶部、１２０…帯域処理部、１２１…第１のフィルタ、１２２…第２のフィルタ、１２３…第３のフィルタ、１３０…帯域特性評価部、１４０…有効周波数決定部、１４２…統計情報算出部、１４４…パラメータ決定部、１５０…候補値推定部、１５２…コントラスト評価部、１５４…形状候補推定部、１６０…データ修正部、１６２…データ補正部、１６４…データ補間部、１７０…３Ｄ形状推定部、１８０…画像合成部、２００…顕微鏡システム、２１０…顕微鏡、２１１…ＬＥＤ光源、２１２…照明光学系、２１３…光路制御素子、２１４…対物レンズ、２１５…標本面、２１６…ズーム光学系、２１７…結像光学系、２１８…観察光学系、２１９…撮像面、２２０…撮像部、２２２…コントローラ。
【図１】
0005914092.tif 000023
【図２】
0005914092.tif 000024
【図３】
0005914092.tif 000025
【図４】
0005914092.tif 000026
【図５】
0005914092.tif 000027
【図６Ａ】
0005914092.tif 000028
【図６Ｂ】
0005914092.tif 000029
【図６Ｃ】
0005914092.tif 000030
【図７】
0005914092.tif 000031
【図８】
0005914092.tif 000032