(57)【特許請求の範囲】
【請求項１】
同一被写体に対し異なる焦点位置で撮像された複数の画像を取得する画像取得部と、
複数の前記画像における所定の領域に対し、複数の周波数帯域ごとに、前記画像が含む帯域の帯域評価値を算出する帯域特性評価部と、
少なくとも２つの前記焦点位置の前記帯域評価値を用いて統計情報を少なくとも前記周波数帯域ごとに算出する統計情報算出部と、
前記統計情報に基づいて、前記帯域評価値に対する荷重係数を少なくとも前記周波数帯域ごとに算出する荷重係数算出部と、
前記帯域評価値と前記荷重係数とに基づいて、複数の前記画像における前記領域ごとにコントラスト評価値を算出するコントラスト評価部と、
前記コントラスト評価値に基づいて、複数の前記画像の各々の前記領域のうち合焦している前記領域を選択する合焦評価部と、
を具備することを特徴とする画像処理システム。
【請求項２】
前記帯域評価値は、各々の前記周波数帯域における振幅に相当する量であることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記統計情報算出部は、さらに前記領域ごとに前記統計情報を算出し、
前記荷重係数算出部は、さらに前記領域ごとに前記荷重係数を算出し、
コントラスト評価部は、前記領域ごとの前記帯域評価値と前記領域ごとの前記荷重係数とに基づいて、前記コントラスト評価値を算出する、
ことを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記統計情報は、前記焦点位置が異なる複数の前記画像の各々の対応する前記帯域評価値の平均値であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理システム。
【請求項５】
前記統計情報は、前記焦点位置が異なる複数の前記画像の各々の対応する前記帯域評価値の平均値を、少なくとも１つの前記周波数帯域についての前記平均値の和で除算した相対値であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理システム。
【請求項６】
前記統計情報は、前記焦点位置が異なる複数の前記画像の各々の対応する前記帯域評価値の平均値を、全ての前記周波数帯域についての前記平均値の和で除算した相対値であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理システム。
【請求項７】
前記統計情報は、前記焦点位置が異なる複数の前記画像の各々の対応する前記帯域評価値の変動量であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理システム。
【請求項８】
前記統計情報は、前記焦点位置が異なる複数の前記画像の各々の対応する前記帯域評価値の変動量を、少なくとも１つの前記周波数帯域についての前記変動量の和で除算した相対値であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理システム。
【請求項９】
前記統計情報は、前記焦点位置が異なる複数の前記画像の各々の対応する前記帯域評価値の変動量を、全ての前記周波数帯域についての前記変動量の和で除算した相対値であることを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理システム。
【請求項１０】
前記合焦評価部によって選択された合焦している前記領域の各々に対応する前記画像に基づいて、全焦点画像を作成する全焦点画像作成部をさらに具備することを特徴とする請求項１乃至９のうち何れか１項に記載の画像処理システム。
【請求項１１】
前記合焦評価部によって選択された合焦している前記領域の各々に対応する前記画像と、これら領域の各々に対応する前記焦点位置とに基づいて、３次元再構成画像を作成する３次元再構成画像作成部をさらに具備することを特徴とする請求項１乃至９のうち何れか１項に記載の画像処理システム。
【請求項１２】
顕微鏡光学系と、
前記顕微鏡光学系を介した標本の像を標本画像として取得する撮像部と、
前記標本画像を前記画像として取得する請求項１乃至１１のうち何れか１項に記載の画像処理システムと、
を備えることを特徴とする顕微鏡システム。
【請求項１３】
前記光学系は、変倍光学系を含むことを特徴とする請求項１２に記載の顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム及びそれを備えた顕微鏡システムに関する。
【背景技術】
【０００２】
一般に、画像の帯域コントラストに基づいて、合焦を評価する方法が知られている。コントラストに基づく合焦評価は、オートフォーカス機能等の他、例えば被写体の奥行情報の取得にも用いられる。奥行情報は、例えば、被写体を複数の焦点位置で撮像した後に、各位置について合焦している画像をこの複数の画像から選択することで取得される。また、奥行情報は、被写体像を複数の焦点位置で撮像した後に、被写体の各位置について合焦している画像をこの複数の画像から選択し、それら合焦している画像を合成して全焦点画像や３次元再構築画像を作成する場合に用いられる。
【０００３】
例えば特許文献１には、コントラストに基づいて合焦を判断し、合焦している画像に基づいて全焦点画像を作成する技術が開示されている。また、特許文献１には、合焦していない領域においても所定のコントラストを得るために、高周波の制限を行うフィルタの特性を制御することに係る技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６６２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に画像は、その画像の取得に用いられた光学系や、倍率、被写体の特性等によって、異なる周波数帯域を有する。コントラストに基づく合焦判断において、コントラスト評価に高周波帯域を用いた方がより正確な合焦評価が実現されやすい。しかしながら、一方で、画像が有する帯域よりも高周波な情報に基づいて合焦評価が行われると、例えばノイズといった被写体の形状等とは無関係な要因に基づいて不適切な合焦評価がされてしまう恐れがある。
【０００６】
そこで本発明は、画像の周波数帯域を考慮してコントラストに基づく合焦評価を行う画像処理システム及びそれを備えた顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を果たすため、本発明の一態様によれば、画像処理システムは、同一被写体に対し異なる焦点位置で撮像された複数の画像を取得する画像取得部と、複数の前記画像における所定の領域に対し、複数の周波数帯域ごとに、前記画像が含む帯域の帯域評価値を算出する帯域特性評価部と、少なくとも２つの前記焦点位置の前記帯域評価値を用いて統計情報を少なくとも前記周波数帯域ごとに算出する統計情報算出部と、前記統計情報に基づいて、前記帯域評価値に対する荷重係数を少なくとも前記周波数帯域ごとに算出する荷重係数算出部と、前記帯域評価値と前記荷重係数とに基づいて、複数の前記画像における前記領域ごとにコントラスト評価値を算出するコントラスト評価部と、前記コントラスト評価値に基づいて、複数の前記画像の各々の前記領域のうち合焦している前記領域を選択する合焦評価部と、を具備することを特徴とする。
【０００８】
また、本発明の一態様によれば、顕微鏡システムは、顕微鏡光学系と、前記顕微鏡光学系を介した標本の像を標本画像として取得する撮像部と、前記標本画像を前記画像として取得する上記画像処理システムと、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、周波数帯域ごとに荷重係数を算出してこの荷重係数と帯域評価値とに基づいてコントラスト評価値を算出するので、画像の周波数帯域を考慮してコントラストに基づく合焦評価を行う画像処理システム及びそれを備えた顕微鏡システムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る画像処理システムの構成例を示すブロック図。
【図２】第１の実施形態に係る帯域処理部が有するフィルタバンクの周波数特性の一例を示す図。
【図３】第１の実施形態に係る帯域処理部が有するフィルタバンクの周波数特性の別の例を示す図。
【図４】第１の実施形態に係る画像処理システムにおける処理の一例を示すフローチャート。
【図５】ウエーブレット変換を説明するための図。
【図６】第１の実施形態の変形例に係る画像処理システムにおける処理の一例を示すフローチャート。
【図７】第２の実施形態に係る顕微鏡システムの構成例を示すブロック図。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態に係る画像処理システム１００の構成例の概略を示す。この図に示すように、画像処理システム１００は、画像取得部１１０と、帯域処理部１２０と、帯域特性評価部１３０と、統計情報算出部１４０と、荷重係数算出部１５０と、コントラスト評価部１６０と、合焦評価部１７０と、３Ｄ形状推定部１８０と、画像合成部１９０とを備える。
【００１２】
画像取得部１１０は、記憶部１１４を有している。画像取得部１１０は、同一被写体について焦点位置を変化させながら撮像された複数の画像を取得し、記憶部１１４に記憶する。ここで、これら画像の各々は、その画像が取得された際の光学系の焦点位置に係る情報、すなわち合焦位置の奥行に係る情報が含まれているものとする。画像取得部１１０は、帯域処理部１２０及び画像合成部１９０からの要求に応じてこれら画像を出力する。
【００１３】
帯域処理部１２０は、フィルタバンクを有する。すなわち、帯域処理部１２０は、例えば、第１のフィルタ１２１と、第２のフィルタ１２２と、第３のフィルタ１２３とを有する。第１のフィルタ１２１、第２のフィルタ１２２、及び第３のフィルタ１２３の周波数特性を図２に示す。この図に示すように、これらフィルタはローパスフィルタとなっており、第１のフィルタ１２１、第２のフィルタ１２２、第３のフィルタ１２３の順にカットオフ周波数が高くなっている。すなわち、各フィルタが透過する信号の周波数帯域は異なる。なお、第１のフィルタ１２１、第２のフィルタ１２２、及び第３のフィルタ１２３は、図３にその周波数特性を示すような、バンドパスフィルタでもよい。その他、異なる周波数帯域を透過するように設計された複数のフィルタであればどのようなフィルタが用いられてもよい。また、本実施形態では、帯域処理部１２０が有するフィルタは３つであるとしているが、この数はいくつでもよい。帯域処理部１２０は、画像取得部１１０から画像を取得し、焦点位置が異なる複数の画像の各々に対して、画像の各領域（例えば各画素）について第１のフィルタ１２１、第２のフィルタ１２２、及び第３のフィルタ１２３のそれぞれを用いてフィルタリング処理を行う。帯域処理部１２０は、フィルタリング処理の結果を帯域特性評価部１３０に出力する。
【００１４】
帯域特性評価部１３０は、フィルタ処理された複数の画像の各領域について帯域評価値を算出する。帯域評価値は、例えば、フィルタごとに通過した信号の積分値を算出することで求められる。このようにして各画像について、領域ごと及び周波数帯域ごとに帯域評価値が得られる。帯域特性評価部１３０は、算出した帯域評価値を統計情報算出部１４０及びコントラスト評価部１６０に出力する。
【００１５】
統計情報算出部１４０は、周波数帯域ごとに、焦点位置が異なる複数の画像の帯域評価値の平均値に関係する統計情報値を算出する。この統計情報については後述する。統計情報算出部１４０は、算出した統計情報値を荷重係数算出部１５０に出力する。荷重係数算出部１５０は、統計情報算出部１４０から入力された統計情報値に基づいて、周波数帯域ごとの重み付けに係る値、すなわち荷重係数を算出する。この荷重係数については後述する。荷重係数算出部１５０は、算出した荷重係数をコントラスト評価部１６０に出力する。
【００１６】
コントラスト評価部１６０は、帯域特性評価部１３０から入力された帯域評価値に荷重係数算出部１５０から入力された帯域ごとに対応する荷重係数を乗算し、コントラスト評価値を算出する。コントラスト評価部１６０は、算出したコントラスト評価値を合焦評価部１７０に出力する。合焦評価部１７０は、コントラスト評価部１６０から入力されたコントラスト評価値に基づいて、焦点位置が異なる複数の画像のそれぞれについて画像中の各領域の合焦を評価する。合焦評価部１７０は、領域ごとに合焦している画像を選択し、その画像が撮像された際の焦点位置に係る情報に基づいて、画像中の各領域に対応する奥行情報を推定する。合焦評価部１７０は、画像中の各領域に係る奥行情報を３Ｄ形状推定部１８０に出力する。
【００１７】
３Ｄ形状推定部１８０は、合焦評価部１７０から入力された奥行情報に基づいて、奥行情報の最適化を行い、被写体の３次元形状を推定する。３Ｄ形状推定部１８０は、推定した被写体の３次元形状を画像合成部１９０に出力する。画像合成部１９０は、３Ｄ形状推定部１８０から入力された被写体の３次元形状と、画像取得部１１０から取得した複数の画像と、に基づいて、焦点位置が異なる複数の画像を合成して合成画像を作成する。この合成画像は、例えば３次元再構成画像や、全焦点画像等である。画像合成部１９０は、作成した合成画像を、例えば、表示させるために表示部に出力したり、記憶させるために記憶装置に出力したりする。
【００１８】
本実施形態に係る画像処理システム１００の動作の一例を、図４に示すフローチャートを参照して説明する。画像取得部１１０は、ステップＳ１０１において、同一被写体について焦点位置を変化させながら撮像された複数の画像を取得する。これら画像には、奥行に係る情報（例えば、画像が取得された際の光学系の焦点位置に係る情報等）が含まれているものとする。画像取得部１１０は、取得した画像を記憶部１１４に記憶する。
【００１９】
帯域処理部１２０は、ステップＳ１０２において、記憶部１１４に記憶された焦点位置が異なる複数の画像における所定の各領域（例えば各画素）に対し、例えば第１のフィルタ１２１、第２のフィルタ１２２及び第３のフィルタ１２３のそれぞれを用いてフィルタリング処理を行う。ここで、フィルタの数はいくつでもよいので、以降の説明において帯域処理部１２０は、Ｎ個のフィルタを有しているものとして説明する。帯域処理部１２０は、フィルタリング処理の結果を帯域特性評価部１３０に出力する。
【００２０】
帯域特性評価部１３０は、ステップＳ１０３において、フィルタリング処理された複数の画像の各領域について、帯域ごとに帯域評価値を算出する。すなわち、各焦点位置ｋ（ｋ＝１，２，…，Ｋ）について、また、各領域（ｉ，ｊ）（画像の全領域Ａに含まれる各領域（ｉ，ｊ））について、すなわち、データＩ（ｋ，ｉ，ｊ）のそれぞれについて、周波数帯域ｆｎ（ｎ＝１，２，…，Ｎ）ごとに帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）を算出する。帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）は、例えばフィルタを通過した信号の積分値として算出され、このフィルタを透過する帯域における振幅に相当する量となる。帯域特性評価部１３０は、帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）を統計情報算出部１４０に出力する。
【００２１】
統計情報算出部１４０は、ステップＳ１０４において、周波数帯域ごとに焦点位置が異なる複数の画像について、帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の平均値と関係する統計情報値を算出する。後述するように、この統計情報値としては、様々な方法で算出された種々の値が用いられ得る。統計情報算出部１４０は、算出した統計情報値を荷重係数算出部１５０に出力する。
【００２２】
荷重係数算出部１５０は、ステップＳ１０５において、統計情報算出部１４０から入力された統計情報値に基づいて、帯域に応じた荷重係数を算出する。この荷重係数も、後述するように様々な方法で算出された種々の値が用いられる。荷重係数算出部１５０は、算出した荷重係数をコントラスト評価部１６０に出力する。
【００２３】
コントラスト評価部１６０は、ステップＳ１０６において、帯域特性評価部１３０から入力された帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）に荷重係数算出部１５０から入力された荷重係数のうち対応する周波数帯域の荷重係数を乗算し、コントラスト評価値を算出する。コントラスト評価部１６０は、算出したコントラスト評価値を合焦評価部１７０に出力する。
【００２４】
合焦評価部１７０は、ステップＳ１０７において、コントラスト評価部１６０から取得したコントラスト評価値に基づいて、合焦を評価する。例えば合焦評価部１７０は、焦点位置が異なる複数の画像のそれぞれについて、コントラスト評価値が所定の閾値より高い領域を合焦している領域として特定する。合焦評価部１７０は、焦点位置が異なる複数の画像のうち合焦している領域と、その領域が含まれる画像が取得された際の焦点位置に係る情報と、から、その領域に対応する点についての奥行情報を推定する。ここで、奥行情報は、例えば当該領域の奥行き方向の位置を表す値である。合焦評価部１７０は、各領域に係る奥行情報を３Ｄ形状推定部１８０に出力する。
【００２５】
３Ｄ形状推定部１８０は、ステップＳ１０８において、合焦評価部１７０から入力された奥行情報に基づいて、平滑化等の奥行情報の最適化を行い、被写体の３次元形状を推定する。３Ｄ形状推定部１８０は、推定した被写体の３次元形状を画像合成部１９０に出力する。
【００２６】
画像合成部１９０は、ステップＳ１０９において、３Ｄ形状推定部１８０から入力された被写体の３次元形状に基づいて、焦点位置が異なる複数の画像を合成して合成画像を作成する。例えば合成画像が３次元再構成画像であれば、３次元形状とその３次元形状の各部に係る合焦している画像を合成させた合成画像を作成する。また、例えば合成画像が全焦点画像であれば、各領域についてその奥行に相当する焦点位置を有する画像から抽出した画像を組み合わせて、全ての領域について合焦している画像を合成する。画像合成部１９０は、作成した合成画像を表示部や記憶装置に出力する。
【００２７】
例えば顕微鏡画像のように、被写界深度が浅い光学系を用いて被写界深度よりも大きな奥行きを有する被写体が撮像された場合、その画像はユーザに認識されにくい。これに対して３次元再構成画像や全焦点画像によれば、被写界深度よりも大きな奥行きを有する被写体の像が、容易にユーザに認識され得る。
【００２８】
このように、例えば画像取得部１１０は、同一被写体に対し異なる焦点位置で撮像された複数の画像を取得する画像取得部として機能する。例えば帯域特性評価部１３０は、複数の画像における所定の領域に対し、複数の周波数帯域ごとに、画像が含む帯域の帯域評価値を算出する帯域特性評価部として機能する。例えば統計情報算出部１４０は、少なくとも２つの焦点位置の帯域評価値を用いて統計情報を少なくとも周波数帯域ごとに算出する統計情報算出部として機能する。例えば荷重係数算出部１５０は、統計情報に基づいて、帯域評価値に対する荷重係数を少なくとも周波数帯域ごとに算出する荷重係数算出部として機能する。例えばコントラスト評価部１６０は、帯域評価値と荷重係数とに基づいて、複数の画像における領域ごとにコントラスト評価値を算出するコントラスト評価部として機能する。例えば合焦評価部１７０は、前記コントラスト評価値に基づいて、複数の前記画像の各々の前記領域のうち合焦している前記領域を選択する合焦評価部として機能する。例えば画像合成部１９０は、全焦点画像作成部又は３次元再構成画像作成部として機能する。
【００２９】
本実施形態によれば、帯域特性評価部１３０によってフィルタリング処理が行われ、その結果として得られた帯域評価値に基づいてコントラスト評価部１６０でコントラスト評価値が算出される。一般に高周波数に対して高いスペクトルを有するフィルタが用いられた方が、より正確なコントラスト評価を示すコントラスト評価値が得られる。一方で、画像が有する周波数帯域よりも高周波な情報に基づいてコントラスト評価値が算出されると、例えばノイズといった被写体の構造とは無関係な要因を評価する不適切なコントラスト評価値が得られてしまう。本実施形態では、統計情報算出部１４０が画像の周波数帯域を考慮した統計情報値を算出し、荷重係数算出部１５０がこの統計情報値に基づいて荷重係数を算出する。すなわち、荷重係数は画像の周波数帯域が考慮されて決定されている。コントラスト評価部１６０は、帯域特性評価部１３０が算出した帯域評価値と、荷重係数算出部１５０が算出した荷重係数とに基づいてコントラスト評価値を決定しているので、画像の周波数帯域を考慮しない場合と比較して、より正確なコントラスト評価値を決定できる。その結果、画像処理システム１００は、精度のよい３次元再構築画像や全焦点画像を作成することができる。この画像処理システム１００は、被写界深度が浅い顕微鏡によって撮像された顕微鏡画像等に用いられるとき、特に効果を奏する。
【００３０】
次に、ステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値の具体例を説明する。
【００３１】
［第１の例］
第１の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数、及びステップＳ１０６で算出されるコントラスト評価値を説明する。この例において、統計情報値は、各領域及び各周波数帯域のそれぞれについて、全ての焦点位置（ｋ＝１，２，…，Ｋ）における帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の平均値である。すなわち、平均値Ｌ（ｆｎ，ｉ，ｊ）は、下記式（１）で算出される。
【数１】
0005868758.tif 000002
【００３２】
荷重係数は、各領域及び各周波数帯域のそれぞれについて、前記平均値を全周波数帯域の前記平均値の和で除算した値である。すなわち、荷重係数ＬＮ（ｆｍ，ｉ，ｊ）は、下記式（２）で算出される。
【数２】
0005868758.tif 000003
【００３３】
帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）と荷重係数ＬＮ（ｆｍ，ｉ，ｊ）とに基づいて、コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は、下記式（３）で算出される。
【数３】
0005868758.tif 000004
すなわち、コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は、周波数帯域のそれぞれに係る帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）と荷重係数ＬＮ（ｆｍ，ｉ，ｊ）との積を足し合わせたものである。
【００３４】
合焦評価部１７０は、ステップＳ１０７において、各領域（ｉ，ｊ）について、例えばこのコントラスト評価値Ｄ（ｋ，ｉ，ｊ）が最も高くなるｋを選択して奥行情報を推定する。
【００３５】
なお、この例においては、荷重係数ＬＮ（ｆｍ，ｉ，ｊ）の算出において、上記式（２）のように前記平均値を全周波数帯域の前記平均値の和で除算しているが、全周波数帯域ではなく、一部の周波数帯域の前記平均値の和で前記平均値を除算して求めるようにしてもよい。
【００３６】
［第２の例］
第２の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値を説明する。この例において、統計情報値は、第１の例と同様に、各領域及び各周波数帯域のそれぞれについて、全ての焦点位置における帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の平均値である。すなわち、平均値Ｌ（ｆｎ，ｉ，ｊ）は、上記式（１）で算出される。この例では、荷重係数に平均値Ｌ（ｆｎ，ｉ，ｊ）が用いられる。したがって、コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は、下記式（４）で算出される。
【数４】
0005868758.tif 000005
【００３７】
合焦評価部１７０は、ステップＳ１０７において、このコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて、奥行情報を推定する。
【００３８】
［第３の例］
第３の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値を説明する。この例において、統計情報値は、第１の例と同様に、各領域及び各周波数帯域のそれぞれについて、全ての焦点位置における帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の平均値である。すなわち、平均値Ｌ（ｆｎ，ｉ，ｊ）は、上記式（１）で算出される。この例では、荷重係数に平均値Ｌ（ｆｎ，ｉ，ｊ）の所定の周波数帯域ｆ０に対する相対値が用いられる。すなわち、加重係数ＬＮ（ｆｎ，ｉ，ｊ）は、下記式（５）で算出される。
【数５】
0005868758.tif 000006
ここで、帯域ｆ０は、ｎ＝１〜Ｎのうち何れを用いてもよいが、例えば最も低い帯域が用いられる。コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は、この荷重係数ＬＮ（ｆｍ，ｉ，ｊ）を用いて、上記式（３）で算出される。
【００３９】
合焦評価部１７０は、ステップＳ１０７において、このコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて、奥行情報を推定する。
【００４０】
［第４の例］
第４の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値を説明する。この例において、統計情報値は、第１の例と同様に、各領域及び各帯域について全ての焦点位置の平均値である。すなわち、平均値Ｌ（ｆｎ，ｉ，ｊ）は、上記式（１）で算出される。この例では、荷重係数は所定の条件を満たすか否かに応じて１又は０となる。すなわち、条件を満たすか否かに応じて帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）を用いるか否かが決定される。この例では、荷重係数は、下記式（６）で算出される。
【数６】
0005868758.tif 000007
ここで、閾値Ｔｈｒは、例えばＮ＝３の場合は０．２というように任意の設計値である。コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は、第１の例と同様に上記式（３）で算出される。
【００４１】
合焦評価部１７０は、ステップＳ１０７において、このコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて、奥行情報を推定する。なお、荷重係数の決定における判定は上記式（６）のように平均値Ｌ（ｆｎ，ｉ，ｊ）を全周波数帯域の平均値の和で除算したものを用いるに限らず、平均値Ｌ（ｆｎ，ｉ，ｊ）そのものや、平均値Ｌ（ｆｎ，ｉ，ｊ）を任意の周波数帯域の平均値の和や任意の周波数帯域の平均値で除算したものを用いてもよい。
【００４２】
第１乃至第４の例によれば、領域ごとに荷重係数Ｌｎ（ｆｍ，ｉ，ｊ）が算出されるので、画像中の領域ごとに帯域特性が一定でない場合に特に有効である。また、これらの例によれば、周波数帯域ごとに統計情報値としての平均値Ｌ（ｆｎ，ｉ，ｊ）が算出されている。平均値Ｌ（ｆｎ，ｉ，ｊ）が低いとき、コントラストを評価するために必要な情報が帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）に含まれていないか、又は、帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）にノイズが含まれていることが考えられる。第１乃至第４の例によれば、このような必要な情報が含まれていない又はノイズが含まれている帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の重みが小さくされるため、必要な情報が含まれていない等の帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）がコントラスト評価値に影響することを防ぐことができる。その結果、精度の高い帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）が生成され、この帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）に基づいて、精度の高い奥行情報の推定が実現される。
【００４３】
［第５の例］
第５の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値を説明する。この例において、統計情報値は、各領域及び各周波数帯域のそれぞれについて、全ての焦点位置（ｋ＝１，２，…，Ｋ）における帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の変動量である。この例では、変動量の一例として分散を用いる。すなわち、分散Ｓ（ｆｎ，ｉ，ｊ）は、例えば上記式（１）で算出される平均値Ｌ（ｆｎ，ｉ，ｊ）を用いて下記式（７）で算出される。
【数７】
0005868758.tif 000008
【００４４】
荷重係数は、各領域及び各周波数帯域についての分散を、全周波数帯域の前記分散の和で除算した値である。すなわち、荷重係数ＳＮ（ｆｍ，ｉ，ｊ）は、下記式（８）で算出される。
【数８】
0005868758.tif 000009
【００４５】
帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）及び荷重係数ＳＮ（ｆｍ，ｉ，ｊ）を用いて、コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は下記式（９）で算出される。
【数９】
0005868758.tif 000010
【００４６】
合焦評価部１７０は、ステップＳ１０７において、このコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて、奥行情報を推定する。なお、この例においては、荷重係数ＳＮ（ｆｍ，ｉ，ｊ）の算出において、上記式（８）のように前記平均値を全周波数帯域の前記平均値の和で除算しているが、全周波数帯域ではなく、一部の周波数帯域の前記平均値の和で前記平均値を除算して求めるようにしてもよい。
【００４７】
［第６の例］
第６の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値を説明する。この例において、統計情報値は、第５の例と同様に、各領域及び各周波数帯域のそれぞれについて、全ての焦点位置における帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の分散の平均値である。すなわち、分散Ｓ（ｆｎ，ｉ，ｊ）は、上記式（７）で算出される。この例では、荷重係数に分散Ｓ（ｆｎ，ｉ，ｊ）が用いられる。したがって、コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は、下記式（１０）で算出される。
【数１０】
0005868758.tif 000011
【００４８】
合焦評価部１７０は、ステップＳ１０７において、このコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて、奥行情報を推定する。
【００４９】
［第７の例］
第７の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値を説明する。この例において、統計情報値は、第５の例と同様に、各領域及び各周波数帯域のそれぞれについて、全ての焦点位置における帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の分散である。すなわち、分散Ｓ（ｆｎ，ｉ，ｊ）は、上記式（７）で算出される。この例では、荷重係数に分散Ｓ（ｆｎ，ｉ，ｊ）の所定の周波数帯域ｆ０に対する相対値が用いられる。すなわち、荷重係数ＳＮ（ｆｎ，ｉ，ｊ）は、下記式（１１）で算出される。
【数１１】
0005868758.tif 000012
【００５０】
ここで、帯域ｆ０はｎ＝１〜Ｎのうちいずれを用いてもよい。コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は、この荷重係数ＳＮ（ｆｎ，ｉ，ｊ）を用いて、上記式（９）で算出される。
【００５１】
合焦評価部１７０は、ステップＳ１０７において、このコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて、奥行情報を推定する。
【００５２】
第５乃至第７の例によれば、領域ごとに荷重係数Ｌｎ（ｆｍ，ｉ，ｊ）が算出されるので、画像中の領域ごとに帯域特性が一定でない場合に特に有効である。また、これらの例によれば、周波数帯域ごとに統計情報値としての分散Ｓ（ｆｎ，ｉ，ｊ）が算出されている。分散Ｓ（ｆｎ，ｉ，ｊ）、すなわち変動量が低いとき、コントラストを評価するために必要な情報が帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）に含まれていないか、又は、帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）にノイズが含まれており、相対的に変動が少なくなっていると考えられる。第５乃至第７の例によれば、このような必要な情報が含まれていない又はノイズが含まれている帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）の重みが小さくなることで、必要な情報が含まれていない等の帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）がコントラスト評価値に影響することを防ぐことができる。その結果、精度の高い帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）が生成され、この帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）に基づいて、精度の高い奥行情報の推定が実現される。
【００５３】
なお、分散を用いる場合も、第４の例の場合のように、荷重係数が所定の条件を満たすか否かに応じて１又は０に設定されてもよい。すなわち、条件を満たすか否かに応じて帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）を用いるか否かが決定される。このようにしても第５乃至第７の例と同様の効果が得られる。
【００５４】
［第８の例］
第８の例におけるステップＳ１０４で算出される統計情報値、ステップＳ１０５で算出される荷重係数及びステップＳ１０６で算出されるコントラスト評価値を説明する。第１乃至第４の例においては、統計情報値として領域ごとに平均値Ｌ（ｆｎ，ｉ，ｊ）が決定されていた。これに対して、第８の例において統計情報値は、各帯域についての画像全体Ａに対する平均値である。すなわち、平均値Ｌ（ｆｎ）は、下記式（１２）で算出される。
【数１２】
0005868758.tif 000013
【００５５】
荷重係数は、平均値Ｌ（ｆｎ）を全周波数帯域の平均値Ｌ（ｆｎ）の和で除算した値である。すなわち、荷重係数ＬＮ（ｆｍ）は、下記式（１３）で算出される。
【数１３】
0005868758.tif 000014
【００５６】
帯域評価値Ｑ（ｋ，ｆｎ，ｉ，ｊ）及び荷重係数ＬＮ（ｆｍ）を用いて、コントラスト評価値Ｄ（ｋ，ｉ，ｊ）は下記式（１４）で算出される。
【数１４】
0005868758.tif 000015
【００５７】
合焦評価部１７０は、ステップＳ１０７において、このコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて、奥行情報を推定する。
【００５８】
この例によれば、帯域特性について領域ごとの差が小さい場合に、演算量が小さくなり有効である。また、本例の場合でも、上記式（１３）に示すように全周波数帯域ではなく一部の周波数帯域の平均値の和や特定の周波数帯域の平均値で除算されるようにしてもよい。また、上記式（１４）において、ＬＮ（ｆｍ）の代わりにＬ（ｆｍ）が用いられてもよい。また、ＬＮ（ｆｍ）が１又は０をとってもよい。また、第５乃至第７の例の場合と同様に、画像の全領域Ａにおける分散の平均を用いるようにしてもよい。
【００５９】
［第１の実施形態の変形例］
第１の実施形態の変形例について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本変形例に係る画像処理システム１００では、帯域処理部１２０は、フィルタバンクを有する代わりに、ウエーブレット変換を実行する。
【００６０】
ウエーブレット変換では、図５の左に示されるような元の画像に対して、特定の方向性を有するフィルタリング処理を行って、図５の右に示されるような帯域分離後の画像Ａ、Ｂ及びＣを取得する。そして、フィルタの残差の画像を縮小した画像に対して、再び特定の方向性を有するフィルタリング処理を行って画像Ｄ、Ｅ及びＦを取得する。以下、このような処理が繰り返され、画像Ｇ、Ｈ及びＩ、画像Ｊ、Ｋ、Ｌ及びＭが取得される。このような変換処理が行われることで、図５の右に示すように多解像表現された画像データが作成される。このようなウエーブレット変換によって、第１の実施形態の場合と同様に、特定の帯域の利得に相当する量が画像の各領域に対応付けられる。
【００６１】
本変形例に係る画像処理システム１００における処理の一例を図６のフローチャートに示す。画像取得部１１０は、ステップＳ２０１において、同一被写体について焦点位置を変化させながら撮像された複数の画像を取得し、この画像を記憶部１１４に記憶する。帯域処理部１２０は、ステップＳ２０２において、記憶部１１４に記憶された焦点位置が異なる複数の画像に対してウエーブレット変換を行う。帯域処理部１２０は、変換結果を帯域特性評価部１３０に出力する。帯域特性評価部１３０は、ステップＳ２０３において、ウエーブレット変換された複数の画像の各領域（ｐ，ｑ）について、評価値を算出する。すなわち、ウエーブレットの段数ｎの係数を、各領域（ｐ，ｑ）について、すなわち、データＩ（ｋ，ｐ，ｑ）のそれぞれについて、帯域評価値Ｑ（ｋ，ｎ，ｐ，ｑ）とする。帯域特性評価部１３０は、帯域評価値Ｑ（ｋ，ｎ，ｐ，ｑ）を統計情報算出部１４０に出力する。
【００６２】
統計情報算出部１４０は、ステップＳ２０４において、統計情報値を算出する。本変形例では、各帯域の帯域評価値Ｑ（ｋ，ｎ，ｐ，ｑ）の全焦点位置ｋ＝１，２，…，Ｋの平均値を統計情報値Ｌ（ｆｎ）とする。すなわち、統計情報値Ｌ（ｆｎ）は、下記式（１５）で算出される。
【数１５】
0005868758.tif 000016
ここで、Ｆｎはウエーブレットの段数ｎのときの画像の大きさを示している。
統計情報算出部１４０は、算出した統計情報値を荷重係数算出部１５０に出力する。
【００６３】
荷重係数算出部１５０は、ステップＳ２０５において、統計情報算出部１４０から入力された統計情報値Ｌ（ｆｎ）に基づいて、帯域に応じた荷重係数を算出する。本変形例では、荷重係数ＬＮ（ｆｍ）は、下記式（１６）で算出される。
【数１６】
0005868758.tif 000017
荷重係数算出部１５０は、算出した荷重係数ＬＮ（ｆｍ）をコントラスト評価部１６０に出力する。
【００６４】
コントラスト評価部１６０は、ステップＳ２０６において、帯域特性評価部１３０から入力された帯域評価値Ｑ（ｋ，ｐ，ｑ）に荷重係数算出部１５０から入力された帯域ごとの対応する荷重係数ＬＮ（ｆｍ）を乗算し、逆変換することでウエーブレット変換前の画像の各領域（ｉ，ｊ）に係るコントラスト評価値Ｄ（ｋ，ｉ，ｊ）を算出する。コントラスト評価部１６０は、算出したコントラスト評価値Ｄ（ｋ，ｉ，ｊ）を合焦評価部１７０に出力する。
【００６５】
以降、第１の実施形態と同様に、合焦評価部１７０は、ステップＳ２０７においてコントラスト評価値Ｄ（ｋ，ｉ，ｊ）に基づいて合焦を評価し、各画素に係る奥行情報を３Ｄ形状推定部１８０に出力する。３Ｄ形状推定部１８０は、ステップＳ２０８において奥行情報に基づいて、平滑化等の奥行情報の最適化を行い、被写体の３次元形状を推定し、推定した被写体の３次元形状を画像合成部１９０に出力する。画像合成部１９０は、ステップＳ２０９において、被写体の３次元形状と複数の画像とに基づいて、焦点位置が異なる複数の画像を合成して合成画像を作成する。
【００６６】
本変形例によっても、第１の実施形態と同様の効果が得られる。
【００６７】
［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態は、第１の実施形態に係る画像処理システム１００を備える顕微鏡システム２００である。
【００６８】
本実施形態に係る顕微鏡システム２００の構成例の概略を図７に示す。この図に示すように、顕微鏡システム２００は、顕微鏡２１０と第１の実施形態に係る画像処理システム１００とを有する。顕微鏡２１０は、例えばデジタル顕微鏡である。顕微鏡２１０は、ＬＥＤ光源２１１と、照明光学系２１２と、光路制御素子２１３と、対物レンズ２１４と、図示しないステージ上に載置された標本面２１５と、観察光学系２１８と、撮像面２１９と、撮像部２２０と、コントローラ２２２とを有する。観察光学系２１８は、ズーム光学系２１６と、結像光学系２１７とを有する。観察光路には、標本面２１５から撮像面２１９に向かって、対物レンズ２１４と、光路制御素子２１３と、ズーム光学系２１６と、結像光学系２１７とが、この順に配置されている。
【００６９】
ＬＥＤ光源２１１から射出された照明光は、照明光学系２１２を介して、光路制御素子２１３に入射する。光路制御素子２１３は、照明光を観察光路上の対物レンズ２１４に向けて反射する。照明光は、対物レンズ２１４を介して標本面２１５に配置された標本に照射される。
【００７０】
標本に照明光が照射されると、標本から観察光が生じる。ここで、観察光は反射光や蛍光等である。観察光は、光路制御素子２１３に入射する。光路制御素子２１３は、照明光の場合と異なり、観察光を透過させて、観察光をズーム光学系２１６及び結像光学系２１７を有する観察光学系２１８に入射させる。このように光路制御素子２１３は、入射光の特性に応じて、入射光を反射又は透過させる光学素子である。光路制御素子２１３には、例えば、入射光の偏光方向に応じて入射光を反射又は透過させるワイヤーグリッドや偏光ビームスプリッタ（ＰＢＳ）等の偏光素子が用いられ得る。なお、この光路制御素子２１３は、例えば、入射光の周波数に応じて入射光を反射又は透過させるダイクロイックミラー等を用いても良い。
【００７１】
観察光学系２１８は、観察光を撮像面２１９に集光させ、標本の像を撮像面２１９に結像させる。撮像部２２０は、撮像面２１９に結像した画像に基づく画像信号を生成し、この画像信号を顕微鏡画像として画像取得部１１０に出力する。コントローラ２２２は、顕微鏡２１０の動作を制御する。本実施形態では、顕微鏡２１０は、同一標本について、異なる焦点面において撮像した複数の顕微鏡画像を取得する。このため、コントローラ２２２は、顕微鏡２１０の光学系を制御して焦点面を徐々に変化させながら、各焦点面における標本の画像を撮像部２２０に撮像させる。具体的には、例えばコントローラ２２２は、顕微鏡２１０のステージの高さ、又は、対物レンズの高さの位置を変化させながら、撮像部２２０に撮像させる。コントローラ２２２は、撮像部２２０が撮像した画像と関連付けて、焦点位置に係る情報を画像取得部１１０に出力する。
【００７２】
本実施形態に係る顕微鏡システム２００の動作を説明する。標本は、標本面２１５を有するように図示しないステージ上に配置される。コントローラ２２２は、顕微鏡２１０を制御する。コントローラ２２２は、例えば標本面２１５の位置を光軸方向に徐々に変化させ、標本に対する光学系の焦点位置を徐々に変化させる。具体的には、例えばコントローラ２２２は、顕微鏡２１０のステージの高さ、対物レンズの高さ又はフォーカスレンズの位置を変化させる。このとき、コントローラ２２２は、各焦点位置における標本の顕微鏡画像を撮像部２２０に順次撮像させる。画像取得部１１０は、撮像部２２０から各焦点位置における標本の顕微鏡画像を取得する。また、画像取得部１１０は、コントローラ２２２から各画像が撮像された際の焦点位置を取得する。画像取得部１１０は、取得した顕微鏡画像をその焦点位置と関連付けて記憶部１１４に記憶する。
【００７３】
記憶部１１４に記憶された顕微鏡画像に基づいて、焦点位置が異なる複数の画像を合成して合成画像を作成する処理は、第１の実施形態の処理と同様である。本実施形態では、顕微鏡システム２００は、顕微鏡画像に係る合成画像、例えば３次元再構成画像や全焦点画像を作成する。画像合成部１９０は、作成した合成画像を、例えば、表示させるために表示部に出力したり、記憶させるために記憶装置に出力したりする。３次元再構成画像や全焦点画像によれば、一般の顕微鏡画像のように被写界深度よりも大きな奥行きを有する被写体の像が、容易にユーザに認識され得る。
【００７４】
このように、例えば照明光学系２１２、光路制御素子２１３、対物レンズ２１４、観察光学系２１８等は、顕微鏡光学系として機能する。例えば撮像部２２０は、顕微鏡光学系を介した標本の像を標本画像として取得する撮像部として機能する。
【００７５】
一般に、顕微鏡の光学系は、デジタルカメラの光学系に比べて像の拡大率が大きい。このため、顕微鏡撮影においては、カメラの撮像素子のサンプリング帯域に対して、顕微鏡の光学系の帯域がそれほど高くない場合がある。また、光学系の帯域は、光学系の開口数や倍率等によって変化し得る。例えば顕微鏡がズーム光学系を有する場合にも、その光学系の帯域は変化する。本実施形態によれば、統計情報算出部１４０は画像の周波数帯域が考慮された統計情報値を算出し、荷重係数算出部１５０はこの統計情報値に基づいて荷重係数を算出する。すなわち、コントラスト評価部１６０は、帯域特性評価部１３０が算出した評価値と、画像の周波数帯域を考慮して算出された荷重係数とに基づいてコントラスト評価値を決定するので、正確なコントラスト評価値を決定できる。その結果、顕微鏡システム２００は、精度のよい３次元再構築顕微鏡画像や全焦点顕微鏡画像を作成することができる。顕微鏡１１０の光学系にズーム光学系が含まれている場合、ズーム光学系の焦点距離に応じて開口数が変化し顕微鏡画像の帯域が変化するので、本実施形態は特に効果を奏する。
【００７６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００７７】
１００…画像処理システム、１１０…画像取得部、１１４…記憶部、１１５…標本面、１２０…帯域処理部、１２１…第１のフィルタ、１２２…第２のフィルタ、１２３…第３のフィルタ、１３０…帯域特性評価部、１４０…統計情報算出部、１５０…荷重係数算出部、１６０…コントラスト評価部、１７０…合焦評価部、１８０…３Ｄ形状推定部、１９０…画像合成部、２００…顕微鏡システム、２１０…顕微鏡、２１１…ＬＥＤ光源、２１２…照明光学系、２１３…光路制御素子、２１４…対物レンズ、２１５…標本面、２１６…ズーム光学系、２１７…結像光学系、２１８…観察光学系、２１９…撮像面、２２０…撮像部、２２２…コントローラ。
【図１】
0005868758.tif 000018
【図２】
0005868758.tif 000019
【図３】
0005868758.tif 000020
【図４】
0005868758.tif 000021
【図５】
0005868758.tif 000022
【図６】
0005868758.tif 000023
【図７】
0005868758.tif 000024