(57)【要約】  本発明に係る画像処理装置は、互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得部と、第１及び第２の画像群の各共通領域の輝度に基づく第１及び第２の方向のシェーディング成分の変化量をもとに、画像を形成する観察光の光軸の中心を検出する光軸中心検出部と、を備える。
2017068655.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得部と、
前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記光軸中心検出部は、前記共通領域の輝度比に基づき、前記第１及び第２の方向における前記シェーディング成分の勾配を表す平坦度をそれぞれ算出し、前記第１及び第２の方向の平坦度に基づき、前記シェーディング成分の勾配が最小である位置を前記観察光の光軸の中心の位置として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光軸中心検出部は、前記共通領域における前記平坦度に対する曲面フィッティングにより得られた前記平坦度が最小の位置を前記観察光の光軸の中心の位置として検出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記光軸中心検出部は、前記共通領域の低周波成分の輝度比に基づいて前記平坦度を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記光軸中心検出部は、前記共通領域の輝度の大小関係に基づき、前記共通領域における前記一方の画像の輝度と前記他方の画像の輝度との差が最小である位置を前記観察光の光軸の中心の位置として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記光軸中心検出部は、前記共通領域の輝度の大小関係に基づき２値マップを生成し、前記第１及び第２の方向のそれぞれにおいて、値が切り替わる複数の点に対する直線フィッティングにより得られた二つの直線の交点を前記観察光の光軸の中心の位置として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記光軸中心検出部が検出した前記観察光の光軸の中心と、前記画像の中心とを含む表示画像を生成する表示画像生成部、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記表示画像生成部は、前記光軸中心検出部が異なる時間において検出した複数の前記観察光の光軸の中心の位置を表示する表示画像を生成することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記表示画像生成部は、前記光軸中心検出部が異なる時間において検出した複数の前記観察光の光軸の中心の位置を直線近似した軌跡を表示する表示画像を生成することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記観察光の光軸の中心の位置を調整する光軸中心調整部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得部と、
前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出部と、
前記光軸中心検出部が検出した前記観察光の光軸の中心と、前記画像の中心とを含む表示画像を生成する表示画像生成部と、
を有する画像処理装置と、
前記表示画像生成部が生成した前記表示画像を表示する表示装置と、
を備えることを特徴とする画像処理システム。
【請求項１２】
互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得部と、前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出部と、前記光軸中心検出部が検出した前記観察光の光軸の中心と、前記画像の中心とを含む表示画像を生成する表示画像生成部と、を有する画像処理装置と、
前記表示画像生成部が生成した前記表示画像を表示する表示装置と、
前記被写体の像を結像する光学系と、
前記被写体と前記光学系との少なくとも一方を前記第１又は第２の方向に移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、
前記光学系が結像した前記被写体の像を撮像する撮像手段と、
前記被写体を載置するステージと、
を備え、
前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させる
ことを特徴とする顕微鏡システム。
【請求項１３】
互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得ステップと、
前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得手順と、
前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標本等の被写体を撮像した画像に画像処理を施す画像処理装置、画像処理システム、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、標本を照明する光源及び標本の像を拡大する光学系と、光学系の後段に設けられ、拡大された標本の像を電子的なデータに変換する撮像素子とを備える顕微鏡が知られている。このような顕微鏡等においては、レンズや照明などの光学系に起因して、光源の照度ムラや光学系の不均一性が生じ、さらには、撮像素子の特性のムラ等に起因して、取得した画像に明度ムラが発生するという問題がある。この明度ムラはシェーディングと呼ばれ、通常、光学系の光軸の位置に対応する画像の中心から遠ざかるに従って暗くなる。【０００３】
ここで、製造時、組み立てや照明ランプ取り付けなどの誤差により、撮像素子へ入射する観察光の光軸中心と撮像素子の中心とがずれることがあり、シェーディングの中心と画面中心とが一致しないことがある。シェーディングの中心と画面中心とが一致しない場合、最適な観察像が得られない。この課題を解決するため、観察光の光軸中心と撮像素子の中心とのずれを検出する撮像装置が開示されている（例えば、特許文献１を参照）。特許文献１では、無標本状態、又は視野内の無標本の位置から抽出された輝度値やサンプル点の彩度をもとに、観察光の光軸中心を検出し、観察光の光軸中心と撮像素子の中心とのずれを用いて光学系の調整（芯出し）を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１７１４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１が開示する技術は、観察光の光軸中心を検出して光学系を調整（芯出し）するためには、無標本状態、又は視野内の無標本の位置から抽出されたサンプル点が必要であり、芯出しの都度、少なくとも視野の一部を無標本状態にしなければならずユーザの手間となる。また、視野内の無標本の領域が少ない場合は、検出精度が低下してしまうおそれがあった。【０００６】
本発明は、上記に鑑みてなされたものであって、簡易かつ高精度に観察光の光軸中心を検出することができる画像処理装置、画像処理システム、顕微鏡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得部と、前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出部と、を備えることを特徴とする。【０００８】
また、本発明に係る画像処理システムは、互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得部と、前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出部と、前記光軸中心検出部が検出した前記観察光の光軸の中心と、前記画像の中心とを含む表示画像を生成する表示画像生成部と、を有する画像処理装置と、前記表示画像生成部が生成した前記表示画像を表示する表示装置と、を備えることを特徴とする。【０００９】
また、本発明に係る顕微鏡システムは、互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得部と、前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出部と、前記光軸中心検出部が検出した前記観察光の光軸の中心と、前記画像の中心とを含む表示画像を生成する表示画像生成部と、を有する画像処理装置と、前記表示画像生成部が生成した前記表示画像を表示する表示装置と、前記被写体の像を結像する光学系と、前記被写体と前記光学系との少なくとも一方を前記第１又は第２の方向に移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、前記光学系が結像した前記被写体の像を撮像する撮像手段と、前記被写体を載置するステージと、を備え、前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させることを特徴とする。【００１０】
また、本発明に係る画像処理方法は、互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得ステップと、前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出ステップと、を含むことを特徴とする。【００１１】
また、本発明に係る画像処理プログラムは、互いに異なる第１及び第２の方向のそれぞれにおいて、一方の画像が他方の画像との間で被写体の一部が共通する共通領域を有する２つの画像を含む第１及び第２の画像群を取得する画像取得手順と、前記第１及び第２の画像群の各共通領域の輝度に基づく前記第１及び第２の方向のシェーディング成分の変化量をもとに、前記画像を形成する観察光の光軸の中心を検出する光軸中心検出手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、簡易かつ高精度に観察光の光軸中心を検出することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施の形態１に係る画像処理装置を含む画像処理システムの構成例を示すブロック図である。
【図２】図２は、被写体の撮像方法を説明するための模式図である。
【図３】図３は、被写体の撮像方法を説明するための模式図である。
【図４】図４は、図１に示す画像処理装置の動作を示すフローチャートである。
【図５】図５は、視野をずらして撮像した画像を示す図である。
【図６】図６は、水平及び垂直の各方向における平坦度の分布を示す図である。
【図７】図７は、平坦領域の検出処理を説明するための模式図である。
【図８】図８は、本発明の実施の形態１に係る画像処理システムにおいて表示装置が表示する表示画像の一例を示す図である。
【図９】図９は、本実施の形態１の変形例１に係る画像処理システムにおいて表示装置が表示する表示画像の一例を示す図である。
【図１０】図１０は、本発明の実施の形態１の変形例２に係る画像処理システムにおいて中心位置決定部が行う中心位置の決定処理を説明する図である。
【図１１】図１１は、本発明の実施の形態１の変形例２に係る画像処理システムにおいて中心位置決定部が行う中心位置の決定処理を説明する図である。
【図１２】図１２は、本発明の実施の形態２に係る画像処理装置を含む画像処理システムの構成例を示すブロック図である。
【図１３】図１３は、本発明の実施の形態２に係る平坦領域の中心の検出処理を説明するための模式図である。
【図１４】図１４は、本発明の実施の形態２に係る平坦領域の中心の検出処理を説明するための模式図である。
【図１５】図１５は、本発明の実施の形態２に係る平坦領域の中心の検出処理を説明するための模式図である。
【図１６】図１６は、本発明の実施の形態２の変形例に係る平坦領域の中心の検出処理を説明するための模式図である。
【図１７】図１７は、本発明の実施の形態３に係る顕微鏡システムの構成例を示す図である。
【図１８】図１８は、本発明の実施の形態３に係る顕微鏡システムにおけるコンデンサ保持部の構成を示す斜視図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る画像処理装置、画像処理システム、顕微鏡システム、画像処理方法、及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を含む画像処理システムの構成例を示すブロック図である。図１に示すように、本実施の形態１に係る画像処理システム１００は、画像処理装置１と、表示装置２と、入力装置３とを備える。画像処理装置１は、観察対象である被写体が写った画像を含む画像信号を取得する画像取得部１１と、該画像に画像処理を施す画像処理部１２と、記憶部１３とを備える。
【００１６】
画像取得部１１は、撮像視野が互いに異なる複数の画像を取得する。画像取得部１１は、当該画像処理装置１に接続された撮像装置から複数の画像を直接取得してもよいし、ネットワークや記憶装置等を介して複数の画像を取得してもよい。実施の形態１においては、撮像装置から画像を直接取得するものとする。なお、撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であってもよいし、デジタルカメラであってもよい。
【００１７】
図２及び図３は、画像取得部１１の動作を説明するための模式図であり、被写体ＳＰと、撮像装置を備え、被写体ＳＰの像を結像する光学系３０と、光学系３０の撮像視野Ｖとを示している。図２及び図３においては、被写体ＳＰにおける撮像視野Ｖの位置や撮像方法をわかり易くするため、被写体ＳＰ及び撮像視野Ｖの紙面手前から光学系３０の位置をずらし、被写体ＳＰの外側に光学系３０の側面を図示して撮像視野Ｖとの位置関係を示している。以下においては、撮像視野Ｖを含む平面において、該撮像視野Ｖの１つの辺と平行な方向を水平方向とし、該１つの辺と直交する方向を垂直方向とする。
【００１８】
画像取得部１１は、撮像装置の撮像動作を制御する撮像制御部１１１と、被写体ＳＰに対して撮像視野Ｖの位置を変化させる制御を行う駆動制御部１１２とを備える。駆動制御部１１２は、光学系３０と被写体ＳＰとのいずれか又は両方を相対的に移動させることにより、被写体ＳＰに対する撮像視野Ｖの位置を変化させる。図２は、光学系３０を水平方向に移動させる場合を示し、図３は、光学系３０を垂直方向に移動させる場合を示している。撮像制御部１１１は、駆動制御部１１２の制御動作と連動して、所定のタイミングで撮像装置に撮像を実行させ、該撮像装置から撮像視野Ｖ内の被写体が写った画像Ｍ１、Ｍ２、…を取り込む。
【００１９】
本実施の形態１においては、互いに直交する水平方向及び垂直方向の２方向に撮像視野Ｖを移動させる例を説明するが、撮像視野Ｖの移動方向は、互いに異なる２方向であれば、水平方向及び垂直方向に限定されない。また、撮像視野Ｖを移動させる２方向は、必ずしも直交している必要はない。以下、画像Ｍ１、Ｍ２、…内の各画素の位置を（ｘ，ｙ）と記す。
【００２０】
画像処理部１２は、画像取得部１１が取得した複数の画像を用いて、画像に生じているシェーディング成分から、該画像を形成する観察光の光軸の中心を検出するための画像処理を実行する。詳細には、画像処理部１２は、画像内に生じているシェーディングの勾配である平坦度を算出する平坦度算出部１２１と、シェーディングがほとんど生じておらず、シェーディング成分の勾配が最小である平坦領域を画像内から検出する平坦領域検出部１２２と、平坦領域検出部１２２が検出した平坦領域の中心位置を決定する中心位置決定部１２３と、表示装置２に表示させる表示画像を生成する表示画像生成部１２４とを備える。平坦度算出部１２１、平坦領域検出部１２２および中心位置決定部１２３により、光軸中心検出部１０１を構成する。
【００２１】
平坦度算出部１２１は、第１平坦度算出部１２１ａ及び第２平坦度算出部１２１ｂを備える。ここで、平坦度とは、隣接する画素間或いは数画素離れた画素間におけるシェーディング成分の勾配を表す指標である。第１平坦度算出部１２１ａは、被写体ＳＰに対する撮像視野Ｖを水平方向（第１の方向）に移動させることにより取得された２つの画像Ｍ１、Ｍ２（第１の画像群、図２参照）から、水平方向における平坦度を算出する。一方、第２平坦度算出部１２１ｂは、被写体ＳＰに対する撮像視野Ｖを垂直方向（第２の方向）に移動させることにより取得された２つの画像Ｍ２、Ｍ３（第２の画像群、図３参照）から、垂直方向における平坦度を算出する。
【００２２】
平坦領域検出部１２２は、平坦度算出部１２１が算出した水平方向及び垂直方向における平坦度に基づいて、画像内でシェーディングがほとんど生じておらず、シェーディング成分の変化がほとんど見られない領域を検出する。以下、このような領域のことを平坦領域という。
【００２３】
中心位置決定部１２３は、平坦領域検出部１２２が検出した平坦領域の中心位置を決定する。具体的に、平坦領域の中心は、観察光の光軸の中心位置とみなすことができるため、中心位置決定部１２３は、検出された平坦領域をもとに算出した中心位置である画素の位置を、観察光の光軸の中心位置として決定する。
【００２４】
表示画像生成部１２４は、画像取得部１１が取得した画像信号をもとに、表示装置２が表示する表示画像を含む画像データを生成する。表示画像生成部１２４は、画像信号に対して、所定の画像処理を実行して表示画像を含む画像データを生成する。表示画像は、例えば、色空間としてＲＧＢ表色系を採用した場合の変数であるＲ、Ｇ、Ｂの値をそれぞれ有するカラー画像である。
【００２５】
また、表示画像生成部１２４は、中心位置決定部１２３が決定した平坦領域の中心位置と、表示画像の中心位置（撮像視野の中心位置）とを、表示装置２が表示する表示画像を含む表示画像データを生成する。
【００２６】
記憶部１３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ、ハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に対して情報の書き込み及び読み取りを行う書込読取装置等の記憶装置によって構成される。記憶部１３は、画像取得部１１が撮像装置の制御に用いる種々のパラメータや、画像処理部１２により画像処理が施された画像の画像データや、画像処理部１２が算出した種々のパラメータ等を記憶する。
【００２７】
上記画像取得部１１及び画像処理部１２は、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサやＡＳＩＣ（Application  Specific  Integrated  Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。画像取得部１１及び画像処理部１２が汎用プロセッサである場合、記憶部１３が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、画像取得部１１及び画像処理部１２が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部１３が記憶する各種データ等を用いることで、プロセッサと記憶部１３が協働又は結合して種々の処理を実行してもよい。
【００２８】
表示装置２は、例えば、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって構成され、画像処理装置１から出力された画像や関連情報を表示する。
【００２９】
入力装置３は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。
【００３０】
次に、画像処理装置１の動作を説明する。図４は、画像処理装置１の動作を示すフローチャートである。以下においては、一例として、図２及び図３に示す被写体ＳＰが写った画像Ｍ１〜Ｍ３を取得し、該画像に対して補正処理を行うこととする。
【００３１】
まず、ステップＳ１において、画像取得部１１は、撮像視野Ｖを互いに異なる２つの方向に所定量ずつ移動させて被写体ＳＰを撮像することにより生成された複数の画像を取得する。詳細には、駆動制御部１１２が、被写体ＳＰと光学系３０とのいずれかを移動させることにより撮像視野Ｖを所定方向に移動させ、撮像制御部１１１が、撮像視野Ｖの移動方向において、他の１枚の画像との間で撮像視野Ｖの一部が重なるように制御を行う。具体的には、図２に示すように、撮像視野Ｖを水平方向に幅Ｂx分だけずらした画像Ｍ１、Ｍ２と、図３に示すように、撮像視野Ｖを垂直方向に幅Ｂy分だけずらした画像Ｍ２、Ｍ３とを取得する。なお、幅（画像間のずれ量）Ｂx、Ｂyは、画素数によって表される。
【００３２】
図５は、撮像視野Ｖを水平方向にずらして撮像した画像Ｍ１、Ｍ２を示す図である。画像Ｍ１、Ｍ２の間では、画像Ｍ１の左端の幅Ｂxを除く領域と、画像Ｍ２の右端の幅Ｂxを除く領域が、テクスチャ成分が共通する共通領域Ｃとなる。以下、画像Ｍ１内の各画素の輝度をＩ1（ｘ，ｙ）、この輝度Ｉ1（ｘ，ｙ）を構成するテクスチャ成分をＴ1（ｘ，ｙ）、水平方向におけるシェーディング成分をＳｈ（ｘ，ｙ）と記す。同様に、画像Ｍ２内の各画素の画素値（輝度）をＩ2（ｘ，ｙ）、この輝度Ｉ2（ｘ，ｙ）を構成するテクスチャ成分をＴ2（ｘ，ｙ）、シェーディング成分をＳｈ（ｘ，ｙ）と記す。つまり、輝度Ｉ1（ｘ，ｙ）、Ｉ2（ｘ，ｙ）はそれぞれ、次式（１）、（２）によって与えられる。
Ｉ1（ｘ，ｙ）＝Ｔ1（ｘ，ｙ）×Ｓｈ（ｘ，ｙ）  …（１）
Ｉ2（ｘ，ｙ）＝Ｔ2（ｘ，ｙ）×Ｓｈ（ｘ，ｙ）  …（２）
【００３３】
続くステップＳ２において、平坦度算出部１２１は、水平及び垂直の方向別の平坦度を算出する。
【００３４】
図５に示すように、画像Ｍ１、Ｍ２の間で撮像視野Ｖが水平方向に幅Ｂxだけずれている場合、画像Ｍ１内の画素（ｘ，ｙ）と画像Ｍ２内の画素（ｘ−Ｂx，ｙ）との間ではテクスチャ成分Ｔ1（ｘ，ｙ）、Ｔ2（ｘ−Ｂx，ｙ）が共通となる。従って、次式（３）が成り立つ。
【数１】
2017068655.tif 000003
【００３５】
つまり、テクスチャ成分Ｔ1（ｘ，ｙ）、Ｔ2（ｘ−Ｂx，ｙ）が共通である画素の輝度比は、水平方向において幅Ｂxだけ離れた画素間におけるシェーディング成分Ｓｈの比を表す。そこで、本実施の形態１においては、次式（４）に示すように、水平方向において幅Ｂxだけ離れた画素間におけるシェーディング成分Ｓｈの比の対数を取り、この対数の絶対値を、水平方向における平坦度Ｆｌａｔhとして算出する。
【数２】
2017068655.tif 000004
【００３６】
ここで、一般にシェーディング成分は低周波であるため、式（４）の輝度Ｉ1（ｘ，ｙ）、Ｉ2（ｘ，ｙ）に対してはローパスフィルタ等により低周波成分を算出することが望ましい。Ｉ1（ｘ，ｙ）、Ｉ2（ｘ，ｙ）の位置合わせ誤差や収差等の誤差によりテクスチャ成分が相殺されずに発生するアーチファクトが、Ｉ1（ｘ，ｙ）、Ｉ2（ｘ，ｙ）の低周波成分の除算（log減算）とすることで軽減される。例えば、式（４）のＩ1（ｘ，ｙ）、Ｉ2（ｘ，ｙ）を該Ｉ1（ｘ，ｙ）、Ｉ2（ｘ，ｙ）の低周波成分ＩL1（ｘ，ｙ）、ＩL2（ｘ，ｙ）に置き換えることで平坦度Ｆｌａｔhが算出される。後述する式（５）についても同様である。
【００３７】
また、視野内に動体が存在する場合、画像間で動体の位置がずれ、テクスチャ成分が相殺されず大きな誤差となる。このような場合は画像間差分に対する閾値処理等の公知の動体領域検出処理により、動体領域を検出し、その領域に対しては周囲の平坦度により補間する。シェーディング成分が検出できない白飛び・黒つぶれ領域も同様に周囲から補間する。さらには、水平方向へ幅Ｂx移動することを繰り返して画像を取得し、複数の画像ペアから平坦度Ｆｌａｔhを算出し平均化することで、安定して平坦度Ｆｌａｔhを算出できる。
【００３８】
同様に、次式（５）に示すように、垂直方向において幅Ｂyだけ離れた画素間におけるシェーディング成分Ｓｖの比の対数の絶対値を、垂直方向における平坦度Ｆｌａｔvとして算出する。
【数３】
2017068655.tif 000005
【００３９】
なお、後述するように、平坦度Ｆｌａｔh、Ｆｌａｔvは、画像内でシェーディング成分の勾配が相対的に小さい領域を探索するために算出するものなので、式（４）、（５）において用いる対数は、自然対数及び常用対数のいずれであっても良い。
【００４０】
図６は、式（４）、（５）により算出された平坦度Ｆｌａｔh、Ｆｌａｔvを画素値として作成した平坦度マップであり、水平及び垂直の各方向における平坦度の分布を示す。このうち、図６の（ａ）に示す平坦度マップＭflat＿hは、水平方向における平坦度の分布を示す。ここで、図５に示すように、平坦度は共通領域Ｃについてのみ算出されるため、平坦度マップＭflat＿hのサイズは、画像Ｍ１、Ｍ２に対して両端の幅Ｂxの分だけ小さくなる。そこで、平坦度マップＭflat＿hに対し、幅Ｂx／２に相当する余白ｍ１を左右両端に追加することにより、画像Ｍ１、Ｍ２に画像サイズを揃える。図６の（ｂ）に示す垂直方向の平坦度マップＭflat＿vについても同様に、幅Ｂy／２に相当する余白ｍ２を上下両端に追加する。
【００４１】
シェーディング成分の勾配が小さいほど、即ち、シェーディング成分Ｓｈ1（ｘ，ｙ）、Ｓｈ2（ｘ，ｙ）の値が近いほど、平坦度Ｆｌａｔhの値は小さくなり、図６の（ａ）に示す平坦度マップＭflat＿hにおける画素値はゼロ（即ち、黒色）に近づく。図６の（ｂ）に示す平坦度マップＭflat＿vについても同様である。
【００４２】
続くステップＳ３において、平坦領域検出部１２２は、ステップＳ２において作成した方向別の平坦度マップＭflat＿h、Ｍflat＿vに基づいて、平坦領域を検出する。
【００４３】
詳細には、まず、方向別の平坦度マップＭflat＿h、Ｍflat＿vを加算することにより、図７に示す合成平坦度マップＭflat＿h+vを作成する。この際、各平坦度マップＭflat＿h、Ｍflat＿vに追加した余白ｍ１、ｍ２の部分を除いて加算を行い、その後、合成平坦度マップＭflat＿h+vの周囲に余白ｍ３を追加することにより、画像Ｍ１〜Ｍ３と画像サイズを合わせる。
【００４４】
続くステップＳ４において、中心位置決定部１２３は、この合成平坦度マップＭflat＿h+vにおける画素値、即ち平坦度Ｆｌａｔh、Ｆｌａｔvの和が最小値を取る画素の位置（ｘmin0，ｙmin0）を、平坦領域の中心位置として決定する。中心位置決定部１２３は、検出された平坦領域の中心位置である画素の位置（ｘmin0，ｙmin0）を、観察光の光軸の中心位置として決定する。なお、中心位置決定部１２３は、中心位置の画素として決定した当該画素の中心を中心位置とする。
【００４５】
続くステップＳ５において、表示画像生成部１２４は、中心位置決定部１２３が決定した平坦領域の中心位置（画素の位置（ｘmin0，ｙmin0））と、表示画像の中心位置（撮像視野の中心位置）とを、表示装置２に表示させる表示画像を含む表示画像データを生成する。
【００４６】
図８は、表示装置２が表示する表示画像の一例を示す図であり、ステップＳ５において生成された表示画像について説明する図である。図８に示す表示画像Ｗ１には、中心位置決定部１２３が決定した平坦領域の中心位置の画素の位置（ｘmin0，ｙmin0）に応じて配置され、観察光の光軸の中心位置を示す光軸中心マークＰ1と、表示画像Ｗ１の中心位置（撮像視野の中心位置）を示す画像中心マークＰ2とが表示される。ユーザは、表示画像Ｗ１を確認することで、観察光の光軸の中心と、撮像視野の中心、例えば、撮像装置における撮像素子の中心とのずれを把握することができる。
【００４７】
ユーザは、このずれに応じて、例えば顕微鏡のコンデンサレンズなどを移動させるなどして観察光の光軸の中心位置の調整を行うことによって、観察光の光軸の中心と撮像素子の中心との調整（芯出し）を行う。また、例えば、デジタルカメラの製造時に光軸中心マークＰ1と画像中心マークＰ2とを表示させて確認することで、撮像素子の中心とレンズの光軸とを調整することができる。
【００４８】
続くステップＳ６において、画像処理装置１は、観察光の光軸の中心の再検出指示の入力があるか否かを判断する。ここで、画像処理装置１は、再検出の指示入力がなければ（ステップＳ６：Ｎｏ）、上述した処理を終了する。これに対し、画像処理装置１は、再検出の指示入力がある場合（ステップＳ６：Ｙｅｓ）、ステップＳ１に戻り、上述した処理を繰り返す。画像処理装置１は、例えば入力装置３を介して入力される信号をもとに再検出の指示入力があるか否かを判断する。なお、所定の時間間隔で再検出処理を行なうなど、中心の検出処理の繰り返しは、任意に設定可能である。
【００４９】
ユーザは、顕微鏡のコンデンサレンズなどを移動させるなどして観察光の光軸の中心位置を変更後、入力装置３を介して再検出指示を入力することで、変更後の光軸中心マークＰ1と、画像中心マークＰ2とを、都度確認しながら、観察光の光軸の中心と、撮像素子の中心とを近づけていく。
【００５０】
以上説明した本発明の実施の形態１によれば、シェーディングがほとんど生じておらず、シェーディング成分の勾配が最小である平坦領域を画像内から検出し、この平坦領域の中心を観察光の光軸の中心として決定するようにしたので、簡易かつ高精度に観察光の光軸中心を検出することができる。これにより、ユーザは、決定した観察光の光軸の中心と撮像視野の中心とを比較することで、簡易かつ正確に観察光の中心と、撮像視野（撮像素子）の中心との調整（芯出し）を行うことが可能となる。正確に観察光の中心と、撮像視野（撮像素子）の中心との調整（芯出し）を行うことで、観察光の偏りを解消した最適な画像を得ることができる。
【００５１】
（実施の形態１の変形例１）
上述した実施の形態１では、図４のステップＳ６において再検出指示があった場合に、観察光の光軸の中心の検出を再度行って、表示画像を生成する、即ち、再検出した中心の位置のみを表示するものとして説明したが、前回検出した中心の位置を表示させるようにしてもよい。図９は、本実施の形態１の変形例１に係る画像処理システムにおいて表示装置が表示する表示画像の一例を示す図である。
【００５２】
図９に示す表示画像Ｗ２には、今回検出された観察光の光軸の中心位置である光軸中心マークＰ1と、画像中心マークＰ2とに加え、時系列で過去（異なる時間）である前回及び前々回検出された光軸中心マークＰ11，Ｐ12が表示されている。これにより、ユーザは、自身の操作による観察光の光軸の移動方向及び移動量を把握することができ、一層簡易に観察光の中心と、撮像視野（撮像素子）の中心との調整（芯出し）を行うことが可能である。
【００５３】
なお、本変形例１において、表示画像生成部１２４が、中心位置決定部１２３が異なる時間において検出した複数の観察光の光軸の中心の位置（光軸中心マークＰ1及び光軸中心マークＰ11，Ｐ12）を直線近似した軌跡を生成し、表示装置２に表示させるようにしてもよい。軌跡を表示することで、ユーザは、操作によって中心が移動した方向をより正確に把握することができる。
【００５４】
（実施の形態１の変形例２）
上述した実施の形態１では、中心位置決定部１２３が、平坦度Ｆｌａｔh、Ｆｌａｔvの和が最小値を取る画素の位置（ｘmin0，ｙmin0）を、平坦領域の中心位置として決定するものとして説明したが、さらに曲面フィッティングを用いて平坦領域の中心位置を決定するようにしてもよい。
【００５５】
図１０は、本実施の形態１の変形例２に係る画像処理システムにおいて中心位置決定部が行う中心位置の決定処理を説明する図であって、平坦領域（合成平坦度マップＭflat＿h+v）における曲面フィッティング実施領域を説明する図である。図１１は、本実施の形態１の変形例２に係る画像処理システムにおいて中心位置決定部が行う中心位置の決定処理を説明する図であって、曲面フィッティングを説明する図である。図１１は、横軸のなす平面が画素におけるｘ座標およびｙ座標の直交座標系を示し、縦軸が平坦度を示すグラフである。
【００５６】
本変形例２では、中心位置決定部１２３は、上述した実施の形態１で説明したように、平坦度Ｆｌａｔh、Ｆｌａｔvの和が最小値を取る画素の位置（ｘmin0，ｙmin0）を決定後、この画素の位置（ｘmin0，ｙmin0）を中心とする領域Ｒについて曲面フィッティングを実施する。
【００５７】
具体的に、中心位置決定部１２３は、一例として、２次関数である下式（６）によるパラボラフィッティングを用いた曲面フィッティングを行う。
【数４】
2017068655.tif 000006
ここでＭ（ｘ、ｙ）は平坦度マップにおける画素（ｘ、ｙ）の画素値、即ち平坦度Ｆｌａｔh、Ｆｌａｔvの和である。式（６）は変形すると、
【数５】
2017068655.tif 000007
となり、２次関数の頂点（−ｃ／２ａ，−ｄ／２ｂ）が観察光の光軸の中心となる。検出した最小値の画素位置（ｘmin0，ｙmin0）と周囲４近傍の画素位置について、式（７）より、
【数６】
2017068655.tif 000008
が得られる。この式（８）を解くと係数ａ、ｂ、ｃ、ｄが求まり、頂点（−ｃ／２ａ，−ｄ／２ｂ）を計算できる。この頂点（−ｃ／２ａ，−ｄ／２ｂ）は、図１１に示す曲面フィッティングの点Ｐ3である。中心位置決定部１２３は、この点Ｐ3（頂点（−ｃ／２ａ，−ｄ／２ｂ））に対応する位置を、観察光の光軸の中心位置として決定する。
【００５８】
本変形例２によれば、上述した実施の形態１と比して、一層高精度に観察光の光軸の中心を求めることができる。上述した実施の形態１では、中心位置決定部１２３が、中心位置の画素として決定した当該画素の中心を中心位置とするものとして説明したが、本変形例２では、例えば、この画素内でより詳細に中心位置を決定することができる。
【００５９】
本変形例２では、曲面フィッティングの他にも、画像間マッチング等において利用される公知のサブピクセル推定法を利用してもよい。
【００６０】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１２は、本発明の実施の形態２に係る画像処理装置を含む画像処理システムの構成例を示すブロック図である。なお、上述した構成と同じ構成要素には、同一の符号が付してある。上述した実施の形態１では、中心位置決定部１２３が、平坦度Ｆｌａｔh、Ｆｌａｔvの和が最小値を取る画素の位置（ｘmin0，ｙmin0）を、平坦領域の中心位置として決定するものとして説明したが、本実施の形態２では、画像Ｍ１，Ｍ２内の各画素の輝度Ｉ1（ｘ，ｙ），Ｉ２（ｘ，ｙ）を比較して、この比較結果をもとに観察光の光軸の中心を求める。
【００６１】
本実施の形態２に係る画像処理システム１１０は、図１２に示すように、画像処理装置１ａと、表示装置２と、入力装置３とを備える。画像処理装置１ａは、観察対象である被写体が写った画像を含む画像信号を取得する画像取得部１１と、該画像に画像処理を施す画像処理部１４と、記憶部１３とを備える。
【００６２】
画像処理部１４は、画像取得部１１が取得した複数の画像の輝度を用いて、画像に生じているシェーディング成分から観察光の光軸の中心を検出するための画像処理を実行する。詳細には、画像処理部１４は、画像取得部１１が取得した複数の画像を用いて、画像に生じているシェーディング成分から観察光の光軸の中心を検出する光軸中心検出部１４１と、表示装置２に表示させる表示画像を生成する表示画像生成部１４２とを備える。
【００６３】
光軸中心検出部１４１は、撮像視野Ｖを水平方向（第１の方向）及び垂直方向（第２の方向）に移動させることによりそれぞれ取得された２つの画像の共通領域Ｃにおける輝度の大小関係を比較する比較部１４１ａと、比較部１４１ａによる比較結果を２値化して２値のマップ（以下、２値マップという）を生成するマップ生成部１４１ｂと、マップ生成部１４１ｂにより生成された２値マップから、上述した平坦領域の中心であって、観察光の光軸の中心の位置を決定する中心位置決定部１４１ｃとを備える。
【００６４】
続いて、観察光の光軸の中心を検出する処理について説明する。まず、比較部１４１ａが、撮像視野Ｖを水平方向（第１の方向）に移動させることにより取得された２つの画像Ｍ１，Ｍ２（第１の画像群、図２参照）の共通領域Ｃ（図５参照）における輝度Ｉ1（ｘ，ｙ），Ｉ２（ｘ，ｙ）の大小関係を比較する。実施の形態１で述べたように、共通領域Ｃではテクスチャ成分が共通のため、輝度の比較結果はシェーディング成分の比較結果となる。
【００６５】
その後、マップ生成部１４１ｂが、比較部１４１ａによる比較結果を２値化して２値マップを生成する。マップ生成部１４１ｂは、例えば、輝度Ｉ1（ｘ，ｙ）が輝度Ｉ２（ｘ，ｙ）と比して大きい場合、当該座標に１を付与する。これに対し、マップ生成部１４１ｂは、例えば、輝度Ｉ1（ｘ，ｙ）が輝度Ｉ２（ｘ，ｙ）以下の場合、当該座標に０を付与する。図１３は、本発明の実施の形態２に係る平坦領域の中心の検出処理を説明するための模式図である。図１３は、共通領域Ｃにおける輝度の大小の比較結果の白（例えば、値を１とする）と黒（例えば、値を０とする）との２値マップＭtv＿xで示す。
【００６６】
次に、中心位置決定部１４１ｃが、２値マップにおいて値が切り替わる位置をもとに、当該位置を観察光の光軸の中心の位置として決定する。ここで、２値マップＭtv＿xの０と１との値が切り替わる位置においては、Ｉ1（ｘ，ｙ），Ｉ２（ｘ，ｙ）のシェーディング成分がほぼ等しく（シェーディング成分の変化量がゼロ又はほぼゼロ）、シェーディング成分が平坦であるとみなせる。そこで、０と１との値が切り替わる位置を求めるため、中心位置決定部１４１ｃは、例えば、２値マップＭtv＿xの値を縦方向（ｙ方向：垂直方向）に累積加算したグラフを生成する。図１４は、平坦領域の中心の検出処理を説明するための模式図であって、図１３に示す２値マップを縦方向（ｙ方向：垂直方向）に累積加算したグラフである。図１４の（ａ）は、輝度比較後に生成された２値マップＭtv＿xを示す。図１４の（ｂ）は、横軸が画素におけるｘ座標上の位置を示し、縦軸が画像の高さ（累積加算値）を示すグラフである。図１４の（ｂ）は、平滑化処理後の曲線を示している。
【００６７】
２値マップの白を１、黒を０とすると、縦方向へ累積加算した場合、最大値は画像の高さとなる。ここで、中心位置決定部１４１ｃは、累積加算したグラフにおいて画像の高さの半分の値（最大値の半分の値）をとる位置を求め、この位置を２値マップＭtv＿xの０と１との値が切り替わる位置とする。
【００６８】
このようにして、中心位置決定部１４１ｃは、水平方向におけるシェーディング成分が平坦な位置ｘmin0を求め、この位置ｘmin0を、上述した平坦領域の中心、即ち観察光の光軸の中心のｘ座標とする。
【００６９】
中心位置決定部１４１ｃは、垂直方向においても同様にして、撮像視野Ｖを垂直方向（第２の方向）に移動させることにより取得された２つの画像Ｍ２、Ｍ３（第２の画像群、図３参照）を用いて垂直方向におけるシェーディング成分が平坦な位置を求め、観察光の光軸の中心のｙ座標を求める。図１５は、平坦領域の中心の検出処理を説明するための模式図であって、２値マップＭtv＿yの値を横方向（ｘ方向：水平方向）に累積加算したグラフである。図１５の（ａ）は、輝度比較後に生成された２値マップＭtv＿yを示す。図１５の（ｂ）は、横軸が画像の高さ（累積加算値）を示し、縦軸が画素におけるｙ座標を示すグラフである。
【００７０】
縦方向と同様に、横方向へ累積加算した場合、最大値は画像の幅となる。ここで、中心位置決定部１４１ｃは、累積加算したグラフにおいて画像の幅の半分の値（最大値の半分の値）をとる位置を求め、この位置を２値マップＭtv＿yの０と１との値が切り替わる位置とする。このようにして、中心位置決定部１４１ｃは、垂直方向におけるシェーディング成分が平坦な位置ｙmin0を求め、この位置ｙmin0を、平坦領域の中心、即ち観察光の光軸の中心のｙ座標とする。
【００７１】
中心位置決定部１４１ｃは、上述したように、観察光の光軸の中心のｘ座標およびｙ座標を決定すると、この座標（ｘmin0，ｙmin0）を観察光の光軸の中心位置とする。その後は、上述した実施の形態１と同様にして、決定した観察光の光軸の中心位置である座標（ｘmin0，ｙmin0）に応じて配置され、観察光の光軸の中心位置を示す光軸中心マークＰ1と、表示画像Ｗ１の中心位置（撮像視野の中心位置）を示す画像中心マークＰ2とを表示装置２に表示させる。ユーザは、この表示画像を確認することで、観察光の光軸の中心と、撮像視野の中心、例えば、撮像装置における撮像素子の中心とのずれを把握することができる。
【００７２】
以上説明した本発明の実施の形態２によれば、シェーディングがほとんど生じていない観察光の光軸の中心を、撮像視野の異なる２つの画像の輝度をもとに検出し、この平坦領域の中心を観察光の光軸の中心として決定するようにしたので、簡易かつ高精度に観察光の光軸の中心を検出することができる。これにより、ユーザは、決定した観察光の光軸の中心と撮像視野の中心とを比較することで、簡易かつ正確に観察光の中心と、撮像視野（撮像素子）の中心との調整（芯出し）を行うことが可能となる。正確に観察光の中心と、撮像視野（撮像素子）の中心との調整（芯出し）を行うことで、観察光の偏りを解消した最適な画像を得ることができる。
【００７３】
また、本実施の形態２によれば、２つの画像の輝度の比較により観察光の光軸の中心を求めるようにしたので、上述した実施の形態１と比して簡易に観察光の光軸の中心を求めることができる。
【００７４】
（実施の形態２の変形例）
上述した実施の形態２では、累積加算値の最大値の半分の値となる位置を観察光の光軸の中心位置として決定するものとして説明したが、水平方向および垂直方向の各２値マップにおいて、０と１との値が切り替わる位置を最小二乗法により直線フィッティングし、２つの直線の交点を観察光の光軸の中心としてもよい。図１６は、本発明の実施の形態２の変形例に係る平坦領域の中心の検出処理を説明するための模式図であって、水平方向および垂直方向において０と１との値が切り替わる位置をプロットしたグラフである。
【００７５】
図１６に示すように、中心位置決定部１４１ｃは、水平方向および垂直方向における任意の位置において０と１との値が切り替わる座標をプロットする。このグラフは、例えば、図１４，１５に示す水平方向および垂直方向の２値マップにおいて互いの座標を一致させて合成したグラフであり、横軸はｘ座標を示し、縦軸はｙ座標を示している。図１６において、黒丸が、任意の位置であって、ｘ座標において０と１との値が切り替わる位置を示し、黒四角が、任意の位置であって、ｙ座標において０と１との値が切り替わる位置を示している。
【００７６】
中心位置決定部１４１ｃは、この０と１との値が切り替わる位置（黒丸および黒四角）をそれぞれ最小二乗法により直線フィッティングして２つの直線（直線Ｑｘ，Ｑｙ）を算出する。中心位置決定部１４１ｃは、直線Ｑｘ，Ｑｙの交点の座標（ここでは画素の位置（ｘmin0，ｙmin0）とする）を観察光の光軸の中心として決定する。
【００７７】
その後は、上述した実施の形態１，２と同様にして、決定した観察光の光軸の中心位置である座標（ｘmin0，ｙmin0）に応じて配置され、観察光の光軸の中心位置を示す光軸中心マークＰ1と、表示画像Ｗ１の中心位置（撮像視野の中心位置）を示す画像中心マークＰ2とを表示装置２に表示させる。ユーザは、この表示画像を確認することで、観察光の光軸の中心と、撮像視野の中心、例えば、撮像装置における撮像素子の中心とのずれを把握することができる。
【００７８】
なお、上述した実施の形態１，２では、ユーザの操作によって観察光の光軸の中心位置を調整するものとして説明したが、撮像素子側を移動させて、観察光の光軸の中心と撮像素子の中心との位置を調整するものであってもよいし、観察光の光軸の中心位置を決定後に、観察光の光軸の中心位置を自動で調整する光軸中心調整部を有するものであってもよい。例えば、駆動制御部１１２や、駆動制御部１１２とは別に設けられた駆動制御部が光軸中心調整部として機能し、コンデンサレンズを自動で移動させる機構を有する場合、中心位置決定部１２３又は駆動制御部が、決定された観察光の光軸の中心位置（座標）と、撮像素子の中心位置（座標）とをもとに観察光の光軸の中心位置の移動方向および移動量を算出した後、算出した移動量に応じたコンデンサレンズの移動方向および移動量を算出して、例えば、駆動制御部１１２が算出した移動方向および移動量を含む制御信号をコンデンサレンズの移動機構に出力して位置制御を行うことで、観察光の光軸の中心位置を自動で調整することができる。
【００７９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１７は、本発明の実施の形態３に係る顕微鏡システムの構成例を示す図である。図１７に示すように、本実施の形態３に係る顕微鏡システム２００は、上述した画像処理システム１００と、顕微鏡装置４とを備える。具体的には、顕微鏡システム２００は、画像処理装置１と、表示装置２と、入力装置３と、顕微鏡装置４とを備える。画像処理装置１、表示装置２および入力装置３は上述した実施の形態１と同様の構成をなし、画像処理装置１は顕微鏡装置４から取得した画像信号をもとに表示画像の生成処理を行なう。
【００８０】
顕微鏡装置４は、落射照明ユニット４０１及び透過照明ユニット４０２が設けられた略Ｃ字形のアーム４００と、該アーム４００に取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ４０３と、鏡筒４０５の一端側に三眼鏡筒ユニット４０８を介して標本ステージ４０３と対向するように設けられた対物レンズ４０４と、鏡筒４０５の他端側に設けられた撮像部４０６と、標本ステージ４０３を移動させるステージ位置変更部４０７と、コンデンサレンズを保持するコンデンサ保持部４１１とを有する。三眼鏡筒ユニット４０８は、対物レンズ４０４から入射した被写体ＳＰの観察光を、撮像部４０６と後述する接眼レンズユニット４０９とに分岐する。接眼レンズユニット４０９は、ユーザが被写体ＳＰを直接観察するためのものである。
【００８１】
落射照明ユニット４０１は、落射照明用光源４０１ａ及び落射照明光学系４０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系４０１ｂは、落射照明用光源４０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
【００８２】
透過照明ユニット４０２は、透過照明用光源４０２ａ及び透過照明光学系４０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系４０２ｂは、透過照明用光源４０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
【００８３】
対物レンズ４０４は、倍率が互いに異なる複数の対物レンズ、例えば、対物レンズ４０４、４０４’を保持可能なレボルバ４１０に取り付けられている。このレボルバ４１０を回転させて、標本ステージ４０３と対向する対物レンズ４０４、４０４’を変更することにより、撮像倍率を変化させることができる。
【００８４】
鏡筒４０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。なお、鏡筒４０５内の駆動部にエンコーダをさらに設けてもよい。この場合、エンコーダの出力値を画像処理装置１に出力し、画像処理装置１において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしてもよい。
【００８５】
撮像部４０６は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、該撮像素子が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を含む画像信号を取得可能なカメラであり、画像処理装置１の撮像制御部１１１の制御に従って、所定のタイミングで動作する。撮像部４０６は、対物レンズ４０４から鏡筒４０５内の光学系を介して入射した光（観察光）を受光し、観察光に対応する画像を含む画像信号を生成して画像処理装置１に出力する。或いは、撮像部４０６は、ＲＧＢ色空間で表された画素値を、ＹＣｂＣｒ色空間で表された画素値に変換して画像処理装置１に出力してもよい。
【００８６】
ステージ位置変更部４０７は、例えばボールネジ及びステッピングモータ４０７ａを含み、標本ステージ４０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる移動手段である。また、ステージ位置変更部４０７には、標本ステージ４０３をＺ軸に沿って移動させることにより、対物レンズ４０４の焦点を被写体ＳＰに合わせる。なお、ステージ位置変更部４０７の構成は上述した構成に限定されず、例えば超音波モータ等を使用しても良い。
【００８７】
なお、本実施の形態３においては、対物レンズ４０４を含む光学系の位置を固定し、標本ステージ４０３側を移動させることにより、被写体ＳＰに対する撮像視野を変化させるが、対物レンズ４０４を光軸と直交する面内において移動させる移動機構を設け、標本ステージ４０３を固定して、対物レンズ４０４側を移動させることにより、撮像視野を変化させることとしてもよい。或いは、標本ステージ４０３及び対物レンズ４０４の双方を相対的に移動させてもよい。
【００８８】
本実施の形態３では、画像取得部１１のうち、駆動制御部１１２は、標本ステージ４０３に搭載されたスケールの値等に基づき、予め定められたピッチで該標本ステージ４０３の駆動座標を指示することにより標本ステージ４０３の位置制御を行うが、顕微鏡装置４により取得された画像に基づくテンプレートマッチング等の画像マッチングの結果に基づいて標本ステージ４０３の位置制御を行ってもよい。本実施の形態３においては、被写体ＳＰの面内で撮像視野Ｖを水平方向に移動させた後、垂直方向に移動させるだけなので、標本ステージ４０３の制御は非常に容易である。
【００８９】
図１８は、本発明の実施の形態３に係る顕微鏡システムにおけるコンデンサ保持部の構成を示す斜視図である。コンデンサ保持部４１１は、観察光の光軸の中心位置（照明光の集光位置）を調整するためのコンデンサレンズを保持するとともに、当該コンデンサレンズの芯出しを行うための二つの芯出しつまみ（芯出しつまみ４１１ａ，４１１ｂ：光軸中心調整部）を有する。芯出しつまみ４１１ａ，４１１ｂは、コンデンサ保持部４１１において、螺合により取り付けられており、自身の回転によりコンデンサレンズの光軸と直交する方向に進退自在である。コンデンサレンズは、芯出しつまみ４１１ａ，４１１ｂの進退動作により、光軸と直交する平面上を移動可能である。ユーザは、芯出しつまみ４１０ａ，４１０ｂの少なくともいずれか一方を回転させることで、コンデンサレンズの位置を変更させて、芯出しを行う。
【００９０】
本顕微鏡システム２００における芯出し処理は、例えば、図４に示す処理に沿って行われる。具体的には、まず、ステップＳ１において、画像取得部１１は、顕微鏡装置４の撮像部４０６が生成した画像信号であって、撮像視野Ｖを互いに異なる２つの方向に所定量ずつ移動させて被写体ＳＰ（図２参照）を撮像することにより生成された複数の画像信号を取得する。
【００９１】
続くステップＳ２において、平坦度算出部１２１が、水平及び垂直の方向別の平坦度Ｆｌａｔh、Ｆｌａｔvを算出する。その後、平坦度算出部１２１は、算出された平坦度Ｆｌａｔh、Ｆｌａｔvを画素値として作成した平坦度マップＭflat＿h，Ｍflat＿vを作成する（図６参照）。
【００９２】
続いて、平坦領域検出部１２２が、ステップＳ２において作成した方向別の平坦度マップＭflat＿h、Ｍflat＿vに基づいて合成平坦度マップＭflat＿h+vを作成することで、平坦領域の検出を行う（ステップＳ３）。その後、中心位置決定部１２３が、この合成平坦度マップＭflat＿h+vにおける画素値、即ち平坦度Ｆｌａｔh、Ｆｌａｔvの和が最小値を取る画素の位置（ｘmin0，ｙmin0）を、平坦領域の中心位置として決定する（ステップＳ４）。中心位置決定部１２３は、検出された平坦領域の中心位置である画素の位置（ｘmin0，ｙmin0）を、観察光の光軸の中心位置として決定する。
【００９３】
続くステップＳ５において、表示画像生成部１２４は、中心位置決定部１２３が決定した平坦領域の中心位置（画素の位置（ｘmin0，ｙmin0））と、表示画像の中心位置（撮像視野の中心位置）とを、表示装置２に表示させる表示画像を含む表示画像データを生成する。
【００９４】
ユーザは、ステップＳ５で生成され、表示装置２に表示された表示画像Ｗ１（図８参照）の光軸中心マークＰ1と、画像中心マークＰ2とを確認することで、観察光の光軸の中心と、撮像視野の中心、例えば、撮像装置における撮像素子の中心とのずれを把握することができる。
【００９５】
また、ユーザは、このずれに応じて、例えば顕微鏡のコンデンサレンズなどを移動させるなどして観察光の光軸の中心位置の調整を行うことによって、観察光の光軸の中心と撮像素子の中心との調整（芯出し）を行う。具体的には、ユーザが、芯出しつまみ４１１ａ，４１１ｂの少なくともいずれか一方を回転させることで、コンデンサレンズの位置を変更させて、観察光の光軸の中心位置を変更する。
【００９６】
その後、ユーザは、顕微鏡のコンデンサレンズなどを移動させるなどして観察光の光軸の中心位置を変更後、入力装置３を介して再検出指示を入力することで（ステップＳ６：Ｙｅｓ）、変更後の光軸中心マークＰ1と、画像中心マークＰ2とを、都度確認しながら、観察光の光軸の中心と、撮像素子の中心とを近づけていく。
【００９７】
以上説明した本発明の実施の形態３によれば、シェーディングがほとんど生じておらず、シェーディング成分の勾配が最小である平坦領域を画像内から検出し、この平坦領域の中心を観察光の光軸の中心として決定するようにしたので、簡易かつ高精度に観察光の光軸の中心を検出することができる。これにより、ユーザは、決定した観察光の光軸の中心と撮像視野の中心とを比較することで、簡易かつ正確に観察光の中心と、撮像視野（撮像素子）の中心との調整（芯出し）を行うことが可能となる。正確に観察光の中心と、撮像視野（撮像素子）の中心との調整（芯出し）を行うことで、観察光の偏りを解消した最適な画像を得ることができる。
【００９８】
また、本実施の形態３において、表示画像生成部１２４が、中心位置決定部１２３が異なる時間において検出した複数の観察光の光軸の中心の位置（光軸中心マークＰ1及び光軸中心マークＰ11，Ｐ12）を直線近似した軌跡を生成し、表示装置２に表示させるようにすれば、ユーザは、芯出しつまみ４１１ａ，４１１ｂの操作によって中心がどの方向に移動したかをより正確に把握することができる。
【００９９】
なお、上述した実施の形態３では、芯出しつまみ４１１ａ，４１１ｂの操作によって観察光の光軸の中心位置を調整するものとして説明したが、観察光の光軸の中心位置を決定後に、観察光の光軸の中心位置を自動で調整するものであってもよい。例えば、芯出しつまみ４１１ａ，４１１ｂに代えて、コンデンサレンズを光軸と直交する平面上で移動させる駆動機構（例えばモータ等）を設けて、中心位置決定部１２３が、決定された観察光の光軸の中心位置（座標）と、撮像素子の中心位置（座標）とをもとに観察光の光軸の中心位置の移動方向および移動量を算出した後、算出した移動量に応じたコンデンサレンズの移動方向および移動量を算出して、例えば、駆動制御部１１２（光軸中心調整部）が、算出された移動方向および移動量をコンデンサレンズの駆動機構に出力して位置制御を行うことで、観察光の光軸の中心位置を自動で調整することができる。
【０１００】
本発明は、上述した各実施の形態１〜３及び変形例そのままに限定されるものではなく、各実施の形態１〜３及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜３及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【０１０１】
このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
【符号の説明】
【０１０２】
１，１ａ  画像処理装置
２  表示装置
３  入力装置
４  顕微鏡装置
１１  画像取得部
１２，１４  画像処理部
１３  記憶部
３０  光学系
１００，１１０  画像処理システム
１０１，１４１  光軸中心検出部
１１１  撮像制御部
１１２  駆動制御部
１２１  平坦度算出部
１２１ａ  第１平坦度算出部
１２１ｂ  第２平坦度算出部
１２２  平坦領域検出部
１２３，１４１ｃ  中心位置決定部
１２４，１４２  表示画像生成部
１４１ａ  比較部
１４１ｂ  マップ生成部
２００  顕微鏡システム
４００  アーム
４０１  落射照明ユニット
４０２  透過照明ユニット
４０３  標本ステージ
４０４  対物レンズ
４０５  鏡筒
４０６  撮像部
４０７  ステージ位置変更部
４０８  三眼鏡筒ユニット
４０９  接眼レンズユニット
４１０  レボルバ
４１１  コンデンサ保持部
４１１ａ，４１１ｂ  芯出しつまみ
【図１】
2017068655.tif 000009
【図２】
2017068655.tif 000010
【図３】
2017068655.tif 000011
【図４】
2017068655.tif 000012
【図５】
2017068655.tif 000013
【図６】
2017068655.tif 000014
【図７】
2017068655.tif 000015
【図８】
2017068655.tif 000016
【図９】
2017068655.tif 000017
【図１０】
2017068655.tif 000018
【図１１】
2017068655.tif 000019
【図１２】
2017068655.tif 000020
【図１３】
2017068655.tif 000021
【図１４】
2017068655.tif 000022
【図１５】
2017068655.tif 000023
【図１６】
2017068655.tif 000024
【図１７】
2017068655.tif 000025
【図１８】
2017068655.tif 000026
【国際調査報告】
2017068655.tif 000027
2017068655.tif 000028
2017068655.tif 000029