(57)【要約】  短時間且つ高精度にシェーディング補正を行うことができる画像処理装置等を提供する。画像処理装置は、互いに異なる第１及び第２の方向のそれぞれにおいて他の画像との間で被写体の一部が共通する第１及び第２の画像群を取得する画像取得部１１と、各画像群において、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部１２１と、画像内の領域に対してシェーディング補正を行う画像補正部１２２とを備え、上記シェーディング成分は、平坦領域における輝度を基準とする正規化シェーディング成分と、平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、画像補正部は正規化シェーディング成分及び非正規化シェーディング成分をもとにシェーディング補正を行う。
2015190013.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる第１及び第２の方向のそれぞれにおいて、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群を取得する画像取得部と、
前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部と、
前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正部と、
を備え、
前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
前記画像補正部は、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
ことを特徴とする画像処理装置。
【請求項２】
前記シェーディング成分算出部は、
前記第１の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第２の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第１シェーディング成分算出部と、
前記第２の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第１の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第２シェーディング成分算出部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部は、
前記画像内の領域のうち、前記正規化シェーディング成分が算出された領域である第１の領域に対し、該正規化シェーディング成分を用いてシェーディング補正を行う第１画像補正部と、
前記画像内の領域のうち、前記正規化シェーディング成分が算出されていない領域である第２の領域に対し、該第２の領域について算出された前記非正規化シェーディング成分と、該非正規化シェーディング成分を算出する際に基準とされた領域について算出された前記正規化シェーディング成分とを用いて、前記シェーディング補正を行う第２画像補正部と、
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２画像補正部は、前記第１及び第２の画像群の一方から算出された前記非正規化シェーディング成分と、前記第１及び第２の画像群の他方から算出された正規化シェーディング成分とを用いて、前記シェーディング補正を行う、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記シェーディング成分算出部は、前記１の画像内の一部の領域に関するシェーディング成分が既知である場合に、該一部の領域における輝度と、前記一部の領域に対して共通の被写体が写った前記他の画像内の領域における輝度と、既知である前記シェーディング成分と、を用いて、前記他の画像内の領域に関するシェーディング成分を算出する、ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせに基づいて、複数の前記他の画像内の領域に関するシェーディング成分をそれぞれ算出し、算出した複数の該シェーディング成分を加算平均する、ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせであって、前記１の画像と前記他の画像との間で共通の被写体が写った領域である共通領域におけるテクスチャ成分が互いに異なる複数の組み合わせに基づいて、前記シェーディング成分を算出する、ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記複数の画像間で対応する領域における輝度を累積加算し、該累積加算した値を用いて、前記シェーディング成分を算出する、ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記シェーディング成分算出部は、前記複数の組み合わせに基づいて複数のシェーディング成分をそれぞれ算出し、該複数のシェーディング成分を加算平均する、ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記シェーディング成分算出部は、前記画像内の領域に対して前記第１及び第２の画像群に基づいてそれぞれ算出された２つの非正規化シェーディング成分と、該２つの非正規化シェーディング成分をそれぞれ算出する際に基準とされた２つの領域に対してそれぞれ算出された２つの正規化シェーディング成分とを用いて、前記画像内の領域におけるシェーディング成分を算出する、ことを特徴とする請求項１〜９いずれか１項に記載の画像処理装置。
【請求項１１】
前記１の画像と前記他の画像との間で共通の被写体が写った領域に含まれる画素の輝度の勾配に基づいて前記平坦領域を探索する平坦領域探索部をさらに備える、ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第１及び第２の方向は互いに直交する、ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
請求項１〜１２のいずれか１項に記載の画像処理装置と、
前記被写体の像を生成する光学系と、
前記被写体と前記光学系との少なくとも一方を移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、
前記被写体を撮像する撮像手段と、
を備え、
前記画像取得部は、前記移動手段に前記視野を前記第１及び第２の方向にそれぞれ移動させながら、前記撮像手段に撮像を実行させる制御を行うことにより、前記第１及び第２の画像群をそれぞれ取得する、
ことを特徴とする撮像装置。
【請求項１４】
請求項１３に記載の撮像装置と、
前記被写体を載置するステージと、
を備え、
前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させる、ことを特徴とする顕微鏡システム。
【請求項１５】
前記画像処理装置は、前記第１及び第２の画像群に含まれる前記視野が隣り合う画像同士を貼り合わせることによりバーチャルスライド画像を作成するバーチャルスライド作成部をさらに備える、ことを特徴とする請求項１４に記載の顕微鏡システム。
【請求項１６】
互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、
前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、
前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、
を含み、
前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
ことを特徴とする画像処理方法。
【請求項１７】
互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、
前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、
前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、
をコンピュータに実行させ、
前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標本等を撮像することにより取得した画像に画像処理を施す画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、スライドガラス上に載置された標本を写した画像を電子データとして記録し、パーソナルコンピュータ等のモニタ上においてユーザが該画像を観察できるようにした、所謂バーチャルスライド技術が知られている。バーチャルスライド技術においては、顕微鏡により拡大された標本の一部の画像を順次貼り合わせることにより、標本全体が写った高解像度の画像を構築する。つまり、バーチャルスライド技術は、同一被写体に対して異なる視野の画像を複数枚取得し、これらの画像をつなぎ合わせることで、被写体に対する視野を拡大した画像を生成する技術である。【０００３】
ところで、顕微鏡は、標本を照明する光源及び標本の像を拡大する光学系を備える。この光学系の後段には、拡大された標本の像を電子的なデータに変換する撮像素子が設けられる。このため、光源の照度ムラや光学系の不均一性、さらには、撮像素子の特性のムラ等に起因して、取得した画像に明度ムラが発生するという問題がある。この明度ムラはシェーディングと呼ばれ、通常、光学系の光軸の位置に対応する画像の中心から遠ざかるに従って暗くなる。そのため、複数の画像を貼り合わせてバーチャルスライド画像を作成する場合、画像のつなぎ目に不自然な境界が生じてしまう。また、複数の画像を貼り合わせることによりシェーディングが繰り返されるため、あたかも標本に周期的な模様が存在しているかのように見えてしまう。【０００４】
このような問題に対し、シェーディングのパターンを較正画像として予め取得し、該較正画像に基づいて、標本が写った画像を補正するシェーディング補正技術が知られている。例えば特許文献１には、透過照明観察の際には光学系の画角外に標本を退避させた状態で撮像を行い、落射照明観察の際には光学系の画角内に反射部材を配置した状態で撮像を行うことで取得した画像を較正画像として使用するシェーディング補正技術が開示されている。【０００５】
また、特許文献２には、蛍光観察の際に、均一な蛍光試料を較正試料として撮像を行うことでシェーディング補正用のデータを取得する方法が開示されている。【０００６】
特許文献３には、試料の所定視野範囲の画像である基準視野画像を撮像すると共に、試料の位置を光学系に対して相対的に移動させて、所定視野範囲内の所定領域を含み、所定視野範囲と互いに異なる周辺視野範囲の画像である周辺視野画像を複数撮像し、基準視野画像と周辺視野画像とに基づいて基準視野画像の各画素の補正ゲインを算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１７１２１３号公報
【特許文献２】特開２００８−５１７７３号公報
【特許文献３】特開２０１３−２５７４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、較正画像を取得するために観察中の標本を一旦退避させる、或いは反射部材を別途配置する場合、作業が煩雑となり、非常に手間がかかると共に、撮像時間が延びてしまう。この点について、特許文献１においては、標本を退避させるための駆動機構等、較正画像を取得するための専用の機能が設けられている。しかしながら、このような機能は一般的な顕微鏡には元来設けられていないため、実用化しようとすると構成が複雑になると共に、大幅なコスト増を招いてしまう。【０００９】
また、特許文献２のように較正試料を用いる場合、較正試料の配置及び退避等の作業が生じる他、損壊やゴミの付着等がないように較正試料を管理する必要があり、余計な手間がかかってしまう。さらに、蛍光観察の際に較正試料として使用できる均一な蛍光試料を作製すること自体が非常に困難であるため、シェーディングを高精度に補正することも難しい。【００１０】
さらに、特許文献３においては、試料を移動させて撮像を行う回数や、基準視野画像と周辺視野画像との組み合わせごとに行われるシェーディング補正に要する時間を削減することについては考慮されていない。【００１１】
本発明は、上記に鑑みてなされたものであり、簡易な構成で、短時間且つ高精度にシェーディング補正を行うことができる画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる第１及び第２の方向のそれぞれにおいて、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群を取得する画像取得部と、前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部と、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正部と、を備え、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正部は、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。【００１３】
上記画像処理装置において、前記シェーディング成分算出部は、前記第１の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第２の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第１シェーディング成分算出部と、前記第２の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第１の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第２シェーディング成分算出部と、を備えることを特徴とする。【００１４】
上記画像処理装置において、前記画像補正部は、前記画像内の領域のうち、前記正規化シェーディング成分が算出された領域である第１の領域に対し、該正規化シェーディング成分を用いてシェーディング補正を行う第１画像補正部と、前記画像内の領域のうち、前記正規化シェーディング成分が算出されていない領域である第２の領域に対し、該第２の領域について算出された前記非正規化シェーディング成分と、該非正規化シェーディング成分を算出する際に基準とされた領域について算出された前記正規化シェーディング成分とを用いて、前記シェーディング補正を行う第２画像補正部と、を備えることを特徴とする。【００１５】
上記画像処理装置において、前記第２画像補正部は、前記第１及び第２の画像群の一方から算出された前記非正規化シェーディング成分と、前記第１及び第２の画像群の他方から算出された正規化シェーディング成分とを用いて、前記シェーディング補正を行う、ことを特徴とする。【００１６】
上記画像処理装置において、前記シェーディング成分算出部は、前記１の画像内の一部の領域に関するシェーディング成分が既知である場合に、該一部の領域における輝度と、前記一部の領域に対して共通の被写体が写った前記他の画像内の領域における輝度と、既知である前記シェーディング成分と、を用いて、前記他の画像内の領域に関するシェーディング成分を算出する、ことを特徴とする。【００１７】
上記画像処理装置において、前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせに基づいて、複数の前記他の画像内の領域に関するシェーディング成分をそれぞれ算出し、算出した複数の該シェーディング成分を加算平均する、ことを特徴とする。【００１８】
上記画像処理装置において、前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせであって、前記１の画像と前記他の画像との間で共通の被写体が写った領域である共通領域におけるテクスチャ成分が互いに異なる複数の組み合わせに基づいて、前記シェーディング成分を算出する、ことを特徴とする。【００１９】
上記画像処理装置において、前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記複数の画像間で対応する領域における輝度を累積加算し、該累積加算した値を用いて、前記シェーディング成分を算出する、ことを特徴とする。【００２０】
上記画像処理装置において、前記シェーディング成分算出部は、前記複数の組み合わせに基づいて複数のシェーディング成分をそれぞれ算出し、該複数のシェーディング成分を加算平均する、ことを特徴とする。【００２１】
上記画像処理装置において、前記シェーディング成分算出部は、前記画像内の領域に対して前記第１及び第２の画像群に基づいてそれぞれ算出された２つの非正規化シェーディング成分と、該２つの非正規化シェーディング成分をそれぞれ算出する際に基準とされた２つの領域に対してそれぞれ算出された２つの正規化シェーディング成分とを用いて、前記画像内の領域におけるシェーディング成分を算出する、ことを特徴とする。【００２２】
上記画像処理装置は、前記１の画像と前記他の画像との間で共通の被写体が写った領域に含まれる画素の輝度の勾配に基づいて前記平坦領域を探索する平坦領域探索部をさらに備える、ことを特徴とする。【００２３】
上記画像処理装置において、前記第１及び第２の方向は互いに直交する、ことを特徴とする。【００２４】
本発明に係る撮像装置は、前記画像処理装置と、前記被写体の像を生成する光学系と、前記被写体と前記光学系との少なくとも一方を移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、前記被写体を撮像する撮像手段と、を備え、前記画像取得部は、前記移動手段に前記視野を前記第１及び第２の方向にそれぞれ移動させながら、前記撮像手段に撮像を実行させる制御を行うことにより、前記第１及び第２の画像群をそれぞれ取得する、ことを特徴とする。【００２５】
本発明に係る顕微鏡システムは、前記撮像装置と、前記被写体を載置するステージと、を備え、前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させる、ことを特徴とする。【００２６】
上記顕微鏡システムにおいて、前記画像処理装置は、前記第１及び第２の画像群に含まれる前記視野が隣り合う画像同士を貼り合わせることによりバーチャルスライド画像を作成するバーチャルスライド作成部をさらに備える、ことを特徴とする。【００２７】
本発明に係る画像処理方法は、互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、を含み、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。【００２８】
本発明に係る画像処理プログラムは、互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、をコンピュータに実行させ、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。
【発明の効果】
【００２９】
本発明によれば、第１及び第２の方向において少なくとも他の１枚の画像との間で被写体の一部が共通する第１及び第２の画像群をそれぞれ取得し、該第１及び第２の画像群の各々において、平坦領域を含む領域における輝度をもとに正規化シェーディング成分及び非正規化シェーディング成分を算出し、これらの正規化シェーディング成分及び非正規化シェーディング成分を用いて画像内の領域のシェーディング補正を行うので、シェーディング成分の算出に必要な画像の枚数を低減することができ、簡易な構成で、短時間且つ高精度にシェーディング補正を行うことが可能となる。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。
【図２】図２は、図１に示す画像取得部の動作を説明するための模式図である。
【図３】図３は、図１に示す画像処理部が実行する画像処理の原理を説明するための模式図である。
【図４】図４は、図１に示す画像処理装置の動作を示すフローチャートである。
【図５】図５は、撮像を１回行うごとに撮像視野を移動させる移動量を説明するための模式図である。
【図６】図６は、被写体の撮像方法を説明するための模式図である。
【図７】図７は、被写体の撮像方法を説明するための模式図である。
【図８】図８は、撮像視野を水平方向に移動させながら５回撮像を行うことにより取得された５枚の画像を示す模式図である。
【図９】図９は、図１に示す記憶部に記憶された水平方向におけるシェーディング成分を示す模式図である。
【図１０】図１０は、図１に示す記憶部に記憶された垂直方向におけるシェーディング成分を示す模式図である。
【図１１】図１１は、図１に示す画像補正部が実行する画像の補正処理を説明するための模式図である。
【図１２】図１２は、図１に示す画像補正部が実行する画像の補正処理を詳細に示すフローチャートである。
【図１３】図１３は、図１に示す第２画像補正部が実行するシェーディング補正処理の別の例を説明するための模式図である。
【図１４】図１４は、本発明の実施の形態２においてシェーディング成分の算出に用いられる画像の撮像方法を説明するための模式図である。
【図１５】図１５は、本発明の実施の形態２におけるシェーディング成分の算出方法を説明するための模式図である。
【図１６】図１６は、本発明の実施の形態３におけるシェーディング成分の算出方法を説明するための模式図である。
【図１７】図１７は、本発明の実施の形態４におけるシェーディング成分の算出方法を説明するための模式図である。
【図１８】図１８は、本発明の実施の形態７に係る画像処理装置の構成例を示すブロック図である。
【図１９】図１９は、図１８に示す平坦領域探索部が作成する水平方向画像を示す模式図である。
【図２０】図２０は、図１８に示す平坦領域探索部が作成する垂直方向画像を示す模式図である。
【図２１】図２１は、図１９に示す水平方向画像を画素単位で示す模式図である。
【図２２】図２２は、図２０に示す垂直方向画像を画素単位で示す模式図である。
【図２３】図２３は、図１８に示す記憶部に記憶された水平方向におけるシェーディング成分を模式的に示す図である。
【図２４】図２４は、図１８に示す記憶部に記憶された垂直方向におけるシェーディング成分を模式的に示す図である。
【図２５】図２５は、本発明の実施の形態８に係る顕微鏡システムの構成例を示す図である。
【図２６】図２６は、本発明の実施の形態８における複数の画像の取得動作を説明するための模式図である。
【発明を実施するための形態】
【００３１】
以下、本発明に係る画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
【００３２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。図１に示すように、実施の形態１に係る画像処理装置１は、観察対象である被写体が写った画像を取得する画像取得部１１と、該画像に画像処理を施す画像処理部１２と、記憶部１３とを備える。
【００３３】
画像取得部１１は、被写体に対する撮像視野が互いに異なる複数の画像を取得する。画像取得部１１は、このような複数の画像を、撮像装置から直接取得しても良いし、ネットワークや記憶装置等を介して取得しても良い。実施の形態１において、画像取得部１１は、撮像装置から画像を直接取得するものとする。なお、撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であっても良いし、デジタルカメラであっても良い。
【００３４】
図２は、画像取得部１１の動作を説明するための模式図であり、撮像装置の光学系３０と、被写体ＳＰと、光学系３０の撮像視野Ｖとを示している。図２においては、被写体ＳＰにおける撮像視野Ｖの位置を明確にするため、便宜上、被写体ＳＰ及び撮像視野Ｖの紙面手前から光学系３０の位置をずらし、被写体ＳＰの外側に光学系３０の側面を図示して撮像視野Ｖとの位置関係を示している。以下においては、撮像視野Ｖを含む平面において、該撮像視野Ｖの１つの辺と平行な方向（図２の左右方向）を水平方向とし、該１つの辺と直交する方向（図２の上下方向）を垂直方向とする。
【００３５】
画像取得部１１は、撮像装置の撮像動作を制御する撮像制御部１１１と、被写体ＳＰに対して撮像視野Ｖの位置を変化させる制御を行う駆動制御部１１２とを備える。駆動制御部１１２は、光学系３０と被写体ＳＰとのいずれか又は両方を相対的に移動させることにより、被写体ＳＰに対する撮像視野Ｖの位置を変化させる。撮像制御部１１１は、駆動制御部１１２の制御動作と連動して、所定のタイミングで撮像装置に撮像を実行させ、該撮像装置から撮像視野Ｖ内の被写体が写った画像Ｍを取り込む。
【００３６】
本実施の形態１においては、互いに直交する水平方向及び垂直方向の２方向に撮像視野Ｖを移動させる例を説明するが、撮像視野Ｖの移動方向は、互いに異なる２方向であれば、水平方向及び垂直方向に限定されない。また、撮像視野Ｖを移動させる２方向は、必ずしも直交している必要はない。
【００３７】
図３は、画像処理部１２が実行する画像処理の原理を説明するための模式図である。図３（ａ）〜（ｃ）に示す座標（ｘ，ｙ）は、画像Ｍを構成する各画素の位置を示す。図３（ａ）に示すように、撮像装置により取得された画像Ｍには、中央の一部の領域を除き、光源の照度ムラや、光学系の不均一性や、撮像素子の特性のムラ等に起因する明度ムラ、あるいは色ムラが生じている。この明度ムラや色ムラはシェーディングと呼ばれる。図３（ａ）に示す画像Ｍを構成する各画素の輝度Ｉ（ｘ，ｙ）は、図３（ｂ）に示すシェーディングが生じていない本来の被写体像を表す成分（以下、テクスチャ成分と記す）Ｔ（ｘ，ｙ）に対して、図３（ｃ）に示すシェーディング成分Ｓ（ｘ，ｙ）が掛け合わされたものであり、Ｉ（ｘ，ｙ）＝Ｔ（ｘ，ｙ）×Ｓ（ｘ，ｙ）と表すことができる。ここで、輝度Ｉ（ｘ，ｙ）、テクスチャ成分Ｔ（ｘ，ｙ）、シェーディング成分Ｓ（ｘ，ｙ）は、各座標における各色信号での輝度、テクスチャ成分、シェーディング成分とするが、各色信号に基づき合成された信号の輝度、テクスチャ成分、シェーディング成分としてもよい。
【００３８】
画像処理部１２は、画像取得部１１が取得した複数の画像を用いて、画像に生じているシェーディングを補正する画像処理を実行する。詳細には、画像処理部１２は、画像Ｍ（ｘ，ｙ）に生じているシェーディング成分を算出するシェーディング成分算出部１２１と、該シェーディング成分を用いてシェーディング補正を行う画像補正部１２２とを備える。
【００３９】
このうち、シェーディング成分算出部１２１は、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂを備える。第１方向シェーディング成分算出部１２１ａは、被写体ＳＰに対する撮像視野Ｖを第１の方向（例えば水平方向）に移動させることにより取得された複数の画像から、シェーディング成分を算出する。一方、第２方向シェーディング成分算出部１２１ｂは、被写体ＳＰに対する撮像視野Ｖを第２の方向（例えば垂直方向）に移動させることにより取得された複数の画像から、シェーディング成分を算出する。
【００４０】
画像補正部１２２は、第１画像補正部１２２ａ及び第２画像補正部１２２ｂを備える。第１画像補正部１２２ａは、画像取得部１１により取得された画像内の一部の領域に対し、第１方向シェーディング成分算出部１２１ａにより算出されたシェーディング成分と、第２方向シェーディング成分算出部１２１ｂにより算出されたシェーディング成分とのいずれか一方を用いて、シェーディング補正を行う。一方、第２画像補正部１２２ｂは、上記画像のうち、第１画像補正部１２２ａにより補正されなかった領域に対し、第１方向シェーディング成分算出部１２１ａにより算出されたシェーディング成分と、第２方向シェーディング成分算出部１２１ｂにより算出されたシェーディング成分との両方を用いて、シェーディング補正を行う。第１画像補正部１２２ａ及び第２画像補正部１２２ｂが補正対象とする領域及び具体的な補正処理については後述する。
【００４１】
記憶部１３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記憶装置によって構成される。記憶部１３は、画像取得部１１が撮像装置の制御に用いる種々のパラメータや、画像処理部１２により画像処理が施された画像の画像データや、画像処理部１２が算出した種々のパラメータ等を記憶する。
【００４２】
上記画像取得部１１及び画像処理部１２は、専用のハードウェアによって構成しても良いし、ＣＰＵ及び該ＣＰＵに所定の処理を実行させるプログラムによって構成しても良い。後者の場合、画像取得部１１及び画像処理部１２に所定の処理を実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を記憶部１３に記憶させても良い。或いは、ハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に対して情報の書き込み及び読み取りを行う書込読取装置等を含む記憶装置を、データ通信端子を介して画像処理装置１に接続し、この記憶装置に、上記画像処理プログラムやパラメータを記憶させても良い。
【００４３】
次に、画像処理装置１の動作を説明する。図４は、画像処理装置１の動作を示すフローチャートである。以下においては、一例として、図２に示す被写体ＳＰが写った画像を取得し、該画像に対して補正処理を行うこととする。
【００４４】
まず、ステップＳ１において、画像取得部１１は、撮像視野Ｖを互いに異なる２つの方向に所定量ずつ移動させながら被写体ＳＰを撮像することにより生成された複数の画像を取得する。詳細には、駆動制御部１１２が、被写体ＳＰと光学系３０とのいずれかを移動させることにより撮像視野Ｖを所定方向に移動させ、撮像制御部１１１が、撮像視野Ｖの移動方向において、少なくとも他の１枚の画像との間で撮像視野Ｖの一部が重なるように制御を行う。以下においては、撮像視野Ｖを水平方向及び垂直方向にそれぞれ移動させることとする。
【００４５】
図５は、撮像を１回行うごとに撮像視野Ｖを移動させる移動量を説明するための模式図である。撮像１回当たりの撮像視野Ｖの移動量は、撮像視野Ｖを所定サイズの複数のブロックに分割した場合の該ブロックの１辺の長さに設定される。例えば図５に示すように、サイズがｗ×ｈ（ｗ、ｈは各辺の長さ）の撮像視野Ｖを５×５＝２５個のブロックに分割した場合、撮像視野Ｖの１回当たりの移動量は、水平方向については長さＢｗ＝ｗ／５、垂直方向については長さＢｈ＝ｈ／５となる。撮像視野Ｖを分割した各ブロックのサイズは、画像内でシェーディングがほとんど生じておらず、シェーディング成分が一定とみなせる平坦領域（後述）のサイズや、要求されるシェーディング補正の精度等に応じて決定することができる。なお、水平方向及び垂直方向における撮像視野Ｖの分割数は、同じであっても良いし、異なっていても良い。以下においては、図５に示すように、画像内の各ブロックの座標を（Ｘ，Ｙ）で示す。本実施の形態１においては、１≦Ｘ≦５、１≦Ｙ≦５である。
【００４６】
図６及び図７は、被写体ＳＰの撮像方法を説明するための模式図である。図６及び図７においては、被写体ＳＰにおける撮像視野Ｖの位置を明確にするため、便宜上、被写体ＳＰ及び撮像視野Ｖの紙面手前から光学系３０の位置をずらし、被写体ＳＰの外側に光学系３０の側面を図示して各位置における撮像視野Ｖとの位置関係を示している。
【００４７】
画像取得部１１は、図６に示すように、撮像視野Ｖが水平方向に長さＢｗだけ移動するごとに撮像を実行させることにより、直前に生成された画像との間で撮像視野Ｖの一部が重複する複数の画像Ｍj（ｊ＝０、１、２、…）を順次取得する。図８は、撮像視野Ｖを水平方向に移動させながら５回撮像を行うことにより取得された５枚の画像Ｍ0〜Ｍ4を示す模式図である。図８においては、画像Ｍ0〜Ｍ4を撮像順に沿って縦に並べると共に、テクスチャ成分が共通であるブロックが縦に揃うように、左右にずらして配置している。
【００４８】
また、画像取得部１１は、図７に示すように、撮像視野Ｖが垂直方向に長さＢｈだけ移動するごとに撮像を実行させることにより、直前に取得された画像との間で撮像視野Ｖの一部が重複する複数の画像Ｍk（ｋ＝０、１、２、…）を順次取得する。
【００４９】
なお、被写体ＳＰに対して撮像視野Ｖの位置を変化させる際には、被写体ＳＰの位置を固定し、光学系３０側を移動させても良いし、光学系３０の位置を固定し、被写体ＳＰ側を移動させても良い。或いは、被写体ＳＰと光学系３０との両方を、互いに反対方向に移動させることとしても良い。
【００５０】
また、撮像視野Ｖを水平方向に移動させて取得した複数の画像Ｍjと、撮像視野Ｖを垂直方向に移動させて取得した複数の画像Ｍkとの間では、撮像視野Ｖ内の被写体の全部又は一部が同一の画像を含んでいても良いし、被写体の全部又は一部が同一の画像を全く含んでいなくても良い。
【００５１】
続くステップＳ２において、シェーディング成分算出部１２１は、ステップＳ１において取得された複数の画像を取り込み、これらの画像を用いて、水平方向、垂直方向の方向別にシェーディング成分を算出する。
【００５２】
ここで、シェーディング成分の算出は、通常、画像内でシェーディング成分がほとんど生じておらず、シェーディング成分の変化がほとんど見られない領域（以下、平坦領域という）における輝度を基準として行われる。具体的には、シェーディング成分の算出対象の領域に含まれる各画素の輝度を、該算出対象の領域と共通のテクスチャ成分を有する平坦領域に含まれる各画素の輝度によって除することで、シェーディング成分が得られる。
【００５３】
これに対し、本実施の形態１においては、平坦領域を含むブロックの列、又は行における輝度を基準として、列ごと、又は行ごとにシェーディング成分の算出を行う。例えば、撮像視野Ｖを水平方向に１ブロックずつ移動させて取得した画像間においては、水平方向において、列単位で共通領域が生じる。従って、この場合には、平坦領域を含み、該平坦領域に対して垂直方向に並ぶ列のブロックにおける輝度をもとに、シェーディング成分を算出する。以下、このように、水平方向において生じる共通領域に基づいて算出されたシェーディング成分（輝度の比）を、水平方向におけるシェーディング成分ともいう。一方、撮像視野Ｖを垂直方向に１ブロックずつ移動させて取得した画像間においては、垂直方向において、行単位で共通領域が生じる。従って、この場合には、平坦領域を含み、該平坦領域に対して水平方向に並ぶ行のブロックにおける輝度をもとに、シェーディング成分を算出する。以下、このように、垂直方向において生じる共通領域に基づいて算出されたシェーディング成分（輝度の比）を、垂直方向におけるシェーディング成分ともいう。
【００５４】
また、本実施の形態１においては、図３（ｃ）に示すように、画像の中央部分に平坦領域が存在し、シェーディング成分が同心円状に変化するものとして、処理を行う。具体的には、画像Ｍを分割したブロック（１，１）〜（５，５）のうち、中央のブロック（３，３）が平坦領域であるものとする。
【００５５】
まず、第１方向シェーディング成分算出部１２１ａは、図８に示す画像Ｍ0〜Ｍ4のうちのある画像から平坦領域のブロック（３，３）を含む列を抽出すると共に、別の画像から、これらのブロックと同じ被写体が写ったブロック（即ち、共通領域）を抽出し、両画像から抽出したブロック間で位置が対応する画素同士の輝度を用いて、水平方向におけるシェーディング成分を算出する。
【００５６】
具体的には、画像Ｍ0の第１列Ｒ0（Ｘ＝１）に含まれるブロック（１，１）、（１，２）、（１，３）、（１，４）、（１，５）と、画像Ｍ2の第３列Ｒ2（Ｘ＝３）に含まれるブロック（３，１）、（３，２）、（３，３）、（３，４）、（３，５）とは共通領域であるため、これらのブロックの間では位置が対応する画素同士のテクスチャ成分が共通である。従って、第１列のブロック内の各画素におけるシェーディング成分は、画像Ｍ0の第１列Ｒ0（Ｘ＝１）のブロック内の当該画素の輝度を、画像Ｍ2の第３列Ｒ2（Ｘ＝３）のブロック内の画素であって、位置が対応する画素の輝度で除することによって算出される。
【００５７】
以下において、ブロック（１，１）、（１，２）、（１，３）、（１，４）、（１，５）内の任意の画素におけるシェーディング成分を、シェーディング成分Ｓｈ（１，１）、Ｓｈ（１，２）、Ｓｈ（１，３）、Ｓｈ（１，４）、Ｓｈ（１，５）と表す。また、画像Ｍ0のブロック（１，１）、（１，２）、（１，３）、（１，４）、（１，５）内の任意の画素の輝度を、輝度Ｈ0（１，１）、Ｈ0（１，２）、Ｈ0（１，３）、Ｈ0（１，４）、Ｈ0（１，５）と表す。また、画像Ｍ2の第３列のブロック（３，１）、（３，２）、（３，３）、（３，４）、（３，５）内の任意の画素の輝度を、輝度Ｈ2（３，１）、Ｈ2（３，２）、Ｈ2（３，３）、Ｈ2（３，４）、Ｈ2（３，５）と表す。これより、各ブロック（１，１）〜（１，５）内の任意の画素におけるシェーディング成分Ｓｈ（１，１）〜Ｓｈ（１，５）は、次式（１ａ）〜（１ｅ）によって与えられる。
【数１】
2015190013.tif 000003
【００５８】
式（１ａ）〜（１ｅ）は、各ブロック内の任意の画素におけるシェーディング成分が、右辺の分子に記載されたブロック内の当該画素の輝度を、分母に記載されたブロック内の位置が対応する画素の輝度によって除することにより与えられることを示す。以下においては、式（１ａ）〜（１ｅ）に示すように、異なるブロック間において位置が対応する画素同士に関する演算を、ブロック同士の演算式の形式で包括的に表す。
【００５９】
また、これらの式（１ａ）〜（１ｅ）をまとめて、第１列のブロック（Ｘ＝１）内の任意の画素におけるシェーディング成分を、画像Ｍ1の第１列のブロック内の当該画素における輝度Ｈ0（Ｘ＝１）と、画像Ｍ2の第３列のブロック内の位置が対応する画素の輝度Ｈ2（Ｘ＝３）とを用いて、次式（１−１）の形式で示す。
【数２】
2015190013.tif 000004
【００６０】
式（１−１）は、第１列の各ブロック内の任意の画素におけるシェーディング成分Ｓｈ（１，１）、Ｓｈ（１，２）、Ｓｈ（１，３）、Ｓｈ（１，４）、Ｓｈ（１，５）（これらを包括してＳｈ（Ｘ＝１）と記す）が、それぞれ、画像Ｍ0の第１列において任意の画素の輝度Ｈ0（１，１）、Ｈ0（１，２）、Ｈ0（１，３）、Ｈ0（１，４）、Ｈ0（１，５）（これらを包括してＨ0（Ｘ＝１）と記す）を、画像Ｍ2の第３列において位置が対応する画素の輝度Ｈ2（３，１）、Ｈ2（３，２）、Ｈ2（３，３）、Ｈ2（３，４）、Ｈ2（３，５）（これらを包括してＨ2（Ｘ＝３）と記す）によって除することにより与えられることを示す。
【００６１】
同様に、第２〜５列の各ブロック内の任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝３）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）も、次式（１−２）、（１−３）、（１−４）、（１−５）によってそれぞれ与えられる。なお、式（１−３）に示すように、第３列のブロック内の各画素におけるシェーディング成分Ｓｈ（Ｘ＝３）は、同一ブロック内の同一画素の輝度同士の演算となるため、１．０となる。
【数３】
2015190013.tif 000005
【００６２】
このようにして算出されたシェーディング成分Ｓｈ（Ｘ＝１）〜Ｓｈ（Ｘ＝５）は、記憶部１３の所定の記憶領域に順次記憶される。図９は、該記憶部１３に記憶された水平方向におけるシェーディング成分Ｓｈを示す模式図である。なお、図９においては、中央の平坦領域を含む列（即ち、シェーディング成分の算出の基準に用いられた列）に斜線の網掛けを附している。
【００６３】
ここで、図９に示すシェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第３行のブロック内の任意の画素におけるシェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，３）は、平坦領域であるブロック（３，３）内の位置が対応する画素の輝度を基準として算出されたものである。そこで、以下においては、平坦領域のブロック内の画素の輝度を用いて算出されたシェーディング成分のことを、正規化シェーディング成分という。
【００６４】
これに対し、シェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第１、２、４、５行のブロック内の任意の画素におけるシェーディング成分は、第３列のうちでも平坦領域以外のブロック（３，１）、（３，２）、（３，４）、（３，５）内の位置が対応する画素の輝度を基準としてそれぞれ算出されたものである。例えば、式（１ａ）に示すように、ブロック（１，１）のシェーディング成分Ｓｈ（１，１）は、ブロック（３，１）内の画素の輝度Ｈ2（３，１）を用いて算出されている。以下においては、平坦領域以外のブロック内の画素の輝度を用いて算出されたシェーディング成分のことを、非正規化シェーディング成分という。
【００６５】
同様にして、第２方向シェーディング成分算出部１２１ｂは、撮像視野Ｖを垂直方向に長さＢｈずつ移動させながら被写体ＳＰを５回撮像することにより取得された５枚の画像に基づいて、垂直方向におけるシェーディング成分を算出する。即ち、これらの５枚の画像のうちのある画像から平坦領域のブロック（３，３）を含む行を抽出すると共に、別の画像から、これらのブロックと同じ被写体が写ったブロック（共通領域）を抽出し、両画像から抽出したブロック間で位置が対応する画素同士の輝度を用いて、垂直方向におけるシェーディング成分を算出する。
【００６６】
図１０は、記憶部１３に記憶された垂直方向におけるシェーディング成分Ｓｖを示す模式図である。なお、図１０においては、中央の平坦領域を含む行（即ち、シェーディング成分の算出の基準に用いられた行）に斜線の網掛けを附している。
【００６７】
ここで、図１０に示すシェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第３列のブロック内の任意の画素におけるシェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）は、平坦領域であるブロック（３，３）内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分である。これに対し、シェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第１、２、４、５列のブロック内の任意の画素におけるシェーディング成分は、第３行のうちでも平坦領域以外のブロック（１，３）、（２，３）、（４，３）、（５，３）内の位置が対応する画素の輝度を用いて算出された非正規化シェーディング成分である。
【００６８】
なお、上記説明においては、ステップＳ１で水平方向及び垂直方向の各々に撮像視野を移動させて画像を取得した後、ステップＳ２で水平方向及び垂直方向におけるシェーディング成分の算出を順次行っているが、処理の順序はこれに限定されない。例えば、水平方向に撮像視野を移動させて画像を取得した後、この取得した画像を用いて水平方向におけるシェーディング成分の算出を行い、続いて、垂直方向に撮像視野を移動させて画像を取得した後、この取得した画像を用いて垂直方向におけるシェーディング成分の算出を行っても良い。この際、水平方向におけるシェーディング成分の算出と、垂直方向に撮像視野を移動させての画像の取得とを並行して行っても良い。また、垂直方向における各処理を水平方向における各処理よりも先に行っても良い。
【００６９】
続くステップＳ３において、画像補正部１２２は、ステップＳ２において算出された水平方向及び垂直方向におけるシェーディング成分を用いて、ステップＳ１において取得された任意の画像の補正を行う。図１１は、画像補正部１２２が実行する画像の補正処理を説明するための模式図である。ここでは、一例として、図１１（ａ）に示す画像Ｍを補正対象画像とする場合を説明する。以下においては、画像Ｍ内のブロック（Ｘ，Ｙ）内の任意の画素の輝度をＨ（Ｘ，Ｙ）と記す。
【００７０】
図１２は、画像補正部１２２が実行する画像の補正処理を詳細に示すフローチャートである。ステップＳ３１において、第１画像補正部１２２ａは、画像Ｍのうち、正規化シェーディング成分が得られているブロック内の各画素の輝度を、正規化シェーディング成分を用いて補正する。
【００７１】
実施の形態１の場合、水平方向における正規化シェーディング成分Ｓｈ（図９参照）が得られているブロックは、（１，３）、（２，３）、（４，３）、（５，３）であり、垂直方向における正規化シェーディング成分Ｓｖ（図１０参照）が得られているブロックは、（３，１）、（３，２）、（３，４）、（３，５）である。そこで、平坦領域のブロックを（Ｘ0、Ｙ0）とすると、正規化シェーディング成分が得られているブロックは、（Ｘ，Ｙ0）又は（Ｘ0，Ｙ）と表すことができる。
【００７２】
第１画像補正部１２２ａは、水平方向における正規化シェーディング成分Ｓｈが得られているブロック（Ｘ，Ｙ0）内の任意の画素の輝度Ｈ（Ｘ，Ｙ0）を、この画素位置における正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）を用いて補正することにより、当該画素におけるテクスチャ成分Ｔ（Ｘ，Ｙ0）を算出する（式（２−１）参照）。また、第１画像補正部１２２ａは、垂直方向における正規化シェーディング成分Ｓｖが得られているブロック（Ｘ0，Ｙ）内の任意の画素の輝度Ｈ（Ｘ0，Ｙ）を、この画素位置における正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）を用いて補正することにより、当該画素におけるテクスチャ成分Ｔ（Ｘ0，Ｙ）を算出する（式（２−２）参照）。
【数４】
2015190013.tif 000006
【００７３】
続くステップＳ３２において、第２画像補正部１２２ｂは、画像Ｍのうち、正規化シェーディング成分が得られていないブロック内の各画素の輝度を、正規化シェーディング成分及び非正規化シェーディング成分を用いて補正する。
【００７４】
例えば、図１１（ａ）に示すブロック（１，１）内の任意の画素に対してシェーディング補正を行う場合を考える。ブロック（１，１）内の当該画素について算出されたシェーディング成分Ｓｈ（１，１）は、図１１（ｂ）及び式（１ａ）に示すように、ブロック（１，１）の水平方向における共通領域であるブロック（３，１）内の位置が対応する画素の輝度Ｈ2（３，１）を基準として算出された非正規化シェーディング成分である。そして、このブロック（３，１）内の画素の輝度Ｈ2（３，１）に含まれるシェーディング成分は、図１１（ｃ）に示すように、該ブロック（３，１）の垂直方向における共通領域である平坦領域のブロック（３，３）内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分Ｓｖ（３，１）として与えられている。従って、画像Ｍのブロック（１，１）内の任意の画素におけるテクスチャ成分Ｔ（１，１）は、画像Ｍにおけるブロック（１，１）内の当該画素の輝度Ｈ（１，１）と、当該画素位置における非正規化シェーディング成分Ｓｈ（１，１）と、ブロック（３，１）内の対応する画素位置における正規化シェーディング成分Ｓｖ（３，１）とを用いて、次式（３）によって与えられる。
【数５】
2015190013.tif 000007
【００７５】
図１３は、第２画像補正部１２２ｂが実行するシェーディング補正処理の別の例を説明するための模式図である。図１３（ａ）に示す補正対象のブロック（１，１）内の任意の画素について算出されたもう１つのシェーディング成分Ｓｖ（１，１）は、図１３（ｂ）に示すように、ブロック（１，１）の垂直方向における共通領域であるブロック（１，３）内の位置が対応する画素の輝度を基準として算出された非正規化シェーディング成分である。そして、このブロック（１，３）内の画素の輝度に含まれるシェーディング成分は、図１３（ｃ）に示すように、該ブロック（１，３）の水平方向における共通領域である平坦領域のブロック（３，３）内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分Ｓｈ（１，３）として与えられている。従って、画像Ｍのブロック（１，１）内の任意の画素におけるテクスチャ成分Ｔ（１，１）は、画像Ｍにおけるブロック（１，１）内の当該画素の輝度Ｈ（１，１）と、当該画素位置における非正規化シェーディング成分Ｓｖ（１，１）と、ブロック（１，３）内の対応する画素位置における正規化シェーディング成分Ｓｈ（１，３）とを用いて、次式（４）によって与えられる。
【数６】
2015190013.tif 000008
【００７６】
これらの算出式を、平坦領域のブロックを（Ｘ0，Ｙ0）として一般化する。画像Ｍのうち、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）内の任意の画素におけるテクスチャ成分Ｔ（Ｘ，Ｙ）は、ブロック（Ｘ，Ｙ）内の当該画素の輝度Ｈ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）の水平方向における共通領域の輝度を基準として算出された非正規化シェーディング成分Ｓｈ（Ｘ，Ｙ）と、上記共通領域の垂直方向における共通領域である平坦領域の輝度を基準として算出された正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）とを用いて、次式（５）によって与えられる。
【数７】
2015190013.tif 000009
【００７７】
或いは、画像Ｍのうち、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）内の任意の画素におけるテクスチャ成分Ｔ（Ｘ，Ｙ）は、ブロック（Ｘ，Ｙ）内の当該画素の輝度Ｈ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）の垂直方向における共通領域の輝度を基準として算出された非正規化シェーディング成分Ｓｖ（Ｘ，Ｙ）と、上記共通領域の水平方向における共通領域である平坦領域の輝度を基準として算出された正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）とを用いて、次式（６）によって与えられる。
【数８】
2015190013.tif 000010
【００７８】
その後、処理はメインルーチンに戻り、画像処理装置１の動作は終了する。
なお、ステップＳ３１及びＳ３２を実行する順序は上述した順序に限らず、ステップＳ３２を先に実行しても良いし、ステップＳ３１及びＳ３２を並行に実行しても良い。
【００７９】
以上説明したように、本実施の形態１によれば、シェーディング成分を算出するために必要な画像枚数を従来よりも低減することができる。従って、それらの画像を取得する際の撮像回数を低減することができ、簡素な構成で、短時間に高精度なシェーディング補正を行うことが可能となる。また、本実施の形態１によれば、水平方向及び垂直方向の２方向に撮像視野を移動させるだけなので、被写体ＳＰが載置されるステージの制御又は光学系に対する制御を簡素化することが可能となる。
【００８０】
なお、上記説明においては、撮像視野を移動させ、シェーディング成分を算出し、或いは、画像補正を行う単位となるブロックへの分割数を５×５＝２５としたが、画像（撮像視野）の分割数はこれに限定されない。分割数を多くするほど、より精細なシェーディング補正を行うことができる。一方、分割数を少なくするほど、被写体ＳＰの撮像回数や、シェーディング成分の算出処理及び画像の補正処理における演算量を抑制することができるので、シェーディング補正に要するトータルの時間を短縮することが可能となる。
【００８１】
また、上記説明においては、式（２−１）及び（２−２）、並びに（５）若しくは（６）によりテクスチャ成分を算出する際、即ちシェーディング補正を行う際、式（１ａ）〜（１ｅ）及び（１−１）〜（１−５）によって与えられるシェーディング成分の逆数（シェーディング補正ゲイン）を輝度に乗算している。この演算は、シェーディング成分を与える式（１ａ）〜（１ｅ）及び（１−１）〜（１−５）における右辺の分子と分母とを入れ替え、式（２−１）、（２−２）、（５）、（６）におけるシェーディング補正ゲインを直接算出することで、演算量の削減が可能である。
【００８２】
（変形例１）
本発明の実施の形態１の変形例１について説明する。
上記実施の形態１においては、シェーディング成分算出部１２１が水平方向及び垂直方向の各方向において正規化シェーディング成分及び非正規化シェーディング成分を算出し、画像補正部１２２が、これらのシェーディング成分を用いて、補正対象のブロックに応じた式（２−１）、（２−２）、又は、（５）若しくは（６）を用いてテクスチャ成分を算出した。しかしながら、シェーディング成分算出部１２１が、補正対象のブロックによらず同一のテクスチャ成分の演算式に適用可能なシェーディング成分Ｓ（Ｘ，Ｙ）が格納されたマップを作成し、記憶部１３に記憶させても良い。
【００８３】
具体的には、水平方向における正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）が取得されているブロック（Ｘ，Ｙ0）については、この正規化シェーディング成分が、シェーディング成分Ｓ（Ｘ，Ｙ）としてマップに格納される。また、垂直方向における正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）が取得されているブロック（Ｘ0，Ｙ）については、この正規化シェーディング成分が、シェーディング成分Ｓ（Ｘ，Ｙ）としてマップに格納される。非正規化シェーディング成分Ｓｈ（Ｘ，Ｙ）及びＳｖ（Ｘ，Ｙ）が取得されているブロックについては、非正規化シェーディング成分のいずれかと正規化シェーディング成分とから算出される値Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ0，Ｙ）、又は、Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ0）が、シェーディング成分Ｓ（Ｘ，Ｙ）としてマップに格納される。
【００８４】
この場合、画像補正部１２２は、シェーディング成分算出部１２１が作成したマップに格納されたシェーディング成分Ｓ（Ｘ，Ｙ）を用いて、テクスチャ成分Ｔ（Ｘ，Ｙ）（＝Ｈ（Ｘ，Ｙ）／Ｓ（Ｘ，Ｙ））を算出すれば良い。
【００８５】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
本実施の形態２に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂが実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。
【００８６】
図１４は、本実施の形態２においてシェーディング成分の算出に用いられる画像の撮像方法を説明するための模式図であり、光学系３０の撮像視野Ｖに対する被写体ＳＰの水平方向における相対位置Ｐ０、Ｐ１、…の変化を時系列（ｔ）で示している。図１４においては、被写体ＳＰを水平方向において長さＢｗずつ分割した領域の各々を、被写体領域ＳＰ（１）〜ＳＰ（５）としている。
【００８７】
ここで、上記実施の形態１においては、水平方向及び垂直方向の各々において、被写体ＳＰに対して光学系３０の撮像視野Ｖを長さＢｗ（又は長さＢｈ）ずつ相対的に移動させながら５回撮像を行うことにより、５枚の画像を取得した。これに対し、本実施の形態２においては、撮像視野Ｖを同じ長さＢｗ（又は長さＢｈ）で相対的に移動させながら９回撮像を行うことにより、１つの方向で９枚の画像を取得する。
【００８８】
図１５は、本実施の形態２におけるシェーディング成分の算出方法を説明するための模式図である。図１５（ａ）に示す画像Ｍ（０）、Ｍ（１）、…は、図１４に示す被写体ＳＰが相対位置Ｐ０、Ｐ１、…に位置するときにそれぞれ撮像されたものである。また、図１５（ｂ）は、記憶部１３に記憶された水平方向におけるシェーディング成分Ｓｈを示す模式図である。
【００８９】
図１４及び図１５（ａ）に示すように、列Ｘ＝１内の任意の画素におけるシェーディング成分を求める場合、被写体領域ＳＰ（１）が写った画像Ｍ（０）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（２）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良いし、被写体領域ＳＰ（２）が写った画像Ｍ（１）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（３）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良い。また、被写体領域ＳＰ（３）が写った画像Ｍ（２）の列Ｘ＝１内の当該画素とその共通領域である画像Ｍ（４）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良いし、被写体領域ＳＰ（４）が写った画像Ｍ（３）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（５）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良い。さらに、被写体領域ＳＰ（５）が写った画像Ｍ（４）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（６）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良い。即ち、列Ｘ＝１に関して、テクスチャ成分が互いに異なる５通りの共通領域の組み合わせ（画像の組み合わせ）から、５種類のシェーディング成分を算出することができる。他の列についても同様である。
【００９０】
これより、１つの列に対して、テクスチャ成分が異なる複数の列の輝度を用いることによって、よりロバスト性の高いシェーディング成分を算出することができることがわかる。具体的には、各列内の任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）〜Ｓｈ（Ｘ＝５）は、次式（７−１）〜（７−５）によって与えられる。
【数９】
2015190013.tif 000011
【００９１】
ここで、各式の分子の第１項と分母の第１項とに着目すると、式（１ａ）と同様に、ある画像の左端の行（Ｘ＝１）内の画素の輝度と、該左端の行の共通領域である中央の行（Ｘ＝３）内の画素の輝度との比を表す形式が見られる。分子及び分母の第２項以降についても同様である。即ち、式（７−１）〜（７−５）は、テクスチャ成分が互いに異なる共通領域に基づいて算出された複数のシェーディング成分を平均化したものといえる。
【００９２】
第１方向シェーディング成分算出部１２１ａが実行する実際の処理としては、図１４及び図１５に示すように、画像取得部１１から画像を取り込む度に、画像内の各画素の輝度を記憶部１３の所定の記憶領域に累積加算する。具体的には、シェーディング成分Ｓｈの第１列に対応する記憶領域に、画像Ｍ（０）〜Ｍ（４）の第１列のブロック内の画素の輝度Ｈ0（Ｘ＝１）、Ｈ1（Ｘ＝１）、Ｈ2（Ｘ＝１）、Ｈ3（Ｘ＝１）、Ｈ4（Ｘ＝１）を、これらの列の間で位置が対応する画素ごとに順次累積加算する。また、シェーディング成分Ｓｈの第２列に対応する記憶領域に、画像Ｍ（１）〜Ｍ（５）の第２列のブロック内の画素の輝度Ｈ1（Ｘ＝２）、Ｈ2（Ｘ＝２）、Ｈ3（Ｘ＝２）、Ｈ4（Ｘ＝２）、Ｈ5（Ｘ＝２）を、これらの列の間で位置が対応する画素ごとに順次累積加算する。同様に、シェーディング成分Ｓｈの第３列に対応する記憶領域に、画像Ｍ（２）〜Ｍ（６）の第３列のブロック内の画素の輝度Ｈ2（Ｘ＝３）、Ｈ3（Ｘ＝３）、Ｈ4（Ｘ＝３）、Ｈ5（Ｘ＝３）、Ｈ6（Ｘ＝３）を、これらの列の間で位置が対応する画素ごとに順次累積加算する。第４行及び第５行についても同様である。
【００９３】
このようにして、画像Ｍ（０）〜Ｍ（９）内の各画素の輝度を所定の記憶領域に累積加算した後、第１方向シェーディング成分算出部１２１ａは、各列における輝度の累積加算値を、中央の列（Ｘ＝３）における輝度の累積加算値で除算する。それにより、ロバスト性の高いシェーディング成分を得ることができる。
【００９４】
第２方向シェーディング成分算出部１２１ｂも、第１方向シェーディング成分算出部１２１ａと同様の処理を実行することにより、垂直方向におけるシェーディング成分を算出することができる。
【００９５】
以上説明したように、本実施の形態２によれば、ロバスト性の高いシェーディング成分を算出することができる。従って、補正対象画像におけるテクスチャ成分の特性に依存することなく、精度の良い補正を安定的に行うことが可能となる。また、本実施の形態２によれば、列ごと又は行ごとに輝度を累積加算した後でシェーディング成分を算出するので、新たなメモリを増設する必要がなく、演算処理も簡単に行うことができる。
【００９６】
なお、本実施の形態２においては、撮像視野Ｖを各方向について８回移動させ、９回撮像を行うことにより取得した９枚の画像に基づいてシェーディング成分を算出したが、撮像視野の移動及び撮像をさらに繰り返すことにより、より多くの画像を用いても良い。それにより、シェーディング成分のロバスト性をさらに向上させることができる。
【００９７】
（変形例２）
本発明の実施の形態２の変形例２について説明する。
上述したような各列に関する複数の共通領域の組み合わせから複数種類のシェーディング成分を個別に算出し、これらのシェーディング成分を加算平均することにより、当該列の水平方向におけるシェーディング成分を取得しても良い。例えば、列Ｘ＝１に関しては、画像Ｍ（０）の列Ｘ＝１と画像Ｍ（２）の列Ｘ＝３、画像Ｍ（１）の列Ｘ＝１と画像Ｍ（３）の列Ｘ＝３、画像Ｍ（２）の列Ｘ＝１と画像Ｍ（４）の列Ｘ＝３、画像Ｍ（３）の列Ｘ＝１と画像Ｍ（５）の列Ｘ＝３、画像Ｍ（４）の列Ｘ＝１と画像Ｍ（６）の列Ｘ＝３、の５通りの共通領域の組み合わせから５種類のシェーディング成分を算出し、これらを加算平均する。垂直方向におけるシェーディング成分についても同様である。
【００９８】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
本実施の形態３に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂが実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。
【００９９】
図１６（ａ）〜（ｃ）は、本実施の形態３におけるシェーディング成分の算出方法を説明するための模式図であり、図６に示すように撮像視野Ｖを水平方向に長さＢｗずつ移動させながら３回撮像を行うことにより取得された３枚の画像を示している。
【０１００】
本実施の形態３において、第１方向シェーディング成分算出部１２１ａは、３枚の画像Ｍ0〜Ｍ2間での共通領域の左右方向における対称性に着目し、次式（８−１）〜（８−５）により、水平方向におけるシェーディング成分を算出する。
【数１０】
2015190013.tif 000012
【０１０１】
即ち、第１列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）は、画像Ｍ0の第１列のブロックＲ0（Ｘ＝１）内の当該画素の輝度Ｈ0（Ｘ＝１）と、その共通領域である画像Ｍ2の第３列のブロックＲ2（Ｘ＝３）内の位置が対応する画素の輝度Ｈ2（Ｘ＝３）とによって算出される（式（８−１）参照）。また、第２列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）は、画像Ｍ1の第２列のブロックＲ1（Ｘ＝２）内の当該画素の輝度Ｈ1（Ｘ＝２）と、その共通領域である画像Ｍ2の第３列のブロックＲ2（Ｘ＝３）内の位置が対応する画素の輝度Ｈ2（Ｘ＝３）とによって算出される（式（８−２）参照）。第４列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝４）は、画像Ｍ1の第４列のブロックＲ1（Ｘ＝４）内の当該画素の輝度Ｈ1（Ｘ＝４）と、その共通領域である画像Ｍ0の第３列のブロックＲ0（Ｘ＝３）内の位置が対応する画素の輝度Ｈ0（Ｘ＝３）とによって算出される（式（８−４）参照）。第５列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝５）は、画像Ｍ2の第５列のブロックＲ2（Ｘ＝５）内の当該画素の輝度Ｈ2（Ｘ＝５）と、その共通領域である画像Ｍ0の第３列のブロックＲ0（Ｘ＝３）内の位置が対応する画素の輝度Ｈ0（Ｘ＝３）とによって算出される（式（８−５）参照）。なお、第３列に含まれる各画素のシェーディング成分は、式（８−３）に示すように、Ｓｈ（Ｘ＝３）＝１．０となる。
【０１０２】
第２方向シェーディング成分算出部１２１ｂも、第１方向シェーディング成分算出部１２１ａと同様の処理を実行することにより、３枚の画像から垂直方向におけるシェーディング成分を算出することができる。
【０１０３】
このようにして算出された水平方向及び垂直方向の各方向における正規化シェーディング成分及び非正規化シェーディング成分を用いた画像の補正方法は、実施の形態１と同様である（図１１〜図１３参照）。或いは、実施の形態１の変形例１と同様に、シェーディング成分が格納されたマップを作成し、このマップを用いて画像を補正しても良い。
【０１０４】
以上説明したように、本実施の形態３によれば、撮像視野Ｖの移動回数及び撮像回数を低減することができるので、より短時間にシェーディング補正を行うことが可能となる。
【０１０５】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
本実施の形態４に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂが実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。図１７は、本実施の形態４におけるシェーディング成分の算出方法を説明するための模式図である。
【０１０６】
まず、図６に示すように、被写体ＳＰ内のある領域に撮像視野Ｖを合わせて撮像を行うことにより、画像Ｍ0を取得し、続いて、撮像視野Ｖを水平方向に長さＢｗだけシフトさせて撮像を行うことにより、画像Ｍ1を取得した場合を考える。この際、画像Ｍ0と画像Ｍ1との間で十分な共通領域が確保されるように、具体的には、少なくとも平坦領域である画像の中心部が両画像Ｍ0、Ｍ1の共通領域に含まれるように長さＢｗを設定する。図１７は、このような撮像を行うことにより取得された画像Ｍ0、Ｍ1を示しており、画像Ｍ0の列Ｘ＝１と画像Ｍ1の列Ｘ＝２とが共通領域である。
【０１０７】
ここで、本実施の形態４においては、撮像視野Ｖを水平方向にシフトさせた１ペアの画像によりシェーディング成分を算出することが可能であるため、規定したブロック単位で２回以上撮像視野Ｖをシフトさせる必要がない。そのため、上述した長さＢｗの条件を満たせば、被写体ＳＰが載置されたステージをユーザが水平方向に任意に移動させることにより、撮像視野Ｖをシフトさせることができる。この場合、任意のステージ移動量が１ブロック分の長さＢｗとなる。或いは、水平方向にステージを移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を長さＢｗとしても良い。これらの場合、画像の水平方向の長さｗを１ブロックの長さＢｗで除算することにより、水平方向におけるブロックの分割数が決定される。
【０１０８】
画像Ｍ0の列Ｘ＝１に含まれる任意の画素の輝度Ｈ0（Ｘ＝１）は、この画素におけるテクスチャ成分Ｔ0（Ｘ＝１）とシェーディング成分Ｓｈ（Ｘ＝１）とによって構成される。即ち、Ｈ0（Ｘ＝１）＝Ｔ0（Ｘ＝１）×Ｓｈ（Ｘ＝１）である。一方、この画素と共通の被写体が写った画素であって、画像Ｍ1の列Ｘ＝２に含まれる画素の輝度をＨ1（Ｘ＝２）とすると、輝度Ｈ1（Ｘ＝２）は、この画素におけるテクスチャ成分Ｔ1（Ｘ＝２）とシェーディング成分Ｓｈ（Ｘ＝２）とによって構成される。即ち、Ｈ1（Ｘ＝２）＝Ｔ2（Ｘ＝２）×Ｓｈ（Ｘ＝２）である。
【０１０９】
上述したように、画像Ｍ0の列Ｘ＝１と画像Ｍ1の列Ｘ＝２とは共通領域であるため、テクスチャ成分Ｔ0（Ｘ＝１）とＴ1（Ｘ＝２）とは等しい。従って、次式（９−１）が成り立つ。
【数１１】
2015190013.tif 000013
【０１１０】
同様に、画像Ｍ0の列Ｘ＝２と画像Ｍ1の列Ｘ＝３、画像Ｍ0の列Ｘ＝３と画像Ｍ1の列Ｘ＝４、画像Ｍ0の列Ｘ＝４と画像Ｍ1の列Ｘ＝５がそれぞれ共通領域であることを利用すると、列Ｘ＝２、Ｘ＝３、Ｘ＝４にそれぞれ含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝３）、Ｓｈ（Ｘ＝４）を表す式（９−２）〜（９−４）が得られる。
【数１２】
2015190013.tif 000014
【０１１１】
ここで、平坦領域（３，３）を含む中央の列Ｘ＝３内の各画素におけるシェーディング成分Ｓｈ（Ｘ＝３）を基準とし、式（９−１）〜（９−４）にシェーディング成分Ｓｈ（Ｘ＝３）＝１．０を代入して整理すると、各列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）〜Ｓｈ（Ｘ＝５）を表す式（１０−１）〜（１０−５）が得られる。
【数１３】
2015190013.tif 000015
【０１１２】
式（１０−２）に示すように、シェーディング成分Ｓｈ（Ｘ＝２）は、輝度Ｈ0（Ｘ＝２）及びＨ1（Ｘ＝３）によって与えられる。また、式（１０−１）に示すように、シェーディング成分Ｓｈ（Ｘ＝１）は、式（１０−２）により算出されたシェーディング成分Ｓｈ（Ｘ＝２）と、輝度Ｈ0（Ｘ＝１）及びＨ1（Ｘ＝２）とによって与えられる。また、式（１０−４）に示すように、シェーディング成分Ｓｈ（Ｘ＝４）は、輝度Ｈ0（Ｘ＝３）及びＨ1（Ｘ＝４）よって与えられる。さらに、式（１０−５）に示すように、シェーディング成分Ｓｈ（Ｘ＝５）は、式（１０−４）により算出されたシェーディング成分Ｓｈ（Ｘ＝４）と、輝度Ｈ0（Ｘ＝４）及びＨ1（Ｘ＝５）とによって与えられる。即ち、式（１０−１）〜（１０−５）に示すように、各列に含まれる任意の画素におけるシェーディング成分Ｓｈは、２つの画像Ｍ0、Ｍ1内の画素の輝度を用いて算出することができる。
【０１１３】
つまり、画像内の一部の領域（例えば列Ｘ＝３）におけるシェーディング成分（Ｓｈ（Ｘ＝３））が既知（平坦領域の場合１．０）であれば、一方の画像（例えば画像Ｍ0）内のシェーディング成分が既知である領域（列Ｘ＝３）内の画素の輝度（Ｈ0（Ｘ＝３））と、この領域に対して共通の被写体が写った他方の画像（画像Ｍ1）内の領域（Ｘ＝４）における位置が対応する画素の輝度（Ｈ1（Ｘ＝４））との比（Ｈ1（Ｘ＝４）／Ｈ0（Ｘ＝３））、及び、当該既知のシェーディング成分（Ｓｈ（Ｘ＝３））を用いて、未知のシェーディング成分（Ｓｈ（Ｘ＝４））を算出することができる。そして、このような演算を順次繰り返すことにより、画像全体におけるシェーディング成分を取得することができる。
【０１１４】
一方、第２方向シェーディング成分算出部１２１ｂは、被写体ＳＰ内のある領域に撮像視野Ｖを合わせて撮像を行うことにより取得した画像と、この画像に対して撮像視野Ｖを垂直方向に所定距離（例えば、１ブロック分に相当する長さＢｈ、図５参照）だけシフトさせた画像（図７参照）とからシェーディング成分を取得する。この場合においても、両画像間で十分な共通領域が確保されるように、具体的には、少なくとも平坦領域である画像の中心部が共通領域に含まれるように長さＢｈを設定する。
【０１１５】
この場合も、水平方向の場合と同様に、上述した長さＢｈの条件を満たせば、被写体ＳＰが載置されたステージをユーザが垂直方向に任意に移動させることにより、撮像視野Ｖをシフトさせても良い。このとき、任意のステージ移動量が１ブロック分の長さＢｈとなる。或いは、垂直方向にステージを移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を長さＢｈとしても良い。これらの場合、画像の垂直方向の長さｈを１ブロックの長さＢｈで除算することにより、垂直方向におけるブロックの分割数が決定される。
【０１１６】
撮像視野Ｖをシフトさせる前又は後の画像のいずれかは、第１方向シェーディング成分算出部１２１ａが演算に用いた画像Ｍ0、Ｍ1のいずれかと兼用しても良い。つまり、実質的には、画像Ｍ0又はＭ1に対して撮像視野Ｖを垂直方向にシフトさせた画像を新たに１枚のみ取得すれば良い。
【０１１７】
そして、第２方向シェーディング成分算出部１２１ｂは、上述した水平方向シェーディング成分Ｓｈの算出方法と同様の演算を行うことにより、各行（Ｙ＝１、Ｙ＝２、Ｙ＝３、Ｙ＝４、Ｙ＝５）に含まれる各画素におけるシェーディング成分を算出する。
【０１１８】
このようにして算出された水平方向及び垂直方向の各方向における正規化シェーディング成分及び非正規化シェーディング成分を用いた画像の補正方法は、実施の形態１と同様である（図１１〜図１３参照）。或いは、実施の形態１の変形例１と同様に、シェーディング成分が格納されたマップを作成し、このマップを用いて画像を補正しても良い。
【０１１９】
以上説明したように、本実施の形態４によれば、水平方向及び垂直方向のそれぞれにおいて十分な共通領域を有する２組の画像から、画像全体におけるシェーディング成分を算出することができる。そして、各組のうちの一方の画像については、他の組の画像と兼用することができるので、少なくとも３枚の画像から画像全体におけるシェーディング成分を算出することが可能となる。また、共通領域を有する画像を取得する際には、撮像視野の水平方向及び垂直方向におけるシフト量を厳密に制御する必要はないため、例えば顕微鏡システムにおいて、電動ステージに限らず手動ステージにおいても簡易に実現が可能である。
【０１２０】
なお、本実施の形態４においては、視野を水平方向にシフトさせた１ペアの画像から水平方向シェーディング成分を算出しているが、撮像視野Ｖを水平方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の水平方向シェーディング成分をそれぞれ算出し、これらの水平方向シェーディング成分を加算平均するなどして、最終的な水平方向シェーディング成分Ｓｈを取得しても良い。この際、複数ペアの画像の水平方向におけるシフト量は任意でも良い。それにより、ランダムノイズや、白飛び、黒つぶれといった画像の劣化に起因するシェーディング成分の精度低下を抑制することができる。
【０１２１】
垂直方向シェーディング成分を取得する際にも同様に、撮像視野Ｖを垂直方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の垂直方向シェーディング成分をそれぞれ算出し、これらの垂直方向シェーディング成分を加算平均するなどして、最終的な垂直方向シェーディング成分Ｓｖを取得しても良い。
【０１２２】
（実施の形態５）
次に、本発明の実施の形態５について説明する。
本実施の形態５に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、シェーディング成分算出部１２１が実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。
【０１２３】
上記実施の形態１においては、正規化シェーディング成分が得られていないブロック内の任意の画素のテクスチャ成分Ｔ（Ｘ，Ｙ）を、式（５）及び式（６）のいずれかを用いて算出することとしたが、シェーディング成分算出部１２１は、これらの式（５）、（６）で用いたシェーディング成分を予め重み付け合成した合成シェーディング成分を算出しても良い。
【０１２４】
ここで、補正対象のブロック（Ｘ，Ｙ）に対し、水平方向における共通領域のブロックを基準として算出された非正規化シェーディング成分Ｓｈ（Ｘ，Ｙ）と、上記共通領域のブロックの垂直方向における共通領域である平坦領域のブロック（３，３）を基準として算出された正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）とからなるシェーディング成分を、シェーディング成分Ｓｈｖ1（Ｘ，Ｙ）とする（式（１１）参照）。
Ｓｈｖ1（Ｘ，Ｙ）＝Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ0，Ｙ）  …（１１）
【０１２５】
また、補正対象のブロック（Ｘ，Ｙ）に対し、垂直方向における共通領域のブロックを基準として算出された非正規化シェーディング成分Ｓｖ（Ｘ，Ｙ）と、上記共通領域のブロックの水平方向における共通領域である平坦領域のブロック（３，３）を基準として算出された正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）とからなるシェーディング成分を、シェーディング成分Ｓｈｖ2（Ｘ，Ｙ）とする（式（１２）参照）。
Ｓｈｖ2（Ｘ，Ｙ）＝Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ0）  …（１２）
【０１２６】
これらのシェーディング成分Ｓｈｖ1（Ｘ，Ｙ）、Ｓｈｖ2（Ｘ，Ｙ）を重み付け合成した合成シェーディング成分Ｓ（Ｘ，Ｙ）は、次式（１３）によって与えられる。
【数１４】
2015190013.tif 000016
【０１２７】
式（１３）において、ｗ（Ｘ，Ｙ）は、シェーディング成分の合成に用いられる重みである。一般に、シェーディング成分は滑らかであるとみなすことができるので、重みｗ（Ｘ，Ｙ）は、次式（１４）に示すように、例えば、エッジ量の総和の比に基づいて決定することができる。
【数１５】
2015190013.tif 000017
【０１２８】
式（１４）において、パラメータαは正規化係数である。また、Ｅｄｇｅh［  ］は、水平方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ，Ｙ）又は（Ｘ，Ｙ0））での水平方向のエッジ量の総和を示す。Ｅｄｇｅv［  ］は、垂直方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ0，Ｙ）又は（Ｘ，Ｙ））での垂直方向のエッジ量の総和を示す。
【０１２９】
例えば、シェーディング成分Ｓｈｖ1（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ）及び（Ｘ0，Ｙ）におけるエッジ量の総和が、シェーディング成分Ｓｈｖ2（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ0）及び（Ｘ0，Ｙ）におけるエッジ量の総和に対して小さい場合、重みｗ（Ｘ，Ｙ）の値も小さくなる。従って、式（１３）におけるシェーディング成分Ｓｈｖ1の寄与分が大きくなる。
【０１３０】
式（１４）に示すように、エッジ量或いはコントラストに基づいて重みｗ（Ｘ，Ｙ）を設定することにより、２つのシェーディング成分Ｓｈｖ1、Ｓｈｖ2を、これらの滑らかさに基づいて合成することができる。従って、より滑らかな合成シェーディング成分Ｓを算出することが可能となる。
【０１３１】
この場合、第２画像補正部１２２ｂは、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）に対し、次式（１５）によりテクスチャ成分Ｔ（Ｘ，Ｙ）を算出する。
【数１６】
2015190013.tif 000018
【０１３２】
以上説明したように、本実施の形態５によれば、シェーディング成分を算出した方向（水平方向、垂直方向）によらない、ロバストなシェーディング補正を行うことが可能となる。
【０１３３】
なお、上記実施の形態５においては、式（１４）により重みｗ（Ｘ，Ｙ）を設定することで、滑らかな合成シェーディング成分Ｓを算出したが、メディアンフィルタ、平均化フィルタ、ガウシアンフィルタ等のフィルタ処理を組み合わることにより、さらに滑らかな合成シェーディング成分Ｓを生成することとしても良い。
【０１３４】
（実施の形態６）
次に、本発明の実施の形態６について説明する。上述した実施の形態１〜５は、互いに組み合わせて実施することも可能である。
例えば、実施の形態１、３、５を組み合わせる場合、まず、実施の形態１と同様に、水平方向及び垂直方向の各々に対し、撮像視野Ｖを移動させながら５回撮像を行うことにより５枚の画像（例えば画像Ｍ0〜Ｍ4）を取得する。そして、これらの５枚の画像に基づいて、水平方向及び垂直方向におけるシェーディング成分を算出し、実施の形態５と同様に、正規化シェーディング成分が得られていないブロックに対して合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出する。
【０１３５】
一方、上記画像Ｍ0〜Ｍ4のうちの連続する３枚の画像の組み合わせ（Ｍ0，Ｍ1，Ｍ2）、（Ｍ1，Ｍ2，Ｍ3）、（Ｍ2，Ｍ3，Ｍ4）の各々からも、実施の形態３と同様にして、シェーディング成分を算出することができる。そこで、３つの組み合わせからそれぞれ算出されたシェーディング成分を用い、実施の形態５と同様にして合成シェーディング成分Ｓ（Ｘ，Ｙ）を３つ算出する。結局、１つのブロックに対し、５枚の画像に基づく合成シェーディング成分と、上記３つの画像の組み合わせに基づく３つの合成シェーディング成分Ｓ（Ｘ，Ｙ）が得られる。これらの４つの合成シェーディング成分Ｓ（Ｘ，Ｙ）を加算平均することで、よりロバストな合成シェーディング成分を得ることができる。
【０１３６】
また、実施の形態２、３、５を組み合わせる場合、実施の形態２と同様に、９枚の画像からシェーディング成分を算出し、さらに、実施の形態５と同様に、合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出する。一方、上記９枚の画像のうちの連続する３枚の画像の組み合わせから、実施の形態３と同様にしてシェーディング成分を算出し、さらに、実施の形態５と同様に、合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出する。そして、これらの合成シェーディング成分Ｓ（Ｘ，Ｙ）を加算平均することによっても、よりロバストなシェーディング成分を算出することができる。
【０１３７】
（実施の形態７）
次に、本発明の実施の形態７について説明する。
図１８は、本実施の形態７に係る画像処理装置の構成例を示すブロック図である。図１８に示すように、本実施の形態７に係る画像処理装置２は、図１に示す画像処理部１２の代わりに、該画像処理部１２に平坦領域探索部２１１をさらに設けた画像処理部２１を備える。
【０１３８】
ここで、上記実施の形態１〜５においては、画像の中央領域を、シェーディング成分が一様である平坦領域とみなして、中央のブロック以外の領域におけるシェーディング成分を算出した。これに対し、本実施の形態７においては、画像内から平坦領域を探索した上でシェーディング成分を算出する。
【０１３９】
なお、平坦領域の探索に先立って、画像処理部２１は、実施の形態１と同様に、水平方向及び垂直方向の各々において撮像視野を所定量ずつ移動させながら撮像を行うことにより取得された画像（例えば、水平方向の場合、図８に示す画像Ｍ0〜Ｍ4）を、画像取得部１１から取り込んでおく。
【０１４０】
平坦領域探索部２１１は、水平方向に撮像視野を移動させることにより取得された画像Ｍ0〜Ｍ4のうち、テクスチャ成分が共通するブロックに含まれる任意の画素の輝度Ｈ0（Ｘ＝１）、Ｈ1（Ｘ＝２）、Ｈ2（Ｘ＝３）、Ｈ3（Ｘ＝４）、Ｈ4（Ｘ＝５）から、図１９に示す水平方向画像Ｆｈを求め、記憶部１３に記憶させる。水平方向画像Ｆｈを構成する各列Ｆｈ（Ｘ＝１）〜のＦｈ（Ｘ＝５）に含まれる任意の画素の輝度は、次式（１６−１）〜（１６−５）によって与えられる。
【数１７】
2015190013.tif 000019
【０１４１】
同様に、平坦領域探索部２１１は、撮像視野Ｖを垂直方向に移動させることにより取得された画像のうち、テクスチャ成分が共通するブロックに含まれる任意の画素の輝度から図２０に示す垂直方向画像Ｆｖを求め、記憶部１３に記憶させる。
【０１４２】
図２１は、図１９に示す水平方向画像Ｆｈを画素単位で示す模式図である。また、図２２は、図２０に示す垂直方向画像Ｆｖを画素単位で示す模式図である。なお、図２１及び図２２においては、説明を簡単にするため、１つのブロック（Ｘ，Ｙ）が５画素×５画素によって構成されるものとしている。以下、図２１及び図２２においては、画素の座標を（ｘ，ｙ）で示し、ブロックの座標を（Ｘ，Ｙ）で示す。また、勾配の算出対象のブロック（Ｘ，Ｙ）をＲＯＩ（Ｘ，Ｙ）とする。
【０１４３】
平坦領域探索部２１１は、これらの水平方向画像Ｆｈ及び垂直方向画像Ｆｖから、ブロック（Ｘ，Ｙ）ごとに、次式（１７）によって与えられるシェーディング成分の勾配Ｎ（ｘ，ｙ）を算出する。
【数１８】
2015190013.tif 000020
【０１４４】
式（１７）に示す符号Ｂｗは、各ブロックの水平方向におけるサイズ（長さ）を表し、画素数で示される。また、式（１７）に示す符号Ｂｈは、各ブロックの垂直方向におけるサイズ（長さ）を表し、画素数で示される（図５参照）。
【０１４５】
一例として、ＲＯＩ（Ｘ＝２，Ｙ＝２）におけるシェーディング成分の勾配Ｎ（ｘ，ｙ）を算出する場合を考える。水平方向画像Ｆｈにおいては、画素（ｘ＝３，ｙ＝８）、（ｘ＝８，ｙ＝８）、（ｘ＝１３，ｙ＝８）におけるテクスチャ成分が等しい。そのため、これらの画素における輝度の変化は、シェーディング成分の変化に相当する。また、垂直方向画像Ｆｖにおいては、画素（ｘ＝８，ｙ＝３）、（ｘ＝８，ｙ＝８）、（ｘ＝８，ｙ＝１３）におけるテクスチャ成分が等しい。そのため、これらの画素における輝度の変化は、シェーディング成分の変化に相当する。
【０１４６】
従って、ＲＯＩ（Ｘ＝２，Ｙ＝２）の中心画素（ｘ＝８，ｙ＝８）におけるシェーディング成分の勾配Ｎ（８，８）は、次式（１８）によって与えられる。
【数１９】
2015190013.tif 000021
【０１４７】
平坦領域探索部２１１は、ＲＯＩ（Ｘ＝２，Ｙ＝２）の中心に位置する画素（ｘ＝８，ｙ＝８）におけるシェーディング成分の勾配を、当該ＲＯＩ（Ｘ＝２，Ｙ＝２）のシェーディング成分の勾配とする。平坦領域探索部２１１は、このようにして、画像端を除く全てのブロックについてシェーディング成分の勾配を算出し、勾配が最小となるブロックを平坦領域として決定する。
【０１４８】
なお、各ブロックのシェーディング成分の勾配としては、当該ＲＯＩの中心に位置する画素のシェーディング成分の勾配に限らず、ＲＯＩ内の全画素におけるシェーディング成分の勾配の統計値（合計値、平均値、最頻値、中央値等）を採用しても良いし、ＲＯＩ内の一部の画素におけるシェーディング成分の勾配の統計値（同上）を採用しても良い。
【０１４９】
平坦領域探索部２１１により中央領域以外の領域が平坦領域として探索された場合、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂは、探索された平坦領域を基準として（即ち、シェーディング成分が１．０であるとみなして）、各方向におけるシェーディング成分を算出する。例えば、ブロック（Ｘ＝２，Ｙ＝２）が平坦領域である場合、第１方向シェーディング成分算出部１２１ａは、平坦領域を含む第２列のブロックを基準として、次式（１９−１）〜（１９−５）により、水平方向におけるシェーディング成分Ｓｈ（Ｘ＝１）〜Ｓｈ（Ｘ＝５）を算出し、記憶部１３に記憶させる。
【数２０】
2015190013.tif 000022
図２３は、記憶部１３に記憶された水平方向におけるシェーディング成分Ｓｈを模式的に示す図である。
【０１５０】
同様に、第２方向シェーディング成分算出部１２１ｂは、平坦領域を含む第２行のブロックを基準として、垂直方向におけるシェーディング成分Ｓｖ（Ｙ＝１）〜Ｓｖ（Ｙ＝５）を算出し、記憶部１３に記憶させる。図２４は、記憶部１３に記憶された垂直方向におけるシェーディング成分Ｓｖを模式的に示す図である。なお、図２３及び図２４においては、平坦領域を含む列及び行に斜線の網掛けを附している。
【０１５１】
この場合、第２画像補正部１２２ｂは、正規化シェーディング成分が得られていないブロックにおけるテクスチャ成分Ｔ（Ｘ，Ｙ）を次式（２０）又は（２１）を用いて算出する。
【数２１】
2015190013.tif 000023
【０１５２】
以上説明したように、本実施の形態７によれば、光軸のずれ等によりシェーディングが一様である平坦領域が中央からずれてしまった場合であっても、精度の良いシェーディング補正を行うことが可能となる。
【０１５３】
なお、上記実施の形態７においては、探索した平坦領域におけるシェーディング成分を１．０として、各ブロックにおけるシェーディング成分を算出しているが、実際には、平坦領域のシェーディング成分が１．０でない場合もあり得る。このような場合、画像補正部１２２は、シェーディング補正により算出したテクスチャ成分に対してさらに、画像全体において均一なゲインで正規化すれば良い。
【０１５４】
また、上記実施の形態７においては、勾配Ｎ（ｘ，ｙ）が最小となる画素を含むブロックを平坦領域としたが、勾配Ｎ（ｘ，ｙ）に対する閾値を設定し、勾配Ｎ（ｘ，ｙ）が閾値以下となる全てのブロックを平坦領域としても良い。この場合、各平坦領域を基準として算出されたシェーディング成分同士を、勾配Ｎ（ｘ，ｙ）の値に基づいて重み付け合成をするなどして、最終的なシェーディング成分を算出しても良い。
【０１５５】
（実施の形態８）
次に、本発明の実施の形態８について説明する。
図２５は、本実施の形態８に係る顕微鏡システムの構成例を示す図である。図２５に示すように、本実施の形態８に係る顕微鏡システム６は、顕微鏡装置３と、画像処理装置４と、表示装置５とを備える。
【０１５６】
顕微鏡装置３は、落射照明ユニット３０１及び透過照明ユニット３０２が設けられた略Ｃ字形のアーム３００と、該アーム３００に取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ３０３と、鏡筒３０５の一端側に三眼鏡筒ユニット３０８を介して標本ステージ３０３と対向するように設けられた対物レンズ３０４と、鏡筒３０５の他端側に設けられた撮像部３０６と、標本ステージ３０３を移動させるステージ位置変更部３０７とを有する。三眼鏡筒ユニット３０８は、対物レンズ３０４から入射した被写体ＳＰの観察光を、撮像部３０６と後述する接眼レンズユニット３０９とに分岐する。接眼レンズユニット３０９は、ユーザが被写体ＳＰを直接観察するためのものである。
【０１５７】
落射照明ユニット３０１は、落射照明用光源３０１ａ及び落射照明光学系３０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系３０１ｂは、落射照明用光源３０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【０１５８】
透過照明ユニット３０２は、透過照明用光源３０２ａ及び透過照明光学系３０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系３０２ｂは、透過照明用光源３０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
【０１５９】
対物レンズ３０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ３０４、３０４’）を保持可能なレボルバ３１０に取り付けられている。このレボルバ３１０を回転させて、標本ステージ３０３と対向する対物レンズ３０４、３０４’を変更することにより、撮像倍率を変化させることができる。
【０１６０】
鏡筒３０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。なお、鏡筒３０５内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置４に出力し、画像処理装置４において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしても良い。
【０１６１】
撮像部３０６は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、該撮像素子が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラであり、画像処理装置４の撮像制御部１１１の制御に従って、所定のタイミングで動作する。撮像部３０６は、対物レンズ３０４から鏡筒３０５内の光学系を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置４に出力する。或いは、撮像部３０６は、ＲＧＢ色空間で表された画素値を、ＹＣｂＣｒ色空間で表された画素値に変換して画像処理装置４に出力しても良い。
【０１６２】
ステージ位置変更部３０７は、例えばボールネジ（図示せず）及びステッピングモータ３０７ａを含み、標本ステージ３０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部３０７には、標本ステージ３０３をＺ軸に沿って移動させることにより、対物レンズ３０４の焦点を被写体ＳＰに合わせる。なお、ステージ位置変更部３０７の構成は上述した構成に限定されず、例えば超音波モータ等を使用しても良い。
【０１６３】
なお、本実施の形態８においては、対物レンズ３０４を含む光学系の位置を固定し、標本ステージ３０３側を移動させることにより、被写体ＳＰに対する撮像視野を変化させるが、対物レンズ３０４を光軸と直交する面内において移動させる移動機構を設け、標本ステージ３０３を固定して、対物レンズ３０４側を移動させることにより、撮像視野を変化させることとしても良い。或いは、標本ステージ３０３及び対物レンズ３０４の双方を相対的に移動させても良い。
【０１６４】
画像処理装置４は、画像取得部１１と、画像処理部４１と、記憶部１３とを備える。このうち、画像取得部１１及び記憶部１３の構成及び動作は、実施の形態１と同様である（図１参照）。画像取得部１１のうち、駆動制御部１１２は、標本ステージ３０３に搭載されたスケールの値等に基づき、予め定められたピッチで該標本ステージ３０３の駆動座標を指示することにより標本ステージ３０３の位置制御を行うが、顕微鏡装置３により取得された画像に基づくテンプレートマッチング等の画像マッチングの結果に基づいて標本ステージ３０３の位置制御を行っても良い。本実施の形態８においては、被写体ＳＰの面内で撮像視野Ｖを水平方向に移動させた後、垂直方向に移動させるだけなので、標本ステージ３０３の制御は非常に容易である。
【０１６５】
画像処理部４１は、図１に示す画像処理部１２に対し、ＶＳ画像作成部４１１をさらに備える。ＶＳ画像作成部４１１は、画像補正部１２２によりシェーディング補正が施された複数の画像をもとに、バーチャルスライド（ＶＳ）画像を作成する。
【０１６６】
バーチャルスライド画像とは、撮像視野が互いに異なる複数の画像を貼り合わせて作成された広視野の画像であり、本顕微鏡システム６には、バーチャルスライド画像の作成機能が搭載されている。ここで、顕微鏡装置３において撮像された画像をそのまま貼り合わせようとすると、光学系の特性等に応じて生じるシェーディングの影響により、画像同士を貼り合わせたつなぎ目に不自然な境界が発生してしまう。そこで、本実施の形態８においては、画像補正部１２２によりシェーディング補正がなされた後の画像同士を貼り合わせることとしている。
【０１６７】
なお、シェーディング成分算出部１２１及び画像補正部１２２の構成及び動作は、実施の形態１と同様である。或いは、実施の形態２〜５のいずれかと同様にシェーディング成分算出部１２１及び画像補正部１２２を動作させても良い。さらには、実施の形態７と同様に、平坦領域探索部２１１をさらに設けても良い。
【０１６８】
また、画像取得部１１及び画像処理部１２は、専用のハードウェアによって構成しても良いし、ＣＰＵ等のハードウェアに所定のプログラムを読み込むことによって構成しても良い。後者の場合、後述する顕微鏡装置３に対する撮像動作の制御を画像取得部１１に実行させるための制御プログラムや、シェーディング補正を含む画像処理を画像処理部１２に実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を上記記憶部１３に記憶させても良い。
【０１６９】
表示装置５は、例えば、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって構成され、画像処理装置４から出力された画像や関連情報を表示する。
【０１７０】
次に、顕微鏡システム６における画像の取得動作について説明する。本顕微鏡システム６においては、バーチャルスライド画像作成用の画像取得とシェーディング成分算出用の画像取得とを組み合わせて行うことが可能である。図２６は、本実施の形態８における複数の画像の取得動作を説明するための模式図である。
【０１７１】
例えば図２６に示すように、バーチャルスライド画像の作成用の画像Ｖ０〜Ｖ７を取得する際、撮像視野を水平に移動させる間の一部の区間（例えば画像Ｖ０、Ｖ１を取得する間）のみ、撮像視野の移動ピッチを狭くして（例えば長さＢｗに設定して）撮像を行うことにより、水平方向におけるシェーディング成分算出用の画像Ｍj=0、Ｍj=1、Ｍj=2、Ｍj=3、Ｍj=4を取得する。このうち、画像Ｍj=0と画像Ｖ０とは撮像視野内の被写体が共通なので、画像を兼用することができる。また、撮像視野を垂直に移動させる間の一部の区間（例えば画像Ｖ４、Ｖ５を取得する間）のみ、撮像視野の移動ピッチを狭くして（例えば長さＢｈに設定して）撮像を行うことにより、垂直方向におけるシェーディング成分算出用の画像Ｍk=0、Ｍk=1、Ｍk=2、Ｍk=3、Ｍk=4を取得する。このうち、画像Ｍk=0と画像Ｖ４とは撮像視野内の被写体が共通なので、画像を兼用することができる。また、画像Ｖ０、Ｖ１、…と撮像を進めている間に、取得済みの画像Ｍj=0〜Ｍj=4からシェーディング成分の算出を並行して行っても良いし、算出されたシェーディング成分を用いてシェーディング補正を並行して行っても良い。
【０１７２】
このように、本実施の形態８においては、バーチャルスライド画像作成用の画像を取得する際の撮像視野の移動方向と、シェーディング成分算出用の画像を取得する際の撮像視野の移動方向とが共通しているため、標本ステージ３０３を無駄に移動させることなく、効率的に、これらの画像を取得することができる。また、バーチャルスライド画像の作成用の一部の画像を、シェーディング成分の作成に使用することができるので、撮像回数を低減することもできる。
【０１７３】
なお、バーチャルスライド画像作成用の画像取得経路上において、シェーディング成分算出用の取得を行う位置は、任意に設定することができる。また、バーチャルスライド画像作成用の画像取得経路上の複数箇所においてシェーディング成分の算出用画像を取得し、画像を取得した箇所ごとに算出されたシェーディング成分を合成しても良い。この場合、合成されたシェーディング成分を用いることにより、シェーディング補正におけるロバスト性を向上させることができる。
【０１７４】
また、標本ステージ３０３の位置決め精度や顕微鏡装置３の分解能によっては、予め設定した標本ステージ３０３の移動量にズレが生じる場合がある。このような場合、ステージに設けられたスケールの値、ステッピングモータ３０７ａのパルス数、画像マッチング、或いはこれらの組み合わせにより、バーチャルスライド画像作成用の画像の位置合わせを行っても良い。本実施の形態８においては、被写体ＳＰの面内で撮像視野Ｖを２つの方向に順次移動させるだけなので、このような位置合わせも容易に行うことができる。
【０１７５】
本発明は、上述した各実施の形態１〜８そのままに限定されるものではなく、各実施の形態１〜８に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜８に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【符号の説明】
【０１７６】
１、２、４  画像処理装置
３  顕微鏡装置
５  表示装置
６  顕微鏡システム
１１  画像取得部
１２、２１、４１  画像処理部
１３  記憶部
３０  光学系
１１１  撮像制御部
１１２  駆動制御部
１２１  シェーディング成分算出部
１２１ａ  第１方向シェーディング成分算出部
１２１ｂ  第２方向シェーディング成分算出部
１２２  画像補正部
１２２ａ  第１画像補正部
１２２ｂ  第２画像補正部
２１１  平坦領域探索部
３００  アーム
３０１  落射照明ユニット
３０１ａ  落射照明用光源
３０１ｂ  落射照明光学系
３０２  透過照明ユニット
３０２ａ  透過照明用光源
３０２ｂ  透過照明光学系
３０３  標本ステージ
３０４、３０４’  対物レンズ
３０５  鏡筒
３０６  撮像部
３０７  ステージ位置変更部
３０７ａ  ステッピングモータ
３０８  三眼鏡筒ユニット
３０９  接眼レンズユニット
３１０  レボルバ
４１１  ＶＳ画像作成部
【図１】
2015190013.tif 000024
【図４】
2015190013.tif 000025
【図５】
2015190013.tif 000026
【図１２】
2015190013.tif 000027
【図１８】
2015190013.tif 000028
【図２５】
2015190013.tif 000029
【図２６】
2015190013.tif 000030
【図２】
2015190013.tif 000031
【図３】
2015190013.tif 000032
【図６】
2015190013.tif 000033
【図７】
2015190013.tif 000034
【図８】
2015190013.tif 000035
【図９】
2015190013.tif 000036
【図１０】
2015190013.tif 000037
【図１１】
2015190013.tif 000038
【図１３】
2015190013.tif 000039
【図１４】
2015190013.tif 000040
【図１５】
2015190013.tif 000041
【図１６】
2015190013.tif 000042
【図１７】
2015190013.tif 000043
【図１９】
2015190013.tif 000044
【図２０】
2015190013.tif 000045
【図２１】
2015190013.tif 000046
【図２２】
2015190013.tif 000047
【図２３】
2015190013.tif 000048
【図２４】
2015190013.tif 000049
【国際調査報告】
2015190013.tif 000050
2015190013.tif 000051