(57)【要約】  本開示の画像形成システム（１０００）は、画像取得装置（１００）と、画像形成回路（１４０）と、画像処理回路（１５０）とを有する。画像取得装置（１００）は、被写体と撮像素子とが一体化されたモジュールにおける被写体を複数の異なる照射方向から順次照射する照明システム（３０ａ）を有する。画像取得装置（１００）は、複数の異なる照射方向に応じた複数の画像を取得する。画像形成回路（１４０）は、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。画像処理回路（１５０）は、被写体よりも撮像素子の撮像面から遠い位置にある異物に起因するノイズを検出し、ノイズを除去する。
2016067508.tif 000002
【特許請求の範囲】
【請求項１】
画像形成システムであって、
前記画像形成システムは、画像取得装置、画像処理回路、および、画像形成回路を含み、
前記画像取得装置は、複数の光電変換部を含む撮像素子と第１部分および前記第１部分に隣接する第２部分を含む被写体とが一体化されたモジュールにおける前記被写体に向けて第１方向から第１の照明光を出射し、前記第１の照明光の出射の後に、前記第１方向とは異なる第２方向から第２の照明光を前記被写体に向けて出射する照明システムを有し、
前記複数の光電変換部は、前記第１の照明光が前記被写体を通過して得られる第１変換光に基づいて、第１画素値を含む第１の複数の画素値を取得し、前記第２の照明光が前記被写体を通過して得られる第２変換光に基づいて、第２画素値を含む第２の複数の画素値を取得し、
前記複数の光電変換部は、第１光電変換部と、第２光電変換部とを含み、
前記第１光電変換部は、前記第１の照明光のうちの一部が前記第１部分を通過して得られる、前記第１変換光のうちの一部に基づいて、前記第１画素値を出力し、
前記第２光電変換部は、前記第２の照明光のうちの一部が前記第２部分を通過して得られる、前記第２変換光のうちの一部に基づいて、前記第２画素値を出力し、
前記第１光電変換部と前記第２光電変換部は、同一、または、前記撮像素子において隣接し、
前記画像処理回路は、前記第１画素値および前記第２画素値の間の差分の絶対値が、予め設定した閾値よりも大きいか否かを判定し、
前記画像形成回路は、前記第１の複数の画素値および前記第２の複数の画素値に基づいて画像を生成し、
前記生成される画像の画素値の数は、前記第１の複数の画素値の数よりも多く、かつ、前記生成される画像の画素値の数は、前記第２の複数の画素値の数よりも多い、画像形成システム。
【請求項２】
前記画像処理回路は、前記第１画素値および前記第２画素値の間の差分の絶対値が、予め設定した閾値よりも大きく、かつ、前記第１画素値が前記第２画素値より小さい場合には、前記第１画素値がノイズを含む画素の画素値であると判定し、
前記第１画素値および前記第２画素値の間の差分の絶対値が、予め設定した閾値よりも大きく、かつ、前記第１画素値が前記第２画素値より大きい場合には、前記第２画素値がノイズを含む画素の画素値であると判定する、請求項１に記載の画像形成システム。
【請求項３】
前記画像処理回路は、ノイズを含む画素と判定された画素の画素値を他の画素値で置き換える、請求項２に記載の画像形成システム。
【請求項４】
前記他の画素値は、ノイズを含む画素と判定された画素以外の画素の画素値から算出される画素値である、請求項３に記載の画像形成システム。
【請求項５】
前記他の画素値は、前記画像における、ノイズを含む画素と判定された画素の上下左右に隣接する４つの画素から構成される群である４近傍の画素値、または、ノイズを含む画素と判定された画素の上下左右に隣接する４つの画素と前記ノイズを含む画素と判定された画素の斜め方向に隣接する４つの画素とから構成される群である８近傍の画素値を用いて算出される画素値である、請求項４に記載の画像形成システム。
【請求項６】
前記他の画素値は、前記第１方向および前記第２方向のいずれとも異なる第３方向から前記被写体を照射したときに前記複数の光電変換部から出力される第３の複数の画素値のうちの１つである、請求項３に記載の画像形成システム。
【請求項７】
前記ノイズを含む画素は、前記被写体よりも前記撮像素子の撮像面から遠い位置にある異物に起因するノイズを含む画素であり、
前記他の画素値は、前記ノイズを含む画素と判定された画素の画素値に、前記異物の像および前記被写体の像のいずれも含まない画素の画素値と、前記異物の像を含み、かつ、前記被写体の像を含まない画素の画素値との差を加算することによって得られる画素値である、請求項３に記載の画像形成システム。
【請求項８】
前記画像処理回路は、前記画像形成回路が生成した前記画像から前記第１画素値および前記第２画素値を抽出し、前記第１画素値および前記第２画素値の間の差分の絶対値が、予め設定した閾値よりも大きいか否かの判定を実行する、請求項１から７のいずれかに記載の画像形成システム。
【請求項９】
前記画像処理回路は、前記画像の一区画を構成する、複数の画素を有する画素ブロックにおける画素間の画素値の変化の大きさに基づいて、前記画像に含まれる画素のうち、前記ノイズを含む画素の画素値を検出する、請求項８に記載の画像形成システム。
【請求項１０】
前記照明システムは、１以上の光源、前記モジュールが着脱自在なステージ、および、前記ステージの姿勢を変更可能なステージ駆動機構を有する、請求項１から９のいずれかに記載の画像形成システム。
【請求項１１】
前記照明システムは、互いに異なる波長域の光を出射する複数の光源を有する、請求項１０に記載の画像形成システム。
【請求項１２】
前記照明システムは、前記複数の異なる照射方向に対応した異なる位置に配置され、順次、前記第１および第２の照明光を含む複数の照明光を出射する複数の光源を有する、請求項１０または１１に記載の画像形成システム。
【請求項１３】
前記照明システムは、前記ステージの姿勢および前記１以上の光源の向きの少なくとも一方を変化させるゴニオ機構を含んでいる、請求項１０から１２のいずれかに記載の画像形成システム。
【請求項１４】
複数の光電変換部を含む撮像素子と第１部分および前記第１部分に隣接する第２部分を含む被写体とが一体化されたモジュールにおける前記被写体を第１方向から第１の照明光で照射し、前記第１の照明光の照射の後に、前記第１方向とは異なる第２方向から第２の照明光で前記被写体を照射することにより、前記第１の照明光が前記被写体を通過して得られる第１変換光に基づいて、第１画素値を含む第１の複数の画素値を取得し、前記第２の照明光が前記被写体を通過して得られる第２変換光に基づいて、第２画素値を含む第２の複数の画素値を取得する工程であって、
前記複数の光電変換部は、第１光電変換部と、第２光電変換部とを含み、
前記第１光電変換部は、前記第１の照明光のうちの一部が前記第１部分を通過して得られる、前記第１変換光のうちの一部に基づいて、前記第１画素値を出力し、
前記第２光電変換部は、前記第２の照明光のうちの一部が前記第２部分を通過して得られる、前記第２変換光のうちの一部に基づいて、前記第２画素値を出力し、
前記第１光電変換部と前記第２光電変換部は、同一、または、前記撮像素子において隣接する工程と、
前記第１画素値および前記第２画素値の間の差分の絶対値が、予め設定した閾値よりも大きいか否かを判定する工程と、
前記第１の複数の画素値および前記第２の複数の画素値に基づいて、前記第１の複数の画素値の数よりも多い数の画素値を含み、かつ、前記第２の複数の画素値の数よりも多い数の画素値を含む画像を生成する工程と
を含む、画像形成方法。
【請求項１５】
画像取得装置、画像処理回路、および、画像形成回路を含む画像形成システムに用いられる、複数の光電変換部を含む撮像素子であって、
前記画像取得装置は、第１部分および前記第１部分に隣接する第２部分を含む被写体に向けて第１方向から第１の照明光を出射し、前記第１の照明光の出射の後に、前記第１方向とは異なる第２方向から第２の照明光を前記被写体に向けて出射する照明システムを有し、前記被写体を透過した光が入射する位置に配置された前記撮像素子における前記複数の光電変換部によって、前記第１の照明光が前記被写体を通過して得られる第１変換光に基づいて、第１画素値を含む第１の複数の画素値を取得し、前記第２の照明光が前記被写体を通過して得られる第２変換光に基づいて、第２画素値を含む第２の複数の画素値を取得し、
前記複数の光電変換部は、第１光電変換部と、第２光電変換部とを含み、
前記第１光電変換部は、前記第１の照明光のうちの一部が前記第１部分を通過して得られる、前記第１変換光のうちの一部に基づいて、前記第１画素値を出力し、
前記第２光電変換部は、前記第２の照明光のうちの一部が前記第２部分を通過して得られる、前記第２変換光のうちの一部に基づいて、前記第２画素値を出力し、
前記第１光電変換部と前記第２光電変換部は、同一、または、前記撮像素子において隣接し、
前記画像処理回路は、前記第１画素値および前記第２画素値の間の差分の絶対値が、予め設定した閾値よりも大きいか否かを判定し、
前記画像形成回路は、前記第１の複数の画素値および前記第２の複数の画素値に基づいて、前記第１の複数の画素値の数よりも多い数の画素値を含み、かつ、前記第２の複数の画素値の数よりも多い数の画素値を含む画像を生成し、
前記撮像素子は、
前記画像取得装置に対して着脱可能であり、
前記画像取得装置に装着された状態において前記第１変換光または第２変換光が入射する側の面に、前記被写体を配置可能な被写体支持部を備える、撮像素子。
【請求項１６】
複数の光電変換部を含む撮像素子と第１部分および前記第１部分に隣接する第２部分を含む被写体とが一体化されたモジュールにおける前記被写体を第１方向から第１の照明光で照射し、前記第１の照明光の照射の後に、前記第１方向とは異なる第２方向から第２の照明光で前記被写体を照射することによって、前記第１の照明光が前記被写体を通過して得られる第１変換光に基づいて、第１画素値を含む第１の複数の画素値を取得し、前記第２の照明光が前記被写体を通過して得られる第２変換光に基づいて、第２画素値を含む第２の複数の画素値を取得する工程であって、
前記複数の光電変換部は、第１光電変換部と、第２光電変換部とを含み、
前記第１光電変換部は、前記第１の照明光のうちの一部が前記第１部分を通過して得られる、前記第１変換光のうちの一部に基づいて、前記第１画素値を出力し、
前記第２光電変換部は、前記第２の照明光のうちの一部が前記第２部分を通過して得られる、前記第２変換光のうちの一部に基づいて、前記第２画素値を出力し、
前記第１光電変換部と前記第２光電変換部は、同一、または、前記撮像素子において隣接する工程と、
前記第１画素値および前記第２画素値の間の差分の絶対値が、予め設定した閾値よりも大きいか否かを判定する工程と、
前記第１の複数の画素値および前記第２の複数の画素値に基づいて、前記第１の複数の画素値の数よりも多い数の画素値を含み、かつ、前記第２の複数の画素値の数よりも多い数の画素値を含む画像を生成する工程と
を含む処理を１以上のプロセッサに実行させるための命令を含む、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像形成システム、画像形成方法、撮像素子、およびプログラムに関する。
【背景技術】
【０００２】
従来、生体組織などにおけるミクロ構造を観察するために光学顕微鏡が用いられてきた。光学顕微鏡は、観察対象を透過した光、あるいは反射した光を利用する。観察者は、レンズによって拡大された像を観察する。【０００３】
一方、レンズを使用しない画像化システムが提案されている。特許文献１は、細胞試料を画像化するためのレンズフリーの画像化システムを開示している（図１）。このシステムでは、試料が保持されたホルダが画像化センサアレイ上に配置される。ホルダ上の試料の上方からの照射により、試料を透過した光が画像化センサアレイに入射する。【０００４】
近年、ＣＩＳ（Contact Image Sensing）方式によってミクロ構造を観察する技術が注目されている。ＣＩＳ方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。【０００５】
イメージセンサは、それぞれが１つの光電変換部を含む多数の単位領域（単位画素セル）を含む。イメージセンサによって取得された画像は、各単位画素セルの光電変換部によって取得される画素値を提示する多数の画素から構成される。したがって、２次元イメージセンサにおける分解能（解像度）は、通常、撮像面上における光電変換部の配列ピッチに依存する。本明細書では、光電変換部の配列ピッチによって決まる分解能を、イメージセンサの「固有分解能」と呼ぶことがある。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているので、固有分解能をさらに向上させることは困難である。【０００６】
イメージセンサの固有分解能を超える分解能を実現する技術が提案されている。特許文献２は、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像を形成する技術を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２０１３−５０８７７５号公報
【特許文献２】特開昭６２−１３７０３７号公報
【特許文献３】特開２００３−３０４３９５号公報
【発明の概要】
【０００８】
本開示の非限定的で例示的な一態様は、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像形成システムである。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【０００９】
本開示の一態様に係る画像形成システムは、被写体と撮像素子とが一体化されたモジュールにおける前記被写体を、前記被写体を基準として複数の異なる照射方向から順次照射するように構成された照明システムを有し、前記複数の異なる照射方向に応じた複数の画像を取得する画像取得装置と、前記複数の画像を合成することにより、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像形成装置と、前記被写体よりも前記撮像素子の撮像面から遠い位置にある異物に起因するノイズを検出し、前記ノイズを除去するように構成された画像処理装置を備える。
【００１０】
なお、これらの包括的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
【００１１】
本開示によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上する。
【図面の簡単な説明】
【００１２】
【図１Ａ】図１Ａは、被写体２の一部を模式的に示す平面図
【図１Ｂ】図１Ｂは、図１Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図
【図２Ａ】図２Ａは、被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図
【図２Ｂ】図２Ｂは、被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図
【図２Ｃ】図２Ｃは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐａを模式的に示す図
【図３Ａ】図３Ａは、第１照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図
【図３Ｂ】図３Ｂは、第１照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図
【図３Ｃ】図３Ｃは、照明光が第２照射方向から照射された場合に取得される６個の画素Ｐｂを模式的に示す図
【図４Ａ】図４Ａは、第１照射方向および第２照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図
【図４Ｂ】図４Ｂは、第１照射方向および第２照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図
【図４Ｃ】図４Ｃは、照明光が第３照射方向から照射された場合に取得される６個の画素Ｐｃを模式的に示す図
【図５Ａ】図５Ａは、第１照射方向、第２照射方向および第３照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図
【図５Ｂ】図５Ｂは、照明光が第４照射方向から照射された場合に取得される６個の画素Ｐｄを模式的に示す図
【図６】図６は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高分解能画像ＨＲを示す図
【図７Ａ】図７Ａは、イメージセンサ４の撮像面にたてた法線Ｎとフォトダイオード４ｐに向かって進行する光線とのなす角の算出方法を説明するための模式的な断面図
【図７Ｂ】図７Ｂは、被写体２の隣接する２つの領域を通過した光線がそれぞれ異なるフォトダイオードに入射するように調整された照射方向を模式的に示す断面図
【図８Ａ】図８Ａは、モジュールの断面構造の一例を模式的に示す図
【図８Ｂ】図８Ｂは、図８Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す平面図
【図９】図９は、モジュールの作製方法の一例を説明するための図
【図１０Ａ】図１０Ａは、サブ画像の取得時における照射角度の例を示す断面図
【図１０Ｂ】図１０Ｂは、図１０Ａに示す照射角度とは異なる照射角度で被写体を照射する方法の例を示す断面図
【図１１】図１１は、本開示の実施形態による画像形成システム１０００の構成の一例を示す概略図
【図１２Ａ】図１２Ａは、画像取得装置１００の例示的な外観を示す斜視図
【図１２Ｂ】図１２Ｂは、図１２Ａに示す画像取得装置１００において蓋部１２０を閉じた状態を示す斜視図
【図１２Ｃ】図１２Ｃは、画像取得装置１００のステージ３２に対するソケット１３０の装填方法の一例を模式的に示す図
【図１３Ａ】図１３Ａは、照射方向を変更する方法の一例を模式的に示す図
【図１３Ｂ】図１３Ｂは、基準面に対してステージ３２を角度θ傾斜させたときの、被写体に入射する光線の方向の変化を模式的に示す図
【図１４Ａ】図１４Ａは、照明システムの構成の他の例を模式的に示す図
【図１４Ｂ】図１４Ｂは、照明システムの構成のさらに他の例を模式的に示す図
【図１４Ｃ】図１４Ｃは、照明システムの構成のさらに他の例を模式的に示す図
【図１５Ａ】図１５Ａは、本開示の実施形態による例示的な画像形成方法の概略を示す図
【図１５Ｂ】図１５Ｂは、本開示の実施形態による他の例示的な画像形成方法の概略を示す図
【図１６】図１６は、本開示の実施形態による画像形成方法の一例における詳細を示すフローチャート
【図１７Ａ】図１７Ａは、第１照射方向から照射したときにおける、被写体２において照明光が透過する領域と、イメージセンサ４によって取得される像との間の関係を模式的に示す図
【図１７Ｂ】図１７Ｂは、第２照射方向から照射したときにおける、被写体２において照明光が透過する領域と、イメージセンサ４によって取得される像との間の関係を模式的に示す図
【図１７Ｃ】図１７Ｃは、図１７Ａに示すサブ画像Ｓａｄと、図１７Ｂに示すサブ画像Ｓｂｄとを合成した状態を模式的に示す図
【図１７Ｄ】図１７Ｄは、４方向からの照射によって得られる４つのサブ画像を合成して形成された高分解能画像ＨＲｄにおける、ノイズの現れ方を模式的に示す図
【図１８Ａ】図１８Ａは、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にゴミＤが存在するときに取得されるサブ画像の例を模式的に示す図
【図１８Ｂ】図１８Ｂは、図１８Ａに示すサブ画像の取得時とは異なる照射方向から照明光が照射された場合に取得されるサブ画像の例を模式的に示す図
【図１９Ａ】図１９Ａは、ゴミＤに起因する暗画素のパターンの検出に適用可能なフィルタの例を模式的に示す図
【図１９Ｂ】図１９Ｂは、ゴミＤに起因する暗画素のパターンの検出に適用可能なフィルタの例を模式的に示す図
【図２０Ａ】図２０Ａは、フィルタＦａを用いて抽出される５つの画素の画素値の範囲の例と、フィルタＦｂを用いて抽出される４つの画素の画素値の範囲の例とを模式的に示す図
【図２０Ｂ】図２０Ｂは、フィルタＦａを用いて抽出される５つの画素の画素値の範囲の他の例と、フィルタＦｂを用いて抽出される４つの画素の画素値の範囲の他の例とを模式的に示す図
【図２１】図２１は、第１〜第４照射方向とはさらに異なる第５照射方向Ｒ５から照射したときにおける、被写体２において照明光が透過する領域と、イメージセンサ４によって取得される像との間の関係を模式的に示す図
【図２２】図２２は、ノイズが除去された高分解能画像の例を模式的に示す図
【図２３Ａ】図２３Ａは、照明光が第１照射方向から照射された場合に得られるサブ画像Ｓｆと、そのサブ画像Ｓｆに含まれる画素の画素値Ｂｒを模式的に示す棒グラフとをあわせて示す図
【図２３Ｂ】図２３Ｂは、図２３Ａに示す状態から、第２照射方向に照射方向を変更したときに得られるサブ画像Ｓｇと、そのサブ画像Ｓｇに含まれる画素の画素値Ｂｒを模式的に示す棒グラフとをあわせて示す図
【図２３Ｃ】図２３Ｃは、図２３Ａを参照して説明した画素Ｐｆ５およびＰｆ６の画素値Ｖｆ５およびＶｆ６と、図２３Ｂを参照して説明した画素Ｐｇ１〜Ｐｇ３の画素値Ｖｇ１〜Ｖｇ３とをあわせて示す図
【図２４Ａ】図２４Ａは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせの一例を示すフローチャート
【図２４Ｂ】図２４Ｂは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせの他の一例を示すフローチャート
【図２４Ｃ】図２４Ｃは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせのさらに他の一例を示すフローチャート
【図２４Ｄ】図２４Ｄは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせのさらに他の一例を示すフローチャート
【図２５】図２５は、ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図
【図２６】図２６は、裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図
【図２７】図２７は、裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図
【図２８】図２８は、光電変換膜積層型イメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図
【発明を実施するための形態】
【００１３】
＜高分解能画像形成の原理＞
本開示の実施形態では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも分解能の高い画像（以下、「高分解能画像」と呼ぶ。）を形成する。まず、図１Ａ〜図６を参照して、高分解能画像形成の原理を説明する。ここでは、ＣＣＤ（Charge Coupled Device）イメージセンサを例示して説明を行う。なお、以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。
【００１４】
図１Ａおよび図１Ｂを参照する。図１Ａは、被写体の一部を模式的に示す平面図である。図１Ａに示す被写体２は、例えば、生物組織の薄片（典型的には、数十μｍ以下の厚さを有する。）である。被写体２の画像の取得時、被写体２は、イメージセンサの撮像面に近接して配置されている。イメージセンサの光電変換部（ここではフォトダイオード）の表面から被写体２までの距離は、典型的には１ｍｍ以下であり、例えば１μｍ程度に設定され得る。
【００１５】
図１Ｂは、イメージセンサのフォトダイオードのうち、図１Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。ここで説明する例では、イメージセンサ４に形成されたフォトダイオード４ｐのうち、６個のフォトダイオードが示されている。なお、参考のために、図１Ｂでは、互いに直交するｘ方向、ｙ方向およびｚ方向を示す矢印が図示されている。ｚ方向は、撮像面の法線方向を示している。図１Ｂでは、ｘｙ面内においてｘ軸からｙ軸に向かって４５°回転した方向であるｕ方向を示す矢印も図示されている。他の図面においても、ｘ方向、ｙ方向、ｚ方向またはｕ方向を示す矢印を図示することがある。
【００１６】
イメージセンサ４におけるフォトダイオード４ｐ以外の構成要素は、遮光層によって覆われている。図１Ｂ中、ハッチングされた領域は、遮光層によって覆われている領域を示している。ＣＣＤイメージセンサの撮像面上における１つのフォトダイオードの受光面の面積（Ｓ２）は、そのフォトダイオードを含む単位領域、すなわち単位画素セルの面積（Ｓ１）よりも小さい。単位画素セルの面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。ここでは、開口率が２５％であるとして説明を行う。
【００１７】
図２Ａおよび図２Ｂは、被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す。図２Ａおよび図２Ｂは、撮像面に対して垂直な方向（第１照射方向）から光線を入射させた状態を示している。図２Ａおよび図２Ｂにおいて模式的に示すように、ここでは、被写体２とイメージセンサ４との間に結像のためのレンズは配置されておらず、被写体２の画像は、被写体２を透過する実質的に平行な光線を用いて取得される。ただし、被写体２とイメージセンサ４との間にレンズが配置されていてもよい。
【００１８】
図２Ｃは、照明光が第１照射方向から照射された場合に取得される画像Ｓａ（第１のサブ画像Ｓａ）を模式的に示す。図２Ｃに示すように、第１のサブ画像Ｓａは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐａから構成される。画素Ｐａの各々は、個々のフォトダイオード４ｐに入射した光の量を示す値（画素値）を持つ。
【００１９】
図２Ａおよび図２Ｂに示すように、撮像面に垂直な方向から被写体２を照射したときには、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域を透過した光がフォトダイオード４ｐに入射する。この例では、第１のサブ画像Ｓａは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６（図１Ａ参照）の情報を有している。なお、フォトダイオード４ｐの直上に位置しない領域を透過した光は、フォトダイオード４ｐには入射しない。したがって、第１のサブ画像Ｓａでは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６以外の領域の情報が欠落している。
【００２０】
図３Ａおよび図３Ｂは、第１照射方向とは異なる照射方向から光線を入射させた状態を示している。図３Ａおよび図３Ｂに示す光線は、ｚ方向に対してｘ方向に傾斜している。このとき、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域とは異なる領域を透過した光がフォトダイオード４ｐに入射する。
【００２１】
図３Ｃは、図３Ａおよび図３Ｂに示す照射方向（第２照射方向）から照明光が照射された場合に取得される画像Ｓｂ（第２のサブ画像Ｓｂ）を模式的に示す。図３Ｃに示すように、第２のサブ画像Ｓｂも、６個のフォトダイオード４ｐによって取得される６個の画素から構成されている。ただし、第２のサブ画像Ｓｂを構成する画素Ｐｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６とは異なる領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６（図１Ａ参照）に関する画素値を持つ。言い換えれば、第２のサブ画像Ｓｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６の情報は有しておらず、代わりに、領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６の情報を有している。ここでは、例えば領域Ｂ１は、被写体２において領域Ａ１の右側に隣接する領域である（図１Ａ参照）。
【００２２】
図２Ａおよび図２Ｂと、図３Ａおよび図３Ｂとを比較することによって理解されるように、照射方向を適切に変更することにより、被写体２の異なる領域を透過した光線をフォトダイオード４ｐに入射させることができる。その結果、第１のサブ画像Ｓａと第２のサブ画像Ｓｂは、被写体２において異なる位置に対応する画素情報を含むことができる。
【００２３】
図４Ａおよび図４Ｂは、第１照射方向および第２照射方向とは異なる照射方向から光線を入射させた状態を示している。図４Ａおよび図４Ｂに示す光線は、ｚ方向に対してｙ方向に傾斜している。
【００２４】
図４Ｃは、図４Ａおよび図４Ｂに示す照射方向（第３照射方向）から照明光が照射された場合に取得される画像Ｓｃ（第３のサブ画像Ｓｃ）を模式的に示す。図４Ｃに示すように、第３のサブ画像Ｓｃは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｃから構成されている。図示するように、第３のサブ画像Ｓｃは、被写体２の全体のうち、図１Ａに示す領域Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５およびＣ６の情報を有している。ここでは、例えば領域Ｃ１は、被写体２において領域Ａ１の上側に隣接する領域である（図１Ａ参照）。
【００２５】
図５Ａは、第１照射方向、第２照射方向および第３照射方向とは異なる照射方向から光線を入射させた状態を示している。図５Ａに示す光線は、ｚ方向に対して、ｘｙ面内においてｘ軸と４５°の角をなす方向に傾斜している。
【００２６】
図５Ｂは、図５Ａに示す照射方向（第４照射方向）から照明光が照射された場合に取得される画像Ｓｄ（第４のサブ画像Ｓｄ）を模式的に示す。図５Ｂに示すように、第４のサブ画像Ｓｄは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｄから構成されている。第４のサブ画像Ｓｄは、被写体２の全体のうち、図１Ａに示す領域Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５およびＤ６の情報を有している。ここでは、例えば領域Ｄ１は、領域Ｃ１の右側に隣接する領域である（図１Ａ参照）。このように、サブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々は、被写体２の異なる部分から構成される像を含んでいる。
【００２７】
図６は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高分解能画像ＨＲを示している。図６に示すように、高分解能画像ＨＲの画素数または画素密度は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々の画素数または画素密度の４倍である。
【００２８】
例えば、被写体２における、図１Ａに示す領域Ａ１、Ｂ１、Ｃ１およびＤ１のブロックに着目する。これまでの説明からわかるように、図６に示すサブ画像Ｓａの画素Ｐａ１は、上述のブロック全体ではなく、領域Ａ１の情報を有している。したがって、サブ画像Ｓａは、領域Ｂ１、Ｃ１およびＤ１の情報が欠落した画像であるということができる。
【００２９】
しかしながら、被写体２において異なる位置に対応する画素情報を有するサブ画像Ｓｂ、ＳｃおよびＳｄを用いることにより、図６に示すように、サブ画像Ｓａにおいて欠落した情報を補完し、ブロック全体の情報を有する高分解能画像ＨＲを形成することが可能である。個々のサブ画像の分解能がイメージセンサ４の固有分解能に等しいことに対し、この例では、イメージセンサ４の固有分解能の４倍の分解能が得られている。高分解能化（超解像）の程度は、イメージセンサの開口率に依存する。この例では、イメージセンサ４の開口率が２５％であるため、異なる４方向からの光照射によって最大４倍の高分解能化が達成されている。Ｎを２以上の整数するとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高分解能化が可能である。
【００３０】
このように、被写体を基準にして複数の異なる照射方向から、順次、平行光を照射して被写体の撮像を行うことにより、被写体から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも分解能の高い高分解能画像を形成することが可能である。もちろん、照射方向は、図２Ａ〜図５Ｂを参照して説明した照射方向に限定されない。
【００３１】
なお、上記の例において、図６に示すサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄは、被写体２における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。
【００３２】
上記の例では、被写体２において隣接する２つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。以下、図７Ａを参照しながら、このような照射方向の算出方法の一例を説明する。
【００３３】
図７Ａは、イメージセンサ４の撮像面にたてた法線Ｎとフォトダイオード４ｐに向かって進行する光線とのなす角の算出方法を説明するための模式的な断面図である。ここでは、イメージセンサ４が有するフォトダイオード４ｐのうち、ｘ方向に沿って並ぶ３つのフォトダイオード４ｐｂ、４ｐａおよび４ｐｃが図示されている。図７Ａに例示する構成において、イメージセンサ４は、これらのフォトダイオードを覆う透明層４Ｔを有しており、被写体２は、この透明層４Ｔ上に配置されている。典型的には、透明層４Ｔの表面は、フォトダイオード４ｐの表面と平行である。
【００３４】
図示するように、撮像面４Ａに垂直な方向から被写体２を照明光で照射した場合、被写体２における領域２ａを通過した光は、領域２ａの直下にあるフォトダイオード４ｐａに入射する。領域２ａのｘ方向における幅と、フォトダイオード４ｐのｘ方向における幅とは、同一である。
【００３５】
図７Ａでは、照射方向を角度θ傾けた状態において被写体２を透過した光もあわせて図示している。以下では、照明光が被写体を通過することによって得られる光を「変換光」と呼ぶことがある。図示する例において、照射方向を角度θ傾けた場合、被写体２のうち、領域２ａに隣接する領域２ｂを通過した光がフォトダイオード４ｐａに入射している。照射方向を表す角度θは、以下のようにして算出可能である。ここでは、簡単のため、２つのフォトダイオード間に位置する部分（遮光層で覆われた部分）のｘ方向における幅が、各フォトダイオードのｘ方向における幅と同一であるとする。言い換えれば、ここでは、ｘ方向に沿って隣接する２つのフォトダイオードの中心同士を結ぶ配列ピッチＰｔｃは、フォトダイオードのｘ方向における幅の２倍である。なお、領域２ｂのｘ方向における幅と、フォトダイオード４ｐのｘ方向における幅とは、同一である。
【００３６】
図７Ａにおいて黒丸で示す３つの点Ａ、ＢおよびＣによって形成される三角形ＡＢＣに注目する。ここで、点Ａ、ＢおよびＣは、それぞれ、領域２ｂの中心、フォトダイオード４ｐａの中心、および、フォトダイオード４ｐａとフォトダイオード４ｐｃとの中間点である。透明層４Ｔの厚さをＴｔとし、被写体２およびフォトダイオード４ｐの厚さを無視すれば、角θは、辺ＡＢと辺ＡＣとがなす角として、θ＝ａｒｃｔａｎ（（Ｐｔｃ／２）／Ｔｔ）と求められる。このように、サブ画像の取得時に用いる照射方向は、例えば幾何学的な計算によって決定することが可能である。
【００３７】
照射方向は、被写体２において隣接する２つの領域を通過した光線がいずれも同一のフォトダイオードに入射するような方向に限定されない。例えば、図７Ｂに示すように、被写体２の隣接する２つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。
【００３８】
図７Ｂに示す例では、照射方向を、撮像面４Ａに垂直な方向から角度θ’傾けたときに、被写体２の領域２ｂを通過した光が、フォトダイオード４ｐａに隣接するフォトダイオード４ｐｂに入射している。上述の点ＡおよびＣと、フォトダイオード４ｐｂの中心点Ｂ’とから形成される三角形ＡＢ’Ｃに注目すれば、θ’＝ａｒｃｔａｎ（（３Ｐｔｃ／２）／Ｔｔ）の関係から角θ’を求めることが可能である。
【００３９】
図７Ａおよび図７Ｂからわかるように、注目したフォトダイオードに入射する光が、被写体２におけるどの領域を通過した光であるのかは、注目したフォトダイオード、被写体および光源などの配置によって決まる。したがって、イメージセンサ４（あるいは後述するモジュール）、後述する画像取得装置の構造に基づいて、各フォトダイオードの出力と、被写体２における各領域の配置との間の対応を知ることが可能である。
【００４０】
本開示の画像形成システムでは、例えば、異なる２つの照射方向の間で同一のフォトダイオードによって取得される画素値を利用して、ノイズの検出が実行される。あるいは、異なる２つの照射方向の一方において、あるフォトダイオードが取得する画素値と、他方において、そのフォトダイオードに隣接する他のフォトダイオードが取得する画素値とを利用して、ノイズの検出が実行され得る。ノイズの検出に利用する画素値の対応は、典型的には、複数のサブ画像の取得の間で固定されている。すなわち、画像形成システムは、典型的には、異なる２つの照射方向の間で同一のフォトダイオードによって取得される画素値を利用するか、あるいは、隣接する２つのフォトダイオードによって取得される画素値を利用するかが設定された状態で動作する。すなわち、どのような画素値の組を利用するかに応じて適切な照射方向が用いられる。後述する具体例では、異なる２つの照射方向の間で同一のフォトダイオードによって取得される画素値を利用して、ノイズの検出を実行する。このとき、被写体２において隣接する２つの領域を通過した光線がいずれも同一のフォトダイオードに入射するような照射方向が選択される。後述するその具体例では、照射方向を示す情報と、ノイズ検出に用いるべき画素値の対応とが記述されたテーブルが利用される。
【００４１】
＜モジュール＞
図１Ａ〜図６を参照して説明した原理に基づく高分解能画像の形成において、サブ画像の取得は、被写体２がイメージセンサ４の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体２およびイメージセンサ４が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。
【００４２】
図８Ａは、モジュールの断面構造の一例を模式的に示す。図８Ａに示すモジュール１０では、封入剤６によって覆われた被写体２がイメージセンサ４の撮像面４Ａ上に配置されている。なお、図８Ａに示す模式的な断面では、撮像面４Ａに被写体２が接触しているが、撮像面４Ａと被写体２との間に封入剤６が介在していてもよい。
【００４３】
図示する例では、透明プレート（典型的にはガラス板）８が被写体２上に配置されている。すなわち、図８Ａに例示する構成では、被写体２は、イメージセンサ４と透明プレート８との間に挟まれている。モジュール１０が透明プレート８を有すると、作業性が向上するので有益である。透明プレート８としては、例えば、一般的なスライドガラスを使用することができる。なお、図中においては各要素が模式的に表されており、各要素における実際の大きさおよび形状は、図中に現された大きさおよび形状と必ずしも一致しない。以下において参照する他の図面においても同様である。
【００４４】
図８Ａに例示する構成において、イメージセンサ４は、１以上の電極を有するパッケージ５に固定されている。図８Ｂは、図８Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す。図８Ａおよび図８Ｂに示すように、パッケージ５は、透明プレート８とは反対側の面に裏面電極５Ｂを有する。この裏面電極５Ｂは、パッケージ５に形成された不図示の配線パターンを介してイメージセンサ４と電気的に接続されている。すなわち、裏面電極５Ｂを介して、イメージセンサ４の出力を取り出すことができる。本明細書では、パッケージとイメージセンサとが一体化された構造物を便宜的に「センサユニット」と呼ぶことがある。
【００４５】
図９を参照して、モジュール１０の作製方法の一例を説明する。ここでは、被写体２として生物組織の薄片（組織切片）を例示する。生物組織の薄片を被写体２として有するモジュール１０は、病理診断に利用され得る。
【００４６】
まず、図９に示すように、組織切片Ａ０２を透明プレート８に載せる。透明プレート８は、光学顕微鏡による試料の観察に用いられるスライドガラスであり得る。以下では、透明プレート８としてスライドガラスを例示する。スライドガラスは、典型的には、厚さが１ｍｍ、長辺方向の長さが７６ｍｍ、短辺方向の長さが２６ｍｍのサイズを有する。次に、組織切片Ａ０２を透明プレート８ごと染色液Ｓｓに漬けることにより、組織切片Ａ０２を染色する。次に、透明プレート８上に封入剤６を付与することにより、組織切片Ａ０２を染色することによって得られた被写体２を封入剤６によって覆う。封入剤６は、被写体２を保護する機能を有する。次に、センサユニット７を、イメージセンサ４の撮像面が被写体２に対向するようにして被写体２上に配置する。このようにして、モジュール１０が得られる。
【００４７】
モジュール１０は、撮像の対象ごとに作製される。例えば病理診断の場面では、１つの検体から複数（例えば５〜２０枚）の組織切片が用意される。そのため、同一の検体から得られた組織切片を被写体２として有するモジュール１０が複数個作製され得る。これらの複数のモジュール１０のそれぞれについて複数のサブ画像の取得を行えば、複数のモジュール１０のそれぞれに対応した高分解能画像の形成が可能である。
【００４８】
図８Ａに示すように、モジュール１０は、光学顕微鏡による観察に用いられるプレパラートとは異なり、被写体２の画像を取得するイメージセンサ４を備えている。このようなモジュールを「電子プレパラート」と呼んでもよい。図８Ａに示すように被写体２およびセンサユニット７が一体化された構造を有するモジュール１０を用いることにより、被写体２とイメージセンサ４との間の配置を固定できるという利点が得られる。なお、センサユニット７におけるパッケージ５は、必要に応じて設けられればよく、被写体２とイメージセンサ４とを一体化することによってモジュールを作製してもよい。換言すれば、被写体２の撮像に使用するモジュールは、パッケージ５を有しない構成であり得る。
【００４９】
モジュール１０を用いて被写体２の画像の取得を実行するとき、透明プレート８を介して被写体２に照明光を照射する。被写体２を透過した光がイメージセンサ４に入射する。これにより、被写体２の画像が得られる。光源と被写体との相対的な配置を変えながら、順次、撮像を実行することにより、照射時において角度を変えて複数の異なる画像を取得することができる。例えば、図１０Ａに示すように、イメージセンサ４の直上に光源３１０を配置する。そして、コリメートされた光ＣＬをイメージセンサ４の撮像面４Ａの法線方向から被写体２に照射した状態で撮像を行えば、図２Ｃに示すサブ画像Ｓａと同様のサブ画像が得られる。また、図１０Ｂに示すように、モジュール１０を傾けた状態でコリメートされた光ＣＬを被写体２に照射して撮像を行えば、図３Ｃに示すサブ画像Ｓｂ（あるいは図４Ｃに示すサブ画像Ｓｃ）と同様のサブ画像が得られる。このように、光源に対するモジュール１０の姿勢を変化させながら、順次、撮像を実行することにより、図１Ａ〜図６を参照して説明した原理を適用して高分解能画像を得ることが可能である。
【００５０】
＜本発明者が見出した課題＞
イメージセンサに近接するようにして被写体を配置して撮像を行う場合、被写体と光源との間に透明な構造物が配置されることがある。例えば、モジュール１０を利用する場合であれば、撮像時、被写体２と光源との間に透明プレート８が存在し得る。透明プレート８は、モジュール１０のハンドリングを容易にし、撮像時の作業性の向上に貢献する。その一方で、例えば、モジュール１０の透明プレート８において照明光が入射する側の面上に、髪の毛、埃、被写体の断片（例えば組織切片の断片）などのゴミが付着することがあり得る。透明な構造物における、被写体とは反対側の表面に、このようなゴミもしくは汚れ、または、傷などが存在していると、これらによって照射光の一部が散乱されたり、回折されたりする。本明細書では、ゴミもしくは汚れ、または、傷などを総称して「異物」と呼ぶことがある。
【００５１】
例えば透明な構造物の表面上にゴミが存在すると、被写体の像を取得すべきイメージセンサの光電変換部に対する光量が不足することがある。結果として、形成される高分解能画像に、ゴミの存在に起因するノイズが生じる。言い換えれば、透明な構造物の表面上にゴミなどが存在すると、被写体の正確な像を高分解能画像において再現することが困難である。
【００５２】
このような場合、ゴミを取り除いた後にサブ画像の撮像を再度実行すれば、被写体の正確な像が再現された高分解能画像を得ることは可能である。しかしながら、図１Ａ〜図６を参照して説明した原理を適用するには、複数の照射方向に応じた複数回の撮像を再度実行する必要がある。したがって、撮像のやり直しは現実的ではない。
【００５３】
なお、特許文献３には、赤外線を用いて画像の取得を行い、得られた画像を利用してフィルム上のゴミを検出するフィルムスキャナが開示されている。しかしながら、特許文献３に開示の技術は、可視光を用いた画像の取得のための光源に加えて赤外線光源を必要とするので、装置が複雑化する。
【００５４】
本発明者は、上記に鑑み検討を重ね、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性を向上させ得る画像形成システムを見出した。
【００５５】
本開示の実施形態を詳細に説明する前に、まず、本開示の実施形態の概要を説明する。
【００５６】
本開示の一態様である画像形成システムは、画像取得装置と、画像形成装置と、画像処理装置とを備える。画像取得装置は、被写体と撮像素子とが一体化されたモジュールにおける被写体を、被写体を基準として複数の異なる照射方向から順次照射するように構成された照明システムを有する。画像取得装置は、複数の異なる照射方向に応じた複数の画像を取得する。画像形成装置は、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。画像処理装置は、被写体よりも撮像素子の撮像面から遠い位置にある異物に起因するノイズを検出し、ノイズを除去するように構成されている。ノイズは、複数の画像のうちの１つを構成する画素のうちのある画素における画素値と、複数の画像のうちの他の１つを構成する画素のうち、ある画素に対応する画素における画素値との差に基づいて検出され得る。
【００５７】
ある態様において、画像処理装置は、複数の画像のうちの１つと、複数の画像のうちの他の１つとを比較することによってノイズを検出する。例えば、複数の画像のうちの１つを構成する各画素の画素値と、それらの各画素に対応する、複数の画像のうちの他の１つを構成する各画素の画素値とをそれぞれ比較することによってノイズの検出が実行されてもよい。
【００５８】
ある態様において、画像処理装置は、高分解能画像において近接する複数の画素から構成される画素ブロックにおける画素間の画素値の変化の大きさに基づいてノイズを検出する。
【００５９】
ある態様において、画像処理装置は、ノイズを含む画素の画素値を、ノイズを含む画素以外の画素の画素値から算出される画素値で置き換えることによってノイズを除去する。
【００６０】
ある態様において、ノイズを含む画素以外の画素の画素値から算出される画素値は、高分解能画像における、ノイズを含む画素の近傍の画素の画素値を用いて算出される画素値である。
【００６１】
ある態様において、画像処理装置は、ノイズを含む画素を、高分解能画像を構成する複数の画像の各々に対応する複数の異なる照射方向とはさらに異なる照射方向からの照射のもとで取得された画像の画素で置き換えることによってノイズを除去する。
【００６２】
ある態様において、画像処理装置は、ノイズを含む画素の画素値に、異物の像および被写体の像のいずれも含まない画素の画素値と、異物の像を含み、かつ、被写体の像を含まない画素の画素値との差を加算することによってノイズを除去する。
【００６３】
ある態様において、照明システムは、１以上の光源、モジュールが着脱自在に装填されるように構成されたステージ、および、ステージの姿勢を変更可能に構成されたステージ駆動機構を有する。
【００６４】
ある態様において、照明システムは、互いに異なる波長域の光を出射する複数の光源を有する。
【００６５】
ある態様において、照明システムは、複数の異なる照射方向に対応した異なる位置に配置され、順次、照明光を出射する複数の光源を有する。
【００６６】
ある態様において、照明システムは、ステージの姿勢および１以上の光源の向きの少なくとも一方を変化させるゴニオ機構を含んでいる。
【００６７】
本開示の他の一態様である画像形成方法は、複数の画像を取得する工程と、被写体の高分解能画像を形成する工程と、ノイズを検出する工程と、ノイズを除去する工程とを含む。複数の画像を取得する工程では、被写体を透過した照明光が撮像素子に入射するように被写体と撮像素子とが一体化されたモジュールを、複数の異なる照射方向から、順次、照明光で照射することにより、複数の異なる照射方向に応じた複数の画像を取得する。モジュールにおける撮像素子は、被写体を透過した照明光が入射する位置に配置され得る。被写体の高分解能画像を形成する工程では、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。ノイズを検出する工程では、被写体よりも撮像素子の撮像面から遠い位置にある異物に起因するノイズを検出する。ノイズは、複数の画像のうちの１つを構成する画素のうちのある画素における画素値と、複数の画像のうちの他の１つを構成する画素のうち、ある画素に対応する画素における画素値との差に基づいて検出され得る。ノイズの検出は、高分解能画像の形成前に実行されてもよいし、高分解能画像の形成後に実行されてもよい。ノイズを除去する工程では、ノイズを含む画素の画素値を他の画素値で置き換えることによってノイズを除去する。
【００６８】
ある態様では、ノイズを検出する工程において、複数の画像のうちの１つと、複数の画像のうちの他の１つとを比較することによってノイズを検出する。例えば、複数の画像のうちの１つを構成する各画素の画素値と、それらの各画素に対応する、複数の画像のうちの他の１つを構成する各画素の画素値とをそれぞれ比較することによってノイズの検出が実行されてもよい。
【００６９】
ある態様では、ノイズを検出する工程において、高分解能画像において近接する複数の画素から構成される画素ブロックにおける画素間の画素値の変化の大きさに基づいてノイズを検出する。
【００７０】
ある態様において、他の画素値は、ノイズを含む画素以外の画素の画素値から算出される画素値である。
【００７１】
ある態様において、ノイズを含む画素以外の画素の画素値から算出される画素値は、高分解能画像における、ノイズを含む画素の近傍の画素の画素値を用いて算出される画素値である。
【００７２】
ある態様において、他の画素値は、高分解能画像を構成する複数の画像の各々に対応する複数の異なる照射方向とはさらに異なる照射方向からの照射のもとで取得された画像に含まれる画素の画素値である。
【００７３】
ある態様において、他の画素値は、ノイズを含む画素の画素値に、異物の像および被写体の像のいずれも含まない画素の画素値と、異物の像を含み、かつ、被写体の像を含まない画素の画素値との差を加算することによって得られる画素値である。
【００７４】
本開示のさらに他の一態様であるプログラムは、被写体の高分解能画像を形成する工程と、ノイズを除去する工程とを含む処理を１以上のプロセッサに実行させるための命令を含む。被写体の高分解能画像を形成する工程では、複数の異なる照射方向から、順次、被写体を照射することによって取得される、各々が被写体の異なる部分から構成される像を含む複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。ノイズを除去する工程では、高分解能画像から、被写体よりも撮像素子の撮像面から遠い位置にある異物に起因するノイズを除去する。
【００７５】
本開示のさらに他の一態様である撮像素子は、画像取得装置と、画像形成装置と、画像処理装置とを備える画像形成システムに用いられる撮像素子である。画像取得装置は、被写体を基準として複数の異なる照射方向から被写体を順次照射する照明システムを有し、被写体を透過した照明光が入射する位置に配置される撮像素子によって複数の異なる照射方向に応じた複数の画像を取得する。画像形成装置は、複数の画像を合成することにより、複数の画像の各々よりも分解能の高い被写体の高分解能画像を形成する。画像処理装置は、被写体よりも撮像素子の撮像面から遠い位置にある異物に起因するノイズを検出し、ノイズを除去する。ノイズは、複数の画像のうちの１つを構成する画素のうちのある画素における画素値と、複数の画像のうちの他の１つを構成する画素のうち、ある画素に対応する画素における画素値との差に基づいて検出され得る。撮像素子は、画像取得装置に対して着脱可能であり、画像取得装置に装着された状態において照明光が入射する側の面に、被写体を配置可能な被写体支持部を備える。
【００７６】
以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００７７】
＜画像形成システム＞
図１１は、本開示の実施形態による画像形成システムの構成の一例の概略を示す。図１１に示す画像形成システム１０００は、画像取得装置（デジタイザ）１００と、画像形成装置１４０と、画像処理装置１５０とを有している。後に詳しく説明するように、画像形成装置１４０は、画像取得装置１００によって取得された複数の画像（サブ画像）を合成することにより、被写体２の高分解能画像を形成する。画像処理装置１５０は、被写体２よりもイメージセンサ４の撮像面から遠い位置にある異物に起因するノイズを検出し、ノイズを除去する。画像処理装置１５０は、例えば、高分解能画像中のノイズを検出し、検出されたノイズを高分解能画像から除去する。
【００７８】
図１１に示す例では、画像形成装置１４０および画像処理装置１５０は、情報処理装置２００の一部を構成している。また、図示する例では、情報処理装置２００は、画像取得装置１００の動作の制御を行う制御装置１７０と、メモリ１６０とを含んでいる。画像形成装置１４０および画像処理装置１５０の動作の例は、後述する。
【００７９】
情報処理装置２００は、汎用または専用のコンピュータによって実現され得る。情報処理装置２００は、画像取得装置１００と一体であってもよいし、画像取得装置１００とは異なる別個の装置であってもよい。情報処理装置２００は、画像取得装置１００と同じ場所に配置されている必要はない。例えば、画像取得装置１００とは異なる場所に情報処理装置２００を配置し、インターネットなどのネットワークを介してこれらを接続してもよい。
【００８０】
画像形成装置１４０、画像処理装置１５０および制御装置１７０は、それぞれが独立した装置であってもよい。画像形成装置１４０、画像処理装置１５０および制御装置１７０のうちの少なくとも１つが、インターネットなどのネットワークを介して情報処理装置２００および／または画像取得装置１００に接続される構成も可能である。
【００８１】
あるいは、画像形成装置１４０、画像処理装置１５０および制御装置１７０のそれぞれにおける一部または全体が、１以上のプロセッサ（コンピュータ）によって実現されてもよい。例えば、画像形成装置１４０および画像処理装置１５０の少なくとも一方は、ＤＳＰ（digital signal processor）またはＦＰＧＡ（Field Programmable Gate Array）のような処理回路によって実現され得る。画像形成装置１４０、画像処理装置１５０および制御装置１７０のうちの２以上が、単一のプロセッサ（コンピュータ）によって実現されてもよい。
【００８２】
図１１に例示する構成において、メモリ１６０には、画像取得装置１００、画像形成装置１４０および画像処理装置１５０のうちの少なくとも１つの制御のためのコンピュータプログラムなどが格納され得る。例えば、画像形成装置１４０が汎用のプロセッサ（コンピュータ）である場合、画像形成装置１４０は、メモリ１６０からコンピュータプログラムを読み出す。プログラムに記述された処理を画像形成装置１４０が実行することにより、高分解能画像が形成される。同様に、画像処理装置１５０が汎用のプロセッサ（コンピュータ）である場合、メモリ１６０に格納されたコンピュータプログラムの読み出しおよびそのプログラムの実行により、画像処理装置１５０は、ノイズを検出および除去することが可能である。コンピュータプログラムは、情報処理装置に接続可能な公知の外部記憶装置または公知の記憶媒体に格納されていてもよい。メモリ１６０に、複数の照射方向に関する情報のリストが保存されていてもよい。
【００８３】
メモリ１６０の例は、ＲＡＭである。メモリ１６０は、ＲＡＭに限定されず、公知の記憶装置を用いることができる。画像形成装置１４０、画像処理装置１５０および制御装置１７０の少なくともいずれかがメモリを含み、そのメモリによってメモリ１６０の機能が実現されてもよい。
【００８４】
図１１に示す画像取得装置１００は、照明光を生成する光源３１、モジュール１０が着脱自在に装填されるように構成されたステージ３２、および、ステージ３２の姿勢を変更可能に構成されたステージ駆動機構３３を含む照明システム３０ａを有している。図１１は、ステージ３２にモジュール１０が装填された状態を模式的に示している。モジュール１０は、画像取得装置１００に必須の構成要素ではない。
【００８５】
図示するように、モジュール１０は、センサユニット７が有するイメージセンサ４の撮像面４Ａ（例えば図１０Ａ参照）が光源３１に対向するようにしてステージ３２に装填される。このとき、被写体２は、光源３１とイメージセンサ４との間に位置する。換言すれば、モジュール１０がステージ３２に接続された状態において、センサユニット７（イメージセンサ４といってもよい）は、被写体２を透過した光が入射する位置に配置される。この例では、光源３１から発せられ、被写体を通過した光を受ける撮像面４Ａに被写体２が載せられており、イメージセンサ４の撮像面４Ａが、被写体支持部７Ｓとして機能している。もちろん、モジュール１０がステージ３２に接続された状態における、センサユニット７および被写体２の配置は、図１１に示す例に限定されない。例えば、センサユニット７および被写体２の配置を、図１１に示す配置から逆転させてもよい。すなわち、光源３１とイメージセンサ４の撮像面４Ａとが対向するようにして、光源３１の上方にモジュール１０を配置してもよい。センサユニット７におけるイメージセンサ４が、被写体２を透過した光が入射する位置に配置されていれば、高分解能画像を形成するための複数の画像の取得は可能である。本明細書における「支持」は、下方からの支持に限定されない。
【００８６】
照明システム３０ａは、例えばステージ３２の姿勢を変化させることにより、被写体２を基準とする照射方向を変化させる。照明システム３０ａの構成の詳細および動作の例は後述する。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。
【００８７】
被写体２を基準とする複数の異なる照射方向から、順次、光源３１によって生成された照明光で被写体２を照射する。照射方向を変えて被写体２を照射することにより、複数の異なる照射方向に応じて異なる複数の画像が、センサユニット７のイメージセンサ４によって取得される。なお、各照射方向に応じてセンサユニット７から取得される情報は、画像（サブ画像）自体でなくてもよい。すなわち、各照射方向ごとに、イメージセンサ４に含まれる各フォトダイオードに対応した画素値が得られていればよく、各照射方向ごとに、サブ画像を形成する必要はない。得られた複数の画像に含まれる画素値を用いて、高分解能画像の形成が可能である。
【００８８】
次に、図１２Ａ〜図１３Ｂを参照して、被写体を基準とする照明光の照射方向を変更する方法の一例を説明する。
【００８９】
図１２Ａおよび図１２Ｂは、画像取得装置１００の例示的な外観を示す。図１２Ａに例示する構成において、画像取得装置１００は、光源３１およびステージ３２を含む本体１１０と、本体１１０に開閉可能に連結された蓋部１２０とを有している。蓋部１２０を閉じることにより、画像取得装置１００の内部に暗室を形成することができる（図１２Ｂ参照）。
【００９０】
図示する例では、ステージ３２上にモジュール１０を保持するためのソケット１３０が接続されている。ソケット１３０は、ステージ３２に固定されていてもよいし、ステージ３２に着脱可能に構成されていてもよい。ここでは、ソケット１３０がステージ３２に着脱可能とされた構成を例示する。ソケット１３０は、例えば、モジュール１０が着脱可能に構成された下部基材１３２と、開口部Ａｐが形成された上部基材１３４とを含む。図１２Ａに例示する構成では、ソケット１３０は、下部基材１３２と上部基材１３４との間にモジュール１０を挟むことにより、モジュール１０を保持する。
【００９１】
下部基材１３２は、モジュール１０のセンサユニット７との電気的接続のための電気的接点を有する電気接続部を有し得る。被写体の画像の取得時、センサユニット７におけるイメージセンサ４の撮像面が光源３１に対向するようにしてモジュール１０が下部基材１３２に載せられる。このとき、電気接続部の電気的接点とセンサユニット７の裏面電極５Ｂ（図８Ａおよび図８Ｂ参照）とが接触することにより、モジュール１０のセンサユニット７と下部基材１３２の電気接続部とが電気的に接続される。
【００９２】
図１２Ｃは、画像取得装置１００のステージ３２に対するソケット１３０の装填方法の一例を示す。図１２Ｃに例示する構成において、ソケット１３０は、底面から突出する電極１３６を有している。この電極１３６は、下部基材１３２の電気接続部の一部であり得る。また、図１２Ｃに示す例では、画像取得装置１００のステージ３２は、ジャック３６が設けられた取付部３４を有している。図１２Ｃに示すように、例えばモジュール１０を保持した状態のソケット１３０は、ジャック３６にソケット１３０の電極１３６が挿入されるようにしてステージ３２に装填される。これにより、ソケット１３０に保持されたモジュール１０中のセンサユニット７と、画像取得装置１００との間の電気的接続が確立される。
【００９３】
ステージ３２は、モジュール１０を保持するソケット１３０が装填された状態において、センサユニット７の出力、すなわち、イメージセンサ４の出力を受け取る回路を有し得る。本開示の実施形態では、画像取得装置１００は、ソケット１３０が有する電気接続部を仲立ちとして被写体２の画像を示す情報（画像信号あるいは画像データ（各画素の画素値））をモジュール１０におけるイメージセンサ４から取得する。つまり、画像取得装置１００は、ある照射方向から照射が行われたときにイメージセンサ４のフォトダイオードから出力される第１の複数の画素値を取得し、他のある照射方向から照射が行われたときにイメージセンサ４のフォトダイオードから出力される第２の複数の画素値を取得する。
【００９４】
なお、複数のモジュール１０を用いて複数の被写体の撮像を行う場合、モジュール１０と同数のソケット１３０を用意し、モジュール１０を保持した状態のソケット１３０を換装することによって撮像の対象を変更してもよい。あるいは、ステージ３２に１つのソケット１３０を取り付けた状態のままモジュール１０を換装することにより、撮像の対象を変更してもよい。このように、本開示の実施形態において、画像取得装置１００に対するモジュール１０の固定は、永久的ではない。換言すれば、本開示の実施形態において、被写体を撮像するセンサユニット７（イメージセンサ４といってもよい）は、画像取得装置１００に対して着脱可能である。
【００９５】
図１２Ｃに示すように、ソケット１３０をステージ３２に装填することにより、ソケット１３０の底面と、取付部３４の上面とを密着させ得る。これにより、ステージ３２に対するソケット１３０の配置が固定される。したがって、ステージ３２と、ソケット１３０に保持されたモジュール１０との配置をステージ３２の姿勢の変化の前後において一定に保つことができる。典型的には、ステージ３２にソケット１３０が装填された状態において、モジュール１０の透明プレート８の主面とステージ３２とは、ほぼ平行である。
【００９６】
図１３Ａは、照射方向を変更する方法の一例を示す。図示するように、ソケット１３０に保持されたモジュール１０に、光源３１から出射された照明光ＣＬが照射される。照明光ＣＬは、ソケット１３０に設けられた開口部Ａｐを介して、モジュール１０の被写体２に入射する。被写体２を透過した光が、モジュール１０のセンサユニット７の撮像面に入射する。光源３１から出射される光は、典型的には、コリメートされた光である。ただし、被写体に入射する光が実質的に平行光であるとみなせる場合には、光源３１から出射される光はコリメートされた光でなくてもよい。
【００９７】
図１１を参照して説明したように、画像取得装置１００は、ステージ駆動機構３３を有している。ステージ駆動機構３３は、ゴニオ機構、回転機構などを含み、本体１１０に対するステージ３２の傾斜および／またはステージ３２の中心を通る軸に関する回転角を変化させる。図１３Ａに例示する構成では、ステージ駆動機構３３は、ステージ３２の姿勢を変化させるゴニオ機構３３ｇを有している。ステージ駆動機構３３が、ステージ３２を基準面（典型的には水平面）内において平行移動させることが可能なスライド機構を有していてもよい。
【００９８】
ステージ駆動機構３３を動作させることにより、ステージ３２の姿勢を変化させることができる。ここでは、モジュール１０を保持した状態のソケット１３０がステージ３２に取り付けられているので、ステージ３２の姿勢を変化させることにより、モジュール１０の姿勢を変化させることができる。例えば、ステージ３２が基準面に対して傾斜していない時における照明光の入射方向が、イメージセンサの撮像面の法線方向であるとする。ここでは、基準面に対するステージ３２の傾斜と基準面に対するモジュール１０の傾斜（透明プレート８の傾斜といってもよい。）との間の関係（例えば、平行）が、ステージ３２の姿勢の変化の前後において一定に保たれている。そのため、図１３Ｂに示すように、基準面に対してステージ３２を角度θ傾斜させると、被写体に入射する光線の方向も角度θ傾斜する。なお、図１３Ｂ中、破線Ｎは、イメージセンサの撮像面の法線を示している。
【００９９】
このように、ステージ３２とともにモジュール１０の姿勢を変化させることにより、被写体２を基準として複数の異なる照射方向から、順次、照明光を被写体に照射することが可能である。したがって、被写体２を基準とする複数の異なる照射方向に応じた複数の画像をモジュール１０のセンサユニット７によって取得することができる。被写体２を基準とする照射方向は、例えば、イメージセンサの撮像面の法線Ｎと被写体２への入射光線とがなす角（図１３Ｂに示す天頂角θ）、および撮像面上に設定した基準方位と入射光線の撮像面への射影とがなす角（方位角）の組によって表すことができる。
【０１００】
図１４Ａは、照明システムの構成の他の例を示す。図１４Ａに例示する構成において、照明システム３０ｂの光源３１は、複数の光源３１ｘ、３１ｙおよび３１ｚから構成されている。光源３１ｘ、３１ｙおよび３１ｚは、互いに異なる照射方向に対応した位置に配置されている。光源３１ｘ、３１ｙおよび３１ｚから順次に照明光を出射することにより、被写体２を基準とする複数の異なる照射方向から、順次、被写体２を照射することができる。なお、図１４Ａに示す構成はあくまでも例であり、照明システムが有する光源の数は、３個に限定されない。
【０１０１】
図１４Ｂは、照明システムの構成のさらに他の例を示す。図１４Ｂに例示する構成において、照明システム３０ｃは、光源３１における発光部の向きを変化させるゴニオ機構３１ｇを含んでいる。図示するように、光源３１の向きを変化させることによっても、被写体２を基準とする複数の異なる照射方向から、順次、被写体２を照射することができる。照明システム３０ｃが、ゴニオ機構３１ｇとともに、あるいは、ゴニオ機構３１ｇに代えて、ステージ３２の中心を通る軸に関する光源３１の回転角を変化させる回転機構、光源３１を平行移動させることが可能なスライド機構などを含んでいてもよい。ステージ３２の姿勢の変化と光源３１の移動とを組み合わせることによって照射方向を変化させてもよい。
【０１０２】
光源３１は、例えばＬＥＤチップを含む。光源３１は、各々が異なる波長帯域にピークを有する複数のＬＥＤチップを含んでいてもよい。例えば、図１４Ｃに例示する照明システム３０ｄでは、光源３１が、青色の光を出射するＬＥＤチップ３１Ｂ、赤色の光を出射するＬＥＤチップ３１Ｒ、および緑色の光を出射するＬＥＤチップ３１Ｇを含んでいる。複数の発光素子を近接（例えば１００μｍ程度）して配置した場合には、これらの一群を点光源とみなし得る。
【０１０３】
互いに異なる色の光を出射する複数の発光素子を使用し、例えば、異なる色の光を照射方向ごとにタイムシーケンシャルに照射することにより、それぞれの色についての複数のサブ画像を取得することができる。例えば、青色サブ画像のセット、赤色サブ画像のセット、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高分解能画像を形成することができる。例えば病理診断の場面では、カラーの高分解能画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源３１として白色ＬＥＤチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ４としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ４の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。
【０１０４】
光源３１は、ＬＥＤに限定されず、白熱電球、レーザ素子、ファイバーレーザ、放電管などであってもよい。光源３１から出射される光は、可視光に限定されず、紫外線、赤外線などであってもよい。光源３１が有する発光素子の数および配置も任意に設定可能である。
【０１０５】
＜画像形成方法＞
図１５Ａは、本開示の実施形態による例示的な画像形成方法の概略を示す。本開示の実施形態による画像形成方法は、概略的には、複数の画像（サブ画像）を取得する工程と、被写体の高分解能画像を形成する工程と、ノイズを検出する工程とを含む。本開示の実施形態による画像形成方法は、ノイズを除去する工程をさらに含んでいてもよい。図１５Ａに示す例では、ステップＳ１０において、複数の異なる照射方向から、順次、モジュールを照明光で照射することによって複数の異なる照射方向に応じた複数の画像を取得する。ステップＳ１０における複数の画像の取得は、サブ画像を示す複数の画素値の取得を意味し、サブ画像の形成のステップを必ずしも含んでいなくてもよい。
【０１０６】
本開示の実施形態では、被写体を透過した光がイメージセンサに入射するように被写体とセンサユニットとが一体化されたモジュールを使用する。ステップＳ１２では、複数の画像を合成することによって被写体の高分解能画像を形成する。ステップＳ１４では、このときに得られた高分解能画像中のノイズを検出する。本開示の実施形態では、被写体よりもセンサユニットの撮像面から遠い位置にある異物に起因するノイズの検出を実行する。ステップＳ１６では、検出したノイズを除去する。詳細には、ノイズを含む画素の画素値を他の画素値で置き換えることにより、高分解能画像中のノイズを除去する。これらの各工程を実行するためのプログラムは、例えばメモリ１６０に格納されている。
【０１０７】
図１５Ａに示す工程およびそれらの順序は、あくまでも一例である。図１５Ｂに示すように、ノイズの検出およびノイズの除去が、高分解能画像の形成前に実行されてもよい。つまり、複数の異なる照射方向に応じて取得される複数の画像の各々においてノイズの検出および除去を実行し、ノイズ除去後の複数の画像を合成することによって高分解能画像を得てもよい。図１５Ｂに示す例では、ステップＳ１１において、複数の異なる照射方向に応じた複数の画像（サブ画像）を取得し、ステップＳ１３およびステップＳ１５において、それぞれ、各サブ画像中のノイズの検出および検出したノイズの除去を実行する。ステップＳ１０と同様に、ステップＳ１１における複数の画像の取得は、サブ画像を示す複数の画素値の取得を意味し、サブ画像の形成のステップを必ずしも含んでいなくてもよい。その後、ステップＳ１７において、複数の画像を合成することにより、被写体の高分解能画像を形成する。
【０１０８】
なお、上述の各工程は、連続して実行される必要はなく、例えば、２つの工程間に他の工程が介在してもよい。上述の各工程のうち、２以上の工程が並列的に実行されてもよい。
【０１０９】
図１６は、本開示の実施形態による画像形成方法の一例における詳細を示す。まず、ステップＳ１８において、画像取得装置１００（例えば図１１を参照）内に被写体２を配置する。ここでは、画像取得装置１００のステージ３２に装填されたソケット１３０に、モジュール１０を固定する。
【０１１０】
次に、ステップＳ２０において、初期化を行う。例えば、照射方向およびサブ画像を識別するためのインデックスｉ（ｉは整数）に１を代入する。
【０１１１】
次に、ステップＳ２２において、被写体２を基準とする、１番目（ｉ＝１）の照射方向の情報を取得する。照射方向を示す情報は、画像形成システム１０００（図１１参照）における動作を制御するためのプログラム中に記述されていてもよいし、メモリ１６０に例えばリスト（またはテーブル）の形式で格納されていてもよい。後に詳しく説明するように、照射方向が分かっていれば、ノイズの検出において用いるべき画素値の組を適切に決定することができる。したがって、ある態様において、メモリ１６０（図１１参照）は、照射方向に関する情報と、画素値の差を取るべき画素の組とが関連付けられたテーブルを保存している。
【０１１２】
照射方向を示す情報は、センサユニット７の撮像面の法線方向を基準とする照射角度（例えば、図７Ａに示す角度θあるいは図７Ｂに示す角度θ’）の値であり得る。以下では、図１Ａ〜図６を参照して説明した原理に基づいて、４方向からの照射により４倍の高分解能化を行う例を説明する。ここで説明する例では、１番目の照射方向が、図２Ａおよび図２Ｂを参照して説明した第１照射方向に設定されている。すなわち、この例では、ステップＳ２２において、センサユニット７の撮像面に対する照射角度が０°であることを示す情報が取得される。
【０１１３】
もちろん、１番目の照射方向は、図２Ａおよび図２Ｂを参照して説明した第１照射方向に限定されない。１番目の照射方向は、センサユニット７の撮像面に対して垂直な方向とは異なる方向であり得る。このときに取得された照射方向に関する情報は、上述のインデックスｉの値とともにテーブルの形式で例えばメモリ１６０のワークエリアに一時的に保存される。
【０１１４】
次に、ステップＳ２４において、１番目のサブ画像の取得を実行する。照射に先立ち、制御装置１７０がステージ駆動機構３３を動作させることにより、被写体２に対する照射方向が変更される。その後、所定の照射方向からの照明光で被写体２を照射することにより、１番目のサブ画像を示す複数の画素値を取得する。取得されたサブ画像のデータ（典型的には画素値）は、例えば、インデックスｉの値と関連付けられた状態でメモリ１６０に一時的に保存される。
【０１１５】
次に、必要に応じて、ステップＳ２６において、取得したサブ画像の各画素の輝度の正規化を実行する。センサユニット７の撮像面に対して傾斜した方向から被写体２を照射したとき、被写体２を透過した光が撮像面に達するまでに進む距離は、撮像面の法線方向から被写体２を照射した場合と比較して大きい。そのため、モジュール内における吸収、散乱などの影響により、撮像面の法線方向から被写体２を照射したときに得られるサブ画像と比較して、撮像面に対して傾斜した方向から被写体２を照射したときに得られるサブ画像が全体として暗くなることがある。取得したサブ画像に輝度の正規化を施すことにより、サブ画像間の全体的な輝度のばらつきを低減し得る。本明細書において、「正規化」は、正規化の対象の画像に含まれる複数の画素の画素値の和が、基準となる画像に含まれる複数の画素の画素値の和と等しくなるように、各画素の画素値を定数倍する処理を意味する。
【０１１６】
次に、ステップＳ２８において、インデックスｉの値を更新する。典型的には、ｉをインクリメントする。
【０１１７】
次に、ステップＳ３０において、所定の枚数のサブ画像の取得が完了したか否かを判定する。例えば、ｉ＞Ｎ（Ｎは２以上の整数）であるか否かの判定を実行する。ここで説明する例では、４方向からの照射により４倍の高分解能化を行うので、ｉ＞４（Ｎ＝４）であるか否かが判定される。ｉがＮ以下であれば処理はステップＳ２２に戻され、照射方向を変えてサブ画像の取得が再度実行される。
【０１１８】
処理がステップＳ２２に戻されると、２番目（ｉ＝２）の照射方向の情報が取得される。２番目の照射方向は、例えば、図３Ａおよび図３Ｂを参照して説明した第２照射方向である。すなわち、この例では、ステップＳ２２に続くステップＳ２４において、撮像面４Ａの法線Ｎに対してｘ方向に沿って傾斜した方向に照射方向が変更される。具体的には、２番目のサブ画像の取得時、図７Ａに示すような角度θの方向からの照射が実行される。
【０１１９】
ステップＳ２２において取得された、照射方向に関する情報（例えば角度θの値と傾斜の方向）は、インデックスｉの値（つまり、ｉ＝２）とともにテーブルの形式で例えばメモリ１６０のワークエリアに一時的に保存される。また、ステップＳ２４において取得されたサブ画像のデータ（典型的には画素値）が、インデックスｉの値と関連付けられた状態でメモリ１６０に一時的に保存される。照射方向の情報は、センサユニット７の撮像面の法線方向を基準とする角度の大きさであってもよいし、ｉの値が１小さい照射方向の情報に対応する照射角度との差分であってもよい。
【０１２０】
なお、異なる２つの照射方向の間の関係（例えば、一方の照射方向が他方に対してどの方向に沿ってどの程度傾いているか）が分かれば、一方のサブ画像中のどの画素値と、他方のサブ画像中のどの画素値とを対応付けてノイズ検出に用いればよいかが決まる。したがって、照射方向に関する情報に加えて、ノイズ検出に用いるべき画素値の対応をテーブルにさらに追加してもよい。
【０１２１】
ステップＳ２４の実行後は、上述したステップＳ２６〜Ｓ３０が実行される。処理が再びステップＳ２２に戻されると、３番目（ｉ＝３）の照射方向の情報が取得される。３番目の照射方向は、例えば、図４Ａおよび図４Ｂを参照して説明した第３照射方向である。この場合、撮像面４Ａの法線Ｎに対してｙ方向に沿って傾斜した方向に照射方向が変更された状態で３番目のサブ画像の取得が実行される。ここでは、３番目の照射方向に関する情報、３番目のサブ画像のデータ、および、ノイズ検出に用いるべき画素値の対応をテーブルの形式でメモリ１６０のワークエリアに一時的に保存する。ノイズ検出に用いるべき画素値の対応は、１番目のサブ画像と３番目のサブ画像との間における対応であってもよいし、２番目のサブ画像と３番目のサブ画像との間における対応であってもよい。
【０１２２】
その後、上述したステップＳ２６〜Ｓ３０が再び実行される。この時点では、まだｉ＞Ｎではないので、処理がステップＳ２２に戻される。ステップＳ２２において、４番目（ｉ＝４）の照射方向の情報が取得される。４番目の照射方向は、例えば、図５Ａおよび図５Ｂを参照して説明した第４照射方向である。この場合、撮像面４Ａの法線Ｎに対してｕ方向に沿って傾斜した方向に照射方向が変更された状態で４番目のサブ画像の取得が実行され、４番目の照射方向に関する情報、４番目のサブ画像のデータ、および、ノイズ検出に用いるべき画素値の対応が、テーブルの形式でメモリ１６０のワークエリアに一時的に保存される。
【０１２３】
その後、上述したステップＳ２６〜Ｓ３０が再び実行される。ステップＳ３０においてｉがＮより大きいと判定されると、処理はステップＳ３２に進められる。ステップＳ３２では、図１Ａ〜図６を参照して説明した原理を適用することにより、高分解能画像を形成する。ここでは、画像形成装置１４０が、メモリ１６０からのサブ画像のデータの読み出し、および、取得した複数のサブ画像を用いた高分解能画像の形成を実行する。高分解能画像に含まれる画素値の数は、ステップＳ２４において得られる画素値の数よりも多い。
【０１２４】
次に、ステップＳ３４において、高分解能画像に含まれるノイズを検出する。ここで検出されるノイズは、上述したように、被写体２よりもセンサユニット７の撮像面から遠い位置にある異物に起因するノイズである。ここでは、画像処理装置１５０が、画像形成装置１４０によって形成された高分解能画像のデータを受け取り、後述するノイズ検出の原理に基づいてノイズを検出する。
【０１２５】
ノイズの検出においては、例えば、メモリ１６０に格納されたテーブルを参照することにより、画素値の差を取るべき画素の組が特定される。上述の例のように、第１照射方向（ｉ＝１）〜第４照射方向（ｉ＝４）の４方向から照射を行う場合、２つの照射方向の間では、同一のフォトダイオードによって得られる２つの画素値を少なくとも１つ用いればよい。したがって、上記のテーブルにおいては、ノイズ検出に用いるべき画素値の対応として、例えば、４つの照射方向のうちのある照射方向から照射して、あるフォトダイオードによって得た画素値と、他のある照射方向から照射して、あるフォトダイオードによって得た画素値とが対応付けられている。
【０１２６】
したがって、ここでは、２つの照射方向の間で同一のフォトダイオードによって得られる２つの画素値の差を利用してノイズの検出が実行される。例えば、第１照射方向と第２照射方向との間で同一のフォトダイオードによって得られる２つの画素値の差を利用すれば、ｘ方向に沿ったノイズの検出ができる。同様に、第１照射方向と第３照射方向との間で同一のフォトダイオードによって得られる２つの画素値の差を利用すれば、ｙ方向に沿ったノイズの検出ができ、第１照射方向と第４照射方向との間で同一のフォトダイオードによって得られる２つの画素値の差を利用すれば、ｕ方向に沿ったノイズの検出ができる。ノイズの検出後、例えば、ノイズを含む画素の座標値がメモリ１６０に一時的に保存される。
【０１２７】
高分解能画像の形成の前にサブ画像の取得ごとにノイズを検出する場合においても、上記のテーブルを参照することにより、画素値の差を取るべき画素の組を照射方向に応じて適切に決定することができる。なお、ノイズ検出に用いるべき画素値の対応は、必ずしもテーブルの形式で記述されている必要はない。例えば、ノイズ検出に用いるべき画素値を対応付ける関係式がメモリ１６０に保存されていてもよい。例えば、ｉ番目のサブ画像中の第ｊ行第ｋ列に位置する画素の画素値をＶ（ｉ）j,kと表したとき、Ｖ（ｉ）j,kとＶ（ｉ＋１）j,kとの対応を示す式がメモリ１６０に保存されてもよい。なお、ｊ＝１，２，・・・，Ｊ、ｋ＝１，２，・・・，Ｋ（ＪおよびＫは２以上の整数）である。例えば第１照射方向と第２照射方向との間で（つまり、ｉ＝１）、Ｖ（ｉ）j,kとＶ（ｉ＋１）j,kとの対応を示す式をｊ＝１からｊ＝（Ｊ−１）の範囲で用いることにより、ｘ方向に沿ったノイズの検出を実行することが可能である。
【０１２８】
次に、ステップＳ３６において、検出されたノイズを除去する。ここでは、画像処理装置１５０がノイズ除去の処理を実行する。ノイズを含む画素の位置は、ステップＳ３４においてメモリ１６０に保存された座標値から特定可能である。ノイズ除去方法の具体例は後述する。
【０１２９】
次に、ステップＳ３８において、ノイズが除去された高分解能画像がディスプレイなどの表示装置に出力される。あるいは、ノイズが除去された高分解能画像のデータが、画像形成システム１０００との接続を有する他の機器に出力される。ステップＳ３８は、必要に応じて実行されればよい。
【０１３０】
＜ノイズ検出の原理＞
次に、本開示の実施形態において用いられるノイズ検出の原理を説明する。高分解能画像におけるノイズの現れ方を理解すれば、本開示の実施形態において用いられるノイズ検出の原理を理解しやすい。したがって、ここでは、まず、高分解能画像におけるノイズの現れ方の例を説明し、その後、ノイズ検出の方法の具体例を説明する。以下では、４方向からの照射によって４倍の分解能を実現する場合を例示する。
【０１３１】
図１７Ａは、上述した第１照射方向（図２Ａおよび図２Ｂ参照）から照射したときにおける、被写体２において照明光が透過する領域と、イメージセンサ４によって取得される像との間の関係を模式的に示す。図１７Ａに示す例では、イメージセンサ４は、フォトダイオード４ｐの光入射面を被覆する透明層４Ｔを有している。被写体２は、封入剤６に覆われた状態でこの透明層４Ｔ上に位置している。つまり、この例では、透明層４Ｔの上面が撮像面４Ａを形成しており、透明層４Ｔの上面が被写体支持部７Ｓ（図１１参照）として機能している。なお、図１７Ａに示す例では、透明プレート８において被写体２とは反対側の表面上にゴミＤが存在している。ゴミＤは、イメージセンサ４の撮像面４Ａに垂直な方向から見たとき、被写体２の一部と重なっている。
【０１３２】
図１７Ａでは、第１照射方向を矢印Ｒ１で模式的に示している。ここでは、第１照射方向Ｒ１は、ｚ方向に平行である。図１７Ａ中の網掛け部分は、照明光のうち、被写体２においてフォトダイオード４ｐの直上にある領域に入射する部分と、変換光のうち、フォトダイオード４ｐに入射する部分とを模式的に示している。別の言い方をすれば、網掛け部分は、照明光のうち、サブ画像の形成に寄与する部分を示している。なお、ここでは、説明の便宜のため、透明プレート８の厚さを実際よりも小さく図示しており、図中の各部の大きさの比率は、実際のモジュールとは異なる。後述する図１７Ｂ、図２１、図２３Ａ〜図２３Ｃについても同様である。
【０１３３】
図１７Ａに示すように、第１照射方向Ｒ１から照射したとき、被写体２のうち、フォトダイオード４ｐの直上に位置する領域を透過した光がフォトダイオード４ｐに入射する。例えば、図１７Ａに示すフォトダイオード４ｐｘには、被写体２のうち、フォトダイオード４ｐｘの直上に位置する領域Ａ１を透過した光（第１照射方向Ｒ１に対応する第１の変換光のうちの一部）が入射する。第１照射方向Ｒ１から照明光が照射された場合に得られるサブ画像Ｓａｄの画素Ｐａ１は、領域Ａ１の情報を有する。同様に、図１７Ａに示す画素Ｐａ２およびＰａ３は、それぞれ、被写体２のうち、フォトダイオード４ｐｙの直上に位置する領域Ａ２およびフォトダイオード４ｐｚの直上に位置する領域Ａ３の情報を有する。
【０１３４】
図示する例では、イメージセンサ４の撮像面４Ａに垂直な方向から見たとき、ゴミＤが、被写体２の領域Ａ８およびＡ９と重なっている。したがって、領域Ａ８の直下に位置するフォトダイオード４ｐｓは、ゴミＤおよび被写体２の領域Ａ８の両方を透過した光を受ける。このとき、フォトダイオード４ｐｓに入射する光の量は、透明プレート８上にゴミＤが存在しない場合と比較して低下する。そのため、第１照射方向Ｒ１から照明光が照射された場合に得られるサブ画像Ｓａｄに含まれる画素のうち、領域Ａ８の直下に位置するフォトダイオード４ｐｓに対応する画素Ｐａ８の画素値は、透明プレート８上にゴミＤが存在しない場合に得られる画素値よりも小さくなる。つまり、このときに得られる画素Ｐａ８の画素値は、領域Ａ８の像を示す画素値よりも小さい。同様に、サブ画像Ｓａｄに含まれる画素のうち、領域Ａ９の直下に位置するフォトダイオード４ｐｔに対応する画素Ｐａ９の画素値は、領域Ａ９の像を示す画素値よりも小さい。
【０１３５】
ゴミＤと重なる位置にあるフォトダイオード４ｐｓおよび４ｐｔに対応する画素Ｐａ８およびＰａ９の画素値は、一般に、被写体の像を示す他の画素Ｐａ１、Ｐａ２およびＰａ３の画素値よりも相対的に小さい。結果として、透明プレート８上にゴミＤが存在した状態で撮像を行うと、図１７Ａに模式的に示すように、被写体の像を示す画素よりも相対的に暗い画素（以下、「暗画素」と呼ぶことがある。）がサブ画像中に生じる。
【０１３６】
図１７Ｂは、上述した第２照射方向（図３Ａおよび図３Ｂ参照）から照射したときにおける、被写体２において照明光が透過する領域と、イメージセンサ４によって取得される像との間の関係を模式的に示す。図１７Ｂでは、第２照射方向を矢印Ｒ２で模式的に示している。
【０１３７】
図示する例では、被写体２のうち、領域Ａ１の右側に隣接する領域Ｂ１を透過した光（第２照射方向Ｒ２に対応する第２の変換光のうちの一部）がフォトダイオード４ｐｘに入射している。第２照射方向Ｒ２から照明光が照射された場合に得られるサブ画像Ｓｂｄの画素Ｐｂ１は、領域Ｂ１の情報を有する。
【０１３８】
被写体２の領域Ａ８の右側に隣接する領域Ｂ８に注目する。この領域Ｂ８は、イメージセンサ４の遮光層上に位置するので、第１照射方向Ｒ１からの照射によっては、領域Ｂ８の像は得られない。しかしながら、図１７Ｂに示すように、撮像面４Ａの法線に対して傾斜した方向から被写体２を照射することにより、被写体２のうち、イメージセンサ４の遮光層上に位置する領域を透過した光をフォトダイオードに入射させることが可能である。図示する例では、被写体２の領域Ａ８の右側に隣接する領域Ｂ８を透過した光（第２照射方向Ｒ２に対応する第２の変換光のうちの他の一部）が、フォトダイオード４ｐｓに入射している。
【０１３９】
この例では、フォトダイオード４ｐｓの右側にあるフォトダイオード４ｐｔに、被写体２の領域Ａ９の右側に隣接する領域Ｂ９を透過した光が入射している。したがって、フォトダイオード４ｐｓに対応する画素Ｐｂ８およびフォトダイオード４ｐｔに対応する画素Ｐｂ９は、それぞれ、被写体２の領域Ｂ８および領域Ｂ９の情報を有している。
【０１４０】
図示するように、この例では、フォトダイオード４ｐｙおよびフォトダイオード４ｐｚと不図示の光源との間に、ゴミＤが介在している。そのため、この例では、フォトダイオード４ｐｙは、ゴミＤと被写体２の領域Ｂ２とを透過した光を受け、フォトダイオード４ｐｚは、ゴミＤと被写体２の領域Ｂ３とを透過した光を受ける。フォトダイオード４ｐｙおよびフォトダイオード４ｐｚに入射する光の量は、ゴミＤが存在しない場合と比較して低下するので、第２照射方向Ｒ２から照明光が照射された場合には、被写体２において領域Ａ２の右側に隣接する領域Ｂ２、および、領域Ａ３の右側に隣接する領域Ｂ３の正確な像は得られない。図１７Ｂに示すように、第２照射方向Ｒ２から照明光が照射された場合に得られるサブ画像Ｓｂｄにおける、フォトダイオード４ｐｙに対応する画素Ｐｂ２およびフォトダイオード４ｐｚに対応する画素Ｐｂ３は、暗画素である。
【０１４１】
ここで注目すべきは、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にゴミＤが存在するとき、照射方向を変化させると、暗画素を提示するフォトダイオードも照射方向の変化に伴って変化するということである。そのため、図１７Ａと図１７Ｂとを比較すればわかるように、暗画素が現れる位置は、各サブ画像の間で異なる。
【０１４２】
別の言い方をすれば、互いに異なる２つの照射方向から照明光が照射された場合において同一のフォトダイオードによって取得された２つの画素のうち、一方が被写体２の像を示す画素であり、他方が暗画素であることがあり得る。例えば、図１７Ａに示すサブ画像Ｓａｄ中の画素Ｐａ２が示す画素値および図１７Ｂに示すサブ画像Ｓｂｄ中の画素Ｐｂ２が示す画素値は、ともに、フォトダイオード４ｐｙからの出力に基づいて決まる。サブ画像Ｓａｄ中の画素Ｐａ２が、被写体２の領域Ａ２の像を示す画素であることに対し、サブ画像Ｓｂｄ中の画素Ｐｂ２は、サブ画像Ｓａｄの画素Ｐａ２よりも相対的に暗い暗画素である。
【０１４３】
したがって、少なくとも、あるサブ画像に含まれる画素のうちの１つ（この例では画素Ｐａ２）における画素値と、他のあるサブ画像に含まれる画素のうち、前述のあるサブ画像のその画素に対応する画素（この例では画素Ｐｂ２）における画素値との差を求めることにより、被写体２よりもセンサユニット７の撮像面から遠い位置にある異物に起因するノイズを検出することが可能である。後に具体例を示して説明するように、例えば、互いに異なる２つのサブ画像間の比較により、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にある異物に起因するノイズを検出してもよい。
【０１４４】
上述の例では、第１照射方向Ｒ１から被写体２を照射することによって得られるサブ画像Ｓａｄに含まれる画素Ｐａ２の画素値と、第２照射方向Ｒ２から被写体２を照射することによって得られるサブ画像Ｓｂｄに含まれる画素Ｐｂ２の画素値との差を求めている。以下、画素値の差を計算するための２つの画素を決定する方法の一例を説明する。
【０１４５】
図７Ａおよび図７Ｂを参照して説明したことからわかるように、被写体２の像を取得するイメージセンサ４が異なる照射方向の間で共通ならば、被写体２のどの領域を透過した光がどのフォトダイオードに入射するかは、照明光の照射方向によって決まる。したがって、例えば、撮像面４Ａの法線方向と、撮像面４Ａの法線Ｎに対して図７Ａに示すような角度θ傾斜した方向とから照射を行う場合、２つの照射方向の間で同一のフォトダイオードによって得られる２つの画素値の差を求めればよい。また、例えば、撮像面４Ａの法線方向と、撮像面４Ａの法線Ｎに対して図７Ｂに示すような角度θ’傾斜した方向（撮像面４Ａの法線方向から時計回りに角度θ’回転した方向）とから照射を行う場合には、一方の照射方向においてあるフォトダイオードによって得られる画素値と、他方の照射方向においてそのフォトダイオードに隣接するフォトダイオード（この例ではｘ方向に沿って左側に隣接）によって得られる画素値との差を求めればよい。よって、例えば、メモリ１６０（図１１参照）に、照射方向に関する情報（例えば照射角度θの値）と、画素値の差を取るべき画素の組とを関連付けてテーブルの形式で保存しておくことにより、暗画素の検出に際して、適切な画素の組を決定することが可能である。
【０１４６】
図１７Ｃは、図１７Ａに示すサブ画像Ｓａｄと、図１７Ｂに示すサブ画像Ｓｂｄとを合成した状態を模式的に示す。図１７Ａと図１７Ｂとの比較からわかるように、この例では、第１照射方向Ｒ１から照射したときにおいて被写体２のある領域を透過した光が入射するフォトダイオードには、第２照射方向Ｒ２から照射したとき、被写体２においてその領域に隣接する領域を透過した光が入射している。したがって、高分解能画像の形成においては、図１７Ｃに示すように、サブ画像Ｓａｄにおける、あるフォトダイオード（例えばフォトダイオード４ｐｘ）に対応する画素（例えば画素Ｐａ１）と、サブ画像Ｓｂｄにおける、そのフォトダイオードに対応する画素（例えば画素Ｐｂ１）とが隣接するように各画素が配列される。
【０１４７】
上述したように、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にゴミＤが存在するとき、照射方向を変化させると、ゴミＤを透過した光を受けるフォトダイオードも照射方向の変化に伴って変化する。典型的には、ある照射方向から照明光が照射された場合にゴミＤを透過した光を受けるフォトダイオードは、他の照射方向のもとにおいて被写体２の像を取得するか、あるいは、ゴミＤも被写体２も透過しない光を受ける。そのため、透明プレート８上にゴミＤが存在する状態において取得された複数のサブ画像を用いて高分解能画像を形成すると、暗画素は、被写体２の像を示す画素、または、照明光が透明プレート８を透過するために何らの像も示さない画素によって分離される。すなわち、図１７Ｃに模式的に示すように、暗画素は、高分解能画像において連続して現れず、とびとびに現れる。
【０１４８】
この例では、図１７Ａおよび図１７Ｂのｘ方向に沿って２倍の分解能を実現するような第１および第２照射方向から照明光が照射されてサブ画像ＳａｄおよびＳｂｄがそれぞれ取得されている。そのため、２つの暗画素の間には、被写体２の像を示す１つの画素が挟まれている（図１７Ｃ参照）。なお、照射方向の設定または高分解能化における倍率によっては、２つの暗画素の間に、被写体２の像を示す２以上の画素が挟まれることもある。
【０１４９】
このように、高分解能画像においては、暗画素が、被写体２の像を示す画素または何らの像も示さない画素によって分離された状態で現れる。これは、高分解能画像が暗画素を含んでいると、暗画素の近傍において画素値の急激な変化が生じることを意味する。したがって、高分解能画像における画素値の急激な変化を利用してとびとびの暗画素の存在を検出することによっても、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にある異物に起因するノイズを検出することが可能である。
【０１５０】
なお、図１７Ｃから、サブ画像Ｓａｄおよびサブ画像Ｓｂｄの合成画像においては、サブ画像Ｓａｄ中の暗画素に由来するノイズを含む領域Ｎａと、サブ画像Ｓｂｄ中の暗画素に由来するノイズを含む領域Ｎｂとが互いに離れた場所に現れることがわかる。すなわち、複数の照射方向に応じて取得されたサブ画像が暗画素を含んでいると、複数の照射方向に対応して高分解能画像中の複数の領域に分散してノイズが生じる。このことは、図１７Ａおよび図１７Ｂに示すｘ方向に限られず、他の方向についても同様である。したがって、例えば、４方向からの照射によって４倍の分解能を実現する場合、高分解能画像には、４方向からの照射に対応した４つの領域にノイズが生じる。図１７Ｄは、４方向からの照射によって得られる４つのサブ画像を合成して形成された高分解能画像ＨＲｄにおける、ノイズの現れ方を模式的に示す。図１７Ｄでは、ノイズを含む領域を太い破線により模式的に示している。なお、照射方向の設定によっては、暗画素を含まないサブ画像が得られることもある。
【０１５１】
図１７Ａおよび図１７Ｂに示すように、この例では、透明プレート８とイメージセンサ４との間に被写体２が配置されたモジュールを利用してサブ画像を取得している。モジュールにおける透明プレート８が厚いほど、また、イメージセンサ４の撮像面４Ａの法線に対する照射方向の傾きが大きいほど、高分解能画像中においてノイズが生じる領域の間隔は拡大する。つまり、透明プレート８上のゴミＤが１つであったとしても、ノイズは、高分解能画像における広い範囲に生じ得る。本開示の実施形態によれば、このようなノイズを検出および除去することが可能である。本開示の技術は、高分解能画像の形成において特に有用である。
【０１５２】
＜ノイズ検出の方法の具体例＞
図１７Ａ〜図１７Ｄを参照して説明したように、サブ画像における暗画素の位置は、照射方向の変化に伴って変化する。透明プレート８としてスライドガラスを使用する場合、フォトダイオード４ｐの表面からゴミＤまでの距離は、１ｍｍ程度であり、これは、フォトダイオード４ｐの表面から被写体２までの距離（典型的には数μｍ）と比較して１０００倍程度大きい。そのため、照射方向の変化がわずかであっても、サブ画像内における暗画素の位置は大きく変化する。これに対し、本開示の実施形態では、被写体２がフォトダイオード４ｐの表面に近接して配置されるので、サブ画像内における被写体２の像の位置は、照射方向の変化に対してほとんど変化しない。
【０１５３】
図１８Ａおよび図１８Ｂを参照する。図１８Ａは、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にゴミＤが存在するときに取得されるサブ画像の例を示す。図１８Ａに示す例では、ゴミＤの像ＤＰが被写体２の像２Ｐに重なっている。図１８Ｂは、図１８Ａに示すサブ画像の取得時とは異なる照射方向から照明光が照射された場合に取得されるサブ画像の例を示す。照射方向を変化させると、図１８Ｂに模式的に示すように、サブ画像における像ＤＰの位置が変化する。これに対し、被写体２の像２Ｐはほとんど移動しない。図１Ａ〜図６を参照して説明したように、サブ画像のそれぞれは、典型的には、被写体２における互いに異なる領域の画素情報を有する。そのため、画素単位で比較すれば、図１８Ａに示す被写体２の像２Ｐと、図１８Ｂに示す被写体２の像２Ｐとは互いに異なる像である。しかしながら、図１８Ａおよび図１８Ｂに模式的に示すように、大局的に見れば、被写体２に関して、互いに異なる照射方向の間でほぼ同じ像が得られる。
【０１５４】
上述した第１〜第４照射方向から照明光を照射して複数のサブ画像を取得した場合において、例えば、これらの照射方向のうちの２つの照射方向において、あるフォトダイオードによって取得される像がともに被写体２の像であったとする。このとき、一方の照射方向において取得される像は、被写体２のある領域の像であり、他方の照射方向のもとにおいて取得される像は、被写体２のうち、その領域の近傍にある領域の像である。すなわち、あるフォトダイオードによって取得される像がともに被写体２の像であるとき、一方の照射方向において取得されたサブ画像における、そのフォトダイオードに対応する画素の画素値と、他方の照射方向において取得されたサブ画像における、そのフォトダイオードに対応する画素の画素値との差の絶対値は、０に近い。これに対し、これらのうちの一方の画素が暗画素である場合には、２つのサブ画像間における画素の画素値の差の絶対値は、より大きな値を示す。つまり、同一のフォトダイオードによって取得された画素値同士の差分と、予め設定しておいた閾値とを比較すれば、暗画素を見つけだすことができる。
【０１５５】
例えば、ある照射方向から照明光を照射したときに、イメージセンサ４が有するフォトダイオードのうち、あるフォトダイオードの出力（ここでは画素値）をＰｖ１とし、他のある照射方向から照明光を照射したときに、そのフォトダイオードの出力（ここでは画素値）をＰｖ２とする。予め設定しておいた閾値をεとする。Ｐｖ１＜Ｐｖ２かつ｜Ｐｖ１−Ｐｖ２｜＞εであれば、画素値Ｐｖ１が、ノイズを含む画素の画素値であると判断できる。また、Ｐｖ１＞Ｐｖ２かつ｜Ｐｖ１−Ｐｖ２｜＞εであれば、画素値Ｐｖ２が、ノイズを含む画素の画素値であると判断できる。画素値Ｐｖ１およびＰｖ２の差分に代えて、除算を適用してもよい。本開示の「差分」演算には、「除算」による演算も含まれ得る。
【０１５６】
なお、高分解能画像中のノイズは、他の画素と比較して明るい画素（以下、「明画素」と呼ぶことがある。）のパターンとして現れることもあり得る。例えば、Ｐｖ１＞Ｐｖ２かつ｜Ｐｖ１−Ｐｖ２｜＞εであれば、画素値Ｐｖ１が、明画素の画素値であると判断できる。また、Ｐｖ１＜Ｐｖ２かつ｜Ｐｖ１−Ｐｖ２｜＞εであれば、画素値Ｐｖ２が、明画素の画素値であると判断できる。
【０１５７】
照射方向の設定によっては、図７Ｂに示すように、被写体２のある領域を透過した光が入射するフォトダイオードと、その領域の近傍にある領域を透過した光が入射するフォトダイオードとが異なることがある。この場合、これらの領域の像を示す画素の位置は、２つのサブ画像の間において異なる。このように、被写体２のある領域の像を取得するフォトダイオードと、その領域の近傍にある領域の像を取得するフォトダイオードとが２つのサブ画像の間において異なる場合、照射方向から計算されるずれ量を用いて一方のサブ画像をシフトさせてから画素値の差分を求めればよい。
【０１５８】
このように、あるサブ画像における画素の画素値と、その画素に対応する、他のサブ画像における画素の画素値との間の差分を計算することにより、ノイズを検出することが可能である。サブ画像間において対応する画素値の差分の計算は、サブ画像間において対応する２つの画素から構成される組の少なくとも１つに対して実行されればよい。「サブ画像間において対応する２つの画素」は、典型的には、異なる照射方向の間で共通のフォトダイオードによって画素値が取得された２つの画素である。あるサブ画像における各画素の画素値と、それらの各画素に対応する、他のサブ画像における各画素の画素値との間の差分を計算するか、あるいは比較することにより、ノイズを検出してもよい。サブ画像に含まれる全ての画素について、サブ画像間における画素値を比較することは、互いに異なる２つのサブ画像を比較することと同じである。
【０１５９】
あるいは、高分解能画像が有する複数の画素から構成される画素ブロックにおける画素間の画素値の変化に基づいて、ノイズを検出してもよい。換言すれば、高分解能画像から、異なる照射方向に対応して得られる画素値Ｐｖ１およびＰｖ２を抽出して、上述の比較を実行してもよい。すなわち、Ｐｖ１＜Ｐｖ２かつ｜Ｐｖ１−Ｐｖ２｜＞εであるか、あるいは、Ｐｖ１＞Ｐｖ２かつ｜Ｐｖ１−Ｐｖ２｜＞εであるかの判定を実行してもよい。
【０１６０】
「画素ブロック」は、高分解能画像における複数の画素を含む一区画であり、複数のサブ画像の各々からそれぞれ抽出された１以上の画素を含む。なお、図１７Ｃを参照して説明したように、例えば４倍の高分解能化を実現する高分解能画像の形成においては、あるサブ画像における、あるフォトダイオードに対応する画素と、他のあるサブ画像における、そのフォトダイオードに対応する画素とは、上下左右または斜めに隣接して配列される。したがって、画素ブロックにおける画素間の画素値の変化を求めることは、サブ画像間において対応する２つの画素の画素値を比較することと基本的に同じであるといえる。
【０１６１】
以下では、高分解能画像において３行３列の画素の配列から構成される画素ブロックにおける画素間の画素値の変化に基づいて、ノイズを検出する例を説明する。
【０１６２】
再び図１７Ｄを参照する。既に説明したように、透明プレート８上にゴミＤが存在する状態において取得された複数のサブ画像を用いて高分解能画像を形成すると、暗画素が、高分解能画像においてとびとびに現れる。例えば、上述した第１〜第４照射方向から照明光が照射された場合に取得されたサブ画像を用いて４倍の高分解能を実現する場合であれば、図１７Ｄにおいて太い破線で示すように、２つの暗画素の間に、被写体２の像を示す１つの画素が挟まれたパターンが現れる。このような暗画素のパターンを検出することにより、高分解能画像中のノイズを検出することが可能である。
【０１６３】
図１９Ａおよび図１９Ｂは、ゴミＤに起因する暗画素のパターンの検出に適用可能なフィルタの例を模式的に示す。図１９Ａに示すフィルタＦａは、３行３列の画素ブロックにおける中央の画素の画素値およびその画素の４近傍の画素値を抽出するために用いられる。図１９Ｂに示すフィルタＦｂは、画素ブロックにおける中央の画素の８近傍から中央の画素およびその４近傍を除いた４つの画素の画素値を抽出するために用いられる。本明細書において、ある画素の「４近傍」は、その画素の上下左右に隣接する４つの画素の群を意味する。また、ある画素の「８近傍」は、その画素の上下左右に隣接する４つの画素と、その画素の斜め方向に隣接する４つの画素とからなる群を意味する。別の言い方をすれば、ある画素の「８近傍」は、その画素を中心とする３行３列の画素の配列のうち、中心の画素を除く８つの画素である。
【０１６４】
例えば、図１７Ｄに示す高分解能画像ＨＲｄにおいて、被写体２の像を示す画素から構成される画素ブロックに対して図１９Ａに示すフィルタＦａを適用した場合を考える。このとき、被写体２の像を示す５つの画素が抽出される。また、その画素ブロックに、図１９Ｂに示すフィルタＦｂを適用した場合を考える。このとき、被写体２の像を示す４つの画素が抽出される。
【０１６５】
図２０Ａは、フィルタＦａを用いて抽出される５つの画素の画素値の範囲の例と、フィルタＦｂを用いて抽出される４つの画素の画素値の範囲の例とを示す。図２０Ａ中、横軸は画素値Ｂｒを示す。画素値Ｂｒは、例えば０〜２５５の階調値によって表される。図２０Ａ中、線分ＬａおよびＬｂは、それぞれ、フィルタＦａを用いて抽出される５つの画素の画素値の範囲、および、フィルタＦｂを用いて抽出される４つの画素の画素値の範囲を模式的に示している。
【０１６６】
被写体２の像を示す画素から構成される画素ブロックに、フィルタＦａおよびフィルタＦｂのいずれのフィルタを適用した場合も、被写体２の像を示す画素が抽出される。そのため、これらフィルタによって抽出された画素の間における画素値Ｂｒの差は、比較的小さい。典型的には、図２０Ａに例示するように、フィルタＦａによって抽出された画素の画素値の最大値Ｍｘａおよび最小値ｍｎａによって規定される線分Ｌａと、フィルタＦｂによって抽出された画素の画素値の最大値Ｍｘｂおよび最小値ｍｎｂによって規定される線分Ｌｂとは、重なりを有する。
【０１６７】
次に、図１７Ｄに示す高分解能画像ＨＲｄにおいて、太い破線の内側にある画素ブロックにフィルタＦａを適用した場合を考える。このとき、被写体２の像を示す５つの画素が抽出される。また、太い破線の内側にある画素ブロックにフィルタＦｂを適用した場合を考える。この場合は、４つの暗画素が抽出される。そのため、フィルタＦｂによって抽出される画素の画素値は、フィルタＦａによって抽出された画素の画素値と比較して小さい。
【０１６８】
図２０Ｂは、フィルタＦａを用いて抽出される５つの画素の画素値の範囲の他の例と、フィルタＦｂを用いて抽出される４つの画素の画素値の範囲の他の例とを示す。図１７Ｄに示す高分解能画像ＨＲｄにおいて、太い破線の内側にある画素ブロックに、フィルタＦａおよびフィルタＦｂを適用した場合には、図２０Ｂに示すようなグラフが得られる。図２０Ｂに示す例において、線分Ｌａと線分Ｌｂとは、重なりを有していない。このことを逆に言うと、図２０Ｂに示すように、フィルタＦａに対応する線分Ｌａと、フィルタＦｂに対応する線分Ｌｂとの間に重なりがないということは、とびとびの暗画素のパターンが高分解能画像中に現れていることを示している。
【０１６９】
図２０Ｂに示す例では、Ｍｘｂ＜ｍｎａが成立していることから、Ｍｘｂ＜ｍｎａが成立すれば、フィルタＦａおよびフィルタＦｂを適用した画素ブロックにノイズが含まれていると判断することができる。なお、高分解能画像中のノイズは、他の画素と比較して明るい画素のパターンとして現れることもある。この場合は、Ｍｘａ＜ｍｎｂが成立する。以上から、Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立する場合には、画素ブロックにノイズが含まれていると判断できる。
【０１７０】
なお、とびとびの暗画素のパターンまたはとびとびの明画素のパターンを検出するためのフィルタは、図１９Ａに示すフィルタＦａおよび図１９Ｂに示すフィルタＦｂに限定されない。特定のパターンを検出するためのフィルタは、照射方向の設定などに応じて適宜選択可能である。また、画素ブロックのサイズも３行３列に限定されない。ｎを自然数とするとき、画素ブロックのサイズは、（２ｎ＋１）行（２ｎ＋１）列であってもよい。このとき、例えば（２ｎ＋１）行（２ｎ＋１）列のサイズを有するフィルタを使用することができる。フィルタにおいて左上に位置する画素を指定する座標値を（１，１）とするとき、例えば、画素ブロックを構成する画素のうち、座標値が（２ｍ＋１，２ｍ’＋１）以外の画素の画素値を抽出するフィルタと、座標値が（２ｍ＋１，２ｍ’＋１）である画素の画素値を抽出するフィルタとの組を使用することができる。ここで、ｍおよびｍ’は、それぞれ、０以上ｎ以下の整数である。
【０１７１】
なお、図１８Ｂに例示するように、あるサブ画像においてゴミＤの像を示す画素が被写体２の像を示す画素と離れて位置している場合には、高分解能画像においても、被写体２の像から離れた位置にゴミＤの像が現れる。あるサブ画像における、ゴミＤの像を示す画素の位置は、例えばサブ画像間における画素の画素値の比較に基づいて特定可能である。あるサブ画像における、ゴミＤの像を示す画素の位置が特定できれば、他のサブ画像における、ゴミＤの像を示す画素または暗画素の位置の特定は容易である。例えば、被写体２の像から孤立して現れたゴミＤの像をテンプレート画像とするテンプレートマッチング、あるいは局所特徴量を用いた特徴量マッチングを実行してもよい。また、本開示の技術では、照明方向の変化に対するゴミＤの像の移動の方向はあらかじめわかっている。例えば、照射方向をｘ軸方向に傾斜させれば、サブ画像におけるゴミＤの像の位置もｘ軸方向に沿って移動する（図１７Ａおよび図１７Ｂ参照）。したがって、照射方向をｘ軸方向に傾斜させて得られた互いに異なる２つのサブ画像のうちの一方に対してもう一方をｘ軸方向に移動させながらこれらの間の類似度を計算すれば、２つのサブ画像の間で被写体の像が重なったところで相互相間関数（類似度）が極大になると考えられる。このように、２つのサブ画像間の類似度の極大を探索することによって、被写体の像の位置またはゴミＤの像の位置を特定することも可能である。
【０１７２】
＜ノイズ除去方法の具体例＞
次に、ノイズ除去方法の具体例を説明する。ノイズ検出の処理によってノイズを検出した後、高分解能画像からノイズを除去することにより、被写体のより正確な像を高分解能画像において再現し得る。詳細には、ノイズを含む画素（ここではゴミＤの像を示す画素）の画素値を、ノイズを含む画素以外の画素の画素値から算出される画素値で置き換えることにより、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にある異物に起因するノイズを除去する。
【０１７３】
（ノイズ除去方法の第１の例）
高分解能画像中におけるノイズを含む画素の位置は、ノイズ検出の処理において既にわかっている。例えば、上述のフィルタＦａおよびフィルタＦｂの組を用いてノイズ検出の処理を実行した場合であれば、Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立する画素ブロックの角部に位置する４つの画素が、ノイズを含む画素である。以下、画像を構成する画素の配列における第ｊ行第ｋ列に位置する画素の画素値をＶj,kで表す。
【０１７４】
例えば、ノイズを含むこれらの画素の画素値を、高分解能画像に含まれる画素のうち、ノイズを含まない画素の画素値の平均値で置き換えることにより、高分解能画像からノイズを除去することができる。すなわち、ノイズを含む画素の画素値およびノイズ除去後の画素値をそれぞれＶp,qおよびＶ’p,qとし、ノイズを含まない画素の数をＷとすれば、画素値Ｖ’p,qを以下の式（１）によって求めることができる。
【０１７５】
Ｖ’p,q＝（Σ’Ｖp,q）／（Ｊ×Ｋ−Ｗ）      （１）
式（１）中、分子の「Σ’」は、画素アレイに含まれる画素のうち、ノイズを含まない画素にわたる和を表し、分母の「×」は、乗算を表す。なお、ノイズを含む画素の位置がサブ画像ごとに求められている場合には、ノイズ除去の処理をサブ画像ごとに実行してもよい。
【０１７６】
（ノイズ除去方法の第２の例）
ノイズを含む画素の画素値を、ノイズを含む画素の近傍の画素の画素値を用いて算出される画素値で置き換えてもよい。例えば、ノイズを含む画素の上下に隣接する２つの画素の画素値の平均と、ノイズを含む画素の左右に隣接する２つの画素の画素値の平均とを求め、これらの平均値を、ノイズを含む画素の画素値と置き換えてもよい。すなわち、ノイズを含む画素の画素値Ｖp,qを、以下の式（２）によって算出される画素値Ｖ’p,qに置き換えることによってノイズを除去してもよい。
【０１７７】
Ｖ’p,q＝（Ｖp-1,q＋Ｖp+1,q＋Ｖp,q-1＋Ｖp,q+1）／４      （２）
このように、ノイズを含む画素の近傍の画素を用いてノイズを含む画素を補間してもよい。平均値の算出に用いる画素は、例えばノイズを含む画素の４近傍であってもよいし、８近傍であってもよい。あるいは、ニアレストネイバー法、バイリニア法、バイキュービック法などを応用して、ノイズを含む画素の画素値を、ノイズを含む画素の近傍の画素の画素値から推定してもよい。
【０１７８】
（ノイズ除去方法の第３の例）
また、例えば、高分解能画像を構成する複数のサブ画像のそれぞれに対応する複数の照射方向とはさらに異なる照射方向から照明光で照射して、さらに別のサブ画像の取得を行い、ノイズを含む画素を、このサブ画像の画素で置き換える（補完する）ことによってノイズを除去してもよい。
【０１７９】
再び図１７Ｂを参照する。例えば、図１７Ｂに示す照射方向から照明光が照射された場合には、被写体２のうち、領域Ｂ２およびＢ３と不図示の光源との間にゴミＤが介在するので、領域Ｂ２およびＢ３を示す正確な像は得られない。図１７Ｂに示す例では、サブ画像Ｓｂｄにおける画素Ｐｂ２およびＰｂ３は、暗画素である。
【０１８０】
ここで、図２１に示すように、上述の第１〜第４照射方向とはさらに異なる第５照射方向Ｒ５から被写体２を照射することにより、第５のサブ画像Ｓｅを取得する。図２１に示す第５照射方向Ｒ５から照明光が照射された場合には、被写体２の領域Ｂ２およびＢ３のいずれにも照射光が入射しており、領域Ｂ２およびＢ３を透過した光がフォトダイオード４ｐに入射している。そのため、このときに得られるサブ画像Ｓｅに含まれる画素Ｐｅ２およびＰｅ３は、それぞれ、被写体２の領域Ｂ２の像および被写体２の領域Ｂ３の像を示す。したがって、図１７Ｂに示すサブ画像Ｓｂｄにおける画素Ｐｂ２およびＰｂ３を、図２１に示すサブ画像Ｓｅにおける画素Ｐｅ２およびＰｅ３でそれぞれ置き換えることにより、被写体２の領域Ｂ２およびＢ３の像を完全に再現することが可能である。
【０１８１】
すなわち、以下の式（３）に示すように、高分解能画像においてサブ画像Ｓｂｄの画素Ｐｂ２に対応する画素の画素値Ｖ’２として、画素Ｐｂ２の画素値Ｖｂ２に代えて、サブ画像Ｓｅの画素Ｐｅ２の画素値Ｖｅ２を用いればよい。同様に、以下の式（４）に示すように、高分解能画像においてサブ画像Ｓｂｄの画素Ｐｂ３に対応する画素の画素値Ｖ’３として、画素Ｐｂ３の画素値Ｖｂ３に代えて、サブ画像Ｓｅの画素Ｐｅ３の画素値Ｖｅ３を用いればよい。
【０１８２】
Ｖ’２＝Ｖｅ２      （３）
Ｖ’３＝Ｖｅ３      （４）
このように、本開示の実施形態によれば、ある照射方向からの照射では取得できなかった被写体２のある領域の像を、他の照射方向からの照射によって取得することができる。このときに得られた像を利用することにより、被写体のより正確な像を高分解能画像において再現することが可能である。
【０１８３】
例えば、図１８Ａおよび図１８Ｂに示すサブ画像と、これらのサブ画像の取得時の照射方向とは異なる照射方向から照明光が照射された場合に取得されるサブ画像に基づいて、図２２に示すような、ノイズの無い高分解能画像を形成し得る。図２２に例示する高分解能画像ＨＲ１では、図１８Ａおよび図１８Ｂに示すゴミＤの像ＤＰが除去され、かつ、被写体２の像が完全に再現されている。なお、図１８Ａおよび図１８Ｂに示すサブ画像の分解能は、イメージセンサ４の固有分解能に等しく、図２２に示す高分解能画像ＨＲ１の分解能は、イメージセンサ４の固有分解能よりも高い。
【０１８４】
（ノイズ除去方法の第４の例）
以下に説明するように、ノイズを含む画素の画素値を、補正された画素値に置き換えることによってノイズを除去してもよい。
【０１８５】
図２３Ａは、上述した第１照射方向（図２Ａおよび図２Ｂ参照）から照明光が照射された場合に得られるサブ画像の他の一例を示す。図２３Ａに示す例では、フォトダイオード４ｐｓおよび４ｐｔの直上に、被写体２の一部である領域Ａ５およびＡ６がそれぞれ位置しており、被写体２の領域Ａ５およびＡ６の上方にゴミＤが存在している。なお、この例では、被写体２は、フォトダイオード４ｐｓおよび４ｐｔの左側に位置するフォトダイオード４ｐｘ、４ｐｙおよび４ｐｚとの重なりを有しておらず、また、ゴミＤは、フォトダイオード４ｐｘ、４ｐｙおよび４ｐｚとの重なりを有していない。
【０１８６】
図２３Ａでは、第１照射方向から照明光が照射された場合に得られるサブ画像の他の一例であるサブ画像Ｓｆと、そのサブ画像Ｓｆに含まれる画素の画素値Ｂｒを模式的に示す棒グラフとをあわせて１枚の図に示している。図２３Ａにおいて上側に示すように、フォトダイオード４ｐｘ、４ｐｙおよび４ｐｚの上方には、被写体２およびゴミＤのいずれも存在していない。フォトダイオード４ｐｘ、４ｐｙおよび４ｐｚには、透明プレート８を透過した照明光がそのまま入射する。したがって、フォトダイオード４ｐｘ、４ｐｙおよび４ｐｚに対応する画素Ｐｆ１、Ｐｆ２およびＰｆ３は、比較的高い画素値を示す。図２３Ａにおいて下側に示すように、画素Ｐｆ１〜Ｐｆ３が示す画素値Ｖｆ１〜Ｖｆ３は、ほぼ一様な比較的高い値である。一方、フォトダイオード４ｐｓおよび４ｐｔに対応する画素Ｐｆ５およびＰｆ６は、暗画素であり、画素Ｐｆ５およびＰｆ６が示す画素値Ｖｆ５およびＶｆ６は、画素値Ｖｆ１〜Ｖｆ３と比較して小さい。
【０１８７】
図２３Ａに示す例では、被写体２の領域Ａ５と不図示の光源との間にゴミＤが介在するので、領域Ａ５に入射する光の量は、ゴミＤが存在しない場合と比較して低下する。しかしながら、光源からフォトダイオード４ｐｓに向かって進行する光の全てがゴミＤによって遮蔽されるわけではないので、光源から領域Ａ５に向かって進行する光の少なくとも一部が、領域Ａ５に入射する。領域Ａ５に入射した光の少なくとも一部が、フォトダイオード４ｐｓに入射する。したがって、フォトダイオード４ｐｓによって取得される画素Ｐｆ５は、領域Ａ５に関する情報を含んでいる。このように、透明プレート８上にゴミＤが存在するからといって、ゴミＤと重なる位置にある領域Ａ５に関する情報の全てが失われるわけではない。フォトダイオード４ｐｔによって取得される画素Ｐｆ６についても同様である。
【０１８８】
図２３Ｂは、図２３Ａに示す状態から、上述した第２照射方向（図３Ａおよび図３Ｂ参照）に照射方向を変更したときに得られるサブ画像の一例を示す。図２３Ｂにおいても、このときに得られるサブ画像Ｓｇと、そのサブ画像Ｓｇに含まれる画素の画素値Ｂｒを模式的に示す棒グラフとをあわせて１枚の図に示している。
【０１８９】
図２３Ｂに示す状態においては、フォトダイオード４ｐｓおよびフォトダイオード４ｐｔには、ゴミＤを透過せずに被写体を透過した光が入射している。ただし、ここでは、フォトダイオード４ｐｓおよびフォトダイオード４ｐｔには、それぞれ、被写体２において領域Ａ５の右側に隣接する領域Ｂ５を透過した光、および、領域Ａ６の右側に隣接する領域Ｂ６を透過した光が入射している。つまり、第２照射方向から照射を行うことによっては、領域Ａ５および領域Ａ６の像は得られない。フォトダイオード４ｐｓおよびフォトダイオード４ｐｔに対応する画素Ｐｇ５およびＰｇ６は、それぞれ、被写体２の領域Ａ５および領域Ａ６ではなく、領域Ｂ５および領域Ｂ６の像を示す。そのため、図２３Ｂの下側に示す棒グラフでは、画素Ｐｇ５およびＰｇ６の画素値の図示は省略している。
【０１９０】
図２３Ｂに示す状態においては、フォトダイオード４ｐｘと不図示の光源との間には、ゴミＤおよび被写体２のいずれも介在しておらず、フォトダイオード４ｐｘには、透明プレート８を透過した照明光がそのまま入射する。したがって、フォトダイオード４ｐｘに対応する画素Ｐｇ１は、図２３Ａに示すサブ画像Ｓｆにおける画素Ｐｆ１と同様に、比較的高い画素値Ｖｇ１を示す。
【０１９１】
これに対し、フォトダイオード４ｐｙおよび４ｐｚと不図示の光源との間には、ゴミＤが介在しているので、フォトダイオード４ｐｙおよび４ｐｚは、ゴミＤを透過した光を受ける。したがって、フォトダイオード４ｐｙおよび４ｐｚに入射する光の量は、フォトダイオード４ｐｘに入射する光の量と比較して小さい。フォトダイオード４ｐｙおよび４ｐｚに対応する画素Ｐｇ２およびＰｇ３は、それぞれ、画素値Ｖｇ１よりも低い画素値Ｖｇ２およびＶｇ３を示す。この例では、Ｖｇ１＞Ｖｇ２＞Ｖｇ３である。画素Ｐｇ２およびＰｇ３は、ゴミＤの像を示す画素であるといえる。
【０１９２】
図２３Ｃは、図２３Ａを参照して説明した画素Ｐｆ５およびＰｆ６の画素値Ｖｆ５およびＶｆ６と、図２３Ｂを参照して説明した画素Ｐｇ１〜Ｐｇ３の画素値Ｖｇ１〜Ｖｇ３とをあわせて示す。図２３Ａを参照して説明したように、画素Ｐｆ５およびＰｆ６は、それぞれ、被写体２の領域Ａ５およびＡ６に関する情報を含んでいる。ただし、領域Ａ５およびＡ６には、ゴミＤを透過した光が入射するので、画素Ｐｆ５およびＰｆ６は、ゴミＤが存在しないときに得られる本来の画素値よりも低い画素値を示す。したがって、画素Ｐｆ５およびＰｆ６が示す画素値Ｖｆ５およびＶｆ６に、ゴミＤを透過することによる光量の低下分に相当する画素値を加算してやれば、ゴミＤの影響をキャンセルした、本来の画素値を再現できると考えられる。
【０１９３】
ゴミＤを透過することによって低下した光量に相当する画素値は、以下のようにして見積もることができる。図２３Ｂを参照して説明したように、第２の照射方向から照明光が照射された場合には、フォトダイオード４ｐｘは、透明プレート８をそのまま透過した光を受ける。つまり、フォトダイオード４ｐｘによって取得される画素Ｐｇ１は、ゴミＤの像および被写体２の像のいずれも含まない画素である。一方、フォトダイオード４ｐｙおよび４ｐｚは、第２の照射方向から照明光が照射された場合には、ゴミＤを透過し被写体２には入射しない光を受ける。つまり、画素Ｐｇ２およびＰｇ３は、ゴミＤの像を含み、かつ、被写体２の像を含まない画素である。以上のことから、画素Ｐｇ１が示す画素値Ｖｇ１と画素Ｐｇ２が示す画素値Ｖｇ２との差ｄ１２、および、画素Ｐｇ１が示す画素値Ｖｇ１と画素Ｐｇ３が示す画素値Ｖｇ３との差ｄ２３は、照明光がゴミＤを透過することによる光量の低下分を反映した値であるということができる。
【０１９４】
例えば、第１の照射方向から照明光が照射された場合にフォトダイオード４ｐｓに向かう光は、ゴミＤにおけるある領域を透過する。図２３Ｃに示すように、第２の照射方向から照明光が照射された場合にフォトダイオード４ｐｙに向かう光も、ゴミＤにおける、その領域を透過している。したがって、画素値の差ｄ１２を、第１の照射方向から照明光が照射された場合に得られた画素Ｐｆ５の画素値Ｖｆ５に加算してやれば、ゴミＤによる光量の低下分をキャンセルできるといえる。すなわち、画素Ｐｆ５の画素値Ｖｆ５を、以下の式（５）によって求められる画素値Ｖｆ’５に置き換えてやることによって、領域Ａ５の本来の像を再現し得る。
【０１９５】
Ｖｆ’５＝Ｖｆ５＋ｄ１２＝Ｖｆ５＋（Ｖｇ１−Ｖｇ２）      （５）
同様に、画素Ｐｇ１が示す画素値Ｖｇ１と画素Ｐｇ３が示す画素値Ｖｇ３との差ｄ２３を、第１の照射方向から照明光が照射された場合に得られた画素Ｐｆ６の画素値Ｖｆ６に加算してやれば、ゴミＤによる光量の低下分をキャンセルし得る。すなわち、画素Ｐｆ６の画素値Ｖｆ６を、以下の式（６）によって求められる画素値Ｖｆ’６に置き換えてやればよい。
【０１９６】
Ｖｆ’６＝Ｖｆ６＋ｄ２３＝Ｖｆ６＋（Ｖｇ１−Ｖｇ３）      （６）
なお、ゴミＤの像および被写体２の像のいずれも含まない画素の画素値から差し引く画素値として、必ずしも、異なる照射方向の間でゴミＤにおける同一の領域を透過した光を受けるフォトダイオードに対応する画素値を用いる必要はない。例えば、この例では、第１の照射方向から照明光が照射された場合にフォトダイオード４ｐｔに入射する光と、第２の照射方向から照明光が照射された場合にフォトダイオード４ｐｚに入射する光とは、ゴミＤの同じ領域を透過している。そのため、フォトダイオード４ｐｚに対応する画素Ｐｇ３の画素値Ｖｇ３を画素値Ｖｇ１から差し引いた値ｄ２３を用いて画素値Ｖｆ’６を求めている。しかしながら、画素値Ｖｆ６に、差ｄ１２を加算することによっても、領域Ａ６の像が示すべき本来の画素値に近い画素値を再現し得る。
【０１９７】
図１Ａ〜図６を参照して説明した原理を用いた高分解能化においては、斜め方向からの照射を含む複数の照射方向から照明光で被写体を照射することによって撮像を行う。そのため、典型的には、高分解能化の過程において、ゴミＤの像および被写体２の像のいずれも含まない画素の画素値（ここではＶｇ１）と、ゴミＤの像を含み、かつ、被写体２の像を含まない画素の画素値（ここではＶｇ２およびＶｇ３）が得られる。この第４の例によれば、被写体の像を示さない画素の画素値をノイズの除去に活用するので、照射方向を変えて余分に撮像を実行する必要がない。
【０１９８】
このように、ノイズを含む画素の画素値（例えばＶｆ５）に、ゴミＤの像および被写体２の像のいずれも含まない画素の画素値（例えばＶｇ１）と、ゴミＤの像を含み、かつ、被写体２の像を含まない画素の画素値（例えばＶｇ２）との差を加算することによってノイズを除去することが可能である。なお、サブ画像が暗画素を含んでいなければ、フォトダイオードに入射する光量の低下分をキャンセルするためのこのような補正は不要である。したがって、画素値の補正は、サブ画像の全てについて実行されないこともある。
【０１９９】
なお、上述したように、フォトダイオード４ｐの表面から被写体２までの距離が１μｍ程度であることに対して、透明プレート８（ここではスライドガラス）の厚さは、典型的には１ｍｍ程度である。すなわち、現実的には、透明プレート８は、図２３Ｃにおいて矢印Ｔｈにより模式的に示す厚さよりも極めて大きな厚さを有する。そのため、照射方向をわずかに変えても、サブ画像においてゴミＤの像を示す画素の位置が大きく変化する。つまり、透明プレート８が大きな厚さを有すると、ゴミＤの像を示す画素と被写体２の像を示す画素とを分離しやすいので有利である。
【０２００】
サブ画像に含まれる画素のうち、どの画素が、ゴミＤの像を含み、かつ、被写体２の像を含まない画素（例えば画素Ｐｇ２およびＰｇ３）であるかは、例えば、上述のノイズ検出方法を応用することによって判定することが可能である。特に、透明プレート８が大きな厚さを有すると、図１７Ｃおよび図１７Ｄを参照して説明した暗画素のパターンと同様の、ゴミＤの像を示す画素のパターンが、被写体２の像を示す画素から離れた位置に明瞭に現れるので有利である。ゴミＤの像および被写体２の像のいずれも含まない画素（例えば画素Ｐｇ１）は、サブ画像または高分解能画像における周縁部において一様に高い画素値を示すので、容易に検出し得る。
【０２０１】
上述した例の他、ノイズを含む画素の画素値を、高分解能画像において隣接する他の画素の画素値と置き換えてもよい。つまり、ある照射方向から照明光で照射したときに、被写体のある領域を通過した光が入射するフォトダイオードで得られた画素値がノイズを含む場合には、その領域の像を示す画素値として、他のある照射方向から照明光で照射したときに、被写体においてその領域に隣接する領域を通過した光が入射するフォトダイオードで得られる画素値を採用してもよい。
【０２０２】
上述のノイズ除去方法は、互いに組み合わせられてもよい。例えば、画素の画素値の推定と補完とを組み合わせて用いてもよい。
【０２０３】
（ノイズ検出処理およびノイズ除去処理の組み合わせの具体例）
図２４Ａは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせの一例を示すフローチャートである。以下では、簡単のため、高分解能画像を構成する複数のサブ画像が既に取得されている場合を例にとって説明する。これらの画像群は、例えばメモリ１６０（図１１参照）に一時的に保存されている。
【０２０４】
図２４Ａに示す例では、フィルタを利用したノイズ検出処理後に、上述したノイズ除去方法の第１の例を適用する。まず、ステップＳ４２において、複数のサブ画像を用いて高分解能画像を形成する。この段階では、高分解能画像は、フォトダイオード４ｐの表面に対して被写体２とは異なる距離にある異物に起因するノイズを含んでいる。
【０２０５】
次に、ステップＳ４４において、画素の座標を指定するための変数ｊおよびｋの初期化を行う。ｊおよびｋは、整数値をとる変数であり、ここではｊおよびｋにそれぞれ１を代入する。
【０２０６】
次に、ステップＳ４６において、高分解能画像における画素ブロックにフィルタを適用することにより、Ｍｘａ、ｍｎａ、Ｍｘｂおよびｍｎｂを算出する。例えば、３行３列の画素ブロックに、上述のフィルタＦａおよびＦｂを適用する。
【０２０７】
次に、ステップＳ４８において、Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立するか否かを判定する。Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立する場合には、処理がステップＳ４９に進められる。Ｍｘｂ＜ｍｎａおよびＭｘａ＜ｍｎｂのいずれも成立しない場合は、ステップＳ４９がスキップされ、処理がステップＳ５２に進められる。
【０２０８】
Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立する場合、画素ブロックの角部に位置する４つの画素が、ノイズを含む画素であると判断できるので、ステップＳ４９において、ノイズを含む画素の座標値に関する情報を例えばメモリ１６０に保存する。例えば、このときのｊおよびｋの値をメモリ１６０に保存する。
【０２０９】
次に、ステップＳ５２において変数ｊをインクリメントし、ステップＳ５４において、ｊ＞（Ｊ−２）であるか否かの判定を行う。ここで、Ｊは、高分解能画像に含まれる画素の行の数である。ｊ≦（Ｊ−２）であれば、処理がステップＳ４６に戻される。ｊ＞（Ｊ−２）であれば、処理はステップＳ５６に進められ、ｊに１が代入されるとともにｋがインクリメントされる。その後、ステップＳ５８において、ｋ＞（Ｋ−２）であるか否かの判定を行う。ここで、Ｋは、高分解能画像に含まれる画素の列の数である。ｋ≦（Ｋ−２）であれば、処理がステップＳ４６に戻される。すなわち、高分解能画像中の画素ブロックの全てについて、ノイズを含む画素の検出の処理が実行される。ｋ＞（Ｋ−２）であれば、処理はステップＳ５１に進められる。
【０２１０】
ステップＳ５１において、ノイズを含む画素の画素値を、ノイズを含まない画素の画素値から算出される画素値に置き換える。ノイズを含む画素の位置は、メモリ１６０に格納されたｊおよびｋの値から判定できる。ここでは、ノイズを含む画素の画素値Ｖp,qを、上述の式（１）によって求められる画素値Ｖ’p,qに一括して置き換える。その後、処理はステップＳ３８に進められ、ノイズ除去後の高分解能画像が、必要に応じて外部装置などに出力される。
【０２１１】
図２４Ｂは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせの他の一例を示すフローチャートである。図２４Ｂに示す例では、ノイズ除去処理に、上述の第２の例を適用する。以下では、図２４Ａを参照して説明した処理と共通のステップの説明は繰り返さない。
【０２１２】
図２４Ｂに示す例では、ステップＳ４８において、Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立すると判定されると、処理がステップＳ６０に進められる。ステップＳ６０において、座標値が(ｊ，ｋ)、(ｊ＋２，ｋ)、(ｊ，ｋ＋２)および(ｊ＋２，ｋ＋２)の４つの画素の画素値が他の画素値に置き換えられる。この例では、ノイズを含む画素の画素値を、ノイズを含む画素の近傍の画素の画素値を用いて算出される画素値で置き換える。例えば座標値が(ｊ，ｋ)の画素については、その画素の画素値を、その画素の４近傍の画素の画素値の平均に置き換える。言い換えれば、上述の式（２）によって求められる画素値に置き換える。なお、画素ブロックが高分解能画像における周縁部に位置するために、ノイズを含む画素の４近傍の画素のいくつかが得られない場合には、欠落した画素の画素値として例えば０を用いればよい。
【０２１３】
その後、処理がステップＳ５２に進められ、高分解能画像中の画素ブロックの全てについて、ノイズを含む画素の検出および置き換えの処理が実行される。ステップＳ５８においてｋ＞（Ｋ−２）と判定されると、処理がステップＳ３８に進められ、一連の処理が終了する。
【０２１４】
図２４Ｃは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせのさらに他の一例を示すフローチャートである。図２４Ｃに示す例では、ノイズ除去処理に、上述の第３の例を適用する。ここでは、簡単のため、高分解能画像を構成する複数のサブ画像に加えて、ノイズを含む画素の置き換えに用いるためのサブ画像が既に取得されている場合を例にとって説明する。ノイズを含む画素の置き換えに用いるためのサブ画像は、例えばメモリ１６０（図１１参照）に一時的に保存されている。ノイズを含む画素の置き換えに用いるためのサブ画像の枚数は１枚に限定されず、複数枚であり得る。
【０２１５】
図２４Ｃに示す例では、ステップＳ４８において、Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立すると判定されると、処理がステップＳ５０に進められる。ステップＳ５０において、座標値が(ｊ，ｋ)、(ｊ＋２，ｋ)、(ｊ，ｋ＋２)および(ｊ＋２，ｋ＋２)の４つの画素の画素値が他の画素値に置き換えられる。ここでは、ノイズを含むこれらの画素を、被写体の所定の領域の像を示す、ノイズを含まない画素に置き換える。ノイズを含まない画素は、高分解能画像を構成しているサブ画像の取得時とは異なる照射方向から照明光が照射された場合に取得される画像に含まれる画素である。
【０２１６】
以降の処理は、図２４Ｂに示す例と同様である。すなわち、高分解能画像中の画素ブロックの全てについて、ノイズを含む画素の検出および置き換えの処理が実行される。
【０２１７】
図２４Ｄは、フィルタを利用したノイズ検出処理とノイズ除去処理との組み合わせのさらに他の一例を示すフローチャートである。図２４Ｄに示す例では、ノイズ除去処理に、上述の第４の例を適用する。
【０２１８】
図２４Ｄに示す例では、ステップＳ４８において、Ｍｘｂ＜ｍｎａまたはＭｘａ＜ｍｎｂが成立すると判定されると、処理がステップＳ７０に進められる。ステップＳ７０において、座標値が(ｊ，ｋ)、(ｊ＋２，ｋ)、(ｊ，ｋ＋２)および(ｊ＋２，ｋ＋２)の４つの画素の画素値が他の画素値に置き換えられる。この例では、ノイズを含む画素の画素値を、補正された画素値に置き換える。具体的には、ノイズを含む画素の画素値に、異物の像および被写体の像のいずれも含まない画素の画素値と、異物の像を含み、かつ、被写体の像を含まない画素の画素値との差ｄを加算する。差ｄは、高分解能画像の形成のステップＳ４２の前または後にあらかじめ求めておけばよい。ステップＳ７０に続く処理は、図２４Ｂおよび図２４Ｃに示す例と同様である。
【０２１９】
＜モジュールに用いられるイメージセンサ＞
なお、本開示の実施形態において、イメージセンサ４は、ＣＣＤイメージセンサに限定されず、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ、または、その他のイメージセンサ（一例として、後述する光電変換膜積層型イメージセンサ）であってもよい。ＣＣＤイメージセンサおよびＣＭＯＳイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードまたは光電変換膜に入射する光の関係を説明する。
【０２２０】
図２５は、ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図２５に示すように、ＣＣＤイメージセンサは、概略的には、基板８０と、基板８０上の絶縁層８２と、絶縁層８２内に配置された配線８４とを有している。基板８０には、複数のフォトダイオード８８が形成されている。配線８４上には、遮光層（図２５において不図示）が形成される。ここでは、トランジスタなどの図示は省略している。以下の図面においてもトランジスタなどの図示を省略する。なお、概略的には、表面照射型ＣＭＯＳイメージセンサにおけるフォトダイオード近傍の断面構造は、ＣＣＤイメージセンサにおけるフォトダイオード近傍の断面構造とほぼ同様である。そのため、ここでは、表面照射型ＣＭＯＳイメージセンサの断面構造の図示および説明を省略する。
【０２２１】
図２５に示すように、照明光が撮像面の法線方向から入射する場合、被写体のうち、フォトダイオード８８の直上にある領域Ｒ１を透過した光は、フォトダイオード８８に入射する。一方、被写体のうち、配線８４上の遮光層の直上にある領域Ｒ２を透過した光は、イメージセンサの遮光領域（遮光膜が形成された領域）に入射する。したがって、撮像面の法線方向から照射した場合には、被写体のうち、フォトダイオード８８の直上にある領域Ｒ１を示す画像が得られる。
【０２２２】
遮光膜の直上にある領域を示す画像を取得するためには、領域Ｒ２を透過した光がフォトダイオード８８に入射するように、撮像面の法線方向に対して傾いた方向から照射を行えばよい。このとき、照射方向によっては、領域Ｒ２を透過した光のうちの一部が、配線８４によって遮られることがある。図示する例では、ハッチングによって示す部分を通る光線はフォトダイオード８８には届かない。そのため、斜め入射においては、画素値が幾分低下することがある。しかしながら、透過光の全てが遮られるわけではないので、このときに得られたサブ画像を用いた高分解能画像の形成は可能である。
【０２２３】
図２６および図２７は、裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図２６に示すように、裏面照射型ＣＭＯＳイメージセンサでは、斜め入射の場合であっても透過光が配線８４によって遮られることがない。ただし、被写体のうち、撮像を行いたい領域とは異なる他の領域を透過した光（図２６および後述する図２７中、太い矢印ＢＡで模式的に示す光）が基板８０に入射することによってノイズが発生し、サブ画像の品質が劣化するおそれがある。このような劣化は、図２７に示すように、基板においてフォトダイオードが形成された領域以外の領域上に遮光層９０を形成することにより低減することが可能である。
【０２２４】
図２８は、有機材料または無機材料で形成した光電変換膜を備えるイメージセンサ（以下、「光電変換膜積層型イメージセンサ」と呼ぶ。）の断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。
【０２２５】
図２８に示すように、光電変換膜積層型イメージセンサは、概略的には、基板８０と、複数の画素電極が設けられた絶縁層８２と、絶縁層８２上の光電変換膜９４と、光電変換膜９４上の透明電極９６とを有している。図示するように、光電変換膜積層型イメージセンサでは、半導体基板に形成されるフォトダイオードの代わりに、光電変換を行う光電変換膜９４が基板８０（例えば半導体基板）上に形成されている。光電変換膜９４および透明電極９６は、典型的には、撮像面の全体にわたって形成される。ここでは、光電変換膜９４を保護する保護膜の図示を省略している。
【０２２６】
光電変換膜積層型イメージセンサでは、光電変換膜９４における入射光の光電変換によって発生した電荷（電子または正孔）が画素電極９２によって集められる。これにより、光電変換膜９４に入射した光の量を示す値が得られる。したがって、光電変換膜積層型イメージセンサでは、撮像面において、１つの画素電極９２を含む単位領域が１つの単位画素セルに相当するといえる。光電変換膜積層型イメージセンサでは、裏面照射型ＣＭＯＳイメージセンサと同様に斜め入射の場合であっても透過光が配線によって遮られることがない。
【０２２７】
図１Ａ〜図６を参照して説明したように、高分解能画像の形成においては、被写体の異なる部分から構成される像を示す複数のサブ画像が用いられる。ところが、典型的な光電変換膜積層型イメージセンサでは、撮像面の全体にわたって光電変換膜９４が形成されているので、例えば垂直入射の場合であっても、被写体の所望の領域以外の領域を透過した光によっても光電変換膜９４において光電変換が生じ得る。このときに発生した余分な電子または正孔が画素電極９２に引き込まれると、適切なサブ画像が得られないおそれがある。したがって、画素電極９２と透明電極９６とが重なる領域（図２８において網掛けされた領域）において発生した電荷を画素電極９２に選択的に引き込むことが有益である。
【０２２８】
図２８に例示する構成では、画素電極９２のそれぞれと対応して、画素内にダミー電極９８が設けられている。被写体の像の取得時、画素電極９２とダミー電極９８との間には、適切な電位差が与えられる。これにより、画素電極９２と透明電極９６とが重なる領域以外の領域で発生した電荷をダミー電極９８に引き込み、画素電極９２と透明電極９６とが重なる領域で発生した電荷を選択的に画素電極９２に引き込むことができる。なお、透明電極９６または光電変換膜９４のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、光電変換膜９４のうち、画素電極９２との重なり有する領域（図２８において網掛けされた領域）が、ＣＣＤイメージセンサおよびＣＭＯＳイメージセンサにおけるフォトダイオード（光電変換部）に相当するといえる。したがって、単位画素セルの面積Ｓ１に対する画素電極９２の面積Ｓ３の比率（Ｓ３／Ｓ１）が、「開口率」に相当する。
【０２２９】
既に説明したように、Ｎを２以上の整数とするとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高分解能化が可能になる。言い換えれば、開口率が小さい方が高分解能化には有利である。光電変換膜積層型イメージセンサでは、画素電極９２の面積Ｓ３を調整することによって、開口率に相当する比率（Ｓ３／Ｓ１）を調整することが可能である。この比率（Ｓ３／Ｓ１）は、例えば１０％〜５０％の範囲に設定される。比率（Ｓ３／Ｓ１）が上記の範囲内にある光電変換膜積層型イメージセンサは、超解像に用いられ得る。
【０２３０】
なお、図２５および図２７からわかるように、ＣＣＤイメージセンサおよび裏面照射型ＣＭＯＳイメージセンサにおいて被写体と対向する表面は平坦ではない。例えば、ＣＣＤイメージセンサでは、その表面に段差が存在する。また、裏面照射型ＣＭＯＳイメージセンサでは、高分解能画像を形成するためのサブ画像を取得するには、パターニングされた遮光層を撮像面上に設けることが必要であり、被写体と対向する表面は平坦ではない。
【０２３１】
これに対し、光電変換膜積層型イメージセンサの撮像面は、図２８からわかるように、ほぼ平坦な面である。したがって、撮像面上に被写体を配置した場合であっても、撮像面の形状に起因する被写体の変形がほとんど生じない。言い換えれば、光電変換膜積層型イメージセンサを用いてサブ画像を取得することによって、被写体のより詳細な構造を観察し得る。
【０２３２】
本明細書において説明される上述の種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。
【産業上の利用可能性】
【０２３３】
本開示の実施形態によれば、光電変換部の表面に対して被写体とは異なる距離にある異物に起因するノイズを検出および除去することが可能である。本開示の技術は、高分解能画像の形成において特に有用である。本開示の実施形態によれば、イメージセンサの固有分解能を超える分解能を実現する高分解能化技術の実用性が向上し得る。高分解能画像は、例えば病理診断の場面において有益な情報を提供する。
【符号の説明】
【０２３４】
２    被写体
７    センサユニット
８    透明プレート
１０    モジュール
３０ａ    照明システム
３１    光源
３２    ステージ
３３    ステージ駆動機構
１００    画像取得装置
１４０    画像形成装置
１５０    画像処理装置
１０００    画像形成システム
【図１Ａ】
2016067508.tif 000003
【図１Ｂ】
2016067508.tif 000004
【図２Ａ】
2016067508.tif 000005
【図２Ｂ】
2016067508.tif 000006
【図２Ｃ】
2016067508.tif 000007
【図３Ａ】
2016067508.tif 000008
【図３Ｂ】
2016067508.tif 000009
【図３Ｃ】
2016067508.tif 000010
【図４Ａ】
2016067508.tif 000011
【図４Ｂ】
2016067508.tif 000012
【図４Ｃ】
2016067508.tif 000013
【図５Ａ】
2016067508.tif 000014
【図５Ｂ】
2016067508.tif 000015
【図６】
2016067508.tif 000016
【図７Ａ】
2016067508.tif 000017
【図７Ｂ】
2016067508.tif 000018
【図８Ａ】
2016067508.tif 000019
【図８Ｂ】
2016067508.tif 000020
【図９】
2016067508.tif 000021
【図１０Ａ】
2016067508.tif 000022
【図１０Ｂ】
2016067508.tif 000023
【図１１】
2016067508.tif 000024
【図１２Ａ】
2016067508.tif 000025
【図１２Ｂ】
2016067508.tif 000026
【図１２Ｃ】
2016067508.tif 000027
【図１３Ａ】
2016067508.tif 000028
【図１３Ｂ】
2016067508.tif 000029
【図１４Ａ】
2016067508.tif 000030
【図１４Ｂ】
2016067508.tif 000031
【図１４Ｃ】
2016067508.tif 000032
【図１５Ａ】
2016067508.tif 000033
【図１５Ｂ】
2016067508.tif 000034
【図１６】
2016067508.tif 000035
【図１７Ａ】
2016067508.tif 000036
【図１７Ｂ】
2016067508.tif 000037
【図１７Ｃ】
2016067508.tif 000038
【図１７Ｄ】
2016067508.tif 000039
【図１８Ａ】
2016067508.tif 000040
【図１８Ｂ】
2016067508.tif 000041
【図１９Ａ】
2016067508.tif 000042
【図１９Ｂ】
2016067508.tif 000043
【図２０Ａ】
2016067508.tif 000044
【図２０Ｂ】
2016067508.tif 000045
【図２１】
2016067508.tif 000046
【図２２】
2016067508.tif 000047
【図２３Ａ】
2016067508.tif 000048
【図２３Ｂ】
2016067508.tif 000049
【図２３Ｃ】
2016067508.tif 000050
【図２４Ａ】
2016067508.tif 000051
【図２４Ｂ】
2016067508.tif 000052
【図２４Ｃ】
2016067508.tif 000053
【図２４Ｄ】
2016067508.tif 000054
【図２５】
2016067508.tif 000055
【図２６】
2016067508.tif 000056
【図２７】
2016067508.tif 000057
【図２８】
2016067508.tif 000058
【国際調査報告】
2016067508.tif 000059
2016067508.tif 000060
2016067508.tif 000061
2016067508.tif 000062