(57)【要約】【課題】  高感度の撮影であっても、撮像素子を強力に冷却することなしに、撮像素子の画素欠陥の影響の抑制された適切な画像を得る。【解決手段】  補間方法算出部６４は、画像メモリ４６に格納されているデータで表されている画像であって撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素が隣接して形成している形状に基づいて、当該画素欠陥の補正方法を決定する。補間算出部７４は、当該決定に係る補正方法に従い、当該撮像素子によって撮像された画像に対して当該撮像素子の画素欠陥の補正を施す。【選択図】      図３
2005311733.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素が隣接して形成している形状に基づいて、前記画素欠陥の補正方法を決定する補正方法決定手段と、
前記決定に係る補正方法に従い、前記撮像素子によって撮像された画像に対して当該撮像素子の画素欠陥の補正を施す補正手段と、
を有することを特徴とする画像補正装置。
【請求項２】
前記撮像素子の画素欠陥に関する情報である欠陥情報を記憶する記憶手段を更に有し、
前記補正方法決定手段は、前記欠陥情報より画素欠陥を有する前記画素の位置を取得する、
ことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
画素欠陥を有する前記画素の隣接は、前記撮像素子のブルーミング現象に起因して生じていることを特徴とする請求項１に記載の画像補正装置。
【請求項４】
前記撮像素子の画素欠陥を検出して前記欠陥情報を生成する欠陥検出手段を更に有することを特徴とする請求項１に記載の画像補正装置。
【請求項５】
前記補正方法決定手段による決定は、画素欠陥を有する画素の輝度補間値を算出するための基礎とする輝度値を得る画素の選択であることを特徴とする請求項１に記載の画像補正装置。
【請求項６】
前記撮像素子の画素欠陥に関する情報である欠陥情報を、当該撮像素子による画像撮像時における当該撮像素子の動作温度及び露出時間のうちの少なくともいずれか一方に基づいて生成する欠陥情報生成手段を更に有し、
前記補正方法決定手段は、前記欠陥情報より画素欠陥を有する前記画素の位置を取得する、
ことを特徴とする請求項１に記載の画像補正装置。
【請求項７】
前記欠陥情報より取得された画素欠陥を有する前記画素の位置が別個の当該画素において重複している場合には、前記補正方法決定手段は、当該重複を解消した上で前記形状に基づいて前記補正方法を決定することを特徴とする請求項２または６に記載の画像補正装置。
【請求項８】
前記撮像素子は、ベイヤ配列を利用したカラー画像の撮像を行い、
前記補正決定手段は、前記撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素であって同色の成分であるものが隣接して形成している形状に基づいて、前記画素欠陥の補正方法を決定する、
ことを特徴とする請求項１に記載の画像補正装置。
【請求項９】
前記補正方法決定手段による決定は、画素欠陥を有する画素の輝度補間値を算出するための基礎とする輝度値を得る同色の成分の画素の選択であることを特徴とする請求項８に記載の画像補正装置。
【請求項１０】
前記撮像素子の暗時信号から当該撮像素子の画素欠陥を検出して当該画素欠陥に関する情報である欠陥情報を生成する欠陥検出手段を更に有し、
前記補正方法決定手段は、前記欠陥情報より画素欠陥を有する前記画素の位置を取得する、
ことを特徴とする請求項１に記載の画像補正装置。
【請求項１１】
前記暗時信号は、前記撮像素子で撮像される画像に含まれるノイズを低減させるノイズリダクションにおいて当該撮像素子の明時信号からの減算処理をするために取得される信号であることを特徴とする請求項１０に記載の画像補正装置。
【請求項１２】
撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素が隣接して形成している形状に基づいて、前記画素欠陥の補正方法を決定し、
前記決定に係る補正方法に従い、前記撮像素子によって撮像された画像に対して当該撮像素子の画素欠陥の補正を施す、
ことを特徴とする画像補正方法。
【請求項１３】
撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素が隣接して形成している形状に基づいて、前記画素欠陥の補正方法を決定する処理と、
前記決定に係る補正方法に従い、前記撮像素子によって撮像された画像に対して当該撮像素子の画素欠陥の補正を施す処理と、
をコンピュータに行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理技術に関し、特に、顕微鏡用カメラなどに好適な高感度固体撮像装置によって撮像された画像の処理技術に関する。
【背景技術】
【０００２】
生体組織や細胞上でタンパクや遺伝子等に蛍光標識を施し、タンパク、遺伝子等の肉眼での観察や写真撮影を可能にした蛍光顕微鏡が広く知られている。特に、近年では蛍光を微弱にしか発しない物質を電子カメラで撮影して数値解析をすることが求められており、そのためにはより高感度な電子カメラが必要となってきている。
【０００３】
電子カメラは、ＣＣＤ（Charge Coupled device ）等の固体撮像素子が被写体像を光電変換することによって撮像画像信号を得る。
図１７は、ＣＣＤ撮像素子の素子構造の一例を示す平面図である。
同図に示すＣＣＤ撮像素子では受光素子としてフォトダイオード２０１がマトリクス状に配置されている。フォトダイオード２０１間には縦列方向に複数本の垂直転送路２０２が配置され、また垂直転送路２０２の端部には横列方向に１本の水平転送路２０３が配置されている。
【０００４】
フォトタイオード２０１に蓄積された信号電荷は電荷移送パルスＴＧに従って垂直転送路２０２に読み出され、垂直転送路２０２内を同図における下方向へ転送される。
垂直転送路２０２を転送された信号電荷は水平転送路２０３へと転送され、更に、この水平転送路２０３を同図における左方向へ転送され、その後、電荷検出器２０４を介して、最終的には読み出しアンプ２０５により出力される。
【０００５】
垂直転送路２０２は、通常の転送においは水平転送路２０３により読み出される１水平期間毎に１回電荷を転送するが、高速排出時には、連続動作させることによって垂直転送路２０２中の電荷を排出させる。
図１８に示す断面図には、ＣＣＤ撮像素子の素子構造の一例として、縦型オーバーフロードレイン構造のインターライン型ＣＣＤの構造が示されている。
【０００６】
同図において、ｎ型半導体基板３００は、接合の浅いＰウェルの第一領域３０１と接合の深いＰウェルの第二領域３０２とで形成されている。このうち、第一領域３０１の接合ｎ型領域が形成された領域部分はフォトダイオード、つまり光電変換領域（電荷蓄積部）３０３として機能する。
【０００７】
第二領域３０２には理込みチャネル３０４からなる垂直シフトレジスタ、すなわち転送電極３０５が形成され、その主面には絶縁層３０６を介して転送電極３０５が配置されている。理込みチャネル３０４及び光電変換領域３０３は高いｐ型不純物層からなるチャネルストップ領域３０７によって分離されており、光電変換領域３０３とそれに対応する埋込みチヤネル３０４との間にはトランスファーゲート（ＴＧ）領域３０８が配置されている。また、光電変換領域３０３以外の領域は金属層３０９によって遮光されている。
【０００８】
Ｎ型半導体基板３００とＰウェルである第一領域３０１及び第二領域３０２との接合には逆バイアス電圧である基板バイアス電圧ＶＳＵＢ３１１を印加して、光電変換領域３０３直下のＰウェルの第一領域３０１を完全に空乏化（空乏層化）することにより、ブルーミングの抑制がされる。なお、ブルーミンクとは、強い光が画素に入射した場合に、その画素が飽和して信号電荷があふれてしまうことにより隣接画素や信号線、垂直転送路等に入り込み、その画像の周囲にあたかも花が咲いたような白い部分が広がってしまう現象である。
【０００９】
このＣＣＤ撮像素子の感度を向上させるためには、フォトダイオードの光電変換効率の向上が最も有効な手段である。
フォトダイオードに入射した光はフォトダイオードにより光電変換されて信号電荷が生成される。ここで、短波長の光はフォトダイオード内での減衰が大きいので受光面（半導体基板表面）から比較的浅い部分で光電変換される。一方、長波長の光は減衰が少ないので、フォトダイオードの受光面から比較的深い部分まで到達し、その深い部分においても光電変換される。
【００１０】
図１９はフォトダイオードの受光面からの深さ方向におけるポテンシャルの変化をグラフで示したものである。同図中、縦軸がポテンシャルを表し、横軸が半導体基板表面からの深さを表している。
前述のように、光電変換は半導体基板の種々の深さで行われるが、図１９（ａ）に示すように、オーバーフローバリアＯＦＢより浅い部分で生成された信号電荷はフォトダイオードに蓄積され、蓄積されたこの信号電荷が垂直転送路へ移送されて転送されることになる。その一方、オーバーフローバリアＯＦＢより深い部分で生成された信号電荷は、フォトダイオードには蓄積されず、ｎ型半導体基板３００へと掃き出されてしまう。
【００１１】
従って、オーバーフローバリアＯＦＢをより深い位置に形成するようにすれば、それだけフォトダイオードにおける深い部分で生成される信号電荷の利用が促進されるので、全体として光電変換効率が向上し、結果としてＣＣＤ撮像装置の感度が向上する。
このオーバーフローバリアＯＦＢを深くするためには、前述した基板バイアス電圧ＶＳＵＢを低下させるという手法がある。基板バイアス電圧ＶＳＵＢを低下させると、ポテンシャルの曲線は例えば図１９（ａ）に示すものから図１９（ｂ）に示すものへと変化し、オーバーフローバリアＯＦＢが半導体基板のより深い位置に形成されるようになるので、ＣＣＤ撮像装置の感度が向上する。
【００１２】
ところで、例えば特許文献１にも開示されているように、昨今のＣＣＤ撮像素子は、光電変換や、信号電荷の蓄積、転送及び検出などを円滑に行うために、ＣＣＤ撮像素子の内部で半導体基板のバイアス用の電圧（以下、「基板内部電圧」とも称することとする）が供給されている。
【００１３】
図２０はこの種の固体撮像装置および基板バイアス発生回路の構成例を示している。
基板バイアス発生回路２００は電圧分割用の抵抗Ｒ１及びＲ２を有している。抵抗Ｒ１の一端は電源線ＶＣＣに接続され、その他端は抵抗Ｒ２の一端に接続されている。また、抵抗Ｒ２の他端は接地線ＧＮＤに接続されている。
【００１４】
抵抗Ｒ１及びＲ２の直列接続点にはトランジスタＴＲ１のベースが接続されており、これらによって内部ＶＳＵＢ電圧発生回路２０６を構成している。基板内部電圧ＶＳＵＢはこのトランジスタＴＲ１のエミッタから引き出されており、前述したフォトダイオード、垂直転送路、水平転送路２０３、電荷検出部２０４などを配置した半導体基板へ供給される。
【００１５】
また、電圧分割用の抵抗Ｒ１及びＲ２の直列接続点には基板バイアス端子ＣＳＵＢも設けられている。基板バイアス端子ＣＳＵＢには外付け用の抵抗Ｒ３を介してトランジスタＴＲ２のコレクタが接続されている。トランジスタＴＲ２のエミッタは接地線ＧＮＤに接続されており、ベースには電流制限用の抵抗Ｒ４を介して端子ＶＳＵＢＣｏｎｔが設けられている。
【００１６】
ここで、端子ＶＳＵＢＣｏｎｔの電位をＨとしてトランジスタＴＲ２をオンにすると、それまで抵抗Ｒ２を流れていた電流の一部が抵抗Ｒ３を流れるようになり、その結果として基板バイアス端子ＣＳＵＢの電位が低下する。すると、基板内部電圧ＶＳＵＢも低下するので前述したようにオーバーフローバリアＯＦＢが半導体基板のより深い位置に形成されるようになり、ＣＣＤ撮像素子の感度が向上する。
【００１７】
また、従来の電子カメラでは、ＣＣＤの製造過程中における種々の要因により発生する白点キズ等の欠陥の位置情報をカメラ内に配殺されるＲＯＭ等記憶部に記憶させておき、その位置情報を必要に応じて随時参照することによってその欠陥の位置を確認できるようにしている。そして、このような白点キズ等の欠陥に起因する固定パターンノイズ（以下、「白点ノイズ」又は「画素欠陥」などとも称することとする）に対し、図２１に示すように、画像欠陥を生じさせる画素（以下、欠陥画素という）の信号Ｂに隣接した垂直方向の正常画素の信号Ｃ１、Ｃ３、あるいは水平方向の正常画素の信号Ｃ２、Ｃ４などで置き換えて画素欠陥を補正する画像補間処理が施されるのが一般的である（例えば、特許文献２参照。）。
【００１８】
この画素欠陥には、暗電流（半導体基板のバイアス用の電圧の印加によって流れる電流）に起因する露光時間（露出時間）や、温度に依存性のある白点ノイズが多く含まれることが知られている。図２２（ａ）に例示するように、白点ノイズの出力信号は露光時間が長くなるほど増大する傾向にある。また、図２２（ｂ）に例示するように、白点ノイズの出力信号はＣＣＤの温度が高くなるほど増大する傾向にある。
【００１９】
この他、北極圏や南極圏を空路でカメラを搬送した場合に、宇宙線の影響により新たに画素欠陥の発生する場合のあることが知られており、例えば特許文献３には、このような後発的に発生する画素欠陥を補正するために、新たに生じた撮像素子の画素欠陥を点検してこれを補正する技術が開示されている。
【特許文献１】特開２０００−２２１２６号公報
【特許文献２】特開２００３−３４８６０７号公報
【特許文献３】特開２００２−１２５１５４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
前述したように、基板内部電圧ＶＳＵＢを低下させるとオーバーフローバリアＯＦＢが半導体基板のより深い位置に形成されるようになってフォトダイオードの光電変換効率は向上する。しかしながら、図１９（ｂ）を参照すると分かるように、基板内部電圧ＶＳＵＢを低下させるとポテンシャルが高くなるのでフォトダイオードにおける信号電荷の蓄積容量が増大する。ここで、被写体が明るい場合を想定すると、多量の信号電荷がフォトダイオードに蓄積するため、余剰電荷が半導体基板に掃き捨てきれなくなってしまい、その結果として前述したブルーミングが発生し易くなってしまう。
【００２１】
蛍光顕微鏡での撮影は微弱光を対象とするので、多くの場合でこのようなブルーミング現象が問題となることはない。しかし、暗電流に起因する露光時間や温度に依存性のある白点ノイズがある場合には白点ノイズの増大によりブルーミング現象が発生してしまい、従来の４点の隣接画素に基づいた補間の手法では補正できないことがある。
【００２２】
ここで、図２２（ｂ）から明らかなように、ＣＣＤの温度が低くなるほど白点ノイズの出力信号は低減する傾向にある。白点ノイズが低減すればブルーミング現象を防止することが可能である。
ＣＣＤの温度を低くするためにはＣＣＤ撮像素子を冷却することが有効な手段である。しかし、ベルチェ素子などの冷却素子を冷却のためにカメラに追加することはコストの上昇を招いてしまう。
【００２３】
また、白点ノイズがブルーミング現象を完全に引き起こさなくするためには、露光時間を長くして使用することを考慮すると、−３０℃程度にまで強力に冷却する必要があるのだが、このような冷却においては結露防止の密閉構造等が必要となるため、カメラが更に高価なものとなってしまう。
【００２４】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、高感度の撮影であっても、撮像素子を強力に冷却することなしに、撮像素子の画素欠陥の影響の抑制された適切な画像を得ることである。
【課題を解決するための手段】
【００２５】
本発明の態様のひとつである画像補正装置は、撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素が隣接して形成している形状に基づいて、当該画素欠陥の補正方法を決定する補正方法決定手段と、当該決定に係る補正方法に従い、当該撮像素子によって撮像された画像に対して当該撮像素子の画素欠陥の補正を施す補正手段と、を有することを特徴とするものであり、この特徴によって前述した課題が解決される。
【００２６】
なお、上述した本発明に係る画像補正装置において、当該撮像素子の画素欠陥に関する情報である欠陥情報を記憶する記憶手段を更に有し、当該補正方法決定手段は、当該欠陥情報より画素欠陥を有する当該画素の位置を取得するようにしてもよい。
また、前述した本発明に係る画像補正装置において、画素欠陥を有する当該画素の隣接は、当該撮像素子のブルーミング現象に起因して生じているものであってもよい。
【００２７】
また、前述した本発明に係る画像補正装置において、当該撮像素子の画素欠陥を検出して当該欠陥情報を生成する欠陥検出手段を更に有するようにしてもよい。
また、前述した本発明に係る画像補正装置において、当該補正方法決定手段による決定は、画素欠陥を有する画素の輝度補間値を算出するための基礎とする輝度値を得る画素の選択であるものであってもよい。
【００２８】
また、前述した本発明に係る画像補正装置において、当該撮像素子の画素欠陥に関する情報である欠陥情報を、当該撮像素子による画像撮像時における当該撮像素子の動作温度及び露出時間のうちの少なくともいずれか一方に基づいて生成する欠陥情報生成手段を更に有し、当該補正方法決定手段は、当該欠陥情報より画素欠陥を有する当該画素の位置を取得するようにしてもよい。
【００２９】
なお、このとき、当該欠陥情報より取得された画素欠陥を有する当該画素の位置が別個の当該画素において重複している場合には、当該補正方法決定手段は、当該重複を解消した上で当該形状に基づいて当該補正方法を決定するようにしてもよい。
また、前述した本発明に係る画像補正装置において、当該撮像素子は、ベイヤ配列を利用したカラー画像の撮像を行い、当該補正決定手段は、当該撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素であって同色の成分であるものが隣接して形成している形状に基づいて、当該画素欠陥の補正方法を決定するようにしてもよい。
【００３０】
また、前述した本発明に係る画像補正装置において、当該補正方法決定手段による決定は、画素欠陥を有する画素の輝度補間値を算出するための基礎とする輝度値を得る同色の成分の画素の選択であるようにしてもよい。
また、前述した本発明に係る画像補正装置において、当該撮像素子の暗時信号から当該撮像素子の画素欠陥を検出して当該画素欠陥に関する情報である欠陥情報を生成する欠陥検出手段を更に有し、当該補正方法決定手段は、当該欠陥情報より画素欠陥を有する当該画素の位置を取得するようにしてもよい。
【００３１】
なお、このとき、当該暗時信号は、当該撮像素子で撮像される画像に含まれるノイズを低減させるノイズリダクションにおいて当該撮像素子の明時信号からの減算処理をするために取得される信号であってもよい。
本発明の別の態様のひとつである画像補正方法は、撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素が隣接して形成している形状に基づいて、当該画素欠陥の補正方法を決定し、当該決定に係る補正方法に従い、当該撮像素子によって撮像された画像に対して当該撮像素子の画素欠陥の補正を施す、ことを特徴とするとするものであり、この特徴によって前述した課題が解決される。
【００３２】
なお、撮像素子によって撮像される画像を構成する画素のうち画素欠陥の生じる複数の画素が隣接して形成している形状に基づいて、当該画素欠陥の補正方法を決定する処理と、当該決定に係る補正方法に従い、当該撮像素子によって撮像された画像に対して当該撮像素子の画素欠陥の補正を施す処理と、をコンピュータに行わせるためのプログラムも本発明に係るものであり、このプログラムをコンピュータで実行させることによって前述した課題が解決される。
【発明の効果】
【００３３】
本発明は、以上のような特徴を有することにより、高感度の撮影であっても、撮像素子を強力に冷却することなしに、適切な画像を得ることができるようになるという効果を奏する。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明を実施する顕微鏡システムの構成を示している。この顕微鏡システムは主に蛍光観察を行うための構成を示している。
図１に示す顕微鏡システムには、照明系として落射照明光学系１２が備えられている。落射照明光学系１２には、落射照明用光源２１が備えられている。落射照明光学系１２と観察光路Ｓとの交わる位置にはダイクロイックミラー３２が配置されている。
【００３５】
観察光路Ｓ上には、観察の対象となる標本を載せる試料ステージ２６、複数装着されている対物レンズ２７のうちの一つを回転動作で選択して観察光路Ｓ上に位置させるためのレボルバ２８、観察光路Ｓ上のダイクロイックミラー３２を切り換えるためのキューブユニット３０、及び、観察光路Ｓを観察光路Ｓ’と観察光路Ｓ”とに分岐するビームスプリッタ３１が配置されている。なお、ビームスプリッタ３１は、三眼鏡筒ユニット５内に配置されている。
【００３６】
ビームスプリッタ３１で手前に折り曲げられた観察光路Ｓ’上には、接眼レンズ６ａを有する接眼レンズユニット６が配置されている。一方、ビームスプリッタ３１を透過した観察光路Ｓ”上には、結像レンズユニット１００及び電子カメラ３６が顕微鏡本体１に据え付けられて配置されている。電子カメラ３６内には撮像素子４２が配置されており、対物レンズ２７からの光像は、結像レンズユニット１００内の結像レンズ１００ａによって撮像素子４２の撮像面に結像する。
【００３７】
レボルバ２８、キューブユニット３０、及びビームスプリッタ３１はそれぞれ電動化されており、顕微鏡駆動回路３７からの各駆動信号に従い、不図示の各モータによって駆動される。
顕微鏡コントロール部４１はこの顕微鏡システム全体の動作を制御するものであり、落射照明用光源２１、顕微鏡駆動回路３７、及び電子カメラ３６が接続されている。顕微鏡コントロール部４１は、電子カメラ３６での撮像条件等を決定するＣＰＵ６０（後述）に従い、落射照明用光源２１の調光を行うと共に、顕微鏡駆動回路３７に対して制御指示を行う。更に、顕微鏡コントロール部４１は、落射照明用光源２１に対する制御状態、顕微鏡駆動回路３７に対する制御状態を電子カメラ３６ヘフィードバックする。
【００３８】
図２は、図１に示した顕微鏡システムに用いられる電子カメラ３６の構成を示すブロック図である。この電子カメラ３６には、顕微鏡コントロール部４１を制御するＣＰＵ（Central Processing Unit ：中央演算装置）６０が備えられている。また、電子カメラ３６に備えられている撮像素子４２はカラー画像あるいは白黒画像を撮像するものであり、観察光路Ｓ”上に配置されている。
【００３９】
ＣＣＤ等の固体撮像素子（以下、単に「ＣＣＤ」と称することとする）４２は、図１に示した顕微鏡システムにより拡大される標本３の観察像を撮像して光電変換する。
ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路４３は、ＣＣＤ４２の出力信号から画像信号成分を抽出する。
【００４０】
増幅器（ＡＭＰ）４４は、ＣＤＳ回路４３の出力信号レベルを所定の値に調整するためのＡＧＣ（Automatic Gain Control：自動利得制御）回路等を含む信号レベル制御手段である。
Ａ／Ｄ変換器４５は、ＡＭＰ４４から出力されるアナログ信号をデジタル信号へと変換する。なお、本実施形態においては、ＣＣＤ４２で撮像された画像における各画素の輝度値を４０９６階調（１２ｂｉｔ）で表現するものとする。
【００４１】
画像メモリ４６はＡ／Ｄ変換器４５から出力されるデジタル信号を記憶する。
メモリコントローラ５５は画像メモリ４６を制御する。
遮光もれ検出回路５２は、画像メモリ４６から読み出された画像信号に基づいてＣＣＤ４２の遮光状態を確認する。
【００４２】
欠陥検出回路６２はＣＣＤ４２に存在する欠陥画素の検出を行う。
欠陥メモリ６３は、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read only Memory）等からなり、ＣＣＤ４２に存在する欠陥画素のアドレスなどの欠陥情報が予め記憶される。
【００４３】
欠陥補正回路６４はＣＣＤ４２に存在する欠陥画素の影響を受けている画像信号を補正する。
画像信号処理回路５１は、欠陥補正回路６４により欠陥補正された画像信号に対してγ補正やエッジ強調等の画像処理を施す。
【００４４】
液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）５９は、画像信号を表示可能な形態に処理する信号処理回路を含み、画像信号で表現されている画像を表示する表示手段である。
ＤＲＡＭ（Dynamic Random Access memory）５６は、画像信号を一時的に記憶するメモリ等からなるカメラ内蔵記憶手段である。
【００４５】
圧縮伸張回路５７は、画像信号に対して圧縮処理及び伸張処理を施す。
記録媒体５８は例えばメモリカードであり、画像信号を保存する。
操作部６１は、撮影時にＡＦ（Auto Focus：自動合焦）動作を開始させると共に、露光動作を開始させるトリガー信号を発生させ得るトリガースイッチ、キューブユニット３０の回転動作スイッチ等からなる複数のスイッチである。
【００４６】
温度センサ４７は、ＣＣＤ４２の温度状態を検出する温度検出手段である。
タイミングジェネレータ（ＴＧ）５３は、ＣＣＤ４２の駆動パルス等の同期信号を発生させる。
シグナルジェネレータ（ＳＧ）５４は、ＴＧ５３へ同期信号を供給する。
【００４７】
ＳＵＢパルス重畳回路４９は、ＣＣＤ４２の内部電圧にクランプされたＳＵＢパルスをＣＣＤ４２へ入力させる回路であり、例えば図２０に示した回路である。
ＣＣＤＳＵＢ電圧切り換え回路４８は、基板内部電圧ＶＳＵＢの切り替えを行う回路であり、例えば図２０に示した回路である。
【００４８】
以上の電子カメラ３６の各構成要素は、制御手段であるＣＰＵ６０に電気的に接続されており、図１に示した顕微鏡システム全体はこのＣＰＵ６０によって統括的に制御されている。ここで、特に、ＣＣＤ４２は、ＳＵＢ電圧重畳回路４９等からの出力によって制御される電子シャッタ機能（手段）を有しており、これにより露光時間の制御を行うことができる。
【００４９】
次に、このような構成を有する顕微鏡システムの動作を説明する。なお、ここでは撮影時に行われる動作のうち、本発明に関わる部分のみを説明する。
前述したように、図１における顕微鏡システムでは、ＣＰＵ６０が全ての制御を統括的に行っている。
【００５０】
蛍光観察法では、落射照明光学系１２より発せられた光がキューブユニット３０内の蛍光キューブにより分光され、対物レンズ２７を通って縮小されて標本３を照射する。標本３はこの照射された光によって微弱な蛍光を生じ、この蛍光が対物レンズ２７を通って拡大されキューブユニット３０内の蛍光キューブによって前述の分光とは異なる波長で分光され、ＣＣＤ４２を照射する。
【００５１】
ＣＣＤ４２ではＴＧ５３による駆動制御の下で露光（電荷蓄積）及び信号の読み出しがされる。読み出された信号からＣＤＳ回路４３によって画像信号成分が抽出され、ＡＭＰ４４において出力信号が所定のレベルに調整され、Ａ／Ｄ変換器４５によってデジタル信号に変換される。このデジタル信号に変換された画像信号は、画像メモリ４６に一時的に記憶される。
【００５２】
画像メモリ４６に記憶された画像信号は欠陥補正回路６４に入力され、ＣＣＤ４２に存在する欠陥画素のアドレスが記憶されている欠陥メモリ６３の記憶内容に基づいて欠陥画素に相当する部分が補正される。
欠陥補正回路６４で欠陥画素が補正された画像信号は、画像信号処理回路５１によってγ補正、エッジ強調等の画像処理が施された後、ＬＣＤ５９へ入力され、標本３の蛍光画像の再生表示処理がなされる。
【００５３】
以上が図１及び図２に構成を示した顕微鏡システムの撮影及び画像表示の動作である。
なお、ＣＣＤ４２の駆動制御は、ＴＧ５３から出力される各種駆動信号（垂直駆動パルス、水平駆動パルス、基板内部電圧ＶＳＵＢ等）によって行われ、ＣＣＤ４２としては、例えばインターライン型で縦型オーバーフロードレイン（ＶＯＦＤ）構造の撮像素子を用いる。
【００５４】
ＣＣＤ４２の平面図と断面構造については、図１７及び図１８に示したので省略する。ここで、前述したように、基板内部電圧ＶＳＵＢは光電変換素子であるフォトダイオード（ＰＤ）の最大電荷蓄積レベル（オーバーフローレベル：ＯＦＬ）を決定するための基板バイアス電圧であるが、このＶＳＵＢに大きな値のパルス（ＶＳＵＢパルス）を重畳すると、各ＰＤの電荷を基板に排出して蓄積電荷をリセットすることができる。
【００５５】
図１９（ｂ）に示したように、基板内部電圧ＶＳＵＢの値を通常よりも小さくすることによって通常よりも深い部分にオーバーフローバリアＯＦＢが形成され、ＣＣＤ４２の感度が向上する。そこで、以降の説明においては、基板内部電圧ＶＳＵＢの値が通常の場合をノーマルモードと称し、基板内部電圧ＶＳＵＢの値を小さくした場合を高感度モードと称することとする。電子カメラ３６では、ＣＣＤ４２の感度を通常の感度（以下、「通常感度」と称することとする）とするノーマルモードと、感度を向上させた高感度モードとの設定が可能である。
【００５６】
ＣＣＤ４２におけるＳＵＢ電圧切り換え回路４８及びＳＵＢパルス重畳回路４９の構成については、先に説明した図２０に示したものと同様とする。
次に図３について説明する。同図は、図２における欠陥補正回路６４の詳細構成の第一の例を示している。
【００５７】
前述したように、欠陥検出回路６２はＣＣＤ４２に存在する欠陥画素の検出を行う。この欠陥画素の検出は、例えば初期状態、すなわち図１に示した顕微鏡システムを製造した工場からの出荷前に行われる。このとき、基板内部電圧ＶＳＵＢの値を通常よりも小さくすると、図１９（ｂ）に示したように、ＣＣＤ４２の感度が向上するが、その一方、基板内部電圧ＶＳＵＢを通常の値にしたときには画像上において離散的に生じていた点状の画素欠陥は拡大し、その周囲に隣接して位置している画素にも画素欠陥が発生するようになり、前述したブルーミング現象のノイズとなる。
【００５８】
本実施形態においては、基板内部電圧ＶＳＵＢの値を通常よりも小さくしてＣＣＤ４２の感度を高感度の状態に設定した状態での欠陥画素の検出も欠陥検出回路６２に行わせる。このときに検出された欠陥画素の位置を示す情報（欠陥位置情報）はＣＰＵ６０によって処理され、ブルーミングノイズとなる、隣接して位置している欠陥画素が統合される。
【００５９】
そして、統合された欠陥画素群を代表する画素（中心欠陥画素）の位置を示す情報（中心欠陥画素位置情報）とその欠陥画素群の形状を示す情報（欠陥形状情報）とを求めて欠陥メモリ６３に予め格納しておく。なお、このときの中心欠陥画素は、基板内部電圧ＶＳＵＢの値を通常の大きさとしてＣＣＤ４２の感度を通常状態に設定した状態でも画素欠陥の生じる画素である。
【００６０】
補間方法算出部７３は、上述した中心欠陥画素位置情報と欠陥形状情報とを欠陥メモリ６３から読み出し、その欠陥画素群を形成している画素毎の位置情報を得ると共に、それらの欠陥画素の隣接状態に基づいて各欠陥画素の補正を行うための補間方法を決定し、得られた欠陥位置情報と補間方法を示す情報とをＲＡＭ７１に格納する。
【００６１】
欠陥位置検出部７２は、画像メモリ４６から読み出された標本３についての画像データで示されている画像における画素のうち、ＲＡＭ７１に格納されている欠陥位置情報で示される位置についてのものを補間演算部７４に通知する。
補間演算部７４は、欠陥位置検出部７２から通知された画素についてのデータ（輝度データ）を、ＲＡＭ７１に格納されている補間方法を用いて補間する。
【００６２】
ここで図４について説明する。同図は欠陥メモリ６３に格納されるデータの構造を示している。
前述したように、欠陥メモリ６３には、中心欠陥画素位置情報及び欠陥形状情報が格納される。このうち、中心欠陥画素位置情報は、画像における中心欠陥画素の水平方向の位置を示す水平欠陥アドレスと、画像における中心欠陥画素の垂直方向の位置を示す垂直欠陥アドレスと、からなる。
【００６３】
欠陥形状情報は、ブルーミング現象に起因する画素欠陥が中心欠陥画素から一次元若しくは二次元方向に放射状に広がっていることの多い欠陥形状を考慮し、欠陥画素の広がりの度合いに応じて欠陥形状にランク付けを行ったときのランクを示す情報とする。
本実施形態においては、図５に示すように、欠陥形状として３つのランクを定義する。同図において、（ａ）は、中心欠陥画素に隣接する上下または左右の計２個の画素の両方に画素欠陥が存在するランクＬ１の欠陥形状を示しており、（ｂ）中心欠陥画素に隣接する上下及び左右の計４個の画素の全てに画素欠陥が存在するランクＬ２の欠陥形状を示しており、（ｃ）は中心欠陥画素に隣接する上下、左右、及び斜めの計８個の画素の全てに画素欠陥が存在するランクＬ３の欠陥形状を示している。
【００６４】
なお、画素の補間の適切さを考慮すると、周辺画素の輝度値に基づいて中心欠陥画素の補間を行うには限度があり、その限度を超えてしまうと有用な補正を画像に対して施すことができない。図４の欠陥形状情報における閾値ビットは、このような有用な補正を行えるか否かを示す情報であり、このような閾値ビットに基づいて、補間演算部７４が欠陥画素の補間を行うか否かを制御するようにしてもよい。
【００６５】
次に欠陥画素の補間方法について、図６を参照しながら説明する。同図は、図５におけるランクＬ２の欠陥形状が存在する場合を例示したものである。
図６（ａ）において、欠陥画素は、Ａ２、Ｂ１、Ｂ２、Ｂ３、及びＣ２であり、Ａ１、Ａ３、Ｃ１、Ｃ３は画素欠陥を有していない正常な画素である。この場合、各欠陥画素の輝度値は、正常画素の輝度値に基づき、下記の式によって算出される。
【００６６】
Ａ２＝（Ａ１＋Ａ３）／２
Ｂ１＝（Ａ１＋Ｃ１）／２
Ｂ３＝（Ａ３＋Ｃ３）／２
Ｃ２＝（Ｃ１＋Ｃ３）／２
Ｂ２＝（Ａ１＋Ａ３＋Ｃ１＋Ｃ３）／４
つまり、図６（ｂ）に示すように、欠陥画素の補間輝度値は、補間対象である欠陥画素の周囲に位置する正常な画素の輝度値を加算平均して算出する。
【００６７】
本実施形態においては、上述した加算平均のパターンとして、図７に示すＫ０からＫ１７までの１８通りのパターンが予め定義されている。欠陥画素の輝度値の算出の際には、補正対象の欠陥画素とその周囲に位置している正常な画素との位置関係に基づき、これらのパターンから１つが補間方法算出部７３によって選択される。
【００６８】
なお、図７におけるパターンＫ０は、補間を行わないことを示している。
なお、ＳＵＢ電圧切り換え回路４８によるＶＳＵＢ電圧の制御によってＣＣＤ４２の感度を通常感度に低下させると、ブルーミング現象である欠陥画素の隣接状態が発生しないようにすることができる。このときに生じる画素欠陥は、欠陥画素同士が孤立した（隣接しない）点欠陥となる（通常感度に設定したにも拘わらず隣接した画素欠陥を有するようなＣＣＤ４２は、不良品とみなし、図１に示す顕微鏡システムには使用しない）が、欠陥メモリ６３には中心欠陥画素の欠陥情報が格納されているので、この欠陥情報を利用すれば、ＣＣＤ４２の感度を通常感度として撮像された画像に対しても同様にして欠陥画素の補正を行うことができる。
【００６９】
次に図８について説明する。同図は、図３に示した欠陥補正回路６４の構成の変形例である。
図８に示した構成では、欠陥検出回路６２によって検出された欠陥位置情報に基づき、隣接して位置している欠陥画素の統合、及び統合された欠陥画素群を代表する画素（中心欠陥画素）の位置を示す情報（中心欠陥画素位置情報）とその欠陥画素群の形状を示す情報（欠陥形状情報）との取得の処理を、ＣＰＵ６０の代わりに、コンピュータやワークステーション等の電子計算機８０で行うようにするというものである。なお、この場合には、得られた中心欠陥画素位置情報及び欠陥形状情報を、ＨＤＤ（Hard Disk Drive ）等の外部記録装置８１に格納しておくようにしてもよい。
【００７０】
更に、この図８に示した構成では、欠陥画素の隣接状態に基づいた各欠陥画素の補間方法の決定を、補間方法算出部７３に代わってＣＰＵ６０若しくは電子計算機８０で行うようにしている。なお、この場合には、画像メモリ４６に格納されている画像データで示されている画像の撮像条件、より具体的にはＣＣＤ４２の感度設定を補間方法の決定前に知ることができないので、ＣＣＤ４２の感度設定が通常感度の設定である場合と高感度の設定である場合との各々の場合における補間方法を予め決定しておき、その結果をＲＡＭ７１に格納しておくようにする。この結果、補間方法算出部７３が削除される分、欠陥補正回路６４の構成がシンプルとなる。
【００７１】
また、この他に、欠陥検出回路６２及び欠陥補正回路６４で行われるＣＣＤ４２の画素欠陥の検出及び補正の全体の処理をＣＰＵ６０で行うようにすることもできる。
ここで図９について説明する。同図は、ＣＰＵ６０によって行われる、この画素欠陥の検出及び補正の処理の処理内容をフローチャートで示したものである。同図に示す処理をＣＰＵ６０に行わせるためには、この処理をＣＰＵ６０に行わせるための制御プログラムを作成してＲＯＭ等の不図示の記憶装置に記憶させておき、この制御プログラムをＣＰＵ６０に読み込ませて実行させればよい。
【００７２】
まず図９（ａ）に示す処理ついて説明する。この処理は欠陥情報取得処理であり、ＣＣＤ４２の画素欠陥を検出し、検出された画素欠陥についての欠陥情報を欠陥メモリ６３に格納する処理である。
この処理は、例えば工場出荷前の初期状態において、この処理の実行開始を示す、操作部６１に対する所定の操作が検出されると開始される。
【００７３】
まず、Ｓ１０１において、撮影条件の設定、より具体的には、ＣＣＤ４２の感度設定を高感度し、露光時間等を、欠陥画素の取得のための所定の設定とする処理が行われる。
Ｓ１０２では、Ｓ１０１の処理によって設定された撮影条件の下で、遮光画像を撮像する処理が行われる。
【００７４】
Ｓ１０３では、Ｓ１０２の処理によって取得された遮光画像における白点ノイズ、すなわち画素欠陥を有している画素を抽出する処理が行われる。
Ｓ１０４では、抽出された欠陥画素のうち隣接しているものを統合する処理が行われる。なお、このとき、中心欠陥画素位置情報の取得が行われる。
【００７５】
Ｓ１０５では、統合された欠陥画素群を図５に例示したランクにランク分けする処理が行われ、欠陥形状情報が取得される。
Ｓ１０６では、以上までの処理によって得られた各欠陥画素についての中心欠陥画素位置情報及び欠陥形状情報を欠陥情報として欠陥メモリ６３に格納する処理が行われ、その後はこの欠陥情報取得処理が終了する。
【００７６】
次に図９（ｂ）に示す処理について説明する。この処理は欠陥画素補正処理であり、画像メモリ４６に格納されている標本３についての画像データに対し、画素欠陥の補正を施す処理である。なお、この処理は、標本３についての画像データの画像メモリ４６への格納が完了すると開始される。
【００７７】
まず、Ｓ１１１において、欠陥情報を欠陥メモリ６３から読み出し、ＣＣＤ４２の画素欠陥の状態を認識する処理が行われる。
Ｓ１１２では、補正対象の欠陥画素のうちのひとつに注目し、画像メモリ４６に画像データが格納されている補正対象の画像の撮影時における撮影条件の設定（ＣＣＤ４２の感度設定）と、欠陥メモリ６３から読み出した欠陥情報で示されている、その補正対象の欠陥画素についての欠陥画素の隣接形状（ランク）とに基づき、補正対象の欠陥画素の補間方法を決定する（図７に例示した補正方法のいずれかを選択する）処理が行われる。
【００７８】
Ｓ１１３では、Ｓ１１２の処理によって決定された補間方法において必要な、補正対象である欠陥画素周辺の正常画素の輝度値を画像メモリ４６の画像データから取得する処理が行われる。
Ｓ１１４では、Ｓ１１２の処理によって決定された補間方法に従い、Ｓ１１３の処理によって取得された輝度値を使用して補正対象の欠陥画素についての補間輝度値を算出する処理が行われる。
【００７９】
Ｓ１１５では、補正対象である欠陥画素の輝度値をＳ１１４の処理によって算出された補間輝度値へ置き換えて画像信号処理回路５１へ出力する処理が行われる。
Ｓ１１６では、Ｓ１１１の処理によって取得した欠陥情報で示されている欠陥画素のうち、補間輝度値の算出のなされていないものが未だ残されているか否かを判定する処理が行われ、残されている（判定結果がＹｅｓ）ならばＳ１１２へと処理を戻し、未補正の欠陥画素についての補間輝度値を算出する処理が繰り返される。一方、欠陥情報に示されていた全ての欠陥画素についての補間輝度値の算出を終えていたならば、この欠陥画素補正処理を終了する。
【００８０】
以上の欠陥情報取得処理及び欠陥画素補正処理をＣＰＵ６０で行うようにしても、ＣＣＤ４２の画素欠陥を適切に補正することができる。
以上のように、上述した実施形態によれば、ＣＣＤ４２の感度を高感度に設定して標本３を撮像してブルーミング現象に起因する画素欠陥が発生した場合に、格納メモリ６３に格納されている中心欠陥画素位置情報及び欠陥形状情報より欠陥画素同士の隣接関係を把握し、各欠陥画素の周辺に位置する正常画素の輝度値の加算平均から欠陥画素の輝度の補間値を得るので、画素欠陥の影響の抑制された標本３の高感度画像を提供することができる。また、画素欠陥のうちブルーミング現象に起因するものについては発生のない、ＣＣＤ４２の感度を通常感度に設定して標本３を撮像した場合にも、画素欠陥の影響の抑制された画像を提供することができる。
【００８１】
次に、本発明の別の実施の形態について説明する。なお、これより説明する実施の形態を今までに説明したものと区別するため、今までに説明した実施の形態を第一実施形態と称することとし、これより説明する実施形態を第二実施形態と称することとする。
第一実施形態においては、例えば初期状態、すなわち図１に示した顕微鏡システムを製造した工場からの出荷前に欠陥検出回路６２によって行われたＣＣＤ４２の画素欠陥の検出の結果に基づいて得られる中心欠陥画素位置情報及び欠陥形状情報を欠陥メモリ６３に格納しておき、これらの情報に基づいて画素欠陥の補正を行っていた。しかし、図２２を用いて説明したように、画素欠陥の欠陥形状は、撮像時におけるＣＣＤ４２の露光時間やＣＣＤ４２の動作温度に依存して変化する。そこで、第二実施形態においては、撮像時におけるＣＣＤ４２の露光時間やＣＣＤ４２の動作温度にも基づいて欠陥形状情報の決定を行うようにする。
【００８２】
第二実施形態に係る顕微鏡システムの構成は、図１及び図２に示した第一実施形態に係る顕微鏡システムの構成と同様であるので、その説明は省略する。
図２に関して既に説明したように、ＣＣＤ４２は、ＳＵＢ電圧重畳回路４９等からの出力によって制御される電子シャッタ機能（手段）を有しており、これによりＣＰＵ６０が露光時間の制御を行うことができる。また、温度センサ４７により、ＣＣＤ４２の温度状態をＣＰＵ６０で知ることができる。
【００８３】
ここで図１０について説明する。同図は欠陥補正回路６４の詳細構成の第三の例を示しており、第二実施形態に係る構成を示している。
前述したように、第二実施形態においては、欠陥メモリ６３には中心欠陥画素位置情報のみが格納されている。
【００８４】
欠陥形状算出部７５は、標本３の撮像時における露出時間を示す情報及びＣＣＤ４２の温度情報をＣＰＵ６０から受け取り、これらの情報に基づき、欠陥メモリ６３に格納されている中心欠陥画素位置情報で示されている中心欠陥画素についての欠陥形状を導出する。なお、この欠陥形状を導出する手法は、例えば、ＣＣＤ４２について、暗時白欠陥の露出時間及び温度に対する依存性（露出時間及び温度と欠陥形状との関係）を工場出荷前に測定しておき、この測定結果を用いて導出する。
【００８５】
なお、製造バラツキが十分に少ない場合には、ＣＣＤ４２について個別に測定を行うことなく、同一の測定結果を流用するようにしてもよい。
また、例えば、初期状態として所定の露出時間（短時間が好ましい）及び温度（低温が好ましい）としたときにＣＣＤ４２に生じる欠陥形状を求めておき、この初期状態における欠陥形状を前述したものと同様にランク分けしておき、その後、標本３の撮像時におけるＣＣＤ４２の露出時間及び温度についての初期状態からの変化量に基づいて初期状態における欠陥形状のランクを変更するようにして、標本３の撮像時におけるＣＣＤ４２の欠陥形状のランクを求めるようにしてもよい。
【００８６】
以上のように、第二実施形態によれば、画像撮像時におけるＣＣＤ４２の露出時間や温度に基づいて画素欠陥の欠陥形状を導出するので、より適切な画素欠陥の補正を画像に対して施すことが可能となる。
次に第三実施形態について説明する。
【００８７】
第三実施形態においては、通常感度に設定されたＣＣＤ４２による撮像画像における画素欠陥は各々孤立しているが、このＣＣＤ４２を高感度に設定して撮像したときには、通常感度時の画素欠陥の周囲に生じるブルーミング現象に起因する画素欠陥同士が重なる場合（以下、この場合を「隣接欠陥が生じる場合」と称することとする）における画素欠陥の補正を行う。
【００８８】
第三実施形態に係る顕微鏡システムの構成は、図１及び図２に示した第一実施形態に係る顕微鏡システムの構成と同様である。また、欠陥補正回路６４の詳細構成も、図３に示したものと同様である。
ここで図１１について説明する。同図は、隣接欠陥が生じ得る場合における補間方法決定処理の処理内容をフローチャートで示したものである。
【００８９】
同図に示す処理は、補間方法算出部７３において行われるものであり、また、図９（ｂ）に示した欠陥画素補正処理におけるＳ１１２の処理をより詳細に示したものである。
まず、Ｓ２０１において、欠陥メモリ６３から欠陥情報を読み出してＣＣＤ４２についての中心欠陥画素位置情報と欠陥形状情報とを取得する処理が行われ、続くＳ２０２において、取得された情報に基づき、各欠陥画素の隣接状態を調べる処理が行われる。
【００９０】
ここで、Ｓ２０３において、前述した隣接欠陥、すなわち、欠陥画素同士の重複状態が生じているか否かを判定する処理が行われる。ここで、重複状態が生じている場合には、重複している欠陥画素についての情報の一方を削除して重複状態を解消した上で処理をＳ２０２へと戻して各欠陥画素の隣接状態を調べる処理を繰り返す。一方、欠陥画素同士の重複状態が生じていない場合には、Ｓ２０４に処理を進め、重複状態が解消された状態での中心欠陥画素位置及び欠陥形状の情報から、補正対象の欠陥画素の補間方法を決定する（図７に例示した補正方法のいずれかを選択する）処理が行われ、補間方法決定処理が終了する。
【００９１】
上述した補間方法決定処理におけるＳ２０４の処理として行われる、補正対象の欠陥画素の補間方法の決定手法について、図１２の例を用いて説明する。
図１２の例は、横４行×縦４列の画素からなる画像領域におけるＢ３及びＣ２の画素をそれぞれ中心欠陥画素とする、ランクＬ２の画素欠陥が生じている場合を示しており、ここで、図１２（ａ）に示すように、欠陥画素Ｂ２及びＣ３において重複が発生しており隣接欠陥が生じている。
【００９２】
ここで、Ｂ２を中心に考えると、Ｂ２に隣接している画素のうちＡ３、Ｂ３、Ｃ１、Ｃ２、Ｃ３が欠陥画素であるので、これらの画素の輝度値はＢ２の補間輝度値の算出には使用しないようにする。つまり、この場合においては、欠陥画素Ｂ２の補間輝度値は、隣接する正常画素Ａ２及びＢ１の輝度値を用い、下記の式によって算出する。
【００９３】
Ｂ２＝（Ａ２＋Ｂ１）／２
つまり、Ｂ２については、図７におけるＫ８のパターンを用いた加算平均により、Ｂ２の補間輝度値の算出を行うようにする。
以下、同様に、各欠陥画素の補間輝度値は下記の式によって算出され、従って、図７における下記のパターンが選択される。
【００９４】
Ａ３＝（Ａ２＋Ａ４）／２………Ｋ２
Ｂ３＝（Ａ４＋Ｃ４）／２………Ｋ１３
Ｂ４＝（Ａ４＋Ｃ４）／２………Ｋ１
Ｃ１＝（Ｂ１＋Ｄ１）／２………Ｋ１
Ｃ２＝（Ｂ１＋Ｄ１）／２………Ｋ１２
Ｃ３＝（Ｃ４＋Ｄ３）／２………Ｋ１１
Ｄ２＝（Ｄ１＋Ｄ３）／２………Ｋ２
図１２（ｂ）は、図１２（ａ）に示した欠陥形状である欠陥画素と、各欠陥画素の補間輝度値を算出するために使用される正常画素との関係を、上記の式に基づき矢印で示したものである。
【００９５】
なお、隣接欠陥による欠陥形状が大きく広がってしまい、図７に示したパターンでの補間ができない場合には、補間を行わないようにする。
以上のように、第三実施形態よれば、隣接欠陥が生じている画像についても画素欠陥が適切に補正される。
【００９６】
次に第四実施形態について説明する。
第四実施形態においては、ＣＣＤ４２がベイヤ方式の単板カラーＣＣＤである場合における画素欠陥の補正を行う。
ベイヤ配列の単板カラーＣＣＤでは、受光素子の配列が輝度検出の対象とする色によって異なっており、単位面積当たりで５０％が緑色成分（Ｇ）の画素が占めており、残りの２５％ずつをそれぞれ赤色成分（Ｒ）及び青色成分（Ｂ）の画素が占めている。また、同色の画素は、赤色成分（Ｒ）及び青色成分（Ｂ）の画素については、いずれも緑色成分（Ｇ）の画素を１画素挟んだ上下左右の４画素に位置しており、緑色成分（Ｇ）の画素については斜め方向に隣接した４画素に位置している。
【００９７】
なお、本願においては、説明の便宜上、赤色成分（Ｒ）及び青色成分（Ｂ）の画素についての同色成分画素の位置関係のうち、上述した緑色成分（Ｇ）の画素を１画素挟んだ上下左右の４画素に位置している位置関係を「隣接している」と称することとする。
カラー画素における欠陥画素の補間方法について、図１３を用いて説明する。
【００９８】
図１３（ａ）に例示する画素欠陥は、中心欠陥画素が赤色成分（Ｒ）の画素であってランクＬ２の画素欠陥が生じている場合を示しており、図１３（ｂ）に例示する画素欠陥は、中心欠陥画素が緑色成分（Ｇ）の画素であってランクＬ２の画素欠陥が生じている場合を示している。この図１３を参照すれば分かるように、同図のいずれの場合においても、欠陥画素についての補間輝度値は、その補間対象である欠陥画素に隣接している正常画素のうちその補間対象の欠陥画素と同色のものについての輝度値を用いて算出するようにする。
【００９９】
第四実施形態に係る顕微鏡システムの構成は、図１及び図２に示した第一実施形態に係る顕微鏡システムの構成と同様である。また、欠陥補正回路６４の詳細構成も、図３に示したものと同様である。
ここで図１４について説明する。同図は、カラー画素を対象とする場合における補間方法決定処理の処理内容をフローチャートで示したものである。
【０１００】
同図に示す処理は、補間方法算出部７３において行われるものであり、また、図９（ｂ）に示した欠陥画素補正処理におけるＳ１１２の処理をより詳細に示したものである。
まず、Ｓ３０１において、欠陥メモリ６３から欠陥情報を読み出してＣＣＤ４２についての中心欠陥画素位置情報と欠陥形状情報とを取得すると共に、中心欠陥画素位置情報に対応付けられている中心欠陥画素の色成分の情報を取得し、続くＳ３０２において、取得された情報に基づき、各欠陥画素の隣接状態を色成分毎に調べる処理が行われる。
【０１０１】
ここで、Ｓ３０３において、前述した隣接欠陥、すなわち、欠陥画素同士の重複状態が生じているか否かを判定する処理が行われる。ここで、重複状態が生じている場合には、重複している欠陥画素についての情報の一方を削除して重複状態を解消した上で処理をＳ３０２へと戻して各欠陥画素の隣接状態を色成分毎に調べる処理を繰り返す。一方、欠陥画素同士の重複状態が生じていない場合には、Ｓ３０４に処理を進め、重複状態が解消された状態での中心欠陥画素位置及び欠陥形状の情報から、カラー画素の場合における補正対象の欠陥画素の補間方法を決定する処理が行われ、補間方法決定処理が終了する。
【０１０２】
上述した補間方法決定処理におけるＳ３０４の処理として行われる、カラー画素の場合における補正対象の欠陥画素の補間方法の決定手法について、図１５の例を用いて説明する。
図１５の例は、横６行×縦６列のベイヤ配列であるカラー画素からなる画像領域におけるＧ８及びＧ１１の画素（いずれも緑色成分の画素）をそれぞれ中心欠陥画素とする、ランクＬ２の画素欠陥が生じている場合を示しており、ここで、図１５（ａ）に示すように、欠陥画素Ｒ５（赤色成分の画素）及びＢ５（青色成分の画素）において重複が発生しており隣接欠陥が生じている。
【０１０３】
ここで、Ｒ５を中心に考えると、Ｒ５に隣接している同色の画素のうちＲ６及びＲ８が欠陥画素であるので、これらの画素の輝度値はＲ５の補間輝度値の算出には使用しないようにする。つまり、この場合においては、欠陥画素Ｒ５の補間輝度値は、Ｒ５に隣接している同色の正常画素Ｒ２及びＲ４の輝度値を用い、下記の式によって算出するように補間方法を決定する。
【０１０４】
Ｒ５  ＝（Ｒ２＋Ｒ４）／２
以下、同様に、各欠陥画素の補間輝度値は下記の式によって算出するように補間方法を決定する。
Ｂ２  ＝（Ｂ１＋Ｂ３）／２
Ｇ８  ＝（Ｇ６＋Ｇ１２）／２
Ｒ６  ＝（Ｒ３＋Ｒ９）／２
Ｂ４  ＝（Ｂ１＋Ｂ７）／２
Ｇ１１＝（Ｇ７＋Ｇ１３）／２
Ｂ５  ＝（Ｂ６＋Ｂ８）／２
Ｒ８  ＝（Ｒ７＋Ｒ９）／２
図１５（ｂ）は、図１５（ａ）に示した欠陥形状である欠陥画素と、各欠陥画素の補間輝度値を算出するために使用される正常画素との関係を、上記の式に基づき矢印で示したものである。同図からも明らかなように、欠陥画素についての補間輝度値は、その補間対象である欠陥画素の周囲に位置している正常画素のうちその補間対象の欠陥画素と同色のものについての輝度値を用いて算出される。
【０１０５】
以上のように、第四実施形態よれば、ＣＣＤ４２がベイヤ方式の単板カラーＣＣＤである場合に、隣接欠陥が生じているカラー画像に対する画素欠陥が適切に補正される。
次に第五実施形態について説明する。
一般に、遮光状態のＣＣＤの出力信号には発生量が露出時間や温度に依存するランダムな暗時白欠陥の信号が顕著に現れる。従って、画像撮像時におけるＣＣＤの出力信号（明時信号）から遮光状態におけるＣＣＤの出力信号（暗時信号）を減じることにより、撮像画像のＳ／Ｎ（信号対雑音比）を改善することができる。このような減算処理はノイズリダクションと呼ばれている。しかし、前述したような画素欠陥による固定パターンのノイズが暗時信号に生じた場合には撮像画像の品質を劣化させる。従って、ノイズリダクションを行う場合には、暗時信号に対しても欠陥画素の補正が必要となる。
【０１０６】
第五実施形態は、ノイズリダクションを行う場合における画素欠陥の補正を提供する。
第四実施形態に係る顕微鏡システムの構成は、図１６に示した部分を除けば図１及び図２に示した第一実施形態に係る顕微鏡システムの構成と同様である。
図１６について説明する。同図は、欠陥補正回路の詳細構成の第四の例を示しており、ノイズリダクション回路が欠陥補正回路６４の前段に配置されている場合の構成例を示している。
【０１０７】
Ａ／Ｄ変換器４５から出力される画像データのうち、標本３の撮像画像についてのもの（明時信号の画像データ）は画像メモリＡ４６ａに記憶され、ＣＣＤ４２が遮光状態にあるときにおけるもの（暗時信号の画像データ）は画像メモリＢ４６ｂに記憶される。
減算回路６５は、画像メモリＡ４６ａより読み出した明時信号の画像データから、画像メモリＢ４６ｂより読み出した暗時信号の画像データを減算するノイズリダクション処理を行う。
【０１０８】
セレクタ６７は、画像メモリ４６ａより読み出した明時信号の画像データと、減算回路６５から出力されるノイズリダクション処理の施された画像とのうちの一方を選択する。
欠陥検出回路６２は、画像メモリ４６ｂより読み出した暗時信号の画像データより、ＣＣＤ４２に存在する欠陥画素の検出を行う。
【０１０９】
欠陥メモリ６３は、ＥＥＰＲＯＭ等からなり、第一実施形態と同様、ＣＣＤ４２についての中心欠陥画素位置情報及び欠陥形状情報が予め格納されている。
欠陥補正回路６４はＣＣＤ４２に存在する欠陥画素の影響を受けている画像信号を補正するものであり、以下の構成要素を備えて構成されている。
【０１１０】
補間方法算出部７６は、暗時信号の画像データより欠陥検出回路６２によって検出されたＣＣＤ４２における欠陥画素についての中心欠陥画素位置情報と欠陥形状情報から、その欠陥画素群を形成している画素毎の位置情報を得ると共に、それらの欠陥画素の隣接状態に基づいて各欠陥画素の補正を行うための補間方法を決定するものであり、動作自体は図３に示した第一実施形態における補間方法算出部７３と同様のものである。
【０１１１】
欠陥位置検出部７７は、画像メモリ４６ｂから読み出された標本３についての画像データで示されている画像における画素のうち、補間方法算出部７６によって得られた各欠陥画素の位置に配置されているものを検出するものであり、動作自体は図３に示した第一実施形態における欠陥位置検出部７２と同様のものである。
【０１１２】
補間方法算出部７３、ＲＡＭ７１、欠陥位置検出部７２、及び補間演算部７４は、いずれも図３に示した第一実施形態におけるものと同様のものである。
優先選択部７８は、補間演算部７４によって行わせる補間方法を、ＲＡＭ７１に格納されている情報によって示されているものとするか、あるいは、補間方法算出部７６によって決定されたものとするかの選択を行う、すなわち、欠陥メモリ６３に格納されている画素欠陥の情報に基づいた補間方法とするか、ＣＣＤ４２から直近得られた暗時信号の画像データに基づいた補間方法とするかの選択を行う。
【０１１３】
図１６に示した欠陥補正回路６４は以上のように構成されている。
次に図１６に示した欠陥補正回路６４の動作について説明する。
ノイズリダクションにおける減算処理は、標本３の撮像の際に、ＣＣＤ４２の状態を標本３の撮像状態（遮光しない状態）と遮光状態との切り換えを交互に繰り返して行う。ここで、撮像画像をリアルタイムで表示させるためには画素欠陥の補正もリアルタイムで行う必要がある。
【０１１４】
ノイズリダクションを機能させない場合には、画像メモリ４６ａに格納されている明時信号の画像データが欠陥補正回路６４に入力されるようにセレクタ６７を切り換え、欠陥位置検出部７２からの通知（欠陥位置Ａ）とＲＡＭ７１に格納されている補間方法（補間方法Ａ）とが補間算出部７４へ入力されるように優先選択部７８を切り換える。このとき、欠陥補正回路６４の動作は、図３に示した第一実施形態におけるものと同様のものとなる。
【０１１５】
一方、ノイズリダクションを機能させる場合には、画像メモリ４６ｂに格納されている暗時信号の画像データが欠陥補正回路６４に入力されるようにセレクタ６７を切り換え、欠陥位置検出部７７の検出結果（欠陥位置Ｂ）と補間方法算出部７６によって決定された補間方法（補間方法Ｂ）とが補間算出部７４へ入力されるように優先選択部７８を切り換える。つまり、工場出荷前の初期状態において検出されるＣＣＤ４２の画素欠陥に基づいて画素欠陥の補正を行うのではなく、標本３の撮像の際にノイズリダクションのために取得される遮光状態におけるＣＣＤ４２の暗時信号から検出されるＣＣＤ４２の画素欠陥に基づいて画素欠陥の補正を行うようにするのである。こうすることにより、ノイズリダクションを行う場合における画素欠陥の補正が適切に行われる。
【０１１６】
なお、ノイズリダクションを機能させる場合に、上述した欠陥位置Ａ及び補間方法Ａの組み合わせと、欠陥位置Ｂ及び補間方法Ｂの組み合わせとの両者が補間算出部７４へ入力されるような動作を優先選択部７８に行わせるようにしてもよい。なお、このとき、欠陥位置Ａと欠陥位置Ｂとが重複した場合には、そのいずれか一方の組み合わせが補間算出部７４へ入力されるようにする。なお、この場合、信頼性を考慮すると、欠陥位置Ａ及び補間方法Ａの組み合わせが補間算出部７４へ入力されるようにすることが好ましい。こうすることにより、工場出荷前の初期状態において検出されるＣＣＤ４２の画素欠陥をも加味した画素欠陥の補正が行われる。
【０１１７】
なお、図９、図１１、図１４の各々にフローチャートで示した処理をコンピュータの有しているＣＰＵに行わせるための制御プログラムをコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムをその記録媒体からコンピュータに読み込ませてＣＰＵで実行させるようにすることにより、図１に示した顕微鏡システムの制御をコンピュータに行わせるようにして本発明を実施することもできる。
【０１１８】
記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、フレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった、コンピュータに設けられている媒体駆動装置によって読み取り可能な携帯可能記録媒体等が利用できる。
【０１１９】
また、このような記録媒体はネットワーク回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体であるネットワーク回線を通じてコンピュータへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータ内のＣＰＵで実行できるようになる。
【０１２０】
その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
【図面の簡単な説明】
【０１２１】
【図１】本発明を実施する顕微鏡システムの構成を示す図である。
【図２】図１における電子カメラの構成を示す図である。
【図３】欠陥補正回路の詳細構成の第一の例を示す図である。
【図４】欠陥メモリに格納されるデータの構成を示す図である。
【図５】欠陥形状のランクを示す図である。
【図６】欠陥画素の補間方法を説明する図である。
【図７】欠陥画素の補間パターンの例を示す図である。
【図８】欠陥補正回路の詳細構成の第二の例を示す図である。
【図９】ＣＰＵによって行われる画素欠陥の検出及び補正の処理の内容を示すフローチャートである。
【図１０】欠陥補正回路の詳細構成の第三の例を示す図である。
【図１１】隣接欠陥が生じ得る場合における補間方法決定処理の処理内容を示すフローチャートである。
【図１２】隣接欠陥が生じている場合における欠陥画素の補間方法を説明する図である。
【図１３】カラー画素における欠陥画素の補間方法を説明する図である。
【図１４】カラー画素を対象とする場合における補間方法決定処理の処理内容を示すフローチャートである。
【図１５】隣接欠陥が生じている場合におけるカラー画素である欠陥画素の補間方法を説明する図である。
【図１６】欠陥補正回路の詳細構成の第四の例を示す図である。
【図１７】ＣＣＤ撮像素子の素子構造の一例を示す平面図である。
【図１８】ＣＣＤの断面図である。
【図１９】フォトダイオードの深さ方向のポテンシャルの変化を示す図である。
【図２０】基板バイアス発生回路の構成例を示す図である。
【図２１】画素欠陥を補正する画像補間処理の例を説明する図である。
【図２２】白点ノイズの依存性の例を示す図である。
【符号の説明】
【０１２２】
Ｓ、Ｓ’、Ｓ”  観察光路
１  顕微鏡本体
３  標本
５  三眼鏡筒ユニット
６  接眼レンズユニット
６ａ  接眼レンズ
１２  落射照明光学系
２１  落射照明用光源
２６  試料ステージ
２７  対物レンズ
２８  レボルバ
３０  キューブユニット
３１  ビームスプリッタ
３２  ダイクロイックミラー
３６  電子カメラ
３７  顕微鏡駆動回路
４１  顕微鏡コントロール部
４２  固体撮像素子（ＣＣＤ）
４３  ＣＤＳ回路
４４  増幅器
４５  Ａ／Ｄ変換器
４６  画像メモリ
４７  温度センサ
４８  ＣＣＤＳＵＢ電圧切り換え回路
４９  ＳＵＢパルス重畳回路
５１  画像信号処理回路
５２  遮光もれ検出回路
５３  タイミングジェネレータ（ＴＧ）
５４  シグナルジェネレータ（ＳＧ）
５５  メモリコントローラ
５６  ＤＲＡＭ
５７  圧縮伸張回路
５８  記録媒体
５９  液晶ディスプレイ（ＬＣＤ）
６０  ＣＰＵ
６１  操作部
６２  欠陥検出回路
６３  欠陥メモリ
６４  欠陥補正回路
７１  ＲＡＭ
７２、７７  欠陥位置検出部
７３、７６  補間方法算出部
７４  補間演算部
７５  欠陥形状算出部
７８  優先選択部
８０  電子計算機
８１  外部記憶装置
１００  結像レンズユニット
１００ａ  結像レンズ
２００  基板バイアス発生回路
２０１  フォトダイオード
２０２  垂直転送路
２０３  水平転送路
２０４  信号検出器
２０５  アンプ
２０６  内部ＶＳＵＢ発生回路
３００  ｎ型半導体基板
３０１  第一領域
３０２  第二領域
３０３  光電変換領域（電荷蓄積部）
３０４  理込みチャネル
３０５  転送電極
３０６  絶縁層
３０７  チャネルストップ領域
３０８  トランスファーゲート（ＴＧ）領域
３０９  金属層
３１１  基板バイアス電圧ＶＳＵＢ
【図１】
2005311733.tif 000003
【図２】
2005311733.tif 000004
【図３】
2005311733.tif 000005
【図４】
2005311733.tif 000006
【図５】
2005311733.tif 000007
【図６】
2005311733.tif 000008
【図７】
2005311733.tif 000009
【図８】
2005311733.tif 000010
【図９】
2005311733.tif 000011
【図１０】
2005311733.tif 000012
【図１１】
2005311733.tif 000013
【図１２】
2005311733.tif 000014
【図１３】
2005311733.tif 000015
【図１４】
2005311733.tif 000016
【図１５】
2005311733.tif 000017
【図１６】
2005311733.tif 000018
【図１７】
2005311733.tif 000019
【図１８】
2005311733.tif 000020
【図１９】
2005311733.tif 000021
【図２０】
2005311733.tif 000022
【図２１】
2005311733.tif 000023
【図２２】
2005311733.tif 000024