(57)【要約】【課題】  低照度などの条件下においても、良好な視認性を有する画像を取得することが可能な撮像装置を提供する。【解決手段】  ２次元アレイ状の画素構造を有する撮像素子と、各画素からのアナログ信号を、デジタルのデータ信号へと変換するＡ／Ｄ変換部と、データ信号に対して信号処理を行うＤＳＰ３０とによって撮像装置を構成する。ＤＳＰ３０は、データ信号を画素ラインに対応するデータ信号列単位で記憶する画像データ記憶部３２と、２以上の整数ｎを膨張係数として設定し、画像データ中の画像成分をｎ×ｎに膨張させるマスク処理を行うマスク処理部３４と、膨張係数ｎに対応して、ｎラインの画素ラインに対応するｎ列のデータ信号列がそれぞれ記憶されるｎ個の計算メモリ領域を記憶部３２に設定するデータ記憶制御部３７とを有する。【選択図】  図３
2008288806.tif 000002
【特許請求の範囲】
【請求項１】
水平方向に配列された所定数の画素からなる画素ラインが垂直方向に複数ライン配列されることで構成された、２次元アレイ状の複数の画素からなる画素構造を有し、各画素において生成された電荷信号を出力する固体撮像素子と、
前記固体撮像素子の各画素からの前記電荷信号によるアナログ信号を、デジタルのデータ信号へと変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力される前記データ信号に対して信号処理を行うデジタル信号処理手段とを備え、
前記デジタル信号処理手段は、
前記Ａ／Ｄ変換手段から前記デジタル信号処理手段へと入力された前記データ信号を、前記固体撮像素子での前記画素ラインに対応して所定数の前記データ信号からなるデータ信号列単位で記憶する画像データ記憶手段と、
前記固体撮像素子での前記複数の画素に対応する複数のデータ信号によって構成される画像データに対して、２以上の整数ｎを膨張係数として設定し、前記画像データ中の画像成分をｎ×ｎに膨張させるマスク処理を行うマスク処理手段と、
前記画像データ記憶手段での前記データ信号の記憶、及び入出力を制御するとともに、前記マスク処理手段で設定された前記膨張係数ｎに対応して、前記画像データ記憶手段において、前記固体撮像素子で垂直方向に連続するｎラインの前記画素ラインに対応するｎ列の前記データ信号列がそれぞれ記憶されるｎ個の計算メモリ領域を設定するデータ記憶制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記データ記憶制御手段は、前記画像データ記憶手段における前記ｎ個の計算メモリ領域をリングバッファとし、前記マスク処理手段によるマスク処理の実行状況に対応して、前記固体撮像素子での複数ラインの前記画素ラインに対応する複数列の前記データ信号列を、前記リングバッファである前記ｎ個の計算メモリ領域に順次記憶させることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記データ記憶制御手段は、前記画像データ記憶手段において、前記ｎ個の計算メモリ領域に加えて、前記ｎ個の計算メモリ領域に記憶されているｎ列の前記データ信号列の次に入力されるデータ信号列が記憶される入力バッファメモリ領域を設定することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記データ記憶制御手段は、前記画像データ記憶手段における前記ｎ個の計算メモリ領域に前記入力バッファメモリ領域を加えたｎ＋１個のメモリ領域をリングバッファとし、前記マスク処理手段によるマスク処理の実行状況に対応して、前記固体撮像素子での複数ラインの前記画素ラインに対応する複数列の前記データ信号列を、前記リングバッファである前記ｎ＋１個のメモリ領域に順次記憶させることを特徴とする請求項３記載の撮像装置。
【請求項５】
前記データ記憶制御手段は、前記画像データ記憶手段において、前記マスク処理手段によるマスク処理後のデータ信号が記憶される出力バッファメモリ領域を設定することを特徴とする請求項１〜４のいずれか一項記載の撮像装置。
【請求項６】
前記マスク処理手段は、前記ｎ個の計算メモリ領域に記憶されているｎ列の前記データ信号列で中央のデータ信号列にあるデータ信号を処理対象とし、そのデータ信号を中心としてｎ×ｎの範囲内にあるｎ×ｎ個のデータ信号を参照してマスク処理を行うことを特徴とする請求項１〜５のいずれか一項記載の撮像装置。
【請求項７】
前記マスク処理手段は、処理対象となる前記データ信号が前記複数の画素からなる画素構造において最外周に位置する画素に対応するデータ信号である場合に、その外側で画素が存在しない領域に仮想的なデータ信号を付与して、そのデータ信号に対するマスク処理を行うことを特徴とする請求項１〜６のいずれか一項記載の撮像装置。
【請求項８】
前記デジタル信号処理手段は、
前記固体撮像素子での前記複数の画素に対応する前記複数のデータ信号に対して、所定の輝度値をノイズ除去用の輝度閾値として設定し、前記輝度閾値以下の輝度値を有する前記データ信号をノイズとして除去するノイズ除去手段を有し、
前記マスク処理手段は、前記ノイズ除去手段で除去されたデータ信号を除く前記データ信号を処理対象の前記画像成分としてｎ×ｎに膨張させるマスク処理を行うことを特徴とする請求項１〜７のいずれか一項記載の撮像装置。
【請求項９】
前記デジタル信号処理手段は、
前記固体撮像素子での前記複数の画素に対応する前記複数のデータ信号に対して、所定の輝度値を二値化処理用の輝度閾値として設定し、前記輝度閾値によって前記データ信号を二値化する二値化処理手段を有し、
前記マスク処理手段は、前記二値化処理手段で二値化された前記データ信号を処理対象の前記画像成分としてｎ×ｎに膨張させるマスク処理を行うことを特徴とする請求項１〜８のいずれか一項記載の撮像装置。
【請求項１０】
前記デジタル信号処理手段は、
前記画像データに対して、前記マスク処理手段によるマスク処理を実行するマスク処理モードと、マスク処理を実行しない通常処理モードとを切り換えるモード制御手段を有することを特徴とする請求項１〜９のいずれか一項記載の撮像装置。
【請求項１１】
前記データ記憶制御手段は、前記マスク処理手段によるマスク処理後のデータ信号と、マスク処理前のデータ信号との両者が出力されるように、前記画像データ記憶手段での前記データ信号の出力を制御することを特徴とする請求項１〜１０のいずれか一項記載の撮像装置。
【請求項１２】
前記固体撮像素子は、前記複数の画素の各画素において生成された前記電荷信号を出力するとともに、前記電荷信号を増倍する電子増倍部を有する電子増倍型の固体撮像素子であることを特徴とする請求項１〜１１のいずれか一項記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元アレイ状の画素構造を有する固体撮像素子を用いた撮像装置に関するものである。
【背景技術】
【０００２】
近年、電子増倍機能を有する固体撮像素子として、電子増倍型ＣＣＤ（ＥＭ−ＣＣＤ：Electron Multiplying CCD）の開発と利用が進められている。ＥＭ−ＣＣＤでは、撮像部の各画素からの電荷信号を出力する水平シフトレジスタに対して増倍レジスタを設け、この増倍レジスタにおいて通常よりも高い電圧で電荷を転送することによって、電荷信号が増倍される。
【０００３】
ここで、例えば蛍光顕微鏡において細胞などの試料に対して蛍光観察を行う場合、試料からの蛍光が微弱で通常の撮像素子では充分な感度で画像を取得することが困難な場合がある。これに対して、上記した電子増倍型ＣＣＤを用いたＥＭ−ＣＣＤカメラは、同じく電子増倍機能を有するＩＣＣＤカメラ、ＥＢ−ＣＣＤカメラ等とともに、そのような微弱光を含む画像を高感度で取得する上で有用である。また、ＥＭ−ＣＣＤカメラは、上記した蛍光観察などの微弱光の測定以外にも、高感度での画像取得が必要とされる様々な分野において、好適に用いることができる（例えば特許文献１〜３参照）。
【特許文献１】特許第３４８３２６１号公報
【特許文献２】特許第３８６２８５０号公報
【特許文献３】特開２００３−２７９４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したＥＭ−ＣＣＤカメラでは、ＣＣＤの各画素において生成された電荷信号を画素毎に増倍するため、イメージインテンシファイアを用いて電子増倍を行うＩＣＣＤカメラ等に比べて空間分解能の点で優れている。一方、低照度でＣＣＤへの入射フォトン数が非常に少ない条件下における画像取得では、ＥＭ−ＣＣＤカメラを用いた場合、その空間分解能の高さのために、画像の視認性が問題となる場合がある。
【０００５】
すなわち、入射フォトンの１個１個を捕らえるような撮像条件において、ＩＣＣＤカメラを用いた場合、電子増倍のゲインを上げると１フォトンの像は複数ピクセルの輝度信号として出力される。一方、ＥＭ−ＣＣＤカメラを用いた場合、電子増倍のゲインを上げても、高い空間分解能のため１フォトンの像は依然として１ピクセルの輝度信号として出力される。この場合、空間分解能はＩＣＣＤカメラより良いものの、取得される画像中での個々のフォトンの像の視認性が問題となる。このような問題は、ＥＭ−ＣＣＤ以外でも、空間分解能が高い撮像素子を用いた場合に一般に生じるものである。
【０００６】
本発明は、以上の問題点を解決するためになされたものであり、低照度で入射フォトン数が少ないなどの条件下においても、良好な視認性を有する画像を取得することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明による撮像装置は、（１）水平方向に配列された所定数の画素からなる画素ラインが垂直方向に複数ライン配列されることで構成された、２次元アレイ状の複数の画素からなる画素構造を有し、各画素において生成された電荷信号を出力する固体撮像素子と、（２）固体撮像素子の各画素からの電荷信号によるアナログ信号を、デジタルのデータ信号へと変換するＡ／Ｄ変換手段と、（３）Ａ／Ｄ変換手段から出力されるデータ信号に対して信号処理を行うデジタル信号処理手段とを備え、デジタル信号処理手段は、（４）Ａ／Ｄ変換手段からデジタル信号処理手段へと入力されたデータ信号を、固体撮像素子での画素ラインに対応して所定数のデータ信号からなるデータ信号列単位で記憶する画像データ記憶手段と、（５）固体撮像素子での複数の画素に対応する複数のデータ信号によって構成される画像データに対して、２以上の整数ｎを膨張係数として設定し、画像データ中の画像成分をｎ×ｎに膨張させるマスク処理を行うマスク処理手段と、（６）画像データ記憶手段でのデータ信号の記憶、及び入出力を制御するとともに、マスク処理手段で設定された膨張係数ｎに対応して、画像データ記憶手段において、固体撮像素子で垂直方向に連続するｎラインの画素ラインに対応するｎ列のデータ信号列がそれぞれ記憶されるｎ個の計算メモリ領域を設定するデータ記憶制御手段とを有することを特徴とする。
【０００８】
上記した撮像装置においては、固体撮像素子からの出力信号に対してデジタル信号処理手段を設け、このデジタル信号処理手段において画像データ中の画像成分に対して膨張処理（dilation処理）を行っている。これにより、空間分解能が高い撮像素子を用いた場合であっても、低照度で入射フォトン数が少ないなどの条件下において、個々のフォトンの像などの画像成分の視認性が良好な画像を取得することが可能となる。また、このような画像成分の膨張処理について、画像取得後に外部装置等で画像処理を行うのではなく、撮像装置内に設けられたデジタル信号処理装置（ＤＳＰ：Digital Signal Processor）などのデジタル信号処理手段でマスク処理を行う構成としている。これにより、リアルタイムでマスク処理を行って、撮像装置からの出力画像データとして、視認性に優れた所望の画像データを取得することができる。
【０００９】
また、撮像装置内のデジタル信号処理手段で画像データに対するマスク処理を行う上記構成において、デジタル信号処理手段内でデータ信号が記憶される画像データ記憶手段について、撮像素子での画素ラインに対応するデータ信号列単位でデータ信号を記憶するとともに、マスク処理の膨張係数ｎに対応してｎ個の計算メモリ領域を設定して、ｎ×ｎの膨張処理に必要となるｎ列のデータ信号列を画像データ記憶手段に記憶させる構成としている。このようなメモリ構成を採用することにより、内部メモリの容量に制約があるＤＳＰなどのデジタル信号処理手段において、画像データに対するマスク処理を好適に実現することが可能となる。
【００１０】
ここで、本撮像装置に用いられる固体撮像素子としては、上述したように、複数の画素の各画素において生成された電荷信号を出力するとともに、電荷信号を増倍する電子増倍部を有する電子増倍型の固体撮像素子を好適に用いることができる。また、それ以外の撮像素子についても、同様に上記構成を適用することが可能である。
【００１１】
また、画像データ記憶手段においてｎ列のデータ信号列を記憶させる具体的な構成については、データ記憶制御手段は、画像データ記憶手段におけるｎ個の計算メモリ領域をリングバッファとし、マスク処理手段によるマスク処理の実行状況に対応して、固体撮像素子での複数ラインの画素ラインに対応する複数列のデータ信号列を、リングバッファであるｎ個の計算メモリ領域に順次記憶させることが好ましい。このように、画像データ記憶手段においてリングバッファを構成することにより、デジタル信号処理手段の内部メモリを効率的に利用して、画像データ記憶手段でのデータ信号の記憶、入出力、及びデータ信号に対するマスク処理を効率的かつ高速で実行することが可能となる。
【００１２】
また、データ記憶制御手段は、画像データ記憶手段において、ｎ個の計算メモリ領域に加えて、ｎ個の計算メモリ領域に記憶されているｎ列のデータ信号列の次に入力されるデータ信号列が記憶される入力バッファメモリ領域を設定することが好ましい。この場合、マスク処理に用いられるｎ列のデータ信号列に対して、その次のマスク処理に必要となるデータ信号列を入力バッファメモリ領域に入力、記憶させることが可能となる。これにより、各データ信号列のデータ信号に対して順次実行されるマスク処理の効率及び処理速度をさらに向上することができる。
【００１３】
この場合、リングバッファの構成については、データ記憶制御手段は、画像データ記憶手段におけるｎ個の計算メモリ領域に入力バッファメモリ領域を加えたｎ＋１個のメモリ領域をリングバッファとし、マスク処理手段によるマスク処理の実行状況に対応して、固体撮像素子での複数ラインの画素ラインに対応する複数列のデータ信号列を、リングバッファであるｎ＋１個のメモリ領域に順次記憶させることが好ましい。
【００１４】
また、デジタル信号処理手段においてマスク処理された後のデータ信号については、データ記憶制御手段は、画像データ記憶手段において、マスク処理手段によるマスク処理後のデータ信号が記憶される出力バッファメモリ領域を設定することが好ましい。
【００１５】
また、上記のようにｎ個の計算メモリ領域に格納されたｎ列のデータ信号列を用いて行われるマスク処理については、具体的には、マスク処理手段は、ｎ個の計算メモリ領域に記憶されているｎ列のデータ信号列で中央のデータ信号列にあるデータ信号を処理対象とし、そのデータ信号を中心としてｎ×ｎの範囲内にあるｎ×ｎ個のデータ信号を参照してマスク処理を行うことが好ましい。これにより、複数列のデータ信号列のそれぞれに対するマスク処理を好適に実行することができる。
【００１６】
また、マスク処理手段は、処理対象となるデータ信号が複数の画素からなる画素構造において最外周に位置する画素に対応するデータ信号である場合に、その外側で画素が存在しない領域に仮想的なデータ信号を付与して、そのデータ信号に対するマスク処理を行うことが好ましい。これにより、画像データでの最外周の画素のデータ信号についても、好適にマスク処理を実行することができる。
【００１７】
また、デジタル信号処理手段において実行される画像処理については、デジタル信号処理手段は、固体撮像素子での複数の画素に対応する複数のデータ信号に対して、所定の輝度値をノイズ除去用の輝度閾値として設定し、輝度閾値以下の輝度値を有するデータ信号をノイズとして除去するノイズ除去手段を有し、マスク処理手段は、ノイズ除去手段で除去されたデータ信号を除くデータ信号を処理対象の画像成分としてｎ×ｎに膨張させるマスク処理を行うことが好ましい。
【００１８】
また、デジタル信号処理手段は、固体撮像素子での複数の画素に対応する複数のデータ信号に対して、所定の輝度値を二値化処理用の輝度閾値として設定し、輝度閾値によってデータ信号を二値化する二値化処理手段を有し、マスク処理手段は、二値化処理手段で二値化されたデータ信号を処理対象の画像成分としてｎ×ｎに膨張させるマスク処理を行うことが好ましい。
【００１９】
また、デジタル信号処理手段は、画像データに対して実行されるマスク処理に関して、マスク処理手段によるマスク処理を実行するマスク処理モードと、マスク処理を実行しない通常処理モードとを切り換えるモード制御手段を有することが好ましい。これにより、例えば実際に画像を取得する際の撮像条件に応じてマスク処理の実行の有無を切り換えるなど、撮像条件に応じた画像取得が可能となる。
【００２０】
また、データ記憶制御手段は、マスク処理手段によるマスク処理後のデータ信号と、マスク処理前のデータ信号との両者が出力されるように、画像データ記憶手段でのデータ信号の出力を制御することとしても良い。この場合、撮像装置を操作する操作者は、必要に応じて、マスク処理前後の両者の画像データを取得することができる。
【発明の効果】
【００２１】
本発明の撮像装置によれば、固体撮像素子からの出力信号に対して設けられたデジタル信号処理手段において画像データ中の画像成分に対して膨張処理を行う構成とし、デジタル信号処理手段内の画像データ記憶手段において、撮像素子での画素ラインに対応するデータ信号列単位でデータ信号を記憶するとともに、マスク処理の膨張係数ｎに対応してｎ個の計算メモリ領域を設定して、ｎ×ｎの膨張処理に必要となるｎ列のデータ信号列を記憶させることにより、低照度で入射フォトン数が少ないなどの条件下においても、良好な視認性を有する画像を取得することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、図面とともに本発明による撮像装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００２３】
図１は、本発明による撮像装置の一実施形態の構成を示すブロック図である。本実施形態による撮像装置１Ａは、固体撮像素子１０を備えている。本撮像素子１０は、水平方向に配列された所定数の画素からなる画素ラインが垂直方向に複数ライン配列されることで構成された、２次元アレイ状の複数の画素からなる画素構造を有し、各画素において生成された電荷信号を出力する固体撮像素子である。
【００２４】
また、このような固体撮像素子１０の例としては、アレイ状に配列された複数の画素を有し、その各画素において光入射量に応じて生成された電荷信号を出力するとともに、電荷信号を増倍する電子増倍部を有して構成された電子増倍型の固体撮像素子を用いることができる。以下においては、主に撮像素子１０として電子増倍型の固体撮像素子（ＥＭ−ＣＣＤ）を用いた場合を例として、撮像装置の構成等について説明する。ただし、本発明の撮像装置に適用される固体撮像素子は、電子増倍型の固体撮像素子に限られるものではない。
【００２５】
図２は、電子増倍型の固体撮像素子の構成の一例を示す模式図である。図２に示す撮像素子１０は、垂直シフトレジスタからなる撮像部１０１及び蓄積部１０２と、水平シフトレジスタ１０３とを有するＦＴ（フレームトランスファー）型ＣＣＤとして構成されている。入射光像による画像の取得に用いられる撮像部１０１は、単位画素１００が複数、２次元アレイ状に配列された構造となっている。
【００２６】
具体的には、撮像部１０１は、水平方向（水平シフトレジスタ１０３における電荷転送方向）に配列された所定数の画素（図２に模式的に示す構成では８個の画素）からなる画素ライン１１０が垂直方向（撮像部１０１の垂直シフトレジスタにおける電荷転送方向）に複数ライン（図２に示す構成では５ライン）配列されることで、２次元アレイ状の画素構造を有して構成されている。
【００２７】
また、蓄積部１０２は、撮像部１０１と同様の２次元画素構造を有しており、撮像部１０１と水平シフトレジスタ１０３との間に設けられている。蓄積部１０２は、不透明な金属などによってマスクされて光像の検出には用いられず、撮像部１０１の各画素１００で生成された電荷の蓄積、及び水平シフトレジスタ１０３への電荷の転送に用いられる。なお、撮像部１０１、蓄積部１０２におけるマトリクス状の画素数は適宜設定して良いが、例えば、５１２画素×５１２ラインの構成を用いることができる。
【００２８】
このような構成を有するＦＴ型ＣＣＤ１０では、まず、撮像部１０１に対して光像が入射されると、複数の画素１００のそれぞれにおいて入射光に対応する電荷が生成されることによって画像取得が行われる。次に、撮像部１０１の各画素１００で生成された電荷信号が蓄積部１０２へと垂直転送され、撮像部１０１で取得された画像データの電荷信号が蓄積部１０２に蓄積される。続いて、蓄積部１０２、及び出力レジスタである水平シフトレジスタ１０３による電荷信号の読み出しが行われる。
【００２９】
また、図２に示した構成例では、水平シフトレジスタ１０３に加えて、電子増倍機能を有する電子増倍部である増倍レジスタ１０５が設けられている。これにより、このＣＣＤ１０は、増倍レジスタ１０５に通常よりも高い電圧を増倍電圧として印加して電荷を転送することで電荷信号を所定の増倍ゲインで増倍することが可能な電子増倍型ＣＣＤ（ＥＭ−ＣＣＤ）の構成となっている。このような構成では、撮像部１０１の各画素１００から水平シフトレジスタ１０３へと転送された電荷信号が、さらに接続レジスタ１０４を介して増倍レジスタ１０５に転送されることにより所定のゲインで増倍され、得られた増倍電荷信号が出力端１０６から画像データとして出力される。
【００３０】
なお、撮像装置１Ａにおいて用いられる電子増倍型の固体撮像素子１０については、その具体的な構造は図２に示したものに限らず、他の構造を用いても良い。例えば、図２においては撮像素子１０として撮像部１０１及び蓄積部１０２を有するＦＴ型ＥＭ−ＣＣＤを例示したが、蓄積部１０２が設けられていないＦＦＴ（フルフレームトランスファー）型ＥＭ−ＣＣＤの構成としても良い。また、固体撮像素子１０としては、上記したように電子増倍機能を有しない他の構成のＣＣＤを用いても良い。
【００３１】
また、図１に示す構成においては、この電子増倍型の固体撮像素子１０に対して、冷却器１２、及び放熱器１４が設けられている。冷却器１２は、撮像素子１０を所定温度まで冷却された状態に保持して暗電流ノイズ等を低減するための冷却手段である。この冷却器１２としては、例えばペルチェ素子などの電子冷却素子を好適に用いることができる。
【００３２】
また、放熱器１４は、冷却器１２の放熱側に接続されており、ファンによる対流、あるいは水の循環などによって放熱を行なう。なお、このような構成において、撮像素子１０及び冷却器１２については、図１中に破線によって模式的に示すように、真空封じきり管１１内に封入された構成とすることが、その冷却性能の向上、取り扱いの容易さなどの点で好ましい。また、冷却器１２については、具体的にはペルチェ素子以外の冷却手段を用いても良い。
【００３３】
図１に示す撮像装置１Ａでは、図２に示した構成の電子増倍型の固体撮像素子１０に対し、信号処理部２０と、Ａ／Ｄ変換部２２と、デジタル信号処理装置（ＤＳＰ）３０と、信号変換部２４とが設けられている。信号処理部２０は、撮像素子１０から出力されたアナログの電荷信号に対して必要な信号処理を行うアナログ信号処理手段である。例えば、この信号処理部２０は、撮像素子１０から出力されたアナログのビデオ信号を直流再生するとともに、後段でのＡ／Ｄ変換に適した振幅となるようにアナログ信号を増幅する。
【００３４】
Ａ／Ｄ変換部２２は、撮像素子１０の各画素からの電荷信号によるアナログ信号を、デジタルのデータ信号へと変換するＡ／Ｄ変換手段である。具体的には、Ａ／Ｄ変換部２２は、撮像素子１０から出力され信号処理部２０において直流再生及び増幅されたアナログビデオ信号を、デジタルのデータ信号であるデジタルビデオ信号に変換する。
【００３５】
ＤＳＰ３０は、Ａ／Ｄ変換部２２から出力されるデータ信号に対して信号処理を行うデジタル信号処理手段である。Ａ／Ｄ変換部２２から出力されたデータ信号は、ＤＳＰ３０において必要な信号処理がされた後、ビデオ信号変換部２４へと入力される。また、信号変換部２４は、画像データであるデジタル信号に対して水平、垂直のビデオ同期信号を付加し、撮像装置１Ａから外部へと出力される出力信号としてのデジタルビデオ信号を生成する。
【００３６】
また、これらの撮像素子１０、信号処理部２０、Ａ／Ｄ変換部２２、ＤＳＰ３０、及び信号変換部２４に対して、撮像装置１Ａではさらに、撮像制御部４０と、タイミング制御部２６と、撮像素子駆動部２８とが設けられている。撮像制御部４０は、撮像制御処理を実行するＣＰＵを有して構成され、ＤＳＰ３０、タイミング制御部２６、撮像素子駆動部２８等の撮像装置１Ａの各部の動作を制御する制御手段である。
【００３７】
タイミング制御部２６は、固体撮像素子１０、及びＡ／Ｄ変換部２２等の動作に必要なタイミング信号を生成して出力する。また、撮像素子駆動部２８は、電子増倍型の固体撮像素子１０を駆動制御する。具体的には、撮像素子駆動部２８は、タイミング制御部２６からのタイミング信号、及び必要があれば撮像制御部４０からの指示信号を参照し、撮像部１０１、蓄積部１０２、及び各レジスタ１０３、１０４、１０５での電荷転送の制御、及び増倍レジスタ１０５に対する電圧印加条件等の増倍条件の制御等を行う。また、撮像装置１Ａの各部の動作に必要な電圧は、電源部５０から供給されている。
【００３８】
本実施形態による撮像装置１Ａの構成についてさらに説明する。図３は、図１に示した撮像装置１ＡにおけるＤＳＰ（デジタル信号処理装置）３０及び撮像制御部４０の具体的な構成の一例を示すブロック図である。図３に示す構成においては、ＤＳＰ３０は、入力信号処理部３１と、画像データ記憶部３２と、データ処理制御部３３とを含んで構成されている。このようなＤＳＰ３０は、例えばデータ処理制御部３３の機能を実現するＤＳＰコア、プログラムメモリ、画像データ記憶部３２として機能するデータメモリ、及び信号の入力、出力に必要な入出力ポート等から構成される。なお、ＤＳＰ３０の構成については、具体的には様々な構成を用いて良い。
【００３９】
画像データ記憶部３２は、Ａ／Ｄ変換部２２からＤＳＰ３０へと入力されたデータ信号を、固体撮像素子１０での画素ラインに対応して所定数のデータ信号からなるデータ信号列単位で記憶する画像データ記憶手段である。このＤＳＰ３０において、ＤＳＰ３０へと入力されたデジタル信号は、入力信号処理部３１において必要な信号処理がなされた後、画像データ記憶部３２に記憶され、後段の信号変換部２４へと出力される。入力信号処理部３１において実行される信号処理としては、例えば通常画像からのノイズ除去の処理がある。また、このような入力信号処理部３１については、不要であれば設けない構成としても良い。
【００４０】
データ処理制御部３３は、入力信号処理部３１での信号処理動作、及び画像データ記憶部３２での画像データの記憶動作、入出力動作等を制御する。また、このデータ処理制御部３３は、必要に応じて画像データ記憶部３２に記憶されている画像データのデータ信号に対して所定の画像処理を行う。
【００４１】
本実施形態の撮像装置１Ａでは、ＤＳＰ３０は、画像データ記憶部３２に記憶される画像データのデータ信号に対して、画像成分の膨張処理を含むマスク処理を行うことが可能に構成されている。図３に示す構成例のＤＳＰ３０では、データ信号に対してマスク処理等の画像処理を行うため、データ処理制御部３３において、マスク処理部３４と、ノイズ除去部３５と、二値化処理部３６と、データ記憶制御部３７とが設けられている。
【００４２】
マスク処理部３４は、固体撮像素子１０によって取得される画像データに対して、画像中に含まれる画像成分の拡大、膨張処理（dilation処理）を行うマスク処理手段である。具体的には、マスク処理部３４は、撮像素子１０の撮像部１０１における複数の画素１００（図２参照）に対応する複数のデータ信号（例えば、５１２画素×５１２ライン分のデータ信号）を処理対象とし、複数のデータ信号によって構成される画像データに対して、２以上の整数ｎを膨張係数として設定する。そして、この膨張係数ｎを参照し、画像データ中の画像成分をｎ×ｎに膨張させるマスク処理を実行する。
【００４３】
図４及び図５は、マスク処理部３４において実行される画像データに対するマスク処理の具体的な例を示す模式図である。図４の処理例（ａ）は膨張係数をｎ＝３に設定した場合のマスク処理の例であり、画素Ｐ０でのデータ信号による画像成分を、画素Ｐ０を中心とした３×３の画素領域Ｐ１に膨張させるマスク処理を示している。また、図５の処理例（ａ）は膨張係数をｎ＝５に設定した場合のマスク処理の例であり、画素Ｐ０でのデータ信号による画像成分を、画素Ｐ０を中心とした５×５の画素領域Ｐ２に膨張させるマスク処理を示している。
【００４４】
また、画像データに対してこのようなマスク処理を行った場合、画素Ｐ０での輝度データがｎ×ｎの画素領域へと空間的に広がることにより、そのゲイン（デジタルゲイン）が上がることになる。図４（ａ）に示した３×３のマスク処理では、その膨張ゲインは３×３＝９となる。また、図５（ａ）に示した５×５のマスク処理では、その膨張ゲインは５×５＝２５となる。
【００４５】
データ記憶制御部３７は、画像データ記憶部３２でのデータ信号の記憶、及び入出力を制御するデータ記憶制御手段である。図６は、データ記憶制御部３７による画像データ記憶部３２でのデータ信号の記憶の制御方法の具体的な一例を示す図である。図６に示す構成例では、データ記憶制御部３７は、マスク処理部３４で設定されたマスク処理の膨張係数ｎに対応して、画像データ記憶部３２において、撮像素子１０で垂直方向に連続するｎラインの画素ラインに対応するｎ列のデータ信号列がそれぞれ記憶されるｎ個の計算メモリ領域Ａ１〜Ａｎを設定している。
【００４６】
また、本構成例では、データ記憶制御部３７は、画像データ記憶部３２において、上記したｎ個の計算メモリ領域Ａ１〜Ａｎに加えて、計算メモリ領域Ａ１〜Ａｎに記憶されているｎ列のデータ信号列の次に入力されたデータ信号列が記憶される入力バッファメモリ領域Ａ０と、マスク処理部３４によるマスク処理後のデータ信号が記憶される出力バッファメモリ領域Ａｘとを設定している。
【００４７】
マスク処理部３４は、画像データ記憶部３２のｎ個の計算メモリ領域Ａ１〜Ａｎに記憶されているｎ列のデータ信号列において、中央のデータ信号列にあるデータ信号を処理対象とし、そのデータ信号を中心としてｎ×ｎの範囲内にあるｎ×ｎ個のデータ信号を参照して、画像成分を膨張させるマスク処理を行う。ここで、図７は、計算メモリ領域Ａ１〜Ａｎに記憶されたデータ信号列に対して行われるマスク処理について示す図である。
【００４８】
図７の処理例（ａ）は、膨張係数をｎ＝３に設定した場合について、３個の計算メモリ領域Ａ１〜Ａ３が設定され、それらのメモリ領域において画素ライン１〜３に対応する３列のデータ信号列が記憶されている例を示している。この場合、マスク処理部３４は、ライン１〜３の中央に位置するライン２に対応するデータ信号列にある画素Ｐ５のデータ信号を処理対象とし、そのデータ信号を中心として３×３の範囲内にある画素領域Ｐ６の３×３個のデータ信号を参照してマスク処理を行う。
【００４９】
例えば、図４の処理例（ａ）に示したマスク処理を行う場合、マスク処理部３４は、画素領域Ｐ６の３×３＝９個のデータ信号を足し合わせたものを画素Ｐ５についてのマスク処理後のデータ信号とし、得られたマスク処理後のデータ信号を出力バッファメモリ領域Ａｘに書き込む。このようなマスク処理がデータ信号列の全画素について実行されることにより、そのデータ信号列に対応する画素ラインの画像データがマスク処理される。
【００５０】
図７の処理例（ｂ）は、膨張係数をｎ＝５に設定した場合について、５個の計算メモリ領域Ａ１〜Ａ５が設定され、それらのメモリ領域において画素ライン１〜５に対応する５列のデータ信号列が記憶されている例を示している。この場合、マスク処理部３４は、ライン１〜５の中央に位置するライン３に対応するデータ信号列にある画素Ｐ５のデータ信号を処理対象とし、そのデータ信号を中心として５×５の範囲内にある画素領域Ｐ７の５×５個のデータ信号を参照してマスク処理を行う。
【００５１】
例えば、図５の処理例（ａ）に示したマスク処理を行う場合、マスク処理部３４は、画素領域Ｐ７の５×５＝２５個のデータ信号を足し合わせたものを画素Ｐ５についてのマスク処理後のデータ信号とし、得られたマスク処理後のデータ信号を出力バッファメモリ領域Ａｘに書き込む。このようなマスク処理がデータ信号列の全画素について実行されることにより、そのデータ信号列に対応する画素ラインの画像データがマスク処理される。
【００５２】
図３に示した構成のＤＳＰ３０では、データ処理制御部３３において、画像データ中の画像成分に対して膨張処理を行うマスク処理部３４に対して、さらにノイズ除去部３５、及び二値化処理部３６が設けられている。
【００５３】
ノイズ除去部３５は、撮像素子１０での複数の画素に対応する複数の輝度データ信号に対して、所定の輝度値をノイズ除去用の輝度閾値として設定し、輝度閾値以下の輝度値を有するデータ信号をノイズとして除去するノイズ除去手段である。この場合のノイズ除去方法としては、例えば、輝度閾値以下の輝度値を有するデータ信号について、その輝度値を０とする処理方法を用いることができる。
【００５４】
また、このようにノイズ除去部３５によってノイズ除去処理が行われる場合、マスク処理部３４は、ノイズ除去部３５で除去されたデータ信号を除くデータ信号を処理対象の画像成分としてｎ×ｎに膨張させるマスク処理を行うことが好ましい。例えば、上記のように輝度閾値以下の輝度値を０とする処理方法を用いた場合、それによってそのデータ信号は、マスク処理の処理対象の画像成分から除外される。
【００５５】
二値化処理部３６は、撮像素子１０での複数の画素に対応する複数の輝度データ信号に対して、所定の輝度値を二値化処理用の輝度閾値として設定し、輝度閾値によってデータ信号を二値化する二値化処理手段である。この場合の二値化処理方法としては、例えば、輝度閾値以下の輝度値を有するデータ信号を画像成分無しとし、輝度閾値よりも大きい輝度値を有するデータ信号を画像成分有りとする処理方法を用いることができる。
【００５６】
また、このように二値化処理部３６によって二値化処理が行われる場合、マスク処理部３４は、二値化処理部３６で二値化されたデータ信号を処理対象の画像成分としてｎ×ｎに膨張させるマスク処理を行うことが好ましい。なお、これらのノイズ除去部３５、及び二値化処理部３６については、不要であれば設けない構成としても良い。
【００５７】
本実施形態の撮像装置１Ａでは、上記のようにマスク処理部３４で行われる画像データのマスク処理について、画像データに対する撮像モードとして、マスク処理部３４によるマスク処理を実行するマスク処理モードと、マスク処理を実行しない通常処理モードとの２つの動作モードが用意されている。データ処理制御部３３には、これらのモードに対応してモード制御部３８が設けられており、このモード制御部３８によって撮像モードの設定、切換が制御されている。
【００５８】
このような構成のデジタル信号処理装置３０に対して、撮像制御部４０は、マスク条件指示部４１と、モード指示部４２とを有して構成されている。モード指示部４２は、ＤＳＰ３０のモード制御部３８に対して、上記したマスク処理モード、及び通常処理モードの設定、切換を指示する。このような撮像モードの設定、切換は、例えば、撮像モード設定ボタン等による操作者からの指示によって行われる。
【００５９】
マスク条件指示部４１は、ＤＳＰ３０のマスク処理部３４に対して、マスク処理部３４で実行されるマスク処理の条件等を指示する。例えば、マスク処理部３４においてマスク処理の膨張係数ｎが変更可能となっている場合には、マスク条件指示部４１は、マスク処理部３４に対して膨張係数ｎの設定、変更を指示する。
【００６０】
上記実施形態による撮像装置の効果について説明する。
【００６１】
図１〜図３に示した撮像装置１Ａにおいては、固体撮像素子１０からの出力信号に対してＤＳＰ３０を設け、このＤＳＰ３０において画像データ中の画像成分に対して膨張処理（dilation処理）を行っている。これにより、撮像素子１０として空間分解能が高い撮像素子を用いた場合であっても、低照度で入射フォトン数が少ないなどの条件下において、個々のフォトンの像などの画像成分の視認性が良好な画像を取得することが可能となる。
【００６２】
また、上記構成では、このような画像成分の膨張処理について、画像取得後に撮像装置１Ａから出力された画像データに対して外部装置等で画像処理を行うのではなく、撮像装置１Ａ内に設けられたＤＳＰ３０などのデジタル信号処理手段においてマスク処理を行っている。これにより、マスク処理をリアルタイムで逐次的に行って、撮像装置１Ａからの出力画像データとして、視認性に優れた所望の画像データを取得することができる。
【００６３】
また、撮像装置１Ａ内のＤＳＰ３０などのデジタル信号処理手段で画像データに対するマスク処理を行う上記構成において、ＤＳＰ３０内でデータ信号が記憶される画像データ記憶部３２について、撮像素子１０での画素ラインに対応するデータ信号列単位でデータ信号を記憶するとともに、図６に示したように、マスク処理の膨張係数ｎに対応してｎ個の計算メモリ領域Ａ１〜Ａｎを設定して、ｎ×ｎの膨張処理に必要となるｎ列のデータ信号列を画像データ記憶部３２に記憶させる構成としている。このようなメモリ構成を採用することにより、内部メモリの容量に制約があるＤＳＰ３０などのデジタル信号処理手段において、画像データに対するマスク処理を好適に実現することが可能となる。
【００６４】
また、上記実施形態の撮像装置１Ａでは、ＤＳＰ３０において、画像データに対して実行されるマスク処理に関して、マスク処理部３４によるマスク処理を実行するマスク処理モードと、マスク処理を実行しない通常処理モードとを切り換えるモード制御部３８を設けている。これにより、例えば実際に画像を取得する際の撮像条件に応じてマスク処理の実行の有無を切り換えるなど、撮像条件に応じた画像取得が可能となる。
【００６５】
ＤＳＰ３０からのデータ信号の出力については、マスク処理モードが選択されている場合には、マスク処理後のデータ信号のみを出力する構成とすることができる。あるいは、データ記憶制御部３７は、マスク処理部３４によるマスク処理後のデータ信号と、マスク処理前のデータ信号との両者が外部に出力されるように、画像データ記憶部３２でのデータ信号の出力を制御することとしても良い。この場合、撮像装置１Ａを操作して画像取得を行う操作者は、必要に応じて、マスク処理前後の両者の画像データを取得、参照することができる。
【００６６】
また、ＤＳＰ３０においてマスク処理された後のデータ信号については、図６に示したように、データ記憶制御部３７は、画像データ記憶部３２において、マスク処理部３４によるマスク処理後のデータ信号が記憶される出力バッファメモリ領域Ａｘを設定することが好ましい。これにより、マスク処理後のデータ信号の保持、及び外部への出力を好適に実現することができる。
【００６７】
また、上記実施形態の撮像装置１Ａでは、ＤＳＰ３０において、撮像素子１０での複数の画素に対応する複数のデータ信号に対して、ノイズ除去処理を行うノイズ除去部３５、及び二値化処理を行う二値化処理部３６を設けている。このような構成は、例えば、低照度で入射フォトン数が少ない条件下で取得された画像データの処理等において有効に適用することができる。この場合、具体的には例えば、画像データの各画素のデータ信号に対してノイズ除去処理、及び二値化処理を行い、フォトンが入射したと判断される画素のデータ信号を輝度１とし、入射していないと判断される画素のデータ信号を輝度０とする処理が考えられる。
【００６８】
なお、このようなノイズ除去部３５、及び二値化処理部３６については、不要であれば設けない構成としても良い。また、ノイズ除去及び二値化処理を、データ処理制御部３３ではなく、入力信号処理部３１において行う構成としても良い。また、ノイズ除去用、二値化処理用の輝度閾値等の設定については、例えば事前にノイズ画像等を取得し、その輝度分布を参照して閾値を設定する方法を用いることができる。また、上記のように撮像素子１０として電子増倍型の固体撮像素子を用いている場合には、撮像素子１０に対して設定されている電荷信号の増倍ゲインに応じて、ノイズ除去、二値化処理での輝度閾値を設定することが好ましい。
【００６９】
上記構成の撮像装置１Ａに用いられる固体撮像素子としては、図２に示したように、複数の画素１００の各画素において生成された電荷信号を出力するとともに、電荷信号を増倍する電子増倍部を有する電子増倍型の固体撮像素子（ＥＭ−ＣＣＤ）を好適に用いることができる。すなわち、ＥＭ−ＣＣＤを用いた撮像装置では、電子増倍のゲインを上げても、高い空間分解能のため１フォトンの像は依然として１ピクセルの輝度信号として出力される。これに対して、ＥＭ−ＣＣＤで取得された画像データに対して、上記したようにマスク処理を実行することにより、個々のフォトンの像の視認性が良い画像が得られる。また、このようなマスク処理は、ＥＭ−ＣＣＤ以外の撮像素子についても、同様に適用することが可能である。
【００７０】
画像データに対してマスク処理を実行することによる個々のフォトンの像の視認性の向上効果について説明する。図８は、画像データに対するマスク処理の適用の一例を模式的に示す図である。この図８では、複数のフォトンの像を含む画像（ａ）に対して膨張係数をｎ＝３としてマスク処理を行って、画像（ｂ）を生成した例を示している。
【００７１】
図８において、マスク処理前の画像（ａ）では、画素にフォトンが入射したことを示す輝度１のデータ信号が画像中に点在している。このような画像データでは、１画素が微細であるために、１フォトンの像が画像中で視認しにくくなる場合がある。これに対して、マスク処理後の画像（ｂ）では、３×３で膨張ゲインが９の膨張処理を行うことによって個々のフォトンの視認性が向上していることがわかる。
【００７２】
また、この画像（ｂ）では、画像（ａ）内で輝度１のデータ信号の密度が高い右側の領域において、輝度１（白）の画像成分のみでなく、膨張処理された画像成分同士が部分的に重なることにより、輝度２（斜線）の画像成分、及び輝度３（黒）の画像成分が生成されている。すなわち、図８の画像（ｂ）では、画像（ａ）での輝度１のデータ信号の密度の情報が、輝度１〜３の輝度分布情報に変換されている。また、このような効果は、５×５で膨張ゲインが２５の膨張処理を行った場合にも同様に得られる。
【００７３】
このように、撮像素子１０で取得された画像データに対してｎ×ｎのマスク処理を行うことにより、低照度で入射フォトン数が少ない条件下で取得された画像データにおいて、１フォトンに対応する個々の画像成分の連続性、あるいは密集性等の情報を視認性良く取得することができる。図９及び図１０は、画像データに対するマスク処理の適用の他の例を模式的に示す図である。この例では、図９に示すマスク処理前で輝度１のデータ信号が点在している画像に対し、３×３の膨張処理を行った図１０の画像（ａ）では、データ信号の連続性についての情報が得られている。また、５×５の膨張処理を行った図１０の画像（ｂ）では、画像中での輝度分布によってデータ信号の密集性についての情報が得られている。
【００７４】
図１１は、画像データに対するマスク処理の適用の他の例を示す図である。図１１は、入射フォトン量が少ない微弱光像の画像を取得するフォトンイメージングについて、マスク処理前の画像（ａ）、３×３のマスク処理後の画像（ｂ）、及び５×５のマスク処理後の画像（ｃ）を示している。これらの画像（ａ）〜（ｃ）においても、画像データに対してマスク処理を実行することで、微弱光像について取得された画像の視認性が向上していることがわかる。
【００７５】
次に、マスク処理部３４において画像データに対して実行されるマスク処理についてさらに説明する。
【００７６】
画像データに対するマスク処理の実行の有無、及びマスク処理における膨張係数ｎについては、画像取得の対象物の特性、及び具体的な撮像条件等を考慮して適宜設定、あるいは変更することが好ましい。例えば、画像取得の対象物において発光個所のサイズがあらかじめわかっている場合には、その発光個所のサイズに対応して膨張係数ｎを設定することができる。また、一般に、マスク処理の対称性の点から、上記したｎ＝３、５の例のように膨張係数ｎを３以上の奇数とすることが好ましい。
【００７７】
また、マスク処理に関しては、マスク処理部３４において、マスク処理の膨張係数ｎが変更可能であることが好ましい。これにより、画像取得の対象物、及び撮像条件等に応じてマスク処理の膨張係数ｎを設定、あるいは切り換えることが可能となる。この場合、操作者からの入力等に基づき、撮像制御部４０のマスク条件指示部４１から、ＤＳＰ３０のマスク処理部３４に対して膨張係数ｎの設定、切換が指示される。
【００７８】
また、画像データ中の画像成分をｎ×ｎに膨張させるマスク処理については、具体的には図４の処理例（ａ）、及び図５の処理例（ａ）に示したようにｎ×ｎの全画素について重み付け１とする単純な膨張処理に限らず、様々な膨張処理方法を用いることが可能である。例えば、３×３の膨張処理について、図４の処理例（ｂ）では、中央の１個の画素を重み付け２、その周囲の８個の画素を重み付け１とした場合の膨張処理を示している。
【００７９】
また、５×５の膨張処理について、図５の処理例（ｂ）では、５×５で２５個の画素のうちで４隅に位置する４個の画素について重み付け０として膨張処理の対象から除外し、その他の２１個の画素を重み付け１とした場合の膨張処理を示している。また、図５の処理例（ｃ）では、上記の処理例（ｂ）に対してさらに、中央の１個の画素を重み付け３、その周囲の８個の画素を重み付け２とした場合の膨張処理を示している。なお、先に説明した図１０の画像（ｂ）においては、図５（ｂ）に示した膨張処理方法を用いている。
【００８０】
また、画像データに対してこのようなマスク処理を行った場合、上述したように、輝度データが空間的に広がることにより、一定の膨張ゲインが生じる。この膨張ゲインについては、２進法の場合には膨張ゲインが２の倍数、１０進法の場合には膨張ゲインが５の倍数または１０の倍数となるように膨張処理のマスクパターンを設定することが、マスク処理の演算等を簡単化する上で好ましい。
【００８１】
例えば、図４に示す３×３の処理例（ａ）では、マスク処理の膨張ゲインは９倍であるが、処理例（ｂ）のようにマスクパターンを重み付けすることにより、膨張ゲインを１０の倍数の１０倍とすることができる。また、図１２に示す５×５の処理例（ａ）では（図５に示す処理例（ｃ）と同様の処理）、マスク処理の膨張ゲインは３１倍であるが、処理例（ｂ）のように中央の画素の重み付けを２とすることにより、膨張ゲインを１０の倍数の３０倍とすることができる。
【００８２】
また、上記実施形態による撮像装置１Ａでは、図７に関して上述したように、マスク処理部３４は、画像データ記憶部３２のｎ個の計算メモリ領域Ａ１〜Ａｎに記憶されているｎ列のデータ信号列において、中央のデータ信号列にあるデータ信号を処理対象とし、そのデータ信号を中心としてｎ×ｎの範囲内にあるｎ×ｎ個のデータ信号を参照して、画像成分を膨張させるマスク処理を行うことが好ましい。これにより、複数列のデータ信号列のそれぞれに対するマスク処理を好適に実行することができる。
【００８３】
また、このようなマスク処理において、処理対象となるデータ信号が、複数の画素からなる撮像素子１０の画素構造で最外周に位置する画素に対応するデータ信号である場合、マスク処理部３４は、対象となっている画素の外側で画素が存在しない領域に仮想的なデータ信号を付与して、そのデータ信号に対するマスク処理を行うことが好ましい。これにより、画像データでの最外周の画素のデータ信号についても、好適にマスク処理を実行することができる。
【００８４】
最外周の画素のデータ信号に対するマスク処理について、マスク処理を３×３の膨張処理として具体的に説明する。図１３（ａ）に示すように、撮像素子１０における２次元アレイ状の画素構造による撮像領域２００で隅部に位置する画素（黒で示す）２０１では、膨張処理で参照される周囲の８個の画素のうち５個は、画素が存在しない撮像領域外となってデータ信号が存在しない。また、撮像領域２００で上下左右のいずれかの辺部に位置する画素においても、同様に周囲の８個の画素のうち３個は撮像領域外となる。したがって、図１３（ａ）中で破線で示した最外周領域２０２内にある画素については、撮像領域２００の外側においてマスク処理に必要なデータ信号が存在しないこととなる。
【００８５】
これに対して、図１３（ｂ）に示すように、撮像領域２００の最外周領域２０２の外側に、撮像領域２００を囲む複数の仮想的な画素からなる仮想領域（斜線で示す）２０５を設定し、この仮想領域２０５内の仮想画素のそれぞれに仮想的なデータ信号を付与する。このような仮想的なデータ信号を用いることにより、撮像領域２００で最外周に位置する画素のデータ信号についても、他の画素と同様に好適にマスク処理を実行することが可能となる。
【００８６】
仮想領域２０５内の仮想的な画素に対するデータ信号の付与方法の例としては、図１４中の実線のグラフＡに模式的に示すように、最外周の画素０のデータ信号をコピーした値を外側の仮想的な画素＋１での仮想データ信号とする方法を用いることができる。あるいは、図１４中の破線のグラフＢに模式的に示すように、最外周の画素０のデータ信号に加えて、その内側の画素−１、−２のデータ信号を参照し、それらのデータ信号から外挿した値を仮想的な画素＋１での仮想データ信号とする方法を用いることができる。
【００８７】
なお、このように仮想的なデータ信号を付与する仮想領域２０５の範囲については、具体的なマスク処理の方法に応じて設定する必要がある。例えば、図１３（ｂ）に示した例では、マスク処理として３×３の膨張処理を想定していることに対応して、撮像領域２００の外側で１画素分（１周分）の領域を仮想領域２０５として仮想データ信号を付与している。これに対して、マスク処理として５×５の膨張処理を想定した場合には、撮像領域２００の外側で２画素分（２周分）の領域を仮想領域２０５として仮想データ信号を付与する必要がある。
【００８８】
次に、データ記憶制御部３７による画像データ記憶部３２でのデータ信号の記憶の制御方法についてさらに説明する。
【００８９】
上記実施形態による撮像装置１Ａでは、図６に示したように、撮像素子１０からの出力信号に対して設けられたＤＳＰ３０で膨張処理を行う上記構成において、ＤＳＰ３０内でデータ信号が記憶される画像データ記憶部３２について、撮像素子１０での画素ラインに対応するデータ信号列単位でデータ信号を記憶するとともに、マスク処理の膨張係数ｎに対応してｎ個の計算メモリ領域Ａ１〜Ａｎを設定している。これにより、ＤＳＰ３０などのデジタル信号処理手段において、画像データに対するマスク処理を好適に実現することが可能となる。
【００９０】
詳述すると、ＤＳＰ３０において内部メモリの容量が充分にあり、撮像素子１０で取得される画像データの全てのデータ信号、すなわち２次元アレイ状の複数の画素からなる撮像領域３００（図１５参照）の全体についての画像１フレーム分のデータ信号を内部メモリに記憶させることが可能であれば、マスク処理の実行時においてその画像データから必要なデータ信号を読み出してマスク処理を行うことができる。
【００９１】
例えば、図１５に示す撮像領域３００では、膨張係数をｎ＝３とした場合に、画素ライン１〜３の画素ブロック３０１、画素ラインｋ−１〜ｋ＋１の画素ブロック３０２、及び画素ラインｍ−２〜ｍの画素ブロック３０３の３個所の画素ブロックを例示したように、垂直方向に連続する３ラインの画素ラインからなる画素ブロックに対応する３列のデータ信号列を順次読み出すことにより、３×３のマスク処理を実行することができる。一方、ＤＳＰ３０では、その構成のために通常、内部メモリの容量に制約があり、画像１フレーム分のデータ信号を全て内部メモリに記憶させることは難しい。
【００９２】
これに対して、上記したように膨張係数ｎに対応してｎ個の計算メモリ領域Ａ１〜Ａｎを確保する構成とすることにより、ｎ×ｎの膨張処理に必要となるｎ列分のデータ信号列をＤＳＰ３０の画像データ記憶部３２での計算メモリ領域Ａ１〜Ａｎに記憶させて、ＤＳＰ３０内で実行される画像データに対するマスク処理を好適かつ確実に実現することが可能となる。
【００９３】
このような構成では、データ記憶制御部３７は、画像データ記憶部３２におけるｎ個の計算メモリ領域Ａ１〜Ａｎをリングバッファとし、マスク処理部３４によるマスク処理の実行状況に対応して、撮像素子１０での複数ラインの画素ラインに対応する複数列のデータ信号列を、リングバッファである計算メモリ領域Ａ１〜Ａｎに順次記憶させることが好ましい。このように、画像データ記憶部３２においてメモリ領域Ａ１〜Ａｎによってリングバッファを構成することにより、ＤＳＰ３０の内部メモリを効率的に利用して、画像データ記憶部３２でのデータ信号の記憶、入出力、及びデータ信号に対するマスク処理を効率的かつ高速で実行することが可能となる。
【００９４】
図１６は、膨張係数をｎ＝３に設定した場合における画像データ記憶部３２でのデータ信号の記憶の制御方法の例を示す図である。この場合、計算メモリ領域としては、３個の計算メモリ領域Ａ１〜Ａ３が設定される。
【００９５】
まず、図１６（ａ）においては、計算メモリ領域Ａ１〜Ａ３に画素ライン１、２、３のデータ信号列が記憶されている。そして、これらのデータ信号列が領域Ａ１に記憶されたライン１のデータ信号列、領域Ａ２に記憶されたライン２のデータ信号列、領域Ａ３に記憶されたライン３のデータ信号列の順でマスク処理のサブルーチンに引き渡されて、中央の画素ライン２のデータ信号列にあるデータ信号に対するマスク処理が行われる。
【００９６】
次に、図１６（ｂ）においては、画素ライン１のデータ信号列が記憶されていた計算メモリ領域Ａ１に次の画素ライン４のデータ信号列が書き込まれ、計算メモリ領域Ａ１〜Ａ３に画素ライン４、２、３のデータ信号列が記憶された状態となる。そして、これらのデータ信号列が領域Ａ２に記憶されたライン２のデータ信号列、領域Ａ３に記憶されたライン３のデータ信号列、領域Ａ１に記憶されたライン４のデータ信号列の順でマスク処理のサブルーチンに引き渡されて、中央の画素ライン３のデータ信号列にあるデータ信号に対するマスク処理が行われる。
【００９７】
続いて、図１６（ｃ）においては、画素ライン２のデータ信号列が記憶されていた計算メモリ領域Ａ２に次の画素ライン５のデータ信号列が書き込まれ、計算メモリ領域Ａ１〜Ａ３に画素ライン４、５、３のデータ信号列が記憶された状態となる。そして、これらのデータ信号列が領域Ａ３に記憶されたライン３のデータ信号列、領域Ａ１に記憶されたライン４のデータ信号列、領域Ａ２に記憶されたライン５のデータ信号列の順でマスク処理のサブルーチンに引き渡されて、中央の画素ライン４のデータ信号列にあるデータ信号に対するマスク処理が行われる。
【００９８】
また、画像データ記憶部３２でのメモリ領域の構成については、図６に示したように、データ記憶制御部３７は、画像データ記憶部３２において、ｎ個の計算メモリ領域Ａ１〜Ａｎに加えて、計算メモリ領域Ａ１〜Ａｎに記憶されているｎ列のデータ信号列の次に入力されるデータ信号列が記憶される入力バッファメモリ領域Ａ０を設定することが好ましい。この場合、マスク処理に用いられるｎ列のデータ信号列に対して、その次のマスク処理に必要となるデータ信号列を入力バッファメモリ領域Ａ０に入力、記憶させることが可能となる。これにより、各データ信号列のデータ信号に対して順次実行されるマスク処理の効率及び処理速度をさらに向上することができる。
【００９９】
このような構成では、データ記憶制御部３７は、画像データ記憶部３２におけるｎ個の計算メモリ領域Ａ１〜Ａｎに入力バッファメモリ領域Ａ０を加えたｎ＋１個のメモリ領域Ａ０〜Ａｎをリングバッファとし、マスク処理部３４によるマスク処理の実行状況に対応して、撮像素子１０での複数ラインの画素ラインに対応する複数列のデータ信号列を、リングバッファであるｎ＋１個のメモリ領域Ａ０〜Ａｎに順次記憶させることが好ましい。このように、入力バッファメモリ領域を固定せずにｎ＋１個のメモリ領域でリングバッファを構成することにより、入力バッファメモリ領域から計算メモリ領域へのデータの書き写しが不要となり、画像データ記憶部３２でのデータ信号の記憶、入出力等の動作速度をさらに向上することができる。
【０１００】
図１７は、計算メモリ領域Ａ１〜Ａｎに入力バッファメモリ領域Ａ０を加えたｎ＋１個のメモリ領域Ａ０〜Ａｎが設定された場合における画像データ記憶部３２でのデータ信号の記憶の制御方法の例を示す図である。この制御方法は、図６に示したメモリ構成に対応するものである。
【０１０１】
まず、図１７（ａ）においては、メモリ領域Ａ１〜Ａｎに画素ライン１〜ｎのデータ信号列が記憶されている。また、メモリ領域Ａ０が入力バッファメモリ領域となっており、画素ライン１〜ｎのデータ信号列を用いたマスク処理が実行されている間に、このメモリ領域Ａ０に次の画素ラインｎ＋１のデータ信号列が入力される。
【０１０２】
次に、図１７（ｂ）においては、メモリ領域Ａ２〜Ａｎ、Ａ０に画素ライン２〜ｎ＋１のデータ信号列が記憶されている。また、メモリ領域Ａ１が入力バッファメモリ領域となっており、画素ライン２〜ｎ＋１のデータ信号列を用いたマスク処理が実行されている間に、このメモリ領域Ａ１に次の画素ラインｎ＋２のデータ信号列が入力される。
【０１０３】
このような記憶動作を繰り返し、図１７（ｃ）においては、メモリ領域Ａ０〜Ａｎ−１に画素ラインｎ＋１〜２ｎのデータ信号列が記憶されている。また、メモリ領域Ａｎが入力バッファメモリ領域となっており、画素ラインｎ＋１〜２ｎのデータ信号列を用いたマスク処理が実行されている間に、このメモリ領域Ａｎに次の画素ライン２ｎ＋１のデータ信号列が入力される。
【０１０４】
次に、図１７（ｄ）においては、メモリ領域Ａ１〜Ａｎに画素ラインｎ＋２〜２ｎ＋１のデータ信号列が記憶されている。また、メモリ領域Ａ０が入力バッファメモリ領域となっており、画素ラインｎ＋２〜２ｎ＋１のデータ信号列を用いたマスク処理が実行されている間に、このメモリ領域Ａ０に次の画素ライン２ｎ＋２のデータ信号列が入力される。
【０１０５】
このように、画像データ記憶部３２においてリングバッファを構成することにより、画像データ記憶部３２でのデータ信号の記憶、入出力、及びデータ信号に対するマスク処理を効率的に実行することが可能となる。また、このようなリングバッファにおいて、計算メモリ領域Ａ１〜Ａｎに加えて入力バッファメモリ領域Ａ０を設けることにより、マスク処理に用いられるｎ列のデータ信号列に対して、その次のマスク処理に必要となるデータ信号列をマスク処理の実行と並行して入力バッファメモリ領域Ａ０に入力、記憶させることが可能となる。これにより、各データ信号列に対して順次実行されるマスク処理の処理速度をさらに向上することができる。
【０１０６】
本発明による撮像装置は、上記実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、画像データの各データ信号に対するｎ×ｎの膨張処理の具体的な方法については、図４、図５、及び図１２に示した例に限らず、処理対象となる画像データの特性、種類等に応じて様々なマスク処理方法を用いて良い。また、撮像装置に適用される固体撮像素子については、上記したＥＭ−ＣＣＤに限らず、様々な固体撮像素子を用いて良い。また、デジタル信号処理装置（ＤＳＰ）については、広義にデジタル信号を処理可能に構成されたものをいい、具体的には様々な構成のものを用いて良い。
【産業上の利用可能性】
【０１０７】
本発明は、低照度で入射フォトン数が少ないなどの条件下においても、良好な視認性を有する画像を取得することが可能な撮像装置として利用可能である。
【図面の簡単な説明】
【０１０８】
【図１】撮像装置の一実施形態の構成を示すブロック図である。
【図２】電子増倍型の固体撮像素子の構成の一例を示す模式図である。
【図３】撮像装置におけるＤＳＰ及び撮像制御部の構成を示すブロック図である。
【図４】画像データに対するマスク処理の具体的な例を示す模式図である。
【図５】画像データに対するマスク処理の具体的な例を示す模式図である。
【図６】画像データ記憶部でのデータ信号の記憶の制御方法の例を示す図である。
【図７】計算メモリ領域に記憶されたデータ信号列に対して行われるマスク処理について示す図である。
【図８】画像データに対するマスク処理の適用の一例を示す図である。
【図９】画像データに対するマスク処理の適用の他の例を示す図である。
【図１０】画像データに対するマスク処理の適用の他の例を示す図である。
【図１１】画像データに対するマスク処理の適用の他の例を示す図である。
【図１２】画像データに対するマスク処理の具体的な例を示す模式図である。
【図１３】最外周の画素のデータ信号に対するマスク処理について示す図である。
【図１４】最外周の画素のデータ信号に対するマスク処理について示す図である。
【図１５】２次元アレイ状の複数の画素からなる撮像領域の画像データについて示す図である。
【図１６】画像データ記憶部でのデータ信号の記憶の制御方法の例を示す図である。
【図１７】画像データ記憶部でのデータ信号の記憶の制御方法の例を示す図である。
【符号の説明】
【０１０９】
１Ａ…撮像装置、１０…電子増倍型の固体撮像素子（ＥＭ−ＣＣＤ）、１２…冷却器、１４…放熱器、１００…画素、１０１…撮像部、１０２…蓄積部、１０３…水平シフトレジスタ、１０４…接続レジスタ、１０５…増倍レジスタ、１０６…出力端、１１０…画素ライン、２０…信号処理部、２２…Ａ／Ｄ変換部、２４…信号変換部、２６…タイミング制御部、２８…撮像素子駆動部、
３０…ＤＳＰ（デジタル信号処理装置）、３１…入力信号処理部、３２…画像データ記憶部、３３…データ処理制御部、３４…マスク処理部、３５…ノイズ除去部、３６…二値化処理部、３７…データ記憶制御部、３８…モード制御部、４０…撮像制御部、４１…マスク条件指示部、４２…モード指示部、５０…電源部。
【図１】
2008288806.tif 000003
【図２】
2008288806.tif 000004
【図３】
2008288806.tif 000005
【図４】
2008288806.tif 000006
【図５】
2008288806.tif 000007
【図６】
2008288806.tif 000008
【図７】
2008288806.tif 000009
【図８】
2008288806.tif 000010
【図９】
2008288806.tif 000011
【図１０】
2008288806.tif 000012
【図１２】
2008288806.tif 000013
【図１３】
2008288806.tif 000014
【図１４】
2008288806.tif 000015
【図１５】
2008288806.tif 000016
【図１６】
2008288806.tif 000017
【図１７】
2008288806.tif 000018
【図１１】
2008288806.tif 000019