(57)【要約】【課題】画素毎にＡＤ変換を行う撮像素子を搭載した撮像装置において、微弱な光を撮像した場合であってもコントラストの高い画像を提供すること。【解決手段】カメラユニット１０は、入力光を電気信号に変換しアナログ信号を出力するフォトダイオード１２ａと、画像の黒レベルを示すダークオフセット値に基づいてアナログ信号をデジタル信号に変換するＡＤ変換部１２ｂとを有する画素１２が２次元に配置された受光面を有する撮像素子１１と、ダークオフセット値に応じて設定されたクリップ値を保有し、クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値をクリップ値に変換する変換処理を行い、変換処理後のデジタル信号に基づく画像データを出力する画像処理回路１５と、を備える。【選択図】図１
2017011388.tif 000002
【特許請求の範囲】
【請求項１】
入力光を電気信号に変換しアナログ信号を出力するフォトダイオードと、画像の黒レベルを示すダークオフセット値に基づいて前記アナログ信号をデジタル信号に変換するＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子と、
前記ダークオフセット値に応じて設定されたクリップ値を保有し、前記クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値を前記クリップ値に変換する変換処理を行い、前記変換処理後のデジタル信号に基づく画像データを出力するデータ処理部と、を備える撮像装置。
【請求項２】
前記クリップ値は、前記ダークオフセット値である、請求項１記載の撮像装置。
【請求項３】
前記データ処理部は、前記デジタル信号のうち所定の閾値以上のデジタル値をもつデジタル信号のデジタル値を補正する、請求項１又は２記載の撮像装置。
【請求項４】
前記データ処理部は、前記デジタル信号に対しデジタルゲイン処理を行う、請求項１〜３のいずれか一項記載の撮像装置。
【請求項５】
前記データ処理部は、前記デジタル信号に対し平均化処理を行う、請求項１〜４のいずれか一項記載の撮像装置。
【請求項６】
前記データ処理部は、前記デジタル信号に対し加算処理を行う、請求項１〜４のいずれか一項記載の撮像装置。
【請求項７】
前記請求項１〜６のいずれか一項記載の撮像装置と、
前記撮像装置から出力された前記画像データにおけるデジタル信号のデジタル値の分布に基づいて、前記画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するテーブル作成部と、
前記ルックアップテーブルに基づいて、前記画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するデータ変換部と、を備える画像取得装置。
【請求項８】
フォトダイオードとＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子を用いて、対象物からの光に基づき表示用画像データを生成する画像取得方法であって、
前記フォトダイオードを用いて入力光を光電変換しアナログ信号を出力するステップと、
前記ＡＤ変換部を用いて、画像の黒レベルを示すダークオフセット値に基づき前記アナログ信号をデジタル信号に変換するステップと、
前記デジタル信号のうち、前記ダークオフセット値に応じて設定されたクリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値を前記クリップ値に変換する変換処理を行い、前記変換処理後のデジタル信号に基づく画像データを出力するステップと、
前記画像データにおけるデジタル信号のデジタル値の分布に基づいて、前記画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するステップと、
前記ルックアップテーブルに基づいて、前記画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するステップと、を含む画像取得方法。
【請求項９】
前記クリップ値は、前記ダークオフセット値である、請求項８記載の画像取得方法。
【請求項１０】
入力光を電気信号に変換しアナログ信号を出力するフォトダイオードと、画像の黒レベルを示すダークオフセット値に基づいて前記アナログ信号をデジタル信号に変換するＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子から出力された前記デジタル信号を処理する画像処理装置であって、
前記ダークオフセット値に応じて設定されたクリップ値を保有し、前記クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値を前記クリップ値に変換する変換処理を行い、前記変換処理後のデジタル信号に基づく画像データを出力するデータ処理部、
を備える画像処理装置。
【請求項１１】
前記クリップ値は、前記ダークオフセット値である、請求項１０記載の画像処理装置。
【請求項１２】
前記データ処理部から出力された前記画像データにおけるデジタル信号のデジタル値の分布に基づいて、前記画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するテーブル作成部と、
前記ルックアップテーブルに基づいて、前記画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するデータ変換部と、さらに備える請求項１０又は１１記載の画像処理装置。
【請求項１３】
プロセッサを、
入力光を電気信号に変換しアナログ信号を出力するフォトダイオードと、画像の黒レベルを示すダークオフセット値に基づいて前記アナログ信号をデジタル信号に変換するＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子から出力された前記デジタル信号を処理する画像処理装置における、
前記ダークオフセット値に応じて設定されたクリップ値を保有し、前記クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値を前記クリップ値に変換する変換処理を行い、前記変換処理後のデジタル信号に基づく画像データを出力するデータ処理部、
として動作させる、画像処理プログラム。
【請求項１４】
前記クリップ値は、前記ダークオフセット値である、請求項１３記載の画像処理プログラム。
【請求項１５】
前記プロセッサを、
前記データ処理部から出力された前記画像データにおけるデジタル信号のデジタル値の分布に基づいて、前記画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するテーブル作成部、及び、
前記ルックアップテーブルに基づいて、前記画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するデータ変換部、としてさらに動作させる請求項１３又は１４記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像取得装置、画像取得方法、画像処理装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
細胞などの対象物から発せられる微弱な光を撮像する撮像装置として、ＥＭＣＣＤ（ElectronMultiplying Charge Coupled Devices）センサを搭載した撮像装置が知られている（例えば特許文献１参照）。当該撮像装置では、光電変換された電荷が増倍部で増倍されＡＤ変換されることにより、Ｓ／Ｎのよい画像データを取得することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７１０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
また、上述したような微弱な光を撮像する撮像装置として、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）センサを搭載した撮像装置が知られている。当該撮像装置は、ＥＭＣＣＤセンサを搭載した撮像装置に比べ、フレームレートが高く視野が広いというメリットがある一方、ＣＭＯＳセンサの画素毎にＡＤ変換を行うため、各画素間においてＡＤ変換後のデジタル値にばらつきが生じやすい。所定の画素値を黒レベルであるダークオフセット値として設定した状態において、微弱な光を撮像すると、ダークオフセット値の近傍にデジタル信号のデジタル値がばらついて分布する。黒レベルであるダークオフセット値の近傍にデジタル値がばらつくことにより、ダークオフセット値よりも小さいデジタル値が増え、黒レベルであるダークオフセット値の画素値が相対的に高くなる場合がある。この場合には、画像のコントラストが低くなることが問題となる。
【０００５】
本発明は上記実情に鑑みてなされたものであり、画素毎にＡＤ変換を行う撮像素子を用いて、微弱な光を撮像した場合であってもコントラストの高い画像を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る撮像装置は、入力光を電気信号に変換しアナログ信号を出力するフォトダイオードと、画像の黒レベルを示すダークオフセット値に基づいてアナログ信号をデジタル信号に変換するＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子と、ダークオフセット値に応じて設定されたクリップ値を保有し、クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値をクリップ値に変換する変換処理を行い、変換処理後のデジタル信号に基づく画像データを出力するデータ処理部と、を備える。
【０００７】
この撮像装置では、画像の黒レベルを示すダークオフセット値に応じてクリップ値が設定されている。つまり、画像において黒色として表示されるデジタル値の閾値であるダークオフセット値に応じてクリップ値が設定されている。そして、撮像素子のＡＤ変換部においてＡＤ変換が行われたデジタル信号のうち、デジタル値がクリップ値よりも小さいデジタル信号のデジタル値がクリップ値に変換される。これにより、ダークオフセット値よりも小さいデジタル値は全てクリップ値となる。微弱な光を撮像した際、デジタル信号のデジタル値がダークオフセット値付近においてばらつくと、ダークオフセット値よりも小さいデジタル値が増え、黒レベルであるダークオフセット値の画素値が相対的に高くなる場合がある。この場合には、画像が全体的に白みがかり、画像のコントラストが低くなることが問題となる。この点、ダークオフセット値に応じて設定されたクリップ値よりも小さいデジタル値が、全てクリップ値とされることにより、ダークオフセット値よりも小さいデジタル値を少なくし、ダークオフセット値の画素値が相対的に高くなることを抑制できる。これにより、微弱な光を撮像した場合でもコントラストの高い画像を提供することができる。
【０００８】
また、クリップ値はダークオフセット値であってもよい。これにより、ダークオフセット値よりも小さいデジタル値が全てダークオフセット値とされるので、ダークオフセット値よりも小さいデジタル値が存在しないこととなる。このことで、ダークオフセット値の画素値が相対的に高くなることを防止でき、よりコントラストの高い画像を提供することができる。
【０００９】
また、データ処理部は、デジタル信号のうち所定の閾値以上のデジタル値をもつデジタル信号のデジタル値を補正してもよい。これにより、画像表示した際における白点ノイズを好適に除去することができる。
【００１０】
また、データ処理部は、デジタル信号に対しデジタルゲイン処理を行ってもよい。これにより、デジタルゲイン処理によって増幅されたデジタル信号に対して、クリップ値に変換する変換処理を行うこととなるので、変換処理をより正確且つ簡易に行うことができる。
【００１１】
また、データ処理部は、デジタル信号に対し平均化処理を行ってもよい。これにより、画像表示した際における白点ノイズを好適に除去することができる。
【００１２】
また、データ処理部は、デジタル信号に対し加算処理を行ってもよい。これにより、画像表示した際における白点ノイズを好適に除去することができる。
【００１３】
本発明の一態様に係る画像取得装置は、上記撮像装置と、撮像装置のデータ処理部から出力された画像データにおけるデジタル信号のデジタル値の分布に基づいて、画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するテーブル作成部と、ルックアップテーブルに基づいて、画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するデータ変換部と、を備える。
【００１４】
この画像取得装置では、ダークオフセット値よりも小さいデジタル値が全てクリップ値とされた画像データにおけるデジタル値の分布に基づき作成されたルックアップテーブルから、表示用画像データが生成される。画像取得装置において生成される表示用画像データにおける画素値の範囲は予め定められている。仮に、デジタル信号のデジタル値がダークオフセット値付近においてばらついている画像データに基づいてルックアップテーブルが作成された場合には、当該ルックアップテーブルに基づいて生成される表示用画像データにおけるコントラストが低下してしまう。この点、画素値の最小値がクリップ値とされた画像データに基づいてルックアップテーブルが作成されることにより、微弱な光を撮像した場合でもコントラストの高い表示用画像を提供することができる。
【００１５】
本発明の一態様に係る画像取得方法は、フォトダイオードとＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子を用いて、対象物からの光に基づき表示用画像データを生成する画像取得方法であって、フォトダイオードを用いて入力光を光電変換しアナログ信号を出力するステップと、ＡＤ変換部を用いて、画像の黒レベルを示すダークオフセット値に基づきアナログ信号をデジタル信号に変換するステップと、デジタル信号のうち、ダークオフセット値に応じて設定されたクリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値をクリップ値に変換する変換処理を行い、変換処理後のデジタル信号に基づく画像データを出力するステップと、画像データにおけるデジタル信号のデジタル値の分布に基づいて、画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するステップと、ルックアップテーブルに基づいて、画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するステップと、を含む。
【００１６】
また、本発明の一態様に係る画像処理装置は、入力光を電気信号に変換しアナログ信号を出力するフォトダイオードと、画像の黒レベルを示すダークオフセット値に基づいてアナログ信号をデジタル信号に変換するＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子から出力された前記デジタル信号を処理する画像処理装置であって、ダークオフセット値に応じて設定されたクリップ値を保有し、クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値を前記クリップ値に変換する変換処理を行い、変換処理後のデジタル信号に基づく画像データを出力するデータ処理部、を備える。
【００１７】
また、画像処理装置は、データ処理部から出力された画像データにおけるデジタル信号のデジタル値の分布に基づいて、画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するテーブル作成部と、ルックアップテーブルに基づいて、画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するデータ変換部と、さらに備える。
【００１８】
また、本発明の一態様に係る画像処理プログラムは、プロセッサを、入力光を電気信号に変換しアナログ信号を出力するフォトダイオードと、画像の黒レベルを示すダークオフセット値に基づいてアナログ信号をデジタル信号に変換するＡＤ変換部とを有する画素が２次元に配置された受光面を有する撮像素子から出力されたデジタル信号を処理する画像処理装置における、ダークオフセット値に応じて設定されたクリップ値を保有し、クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値をクリップ値に変換する変換処理を行い、変換処理後のデジタル信号に基づく画像データを出力するデータ処理部、として動作させる。
【００１９】
また、画像処理プログラムは、プロセッサを、データ処理部から出力された画像データにおけるデジタル信号のデジタル値の分布に基づいて、画像データにおける各デジタル値と所定の画素値とを対応付けたルックアップテーブルを作成するテーブル作成部、及び、ルックアップテーブルに基づいて、画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成するデータ変換部、としてさらに動作させる。
【００２０】
また、画像取得方法、画像処理装置、及び画像処理プログラムは、クリップ値がダークオフセット値であってもよい。これにより、ダークオフセット値よりも小さいデジタル値が全てダークオフセット値とされるので、ダークオフセット値よりも小さいデジタル値が存在しないこととなる。このことで、ダークオフセット値の画素値が相対的に高くなることを防止でき、よりコントラストの高い画像を提供することができる。
【発明の効果】
【００２１】
本発明によれば、画素毎にＡＤ変換を行う撮像素子を搭載した撮像装置において、微弱な光を撮像した場合であってもコントラストの高い画像を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係る画像取得装置の構成図である。
【図２】図１の画像取得装置におけるＡＤ変換処理を説明するための図である。
【図３】図１の画像取得装置における白点除去処理を説明するための図である。
【図４】図１の画像取得装置におけるデジタルゲイン処理を説明するための図である。
【図５】図１の画像取得装置におけるクリップ処理を説明するための図である。
【図６】比較例に係る、ＣＭＯＳセンサを搭載した撮像装置における画像データのデジタル値分布を示す図である。
【図７】図６の撮像装置を用いて生成された表示用画像データを示す図である。
【図８】図１の画像取得装置における画像データのデジタル値分布を示す図である。
【図９】図１の撮像装置を用いて生成された表示用画像データを示す図である。
【図１０】本発明の第２実施形態に係る画像取得装置の構成図である。
【発明を実施するための形態】
【００２３】
以下、本発明の好適な実施形態について図面を参照しながら詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００２４】
［第１実施形態］
図１に示されるように、画像取得装置１は、試料Ｓ（対象物）に対して励起光を照射してその結果生じた蛍光を受光し、画像データを取得する装置である。試料Ｓは、例えばスライドガラスやシャーレなどの保持部材に保持された組織細胞であり、保持部材を保持する保持部である所定のステージ（図示せず）に載置されている。試料Ｓの組織細胞は、例えば蛍光物質によって染色されている。なお、画像取得装置１は、必ずしも試料Ｓの蛍光を受光するものでなくてもよく、自家発光などのその他の発光、反射光、透過光、及び散乱光等の試料Ｓからの光を受光し、画像データを取得するものであってもよい。また、試料Ｓは、組織細胞に限らず、動物等の生体や太陽電池や半導体デバイス等の工業製品であってもよい。以下では、画像取得装置１が試料Ｓの蛍光に基づき画像データを取得するとして説明するが、試料Ｓに対して励起光を照射するための構成（例えば光源）については説明及び図示を省略している。画像取得装置１は、明視野顕微鏡装置、暗視野顕微鏡装置、反射型顕微鏡装置等の様々な構成の顕微鏡装置やフローサイトメータ等の様々な画像取得装置であってもよい。
【００２５】
画像取得装置１は、レンズユニット５と、カメラユニット１０（撮像装置）と、コンピュータ２０と、表示装置３０と、入力装置４０と、を備えている。
【００２６】
レンズユニット５は、試料Ｓから発せられた蛍光をカメラユニット１０の撮像素子１１（後述）の受光面に結像するレンズを有している。レンズユニット５は、カメラユニット１０のレンズマウント部分に取り付けられている。
【００２７】
カメラユニット１０は、レンズユニット５を介して試料Ｓからの光を受光する撮像素子１１と、撮像素子１１からの電気信号に対して所定の処理を行う画像処理回路１５（データ処理部）と、を有した撮像装置である。
【００２８】
撮像素子１１は、複数の画素１２を２次元に配置した受光面を有するＣＭＯＳイメージセンサである。撮像素子１１では、各画素１２において入力光が電気信号に変換され電気信号が出力される。各画素１２は、それぞれ、フォトダイオード１２ａと、ＡＤ変換部１２ｂとを含んで構成されている。フォトダイオード１２ａは、レンズユニット５を介して入力した入力光を電気信号、より詳細には電圧信号に変換し、当該光電変換後のアナログ信号を出力する。ＡＤ変換部１２ｂは、フォトダイオード１２ａから出力されたアナログ信号をデジタル信号に変換し出力する。ＡＤ変換部１２ｂでは、予め所定のダークオフセット値が、画像の黒レベルを示す画素値として定められている。黒レベルとは、それ以下の画素値を黒色とする所定の閾値である。具体的には、ダークオフセット値は例えば１００カウントに設定される。ダークオフセット値は、黒レベルを示すものであるが、アナログ信号に含まれるノイズを考慮し、０カウントよりも大きな値とされている。これは、ダークオフセット値が０カウントとされた場合においては、アナログ信号に含まれるノイズによりダークオフセット値よりも小さな値が観測された際に、当該ダークオフセット値よりも小さな値を表現することができないためである。すなわち、ダークオフセット値は、ノイズによりダークがゆらいでも、ＡＤ変換部１２ｂの入力範囲に収まるように設定される。
【００２９】
ＡＤ変換部１２ｂによるＡＤ変換について図２を参照して説明する。図２（ａ）は、ＡＤ変換部１２ｂに入力される電圧信号を示している。図２（ａ）において横軸は時間を、縦軸は電圧信号の振幅を示している。図２（ｂ）は、ＡＤ変換後のデジタル信号を示している。図２（ｂ）において横軸は時間を、縦軸は画素値（輝度値）を示している。図２（ａ）（ｂ）に示されるように、電圧信号の振幅値に応じた画素値となるようにＡＤ変換が行われる。ここで、ＡＤ変換部１２ｂに入力される電圧信号が、微弱な入力光に基づく電圧信号である場合には、図２（ｂ）に示されるように、デジタル信号のデジタル値は、ダークオフセット値付近の値となり、ダークオフセット値よりも小さな値となるものもある。なお、上述したように、ダークオフセット値は、０カウントよりも大きな値、具体的には１００カウントに設定されている。
【００３０】
画像処理回路１５は、撮像素子１１のＡＤ変換部１２ｂより出力されたデジタル信号に基づく画像データを出力するデータ処理部（画像処理装置）である。画像処理回路１５は、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサを有する。画像処理回路１５のメモリに保存されたプログラム（画像処理プログラム）によって、画像処理回路１５のプロセッサは、白点除去処理部１６と、デジタル信号変換部１７と、画像データ出力部１８として動作する。従って、画像処理回路１５は、白点除去処理部１６と、デジタル信号変換部１７と、画像データ出力部１８と、を有するデータ処理部（画像処理装置）である。
【００３１】
白点除去処理部１６は、ＡＤ変換部１２ｂより出力されたデジタル信号に対して、第１の白点除去処理及び第２の白点除去処理を行う。白点除去処理部１６による第１の白点除去処理及び第２の白点除去処理は、デジタル信号変換部１７による変換処理（後述）の前段において行われる。また、第１の白点除去処理及び第２の白点除去処理は、変換処理の後段または同時に行われてもよい。白点除去処理とは、他のデジタル信号と比較して極端にデジタル値が大きいデジタル信号が画像表示された際に白点ノイズとなることを抑制する処理である。
【００３２】
第１の白点除去処理は、各画素１２のデジタル信号のうち、デジタル値が所定の閾値以上のデジタル信号のデジタル値を補正する処理である。具体的に、白点除去処理部１６は、デジタル値（画素値）が所定の閾値以上のデジタル信号に係る画素１２を特定する。更に、白点除去処理部１６は、特定した画素１２のデジタル信号のデジタル値（以下、単に画素１２の画素値として説明する場合がある）を、特定した画素１２の周囲の画素１２の画素値の平均値に置き換える。周囲の画素とは、例えば、特定した画素１２を中心とした３×３の画素１２の集合における、特定した画素１２以外の８つの画素１２である。なお、白点除去処理部１６は、第１の白点除去処理に加えて、デジタル値が所定の閾値（上述した閾値とは別の閾値）よりも小さいデジタル信号のデジタル値を補正する処理を行ってもよい。
【００３３】
第２の白点除去処理は、例えば、全ての画素１２の画素値を、各画素１２の周囲の画素１２の画素値を用いて平均化する処理である。具体的に、白点除去処理部１６は、デジタル信号に対して、ガウシアンフィルタ又はドリフトビニング等を用いたフィルタリング処理を行い、平均化処理を行う。ガウシアンフィルタを用いたフィルタリング処理では、まず、白点除去処理部１６が、一の画素１２を中心とした３×３の画素１２の集合を特定する。更に、白点除去処理部１６は、特定した画素１２の集合の各画素１２に対して、重みづけ係数を与える。図３（ａ）は、３×３の画素１２の集合における、各画素１２の重みづけ係数を示している。図３（ａ）に示す例では、中心の一の画素１２の重みづけ係数が「１」とされ、中心の画素１２の左右上下の画素１２の重みづけ係数が「１／２」とされ、中心の画素１２の左斜め上、左斜め下、右斜め上、右斜め下の画素１２の重みづけ係数が「１／４」とされている。白点除去処理部１６は、上記画素１２の集合における各画素１２の画素値に各画素の重みづけ係数を掛けて、各画素１２の重みづけ画素値を算出する。当該各画素１２の重みづけ画素値を合算した値を、各画素１２の重みづけ係数を合算した値（図３（ａ）に示す例では、１＋１／２×４＋１／４×４＝４）で割った値が、平均化処理後の、中心の一の画素１２の画素値となる。白点除去処理部１６は、全ての画素１２について、平均化処理後の画素値を導出する。ドリフトビニングを用いたフィルタリング処理については、概ねガウシアンフィルタを用いたフィルタリング処理と同様であるが、ガウシアンフィルタでは画素１２の集合の各画素１２に対して異なる重みづけ係数を与えていたのに対して、ドリフトビニングでは、図３（ｂ）に示されるように画素１２の集合の各画素に対して同じ重みづけ係数「１」を与えている。なお、ガウシアンフィルタ又はドリフトビニングを用いた平均化処理においては、画素１２の集合は、３×３の画素１２の集合に限られない。
【００３４】
また、第２の白点除去処理として平均化処理を説明したが、当該平均化処理に替えて加算処理を行ってもよい。加算処理では、白点除去処理部１６は、例えば、一の画素１２を中心とした３×３の画素１２の集合を特定し、ガウシアンフィルタ又はドリフトビニング等を用いて、画素１２の集合における各画素１２の重みづけ画素値を合算した値を、中心の一の画素１２の画素値とする。
【００３５】
デジタル信号変換部１７は、白点除去処理部１６によって白点除去処理が行われたデジタル信号に対してデジタルゲイン処理を行う。図４（ａ）はデジタルゲイン処理前のデジタル信号を示している。図４（ｂ）はデジタルゲイン処理後のデジタル信号を示している。デジタルゲイン処理後においても、デジタル信号のデジタル値は、ダークオフセット値を中心としてダークオフセット値付近に分布している。なお、デジタル信号変換部１７によるデジタルゲイン処理を省略してもよい。また、デジタルゲイン処理は、第１の白点除去処理、第２の白点除去処理及び変換処理の後段または同時に行われてもよい
【００３６】
デジタル信号変換部１７は、ダークオフセット値に応じて設定されたクリップ値を保有し、クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値を、クリップ値に変換する変換処理を行う。クリップ値とは、ある処理における閾値であり、当該クリップ値よりも小さい（或いは大きい）値を全てクリップ値に変換するために用いる値である。ここでは、クリップ値とは、先述した変換処理における閾値であり、当該クリップ値よりも小さいデジタル値を全てクリップ値に変換するために用いる値である。クリップ値はダークオフセット値に応じて設定されている。ダークオフセット値に応じて設定されているとは、上記変換処理によってクリップ値に変換されるデジタル値が存在するように、ダークオフセット値に基づき設定されていることをいう。クリップ値は、例えばダークオフセット値とされる。この場合、変換処理によって、ダークオフセット値よりも小さいデジタル値が全てダークオフセット値とされる。
【００３７】
図５（ａ）は変換処理前のデジタル信号を示している。図５（ｂ）は変換処理後のデジタル信号を示している。図５に示す例では、クリップ値はダークオフセット値とされている。図５（ａ）に示されるように、変換処理前においては、デジタル信号が、ダークオフセット値である１００カウントよりも小さいデジタル値を有している。一方、変換処理後においては、図５（ｂ）に示されるように、クリップ値がダークオフセット値とされているので、ダークオフセット値よりも小さい範囲のデジタル値は全てダークオフセット値である１００カウントとなっている。
【００３８】
画像データ出力部１８は、デジタル信号変換部１７による変換処理後のデジタル信号に基づく画像データをコンピュータ２０に出力する。
【００３９】
コンピュータ２０は、カメラユニット１０から出力された画像データに基づいて、表示装置３０に表示される表示用画像データを生成する。コンピュータ２０は、例えば、後述する表示装置３０及び入力装置４０とともに、パーソナルコンピュータ又はタブレット端末により実現される。コンピュータ２０は、プロセッサを有している。コンピュータ２０のプロセッサは、コンピュータ２０のメモリに保存されたプログラムによって、ＬＵＴ作成部２１、データ変換部２２、制御部２３、及び記憶部２４として動作する。従って、コンピュータ２０は、ＬＵＴ作成部２１と、データ変換部２２と、制御部２３と、記憶部２４と、を有する。
【００４０】
ＬＵＴ作成部２１は、カメラユニット１０から出力された画像データにおけるデジタル信号のデジタル値の分布に基づいて、画像データにおける各デジタル値と所定の画素値とを対応付けたＬＵＴ（LookUp table）（ルックアップテーブル）を作成するテーブル作成部である。当該所定の画素値の範囲、すなわち所定の画素値の最小値及び最大値は予め定められている。ＬＵＴ作成部２１は、画像データにおけるデジタル値の最小値と所定の画素値の最小値とを対応付けるとともに、画像データにおけるデジタル値の最大値と所定の画素値の最大値とを対応付けたＬＵＴを作成する。ＬＵＴでは、最小値及び最大値における対応関係を定めると共に、その他の範囲における対応関係も定める。例えば、ＬＵＴでは、最小値及び最大値における対応関係が定まると、最小値及び最大値における対応関係から一意に定まる比例関係となるように、その他の範囲における対応関係も定まる。なお、当該対応関係から定まる関係は、比例関係に限らず、二乗関数関係などその他の関係でもよい。ＬＵＴ作成部２１は、カメラユニット１０から画像データが出力される度にＬＵＴを作成する。なお、ＬＵＴ作成部２１は、カメラユニット１０から画像データが出力される度ではなく、初期設定時のみＬＵＴを作成してもよい。
【００４１】
データ変換部２２は、ＬＵＴ作成部２１により作成されたＬＵＴに基づいて、画像データにおける各デジタル値を所定の画素値に変換し、表示用画像データを生成する。上述したように、ＬＵＴにおいては、カメラユニット１０から出力される画像データのデジタル値と所定の画素値とが対応付けられている。このため、データ変換部２２は、カメラユニット１０から出力された画像データの各デジタル値を入力として、ＬＵＴに基づき、画像データの各デジタル値に対応付いた所定の画素値を出力することができる。データ変換部２２は、変換後の各画素値に基づいて表示用画像データを生成する。データ変換部２２は、当該表示用画像データを表示装置３０に出力する。
【００４２】
制御部２３は、カメラユニット１０、表示装置３０、及び入力装置４０を制御する。制御部２３は、例えばカメラユニット１０の撮像条件を制御する。撮像条件とは、例えば撮像モード及び露光時間等である。記憶部２４は、ＬＵＴ作成部２１が作成したＬＵＴ及びカメラユニット１０から出力された画像データを記憶する。なお、記憶部２４は、コンピュータ２０のＨＤＤあるいはＳＳＤなどの補助記憶装置であってもよいし、コンピュータ２０に電気的に接続された外部記憶装置であってもよい。ＬＵＴ作成部２１及びデータ変換部２２は、記憶部２４に記憶されたデータに基づいて上述した処理を行う。
【００４３】
表示装置３０は、液晶ディスプレイ又は有機ＥＬディスプレイなどのディスプレイである。表示装置３０は、表示用画像データを表示することにより、試料Ｓの画像を表示する。入力装置４０は、キーボード及びマウスなどである。入力装置４０は、カメラユニット１０の撮像条件、すなわち撮像モード及び露光時間などに関する設定をユーザから受け付ける。
【００４４】
次に、カメラユニット１０及び画像取得装置１の作用効果について図６〜図９を参照しながら説明する。
【００４５】
従来、画素毎にＡＤ変換を行う撮像素子、例えばＣＭＯＳセンサを搭載した撮像装置が知られている。当該撮像装置は、ＥＭＣＣＤセンサを搭載した撮像装置に比べて、価格が安く、また、フレームレートが高く視野が広いというメリットがある。一方で、ＣＭＯＳセンサの画素毎にＡＤ変換を行うため、各画素間においてＡＤ変換後のデジタル値にばらつきが生じやすい。このため、所定の画素値を黒レベルであるダークオフセット値として設定した状態において、微弱な光を撮像すると、ダークオフセット値の近傍にデジタル値がばらついて分布する。図６（ａ）は、このような撮像装置における画像データのデジタル値分布を示している。図６（ａ）の横軸はデジタル値を、縦軸は画素数をそれぞれ示している。図６（ａ）に示されるように、微弱な光を撮像した際には、デジタル値がダークオフセット値となる画素が最も多いものの、ダークオフセット値の近傍にデジタル値がばらついて分布している。黒レベルであるダークオフセット値の近傍にデジタル値がばらつくことにより、ダークオフセット値よりも小さいデジタル値が多数存在している。このことにより、本来最も小さい画素値となるべきダークオフセット値の画素値が相対的に高くなっている。
【００４６】
図６（ｂ）は、図６（ａ）に、ＬＵＴの対応関係を加えて示した図である。図６（ｂ）には、縦軸として、画素数に加えて表示値を示している。表示値とは、画像データのデジタル値がＬＵＴに基づき変換される画素値を示している。つまり、図６（ｂ）では、画像データのデジタル値と表示用画像データの表示値との関係が破線で示されている。図６（ｂ）に示されるように、ＬＵＴは、画像データにおけるデジタル値の最小値と予め定められた表示値の最小値とを対応付けるとともに、画像データにおけるデジタル値の最大値と予め定められた表示値の最大値とを対応付けている。このため、ダークオフセット値の画素値が相対的に高くなっている状態でＬＵＴが作成され、当該ＬＵＴに基づいて表示用画像データが生成されると、表示用画像データでは、本来最も小さい画素値となるべきダークオフセット値の値が比較的大きい表示値に変換される。このことにより、表示用画像データにおいて本来黒く表示したい箇所が白みがかってしまい、表示用画像におけるコントラストが低くなってしまう。図７は、このようなコントラストが低下した表示用画像を示している。図７に示された表示用画像では、コントラストが低下し画像中の試料を鮮明に確認することができない。
【００４７】
これに対し、本実施形態のカメラユニット１０では、黒レベルとして設定されたダークオフセット値に応じて、クリップ値が設定されている。より詳細には、クリップ値はダークオフセット値とされている。そして、撮像素子１１のＡＤ変換部１２ｂにおいてＡＤ変換が行われたデジタル信号のうち、デジタル値がクリップ値よりも小さいデジタル信号のデジタル値がクリップ値に変換されている。図８（ａ）は、クリップ値に変換した後の、カメラユニット１０における画像データのデジタル値分布を示している。図８（ａ）に示されるように、クリップ値であるダークオフセット値よりも小さなデジタル値は全て、クリップ値であるダークオフセット値に変換されているので、図６（ａ）と比較すると、ダークオフセット値の画素数が増えている。
【００４８】
図８（ｂ）は、図８（ａ）に、ＬＵＴの対応関係を加えて示した図である。図８（ｂ）では画像データのデジタル値と表示用画像データの表示値との関係が破線で示されている。図８（ｂ）に示されるように、ＬＵＴは、画像データにおけるデジタル値の最小値と予め定められた表示値の最小値とを対応付けるとともに、画像データにおけるデジタル値の最大値と予め定められた表示値の最大値とを対応付けている。図６（ｂ）に示した例と異なり、ダークオフセット値よりも小さなデジタル値が全てクリップ値であるダークオフセット値に変換されているので、図８（ｂ）に示されたＬＵＴにおいては、画像データにおけるデジタル値の最小値がダークオフセット値となっている。このようなＬＵＴに基づいて表示用画像データが生成された場合には、ダークオフセット値が表示値の最小値に変換されるので、本来黒く表示したい箇所を黒く表示することができ、表示用画像におけるコントラストを高くすることができる。図９（ｂ）は、カメラユニット１０を用いて微弱な光を撮像した場合に生成される表示用画像を示している。また、図９（ａ）は、ＥＭＣＣＤセンサを搭載した撮像装置を用いて微弱な光を撮像した場合に生成される表示用画像を示している。図９（ａ）（ｂ）に示されるように、カメラユニット１０を用いることによって、表示用画像におけるコントラストが高くなり、ＣＭＯＳセンサを搭載したカメラユニット１０のコントラストを、ＥＭＣＣＤセンサを搭載した撮像装置と同程度とすることができた。
【００４９】
なお、上述したように、クリップ値がダークオフセット値とされることによって、ダークオフセット値よりも小さいデジタル値が全てダークオフセット値とされ、ダークオフセット値よりも小さいデジタル値が存在しないことになる。このことで、ダークオフセット値の画素値が相対的に高くなることを効果的に防止でき、よりコントラストの高い表示用画像を提供することができる。
【００５０】
また、上述したクリップ値への変換処理の前段において、白点除去処理部１６により、デジタル値が所定の閾値以上のデジタル信号のデジタル値を補正する処理である第１の白点除去処理が行われている。更に、白点除去処理部１６により、全ての画素１２の画素値を、各画素１２の周囲の画素１２の画素値を用いて平均化又は加算する処理である第２の白点除去処理が行われている。これらにより、表示用画像として画像表示した際における白点ノイズを好適に除去することができる。
【００５１】
また、上述したクリップ値への変換処理の前段において、デジタル信号変換部１７により、デジタル信号に対しデジタルゲイン処理が行われている。これにより、デジタルゲイン処理によって増幅されたデジタル信号に対して、ＬＵＴ作成を行うこととなるので、ＬＵＴ作成をより正確且つ簡易に行うことができる。具体的には、例えばユーザが手作業でＬＵＴの最小値及び最大値を変更する場合等において、デジタル信号が増幅されていることにより、当該手作業の作業を円滑に行うことができる。
【００５２】
［第２実施形態］
次に、図１０を参照して、第２実施形態に係る画像取得装置について説明する。なお、第２実施形態に係る説明では、上述した第１実施形態と異なる点について主に説明する。
【００５３】
第２実施形態に係る画像取得装置１Ａは、コンピュータ２０Ａにおいて、白点除去処理、デジタルゲイン処理及び変換処理を行う。図１０に示されるように、画像取得装置１Ａは、コンピュータ２０Ａが白点除去処理部２６、デジタル信号変換部２７を備える点で第１実施形態に係る画像取得装置１と異なる。なお、カメラユニット１０の画像データ出力部１８は、撮像素子１１のＡＤ変換部１２ｂより出力されたデジタル信号を画像データとしてコンピュータ２０Ａに出力する。
【００５４】
コンピュータ２０Ａは、カメラユニット１０から出力された画像データに基づいて、表示装置３０に表示される表示用画像データを生成する画像処理装置である。コンピュータ２０Ａは、プロセッサを有している。コンピュータ２０Ａのプロセッサは、コンピュータ２０Ａのメモリに保存されたプログラム（画像処理プログラム）によって、白点除去処理部２６、デジタル信号変換部２７、ＬＵＴ作成部２１、データ変換部２２、制御部２３、及び記憶部２４として動作する。従って、コンピュータ２０は、白点除去処理部２６と、デジタル信号変換部２７と、ＬＵＴ作成部２１と、データ変換部２２と、制御部２３と、記憶部２４と、を有する。
【００５５】
白点除去処理部２６は、カメラユニット１０より出力されたデジタル信号に対して、第１の白点除去処理及び第２の白点除去処理を行うデータ処理部である。白点除去処理部２６による第１の白点除去処理及び第２の白点除去処理は、第１実施形態の白点除去処理部１６による第１の白点除去処理及び第２の白点除去処理と同様である。
【００５６】
デジタル信号変換部２７は、白点除去処理部２６によって白点除去処理が行われたデジタル信号に対してデジタルゲイン処理を行うデータ処理部である。また、デジタル信号変換部２７は、ダークオフセット値に応じて設定されたクリップ値を保有し、クリップ値よりも小さいデジタル値をもつデジタル信号のデジタル値を、クリップ値に変換する変換処理を行うデータ処理部である。
【００５７】
ＬＵＴ作成部２１は、デジタル信号変換部２７から出力された画像データにおけるデジタル信号のデジタル値の分布に基づいて、画像データにおける各デジタル値と所定の画素値とを対応付けたＬＵＴ（LookUp table）（ルックアップテーブル）を作成するテーブル作成部である。
【００５８】
第２実施形態に係る画像取得装置１Ａのコンピュータ２０Ａでは、白点除去処理部２６により、カメラユニット１０から出力されたデジタル信号に基づいて、第１の白点除去処理及び第２の白点除去処理が行われる。そして、白点除去処理部２６によって白点除去処理が行われたデジタル信号に対してデジタルゲイン処理が行われ、デジタルゲイン処理されたデジタルデータに対して、変換処理が行われる。故に、ＬＵＴ作成部２１は、第１実施形態に係る画像取得装置１のＬＵＴ作成部２１同様、デジタル信号変換部２７から出力された変換処理後のデジタル信号のデジタル値の分布に基づいて、画像データにおける各デジタル値と所定の画素値とを対応付けたＬＵＴ（LookUp table）（ルックアップテーブル）を作成することができる。なお、白点除去処理あるいはデジタルゲイン処理は、変換処理の前段に限らず、後段あるいは同時に実施されてもよく、省略されてもよい。
【００５９】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、クリップ値はダークオフセット値であるとして説明したがこれに限定されず、ダークオフセット値に応じて設定されたデジタル値であって、変換処理によりクリップ値に変換されるデジタル値が存在するように設定されたデジタル値であればよい。当該条件を満たせば、クリップ値はダークオフセット値よりも小さいデジタル値であってもよいし、大きいデジタル値であってもよい。微弱な光を撮像する場合において、ダークオフセット値よりも小さい値には、ダークノイズだけでなく有効な情報を有した微弱な信号が含まれている場合がある。クリップ値がダークオフセット値とされた場合には、このような微弱な信号の有効な情報が失われるおそれがある。この点、クリップ値をダークオフセット値よりも小さくすることにより、クリップ値への変換処理によって失う信号の情報を減らすことができる。また、クリップ値をダークオフセット値よりも大きくすることにより、ダークオフセット値がより黒く表示されることとなり、よりコントラストの高い画像を表示することができる。
【００６０】
また、クリップ値への変換処理の前段階において、白点除去処理及びデジタルゲイン処理を行うとして説明したが、これらの処理を行わずに、ＡＤ変換後にクリップ値への変換処理が行われてもよい。
【００６１】
また、第１実施形態において、カメラユニット１０の画像処理回路１５のプロセッサは、プログラムによって、ＬＵＴ作成部と、データ変換部として動作してもよい。この場合、画像処理回路１５は、白点除去処理部１６と、デジタル信号変換部１７と、画像データ出力部１８と、ＬＵＴ作成部と、データ変換部を有するデータ処理部となる。また、第２実施形態において、カメラユニット１０のプロセッサは、第１の白点除去処理を行う白点除去処理部として機能してもよい。この場合、第１の白点除去処理はカメラユニット１０のプロセッサで実行し、第２の白点除去処理は、コンピュータ２０Ａのプロセッサで実行することができる。
【００６２】
また、本発明に係る撮像装置としてＣＭＯＳセンサを搭載した撮像装置を例に説明したが、これに限定されず、撮像装置は、画素毎にＡＤ変換を行う撮像素子を搭載したその他の撮像装置であってもよい。
【符号の説明】
【００６３】
１…画像取得装置、１０…カメラユニット（撮像装置）、１１…撮像素子、１２…画素、１２ａ…フォトダイオード、１２ｂ…ＡＤ変換部、１５…画像処理回路（データ処理部、画像処理装置）、１６，２６…白点除去処理部（データ処理部）、１７，２７…デジタル信号変換部（データ処理部）、２０Ａ…コンピュータ（画像処理装置）、２１…ＬＵＴ作成部（テーブル作成部）、２２…データ変換部、Ｓ…試料（対象物）。
【図１】
2017011388.tif 000003
【図２】
2017011388.tif 000004
【図３】
2017011388.tif 000005
【図４】
2017011388.tif 000006
【図５】
2017011388.tif 000007
【図６】
2017011388.tif 000008
【図８】
2017011388.tif 000009
【図１０】
2017011388.tif 000010
【図７】
2017011388.tif 000011
【図９】
2017011388.tif 000012