(57)【要約】【課題】微弱光下で撮像された画像に対するノイズ除去性能を向上できる画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置１は、微弱光下で取得された画像のノイズ除去を行う画像処理装置であって、複数の画素Ｋによって時系列方向に得られた複数の画像データ２２を取得するカメラ（画像取得部）２と、複数の画像データ２２同士の類似度データを生成する類似度生成部１３と、複数の画素Ｋでの画素値の読出ノイズのばらつきに基づく補正データを用いて類似度データを補正する類似度補正部１４と、補正後の類似度データに基づいて複数の画像データ２２の画素値を加重平均することにより出力画像データ２３を生成する出力画像生成部１５と、を備える。【選択図】図１
2020021314.tif 000002
【特許請求の範囲】
【請求項１】
微弱光下で取得された画像のノイズ除去を行う画像処理装置であって、
複数の画素によって時系列方向に得られた複数の画像データを取得する画像取得部と、
前記複数の画像データ同士の類似度データを生成する類似度生成部と、
前記複数の画素での画素値の読出ノイズのばらつきに基づく補正データを用いて前記類似度データを補正する類似度補正部と、
補正後の類似度データに基づいて前記複数の画像データの画素値を加重平均することにより出力画像データを生成する出力画像生成部と、を備える画像処理装置。
【請求項２】
前記類似度生成部は、前記複数の画像データにおける同一座標の画素の画素値の差分の二乗和に基づいて前記類似度データを生成する請求項１記載の画像処理装置。
【請求項３】
前記複数の画素によって時系列方向に得られた複数のダーク画像データに基づいて前記補正データを生成する補正データ生成部を更に備える請求項１又は２記載の画像処理装置。
【請求項４】
前記補正データ生成部は、前記複数の画素での画素毎の画素値の標準偏差を用いて前記補正データを生成する請求項３記載の画像処理装置。
【請求項５】
前記補正データ生成部は、前記複数の画素での画素毎の画素値の分散を用いて前記補正データを生成する請求項３記載の画像処理装置。
【請求項６】
前記補正データ生成部は、前記複数の画素での画素毎の白色点及び黒色点の出現頻度を用いて前記補正データを生成する請求項３記載の画像処理装置。
【請求項７】
前記画像取得部は、前記複数の画素を有する撮像素子を備え、
前記撮像素子によって前記複数の画像データを取得する請求項１〜６のいずれか一項記載の画像処理装置。
【請求項８】
微弱光下で取得された画像のノイズ除去を行う画像処理方法であって、
複数の画素によって時系列方向に得られた複数の画像データを取得する画像取得ステップと、
前記複数の画像データ同士の類似度データを生成する類似度生成ステップと、
前記複数の画素での画素値の読出ノイズのばらつきに基づく補正データを用いて前記類似度データを補正する類似度補正ステップと、
補正後の類似度データに基づいて前記複数の画像データの画素値を加重平均することにより出力画像データを生成する出力画像生成ステップと、を備える画像処理方法。
【請求項９】
前記類似度生成ステップにおいて、前記複数の画像データにおける同一座標の画素の画素値の差分の二乗和に基づいて前記類似度データを生成する請求項８記載の画像処理方法。
【請求項１０】
前記複数の画素によって時系列方向に得られた複数のダーク画像データに基づいて前記補正データを生成する補正データ生成ステップを更に備える請求項８又は９記載の画像処理方法。
【請求項１１】
前記補正データ生成ステップにおいて、前記複数の画素での画素毎の画素値の標準偏差を用いて前記補正データを生成する請求項１０記載の画像処理方法。
【請求項１２】
前記補正データ生成ステップにおいて、前記複数の画素での画素毎の画素値の分散を用いて前記補正データを生成する請求項１０記載の画像処理方法。
【請求項１３】
前記補正データ生成ステップにおいて、前記複数の画素での画素毎の白色点及び黒色点の出現頻度を用いて前記補正データを生成する請求項１０記載の画像処理方法。
【請求項１４】
前記画像取得ステップにおいては、前記複数の画素を有する撮像素子を用い、
前記撮像素子によって前記複数の画像データを取得する請求項８〜１３のいずれか一項記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ＣＭＯＳカメラ等のイメージセンサには、主に二種類のノイズが存在する。一つは、入射フォトンの揺らぎに起因するフォトンノイズであり、もう一つは、データを読み出す際の読出ノイズである。一般にイメージセンサが利用される場面では、撮像素子への入射フォトン数が十分に大きいため、画像のノイズとしてはフォトンノイズが支配的となる。一方、例えば細胞の蛍光観察のように、微弱光下でイメージセンサが利用される場面では、入射フォトン数が限られた結果、読出ノイズが支配的となる。読出ノイズは、入射フォトン数との相関が無いため、暗い画像であるほど信号とノイズとの区別がつきにくくなる。したがって、輝度の閾値以下のノイズを除去するような処理では、十分なノイズ除去の効果が得られなくなることが考えられる。
【０００３】
ノイズ除去の他の手法としては、非局所平均(ＮＬＭ：Non-Local Means)フィルタを用いた手法が知られている（例えば特許文献１，２参照）。非局所平均フィルタでは、フレーム内の任意のエリアにおいて輝度の差分値（類似度）を演算し、周辺画素の類似度に応じて加算平均強度を設定する。そして、この加算平均強度に応じて画素の画素値と周辺画素の加算平均値とに重み付けを行った後、これらを加算した加重平均値を処理後の画像データとして出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４１６６３号公報
【特許文献２】特開２０１５−１７７５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の手法では、空間的な範囲に基づいて類似度を計算しているため、処理範囲を広げることでノイズ除去の可能性を高められる一方、処理コストが増大するという問題がある。処理範囲を広げた場合でも、類似した画像が処理範囲内に存在しない場合には、各画素の画素値の推定に必要なサンプル数が得られなくなり、ノイズ除去の効率が低下してしまうおそれがある。
【０００６】
また、イメージセンサでは、読出アンプやリセット回路などの性能のばらつきにより、画素毎に読出ノイズにばらつきが生じることが考えられる。したがって、照度が等しい光が入射した場合であっても、画素毎にノイズの発生頻度が異なってくるため、類似度の演算精度が十分に得られず、結果としてノイズ除去性能が十分に確保できなくなるおそれがある。
【０００７】
本開示は、上記課題の解決のためになされたものであり、微弱光下で撮像された画像に対するノイズ除去性能を向上できる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題の解決のため、本開示の一側面に係る画像処理装置は、微弱光下で取得された画像のノイズ除去を行う画像処理装置であって、複数の画素によって時系列方向に得られた複数の画像データを取得する画像取得部と、複数の画像データ同士の類似度データを生成する類似度生成部と、複数の画素での画素値の読出ノイズのばらつきに基づく補正データを用いて類似度データを補正する類似度補正部と、補正後の類似度データに基づいて複数の画像データの画素値を加重平均することにより出力画像データを生成する出力画像生成部と、を備える。
【０００９】
この画像処理装置では、時系列方向に得られた複数の画像データに基づいて、複数の画像データ同士の類似度データを生成する。この場合、同一の画像データにおいて空間方向に類似度データを生成する場合と比較して連続性の高い画像データが得られるため、処理範囲を広げることなく各画素の画素値の推定に必要なサンプル数を容易に確保することができる。また、この画像処理装置では、複数の画素での画素値の読出ノイズのばらつきに基づく補正データを用いて類似度データを補正する。このように、画素毎の読出ノイズのばらつきを考慮して類似度データを生成することで、類似度データの演算精度を高めることができ、ノイズ除去性能を十分に確保できる。
【００１０】
また、類似度生成部は、複数の画像データにおける同一座標の画素の画素値の差分の二乗和に基づいて類似度データを生成してもよい。これにより、類似度データの演算を精度良く実施できる。
【００１１】
また、画像処理装置は、複数の画素によって時系列方向に得られた複数のダーク画像データに基づいて補正データを生成する補正データ生成部を備えていてもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに精度良く組み込むことができる。
【００１２】
また、補正データ生成部は、複数の画素での画素毎の画素値の標準偏差を用いて補正データを生成してもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに一層精度良く組み込むことができる。
【００１３】
また、補正データ生成部は、複数の画素での画素毎の画素値の分散を用いて補正データを生成してもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに一層精度良く組み込むことができる。
【００１４】
また、補正データ生成部は、複数の画素での画素毎の白色点及び黒色点の出現頻度を用いて補正データを生成してもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに一層精度良く組み込むことができる。
【００１５】
また、画像取得部は、複数の画素を有する撮像素子を備え、撮像素子によって複数の画像データを取得してもよい。この場合、撮像素子によって撮像された画像データのノイズ除去を同装置内で実施できる。また、撮像素子を構成する複数の画素の固有の読出ノイズのばらつきを考慮したノイズ除去を実施できる。
【００１６】
また、本開示の一側面に係る画像処理方法は、微弱光下で取得された画像のノイズ除去を行う画像処理方法であって、複数の画素によって時系列方向に得られた複数の画像データを取得する画像取得ステップと、複数の画像データ同士の類似度データを生成する類似度生成ステップと、複数の画素での画素値の読出ノイズのばらつきに基づく補正データを用いて類似度データを補正する類似度補正ステップと、補正後の類似度データに基づいて複数の画像データの画素値を加重平均することにより出力画像データを生成する出力画像生成ステップと、を備える。
【００１７】
この画像処理方法では、時系列方向に得られた複数の画像データに基づいて、複数の画像データ同士の類似度データを生成する。この場合、同一の画像データにおいて空間方向に類似度データを生成する場合と比較して連続性の高い画像データが得られるため、処理範囲を広げることなく各画素の画素値の推定に必要なサンプル数を容易に確保することができる。また、この画像処理方法では、複数の画素での画素値の読出ノイズのばらつきに基づく補正データを用いて類似度データを補正する。このように、画素毎の読出ノイズのばらつきを考慮して類似度データを生成することで、類似度データの演算精度を高めることができ、ノイズ除去性能を十分に確保できる。
【００１８】
また、類似度生成ステップにおいて、複数の画像データにおける同一座標の画素の画素値の差分の二乗和に基づいて類似度データを生成してもよい。これにより、類似度データの演算を精度良く実施できる。
【００１９】
また、画像処理方法は、複数の画素によって時系列方向に得られた複数のダーク画像データに基づいて補正データを生成する補正データ生成ステップを備えていてもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに精度良く組み込むことができる。
【００２０】
また、補正データ生成ステップにおいて、複数の画素での画素毎の画素値の標準偏差を用いて補正データを生成してもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに一層精度良く組み込むことができる。
【００２１】
また、補正データ生成ステップにおいて、複数の画素での画素毎の画素値の分散を用いて補正データを生成してもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに一層精度良く組み込むことができる。
【００２２】
また、補正データ生成ステップにおいて、複数の画素での画素毎の白色点及び黒色点の出現頻度を用いて補正データを生成してもよい。これにより、画素毎の読出ノイズのばらつきの影響を補正データに一層精度良く組み込むことができる。
【００２３】
また、画像取得ステップにおいては、複数の画素を有する撮像素子を用い、撮像素子によって複数の画像データを取得してもよい。この場合、撮像素子によって撮像された画像データのノイズ除去を同装置内で実施できる。また、撮像素子を構成する複数の画素の固有の読出ノイズのばらつきを考慮したノイズ除去を実施できる。
【発明の効果】
【００２４】
本開示によれば、微弱光下で撮像された画像に対するノイズ除去性能を向上できる。
【図面の簡単な説明】
【００２５】
【図１】画像処理装置の一実施形態を示す概略図である。
【図２】画像処理装置１の動作の一例を示すフローチャートである。
【図３】（ａ）はダーク画像データの取得、（ｂ）は補正データの生成を示す概略図である。
【図４】図２の後続のフローチャートである。
【図５】蛍光画像データの取得を示す概略図である。
【図６】類似度データの生成を示す概略図である。
【図７】出力画像データの生成を示す概略図である。
【図８】（ａ）は比較例に係る撮像結果、（ｂ）は実施例に係る撮像結果を示す図である。
【図９】（ａ）は比較例に係る撮像結果、（ｂ）は実施例に係る撮像結果を示す図である。
【図１０】（ａ）は比較例に係る撮像結果、（ｂ）は実施例に係る撮像結果、（ｃ）は別の比較例に係る撮像結果を示す図である。
【図１１】画像処理装置の変形例を示す概略図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら、本開示の一側面に係る画像処理装置及び画像処理方法の好適な実施形態について詳細に説明する。
【００２７】
図１は、画像処理装置の一実施形態を示す概略図である。同図に示す画像処理装置１は、サンプルＳについて微弱光下で画像データを取得すると共に当該画像データのノイズ除去を行い、ノイズ除去後の画像データを出力する装置として構成されている。ここでの微弱光下とは、例えば入力信号が１０〜５０００(photons/pixel/frame)程度の場合を指す。サンプルＳとしては、特に制限はないが、ここではヒトや動物等の生体組織を例示する。この場合、画像処理装置１は、例えばサンプルＳの蛍光観察に用いられる。蛍光観察とは、励起光の照射によってサンプルＳから発生する微弱な蛍光を観察及び記録し、サンプルＳの分析を行うものである。
【００２８】
画像処理装置１は、図１に示すように、カメラ（画像取得部）２と、コンピュータ３とを備えて構成されている。カメラ２は、イメージセンサ４と、画像制御部５とを有している。イメージセンサ４は、複数の画素を有する撮像素子であり、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の１次元或いは２次元センサである。イメージセンサ４は、対物レンズ６を通して結像光学系７で結像したサンプルＳからの光Ｌを撮像し、撮像結果に基づくデジタル信号を画像制御部５に出力する。蛍光観察においては、サンプルＳからの光Ｌは、主としてサンプルＳから発生する蛍光等の発光である。
【００２９】
画像制御部５は、イメージセンサ４からのデジタル信号に基づく画像処理を実行する。画像制御部５は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（GraphicsProcessing Unit）、或いはＦＰＧＡ（field-programmable gate array）等によって構成されている。画像制御部５は、イメージセンサ４から受け取ったデジタル信号に基づいて画像データを生成し、生成した画像データに所定の画像処理を加えた上でコンピュータ３に出力する。
【００３０】
コンピュータ３は、カメラ２から出力される画像データに対して画像処理を行い、ノイズが除去された画像を生成する装置である。コンピュータ３は、有線又は無線により、カメラ２と相互に通信可能に接続されている。コンピュータ３は、例えばＲＡＭ、ＲＯＭ等のメモリ、及びＣＰＵ等のプロセッサ、通信インターフェイス、ハードディスク等の格納部を備えて構成されている。かかるコンピュータとしては、例えばパーソナルコンピュータ、マイクロコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）などが挙げられる。
【００３１】
コンピュータ３には、モニタ等の表示装置８及びキーボード、マウス、タッチパネル等の入力装置９が接続されている。表示装置８には、コンピュータ３で処理された各種画像等が表示される。また、入力装置９からは、ユーザの操作に基づいて、動作の開始、条件設定といった各種入力情報がコンピュータ３に対して送信される。コンピュータ３は、カメラ２から入力された画像データのノイズ除去を行い、ノイズ除去後の出力画像データを生成する画像処理部１１を有している。画像処理部１１は、ＦＰＧＡのような集積回路によって構成されていてもよい。画像処理部１１は、補正データ生成部１２と、類似度生成部１３と、類似度補正部１４と、出力画像生成部１５とを有している。
【００３２】
以下、カメラ２及び画像処理部１１による処理を含めた画像処理装置１の動作について説明する。
【００３３】
図２は、画像処理装置１の動作の一例を示すフローチャートである。同図に示す処理は、画像データのノイズ除去の演算の実施に先立ち、イメージセンサ４の画素毎の読出ノイズのばらつきを補正に用いる補正データを生成する処理であり、カメラ２及び補正データ生成部１２において実行される。この処理では、まず、カメラ２により複数のダーク画像を時系列方向に取得する（ステップＳ０１）。ここでは、サンプルＳを配置せず、かつ励起光及び環境光を消灯した状態で、図３（ａ）に示すように、所定の時間間隔をもって複数（ｎ枚）のダーク画像データ２１を取得する。この時間間隔は、例えばカメラ２の最速読出間隔と一致するように設定される。
【００３４】
複数のダーク画像データ２１を取得した後、補正データ生成部１２により、各ダーク画像データ２１における同一座標の画素Ｋの画素値をそれぞれ抽出し、図３（ｂ）に示すように、これらの画素値の標準偏差ＳＤ（ｘ，ｙ）を画素Ｋ毎に算出する（ステップＳ０２）。標準偏差ＳＤ（ｘ，ｙ）の算出の後、補正係数を算出する（ステップＳ０３）。補正係数の算出にあたっては、例えば全ての画素Ｋの画素値の標準偏差ＳＤ（ｘ，ｙ）のうちで最小となる標準偏差ＳＤｍｉｎを求める。そして、最小の標準偏差ＳＤｍｉｎを標準偏差ＳＤ（ｘ，ｙ）で除した係数Ｇ（ｘ，ｙ）で示される補正テーブルを補正データとして生成する（ステップＳ０４）。係数Ｇ（ｘ，ｙ）は、下記式（１）で表される。
【数１】
2020021314.tif 000003
…（１）
【００３５】
図４は、図２の後続のフローチャートである。同図に示す処理は、補正データ生成部１２によって生成された補正データを用いて、画像データのノイズ除去を行う処理であり、カメラ２、類似度生成部１３、類似度補正部１４、及び出力画像生成部１５において実行される。この処理では、まず、カメラ２によりサンプルＳについての複数の画像を時系列方向に取得する（ステップＳ１１）。ここでは、サンプルＳを配置し、かつ励起光を点灯した状態で、図５に示すように、所定の時間間隔をもって複数の画像データ（蛍光画像データ）２２を取得する。複数の画像データ２２の取得間隔は、例えば数ｍｓ〜数十ｍｓ程度である。図５の例では、現画像データ２２０と、１枚前の画像データ〜Ｎ枚の画像データの計（Ｎ＋１）枚の画像データ（以下、「過去画像データ２２１〜２２Ｎ」と称す）を取得する。画像データ２２の取得数は、ダーク画像データ２１の取得数と一致していてもよく、ダーク画像データ２１の取得数よりも多くてもよく、ダーク画像データ２１の取得数よりも少なくてもよい。
【００３６】
複数の画像データ２２を取得した後、類似度生成部１３により、各画像データ２２における同一座標の画素Ｋの画素値についての類似度データを算出する（ステップＳ１２）。また、類似度補正部１４により、補正データを用いた類似度データの補正を行う（ステップＳ１３）。類似度データの算出にあたっては、図６に示すように、現画像データ２２０と過去画像データ２２１〜２２Ｎとにおける同一座標の画素Ｋの画素値に対するテンプレートマッチングを実行する。テンプレートマッチングの手法は種々のものが存在するが、本実施形態では、画素値の差分の二乗和（SSD：Sum of Squared Difference）に基づくテンプレートマッチングを用いる。このテンプレートマッチングによる類似度の評価は、下記式（２）で表される。
【数２】
2020021314.tif 000004
…（２）
【００３７】
式（２）のうち、Ｇ（Ｘ，Ｙ）を除いた部分が、現画像データ２２０と過去画像データ２２１〜２２Ｎとの間の同一座標の画素Ｋの画素値の類似度を示す基準である。ＳＳＤが小さい値である程、現画像データ２２０と過去画像データとの間の類似度が高いことを表し、ＳＳＤが大きい値である程、現画像データ２２０と過去画像データ２２１〜２２Ｎとの間の類似度が低いことを表す。また、式（２）中のＧ（Ｘ，Ｙ）は、図２に示したステップＳ０１〜ステップＳ０４で生成した補正データである。式（２）において、画素値の差分の二乗和に補正データの係数を乗算することで、ＳＳＤの算出にあたって読出ノイズのばらつきが大きい画素の影響が相対的に小さくなり、読出ノイズのばらつきが小さい画素の影響が相対的に大きくなる。
【００３８】
同一座標の画素Ｋについて現画像データ２２０と過去画像データ２２１〜２２Ｎとの間でＮ個のＳＳＤを算出した後、図７に示すように、加重平均係数を算出する（ステップＳ１４）。加重平均係数の算出は、類似度補正部１４で実行してもよく、出力画像生成部１５で実行してもよい。加重平均係数の算出にあたっては、例えばＮ個のＳＳＤのうちで最小となるＳＳＤｍｉｎを求める。そして、最小のＳＳＤｍｉｎをＳＳＤｉ（ｘ，ｙ）で除した係数Ｗｉ（ｘ，ｙ）を加重平均係数として算出する。係数Ｗｉ（ｘ，ｙ）は、下記式（３）で表される。この式（３）により、出力画像データ２３の生成にあたり、過去画像データ２２１〜２２Ｎのうちで最も現画像データ２２０と類似している画像の影響が大きくなるように加重平均係数が決定される。
【数３】
2020021314.tif 000005
…（３）
【００３９】
加重平均係数の決定の後、出力画像生成部１５において出力画像データを生成する（ステップＳ１５）。出力画像データの生成にあたっては、現画像データ２２０及び過去画像データ２２１〜２２Ｎにおける同一座標の画素Ｋの画素値に加重平均係数Ｗｉ（ｘ，ｙ）を乗算し、これらを足し合わせた後、加重平均係数Ｗｉ（ｘ，ｙ）の総和で除することによって加重平均を行い、出力画像の画素値ＶＲ（ｘ，ｙ）を算出する。画素値ＶＲをｘ方向及びｙ方向の各エリアにおいて算出することにより、出力画像データ２３を生成する。画素値ＶＲ（ｘ，ｙ）の算出は、下記式（４）で表される。なお、Ｗ0（ｘ，ｙ）は、上記式（３）に基づいて求めることができないため、適当な任意の値とする。
【数４】
2020021314.tif 000006
…（４）
【００４０】
以上説明したように、画像処理装置１では、時系列方向に得られた複数の画像データ２２に基づいて、複数の画像データ２２同士の類似度データを生成する。この場合、同一の画像データについて空間方向に類似度データを生成する場合と比較して連続性の高い画像データが得られるため、処理範囲を広げることなく各画素Ｋの画素値の推定に必要なサンプル数を容易に確保することができる。また、画像処理装置１では、複数の画素Ｋでの画素値の読出ノイズのばらつきに基づく補正データを用いて類似度データを補正する。このように、画素Ｋ毎の読出ノイズのばらつきを考慮して類似度データを生成することで、類似度データの演算精度を高めることができ、ノイズ除去性能を十分に確保できる。
【００４１】
また、画像処理装置１では、類似度生成部１３が複数の画像データ２２における同一座標の画素Ｋの画素値の差分の二乗和（ＳＳＤ）に基づいて類似度データを生成している。このように、時系列方向に得られた複数の画像データ２２に対してＳＳＤによるテンプレートマッチングを適用することにより、類似度データの演算を精度良く実施できる。
【００４２】
また、画像処理装置１では、補正データ生成部１２が複数の画素Ｋによって時系列方向に得られた複数のダーク画像データ２１に基づいて補正データを生成する。これにより、画素Ｋ毎の読出ノイズのばらつきの影響を補正データに精度良く組み込むことができる。本実施形態では、補正データ生成部１２が複数の画素Ｋでの画素毎の画素値の標準偏差を用いて補正データを生成している。これにより、画素Ｋ毎の読出ノイズのばらつきの影響を補正データに一層精度良く組み込むことができる。
【００４３】
また、画像処理装置１では、複数の画素Ｋを有するイメージセンサ４が設けられており、イメージセンサ４によって複数の画像データ２２及びダーク画像データ２１を取得している。この場合、イメージセンサ４によって撮像された画像データ２２のノイズ除去を同装置内で実施できる。また、イメージセンサ４を構成する複数の画素Ｋの固有の読出ノイズのばらつきを考慮したノイズ除去を実施できる。
【００４４】
図８〜図１０は、本開示によるノイズ除去の適用結果を示す図である。図８（ａ）及び図８（ｂ）は、蛍光染色した細胞のサンプルからの蛍光を撮像したものである。図８（ａ）は、本開示によるノイズ除去処理を適用していない場合の撮像結果を示す比較例であり、図８（ｂ）は、時系列方向に２０枚の画像データを取得し、本開示によるノイズ除去処理を適用した場合の撮像結果を示す実施例である。また、図９（ａ）及び図９（ｂ）は、蛍光染色した別の細胞のサンプルからの蛍光を撮像したものである。図９（ａ）は、本開示によるノイズ除去処理を適用していない場合の撮像結果を示す比較例であり、図９（ｂ）は、時系列方向に２０枚の画像データを取得し、本開示によるノイズ除去処理を適用した場合の撮像結果を示す実施例である。これらの結果から、実施例の撮像結果では、比較例の撮像結果に比べてノイズによる白色点が除去され、クリアな画像が得られることが分かる。
【００４５】
図１０（ａ）〜図１０（ｃ）は、水中に投入された複数のビーズを水面側から撮像したものである。これらのビーズは、水中でブラウン運動をしており、水面に浮かんできたビーズにのみ励起光が当たって蛍光を発している。図１０（ａ）は、本開示によるノイズ除去処理を適用していない場合の撮像結果を示す比較例であり、図１０（ｂ）は、時系列方向に２０枚の画像データを取得し、本開示によるノイズ除去処理を適用した場合の撮像結果を示す実施例である。この結果においても、実施例の撮像結果では、比較例の撮像結果に比べてノイズによる白色点が除去され、クリアな画像が得られることが分かる。なお、図１０（ｃ）は、ローリング平均を用いて処理を行った場合の撮像結果を示す別の比較例である。この例では、遅延により蛍光像の一部が消滅したり（図１０（ｃ）のＡ部分）、蛍光像に残像が生じたりしていることが分かる（図１０（ｃ）のＢ部分）。
【００４６】
本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、コンピュータ３側に画像処理部１１が設けられた画像処理装置１を例示したが、図１１に示す画像処理装置３１のように、カメラ２側に画像処理部１１が設けられた構成を採用してもよい。また、画像処理装置は、画像処理部１１を有するカメラ若しくはコンピュータを有する顕微鏡として構成されていてもよい。
【００４７】
また、上記実施形態では、補正データ生成部１２は、補正データ生成部１２が複数の画素Ｋでの画素毎の画素値の標準偏差を用いて補正データを生成しているが、補正データ生成部１２は、複数の画素Ｋでの画素毎の画素値の分散を用いて補正データを生成してもよい。この場合、例えば全ての画素Ｋの画素値の分散値ＶＡＲ（ｘ，ｙ）の中で最小となる分散値ＶＡＲｍｉｎを求め、分散値ＶＡＲｍｉｎを分散値ＶＡＲ（ｘ，ｙ）で除した係数Ｇ（ｘ，ｙ）で示される補正テーブルを補正データとして生成すればよい。係数Ｇ（ｘ，ｙ）は、下記式（５）で表される。
【数５】
2020021314.tif 000007
…（５）
【００４８】
また、補正データ生成部１２は、複数の画素Ｋでの画素毎の白色点及び黒色点の出現頻度を用いて補正データを生成してもよい。この場合、まず、各画素Ｋの輝度値の平均値ＡＶＥと標準偏差ＳＤとを複数のダーク画像データ２１それぞれについて算出する。平均値ＡＶＥは、式（６）で表され、標準偏差ＳＤは、式（７）で表される。
【数６】
2020021314.tif 000008
…（６）
【数７】
2020021314.tif 000009
…（７）
【００４９】
平均値ＡＶＥと標準偏差ＳＤとを算出した後、平均値ＡＶＥに対して±２σ以上となるものを白色点及び黒色点としてカウントし、白色点及び黒色点以外の個数Ｎ（ｘ，ｙ）を画素Ｋ毎に算出する。そして、個数Ｎ（ｘ，ｙ）をダーク画像データ２１の取得数ｎで除した係数Ｇ（ｘ，ｙ）で示される補正テーブルを補正データとして生成する。係数Ｇ（ｘ，ｙ）は、下記式（８）で表される。
【数８】
2020021314.tif 000010
…（８）
【００５０】
また、上記実施形態では、補正データ生成部１２によって補正データを生成しているが、画像処理部１１は、必ずしも補正データ生成部１２を備えていなくてもよい。この場合、例えば外部装置で生成した補正データをコンピュータ３に送信してもよく、予め生成した補正データをコンピュータ３内に格納しておいてもよい。
【００５１】
また、上記実施形態では、生体組織の蛍光観察を例示したが、本開示は、他のサンプル、他の観察方法にも適用可能である。例えば本開示によるノイズ除去は、InGaAsカメラ等の赤外カメラによる半導体デバイスのパターン検査に対して適用することもできる。
【符号の説明】
【００５２】
１，３１…画像処理装置、２…カメラ（画像取得部）、４…イメージセンサ（撮像素子）、１２…補正データ生成部、１３…類似度生成部、１４…類似度補正部、１５…出力画像生成部、２１…ダーク画像データ、２２…画像データ、Ｋ…画素。
【図１】
2020021314.tif 000011
【図２】
2020021314.tif 000012
【図３】
2020021314.tif 000013
【図４】
2020021314.tif 000014
【図５】
2020021314.tif 000015
【図６】
2020021314.tif 000016
【図７】
2020021314.tif 000017
【図８】
2020021314.tif 000018
【図９】
2020021314.tif 000019
【図１０】
2020021314.tif 000020
【図１１】
2020021314.tif 000021