(57)【要約】  本発明は、ｎ次元のデジタル入力画像Ｉ（ｘｉ）、ただしｎは少なくとも２、をデコンボリューションするための、方法および画像プロセッサ（１）などの装置に関する。デジタル入力画像は複数の入力ボクセル（ｘｉ）を有する。本発明によるデコンボリューションは、ノイズレベルＮ（ｘｉ）と信号レベルＳ（ｘｉ）から計算される局所的信号対ノイズ比（ＳＮＲ（ｘｉ））に依存するノイズ成分β（ｘｉ）を用いる。信号レベルとノイズレベルの双方は、目下の信号対ノイズ比を求める対象となる入力ボクセルを取り囲んでいる入力領域Ｒ（ｘｉ）内に位置する入力画像のボクセルのみを用いて計算される。ノイズ成分は、ＳＮＲ下限閾値（ＳＮＲｍｉｎ）を下回る信号対ノイズ比であれば、最大ノイズ値（βｍａｘ）に制限され、ＳＮＲ上限閾値（ＳＮＲｍａｘ）を上回る信号対ノイズ比であれば、最小ノイズ値（βｍｉｎ）に制限される。デコンボリューションを、ウィーナーデコンボリューションまたはルーシー−リチャードソンデコンボリューションなどの最大事後確率デコンボリューションとすることができる。ノイズレベルは好ましくは、範囲総和テーブルを用いることができるように、入力画像の微分値の分散として求められる。本発明の装置および方法は、とりわけ蛍光画像を記録する顕微鏡または内視鏡からの画像に特に適している。
2021536644.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力ボクセル（ｘｉ）を有するデジタル入力画像（Ｉ（ｘｉ））、特に顕微鏡（１２）または内視鏡などの医療用観察装置（１０）から取得されたデジタル入力画像かつ／または蛍光を用いたデジタル入力画像をデコンボリューションするための方法であって、前記方法は、
前記デジタル入力画像の入力領域（Ｒ（ｘｉ））内で局所的信号対ノイズ比（ＳＮＲ（ｘｉ））を計算するステップであって、前記入力領域は、前記デジタル入力画像の前記複数の入力ボクセルの部分集合から成り、目下の入力ボクセルを取り囲んでいるステップと、
前記局所的信号対ノイズ比からノイズ成分（β（ＳＮＲ））を計算するステップであって、前記ノイズ成分は、デコンボリューションにおける画像ノイズ（ｎ（［ｈ＊ｆ］（ｘｉ），ｎ（ｘｉ））を表すステップと、
を有し、
前記ノイズ成分を、予め定められたＳＮＲ上限閾値（ＳＮＲｍａｘ）を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値（βｍｉｎ）に制限し、予め定められたＳＮＲ下限閾値（ＳＮＲｍｉｎ）を下回る局所的信号対ノイズ比であれば、予め定められた最大ノイズ値（βｍａｘ）に制限する、
方法。
【請求項２】
前記局所的信号対ノイズ比（ＳＮＲ）を計算するステップは、前記入力領域（Ｒ（ｘｉ））内の局所的信号レベル（Ｓ（ｘｉ））と前記入力領域（Ｒ（ｘｉ））内の局所的ノイズレベル（Ｎ（ｘｉ））とを計算するステップを含み、
前記局所的ノイズレベルを計算するステップは、入力ボクセル（ｘｉ）の少なくとも１つの連続した領域について、少なくとも１つの範囲総和テーブル（３８）を計算するステップを含む、
請求項１記載の方法。
【請求項３】
前記少なくとも１つの範囲総和テーブル（３８）を計算するステップは、プレフィックスサムを用いて並列方式で前記少なくとも１つの範囲総和テーブルを計算するステップを含む、
請求項２記載の方法。
【請求項４】
前記局所的ノイズレベル（Ｎ）を計算するステップは、少なくとも１つの範囲総和テーブル（３８）を用いて、前記デジタル入力画像（Ｉ（ｘｉ））の分散を計算するステップを含む、
請求項２または３記載の方法。
【請求項５】
前記デジタル入力画像（Ｉ（ｘｉ））に線形微分演算子
【数１】
2021536644.tif 000059
を適用して微分画像データ（Ｉ’（ｘｉ））を取得した後、前記分散を計算する、
請求項４記載の方法。
【請求項６】
前記線形微分演算子
【数２】
2021536644.tif 000060
は、勾配演算子またはエッジ検出フィルタである、
請求項５記載の方法。
【請求項７】
前記局所的信号対ノイズ比（ＳＮＲ（ｘｉ））を計算するステップは、前記入力領域（Ｒ（ｘｉ））内の１つの入力ボクセル（ｘｉ）において信号レベル（Ｓ（ｘｉ））を計算するステップを含み、
前記信号レベルを計算するステップは、ブラーカーネル（ｋｂ（ｘｉ））を用いて前記デジタル入力画像（Ｉ（ｘｉ））をコンボリューションするステップを含む、
請求項１から６までのいずれか１項記載の方法。
【請求項８】
前記ノイズ成分（β（ＳＮＲ（ｘｉ）））を、勾配
【数３】
2021536644.tif 000061
を有するように計算し、前記勾配は、前記予め定められたＳＮＲ上限閾値（ＳＮＲｍａｘ）において、かつ／または、前記予め定められたＳＮＲ下限閾値（ＳＮＲｍｉｎ）において、前記予め定められたＳＮＲ上限閾値（ＳＮＲｍａｘ）と前記予め定められたＳＮＲ下限閾値（ＳＮＲｍｉｎ）との間におけるよりも小さい、
請求項１から７までのいずれか１項記載の方法。
【請求項９】
前記ノイズ成分（β（ＳＮＲ））を計算するステップは、三角関数を計算するステップを含む、
請求項８記載の方法。
【請求項１０】
前記デコンボリューションは、ルーシー−リチャードソンデコンボリューションである、
請求項１から９までのいずれか１項記載の方法。
【請求項１１】
請求項１から１０までのいずれか１項記載の画像処理方法をコンピュータに実行させるプログラムを格納している非一時的コンピュータ可読媒体。
【請求項１２】
請求項１から１０までのいずれか１項記載の方法を実施するように構成された画像プロセッサ（１）を有する、顕微鏡（１２）または内視鏡などの医療用観察装置（１０）。
【請求項１３】
顕微鏡（１２）または内視鏡などの医療用観察装置（１０）のための画像プロセッサ（１）であって、前記画像プロセッサ（１）は、
複数の入力ボクセル（ｘｉ）を有するデジタル入力画像（Ｉ（ｘｉ））を格納するためのメモリ（４）と、
前記複数の入力ボクセルからデコンボリューションされた出力画像（ｆ（ｘｉ））を計算するためのデコンボリューションエンジン（３４）と、
を有し、
前記デコンボリューションエンジンは、１つの入力ボクセルにおける局所的信号対ノイズ比（ＳＮＲ（ｘｉ））に依存するノイズ成分（β（ＳＮＲ（ｘｉ）））を有し、前記局所的信号対ノイズ比は、前記デジタル入力画像の前記複数の入力ボクセルの部分集合から成る１つの入力領域（Ｒ（ｘｉ））内でのみ計算され、
前記画像プロセッサ（１）は、予め定められたＳＮＲ上限閾値（ＳＮＲｍａｘ）と予め定められた信号対ノイズ下限閾値（ＳＮＲｍｉｎ）とを含み、
前記ノイズ成分は、前記予め定められたＳＮＲ上限閾値（ＳＮＲｍａｘ）を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値（βｍｉｎ）に制限され、前記予め定められた信号対ノイズ下限閾値（ＳＮＲｍｉｎ）を下回る局所的信号対ノイズ比であれば、予め定められた最大値（βｍａｘ）に制限される、
画像プロセッサ（１）。
【請求項１４】
前記画像プロセッサ（１）は、範囲総和テーブルジェネレータ（３６）を有し、前記範囲総和テーブルジェネレータは、前記デジタル入力画像の範囲総和テーブルを計算し、前記範囲総和テーブルを用いて局所的ノイズレベルを計算するように構成されている、
請求項１３記載の画像プロセッサ（１）。
【請求項１５】
請求項１３または１４記載の画像プロセッサ（１）を有する顕微鏡（１２）または内視鏡。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像復元のための、特に顕微鏡または内視鏡からのデジタル入力画像のための、方法および装置に関する。
【背景技術】
【０００２】
画像処理の分野では、デジタル入力画像において解像度の強化およびノイズの低減のためにデコンボリューションが知られている。デコンボリューションの基礎となる前提は、観察されるデジタル入力画像Ｉ（ｘｉ）が以下のようにして実際の画像
【数１】
2021536644.tif 000003
から生じる、ということである：
【数２】
2021536644.tif 000004
ここでｈ（ｘｉ）は、点像分布関数のような例えば記録システムからの線形の伝達関数を表し、ｎ（ｘｉ）は相加性画像ノイズを表し、ｎは信号強度に依存するポアソンノイズを表し、ｘｉは入力ボクセルを表し、＊はコンボリューションを表す。デコンボリューションにおいて、すなわち実際の画像
【数３】
2021536644.tif 000005
の推定の計算において、画像ノイズはノイズ成分によって表現される。
【０００３】
デジタル入力画像を、２次元またはそれよりも高次の次元とすることができる。したがって一般的に言えば、入力画像をｎ次元とすることができ、ただしｎは１よりも大きい整数であり、ｎ≧２である。
【０００４】
入力ボクセルｘｉ各々において、入力画像は少なくとも１つの画像パラメータＩによって表現され、これは特に光の強度で表すことのできるデジタル値である。デジタル入力画像が２次元であるならば、１つのボクセルは１つのピクセルである。もっと一般的に言えば、入力画像がｎ次元であるならば、１つのボクセルをｎ次元のデータ構造とすることができる。ｎ次元を、例えば空間的（３次元）画像および／または２つ以上の色チャネルを有する２次元の画像から生じさせることができる。例えば入力画像はボクセルごとに、Ｒ，Ｇ，Ｂ値および／または可視光および非可視光の範囲内にある他の色、ＵＶ値、ＩＲ値、ＮＩＲ値のうちのいずれか１つまたはこれらの組み合わせのような種々のスペクトル帯域において、複数の強度値を有することができ、あるいは単一のグレースケール強度値を有することができる。
【０００５】
ここでは、また、以下では、入力ボクセルは、入力画像内の１つのロケーションｘｉを示し、ここでｎ次元の画像についてｘｉを、ｎ個の局所座標のｎタプルｘｉ＝｛ｘ１，．．．，ｘｎ｝によって表現することができる。例えば２次元のＲＧＢ画像の場合にはｎ＝５が適用され、その理由は、この画像の２つの空間座標ｘ、ｙおよび３つの色チャネルが存在するからであり、Ｒ，Ｇ，Ｂ：ｘｉ＝｛ｘ１，．．．，ｘ５｝＝｛ｘ，ｙ，Ｒ，Ｇ，Ｂ｝となるからである。択一的に、ＲＧＢ入力画像を３つの独立した２次元グレースケール画像Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と見なすことができ、ここでＲ，Ｇ，Ｂは例えば個々の色帯域における光強度Ｉを表す。入力画像を３次元とすることもできる。３次元のグレースケール画像であればｎ＝３であり、ｘｉ＝｛ｘ１，ｘ２，ｘ３｝＝｛ｘ，ｙ，ｚ｝である。
【０００６】
ノイズのある入力画像のデコンボリューションのためには、信号対ノイズ比に関する知識が必要とされる。実施にあたって、画像ノイズと信号対ノイズ比を推定しなければならない。このためデコンボリューションによっても、実際の入力画像
【数４】
2021536644.tif 000006
の近似ｆ（ｘｉ）しか計算できない。
【０００７】
標準デコンボリューションアルゴリズムに欠けているのは、顕微鏡または内視鏡など特定の用途において最適な結果をもたらすことであり、そのような用途において、特に蛍光画像の画像特性は、人物像、景色、娯楽画像、芸術画像など他の用途において直面する画像特性とは異なる。しかも信号対ノイズ比の精巧な推定および計算は、特に最新の画像は空間解像度が高められている点からすれば、リアルタイムで実行するには、とりわけ６０Ｈｚのような高いフレームレートでデコンボリューションを維持し続けるべきときには、すぐに負荷が大きくなりすぎてしまう可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって本発明の課題は、特に蛍光画像、内視鏡画像および／または顕微鏡画像の場合に、デコンボリューション性能が改善された装置および方法を提供することにある。さらに本発明の課題は、高解像度のデジタル入力画像をリアルタイムでデコンボリューション可能な装置および方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明によればこの課題は、請求項１記載の方法により解決される。この方法は、複数の入力ボクセルを有するデジタル入力画像、特に顕微鏡または内視鏡から取得された、かつ／または蛍光を用いたデジタル入力画像、のデコンボリューションのための方法に関する。この方法は、
デジタル入力画像の入力領域内で局所的信号対ノイズ比を計算するステップであって、入力領域は、デジタル入力画像の複数の入力ボクセルの部分集合から成り目下の入力ボクセルを取り囲んでいるステップと、
局所的信号対ノイズ比からノイズ成分を計算するステップであって、このノイズ成分は、デコンボリューションにおける画像ノイズを表すステップと、
を有し、
この場合、ノイズ成分を、予め定められたＳＮＲ上限閾値を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値に制限し、予め定められたＳＮＲ下限閾値を下回る局所的信号対ノイズ比であれば、予め定められた最大ノイズ値に制限する。
【００１０】
さらに上述の課題は、本発明によれば請求項１３記載の医療用観察装置のための画像プロセッサによっても解決される。この画像プロセッサは、
複数の入力ボクセルを有するデジタル入力画像を格納するためのストレージセクションまたはメモリセクションと、
複数の入力ボクセルからデコンボリューションされた出力画像を計算するためのデコンボリューションエンジンと、
を有し、
この場合、デコンボリューションエンジンは、１つの入力ボクセルにおける局所的信号対ノイズ比に依存するノイズ成分を有し、局所的信号対ノイズ比は、デジタル入力画像の複数の入力ボクセルの部分集合から成る１つの入力領域内で計算され、
この場合、画像プロセッサは、予め定められたＳＮＲ上限閾値と予め定められたＳＮＲ下限閾値を含み、さらに
この場合、ノイズ成分は、予め定められたＳＮＲ上限閾値を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値に制限され、予め定められた信号対ノイズ下限閾値を下回る局所的信号対ノイズ比であれば、予め定められた最大値に制限される。
【００１１】
本発明による解決手段によれば、入力領域についてのみ計算される局所的信号対ノイズ比を用いることにより、デコンボリューションされた出力画像の品質が改善され、すなわちノイズが低減され、かつ鮮明度が高められるようになる。これと同時に、本発明による方法および装置によれば、相加性ノイズ成分の計算を、入力ボクセルを取り囲んでいる局所的入力領域に制限することによって、さらにＳＮＲ上限閾値とＳＮＲ下限閾値を導入することによって、計算上の利点が実現される。
【００１２】
本発明による方法および装置により取得される出力画像の品質が改善される１つの理由として挙げることができるのは、顕微鏡および内視鏡により、かつ／または蛍光を用いることにより、取得されるような生体物質の画像の場合には特に、ノイズの特性がデジタル入力画像全体にわたって異なる可能性がある、ということである。例えば、焦点に位置し細胞または組織の照射された部分または蛍光を発する部分を示す画像の領域内のノイズの特性は、ほとんど黒色または白色のバックグラウンドを含む領域の場合と同じものにはなり得ない。
【００１３】
さらに観察されたのは、予め定められたＳＮＲ上限閾値を上回る大きい局所的信号対ノイズ比であれば、画像は十分に良好であり、正則化パラメータのさらなる計算を実施する必要がない、ということである。このため、予め定められたＳＮＲ上限閾値を上回る信号対ノイズ比であれば、ノイズ成分を予め定められた最小ノイズ値に設定することができる。
【００１４】
さらに観察されたのは、著しく小さい局所的信号対ノイズ比であり、ＳＮＲ＜１またはそれどころかＳＮＲ＜＜１であると、予め定められた最大値を上回ってノイズ成分が増加してしまう可能性があり、このことは、デコンボリューションされた出力画像において改善された結果をもたらすものではない。よって、信号対ノイズが予め定められたＳＮＲ下限閾値を下回って降下したならば、ノイズ成分は予め定められた最大ＳＮＲ値に制限される。
【００１５】
本発明による解決手段を、以下の特徴のうちの１つまたは複数を加えることによってさらに改善することができ、それらの特徴を互いに別個に組み合わせることができる。
【００１６】
例えば画像プロセッサを、ソフトウェアデバイス、ハードウェアデバイス、またはハードウェアデバイスとソフトウェアデバイス双方の組み合わせとすることができる。画像プロセッサは、ＣＰＵ、アレイプロセッサ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡおよび／またはＦＰＵのうちの少なくとも１つを有することができる。画像プロセッサを特に、配列処理アセンブリおよび／または並列処理アセンブリを実行するのに適したものとすることができる。画像プロセッサは、１つまたは複数のソフトウェアモジュールを有することができ、このモジュールは動作中、例えばトランジスタ状態を変更することにより、プロセッサの物理的構造を変更する。
【００１７】
入力画像の１つのボクセルｘｉにおける信号対ノイズ比ＳＮＲ（ｘｉ）を、信号レベルまたは信号強度Ｓ（ｘｉ）とノイズレベルＮ（ｘｉ）との比として、入力領域Ｒ（ｘｉ）において計算することができる：
【数５】
2021536644.tif 000007
【００１８】
別の実施形態において、信号対ノイズ比を、
【数６】
2021536644.tif 000008
のようにして計算することができる。
【００１９】
デジタル入力画像のすべての入力ボクセルｘｉについて局所的信号対ノイズ比が計算されたならば、ボクセル間の滑らかな遷移を保証するために、ローパスフィルタまたはガウシアンフィルタといった線形フィルタを用いて、結果として生じたｎ次元配列ＳＮＲ（ｘｉ）をブラー処理することができる。
【００２０】
好ましくは、目下のボクセルを取り囲んでいる予め定められた入力領域内のピクセルのみが、その特定の目下のボクセルにおける局所的信号対ノイズ比を計算するために用いられる。特に、ノイズレベルＮ（ｘｉ）と信号レベルＳ（ｘｉ）を、各々（同じ）入力領域においてのみ計算することができる。
【００２１】
１つの実施形態によれば、１つの入力ボクセルｘｉにおける信号レベルまたは信号強度Ｓ（ｘｉ）を、局所的ＳＮＲ推定のために入力領域Ｒ（ｘｉ）においてブラーカーネルｋｂ（ｘｉ）により入力画像Ｉ（ｘｉ）をコンボリューションし、このコンボリューションの最大値をとることによって、推定することができる：
【数７】
2021536644.tif 000009
ここでΩは、コンボリューションが実行される領域である。
【００２２】
１つの実施形態によれば、入力領域は、２００〜１０００個の入力ボクセルを含むことができ、より好ましくは３００〜７００個の入力ボクセル、最も好ましくは約５００個の入力ボクセルを含むことができる。このサイズの入力領域は、信頼性のある統計的推定をもたらすのに十分な大きさであり、これと同時に、異なるノイズ特性を有する画像内の領域まで及ぶほどには大きすぎない。
【００２３】
ブラーカーネルを、例えば以下の形態を有するガウシアンフィルタなどの線形フィルタとすることができる：
【数８】
2021536644.tif 000010
ここで０．５＜σｉ＜１．０であり、特にσｉ≒０．７５である。線形フィルタは、例えば３×３または５×５のサイズを有することができる。ＧＰＵにおいてかかる２次元のブラーカーネルをそのまま計算するのは、例えば１×３または１×５のカーネルを用いた別個の１次元のパスよりも高速である。
【００２４】
別の実施形態によれば、１つの入力ボクセルｘｉにおけるノイズレベルＮ（ｘｉ）を、有利な実施形態において入力領域内のデジタル入力画像に基づき、以下のようにして分散を計算することにより推定することができる：
【数９】
2021536644.tif 000011
【００２５】
ここでＩ’（ｘｉ）は、入力画像のｎ次元のいずれかにおけるロケーションｘｉでの入力画像および任意の次数の微分値または勾配である。微分値Ｉ’を例えば、入力領域Ｒ内の入力画像Ｉに線形離散演算子
【数１０】
2021536644.tif 000012
を適用することによって取得することができる。
【数１１】
2021536644.tif 000013
【００２６】
特に、
【数１２】
2021536644.tif 000014
を、ソーベル演算子またはラプラス演算子などのエッジ検出フィルタ、または
【数１３】
2021536644.tif 000015
のような１次、２次、またはそれよりも高次の勾配演算子、またはかかる線形演算子の任意の線形結合とすることができる。例えば離散における２次の勾配演算子
【数１４】
2021536644.tif 000016
の適用を、２次元の場合に入力ボクセルｘｉ＝｛ａ，ｂ｝，Ω∈Ｒ（ｘｉ）およびＩａｂ＝Ｉ（ａ，ｂ）において
【数１５】
2021536644.tif 000017
のように表現することができ、ここでΩは考察されるボリュームまたは領域である。
【００２７】
１つの実施形態によれば、分散を
【数１６】
2021536644.tif 000018
のようにして計算することができ、
ここで
【数１７】
2021536644.tif 000019
は、平均値または期待値の演算子などｎ次元の配列のノルムであり、例えば
【数１８】
2021536644.tif 000020
である。１次元の場合には、ここでｚｑは１次元の離散的な配列である。あとでさらに説明するように、この形式は特に、範囲総和テーブルを用いて高度に計算効率のよい手法でノイズレベルを計算するのに適している。
【００２８】
（局所的な）信号対ノイズ比ＳＮＲ（ｘｉ）を計算するために、また、信号対ノイズ比をブラー処理するために、画像プロセッサは信号対ノイズ計算エンジンを有することができ、これを画像プロセッサのハードウェア構成要素またはソフトウェア構成要素または双方の組み合わせとすることができる。１つの実施形態によれば、信号対ノイズ計算エンジンは、少なくとも１つのＣＰＵ、ＧＰＵ、ＦＰＵおよび／または専用ＩＣ例えばＡＳＩＣ、またはこれらの任意の組み合わせなど、別個のハードウェア構成要素、および／または１つまたは複数のサブルーチンなど、別個のソフトウェアモジュールを有することができる。信号対ノイズ計算エンジンを特に、信号レベルとノイズレベルのうちの少なくとも一方も計算するように構成することができる。
【００２９】
上述のように、１つの入力ボクセルｘｉにおける信号レベルとノイズレベルのうちの少なくとも一方を、好ましくは両方を、入力領域Ｒ（ｘｉ）においてのみ計算することができる。このため入力領域は、デジタル入力画像の複数の入力ボクセルの部分集合だけから成る。
【００３０】
入力領域は好ましくは、複数の入力ボクセルから成る１つの連続した領域である。入力領域は好ましくは、信号対ノイズ比ＳＮＲ（ｘｉ）を計算する対象となる目下の入力ピクセルまたは入力ボクセルを取り囲んでいる。したがって信号対ノイズ比は局所的な値であり、この値は、各々が好ましくは同じ形状およびサイズであるそれぞれ異なる入力領域が、各入力ボクセルについて用いられることから、入力ボクセルごとに異なる。
【００３１】
好ましくは、信号レベルおよび／またはノイズレベルの計算のために入力ボクセルが考慮される入力領域は、少なくとも２回転対称性を有する。各々連続している複数のいっそう小さいｎ次元の直方体領域によって、入力領域を１つのｎ次元の直方体の形状とは逸脱したものとしてもよい。例えば入力領域を、２次元の場合であれば、それ自体が入力領域の一部ではない１つまたは複数の長方形によって、長方形または正方形の形状とは異なるようにすることができる。
【００３２】
特に入力領域を、複数の入力ボクセルから成る、特に複数の入力ボクセルを有する複数の長方形から成る、ｎ次元のガウス状の、円形の、メキシコ帽状の、または星形の、連続的な配置とすることができ、あるいはそれらの離散近似とすることができる。
【００３３】
入力領域は、入力ピクセルの複数のｎ次元の直方体領域を重畳した結果として生じる形状を有することができる。２次元の場合、各々が少なくとも２×２または４×４のボクセルを有し得る複数の長方形の重畳によって、入力領域を構成することができる。
【００３４】
１つの実施形態によれば、ノイズレベルを計算する対象となる目下の入力ボクセルに至るまでのほうが、目下の入力ボクセルからいっそう遠くに離間された入力領域内の入力ボクセルに至るまでよりも近い入力領域内の入力ボクセルに、いっそう大きい重み付けを割り当てることができる。かかる重み付けによって、入力領域がその境界に向かって滑らかに徐々にぼやけていくようになり、したがって入力ボクセル全体にわたり局所的なノイズレベルがいっそう滑らかに分布するようになる。
【００３５】
入力領域内での
【数１９】
2021536644.tif 000021
を用いた局所的ノイズレベルの計算は、好ましくは範囲総和テーブルを用いて行われる。これにより局所的信号対ノイズ比を、高度に計算効率のよい手法で求めることができる。範囲総和テーブルについては、Crow, Franklin C.著の"Summed-area tables for texture mapping", ACM SIGGRAPH computer graphics, (18) 3, 1984において説明されている。範囲総和テーブルのｎ次元のバージョンについては、Tapia, Ernesto著の"A note on the computation of high-dimensional integral images", Pattern Recognition Letters, 32 (2), 2011に記載されている。
【００３６】
好ましくはノイズレベルを計算する前に、入力領域全体にわたって総和する必要があるパラメータごとに、別個の範囲総和テーブルを生成することができる。
【００３７】
例えば分散を
【数２０】
2021536644.tif 000022
のようにして計算するならば、
【数２１】
2021536644.tif 000023
について１つの範囲総和テーブルを生成することができ、この範囲総和テーブルが計算されてしまったならば、
【数２２】
2021536644.tif 000024
について別個の範囲総和テーブルを生成することができる。
【００３８】
少なくとも１つの範囲総和テーブルを画像プロセッサの一部とすることができ、このことは例えば、画像プロセッサのストレージセクションに少なくとも一時的に格納することによって、かつ／または画像プロセッサのメモリを範囲総和テーブルの格納のために割り当てる命令によって行われる。
【００３９】
分散という観点でノイズレベルを定義し、範囲総和テーブルを用いてこの分散自体を計算することによって、高度に計算効率のよいデコンボリューションアルゴリズムがもたらされ、このアルゴリズムによれば、単一の大域的信号対ノイズ比の代わりに複数の局所的信号対ノイズ比を計算することにより生じる余分な負荷が格段に低減される。
【００４０】
範囲総和テーブル各々は、入力画像と同じ次元を有する複数の値から成るデジタル配列である。
【００４１】
上述のように、ノイズレベルを入力領域内の微分値の分散すなわち２次の統計モーメントを計算することによって推定することができるけれども、ノイズレベルを計算するためにいっそう高次のｎ次の統計モーメントを用いることもできる。一般にｎ次の統計モーメント
【数２３】
2021536644.tif 000025
を、範囲総和テーブルを用いて計算することもできる。
【００４２】
範囲総和テーブルを用いて、入力領域のサイズと形状を、目下の入力ボクセルに対し相対的に範囲総和テーブル内の座標を選択することによって、暗黙的に定義することができ、それらの座標によって、統計モーメントを計算するために用いられる総和値のブロックすなわちｎ次元の直方体が定義される。入力領域を解釈するために複数の範囲総和テーブルのブロックを結合することによって、ブロックがオーバラップした場所に位置する入力ボクセルは、いっそう大きい重み付けを自動的に獲得する。このことは、ブロックのオーバラップが入力領域の中央に位置しているような場合に好ましい。したがってこの領域に、いっそう大きい重み付けを自動的に割り当てることができる。
【００４３】
本発明による画像プロセッサの場合、画像プロセッサは範囲総和テーブルジェネレータを有することができ、この範囲総和テーブルジェネレータは、領域の範囲総和テーブルを計算し、この範囲総和テーブルを用いてノイズレベルを計算するように構成されている。範囲総和テーブルジェネレータを、ハードウェアデバイス、ソフトウェアデバイス、またはハードウェアデバイスとソフトウェアデバイス双方の組み合わせとすることができる。
【００４４】
計算効率をさらに向上させるために、入力領域の少なくとも１つの範囲総和テーブルを、プレフィックスサムの並列計算によって生成することができる。このステップを迅速に実施する目的で、画像プロセッサまたは特に範囲総和テーブルジェネレータは好ましくは、少なくとも１つのプレフィックスサムジェネレータを有し、これをハードウェアデバイス、ソフトウェアデバイスまたはこれら２つの組み合わせとすることができる。ハードウェアデバイスは、ＧＰＵなどのアレイプロセッサ、または例えば複数のＧＰＵ、ＣＰＵおよび／またはＦＰＵを有する並列処理アセンブリを有することができる。ソフトウェアデバイスは、ハードウェアデバイスのための命令セットを有することができる。動作中、ハードウェアセットは、プレフィックスサムの並列計算を実行するために、ソフトウェアデバイスの命令セットに基づきその構造を変更することができる。プレフィックスサムジェネレータは、プレフィックスサムを並列方式で計算するように構成されている。
【００４５】
様々な方法を用いてデコンボリューションを行うことができる。
【００４６】
例えば、ウィーナーフィルタを用いてウィーナーデコンボリューションを実行することができる。この実施形態の場合、出力画像ｆ（ｘｉ）を、観察された画像すなわちデジタル入力画像から、以下のようにして推定することができる：
【数２４】
2021536644.tif 000026
【００４７】
ここでＦは、括弧内の量のｎ次元の離散フーリエ変換を表し、Ｆ［ｈ（ｘｉ）］＊は、ｈ（ｘｉ）の離散フーリエ変換の複素共役である。項
【数２５】
2021536644.tif 000027
はウィーナーフィルタである。項βはウィーナーフィルタのノイズ成分であり、１つの好ましい実施形態によれば、これは上述のように局所的信号対ノイズ比ＳＮＲに依存して選択され、すなわちβ＝β（ＳＮＲ（ｘｉ））である。
【００４８】
別の実施形態によれば、ルーシー−リチャードソンデコンボリューションといった最大事後確率デコンボリューションを用いることができる。ルーシー−リチャードソンデコンボリューションについては例えば、Fish D. A.; Brinicombe A. M.; Pike E. R.; Walker J. G.著の"Blind deconvolution by means of the Richardson-Lucy algorithm", Journal of the Optical Society of America A, 12 (1), p. 58-65 (1995)に記載されている。ルーシー−リチャードソンデコンボリューションは特に、計算性能を向上させるためにスケーリングされた勾配投影を用いることができる。
【００４９】
ルーシー−リチャードソンデコンボリューションにおいて、出力画像について以下の反復計算が実施される：
【数２６】
2021536644.tif 000028
ここでｋ番目の反復において、出力画像としてｆ（ｋ）（ｘｉ）つまり実際の画像の推定が用いられる。コンボリューションは＊によって表され、ｈＴ（ｘｉ）＝ｈ（−ｘｉ）は、結像システムまたはレンズの反転されたＰＳＦ（点像分布関数）である。関数Ｖ（ｘｉ）は、正則化関数Ｒｒｅｇ（ｘｉ）の導関数である：
【数２７】
2021536644.tif 000029
【００５０】
正則化関数Ｒｒｅｇ（ｘｉ）を、全変動
【数２８】
2021536644.tif 000030
すなわち勾配のノルム、チホノフ正則化
【数２９】
2021536644.tif 000031
およびグッズラフネス（Good’s roughness）
【数３０】
2021536644.tif 000032
、またはかかる関数の任意の好ましくは線形結合のうちの少なくとも１つとすることができる。
【００５１】
項ｂ（ｘｉ）はバックグラウンドパラメータである。好ましくは、バックグラウンドパラメータは、局所的信号対ノイズ比に依存するように選択され、すなわちｂ（ｘｉ）：＝ｂ（ＳＮＲ（ｘｉ））である。さらなる実施形態によれば、バックグラウンドパラメータを局所的信号対ノイズ比の線形関数とすることができる。
【００５２】
特に鮮明なデコンボリューションされた画像をもたらす１つの実施形態によれば、バックグラウンドパラメータは、局所的信号対ノイズ比が予め定められたＳＮＲ下限閾値を上回ると、最小値に到達する。これに加え、または択一的に、バックグラウンドパラメータは、局所的信号対ノイズ比が予め定められたＳＮＲ上限閾値を下回ると、最大値に到達することができる。
【００５３】
バックグラウンドパラメータは、例えば入力画像全体について上述のように計算されたノイズレベルに依存するスケーリングファクタを含むことができる。
【００５４】
パラメータβは、デコンボリューションのノイズ成分に対応し、本発明の１つの実施形態によれば、局所的信号対ノイズ比に依存するように選択され、すなわちβ：＝β（ＳＮＲ（ｘｉ））である。局所的信号対ノイズ比を上述のようにして計算することができる。
【００５５】
デジタル入力画像に適用される特定のデコンボリューション方法にかかわらず、ノイズ成分β（ＳＮＲ）は、局所的信号対ノイズ比の連続関数として計算される。特に、ノイズ成分を単調とすることができ、好ましくは、予め定められたＳＮＲ下限閾値ＳＮＲｍｉｎにおける予め定められた最大ノイズ値βｍａｘ、β（ＳＮＲｍｉｎ）＝βｍａｘと、予め定められた最大ＳＮＲ値ＳＮＲｍａｘにおける予め定められた最小ノイズ値βｍｉｎと、の間で減少する厳密に単調な関数とすることができる。
【００５６】
特にノイズ成分βは、
【数３１】
2021536644.tif 000033
に依存する線形関数、多項式関数および三角関数のうちの少なくとも１つを有することができる。
【００５７】
良好なデコンボリューション結果をもたらす１つの固有の実施形態によれば、ダイナミックレンジの１〜１０％になるように、特に約５％になるように、βｍａｘを選択することができる。後者の場合、βｍａｘを約０．０５とすることができる。ＳＮＲｍｉｎの値をゼロとすることができ、つまりＳＮＲｍｉｎ＝０とすることができる。
【００５８】
特に顕微鏡または内視鏡により記録されるデジタル入力画像に関して、正則化パラメータが切り捨てられる大きさである予め定められた最大ＳＮＲ値ＳＮＲｍａｘは、２よりも大きく、好ましくは５よりも小さく、最も好ましくは約３である。
【００５９】
ノイズ成分の勾配
【数３２】
2021536644.tif 000034
が、ＳＮＲ＝０において、かつ／または予め定められた最大ＳＮＲ値ＳＮＲｍａｘにおいて、これら２つの値の間にある中間領域におけるものよりも、すなわち約
【数３３】
2021536644.tif 000035
におけるものよりも小さければ、デコンボリューションに関して良好な結果が得られた。
【００６０】
著しく良好なデコンボリューション結果をもたらすさらなる好ましい実施形態によれば、ノイズ成分βは、
【数３４】
2021536644.tif 000036
を用いて計算され、ここでＳＮＲｍａｘは予め定められた最大ＳＮＲ値である。
【００６１】
上述の課題は、これまで述べてきた実施形態のうちの少なくとも１つにおける画像プロセッサを有する顕微鏡または内視鏡など医療用観察装置によっても解決される。
【００６２】
さらに本発明は、これまで述べてきた実施形態のうちのいずれか１つにおける画像処理方法をコンピュータに実行させるプログラムを格納している非一時的コンピュータ可読媒体にも関する。
【００６３】
次に、１つまたは複数の実施形態を用いて図面を参照しながら、本発明の実際の具現化形態について説明する。この説明は一例として用いられているにすぎず、本発明およびその特徴を図面に示し以下で説明することに限定しようというものでは決してない。むしろ実施形態に示されている特徴の組み合わせを、これまで述べてきたように変更することができる。例えば、１つの実施形態の複数の特徴のうちの１つまたは複数を、その技術的効果が特定の具現化形態のために不要であるならば、省略することができる。同様に、これまで述べてきた特徴のうちの１つまたは複数を、その特定の特徴の技術的効果がある特定の用途に有利であるならば、加えることができる。
【００６４】
図中、構造と機能のうちの少なくとも一方に関して互いに対応する要素に対しては、同じ参照符号が用いられている。
【図面の簡単な説明】
【００６５】
【図１】本発明による医療用観察装置を示す概略図である。
【図２】入力領域の一例を示す図である。
【図３】本発明による方法の概略的なフローチャートを示す図である。
【図４】デコンボリューション前の入力画像を示す図である。
【図５】公知のデコンボリューション方法を用いて図４の入力画像から計算された出力画像を示す図である。
【図６】本発明によるデコンボリューションを用いて図４の入力画像から計算された出力画像を示す図である。
【発明を実施するための形態】
【００６６】
図１を参照しながら、最初に、本発明による画像プロセッサ１の構造について説明する。画像プロセッサ１は、メモリ４および集積回路６といった１つまたは複数のハードウェア構成要素２を有することができる。集積回路６は、少なくとも１つのＣＰＵ、ＧＰＵ、ＦＰＵ、ＡＳＩＣ、ＦＰＧＡおよび／またはこれらの任意の組み合わせを有することができる。画像プロセッサ１を、パーソナルコンピュータ、ラップトップまたはタブレットといったコンピュータ８の一部とすることができる。１つまたは複数のハードウェア構成要素２の代わりに、またはこれに加えて、画像プロセッサ１は、１つまたは複数のハードウェア構成要素２において実行されるように構成されたソフトウェアを有することができる。
【００６７】
図１に例示的に示されているように、画像プロセッサ１を、顕微鏡１２（図示）、特に共焦点走査型顕微鏡、または内視鏡（図示せず）など、医療用観察装置１０の一部とすることができる。
【００６８】
レンズ１６を有するカメラ１４のような光学記録装置を用いて、医療用観察装置１０は、入力ボクセルｘｉを有するデジタル入力画像Ｉ（ｘｉ）を記録する。デジタル入力画像Ｉ（ｘｉ）は、例えば１つの色チャネルまたは言い換えれば１つのスペクトル帯域における強度を表すデジタル値のｎ次元配列によって表現される。例えばデジタル入力画像Ｉ（ｘｉ）を、ＲＧＢカメラの場合であれば、１つまたは複数の色チャネルＲ，Ｇ，Ｂから構成することができる。
【００６９】
カメラ１４をＲＧＢカメラ、モノクロカメラ、マルチスペクトルカメラ、またはハイパースペクトルカメラ、またはかかるカメラの組み合わせを有するアセンブリとすることができ、これらのカメラの画像を結合することができる。カメラ１４を特に、蛍光体が蛍光を放出する１つまたは複数のスペクトル帯域に対し感応性のカメラとすることができる。
【００７０】
デジタル入力画像Ｉ（ｘｉ）を２次元またはそれよりも高次の次元とすることができ、この場合、次元において空間の次元と色の次元の両方を考察することができる。カメラ１４は、デジタル入力画像Ｉ（ｘｉ）の時系列１８を記録することができるけれども、以下では単一のデジタル入力画像Ｉ（ｘｉ）について考察する。とはいえこの単一のデジタル入力画像を、例えばｚスタッキングにより得られた画像またはＨＤＲ画像を用いた場合のように、２つ以上のオリジナル入力画像から計算されたものとすることができる。デジタル入力画像Ｉ（ｘｉ）はステレオ画像であってもよい。
【００７１】
内視鏡の場合であれば、顕微鏡１２のレンズ１６を光ファイバによって置き換えることができる。他の点では内視鏡と顕微鏡を、本発明の目的に関しては同じものと見なすことができる。
【００７２】
画像プロセッサ１は複数の構成要素を有することができ、それらの構成要素各々を画像プロセッサ１自体のように、ハードウェアデバイスとして、ソフトウェアデバイスとして、またはハードウェアデバイスとソフトウェアデバイス双方の組み合わせとして、構成することができる。
【００７３】
例えば画像プロセッサ１は、デジタル入力画像Ｉ（ｘｉ）を入力するための入力インタフェース２０を有することができる。入力インタフェース２０によって、カメラ１４への有線または無線のコネクション２２を提供することができる。デジタル入力画像Ｉ（ｘｉ）は、コネクション２２を介してカメラ１４から画像プロセッサ１へ送信される。入力インタフェース２０は、ＨＤＭＩ、ＤＶＩ、Ｂｌｕｅｔｏｏｔｈ、ＴＣＰ／ＩＰまたはＲＧＢコネクション、さらに映像データおよび／または画像データを伝送するタスクに適した他の任意の形式のコネクションなど、デジタル入力画像を受信するための１つまたは複数の標準コネクションを提供することができる。
【００７４】
画像プロセッサ１はさらに、デコンボリューションされたデジタル出力画像ｆ（ｘｉ）をストレージ媒体へ、かつ／または接眼レンズ２８、モニタ３０および／またはバーチャルリアリティグラス３２など１つまたは複数のディスプレイデバイス２６へ、出力するための出力インタフェース２４を有することができる。１つまたは複数のディスプレイデバイス２６のうちのいずれかを、立体鏡またはホログラフィーによるものとすることができる。
【００７５】
１つまたは複数のディスプレイデバイス２６を、有線および／または無線で出力インタフェース２４に接続することができる。出力インタフェース２４は、デコンボリューションされたデジタル出力画像ｆ（ｘｉ）を１つまたは複数のデジタルディスプレイデバイスに送信するために、ＨＤＭＩ、ＤＶＩ、Ｂｌｕｅｔｏｏｔｈ、ＴＣＰ／ＩＰまたはＲＧＢ、またはデジタル画像データの送信を可能にする他の任意の標準など、１つまたは複数のデータ伝送標準を採用することができる。
【００７６】
画像プロセッサ１は、デコンボリューションされたデジタル出力画像ｆ（ｘｉ）を計算するために、デジタル入力画像Ｉ（ｘｉ）のデコンボリューションを実施するように構成されている。
【００７７】
図示されている実施形態の場合、画像プロセッサ１はデコンボリューションエンジン３４を有し、これはデジタル入力画像Ｉ（ｘｉ）のデコンボリューションを実施するように構成されている。デコンボリューションを、ウィーナーデコンボリューションまたは最大事後確率デコンボリューション、特にルーシー−リチャードソンデコンボリューションとすることができる。
【００７８】
画像プロセッサ１はさらに、範囲総和テーブルジェネレータ３６を有することができ、これは並列プレフィックスサムアルゴリズムを用いて、デジタル入力画像Ｉ（ｘｉ）の少なくとも１つの範囲総和テーブル３８を計算するように構成されている。範囲総和テーブルジェネレータ３６を、画像プロセッサ１のようにハードウェアデバイス、ソフトウェアデバイスまたは双方の組み合わせとすることができる。
【００７９】
図示されている実施形態の場合、範囲総和テーブルジェネレータ３６は、入力画像全体について
【数３５】
2021536644.tif 000037
の双方の範囲総和テーブルを計算するように構成されている。ここで
【数３６】
2021536644.tif 000038
は、ソーベルフィルタまたはラプラスフィルタまたは任意の次数の勾配といった線形微分演算子である。図示されている実施形態の場合、
【数３７】
2021536644.tif 000039
であり、
【数３８】
2021536644.tif 000040
は配列の平均を表す。
【００８０】
範囲総和テーブルから画像全体のバックグラウンドパラメータｂ０を、次式に従いただちに計算することができる：
【数３９】
2021536644.tif 000041
【００８１】
式
【数４０】
2021536644.tif 000042
は、入力領域Ｒ（ｘｉ）に等しいまたはその部分集合である領域Ω内においてのみ、演算が実行されることを表すために用いられる。入力画像の１つのボクセルｘｉにおける局所的信号対ノイズ比を計算するために、入力領域Ｒ（ｘｉ）が定義される。入力領域は、その後のステップで信号対ノイズ比ＳＮＲ（ｘｉ）を計算すべき対象となるボクセルｘｉを取り囲んでいる。入力領域は、２次元の入力画像の場合には複数の長方形のブロックから成り、ｎ次元の入力画像の場合には複数の直方体から成る。入力領域Ｒ（ｘｉ）は、３００〜７００個のボクセルを含み、好ましくは約５００個のボクセルを含む。
【００８２】
例示的な実施形態の場合、入力画像は２次元であり、入力領域は複数の長方形によって構成されている。好ましくは複数の長方形は、入力領域Ｒ（ｘｉ）の中央において、特に目下の入力ボクセルｘｉにおいて、オーバラップしている。範囲総和テーブルが用いられるときには、かかるオーバラップによって、中央領域の重み付けが自動的に大きくなる。入力領域の中央で重み付けが大きくなると、入力領域のエッジにおいて滑らかなテーパ化がもたらされ、したがって改善された結果がもたらされる。
【００８３】
図２には、３つの長方形４０、４２、４４の重畳により生じ、目下のボクセルｘｉ上にセンタリングされた入力領域Ｒ（ｘｉ）の一例が示されている。この入力領域は、少なくとも２回転対称性を有することができる。当然ながら、他の形状の入力領域を用いてもよい。入力領域Ｒ（ｘｉ）が円形領域に近づくのが好ましい。範囲総和テーブルを用いる際の計算効率を高めるためには、入力領域ができるかぎり僅かな長方形および／またはできるかぎり大きな長方形を含むようにするのが望ましい。複数の長方形の重畳から入力領域を解釈することによって、重み付けが自動的に行われる。図２には、入力領域の種々の長方形部分に重み付け係数が表されている。目下のボクセルが位置しており入力領域の中央にいっそう近い部分は、中央からいっそう離れた部分よりも大きい重み付けを有する。図示されている実施例の場合、重み付け係数はそれぞれ３、２および１である。
【００８４】
次いで、入力領域Ｒ（ｘｉ）内のボクセルだけを用いることによって、入力ボクセルｘｉにおけるノイズレベルＮ（ｘｉ）が計算される。入力領域Ｒ（ｘｉ）の形状は、長方形４０、４２、４４を定義することによって暗黙的に決定され、それらの長方形の総和が範囲総和テーブルから抽出される。ノイズレベルは以下のようにして計算される：
【数４１】
2021536644.tif 000043
【００８５】
次に、やはり入力領域Ｒ（ｘｉ）内のボクセルだけを用いることによって、信号レベルＳ（ｘｉ）が以下のようにして計算される：
【数４２】
2021536644.tif 000044
【００８６】
式ｋｂ（ｘｉ）は、２次元のガウシアンブラーカーネルを表す：
【数４３】
2021536644.tif 000045
【００８７】
当然ながら、他のブラーカーネルを用いてもよい。
【００８８】
ノイズレベルＮ（ｘｉ）と信号レベルＳ（ｘｉ）の双方が、入力ボクセルｘｉ各々について求められたならば、入力ボクセルｘｉ各々について信号対ノイズ比が、
【数４４】
2021536644.tif 000046
のようにして求められる。
【００８９】
結果として生じたデジタル配列ＳＮＲ（ｘｉ）は、入力画像Ｉ（ｘｉ）と同じ次元を有する。好ましくは、配列ＳＮＲ（ｘｉ）はローパスフィルタリングされ、いっそう好ましくは、σ＝０．８を有する３×３または５×５のガウシアンフィルタによってブラー処理される。
【００９０】
例えばルーシー−リチャードソンデコンボリューションを用いるように選択されたならば、デコンボリューションされた出力画像ｆ（ｘｉ）を計算するために、以下の反復が実行される：
【数４５】
2021536644.tif 000047
これは以下の収束判定基準が満たされるまで実行される。
【数４６】
2021536644.tif 000048
【００９１】
ここでｆ（ｋ）（ｘｉ）は、ｋ番目の反復においてデコンボリューションされた出力画像を表す。ノイズ成分β（ＳＮＲ（ｘｉ））は、
【数４７】
2021536644.tif 000049
のようにして計算される。ここでＳＮＲｍａｘは最大ＳＮＲ閾値を表し、本実施形態ではこれは４に設定される。
【００９２】
バックグラウンドパラメータｂ（ｘｉ）は、本実施形態では信号対ノイズ比の線形関数となるように選択される。これは
【数４８】
2021536644.tif 000050
のようにして計算される。
【００９３】
最後に式Ｖ（ｘｉ）が
【数４９】
2021536644.tif 000051
のようにして計算される。
【００９４】
収束判定基準が満たされたならば、ｆ（ｋ＋１）（ｘｉ）がデコンボリューションされたデジタル出力画像を表す。出力画像ｆ（ｋ＋１）（ｘｉ）は、複数の値から成るデジタル配列であり、入力画像Ｉ（ｘｉ）と同じ次元を有する。
【００９５】
次いで出力画像ｆ（ｋ＋１）（ｘｉ）が出力インタフェース２４へ出力され、そこから出力画像を、表示のために１つまたは複数のディスプレイデバイス２６のいずれかへ、かつ／またはストレージデバイスへ、送ることができる。
【００９６】
図３に示されているように、画像プロセッサ１により実行されるデコンボリューションを要約することができる。
【００９７】
この方法の開始にあたり、ユーザは、デコンボリューションにおいて用いられる定数および関数を選択することができ、またはこれを画像プロセッサ１によって自動的に、例えばプリセット値として、選択することができる。
【００９８】
例えば、ＳＮＲ上限閾値ＳＮＲｍａｘ、ＳＮＲ下限閾値ＳＮＲｍｉｎを定義または変更することができる。
【００９９】
ユーザはノイズ成分β（ＳＮＲ（ｘｉ））の形式を、例えば利用可能な関数のリストから、選択することができる。
【０１００】
ユーザは、ノイズレベルを計算するための演算子
【数５０】
2021536644.tif 000052
の特定の形式および／または統計モーメントの次数を選択することができる。
【０１０１】
ユーザは、配列ＳＮＲ（ｘｉ）のブラー処理のために用いられる好ましくは線形のフィルタおよび／またはブラーカーネルｋｂ（ｘｉ）を、例えば利用可能なフィルタのリストから、選択することができる。
【０１０２】
ユーザは、特定のデコンボリューション方法を選択することができる。例えばユーザは、ウィーナーデコンボリューションと、ルーシー−リチャードソンデコンボリューションのような最大事後確率デコンボリューションと、のいずれかを選択することができる。
【０１０３】
ウィーナーデコンボリューションが選択されたならば、ユーザは、例えば目下の記録システムに適した点像分布関数などのライブラリから、伝達関数を指定または選択することができる。択一的に、伝達関数または点像分布関数を、メモリセクションまたはストレージセクションに格納することができ、例えば目下用いられているレンズ形式を自動的に検出することによって、顕微鏡または内視鏡の装備に基づき自動的に決定することができる。
【０１０４】
ルーシー−リチャードソンデコンボリューションが用いられるならば、ユーザは例えば、全変動
【数５１】
2021536644.tif 000053
すなわち勾配のノルム、チホノフ正則化
【数５２】
2021536644.tif 000054
およびグッズラフネス（Good’s roughness）
【数５３】
2021536644.tif 000055
、またはこれらの任意の組み合わせといった利用可能な関数のリストから、正則化関数Ｒｒｅｇ（ｘｉ）を選択することができる。ユーザは、バックグラウンドパラメータｂ（ｘｉ）において用いられる関数を、例えばリストから関数を選択することによって、選択することができる。
【０１０５】
ユーザは、例えば利用可能な入力領域のリストから選択することによって、または固有の入力領域を指定することによって、入力領域Ｒ（ｘｉ）の形状およびサイズを定義することができる。
【０１０６】
ユーザはさらに、デコンボリューションにおいて用いられるいずれの定数も設定および／または変更することができる。
【０１０７】
ステップ５０において、デジタル入力画像Ｉ（ｘｉ）が取得される。このステップを、カメラ１４によって、または画像プロセッサ１によって、実行することができ、カメラ１４または画像プロセッサ１は例えば、メモリ４内に存在する１つまたは複数のデジタル画像、カメラ１４から取得された１つまたは複数のデジタル画像、または双方の組み合わせから、デジタル入力画像Ｉ（ｘｉ）を計算することができる。
【０１０８】
次のステップ５２において、好ましくはプレフィックスサムなどの並列アルゴリズムを用いて、入力画像Ｉ（ｘｉ）から少なくとも１つの範囲総和テーブル３８が計算される。ステップ５２を、デコンボリューションが計算される前の任意の時点に実施することができる。上述のように、少なくとも次数２を有する統計モーメントを用いてノイズレベルが計算されるならば、２つの範囲総和テーブル３８が計算される。
【０１０９】
複数の範囲総和テーブル３８を利用可能であれば、目下のボクセルｘｉ周囲の入力領域Ｒ（ｘｉ）内のボクセルのみを用いて、ステップ５４において入力画像Ｉ（ｘｉ）内のすべてのボクセルｘｉについて、局所的ノイズレベルＮ（ｘｉ）が計算される。
【０１１０】
デコンボリューションが計算される前の任意の時点において、上述のように例えばガウシアンブラーカーネルを用い、ステップ５６に表されているように、入力画像Ｉ（ｘｉ）のすべての入力ボクセルｘｉについて、局所的信号レベルＳ（ｘｉ）が求められる。入力画像Ｉ（ｘｉ）の任意の入力ボクセルｘｉにおいて信号レベルＳ（ｘｉ）を計算するために、入力領域Ｒ（ｘｉ）内のボクセルｘｉのみが用いられる。
【０１１１】
信号レベルＳ（ｘｉ）とノイズレベルＮ（ｘｉ）が利用可能になれば、ステップ５８において入力画像のすべての入力ボクセルｘｉについて信号対ノイズ比が求められる。
【０１１２】
各ボクセルｘｉについて信号対ノイズ比を含む結果として生じた配列ＳＮＲ（ｘｉ）を、ローパスフィルタおよび／またはガウシアンフィルタを用いてブラー処理することができる。これはステップ６０によって表されている。
【０１１３】
ステップ６２においてデコンボリューションが実施され、出力画像ｆ（ｘｉ）が計算される。
【０１１４】
ステップ６４において表されているように、出力画像ｆ（ｘｉ）に対しさらに後処理を実施することができる。例えば、出力画像に疑似カラーを割り当てることができ、かつ／または入力画像Ｉ（ｘｉ）が蛍光を発する蛍光体の発光帯域内の蛍光画像であるならば、出力画像を他の画像とマージすることができる。
【０１１５】
ステップ６６において、出力画像ｆ（ｘｉ）をディスプレイデバイス２６に表示させることができ、かつ／またはディスクまたはメモリカードといったストレージデバイス（図示せず）に格納することができる。
【０１１６】
図４〜図６から、入力画像Ｉ（ｘｉ）のデコンボリューションの結果が明らかになる。図４には入力画像Ｉ（ｘｉ）が示されている。図５には、慣用のルーシー−リチャードソンデコンボリューションによって得られるような出力画像が示されており、このようなデコンボリューションにおいては、バックグラウンドパラメータおよびノイズ成分において、画像全体に関する大域的信号対ノイズ比だけしか用いられていなかった。
【０１１７】
図６には、本発明の例示的な実施形態の状況において説明したデコンボリューションを用いた結果が示されている。
【０１１８】
図５と図６との比較によりはっきりと示されているのは、本発明による実施形態のデコンボリューションは、慣用のデコンボリューションよりもいっそう効率的にノイズを低減することができ、かついっそう詳細な細部をレンダリングすることができる、ということである。
【０１１９】
これと同時に、原理的に、局所的信号対ノイズ比を用いるのは大域的信号対ノイズ比を用いるよりも計算にいっそう時間がかかるが、統計モーメントの観点から、また、プレフィックスサムにより計算される範囲総和テーブルの観点から、ノイズレベルを定義することによって、デコンボリューションされた出力画像ｆ（ｘｉ）の迅速な計算が可能となる。
【符号の説明】
【０１２０】
１  画像プロセッサ
２  ハードウェア構成要素
４  メモリ
６  集積回路
８  コンピュータ
１０  医療用観察装置
１２  顕微鏡
１４  カメラ
１６  レンズ
１８  入力画像の時系列
２０  入力インタフェース
２２  カメラと画像プロセッサとの間のコネクション
２４  出力インタフェース
２６  ディスプレイデバイス
２８  接眼レンズ
３０  モニタ
３２  バーチャルリアリティグラス
３４  デコンボリューションエンジン
３６  範囲総和テーブルジェネレータ
３８  範囲総和テーブル
４０、４２、４４  入力領域を構成する長方形
５０  デジタル入力画像を取得するステップ
５２  範囲総和テーブルを計算するステップ
５４  ノイズレベルを計算するステップ
５６  信号レベルを計算するステップ
５８  信号対ノイズ比を計算するステップ
６０  信号対ノイズ比配列をブラー処理するステップ
６２  入力画像のデコンボリューションにより出力画像を計算するステップ
６４  出力画像の後処理
６６  出力画像を表示および／または格納するステップ
ｂ０，ｂ（ｘｉ）  バックグラウンドパラメータ
ｆ（ｘｉ）  デコンボリューションされたデジタル出力画像
ｆ（ｋ＋１）（ｘｉ）  出力画像の反復計算における（ｋ＋１）番目の反復
【数５４】
2021536644.tif 000056
実際の画像
ｈ（ｘｉ）  記録システムの伝達関数
Ｉ（ｘｉ）  デジタル入力画像
ｋｂ（ｘｉ）  ブラーカーネル
Ｎ（ｘｉ）  ノイズレベル
Ｒ（ｘｉ）  信号レベル、ノイズレベルおよび信号対ノイズ比のうちの少なくとも１つを求めるための入力領域
Ｒｒｅｇ（ｘｉ）  正則化関数
Ｓ（ｘｉ）  信号レベル
ＳＮＲ（ｘｉ）  信号対ノイズ比
ＳＮＲｍａｘ  （予め定められた）ＳＮＲ上限閾値
ＳＮＲｍｉｎ  （予め定められた）ＳＮＲ下限閾値
Ｖ（ｘｉ）  正則化関数の汎関数微分
ｘｉ  ボクセル
【数５５】
2021536644.tif 000057
微分演算子
【数５６】
2021536644.tif 000058
配列の平均
ａ，ｂ，ｃ，ｎ，ｘ，ｙ  座標、変数
β（ｘｉ）  デコンボリューションのノイズ成分
βｍａｘ  （予め定められた）最大ノイズ値
βｍｉｎ  （予め定められた）最小ノイズ値
Ω  演算が実行される入力画像の領域
【図１】
2021536644.tif 000062
【図２】
2021536644.tif 000063
【図３】
2021536644.tif 000064
【図４】
2021536644.tif 000065
【図５】
2021536644.tif 000066
【図６】
2021536644.tif 000067
【国際調査報告】
2021536644.tif 000068
2021536644.tif 000069
2021536644.tif 000070