(57)【要約】  本発明は、入力信号データ（Ｉ（ｘｉ））のベースライン推定データ（ｆ（ｘｉ））を得るための装置および方法に関する。正確なベースライン推定データを得ることで、画像データ、ソナーデータ、音データ、超音波トモグラフィデータおよび／または地震計データ等の入力信号データからノイズを効率的に除去することができる。ベースライン推定データは、グリーン関数による畳み込みを使用して計算される。畳み込みは、既知の行列乗算よりも計算上効率的である。
2021519973.tif 000002
【特許請求の範囲】
【請求項１】
入力信号データにおけるベースライン推定のための装置（１）であって、
前記装置（１）は、
・入力信号データ（Ｉ（ｘｉ））を検索するように構成されており、
・出力信号データ（３６）を計算するために前記入力信号データ（Ｉ（ｘｉ））からベースライン推定データ（ｆ（ｘｉ））を差し引くように構成されており、
前記装置はさらに、
・離散グリーン関数（Ｇ（ｘｉ））を使用した畳み込みから前記ベースライン推定データ（ｆ（ｘｉ））を計算するように構成されている、
装置（１）。
【請求項２】
前記装置はさらに、
・第１の反復ステージ（４８）と第２の反復ステージ（５０）とを含んでいる反復半二次最小化スキーム（６６）によって、前記ベースライン推定データ（ｆ（ｘｉ））を計算するように構成されており、
・前記第１の反復ステージ（４８）において、補助データ（ｄ（ｘｉ））が、以前の反復（ｌ）の前記ベースライン推定データ（ｆｌ−１（ｘｉ））、切断された二次項（φ（ε（ｘｉ）））および前記入力信号データ（Ｉ（ｘｉ））に応じて更新され、
・前記第２の反復ステージ（５０）において、前記ベースライン推定データ（ｆ（ｘｉ））が、前記入力信号データ（Ｉ（ｘｉ））と更新された前記補助データ（ｄ（ｘｉ））との総計での前記離散グリーン関数（Ｇ（ｘｉ））の畳み込みによって計算される、
請求項１記載の装置（１）。
【請求項３】
前記反復半二次最小化スキーム（６６）は、半二次最小化規範（Ｍ（ｆ（ｘｉ）））を含んでいるＬＥＧＥＮＤアルゴリズムであり、最小二乗最小化規範は、コスト関数Ｃ（ｆ（ｘｉ））を含んでいる、
請求項２記載の装置（１）。
【請求項４】
前記コスト関数Ｃ（ｆ（ｘｉ））は、切断された二次式（φ（ε（ｘｉ）））を含んでおり、前記切断された二次式は、対称および非対称のいずれかである、
請求項３記載の装置（１）。
【請求項５】
前記離散グリーン関数は、
【数１】
2021519973.tif 000065
として規定され、ここでＦ［・・・］は、離散Ｎ次元フーリエ変換であり、Ｆ−１［・・・］は、逆離散Ｎ次元フーリエ変換であり、γｉは、あらさペナルティ項の正則化パラメータであり、
【数２】
2021519973.tif 000066
であり、
【数３】
2021519973.tif 000067
は、ロケーションｍでのｉ番目の次元における離散ペナルティアレイであり、Ｎは次元の総数である、
請求項１から４までのいずれか１項記載の装置（１）。
【請求項６】
前記離散グリーン関数は、ペナルティ項（Ｐ（ｊ）（ｆ（ｘｉ）））の離散表現汎函数微分
【数４】
2021519973.tif 000068
を含んでいる、
請求項１から５までのいずれか１項記載の装置（１）。
【請求項７】
前記ペナルティ項（Ｐ（ｊ）（ｆ（ｘｉ）））は、前記ベースライン推定データ（４４）の勾配、前記ベースライン推定データ（４４）の曲率、特徴抽出線形フィルタ、ハイパスフィルタ、ローパスフィルタ、ソーベルフィルタ、ラプラスフィルタ、ＦＩＲバンドパスフィルタ、前記ベースライン推定データ（ｆ（ｘｉ））の任意の次数の導関数およびいずれか１つの前記ペナルティ項の線形結合のうちの少なくとも１つを含んでいる、
請求項６記載の装置（１）。
【請求項８】
異なるペナルティ項は、前記入力信号データ（６）の異なる次元に対して使用される、
請求項６または７記載の装置（１）。
【請求項９】
前記入力信号データ（６）は、入力画像データ、入力ソナーデータ、入力音データおよび／または入力超音波データ、入力レーダーデータ、入力スペクトルデータ、入力ケプストラムデータ、入力地震計データ、入力統計データ、入力トモグラフィデータ、入力マクロ波データおよび入力振動データのうちの１つである、
請求項１から８までのいずれか１項記載の装置（１）。
【請求項１０】
前記出力信号データ（３６）は、出力画像データ、出力ソナーデータ、出力音データおよび／または出力超音波データ、出力レーダーデータ、出力分光法データ、出力ケプストラムデータ、出力地震計データ、出力統計データ、出力トモグラフィデータ、出力マクロ波データおよび出力振動データのうちの１つである、
請求項１から９までのいずれか１項記載の装置（１）。
【請求項１１】
入力信号データにおけるベースライン推定のための方法であって、
前記方法は、
・入力信号データ（Ｉ（ｘｉ））を検索するステップと、
・ベースライン推定データ（ｆ（ｘｉ））を得るために、前記入力信号データ（Ｉ（ｘｉ））におけるベースライン関与（Ｉ２（ｘｉ））を推定するステップと、
・出力信号データ（Ｏ（ｘｉ））を得るために、前記入力信号データ（Ｉ（ｘｉ））から前記ベースライン推定データを差し引くステップと、
を含んでおり、
・前記ベースライン推定データ（ｆ（ｘｉ））を得るステップは、離散グリーン関数（Ｇ（ｘｉ））による畳み込みを使用して、前記ベースライン推定データ（ｆ（ｘｉ））を計算するステップを含んでいる、
方法。
【請求項１２】
前記ベースライン推定データ（ｆ（ｘｉ））を計算する前記ステップはさらに、
・第１の反復ステージ（４８）と第２の反復ステージ（５０）とを含んでいる反復半二次最小化スキーム（６６）を使用するステップを含んでおり、
・前記第１の反復ステージ（４８）において、補助データ（ｄ（ｘｉ））を、以前の反復の前記ベースライン推定データ（ｆ（ｘｉ））、切断された二次項（φ（ε（ｘｉ）））および前記入力信号データ（Ｉ（ｘｉ））に応じて更新し、
・前記第２の反復ステージ（５０）において、前記ベースライン推定データ（ｆ（ｘｉ））を、前記入力信号データ（Ｉ（ｘｉ））と更新された前記補助データ（ｄ（ｘｉ））との総計での離散グリーン関数（Ｇ（ｘｉ））の畳み込みを使用して直接的に計算する、
請求項１１記載の方法。
【請求項１３】
前記切断された二次項（φ（ε（ｘｉ）））は、対称および非対称のいずれかである、
請求項１２記載の方法。
【請求項１４】
前記離散グリーン関数（Ｇ（ｘｉ））は、滑らかでないベースライン推定データ（ｆ（ｘｉ））にペナルティを課すペナルティ項（Ｐ（ｆ（ｘｉ）））を含んでいる、
請求項１１から１３までのいずれか１項記載の方法。
【請求項１５】
コンピュータプログラムがプロセッサ上で実行されるときに、請求項１１から１４までのいずれか１項記載の方法を実施するためのプログラムコードを有するコンピュータプログラム。
【請求項１６】
入力信号データと、請求項１１から１４までのいずれか１項記載の方法によって入力信号データから作成された出力信号データと、によってトレーニングされたニューラルネットワークデバイス。
【請求項１７】
請求項１１から１４までのいずれか１項記載の方法の結果である出力信号データ（３６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力信号データにおけるベースライン推定のための装置および方法に関する。
【背景技術】
【０００２】
カメラ等の光学デバイスを使用して、三次元領域の二次元画像を記録する場合には、焦点領域にあるそれらの特徴だけが鮮鋭にレンダリングされるだろう。焦点領域にないアイテムはぼやけている。画像へのこの焦点外れ関与によって、標準のエンジンおよび逆畳み込み等の画像鮮鋭化のための方法では除去されないアーチファクトが生じてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、課題は、入力信号データによって表される画像等の信号における焦点外れ関与またはベースライン関与を除去する装置および方法を提供することである。
【０００４】
画像における焦点外れ関与またはベースライン関与と類似の特性を有するノイズコンテンツは、例えばエイリアシング、ノイズの多い背景、非線形吸収作用および／または散乱作用および／または信号源および／または反射ターゲットの移動によって生じる、さまざまなタイプの入力信号データで存在し得る。したがって、本発明の別の課題は、画像における焦点外れ関与と特性が類似している、入力信号データにおけるノイズ成分を除去することである。
【課題を解決するための手段】
【０００５】
上述の課題は装置によって解決され、ここでこの装置は入力信号データを検索し、出力信号データを計算するために入力信号データからベースライン推定データを差し引くように構成されており、ここで、装置はさらに、離散グリーン関数を使用した畳み込みからベースライン推定データを計算するように構成されている。
【０００６】
さらに、上述の課題は方法によって解決され、この方法は、ベースライン推定データを得るステップと、出力信号データを得るために入力信号データからベースライン推定データを差し引くステップとを含んでおり、ここで、ベースライン推定データを得るステップは、離散グリーン関数による畳み込みを使用して、ベースライン推定データを計算するステップを含んでいる。
【０００７】
上述の課題はさらに、特許請求の範囲に記載された方法をコンピュータに実施させるプログラムを格納する非一時的なコンピュータ可読媒体によって解決される。
【０００８】
上述の課題はまた、コンピュータプログラムがプロセッサ上で実行されるときに、本発明によるノイズ低減方法を実施するためのプログラムコードを有するコンピュータプログラムによって解決され、特許請求の範囲に記載された方法の実施の結果である出力信号データによって解決され、かつ／または、入力信号データおよび出力信号データによってトレーニングされたニューラルネットワークデバイスによって解決され、ここで、出力信号データは、特許請求の範囲に記載された方法によって入力信号データから作成される。
【０００９】
以降では、本発明を、単に例として入力画像データを表し得る入力信号データを参照して説明する。しかし、入力画像データに限定されず、用語「色」は一般的に、特定の波長または特定の波長帯域での入力信号の強さまたは強度に関連し得る。用語「色」は必ずしも画像入力データに限定されず、以降にさらに挙げられるように、他のタイプの入力データに関連していてもよい。同様に、用語「色空間」は、入力画像データに限定されず、異なる重畳波長または重畳波長帯域または非重畳波長または非重畳波長帯域で記録された入力信号データのあらゆるセットを表してよい。この文脈における波長は、空間的または時間的な波長に相当してよく、すなわち、時間的または空間的な周波数に関連していてよい。入力信号または出力信号が記録される波長または波長帯域のセットは、「色空間」に相当する。これらの波長または波長帯域のうちのそれぞれ１つが、個別の「チャネル」または「カラーチャネル」を構成する。
【００１０】
例えば、入力信号データは、入力画像データ、入力ソナーデータ、入力音データおよび／または入力超音波データ、入力レーダーデータ、ケプストラを含む入力分光法データおよび／または入力スペクトルデータ、入力マイクロ波データ、地震計データ等の入力振動データ、あらゆる種類のトモグラフィの入力トモグラフィデータおよび証券取引データ等の統計データのうちの１つならびにそれらのあらゆる組み合わせであってよい。入力信号データは、一次元、二次元、三次元およびＮ次元のうちの１つであってよい。
【００１１】
出力信号データは、出力画像データ、出力ソナーデータ、出力音データまたは出力超音波データ、出力レーダーデータ、ケプストラを含む出力分光法データおよび／またはスペクトルデータ、出力マイクロ波データ、地震計データ等の出力振動データおよび証券取引データ等の統計データのうちの１つならびにそれらのあらゆる組み合わせであってよい。出力信号データは、一次元、二次元、三次元およびＮ次元のうちの１つであってよい。出力信号データは、さらなる処理のために出力され得る。
【００１２】
すでに画像データと見なされ得る、ソナーデータ、音データおよび超音波データ等の入力信号データでは、本明細書で説明されるベースライン推定が、背景を除去するために使用されてよい。統計データでは、本明細書で説明されるベースライン推定が、グローバルトレンドを除去および／または修正するために使用されてよい。
【００１３】
より一般的な用語において、本明細書で説明されるベースライン推定方法は、入力信号データからベースライン推定値を除去するためだけでなく、ベースライン関与Ｉ２（ｘｉ）を「合焦」関与Ｉ１（ｘｉ）から分離するために使用されてよい。次に、これらの２つの成分が処理され、最終的には個別に分析されてよい。例えば、スペクトルデータ、特にハイパースペクトルデータでは、大規模なベースラインスペクトルフィーチャが、小規模なスペクトルフィーチャから分離されてよい。
【００１４】
入力信号データは、有利には、Ｎ次元アレイＩ（ｘｉ）であり、ここでＮは２より大きい整数である。
【００１５】
用語ｘｉは、Ｎ個のロケーション値を含んでおり、かつ離散ロケーションｘｉまたはアレイにおけるそのロケーションへの位置ベクトルを表すタプル
【数１】
2021519973.tif 000003
に対する簡易表記である。ロケーションｘｉは、入力信号データ内のピクセルまたは有利にはピクセルのコヒーレントセットによって表されてよい。離散ロケーションｘｉは、例えば、二次元の入力信号データの場合の離散ロケーション変数の二つ組
【数２】
2021519973.tif 000004
および三次元の入力信号データの場合の離散ロケーション変数の三つ組
【数３】
2021519973.tif 000005
を示す。ｉ番目の次元において、アレイがＭｉ個のロケーション、すなわち、
【数４】
2021519973.tif 000006
を含んでいてよい。全体として、Ｉ（ｘｉ）には（Ｍ１×・・・×ＭN）個の要素が含まれていてよい。以降では、具体的なロケーションまたは具体的な次元は参照されないため、ロケーションは単にｘｉによって示される。
【００１６】
Ｉ（ｘｉ）は、ロケーションｘｉでのあらゆる値または値の組み合わせであってよく、例えば色空間における色または「チャネル」の強度を表す値、例えばＲＧＢ空間における色Ｒの強度、または１つよりも多くの色の組み合わせ強度、例えばＲＧＢ色空間における
【数５】
2021519973.tif 000007
である。マルチスペクトルまたはハイパースペクトルカメラによって記録された入力画像は、３つよりも多くのチャネルを含んでいてよい。他のタイプの入力信号データについても同様である。
【００１７】
例えば、二次元の入力信号データは、３色のＲＧＢフォーマットで利用可能な入力画像データであってよく、二次元の入力信号データ
【数６】
2021519973.tif 000008
の３つの独立したセットと見なされてよく、ここでＩＲ（ｘｉ）は色Ｒの強度等の値を表し、ＩG（ｘｉ）は色Ｇの強度等の値を表し、ＩB（ｘｉ）は色Ｂの強度等を表す。択一的に、各色は、別個の入力画像を構成し、したがって別個の入力信号データを構成すると見なされてよい。
【００１８】
入力信号データがマルチスペクトルカメラまたはハイパースペクトルカメラを使用して記録されている場合、３つよりも多くのチャネルが入力信号データによって表されてよい。各チャネルは、光スペクトラムの異なるスペクトラムまたはスペクトル範囲を表してよい。例えば、可視光スペクトラムを表すために、３つよりも多くのチャネルが使用されてよい。
【００１９】
対象物が少なくとも１つの蛍光体または少なくとも１つの自家蛍光物質等の蛍光材料を含んでいる場合、各チャネルは異なる蛍光スペクトラムを表してよい。例えば、複数の、蛍光を発する蛍光体が入力信号データに存在する場合、１つの蛍光体の各蛍光スペクトラムは、入力信号データの異なるチャネルによって表されてよい。さらに、一方での、照明によって選択的に引き起こされる蛍光と、他方での、引き起こされた蛍光の副産物としてまたは二次的作用として生成され得る自家蛍光とに、異なるチャネルが使用されてよい。付加的なチャネルは、ＮＩＲの範囲およびＩＲの範囲をカバーしてよい。チャネルには必ずしも強度データが含まれているとは限らないが、対象物の画像に関連する他の種類のデータを表してよい。例えば、チャネルは、画像内の特定のロケーションで引き起こされた後の蛍光寿命を表す蛍光寿命データを含んでいてよい。したがって、一般的に、入力信号データは
【数７】
2021519973.tif 000009
の形式になり、ここで、Ｃは入力信号データにおけるチャネルの総数である。
【００２０】
本発明の装置および方法は、合焦関与が高い空間周波数を有し、例えば、入力信号データ内の短い距離にわたって生じる強度の変化および／または色の変化の原因となるという仮定から始まる。焦点外れ関与は低い空間周波数を有し、すなわち、入力信号データの比較的広いエリアにわたって広がる、主に段階的な強度の変化および／または色の変化につながると仮定される。したがって焦点外れ関与は、入力信号データのベースラインに反映される。
【００２１】
この仮定から始めて、入力信号データにわたる強度の変化および／または色の変化は、高い空間周波数の合焦成分Ｉ１（ｘｉ）と、低い、ここでは空間周波数の焦点外れ成分またはベースライン成分Ｉ２（ｘｉ）とに、
【数８】
2021519973.tif 000010
として付加的に分離されてよい。
【００２２】
その空間周波数が低いため、焦点外れ成分Ｉ２（ｘｉ）を、空間周波数が高い特徴として合焦成分が重ね合わされた、多かれ少なかれ滑らかなベースラインと見なすことができる。本発明では、ベースラインは、入力信号データへの適合（ｆｉｔ）を使用して推定される。計算上、適合、すなわちベースライン推定値は、離散ベースライン推定データｆ（ｘｉ）によって表される。ベースライン推定データは、Ｎ次元および（Ｍ１×・・・×ＭN）個の要素を有する超立方体アレイであってもよく、したがって、入力信号データと同じ次元数を有していてよい。
【００２３】
空間周波数の代わりに時間周波数が考慮される場合も当然、同じ検討が適用される。この場合、入力信号データは、例えば、スペクトラム、ケプストラムまたは複数のスペクトルまたはケプストラを表してよい。したがって、ベースライン推定を使用して、空間領域または周波数領域における小規模または大規模の（ベースライン）信号コンテンツを抽出および／または削除することができる。
【００２４】
ベースライン推定データを計算するために、最小二乗最小化規範（ｌｅａｓｔ−ｓｑｕａｒｅ  ｍｉｎｉｍｉｚａｔｉｏｎ  ｃｒｉｔｅｒｉｏｎ）が有利に使用される。これは、適合のために最小化されるべきである。最小二乗最小化規範の正確な定式化によって、適合の特性、したがってベースライン推定データの特性が決まる。最小二乗最小化規範の不適切な選択は、ベースライン推定値が十分な精度で焦点外れ成分を表さない原因となり得る。
【００２５】
ベースライン推定データが入力信号データにおける焦点外れ関与またはベースライン関与の正確な表現であることを保証し、ベースライン推定データが、合焦関与に適合されることを回避するために、本発明による最小二乗最小化規範は、ペナルティ項を含んでいてよい。ペナルティ項は、ベースライン推定データの不所望な動作にペナルティを課すために使用される。これは例えば、高い空間周波数のコンテンツを有し、したがって入力信号データの合焦成分に属すると考えられる入力信号データの成分を表すことである。
【００２６】
ベースライン推定データが決定され、したがってＩ２（Ｘｉ）に対するベースライン推定値ｆ（ｘｉ）が得られると、ベースライン推定値と入力信号データとから、ボケ除去された出力信号データＯ（ｘｉ）が得られてよい。特に、出力信号データは、次のように、入力信号データからベースライン推定値を差し引くことによって計算されてよい。
【数９】
2021519973.tif 000011
【００２７】
出力信号データＯ（ｘｉ）はまた、有利には、次元ＮおよびＭ１×・・・×Ｍｎ個の要素を有する離散アレイによって表され、したがって、有利には、入力信号データおよび／またはベースライン推定データと同じ次元数を有する。
【００２８】
この文脈において、用語「ボケ除去された」出力信号データは、ベースライン推定値が除去されたあらゆる出力信号データを示す。上述のように、これは必ずしも画像だけに関係するのではなく、あらゆる信号データに関係する。したがって「焦点外れ」成分は、画像データにおける「焦点外れ」成分の特性に類似している特性を有するあらゆるノイズ成分であってよい。
【００２９】
本発明の解決策は、先行技術で知られている解決策、例えば、ＢｉｏＶｏｘｘｅｌ  ｔｏｏｌｂｏｘにおける「ｃｏｎｖｏｌｕｔｅｄ  ｂａｃｋｇｒｏｕｎｄ  ｓｕｂｔｒａｃｔｉｏｎ」とは異なる。「ｃｏｎｖｏｌｕｔｅｄ  ｂａｃｋｇｒｏｕｎｄ  ｓｕｂｔｒａｃｔｉｏｎ」では、背景が、信号またはより具体的には画像の畳み込まれたコピーから差し引かれ、本発明のように（畳み込まれていない）信号または画像から直接的に差し引かれるのではない。
【００３０】
上述の装置および方法が、以降で説明する特徴のうちの１つまたは複数を追加することによってさらに改良されてよい。以降の特徴のそれぞれは、他の特徴とは無関係に、本発明の方法および／または装置に追加されてよい。さらに、以降で説明するように、各特徴は独自の有利な技術的な効果を有している。
【００３１】
ある実施形態では、装置、特に内視鏡または顕微鏡等の医療用観察デバイスは、入力画像データ等の入力信号データを（有利には装置の画像保存セクションに）少なくとも一時的に保存し、出力画像データ等のボケ除去された出力信号データを（有利には装置の出力セクションによって）出力し、出力画像データ等の出力信号データを計算するために、入力画像データ等の入力信号データから、入力信号における焦点外れ関与またはベースライン関与を、（有利には、ボケ除去セクションを含んでいる、装置の画像プロセッサによって）除去し、特に差し引き、入力画像データ等の入力信号データの少なくともサブセットへの適合によって、焦点外れ関与を表すベースライン推定データを（有利には装置のベースライン推定器エンジンによって）計算するように構成されていてよい。ベースライン推定データは最小二乗最小化規範を含み、最小二乗最小化規範は有利にはペナルティ項を含んでいる。
【００３２】
さらに、この方法は、特に自動的に、画像等の信号をボケ除去する方法であってよく、画像等の信号は、入力画像データ等の入力信号データによって表され、この方法は以降のステップを含む。すなわち、ベースライン推定データを得るために、特に自動的に、画像等の信号における焦点外れ関与またはベースライン関与を推定するステップと、ボケ除去された、出力画像データ等の出力信号データを得るために、入力画像データ等の入力信号データからベースライン推定データを除去する、特に差し引くステップとを含み、ここで焦点外れ関与を推定するステップは、有利には、少なくとも、入力画像データ等の入力信号データのサブセットに対するものとして、最小二乗最小化規範を最小化することによってベースライン推定データを計算するステップを含み、ここで、最小二乗最小化規範は、有利にはペナルティ項を含んでいる。
【００３３】
ある実施形態では、多項式適合（ｐｏｌｙｎｏｍｉａｌ  ｆｉｔ）が、入力信号データの次元に応じて、複数の次元で同時に行われてよい。
【００３４】
ある特定の例では、適合は、入力信号データに対する多項式適合であってよい。特に、ベースライン推定データは、任意のＮ次元ｉにおけるＫ次多項式によって表されてよい。
【数１０】
2021519973.tif 000012
ここで、ａｉ，ｋはｉ番目の次元における多項式の係数である。各次元ｉ＝１，・・・，Ｎに対して、別個の多項式が計算されてよい。
【００３５】
最大多項式次数Ｋの最適値は、ベースライン推定データの必要な滑らかさによって異なる。滑らかなベースラインのために、多項式次数をできるだけ低く設定する必要があるが、他方で非常に不規則な背景の適合は、より高い次数を必要とし得る。
【００３６】
多項式適合の場合、ベースライン推定データは多項式係数ａｉ，ｋのみで構成されていてよい。しかし、入力信号データへの調整を可能にするパラメータだけが最大多項式次数であるため、多項式適合はコントロールするのが難しく、正確ではない場合がある。多項式次数は整数値のみを取ることができる。したがって、常に、最適なベースライン推定値を見つけることができるとは限らない。最適でない多項式適合は、ベースライン推定において局部的な極小値を示す可能性があり、これは不快なアーチファクトを生じさせる可能性がある。
【００３７】
したがって、別の有利な実施形態では、入力信号データへの適合は、スプライン適合（ｓｐｌｉｎｅ  ｆｉｔ）、特に平滑化スプラインであってよい。スプライン適合は、例えば滑らかさの点でコントロールが容易であり、ノイズに対してロバストであり、かつ生じさせるアーチファクトが少ないため、通常、多項式適合よりも信頼性の高い結果を提供する。他方で、最小二乗最小化規範を最小化するためには、各ピクセルまたはより一般的には入力信号値を変化させる必要があるため、スプライン適合は多項式適合よりも計算が複雑である。
【００３８】
ある実施形態では、最小二乗最小化規範Ｍ（ｆ（ｘｉ））は、
【数１１】
2021519973.tif 000013
の形式を有していてよく、ここで、Ｃ（ｆ（ｘｉ））はコスト関数であり、Ｐ（ｆ（ｘｉ））はペナルティ項である。最小二乗最小化規範、コスト関数およびペナルティ項は、有利にはスカラー値である。
【００３９】
ある特定の例では、コスト関数は、入力信号データＩ（ｘｉ）とベースライン推定データｆ（ｘｉ）との間の差を表す。例えば、ε（ｘｉ）が入力信号データとベースライン推定データとの間の差の項を、
【数１２】
2021519973.tif 000014
として示す場合、コスト関数Ｃ（ｆ（ｘｉ））は
【数１３】
2021519973.tif 000015
を含んでいてよく、これはここでは、入力信号データとｉ番目の次元におけるベースライン推定データとの間の差分二乗和の全ての次元にわたる二乗平均平方根値の総計の簡略表記とし使用され、すなわち、
【数１４】
2021519973.tif 000016
である。
【００４０】
【数１５】
2021519973.tif 000017
はスカラー値である。コスト関数の例は
【数１６】
2021519973.tif 000018
である。
【００４１】
ベースライン推定値の精度を高めるために、入力信号データとベースライン推定値との間の差が、例えば、切断された（ｔｒｕｎｃａｔｅｄ）差分項を使用して切断されるのは有利であり得る。切断された差分項は、ベースライン推定データに対する入力信号データのピークの影響を低減する。このような低減は、合焦関与がI（ｘｉ）のピークに存在すると仮定される場合に有益である。切断された差分項があるため、ベースライン推定値から所定の一定の閾値ｓを超えて偏差する入力信号データのピークは、閾値への適合、特にスプライン適合に対するそのペナルティを切断することによって、コスト関数において「無視」されるだろう。したがって、ベースライン推定データは、限られた量でのみそのようなピークをたどる。切断された二次式（ｔｒｕｎｃａｔｅｄ  ｑｕｄｒａｔｉｃ）は、対称または非対称であってよい。切断された差分項は、以降において、φ（ε（ｘｉ））によって示される。
【００４２】
いくつかの適用では、合焦関与は、入力信号データにおけるピーク、すなわち画像の明るいスポットに含まれ得る、または入力信号データのピーク、すなわち画像の明るいスポットに少なくとも主に含まれ得る。これは、非対称であり、適合、特にスプライン適合が入力信号データにおけるピークではなく谷をたどることを可能にする切断された二次項を選択することによって反映されてよい。例えば、非対称の切断された二次式φ（ε（ｘｉ））は、
【数１７】
2021519973.tif 000019
の形式であってよい。
【００４３】
別の特定の適用において、谷、すなわち、入力信号データの低い値を有する暗いエリアまたは領域も合焦関与として考慮されるべき場合、非対称の切断された二次式の代わりに、対称の切断された二次式が使用されてよい。例えば、対称の切断された二次式は
【数１８】
2021519973.tif 000020
の形式を有していてよい。
【００４４】
切断された二次式を使用する場合、コスト関数Ｃ（ｆ（ｘｉ））は有利には、
【数１９】
2021519973.tif 000021
として表されてよい。
【００４５】
最小二乗最小化規範Ｍ（ｆ（ｘｉ））におけるペナルティ項Ｐ（ｆ（ｘｉ））は、ベースライン推定値が、合焦成分Ｉ１（ｘｉ）に属すると見なされるデータに適合される場合に、ペナルティを導入するあらゆる形をとってよい。入力信号データ成分における合焦成分がベースライン推定データで表される場合、ペナルティ項の値を増加させるペナルティが作成される。
【００４６】
例えば、焦点外れ成分Ｉ２（ｘｉ）が低い空間周波数を有すると仮定される場合、ペナルティ項は、ベースライン推定値の空間周波数が大きくなると大きくなる項であってよい。
【００４７】
そのような項は、ある実施形態では、滑らかなベースラインから偏差する滑らかでないベースライン推定データにペナルティを課すあらさペナルティ項であってよい。そのようなあらさペナルティ項は、高い空間周波数を有するデータの適合に効果的にペナルティを課す。
【００４８】
ある態様では、滑らかなベースラインからの偏差は、ベースライン推定データの一次導関数、すなわち急勾配または勾配、および二次導関数、すなわち曲率の少なくとも１つにおいて大きな値をもたらし得る。したがって、あらさペナルティ項は、ベースライン推定データの一次空間導関数、特に一次空間導関数の二乗および／または絶対値、およびベースライン推定データの二次導関数、特に二次空間導関数の二乗および／または絶対値のうちの少なくとも１つを含んでいてよい。より一般的には、ペナルティ項は、ベースライン推定データのあらゆる任意の次数の空間導関数、またはベースライン推定データの空間導関数のあらゆる線形結合を含んでいてよい。異なるペナルティ項が異なる次元において使用されてよい。
【００４９】
例えば、あらさペナルティ項Ｐ（ｆ（ｘｉ））は、
【数２０】
2021519973.tif 000022
として形成されてよい。
【００５０】
このあらさペナルティ項は、ベースライン推定値の勾配の大きな変化率、または同等に高い曲率にペナルティを課すので、滑らかな推定値に有利である。ここでγｊは正則化パラメータであり、
【数２１】
2021519973.tif 000023
は、ｊ番目の次元における二次導関数を計算するための離散演算子である。離散において、畳み込みを使用して微分が効率的に計算されてよい。例えば、
【数２２】
2021519973.tif 000024
であり、これは二次微分行列
【数２３】
2021519973.tif 000025
を伴う。
【００５１】
正則化パラメータγｉは、入力信号または入力画像データの構造に関連して変わる。これは、合焦信号データＩ１（ｘｉ）おける情報の空間的な長さスケールを大まかに表す。正則化パラメータは、ユーザーによって事前に決定されてよく、有利にはゼロよりも大きい。正則化パラメータの単位は、ペナルティ関数がスカラーの無次元量になるように選択される。典型的には、正則化パラメータの値は０．３から１００の間である。
【００５２】
しかし、あらさペナルティ項Ｐ（ｆ（ｘｉ））が、
【数２４】
2021519973.tif 000026
として形成されるのは有利である。
【００５３】
これは、ベースライン推定データにおける大きな勾配にペナルティを課すあらさペナルティ項である。ｊにわたった総計によって、異なる次元において異なるペナルティ項を使用することができる。ｘｊとｆ（ｘｉ）とはどちらも離散的であるので、微分は、微分アレイ∂ｊとの畳み込みによって実行可能である、ということに留意されたい。演算子∂ｊは、次元ｊにおける離散一次導関数演算子または勾配演算子を表し、これは、アレイによって表されてよい。
【００５４】
ベースライン推定データの導関数または導関数の線形結合の代わりに、またはベースライン推定データの導関数または導関数の線形結合に加えて、ペナルティ項は、特に線形の特徴抽出フィルタまたはそのようなフィルタの線形結合を含んでいてよい。特徴抽出フィルタは、ソーベルフィルタ、ラプラスフィルタおよび／またはＦＩＲフィルタ、例えば、高い空間周波数用の通過帯域を有するハイパスフィルタまたはバンドパス空間フィルタであってよい。
【００５５】
このような一般的な定式化では、ｊ番目の次元に対するペナルティ項は、一般的な演算子ζ（ｊ）を含んでいてよく、
【数２５】
2021519973.tif 000027
として表されてよい。
【００５６】
最小二乗最小化規範Ｍ（ｆ（ｘｉ））は、既知の方法を使用して最小化されてよい。ある例では、有利には反復半二次最小化スキーム（ｉｔｅｒａｔｉｖｅ  ｈａｌｆ−ｑｕａｄｒａｔｉｃ  ｍｉｎｉｍｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）が使用されてよい。半二次最小化を実行するために、ベースライン推定器エンジンは、半二次最小化エンジンを含んでいてよい。半二次最小化は、２つの反復ステージを有する反復メカニズムを含んでいてよい。
【００５７】
半二次最小化スキームは、例えば、計算上効率的なＬＥＧＥＮＤアルゴリズムの少なくとも一部を含んでいてよい。ＬＥＧＥＮＤアルゴリズムについては、Ｉｄｉｅｒ，Ｊ．著（２００１年）「Ｃｏｎｖｅｘ  Ｈａｌｆ−Ｑｕａｄｒａｔｉｃ  Ｃｒｉｔｅｒｉａ  ａｎｄ  Ｉｎｔｅｒａｃｔｉｎｇ  Ｖａｒｉａｂｌｅｓ  ｆｏｒ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ」（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、１０（７）、１００１−１００９頁）およびＭａｚｅｔ，Ｖ．、Ｃａｒｔｅｒｅｔ，Ｃ．、Ｂｉｒｅ，Ｄ、Ｉｄｉｅｒ，Ｊ．およびＨｕｍｂｅｒｔ，Ｂ．著（２００５年）「Ｂａｃｋｇｒｏｕｎｄ  Ｒｅｍｏｖａｌ  ｆｒｏｍ  Ｓｐｅｃｔｒａ  ｂｙ  Ｄｅｓｉｇｎｉｎｇ  ａｎｄ  Ｍｉｎｉｍｉｚｉｎｇ  ａ  Ｎｏｎ−Ｑｕａｄｒａｔｉｃ  Ｃｏｓｔ  Ｆｕｎｃｔｉｏｎ」（Ｃｈｅｍｏｍｅｔｒｉｃｓ  ａｎｄ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｌａｂｏｒａｔｏｒｙ  Ｓｙｓｔｅｍｓ、７６、１２１−１３３頁）に記載されている。両方の記事は、その全体が参照により本明細書に組み込まれる。
【００５８】
ＬＥＧＥＮＤアルゴリズムは、有利には入力信号データと同じ次元数である離散補助データｄ（ｘｉ）を導入する。補助データは、最新の初期ベースライン推定データ、切断された二次項および入力信号データに応じて、各反復で更新される。
【００５９】
ＬＥＧＥＮＤアルゴリズムでは、コスト関数のみを含み、ペナルティ項を含んでいない最小二乗最小化規範が、収束基準が満たされるまで２つの反復ステップを使用して最小化される。
【００６０】
適切な収束基準は、例えば、現在のベースライン推定データと以前のベースライン推定データとの間の、全てのロケーションｘｉにわたる差の総計が所定の閾値よりも小さいということであってよい。
【００６１】
さらなる改良において、収束基準は
【数２６】
2021519973.tif 000028
として表されてよく、ここでｔは、ユーザーによって設定されてよいスカラー収束値である。
【００６２】
ＬＥＧＥＮＤアルゴリズムにおける開始ステップとして、ベースライン推定データの初期のセットが規定される。
【００６３】
ＬＥＧＥＮＤアルゴリズムは、多項式適合が使用される場合、第１のベースライン推定値
【数２７】
2021519973.tif 000029
に対する係数ａｋの開始セットをｉ＝１，・・・，Ｎの多項式のそれぞれに対して選択することによって開始されてよい。
【００６４】
スプライン適合が使用される場合、ＬＥＧＥＮＤアルゴリズムを開始するための初期条件は
【数２８】
2021519973.tif 000030
であってよく、第２の反復ステップに入ることによって、反復が開始される。
【００６５】
第１の反復ステップでは、補助データは
【数２９】
2021519973.tif 000031
のように更新されてよく、ここでｌ＝１．．．Ｌは現在の反復のインデックスであり、αは選択可能な定数であってよい。有利には、αは０．５に近いが、０．５ではない。αの適切な値は０．４９３である。
【００６６】
第２の反復ステップでは、以前に計算された補助データｄｌ（ｘｉ）、以前の反復ｌ−１からのベースライン推定データｆｌ−１（ｘｉ）およびペナルティ項Ｐ（ｘｉ）に基づいて、ベースライン推定データｆｌ（ｘｉ）が更新される。
【００６７】
ベースライン推定データｆｌ（ｘｉ）は、補助データを含めることによって、ＬＥＧＥＮＤアルゴリズム用に修正された半二次最小化規範Ｍ（ｆ（ｘｉ））を最小化することであってよい。
【００６８】
特に、更新されたベースライン推定データは、第２の反復ＬＥＧＥＮＤステップにおいて、式
【数３０】
2021519973.tif 000032
を使用して計算されてよい。ここで、
【数３１】
2021519973.tif 000033
は、修正された半二次最小化規範を表している。
【００６９】
第２の反復ステップは、行列計算
【数３２】
2021519973.tif 000034
を使用してベースライン推定データを更新してよく、ここで
【数３３】
2021519973.tif 000035
は、（Ｍ１×・・・×ＭN）２次元アレイである。二次元の場合、Ａｉは（Ｍｘ−１）（Ｍｙ−ｌ）×ＭｘＭｙアレイであり、
【数３４】
2021519973.tif 000036
として得られ、ここで
【数３５】
2021519973.tif 000037
を伴う。
【００７０】
ｄｌ（ｘｉ）およびｆｌ（ｘｉ）を更新するためのこれら２つの反復ステップは、収束基準が満たされるまで繰り返される。
【００７１】
本発明の極めて有利な態様では、ＬＥＧＥＮＤアルゴリズムの第２のステップは、行列計算の代わりに畳み込みを使用して修正される。これによって、計算の労力が大幅に軽減される。
【００７２】
より具体的には、有利には、更新されたベースライン推定データｆｌ（ｘｉ）は、入力信号データと更新された補助データとの総計でグリーン関数を畳み込むことによって直接的に計算される。
【００７３】
本発明の解決策のより具体的な態様では、ＬＥＧＥＮＤアルゴリズムの第２の反復ステップは、以降の反復ステップによって置き換えられてよく、ここでは、更新されたベースライン推定データｆｌ（ｘｉ）は、
【数３６】
2021519973.tif 000038
のように、グリーン関数Ｇ（ｘｉ）を使用してｌ番目の反復において計算される。
【００７４】
このステップによって、従来のＬＥＧＥＮＤアルゴリズムと比較して、計算負荷が大幅に軽減される。
【００７５】
計算負荷の軽減は、本発明の第２の反復ステップに従って、畳み込みが計算されるという事実から得られる。この計算は、ＦＦＴアルゴリズムを使用して効率的に実行可能である。さらに、第２の反復ステップは、ＦＦＴアルゴリズムのために、グラフィックスプロセッシングユニットまたはＦＰＧＡ等のアレイプロセッサを完全に利用してよい。入力信号データと他の全てのアレイとが二次元である場合、計算上の問題は（Ｍｘ×Ｍｙ）２からＭｘ×Ｍｙへ軽減される。一般的なＮ次元の場合、計算負荷は（Ｍ１×・・・×ＭN）２次元行列計算から（Ｍ１×・・・×ＭN）次元アレイでのＦＦＴの計算へ軽減される。
【００７６】
したがって、ボケ除去を、極めて迅速に、有利にはリアルタイムに、二次元入力信号データに対して実行することができる。（２ｋ×２ｋ）信号データアレイ、ここでは画像は、５０ｍｓ以内にボケ除去が行われてよい。
【００７７】
ある特定の実施形態では、グリーン関数は、
【数３７】
2021519973.tif 000039
の形式を有していてよく、ここで、Ｆ［・・・］は離散Ｎ次元フーリエ変換であり、Ｆ−１［・・・］は逆離散Ｎ次元フーリエ変換であり、γｉはあらさペナルティ項の正則化パラメータであり、
【数３８】
2021519973.tif 000040
はロケーションｍでのｉ番目の次元における離散ペナルティアレイであり、Ｎは次元の総数である。上のインデックス
【数３９】
2021519973.tif 000041
は、各次元ｊに対して異なるペナルティアレイが存在する可能性があることを示している。
【００７８】
一般的に、離散ペナルティアレイ
【数４０】
2021519973.tif 000042
は、ｊ番目の次元に使用されるペナルティ項Ｐ（ｊ）（ｆ（ｘｉ））の汎函数微分（ｆｕｎｃｔｉｏｎａｌ  ｄｅｒｉｖａｔｉｖｅ）
【数４１】
2021519973.tif 000043
の離散表現に相当する。全ての関数は離散アレイで表されるので、微分を畳み込み
【数４２】
2021519973.tif 000044
によって数値的に実行することができ、ここで
【数４３】
2021519973.tif 000045
は、汎函数微分
【数４４】
2021519973.tif 000046
を計算するための離散アレイである。
【００７９】
上述のグリーン関数の大きな利点は、あらゆる形式のペナルティ項Ｐ（ｆ（ｘｉ））が、半二次最小化エンジンにおける第２の反復ステップの高速計算から利益を受け得るということである。したがって、グリーン関数を使用する実施形態では、良好なベースライン推定値を得るために、あらゆるペナルティ項が使用されてよい。
【００８０】
ペナルティ項
【数４５】
2021519973.tif 000047
の一般的な定式化のために、アレイ
【数４６】
2021519973.tif 000048
が
【数４７】
2021519973.tif 000049
によって規定され、ここでζ（ｉ）は、ペナルティ項の一般的な演算子であり、＊はＮ次元の畳み込みを示し、∇ｆは関数ｆ（ｘｉ，ｍ）における離散一次汎函数微分に対応し、これは例えば、強度を表してよい。この方程式を最小二乗法で解くことができる。
【００８１】
例えば、ペナルティ項が
【数４８】
2021519973.tif 000050
である場合、畳み込みにおける導関数アレイは、
【数４９】
2021519973.tif 000051
として表されてよい。
【００８２】
装置は、画像保存セクション等の信号保存セクションを含んでいてよい。信号保存セクションは、少なくとも一時的に、入力信号データを含むように構成されていてよい。
【００８３】
装置は、画像出力セクション等の信号出力セクションを含んでいてよい。装置は、ボケ除去された信号出力データを出力するように適合されていてよい。
【００８４】
装置はさらに、ベースライン推定を実行するように構成されていてよい、画像プロセッサ等の信号プロセッサを含んでいてよい。
【００８５】
信号プロセッサは、ボケ除去セクションを含んでいてよい。ボケ除去セクションは、出力信号データを計算するために、入力信号データからベースライン推定データ等のベースライン関与を差し引くように適合されていてよい。
【００８６】
信号プロセッサは、ベースライン推定エンジンを含んでいてよい。ベースライン推定エンジンは、入力信号データの少なくともサブセットへの適合によってベースライン関与を表すベースライン推定データを計算するように構成されていてよい。
【００８７】
ベースライン推定エンジンは、最小二乗最小化規範（Ｍ（ｘｉ））の離散表現を含んでいてよい。
【００８８】
画像プロセッサとして構成されていてよい信号プロセッサ、ベースライン推定器エンジン、ボケ除去セクションおよび半二次最小化エンジンは、それぞれ、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアとの組み合わせとして実装されていてよい。例えば、信号プロセッサ、ベースライン推定器エンジン、ボケ除去セクションおよび半二次最小化エンジンのうちの少なくとも１つは、少なくとも部分的に、サブルーチン、ＣＰＵ等の汎用プロセッサおよび／または、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ベクトルプロセッサおよび／またはＡＳＩＣ等の専用プロセッサのセクションによって実装されていてよい。
【００８９】
本発明のボケ除去アルゴリズムを実行する別の方法は、入力信号データと出力信号データとの二つ組を使用して、例えば畳み込みニューラルネットワークである人工ニューラルネットワークをトレーニングすることであり、ここで出力信号データは、上述の方法の実施形態を使用して生成されている。この方法でトレーニングされたニューラルネットワークデバイスを、入力信号データと出力信号データとのトレーニングペアを生成するために使用された方法の実装と見なすことができる。ある特定の例において、信号データは、例えば顕微鏡で取得した画像データであってよく、出力信号データは、入力データに本発明のボケ除去アルゴリズムを適用することによって得られた画像であってよい。
【００９０】
入力信号データとしての入力画像データのケースにおいて、入力信号データＩ（ｘｉ）が、ボケ除去前に畳み込みまたは逆畳み込みされない場合に、本発明のボケ除去が最良の結果を提供するということに留意されたい。入力データＩ（ｘｉ）が本発明のボケ除去によって前処理されている場合に、逆畳み込みは、最良の結果を提供する。
【００９１】
さらに、ボケ除去による前処理は、ＳＰＩＭ（選択的平面照明顕微鏡法、ライトシート顕微鏡法とも称される）と称される技術で取得された画像の結果を向上させることができる。特に、その後に異なる方向／配向の下で標本を照明するライトシート技術で取得された複数の画像に、本発明によるボケ除去が施され得る。複数画像の逆畳み込みは画像の融合方法であり、これは、分析対象のサンプルによるライトシートの散乱によって生じる影およびボケを軽減する（例えば、Ｓｔｅｐｈａｎ  Ｐｒｅｉｂｉｓｃｈ等著の刊行物「Ｅｆｆｉｃｉｅｎｔ  Ｂａｙｅｓｉａｎ−ｂａｓｅｄ  ｍｕｌｔｉｖｉｅｗ  ｄｅｃｏｎｖｏｌｕｔｉｏｎ」（Ｎａｔ  Ｍｅｔｈｏｄｓ．、２０１４年６月、１１（６）、６４５−６４８頁）を参照されたい）。その後に異なる方向／配向等の下で標本を照明するライトシート技術で取得された複数の画像および／またはライトシートの異なる配向によって取得されたＳＰＩＭ画像のこのような複数画像の逆畳み込みの結果に、本発明によるボケ除去が施され得る。本発明のボケ除去で入力画像を前処理することによって、複数画像の逆畳み込みの前にボケの関与を取り除くことができ、これによって融合結果が向上する。
【００９２】
次に、本発明をさらに、図面にも示されるサンプルの実施形態を使用して、単に例として説明する。図面では、機能と設計とのうちの少なくとも１つに関して互いに対応する特徴には同じ参照番号が使用されている。
【００９３】
添付の実施形態に示される特徴の組み合わせは、説明のみを目的としており、変更可能である。例えば、特定の用途に不要な技術的な作用を有する実施形態の特徴は省かれてよい。同様に、実施形態の一部として示されていない特徴が、この特徴に関連する技術的な作用が特定の用途に必要とされる場合には、追加されてよい。
【００９４】
以降の例では、本発明の利点を説明するために、入力信号データおよび出力信号データは、それぞれ入力画像データおよび出力画像データである。上記から明らかなように、ベースライン推定にいかなる変更も加えることなく、画像データの代わりに、または画像データに加えて、あらゆる他のタイプの信号データが使用されてよい。
【図面の簡単な説明】
【００９５】
【図１】本発明の装置の概略図である。
【図２】本発明の方法のフローチャートの概略図である。
【図３】図２の詳細を示す図である。
【図４】入力信号データの例を示す図である。
【図５】図４の入力信号データから導出された、ボケ除去された出力信号データの例を示す図である。
【図６】図４および図５の線ＶＩに沿った、入力信号データ、ベースライン推定データおよびボケ除去された出力信号データにおける強度分布を示す図である。
【図７】入力信号データの別の例を示す図である。
【図８】図７の入力信号データに基づく出力信号データを示す図である。
【図９】逆畳み込み後の図８の出力信号データを示す図である。
【図１０】図７および図８の線Ｘに沿った入力信号データ、ベースライン推定データおよび出力信号データにおける強度分布を示す図である。
【図１１】入力信号データ、入力信号データにおける合焦関与、入力信号データにおける焦点外れ関与、ベースライン推定データおよび出力信号データの概略図である。
【発明を実施するための形態】
【００９６】
図１をはじめに参照して、装置１の構造について説明する。装置１は、内視鏡または顕微鏡等の医療用観察装置であってよい。単に説明のために、装置１の例として顕微鏡２が示されている。ボケ除去装置およびボケ除去方法の目的に関しては、内視鏡と顕微鏡との間に違いはない。
【００９７】
装置１は、例えばカメラ８を用いて入力信号データ６を捕捉するように適合されている信号形成セクション４、特に画像形成セクションを含んでいてよい。カメラ８は、ＣＣＤ、マルチスペクトルカメラまたはハイパースペクトルカメラであってよく、これは複数のチャネル１０において、入力信号データ６、ここでは入力画像データを記録し、ここで各チャネル１０は有利には、赤外線から紫外線までの異なる光スペクトル範囲を表す。以降では、入力信号データ６をＩ（ｘｉ）とも表す。
【００９８】
当然、他のタイプの入力信号データ６が、カメラ以外のデバイスまたはセンサ、例えば１つ以上のマイクロホン、振動センサ、加速度計、速度センサ、アンテナ、圧力トランスデューサ、温度センサ、静電容量センサ、磁気センサおよびそれらのあらゆる組み合わせによって記録されてよい。
【００９９】
ＣＣＤカメラの場合には、例えば、対象物１２の可視光画像を表すために、３つのチャネル１０、例えば、Ｒチャネル、ＧチャネルおよびＢチャネルが提供されてよい。マルチスペクトルカメラまたはハイパースペクトルカメラの場合には、可視光範囲、ＩＲ光範囲、ＮＩＲ光範囲および紫外光範囲のうちの少なくとも１つにおいて、合計３つを超えるチャネル１０が使用されてよい。
【０１００】
対象物１２は、生物物質および／または無生物物質を含んでいてよい。対象物１２はさらに、少なくとも１つの蛍光体１４等である１つまたは複数の蛍光材料を含んでいてよい。マルチスペクトルカメラまたはハイパースペクトルカメラは、対象物１２内の蛍光材料の異なる蛍光スペクトラムごとにチャネル１０を有していてよい。例えば、各蛍光体１４が、照明１６によって引き起こされる蛍光スペクトラムに適合された少なくとも１つのチャネル１０によって表されてよい。択一的または付加的に、チャネル１０が、自家蛍光スペクトルに対して、または照明１６によって励起される蛍光によって引き起こされる二次蛍光のスペクトルに対して、または寿命蛍光データに対して提供されてよい。当然、照明１６は、対象物１２おいて蛍光を引き起こすことなく、白色光またはあらゆる他の構成の光も放出してよい、または白色光またはあらゆる他の構成の光だけを放出してよい。顕微鏡２は、照明１６による適切な蛍光励起波長を有する光で、例えば、対象物１２内で蛍光体１４の蛍光を励起するように適合されていてよい。
【０１０１】
照明は、レンズ１７を通して案内されてよく、レンズを通して入力信号データも取得される。照明１６は、１つまたは複数の異なる方向から対象物１２に光を向けるために、１つまたは複数の可撓性光ガイドを含んでいてよい、または１つまたは複数の可撓性光ガイドから成っていてよい。例えばグレアを抑制するために、カメラ８の前面の光路に適切な遮断フィルタ（図示されていない）が配置されていてよい。蛍光の場合には、遮断フィルタは有利には、照明波長のみを遮断し、対象物１２内の蛍光体１４の蛍光光がカメラ８へ通過することを可能にする。
【０１０２】
一般への制限なく、入力信号データ６を、あらゆる種類の顕微鏡によって、特にワイドフィールドモードで操作可能な蛍光光顕微鏡で、かつ／または共焦点レーザー走査顕微鏡を使用して捕捉できることが明らかである。
【０１０３】
１つのチャネル１０が二次元画像に含まれている場合、入力信号データ６は二次元である。１つよりも多くのチャネル１０が含まれている場合および／または入力信号データ６が三次元画像等の三次元アレイを表している場合、入力画像は、２よりも高い次元数を有し得る。
【０１０４】
三次元入力信号データ６または三次元入力画像データは、装置１によって、例えばライトフィールド技術を使用することによって、顕微鏡におけるｚスタッキングを使用することによって、ＳＣＡＰＥ顕微鏡によって得られた画像および／またはＳＰＩＭ顕微鏡によって得られた画像の三次元再構築を使用することによって記録されてよい。三次元画像の場合、三次元入力信号データ６の各面は、二次元入力画像６と見なされてよい。同様に、各面は、いくつかのチャネル１０を含んでいてよい。
【０１０５】
各チャネル１０が、別個の二次元画像または二次元信号と見なされてよい。択一的に複数のチャネルがともに、多次元アレイとして解釈されてよい。
【０１０６】
入力信号データは、強度等の量Ｉ（ｘｉ）のデジタル表現である。ここで、ｘｉは入力信号データ６におけるロケーションを表し、Ｉはそのロケーションでの量である。用語ｘｉは、Ｎ次元を含み、離散入力信号データにおける離散ロケーションｘｉを表すタプル
【数５０】
2021519973.tif 000052
に対する簡易表記である。ロケーションｘｉは、入力信号データ内のピクセルまたは有利にはピクセルのコヒーレントセットによって表されてよい。離散ロケーションｘｉは、例えば、二次元入力信号データの場合の離散ロケーション変数の二つ組
【数５１】
2021519973.tif 000053
および三次元入力信号データの場合の離散ロケーション変数の三つ組
【数５２】
2021519973.tif 000054
を示す。ｉ番目の次元において、アレイがＭｉ個のロケーション、すなわち、
【数５３】
2021519973.tif 000055
を含んでいてよい。全体として、Ｉ（ｘｉ）には（Ｍ１×・・・×ＭN）個の要素が含まれていてよい。
【０１０７】
カメラ８は、入力信号データ６の後続のセットの時系列１８を生成してよい。
【０１０８】
装置１はさらに、少なくとも一時的に入力信号データ６を含むように適合されている信号保存セクション、特に画像保存セクション２０を含んでいてよい。信号保存セクション２０は、揮発性メモリまたは不揮発性メモリを含んでいてよく、これはＰＣ等のコンピューティングデバイス２４のＣＰＵ２２および／またはＧＰＵ２６のキャッシュメモリ等である。画像保存セクション２０はさらに、ＲＡＭ、ハードディスクドライブまたはＵＳＢスティックまたはＳＤカード等の交換可能なストレージシステムを含んでいてよい。画像保存セクション２０は、これらのタイプのメモリのあらゆる組み合わせを含んでいてよい。
【０１０９】
例えばカメラ８から入力信号データ６を取得するために、信号入力セクション、特に画像入力セクション２８が提供されていてよい。信号入力セクション２８は、標準のデータ交換プロトコル、ハードウェアコネクタおよび／または無線接続等の標準の接続手段３０を含んでいてよい。カメラ８に接続され得る標準のコネクタの例は、ＨＤＭＩ、ＵＳＢおよびＲＪ４５コネクタである。
【０１１０】
装置１はさらに、信号出力セクション、特に画像出力セクション３２を含んでいてよくこれは、標準のデータ交換プロトコル、ハードウェアコネクタおよび／または無線接続等の標準の接続手段３４を含んでいてよく、それぞれがボケ除去された出力信号データ３６を１つまたは複数のディスプレイ３７に出力するように構成されている。出力信号データ３６、ここでは出力画像データは有利には、入力信号データ６と同じ次元数を有しており、離散値Ｏ（ｘｉ）の離散アレイによって表される。
【０１１１】
入力信号データ６からボケ除去された出力信号データ３６を計算するために、信号プロセッサ、特に画像プロセッサ３８が提供されていてよい。信号プロセッサ３８およびその構成要素は、少なくとも部分的にハードウェア、少なくとも部分的にソフトウェアおよび／またはハードウェアとソフトウェアとの両方の組み合わせであってよい。例えば、信号プロセッサ３８は、コンピューティングデバイス２４のＣＰＵ２２およびＧＰＵ２６のうちの少なくとも１つ、ならびにソフトウェアでコード化され、動作状態として、ＣＰＵ２２および／またはＧＰＵ２６における構造エンティティとして一時的に存在するセクションを含んでいてよい。信号プロセッサ３８は、本発明の装置および方法に必要な動作を実行するように特別に設計された１つまたは複数のＡＳＩＣ等の付加的なハードウェアも含んでいてよい。
【０１１２】
図１のさらなる説明を続ける前に、入力信号データ６のボケ除去の一般的原理を、図１１を参照して説明する。入力信号データ６のボケ除去のために、信号プロセッサ３８は、ボケ除去セクション４０を含んでいてよい。
【０１１３】
入力信号データＩ（ｘｉ）は、焦点外れ成分Ｉ２（ｘｉ）と合焦成分Ｉ１（ｘｉ）とから加算的に構成されていると仮定される。合焦成分Ｉ１（ｘｉ）には、カメラ８の焦点面からの情報のみが含まれている。焦点外れ成分Ｉ２（ｘｉ）は、入力信号データ６に記録された、焦点領域外の領域からの光に起因する。対照的に、合焦成分Ｉ１（ｘｉ）は、焦点領域からの関与のみを表す。Ｉ１（ｘｉ）もＩ２（ｘｉ）も不明であるため、推定する必要がある。
【０１１４】
本発明では、焦点外れ成分またはベースライン成分Ｉ２（ｘｉ）は、滑らかなベースラインと同様のものを表す、低い空間周波数を有する成分のみで構成され、これに関して合焦成分Ｉ１（ｘｉ）は比較的高い空間周波数で変動すると仮定される。焦点外れ成分Ｉ２（ｘｉ）は滑らかであり、大きい長さスケールを有している。対照的に、合焦成分Ｉ１（ｘｉ）は滑らかではなく、通常はピークを含んでいる。
【０１１５】
入力信号データのボケ除去のために、焦点外れ成分またはベースライン成分Ｉ２（ｘｉ）に対する推定値が計算される。この推定値は、本発明の装置１および方法において、ベースライン推定データｆ（ｘｉ）として表される。ベースライン推定データは、有利には入力信号データ６および／または出力信号データ３６と同じ次元数を有する離散アレイである。ベースライン推定データｆ（ｘｉ）は、図１において参照番号４４によって示されている。ベースライン推定データｆ（ｘｉ）は、少なくとも一時的に保存セクション２０内に存在してよい。ベースライン推定データが計算されると、ここではＯ（ｘｉ）として表される出力信号データが、各ロケーションで、ベースライン推定データを入力信号データから差し引くことによって得られる。
【０１１６】
図１では、信号プロセッサまたは画像プロセッサ３８は、少なくとも、入力信号データ６のサブセットへの適合によって、参照番号４４で示される、図１における、ベースライン推定データｆ（ｘｉ）を計算するように構成されているベースライン推定器エンジン４２を含んでいてよい。有利には、少なくとも、入力信号データのサブセットへの適合は、スプライン適合である。
【０１１７】
計算上効率的なスプライン適合のために、ベースライン推定器エンジン４２は、半二次最小化エンジン４６を含んでいてよく、これは、例えば、サブルーチンまたはハードワイヤードアルゴリズムとマッチングソフトウェアとの組み合わせであってよい。半二次最小化エンジン４６は、半二次最小化スキームを実行するように構成されていてよく、この目的に向けて、２つの反復ステージ４８、５０を含んでいてよい。
【０１１８】
本発明では、半二次最小化エンジン４６は、畳み込みを使用して、第２の反復ステージ５０においてベースライン推定データ４４を計算する。ＦＦＴを使用してアレイプロセッサ上でより効率的に畳み込みを計算することができるので、有利には信号プロセッサ３８は、ＧＰＵ２６等のアレイプロセッサを含んでいる。動作時に、信号プロセッサは、半二次最小化エンジン４６を含んでいる。
【０１１９】
図２を参照して、入力信号データＩ（ｘｉ）または６からボケ除去された出力信号データＯ（ｘｉ）または３６を計算するステップが、それらが装置１によって実行されるものとして説明されている。有利には、各チャネル１０は別個に扱われるということに留意されたい。
【０１２０】
第１のステップ６０では、プリセットされる必要があるベースライン推定器エンジン４２のさまざまなパラメータが、例えば、グラフィカルユーザーインターフェース６２（図１）を使用して、ユーザーによって規定されてよい。これらのパラメータは、ベースライン推定器エンジン４２によって実行されるべき入力信号データ６への適合のタイプを含んでいてよい。例えばユーザーは、入力信号データ６への入力ベースライン推定データ４４の多項式適合とスプライン適合との間で選択をしてよい。
【０１２１】
さらに、ユーザーは、半二次最小化スキームにおいて使用されるさまざまなペナルティ項Ｐ（ｆ（ｘｉ））の間で選択をすることができる。ペナルティ項は、ベースライン推定データにおける合焦関与Ｉ１（ｘｉ）の成分の表現にペナルティを課すことによって、ベースライン推定値の形を決定する。
【０１２２】
例えば、ベースライン推定データ４４の滑らかでない特性にペナルティを課すさまざまなペナルティ項の選択がユーザーに提示されてよい。例えば、ペナルティ項は、ベースライン推定データ４４のハイパス空間周波数フィルタであってよく、これは、ベースライン推定データ４４が高い空間周波数を有する成分を含んでいる場合に大きくなる。他のペナルティ項は、ベースライン推定データ４４の勾配を含んでいてよい。ペナルティ項の別の例は、ベースライン推定データ４４の曲率であってよい。さらに、ソーベルフィルタ、ラプラスフィルタおよび／またはＦＩＲバンドパスフィルタ、ハイパスフィルタまたはローパスフィルタ等の特徴抽出フィルタがペナルティ項としてユーザーによって選択されてよい。さらに、上記のいずれかの線形結合が選択されてよい。入力信号データ６の異なる次元または異なるチャネルに対して、異なるペナルティ項が選択されてよい。
【０１２３】
ペナルティ項の一般的な表現は
【数５４】
2021519973.tif 000056
であり、ここでζ（ｊ）は、ペナルティ項のプロパティを規定する、ペナルティ項の一般的な演算子である。
【０１２４】
以降では、ユーザーが、形式
【数５５】
2021519973.tif 000057
を有する、ベースライン推定データｆ（ｘｉ，ｍ）または４４の勾配に基づいて勾配ベースのあらさペナルティ項を選択すると仮定される。
【０１２５】
このペナルティ項は、ベースライン推定データの大きな勾配にペナルティを課す。演算子∂ｊは、次元ｊにおける一次導関数または勾配を表している。
【０１２６】
上述の勾配ベースのペナルティ項を使用する場合、ユーザーによって指定されるパラメータはさらに、正則化パラメータのアレイγｊを含んでいてよい。勾配ベースのペナルティ項の場合、正則化パラメータアレイは０．３から１００の間であり得る。
【０１２７】
さらに、ベースライン推定器エンジンに対するパラメータを選択する際に、ユーザーは対称の二次項と非対称の二次項φ（ε（ｘｉ））との間で選択をしてよく、これは、ベースライン推定データへの大きなピークの影響を指定することによってベースライン推定値の形も決定する。
【０１２８】
最後に、ユーザーは、収束基準および／または収束基準が到達しなければならない閾値ｔを選択してよい。
【０１２９】
例えば、ユーザーは非対称の切断された二次式
【数５６】
2021519973.tif 000058
を選択してよく、ここでｓは、ユーザーによって入力される閾値を表している。閾値は、入力信号データとベースライン推定データとの間の最大偏差を規定する。ベースライン推定値を超えるピークが、閾値ぶん偏差するピークよりも、ベースライン推定値を誘引することはない。
【０１３０】
ベースライン推定器エンジン４２に対する初期パラメータが設定された後、データは、ステップ６４において、反復半二次最小化スキーム６６のために初期化される。
【０１３１】
それ以降、収束基準６８が満たされるまで、反復半二次最小化スキーム６６が半二次最小化エンジン４６によって実行される。この実施形態では、収束基準
【数５７】
2021519973.tif 000059
が使用される。ここで、ｌは現在の反復を示し、ｔはユーザーが指定できる一定のスカラー閾値である。
【０１３２】
収束基準６８が満たされる場合には、ベースライン推定データ４４が首尾よく計算されたことが仮定される。したがって、ステップ７０において、ボケ除去された出力信号データＯ（ｘｉ）を得るために、ベースライン推定データｆ（ｘｉ）が入力信号データＩ（ｘｉ）から差し引かれる。
【０１３３】
出力信号データＯ（ｘｉ）の計算の後、逆畳み込み等の後処理操作７２が出力信号データ３６上で実行されてよい。
【０１３４】
出力信号データＯ（ｘｉ）は、後処理を伴ってまたは後処理を伴わずにディスプレイ３７上に表示されてよい。
【０１３５】
図３では、図２の詳細ＩＩＩが、半二次最小化スキーム６６をより詳細に説明するために示されている。半二次最小化スキーム６６は、第１の反復ステージ４８および第２の反復ステージ５０を含んでいる。
【０１３６】
原則として、半二次最小化エンジン４６によって実行される半二次最小化スキーム６６は、ＬＥＧＥＮＤアルゴリズムであってよい。しかし、本発明では、ＬＥＧＥＮＤアルゴリズムの第２のステップを修正することが有利であり、これは計算負荷を大幅に軽減するために修正されてよい。
【０１３７】
示された実施形態では、ステップ６４でデータを初期化した後、第２の反復ステージ５０が開始される。この時点で、ベースライン推定データの第１の推定値ｆ１（ｘｉ）は、グリーン関数Ｇ（ｘｉ）による入力信号データの畳み込みを使用して計算される。
【数５８】
2021519973.tif 000060
【０１３８】
この実施形態において使用される勾配ベースのペナルティ項に対して、グリーン関数は、
【数５９】
2021519973.tif 000061
のように規定され、ここでＦ［・・・］は離散Ｎ次元フーリエ変換であり、Ｆ−１［・・・］は逆離散Ｎ次元フーリエ変換であり、γｉはあらさペナルティ項の正則化パラメータであり、
【数６０】
2021519973.tif 000062
である。
【０１３９】
次に、第１の反復ステージ４８において、補助データｄｌ（ｘｉ）の更新バージョンが、
【数６１】
2021519973.tif 000063
のように現在のベースライン推定データ４４を使用して計算されてよい。
【０１４０】
パラメータαは、ユーザーによって指定され得る定数である。
【０１４１】
次に、第２の反復ステージ５０において、更新されたベースライン推定データ４４が、
【数６２】
2021519973.tif 000064
のように、現在の反復ｌの更新された補助データｄｌ（ｘｉ）を使用して計算される。
【０１４２】
次のステップでは、収束基準６８が満たされているか否かがチェックされる。収束基準６８が満たされていない場合、半二次最小化スキーム６６は、更新されたベースライン推定データｆｌ（ｘｉ）を使用する反復ステップ４８に進む。
【０１４３】
以降では、ボケ除去された出力信号データの２つの例を示し、ここでは、勾配ベースのペナルティ項が、図２および図３を参照して説明されたグリーン関数による畳み込みを使用する第２の反復ステップとともに使用された。
【０１４４】
図４は、サンプル写真の入力信号データＩ（ｘｉ）または６を示している。図５は、ボケ除去された出力信号データＯ（ｘｉ）または３６を示している。図４は、ＤＭ６０００ワイドフィールド顕微鏡およびＨＣＸ  ＰＬ  ＡＰＯ  ＣＳ  １００．０ｘ１．４０  ＯＩＬによって、開口数１．４およびピーク発光６４５ｎｍで記録されたミトコンドリアの写真を示している。ピクセルのサイズは４０ｎｍに対応する。
【０１４５】
図４と図５との比較から、焦点外れ成分Ｉ２（ｘｉ）のかなりの部分が出力信号データにおいて除去されていることが分かる。これは、それぞれ図４および図５の線ＶＩに沿った強度分布を示す図６によって検証される。ベースライン推定データｆ（ｘｉ）が強度分布の滑らかなベースラインを表すのに対して、ピークは出力信号データＯ（ｘｉ）、３６において維持されていることが見て取れる。
【０１４６】
入力信号データＩ（ｘｉ）における強度分布が異なる特性を有している場合も、ボケ除去は良好に機能する。これは、ゾウリムシを示す図７、図８および図１０において示されている。図４が１つのビーズ状の構造を含んでおり、ここでは、合焦点関与と焦点外れ関与とを区別するのは比較的簡単であるのに対して、図７はより複雑な構造を含んでいる。図７においてピクセルは６５ｎｍに対応する。画像は、ＨＣＸ  ＦＬＵＯＴＡＲ  １００ｘ／１．３０  ＯＩＬレンズを備えるＤＭ８ワイドフィールド顕微鏡を使用して、開口数１．３で、ピーク発光５２０ｎｍで記録された。
【０１４７】
図７には、入力信号データＩ（ｘｉ）が示されている。図８には、ボケ除去された出力信号データＯ（ｘｉ）が示されている。図１０には、図７および図８の線Ｘに沿った、入力信号データ６、ベースライン推定データ４４および出力信号データ３６の強度分布が示されている。見て取れるように、ベースライン推定データｆ（ｘｉ）もピークを含んでいる。しかし、これらのピークの長さスケールは、出力信号データＯ（ｘｉ）における強度変動よりも大幅に大きい。
【０１４８】
図９は、逆畳み込み後の出力信号データ３６を示している。出力信号データはボケ除去されているので、畳み込みの結果は、アーチファクトがほとんどない極めて良好な品質を有する。
【０１４９】
したがって、要約すると、入力信号データのボケ除去のための装置１および方法を説明した。これらの装置および方法は、ベースライン推定データおよび／または特徴抽出フィルタのあらゆる離散導関数次数のペナルティ項を使用してよい。ペナルティ項が使用されているか、いないかに関係なく、滑らかなベースライン推定値を作成するために、多項式適合よりもスプライン適合が有利であり得る。本発明の第３の独立した態様として、第２の反復ステージ５０に畳み込みを導入することによって計算負荷を大幅に軽減する半二次最小化エンジン４６が提案される。計算効率は、広範囲のペナルティ項に対して保たれ得る。
【０１５０】
アレイを再配置することによって、データの次元数を変更できるということに留意されたい。例えば、二次元データは、一次元データの１つまたは複数のセットとしてレンダリングされてよい。これは、後続の行または列を縦に並べることによって実現されてよい。さらに、三次元データが、後続の面を縦に並べることによって、二次元データに低減されてよい。この原理を再帰的に使用することによって、あらゆるＮ次元のデータが、上述のスキームを適用できる一次元または二次元のデータに低減されてよい。
【０１５１】
逆もまた同様である。あらゆる一次元アレイが、二次元以上のアレイとして配置されてよい。これは単に、これをより小さな一次元アレイに分け、二次元以上のスキームにおいて、有利には同じ長さを有するこれらのより小さなアレイにインデックスを付けることによって行われる。さらに、あらゆるタイプのデータが、例えばグレースケール強度を入力信号データの各値に割り当て、それを上記のように二次元配置または三次元配置で表示することによって、画像データとしてまたは画像として見なされ、表示されてよい。
【０１５２】
本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。
【０１５３】
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。
【０１５４】
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
【０１５５】
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
【０１５６】
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
【０１５７】
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
【０１５８】
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
【０１５９】
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
【０１６０】
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
【０１６１】
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
【０１６２】
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
【０１６３】
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
【０１６４】
いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
【符号の説明】
【０１６５】
１  装置
２  顕微鏡
４  信号形成セクション
６  入力信号データ、入力画像データ、Ｉ（ｘｉ）
８  カメラ
１０  チャネル
１２  対象物
１４  蛍光体
１６  照明
１７  レンズ
１８  入力信号データの時系列
２０  画像保存セクション
２２  ＣＰＵ
２４  コンピューティングデバイス
２６  ＧＰＵ
２８  信号入力セクション
３０  信号入力セクションの接続手段
３２  信号出力セクション
３４  信号出力セクションの接続手段
３６  出力信号データ、出力画像データ、Ｏ（ｘｉ）
３７  ディスプレイ
３８  信号プロセッサ
４０  ボケ除去セクション
４２  ベースライン推定器エンジン
４４  ベースライン推定データ、ｆ（ｘｉ）
４６  半二次最小化エンジン
４８  第１の反復ステージ
５０  第２の反復ステージ
６０  ベースライン推定パラメータのセットアップ
６２  グラフィカルユーザーインターフェース
６４  半二次最小化エンジンおよびスキームの初期化
６６  半二次最小化エンジンおよびスキーム
６８  収束基準
７０  出力信号データの計算
７２  後処理操作
【図１】
2021519973.tif 000069
【図２】
2021519973.tif 000070
【図３】
2021519973.tif 000071
【図４】
2021519973.tif 000072
【図５】
2021519973.tif 000073
【図６】
2021519973.tif 000074
【図７】
2021519973.tif 000075
【図８】
2021519973.tif 000076
【図９】
2021519973.tif 000077
【図１０】
2021519973.tif 000078
【図１１】
2021519973.tif 000079
【国際調査報告】
2021519973.tif 000080
2021519973.tif 000081