(57)【要約】本発明は、ＣＭＯＳカメラ画像をデジタル画像処理する方法及び装置に関する。ＣＭＯＳカメラは、高コントラストで移動する物体の録画時に残像効果を有する。この残像効果は、画像の評価時に誤りのある値を誘導する。ＣＭＯＳカメラ画像の改良されたデジタル画像評価を可能にすることが、本発明の方法及び装置によって可能である。出力信号値の経時変化から特定の減衰定数ｃと出力信号ｇとの積を減算することによって、残像効果なしの実際のフォト電流が算出され得る。【特許請求の範囲】
【請求項１】
ＣＭＯＳカメラ画像をデジタル画像処理する方法において、
出力信号ｇの経時変化が、項ｃ* ｇと初期項ｑとから構成され、時間信号ｑの計算は、画像データの出力信号値ｇの経時変化からの項ｃ* ｇの減算を含むことを特徴とする方法。
【請求項２】
パラメータが、高コントラストを有する画像データの領域に対して評価されることを特徴とする請求項１に記載の方法。
【請求項３】
「トータル最小二乗法」（ＴＬＳ），「通常最小二乗法」（ＯＬＳ），混成ＯＬＳ−ＴＬＳ及び／又は偏差法が、パラメータを保護するために使用されることを特徴とする請求項１又は２に記載の方法。
【請求項４】
減数定数ｃ及び／又は物体のシフトｕが、パラメータを評価することによって画像データから算定されることを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
減衰定数ｃは、カメラを校正することによって算定されることを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
微分方程式（１）
【数１】
2006510280.tif 000003
ｇ＝画像列のグレー値
ｕ＝物体のシフト（シフトベクトル場）
ｃ＝減衰定数
ｑ＝対象となる初期項（光）
が使用されることを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
既知の物体の移動量うｕx 及びｕy が、直接微分方程式（１）に代入されることを特徴とする請求項１〜６のいずれか１項に記載の方法。
【請求項８】
フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）が実行されることを特徴とする請求項１〜７のいずれか１項に記載の方法。
【請求項９】
ＣＭＯＳカメラ画像をデジタル画像処理する装置において、
この装置は、請求項１〜８のいずれか１項に記載の方法を実施するのに適していることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳカメラ画像をデジタル画像処理する方法及び装置に関する。
【背景技術】
【０００２】
画像をコンピュータシステムによって処理できるようにするため、これらの画像は、コンピュータと互換性があるデータフォーマットに変換される必要がある。この変換は、デジタイジングと呼ばれる。このデジタル画像処理では、元の画像データが、コンピュータに適合するデータフォーマットに変換される。このとき、元の画像データは、処理用の２次元又は多次元の関数として任意に処理される。録画の場合、連続する場面が、部分に立体的に分離される。デジタル化された画像データの数学的な記述の可能性は、画像マトリックスとしての表記である。画像Ｓ（場面Ｓ）は、画像行列から構成された長方形のマトリックス（画像マトリックス）Ｓ＝（ｓ（ｘ，ｙ））である。列インデックスはｘである。行インデックスはｙである。位置（列，行）＝（ｘ，ｙ）の画素（ピクセル）は、グレー値ｓ（ｘ，ｙ）を有する。したがってこの場面の複数の要素領域がそれぞれ、画像マトリックスの１つの画素に投影される。画像データをデジタイジングするためには、走査及び量子化が必要である。走査の場合、デジタイジングすべき画像が、長方形又は正方形の格子に重畳させることによって複数の走査面部分に分割される。量子化の場合、グレースケールＧから成る１つのグレー値ｓ（ｘ，ｙ）が、各走査面部分に割り当てられる。このグレー値は、ドットごとに又はこの走査面を平均することによって決定される。
【０００３】
デジタル化された画像データを得るため、ＣＣＤカメラに加えてＣＭＯＳカメラも多方面で使用される。これらのカメラは、例えば衝突の記録や生産中の急激な技術的過程の監視のような科学や産業で多様に使用される。ＣＭＯＳ(Complementary Metal Oxside Semiconductor)カメラは、ＣＣＤ画像センサに比べて高い輝度特性及びより高い動作温度を具備する。ＣＭＯＳカメラのフォトダイオードに入射する光粒子（光子）が、電流に変換される。多数のトランジスタが、光を感知するフォトダイオードに付設されている。ＣＭＯＳカメラの画素が、フォトダイオードの実際のフォト電流からこれらの画素のグレー値（信号）を決定する。各画素が、個々に読み取られ評価され得る。このことは、それぞれの関心を引く画像部分上への任意に選択可能なアクセスを可能にし、産業上の画像処理で特別な効果を奏する。非常に高い画像速度が、ＣＭＯＳカメラによって実現され得る（極端な高速度撮影）。この場合、個々の画素へのアクセス時間は、明らかに非常に短い。すなわち、実際のフォト電流が、非常に短期間に調整可能である。
【０００４】
高いコントラストでかつ移動する又は速く変化する物体の場合、特に高い画像速度の場合、元の明るい画像領域からのまだ減衰していない強い電流が、現在の暗くなる信号領域を支配する。画素回路内に含まれている「寄生」容量（[4] 第8.3 章参照）が、画素信号の時間的な遅延を引き起こす。この効果は、本発明の範囲内では「容量性の残像効果」と呼ばれる。これらの値の一般に対数表示によるカメラの非常に高いグレー値分解能が、これによって相当に下がっている。つまり、誤りを多く含む値が出力される。例えば明るい１つの信号が比較的暗いバックグラウンドにわたって移動する場合、例えば溶接点が板金にわたって移動する場合、この明るい信号は、その後方に尾を引く（[4] 、第37頁参照）。この尾は、このより暗いバックグラウンドに重畳する。例えば板金の溶接時に溶接の継目を溶接点のすぐ後ろで監視しようとする場合、尾が継目部分から消えるまで待つ必要がある。
【０００５】
録画速度による容量性の残像のこの不都合な効果を校正する多くの可能性が存在する：  明るい画素の放電が、適度なバックグラウンド照明によって明らかに加速され得る。移動方向が既知である場合、さらに実際の物体からの又は投影されたパターンからの位置を検出しなければならない特定の用途の場合、移動方向に関する分析をすることが可能である。すなわち、暗から明への速い交換を検出することができる。この方法は、確かに例えば照明又は全ての録画状況が既知であるか又は制御され得るときの特定の用途だけに適する。しかしこの評価方法は、目視不可能な信号成分を専ら無視又は避けて再生できない。      
【０００６】
例えばサーマルイメージにおける温度の低下に関するような光学処理が、数学モデルを用いて評価される。すなわち、微分方程式（ＤＧＬ）の使用が、例えば[3] 、図９から公知である。この方法の場合、録画の物理条件がＤＧＬで記述され、このＤＧＬの未知のパラメータが数値的に概算される。既知の局所の概算方法は、ここでは特に「通常最小二乗法（ＯＬＳ）」，「トータル最小二乗法」及び「混成ＯＬＳ−ＴＬＳ」[5] である。これらの全ての概算方法は、数値制御の各標準タスクから得られる最小二乗法の方法の特殊形である。さらに、データ処理及び平滑処理によるいわゆる偏差法がよく使用される（例えば、[1,6] 参照）。
【０００７】
ＣＭＯＳカメラ画像を評価するために適しているモデルの使用は、従来は文献で説明されていなかった。
【非特許文献１】B. Jahne, Digitale Bildverarbeitung, 4. Aufl., Springer, 1997.
【非特許文献２】B. Jahne, H. Haussecker, P. Gleissler (EDS.) Handbokk of Computer Vision and Applications, Volume 1. Sensors ans Imaging, Academic Press, 1999.
【非特許文献３】Horst W. Haussecker and David J. Fleet, Computing Optical Flow with Physical Models of Brightness Variation IEEE Trans. PAMT, Vol. 23, No. 6, pp 661-673, June 2001.
【非特許文献４】T. Seiffert, Messverfahren und Kenngrossen zur Beurteilung des dynamischen Kontrastauflosungsvermogens elektronischer Bildaufnehmer, Diplomarbeit, Universitat Karlsruhe (TH), 2001.
【非特許文献５】C. Garbe, Measuring Heat Exchange Processes at the Air-Water Interface from Thermographic Image Sequence Analysis, Doktorarbeit, Universiat Heidelberg, 2001.
【非特許文献６】J. Weickert und C. Schnorr, Variational Optic Flow Computation with a Spatio-Temporal Smoothness Constraint, Technical Report 15/2000 Computer Science Series, Juli 2000.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、ＣＭＯＳカメラ画像の改良されたデジタル画像処理が可能である方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
この課題は、本発明により、請求項１及び請求項９に記載の特徴部分によって解決される。
【００１０】
容量性の残像効果が評価の遅延を招くことなしに移動している画像を速くかつ直接に評価可能にすることが、本発明の方法及び装置によって可能である。物理的な理由から回避することができない容量性の残像効果なしに実際のフォト電流を可能にする。さらに、（高コントラストの）明から暗への高い動的変化を例えば高速録画で再生することが可能になる。残像の最小限の影響を伴う強度を定量的に評価することが可能になる。
【００１１】
好適なその他の構成は、従属請求項中に記載されている。
【００１２】
以下に、本発明を例示的に説明する。
【発明を実施するための最良の形態】
【００１３】
容量とフォト電流と画像データとの間の関係は、グレー値における線形偏微分方程式によって移動物体に対して表すことができる。この線形偏微分方程式は、以下のように表現され得る：
【００１４】
【数１】
2006510280.tif 000002
【００１５】
この場合、
ｇ＝画像列のグレー値
ｃ＝減衰定数（一般には負）
ｑ＝対象となる初期項（光）
ｕ＝局所の（物体の）シフトｕ＝(dx/dt,dy/dt) 
画像列のグレー値ｇは、ＣＭＯＳカメラによって直接供給された校正されていない画像データを示す。これらの画像データは、実際の出力信号である。出力信号値という表現は、以下ではフォト電流によって生成された全ての測定信号ｇと解する。
【００１６】
減衰定数ｃは、ＣＭＯＳカメラ内の容量の放電速度に相当する物理パラメータである。読取過程間の容量から出る放電量は、表現ｃ* ｇによって示される。
【００１７】
初期項ｑは、時点ｔに対してフォト電流ｇになる荷電を示す。したがってｑは、対象となる目的信号である。
【００１８】
容量性の残像効果なしの実際のフォト電流、すなわち初期項ｑが、出力信号値ｇの経時変化から項ｃ* ｇを減算することによって算定され得る。この初期項ｑは、以下では目的信号値と呼ぶ。
【００１９】
この方法の好適な構成は、パラメータが評価されることを特徴とする。ここでは残像効果が重要であるので、この方法ステップは、高コントラストの画像データに対して特に適している。これらの領域は、例えば[1] 中に記されている閾値のセグメント化に応じた局所のコントラスト度によって速くかつ簡単に検出することができる。パラメータの評価がこれらの領域に限定される場合、計算が著しく加速され得る。
【００２０】
このタイプの偏微分方程式中の一般のパラメータを保護する「トータル最小二乗」（ＴＬＳ）法が、文献[3] から公知である。このトータル最小二乗法は、例えばこれらのパラメータを評価するのに適する。例えば「通常最小二乗法（ＯＬＳ）」又は「混成ＯＬＳ−ＴＬＳ」及び／又は偏差法のようなその他の上述した公知のパラメータ評価方法が、この評価に対して適している。
【００２１】
方法の好適な構成では、例えば「トータル最小二乗法」[3] によるようなパラメータの評価を用いて、初期項ｑを最初の出力信号値から算定することができる。これに対して、上述した微分方程式（１）が使用される。この場合、ｇの空間時間関数が、関数の核による離散畳み込みを用いて出力信号ｇから算定される。これらの空間時間関数及び例えば校正ステップ又は録画条件から既に既知の全てのパラメータが、（１）中に代入される。ｑ（ｘ，ｙ，ｚ）が、パラメータを評価することによってこうして作られた方程式から算出される。
【００２２】
本発明の方法の好適な構成は、減衰定数ｃが同様にパラメータを評価することによって算定され得ることを特徴とする。
【００２３】
本発明の方法の好適な構成は、減衰定数ｃがＣＭＯＳカメラを事前に校正することによって算定され得る。このとき、減衰定数ｃは、もはやパラメータを評価することによって算定する必要はない。これによって、方法の加速が可能になる。この減衰係数ｃは、十分に一定な動作条件下ではカメラだけに依存する時間的に変化しない値すなわちｃ＝ｃ（ｘ，ｙ）である。画素の良好な均質性の場合、ｃは一定である。それ故に減衰定数ｃは、オフラインでも校正ステップ中に算定することができる。
【００２４】
本発明の方法の好適な構成は、物体の移動ｕが、同様にパラメータを評価することによって算定され得る。既に既知の物体の移動は評価する必要がない。このとき、パラメータｕx 及びｕy が、微分方程式中に代入され得る。これによって、パラメータの評価が簡単になりかつ加速される。
【００２５】
本発明の方法の好適な構成は、この本発明の方法がＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）によって実行されることを特徴とする。出力信号値が非常に大きくない画像部分に限定される場合、毎秒多数の画像の画像速度を実現することが可能になる。
【００２６】
さらに本発明は、ＣＭＯＳカメラ画像をデジタル画像処理する装置が本発明の方法を実行するために適していることを特徴とするこの装置に関する。
【手続補正書】
【提出日】平成16年12月15日(2004.12.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＣＭＯＳカメラ画像をデジタル処理する方法において、
初期項ｑは、方程式（１）
【数１】
2006510280.tif 000004
ｇ＝画像列のグレー値
ｕ＝物体のシフト（シフトベクトル場）
ｃ＝減衰定数
ｑ＝対象となる初期項（光）
から算定され目的信号として使用されることを特徴とする方法。
【請求項２】
パラメータが、高コントラストを有する画像データの領域に対して評価されることを特徴とする請求項１に記載の方法。
【請求項３】
「トータル最小二乗法」（ＴＬＳ），「通常最小二乗法」（ＯＬＳ），混成ＯＬＳ−ＴＬＳ及び／又は偏差法が、パラメータを保護するために使用されることを特徴とする請求項１又は２に記載の方法。
【請求項４】
減数定数ｃ及び／又は初期項ｑ，物体のシフトｕが、パラメータを評価することによって画像データから算定されることを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
減衰定数ｃは、カメラを校正することによって算定されることを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
既知の物体の移動量うｕx 及びｕy が、直接微分方程式（１）に代入されることを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）が実行されることを特徴とする請求項１〜６のいずれか１項に記載の方法。
【請求項８】
ＣＭＯＳカメラ画像をデジタル画像処理する装置において、
この装置は、請求項１〜７のいずれか１項に記載の方法にしたがって作動することを特徴とする装置。
【国際調査報告】
2006510280.tif 000005
2006510280.tif 000006
2006510280.tif 000007
2006510280.tif 000008