(57)【要約】  本発明は、少なくとも１つの検出装置によって走査された画像が処理される、画像を処理するための方法並びにこの方法を実施するための装置に関する。本発明によれば、時間的に連続する個々の画像のシーケンスからこの個々の画像の時間的な平均化により１つの合成画像が形成され、分類ステップの間には画像内の構造化画像領域が識別され、さらなるステップでは合成画像における識別された構造化画像領域にハイパスフィルタリングが実施される。時間的な平均値形成によって存在する検出ノイズが低減され、次いで行われる、事前に構造化画像領域として識別された画像領域に制限されているハイパスフィルタリングでは解像度が仮想的に高められ、その結果画像品質が全体的に向上される。【特許請求の範囲】
【請求項１】
少なくとも１つの検出装置によって走査された画像を処理する、画像を処理する方法において、
時間的に連続する個々の画像の１つのシーケンスから、該個々の画像の時間的な平均値形成によって１つの合成画像を形成し、分類ステップにおいて画像内の構造化画像領域を識別し、さらなるステップにおいて前記合成画像の識別された構造化画像領域においてハイパスフィルタリングを実施することを特徴とする、画像を処理する方法。
【請求項２】
１つのシーケンスの時間的に連続する個々の画像におけるそれぞれ位置座標に応じる相応の画像マトリクス要素に関してそれぞれ所属の強度を加算し、該加算により形成される合計値を前記シーケンスの個々の画像の個数で除算する、請求項１記載の方法。
【請求項３】
画像の構造化画像領域を識別するために、それぞれ位置座標に応じて隣接して配置されている画像マトリクス要素の局所的な変化を逐次的に計算し、該局所的な変化が所定の閾値パラメータに達するか、該閾値パラメータを上回る場合には、該変化をそれぞれ基礎とする画像マトリクス要素を構造化画像領域に対応付ける、請求項１または２記載の方法。
【請求項４】
前記強度の局所的な変化が前記所定の閾値パラメータを下回る場合には、該変化をそれぞれ基礎とする画像情報を構造の乏しい画像領域に対応付ける、請求項３記載の方法。
【請求項５】
前記強度のそれぞれの局所的な変化を求めるためにそれぞれ局所的な勾配を算出する、請求項３または４記載の方法。
【請求項６】
前記算出された局所的な勾配に対してそれぞれ値の正規化を実施する、請求項５記載の方法。
【請求項７】
前記ハイパスフィルタリングに２次ハイパスフィルタを使用する、請求項１から６までのいずれか１項記載の方法。
【請求項８】
前記ハイパスフィルタはラプラス演算子として構成されており、該ラプラス演算子は位置変数により２次導関数を形成する、請求項７記載の方法。
【請求項９】
前記ハイパスフィルタのフィルタパラメータを前記検出装置の解像度に依存して調整する、請求項７から８記載の方法。
【請求項１０】
前記ハイパスフィルタリングの程度をそれぞれ計算されて値が正規化された勾配に依存して制御する、請求項５から９までのいずれか１項記載の方法。
【請求項１１】
画像を撮像、検知及び処理する手段を備えた、請求項１から１０までのいずれか１項記載の方法を実施する装置において、
時間的に連続する個々の画像の１つのシーケンスから、該個々の画像の時間的な平均化によって１つの合成画像を形成して中間記憶し、分類ステップにおいて画像内の構造化画像領域を識別し、さらなるステップにおいて前記合成画像における識別された構造化画像領域にハイパスフィルタリングを実施することを特徴とする、装置。
【請求項１２】
画像の前記構造化画像領域を識別するために、それぞれ位置座標に応じて隣接して配置されている画像マトリクス要素の強度の局所的な変化を逐次的に計算し、該局所的な変化が所定の閾値パラメータに達するか、該閾値パラメータを上回る場合には、該変化をそれぞれ基礎とする画像マトリクス要素を構造化画像領域に対応付ける、請求項１１記載の装置。
【請求項１３】
請求項１から１０までのいずれか１項記載の方法がインプリメントされていることを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つの検出装置によって走査された画像が処理される、画像を処理するための方法、さらに本方法を実施するための装置並びにコンピュータプログラム製品に関する。
【０００２】
ビデオカメラのような高品質の撮像装置において、撮像装置の画像検出器によって検出された画像をフィルタリングすることが公知である。１つのシーケンスにおけるそれぞれ連続する画像間において、撮像装置を保持している操作者の振動運動によって惹起される偏差が僅かにしか生じない場合には、先ず画像のシーケンスに動き補償が実施される。この場合通常では、１つの画像の全ての画像データないし画像マトリクス要素がハイパスフィルタリングされ、その結果低周波成分の妨害ないし妨害パルスは十分に抑制される。しかしながらこの従来のフィルタリング方式は、検出ノイズを僅かにしか有さない検出器を備えた高品質の装置に使用されるので、ビデオ付加機能を備えた移動端末機器において頻繁に使用され、且つ高品質の撮像装置に比べ画像解像度が低く、またノイズレベルが比較的高い比較的安価な画像検出器が使用される場合、この従来のフィルタリング方式では殊に構造の乏しい画像領域ではノイズレベルが抑制または低減されないということは、この従来技術では不満足である。この構造の乏しい画像領域では例えば画像の単調な青色である空部分のような比較的均一ないし均質なグレー値経過及び色値経過に基づいて、存在する検出ノイズを顕著に識別でき、またこの検出ノイズによって画像品質が損ねられる。
【０００３】
したがって本発明の課題は、検出された画像のシーケンスにおいて検出ノイズが低減され、且つ画像品質が向上される、冒頭述べたような方法及びこの方法を実施するために使用される装置並びにコンピュータプログラム製品を提供することである。
【０００４】
この課題は方法技術に関しては、時間的に連続する個々の画像のシーケンスから、個々の画像の時間的な平均化により合成画像を形成し、分類ステップにおいて画像における構造化画像領域を識別し、さらなるステップでは合成画像において識別された構造化画像領域にハイパスフィルタリングを実施することによって解決される。
【０００５】
本発明による方法の特徴は、全体の画像にハイパスフィルタリングが実施される従来技術と異なり、本発明による方法ではハイパスフィルタリングが画像の選択された領域に及ぶ。この選択された領域とは先行して行われた分類ステップにおいて構造化領域として識別された領域である。分類ステップが実施される前に、１つのシーケンスに属する画像から時間的に平均化された１つの画像が形成され、この画像では検出ノイズが時間的な平均値形成に基づき顕著に低減されている。この際１つのシーケンスに包含される画像の個数が事前に確定される。解像度が制限されており、その結果走査が粗くなっているために大まかに構造化された画像領域では、安価な検出器による低い画像解像度を最も明確に認識できるので、本発明による方法では構造化画像領域に選択的に限定されたハイパスフィルタリングによって解像度が仮想的に向上され、これにより画像品質が改善される。したがって本発明による方法を検出処理能力が高いビデオカメラ装置にも、検出処理能力が低い検出器を有する機器、いわゆるビデオハンディにも適用することができる。適用領域として例えば、テキストと背景との間の急激な輝度経過を有するテキストの走査（「スキャニング」）に適している。
【０００６】
本発明による方法の有利な実施形態によれば、１つのシーケンスの時間的に連続する個々の画像においてそれぞれ位置座標に対応する画像マトリクス要素に関してそれぞれ所属の強度が合計され、これによって形成される合計値がシーケンスの個々の画像の個数で除算される。したがって、合成画像の画像マトリクスからなる各画像マトリクス要素ないし画像ピクセルには時間的に平均化された強度がそれぞれ対応付けられる。シーケンス毎の時間的な平均値形成の際に基礎とされる画像の個数に比例して検出ノイズが低減され、この結果生じる画像品質の改善は実際に均質なグレー値または色値を有する非構造化画像領域において最も顕著に証明することができる。
【０００７】
本発明による方法の構成は、画像の構造化領域を識別するために、それぞれ位置座標に応じて隣接して配置されている画像マトリクス要素の強度の局所的な変化が逐次的に計算され、この局所的な変化が所定の閾値パラメータに達するか、この閾値パラメータを上回る場合には、この変化がそれぞれ基礎とされる画像マトリクス要素は構造化画像領域に対応付けられる。これに対して、局所的な変化が所定の閾値パラメータを下回る場合には、この変化がそれぞれ基礎とされる画像情報は構造の乏しい画像領域に配属される。強度のそれぞれの局所的な変化を求めるためにそれぞれ局所的な勾配が計算され、計算された局所的な勾配にはそれぞれ値の正規化が行われる。
【０００８】
それに続くステップでは、ハイパスフィルタリングのために２次ハイパスフィルタが使用される。本発明の有利な実施形態では、ハイパスフィルタはラプラス演算子として構成されており、ラプラス演算子は位置変数による２次導関数を形成する。構造化画像領域においてそれぞれ隣接して配置されている画像マトリクス要素の強度にこの２次導関数を逐次適用することによって、低い空間周波数の成分が低減され、高い空間周波数の成分がより高く評価される。対象の縁はこの種のフィルタリングによってより精確に結像され、その結果画像解像度は仮想的に上昇され、相応に光学的な画像解像度が仮想的に改善される。画像品質の最大限の改善を達成するために、本発明のさらなる実施形態ではハイパスフィルタのフィルタパラメータは検出装置の解像度に依存して調整される。本発明による方法のさらなる実施形態では、ハイパスフィルタリングの程度はそれぞれ計算されて値が正規化された勾配に依存して制御されるので、例えば構造化画像領域と均質に経過する画像領域との間の移行領域においてはハイパスフィルタリングの程度が低減される。
【０００９】
装置技術に関して上述の課題は、画像を撮像、検知及び処理するための手段を備えた、本発明による方法を実施するために使用される装置において、時間的に連続する個々の画像の１つのシーケンスから個々の画像の時間的な平均化によって１つの合成画像を形成及び中間記憶可能であり、分類ステップでは画像における構造化画像領域を識別可能であり、さらなるステップでは合成画像における識別された構造化画像領域にハイパスフィルタリングを実施可能であることによって解決されている。画像の構造化画像領域を識別するために、それぞれ位置座標に応じて隣接して配置されている画像マトリクス要素の強度の局所的な変化を逐次計算可能であり、局所的な変化が所定の閾値パラメータに達するか、この閾値パラメータを上回る場合には、この変化がそれぞれ基礎とされる画像マトリクス要素を構造化画像領域に対応付けることができる。検出ノイズは時間的な平均値形成に基づき低減され、解像度はハイパスフィルタリングに基づき構造化画像領域として識別された画像領域においては仮想的に高められるので、本発明による装置には多数の適用分野が生じる。
【００１０】
さらに上述の課題は、請求項１から１０までのいずれか１項記載の方法がインプリメントされているコンピュータプログラム製品によって解決される。本発明によるコンピュータプログラム製品を例えば機械プログラムコードとして構成することができ、これによって比較的僅かなメモリスペース容量しか要求されない。
【００１１】
以下では本発明による方法の実施形態を１つの実施例に基づき詳細に説明する。
【００１２】
ビデオカメラ機能を備えた移動端末機器では、撮像光学系を介して画像または画像のシーケンスが撮像され、検出装置に結像される。検出装置は頻繁にＣＣＤアレイ（電荷結合装置）として構成されている。この検出装置は受信した光学情報を電気信号に変換するために使用され、この電気信号はアナログ・ディジタル変換器が前置接続されているプロセッサ装置によってディジタルデータに変換される。この変換によって取得されたディジタルデータはプロセッサ装置に後置接続されている表示装置に到来して表示される。表示装置は例えば小型ＴＦＴディスプレイまたはＬＣＤディスプレイとして構成することができる。このような装置は純粋なビデオカメラであるか、ビデオカメラ付加機能を備えた移動電話として構成することができる移動端末機器である。殊に移動電話（いわゆる「ハンディ」）において付加的にビデオカメラ機能が組み込まれたもの（いわゆる「ビデオハンディ」）では、経済的な考量に基づき検出装置ないし検出アレイがしばしば使用される。これらの検出装置ないし検出アレイはたしかに安価であるが、ノイズレベルが比較的高く、またそれに応じてこれら検出装置ないし検出アレイにより求められた画像の色値及びグレー値においては著しい時間的な変動が示され、この変動は画像品質を低減させる。さらにはこのような検出装置は典型的にＣＩＦ規格画像フォーマット（「共通中間ファイル」）に対応する３５２×２８８ピクセルないし画像マトリクスの解像度特性を有するが、解像度が比較的低いので、コントラストの強い対象構造を結像する場合には走査効果が粗いものとなってしまう。
【００１３】
ここで本発明による方法を説明する。先ず事前準備ステップでは複数の個々の画像のそれぞれ１つのシーケンスに対して動き補償が実施される。これに関する前提は１つのシーケンスにおける画像は並進的及び／又は回転的な僅かな偏差により相互に異なるだけというである。このような偏差は操作者が装置を保持した際の振動運動により生じる可能性がある。個々の画像を数ピクセル位置からサブピクセル位置までの範囲でシフトさせるために、ソース画像には２〜４回精度の高い補間が実施され、その結果このソース画像はＣＩＦフォーマットに対応する検出器の３５２×２８８ピクセル要素に代わり、７０４×５７６ないし１４０８×１１５２ピクセル要素を有する。その後、動き補償された個々の画像のこのシーケンスから、１つの合成画像が時間的な平均値形成によって形成され、この合成画像は先ず中間記憶される。合成画像におけるこの時間的な平均値形成は、基礎とされる個々の画像ないしソース画像に比べノイズを低減することになる。
【００１４】
このために、１つのシーケンスの個々の画像各々に対して、個々の画像の画像マトリクスを規定する座標系における位置座標（ｘ、ｙ）にそれぞれ対応する画像マトリクス要素が選択され、それぞれの所属の強度が加算され、シーケンスに属する個々の画像の個数ｎによって除算される。したがってこの結果生じるそれぞれの強度は、中間記憶された合成画像の画像マトリクスにおいて、これに対応する画像マトリクス要素に関して時間的に平均化された強度である。画像マトリクス要素の強度は検出装置においてそれぞれ測定される電界強度であり、グレー値も色値も包含する。本発明による方法の適用に関する前提は、検出ノイズがガウス分布に従うこと、すなわち時間と関数関係にある検出ノイズの強度が正規分布曲線に従うことである。
【００１５】
これに続くステップでは分類プロシージャが実施され、中間記憶された画像における構造化領域と相対的な非構造化領域とが識別されて、相互に類別される。このために、中間記憶された合成画像においては、それぞれが位置座標に応じて相互に隣接して配置されている画像マトリクス要素の強度の局所的な変化が逐次的に計算される。このことは実際には、直接隣接する画像マトリクス要素ないしピクセル間において勾配、すなわち位置変数による１次導関数が算出されて、この導関数のそれぞれ正の値が形成されることによって達成される。さらにはこの勾配値は、画像マトリクス内の算出された全ての勾配値の最大値が調べられて１にセットされるよう正規化され、その結果このように正規化された勾配値は０から１の区間で変動する。例えば空の青色を描写する場合のように、比較的均一なグレー値ないし色値によって規定されている、画像における構造の乏しい、すなわち比較的均質な経過を有する領域では、その領域において求められた勾配値は極僅かにしか変化しないので０に近いが、他方では建物の縁などのような構造化された画像領域において求められた勾配値は、むしろ最大値１にせまる比較的高い値を取るので、したがって構造化画像領域と非構造化画像領域を相互に区別及び識別することができる。
【００１６】
このために実施例においては、０と１の区間の範囲においてほぼ中間にその値が存在する閾値パラメータが規定される。それぞれ基礎とされる画像マトリクスに関して算出された勾配値がそれぞれこの閾値パラメータと比較される。それぞれの勾配値がこの閾値パラメータに達するか、またはこの閾値パラメータを上回るという比較結果が生じる場合には、対応する画像マトリクス要素は画像マトリクスの構造化画像領域に対応付けられる。これに対して、それぞれの勾配値がこの閾値パラメータよりも小さい場合には、対応する画像マトリクス要素は非構造化画像領域に対応付けられる。
【００１７】
分類プロシージャに応じて構造化画像領域として識別された画像マトリクスの画像領域には、さらなるステップにおいてハイパスフィルタリングが実施される。このためにハイパスフィルタとして２次フィルタが使用され、実施例においてはいわゆるラプラスフィルタが殊に効果的であると証明された。ラプラスフィルタは（基礎とされる画像マトリクスにおいてそれぞれ隣接する画像マトリクスに適用される）位置変数によりそれぞれ対応付けられた強度の局所的な２次導関数を形成する演算子である。このハイパスフィルタのフィルタパラメータは使用される検出装置の解像度に適合されている。結果として、画像の構造化領域、例えば建物の縁はより良好に見られるようになっており、またノイズは低減されているので、本来の画像に比べ解像度が仮想的に高められている。ハイパスフィルタリングは算出された勾配値を用いて、ハイパスフィルタリングの程度が構造化画像領域として識別された画像領域の中央において最大になり、この画像領域の端部領域では低減されるように局所的に制御することができ、その結果エッジ効果は増大され、非構造化画像領域ないし均質な画像領域におけるハイパスフィルタリングの影響はなくなる。それぞれ算出された局所的な勾配値を用いて、この勾配値から導出される重み付け関数を規定することができ、この重み付け関数を用いることにより、時間的な平均値形成及びハイパスフィルタリングの種々のステップを相互に重み付けすることができ、しかもそれぞれの画像に存在する構造化画像領域ないし非構造化画像領域の種類及び範囲に依存して重み付けすることができる。
【００１８】
本発明による方法を実施するための所定の装置は撮像光学系及び検出装置を有し、撮像光学系は検出すべき対象の検出装置における結像に使用される。さらに装置は前述したように、検出装置から供給される電気画像信号を変換するためのアナログ・ディジタル変換器と、このアナログ・ディジタル変換器に後置接続されたプロセッサ装置と、表示装置とを包含する。プロセッサ装置と電気的に接続されているメモリ装置は本発明によるステップのプログラムコードをメモリに常駐させるために使用される。所定の動作時に、プロセッサ装置はこのプログラムコードにアクセスし、したがって自動的に本発明によるステップを実施し、それに応じて計算されてフィルタリングされたそれぞれのターゲット画像が表示装置に表される。可能な適用形態では本発明による装置をビデオ付加機能を備えた移動電話として構成することができる。
【００１９】
動き補償、画像の分類及びハイパスフィルタリングを包含する個々のステップは、２回または４回の高精度の補間が実施されたソース画像に実施される。このような補間に応じて処理された画像は、ＣＩＦフォーマットに対応する検出器の３５２×２８８ピクセル要素に代わり、７０４×５７６ないし１４０８×１１５２ピクセル要素を有する。それぞれ高精度に補間が実施された画像において欠落するグレー値は、ソース画像のそれぞれこのグレー値が欠落しているピクセルエレメントに隣接しているピクセルエレメントのグレー値に基づいて双線形補間を用いて計算される。画像のそれぞれのシーケンスを処理する本発明による方法によって、エッジの解像度およびノイズの抑制に関する画像品質の改善を達成することができ、この際それぞれのシーケンスの画像は確かにそれぞれ同一の画像部分を示すが、数ピクセル位置ないし数サブピクセル位置の単位で相互にずらすことができる。
【００２０】
要約すれば、本発明による方法は検出ノイズを低減するために時間的な平均値形成を実施し、構造化画像領域および構造の乏しい画像領域におけるそれぞれ処理すべき画像の分類を局所的な勾配の算出に基づき実施し、この際ハイパスフィルタリングは構造化画像領域として識別された画像領域に制限され、これによって解像度が仮想的に高められる。適用領域としては例えば、テキストと背景との間における急激に変化する輝度相違を有するテキストの識別に適している。別の適用領域は、旋回運動と共に撮像された連続する画像のシーケンスから構成されているパノラマ画像である。
【国際調査報告】
2005512200.tif 000002
2005512200.tif 000003