(57)【要約】【課題】本発明の課題は、モザイク画像の表現を、これを均一にすることより改善することである。【解決手段】オーバラップゾーン(20，21，22，23，24)を形成する、ノイズのあるソース画像(11，12，13，14)のモザイクを処理する方法であって、該オーバラップゾーンでは少なくとも2つの前記ソース画像が重ね合わされている形式の方法において、  オーバラップゾーンにランダムノイズ(35)を発生するステップを有し、これによりオ―バラップゾーンと、ソース画像が重ね合わされないゾーン(以下、非オーバラップゾーンと称する）とのあいだのノイズ偏差を少なくとも部分的に補償する。【選択図】図３
2006190306.tif 000002
【特許請求の範囲】
【請求項１】
オーバラップゾーン(20，21，22，23，24)を形成する、ノイズのあるソース画像(11，12，13，14)のモザイクを処理する方法であって、該オーバラップゾーンでは少なくとも2つの前記ソース画像が重ね合わされている形式の方法において、
オーバラップゾーンにランダムノイズ(35)を発生するステップを有し、これによりオ―バラップゾーンと、ソース画像が重ね合わされないゾーン(以下、非オーバラップゾーンと称する）とのあいだのノイズ偏差を少なくとも部分的に補償することを特徴とする方法。
【請求項２】
請求項1記載の方法において、オーバラップゾーンではソース画像は、混合すべきソース画像間の重み付けされた和によって混合される方法。
【請求項３】
請求項2記載の方法において、オーバラップゾーンに対して使用される重み付け関数が、混合される画像の1つが空間的にオーバラップゾーンから離れるときに当該画像の比率が低下するよう線形に変化する方法。
【請求項４】
請求項1記載の方法において、発生されるランダムノイズの統計的パラメータを、非オーバラップゾーンにあるノイズのパラメータとオーバラップゾーンにあるノイズのパラメータに基づいて評価する方法。
【請求項５】
請求項4記載の方法において、評価するパラメータの1つはノイズの標準偏差である方法。
【請求項６】
請求項4または5記載の方法において、非オーバラップゾーンにあるノイズのパラメータを、ソース画像の均一ゾーンにわたって局所的に評価する方法。
【請求項７】
オーバラップゾーン(20，21，22，23，24)を形成する、ノイズのあるソース画像(11，12，13，14)のモザイクを処理する装置であって、該オーバラップゾーンでは少なくとも2つの前記ソース画像が重ね合わされており、前記モザイク(53)を発せいす手段を有する形式の装置において、
・オーバラップゾーンと、ソース画像が重ね合わされていないゾーン、すなわち非オーバラップゾーンにあるランダムノイズ(52，53)の統計的パラメータを評価する手段と、
・オーバラップゾーンにランダムノイズ(52，53)を、統計的パラメータに基づいて発生する手段とを有することを特徴とする装置。
【請求項８】
請求項7記載の装置において、請求項1から6までのいずれか一項記載の方法を実施するために使用する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モザイクの視覚的レンダリングを向上させるために画像のモザイクを処理するための方法および装置に関する。
【背景技術】
【０００２】
大画像を形成するためにソース画像を合成すること、いわゆるモザイク画像は画像処理では周知の技術である。この技術はとりわけ空間写真または空中写真の分野で使用される。これはまたマルチメディア分野（例えばパノラマショットの形成のために）でも使用され、また複数のプロジェクタを使用する大スクリーンビデオ投影の分野でも使用される。後者の例では、ソース画像のサイズがプロジェクタの投影能力に適合される。従ってこれらの小画像が結合され、スクリーンには大画像が表示される。複数の小型プロジェクタを使用することによりハードウエアのコストをとりわけ低減することができる。
【０００３】
従来技術によれば、これらのモザイク画像を形成するために使用される技術は、ソース画像を予わいする第1オプションステップを含む。このステップの目的は、全てのソース画像を1つの同じ幾何学的空間にもたらすことである。モザイク形成処理の第2ステップでは、オ―バラップする画像部分を混合する。モザイクを形成するために、オーバラップのない並置技術を使用することも可能であるが、本発明はこれに関連するものではない。
【０００４】
図1は4つのソース画像I1,I2,I3,I4を示す。各画像は2つの成分の和である。すなわちソース画像は信号Sとソースノイズnsからなる。図2に示されたモザイクはこれらの画像から形成される。この図は種々のゾーンを示す。第1ゾーン20は中央オーバラップゾーンであり、ここでは4つのソース画像がオーバラップする。ゾーン21，22，23および24は2つの画像がオーバラップするゾーンに相当する。従ってゾーン21は、画像I1とI2のオーバラップゾーンに相当する。ゾーン22は、画像I2とI4のオーバラップゾーンに相当する。ゾーン23は、画像I2とI4のオーバラップゾーンに相当する。最後にゾーン24は、画像I1とI3のオーバラップゾーンに相当する。ゾーン25，26および28はオーバラップしないソース画像の部分に相当する。
【０００５】
オーバラップゾーンでは、ソース画像の混合にもっとも単純な技術を使用する場合、混合すべき2つの画像が存在するときに（ゾーン21，22，23および24）、オーバラップゾーンにある2つのソース画像の和の半分を計算する。同じようにして、混合すべき4つの画像が存在するとき（ゾーン20）、最も簡単な技術ではオーバラップゾーンにある4つのソース画像の算術平均を計算する。
【０００６】
一般的には、オーバラップゾーン20，21，22，23および24にあるソース画像を混合する場合、2つの側面を考慮すべきである：すなわち、ソース画像信号Sとソースノイズnsである。従って画像I1内の座標x,yピクセルに関連するグレーレベルは：
I1(x,y,c)＝S1 (x,y,c) + ns1 (x,y,c)
である。ここでcは、考慮すべき色成分(例えば青、緑、または赤)である。
【０００７】
オーバラップゾーン21では平均画像ImがI1とI2の和の半分として生じる、すなわち：
Im (x,y,c) = Sm (x,y,c) + nm (x,y,c) = (I1 (x,y,c) + I2 (x,y,c)) / 2
であり、ここでSm (x,y,c) は、色成分cに対する座標(x,y)のピクセルに関連する平均画像信号であり、nm(x,y,c)は、色成分cに対する座標(x,y)のピクセルに関連する平均ノイズである。
【０００８】
この技術により、画像信号S1とS2の平均、すなわち、
Sm (x,y,c) = (S1 (x,y,c) + S2 (x,y,c)) / 2
が正しく計算される。画像が独立しており、従ってノイズが相関していなければ、ノイズの和は二次方程式である。このことは、加算されたノイズの和はもはや正しくないことを意味する。なぜなら、ns1=ns2であるとき係数√(2)により割り算されるからである。すなわち、
nm (x,y,c) = ns1 (x,y,c) / √(2)
である。
【０００９】
同じように、考察するゾーン20で4つの画像I1,I2,I3,I4がオーバラップすれば、生じる平均画像Imは次式のとおりである：
Im(x,y,c)=Sm(x,y,c)+nm(x,y,c)=(I1(x,y,c)+I2(x,y,c)+I3(x,y,c)+I4(x,y,c))/4
この場合も、画像信号S1,S2,S3,S4の平均は正しく計算される。しかし、加算されたノイズの振幅はもはや正しくない。なぜなら、ns1=ns2であるとき係数√(2)により割り算されるからである。すなわち、 ns1 =ns2 =ns3 =ns4である場合に、係数2により割り算されるからである。
【００１０】
オーバラップゾーンにわたって減衰されるノイズの振幅はこれらのゾーン(20，21，22，23，14)にわたって滑らかに出現し、そのためソース画像が完全ではなく、ノイズがまったくない場合、ノイズが可視的にレンダリングされる。この減衰現象は肉眼には、ノイズが表示される情報の優勢成分となるような均一画像ゾーンにおいてよりはっきりと知覚される。これはビデオにおいてもノイズの一時的成分のため同様である。
【００１１】
この現象は、4つのソース画像が重ね合わされるとき(ゾーン20)にさらに強調される。この場合、ノイズの振幅は2により割り算され、そのためソース画像との差をレンダリングすることがより可視的となる。
【００１２】
従ってオーバラップゾーンにあるソース画像を混合することにより引き起こされる重要な問題は、モザイクの表現が均一ではないことである。なぜならノイズの減衰係数がゾーンに依存すると見なされているからである。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の課題は従来技術の欠点を克服することである。より具体的には本発明の課題は、モザイク画像の表現を、これを均一にすることより改善することである。
【課題を解決するための手段】
【００１４】
この課題を解決するために本発明は、少なくとも2つのソース画像が重ね合わされるオーバラップゾーンを形成する、ノイズのあるソース画像の処理方法を提案する。本発明によればこの方法は、オーバラップゾーンにランダムノイズを発生するステップを有し、これによりオ―バラップゾーンと、ソース画像が重ね合わされないゾーン(以下、非オーバラップゾーンと称する）とのあいだのノイズ偏差を少なくとも部分的に補償する。
【発明を実施するための最良の形態】
【００１５】
本発明の実施例によれば、オーバラップゾーンにおいてソース画像は、混合すべきソース画像間の重み付けされた和によって混合される。
【００１６】
本発明の実施例によれば、オーバラップゾーンに対して使用される重み付け関数が、混合される1つの画像が空間的にオーバラップゾーンから離れるとき、当該画像の比率が低下するよう線形に変化する。
【００１７】
有利には、発生されるランダムノイズの統計的パラメータが非オーバラップゾーンにあるノイズのパラメータとオーバラップゾーンにあるノイズのパラメータに基づいて評価される。
【００１８】
実施例によれば、評価されるパラメータの1つはノイズの標準偏差である。
【００１９】
有利には、非オーバラップゾーンにあるノイズのパラメータがソース画像の均一ゾーンにわたって局所的に評価される。
【００２０】
本発明はまた、少なくとも2つのソース画像が重ね合わされるオーバラップゾーンを形成する、ノイズのあるソース画像のモザイクを処理する装置に関連する。
【００２１】
本発明によれば、この装置はモザイク発生手段を有し、さらに、
・オーバラップゾーンにあるランダムノイズの統計的パラメータと、非オーバラップゾーンにあるランダムノイズの統計的パラメータを評価する手段と、
・オーバラップゾーンにランダムノイズを、統計的パラメータに基づいて発生する手段とを有する。
【実施例】
【００２２】
画像モザイクの視覚的表現をさらに均一にするため、本発明では補正ノイズを、ソースノイズnsが減衰する個所に発生する。この個所はオーバラップゾーンである。発生されるノイズは、このゾーンにおけるソース画像の混合により生じるソースノイズ減衰と、ソースノイズの特性とに依存する。
【００２３】
この目的のために本発明は、第1ステップで初期モザイクを形成した後に、第2ステップでこのソース画像に存在するソースノイズnsの分析を行い、その特徴的パラメータ、例えば標準偏差を評価する。第3ステップでは、オーバラップゾーンに存在する平均ノイズnmの同じ特徴的パラメータを評価する。第4ステップでは、以前に評価したパラメータを補正ノイズの特徴的パラメータの評価に使用する。第5ステップでは、この評価されたパラメータを、ソースノイズが減衰した個所、すなわちオーバラップゾーンに補正ノイズを発生するために使用する。最終ステップでは、補正ノイズをオーバラップゾーンの初期モザイクに付加し、最終モザイクの空間的特性を均一にし、これによりソース画像に相応する非オーバラップゾーンと、平均画像に相応する種々のオーバラップゾーンとの間の知覚的偏りを低減する。
【００２４】
本発明による方法が図3に示されている。この方法は、図3に参照番号31〜36により示した6つのステップを有する。この図において、示されたモジュールは機能的ユニットであり、物理的に区別することのできるユニットに対応させてもよいし、対応させなくてもよい。たとえば、それらのモジュールまたはそれらのうちのいくつかをグループとして単一のコンポーネントにまとめることもできるし、あるいは同一の１つのソフトウェアにおける複数の機能を成すようにしてもよい。これとは逆に、いくつかのモジュールを複数の別個の物理的な実体によって構成してもよい。
【００２５】
本発明によれば第1ステップ31では、初期モザイクと称されるモザイクを、ソース画像30に基づいて形成する。このステップの間、モザイクのオーバラップゾーンも同定される。このオーバラップゾーンでは、ソース画像の混合が、混合すべき画像の重み付けされた和によって行われる。例えば画像の1つが空間的にここから去ろうとする場合、この画像の比率を下げることができる。従ってオーバラップゾーン21では、画像I1と、線形に左から右に変化する画像I2とを重み付けすることができる。このことは、オーバラップゾーンの左部分では画像I1をより重く考慮し、オーバラップゾーンの右部分では画像I2をより重く考慮することにより行われる。結果として、オーバラップゾーン21にあるピクセルは次の値を有する：
Im (x,y,c) = α(x)I1(x,y,c) + (1 - α(x))I2(x,y,c)
ここでα(x)は、図4の40に示すような重み付け関数である。この図で、XoとX1はオーバラップゾーン21の境界に位置するピクセルの横軸の値である。従って関数α(x)は、x=Xoであるとき、すなわちオーバラップゾーンの左境界に位置するピクセルに対して値1を取り、x=X1であるとき、すなわちオーバラップゾーンの右境界にあるピクセルに対して値ゼロを取る。
【００２６】
同様にオーバラップゾーン24では、画像I1と、線形に上部から下部に変化する画像I2とを重み付けすることができる。このことは、オーバラップゾーンの上方部分では画像I1をより重く考慮し、オーバラップゾーンの下方部分では画像I2をより重く考慮することにより行われる。前に説明したのと同じ形式の関数を使用することができる。
【００２７】
第2ステップ32の間に、ソースノイズnsの分析が統計的画像処理ツールによって実行される。最も簡単なアプローチでは、ソース画像30の局所的平均をローパスフィルタによって評価する。この平均はソース画像から減算され、これにより局所的に高周波を抽出する。一次近似として、この高周波はソースノイズnsと見なされる。従ってこの高周波に基づいて、ソースノイズnsの局所的な統計的特性を評価する。例えばソースノイズの標準偏差σsを3つの基本色(緑、青、赤)のそれぞれに対して評価する。標準偏差の評価はソース画像の均一なゾーンにわたって局所的に実行するか、または平均勾配を評価することのできるゾーンにわたって実行する。とりわけノイズを適切に評価するためには、ノイズだけを評価するために有効信号Sを破棄することのできる画像ゾーンにスタンドポイントを採用する必要がある。
【００２８】
本発明の実施例によれば、ソースノイズの空間的および/または時間的特性を考慮するより複雑なノイズモデルを使用することができる(例えば自己回帰モデル)。
【００２９】
第3ステップ33では、ソース画像の混合から生じた、標準偏差σmの平均ノイズnmを評価する。標準偏差σmは、評価された標準偏差σsのソースノイズに基づいて、オーバラップゾーンにある画像の混合がステップ31でのモザイク形成中に実行された(例えば重み付けされた和)ことを考慮して計算される。σmをオーバラップゾーンの均一ゾーンに基づいて、ステップ32でσsが評価されたのと同じようにして評価することもできる。
【００３０】
第4ステップ34では、ランダム補正ノイズncの特徴的パラメータを評価する。この評価は、ステップ32で評価されたソースノイズの特徴的パラメータ(例えばσs)と、ステップ33で評価された平均ノイズの特徴的パラメータ(例えばσm)を考慮して行われる。考慮される特徴的パラメータが標準偏差だけである簡単な場合、合成ノイズncの標準偏差を、評価された平均ノイズσmの標準偏差と最終ノイズの標準偏差σfとの間の相補的標準偏差として評価する。モザイクの視覚的表現を均一にするためには、最終ノイズが評価されたソースノイズと等しくなる必要がある。従って標準偏差σfは、評価されたソースノイズの標準偏差σsと等しい。さらに最終画像は、平均画像と発生された画像との和から形成される。ただし発生された画像は補正ノイズncの画像であるとする。このことは標準偏差レベルにおいて以下の関係により明白である：
σf２ = σs２ = σm２ + σc２
従って補正ノイズncの標準偏差σcは、σc = √(σs２−σm２) と見なされる。この演算は各色毎に実行しなければならない。これは局所的に実行することができる。
【００３１】
第5ステップ35では、標準偏差σcのノイズncがオーバラップゾーンにわたって発生される。
【００３２】
最終ステップ36で最終モザイク37が発生される。このために標準偏差σcの補正ノイズncがオーバラップゾーンにある初期モザイクに付加され、これにより視覚的に均一に出現する補正モザイクを獲得する。非オーバラップゾーン(25，26，27，28)では、最終モザイクは考慮されるゾーンに相応する初期画像のゾーンに等しい。従って最終画像のゾーン25は画像I1の一部に相応する。
より正確には補正されたモザイクの座標(x、y)のピクセルは次の値を取る：
ピクセルがゾーン25にある場合、I1 (x,y,c);
ピクセルがゾーン26にある場合、I2 (x,y,c);
ピクセルがゾーン27にある場合、I4 (x,y,c);
ピクセルがゾーン28にある場合、I3 (x,y,c);または
ピクセルがオーバラップゾーン20から24のいずれかにある場合、Im (x,y,c)。
【００３３】
付加的にモザイクの視覚的表現を均一にするこのステップの利点は、オーバラップゾーンにわたっる滑らかな出現を減少させることである。
【００３４】
本発明はまた、前に説明した方法を実現するための装置50に関連する。この装置の主要要素だけが図5に示されている。本発明による装置はとりわけメモリ52を有し、このメモリには種々のノイズ特性の評価値がモザイク補正のために格納されている。この装置はまたマイクロプロセッサ等であるプロセシングユニット53を有し、プロセシングユニット53は処理プログラム、とりわけノイズパラメータを評価するためのプログラムを有する。プロセシングユニット53はまたノイズを評価されたパラメータとメモリ52に格納されたパラメータに基づいて発生するための関数を有する。さらにこの装置は、入力ビデオ信号、とりわけモザイクを形成するのに用いるソース画像を受信するための入出力インタフェース51を有する。このインタフェースによってまた、処理されたビデオ信号、すなわち本発明の方法による採取モザイクをディスプレイ装置54に伝送することができる。
【図面の簡単な説明】
【００３５】
【図１】図1は、従来技術によるすでに説明した図であり、図2のモザイクを形成するために使用される4つのソース画像を示す図である。
【図２】図2はすでに説明したように、図1の4つのソース画像に基づき従来技術により形成されたモザイクを示す図であり、オーバラップゾーンと非オーバラップゾーンとを区別している。
【図３】図3は、モザイクの視覚的レンダリングを改善する本発明のよる画像処理方法を示す図である。
【図４】図4は、オーバラップゾーンでの2つの画像の混合中に使用される重み付け関数を示す図である。
【図５】図5は、モザイクの視覚的レンダリングを改善する本発明のよる画像処理装置を示す図である。
【図１】
2006190306.tif 000003
【図２】
2006190306.tif 000004
【図３】
2006190306.tif 000005
【図４】
2006190306.tif 000006
【図５】
2006190306.tif 000007