(57)【要約】複数の空間クラスから、入力画像ベクトルに対する最近傍クラスを決定することにより、画像の解像度を高める方法及び装置を提供する。最近傍クラスの決定では、まず、複数の空間クラスの１つに分類される入力画像ベクトルが供給される。各空間クラスは、対応する正規化平均クラスベクトルを有している。次に、入力画像ベクトルを正規化する。そして、正規化画像ベクトルから各正規化平均クラスベクトルまでの距離を算出する。入力画像ベクトルに対する最近傍クラスのクラスベクトルは、重み付けされた距離に基づいて決定される。最近傍クラスに対応したフィルタを入力画像ベクトルに適用することにより、画像の解像度を高めることができる。【特許請求の範囲】
【請求項１】
複数の空間クラスのうち、入力画像ベクトルに対する最近傍クラスを決定することにより、画像解の像度を高めるステップと、
上記最近傍クラスに対応したフィルタを上記入力画像ベクトルに適用するステップとを有する解像度向上方法。
【請求項２】
上記最近傍クラスの決定は、
分類すべき入力画像ベクトルが供給されするとともに、空間分類に対応した複数の正規化平均クラスベクトルが供給されるステップと、
上記入力画像ベクトルを正規化するステップと、
上記正規化画像ベクトルから各正規化平均クラスベクトルまでの重み付けされた距離を算出するステップと、
上記重み付けされた距離に基づいて、どのクラスベクトルが上記入力画像ベクトルの最近傍クラスかを判定するステップとを有することを特徴とする請求項１記載の解像度向上方法。
【請求項３】
上記入力画像ベクトルを正規化するステップは、上記入力画像ベクトルの重み付け平均値を算出するステップを有することを特徴とする請求項２記載の解像度向上方法。
【請求項４】
上記入力画像ベクトルを正規化するステップは、上記入力画像ベクトルの標準偏差を算出するステップを有することを特徴とする請求項３記載の解像度向上方法。
【請求項５】
複数の空間クラスのうち、入力画像ベクトルに対する最近傍クラスを決定する最近傍クラス決定手段を有し、画像の解像度を高める画像解像度向上手段と、
上記最近傍クラスに対応したフィルタを上記入力画像ベクトルに適用するフィルタ手段とを備える解像度向上装置。
【請求項６】
上記最近傍クラス決定手段は、
分類すべき入力画像ベクトルが供給されるとともに、空間分類に対応した複数の正規化平均クラスベクトルが供給される受信手段と、
上記入力画像ベクトルを正規化する正規化手段と、
上記正規化画像ベクトルから各正規化平均クラスベクトルまでの重み付けされた距離を算出する距離算出手段と、
上記重み付けされた距離に基づいて、どのクラスベクトルが上記入力画像ベクトルの最近傍クラスかを判定する最近傍クラス判定手段とを備えることを特徴とする請求項５記載の解像度向上装置。
【請求項７】
上記正規化手段は、上記入力画像ベクトルの重み付け平均値を算出する平均値算出手段を備えることを特徴とする請求項６記載の解像度向上装置。
【請求項８】
上記正規化手段は、上記入力画像ベクトルの標準偏差を算出する標準偏差算出手段を備えることを特徴とする請求項７記載の解像度向上装置。
【請求項９】
上記入力画像ベクトルと、上記最近傍クラスとを加算する加算手段を備える請求項８記載の解像度向上装置。
【請求項１０】
処理装置よって実行されて、該処理装置に、
複数の空間クラスのうち、入力画像ベクトルに対する最近傍クラスを決定することにより、画像の解像度を高めるステップと、
上記最近傍クラスに対応したフィルタを上記入力画像ベクトルに適用するステップとを実行させる命令を有するコンピュータにより読取可能な媒体。
【請求項１１】
上記最近傍クラスの決定は、
分類すべき入力画像ベクトルが供給されるとともに、空間分類に対応した複数の正規化平均クラスベクトルが供給されるステップと、
上記入力画像ベクトルを正規化するステップと、
上記正規化画像ベクトルから各正規化平均クラスベクトルまでの重み付けされた距離を算出するステップと、
上記重み付けされた距離に基づいて、どのクラスベクトルが上記入力画像ベクトルの最近傍クラスかを判定するステップとを有することを特徴とする請求項１０記載のコンピュータにより読取可能な媒体。
【請求項１２】
上記入力画像ベクトルを正規化するステップは、上記入力画像ベクトルの重み付け平均値を算出するステップを有することを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
【請求項１３】
上記入力画像ベクトルを正規化するステップは、上記入力画像ベクトルの標準偏差を算出するステップを有することを特徴とする請求項１２記載のコンピュータにより読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関する。
【背景技術】
【０００２】
空間クラス（spatial class）を用いることにより、空間フィルタリング（spatial filtering）の効果は向上する。一手法においては、クラスタップ（class tap）内の各ピクセルを閾値と比較して、対応するバイナリ値を形成する。そして、このバイナリ値は、空間クラスを選択するために使用される。しかしながら、この手法では、空間クラスの数が、分類タップ（classification tap）の大きさに伴って指数関数的に増加するため、多数のクラスを基準化する（scale to）ことができない。例えば、半径１のダイヤモンドタップクラシファイア（diamond tap classifier）は、５個のタップを有し、２５＝３２個の空間クラスを必要とする。また、半径２のダイヤモンドタップクラシファイアは、１３個のタップを有し、２１３＝８１９２個の空間クラスを必要とする。更にタップ数が増えると、数百万個ものクラスが必要となる。
【０００３】
このバイナリ閾値識別法（binary-threshold classification）の第２の制約として、この手法は、単一のピクセルのエラー及び変化に影響を受け易いという点がある。このような影響の受け易さにより、分類（classification）がある程度ランダムになり、クラスは、上述のような影響を受けない場合よりも、単一のクラス的振舞い（mono-class behavior）に近づく。これにより、クラスの遷移（class transition）が円滑になるが、性能が制限される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、複数の空間クラスから、入力画像ベクトルに対する最近傍クラスを決定することにより、画像の解像度を高める方法及び装置を提供する。
【課題を解決するための手段】
【０００５】
最近傍クラスの決定では、まず、複数の空間クラスの１つに分類される入力画像ベクトルを受け取る。各空間クラスは、対応した正規化平均クラスベクトルを有している。次に、入力画像ベクトルを正規化する。そして、正規化画像ベクトルから各正規化平均クラスベクトルまでの距離を算出する。入力画像ベクトルに対する最近傍クラスのクラスベクトルは、重み付けされた距離に基づいて決定される。
【発明の効果】
【０００６】
最近傍クラスに対応したフィルタを入力画像ベクトルに適用することにより、画像の解像度を高めることができる。
【発明を実施するための最良の形態】
【０００７】
複数の空間クラスから、入力画像ベクトルに対する最近傍クラス（nearest neighbor class）を決定することによって画像の解像度を高める方法及び装置を開示する。一具体例においては、最近傍クラスは、まず、複数の空間クラスの１つに分類される入力画像ベクトルが供給されることによって決定される。各空間クラスは、対応した正規化平均クラスベクトル（normalized mean class vector）を有している。次に、入力画像ベクトルを正規化する。そして、正規化画像ベクトルから各正規化平均クラスベクトルまでの重み付けされた距離を決定する。入力画像ベクトルに対する最近傍クラスのクラスベクトルは、重み付けされた距離に基づいて決定される。画像の解像度を高めるために、最近傍クラスに対応したフィルタを入力画像ベクトルに適用する。
【０００８】
空間フィルタリングは、信号処理において数多く用いられている。例えば、図１において○印で示されるピクセルの組が与えられると、×印で示される位置からのサンプル値を推定することができる。一連の同様の推定を用いて、図２に示すような解像度が高められた画像を生成することができる。
【０００９】
空間クラスが生成されると、クラスベクトルを生成することができ、クラスベクトルを用いた最近傍分類フィルタリング法（nearest neighbor classified filtering）により、画像の解像度を向上させることができる。最近傍分類フィルタリングについて、図３を用いて説明する。
【００１０】
各入力画像ベクトルに対する最近傍クラスは、各クラスの正規化平均クラスベクトル（normalized mean class vector）と、入力画像ベクトルから各正規化平均クラスベクトルまでの相対距離を算出した距離測定値（distance measure）とを用いて決定される。図３に示すように、ステップ３０５において、入力画像ベクトルが供給される。タップの中心に近いピクセルが明らかに最終的な出力に最も強い相関を有するので、ステップ３１０において、タップの中心に近いピクセルが最も強く重み付けされるように、入力画像ベクトルを正規化する。ステップ３２０において、正規化画像ベクトルから各正規化平均クラスベクトルまでの重み付けされた距離を算出する。ステップ３３０において、入力画像ベクトルに最も近い近傍（nearest neighbor）クラスベクトルを決定する。ステップ３４０において、画像の解像度を高めるために、この最近傍クラスベクトルに対応したフィルタを入力画像ベクトルに適用する。
【００１１】
最近傍分類は、例えば後に表３に示すように、入力画像データを２つのクラスの内の１つに分類するために使用することができる。２つのクラスの正規化平均クラスベクトルを、表１及び表２に示す。
【００１２】
フィルタの中心に近いタップのレベルが０に近くなるように、正規化平均クラスベクトルが用いられる。中心タップは、完全に０とすることができないが、中心タップの０からのオフセットは僅かである。中心タップが常に負にならない（non-negative）ように、必要に応じてクラスを反転させることができるので、このオフセットによりクラス数を低減させることができる。更に、ダイナミックレンジが非常に狭いクラスは、完全に広げ（expanded）られないので、量子化雑音には、トレーニング処理おいて実際のエッジ程の重みがない。
【００１３】
表１は、第１のクラス、すなわちクラス１の正規化平均クラスベクトルを示している。
【００１４】
【表１】
2004523941.tif 000002
【００１５】
表２は、第２のクラス、すなわちクラス２の正規化平均クラスベクトルを示している。
【００１６】
【表２】
2004523941.tif 000003
【００１７】
表３は、最近傍識別法を用いて、クラス１又はクラス２のいずれかに分類される入力画像ベクトルを示している。
【００１８】
【表３】
2004523941.tif 000004
【００１９】
入力画像ベクトルは、各要素から重み付け平均値を減算した値を標準偏差で除算することにより正規化される。入力画像ベクトルの重み付け平均値は、入力画像ベクトルの各要素に対し、例えば表４に示すような対応する距離重み（distance weight）を乗算し、これに重み付けされた要素を加算することにより算出される。タップの中心に近いピクセルは、明らかに最終的な出力に対して最も強い相関を有するので、このタップの中心に近いピクセルに最も強く重み付けするように、入力画像ベクトルの各要素に対して、対応する距離重みを乗算する。タップが分類に与える影響は、推定座標（estimation coordinate）までの距離が増加するにつれて小さくなる。
【００２０】
一組の距離重みを決定する一手法として、各重みをタップから推定座標（estimation coordinate）までのユークリッド距離の逆数に初期化し、これらの重みの総和が１になるように、これらの重みを正規化する手法がある。例えば、出力位置（ｉ−０．２５，ｊ−０．２５）に対するタップ重み（tap weight）は、表４のように得られる。
【００２１】
【表４】
2004523941.tif 000005
【００２２】
表４は、画像ベクトルに適用される距離重みを示している。画像ベクトル用の重み付け平均値は、画像ベクトルの各要素にそれぞれ対応する距離重みを乗算し、各重み付けされた要素を加算することにより算出される。そして、画像ベクトルの各要素から重み付け平均値を減算することにより、略ゼロの（near zero）重み付け平均画像ベクトルが生成され、重み付け平均値（weighted mean）＝round（１４０×０．０４８＋・・・１２２×０．０３７）＝１０２である。略ゼロの重み付け平均画像ベクトルを表５に示す。
【００２３】
【表５】
2004523941.tif 000006
【００２４】
次に、略ゼロの重み付け平均画像ベクトルの標準偏差を求める。略ゼロの重み付け平均画像ベクトルは、各ベクトル要素を標準偏差、この具体例においては２３．８５９で除算することにより正規化される。中心タップが負の値のときは、ベクトルに−１が乗算され、中心タップは負ではない値（non-negative）となる。これにより、表６に示すような正規化画像ベクトルが得られる。
【００２５】
【表６】
2004523941.tif 000007
【００２６】
次に、正規化入力画像ベクトルから各正規化平均クラスベクトルまでの重み付けされた距離を算出する。まず、正規化画像ベクトルからクラス１までの距離を算出する。重み付けされた距離は、クラス１の各要素を、対応する画像ベクトルの要素から減算し、得られる差を２乗し、この２乗された差に対応する距離重みを乗算し、これらの重み付けされた値を加算することにより、算出することができる。この具体例では、入力画像データとクラス１の間の重み付けされた距離は、｛（−１．５９２６８４−０．１７６２２）２×０．０４８＋・・・＋（−０．８３８２５５−０．３５２４４）２×０．０３７｝＝１．１１５１である。同様に、正規化画像ベクトルとクラス２との間の距離を算出する。この具体例では、この重み付けされた距離は、｛（−１．５９２６８４−（−０．８２９９０））２×０．０４８＋・・・＋（−０．８３８２５５−０．０００００）２×０．０３７｝＝１．８４０６である。
【００２７】
正規化画像ベクトルから重み付けされた距離が最も短いクラスは、画像ベクトルに対する最近傍クラスであり、この具体例においては、クラス１である。入力画像ベクトルは、入力画像ベクトルに近いクラスに加算される。このクラスのベクトル平均値は、現ベクトルの寄与において加算することにより、更新される。何回かの繰返しの後、この処理は停止され、後述する最小二乗トレーニング処理（least squares training procedure）によって、各クラスに対するフィルタが決定される。
【００２８】
上述の具体例では、最近傍分類を用いて、入力画像ベクトルを２つのクラスのうちのいずれかに分類しているが、クラスの数は、２より大きないかなる数であってもよい。また、上述の具体例では、１つの入力画像ベクトルのみを説明しているが、この方法によって分類される入力画像ベクトルの数は、１より大きないかなる数であってもよい。
【００２９】
図４は、解像度を高めるために（resolution embodiment）、最近傍分類フィルタリングを実行する装置４００の具体的構成を示している。正規化論理回路４０５には、画像用の入力データが供給され、正規化論理回路４０５は、入力画像ベクトルデータを正規化する。正規化画像ベクトルは、距離算出器４１０に供給される。距離算出器４１０は、入力画像から各空間クラスまでの距離を算出する。距離算出器４１０は、これらの距離を最小距離判定器４２０に供給する。最小距離判定器４２０は、どのクラスが入力画像データに最も近いかを判定する。この入力画像データに最も近いクラスが最近傍クラスとして選択される。そして、画像データをフィルタ４３０に供給し、フィルタ４３０は、解像度を高める。フィルタ４３０から出力される画素データは、例えばテレビジョンモニタ等の表示装置に表示することができる。
【００３０】
図４に示す装置４００は、ハードウェア回路として実現してもよく、コンピュータにより読取可能な媒体に格納され、コンピュータプロセッサによって実行されるソフトウェアとして実現してもよく、ハードウェアとソフトウェアの組合せとして実現してもよい。最近傍分類フィルタリングによる解像度の向上は、以下に限定されるものではないが、例えば、映像又はこの他の２次元動画像データ、３次元動画像データ、ステレオオーディオデータ等のオーディオデータ等の時間的に相関を有するあらゆるデータ（temporally correlated data）に適用することができる。なお、この説明において、値という用語は、供給され、又は生成されたデータの組内の成分を示すものであってもよい。更に、データ点（data point）とは、データ内の位置（position）、場所（place）、インスタンス（instance）、箇所（location）又は範囲（range）を示すものであってもよい。
【００３１】
説明を明瞭にするために、ここでは、ピクセルストリームを含むビデオデータに関する具体例を開示する。しかしながら、最近傍分類フィルタリングによる解像度の向上は、ビデオデータ以外のデータにも同様に適用することができ、最近傍分類フィルタリングによる解像度の向上を説明するために用いる用語及び表現は、広範囲の用途及びデータの種類を包含するように広く解釈される。例えば、適応フィルタタップ構造（adaptive filter tap structure）は、対応するクラスに基づいてフィルタタップを定義するための適応構造である。
【００３２】
クラスは、ターゲットデータの１つ以上の特性に基づいて定義してもよい。更に、例えば、クラスは、ターゲットデータを含むグループの１つ以上の特性に基づいて定義してもよい。クラス識別子（以下、クラスＩＤという。）は、特定の特性に関してターゲットデータを記述し、ターゲットデータを他のデータから区別するために使用されるクラス内の特定の値である。クラスＩＤは、定義された範囲内の数値、シンボル及びコードのいずれかによって表すこともできる。データを評価し、推定し、又は分類するために使用される所定の又は可変の量として、パラメータを用いてもよい。
【００３３】
最近傍分類フィルタリングによる解像度の向上によって、１つ以上のデータクラスの組に対応するデータを生成する適応処理を行う装置及び方法が実現される。この処理は、「クラス定義（class definition）」として知られている。クラス定義は、例えば、リチャード・オー・デューダ（Richard O. Duda）及びペータ・イー・ハート（Peter E. Hart）著、「パターン分類及びシーン分析（Pattern Classification and Scene Analysis）」、ジョンウィリー・アンド・サンズ社（John Wiley & Sons）、１９７３年６月に記載されている従来の方法を用いた信号分布の様々な属性に基づいて行うことができる。
【００３４】
適応処理のために、各クラスに対して、信号修復（signal restoration）のための適切なフィルタが用意される。一具体例においては、各フィルタは、データに適用されるフィルタ係数の行列として表現することができる。一具体例において、フィルタ係数は、フィルタリングに先立つ準備処理として実行されるトレーニング処理によって生成することができる。このトレーニング処理については、後に説明する。
【００３５】
出力データは、以下の式１に示すような線形結合処理（linear combination operation）に基づいて生成される。
【００３６】
【数１】
2004523941.tif 000008
【００３７】
ここで、ｘｉは入力データを表し、ｗｉは各フィルタ係数を表し、Ｎは係数の数を表し、ｙはエラー回復後の出力データを表す。各クラスＩＤに対するフィルタ係数は、解像度向上処理の前に行われるトレーニング処理によって生成することがされる。
【００３８】
フィルタ係数は、トレーニング処理によって生成することができる。トレーニング処理は、例えば、以下に示す基準に基づいて行われる。
【００３９】
【数２】
2004523941.tif 000009
【００４０】
ここで、Ｘ，Ｗ，Ｙは、例えば以下に示すような行列である。すなわち、Ｘは、式３によって定義される入力データ行列であり、Ｗは、式４によって定義される係数行列であり、Ｙは、式５によって定義されるターゲットデータ行列である。
【００４１】
【数３】
2004523941.tif 000010
【００４２】
【数４】
2004523941.tif 000011
【００４３】
【数５】
2004523941.tif 000012
【００４４】
係数ｗｉは、式２に基づいて求めることができ、これによりターゲットデータに対する推定誤差が最小化される。
【００４５】
変形例を図５に示す。ステップ５１０において、複数の空間クラスを生成する。ステップ５２０において、各空間クラスについて、正規化平均クラスベクトルを生成する。ステップ５３０において、分類すべき入力画像ベクトルを量子化する。ステップ５５０において、入力画像ベクトルに距離重みを乗算する。ステップ５６０において、重み付けされた画像ベクトルから各正規化平均クラスベクトルまでの重み付けされた距離を算出する。ステップ５６５において、入力画像ベクトルに最も近い近傍クラスベクトルを決定する。ステップ５７０において、入力画像ベクトルを最近傍クラスに加算する。ステップ５８０において、最近傍クラスの平均ベクトルを入力画像ベクトルで更新する。ステップ５９０において、各クラスのフィルタを決定する。
【００４６】
以上、最近傍分類フィルタリングによる解像度向上の方法を説明した。以上の開示に基づき、本発明の他の実施の形態を想到することもでき、本発明の広範な思想及び範囲から逸脱することなく、上述の実施の形態を様々に修正及び変更できることは明らかである。すなわち、詳細な具体例及び図面は、本発明を限定的ではなく、例示的に示しているに過ぎず、本発明は、添付の請求の範囲によってのみ定義される。
【図面の簡単な説明】
【００４７】
【図１】サンプル値を推定するために用いられる空間フィルタの具体例を示す図である。
【図２】解像度がより低い画像から生成された、解像度が向上された画像の具体例を示す図である。
【図３】最近傍分類フィルタリングにより解像度を高める方法を示すフローチャートである。
【図４】最近傍分類フィルタリングにより解像度を高める装置構成を示すブロック図である。
【図５】最近傍分類フィルタリングにより解像度を高める方法の変形例を示すフローチャートである。
【図１】
2004523941.tif 000013
【図２】
2004523941.tif 000014
【図３】
2004523941.tif 000015
【図４】
2004523941.tif 000016
【図５】
2004523941.tif 000017
【国際公開パンフレット】
2004523941.tif 000018
2004523941.tif 000019
2004523941.tif 000020
2004523941.tif 000021
2004523941.tif 000022
2004523941.tif 000023
2004523941.tif 000024
2004523941.tif 000025
2004523941.tif 000026
2004523941.tif 000027
2004523941.tif 000028
2004523941.tif 000029
2004523941.tif 000030
2004523941.tif 000031
2004523941.tif 000032
2004523941.tif 000033
2004523941.tif 000034
2004523941.tif 000035
2004523941.tif 000036
【国際公開パンフレット（コレクトバージョン）】
2004523941.tif 000037
【国際調査報告】
2004523941.tif 000038
2004523941.tif 000039