(57)【要約】【課題】より簡単かつ高精度にアップサンプリングできるようにする。【解決手段】アップサンプリング装置１１には、アップサンプリング対象の離散信号と、離散信号とある程度の相関があり、よりサンプリングレートの高い参照信号が入力される。分解部２１は、離散信号の各サンプルを複数のサブサンプルに分解し、度数分布計算部２２は、各サブサンプルについて度数分布を生成する。この度数分布は、サンプルの取り得る各値をビンとするサンプル値のヒストグラムであり、サブサンプル近傍のサンプルの値と同じ値のビンの頻度値に、そのサンプルおよびサブサンプルと同位相の参照信号のサンプルの値の差分から求まる度数が加算されて生成される。新サンプル決定部２３は、各サブサンプルの度数分布の中央値を、それらのサブサンプルの値とする。本発明は、アップサンプリング装置に適用することができる。【選択図】図１
2011186958.tif 000002
【特許請求の範囲】
【請求項１】
離散信号よりもサンプリングレートの高い参照信号を用いて、前記離散信号をアップサンプリングするアップサンプリング装置であって、
新たに生成しようとする前記離散信号の新サンプルを含む所定の範囲内にある前記離散信号の所定サンプルのサンプル値の度数を、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値に基づいて算出し、前記範囲におけるサンプル値の分布を示す度数分布を求める度数分布計算手段と、
前記度数分布に基づいて前記新サンプルのサンプル値を決定する新サンプル決定手段と
を備えるアップサンプリング装置。
【請求項２】
前記度数分布計算手段は、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値の差分に基づいて、前記差分が小さいほど前記度数が大きくなるように前記度数を算出する
請求項１に記載のアップサンプリング装置。
【請求項３】
前記新サンプル決定手段は、前記度数分布の中央値を前記新サンプルのサンプル値とする
請求項２に記載のアップサンプリング装置。
【請求項４】
前記度数分布計算手段は、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値の差分、および前記所定サンプルと前記新サンプルの距離に基づいて、前記差分が小さいほど前記度数が大きくなり、かつ前記距離が短いほど前記度数が大きくなるように前記度数を算出する
請求項１に記載のアップサンプリング装置。
【請求項５】
前記参照信号は、２次元画像である
請求項１に記載のアップサンプリング装置。
【請求項６】
前記離散信号は、前記参照信号から生成されたものである
請求項１に記載のアップサンプリング装置。
【請求項７】
前記離散信号は、前記参照信号を前記離離散信号と同じサンプリングレートにダウンサンプリングして得られた信号から生成されたものである
請求項１に記載のアップサンプリング装置。
【請求項８】
前記度数分布計算手段は、複数の前記参照信号を用いて前記度数を算出する
請求項１に記載のアップサンプリング装置。
【請求項９】
離散信号よりもサンプリングレートの高い参照信号を用いて、前記離散信号をアップサンプリングするアップサンプリング装置であり、
新たに生成しようとする前記離散信号の新サンプルを含む所定の範囲内にある前記離散信号の所定サンプルのサンプル値の度数を、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値に基づいて算出し、前記範囲におけるサンプル値の分布を示す度数分布を求める度数分布計算手段と、
前記度数分布に基づいて前記新サンプルのサンプル値を決定する新サンプル決定手段と
を備えるアップサンプリング装置のアップサンプリング方法であって、
前記度数分布計算手段が、前記離散信号および前記参照信号を用いて前記度数分布を求め、
前記新サンプル決定手段が、前記度数分布に基づいて前記新サンプルのサンプル値を決定する
ステップを含むアップサンプリング方法。
【請求項１０】
離散信号よりもサンプリングレートの高い参照信号を用いて、前記離散信号をアップサンプリングするアップサンプリング処理用のプログラムであって、
新たに生成しようとする前記離散信号の新サンプルを含む所定の範囲内にある前記離散信号の所定サンプルのサンプル値の度数を、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値に基づいて算出し、前記範囲におけるサンプル値の分布を示す度数分布を求め、
前記度数分布に基づいて前記新サンプルのサンプル値を決定する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アップサンプリング装置および方法、並びにプログラムに関し、特に、より簡単かつ高精度にアップサンプリングできるようにしたアップサンプリング装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、画像に対するステレオマッチング処理により、画像上の各位置の深さの情報を示すデプスマップを生成する場合など、高画素数の画像データに対して、複雑な画像処理を適用し、高画素数の処理結果データを生成するには、多大な計算時間が必要となる。
【０００３】
そこで、高画素数の画像データを縮小等により低画素数の画像データに変換してから画像処理を行い、その処理結果データをアップサンプリングすることで、最終的に高画素数の処理結果データを生成する手法が提案されている（例えば、特許文献１参照）。
【０００４】
この手法では、元の高画素数の画像データの画素値が利用されて、低画素数の処理結果データのアップサンプリングが行なわれる。そのため、低画素数の処理結果データのみを用いて通常のアップサンプリングを行なう場合と比べて、より高品質、つまりぼけのより少ない高画素数の処理結果データを得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００８０２１９０９４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した手法では、アップサンプリングに一般的なフィルタリング係数が用いられるため、例え高画素数の画像データの情報を用いていても、最終的に得られる高画素数の処理結果データにおいて、ある程度のぼけが発生してしまうことになる。
【０００７】
また、この手法では、フィルタリング係数の算出に、２つのフィルタカーネルの積が用いられており、カーネルから係数を算出する計算を２度行なわなければならず、計算に時間がかかってしまう。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、より簡単かつ高精度にアップサンプリングできるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面のアップサンプリング装置は、離散信号よりもサンプリングレートの高い参照信号を用いて、前記離散信号をアップサンプリングするアップサンプリング装置であって、新たに生成しようとする前記離散信号の新サンプルを含む所定の範囲内にある前記離散信号の所定サンプルのサンプル値の度数を、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値に基づいて算出し、前記範囲におけるサンプル値の分布を示す度数分布を求める度数分布計算手段と、前記度数分布に基づいて前記新サンプルのサンプル値を決定する新サンプル決定手段とを備える。
【００１０】
前記度数分布計算手段には、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値の差分に基づいて、前記差分が小さいほど前記度数が大きくなるように前記度数を算出させることができる。
【００１１】
前記新サンプル決定手段には、前記度数分布の中央値を前記新サンプルのサンプル値とさせることができる。
【００１２】
前記度数分布計算手段には、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値の差分、および前記所定サンプルと前記新サンプルの距離に基づいて、前記差分が小さいほど前記度数が大きくなり、かつ前記距離が短いほど前記度数が大きくなるように前記度数を算出させることができる。
【００１３】
前記参照信号は、２次元画像とすることができる。
【００１４】
前記離散信号は、前記参照信号から生成されたものとすることができる。
【００１５】
前記離散信号は、前記参照信号を前記離離散信号と同じサンプリングレートにダウンサンプリングして得られた信号から生成されたものとすることができる。
【００１６】
前記度数分布計算手段には、複数の前記参照信号を用いて前記度数を算出させることができる。
【００１７】
本発明の一側面のアップサンプリング方法またはプログラムは、離散信号よりもサンプリングレートの高い参照信号を用いて、前記離散信号をアップサンプリングするアップサンプリング方法またはプログラムであって、新たに生成しようとする前記離散信号の新サンプルを含む所定の範囲内にある前記離散信号の所定サンプルのサンプル値の度数を、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値に基づいて算出し、前記範囲におけるサンプル値の分布を示す度数分布を求め、前記度数分布に基づいて前記新サンプルのサンプル値を決定するステップを含む。
【００１８】
本発明の一側面においては、離散信号よりもサンプリングレートの高い参照信号を用いて、前記離散信号をアップサンプリングする場合に、新たに生成しようとする前記離散信号の新サンプルを含む所定の範囲内にある前記離散信号の所定サンプルのサンプル値の度数が、前記所定サンプルおよび前記新サンプルと同位相の前記参照信号のサンプルのサンプル値に基づいて算出され、前記範囲におけるサンプル値の分布を示す度数分布が求められ、前記度数分布に基づいて前記新サンプルのサンプル値が決定される。
【発明の効果】
【００１９】
本発明の一側面によれば、より簡単かつ高精度にアップサンプリングすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用したアップサンプリング装置の一実施の形態の構成例を示す図である。
【図２】アップサンプリング処理を説明するフローチャートである。
【図３】離散画像と参照画像の例を示す図である。
【図４】サブサンプルについて説明する図である。
【図５】度数の算出について説明する図である。
【図６】参照画像上の参照される画素について説明する図である。
【図７】参照画像上の参照される画素について説明する図である。
【図８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２２】
［アップサンプリング装置の構成例］
図１は、本発明を適用したアップサンプリング装置の一実施の形態の構成例を示す図である。
【００２３】
アップサンプリング装置１１は、分解部２１、度数分布計算部２２、および新サンプル決定部２３から構成され、アップサンプリング装置１１には、アップサンプリングの対象となる離散信号と、アップサンプリング時に参照される参照信号とが入力される。
【００２４】
ここで、参照信号は、離散信号と同様に離散的な信号であるが、参照信号は離散信号よりもサンプリングレートが高い信号とされる。アップサンプリング装置１１では、よりサンプリングレートの高い参照信号が有する情報が利用されて、離散信号のサンプリングレートの向上、すなわちアップサンプリングが行なわれる。
【００２５】
これらの離散信号と参照信号は、互いにある程度相関のある信号であればよいが、以下の説明においては、参照信号は、２次元のグレースケールの画像データであるものとする。また、離散信号は、参照信号としての画像データの画素数を垂直方向，水平方向ともに半分に縮小して得られた画像データの輝度値を反転することで得られる画像データであるものとする。
【００２６】
なお、上記の参照信号と離散信号は、あくまで一例であって、その他、例えば音声信号などの１次元信号や、その他の３次元以上の信号、画像データ以外の２次元信号を利用することも勿論可能である。
【００２７】
また、参照信号と離散信号は次元が一致していれば、その信号が表す意味は異なっていてもよい。例えば、参照信号が画像データであり、離散信号が、その画像データに対応するデプスマップや動き情報などとすることも可能である。
【００２８】
さらに、ここでは離散信号が輝度値の反転という処理によって生成されるとしたが、離散信号を生成するための処理はどのようなものであってもよい。加えて、離散信号は参照信号をダウンサンプリングした信号から生成される必要もなく、参照信号から直接的に生成することも可能である。
【００２９】
また、参照信号と離散信号は、全く異なる情報源から生成されてもよい。例えば、画素数の少ない赤外線カメラと、画素数の多い通常のカメラのように、異なる解像度を持ち、撮影可能な波長が互いに異なる２つのカメラから得られた、同じ被写体を撮影した画像データが、参照信号および離散信号とされてもよい。
【００３０】
アップサンプリング装置１１の説明に戻り、分解部２１は、入力された離散信号の各サンプルを複数のサブサンプルに分解（分割）して度数分布計算部２２に供給する。すなわち、離散信号に基づく低画素数の画像（以下、離散画像とも称する）を構成する各画素が複数の領域に分解され、各領域が１つのサブサンプルとされる。
【００３１】
度数分布計算部２２は、入力された参照信号を用いて、分解部２１から供給された離散信号の各サブサンプルについて、そのサブサンプルの周囲のサンプル（画素）のサンプル値の分布を示す度数分布を生成し、新サンプル決定部２３に供給する。度数分布の生成時には、参照信号に基づく高画素数の画像（以下、参照画像とも称する）を構成する画素の情報が用いられて、各サンプルのサンプル値の度数が決定される。
【００３２】
この度数分布は、例えば、離散信号の取り得る各値、つまりサンプル値をビンとして、横軸をビンとし、縦軸を各ビンの頻度とするヒストグラムとされる。すなわち、処理対象のサブサンプルを含む離散信号の所定範囲内にある各サンプルについて、そのサンプルの値の度数Ｆが算出される。そして、各サンプルについて、そのサンプルの値と同じ値をもつビンの頻度の値に、それらのサンプルの値の度数Ｆが加算されて得られたヒストグラムが度数分布とされる。なお、サンプルの度数Ｆは、そのサンプルおよび処理対象のサブサンプルと同位相にある参照信号のサンプルの値（サンプル値）により算出される。
【００３３】
具体的には、離散信号は画像データであるから、度数分布としてのヒストグラムの各ビンは、離散画像の画素（サンプル）の取り得る画素値の値とされる。そして、離散画像上の処理対象のサブサンプル近傍にある各画素について、その画素およびサブサンプルと同じ位置にある参照信号の画素の画素値から、離散画像の画素の度数Ｆが算出される。さらに、離散画像の各画素の画素値と同じ値のビンの頻度値に、それぞれの画素の度数Ｆが加算されて得られるヒストグラムが度数分布とされる。
【００３４】
新サンプル決定部２３は、度数分布計算部２２から供給された離散信号の各サブサンプルの度数分布に基づいて、それらのサブサンプルの値を決定することにより、離散信号をアップサンプリングし、アップサンプリングされた離散信号を出力する。
【００３５】
［アップサンプリング処理の説明］
次に、図２のフローチャートを参照して、アップサンプリング装置１１が離散信号をアップサンプリングするアップサンプリング処理について説明する。
【００３６】
ステップＳ１１において、分解部２１は、入力された離散信号、つまり離散画像を複数のサブサンプルに分解し、度数分布計算部２２に供給する。
【００３７】
例えば、図３に示すように、図中、縦方向（垂直方向）に１６画素、横方向（水平方向）に１６画素からなる参照画像ＰＲが参照信号として入力され、図中、縦方向に８画素、横方向に８画素からなる離散画像ＰＤが離散信号として入力されたとする。
【００３８】
離散画像ＰＤは、参照画像ＰＲを縦横半分に縮小した後、画素値（輝度値）を反転して得られた画像であるので、この例では、離散画像ＰＤは８画素×８画素の画像となっている。なお、図３において、各正方形は１つの画素を表している。
【００３９】
例えば、離散画像ＰＤが図中、縦方向および横方向にそれぞれ２倍の画素数、つまり参照画像ＰＲと同じ画素数の画像にアップサンプリングされる場合、図４に示すように離散画像ＰＤの各画素が４つの領域に分解され、分解後の１つの領域が１つのサブサンプルとされる。これにより、離散画像ＰＤは、図中、縦方向に１６個のサブサンプル、横方向に１６個のサブサンプルの合計２５６個のサブサンプルに分解される。
【００４０】
このようにして得られた各サブサンプルは、離散画像ＰＤをアップサンプリングすることで得ようとする画像の１つの画素に対応する。つまり、アップサンプリングは、これらのサブサンプルのサンプル値（画素値）を求める処理である。
【００４１】
なお、以下では、離散画像ＰＤが、縦方向および横方向にそれぞれ２倍の画素数となるようにアップサンプリングされる場合を例に説明するが、アップサンプリングの倍数は何倍であってもよい。
【００４２】
ステップＳ１２において、度数分布計算部２２は、分解部２１から供給された離散画像ＰＤ上の１つのサブサンプルを処理対象のサブサンプルとして選択する。これにより、例えば、図４のサブサンプルＳＢ１が処理対象として選択される。
【００４３】
ステップＳ１３において、度数分布計算部２２は、離散画像ＰＤ上の処理対象のサブサンプルを含む予め定められた大きさの領域を度数分布生成領域とし、その度数分布生成領域内の画素の１つを注目画素とする。
【００４４】
例えば、図５に示すように、離散画像ＰＤ上のサブサンプルＳＢ１が処理対象となっている場合、度数分布計算部２２は、サブサンプルＳＢ１を含む画素を中心とする、５画素×５画素の領域を度数分布生成領域ＲＦとする。そして、度数分布計算部２２は、離散画像ＰＤの度数分布生成領域ＲＦ内の１つの画素を注目画素とする。図５の例では、図中、左上の画素が注目画素ＧＣ１とされている。
【００４５】
なお、図５の例では、度数分布生成領域ＲＦは５画素×５画素の正方形状の領域とされているが、度数分布生成領域の大きさや形状は、どのようなものであってもよい。
【００４６】
ステップＳ１４において、度数分布計算部２２は、参照画像ＰＲを用いて注目画素ＧＣ１の度数Ｆを算出する。
【００４７】
例えば、度数分布計算部２２は、図５の右側に示すように、参照画像ＰＲ上において、処理対象のサブサンプルＳＢ１および注目画素ＧＣ１と同じ位置にある画素ＧＳ１および画素ＧＦ１を参照する。
【００４８】
ここで、参照画像ＰＲ上において、注目画素ＧＣ１と同じ位置の領域内には、画素ＧＦ１を含む４つの画素があるが、この領域内の画素のうち、処理対象であるサブサンプルＳＢ１の画素内の位置と同じ位置関係の画素ＧＦ１が度数Ｆの算出のために参照される。すなわち、処理対象のサブサンプルＳＢ１は、離散画像ＰＤの画素内の図中、左上に位置しているので、参照画像ＰＲ上の注目画素ＧＣ１と同じ位置の領域内の画素のうち、図中、左上に位置する画素ＧＦ１が参照される。
【００４９】
なお、以下においては、図５中、右側に示すように、参照画像ＰＲ上において、度数分布生成領域ＲＦと同じ位置にある領域を参照領域ＲＥと称することとする。
【００５０】
このようにして、サブサンプルＳＢ１および注目画素ＧＣ１と同位相の画素ＧＳ１および画素ＧＦ１が参照されると、度数分布計算部２２は、参照された画素の画素値を用いて次式（１）を計算し、注目画素ＧＣ１の画素値の度数Ｆを算出する。
【００５１】
Ｆ＝Ｉｍａｘ−｜Ｉ（ｘ）−Ｉ（ｙ）｜      ・・・（１）
【００５２】
ここで、式（１）において、Ｉｍａｘは参照画像ＰＲの画素の画素値の取り得る値の最大値を示している。例えば、参照画像ＰＲの画素が０から２５５までの何れかの値を画素値として持つ場合、Ｉｍａｘ＝２５５とされる。また、式（１）において、Ｉ（ｘ）およびＩ（ｙ）のそれぞれは、画素ＧＳ１の画素値、および画素ＧＦ１の画素値を示している。
【００５３】
したがって、注目画素ＧＣ１の画素値の度数Ｆは、サブサンプルＳＢ１および注目画素ＧＣ１と同位相の参照画像ＰＲの画素の画素値の差分絶対値が、参照画像ＰＲの画素値の最大値Ｉｍａｘから減算されて得られる値である。
【００５４】
このようにして得られる注目画素ＧＣ１の度数Ｆは、注目画素ＧＣ１の画素値の出現頻度であり、サブサンプルＳＢ１の画素値の決定に対する注目画素ＧＣ１の画素値の寄与（影響）の度合いを示している。また、度数Ｆは、参照される参照画像ＰＲの２つの画素の違い（画素値の差分絶対値）が大きいほど低い値となり、２つの画素の違いが小さいほど高い値となる。
【００５５】
離散画像ＰＤと参照画像ＰＲとはある程度相関のある画像同士であるので、参照される画素ＧＳ１および画素ＧＦ１と、同位相のサブサンプルＳＢ１および注目画素ＧＣ１との相関はある程度高いはずである。そのため、参照される画素同士の違いが小さければ、同じ位相にあるサブサンプルＳＢ１と注目画素ＧＣ１の違いも小さいと推定することができる。
【００５６】
そこで上述した式（１）により注目画素ＧＣ１の度数Ｆを算出すれば、注目画素ＧＣ１のサブサンプルＳＢ１との違いが小さいと推定される場合には、その度数Ｆが大きくなる。注目画素ＧＣ１の度数Ｆが大きくなると、後述するように、注目画素ＧＣ１の画素値のサブサンプルＳＢ１のサンプル値（画素値）の決定への寄与率が大きくなる。
【００５７】
なお、以上においては、参照される参照画像ＰＲの画素同士の違いとして、差分絶対値が計算されると説明したが、画素の違いは差分絶対値に限らず、どのようなものであってもよい。また、度数Ｆも参照される画素同士の違いが小さいほど、度数Ｆが高くなるものであれば、どのようなものであってもよい。
【００５８】
図２のフローチャートの説明に戻り、注目画素ＧＣ１の度数Ｆが算出されると、処理はステップＳ１４からステップＳ１５に進む。
【００５９】
ステップＳ１５において、度数分布計算部２２は、算出された度数Ｆに基づいて、処理対象のサブサンプルＳＢ１の度数分布を更新する。
【００６０】
例えば、サブサンプルＳＢ１の度数分布として、画素値のヒストグラムが求められ、そのヒストグラムのビンが、離散画像ＰＤの画素の画素値の取り得る各値であるとする。また、注目画素ＧＣ１の画素値が「１０」であり、注目画素ＧＣ１の度数Ｆが「２４５」であるとする。この場合、度数分布計算部２２は、保持しているサブサンプルＳＢ１のヒストグラムの画素値「１０」に対応するビンの頻度に、度数Ｆの値「２４５」を加算することで、ヒストグラムを更新する。
【００６１】
ステップＳ１６において、度数分布計算部２２は、処理対象の度数分布生成領域ＲＦ内の全ての画素を注目画素としたか否かを判定する。ステップＳ１６において、まだ全ての画素を注目画素としていないと判定された場合、処理はステップＳ１３に戻り、度数分布生成領域ＲＦ内のまだ注目画素とされていない画素が、新たな注目画素とされる。そして、新たな注目画素の度数Ｆが算出され、サブサンプルＳＢ１の度数分布が更新される。
【００６２】
例えば、図５に示すサブサンプルＳＢ１が処理対象であり、注目画素ＧＣ１が注目画素とされているとすると、図６に示すように、これまで注目画素とされていた画素ＧＣ１の図中、右側に隣接する画素が新たな注目画素ＧＣ２とされる。なお、このときサブサンプルＳＢ１が処理対象のままとされる。
【００６３】
図６の例では、図中、右側に示すように、処理対象のサブサンプルＳＢ１および新たな注目画素ＧＣ２と同じ位置にある、参照画像ＰＲ上の画素ＧＳ１および画素ＧＦ２が参照され、それらの画素の違いから、注目画素ＧＣ２の度数Ｆが算出される。なお、参照画像ＰＲ上の参照される画素ＧＦ２は、図５の画素ＧＦ１と同様に、注目画素ＧＣ２と同じ位置の領域内の画素のうち、画素内におけるサブサンプルＳＢ１の位置と同じ位置の画素とされる。
【００６４】
これに対して、ステップＳ１６において、全ての画素を注目画素としたと判定された場合、度数分布計算部２２は、処理対象のサブサンプルＳＢ１の度数分布を、最終的な度数分布として新サンプル決定部２３に供給し、処理はステップＳ１７に進む。
【００６５】
ステップＳ１７において、新サンプル決定部２３は、度数分布計算部２２から供給された度数分布の中央値を算出し、得られた値を処理対象のサブサンプルＳＢ１のサンプル値として出力する。すなわち、度数分布の中央値が、アップサンプリング後のサブサンプルＳＢ１に対応する画素の画素値とされる。
【００６６】
なお、処理対象のサブサンプルＳＢ１のサンプル値は、度数分布の中央値に限らず、度数分布の最大値や最小値、度数分布の累積度数Ｎ％（但し、Ｎは正の実数）の値など、度数分布から算出される値であればよい。
【００６７】
ステップＳ１８において、度数分布計算部２２は、離散画像ＰＤ上の全てのサブサンプルを処理したか否かを判定する。すなわち、全てのサブサンプルが処理対象とされ、新たなサンプル値が算出されたか否かが判定される。
【００６８】
ステップＳ１８において、まだ全てのサブサンプルが処理されていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、新たなサブサンプルが処理対象とされ、そのサブサンプルの度数分布からサンプル値が算出される。
【００６９】
例えば、図７に示すように、サブサンプルＳＢ１がこれまで処理対象とされていた場合、サブサンプルＳＢ１に隣接するサブサンプルＳＢ２が新たに処理対象とされ、さらに度数分布生成領域ＲＦ内の画素ＧＣ２が新たに注目画素とされる。
【００７０】
そして、図７中、右側に示すように、処理対象のサブサンプルＳＢ２および注目画素ＧＣ２と同じ位置にある、参照画像ＰＲ上の画素ＧＳ２および画素ＧＦ３が参照され、それらの画素の違いから、注目画素ＧＣ２の度数Ｆが算出される。なお、参照画像ＰＲ上の参照される画素ＧＦ３は、注目画素ＧＣ２と同じ位置の領域内の画素のうち、画素内におけるサブサンプルＳＢ２の位置と同じ位置の画素とされる。
【００７１】
一方、ステップＳ１８において、全てのサブサンプルが処理されたと判定された場合、アップサンプリング処理は終了する。この場合、新サンプル決定部２３から、離散画像ＰＤ上の全てのサブサンプルのサンプル値からなる、よりサンプリングレートの高い新たな離散画像が出力されたことになる。つまり、離散信号のアップサンプリングが実現されたことになる。
【００７２】
以上のようにして、アップサンプリング装置１１は、離散画像のサブサンプル近傍の画素を注目画素とし、参照画像におけるサブサンプルおよび注目画素と同じ位相の画素を参照して、それらの参照した画素の画素値から、注目画素の度数を算出する。そして、アップサンプリング装置１１は、サブサンプル近傍の各画素の度数から、サブサンプル近傍における画素値の度数分布を求め、その度数分布に基づいてサブサンプルのサンプル値を算出する。
【００７３】
このように、離散画像と相関のあるより高解像度の参照画像を用いることで、度数分布生成領域内の各画素とサブサンプルとの相関の度合いをより高精度に求めることができる。また、それらの相関の度合いに応じて、度数分布生成領域内の各画素の画素値のサブサンプルの値の算出に対する寄与の度合いを決定することで、より高精度にサブサンプルの値（サンプル値）を算出することができる。その結果、ぼけの発生を抑制し、より高品質な高画素数の離散画像を得ることができる。つまり、サンプリングレートの低い離散信号をより高精度に、かつぼけを発生させずにアップサンプリングすることができる。
【００７４】
しかも、アップサンプリング装置１１によれば、画素の違いに基づいて度数分布を生成し、その度数分布の中央値を求めるだけであるので、より簡単に離散信号をアップサンプリングすることができる。
【００７５】
なお、以上においては、度数分布としてヒストグラムを生成すると説明したが、離散画像の画素の画素値の集合（以下、画素値集合と呼ぶ）を度数分布として算出するようにしてもよい。
【００７６】
具体的には、例えば、図５のサブサンプルＳＢ１の度数分布を算出するものとすると、度数分布計算部２２は、注目画素ＧＣ１の度数Ｆを上述した式（１）により算出する。その結果、度数Ｆとして「３」が得られたとすると、度数分布計算部２２は、サブサンプルＳＢ１の画素値集合に、度数Ｆの値である３個分の注目画素ＧＣ１の画素値が含まれるように、画素値集合を更新する。したがって、各注目画素の度数Ｆは、その注目画素の画素値の出現頻度を表していることになる。
【００７７】
このようにして、度数分布生成領域ＲＦ内の各画素の画素値について、その画素の度数Ｆの個数分だけ、その画素の画素値が画素値集合に含まれるように画素値集合が更新される。そして、最終的に得られた画素値集合に含まれる各画素値が昇順または降順にソートされ、それらの画素値の列の中央に位置する画素値が、サブサンプルＳＢ１のサンプル値とされる。このようにして画素値を定める方法は、度数分布としてヒストグラムを生成し、そのヒストグラムの中央値を画素値とする方法と等価である。
【００７８】
また、以上においては、離散画像のアップサンプリングに、１つの参照画像が用いられると説明したが、複数の参照画像が用いられるようにしてもよい。そのような場合、例えば参照画像は、ステレオカメラで撮像された左右の画像などとされ、それらの画像から得られたデプス情報（深さ情報）が離散画像とされる。
【００７９】
このような場合には、参照画像とされる各画像が用いられて、図２のステップＳ１３乃至ステップＳ１５の処理が行われる。例えば、図５のサブサンプルＳＢ１を処理対象として、注目画素ＧＣ１の度数Ｆを算出する場合、１つの参照画像について式（１）の計算により得られた度数Ｆ１と、他の参照画像について式（１）の計算で得られた度数Ｆ２との和が、注目画素ＧＣ１の最終的な度数Ｆとされる。
【００８０】
さらに、以上においては、参照画像上の２つの画素の違い（差異）に基づいて、注目画素の度数Ｆが算出されると説明したが、さらにサブサンプルと注目画素との距離など、他の情報も用いられて度数Ｆが算出されるようにしてもよい。
【００８１】
ここで、サブサンプルと注目画素との距離は、例えば、離散信号が画像であれば、その画像上におけるサブサンプルと注目画素との距離とされ、離散信号が音声信号であれば、サブサンプルと注目するサンプルとの間の時間、つまりサンプリング間隔とされる。
【００８２】
例えば、図５の注目画素ＧＣ１の度数Ｆが算出される場合、度数分布計算部２２は、画素ＧＳ１と画素ＧＦ１との画素値の差分絶対値Ｒを算出し、さらに離散画像ＰＤ上における注目画素ＧＣ１とサブサンプルＳＢ１との距離Ｄを求める。そして、度数分布計算部２２は、求めた差分絶対値Ｒと距離Ｄとの積を係数Ｋ（＝Ｒ×Ｄ）とし、予め定められた関数に係数Ｋを代入して得られる値を、注目画素ＧＣ１の度数Ｆとする。
【００８３】
このとき、度数Ｆは、係数Ｋが大きいほど低い値となるようにされる。つまり、注目画素がサブサンプルに近く、かつ参照される画素同士の違いが小さいほど、度数Ｆは高い値となる。
【００８４】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８５】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００８６】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【００８７】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【００８８】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【００８９】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９０】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【００９１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９３】
１１  アップサンプリング装置，  ２１  分解部，  ２２  度数分布計算部，  ２３  新サンプル決定部
【図１】
2011186958.tif 000003
【図２】
2011186958.tif 000004
【図３】
2011186958.tif 000005
【図４】
2011186958.tif 000006
【図５】
2011186958.tif 000007
【図６】
2011186958.tif 000008
【図７】
2011186958.tif 000009
【図８】
2011186958.tif 000010