(57)【要約】【課題】  ディジタル化された画像に含まれるエイリアス成分を推定し、高解像度画像を生成することができる高解像度画像生成方法を提供する。【解決手段】    高解像度画像生成装置１００は、対象ピクチャを所定の大きさのブロックに分割するブロック化部１０２と、対象ブロックと所定数の参照ピクチャとのそれぞれの動き量（δ１，δ２）および画像の類似度をブロック単位に位相限定相関法により推定する動き推定部１０３と、対象ブロックの画像データに含まれるエイリアス成分を動き量に基づいて推定し、エイリアス成分を用いて対象ブロックを高解像度化する高解像度化部１０４とを備える。【選択図】        図１
2005072935.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル化された画像を高解像度化する高解像度画像生成方法であって、
対象画像と、前記対象画像を高解像度化する際に用いる参照画像との間の動き量を推定する動き推定ステップと、
前記対象画像の標本化時に発生するエイリアス成分を前記動き量に基づいて推定し、前記エイリアス成分を用いて前記対象画像を高解像度化する高解像度ステップと
を含むことを特徴とする高解像度画像生成方法。
【請求項２】
前記動き推定ステップでは、前記対象画像および前記参照画像に対して離散フーリエ変換を行い、その位相成分差に基づいて前記動き量を推定する
ことを特徴とする請求項１記載の高解像度画像生成方法。
【請求項３】
前記動き推定ステップでは、さらに、前記位相成分差に基づいて前記対象画像と前記参照画像との類似度を推定し、
前記高解像度ステップには、
前記参照画像および前記動き量を前記エイリアス成分の推定に用いるか否かを、前記類似度に基づいて決定する参照画像選択ステップ
を含むことを特徴とする請求項２記載の高解像度画像生成方法。
【請求項４】
前記動き推定ステップでは、前記対象画像に対して所定数の前記参照画像を用い、それぞれに対する前記動き量および前記類似度を推定し、
前記参照画像選択ステップでは、前記所定数の参照画像の中から前記エイリアス成分の推定に用いる参照画像を、前記類似度に基づいて選択する
ことを特徴とする請求項３記載の高解像度画像生成方法。
【請求項５】
前記高解像度ステップには、
前記対象画像および前記参照画像に対して離散フーリエ変換を行う離散フーリエ変換ステップと、
前記対象画像の前記エイリアス成分を、前記離散フーリエ変換を行った前記対象画像および前記参照画像と、前記動き量とに基づいて推定するエイリアス推定ステップと、
前記エイリアス成分を取り除いた成分に対して逆離散フーリエ変換を行う逆離散フーリエ変換ステップと
を含むことを特徴とする請求項１記載の高解像度画像生成方法。
【請求項６】
前記高解像度ステップには、さらに、
前記対象画像に対して空間補間を行うことにより前記対象画像を高解像度化する空間補間ステップと、
前記対象画像の高解像度化方法を前記動き量に基づいて選択する方法選択ステップと
を含むことを特徴とする請求項５記載の高解像度画像生成方法。
【請求項７】
前記方法選択ステップでは、前記動き量が１画素未満の動き量を有し、かつ前記１画素未満の動き量が所定の範囲である場合、前記離散フーリエ変換ステップ、エイリアス推定ステップ、および逆離散フーリエ変換ステップを実行することを選択する
ことを特徴とする請求項６記載の高解像度画像生成方法。
【請求項８】
前記方法選択ステップでは、前記動き量が１画素未満の動き量を有さない、または前記１画素未満の動き量が所定の範囲外である場合、前記空間補間ステップを実行することを選択する
ことを特徴とする請求項６記載の高解像度画像生成方法。
【請求項９】
前記方法選択ステップでは、前記動き量のずれ方向が水平方向である場合には水平方向に対して、前記ずれ方向が垂直方向である場合には垂直方向に対して、前記ずれ方向が斜め方向である場合には水平および垂直方向に対して、それぞれ前記離散フーリエ変換ステップ、エイリアス推定ステップ、および逆離散フーリエ変換ステップを実行することを選択する
ことを特徴とする請求項６記載の高解像度画像生成方法。
【請求項１０】
前記方法選択ステップでは、前記動き量のずれ方向が水平方向でない場合には水平方向に対して、前記ずれ方向が垂直方向でない場合には垂直方向に対して、それぞれ前記空間補間ステップを実行することを選択する
ことを特徴とする請求項６記載の高解像度画像生成方法。
【請求項１１】
前記動き推定ステップでは、前記動き量を推定する際に前記対象画像および前記参照画像に対して窓関数をかける
ことを特徴とする請求項１記載の高解像度画像生成方法。
【請求項１２】
前記高解像度画像生成方法には、さらに、
前記対象画像および前記参照画像を所定の大きさのブロックに分割するブロック化ステップを含み、
前記動き推定ステップでは、前記ブロック単位に前記動き量を推定する
ことを特徴とする請求項１記載の高解像度画像生成方法。
【請求項１３】
前記動き推定ステップでは、前記動き量を推定する際に前記対象画像および前記参照画像に対して窓関数をかけるか否かを、前記ブロックの大きさに基づいて決定する
ことを特徴とする請求項１２記載の高解像度画像生成方法。
【請求項１４】
高解像度画像をエイリアス成分が含まれるように低解像度化する低解像度化ステップと、
前記低解像度化された画像を伝送または記録を行う伝送記録ステップと、
前記伝送または記録された前記低解像度化画像を、請求項１〜請求項１３のいずれか１項に記載の高解像度画像生成方法により高解像度化するステップと
を含むことを特徴とする画像伝送記録方法。
【請求項１５】
ディジタル化された画像を高解像度化する高解像度画像生成装置であって、
対象画像と、前記対象画像を高解像度化する際に用いる参照画像との間の動き量を推定する動き推定手段と、
前記対象画像の標本化時に発生するエイリアス成分を前記動き量に基づいて推定し、前記エイリアス成分を用いて前記対象画像を高解像度化する高解像度手段と
を備えることを特徴とする高解像度画像生成装置。
【請求項１６】
ディジタル化された画像を高解像度化するためのプログラムであって、
請求項１〜請求項１３のいずれか１項に記載の高解像度画像生成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項１７】
画像を伝送または記録するためのプログラムであって、
請求項１４記載の画像伝送記録方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル化された画像から高解像度画像を生成する高解像度画像生成方法に関する。
【背景技術】
【０００２】
ディジタルカメラ等で撮影され、ディジタル化された画像の解像度は、原画像をディジタル化する際の標本化周波数によって決定される。すなわち、標本化周波数が高いほど解像度の高い画像が得られる。この標本化周波数と画像解像度の関係は、標本化定理を用いて説明することが可能である。標本化定理によると、ナイキスト周波数（原信号の最高周波数の２倍）より高い周波数で標本化すると原信号の情報は失われることなく標本に保存される。一方、ナイキスト周波数より低い周波数で標本化した場合、エイリアス（エイリアシング）が発生し、原信号の情報の一部は失われてしまうことになる。
【０００３】
原信号、標本およびエイリアスの関係について、一次元信号を例に説明する。
原信号ｆａ（ｔ）は連続時間信号とする。原信号ｆａ（ｔ）と標本ｆ（ｎ）のフーリエ表現はそれぞれ次の式（１）、（２）で表される。
【０００４】
【数１】
2005072935.tif 000003
このとき、標本ｆ（ｎ）は、原信号ｆａ（ｔ）に対する式（１）の表現を用いると、次の式（３）で表すことができる。
【０００５】
【数２】
2005072935.tif 000004
ここで、Ｔ［ｓｅｃ］は標本化周期である。また、上記式（３）の積分を２π／Ｔの間隔ごとの積分の和として表せば、次の式（４）を得ることができる。
【０００６】
【数３】
2005072935.tif 000005
ここで、Ω＝ω／Ｔという変数変換を行うと、次の式（５）を得ることができる。
【０００７】
【数４】
2005072935.tif 000006
次に、式（２）と（５）の比較から次の式（６）を導出することができる。
【０００８】
【数５】
2005072935.tif 000007
上記式（６）から標本ｆ（ｎ）の離散時間フーリエ変換Ｆ（ｅｊω）は、原信号ｆａ（ｔ）のフーリエ変換Ｆａ（ｊω／Ｔ）を標本化周波数Ωｓ＝２π／Ｔ［ｒａｄ／ｓｅｃ］の整数倍でシフトしたスペクトラムの無限和となっていることが分かる。以下では、原信号ｆａ（ｔ）が次の式（７）に示すように帯域制限されているものとする。
【０００９】
【数６】
2005072935.tif 000008
原信号ｆａ（ｔ）の最高周波数Ωｃの２倍未満の標本化周波数、すなわちΩｓ＜２Ωｃとなる周波数Ωｓで標本化を行うと、スペクトラム同士が重なり、エイリアスが発生する。原信号ｆａ（ｔ）をΩｓ＝２Ωｃとなる周波数Ωｓで標本化した場合、離散時間フーリエ変換Ｆ（ｅｊω）とフーリエ変換Ｆａ（ｊΩ）との間には次の式（８）の関係が成り立つ。
【００１０】
【数７】
2005072935.tif 000009
一方、原信号ｆａ（ｔ）をΩｓ＝Ωｃとなる周波数Ωｓで標本化した場合、図１３に示すようにエイリアスが発生する。図１３において、点線ａは原信号ｆａ（ｔ）を、点線ｂは折り返し成分を、実線ｃはエイリアスが発生した状態の信号を示している。０＜Ω＜２πにおいてエイリアスが発生している部分では次の式（９）の関係が成り立つ。
【００１１】
【数８】
2005072935.tif 000010
上記式（９）は、原信号の低周波成分Ｆａ（ｊω／Ｔ）および高周波成分Ｆａ（ｊ（ω＋２π）／Ｔ）が重なり、エイリアスが生じていることを意味している。
このようにエイリアスが生じた標本から原信号を復元することは、一般的にはできない。
【００１２】
ところで、上記のようなエイリアス成分を利用することによって、ディジタル化された画像を高解像度化することが提案されている（例えば、非特許文献１参照。）。
【非特許文献１】“Super-Resolution Image Reconstruction” IEEE SIGNAL PROCESSING MAGAZINE      2003 MAY p.21-36
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来においてエイリアス成分を含む画像を高解像度化するために利用するエイリアス成分を推定することはできなかった。
そこで、本発明は上記の事情に鑑みてなされたものであり、ディジタル化された画像に含まれるエイリアス成分を推定し、高解像度画像を生成することができる高解像度画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本発明に係る高解像度画像生成方法は、ディジタル化された画像を高解像度化する高解像度画像生成方法であって、対象画像と、前記対象画像を高解像度化する際に用いる参照画像との間の動き量を推定する動き推定ステップと、前記対象画像の標本化時に発生するエイリアス成分を前記動き量に基づいて推定し、前記エイリアス成分を用いて前記対象画像を高解像度化する高解像度ステップとを含むことを特徴とする。これによって、対象画像とこの対象画像に対して微少に位置ずれした参照画像とを用いてエイリアス予測を行うことによって、対象画像を高解像度化することができる。
【００１５】
ここで、前記動き推定ステップでは、前記対象画像および前記参照画像に対して離散フーリエ変換を行い、その位相成分差に基づいて前記動き量を推定することが好ましい。これによって、０．１画素程度の高い精度で動き量を推定することができる。
【００１６】
また、前記高解像度ステップには、前記対象画像および前記参照画像に対して離散フーリエ変換を行う離散フーリエ変換ステップと、前記対象画像の前記エイリアス成分を、前記離散フーリエ変換を行った前記対象画像および前記参照画像と、前記動き量とに基づいて推定するエイリアス推定ステップと、前記エイリアス成分を取り除いた成分に対して逆離散フーリエ変換を行う逆離散フーリエ変換ステップとを含むことが好ましい。これによって、エイリアス予測を行って、対象画像を高解像度化することができる。
【００１７】
また、前記高解像度ステップには、さらに、前記対象画像に対して空間補間を行うことにより前記対象画像を高解像度化する空間補間ステップと、前記対象画像の高解像度化方法を前記動き量に基づいて選択する方法選択ステップとを含んでもよい。
【００１８】
また、前記方法選択ステップでは、前記動き量が１画素未満の動き量を有し、かつ前記１画素未満の動き量が所定の範囲である場合、前記離散フーリエ変換ステップ、エイリアス推定ステップ、および逆離散フーリエ変換ステップを実行することを選択してもよい。
【００１９】
また、前記方法選択ステップでは、前記動き量が１画素未満の動き量を有さない、または前記１画素未満の動き量が所定の範囲外である場合、前記空間補間ステップを実行することを選択してもよい。
【００２０】
これによって、対象画像に対して微少に位置ずれした画像を参照できる場合には、エイリアス予測を行って対象画像を高解像度化し、対象画像に対して微少に位置ずれした画像を参照できない場合には、エイリアス予測を行わず、他の方法によって対象画像を高解像度化することができる。
【００２１】
また、前記動き推定ステップでは、前記動き量を推定する際に前記対象画像および前記参照画像に対して窓関数をかけてもよい。これによって、画像端のエネルギーを減少させ、離散フーリエ変換の循環性による精度の劣化を抑えることができ、動き量を推定する際の精度を向上することができる。
【００２２】
また、前記高解像度画像生成方法には、さらに、前記対象画像および前記参照画像を所定の大きさのブロックに分割するブロック化ステップを含んでもよい。これによって、ブロック単位に動き量を推定することが可能になり、画像内の領域毎に異なる動きをしている場合であっても、動き量を正確に推定することができる。
【００２３】
なお、本発明は、このような高解像度画像生成方法として実現することができるだけでなく、このような高解像度画像生成方法が含む特徴的なステップを手段として備える高解像度画像生成装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２４】
以上の説明から明らかなように、本発明に係る高解像度画像生成方法によれば、対象画像とこの対象画像に対して位置ずれした画像とを用いてエイリアス予測を行うことによって、対象画像を高解像度化することができる。
【００２５】
よって、本発明により、エイリアス成分を含む画像から高解像度画像を生成することができ、ディジタル化された画像を扱うことが急速に普及している今日における実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明に係る高解像度画像生成方法を用いた高解像度画像生成装置の構成を示すブロック図である。
【００２７】
高解像度画像生成装置１００は、入力される動画像を高解像度するための装置であり、ピクチャメモリ１０１、ブロック化部１０２、動き推定部１０３、および高解像度化部１０４を備えている。
【００２８】
ピクチャメモリ１０１は、表示時間順にピクチャ単位で入力された動画像を格納する。ブロック化部１０２は、対象ピクチャを例えば水平８×垂直８画素や水平１６×垂直１６画素等の所定の大きさのブロックに分割する。動き推定部１０３は、対象ピクチャのブロック（以下、対象ブロックという）と、対象ピクチャの前後にある所定のピクチャ（以下、参照ピクチャという）とのそれぞれの位置ずれ量（動き量）（δ１，δ２）および画像の類似度を、ブロック単位に位相限定相関法により推定する。
【００２９】
図２は、高解像度化部１０４の構成を示すブロック図である。
高解像度化部１０４は、拡大方法選択部１０５、空間補間部１０６、離散フーリエ変換部１０７、エイリアス予測部１０８、逆離散フーリエ変換部１０９、および参照画像選択部１１０を備えている。
【００３０】
参照画像選択部１１０は、動き推定部１０３により求められた画像の類似度があらかじめ設定された所定値以上である場合にそのピクチャを参照ピクチャとして用いると決定する。拡大方法選択部１０５は、参照画像選択部１１０によって選択された参照ピクチャに対する、動き推定部１０３より入力されたそれぞれの動き量に基づいて拡大方法を選択する。空間補間部１０６は、例えば３次畳み込み法やスプライン補間等の空間方向の拡大方法を用いて対象ブロックを拡大する。
【００３１】
離散フーリエ変換部１０７は、対象ブロックおよび参照ブロックの画像データに対して、離散フーリエ変換を行う。エイリアス予測部１０８は、微少に位置ずれした参照ブロックの画像データを用いて、対象ブロックの画像データに含まれるエイリアス成分を予測する。逆離散フーリエ変換部１０９は、エイリアス成分を分離した高解像度信号に対して逆離散フーリエ変換を行う。
【００３２】
次に、上記のように構成された高解像度画像生成装置１００の動作について説明する。ここでは、入力された画像を縦２倍、横２倍に拡大する場合を例にして説明する。
【００３３】
図３は、高解像度画像を生成する際の全体的な動作の流れを示すフローチャートである。
入力された動画像は、ピクチャ単位でピクチャメモリ１０１に入力される。ブロック化部１０２は、対象ピクチャＭおよびこの対象ピクチャＭの前後にある所定の参照ピクチャをピクチャメモリ１０１より読み出して所定の大きさのブロックに分割し、動き推定部１０３へ出力する（ステップＳ１０１）。ここでは、対象ピクチャＭを縦２倍、横２倍に拡大するので、例えば図４に示すように対象ピクチャＭの前１枚の参照ピクチャＭ＋１、および後２枚の参照ピクチャＭ−１、Ｍ−２の合計３枚の参照ピクチャをピクチャメモリ１０１より読み出し、動き推定部１０３へ出力する。すなわち、対象ピクチャＭと、参照ピクチャＭ＋１、Ｍ−１、Ｍ−２との合計４枚を用いて対象ピクチャＭを拡大する。また、これ以降においてはブロック単位で処理を行うことになる。
【００３４】
次に、動き推定部１０３は、ブロック化部１０２より入力された対象ブロックが、まず参照ピクチャＭ＋１上の同じ位置にあるブロック（以下、参照ブロックという）とどれだけ位置ずれしているかを示す動き量（δ１，δ２）および画像の類似度を位相限定相関法により推定する（ステップＳ１０２）。ここで、動き量δ１、δ２はそれぞれ、水平方向、垂直方向の動き量を示すものとする。
【００３５】
すなわち、動き推定部１０３は、対象ブロックおよび参照ブロックの２つのブロックの離散画像ｆ（ｎ１，ｎ２）、ｇ（ｎ１，ｎ２）から連続空間における被写体の動き量（δ１，δ２）を推定する。このときの離散信号と連続信号との関係は次の式（１０）に示す関係である。
【００３６】
【数９】
2005072935.tif 000011
動き推定部１０３は、位相限定相関法を用いる前に対象ブロックおよび参照ブロックの画像データに対して、例えばハニング窓やハミング窓等の窓関数をかける。なお、以下の位相限定相関法の説明においては、窓関数をかけた状態をｆ（ｎ１，ｎ２）、ｇ（ｎ１，ｎ２）として扱うものとする。
【００３７】
位相限定相関法では、まず、２つのブロックの画像ｆ（ｎ１，ｎ２）、ｇ（ｎ１，ｎ２）に対して２次元離散フーリエ変換を行い、次の式（１１）を得る。
【数１０】
2005072935.tif 000012
【００３８】
次に、位相限定合成を行い、次の式（１２）を得る。
【数１１】
2005072935.tif 000013
【００３９】
さらに、２次元逆離散フーリエ変換を行い、次の式（１３）で示す位相限定相関関数を得る。
【数１２】
2005072935.tif 000014
【００４０】
なお、このとき周波数領域において次の式（１４）で示す関係が成り立つものと仮定している。ここで、画像サイズをＮ１×Ｎ２画素とする。
【数１３】
2005072935.tif 000015
このように求められた上記式（１３）で示す位相限定相関関数は、図５の白丸で示すようにＮ１×Ｎ２個のデータ配列である。なお、図５はｎ２＝０の断面を示している。
【００４１】
よって、上記式（１３）中のα、δ１、δ２をパラメータとして関数フィッティングを行うことによって、例えば図６に示すようにピークの座標およびピークの高さを推定する。このピークの座標は画像間の動き量（δ１，δ２）を、ピークの高さαは動き量（δ１，δ２）だけずらしたときの画像の類似度を示している。
【００４２】
このように、動き推定部１０３は、対象ブロックが参照ピクチャＭ＋１上においてどれだけ位置ずれしているかを示す動き量（δ１，δ２）および対象ブロックを動き量（δ１，δ２）だけずらしたときの画像の類似度を求める。次に、動き推定部１０３は、同様にして参照ピクチャＭ−１、Ｍ−２に対する動き量および画像の類似度を求める。そして、動き推定部１０３は、これら参照ピクチャＭ＋１、Ｍ−１、Ｍ−２に対する動き量を高解像度化部１０４の拡大方法選択部１０５およびエイリアス予測部１０８へ、画像の類似度を高解像度化部１０４の参照画像選択部１１０へ出力する。
【００４３】
画像の類似度が入力された参照画像選択部１１０は、この画像の類似度に基づいて参照ピクチャとして使用するか否かを選択する。図７は、参照ピクチャを選択する際の動作の流れを示すフローチャートである。まず、参照画像選択部１１０は、参照ピクチャＭ＋１に対する画像の類似度が所定値以上であるか否かを判定する（ステップＳ２０１）。この結果、画像の類似度が所定値以上であれば、参照画像選択部１１０は参照ピクチャＭ＋１を使用すると決定する（ステップＳ２０２）。一方、画像の類似度が所定値未満であれば、参照画像選択部１１０は参照ピクチャＭ＋１を使用しないと決定する（ステップＳ２０３）。参照画像選択部１１０は、以上の動作を参照ピクチャＭ−１、Ｍ−２について繰り返し、参照ピクチャとして使用すると決定した参照ピクチャの画像データを拡大方法選択部１０５へ出力する。
【００４４】
拡大方法選択部１０５は、参照画像選択部１１０によって選択された参照ピクチャに対する、動き推定部１０３より入力されたそれぞれの動き量に基づいて拡大方法を選択する（図３、ステップＳ１０３）。
【００４５】
図８は選択された参照ピクチャの数および動き量（δ１，δ２）の位置ずれ方向に基づいて分けられたパターンで選択される拡大方法を示す図であり、図９は動き量（δ１，δ２）の位置ずれ方向を示す模式図である。拡大方法選択部１０５は、選択された参照ピクチャに対する動き量（δ１，δ２）のうち１画素未満の動き量（サブピクセル（小数画素精度）の動き量）を、例えば図９に示すような所定の範囲（ここでは、０．１〜０．９画素とする）にある領域Ｒ１（水平方向）、Ｒ２（垂直方向）、Ｒ３（斜め方向）の範囲、および所定の範囲外にある領域Ｒ４の範囲のどの範囲に含まれるかを判定する。例えば、動き量が２．５画素分の場合、サブピクセルの動き量は０．５画素となる。なお、図９においては、δx、δyはそれぞれ、δ１、δ２のサブピクセルの動き量を示すものとする。
【００４６】
まず、参照画像選択部１１０によって選択された参照ピクチャが１枚である場合（対象ピクチャを含め２枚）について説明する。
サブピクセルの動き量が領域Ｒ４である場合には、拡大方法選択部１０５は、空間補間により画像を拡大することに決定する（パターン番号Ａ）。また、サブピクセルの動き量が領域Ｒ１、Ｒ２、Ｒ３のいずれかである場合には、拡大方法選択部１０５は、１方向のみをエイリアス予測により、残りの１方向については空間補間により画像を拡大することに決定する（パターン番号Ｂ）。このとき、サブピクセルの動き量が領域Ｒ３である場合には、エイリアス予測を行う方向は、水平または垂直のいずれかを選択する。
【００４７】
次に、参照画像選択部１１０によって選択された参照ピクチャが２枚である場合（対象ピクチャを含め３枚）について説明する。
サブピクセルの動き量が２枚すべて領域Ｒ４である場合には、拡大方法選択部１０５は、空間補間により画像を拡大することに決定する（パターン番号Ｄ）。また、サブピクセルの動き量が１枚のみ領域Ｒ４、すなわち１枚が領域Ｒ１、Ｒ２、Ｒ３のいずれかである場合、または領域Ｒ１、Ｒ２それぞれ１枚である場合には、拡大方法選択部１０５は、１方向のみをエイリアス予測により、残りの１方向については空間補間により画像を拡大することに決定する（パターン番号Ｅ）。このとき、領域Ｒ４以外であるサブピクセルの動き量が領域Ｒ３である場合には、エイリアス予測を行う方向は、水平または垂直のいずれかを選択する。また、サブピクセルの動き量が２枚とも領域Ｒ４以外である場合、拡大方法選択部１０５は、１方向のみを最小２乗法を用いたエイリアス予測により、残りの１方向については空間補間により画像を拡大することに決定する（パターン番号Ｆ）。このとき、エイリアス予測を行う方向は、水平または垂直のいずれかを選択する。
【００４８】
次に、参照画像選択部１１０によって選択された参照ピクチャが３枚である場合（対象ピクチャを含め４枚）について説明する。
サブピクセルの動き量が３枚すべて領域Ｒ４である場合には、拡大方法選択部１０５は、空間補間により画像を拡大することに決定する（パターン番号Ｇ）。また、サブピクセルの動き量が１枚のみ領域Ｒ４以外である場合、または領域Ｒ１、Ｒ２それぞれ１枚である場合には、拡大方法選択部１０５は、１方向のみをエイリアス予測により、残りの１方向については空間補間により画像を拡大することに決定する（パターン番号Ｈ）。このとき、領域Ｒ４以外である１枚のサブピクセルの動き量が領域Ｒ３である場合には、エイリアス予測を行う方向は、水平または垂直のいずれかを選択する。また、サブピクセルの動き量が領域Ｒ１、Ｒ２、Ｒ３、領域Ｒ１、Ｒ３、Ｒ３、領域Ｒ２、Ｒ３、Ｒ３、または領域Ｒ３、Ｒ３、Ｒ３のいずれかの組み合わせである場合には、拡大方法選択部１０５は、水平および垂直方向ともにエイリアス予測により画像を拡大することに決定する（パターン番号Ｉ）。また、サブピクセルの動き量が上記３パターン以外である場合、拡大方法選択部１０５は、１方向のみを最小２乗法を用いたエイリアス予測により、残りの１方向については空間補間により画像を拡大することに決定する（パターン番号Ｊ）。このとき、エイリアス予測を行う方向は、その組み合わせにより水平または垂直のいずれかを選択する。
【００４９】
なお、水平および垂直方向ともにエイリアス予測を行うためには参照ピクチャが最低３枚必要である（対象ピクチャを含め４枚）ので、参照画像選択部１１０によって選択された参照ピクチャが２枚である場合（対象ピクチャを含め３枚）には、エイリアス予測を行うとしても１方向のみとなる。１方向のエイリアス予測を行うためには参照ピクチャが最低１枚（対象ピクチャを含め２枚）あればよいので、参照ピクチャが２枚である場合には、参照画像選択部１１０はさらに２枚の参照ピクチャより１枚の参照ピクチャを選択しても構わない（パターン番号Ｃ）。
【００５０】
このように選択した拡大方法にエイリアス予測を含む場合（パターン番号Ｂ、Ｅ、Ｆ、Ｈ、Ｉ、Ｊ）には、拡大方法選択部１０５は、対象ブロックおよび参照ブロックの画像データを離散フーリエ変換部１０７へ出力する。一方、このように選択した拡大方法にエイリアス予測を含まない場合（パターン番号Ａ、Ｄ、Ｇ）には、拡大方法選択部１０５は、対象ブロックおよび参照ブロックの画像データを空間補間部１０６へ出力する。
【００５１】
離散フーリエ変換部１０７は、入力された対象ブロックおよび参照ブロックの画像データに対して、離散フーリエ変換を行う（図３、ステップＳ１０４）。次に、エイリアス予測部１０８は、対象ブロックの画像データに含まれるエイリアス成分を以下のように予測（ステップＳ１０５）する。
【００５２】
まず、エイリアス成分の抽出について、一次元信号（または二次元信号における一方向のみの処理）を例に説明する。
原信号ｆａ（ｔ）をΩｓ＝Ωｃとなる周波数Ωｓで標本化したＮ点の低解像度信号をｌ０（ｎ）とし、Ωｓ＝２Ωｃとなる周波数Ωｓで標本化した２Ｎ点の高解像度信号をｈ（ｎ）とする。これらの離散フーリエ変換をそれぞれＬ０（ｋ）およびＨ（ｋ）とする。このとき、上記式（８）、（９）よりＬ０（ｋ）およびＨ（ｋ）の間には次の式（１５）で示す関係が成り立つ。
【００５３】
【数１４】
2005072935.tif 000016
【００５４】
フーリエ変換の推移の性質より、原信号ｆａ（ｔ）をδだけ位置ずれ（推移）した信号ｆａ（ｔ−δ）をフーリエ変換すると、次の式（１６）で表される。
【数１５】
2005072935.tif 000017
【００５５】
原信号ｆａ（ｔ−δ）をΩｓ＝Ωｃとなる周波数Ωｓで標本化すると、上記式（８）、（９）、（１６）より、Ｎ点離散信号
【数１６】
2005072935.tif 000018
の離散フーリエ変換Ｌ１（ｋ）とＨ（ｋ）の間には次の式（１７）で示す関係が成り立つ。
【００５６】
【数１７】
2005072935.tif 000019
【００５７】
ただし、
【数１８】
2005072935.tif 000020
は回転因子を表す。上記式（１５）、（１７）を連立して解くことにより、２つの低解像度信号ｌ０（ｎ）およびｌ１（ｎ）から、高解像度信号ｈ（ｎ）の低周波数成分Ｈ（ｋ）と、エイリアス成分である高周波数成分Ｈ（ｋ＋Ｎ）とを分離することができる。このようにして、２つの微少に位置ずれしたＮ点の低解像度信号から、図１０の点線に示すような２Ｎ点の高解像度信号を生成する。
【００５８】
二次元信号の場合には、上記の一次元信号の場合を二次元に拡張することにより、高解像度画像を生成することができる。すなわち、４つの低解像度信号ｌ０（ｎ，ｍ）、ｌ１（ｎ，ｍ）、ｌ3（ｎ，ｍ）、ｌ4（ｎ，ｍ）から、高解像度信号ｈ（ｎ，ｍ）の低周波数成分Ｈ（ｋ，ｌ）と、エイリアス成分である高周波数成分Ｈ（ｋ＋Ｎ，ｌ＋Ｍ）とを分離することができる。このようにして、４つの微少に位置ずれしたＮ×Ｎ点の低解像度信号から、２Ｎ×２Ｎ点の高解像度信号を生成する。
【００５９】
逆離散フーリエ変換部１０９は、このように生成された高解像度信号に対して、逆離散フーリエ変換を行って、高解像度の画像データを得る（図３、ステップＳ１０６）。次に、逆離散フーリエ変換部１０９は、拡大方法選択部１０５により選択された拡大方法に空間補間が含まれているか否かを判定（ステップＳ１０７）し、空間補間が含まれていない場合、得られた高解像度の画像データを高解像度化部１０４の外部へ出力する（ステップＳ１０７でＮｏ）。例えば、３枚の参照ピクチャＮ＋１、Ｎ−１、Ｎ−２が対象ピクチャＮの対象ブロックに対して図８のパターン番号Ｉに示すように微小に位置ずれしている場合、対象ピクチャＮと３枚の参照ピクチャＮ＋１、Ｎ−１、Ｎ−２との合計４枚を用いて、対象ブロックの画像データを縦２倍、横２倍に拡大した高解像度の画像データを得ることができる。
【００６０】
一方、選択された拡大方法に空間補間が含まれている場合、逆離散フーリエ変換部１０９は、得られた高解像度の画像データを空間補間部１０６へ出力する（ステップＳ１０７でＹｅｓ）。
【００６１】
空間補間部１０６は、エイリアス予測による高解像度化が行われなかった方向について、例えば３次畳み込み法等の空間方向の拡大方法を用いて対象ブロックを拡大する（ステップＳ１０８）。また、拡大方法選択部１０５により決定された拡大方法が空間補間のみである場合（ステップＳ１０３で空間補間）には、空間補間部１０６は縦横方向ともに空間方向の拡大方法を用いて対象ブロックを拡大する（ステップＳ１０８）。
【００６２】
以上のように、１つのブロックの拡大を行い、以下同様に各ブロックを順次拡大して対象ピクチャの拡大を行う。
【００６３】
このような高解像度信号の生成を、二次元信号（画像）に適用した場合について、概念的に説明する。図１１は、画像データを縦２倍、横２倍に拡大する場合の画素を概念的に示す模式図である。
【００６４】
例えば図１１（ａ）に示すような“○”で表す画素を有する対象画像と、この対象画像に対して横方向に０．５画素ずれた図１１（ｂ）に示すような“△”で表す画素を有する画像と、対象画像に対して縦方向に０．５画素ずれた図１１（ｃ）に示すような“□”で表す画素を有する画像と、対象画像に対して縦横方向にそれぞれ０．５画素ずつずれた図１１（ｄ）に示すような“×”で表す画素を有する画像とが存在すれば、対象画像に対して縦横方向にそれぞれ拡大された図１１（ｅ）に示すような“○” 、“△”、 “□”、および“×”で表す画素を有する画像を得ることができる。
【００６５】
以上のように、対象画像とこの対象画像に対して微少に位置ずれした画像とを用いてエイリアス予測を行うことによって、対象画像を高解像度化することができる。例えば、入力された画像を縦２倍、横２倍に拡大する場合、対象画像を含め４枚の微少に位置ずれした画像を用いて、対象画像を高解像度化することができる。
【００６６】
また、ブロック単位に動き量を推定することによって、ピクチャ内の領域毎に異なる動きをしている場合であっても、動き量を正確に推定することができる。さらに、動き量を推定する際に窓関数をかけることによって、画像端のエネルギーを減少させ、離散フーリエ変換の循環性による精度の劣化を抑えることができる。それによって、動き量を推定する際の精度を向上することができる。
【００６７】
また、動き量の推定方法として、位相相関限定法を用いることにより、サブピクセル精度の動きを非常に高い精度で求めることができ、これにより、対象画像を高解像度化する際に精度良くエイリアス成分を予測できることから、高解像度画像の高画質化を図ることができる。
【００６８】
なお、本実施の形態では、動き推定部１０３は上記のように動き量（δ１，δ２）を推定する際に窓関数をかけているが、これに限られるものではない。例えば、動き推定部１０３は、ブロック化部１０２より分割されたブロックのブロックサイズに応じて窓関数をかけるか否かを切り替えても構わない。図１２は窓関数をかけるか否かを切り替える場合の動作の流れを示すフローチャートである。動き推定部１０３は、ブロック化部１０２より分割されたブロックのブロックサイズがあらかじめ設定した所定値以上であるか否かを判定する（ステップＳ４０１）。この結果、所定値以上である場合（ステップＳ４０１でＹｅｓ）には、動き推定部１０３は窓関数をかける（ステップＳ４０２）。一方、所定値未満である場合（ステップＳ４０１でＮｏ）には、動き推定部１０３は窓関数をかけない、または弱くかける（ステップＳ４０３）。
【００６９】
このようにブロックサイズに応じて窓関数をかけるか否かを切り替え、ブロックサイズが小さい場合には窓関数をかけないまたは弱くかけるようにする。これによって、動き量を推定する際の精度が逆に下がることになるのを防止することができる。これは、例えばブロックサイズが小さい場合（例えば、水平８×垂直８画素以下）に窓関数をかけると、窓関数の影響が強くなって、実質的に使用できる画素数が少なくなる。このため、動き量を推定する際の精度が逆に下がってしまうことになるためである。
【００７０】
また、本実施の形態では、対象ピクチャＭを縦２倍、横２倍に拡大する場合において、例えば対象ピクチャＭと、参照ピクチャＭ＋１、Ｍ−１、Ｍ−２との合計４枚を用いて対象ピクチャＭを拡大しているが、これに限られるものではない。例えば、４枚以上の参照ピクチャの中から、動き推定部１０３が推定する対象ピクチャＭとの画像の類似度が高い３枚の参照ピクチャを選択するようにしても構わない。また、４枚以上の参照ピクチャを用いて動き量を推定し、式（１５）と式（１７）を用いて、低周波数成分Ｈ（ｋ）と、エイリアス成分である高周波数成分Ｈ（ｋ＋Ｎ）を推定する際に、最小２乗法等を用いて推定しても構わない（パターン番号Ｋ、Ｌ）。これらのように参照ピクチャを最低限必要な枚数以上用いることによって、高解像度化の精度、すなわちエイリアス成分の推定精度を向上することができる。
【００７１】
また、高解像度である画像をエイリアス成分が含まれるように低解像度化し、この低解像度化された画像に対して例えば伝送、記録、符号化等の処理を行った後、この低解像度化された画像を本実施の形態で説明したようにエイリアスを用いて高解像度化することができる。
【００７２】
図１４は、このような高解像度画像生成システムの概略構成を示すブロック図である。低解像度化装置２００は、高解像度である画像を低解像度化する。例えば、高解像度である画像がアナログデータであればナイキスト周波数より低い周波数で標本化を行えばよい。また、高解像度である画像がディジタルデータであればフィルタをかけてデータを間引けばよい。なお、標本化周波数またはフィルタのかけ方については、元の高解像度画像の周波数成分より決定することができる。このように低解像度化装置２００により低解像度化された画像を、例えばネットワーク等を介して伝送したり、記録媒体への書き込みしたりする等の伝送／記録処理３００が行われる。伝送された低解像度化画像、または記録媒体より読み出された低解像度化画像は、高解像度画像生成装置１００へ入力される。高解像度画像生成装置１００は、上記のように対象画像とこの対象画像に対して位置ずれした画像とを用いてエイリアス予測を行うことによって、入力された低解像度化画像を高解像度化する。なお、低解像度化された画像を伝送または記録する際に、低解像度化された画像を符号化してから伝送または記録しても構わない。この場合、伝送された低解像度化画像、または記録媒体より読み出された低解像度化画像を復号化してから高解像度画像生成装置１００へ入力すればよい。
【００７３】
このように、高解像度画像を低解像度化し、この低解像度化された画像に対して各種処理を行った後、元の高解像度画像を得ることができる。これによって、低解像度化された画像を扱う各種処理においては、例えば伝送データ量や記録データ量等のデータ量、およびその処理量を削減することが可能となる。
【００７４】
（実施の形態２）
さらに、上記実施の形態１で示した高解像度画像生成方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００７５】
図１５は、上記実施の形態１の高解像度画像生成方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての高解像度画像生成方法が記録されている。
【００７６】
また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての高解像度画像生成方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記高解像度画像生成方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００７７】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００７８】
さらにここで、上記実施の形態で示した高解像度画像生成方法の応用例とそれを用いたシステムを説明する。
図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
【００７９】
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００８０】
しかし、コンテンツ供給システムex１００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
【００８１】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００８２】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する低解像度化および符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの低解像度化および符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの低解像度化および符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、低解像度化および符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像の低解像度化および符号化・復号化および高解像度化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで低解像度化および符号化処理されたデータである。
【００８３】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に低解像度化および符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記低解像度化および符号化処理されたデータを復号化および高解像度化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、低解像度化および符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化および高解像度化し、再生することにより、個人放送をも実現可能になるシステムである。
【００８４】
このシステムを構成する各機器の低解像度化、高解像度化には上記各実施の形態で示した低解像度化装置または高解像度画像生成装置を用いるようにすればよい。
【００８５】
その一例として携帯電話について説明する。
図１７は、上記実施の形態で説明した高解像度画像生成方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化および高解像度化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、低解像度化および符号化されたデータまたは復号化および高解像度化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００８６】
さらに、携帯電話ex１１５について図１８を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００８７】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
【００８８】
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。
【００８９】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００９０】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００９１】
画像符号化部ex３１２は、上記実施の形態で示した低解像度化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを低解像度化および圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００９２】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００９３】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【００９４】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００９５】
次に、画像復号化部ex３０９は、本願発明で説明した高解像度画像生成装置を備えた構成であり、画像データのビットストリームを復号し、上記実施の形態で示した高解像度画像生成方法により高解像度化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００９６】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも低解像度化装置または高解像度画像生成装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化および高解像度化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化および高解像度化する再生装置ex４０３にも上記実施の形態で示した高解像度画像生成装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に高解像度画像生成装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に高解像度画像生成装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００９７】
更に、画像信号を上記実施の形態で示した低解像度化装置で低解像度化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した高解像度画像生成装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００９８】
なお、カーナビゲーションex４１３の構成は例えば図１８に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
【００９９】
また、上記携帯電話ex１１４等の端末は、低解像度化装置および高解像度画像生成装置を両方持つ送受信型の端末の他に、低解像度化装置のみの送信端末、高解像度画像生成装置のみの受信端末の３通りの実装形式が考えられる。
【０１００】
このように、上記実施の形態で示した高解像度画像生成方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０１０１】
以上のように、本発明に係る高解像度画像生成方法は、エイリアス成分を含む低解像度の画像を高解像度化することができ、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、ディジタル化された画像から高解像度画像を生成するための方法等として有用である。
【図面の簡単な説明】
【０１０２】
【図１】本発明に係る高解像度画像生成方法を用いた高解像度画像生成装置の構成を示すブロック図である。
【図２】高解像度画像生成装置の高解像度化部の構成を示すブロック図である。
【図３】高解像度画像を生成する際の全体的な動作の流れを示すフローチャートである。
【図４】対象ピクチャと参照ピクチャとの関係を示す模式図である。
【図５】位相限定相関関数のｎ２＝０の断面を示す模式図であり、（ａ）動き量にサブピクセルの動き量がない場合、（ｂ）動き量にサブピクセルの動き量がある場合を示す模式図である。
【図６】位相限定相関関数を示す模式図である。
【図７】参照ピクチャを選択する際の動作の流れを示すフローチャートである。
【図８】選択された参照ピクチャの数および動き量の位置ずれ方向に基づいて分けられたパターンで選択される拡大方法を示す図である。
【図９】動き量（δ１，δ２）の位置ずれ方向を示す模式図である。
【図１０】低解像度信号および高解像度信号を示す模式図である。
【図１１】画像データを縦２倍、横２倍に拡大する場合の画素を概念的に示す模式図である。
【図１２】窓関数をかけるか否かを切り替える場合の動作の流れを示すフローチャートである。
【図１３】一次元信号におけるエイリアスを示す模式図である。
【図１４】本発明に係る高解像度画像生成システムの概略構成を示すブロック図である。
【図１５】実施の形態１の高解像度画像生成方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(a) 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(b) フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(c) フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。
【図１６】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１７】携帯電話の一例を示す図である。
【図１８】携帯電話の内部構成を示すブロック図である。
【図１９】ディジタル放送用システムの全体構成を示すブロック図である。
【符号の説明】
【０１０３】
１００  高解像度画像生成装置
１０１  ピクチャメモリ
１０２  ブロック化部
１０３  動き推定部
１０４  高解像度化部
１０５  拡大方法選択部
１０６  空間補間部
１０７  離散フーリエ変換部
１０８  エイリアス予測部
１０９  逆離散フーリエ変換部
１１０  参照画像選択部
２００  低解像度化装置
【図１】
2005072935.tif 000021
【図２】
2005072935.tif 000022
【図３】
2005072935.tif 000023
【図４】
2005072935.tif 000024
【図５】
2005072935.tif 000025
【図６】
2005072935.tif 000026
【図７】
2005072935.tif 000027
【図８】
2005072935.tif 000028
【図９】
2005072935.tif 000029
【図１０】
2005072935.tif 000030
【図１１】
2005072935.tif 000031
【図１２】
2005072935.tif 000032
【図１３】
2005072935.tif 000033
【図１４】
2005072935.tif 000034
【図１５】
2005072935.tif 000035
【図１６】
2005072935.tif 000036
【図１７】
2005072935.tif 000037
【図１８】
2005072935.tif 000038
【図１９】
2005072935.tif 000039