(57)【要約】      （修正有）【課題】  ブロックの速度ベクトルに応じて間引き処理と非間引き処理を選択的に行うことによりレンダリングに伴う演算量を従来に比べて削減する。【解決手段】  速度ベクトル計算部３１が検出した各ブロックデータの速度ベクトルＶを基に、当該ブロックデータのレンダリングを間引き処理および非間引き処理の何れで行うかを決定する。間引き処理を行う場合には、ｍ画素のうち１画素についてのみレンダリング処理を行う。【選択図】  図２７
2006338408.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理装置であって、
前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する速度ベクトル検出手段と、
前記レンダリングデータの前記ブロック画像の各々について、前記速度ベクトル検出手段が生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する制御手段と
を有する画像処理装置。
【請求項２】
前記制御手段は、
前記速度ベクトル検出手段が検出した速度ベクトルと、所定の間引き量と、前記レンダリングデータをレンダリングするレートとの関係が、前記間引き処理により生じる全ての折り返し成分が相互に打ち消し合う条件を満たした場合に、前記間引き処理を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記速度ベクトル検出手段は、複数の画素データで構成されるブロックデータを単位として前記速度ベクトルを検出し、
前記制御手段は、前記ブロックデータを単位として、前記間引き処理および前記非間引き処理の何れを行うかを選択する
請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、前記間引き処理を行うブロックデータ内の一つの画素データを新たに生成し、残りの画素データとして当該新たに生成した画素データを割り当てる
請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記間引き処理を行うブロックデータ内の一つの画素データを新たに生成し、残りの画素データとして固定値データを割り当てる
請求項３に記載の画像処理装置。
【請求項６】
前記制御手段は、連続して表示処理される複数のレンダリングデータの間で、前記間引き処理を行う前記ブロック画像を構成する異なる画素位置の画素データを生成する
請求項１に記載の画像処理装置。
【請求項７】
前記速度ベクトル検出手段は、
前記レンダリング基礎データを基に、表示画面上にマッピングされる位置を特定し、当該特定した位置を基に前記速度ベクトルを検出する
請求項１に記載の画像処理装置。
【請求項８】
前記制御手段は、前記生成したレンダリングデータを表示メモリに書き込み処理、送信する処理、記録媒体に書き込む処理のいずれかを行う
請求項１に記載の画像処理装置。
【請求項９】
動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理方法であって、
前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する第１の工程と、
前記レンダリングデータの前記ブロック画像の各々について、前記第１の工程で生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する第２の工程と
を有する画像処理方法。
【請求項１０】
動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理装置が実行するプログラムであって、
前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する第１の手順と、
前記レンダリングデータの前記ブロック画像の各々について、前記第１の手順で生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する第２の手順と
を前記画像処理装置に実行させるプログラム。
【請求項１１】
動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理装置が実行するプログラムを記録する記録媒体であって、
前記プログラムは、
前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する第１の手順と、
前記レンダリングデータの前記ブロック画像の各々について、前記第１の手順で生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する第２の手順と
を前記画像処理装置に実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を処理する画像処理装置、その方法そのプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
ＣＧ(Computer Graphics)は、ゲーム、映画、広告、テレビなどに幅広く使われている技術である。
ＣＧのレンダリングは、仮想的な三次元空間上にあるＣＧデータを、表示するための仮想的なスクリーン上にマッピングする手法であり、主なＣＧのレンダリング手法には、Z-Buffer法、スキャンライン法、レイトレーシング法、ラジオシティ法などがある。
【０００３】
例えばレイトレーシング法は、視点からスクリーン上の画素に向かう直線(レイ)の延長上にあるＣＧデータの内、視点から最も近い物体をレンダリング結果とするものである。さらに、ＣＧデータに反射率や透過率、屈折率などを設定し、視線と物体との交差点から光を逆にたどり、再帰的に反射、屈折を繰り返すことで、透明な物体や反射する物体などのシミュレーションを行うことができるため、高品質なレンダリング結果を作成することができるという特徴がある。
一方で、レイトレーシング法は、反射、屈折などの処理が増えると、レイが分岐し、そのため計算が膨大になるという問題があった。特にＣＧアニメーションを作成する際には、レンダリング時間は大きな問題であり、バウンディングボリューム法や空間分割法などの高速化手法が開発されている。
【０００４】
これらの高速化手法は主に、視点から各ピクセルを通るレイが三次元座標上の物体と交差する交点の計算を高速にするものであり、バウンディングボリューム法は、交差判定処理に時間がかかる複雑な形状を持つレンダリング対象を、交差判定を高速に行うことができる物体、例えば立方体などによって覆い、交差判定をその物体に対してあらかじめ行う手法である。
空間分割法は、3次元空間をあらかじめボクセルに分割しておき、個々のボクセルにどの物体が属しているかを登録しておく。光線が通過するボクセルに対してのみ、光線の始点に近いものから順に検査していき、そのボクセルに登録されている物体に対してのみ詳細な交差判定を行うことで高速化する手法である。
また、2次元平面上での高速化手法として、レンダリングされる画像の内、最終的な出力時に必要な領域をプレビューを見ながらユーザが指定しておき、本レンダリングの時に指定された領域だけをレンダリングすることにより、使用されない無駄なレンダリング部分をなくして高速化を図る方法が知られている。
【特許文献１】特開２０００−２０７４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の高速化の方法は、3次元空間での高速化手法であり、レンダリング手法に依存した方法が主であり、例えばバウンディングボリューム法によるレイの交差点判定の高速化手法を、スキャンライン法にそのまま利用することはできなかった。
レンダリングすべき領域をユーザがあらかじめ指定しなければならず、また、レンダリングすべき領域のレンダリング時間を低減するものではなかった。
また、高いフレームレートで高品質なレンダリングを行うためには、大きな計算パワーが必要であり、さらなるアルゴリズムの高速化が望まれていた。
【０００６】
本発明は上述した従来技術の問題点を解決するために、レンダリングに伴う演算量を従来に比べて削減できる画像処理装置、その方法、そのプログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の画像処理装置は、動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理装置であって、前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する速度ベクトル検出手段と、前記レンダリングデータの前記ブロック画像の各々について、前記速度ベクトル検出手段が生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する制御手段とを有する。
【０００８】
第２の観点の発明の画像処理方法は、動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理方法であって、前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する第１の工程と、前記レンダリングデータの前記ブロック画像の各々について、前記第１の工程で生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する第２の工程とを有する。
【０００９】
第３の観点の発明のプログラムは、動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理装置が実行するプログラムであって、前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する第１の手順と、前記レンダリングデータの前記ブロック画像の各々について、前記第１の手順で生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する第２の手順とを前記画像処理装置に実行させる。
【００１０】
第４の観点の発明の記録媒体は、動画像を構成する複数の画像のレンダリングデータを順に生成する画像処理装置が実行するプログラムを記録する記録媒体であって、前記プログラムは、前記レンダリングデータの生成に用いるレンダリング基礎データを基に、前記レンダリングデータに応じた画像内のブロック画像の速度ベクトルを検出する第１の手順と、前記レンダリングデータの前記ブロック画像の各々について、前記第１の手順で生成した前記速度ベクトルを基に、前記レンダリング基礎データを基に当該ブロック画像に対応した画素データのうち一部の画素データのみを生成する間引き処理と、前記レンダリング基礎データを基に当該ブロック画像に対応した全ての画素データを生成する非間引き処理とを選択的に行って当該レンダリングデータを生成する第２の手順とを前記画像処理装置に実行させる。
【発明の効果】
【００１１】
本発明によれば、レンダリングに伴う演算量を従来に比べて削減できる画像処理装置、その方法、そのプログラムおよび記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態に係わる画像処理装置について説明する。
【００１３】
＜本実施形態における視覚特性および超解像度効果＞
先ず、本実施形態における視覚特性および超解像度効果について説明する。
【００１４】
人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能（以下、時間的積分機能と称する）を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激（閾値）は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるに従って大きくなる。
【００１５】
この関係は、ブロックの法則(Bloch's law)として知られ、以下の式が成り立つ。式中、Ｉは、閾値としての刺激の強度であり、Ｔは、刺激の呈示時間であり、ｋは定数である。
Ｉ×Ｔ＝ｋ
【００１６】
また、この関係は、横軸を刺激呈示時間Ｔとし、縦軸を閾値（強度I）とすると、図１に示すように表すことができる。この曲線は、閾値呈示時間曲線として知られている。図１の閾値呈示時間曲線によれば、強度Ｉａの光がインパルス的に時間Ｔａの間呈示された場合と、Ｉａの１／ｎの強度Ｉｂの光がＴａのｎ倍の時間Ｔｂだけ連続して呈示された場合とで、人は、同じ明るさを感じることになる。
【００１７】
なお、刺激の呈示時間のある時間（図１の例では時間ＴL）までは、ブロックの法則が成り立つが（時間ＴLまでは右下がりの直線になるが）、時間ＴLを越えると閾値が刺激の強度のみに依存するようになる（呈示時間によって変化しなくなり、その結果閾値呈示時間曲線は折れ線のような特性を示す）。ブロックの法則が成り立つ最大の刺激呈示時間ＴLは、臨界呈示時間と呼ばれている。この時間ＴLは、背景光の強度などの刺激呈示条件によって変化するが、およそ２５ｍｓ〜１００ｍｓであるという報告がある。
【００１８】
ブロックの法則の詳細については、例えば、"視覚情報処理ハンドブック,日本視覚学会編,pp.219-220"などに記載されている。
【００１９】
人の視覚はまた、刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（以下、感覚記憶機能と称する）を有している。この時間については、１０ｍｓ〜２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリーとか視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック,日本視覚学界編,pp.229-230"などに記載されている。
【００２０】
次に、視覚特性に基づいて実現される解像度効果について説明する。なお本実施形態における超解像度効果は、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性を利用している。これは上記の時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられるが、以下の説明においては、これを便宜上、時間的積分機能によるものとする。
【００２１】
例えば、水平方向に平行移動する被写体を、所定のフレームレート（以下、入力画像フレームレートと称する）および所定のサンプリングレート（以下、入力画像サンプリングレートと称する）で撮影すると、図２（Ａ）に示すような、被写体像Ｗaが、速度ｖ（ピクセル／フレーム）で、図面に向かって右方向（Ｘ軸方向）に移動する入力フレームＦａが得られる。図２（Ａ）には、連続する４枚の入力フレームＦａ１〜Ｆａ４が図示されている。
【００２２】
このように得られた入力フレームＦａを、Ｘ軸方向（被写体像Ｗaの移動方向）に、入力画像サンプリングレートの、１／ｍのサンプリングレート（以下、表示画像サンプリングレートと称する）でサンプリングするものとする（間引き量ｍで間引きするものとする）。図２（Ａ）の場合、入力フレームＦａが間引き量４で間引きされているので、図２（Ｂ）に示すような、Ｘ軸方向の画素数が１／４になった（Ｘ軸方向に粗くなった）（画質が劣化した）表示フレームＦｂが得られる。表示フレームＦｂには、入力フレームＦａの被写体像Ｗaが間引き量４で間引きされた画像（以下、表示被写体像Ｗbと称する）が含まれている。
【００２３】
そしてこのように得られた表示フレームＦｂを、所定のフレームレート（以下、表示画像フレームレート）で表示するものとする。その結果観測者は、上述した時間的積分機能における積分時間内に表示された複数の表示フレームＦｂの積分画像を知覚する。
【００２４】
ここで観測者の視線は、このように表示された表示フレームＦｂ上の表示被写体像Ｗbを追従しているものとする。この場合観測者の視点は、常に表示被写体像Ｗbの中心に位置するので、観測者の網膜上の表示被写体像Ｗbはほぼ静止している。図２（Ｂ）に示す座標軸Ｖｘ，Ｖｙは、網膜上の座標を示し、座標軸Ｘ，Ｙは、フレーム上の座標を示している（ともに、図中表示フレームＦｂ１上に示されているが、表示フレームＦｂ２〜Ｆｂ４についてはその図示は省略されている）。座標軸Ｖｘ，Ｖｙは、網膜には実像の反転像が結像するため、座標系の向きは座標軸Ｘ，Ｙと逆になっている。
【００２５】
また、表示フレームＦｂのサンプリングは、図３中の点線で示されているように、フレーム上一定の位置（この例の場合、４画素間隔の位置）がサンプルされる。したがって、移動量がサンプリング間隔の倍数と一致しない場合、サンプリングされる被写体像Ｗaの位置は、フレーム毎にｖずつずれるので、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分で形成される。
【００２６】
例えば、被写体像Ｗaの移動速度ｖが、１（ピクセル／フレーム）である場合、フレーム間の移動量（１ピクセル）がサンプリング間隔（４ピクセル）の倍数と一致せず、サンプリングされる被写体像Ｗaの位置が、１画素ずつＸ軸方向にずれる。したがってこの場合、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、その分だけ異なる部分から形成される。
【００２７】
このように表示被写体像Ｗbが、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分から形成されている場合、その表示被写体像Ｗbが視覚系で複数フレームにわたって積分されることにより、表示被写体像Ｗbより画素が密になった画像（表示被写体像Ｗbの解像度より高解像度（以下、超解像度と称する）の画像）が知覚される。
【００２８】
例えば、視覚特性における積分時間が、図２（Ｂ）における４枚分の表示フレームＦｂの表示時間に相当し、表示フレームＦａ１〜Ｆａ４の４個の表示被写体像Ｗbが積分される場合、図２（Ｃ）に示すような、表示被写体像Ｗbの解像度の約４倍、すなわち被写体像Ｗaと同程度の解像度の画像が知覚される。
【００２９】
超解像度効果はこの原理によって実現されるが、間引き処理を施すと折り返し成分が発生し、それが折り返し歪みとなり画質が劣化する。そこで本実施形態では、以下に説明するようにその折り返し成分を取り除く工夫がなされている。
【００３０】
式（１）は、１次元の原信号f(x)を間隔Ｘで離散化した信号fs(ｘ)を表している。式（１）中、δ(ｘ)はデルタ関数である。式（２）は、離散化信号fs(ｘ)のフーリエ変換Fs(ω)を表している。式（２）中、F(ω)は原信号f(ｘ)のフーリエ変換であり、ωsはサンプリング角周波数を表している。
【００３１】
【数１】
2006338408.tif 000003
【００３２】
【数２】
2006338408.tif 000004
【００３３】
式（３）は、原信号f(ｘ)を、実空間においてφだけずらして間隔Ｘでの離散化を行った信号fsφ(ｘ)のフーリエ変換Fsφ(ω)を表している。
【００３４】
【数３】
2006338408.tif 000005
【００３５】
式（３）は、ｋ＝０の基本波は原信号と同じになり、ｋ＝ｎのｎ次高調波は2πnφだけ位相がずれていることを示している。上述のように、被写体像Ｗaがある移動速度ｖで平行移動しているとし、移動方向に１／ｍで間引きサンプリングする場合を考えると、原信号は表示フレームＦｂのナイキスト周波数のｍ倍の帯域を持っている。したがって、１／ｍで間引きサンプリングされたサンプリング信号fsφ(x)は折り返し成分を持っており、式（３）において、ｋ＝０は原信号成分となり、ｋ＝１，２，・・・，(ｍ−１)は折り返し成分となる。
【００３６】
図４は、間引き量ｍ＝２としたときのフーリエ変換Fsφ(ω)を示している。このとき、原信号の帯域はナイキスト周波数の２倍となり、１／ｍで間引きサンプリングされたサンプリング信号fsφ(x)には１次高調波の折り返し成分が存在している。この図からわかるように、サンプリング信号fsφ(x)は原信号f(x)のフーリエ変換F(ω)成分をそのまま持っており、ｋ＝１における１次高調波F(ω-ωs)およびF(ω+ωs)が、それぞれ −2πφおよび 2πφだけ位相がずれて折り返している。
【００３７】
間引きサンプリング間隔が１／ｍの場合には、その１／ｍで間引きされたサンプリング信号fsφ(x)には１〜（ｍ−１）次の折り返し成分が存在し、それぞれの位相は2πkφだけずれていることになる。このサンプリング信号fsφ(x)は、φだけずれた原信号f(x)を１／ｍに間引きサンプリングした信号であるので、図２（Ｂ）における任意の１表示フレームＦｂに相当すると考えられる。
【００３８】
ここで図２（Ｂ）における時間的に異なる各表示フレームＦｂの信号について考える。被写体（原信号ｆ(x)）が速度ｖで平行移動している場合、図３で示したように、フレーム毎にサンプル点の位相がずれる。このことから、式（３）におけるサンプリング点のずれ量φは時間tの関数となっており、速度ｖ(ピクセル/フレーム)と間引き量ｍ(ピクセル)に依存して式（４）のようになる。式（４）中Ｔは、時間間隔を表しており、フレームレートの逆数である。
【００３９】
【数４】
2006338408.tif 000006
【００４０】
式（４）は、ｔ＝０のときにずれ量φ0が０となり、ｔ＝Ｔ，２Ｔ，３Ｔ・・・と変化するにつれてずれ量がｖ／ｍずつ増えていくことを表している。式（４）を式（３）に当てはめると、各時刻における折り返し成分の位相が求められる。図５は、１次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相を表している。図６は、２次の折り返し成分の、図７は、３次の折り返し成分の、そして図８は、４次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相をそれぞれ表している。
【００４１】
このようにｋ次の折り返し成分は、時間、すなわちフレームが進むに従って、等間隔（２πｋφT間隔）で回転し、時間ｔ＝（ｍ／ｖ）Ｔの時に位相０に戻る。また折り返し成分の次数が上がるに従って、位相の回転間隔が倍になる。
【００４２】
このように間引き量ｍでの間引き処理（間引きサンプリング）によって発生するｋ（＝１，２，・・・，（ｍ−１））次の折り返し成分の位相は、２πｋφTで回転するので、位相の方向と積分される画像の数（合成される折り返し成分の数）によっては、折り返し成分が互いに打ち消される場合がある。言い換えれば、φtは、式（４）に示すように移動速度ｖと間引き量ｍに依存するので、移動速度ｖと間引き量ｍ並びに積分される画像の数によって、折り返し成分が互いに打ち消される場合がある。
【００４３】
例えば、ｖ＝１である場合、ｍ＝４で間引きしたとき、表示フレームＦｂの画像には、図９に示すように、０（＝２π×１×［（１／４）×０／Ｔ］），π／２（＝２π×１×［（１／４）×（Ｔ／Ｔ）］，π（＝２π×１×［（１／４）×２Ｔ／Ｔ］、３／２π（＝２π×１×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π／２間隔で位相が変化する）１次の折り返し成分が存在する。なお図９においてｔ＝４Ｔ以降の折り返し成分の図示は省略されている。後述する図１０および図１１においても同様である。
【００４４】
表示フレームＦｂの画像にはまた、図１０に示すように、０（＝２π×２×［１／４×０／Ｔ］），π（＝２π×２×［１／４×Ｔ／Ｔ］）、２π（＝２π×２×［（１／４）×（２Ｔ／Ｔ）］）、３π（＝２π×２×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π間隔で位相が変化する）２次の折り返し成分と、図１１に示すように、０（＝２π×３×［（１／４）×（０／Ｔ）］、３π／２（＝２π×３×［（１／４）×（Ｔ／Ｔ）］、３π（＝２π×３×［（１／４）×（２Ｔ×Ｔ）］）,９π／２（＝２π×３×［（１／４）×（３Ｔ／Ｔ）］），・・・で位相が変化する（３π／２間隔で位相が変化する）３次の折り返し成分が存在する。
【００４５】
この場合、ｔ＝０，Ｔ，２Ｔ，３Ｔそれぞれにおける１次〜３次の折り返し成分のベクトルは、図９〜図１１に示したように、それぞれ互いに打ち消す方向を向いているので、視覚系で４枚分の表示フレームＦｂが積分される場合、それらはすべて打ち消される。
【００４６】
ｋ次の折り返し成分が打ち消される条件を式で表せば、式（５）のようになり、式（５）をオイラーの公式により展開すれば、式（６），（７）のようになる。
【００４７】
【数５】
2006338408.tif 000007
【００４８】
【数６】
2006338408.tif 000008
【００４９】
【数７】
2006338408.tif 000009
【００５０】
すなわち本実施形態では、被写体像Ｗaの移動速度ｖに応じて、互いに打ち消される折り返し成分が発生するように間引き量ｍを決定することによって、折り返し成分を除去するようにしている。
【００５１】
ここで離散化信号fsφ(ｘ)を帯域制限型のデジタルフィルタにより１／ｍに縮小する場合を考えると、φだけずれた原信号f(x)は折り返しが発生しないようにナイキスト周波数において帯域制限される。このため例えばｍ＝２のとき、フーリエ空間は、図１２に示すようになり、１／ｍに縮小された信号に対応する各フレーム画像は折り返し成分を含まない低解像度の画像となる。したがって、この場合には縮小信号の基本波は原信号とは異なる信号となっており、複数フレームの画像をどのように加算処理してもナイキスト周波数以上の周波数成分を表現することはできず、超解像度効果を得ることができない。したがってこのことから、超解像効果を得るためには、原信号を帯域制限しないことが重要であり、広帯域の空間周波数成分を持つ原画像を間引きサンプリングするのが最適である。
【００５２】
なお以上においては簡単のために、原信号が１次元信号の場合を例として説明したが、２次元画像においても同様である。また図２を参照して被写体像ＷaのＸ軸方向の移動を例として説明したが、Ｙ軸方向の移動についても同様である。
【００５３】
次に互いに打ち消される折り返し成分の条件（超解像度効果を得ることができる画像の折り返し成分の条件）について説明する。
【００５４】
超解像度効果を得ることができるための条件は、式（５）が成立する、つまり式（６）および式（７）が成立することである。これは、図１３に示すように、時刻ｔにおけるｋ次の折り返し成分をベクトルＺk(t)とすると、視覚系の積分範囲におけるベクトルＺk(t)和がゼロになることである。この条件の成立は、積分時間に依存するが、この積分時間は、観察環境によって変化することが知られている上に、それを正確に計測することが困難なため、この条件を満たす範囲を限定することは難しい。
【００５５】
一方、例えば、所定の移動速度ｖでＸ軸方向またはＹ軸方向に移動する被写体像Ｗaを、所定の間引き量ｍでサンプリングして所定のフレームレート毎に表示し、表示された表示被写体像Ｗbを、観測者が実際に見て超解像度で知覚できたかを確認する実験から、フレームレートが高い、つまり積分される画像数が多ければ、間引き量ｍが大きくなっても超解像度効果が得られることがわかっている。このとき超解像度効果が得られる条件は、移動速度ｖに依存しており、およそ式（８）のような関係にあると考えられる。
【００５６】
[数８]
２πｎ＋α≦２πｋφT≦２π（ｎ＋１）−α・・・（８）
【００５７】
前述のように、各折り返し成分の位相は２πｋφT間隔で回転するが、式（８）は、その各次の折り返し成分の位相回転間隔が、２πの倍数に近いときには超解像度効果が得られないことを表している。図１４に示すように、位相回転間隔が２πの倍数に近いということは、時刻ｔが変化しても折り返し成分の位相がほとんど変わらないことを意味しており、折り返し成分は打ち消されずに残ってしまうためである。
【００５８】
例えば、ｍ＝４のときに発生する１次〜３次の折り返し成分について、式（８）の成立条件を検討すると、図１５中、陰が付されている移動速度ｖ（ピクセル／フレーム）の範囲では、式（８）が成立せず、超解像度効果を得ることができない。
【００５９】
この１次の折り返し成分については、例えば、ｖ＝４のとき、折り返し成分の位相回転間隔＝２π×１×（４／４）（２πｋφT）となり、折り返し成分の位相回転間隔は２πの１倍となるので、速度ｖ＝４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、１次式の折り返し成分が打ち消されなくなる。すなわちｖ＝４ｎ（ｎ＝０，１，２，３，・・・）のとき、位相回転間隔は２πのｎ倍となるので、ｖ＝４ｎを中心とする一定範囲においては、１次式の折り返し成分は打ち消されない。
【００６０】
２次の折り返し成分については、例えば、ｖ＝２のとき、位相回転間隔＝２π×２×（２／４）（２πの１倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×２×（４／４）（２πの２倍）となるので、速度ｖ＝２，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、２次式の折り返し成分が打ち消されなくなる。すなわちｖ＝２ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝２ｎを中心とする一定範囲においては、２次式の折り返し成分は打ち消されない。
【００６１】
３次の折り返し成分については、例えば、ｖ＝４／３のとき、位相回転間隔＝２π×３×（４／３）／４（２πの１倍）となり、ｖ＝８／３のとき、位相回転間隔＝２π×３×（８／３）／４（２πの２倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×３×４／４（２πの３倍）となるので、速度ｖ＝４／３，８／３，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、３次式の折り返し成分が打ち消されなくなる。すなわちｖ＝（４／３）ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝（４／３）ｎを中心とする一定範囲においては、３次式の折り返し成分は打ち消されない。
【００６２】
なお速度ｖ＝０のとき、位相回転間隔２πｋφT＝０となるので、１次〜３次の折り返し成分のそれぞれは、ｖ＝０付近の一定範囲（０〜ｖα1，０〜ｖα2，０〜ｖα3）において打ち消されなくなる。
【００６３】
ｍ＝３のときに存在する１次，２次の折り返し成分（図１６）およびｍ＝２のときに存在する１次の折り返し成分（図１７）についても、ｍ＝４を例として上述したように、位相回転間隔が２πの倍数を中心とする２αの範囲内となる速度では、各次式の折り返し成分は打ち消されない。
【００６４】
また、図１３に示すように、折り返し成分の次数が上がるに従い、各次数における位相回転間隔は２倍、３倍と大きくなる。位相回転間隔をθとすれば被写体像Ｗaの移動速度ｖが小さく、位相回転間隔θがαより小さいときには式（８）が成立せず超解像度効果は得られない。被写体像Ｗaの移動速度ｖが上がり、位相回転間隔がαに達すると超解像度が得られる。このことから、αは超解像度効果が得られる臨界点（位相回転間隔）であると考えられる。このαは、表示画像フレームレートによって変化し、表示画像フレームレートが高いと小さくなる傾向にある。臨界点における被写体像Ｗaの移動速度をｖαとすると、式（９）が得られ、それを変形すると式（１０）が得られる。したがって表示画像フレームレートが高くなってαが小さくなると、速度ｖα（図１５の例の場合、ｖα1、ｖα2、またはｖα3）が小さくなり、その結果、移動量が小さくても超解像度効果が得られる。
【００６５】
【数９】
2006338408.tif 000010
【００６６】
【数１０】
2006338408.tif 000011
【００６７】
また、式（１０）から、臨界点におけるｖαは、間引き量ｍと折り返し成分の次数ｋに依存しており、間引き量ｍが大きくなると臨界点の速度ｖαも大きくなることがわかる。また次数ｋが大きくなると臨界点における速度ｖαは小さくなることから（図１５の例の場合、ｖα2はｖα1より小さく、ｖα3はｖα2より小さくなることから）、高次の折り返し成分における超解像度効果が得られない領域は狭くなることがわかる。
【００６８】
以上をまとめると、視覚系における超解像度効果について以下のことが言える。
・超解像度効果が得られる臨界点αは、高フレームレート表示において小さくなる。
・間引き量がｍのとき、１〜ｍ−１次の折り返し成分が式（８）を満たす必要がある。
・間引き量ｍが小さくなると、臨界点における被写体像Ｗaの速度ｖαは小さくなる（間引き量ｍが小さい場合には、移動量が小さくても超解像度効果が得られる）。
【００６９】
以上から、被写体の移動速度（大きさと方向）に応じて間引き処理を行うことにより、超解像度効果を実現することができることがわかる。
【００７０】
なおこのように表示画像フレームレートを高くすることは超解像度効果を得るのに有利となるが、表示画像フレームレートを高くすれば、その他、動きぼけやジャーキネス等の画質劣化を改善することにも有利となる。
【００７１】
上述したように、人間には、表示される被写体がある速度で表示画面上を移動し、それを追従視した時、一定時間内に網膜に入射した光を積分したものが知覚されるという視覚特性がある。この時間積分効果を利用し、画像に空間的間引き処理を施すことで画像の圧縮を行うことができる。
以下に示す本実施形態の画像処理装置では、この効果をＣＧレンダリングに利用し、レンダリング画面上で動きのある物体に関しては、レンダリングを間引いて行うことで、レンダリング時間を短縮する。
また、本実施形態の画像処理装置では、従来の手法と異なり、3次元空間上ではなくレンダリング画像上において、処理するピクセルを取捨するため、レイトレーシング法に限らず、多くのレンダリング手法に対して利用できるという特徴がある。
【００７２】
＜超解像度効果とレンダリング＞
人間の視覚特性の法則の一つであるBlochの法則によれば、刺激の検出閾をI、呈示時間をTとすると、その積は一定である。すなわち、前述したように「Ｉ・Ｔ＝ｋ」となり、この法則が成り立つ最大の時間を臨界時間と言う。つまり、人間は一定時間に与えられた光を分離して認知することができない。
臨界時間より短い時間で元となる画像を間引いた画像を呈示したとしても、一定の速度で視点が表示画面上を移動した場合、それらの光が網膜上で積分されたものが認知されるので、間引きによる折り返し成分が打ち消され、元となる画像と同じ画像が人間に認知される。これを超解像効果と呼ぶこととする。超解像効果はある一定の速度で移動する対象を追従した時に発生するものである。
【００７３】
ＣＧのレンダリングを行う際、超解像効果の発生する条件下では、画素を間引いてレンダリングしたとしても、観察者には全画素をレンダリングした時と変わらない画像が認知されるので、例えば高フレームレートでＣＧのビデオを表示するような場合に当該技術が有用である。
【００７４】
図１８に全画素をレンダリングしたＣＧの例を示す。画面中では背景画像５１，５２，５３が静止しており、対象画像５８が矢印の方向に移動しているものとする。この時、対象画像５８が超解像条件を満たすとすると、これを間引いて表示しても、観察される画像が変わらないことを示す。
【００７５】
図１９に、間引いてレンダリングした1枚の画像を示す。ここでは、対象画像５８の動き方向に、4画素データごと間引きを行っている。間引いた画素データには、隣接する間引かれていない画素データの値をコピーして代入する。
本実施形態では、間引いた画素データには、その左側にある間引かれていない画素（画像）データを用いている。このようにして作られたレンダリングデータを図２０に示す。対象画像５８が引き伸ばされて、対象画像６８になっているのが分かる。
【００７６】
本実施形態の画像処理装置では、フレームデータＦＲ（ｔ）のレンダリング処理で、図１８の画像（画素データ）Ａのレンダリング処理を行い、その結果をコピーして図２０に示す画像データを表示メモリに書き込む。
また、当該画像処理装置では、フレームデータＦＲ（ｔ＋１）のレンダリング処理で、図１８の画像（画素データ）Ｂのレンダリング処理を行い、その結果をコピーして図２１に示す画像データを表示メモリに書き込む。
また、当該画像処理装置では、フレームデータＦＲ（ｔ＋２）のレンダリング処理で、図１８の画像（画素データ）Ｃのレンダリング処理を行い、その結果をコピーして図２２に示す画像データを表示メモリに書き込む。
また、当該画像処理装置では、フレームデータＦＲ（ｔ＋３）のレンダリング処理で、図１８の画像（画素データ）Ｄのレンダリング処理を行い、その結果をコピーして図２３に示す画像データを表示メモリに書き込む。
また、当該画像処理装置では、フレームデータＦＲ（ｔ＋４）のレンダリング処理で、再び図１８の画像Ａのレンダリング処理を行い、その結果をコピーして図２４に示す画像データを表示メモリに書き込む。
【００７７】
図２０〜図２４で表示メモリに書き込んだ画像データに応じて画像６８（ｔ）〜６８（ｔ＋４）を追従して肉眼で見ると、網膜上に臨界時間内で入射したとすると、これらの光を積分した値が観察者に認知されるので、結果として図２５に示す画像６８が認知されることとなり、図１８に示すように全画素をレンダリングして観察した場合と変わらない画像が認知される。
【００７８】
このように、動いている対象については、全画素をレンダリングする場合に比べてレンダリングすべき画素数を少なくしても良いが、背景画像５１，５２，５３の部分は移動をしていないので、超解像効果が発生しない。このような部分については、間引きレンダリングではなく、全画素レンダリングを行うが、時間方向の変化が少ないので、時間方向のレンダリング枚数を減らすことで、レンダリング時間を減少させることも可能である。
【００７９】
＜本実施形態の画像処理装置＞
以下、本発明の実施形態に係わる画像処理装置を説明する。
先ず、本実施形態の構成と、本発明の構成との対応関係を説明する。
図２７に示す速度ベクトル計算部３１が本発明の速度ベクトル検出手段の一例であり、レンダリング部３３が本発明の制御手段の一例である。
また、速度ベクトル計算部３１が速度ベクトルＶを生成する処理が、本発明の第１の工程および第１の手順の一例である。
また、レンダリング部３３が行う図２８および図２９の処理が、本発明の第２の工程および第２の手順の一例である。
また、本実施形態のレンダリングデータＲＤが本発明のレンダリングデータの一例であり、本実施形態のレンダリング基礎データＯＤが本発明のレンダリング基礎データの一例である。
【００８０】
図２６は、本発明の実施形態に係わる画像処理装置１の構成図である。
図２６に示すように、画像処理装置１は、例えば、インターフェース２１、表示メモリ２２、ディスプレイ２３、メモリ２４、ＣＰＵ２５、グラフィックエンジン２６および画像メモリ２７を有し、これらがデータ線２０を介して接続されている。
【００８１】
画像処理装置１は、グラフィックエンジン２６において、観測者が画質劣化を認識しないように、レンダリング処理を間引いて行い、演算量を削減し、処理時間の短縮および回路規模の縮小を図る。
【００８２】
インターフェース２１は、画像処理装置１の外部からレンダリング基礎データなどを入力し、これを画像メモリ２７に書き込む。
【００８３】
表示メモリ２２は、グラフィックエンジン２６によってレンダリングデータが書き込まれる。
ディスプレイ２３は、表示メモリ２２に記憶されたレンダリングデータに応じた画像を表示する。
【００８４】
メモリ２４は、ＣＰＵ２５およびグラフィックエンジン２６の処理を規定したプログラムＰＲＧを記憶する。
ＣＰＵ２５は、メモリ２４に記憶されたプログラムＰＲＧに基づいて、画像処理装置１の動作を統括的に制御する。
グラフィックエンジン２６は、メモリ２４に記憶されたプログラムＰＲＧに基づいて、後述するレンダリング処理を行う。
【００８５】
以下、グラフィックエンジン２６について詳細に説明する。
図２７は、図２６に示すグラフィックエンジン２６の構成図である。
図２７に示すように、グラフィックエンジン２６は、例えば、速度ベクトル計算部３１およびレンダリング部３３を有する。
速度ベクトル計算部３１およびレンダリング部３３は、電子回路によって構成されてもよいし、グラフィックエンジン２６がプログラムＰＲＧを実行して構成してもよい。
【００８６】
［速度ベクトル計算部３１］
速度ベクトル計算部３１は、レンダリング基礎データＯＤを基に、対象画像が画像平面上のどの点にマッピングされるかをフレームデータ毎に計算することで、レンダリングしようとする画像内の対象画像の速度ベクトルＶを生成し、これをレンダリング部３３に出力する。
速度ベクトル計算部３１は、例えば、ｍ個の画素データによって構成されるブロックデータを単位として速度ベクトルＶを生成する。
【００８７】
レンダリング基礎データＯＤは、ＣＧをレンダリングするために必要な情報であり、例えば、グローバル座標系やカメラ座標系、レンダリング画像平面上の座標系などの座標系間の変換行列、対象のポリゴンデータやマテリアル成分、光源の種類や方向や位置、カメラの画角や方向や位置、レンダリングされる画像サイズなどを示している。
速度ベクトル計算部３１は、レンダリング基礎データＯＤが示す上記座標系間の変換行列を用いて、上記速度ベクトルＶを生成する。
【００８８】
［レンダリング部３３］
レンダリング部３３は、レンダリング画像上のレンダリングされるべき画素データを選択し、その画素データに対してのみレンダリングを行い、レンダリングしない画素データについては、レンダリングした画素データの値をコピーする。
レンダリング部３３は、速度ベクトル計算部３１から入力した速度ベクトルＶを基に、処理対象のブロックデータが超解像条件を満たすか否かを判断する。
そして、レンダリング部３３は、超解像条件を満たすと判断すると、レンダリングの間引き処理を行う。
【００８９】
レンダリング部３３は、前述したように、超解像条件を満たすか否かを判断する。
すなわち、サンプリング点のずれ量φは、レンダリング画像上の速度をＶ(pixel/frame)と間引き量をｍ(pixel)とすると、上記式（４）で規定される。
ここで、Ｔは時間間隔であり、フレームレートの逆数である。
このとき、上記式（５）を満たすことが超解像の発生条件である。
前述したように、上記式（５）をオイラーの公式により展開すれば、上記式（６），（７）が成立すれば良いことになる。
【００９０】
レンダリング部３３は、臨界呈示時間内に上記式（６），（７）が成立する場合に、超解像度発生条件を満たすと判断する。
【００９１】
レンダリング部３３は、上記ブロックデータ毎に上記超解像度発生条件を満たすか否かを判断し、当該超解像度条件を満たすと判断したブロックデータについては、当該ブロックデータ内の１画素データについてのみレンダリングを行い、他の画素データはレンダリングせずに、上記レンダリングした画素データのコピーを代入する。すなわち、レンダリング部３３は、上記超解像度条件を満たすと判断した場合に、間引き量ｍ個の画素データ毎に１画素データだけレンダリングを行う。
なお、レンダリング部３３は、図２０〜図２５を用いて説明したように、連続して表示処理される複数のフレーム画像内の上記間引き処理を行うブロックデータについて、相互に異なる画素位置の画素データを新たに生成するように制御を行う。これにより、前述した超解像度効果を得ることができる。
【００９２】
なお、レンダリング部３３は、間引き処理を行う上記ブロックデータ内の上記他の画素データとして、予め決められた固定値データを割り当ててもよい。
【００９３】
レンダリング部３３は、上記超解像度条件を満たさないブロックデータについては、当該ブロックデータ内の全ての画素データをレンダリングする。
レンダリング部３３が行う上記レンダリングは、例えばレイトレーシング法であれば、視点中心からレンダリング画面の各画素を通るレイを画素ごとに求め、３次元空間上の物体との交差判定を行ってレンダリングを行う。
【００９４】
レンダリング部３３は、上述した間引き処理を、表示位置が連続したｍ個の画素データ毎に１つの画素データを生成して行ってもよいし、各々複数の画素データで構成されるｍ個のブロックデータ毎に１つのブロックデータの画素データを生成して行ってもよい。
【００９５】
以下、レンダリング部３３が行う各フレームのレンダリング処理を説明する。
図２８および図２９は、レンダリング部３３が行う各フレームのレンダリング処理を説明するためのフローチャートである。
以下の説明において、処理対象のフレームのi番目のブロックデータをｂ（ｉ）と表わす。
【００９６】
ステップＳＴ１：
レンダリング部３３は、変数ｉに初期値「０」を代入する。
【００９７】
ステップＳＴ２：
レンダリング部３３は、速度ベクトル計算部３１が生成した速度ベクトルＶのなかから、処理対象（未処理）のブロックデータｂ（ｉ）の速度ベクトルｖ（ｉ）を抽出する。
【００９８】
ステップＳＴ３：
レンダリング部３３は、ステップＳＴ２で特定した速度ベクトルｖ（ｉ）を基に、ｖ＝ｖ（ｉ）としたときの上記式（４）を用いてφｔを計算する。
【００９９】
ステップＳＴ４：
レンダリング部３３は、ステップＳＴ３で計算したφｔを基に、上記式（６），（７）の条件、すなわち超解像度条件を満たすか（が成立するか）否かを判断し、満たすと判断するとステップＳＴ５に進み、満たさないと判断するとステップＳＴ１２に進む。
【０１００】
ステップＳＴ５：
レンダリング部３３は、処理対象のブロックデータｂ（ｉ）内の所定（先頭）の画素位置を（ｘ，ｙ）に代入する。
【０１０１】
ステップＳＴ６：
レンダリング部３３は、画素位置（ｘ，ｙ）のレンダリング基礎データＯＤを図２６に示す画像メモリ２７から読み出してレンダリング処理を行い、そのレンダリング結果を変数ｄに代入する。
【０１０２】
ステップＳＴ７：
レンダリング部３３は、変数ｊに初期値「０」を代入する。
【０１０３】
ステップＳＴ８：
レンダリング部３３は、処理対象のブロックデータｂ（ｉ）内のｊ番目の画素位置を（ｘ、ｙ）に代入する。
【０１０４】
ステップＳＴ９：
レンダリング部３３は、画素位置（ｘ、ｙ）のレンダリング結果であるｒ（ｘ、ｙ）に、ステップＳＴ６で得た変数ｄの値を代入する。
【０１０５】
ステップＳＴ１０：
レンダリング部３３は、処理対象のブロックデータ（ｉ）内の全ての画素位置のｒ（ｘ、ｙ）を得たか（走査終了したか）否かを判断し、得たと判断するとステップＳＴ１８に進み、そうでない場合にはステップＳＴ１１に進む。
【０１０６】
ステップＳＴ１１：
レンダリング部３３は、変数ｊを１だけインクリメントする。
【０１０７】
ステップＳＴ１２：
レンダリング部３３は、変数ｊに初期値「０」を代入する。
【０１０８】
ステップＳＴ１３：
レンダリング部３３は、処理対象のブロックデータｂ（ｉ）内のｊ番目の画素位置を（ｘ，ｙ）に代入する。
【０１０９】
ステップＳＴ１４：
レンダリング部３３は、画素位置（ｘ，ｙ）のレンダリング基礎データＯＤを図２６に示す画像メモリ２７から読み出してレンダリング処理を行い、そのレンダリング結果を変数ｄに代入する。
【０１１０】
ステップＳＴ１５：
レンダリング部３３は、ステップＳＴ１４で得た変数ｄの値を、画素位置（ｘ、ｙ）のレンダリング結果であるｒ（ｘ、ｙ）に代入する。
【０１１１】
ステップＳＴ１６：
レンダリング部３３は、処理対象のブロックデータ（ｉ）内の全ての画素位置のｒ（ｘ、ｙ）を得たか（走査終了したか）否かを判断し、得たと判断するとステップＳＴ１８に進み、そうでない場合にはステップＳＴ１７に進む。
【０１１２】
ステップＳＴ１７：
レンダリング部３３は、変数ｊを１だけインクリメントする。
【０１１３】
ステップＳＴ１８：
レンダリング部３３は、レンダリング基礎データＯＤによって規定される全てのブロックデータのレンダリング処理を完了したか（走査を終了したか）否かを判断し、終了したと判断すると処理を終了し、そうでない場合には、ステップＳＴ１９に進む。
【０１１４】
ステップＳＴ１９：
レンダリング部３３は、変数ｉを１だけインクリメントする。
【０１１５】
レンダリング部３３は、図２０〜図２５を用いて説明したように、連続して表示処理される複数のフレーム画像内の上記間引き処理を行うブロックデータについて、相互に異なる画素位置の画素データを新たに生成するように図２８および図２９に示す間引き処理および非間引き処理を行う。これにより、前述した超解像度効果を得ることができる。
【０１１６】
以上説明したように、画像処理装置１によれば、図２６に示すグラフィックエンジン２６において、動き画像のレンダリング処理の演算量を１／４に削減できる。
これにより、レンダリング処理時間の短縮、並びにグラフィックエンジン２６の小規模化を図れる。
【０１１７】
また、グラフィックエンジン２６が行う処理は、３次元空間上での高速化手法ではなく、２次元平面上でレンダリングする画素数を減らす方法であるので、他のレンダリング高速化手法と併用することができる。
【０１１８】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【０１１９】
例えば、上述した実施形態では、上記間引き量ｍとして、「４」を例示したが、ｍは「２」以上であれば特に限定されない。
【０１２０】
また、上述した実施形態では、間引き処理および非間引き処理により生成したレンダリングデータを図２６に示す表示メモリ２２に書き込む場合を例示したが、レンダリングデータを、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体にストレージ用として書き込んでもよい。
また、上記生成したレンダリングデータを、送信用バッファメモリに書き込んでもよい。
【０１２１】
例えば、図２６に示す画像処理装置１のＣＰＵ２５およびグラフィックエンジン２６の機能の全部または一部を、処理回路がプログラムを実行する形態で実現してもよい。
例えば、図３０に示すように、インタフェース１５１、メモリ１５２および処理回路１５３をデータ線５０で接続して画像処理装置１ａを構成してもよい。
画像処理装置１ａは、メモリ１５２からプログラムＰＲＧを読み出して実行し、成就ついた実施形態で説明した画像処理装置１の機能を実現する。
【図面の簡単な説明】
【０１２２】
【図１】図１は、ブロックの法則を説明する図である。
【図２】図２は、解像度変換処理の原理を説明する図である。
【図３】図３は、サンプリング位置を説明する図である。
【図４】図４は、折り返し成分を説明する図である。
【図５】図５は、折り返し成分の位相の変化を説明する図である。
【図６】図６は、折り返し成分の位相の変化を説明する他の図である。
【図７】図７は、折り返し成分の位相の変化を説明する他の図である。
【図８】図８は、折り返し成分の位相の変化を説明する他の図である。
【図９】図９は、折り返し成分の位相の変化を説明する他の図である。
【図１０】図１０は、折り返し成分の位相の回転間隔を説明する図である。
【図１１】図１１は、折り返し成分の位相の回転間隔を説明する他の図である。
【図１２】図１２は、折り返し成分を説明する他の図である。
【図１３】図１３は、折り返し成分の位相の回転間隔を説明する他の図である。
【図１４】図１４は、超解像度効果を得るための折り返し成分の位相を説明する図である。
【図１５】図１５は、超解像度効果を得ることができない速度範囲を示す図である。
【図１６】図１６は、超解像度効果を得ることができない速度範囲を示す他の図である。
【図１７】図１７は、超解像度効果を得ることができない速度範囲を示す他の図である。
【図１８】図１８は、超解像度効果の一例を説明するための図である。
【図１９】図１９は、超解像度効果の一例を説明するための図である。
【図２０】図２０は、超解像度効果の一例を説明するための図である。
【図２１】図２１は、超解像度効果の一例を説明するための図である。
【図２２】図２２は、超解像度効果の一例を説明するための図である。
【図２３】図２３は、超解像度効果の一例を説明するための図である。
【図２４】図２４は、超解像度効果の一例を説明するための図である。
【図２５】図２５は、超解像度効果の一例を説明するための図である。
【図２６】図２６は、本発明の実施形態に係わる画像処理装置の構成図である。
【図２７】図２７は、図２６に示すグラフィックエンジンの構成図である。
【図２８】図２８は、図２７に示すグラフィックエンジンが各フレームデータをレンダリングする処理を説明するためのフローチャートである。
【図２９】図２９は、図２７に示すグラフィックエンジンが各フレームデータをレンダリングする処理を説明するための図２８の続きのフローチャートである。
【図３０】図３０は、図２６に示す画像処理装置の変形例を説明するための図である。
【符号の説明】
【０１２３】
１，１ａ…画像処理装置、２０…データ線、２１…インターフェース、２２…表示メモリ、２３…ディスプレイ、２４…メモリ、２６…グラフィックエンジン、２７…画像メモリ、３１…速度ベクトル計算部、３３…レンダリング部
【図１】
2006338408.tif 000012
【図２】
2006338408.tif 000013
【図３】
2006338408.tif 000014
【図４】
2006338408.tif 000015
【図５】
2006338408.tif 000016
【図６】
2006338408.tif 000017
【図７】
2006338408.tif 000018
【図８】
2006338408.tif 000019
【図９】
2006338408.tif 000020
【図１０】
2006338408.tif 000021
【図１１】
2006338408.tif 000022
【図１２】
2006338408.tif 000023
【図１３】
2006338408.tif 000024
【図１４】
2006338408.tif 000025
【図１５】
2006338408.tif 000026
【図１６】
2006338408.tif 000027
【図１７】
2006338408.tif 000028
【図１８】
2006338408.tif 000029
【図１９】
2006338408.tif 000030
【図２０】
2006338408.tif 000031
【図２１】
2006338408.tif 000032
【図２２】
2006338408.tif 000033
【図２３】
2006338408.tif 000034
【図２４】
2006338408.tif 000035
【図２５】
2006338408.tif 000036
【図２６】
2006338408.tif 000037
【図２７】
2006338408.tif 000038
【図２８】
2006338408.tif 000039
【図２９】
2006338408.tif 000040
【図３０】
2006338408.tif 000041