(57)【要約】【課題】３次元モデルのレンダリングに関するデータを効率良く管理する。【解決手段】コンピューター２０は、予め作成した所定パターンのテクスチャーを３次元モデルに貼り付けてレンダリングし、ビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標(x,y)とテクスチャーの座標（Xt(x,y)，Yt(x,y)）との対応関係やゲインGc,t(x,y)，バイアスBc,t(x,y)を設定する。そして、バイアスBc,t(x,y)のうちテクスチャー領域を抜き出し、テクスチャー領域用バイアスEc,t(x,y)については可逆圧縮により圧縮し、非テクスチャー領域用バイアスFc,t(x, y)についてはテクスチャー領域内の空白画素を境界付近で階調値が徐々に変化するよう補完した上でＪＰＥＧ圧縮により圧縮する。【選択図】図１
2010288267.tif 000002
【特許請求の範囲】
【請求項１】
テクスチャを貼り付けてレンダリングする際に用いられる画像データを処理する画像処理方法であって、
前記画像データから前記テクスチャーが貼り付けられるテクスチャー領域を抜き出し、
該抜き出したテクスチャー領域を可逆圧縮方式により圧縮し、前記画像データのうち前記テクスチャー領域を抜き出した後の該領域の空白画素を該領域の境界で徐々に画素値が変化するよう所定の補完処理により補完すると共に該補完した後の画像データをＪＰＥＧ圧縮方式により圧縮する
ことを特徴とする画像処理方法。
【請求項２】
請求項１記載の画像処理方法であって、
前記所定の補完処理は、前記空白領域を隣接画素の平均画素値で埋めることにより補完する処理である
画像処理方法。
【請求項３】
請求項２記載の画像処理方法であって、
前記所定の補完処理は、前記画像データを所定サイズの複数の単位ブロックにより構成して、該複数の単位ブロックのうち前記非テクスチャー領域の一部が含まれるブロックに対しては前記空白領域を隣接画素の平均画素値で埋めることにより補完し、前記非テクスチャー領域が含まれないブロックに対しては前記空白画素を隣接ブロック内の各画素の平均画素値で埋めることにより補完する処理である
画像処理方法。
【請求項４】
請求項１ないし３いずれか１項に記載の画像処理方法であって、
座標毎に異なる階調値が設定された所定パターンをテクスチャーとして３次元モデルに貼り付けてレンダリングし、
該レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することにより該レンダリング済み画像の座標と前記所定パターンの座標との対応関係を設定して前記画像データと共に画像描画情報として保存し、
所望のテクスチャーを画像として表示する際には、前記保存した画像描画情報に基づいて前記レンダリング済み画像中に前記所望のテクスチャーを配置して表示する
画像処理方法。
【請求項５】
前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより前記対応関係を導出する請求項４記載の画像処理方法。
【請求項６】
前記所定パターンは、座標を２進数で表現したときにビット数に応じた複数のパターンに、それぞれ座標毎に対応するビットの値に応じた階調値が設定されてなる請求項４または５記載の画像処理方法。
【請求項７】
前記２進数は、グレイコード（交番２進数）である請求項６記載の画像処理方法。
【請求項８】
請求項４ないし７いずれか１項に記載の画像処理方法であって、
前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンを前記３次元モデルに貼り付けてレンダリングし、
前記レンダリング済み画像における前記第１ベタ塗りパターンの階調値であるバイアス値を前記画像描画情報として保存し、
前記保存したバイアス値に基づいて前記所望のテクスチャーの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して表示する
画像処理方法。
【請求項９】
前記画像データとして各画素のバイアス値から抜き出した前記テクスチャー領域のバイアス値を前記可逆圧縮方式により圧縮し、前記テクスチャー領域を抜き出した後の該領域の空白画素を所定の補完処理により補完すると共に該補完した後のバイアス値をＪＰＥＧ圧縮方式により圧縮する請求項８記載の画像処理方法。
【請求項１０】
請求項４ないし９いずれか１項に記載の画像処理方法であって、
前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンと最大階調値でベタ塗りしてなる第２ベタ塗りパターンとを前記３次元モデルに貼り付けてそれぞれレンダリングし、
前記レンダリング済み画像における前記第２ベタ塗りパターンの階調値と前記第１ベタ塗りパターンの階調値との偏差であるゲインを算出して前記画像描画情報として保存し、
前記保存したゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して表示する
画像処理方法。
【請求項１１】
請求項１０記載の画像処理方法であって、
前記レンダリング済み画像に複数の所望のテクスチャーを配置して表示する場合には、前記配置する所望のテクスチャーの数だけ設けられたセット群であって各セットが１つの前記第２ベタ塗りパターンと前記配置するテクスチャーの数から値１を減じた数の前記第１ベタ塗りパターンとからなると共に各セット毎に前記３次元モデルに前記第２ベタ塗りパターンを貼り付ける箇所が異なる第１のセット群と、前記配置する所望のテクスチャーの数と同数の前記第１ベタ塗りパターンからなる１つの第２のセットとをそれぞれセット毎に前記３次元モデルに貼り付けてレンダリングし、
前記第１のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第２のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第１のセット群の各セット毎に比較することにより、前記３次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して前記ゲインを算出する
画像処理方法。
【請求項１２】
画像をフレーム単位で描画して動画像として表示する請求項１ないし１１いずれか１項に記載の画像処理方法。
【請求項１３】
テクスチャーを貼り付けてレンダリングする際に用いられる画像データを処理する画像処理装置であって、
前記画像データから前記テクスチャーが貼り付けられるテクスチャー領域を抜き出す前処理手段と、
該抜き出したテクスチャー領域を可逆圧縮方式により圧縮する第１の圧縮手段と、
前記画像データのうち前記テクスチャー領域を抜き出した後の該領域の空白画素を所定の補完処理により補完すると共に該補完した後の画像データをＪＰＥＧ圧縮方式により圧縮する第２の圧縮手段と
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テクスチャーを貼り付けてレンダリングする際に用いられる画像データを処理する画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
従来、この種の画像処理方法としては、リアルタイムで３次元モデルをレンダリングしてディスプレイに表示するものや（例えば、特許文献１参照）、３次元モデルを予めレンダリングしてビットマップ画像を作成して保存しておきディスプレイの表示はビットマップ画像を読み込んで行なうものなどが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−１５２９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前者の手法では、画面の表示周期よりも短い周期でレンダリング処理を行なう必要があるため、高い演算能力が要求される。したがって、用いるコンピューターによっては、演算能力に不足が生じ、レイトレーシングなどの高品質のレンダリングは行なうことができない。一方、後者の手法では、ビットマップ画像を表示するだけであるから、予め高品質のレンダリングを行なってビットマップ画像を作成しておくことにより、高品質の画像を表示することができるものの、現状では後から異なるテクスチャーに差し替えて使用することはできない。また、こうした画像データはサイズも大きく、搭載するメモリの容量によっては効率的に管理することも求められる。
【０００５】
本発明の画像処理方法および画像処理装置は、３次元モデルのレンダリング画像を効率良く管理することを主目的とする。
【０００６】
本発明の画像処理方法および画像処理装置は、上述の主目的を達成するために以下の手段を採った。
【課題を解決するための手段】
【０００７】
本発明の画像処理方法は、
テクスチャーを貼り付けてレンダリングする際に用いられる画像データを処理する画像処理方法であって、
前記画像データから前記テクスチャーが貼り付けられるテクスチャー領域を抜き出し、
該抜き出したテクスチャー領域を可逆圧縮方式により圧縮し、前記画像データのうち前記テクスチャー領域を抜き出した後の該領域の空白画素を該領域の境界で徐々に画素値が変化するよう所定の補完処理により補完すると共に該補完した後の画像データをＪＰＥＧ圧縮方式により圧縮する
ことを特徴とする。
【０００８】
この本発明の画像処理方法では、画像データからテクスチャーが貼り付けられるテクスチャー領域を抜き出し、抜き出したテクスチャー領域を可逆圧縮方式により圧縮し、画像データのうちテクスチャー領域を抜き出した後の領域の空白画素を領域の境界で徐々に画素値が変化するよう所定の補完処理により補完すると共に補完した後の画像データをＪＰＥＧ圧縮方式により圧縮する。これにより、画像データ全体として圧縮率を高めながら画質の向上を図ることができる。
【０００９】
こうした本発明の画像処理方法において、前記所定の補完処理は、前記空白領域を隣接画素の平均画素値で埋めることにより補完する処理であるものとすることもできる。
【００１０】
また、本発明の画像処理方法において、前記所定の補完処理は、前記画像データを所定サイズの複数の単位ブロックにより構成して、該複数の単位ブロックのうち前記非テクスチャー領域の一部が含まれるブロックに対しては前記空白領域を隣接画素の平均画素値で埋めることにより補完し、前記非テクスチャー領域が含まれないブロックに対しては前記空白画素を隣接ブロック内の各画素の平均画素値で埋めることにより補完する処理であるものとすることもできる。こうすれば、簡易な処理により圧縮率を高めることができる。
【００１１】
さらに、本発明の画像処理方法において、座標毎に異なる階調値が設定された所定パターンをテクスチャーとして３次元モデルに貼り付けてレンダリングし、該レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することにより該レンダリング済み画像の座標と前記所定パターンの座標との対応関係を設定して前記画像データと共に画像描画情報として保存し、所望のテクスチャーを画像として表示する際には、前記保存した画像描画情報に基づいて前記レンダリング済み画像中に前記所望のテクスチャーを配置して表示するものとすることもできる。こうすれば、３次元モデルをレンダリングした画像を所望のテクスチャーを差し替えて表示することができると共にリアルタイムで３次元モデルをレンダリングして表示するものに比して処理負担を少なくすることができる。ここで、画像の表示には、画像をフレーム単位で描画して動画像として表示するものが含まれる。この態様の本発明の画像処理方法において、前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより前記対応関係を導出するものとすることもできる。この態様の本発明の画像処理方法において、前記所定パターンは、座標を２進数で表現したときにビット数に応じた複数のパターンに、それぞれ座標毎に対応するビットの値に応じた階調値が設定されてなるものとすることもできる。こうすれば、対応関係をより正確に設定することができる。この場合、前記２進数は、グレイコード（交番２進数）であるものとすることもできる。こうすれば、隣接する座標に移行する際に常に１ビットの変化しか生じないから、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。これらの態様の本発明の画像処理方法において、前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンを前記３次元モデルに貼り付けてレンダリングし、前記レンダリング済み画像における前記第１ベタ塗りパターンの階調値であるバイアス値を前記画像描画情報として保存し、前記保存したバイアス値に基づいて前記所望のテクスチャーの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して表示するものとすることもできる。こうすれば、３次元モデルのレンダリングによる効果のうち元のテクスチャーに依存しないものを反映させることができる。この場合、前記画像データとして各画素のバイアス値から抜き出した前記テクスチャー領域のバイアス値を前記可逆圧縮方式により圧縮し、前記テクスチャー領域を抜き出した後の該領域の空白画素を所定の補完処理により補完すると共に該補完した後のバイアス値をＪＰＥＧ圧縮方式により圧縮するものとすることもできる。さらに、これらの態様の本発明の画像処理方法において、前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンと最大階調値でベタ塗りしてなる第２ベタ塗りパターンとを前記３次元モデルに貼り付けてそれぞれレンダリングし、前記レンダリング済み画像における前記第２ベタ塗りパターンの階調値と前記第１ベタ塗りパターンの階調値との偏差であるゲインを算出して前記画像描画情報として保存し、前記保存したゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して表示するものとすることもできる。こうすれば、３次元モデルのレンダリングによる効果のうち元のテクスチャーの階調値に影響を受けるものを反映させることができる。この場合、前記レンダリング済み画像に複数の所望のテクスチャーを配置して表示する場合には、前記配置する所望のテクスチャーの数だけ設けられたセット群であって各セットが１つの前記第２ベタ塗りパターンと前記配置するテクスチャーの数から値１を減じた数の前記第１ベタ塗りパターンとからなると共に各セット毎に前記３次元モデルに前記第２ベタ塗りパターンを貼り付ける箇所が異なる第１のセット群と、前記配置する所望のテクスチャーの数と同数の前記第１ベタ塗りパターンからなる１つの第２のセットとをそれぞれセット毎に前記３次元モデルに貼り付けてレンダリングし、前記第１のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第２のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第１のセット群の各セット毎に比較することにより、前記３次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して前記ゲインを算出するものとすることもできる。こうすれば、テクスチャー領域をより容易に特定することができる。
【００１２】
本発明の画像処理装置は、
テクスチャーを貼り付けてレンダリングする際に用いられる画像データを処理する画像処理装置であって、
前記画像データから前記テクスチャーが貼り付けられるテクスチャー領域を抜き出す前処理手段と、
該抜き出したテクスチャー領域を可逆圧縮方式により圧縮する第１の圧縮手段と、
前記画像データのうち前記テクスチャー領域を抜き出した後の該領域の空白画素を所定の補完処理により補完すると共に該補完した後の画像データをＪＰＥＧ圧縮方式により圧縮する第２の圧縮手段と
を備えることを要旨とする。
【００１３】
この本発明の画像処理装置では、画像データからテクスチャーが貼り付けられるテクスチャー領域を抜き出し、抜き出したテクスチャー領域を可逆圧縮方式により圧縮し、画像データのうちテクスチャー領域を抜き出した後の領域の空白画素を所定の補完処理により補完すると共に補完した後の画像データをＪＰＥＧ圧縮方式により圧縮する。これにより、画像データ全体として圧縮率を高めながら画質の向上を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理方法に用いるコンピューター２０の構成の概略を示す構成図。
【図２】特殊テクスチャー生成処理の一例を示すフローチャート。
【図３】特殊テクスチャーの一例を示す説明図。
【図４】セット毎に特殊テクスチャーをレンダリングする様子を示す説明図。
【図５】レンダリング済み画像解析処理の一例を示すフローチャート。
【図６】バイアスBc,t(x,y)とゲインGc,t(x,y)を説明する説明図。
【図７】圧縮処理の一例を示すフローチャート。
【図８】補完処理の一例を示すフローチャート。
【図９】空白画素の補完の様子を示す説明図。
【図１０】３つの差し替え用テクスチャーを示す説明図。
【図１１】差し替え用テクスチャーのスライドショー表示の一例を示す説明図。
【図１２】変形例の特殊テクスチャーを示す説明図。
【図１３】変形例の特殊テクスチャーを用いてレンダリングする様子を示す説明図。
【図１４】変形例の特殊テクスチャーを示す説明図。
【発明を実施するための形態】
【００１５】
次に、本発明の実施の形態を図面を用いて説明する。図１は、本発明の一実施形態である画像処理方法に用いるコンピューター２０とビューワー４０の構成の概略を示す構成図である。本実施形態のコンピューター２０は、中央演算処理装置としてのＣＰＵや処理プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、グラフィックプロセッサー（ＧＰＵ）、ハードディスク（ＨＤＤ）、ディスプレイ２２などからなる汎用のコンピューターとして構成されており、その機能ブロックとしては、３次元モデリングデータ（以下、３次元モデルという）やこれに貼り付けるテクスチャーデータ（以下、テクスチャーという）などを記憶する記憶部３１と、３次元モデルに貼り付ける前処理用の特殊なテクスチャーを生成する特殊テクスチャー生成処理部３２と、３次元モデルをレンダリングしてビットマップ画像を生成するレンダリング処理部３４と、レンダリングにより得られたビットマップ画像としてのレンダリング済み画像を解析するレンダリング済み画像解析処理部３６と、生成したレンダリング済み画像やレンダリング済み画像解析処理部３６の解析により得られる各種データを圧縮する圧縮処理部３８とを備える。
【００１６】
特殊テクスチャー生成処理部３２は、レンダリング処理部３４でレンダリングされる３次元モデルに貼り付ける所定パターンのテクスチャーを生成する処理部であり、具体的には、所定パターンとして、値０．０〜１．０の階調値範囲内で階調値が値１．０の白ベタのパターンや、階調値が値０．０の黒ベタのパターン，値０．０と値１．０の階調値が横方向に交互に現われる縦縞模様のパターン，値０．０と値１．０の階調値が縦方向に交互に現われる横縞模様のパターンを生成する。なお、これらの各パターンがもつ役割については後述する。
【００１７】
レンダリング処理部３４は、３Ｄレンダリング用のソフトウエアがコンピューター２０にインストールされることにより機能する処理部であり、３次元モデルに特殊テクスチャー生成処理部３２で生成されたテクスチャーを貼り付けてレンダリングすることにより所定のフレームレート（例えば、１秒間に３０回や６０回など）でフレーム単位にビットマップ画像を再生して動画を表示する。本実施形態では、光源からの光をたどりながらオブジェクト面の反射や光の屈折などを計算してレンダリングするレイトレーシング法を用いてレンダリング処理を行なうものとした。
【００１８】
レンダリング済み画像解析処理部３６は、レンダリング処理部３４により生成されたビットマップ画像（レンダリング済み画像）を解析することにより、所定パターンのテクスチャーに代えて写真などの所望の画像データを自由に差し替えてレンダリング済み画像をビューワー４０側で表示できるようにするための画像描画情報を生成する。
【００１９】
圧縮処理部３８は、レンダリング済み画像解析処理部３６により解析に伴って生成された画像描画情報を圧縮するための処理部であり、本実施形態では、画質の劣化を抑制しながら全体の圧縮率を高めるために、複数種の圧縮方式を使い分けてデータを圧縮するものとした。圧縮方式の詳細については後述する。
【００２０】
本実施形態のビューワー４０は、コンピューター２０のレンダリング処理部３４で得られたレンダリング済み画像やレンダリング済み画像解析処理部３６により解析されると共に圧縮処理部３８により圧縮された画像描画情報などを記憶する記憶部４１と、メモリーカードＭＣに記憶されている写真などの画像データの入力を司る入力処理部４２と、入力処理部４２により入力された画像データや記憶部４１に記憶されているレンダリング済み画像，画像描画情報をデコード（展開）する展開処理部４４と、レンダリング済み画像に入力した画像データをテクスチャーとして合成して描画する描画処理部４６と、を備える。このビューワー４０は、ユーザーからの指示によりメモリーカードＭＣに記憶されている複数の画像データを順次読み込むと共に読み込んだ画像データを画像描画情報を用いて３次元モデルのレンダリング済み画像に貼り付けて順次再生を行なうスライドショー表示を行なうことができるようになっている。
【００２１】
次に、こうして構成された本実施形態のコンピューター２０の特殊テクスチャー生成処理部３２やレンダリング処理部３４，レンダリング済み画像解析処理部３６，圧縮処理部３８の動作と、ビューワー４０の展開処理部４４や描画処理部４６の動作について説明する。まず、特殊テクスチャー生成処理部３２の処理について説明する。図２は、特殊テクスチャー生成処理の一例を示すフローチャートである。
【００２２】
特殊テクスチャー生成処理では、まず、対象セット番号ｉを値１に初期化し（ステップＳ１００）、対象セット番号ｉに対してＲＧＢの色成分毎にｎ個の特殊テクスチャーを生成して（ステップＳ１１０）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１２０）、対象セット番号ｉと値ｎとを比較して（ステップＳ１３０）、対象セット番号ｉが値ｎ以下のときにはステップＳ１１０に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値ｎを超えたときには次の処理に進む。ここで、対象セット番号ｉが値１から値ｎまでの特殊テクスチャーの生成は、次式（１）に示すように、１番からｎ番までの対象テクスチャー番号ｊを１番から値１ずつシフトしながら対象テクスチャー番号ｊと対象セット番号ｉと比較し、両者が一致する対象テクスチャー番号ｊに対しては最小値０．０（黒）〜最大値１．０（白）の階調値範囲で全座標(x,y)に値１．０の階調値を設定することにより白ベタの特殊テクスチャーを生成し、両者が一致しない対象テクスチャー番号ｊに対しては全座標(x,y)に値０．０の階調値を設定することにより黒ベタの特殊テクスチャーを生成することにより行なわれる。ここで、式（１）中の「ｃ」は、画像データのＲＧＢ値の各色に対応する値を示し、「ｎ」は１画面に配置するテクスチャーの数を示し、「ｂ」はテクスチャーの座標を２進数で表わしたときのビット数を示し、「Tc,i,j(x,y)」は色成分ｃ，対象セット番号i，対象テクスチャー番号ｊにおける特殊テクスチャーの座標(x,y)の階調値を示す（以下、同じ）。
【００２３】
【数１】
2010288267.tif 000003
【００２４】
対象セット番号ｉが値１〜値ｎの特殊テクスチャーを生成すると、次に、対象セット番号ｉが値（ｎ＋１）の色成分毎のｎ個の特殊テクスチャーを生成し（ステップＳ１４０）、対象セット番号ｉを値１だけインクリメントする（ステップＳ１５０）。ここで、対象セット番号ｉが値（ｎ＋１）の特殊テクスチャーの生成は、次式（２）に示すように、１番からｎ番までのすべての対象テクスチャー番号ｊに対して全座標(x,y)に値０．０の階調値を設定することにより黒ベタの特殊テクスチャーを生成することにより行なわれる。
【００２５】
【数２】
2010288267.tif 000004
【００２６】
対象セット番号ｉが値（ｎ＋１）の特殊テクスチャーを生成すると、次に、対象セット番号ｉに対してテクスチャーの座標を交番２進数（グレイコード）表現としたときの第｛ｉ−（ｎ＋２）]ビットに対応する縦縞模様の色成分毎のｎ個の特殊テクスチャーを次式（３）により生成して（ステップＳ１６０）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１７０）、対象セット番号ｉと値（ｎ＋ｂ＋１）とを比較し（ステップＳ１８０）、対象セット番号ｉが値（ｎ＋ｂ＋１）以下のときにはステップＳ１６０に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値（ｎ＋ｂ＋１）を超えたときには次の処理に進む。ここで、式（３）中の「gray(a)」は数値ａのグレイコード（交番２進数符号）表現であり、「and(a,b)」はａとｂのビット毎の論理積を示す（以下、同じ）。（ｎ＋２）番から（ｎ＋ｂ＋１）番までの対象セット番号ｉは、それぞれテクスチャーの座標を２進数で表現したときに第０ビット（最上位ビット）から第（ｂ−１）ビット（最下位ビット）までの各ビットに対応しており、対象セット番号ｉに対応するビットの値が値１のときには値１．０（白）の階調値を設定し、対応するビットの値が値０のときには値０．０（黒）の階調値を設定することにより縦縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標を交番２進数で表現しており、例えば、テクスチャー数ｎが値３で座標が値１〜８の３ビット（ｂ＝３）とすると、対象セット番号ｉが第０ビット（最上位ビット）を示す値５の特殊テクスチャーとしてはｘ座標が値１〜４については黒の階調値が設定され値５〜８については白の階調値が設定され、対象セット番号ｉが第１ビットを示す値６の特殊テクスチャーとしてはｘ座標が値１，２については黒の階調値が設定され３〜６については白の階調値が設定され値７，８については黒の階調値が設定され、対象セット番号ｉが第２ビット（最下位ビット）を示す値７の特殊テクスチャーとしてはｘ座標が値１については黒の階調値が設定され値２，３については白の階調値が設定され値４，５については黒の階調値が設定され値６，７については白の階調値が設定され値８については黒の階調値が設定されることになる。
【００２７】
【数３】
2010288267.tif 000005
【００２８】
対象セット番号ｉが値（ｎ＋２）〜値（ｎ＋ｂ＋１）の特殊テクスチャーを生成すると、次に、対象セット番号ｉに対してテクスチャーのｙ座標を交番２進数表現としたときの第｛ｉ−（ｎ＋ｂ＋２）]ビットに対応する横縞模様の色成分毎のｎ個の特殊テクスチャーを次式（４）により生成して（ステップＳ１８５）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１９０）、対象セット番号ｉと値（ｎ＋２ｂ＋１）とを比較し（ステップＳ１９５）、対象セット番号ｉが値（ｎ＋２ｂ＋１）以下のときにはステップＳ１８５に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値（ｎ＋２ｂ＋１）を超えたときには、全ての特殊テクスチャーの生成が完了したとして、本ルーチンを終了する。（ｎ＋ｂ＋２）番から（ｎ＋２ｂ＋１）番までの対象セット番号ｉは、それぞれテクスチャーの座標を２進数で表現したときに第０ビット（最上位ビット）から第（ｂ−１）ビット（最下位ビット）までの各ビットに対応しており、対象セット番号ｉに対応するビットの値が値１のときには値１．０（白）の階調値を設定し、対応するビットの値が値０のときには値０．０（黒）の階調値を設定することにより横縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標を交番２進数で表現しており、例えば、テクスチャー数ｎが値３でｙ座標が値１〜８の３ビット（ｂ＝３）とすると、対象セット番号ｉが第０ビット（最上位ビット）を示す値８の特殊テクスチャーとしてはｙ座標が値１〜４については黒の階調値が設定され値５〜８については白の階調値が設定され、対象セット番号ｉが第１ビットを示す値９の特殊テクスチャーとしてはｙ座標が値１，２については黒の階調値が設定され値３〜６については白の階調値が設定され値７，８については黒の階調値が設定され、対象セット番号ｉが第２ビット（最下位ビット）を示す値１０の特殊テクスチャーとしてはｙ座標が値１については黒の階調値が設定され値２，３については白の階調値が設定され値４，５については黒の階調値が設定され値６，７については白の階調値が設定され値８については黒の階調値が設定されることになる。図３に、テクスチャー数ｎが値３で座標のビット数ｂが値３のときに生成される特殊テクスチャーの一覧を示す。
【００２９】
【数４】
2010288267.tif 000006
【００３０】
レンダリング処理部３４は、セット毎に、対応するｎ個の特殊テクスチャーを３次元モデルに貼り付けてレンダリング処理を行なう。図４にレンダリング処理の様子を示す。本実施形態では、３次元モデルを動画としてレンダリングし、テクスチャー数ｎが値３でビット数ｂが値３としたから、合計１０セット分のレンダリング処理が行なわれて１０セット分の動画が生成されることになる。この動画は、フレーム１〜Ｔまでの各フレーム毎に生成されたビットマップ画像（レンダリング済み画像）により構成される。
【００３１】
次に、レンダリング処理部３４により生成されたレンダリング済み画像を解析する処理について説明する。図５は、レンダリング済み画像解析処理部３６により実行されるレンダリング済み画像解析処理の一例を示すフローチャートである。
【００３２】
レンダリング済み画像解析処理では、まず、次式（５）に示すように各フレーム番号ｔ（＝１〜Ｔ）におけるレンダリング済み画像の座標(x,y)の変数It(x,y)を値０に初期化し（ステップＳ２００）、対象フレームｔにおけるセット番号１〜ｎのレンダリング済み画像中の白ベタ領域（座標）を特定して、この白ベタ領域の変数It(x,y)に対応するテクスチャー番号（＝対象セット番号ｉ）を設定する（ステップＳ２１０）。この処理は、次式（６）に示すように、対象セット番号ｉを１番からｎ番まで順次シフトしながら対象セット番号ｉのレンダリング済み画像の階調値（各色成分毎の階調値の総和）とセット番号（ｎ＋１）のレンダリング済み画像の階調値（各色成分毎の階調値の総和）とを比較することにより行なうことができる。ここで、式（５）中の「ｗ」はレンダリング済み画像の幅方向のサイズを示し、「ｈ」はレンダリング済み画像の高さ方向のサイズを示す。また、式（６）中の「Ac,i,t(x,y)」は色成分ｃ，セット番号ｉ（１〜ｎ），フレーム番号ｔにおけるレンダリング済み画像の座標(x,y)の階調値を示す（以下、同じ）。
【００３３】
【数５】
2010288267.tif 000007
【００３４】
続いて、次式（７）によりセット番号（ｎ＋１）のレンダリング済み画像の階調値をバイアスBc,t(x,y)として設定すると共に（ステップＳ２２０）、変数It(x,y)が値０でないレンダリング済み画像の座標(x,y)、即ち白ベタ領域について次式（８）によりゲインGc, t(x,y)を計算する（ステップＳ２３０）。ここで、式（８）中の「Ac,It(x,y),t(x,y)」は色成分ｃ，変数It(x,y)に格納されたセット番号ｉ，フレーム番号ｔにおけるレンダリング済み画像の座標(x,y)の階調値を示す。図６に、バイアスBc,t(x,y)とゲインGc,t(x,y)との関係を示す。３次元モデルにテクスチャーを貼り付けてレンダリングする場合、図示するように、元のテクスチャーの階調値に依存しないオフセット分がバイアスBc,t(x,y)に相当し、元のテクスチャーの階調値の変化に対するレンダリング済み画像の階調値の変化の傾きがゲインGc,t(x,y)に相当する。
【００３５】
【数６】
2010288267.tif 000008
【００３６】
そして、次式（９）によりテクスチャーのグレイコード表現の座標（X't(x,y)，Y't(x,y）)を値０に初期化し（ステップＳ２４０）、セット番号（ｎ＋２）〜（ｎ＋２ｂ＋１）のレンダリング済み画像の座標(x,y)とテクスチャーの座標（X't(x,y)，Y't(x,y）)との対応関係を設定する（ステップＳ２５０）。ここで、座標の対応関係は、次式（１０）により行なわれ、具体的には、セット番号ｉを１番からｎ番まで順次シフトしながらセット番号（ｉ＋ｎ＋１）のレンダリング済み画像の階調値Ac,i+n+1,t(x,y)からバイアスBc,t(x,y)を減じたもの（各色成分毎の総和）がセット番号ｉのレンダリング済み画像のゲインGc,t(x,y)を値２で割ったもの（各色成分毎の総和）よりも大きいか否か即ちセット番号（ｉ＋ｎ＋１）における白と黒の縦縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには交番２進数表現の座標X't(x,y)の対応する第（ｉ−１）ビットの値に値１を設定し、セット番号ｉを１番からｎ番まで順次シフトしながらセット番号（ｉ＋ｂ＋ｎ＋１）のレンダリング済み画像の階調値Ac,i+b+n+1,i(x,y)からバイアスBc,t(x,y)を減じたもの（各色成分毎の総和）がセット番号ｉのレンダリング済み画像のゲインGc,t(x,y)を値２で割ったもの（各色成分毎の総和）よりも大きいか否か即ちセット番号（ｉ＋ｂ＋ｎ＋１）における白と黒の横縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには座標Y't(x,y)の対応する第（ｉ−１）ビットの値を値１に設定することにより行なわれる。ここで、式（１０）中の「or(a,b)」はａとｂのビット毎の論理和を示す。
【００３７】
【数７】
2010288267.tif 000009
【００３８】
座標の対応関係を設定すると、グレイコード表現のテクスチャーの座標（X't(x,y)，Y't(x,y)）を次式（１１）を用いて復号化して復号化後座標（Xt(x,y)，Yt(x,y)）を算出し（ステップＳ２６０）、値１〜Ｔまでの全フレームについて処理が完了したか否かを判定し（ステップＳ２７０）、全フレームについて処理が完了していないときには次のフレームを対象フレームｔに設定してステップＳ２１０に戻って処理を繰り返し、全フレームについて処理が完了したときに本処理を終了する。ここで、式（１１）中の「gray-1(a)」はグレイコードａを復号化した値を示し、「Xt(x,y)」はフレーム番号ｔのレンダリング済み画像の座標(x,y)に対応するテクスチャーのｘ座標を示し、「Ｙt(x,y)」はフレーム番号ｔのレンダリング済み画像の座標(x,y)に対応するテクスチャーのｙ座標を示す。なお、本実施形態では、座標（X't(x,y)，Y't(x,y）)の原点を(1,1)としているから、グレイコードを復号化した値に値１を加算している。画像描画情報としては、変数It(x,y)とバイアスBc,t(x,y)とゲインGc,t(x,y)と座標（Xt(x,y)，Ｙt(x,y)）とが含まれる。
【００３９】
【数８】
2010288267.tif 000010
【００４０】
次に、レンダリング済み画像解析処理部３６により解析されて得られた画像描画情報を圧縮する処理、特にバイアスBc,t(x,y)を圧縮する処理について説明する。図７は、圧縮処理部３８により実行される圧縮処理の一例を示すフローチャートである。
【００４１】
圧縮処理では、まず、全領域のバイアスBc,t(x,y)のうちテクスチャー領域を抜き出してテクスチャー領域用バイアスEc,t(x,y)を設定する（ステップＳ３００）。この処理は、変数It(x,y)が値０でない座標(x,y)についてはテクスチャー領域用バイアスEc,t(x,y)にバイアスBc,t(x,y)を設定し、変数It(x,y)が値０の座標(x,y)についてはテクスチャー領域用バイアスEc,t(x,y)に値０を設定することにより行なわれる。続いて、非テクスチャー領域のバイアスBc,t(x,y)を抜き出して非テクスチャー領域用バイアスFc,t(x,y)を設定すると共に（ステップＳ３１０）、設定した非テクスチャー領域用バイアスFc,t(x,y)のうちテクスチャー領域内の空白画素を補完し（ステップＳ３２０）、テクスチャー領域用バイアスEc,t(x,y)については可逆圧縮方式の一つであるデフレート圧縮を行ない（ステップＳ３３０）、非テクスチャー領域についてはＪＰＥＧ圧縮を行ない（ステップＳ３４０）、圧縮データを保存して（ステップＳ３５０）、本処理を終了する。本実施形態では、画像描画情報としてのIt(x,y)，Gc,t(x,y)，Xt(x,y)，Yt(x,y)についてもデフレート圧縮などの可逆圧縮により圧縮するものとした。
【００４２】
図８は、図７のステップＳ３２０により空白画素を補完する補完処理の一例を示すフローチャートである。この補完処理では、まず、ＪＰＥＧ処理の基本単位であるＭＣＵ(Minimum Coded Unit)のうち各列（ｙ座標）毎に幅方向（ｘ座標方向）の順に対象ＭＣＵを設定し（ステップＳ４００）、設定した対象ＭＣＵ内に空白画素があるか否かを判定する（ステップＳ４１０）。対象ＭＣＵ内に空白画素がないときには空白画素の補完の必要がないから次のＭＣＵがあるか否かを判定し（ステップＳ４５０）、次のＭＣＵがあるときにはステップＳ４００に戻ってこれを対象ＭＣＵに設定して処理を繰り返す。一方、対象ＭＣＵ内に空白画素があるときには、対象ＭＣＵ内の一部が空白画素であるか否かを判定し（ステップＳ４２０）、対象ＭＣＵ内の一部が空白画素のときには空白画素を隣接画素の平均階調値で埋める処理を行ない（ステップＳ４３０）、対象ＭＣＵ内の全部が空白画素のときには左側に隣接するＭＣＵの平均階調値で埋める処理を行なって（ステップＳ４４０）、次の処理に進む。ステップＳ４５０で次のＭＣＵがあると判定されると、ステップＳ４００に戻って次のＭＣＵを対象ＭＣＵに設定して処理を繰り返し、次のＭＣＵがないと判定されると、これで本処理を終了する。図９に、空白画素の補完の様子を示す。この処理は、テクスチャー領域と非テクスチャー領域の境界付近では、階調値が徐々に変化するようにし、境界から離れた部分では境界付近のＭＣＵの平均階調値で埋めるものとなる。こうして空白画素を補完した非テクスチャー領域用バイアスFc,t(x,y)をＪＰＥＧ圧縮することにより、ＪＰＥＧ圧縮の際の圧縮効率を高めることができる。
【００４３】
コンピュータ２０の圧縮処理部３８により圧縮された画像描画情報（変数It(x,y)やバイアスEc,(x,y)，Fc,t(x,y)，ゲインGc,t(x,y)，座標（Xt(x,y)，Ｙt(x,y)）はビューワー４０の記憶部４１に記憶され、ビューワー４０の展開処理部４４によりデフレート圧縮した変数It(x,y)やバイアスEc,t(x,y)，ゲインGc,t(x,y)，座標（Xt(x,y)，Ｙt(x,y)）についてはデフレート解凍処理によりＪＰＥＧ圧縮したバイアスFc,t(x,y)についてはＪＰＥＧ解凍処理によりそれぞれ展開した上で描画処理部４６による描画処理に用いられる。描画処理部４６では、メモリーカードＭＣに記憶されている写真などの複数の画像データを差し替え用テクスチャーとして読み込むと共に次式（１２）を用いてレンダリング済み画像に合成して順次描画することにより、テクスチャーを差し替えながら３次元モデルのレンダリング済み画像を表示するスライドショー再生を行なうことができる。ここで、式（１２）中の「Uc,i(x,y)」は色成分ｃ，テクスチャー番号ｉにおける差し替え用テクスチャーの座標(x,y)の階調値（０．０〜１．０）を示し、「Pc,t(x,y)」は色成分ｃ，フレーム番号ｔにおける表示画像（レンダリング済み画像）の座標(x,y)の階調値（０．０〜１．０）を示す。式（１２）に示すように、表示画像の階調値Pc,t(x,y)の設定は、変数It(x,y)が値０でないテクスチャー配置領域に対しては表示画像の座標(x,y)に対応する差し替え用テクスチャーの座標（Xt(x,y)，Ｙt(x,y)）の階調値にゲインGc,t(x,y)を乗じてバイアスEc,t(x,y)を加えたものを設定し、変数It(x,y)が値０であるテクスチャー配置領域以外の領域に対してはバイアスFc,t(x,y)を設定することにより行なわれる。図１０にテクスチャー番号が１〜３の３つの差し替え用テクスチャーを示し、図１１にレンダリング済み画像に図１０の差し替え用テクスチャーを配置して描画する様子を示す。
【００４４】
【数９】
2010288267.tif 000011
【００４５】
以上説明した実施例の画像処理方法によれば、３次元モデルに特殊テクスチャーを貼り付けてレンダリングすると共にレンダリング済み画像を解析することにより得られる画像描画情報の一つとしてのバイアスBc,t(x,y)に対してテクスチャー領域を抜き出してテクスチャー領域用バイアスEc,t(x,y)を設定すると共に空白画素を領域境界付近で階調値が徐々に変化するよう補完した上で非テクスチャー領域用バイアスFc,t(x,y)を設定し、テクスチャー領域用バイアスEc,t(x,y)についてはデフレート圧縮処理により圧縮し、非テクスチャー領域用バイアスFc,t(x,y)についてはＪＰＥＧ圧縮により圧縮するから、全体の画質の劣化を抑制しながら高い圧縮率によりデータを圧縮することができる。また、コンピューター２０側では、座標(x,y)を２進数表現したときの各ビットの値に対応するｘ座標用の縦縞模様のパターンとｙ座標用の横縞模様のパターンとをテクスチャーとして３次元モデルに貼り付けてレンダリングし、レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標(x,y)とテクスチャーの座標（Xt(x,y)，Yt(x,y)）との対応関係を設定して画像描画情報として保存し、ビューワー４０側でレンダリング済み画像を用いて画像を表示するときには、予め記憶した画像描画情報によりテクスチャーの座標（Xt(x,y)，Yt(x,y)）の階調値に基づいて表示画像の座標(x,y)に描画するから、３次元モデルのレンダリング済み画像をテクスチャーを自由に差し替えて再生することができると共にリアルタイムで３次元モデルをレンダリングして表示するものに比して処理負担を少なくすることができる。しかも、ゲインGc,t(x,y)やバイアスBc,t(x,y)を用いてテクスチャーの階調値を変換して表示画像の階調値を設定するから、３次元モデルをレンダリングしたときの屈折光や鏡面反射，影などの影響も反映させることができる。さらに、座標の対応関係を特定するための特殊テクスチャーとして交番２進数に対応する縦縞模様のパターンと横縞模様のパターンとを形成するから、隣接する座標に移行する際には常に１ビットの変化となり、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。
【００４６】
本実施形態では、補完処理として、対象ＭＣＵ内の一部が空白画素のときには空白画素を隣接画素の平均階調値で埋め、対象ＭＣＵ内の全部が空白画素のときには左側に隣接するＭＣＵの平均階調値で埋めるものとしたが、これに限られず、領域境界付近で階調値が徐々に変化するよう補完すればよいから、例えば、単に隣接画素の平均階調値で順次埋めていくものとしてもよい。
【００４７】
本実施形態では、テクスチャー領域用バイアスEc,t(x,y)についてデフレート圧縮により圧縮するものとしたが、デフレート圧縮以外の他の如何なる可逆圧縮処理により圧縮するものとしてもよいし、無圧縮とするものとしてもよい。
【００４８】
本実施形態では、バイアスBc,t(x,y)からテクスチャー領域用バイアスEc,t(x,y)と非テクスチャー領域用バイアスFc,t(x,y)とを設定してそれぞれ異なる圧縮方式により圧縮するものとしたが、３次元モデルにテクスチャーを貼り付けてレンダリングする際に用いるデータであれば、バイアスBc,t(x,y)以外の他のデータに適用するものとしてもよい。
【００４９】
本実施形態では、座標(x,y)を２進数表現したときの各ビットの値に対応するｘ座標用の縦縞模様のパターンとｙ座標用の横縞模様のパターンとをテクスチャーとして用いて３次元モデルに貼り付けてレンダリングすると共にレンダリング結果を解析することにより画像描画情報を生成するものとしたが、用いるパターンはこれに限られず、ｘ座標方向（横方向）に濃淡（階調値）が徐々に変化するパターンとｙ座標方向（縦方向）に濃淡が徐々に変換するパターンとを用いるものとしてもよい。この場合、前述した式（３）により得られるセット番号（ｎ＋２）〜（ｎ＋ｂ＋１）の縦縞模様のパターンに代えて次式（１３）により得られるセット番号（ｎ＋２）の１つのパターンを用いると共に式（４）により得られるセット番号（ｎ＋ｂ＋２）〜（ｎ＋２ｂ＋１）の横縞模様のパターンに代えて次式（１３）により得られるセット番号（ｎ＋３）の１つのパターンを用いるものとすればよい。
【００５０】
【数１０】
2010288267.tif 000012
【００５１】
式（１２）のパターンと式（１３）のパターンとを用いる場合、座標の対応関係の設定は、次式（１５）により求めることができる。図１２に特殊テクスチャーの一例を示し、図１３に図１２の特殊テクスチャーを３次元モデルに貼り付けてレンダリングする様子を示す。これにより、生成すべき特殊テクスチャーの数を減らすことができる。
【００５２】
【数１１】
2010288267.tif 000013
【００５３】
本実施形態では、対象セット番号ｉが値（ｎ＋２）〜値（ｎ＋ｂ＋１）の縦縞模様パターンの特殊テクスチャーを座標を交番２進数表現したときに各ビットの値に対応するものとすると共に対象セット番号ｉが値（ｎ＋ｂ＋２）〜値（ｎ＋２ｂ＋１）の横縞模様パターンの特殊テクスチャーを座標を交番２進数表現したときの各ビットの値に対応するものとしたが、これらのパターンを、座標を一般の２進数表現したときに各ビットの値に対応するものとして生成するものとしてもよい。この場合の特殊テクスチャーの一例を図１４に示す。
【００５４】
本実施形態では、ビューワー４０により画像を再生するものとしたが、画像を再生できる機器であれば、液晶画面付きの携帯電話やプリンターなど如何なる機器を用いるものとしても構わない。
【００５５】
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【符号の説明】
【００５６】
２０  コンピューター、２２  ディスプレイ、３１  記憶部、３２  特殊テクスチャー生成処理部、３４  レンダリング処理部、３６  レンダリング済み画像解析処理部、３８  圧縮処理部、４０  ビューワー、４１  記憶部、４２  入力処理部、４４  展開処理部、４６  描画処理部、ＭＣ  メモリーカード。
【図１】
2010288267.tif 000014
【図２】
2010288267.tif 000015
【図５】
2010288267.tif 000016
【図６】
2010288267.tif 000017
【図７】
2010288267.tif 000018
【図８】
2010288267.tif 000019
【図９】
2010288267.tif 000020
【図１０】
2010288267.tif 000021
【図１１】
2010288267.tif 000022
【図３】
2010288267.tif 000023
【図４】
2010288267.tif 000024
【図１２】
2010288267.tif 000025
【図１３】
2010288267.tif 000026
【図１４】
2010288267.tif 000027