(57)【要約】  【課題】コンピュータグラフィックス画像に対して所望の模様、テクスチャーを付加した画像を生成する。  【解決手段】  クラス分類回路３がコンピュータグラフィックス信号のブロック内の複数画素のレベル分布のパターンに応じたクラスコードを発生する。ＲＯＭテーブル４には、学習により求められたクラス対代表画素値のテーブルが格納されている。学習時には、付加したい模様、テクスチャーの実画像を使用して代表画素値が決定される。エリア信号発生回路５は、テクスチャーを付加したいエリアを指示するエリア信号を発生する。セレクタ２がこのエリアでは、コンピュータグラフィックス信号の画素に代えて代表画素値を選択する。代表画素値により所望の模様、テクスチャーが表現される。【選択図】        図１
2005259174.tif 000002
【特許請求の範囲】
【請求項１】
所望の模様あるいはテクスチャを付加する注目画素のクラスを、入力される画像信号に基いて決定するクラス決定手段と、
上記クラス毎に所望の模様あるいはテクスチャに対応する予測情報が記憶される記憶手段と、
上記クラス決定手段により決定されたクラスに応じて上記記憶手段から読み出された上記予測情報に基いて、上記所望の模様あるいはテクスチャに対応する画素値を選択的に出力する選択出力手段と、
上記画像信号内で所望の模様或いはテクスチャを付加するエリアを指定するエリア信号を生成するエリア信号生成手段とを備え、
上記選択出力手段は、上記エリア信号に基いて、上記注目画素に対応する上記画像信号内の画素値或いは上記所望の模様あるいはテクスチャに対応する画素値を選択的に出力する画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
上記クラス決定手段は、
上記注目画素に対応する上記画像信号内の複数画素の画素値の平均値をしきい値として上記複数画素の画素値を２値化する２値化手段と、
上記２値化手段から出力される上記複数画素と等しいビット数であるクラスコードを生成するクラスコード生成手段と
を備える画像生成装置。
【請求項３】
請求項１に記載の画像生成装置において、
上記クラス決定手段は、
上記注目画素に対応する上記画像信号内の複数画素の画素値のダイナミックレンジを検出するダイナミックレンジ検出手段と、
上記ダイナミックレンジを２のｎ乗で除算することにより量子化幅を検出する量子化幅検出手段と、
上記複数画素の各画素値から最小の画素値を減算すると共に、上記量子化幅で除算し量子化値を出力する量子化手段と、
上記複数画素の各画素に対応する上記量子化値に基いてクラスコードを生成するクラスコード生成手段と
を備える画像生成装置。
【請求項４】
請求項１に記載の画像生成装置において、
上記記憶手段は、
上記クラス毎に所望の模様或いはテクスチャに対応する代表画素値が格納され、
上記選択出力手段は、
上記クラス決定手段により決定されたクラスに基いて上記記憶手段から読み出された上記代表画素値を、上記注目画素に対応する上記画像信号内の画素値の代わりに選択的に出力する画像生成装置。
【請求項５】
請求項１に記載の画像生成装置において、
上記記憶手段は、
上記クラス毎に所望の模様或いはテクスチャに対応する予測係数を記憶し、
更に、
上記注目画素に対応する上記画像信号内の複数画素の画素値と上記予測係数とに基いて上記注目画素に対応する上記所望の模様あるいはテクスチャに対応する画素値を演算する演算手段を備え、
上記選択出力手段は、上記注目画素に対応する上記画像信号内の画素値の代わりに上記演算手段により演算された画素値を選択的に出力する画像生成装置。
【請求項６】
請求項１に記載の画像生成装置において、
上記クラス決定手段は、
所望の模様あるいはテクスチャを付加する注目画素のクラスを、入力されるコンピュータグラフィックスに基いて決定する画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コンピュータグラフィックスで作成した画像に対して、例えば芝生の面のようなテクスチャーを付加した画像を生成するための画像生成装置に関する。
【背景技術】
【０００２】
コンピュータグラフィックスを用いて作成した画像に対して、特定の模様、または芝生の面、木目、光沢面のような質感（テクスチャーと称する）を付加することにより、画像をよりリアルなものとにできる。従来の手法は、コンピュータグラフィックス作成ツール（コンピュータグラフィックスを作成するための道具、コンピュータ上で動作するアプリケーションソフト）に、予め用意されている模様等をコンピュータグラフィックスの物体の形状に合わせて、張り合わせるものであった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、アプリケーションソフトがコンピュータグラフィックス作成者が意図する模様や、テクスチャーを全て網羅することは、事実上不可能である。コンピュータグラフィックスの作成者が世の中で見たこともない全くのオリジナルの模様やテクスチャーを使用したい場合は別として、映画のある風景で見た、あるいは、写真で見たというように、映像サンプルが存在する場合には、これらを利用することによって、作成ツールの負担を軽減し、また、作成者が意図するものを容易に得ることが可能である。
【０００４】
従って、この発明の目的は、画像信号中に含まれる所望の模様や、テクスチャーを学習し、これをコンピュータグラフィックスで作成した画像に付加することによって、意図する模様、テクスチャーを容易に付加することが可能な画像生成装置を提供することにある。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、この発明は、所望の模様あるいはテクスチャを付加する注目画素のクラスを、入力される画像信号に基いて決定するクラス決定手段と、
クラス毎に所望の模様あるいはテクスチャに対応する予測情報が記憶される記憶手段と、
クラス決定手段により決定されたクラスに応じて記憶手段から読み出された予測情報に基いて、所望の模様あるいはテクスチャに対応する画素値を選択的に出力する選択出力手段と、
画像信号内で所望の模様或いはテクスチャを付加するエリアを指定するエリア信号を生成するエリア信号生成手段とを備え、
選択出力手段は、エリア信号に基いて、注目画素に対応する画像信号内の画素値或いは所望の模様あるいはテクスチャに対応する画素値を選択的に出力する画像生成装置である。
【０００６】
模様あるいはテクスチャーの実画像の信号を使用して、注目画素の周辺の複数の画素のレベル分布のパターン、すなわち、クラス毎の代表画素値が求められる。この代表画素値がテーブルに格納される。模様あるいはテクスチャーを付加したいエリア内のコンピュータグラフィックス信号の画素値がテーブルから出力される代表画素値に置き換えられる。これにより模様あるいはテクスチャーが付加された画像信号が出力される。コンピュータグラフィックスの作成ツールの負担を増すことなく、ユーザーが所望の模様あるいはテクスチャーを付加することができる。また、代表画素値の代わりに線形１次結合の係数をテーブルに格納することができる。
【発明の効果】
【０００７】
この発明によれば、コンピュータグラフィックスの画像に対して、ユーザーが所望の模様、テクスチャーを付加したい時に、予め模様、テクスチャーの実画像を使用して、学習を行い、代表画素値あるいは予測のための係数を決定している。従って、コンピュータグラフィックスの作成ツールに対する負担を増加させることなく、所望の模様、テクスチャーを付加することができる。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の全体ブロック図である。図１において、１がコンピュータグラフィックス信号（ＣＧ信号）の入力端子である。このＣＧ信号がセレクタ２の一方の入力端子Ａ、クラス分類回路３およびエリア信号発生回路５に供給される。
【０００９】
クラス分類回路３は、後述のように、所望の模様、テクスチャー等を付加したい画素の周辺のＣＧ信号の複数の画素のレベル分布に応じたクラスコードを発生する。このクラスコードがＲＯＭテーブル４にアドレス信号として供給される。ＲＯＭテーブル４には、予め学習により獲得されたクラス対代表画素値のテーブルが記憶されている。ＲＯＭテーブル４から読出された代表画素値がセレクタ２の入力端子Ｂに供給される。
【００１０】
セレクタ２は、エリア信号発生回路５からのエリア信号で制御される。すなわち、ＣＧ信号中で、元の画素をそのまま出力するエリアでは、セレクタ２が入力端子Ａを選択する。一方、ＣＧ信号中で、テクスチャーを付加したい画素に関しては、入力端子Ｂ、すなわち、ＲＯＭテーブル４からの代表画素値が選択される。セレクタ２の出力信号が出力端子６に取り出される。エリア信号発生回路５は、例えばユーザーが予めＣＧをモニタで再生し、テクスチャーを付加したいエリアを指定し、その指定されたエリアの座標値を記憶するメモリを有している。エリア指定は、これに限らず、ＣＧ信号中の各画素に対して、テクスチャーを付加するエリアとそうでないエリアとを区別するフラグを付加することでも可能である。また、図１の構成をコンピュータグラフィックスのシステム内に組み込むこともできる。
【００１１】
図２は、学習時の処理を説明するためのブロック図である。付加したいテクスチャーの実画像例えば芝生の面の画像がテレビジョンカメラで撮影される。この画像は、静止画像である。テレビジョンカメラに限らず、ＶＴＲ、ディスク再生装置等の画像ソースを使用できる。また、実際には、入力端子１１に供給される画像信号は、画像メモリから読出された信号であり、その信号レートは、処理速度に応じたものとされる。入力されたテクスチャー信号がディジタル信号に変換され、図２の入力端子１１から２次元ローパスフィルタ１２およびテーブル計算回路１３に供給される。テーブル計算回路１３の能力の範囲内で、静止画像の枚数が多くされる。
【００１２】
２次元ローパスフィルタ１２は、テクスチャー成分を除去するための回路の一例である。ローパスフィルタ以外にも、テクスチャーに応じてテクスチャー成分を除去する回路を使用できる。ローパスフィルタ１２の出力信号がクラス分類回路１４に供給される。クラス分類回路１４は、図１中のクラス分類回路３と同様に、テクスチャーを付加する画素のクラスを決定する。
【００１３】
クラス分類回路１４からのクラスコードがテーブル計算回路１３に供給され、また、クラスコードがＲＯＭテーブル１５にアドレスとして供給される。テーブル計算回路１３は、各クラスの代表画素値を計算する。計算された代表画素値がＲＯＭテーブル１５に書込まれる。このＲＯＭテーブル１５が図１のＲＯＭテーブル４として使用される。
【００１４】
テーブル計算回路１３の一例を図３に示す。入力端子１１からの入力信号と、クラス分類回路１４からのクラスコードが平均化回路２１に供給される。また、クラスコードがデータ数カウンタ２２に供給される。平均化回路２１は、１フレームの静止画像の全画素がクラス分類され、各クラスの画素値の累算される。一方、各クラスデータ数がデータ数カウンタ２２により累算される。そして、各クラスの画素値の累算値がデータ数の累算値で割算されることにより、各クラスの平均画素値が求められる。この平均画素値が代表画素値であり、ＲＯＭテーブル１５に貯えられる。
【００１５】
代表画素値を求める時に、累算した場合の語長が長くなることを防止するために、正規化処理を導入しても良い。例えばクラス分類に使用する複数画素からなるブロックのダイナミックレンジＤＲ（＝最大値ＭＡＸ−最小値ＭＩＮ）を計算し、平均化のために累算する画素値を、最小値ＭＩＮを減算し、ダイナミックレンジＤＲで割算する正規化がなされる。
【００１６】
クラス分類回路１４の一例を図４に示す。２３で示すブロック化回路に対して、２次元ローパスフィルタ１２の出力が供給される。ブロック化回路２３により時系列が変換される。ブロック化回路２３の出力信号が２値化回路２４およびしきい値決定回路２５に供給される。しきい値決定回路２５は、ブロック毎にしきい値ＴＨを決定する。このしきい値ＴＨとブロック化回路２３の出力信号が比較され、各画素が２値（‘0’ または‘1’ ）に変換される。すなわち、ブロック化回路２３からの画素値をＬで表すと、Ｌ≧ＴＨならば、Ｌが‘1’ に変換され、逆に、Ｌ＜ＴＨならば、Ｌが‘0’ に変換される。
【００１７】
２値化回路２４の出力がクラスコード発生回路２６に供給される。クラスコード発生回路２６は、ブロック内の画素数と等しいビット数のクラスコードを発生する。なお、クラス分類回路３は、入力信号がＣＧ信号であること以外では、図４の構成と同一のものである。
【００１８】
図５は、ブロック化回路２３の時系列変換により発生するブロックの一例である。３×３画素（×で示すａ〜ｉの９画素）のローパスフィルタ１２の出力信号が１ブロックを構成する。この１ブロックの中心画素（○で示す）が注目画素Ｘである。９画素ａ〜ｉのレベル分布のパターンに基づいて、注目画素がクラス分類される。
【００１９】
しきい値決定回路２５が例えばブロックの９画素の値の平均値をしきい値として発生する。そして、図６に示すように、この平均値ＴＨとａ〜ｉの各画素の値とが比較され、上述したように、‘0’ または‘1’ に２値化される。図６の例では、（０００１１１１００）の９ビットがクラスコードとして発生する。従って、この場合には、２9 の数のクラスが存在する。
【００２０】
クラス分類としては、ＡＤＲＣを使用することができる。まずブロック内の複数の画素値の最大値ＭＡＸと最小値ＭＩＮを検出する。その差分（ダイナミックレンジＤＲ）を２のｎ乗（ｎビット量子化の場合）で割り算し、量子化のステップ幅を求める。画素値から最小値ＭＩＮを引いた値に対して、求めた量子化ステップ幅で割り算し、整数に丸めることで適応量子化を行なう。これは、ＡＤＲＣ符号化方式と呼ばれるもので、下式で表されるものである。ここで、Ｑが量子化値、ｘ＾が復号値、〔  〕は切捨て処理をそれぞれ表す。
【００２１】
ＤＲ＝ＭＡＸ−ＭＩＮ
Ｑ＝〔（ｘ−ＭＩＮ）×（２n ／ＤＲ）〕
ｘ＾＝〔Ｑ×（ＤＲ／２n ）＋ＭＩＮ〕
このようにしてＡＤＲＣ符号化されたコードを複数個あつめて、正規化されたパターンを構成し、これをパターン分類によるクラスとして表現する。
【００２２】
図７は、テーブル計算回路１３により得られるテーブルを概略的に示す。９ビットのクラスコードのそれぞれと対応して、例えば８ビットの代表画素値が計算される。このテーブルがＲＯＭテーブル４あるいは１５として使用される。
【００２３】
ユーザーが付加したい模様あるいはテクスチャーが上述した例の芝生の面と異なるもの例えば木目の場合では、図２の入力端子１１に供給される入力信号が変更される。そして、学習によって、木目の場合の代表画素値が獲得され、これがＲＯＭテーブル１５に格納される。
【００２４】
図１の構成に戻って説明すると、ＣＧ信号が供給されると、クラス分類回路３によりクラスコードが生成され、ＲＯＭテーブル４からクラスコードで指定されるテクスチャーの代表画素値が読出される。エリア信号生成回路５からのエリア信号によって、セレクタ２が選択され、指定したエリアに含まれる画素値が代表画素値に変更される。従って、出力端子６からのＣＧ信号は、指定したエリアが所望のテクスチャーを呈するものに変更された信号である。
【００２５】
図８を参照してこの発明の他の実施形態を説明する。図１に示す一実施形態の構成と同様に、エリア信号により指定されたエリアに対して所望の模様、テクスチャーを付加するものである。他の実施形態では、ＲＯＭテーブル７がクラス対係数のテーブルである。このテーブルは、学習により予め獲得される。
【００２６】
ＲＯＭテーブル７から読出された係数が演算回路８に供給される。演算回路８では、ブロック化回路９を介されたＣＧ信号が供給される。ブロックの構造を図５に示すものとすると、ＲＯＭテーブル７から係数ｗ1 〜ｗ9 が読出される。そして、係数と周辺の画素ａ〜ｉ（各画素値をｘ1 〜ｘ9 とする）の線形１次結合によって、注目画素Ｘの値が生成される。
【００２７】
Ｘ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋・・・・＋ｗ9 ×ｘ9         （１）
ここで、このクラス分類のために使用する複数の画素は、補間演算に使用する複数の画素ｘ1 〜ｘ9 と同一である必要はなく、相違していても良い。
【００２８】
係数を決定する学習のために、図９の構成が使用される。この構成は、前述の図２の構成と同様のもので、１３で示す係数決定回路において、最小二乗法によって、クラス毎に係数が決定され、決定された係数がＲＯＭテーブル１６に貯えられる。係数決定回路１３には、模様、テクスチャー等に対応した入力信号と、クラスコードと、２次元ローパスフィルタ１２の出力信号とが供給される。係数決定回路１３では、注目画素に関して、（１）式で予測される予測画素値と、真値との誤差の二乗和を最小とする係数が最小二乗法により決定される。
【００２９】
また、学習の方法は、図１０のフローチャートに示される。図１０において、ステップ３１は、学習用のデータ（ユーザーが使用したい模様、テクスチャーを含む画像）を収集するための撮像処理のステップである。撮像画像は、ディジタル化され、メモリに蓄積される（ステップ３２）。このメモリに蓄積された画像信号を図９に示すように、２次元ローパスフィルタを介した画像信号を使用してクラスコードが生成される（ステップ３３）。これは、ブロック内の注目画素の周辺の画素を２値化する処理である。
【００３０】
このステップ３３の後の破線で囲んで示す処理が最小二乗法により係数を決定する処理である。後述のように、観測方程式がステップ３５において作成され、ステップ３６において正規方程式が作成され、正規方程式がステップ３７において掃き出し法で求められる。そして、求められた係数がステップ３８において出力される。
【００３１】
最小二乗法により係数を求める演算について以下に説明する。一般に観測方程式を次の式（２）および（３）で表す。ｘijが入力画像中の画素データであり、ｙi が補間値に対応する真値である。基本的には、この連立方程式を解いて係数ｗ1 〜ｗn を求めれば良い。
【００３２】
〔観測方程式〕
ＸＷ＝Ｙ        （２）
【００３３】
【数１】
2005259174.tif 000003
【００３４】
つまり、式（４）で示すように、残差行列Ｅが加えられた形となり、二乗誤差が最小となるように、係数行列が決定される。
【００３５】
〔残差方程式〕
【数２】
2005259174.tif 000004
【００３６】
式（４）から、係数ｗi の最確値を見いだすには、Σｅi 2 （Σは、ｉ＝１からｉ＝ｍの累算を意味する）を最小にする条件を満足するｗ1 ，ｗ2 ，・・・，ｗn を見いだせば良い。すなわち、次の式（５）にｎ個の条件をいれてこれを満足するｗ1 ，ｗ2 ，・・・，ｗn を求める。
【００３７】
【数３】
2005259174.tif 000005
【００３８】
式（４）から次の式（６）が成立する。
【００３９】
【数４】
2005259174.tif 000006
【００４０】
式（５）の条件をｉ＝１，２，・・・，ｎについて立てればそれぞれ次の式（７）が得られる。
【００４１】
【数５】
2005259174.tif 000007
【００４２】
ここで、式（４）および（７）から次の正規方程式が得られる。
【００４３】
【数６】
2005259174.tif 000008
【００４４】
これは、未知数の数ｎ個と対応する数の連立方程式であるから、この正規方程式から最確値たる各ｗi を求めることができる。正確には、式（８）において各ｗi にかかる（Σｘjnｘjn）を要素とする行列が正則であれば、この正規方程式を解くことができる。実際には、Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法（掃き出し法）を用いてこの正規方程式を解くことになる。
【００４５】
また、係数ｗi の演算は、インデックスコードで示されるクラス毎になされる。このようにして求められたクラス毎の係数は、ＲＯＭテーブル（図８におけるＲＯＭテーブル７および図９におけるＲＯＭテーブル１６）に蓄えられて画素値生成に使用される。
【図面の簡単な説明】
【００４６】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の学習のための構成を示すブロック図である。
【図３】テクスチャー計算回路の一例のブロック図である。
【図４】クラス分類回路の一例のブロック図である。
【図５】ブロック構造の説明に用いるための略線図である。
【図６】クラス分類処理の一例を示す略線図である。
【図７】クラス対代表画素値のテーブルの一例を示す略線図である。
【図８】この発明の他の実施形態のブロック図である。
【図９】この発明の一実施形態の学習のための構成を示すブロック図である。
【図１０】学習時の処理を表すフローチャートである。
【符号の説明】
【００４７】
２  セレクタ
３  クラス分類回路
４  ＲＯＭテーブル
１３  最小二乗法による係数決定回路
【図１】
2005259174.tif 000009
【図２】
2005259174.tif 000010
【図３】
2005259174.tif 000011
【図４】
2005259174.tif 000012
【図５】
2005259174.tif 000013
【図６】
2005259174.tif 000014
【図７】
2005259174.tif 000015
【図８】
2005259174.tif 000016
【図９】
2005259174.tif 000017
【図１０】
2005259174.tif 000018