(57)【要約】【課題】照明効果の算出が容易であり、自然な照明効果を実現し、かつ、小型化できる画像処理装置を提供する。【解決手段】入力された画像の画像情報として波状の曲面を有する画像において任意の視点から見た場合の光源からの光による照明効果が付加され、曲面に画像情報をマッピングさせて得られる映像信号を出力する画像処理装置１００であって、曲面の水平方向座標および垂直方向座標の位置ならびに曲面の形状に基づく曲面の位置における法線ベクトルに含まれる成分を擬似法線ベクトルとして算出し、擬似法線ベクトルに基づいて、照明効果を算出する。【選択図】図１
2008191985.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の画像情報として波状の曲面を有する画像において任意の視点から見た場合の光源からの光による照明効果が付加され、前記曲面に前記画像情報をマッピングさせて得られる映像信号を出力する画像処理装置であって、
前記曲面の水平方向座標および垂直方向座標の位置ならびに前記曲面の形状に基づく前記曲面の位置における法線ベクトルに含まれる成分を擬似法線ベクトルとして算出する擬似法線ベクトル計算部と、
前記擬似法線ベクトルに基づいて、前記照明効果を算出する照明効果計算部と
を有する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記擬似法線ベクトル計算部は、
前記形状が２次元平面内の周期的な変調成分をもった歪みまたは周期的な変調成分をもった放射状の疎密波である場合、基準振幅を有し、任意量の位相をシフトした変調成分を水平方向座標軸および垂直方向座標軸に写像した値を、それぞれ前記擬似法線ベクトルの水平方向座標成分および垂直方向成分とし、任意の固定値を前記擬似法線ベクトルの視点方向成分として算出する画像処理装置。
【請求項３】
入力された画像の画像情報として波状の曲面を有する画像において任意の視点から見た場合の光源からの光による照明効果が付加され、前記曲面に前記画像情報をマッピングさせて得られる映像信号が出力される画像処理方法であって、
前記曲面の水平方向座標および垂直方向座標の位置ならびに前記曲面の形状に基づく前記曲面の位置における法線ベクトルに含まれる成分が擬似法線ベクトルとして算出される擬似法線ベクトル計算ステップと、
前記擬似法線ベクトルに基づいて、前記照明効果が算出が算出される画像処理方法。
【請求項４】
請求項３に記載の画像処理方法であって、
前記擬似法線ベクトル計算ステップにおいて、
前記形状が２次元平面内の周期的な変調成分をもった歪みまたは周期的な変調成分をもった放射状の疎密波である場合、基準振幅を有し、任意量の位相をシフトした変調成分を水平方向座標軸および垂直方向座標軸に写像した値が、それぞれ前記擬似法線ベクトルの水平方向座標成分および垂直方向成分として、任意の固定値が前記擬似法線ベクトルの視点方向成分として算出される画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像製作等に用いる画像処理装置、画像処理方法に関し、特に、光源と視点の関係を考慮した照明処理を行い、写実的な特殊効果をリアルタイムに表現し、多種類の特殊効果画像に対応できる装置の単純化かつ小型化を図るものである。
【背景技術】
【０００２】
従来の画像特殊効果装置は、そのブロック図を図８に示すように、フレームメモリ１０２と、シーケンシャルなライトアドレス１０５から画像特殊効果用リードアドレス１０８を演算するリードアドレス演算部１０９とを備えている。
【０００３】
シーケンシャルなライトアドレス１０５でフレームメモリ１０２に順次書き込んだ入力画像１０１を、画像特殊効果用リードアドレス演算部１０９で演算した画像特殊効果用リードアドレス１０８でフレームメモリ１０２から出力画像１０３を読み出すことにより、波効果、波紋効果等の各種ビデオエフェクトを画像に施している。
【０００４】
従来の画像特殊効果装置における波効果を実現するときの表示画面垂直方向の読み出しアドレスの計算方法は、図９に示すように、シーケンシャルな表示画面水平方向Ｘ１３上の書き込みアドレスｘ、シーケンシャルな表示画面上垂直方向Ｙ２２上の書き込みアドレスｙから、Ｘ１３とＹ２２との交点である原点Ｏを中心に座標回転を行う。Ｘ１３上の座標成分から照明効果を行うための変調波１６を生成し、Ｙ２２上の座標に加算後、もとの位置に座標逆回転する。Xeffectは、直交座標のシーケンシャルな表示画面水平方向データから波効果などの各種ビデオエフェクトを生成するための表示画面水平方向データであり、画像特殊効果用リードアドレス演算部１０９によって演算された波効果水平方向座標計算の結果である。また、Yeffectは、直交座標のシーケンシャルな表示画面垂直方向データから波効果などの各種ビデオエフェクトを生成するための表示画面垂直方向データであり、画像特殊効果用リードアドレス演算部１０９によって演算された波効果垂直方向座標計算の結果である。Xeffect、Yeffectは、画像特殊効果用リードアドレス１０８に変換される。
【０００５】
このような従来の波効果に関してX_rotate、y_rotate、Xeffect、Yeffectについてまとめると、下記（１）のような関係になる。
（１）
（ x_rotate , y_rotate ） = 座標回転 ( x , y )
（ Xeffect , Yeffect ）= 座標逆回転（ x_rotate , y_rotate + 変調波（ x_rotate ））
【０００６】
次に、従来の画像特殊効果装置における波紋効果を実現するときの表示画面水平方向、垂直方向の読み出しアドレス計算方法は、図１０に示すように、シーケンシャルな表示画面水平方向Ｘ１３上の書き込みアドレスｘ、シーケンシャルな表示画面上垂直方向Ｙ２２上の書き込みアドレスｙから、Ｘ１３とＹ２２との交点である原点Ｏを中心にＸ１３上の軸方向に画素ごとに回転を行い、全ての座標が、表示画面水平方向Ｘ１３上になるように変換する。Ｘ１３上の座標成分から変調波１６を生成し、Ｘ１３上の座標成分に加算後、もとの位置にＸ１３の方向に画素ごとに座標逆回転する。X_rotate、Y_rotateは、直交座標のシーケンシャルな表示画面水平垂直方向データｘ、ｙを、図中の符号１３の方向（Ｘ１３軸に集まる方向）に回転した結果である。Xeffectは、直交座標のシーケンシャルな表示画面水平方向データであり、波紋効果水平垂直座標計算の結果である。Yeffectは、直交座標のシーケンシャルな表示画面垂直方向データであり、波紋効果水平垂直座標計算の結果である。Xeffect,Yeffectは、画像特殊効果用リードアドレス１０８に変換される。
【０００７】
このような従来の波紋効果に関してX_rotate、y_rotate、Xeffect、Yeffectについてまとめると、下記（２）のような関係になる。
（２）
（ x_rotate , y_rotate ） = 画素ごとにｘ軸上に回転（ x , y ）
（ Xeffect , Yeffect ） = 画素ごとに元の位置に逆回転（ x_rotate + 変調波（ x_rotate ） , y_rotate ）
【０００８】
また、得られた特殊効果画像に対して照明効果を与えるため、あらかじめ定められた複数の効果面の形状に対応する複数の照明パターンが記憶されたテーブル値を混合することにより、さまざまな形状の効果面に対する照明効果を得られる装置が知られている（例えば、特許文献１参照）。
【０００９】
また、一般的に、視点方向の単位ベクトルを（０、０、１）とした場合、鏡面反射の照明効果Ｒを実現する場合の計算方法は、光源ベクトルをＬ、効果面の法線ベクトルをＮとすると、反射ベクトルＲは、効果面の形状にかかわらず、下記（３）のようになる。
（３）  Ｒ＝２（Ｌ・Ｎ）Ｎ−Ｌ
【特許文献１】特開平０５−１４３７４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した従来の特殊効果装置では、さまざまな照明パターンをあらかじめ定めるとともに、効果面に応じた最適な照明パターンの組み合わせを決めなくてはならない。また、新規に特殊効果機能を追加した場合、実装済みの照明パターンでは最適な組み合わせが見つからない可能性もある。さらに、波および波紋効果を計算する場合、平面方向、奥行き方向の法線ベクトルを計算しなければならず、法線ベクトルの計算式が非常に複雑である。また、波そのものの波形を反射率とし、頂点だけを光らせることは可能であるが、照明効果は立体感に欠け、自然な照明効果を実現することが困難である。
【００１１】
本発明は、上記事情を鑑みてなされたものであって、照明効果の算出が容易であり、自然な照明効果を実現し、かつ、小型化できる画像処理装置、画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の第１の画像処理装置は、入力された画像の画像情報として波状の曲面を有する画像において任意の視点から見た場合の光源からの光による照明効果が付加され、前記曲面に前記画像情報をマッピングさせて得られる映像信号を出力する画像処理装置であって、前記曲面の水平方向座標および垂直方向座標の位置ならびに前記曲面の形状に基づく前記曲面の位置における法線ベクトルに含まれる成分を擬似法線ベクトルとして算出する擬似法線ベクトル計算部と、前記擬似法線ベクトルに基づいて、前記照明効果を算出する照明効果計算部とを有する構成としている。
【００１３】
この構成により、照明効果の算出が容易であり、自然な照明効果を実現し、かつ、小型化できる。例えば、法線ベクトルとして、視点方向成分しか持たない法線ベクトルを有する画像効果は、視点方向しか成分がないので法線ベクトル計算は簡単であり、擬似的な法線ベクトルを求めることで、大規模な新規計算回路を追加しなくても、波効果、波紋効果に連動した、自然な照明効果を実現しつつ、装置を小型化することができる。
【００１４】
また、本発明の第２の画像処理装置は、前記擬似法線ベクトル計算部が、前記形状が２次元平面内の周期的な変調成分をもった歪みまたは周期的な変調成分をもった放射状の疎密波である場合、基準振幅を有し、任意量の位相をシフトした変調成分を水平方向座標軸および垂直方向座標軸に写像した値を、それぞれ前記擬似法線ベクトルの水平方向座標成分および垂直方向成分とし、任意の固定値を前記擬似法線ベクトルの視点方向成分として算出する構成としている。
【００１５】
例えば、波紋効果の場合は、ｘ、ｙ、ｚ成分の法線ベクトル成分を有するため、波紋効果を有する面の法線ベクトルは、波成分の二次曲線式からの計算ステップとなり、非常に複雑である。この構成により、波成分を利用した擬似的な法線ベクトルを用いることで、複雑な法線ベクトル計算を不要とし、大規模な新規計算回路を追加しなくても、波効果、波紋効果に連動した、自然な照明効果を実現しつつ、装置を小型化することができる。
【００１６】
また、本発明の第１の画像処理方法は、入力された画像の画像情報として波状の曲面を有する画像において任意の視点から見た場合の光源からの光による照明効果が付加され、前記曲面に前記画像情報をマッピングさせて得られる映像信号が出力される画像処理方法であって、前記曲面の水平方向座標および垂直方向座標の位置ならびに前記曲面の形状に基づく前記曲面の位置における法線ベクトルに含まれる成分が擬似法線ベクトルとして算出される擬似法線ベクトル計算ステップと、前記擬似法線ベクトルに基づいて、前記照明効果が算出が算出される方法としている。
【００１７】
この方法により、照明効果の算出が容易であり、自然な照明効果を実現し、かつ、小型化できる。例えば、法線ベクトルとして視点方向成分しか持たない法線ベクトルを有する画像効果は、視点方向しか成分がないので法線ベクトルの計算は簡単であり、擬似的な法線ベクトルを用いることで、複雑な法線ベクトル計算を不要とし、大規模な新規計算回路を追加しなくても、波効果、波紋効果に連動した、自然な照明効果を実現しつつ、装置を小型化することができる。
【００１８】
また、本発明の第２の画像処理方法は、前記擬似法線ベクトル計算ステップにおいて、前記形状が２次元平面内の周期的な変調成分をもった歪みまたは周期的な変調成分をもった放射状の疎密波である場合、基準振幅を有し、任意量の位相をシフトした変調成分を水平方向座標軸および垂直方向座標軸に写像した値が、それぞれ前記擬似法線ベクトルの水平方向座標成分および垂直方向成分として、任意の固定値が前記擬似法線ベクトルの視点方向成分として算出されるステップとしている。
【００１９】
例えば、波紋効果の場合は、ｘ、ｙ、ｚ成分の法線ベクトル成分を有するため、波紋効果を有する面の法線ベクトルは、波成分の二次曲線式からの計算ステップとなり、非常に複雑である。この方法により、波成分を利用した擬似的な法線ベクトルを用いることで、複雑な法線ベクトル計算ステップを不要とし、大規模な新規計算ステップを追加しなくても、波効果、波紋効果に連動した、自然な照明効果を実現しつつ、装置を小型化することができる。
【発明の効果】
【００２０】
本発明は、例えば、垂直方向に画面が揺らぐ波効果を有する面、波紋効果を有する面であっても、波成分を利用した擬似的な法線ベクトルを用いることによって、自然な照明効果を実現でき、かつ装置を小型化できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態の画像処理装置について、図面を用いて説明する。
【００２２】
図１は本発明の実施形態における画像処理装置１００の構成の一例を示す図である。
画像処理装置１００は、照明効果用変調波生成部４および擬似法線ベクトル計算部７を有する。
【００２３】
照明効果用変調波生成部４は、照明効果を行うための変調波２の位相を１／４シフトし、さらに、振幅値が±１の間を振れるようにする。尚、ここでは変調波２は正弦波としている。
【００２４】
図２は照明効果用変調波生成部４が有する機能の一例を説明するための図である。
【００２５】
図２（ａ）は変調波２の位相を１／４シフト（３／４周期位相シフト）して変調波９を作成することを説明するための図である。ここでは、変調波２の１周期が１であり、０≦ｘ＜０．５の場合にはｙ＝−１６ｘ２＋８ｘを満たし、０．５≦ｘ＜１の場合にはｙ＝１６ｘ２―２４ｘ＋８を満たし、この変調波２を３／４周期位相シフトしている。照明効果用変調波生成部４は、変調波９を変調波２に基づいて作成する。また、照明効果用変調波生成部４は計算回路２００を有している。
【００２６】
図２（ｂ）は位相をシフトされた変調波９を作成するための計算回路の一例を示した図である。計算回路２００に対して変調波２を入力し、各計算器２０１〜２０６によって数式処理を行うことで、位相をシフトした変調波９（light_wave）が作成される。尚、計算器２０１〜２０６によって作成される各種の値は、他の値であってもよい。
【００２７】
擬似法線ベクトル計算部７は、照明効果用変調波生成部４で位相シフトした変調波９の振幅値の表示画面水平方向Ｘ１３の成分、表示画面垂直方向Ｙ２２の成分を計算する。擬似法線ベクトル計算部７は、擬似法線ベクトルの水平成分n_vector_x５を、位相シフトした変調波９の振幅値の水平座標成分とし、擬似法線ベクトルの垂直成分n_vector_y６を、位相シフトした変調波９の振幅値の垂直座標成分とし、また、ここでは擬似法線ベクトル視点方向成分n_vector_z８を１とする。尚、n_vector_z8の値は、１以外であってもよい。
【００２８】
図３は擬似法線ベクトル計算部７が有する機能の一例を説明するための図である。図３では、Ｘ１３は表示画面水平方向、Ｙ２２は表示画面垂直方向、Ｚ１４は視点方向を示している。
擬似法線ベクトル計算部７は、擬似法線ベクトルＮ１０が次式を満たすように擬似法線ベクトルＮを生成する。
Ｎ＝（ -sinθeffect ×light_wave、cosθeffect ×light_wave、１）
ここで、θeffect ＝ θ−π／２である。
【００２９】
また、擬似法線ベクトル計算部７は、この擬似法線ベクトルＮ１０を用いた場合の照明効果Ｒは下記の式を満たすよう作成する。
照明効果Ｒ＝１×（Ｌ・Ｎ）Ｎ−Ｌ・・・（４）
【００３０】
尚、擬似法線ベクトル７は、「照明効果計算部」としての機能も有する。
【００３１】
次に、波効果の擬似法線ベクトルについて詳細に説明する。
図４は波効果の擬似法線ベクトルの詳細説明図であり、（１）の変調波（ x_rotate ）を用いて生成された擬似法線ベクトルの水平座標方向成分、垂直座標方向成分を示している。尚、ここでは、「波紋」とは放射状に放出される波を指すものとする。
【００３２】
照明効果用変調波生成部が変調波２を位相シフトした変調波９を生成すると、擬似法線ベクトル生成部７は、位相シフトした変調波９の水平座標成分を示した曲線５（波の場合の図１における n_vector_x に相当）、位相シフトした変調波９の垂直座標成分を示した曲線６（波の場合の図１における n_vector_y に相当）を生成する。
【００３３】
この結果、図４のような波効果における照明効果は、（４）の計算により、光源ベクトルＬの水平座標成分、垂直座標成分に連動した、視覚的にも自然な照明効果を得ることができる。尚、図５は波効果による照明効果の一例を示した図である。
【００３４】
次に、波紋効果の擬似法線ベクトルについて詳細に説明する。
図６は波紋効果の擬似法線ベクトルの詳細説明図であり、（２）の変調波(x_rotate)を用いて生成された擬似法線ベクトルの水平座標方向成分、垂直座標方向成分を示している。
【００３５】
照明効果用変調波生成部が各変調波２を位相シフトした各変調波９を生成すると、擬似法線ベクトル生成部７は、位相シフトした各変調波９の水平座標成分を示した各曲線５（波紋の場合の図１における n_vector_x に相当）、位相シフトした変調波９の垂直座標成分を示した曲線６（波紋の場合の図１における n_vector_y に相当）を生成する。
【００３６】
この結果、図６のような波紋効果における照明効果は、（４）の計算により、光源ベクトルＬの水平座標成分、垂直座標成分に連動した、視覚的にも自然な照明効果を得ることができる。尚、図７は波紋効果による照明効果の一例を示した図である。
【００３７】
このような画像処理装置１００によれば、例えば波効果、波紋効果の擬似法線ベクトルＮを求めることで、大規模な新規計算回路を追加しなくても、自然な照明効果を実現しつつ、装置を小型化することができる。
【００３８】
なお、照明効果用変調波生成部４の動作として、位相を１／４シフトするとしたが、その他の値でもよく、動的に変更してもよい。また、照明効果用変調波生成部４で位相シフトした変調波の振幅値を±１としたが、それ以外の値でもよい。また、擬似法線ベクトル視点方向成分を１としたが、それ以外の値でもよい。周期的な変調成分を正弦波としたが、正弦波でなくてもよい。また、照明効果Ｒの値を画像の輝度に加算し、照明効果Ｒが正の値を示す場合をライティング、負の値を示す場合をシェーディング効果としてもよい。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施形態における画像処理装置の構成の一例を示すブロック図
【図２】本発明の実施形態における照明効果用変調波生成部が有する機能の一例を説明するための図
【図３】本発明の実施形態における擬似法線ベクトル計算部が有する機能の一例を説明するための図
【図４】本発明の実施形態における波効果の擬似法線ベクトルの詳細説明図
【図５】本発明の実施形態における波効果による照明効果の一例を示した図
【図６】本発明の実施形態における波紋効果の擬似法線ベクトルの詳細説明図
【図７】本発明の実施形態における波紋効果による擬似法線ベクトルの詳細説明図
【図８】従来の画像特殊効果装置の構成を示すブロック図
【図９】従来の画像特殊効果装置における波効果計算手順を説明するための図
【図１０】従来の画像特殊効果装置における波紋効果計算手順を説明するための図
【符号の説明】
【００４０】
１００  画像処理装置
２  変調波
５  擬似法線ベクトル水平方向成分
６  擬似法線ベクトル垂直方向成分
７  擬似法線ベクトル計算部
８  擬似法線ベクトル視点方向成分
９  位相シフトした変調波
X１３  表示画面水平方向
Y２２  表示画面垂直方向
Ｚ１４  視点方向
１０１  入力画像
１０２  フレームメモリ
１０３  出力画像
１０５  シーケンシャルなライトアドレス
１０８  画像特殊効果用リードアドレス
１０９  リードアドレス演算部
２００  計算回路
２０１〜２０６  計算器
【図１】
2008191985.tif 000003
【図２】
2008191985.tif 000004
【図３】
2008191985.tif 000005
【図４】
2008191985.tif 000006
【図６】
2008191985.tif 000007
【図８】
2008191985.tif 000008
【図９】
2008191985.tif 000009
【図１０】
2008191985.tif 000010
【図５】
2008191985.tif 000011
【図７】
2008191985.tif 000012