(57)【要約】【課題】テクスチャマッピングするポリゴン面を任意に指定可能とし、しかも、不適切なテクスチャマッピングが行われることを回避する。【解決手段】画像生成部はＣＧ記述データに基づいてコンピュータグラフィクス画像を生成する。ユーザは、ターゲット指定部により、オブジェクトあるいはマテリアルを選択してＣＧ記述データの中のポリゴンの面を指定する。画像マッピング部は、ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする。マッピング条件チェック部により、ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かをチェックする。マッピング条件を備えていると判断されるとき、画像マッピング部により、ターゲット指定部で指定されたポリゴンの面に所定の画像をマッピングする。【選択図】図１
2012221105.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記コンピュータグラフィクス記述データの中のポリゴンの面を指定する操作入力を受けるターゲット指定部と、
上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング部と、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック部とを備え、
上記画像マッピング部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されるとき、上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理装置。
【請求項２】
上記画像生成部は、出力する画像のフレームレートに対してリアルタイムレンダリング動作をし、
上記画像マッピング部は、各フレームの画像生成毎に、上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されたポリゴンの面に所定の画像をテクスチャマッピングする
請求項１に記載の画像処理装置。
【請求項３】
上記ターゲット指定部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されないポリゴンの面を指定する操作入力を受けない
請求項１に記載の画像処理装置。
【請求項４】
上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断する
請求項１に記載の画像処理装置。
【請求項５】
上記ターゲット指定部は、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断した場合、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面を上記指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、上記指定されたポリゴンの面にテクスチャ座標を付与する
請求項４に記載の画像処理装置。
【請求項６】
上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面のテクスチャ座標について、該ポリゴン上で歪みが閾値以上の場合にはテクスチャマッピングの条件を備えていないと判断する
請求項１に記載の画像処理装置。
【請求項７】
上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に垂直な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
請求項１に記載の画像処理装置。
【請求項８】
上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像のみでテクスチャマッピングを行う
請求項７に記載の画像処理装置。
【請求項９】
上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に平行な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
請求項１に記載の画像処理装置。
【請求項１０】
上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像でテクスチャマッピングを行う
請求項９に記載の画像処理装置。
【請求項１１】
上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像および上記右眼用画像の間の視差を減じてテクスチャマッピングを行う
請求項９に記載の画像処理装置。
【請求項１２】
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成ステップと、
指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピングステップと、
上記指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェックステップとを備え、
上記画像マッピングステップでは、
上記マッピング条件チェックステップでマッピング条件を備えていると判断されるとき、上記指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理方法。
【請求項１３】
コンピュータを、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成手段と、
指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング手段と、
上記指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック手段として機能させ、
上記画像マッピング手段は、
上記マッピング条件チェック手段でマッピング条件を備えていると判断されるとき、上記指定されたポリゴンの面に画像をテクスチャマッピングする
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法およびプログラムに関する。特に、本技術は、コンピュータグラフィクスのオブジェクトの表面に画像をテクスチャマッピングする画像処理装置等に関する。
【背景技術】
【０００２】
３次元グラフィックスシステムにおいては、３次元座標を３角形などのポリゴン（多角形）に分解し、そのポリゴンを描画することで、画像全体の描画が行われる。したがって、この場合、３次元画像は、ポリゴンの組み合わせで定義されていると言える。ところで、身の回りにある物体表面は、複雑な模様の繰り返しパターンを有することが多く、模様やパターンが複雑で細かくなるほど、各模様やパターンを３角形などでモデリングすることは困難となる。そこで、これを解決する手段として、テクスチャマッピング(Texture Mapping)が用いられる。
【０００３】
テクスチャマッピングは、スキャナ等で取り込んだイメージデータを、物体表面に貼り付けることにより、少ない頂点数で、リアリティの高い画像を実現するもので、オブジェクト（Object）座標系からテクスチャ（Texture）座標系への写像を定義し、さらに、ウインドウ（Window）座標系からテクスチャ座標系への写像を求めて、ウインドウ座標系における各ピクセル（Pixel, Picture Cell Element ）に対応するテクスチャの要素であるテクセル（Texel：Texture Cell Element ）を求める。
【０００４】
テクスチャに利用される画像データは、テクスチャメモリと呼ばれるメモリ領域に格納される。したがって、動画像データを用いてテクスチャメモリを随時更新する処理を行うと、動画像によるテクスチャマッピング処理が可能となる。
【０００５】
例えば、特許文献１には、ＣＧ（コンピュータグラフィクス）記述データに基づいて生成されたＣＧ画像に、画像をテクスチャマッピングする画像処理装置が記載されている。
【０００６】
ＣＧ記述データでは、仮想物体の表面の色や反射特性などを、マテリアルと呼ぶ特性として定義し、各仮想物体の各面に割り当てている。これにより、レンダリングする際の見え方が計算され、色や反射が決まる。マテリアルには、テクスチャマッピングされるテクスチャ・ファイルが指定されている場合がある。
【０００７】
テクスチャ・ファイルは画像ファイルであって、対象となる面に貼り付けたような結果になる。貼り付ける位置や伸縮は、テクスチャ座標（ＵＶ座標）と呼ばれる、各ポリゴンの頂点に付与される値によって決まる。テクスチャ座標は、テクスチャ・ファイルを二次元の、ｘ、ｙともに０から１までの値の領域として、それと貼り付ける先の各ポリゴンの対応関係を示す。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−０２２７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
例えば、放送用に、状況に応じてＣＧ画像を変化させるために，ＣＧ中の任意の面に、任意の選択された画像をテクスチャマッピングできる装置が求められる。その場合、選択肢は全ての面（ポリゴンの集合）であるので、それらは、ＣＧ制作時にテクスチャマッピングを意図して作られた面とは限らない。ＣＧ記述データにおいて、テクスチャマッピングされない面については、テクスチャ座標は未定義である場合もある。
【００１０】
テクスチャ座標が未定義の面にテクスチャマッピングを行うと、テクスチャ・ファイルである静止画の各画素との対応が計算できないため、表示不能な状態になる。また、テクスチャ座標およびその他の属性が定義されていても、テクスチャ・ファイルによっては貼り付ける方向、面上の位置オフセットなどで、マッピングされた画像が不適切な状態になる場合がある。
【００１１】
本技術の目的は、テクスチャマッピングするポリゴン面を任意に指定可能とし、しかも、不適切なテクスチャマッピングが行われることを回避することにある。
【課題を解決するための手段】
【００１２】
本技術の概念は、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記コンピュータグラフィクス記述データの中のポリゴンの面を指定する操作入力を受けるターゲット指定部と、
上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング部と、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック部とを備え、
上記画像マッピング部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されるとき、上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理装置にある。
【００１３】
本技術において、画像生成部により、コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像が生成される。また、ターゲット指定部により、コンピュータグラフィクス記述データの中のポリゴンの面が指定される。そして、画像マッピング部により、ターゲット指定部で指定されたポリゴンの面に所定の画像がテクスチャマッピングされる。
【００１４】
この際、マッピング条件チェック部により、ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かがチェックされる。そして、テクスチャマッピングの条件を備えていると判断されるとき、画像マッピング部により、ターゲット指定部で指定されたポリゴンの面に所定の画像がテクスチャマッピングされる。
【００１５】
例えば、画像生成部は、出力する画像のフレームレートに対してリアルタイムレンダリング動作をし、画像マッピング部は、各フレームの画像生成毎に、マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されたポリゴンの面に所定の画像をテクスチャマッピングする、ようにされる。
【００１６】
このように本技術においては、ユーザがターゲット指定部でテクスチャマッピングをするポリゴン面を任意に指定できる。また、ターゲット指定部で指定されたポリゴンの面の全てに画像がテクスチャマッピングされるものではなく、テクスチャマッピングの条件を備えているポリゴンの面にのみ画像がテクスチャマッピングされる。そのため、ポリゴンの面に不適切な状態で画像がマッピングされることを回避できる。
【００１７】
なお、本技術において、例えば、ターゲット指定部は、マッピング条件チェック部でマッピング条件を備えていると判断されないポリゴンの面を指定する操作入力を受けない、ようにされてもよい。例えば、ターゲット指定部は、当該ポリゴンの面を指定する操作入力を拒否するかエラーとする。また、例えば、ターゲット指定部は、当該ポリゴンの面を選択肢として表示しない。これにより、ユーザがマッピング条件を備えていないポリゴンの面を指定することを事前に回避でき、操作性の向上が可能となる。
【００１８】
また、本技術において、例えば、マッピング条件チェック部は、ターゲット指定部で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。テクスチャ座標が未定義の面にテクスチャマッピングを行うとすると、画像の各画素との対応が計算できないため、表示不能な状態になるからである。
【００１９】
この場合、例えば、ターゲット指定部は、このターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断されるとき、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面を指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、指定されたポリゴンの面にテクスチャ座標を付与する、ようにされてもよい。これにより、指定されたポリゴンの面にテクスチャ座標が未定義であっても、画像を適切にテクスチャマッピングすることが可能となる。
【００２０】
また、本技術において、例えば、マッピング条件チェック部は、ターゲット指定部で指定されたポリゴンの面のテクスチャ座標について、このポリゴン上で歪みが閾値以上の場合にはテクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。ここで、歪みとは、テクスチャ座標では同じ距離であるのに対してＣＧ空間では場所により距離に差がでることを意味する。この場合、画像に変形あるいはゆがみが発生することから、テクスチャマッピングには適さないと考えられる。
【００２１】
また、本技術において、例えば、マッピング条件チェック部は、画像マッピング部がターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、ポリゴンの面が出力画像の画面に垂直な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。この場合、回転によって左眼用の画像と右眼用の画像の左右のずれが上下のずれとなってくるので、立体画像の適切な表示が困難となるからである。
【００２２】
この場合、例えば、画像マッピング部は、ターゲット指定部で指定されたポリゴンの面がマッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、左眼用画像または右眼用画像のみでマッピングを行う、ようにされてもよい。この場合、ポリゴンの面に立体画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。
【００２３】
また、本技術において、例えば、マッピング条件チェック部は、画像マッピング部がターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、ポリゴンの面が出力画像の画面に平行な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。この場合、例えば、ｘ軸を中心として回転した場合、左眼用画像と右眼用画像との間の視差も減るはずだが、左眼画像と右眼画像視差との間の視差が減らないことから不自然な立体画像表示となる。
【００２４】
この場合、例えば、画像マッピング部は、ターゲット指定部で指定されたポリゴンの面がマッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、左眼画像または右眼画像のみでマッピングを行う、ようにされてもよい。この場合、ポリゴンの面に立体画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。
【００２５】
また、この場合、例えば、画像マッピング部は、ターゲット指定部で指定されたポリゴンの面がマッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、左眼用画像および右眼用画像の間の視差を減じてテクスチャマッピングを行う、ようにされてもよい。この場合、指定されたポリゴンの面に、不自然な立体画像が表示されることを回避することが可能となる。
【発明の効果】
【００２６】
本技術によれば、テクスチャマッピングするポリゴン面を任意に指定でき、また、不適切なテクスチャマッピングが行われることを回避できる。
【図面の簡単な説明】
【００２７】
【図１】本技術の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたＧＵＩ例を示す図である。
【図３】表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたＧＵＩ例を示す図である。
【図４】テクスチャマッピングすべき画像およびテクスチャマッピング結果の一例を示す図である。
【図５】画像生成部（画像マッピング部およびマッピング条件チェック部）の構成例を示すブロック図である。
【図６】画像生成部（画像マッピング部およびマッピング条件チェック部）の機能ブロックの構成例を示す図である。
【図７】画像生成部におけるレンダリング中のテクスチャマッピング処理の手順を示すフローチャートである。
【図８】平面から投影してテクスチャ座標を決定する例を示す図である。
【図９】ポリゴン上にマッピングされた画像に歪みあるいはゆがみが生じる例を示す図である。
【図１０】ステレオ画像をテクスチャマッピングする場合におけるポリゴンの面のＺ軸に対する回転を説明するための図である。
【図１１】ステレオ画像をテクスチャマッピングする場合におけるポリゴンの面のＸ軸、Ｙ軸などに対する回転を説明するための図である。
【図１２】左眼用画像と右眼用画像との間の視差と、被写体の奥行きとの関係を示す図である。
【図１３】画像マッピング部における複数のポリゴン面へのステレオ画像のテクスチャマッピングの処理手順を示すフローチャートである。
【図１４】ターゲット操作部におけるオブジェクト（ノード）の選択肢表示の処理手順を示すフローチャートである。
【図１５】画像処理装置の他の構成例を示すブロック図である。
【図１６】プログラム出力およびそれに対するプレビュー出力の一例を示す図である。
【発明を実施するための形態】
【００２８】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２９】
＜１．実施の形態＞
［画像処理装置の構成］
図１は、本技術の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、ＣＧ（コンピュータグラフィクス）制作部１１０と、ネットワーク１２０と、画像生成部１３０と、画像マッピング部１４０と、マッピング条件チェック部１９０と、記憶部１５０を有している。また、この画像処理装置１００は、マトリクススイッチ１６０と、画像選択操作部１７０と、画像合成部（プログラム・プレビューミキサ）１８０を有している。ＣＧ制作部１１０、画像生成部１３０および画像選択操作部１７０は、それぞれネットワーク１２０に接続されている。
【００３０】
ＣＧ制作部１１０は、ＣＧ制作ソフトウェアを持つパーソナルコンピュータ（ＰＣ：Personal Computer）により構成されている。このＣＧ制作部１１０は、所定のフォーマットのＣＧ記述データを出力する。ＣＧ記述データのフォーマットとして、例えばＣｏｌｌａｄａ（登録商標）がある。Ｃｏｌｌａｄａは、ＸＭＬ（Extensible Markup Language）の上で３ＤのＣＧデータの交換を実現するための記述定義である。ＣＧ記述データには、例えば、以下のような情報が記述される。
【００３１】
（ａ）マテリアル（表面態様）の定義
このマテリアルの定義は、ＣＧオブジェクトの表面の質（見え方）である。このマテリアルの定義には、色、反射の仕方、発光、凹凸などの情報が含まれる。また、このマテリアルの定義には、テクスチャマッピングの情報が含まれる場合がある。テクスチャマッピングとは、上述したように、画像をＣＧオブジェクトに貼り付ける手法であり、処理系の負荷を比較的軽くしつつ、複雑な模様などを表現できる。
【００３２】
（ｂ）幾何学情報 Geometry の定義
この幾何学情報 Geometry の定義には、ポリゴンメッシュについての、位置座標、頂点の座標などの情報が含まれる。
（ｃ）カメラの定義
このカメラの定義には、カメラのパラメタが含まれる。
【００３３】
（ｄ）アニメーションの定義
このアニメーションの定義には、アニメーションの各キーフレームにおける、様々な情報が含まれる。また、このアニメーションの定義には、アニメーションの各キーフレームにおける時刻の情報が含まれる。様々な情報とは、例えば、対応するオブジェクト（ノード）のキーフレーム点の時刻、位置や頂点の座標値、サイズ、接線ベクトル、補間方法、各種情報のアニメーション中の変化等の情報である。
（ｅ）シーン中のノード（オブジェクト）の位置、方向、大きさ、対応する幾何学情報定義、対応するマテリアル定義
【００３４】
これらの情報は、ばらばらではなく、例えば、以下のように対応付けられている。
・ノード・・・幾何学情報
・ノード・・・マテリアル（複数）
・幾何学情報・・・ポリゴン集合（複数）
・ポリゴン集合・・・マテリアル（ノードに対応するうちの一つ）
・アニメーション・・・ノード
【００３５】
一つの画面を構成する記述はシーンと呼ばれる。各定義はライブラリと呼ばれ、シーンの中から参照される。例えば、直方体のオブジェクトが２つ存在する場合、それぞれが一つのノードとして記述され、各ノードにマテリアル定義のいずれかが連想される。この結果、各直方体のオブジェクトにはマテリアル定義が連想され、各マテリアル定義に従った色や反射特性で描画される。
【００３６】
あるいは、直方体のオブジェクトは複数のポリゴン集合で記述され、ポリゴン集合にマテリアル定義が連想されている場合は、ポリゴン集合毎に、異なるマテリアル定義で描画される。例えば、直方体の面は６つであるが、このうちの３つの面で一つのポリゴン集合、１つの面で１つのポリゴン集合、２つの面で一つのポリゴン集合、というように、直方体のオブジェクトが３つのポリゴン集合で記述される場合もある。各ポリゴン集合に異なるマテリアル定義を連想できるため、面毎に異なる色で描画させることも可能である。
【００３７】
マテリアル定義にテクスチャマッピングが指定されている場合は、連想されているオブジェクトの面に、画像データによる画像がテクスチャマッピングされる。
【００３８】
例えば、マテリアル定義に対して画像をテクスチャマッピングするように設定される。そのため、直方体のオブジェクトの全ての面に同じ画像をテクスチャマッピングすることもでき、面毎に異なる画像をテクスチャマッピングすることもできる。
【００３９】
マトリクススイッチ１６０は、複数の入力画像（入力画像データ）から所定の画像（画像データ）を選択的に取り出す。このマトリクススイッチ１６０は、１０本の入力ラインと、１３本の出力バスライン２１１乃至２２３と、１３個のクロスポイントスイッチ群２３１乃至２４３を有している。このマトリクススイッチ１６０は、エフェクトスイッチャの一部を構成しており、外部機器としての画像マッピング部１４０に画像データを供給する他、内部の画像合成部１８０等に画像データを供給するために使用される。
【００４０】
出力バスライン２１１〜２１４は、画像マッピング部１４０に画像データを供給するためのバスラインである。また、出力バスライン２１５〜２２１は、外部に画像データを出力するためのバスラインである。また、出力バスライン２２２，２２３は、内部の画像合成部１８０に画像データを供給するためのバスラインである。
【００４１】
１０本の入力ラインは、一の方向（図１では水平方向）に配列されている。「１」〜「９」の入力ラインには、それぞれ、ＶＴＲ、ビデオカメラ等から画像データが入力される。また、「１０」の入力ラインには、画像生成部１３０から出力されるＣＧ画像データが入力される。１３本の出力バスライン２１１〜２２３は、入力ラインと交差して、他の方向（図１では垂直方向）に配列されている。
【００４２】
クロスポイントスイッチ群２３１〜２３４は、１０本の入力ラインと出力バスライン２１１〜２１４とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３１〜２３４の接続が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１１〜２１４に選択的に出力される。この出力バスライン２１１〜２１４は、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する。
【００４３】
また、クロスポイントスイッチ群２３５〜２４１は、それぞれ、１０本の入力ラインと出力バスライン２１５〜２２１が交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３５〜２４１が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１５〜２２１に選択的に出力される。この出力バスライン２１５〜２２１は、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する。
【００４４】
また、クロスポイントスイッチ群２４２，２４３は、それぞれ、１０本の入力ラインと出力バスライン２２２，２２３とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２４２，２４３が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２２２，２２３に選択的に出力される。
【００４５】
なお、クロスポイントスイッチ群２３１〜２４３の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。
【００４６】
出力バスライン２２２，２２３に出力される画像データは、画像合成部（プログラム・プレビューミキサ）１８０に入力される。この画像合成部１８０は、出力バスライン２２２，２２３から入力される画像データに対して合成処理を行う。この画像合成部１８０から、プログラム出力ライン２５１を通じてプログラム（ＰＧＭ）出力が外部に出力され、プレビュー出力ライン２５２を通じてプレビュー出力が外部に出力される。
【００４７】
画像選択操作部１７０は、マトリクススイッチ１６０への指示の操作入力を受ける。この画像選択操作部１７０は、マトリクススイッチ１６０の各クロスポイントスイッチ群のスイッチのオンオフを操作する押しボタン列を備える操作卓（図示は省略する）を備えている。
【００４８】
画像選択操作部１７０は、ターゲット指定部１７１を備えている。このターゲット指定部１７１は、テクスチャマッピングをすべき、ＣＧ記述データの中のポリゴンの面を、ユーザが指定する操作入力を受ける。ターゲット指定部１７１では、テクスチャマッピングをすべきポリゴンの面を指定するために、オブジェクト（ノード）の指定、あるいは、ポリゴンの面と対応付けられているマテリアル（表面態様）の指定などが行われる。
【００４９】
なお、ターゲット指定部１７１では、テクスチャマッピングをすべきポリゴンの面の指定と共に、マッピング対象の画像の指定も行われる。対象となる画像は、例えば、画像生成部１３０が保持する画像ファイルの画像、あるいは、マトリクススイッチ１６０から入力される画像などである。この画像としては、静止画像、動画像のいずれでもよい。
【００５０】
ターゲット指定部１７１では、例えば、図示しない表示部へのオブジェクトあるいはマテリアル、あるいはその両方の選択肢の表示に基づいて、オブジェクトあるいはマテリアルが選択されることで、テクスチャマッピングをすべきポリゴンの面の指定がなされる。
【００５１】
図２は、ＣＧ記述データの中のオブジェクトあるいはマテリアルが選択的に表示され、その表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたＧＵＩ例を示している。この例において、「Video1」から「Video5」は、画像の指定のための表示であり、図では「Video１」が選択されている。
【００５２】
図３は、ＣＧ記述データの中のオブジェクトあるいはマテリアルがツリー表示され、その表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたＧＵＩ例を示している。この例において、「Group1」のオブジェクトが選択されている。また、「Video1」から「Video5」は、画像の指定のための表示であり、図では「Video5」が選択されている。
【００５３】
画像生成部１３０は、ＣＧ制作部１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像を生成する。記憶部１５０は、ＣＧ記述データを記憶している。この画像生成部１３０は、ＣＧ記述データを読み込むと、各定義などの情報をメモリ上に保持し、それらの対応付けもデータ構造として保持する。また、画像生成部１３０は、アニメーションを実行するためのキーフレームにおける各種値もメモリ上に保持する。
【００５４】
例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。
【００５５】
画像生成部１３０は、画像選択操作部１７０のターゲット指定部１７１で指定されたポリゴンの面に、同様にターゲット指定部１７１で指定された画像をテクスチャマッピングするように、画像マッピング部１４０を制御する。
【００５６】
画像マッピング部１４０は、画像生成部１３０の制御のもと、テクスチャマッピングを行う。図４は、テクスチャマッピングの一例を示している。図４（ａ）は、テクスチャマッピングすべき画像を示している。図４（ｂ）は、ポリゴンの面に対して図示のようにテクスチャ座標が定義されている場合に、このポリゴンの面に図４（ａ）の画像をテクスチャマッピングした結果を示している。
【００５７】
マッピング条件チェック部１９０は、ターゲット指定部１７１で指定されたポリゴンの面がテスクチャマッピングの条件を備えているか否かを判断する。画像マッピング部１４０は、マッピング条件チェック部１９０でテスクチャマッピングの条件を備えていると判断されるとき、ターゲット指定部１７１で指定されたポリゴンの面に画像をテクスチャマッピングする。マッピング条件チェック部１９０における判断の詳細については後述する。
【００５８】
なお、ＣＧがアニメーションを含む場合、あるいはリアルタイムでジョイスティックなどにより制御される場合、パラメタはフレーム（フィールド）毎に変化する。テクスチャマッピングしているポリゴンの面の回転角度や歪みも変化していくので、時間（操作）とともにテクスチャマッピングに適する条件になったり、不適合になったりする。そのため、マッピング条件チェック部１９０は、レンダリグする毎に条件を備えているか否かを判断し、画像マッピング部１４０は、その判断結果に基づいて、テクスチャマッピングを実施したり解除したりする。
【００５９】
また、画像選択操作部１７０からのユーザ操作に基づいて、ＣＧ記述データにおいて各ポリゴンに関連付けされているマテリアルの変更が可能とされている。その場合、あるポリゴンに対応するマテリアルが変更された場合、その変更後のマテリアルがターゲット指定部１７１で選択されたマテリアルであることもある。その場合、当該ポリゴンの面がテクスチャマッピングの条件を備えていれば、当該ポリゴンの面はテクスチャマッピングの対象となる。
【００６０】
テクスチャマッピングが解除されても、画が乱れるわけではない。ＣＧデータ制作の際の元の状態の仮想物体表面になるので、見る者に不快感を与えるわけではなく、不適切なテクスチャマッピングを継続するよりも価値の高い画像を提供することができる。なお、テクスチャ座標自体（ＵＶ座標系）が、アニメーションや操作の対象となっていてもよい。
【００６１】
画像マッピング部１４０およびマッピング条件チェック部１９０は、実装上は、例えば、上述の画像生成部１３０と一体化されており、ＣＰＵ上のソフトウェアによる制御と、ＧＰＵ等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。
【００６２】
［画像生成部の構成例］
図５は、画像生成部１３０（画像マッピング部１４０およびマッピング条件チェック部１９０を含む）の構成例を示している。画像生成部１３０は、画像入出力部１４１と、ＧＰＵ１４２と、ローカルメモリ１４３と、ＣＰＵ１４４と、メインメモリ１４５を有している。また、画像生成部１３０は、周辺デバイス制御部１４６と、ハードディスクドライブ（ＨＤＤ）１４７と、イーサネット回路１４８ａと、ネットワーク端子１４８ｂを有している。また、画像生成部１３０は、ＵＳＢ（Universal Serial Bus）端子１４９と、ＳＤＲＡＭ（SynchronousDRAM）１５１を有している。なお、「イーサネット」は登録商標である。
【００６３】
画像入出力部１４１は、テクスチャマッピングをするための画像データを入力し、また、画像データによる画像が適宜テクスチャマッピングされたＣＧ画像の画像データを出力する。この画像入出力部１４１は、最大で４系統の画像データを入力でき、また、最大で４系統の画像データを出力できる。なお、ここで取り扱われる画像データは、例えば、ＳＭＰＴＥ２９２Ｍで規定されているＨＤ-ＳＤＩ(High Definition television-SerialDigital Interface)規格の画像データである。ＧＰＵ１４２およびメインメモリ１４５は、同等に、画像入出力部１４１にアクセス可能とされている。
【００６４】
メインメモリ１４５は、ＣＰＵ１４４のワークエリアとして機能すると共に、画像入出力部１４１から入力される画像データを一時的に記憶する。ＣＰＵ１４４は、画像生成部１３０の全体を制御する。このＣＰＵ１４４には、周辺デバイス制御部１４６が接続されている。この周辺デバイス制御部１４６は、ＣＰＵ１４４と周辺デバイスとの間のインタフェース処理を行う。
【００６５】
ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、内蔵のハードディスクドライブ１４７が接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６、イーサネット回路１４８ａを介して、ネットワーク端子１４８ｂが接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＵＳＢ端子１４９が接続されている。さらに、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＳＤＲＡＭ１５１が接続されている。
【００６６】
ＣＰＵ１４４は、テクスチャ座標の制御を行う。すなわち、ＣＰＵ１４４は、入力画像データに対して、それによる画像をＧＰＵ１４２が描画するポリゴンの面にテクスチャマッピングをするための処理を行う。上述したように、テクスチャマッピングするポリゴンの面は、画像選択操作部１７０のターゲット指定部１７１で指定される。ＣＰＵ１４４は、上述したように、このポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断し、その判断結果に基づいて、ＧＰＵ１４２におけるテクスチャマッピング処理を制御する。
【００６７】
ＧＰＵ１４２は、ハードディスクドライブ１４７等に保持されているＣＧ記述データに基づいてＣＧ画像を生成し、また、必要に応じて、指定されたポリゴンの面に、画像をテクスチャマッピングする。ローカルメモリ１４３は、ＧＰＵ１４２のワークエリアとして機能すると共に、ＧＰＵ１４２で作成されたＣＧ画像の画像データを一時的に記憶する。
【００６８】
ＣＰＵ１４４は、メインメモリ１４５にアクセスできる他、ローカルメモリ１４３にもアクセス可能とされている。同様に、ＧＰＵ１４２は、ローカルメモリ１４３にアクセスできると共に、メインメモリ１４５にもアクセス可能とされている。ＧＰＵ１４２により生成されてローカルメモリ１４３に一次的に記憶されたＣＧ画像データは、このローカルメモリ１４３から順次読み出され、画像入出力部１４１から出力される。
【００６９】
図６は、上述した画像生成部１３０の機能ブロックの構成例を示している。この画像生成部１３０は、画像入力部１５２、テクスチャ画像記憶部１５３、ＣＧ制御部１５４、ＣＧ描画部１５５、テクスチャ座標制御部１５６、フレームバッファ１５７および画像出力部１５８の機能ブロックを有している。
【００７０】
画像入力部１５２および画像出力部１５８は、画像入出力部１４１により構成されている。また、テクスチャ画像記憶部１５３は、メインメモリ１４５により構成されている。また、ＣＧ制御部１５４およびテクスチャ座標制御部１５６は、ＣＰＵ１４４により構成されている。また、ＣＧ描画部１５５は、ＧＰＵ１４２により構成されている。また、フレームバッファ１５７は、ローカルメモリ１４３により構成されている。
【００７１】
画像入力部１５２とテクスチャ画像記憶部１５３は対で、これらを増やすことで、画像入力の系統を増やすことができる。また、フレームバッファ１５７と画像出力部１５８は対で、これらを増やすことで、画像出力の系統を増やすことができる。
【００７２】
図７のフローチャートは、画像生成部１３０（画像マッピング部１４０およびマッピング条件チェック部１９０を含む）におけるレンダリング中のテクスチャマッピング処理の手順を示している。ここでは、テクスチャマッピングが行われるポリゴンの面を、ターゲット指定部１７１でマテリアルを選択して行っている例を示している。
【００７３】
画像生成部１３０は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、画像生成部１３０は、ＣＧ記述データの中から、選択されたマテリアルがり当てられたポリゴンを見つける。その後、画像生成部１３０は、ステップＳＴ３の処理に移る。このステップＳＴ３において、画像生成部１３０は、ステップＳＴ２で見つけた全てのポリゴンの処理が終了したか否かを判断する。終了していないとき、画像生成部１３０は、残りのポリゴンを順次対象ポリゴンとして以下の処理を繰り返し行う。
【００７４】
すなわち、画像生成部１３０（マッピング条件チェック部１９０）は、ステップＳＴ４において、対象ポリゴンのテクスチャマッピングの条件をチェックする。そして、画像生成部１３０（マッピング条件チェック部１９０）は、対象ポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断する。
【００７５】
対象ポリゴンの面がテクスチャマッピングの条件を備えていると判断するとき、画像生成部１３０（画像マッピング部１４０）は、ステップＳＴ６において、対象ポリゴンの面にテクスチャマッピングを施し、その後に、ステップＳＴ３の処理に戻る。一方、対象ポリゴンの面がテクスチャマッピングの条件を備えていないと判断するとき、画像生成部１３０（画像マッピング部１４０）は、ステップＳＴ７において、対象ポリゴンの面にテクスチャマッピングを施さないこととし、直ちにステップＳＴ３の処理に戻る。
【００７６】
画像生成部１３０は、ステップＳＴ３で、全てのポリゴンの処理を終了したと判断するとき、ステップＳＴ８において、テクスチャマッピング処理を終了する。
【００７７】
［テクスチャマッピング条件の判断］
マッピング条件チェック部１９０は、以下のような場合に、指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断する。
【００７８】
（１）テクスチャ座標の未定義
マッピング条件チェック部１９０は、ターゲット指定部１７１で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、マッピング条件を備えていないと判断する。テクスチャ座標が未定義のポリゴンの面にテクスチャマッピングを行うとすると、画像の各画素との対応が計算できないため、表示不能な状態になるからである。
【００７９】
ここで、ターゲット指定部１７１がマテリアルを選択してテクスチャマッピングするポリゴンの面を指定する場合、そのマテリアルが割り当てられているポリゴンの面が複数あると、テクスチャ座標が定義されている面と、定義されていない面が存在することがある。その場合、テクスチャ座標の定義の有無の判断は、各面に対して行われ、テクスチャ座標が定義されているポリゴンの面のみにテクスチャマッピングが施される。
【００８０】
なお、ターゲット指定部１７１で指定されたポリゴンの面にテクスチャ座標が定義されていない場合、例えば、ターゲット指定部１７１は、当該ポリゴンの面に、テクスチャ座標を付与することが考えられる。これにより、指定されたポリゴンの面にテクスチャ座標が未定義であっても、画像を適切にテクスチャマッピングすることが可能となる。ＣＧ記述データを制作する際にテクスチャマッピングする意図あるいは想定がなく、そのようなデータ素材を利用して、テクスチャマッピングにより、より高付加価値な出力画像を作ろうとする場合、このようにテクスチャ座標を付与する機能を備えることで、操作性が向上する。ＣＧ記述データの再加工は不要となる。
【００８１】
この場合、ターゲット指定部１７１は、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面（平面、円筒、球体など）を指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、指定されたポリゴンの面にテクスチャ座標を付与する。図８は、平面から投影してテクスチャ座標を決定する例を示している。この図において、ＰＧはポリゴン面（三角形）を示し、ＲＥはテクスチャ座標投影用の矩形を示している。
【００８２】
（２）ポリゴン上の歪み
マッピング条件チェック部１９０は、ターゲット指定部１７１で指定されたポリゴンの面のテクスチャ座標について、このポリゴン上で歪みが閾値以上の場合にはマッピング条件を備えていないと判断する。ここで、歪みとは、テクスチャ座標では同じ距離であるのに対してＣＧ空間では場所により距離に差がでることを意味する。この場合、画像に変形あるいはゆがみが発生することから、テクスチャマッピングには適さないと考えられる。
【００８３】
図９は、ポリゴン上にマッピングされた画像に歪みあるいはゆがみが生じる例を示している。この場合、左側のポリゴン（四角形）におけるテクスチャ座標の０．５の距離Ｌａと、右側のポリゴン（四角形）におけるテクスチャ座標の０．５の距離Ｌｂとは大きく異なっている。そのため、左側では画像が縮んだ状態、右側では画像が延びた状態となり、例えば、マッピングする画像によっては不自然な画像となる。
【００８４】
（３）ポリゴンの面のＺ軸に対する回転
画像マッピング部１４０がターゲット指定部１７１で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするものとする。ステレオ画像は、左眼用画像と右眼用画像で左右に位置がずれた画像とすることで、立体感を提供するものである。ステレオ画像をテクスチャマッピングする場合、左眼用の画像を左眼用の仮想カメラが撮像するとしてレンダリングし、右眼用の画像を右眼用の仮想カメラが撮像するとしてレンダリングし、テクスチャマッピングされた面を立体画像とする。
【００８５】
マッピング条件チェック部１９０は、画像マッピング部１４０がターゲット指定部１７１で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、ポリゴンの面が出力画像の画面に垂直な軸（ｚ軸）に対して閾値以上の回転があるとき、テクスチャマッピングの条件を備えていないと判断する。この場合、回転によって左眼用の画像と右眼用の画像の左右のずれが上下のずれとなってくるので、立体画像の適切な表示が困難となるからである。
【００８６】
例えば、図１０（ａ）は左眼用画像ＩＭＬと右眼用画像ＩＭＲで左右に位置がずれたステレオ画像の例を示している。図１０（ｂ）は、そのステレオ画像が、出力画像の画面に垂直な軸（Ｚ軸）に対して９０度回転し、左眼用画像ＩＭＬと右眼用画像ＩＭＲの視差が左右でなくなった画像の例を示している。
【００８７】
なお、このようにポリゴンの面が出力画像の画面に垂直な軸（ｚ軸）に対して閾値以上の回転があるとき、画像マッピング部１４０は、当該ポリゴンの面に、左眼用画像または右眼用画像のみでマッピングを行うことが考えられる。すなわち、左眼用の仮想カメラにも右眼用の仮想カメラにも、同じ画像をマッピングした結果を撮像させるとしてレンダリングする。この場合、ポリゴンの面に立体感がある画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。
【００８８】
（４）ポリゴンの面のＸ軸、Ｙ軸などに対する回転
画像マッピング部１４０がターゲット指定部１７１で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするものとする。マッピング条件チェック部１９０は、ポリゴンの面が出力画像の画面に平行な軸、例えば、ｘ軸、ｙ軸などに対して閾値以上の回転があるとき、テクスチャマッピングの条件を備えていないと判断する。この場合、例えば、ｘ軸を中心として回転した場合、左眼用画像と右眼用画像との間の視差も減るはずだが、左眼用画像と右眼用画像との間の視差が減らないことから不自然な立体画像表示となるからである。
【００８９】
例えば、図１１（ａ）は左眼用画像ＩＭＬと右眼用画像ＩＭＲで左右に位置がずれたステレオ画像の例を示している。図１１（ｂ）は、そのステレオ画像が、図１１（ｃ）に示すように、ｘ軸に対して、θだけ回転した画像の例を示している。この場合、左眼用画像ＩＭＬと右眼用画像ＩＭＲとの間の視差による元の奥行きに対して、回転後の奥行きは、図１１（ｄ）に示すように小さくなる。しかし、左眼用画像ＩＭＬと右眼用画像ＩＭＲとの間の視差は、図１１（ｂ）に示すように、図１１(ａ)に示す元の状態と変わらない。
【００９０】
なお、このようにポリゴンの面が出力画像の画面に平行な軸（ｘ軸、ｙ軸など）に対して閾値以上の回転があるとき、画像マッピング部１４０は、当該ポリゴンの面に、左眼用画像または右眼用画像のみでマッピングを行うことが考えられる。この場合、ポリゴンの面に立体感がある画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。
【００９１】
また、このようにポリゴンの面が出力画像の画面に平行な軸（ｘ軸、ｙ軸など）に対して閾値以上の回転があるとき、画像マッピング部１４０は、左眼用画像および右眼用画像の間の視差を減じてテクスチャマッピングを行うことが考えられる。図１２は、左眼用画像と右眼用画像との間の視差と、被写体の奥行きとの関係を示している。例えば、奥行きがｚ０であるときの視差はｄ０であり、奥行きがｚ１に小さくなったとき、これに合わせて視差はｄ１に小さくなる。
【００９２】
ポリゴンの面が出力画像の画面に平行な軸（ｘ軸、ｙ軸など）に対してθだけ回転した場合、元の奥行きに対して回転後の奥行きは、図１１（ｄ）に示すように、cosθ倍となる。そのため、画像マッピング部１４０は、元の奥行きに対して回転後の奥行きがcosθ倍となるように、左眼用画像ＩＭＬおよび右眼用画像ＩＭＲの間の視差を減らして、テクスチャマッピングを行えばよい。
【００９３】
図１３のフローチャートは、画像マッピング部１４０における複数のポリゴン面へのステレオ画像のテクスチャマッピングの処理手順の一例を示している。画像マッピング部１４０は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、画像マッピング部１４０は、全てのポリゴン面へのテクスチャマッピング処理が終了したか否かを判断する。終了していないとき、画像マッピング部１４０は、残りのポリゴン面を順次マッピング対象として以下の処理を繰り返し行う。
【００９４】
すなわち、画像マッピング部１４０は、ステップＳＴ１３において、マッピング対象のポリゴン面の出力画像の画面に平行な軸、例えば、ｘ軸、ｙ軸などに対する傾きθを得る。そして、画像マッピング部１４０は、ステップＳＴ１４において、ステレオ画像の奥行きにcosθを乗算した奥行きとなるように、左眼用画像ＩＭＬおよび右眼用画像ＩＭＲの間の視差を減らして（図１２参照）、テクスチャマッピングを行う。
【００９５】
画像マッピング部１４０は、ステップＳＴ１４の処理の後、ステップＳＴ１２に戻り、上述したと同様の処理を繰り返す。画像マッピング部１４０は、ステップＳＴ１２で、全てのポリゴン面へのテクスチャマッピングの処理を終了したと判断するとき、ステップＳＴ１５において、処理を終了する。
【００９６】
図１に示す画像処理装置１００の動作例を説明する。ＣＧ制作部１１０では、ＣＧ制作ソフトウェアにより、所定のＣＧ画像を生成するためのＣＧ記述データが生成される。このようにＣＧ制作部１１０で生成されたＣＧ記述データは、ネットワーク１２０を介して、画像生成部１３０に送られ、記憶部１５０に記憶される。
【００９７】
画像生成部１３０では、ＣＧ制作部１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像が生成される。また、画像生成部１３０により、ユーザがターゲット指定部１７１でオブジェクトあるいはマテリアルを選択することで指定されたポリゴンの面に、同様にターゲット指定部１７１で指定された画像をテクスチャマッピングするように、画像マッピング部１４０が制御される。
【００９８】
画像マッピング部１４０では、上述の画像生成部１３０の制御のもと、テクスチャマッピングが行われる。この場合、マッピング条件チェック部１９０により、ターゲット指定部１７１で指定されたポリゴンの面が、テクスチャマッピングの条件を備えているか否かが判断される。画像マッピング部１４０では、テクスチャマッピングの条件を備えていると判断されたポリゴンの面に、テクスチャマッピングが行われる。
【００９９】
例えば、ポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断される。また、例えば、ポリゴンの面のテクスチャ座標について、このポリゴン上で歪みが閾値以上の場合には、マッピング条件を備えていないと判断される。また、例えば、ポリゴンの面にステレオ画像をテクスチャマッピングする場合であって、当該ポリゴンの面が出力画像の画面に垂直な軸（ｚ軸）あるいは平行な軸（ｘ軸、ｙ軸など）に対して閾値以上の回転がある場合、テクスチャマッピングの条件を備えていないと判断される。
【０１００】
ただし、画像マッピング部１４０では、テクスチャマッピングの条件を備えていないと判断されたポリゴンの面に対しても、テクスチャマッピングが行われることがある。例えば、テクスチャ座標が未定義である場合に、ターゲット指定部１７１がテクスチャ座標を決定して付与することで、テクスチャマッピングが行われる。また、例えば、ポリゴンの面にステレオ画像をテクスチャマッピングする場合であって、当該ポリゴンの面が出力画像の画面に垂直な軸（ｚ軸）に対して閾値以上の回転がある場合、左眼用画像または右眼用画像のみを用いることで、テクスチャマッピングが行われる。
【０１０１】
また、例えば、ポリゴンの面にステレオ画像をテクスチャマッピングする場合であって、当該ポリゴンの面が出力画像の画面に平行な軸（ｘ軸、ｙ軸など）に対して閾値以上の回転がある場合、左眼用画像または右眼用画像のみを用いることで、テクスチャマッピングが行われる。あるいは、この場合、左眼用画像ＩＭＬおよび右眼用画像ＩＭＲの間の視差を減らすことで、テクスチャマッピングが行われる。
【０１０２】
そして、画像生成部１３０から導出された出力端子１３０ａには、所定のポリゴンの面に画像がテクスチャマッピングされたＣＧ画像の画像データＶoutが出力される。なお、マトリクススイッチ１６０の「１０」の入力ラインにも、画像生成部１３０から出力される、所定のポリゴンの表面に画像がテクスチャマッピングされたＣＧ画像の画像データが入力される。
【０１０３】
上述したように、図１に示す画像処理装置１００においては、ユーザは、画像選択部１７０のターゲット指定部１７１でオブジェクト（ノード）あるいはマテリアルを選択することで、テクスチャマッピングを行うポリゴンの面を指定できる。従って、操作性の向上、映像の付加価値の向上を図ることができる。
【０１０４】
また、図１に示す画像処理装置１００においては、マッピング条件チェック部１９０では、指定されたポリゴンの面がテクスチャマッピングの条件を備えている否かが判断される。そして、画像マッピング部１４０では、テクスチャマッピングの条件を備えているポリゴンの面にテクスチャマッピングが行われる。
【０１０５】
従って、ターゲット指定部１７１で指定されたポリゴンの面の全てに画像がテクスチャマッピングされるものではなく、テクスチャマッピングの条件を備えているポリゴンの面にのみ画像がテクスチャマッピングされるため、ポリゴンの面に不適切な状態で画像がマッピングされることを回避できる。
【０１０６】
＜２．変形例＞
なお、上述実施の形態においては、ユーザがターゲット指定部１７１でオブジェクト（ノード）あるいはマテリアルを選択することでテクスチャマッピングを行うポリゴンの面が指定される。そして、このように指定されたポリゴンの面に対して、マッピング条件チェック部１９０でテクスチャマッピングの条件が判断され、条件を備えていると判断されたポリゴンの面に対して画像マッピング部１４０でテクスチャマッピングが施される。この場合、ユーザは、テクスチャマッピングの条件を備えていないポリゴンの面が含まれるオブジェクトを選択する可能性もある。
【０１０７】
そこで、ターゲット操作部１７１は、マッピング条件チェック部１９０でテクスチャマッピングの条件を備えていると判断されないポリゴンの面を指定する操作入力を受けないようにしてもよい。この場合、例えば、ターゲット指定部１７１は、当該ポリゴンの面を指定する操作入力を拒否するかエラーとする。また、例えば、ターゲット指定部１７１は、当該ポリゴンの面を選択肢として表示しない。これにより、ユーザがテクスチャマッピングの条件を備えていないポリゴンの面を指定することを事前に回避でき、操作性の向上が可能となる。
【０１０８】
図１４のフローチャートは、その場合における、ターゲット操作部１７１におけるオブジェクト（ノード）の選択肢表示の処理手順を示している。ターゲット指定部１７１は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、ターゲット指定部１７１は、ＣＧ記述データから、含まれるノード名称を読み取る。その後、ターゲット指定部１７１は、ステップＳＴ２３の処理に移る。
【０１０９】
このステップＳＴ２３において、ターゲット指定１７１は、ステップＳＴ２２で読み取った全てのノードの処理が終了したか否かを判断する。終了していないとき、ターゲット指定部１７１は、残りのノードを順次対象ノードとして以下の処理を繰り返し行う。
【０１１０】
すなわち、ターゲット指定部１７１は、ステップＳＴ２４において、対象ノードに含まれるポリゴンの面のテクスチャマッピングの条件をチェックする。そして、ターゲット指定部１７１は、ステップＳＴ２５において、対象ノードに含まれる全てのポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断する。
【０１１１】
テクスチャマッピングの条件を備えていると判断するとき、ターゲット指定部１７１は、ステップＳＴ２６において、対象ノードを選択肢リスト表示に加え、その後に、ステップＳＴ２３の処理に戻る。一方、テクスチャマッピングの条件を備えていないと判断するとき、ターゲット指定部１７１は、ステップＳＴ２７において、対象ノードを選択肢リスト表示に加えないで、直ちにステップＳＴ２３の処理に戻る。
【０１１２】
ターゲット指定部１７１は、ステップＳＴ２３で、全てのノードの処理を終了したと判断するとき、ステップＳＴ２８において、処理を終了する。
【０１１３】
上述では、オブジェクト（ノード）の選択肢表示について説明した。詳細説明は省略するが、マテリアルの選択肢表示においても同様である。実際のＣＧの中にはポリゴンの面が多数存在し、その中からテクスチャマッピングする面を選ぶ操作自体に難しさがある。そのため、例えば、ＣＧデータの制作時に、テクスチャマッピングさせるポリゴンの面を予め想定し、その面にのみテクスチャ座標を定義してＣＧ記述データに入れておく。これにより、ポリゴンの面が含まれるオブジェクト（ノード）あるいはマテリアルのみを選択肢とすることができ、テクスチャマッピングする面を選ぶ操作において、選択肢が限定されるため、選択操作が容易となる。
【０１１４】
また、上述していないが、テクスチャマッピングする画像ファイルあるいは画像入力（番号）毎に、テクスチャ座標の変更指定（アフィン変換）、その他属性を記憶し、テクスチャマッピングされる際に適用することが考えられる。あるいは、テクスチャマッピングする画像ファイルあるいは画像入力（番号）毎に、ターゲット指定（ポリゴンあるいはマテリアル）を属性として記憶しておき、画像が選択されることにより、ターゲット指定を決め、テクスチャマッピングさせることが考えられる。この場合、テクスチャマッピングする画像を選択するだけで、その画像とポリゴン面に適したテクスチャ座標その他属性になり、それぞれ設定する手間が省け、映像の付加価値が上がる。
【０１１５】
［画像処理装置の他の構成例］
図１５は、他の画像処理装置１００Ａの構成例を示している。この図１５において、図１と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。画像選択操作部１７０は、ターゲット指定部１７１の他に、プレビュー指定部１７５およびパラメタ操作部１７６を有している。また、画像生成部１３０は、プレビュー機能を備えており、プログラム出力端子１３０ａの他に、プレビュー出力端子１３０ｂを有している。図１６（ａ）はプログラム出力の一例であり、図１６（ｂ）はそれに対するプレビュー出力の一例を示している。
【０１１６】
オンエア中にリアルタイムで操作し、テクスチャマッピングの指定などを変更する場合、操作がいきなりオンエア画像に影響すると、誤った画像を放送する可能性が高い。そのため、オンエアに適用する前にプレビューで確認する仕組みが必要である。従来機器では、同じＣＧ画像生成装置を二つ用意し、かつ両方に同じＣＧデータをロードして、片方を生放送に使用して、もう片方で操作結果の画像をモニタ出力させて確認するしかなく、プレビュー実現には操作が煩雑で、誤りを起こしやすかった。
【０１１７】
画像処理装置１００Ａの画像生成部１３０は、テクスチャマッピング状態を含む各種状態パラメタが第１の値である第１の画像出力（プログラム出力）と、第２の値である第２の画像出力（プレビュー出力）とを同時に出力する構成とされている。これにより、プレビューを確実に実現できる。
【０１１８】
この場合、プレビュー出力にのみ作用するような操作部を設ければよい。また、三次元ＣＧデータにアニメーションを含み、第１の画像出力と第２の画像出力とでタイムライン時刻あるいはPlay状態（Play速度）が異なるようにしてもよい。また、第２の画像出力のステレオ画像の視差が不適切になっていないか検査し不適切である場合に警報を発するプレビュー警報部１９５を設けてもよい。また、ターゲット指定部１７１を操作する場合は、必ずプレビュー出力側にのみ作用する状態に遷移するようにしてもよい。
【０１１９】
画像生成部１３０にユーザ（操作者）によるパラメタ変更を入力するパラメタ操作部１７６は、ジョグシャトル・ダイヤル、フェーダーレバー、ジョイスティック、トラックボール、回転ノブ、押しボタン、ＧＵＩの各種部品などである。また、プレビュー指定部１７５は、プレビュー側のみのパラメタ値を変更する専用の操作部である。あるいは、図示しない操作モード切り替えスイッチを設け、同じパラメタ操作部がプログラム出力に作用するモードと、プレビュー出力に作用するモードを切り換えられるようにする。あるいは、プレビュー指定部１７５は、複数のパラメタ操作部１７６のうち、プレビュー側にのみ作用するものを指定する。例えば、複数のノブの一部であるいくつかをプレビュー側用に割り当てることができる。
【０１２０】
ステレオ画像（画像信号対）を出力する場合、レンダリングの際に仮想カメラを左眼用と右眼用の二個配置して、それぞれで見える画像を計算して出力にする。プログラム出力もプレビュー出力も共にステレオ画像を出力する構成にできる。仮想カメラの二つの関係を示すパラメタ（間隔、輻輳角度）を、プレビュー側のみ変更できる構成にできる。これにより、それらパラメタを変更した結果が妥当か、プログラム出力に適用する前にプレビュー側で確認できる。
【０１２１】
プレビュー出力としてステレオ画像（画像信号対）のほか、アナグリフでも出力するように構成できる。視差の様子を裸眼視で確認でき、視差が過剰か確認しやすい。さらに、プレビュー出力にプレビュー警報部を接続する構成にできる。このプレビュー警報部は、ステレオ画像が見る者に不快感、違和感を与えないか検出して警報を発する既知の技術である。
【０１２２】
また、パラメタ操作１７６として、Playボタン、Stopボタン等を有し、三次元ＣＧデータがアニメーションである場合、プレビュー指定部１７５により、プレビュー出力のみのPlayを制御できる。Playに関するプレビューの機能としては次の種類がある。
【０１２３】
（１）LookAhead Preview
アニメーションの最後の画を出す。
ビデオ・テクスチャマッピングの部分には内蔵する静止画を貼ってもよい。
【０１２４】
（２）PausePreview
アニメーション中の一時刻の画を出す。指定された、見たい時刻。代表する画の時刻。
アニメーション中の時刻を操作指定する。
指定支援：画を見ながら指定したいので、例えばジョグ操作して、所望の箇所でボタン操作させる。
キーフレーム・アニメーションの場合、キーフレーム点のリストから選択させるＧＵＩとしてもよい。
デフォルトのプリレンダリング：デフォルトは、アニメーション区間の真ん中とする。デフォルトの画について、リアルタイムレンダリングせず、Import（ＣＧ記述データの取り込み）時にレンダリングして保持してもよい。
【０１２５】
（３）PlayPreview
プレビュー側独自に指定速度でPlayする。
プレビュー速度：Play 速度を指定可能とする。
これらプレビューのいずれにするか、操作入力、設定記憶できるようにしてもよい。
プレビュー機能を適用するＣＧデータのアニメーションとしては、キーフレーム・アニメーションのほか、物理シミュレーションによるアニメーションでもよい。
【０１２６】
なお、本技術は、以下のような構成も取ることができる。
（１）コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記コンピュータグラフィクス記述データの中のポリゴンの面を指定する操作入力を受けるターゲット指定部と、
上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング部と、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック部とを備え、
上記画像マッピング部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されるとき、上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理装置。
（２）上記画像生成部は、出力する画像のフレームレートに対してリアルタイムレンダリング動作をし、
上記画像マッピング部は、各フレームの画像生成毎に、上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されたポリゴンの面に所定の画像をテクスチャマッピングする
前記（１）に記載の画像処理装置。
（３）上記ターゲット指定部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されないポリゴンの面を指定する操作入力を受けない
前記（１）または（２）に記載の画像処理装置。
（４）上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断する
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記ターゲット指定部は、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断されるとき、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面を上記指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、上記指定されたポリゴンの面にテクスチャ座標を付与する
前記（４）に記載の画像処理装置。
（６）上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面のテクスチャ座標について、該ポリゴン上で歪みが閾値以上の場合にはテクスチャマッピングの条件を備えていないと判断する
前記（１）から（５）に記載の画像処理装置。
（７）上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に垂直な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
前記（１）から（６）に記載の画像処理装置。
（８）上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像のみでテクスチャマッピングを行う
前記（７）に記載の画像処理装置。
（９）上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に平行な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でエクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像でテクスチャマッピングを行う
前記（９）に記載の画像処理装置。
（１１）上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像および上記右眼用画像の間の視差を減じてテクスチャマッピングを行う
前記（９）に記載の画像処理装置。
【符号の説明】
【０１２７】
１００，１００Ａ・・・画像処理装置
１１０・・・ＣＧ制作部
１２０・・・ネットワーク
１３０・・・画像生成部
１３０ａ・・・プログラム出力端子
１３０ｂ・・・プレビュー出力端子
１４０・・・画像マッピング部
１５０・・・記憶部
１６０・・・マトリクススイッチ
１７０・・・画像選択操作部
１７１・・・ターゲット指定部
１７５・・・プレビュー指定部
１７６・・・パラメタ操作部
１８０・・・画像合成部
１９０・・・マッピング条件チェック部
１９５・・・プレビュー警報部
【図１】
2012221105.tif 000003
【図４】
2012221105.tif 000004
【図５】
2012221105.tif 000005
【図６】
2012221105.tif 000006
【図７】
2012221105.tif 000007
【図８】
2012221105.tif 000008
【図９】
2012221105.tif 000009
【図１０】
2012221105.tif 000010
【図１１】
2012221105.tif 000011
【図１２】
2012221105.tif 000012
【図１３】
2012221105.tif 000013
【図１４】
2012221105.tif 000014
【図１５】
2012221105.tif 000015
【図２】
2012221105.tif 000016
【図３】
2012221105.tif 000017
【図１６】
2012221105.tif 000018