(57)【要約】【課題】テクスチャマッピングする画像の端の処理を適切に行う。【解決手段】画像生成部により、コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する。画像マッピング部により、画像生成部が描画するポリゴンの面に画像をテクスチャマッピングする。クロップ処理オンが指示されているとき、クロップ処理しながらマッピングする。つまり、画像マッピング部は、テクスチャマッピングされる画像の端の部分が画像生成部の出力画像に含まれないようにマッピングする。画像マッピング部は、画像がクロップ対象である場合に、クロップ処理を行う。【選択図】図５
2012221092.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記画像生成部が描画するポリゴンの面に画像をテクスチャマッピングする画像マッピング部と、
クロップ処理のオンオフを指示するクロップ操作部とを備え、
上記画像マッピング部は、
上記クロック操作部でクロップ処理オンが指示されているとき、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
画像処理装置。
【請求項２】
複数の画像から所定の画像を選択する画像選択部と、
上記複数の画像のそれぞれに対する上記クロップ処理の要否を記憶するクロップ要否記憶部とをさらに備え、
上記画像マッピング部は、
上記画像生成部が描画するポリゴンの面に、上記画像選択部で選択された上記所定の画像をテクスチャマッピングし、
上記画像選択部で選択された上記所定の画像について上記クロップ要否記憶部にクロップ処理要が記憶されているとき、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
請求項１に記載の画像処理装置。
【請求項３】
上記コンピュータグラフィクス記述データに指定の表面態様毎に、該表面態様のポリゴンの表面にテクスチャマッピングする際にクロップ処理を行うか否かを定めたテーブルをさらに備え、
上記画像マッピング部は、上記テーブルに従ってクロップ処理の要否を決める
請求項１に記載の画像処理装置。
【請求項４】
上記画像マッピング部は、
クロップ量に応じて、上記画像をテクスチャ座標上で拡大することにより、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
請求項１に記載の画像処理装置。
【請求項５】
上記画像マッピング部は、
クロップ量に応じて、テクスチャ座標が該当範囲である領域には、上記画像をマッピングせず、コンピュータグラフィクス記述データに指定の表面態様のまま画像生成させる
請求項１に記載の画像処理装置。
【請求項６】
上記画像マッピング部は、
クロップ量に応じて、テクスチャ座標が該当範囲である領域では、端になるほど０に近づく値を算出し、該値を使ってテクスチャマッピングする
請求項１に記載の画像処理装置。
【請求項７】
クロップ量を入力するためのクロップ量入力部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
上記画像は、ステレオ立体画像を構成する左眼画像および右眼画像であり、
上記画像マッピング部は、上記左眼画像および上記右眼画像の視差により左または右の端で立体画像のオブジェクトが手前に出ていると判断されるとき、クロップ処理を行う
請求項１に記載の画像処理装置。
【請求項９】
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成ステップと、
上記画像生成ステップで描画されるポリゴンの面に画像をテクスチャマッピングする画像マッピングステップとを備え、
上記画像マッピングステップでは、
クロップ処理オンが指示されているとき、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
画像処理方法。
【請求項１０】
コンピュータを、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成手段と、
上記画像生成手段が描画するポリゴンの面に画像をテクスチャマッピングする画像マッピング手段として機能させ、
上記画像マッピング手段は、
クロップ処理オンが指示されているとき、テクスチャマッピングされる画像の端の部分が上記画像生成手段の出力画像に含まれないようにマッピングする
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法およびプログラムに関する。特に、本技術は、コンピュータグラフィクスのオブジェクトの表面に画像をテクスチャマッピングする画像処理装置等に関する。
【背景技術】
【０００２】
３次元グラフィックスシステムにおいては、３次元座標を３角形などのポリゴン（多角形）に分解し、そのポリゴンを描画することで、画像全体の描画が行われる。したがって、この場合、３次元画像は、ポリゴンの組み合わせで定義されていると言える。ところで、身の回りにある物体表面は、複雑な模様の繰り返しパターンを有することが多く、模様やパターンが複雑で細かくなるほど、各模様やパターンを３角形などでモデリングすることは困難となる。そこで、これを解決する手段として、テクスチャマッピング(Texture Mapping)が用いられる。
【０００３】
テクスチャマッピングは、スキャナ等で取り込んだイメージデータを、物体表面に貼り付けることにより、少ない頂点数で、リアリティの高い画像を実現するもので、オブジェクト（Object）座標系からテクスチャ（Texture）座標系への写像を定義し、さらに、ウインドウ（Window）座標系からテクスチャ座標系への写像を求めて、ウインドウ座標系における各ピクセル（Pixel, Picture Cell Element ）に対応するテクスチャの要素であるテクセル（Texel：Texture Cell Element ）を求める。
【０００４】
テクスチャに利用される画像データは、テクスチャメモリと呼ばれるメモリ領域に格納される。したがって、動画像データを用いてテクスチャメモリを随時更新する処理を行うと、動画像によるテクスチャマッピング処理が可能となる。
【０００５】
例えば、特許文献１には、テクスチャマッピングによって画像を任意の形状に変形する画像特殊効果装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−０１３８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像（画像データ）には、画面の端の部分の画像が乱れているものがある。そのため、従来の放送用映像機器では、クロップ（画像の縁を切り取る）と呼ばれる機能が設けられていた。コンピュータグラフィクスにテクスチャマッピングされた画像の縁に問題があってクロップしたい場合、合成されたコンピュータグラフィクス画像をクロップ処理しても意味がない。また、コンピュータグラフィクス生成装置とは別に、入力前の画像にクロップのための画像拡大などを行う装置・回路を設けることは、費用を要する。また、画像の端の部分を単純に黒などにしてしまうと、テクスチャマッピングした際に、効果的な画像とならない。また、放送運用の際に、クロップの操作が容易である必要がある。
【０００８】
本技術の目的は、テクスチャマッピングする画像の端の処理を適切に行う、ことにある。
【課題を解決するための手段】
【０００９】
本技術の概念は、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記画像生成部が描画するポリゴンの面に画像をテクスチャマッピングする画像マッピング部と、
クロップ処理のオンオフを指示するクロップ操作部とを備え、
上記画像マッピング部は、
上記クロック操作部でクロップ処理オンが指示されているとき、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
画像処理装置にある。
【００１０】
本技術において、画像生成部により、コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像が生成される。また、画像マッピング部により、画像生成部が描画するポリゴンの面に画像がテクスチャマッピングされる。この場合、クロップ処理オンが指示されているとき、画像マッピング部では、テクスチャマッピングされる画像の端の部分が画像生成部の出力画像に含まれないようにマッピングされる。
【００１１】
例えば、画像マッピング部は、クロップ量に応じて、画像をテクスチャ座標上で拡大することにより、テクスチャマッピングされる画像の端の部分が画像生成部の出力画像に含まれないようにマッピングする、ようにされてもよい。また、例えば、画像マッピング部は、クロップ量に応じて、テクスチャ座標が該当範囲である領域には、画像をマッピングせず、コンピュータグラフィクス記述データに指定の表面態様のまま画像生成させる、ようにされてもよい。また、例えば、画像マッピング部は、クロップ量に応じて、テクスチャ座標が該当範囲である領域では、端になるほど０に近づく値を算出し、この値を使ってテクスチャマッピングする、ようにされてもよい。
【００１２】
このように本技術においては、クロップ処理オンの指示がされることで、画像の端の部分がクロップ処理された状態でテクスチャマッピングされる。そのため、例えば、画面の端の部分が乱れた画像のテクスチャマッピングにおいて、乱れた部分がマッピングされることを防止できる。
【００１３】
本技術において、例えば、複数の画像から所定の画像を選択する画像選択部と、複数の画像のそれぞれに対するクロップ処理の要否を記憶するクロップ要否記憶部とをさらに備え、画像マッピング部は、画像生成部が描画するポリゴンの表面に、画像選択部で選択された所定の画像をテクスチャマッピングし、画像選択部で選択された所定の画像についてクロップ要否記憶部にクロップ処理要が記憶されているとき、テクスチャマッピングされる画像の端の部分が画像生成部の出力画像に含まれないようにマッピングする、ようにされてもよい。
【００１４】
この場合、テクスチャマッピングの対象として選択された所定の画像がクロップ処理要とされているとき、テクスチャマッピングされる画像の端の部分が画像生成部の出力画像に含まれないようにマッピングされる。そのため、画面の端の部分が乱れていない画像に対してクロップ処理が不必要に行われることを回避できる。
【００１５】
また、本技術において、例えば、コンピュータグラフィクス記述データに指定の表面態様（マテリアル）毎に、この表面態様のポリゴンの面にテクスチャマッピングする際にクロップ処理を行うか否かを定めたテーブルをさらに備え、画像マッピング部は、テーブルに従ってクロップ処理の要否を決める、ようにされてもよい。これにより、テクスチャマッピングを行う対象（ターゲット）に応じて、必要な対象へのテクスチャマッピングを行う場合にだけクロップ処理が行われるようにできる。
【００１６】
また、本技術において、例えば、クロップ量を入力するためのクロップ量入力部をさらに備える、ようにされてもよい。これにより、ユーザは、クロップ量を任意の量に設定することが可能となる。
【発明の効果】
【００１７】
本技術によれば、コンピュータグラフィクスのオブジェクト表面にテクスチャマッピングされる画像の端の処理を適切に行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本技術の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】画像生成部および画像マッピング部の具体的な構成例を示すブロック図である。
【図３】画像生成部および画像マッピング部の機能ブロックの構成例を示す図である。
【図４】画像生成部（画像マッピング部を含む）における毎フレーム・フィールドの画像生成／描画処理の手順を示すフローチャートである。
【図５】各面毎のテクスチャマッピング処理の手順を示すフローチャートである。
【図６】クロップ量に応じて画像をテクスチャ座標上で拡大することによるクロップ処理を説明するための図である。
【図７】クロップ量に応じてテクスチャ座標が該当範囲である領域には画像をマッピングしないことによるクロップ処理を説明するための図である。
【図８】クロップ量に応じ、テクスチャ座標が該当範囲である領域では端になるほど０に近づく値（α）を算出し、この値を使ってテクスチャマッピングすることによるクロップ処理を説明するための図である。
【図９】ＣＧ記述データに指定のマテリアル毎に、このマテリアルのポリゴンの表面にテクスチャマッピングする際にクロップ処理を行うか否かを定めたテーブルの一例を示す図である。
【図１０】テクスチャマッピング画像に含まれる撮影対象が左眼画像または右眼画像の片方にしか現れない場合を説明するための図である。
【図１１】右端の人が手前にいる場合の左眼画像（破線図示）および右眼画像（実線図示）を示す図である。
【図１２】右端の人が手前にいる場合の左眼画像（破線図示）および右眼画像（実線図示）に対するクロップ処理を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［画像処理装置の構成］
図１は、本技術の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、ＣＧ制作部１１０と、ネットワーク１２０と、画像生成部１３０と、画像マッピング部１４０と、記憶部１５０を有している。また、この画像処理装置１００は、マトリクススイッチ１６０と、画像選択操作部１７０と、画像合成部（プログラム・プレビューミキサ）１８０を有している。ＣＧ制作部１１０、画像生成部１３０および画像選択操作部１７０は、それぞれネットワーク１２０に接続されている。
【００２１】
ＣＧ制作部１１０は、ＣＧ制作ソフトウェアを持つパーソナルコンピュータ（ＰＣ：Personal Computer）により構成されている。このＣＧ制作部１１０は、所定のフォーマットのＣＧ記述データを出力する。ＣＧ記述データのフォーマットとして、例えばＣｏｌｌａｄａ（登録商標）がある。Ｃｏｌｌａｄａは、ＸＭＬ（Extensible Markup Language）の上で３ＤのＣＧデータの交換を実現するための記述定義である。ＣＧ記述データには、例えば、以下のような情報が記述される。
【００２２】
（ａ）マテリアル（表面態様）の定義
このマテリアルの定義は、ＣＧオブジェクトの表面の質（見え方）である。このマテリアルの定義には、色、反射の仕方、発光、凹凸などの情報が含まれる。また、このマテリアルの定義には、テクスチャマッピングの情報が含まれる場合がある。テクスチャマッピングとは、上述したように、画像をＣＧオブジェクトに貼り付ける手法であり、処理系の負荷を比較的軽くしつつ、複雑な模様などを表現できる。
【００２３】
（ｂ）幾何学情報 Geometry の定義
この幾何学情報 Geometry の定義には、ポリゴンメッシュについての、位置座標、頂点の座標などの情報が含まれる。
（ｃ）カメラの定義  このカメラの定義には、カメラのパラメータが含まれる。
【００２４】
（ｄ）アニメーションの定義
このアニメーションの定義には、アニメーションの各キーフレームにおける、様々な情報が含まれる。また、このアニメーションの定義には、アニメーションの各キーフレームにおける時刻の情報が含まれる。様々な情報とは、例えば、対応するオブジェクト（ノード）のキーフレーム点の時刻、位置や頂点の座標値、サイズ、接線ベクトル、補間方法、各種情報のアニメーション中の変化等の情報である。
（ｅ）シーン中のノード（オブジェクト）の位置、方向、大きさ、対応する幾何学情報定義、対応するマテリアル定義
【００２５】
これらの情報は、ばらばらではなく、例えば、以下のように対応付けられている。
・ノード・・・幾何学情報
・ノード・・・マテリアル（複数）
・幾何学情報・・・ポリゴン集合（複数）
・ポリゴン集合・・・マテリアル（ノードに対応するうちの一つ）
・アニメーション・・・ノード
【００２６】
一つの画面を構成する記述はシーンと呼ばれる。各定義はライブラリと呼ばれ、シーンの中から参照される。例えば、直方体のオブジェクトが２つ存在する場合、それぞれが一つのノードとして記述され、各ノードにマテリアル定義のいずれかが連想される。この結果、各直方体のオブジェクトにはマテリアル定義が連想され、各マテリアル定義に従った色や反射特性で描画される。
【００２７】
あるいは、直方体のオブジェクトは複数のポリゴン集合で記述され、ポリゴン集合にマテリアル定義が連想されている場合は、ポリゴン集合毎に、異なるマテリアル定義で描画される。例えば、直方体の面は６つであるが、このうちの３つの面で一つのポリゴン集合、１つの面で１つのポリゴン集合、２つの面で一つのポリゴン集合、というように、直方体のオブジェクトが３つのポリゴン集合で記述される場合もある。各ポリゴン集合に異なるマテリアル定義を連想できるため、面毎に異なる色で描画させることも可能である。
【００２８】
マテリアル定義にテクスチャマッピングが指定されている場合は、連想されているオブジェクトの面に、画像データによる画像がテクスチャマッピングされる。
【００２９】
例えば、マテリアル定義に対して画像をテクスチャマッピングするように設定される。そのため、直方体のオブジェクトの全ての面に同じ画像をテクスチャマッピングすることもでき、面毎に異なる画像をテクスチャマッピングすることもできる。
【００３０】
マトリクススイッチ１６０は、複数の入力画像（入力画像データ）から所定の画像（画像データ）を選択的に取り出す。このマトリクススイッチ１６０は、１０本の入力ラインと、１３本の出力バスライン２１１乃至２２３と、１３個のクロスポイントスイッチ群２３１乃至２４３を有している。このマトリクススイッチ１６０は、エフェクトスイッチャの一部を構成しており、外部機器としての画像マッピング部１４０に画像データを供給する他、内部の画像合成部１８０等に画像データを供給するために使用される。
【００３１】
出力バスライン２１１〜２１４は、画像マッピング部１４０に画像データを供給するためのバスラインである。また、出力バスライン２１５〜２２１は、外部に画像データを出力するためのバスラインである。また、出力バスライン２２２，２２３は、内部の画像合成部１８０に画像データを供給するためのバスラインである。
【００３２】
１０本の入力ラインは、一の方向（図１では水平方向）に配列されている。「１」〜「９」の入力ラインには、それぞれ、にはＶＴＲ、ビデオカメラ等から画像データが入力される。また、「１０」の入力ラインには、画像生成部１３０から出力されるＣＧ画像データが入力される。１３本の出力バスライン２１１〜２２３は、入力ラインと交差して、他の方向（図１では垂直方向）に配列されている。
【００３３】
クロスポイントスイッチ群２３１〜２３４は、１０本の入力ラインと出力バスライン２１１〜２１４とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３１〜２３４の接続が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１１〜２１４に選択的に出力される。この出力バスライン２１１〜２１４は、テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４の出力ラインを構成する。
【００３４】
また、クロスポイントスイッチ群２３５〜２４１は、それぞれ、１０本の入力ラインと出力バスライン２１５〜２２１が交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２３５〜２４１が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２１５〜２２１に選択的に出力される。この出力バスライン２１５〜２２１は、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する。
【００３５】
また、クロスポイントスイッチ群２４２，２４３は、それぞれ、１０本の入力ラインと出力バスライン２２２，２２３とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群２４２，２４３が制御され、１０本の入力ラインに入力された画像データのいずれかが出力バスライン２２２，２２３に選択的に出力される。
【００３６】
なお、クロスポイントスイッチ群２３１〜２４３の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。
【００３７】
この出力バスライン２２２，２２３に出力される画像データは、画像合成部（プログラム・プレビューミキサ）１８０に入力される。この画像合成部１８０は、出力バスライン２２２，２２３から入力される画像データに対して合成処理を行う。この画像合成部１８０から、プログラム出力ライン２５１を通じてプログラム（ＰＧＭ）出力が外部に出力され、プレビュー出力ライン２５２を通じてプレビュー出力が外部に出力される。
【００３８】
画像合成部１８０は、内部に、画像クロップ部１８１を備えている。この画像クロップ部１８１は、出力バスライン２２２，２２３に出力される画像データが画面の端の部分の画像に乱れがあるものであるとき、画像の端（縁）を切り取るクロップ処理を行う。テクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４に関しては、後述するように、画像マッピング部１４０において、クロップ処理が行われる。
【００３９】
画像選択操作部１７０は、マトリクススイッチ１６０への指示の操作入力を受ける。この画像選択操作部１７０は、マトリクススイッチ１６０の各クロスポイントスイッチ群のスイッチのオンオフを操作する押しボタン列を備える操作卓（図示は省略する）を備えている。
【００４０】
画像選択操作部１７０は、クロップ操作部１７１、クロップ量入力部１７２およびクロック要否記憶部１７３を備えている。クロック操作部１７１は、ユーザが、画像マッピング部１４０におけるクロップ処理のオンオフを指示するための操作部である。
【００４１】
クロップ量入力部１７２は、ユーザが、クロップ量を入力するための入力部である。この場合、ユーザは、クロップする画像の端が水平方向の端であるか垂直方向の端であるか、あるいはそれらの双方であるか、なども入力する。クロップ量は、例えば、パーセンテージの値として入力される。このクロップ量入力部１７２は、必ずしも、必要となるものではない。画像マッピング部１４０が、クロップ量として固定値を使用する場合には、クロップ量入力部１７２はなくてもよい。
【００４２】
クロップ要否記憶部１７３は、複数の入力画像（入力画像データ）のそれぞれに対するクロップ処理の要否を記憶する。すなわち、上述したように、マトリクススイッチ１６０の「１」〜「９」の入力ラインのそれぞれにはＶＴＲ、ビデオカメラ等から画像データが入力される。クロップ要否記憶部１７３は、それぞれの入力ラインに入力される画像データが、クロップ処理を要するか否かを記憶する。
【００４３】
画像生成部１３０は、ＣＧ制作部１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像を生成する。記憶部１５０は、ＣＧ記述データを記憶している。この画像生成部１３０は、ＣＧ記述データを読み込むと、各定義などの情報をメモリ上に保持し、それらの対応付けもデータ構造として保持する。また、画像生成部１３０は、アニメーションを実行するためのキーフレームにおける各種値もメモリ上に保持する。
【００４４】
例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。
【００４５】
画像生成部１３０は、例えば、図示しない画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように、画像マッピング部１４０を制御する。画像マッピング部１４０は、上述の画像生成部１３０の制御のもと、テクスチャマッピングを行う。属性は例えばマテリアルであり、画像割り当てテーブルは例えばマテリアル名称と画像入力番号（図１ではＴ１乃至Ｔ４のうち一つを指定する番号）を対応付けるテーブルである。
【００４６】
この画像マッピング部１４０には、上述したように、マトリクススイッチ１６０からテクスチャマッピング用の画像データであるマッピング入力Ｔ１〜Ｔ４が供給される。画像マッピング部１４０は、画像生成部１３０の制御により、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングする。
【００４７】
この画像マッピング部１４０は、実装上は、例えば、上述の画像生成部１３０と一体化されており、ＣＰＵ上のソフトウェアによる制御と、ＧＰＵ等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。
【００４８】
［画像生成部および画像マッピング部の構成例］
図２は、画像生成部１３０および画像マッピング部１４０の具体的な構成例を示している。画像生成部１３０および画像マッピング部１４０は、画像入出力部１４１と、ＧＰＵ１４２と、ローカルメモリ１４３と、ＣＰＵ１４４と、メインメモリ１４５を有している。また、画像生成部１３０および画像マッピング部１４０は、周辺デバイス制御部１４６と、ハードディスクドライブ（ＨＤＤ）１４７と、イーサネット回路１４８ａと、ネットワーク端子１４８ｂを有している。また、画像生成部１３０および画像マッピング部１４０は、ＵＳＢ（Universal Serial Bus）端子１４９と、ＳＤＲＡＭ（SynchronousDRAM）１５１を有している。なお、「イーサネット」は登録商標である。
【００４９】
画像入出力部１４１は、テクスチャマッピングをするための画像データを入力し、また、画像データによる画像が適宜テクスチャマッピングされたＣＧ画像の画像データを出力する。この画像入出力部１４１は、最大で４系統の画像データを入力でき、また、最大で４系統の画像データを出力できる。なお、ここで取り扱われる画像データは、例えば、ＳＭＰＴＥ２９２Ｍで規定されているＨＤ-ＳＤＩ(High Definition television-SerialDigital Interface)規格の画像データである。ＧＰＵ１４２およびメインメモリ１４５は、同等に、画像入出力部１４１にアクセス可能とされている。
【００５０】
メインメモリ１４５は、ＣＰＵ１４４のワークエリアとして機能すると共に、画像入出力部１４１から入力される画像データを一時的に記憶する。ＣＰＵ１４４は、画像生成部１３０および画像マッピング部１４０の全体を制御する。このＣＰＵ１４４には、周辺デバイス制御部１４６が接続されている。この周辺デバイス制御部１４６は、ＣＰＵ１４４と周辺デバイスとの間のインタフェース処理を行う。
【００５１】
ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、内蔵のハードディスクドライブ１４７が接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６、イーサネット回路１４８ａを介して、ネットワーク端子１４８ｂが接続されている。また、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＵＳＢ端子１４９が接続されている。さらに、ＣＰＵ１４４には、周辺デバイス制御部１４６を介して、ＳＤＲＡＭ１５１が接続されている。
【００５２】
ＣＰＵ１４４は、テクスチャ座標の制御を行う。すなわち、このＣＰＵ１４４は、入力画像データに対して、それによる画像をＧＰＵ１４２が描画するポリゴンの表面にテクスチャマッピングをするための処理を行う。ＧＰＵ１４２は、ハードディスクドライブ１４７等に保持されているＣＧ記述データに基づいてＣＧ画像を生成し、また、必要に応じて、指定されたポリゴンの面に、画像をテクスチャマッピングする。ローカルメモリ１４３は、ＧＰＵ１４２のワークエリアとして機能すると共に、ＧＰＵ１４２で作成されたＣＧ画像の画像データを一時的に記憶する。
【００５３】
ＣＰＵ１４４は、メインメモリ１４５にアクセスできる他、ローカルメモリ１４３にもアクセス可能とされている。同様に、ＧＰＵ１４２は、ローカルメモリ１４３にアクセスできると共に、メインメモリ１４５にもアクセス可能とされている。ＧＰＵ１４２により生成されてローカルメモリ１４３に一次的に記憶されたＣＧ画像データは、このローカルメモリ１４３から順次読み出され、画像入出力部１４１から出力される。
【００５４】
図３は、上述した画像生成部１３０および画像マッピング部１４０の機能ブロックの構成例を示している。この画像生成部１３０および画像マッピング部１４０は、画像入力部１５２、テクスチャ画像記憶部１５３、ＣＧ制御部１５４、ＣＧ描画部１５５、テクスチャ座標制御部１５６、フレームバッファ１５７および画像出力部１５８の機能ブロックを有している。
【００５５】
画像入力部１５２および画像出力部１５８は、画像入出力部１４１により構成されている。また、テクスチャ画像記憶部１５３は、メインメモリ１４５により構成されている。また、ＣＧ制御部１５４およびテクスチャ座標制御部１５６は、ＣＰＵ１４４により構成されている。また、ＣＧ描画部１５５は、ＧＰＵ１４２により構成されている。また、フレームバッファ１５７は、ローカルメモリ１４３により構成されている。
【００５６】
画像入力部１５２とテクスチャ画像記憶部１５３は対で、これらを増やすことで、画像入力の系統を増やすことができる。また、フレームバッファ１５７と画像出力部１５８は対で、これらを増やすことで、画像出力の系統を増やすことができる。
【００５７】
［画像マッピング部におけるクロップ処理］
画像マッピング部１４０におけるクロップ処理について説明する。画像マッピング部１４０は、上述の画像選択操作部１７０のクロップ操作部１７１でクロップ処理オンが指示されているとき、クロップ処理を行う。すなわち、画像マッピング部１４０は、テクスチャマッピングされる画像の端（縁）の部分が画像生成部１３０の出力画像に含まれないように、マッピングを行う。
【００５８】
図４のフローチャートは、画像生成部１３０（画像マッピング部１４０を含む）における毎フレーム・フィールドの画像生成／描画処理の手順を示している。画像生成部１３０は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。
【００５９】
ステップＳＴ２において、画像生成部１３０は、ＣＧ記述データにより描画を行う。そして、画像生成部１３０は、ステップＳＴ３において、ＣＧ記述データにテクスチャマッピング指示があるか否かを判断する。テクスチャマッピング指示があるとき、画像生成部１３０は、ステップＳＴ４において、テクスチャマッピングを行う各面（ポリゴンの表面）毎に、マッピング処理を行う。
【００６０】
画像生成部１３０は、ステップＳＴ４の処理の後、ステップＳＴ５において、処理を終了する。また、画像生成部１３０は、ステップＳＴ３でテクスチャマッピング指示がないとき、直ちに、ステップＳＴ５において、処理を終了する。
【００６１】
図５のフローチャートは、図４のフローチャートのステップＳＴ４における各面毎のマッピング処理の手順を示している。画像生成部１３０は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、画像生成部１３０は、上述のクロップ要否記憶部１７３の記憶に基づいて、マッピングする画像がクロップ処理の対象か否かを判断する。
【００６２】
マッピングする画像がクロップ処理の対象であるとき、画像生成部１３０は、ステップＳＴ４３において、クロップ量に応じたクロップ処理をしながらマッピングを行う。そして、画像生成部１３０は、ステップＳＴ４３の処理の後、ステップＳＴ４４において、処理を終了する。また、ステップＳＴ４２でマッピングする画像がクロップ処理の対象でないとき、画像生成部１３０は、ステップＳＴ４５において、クロップ処理をしないでマッピングを行う。そして、画像生成部１３０は、ステップＳＴ４５の処理の後、ステップＳＴ４４において、処理を終了する。
【００６３】
［クロップ処理の具体例］
ここで、画像マッピング部１４０が行うクロップ処理の例を説明する。
【００６４】
「処理例１」
画像マッピング部１４０は、クロップ量に応じて、画像をテクスチャ座標上で拡大することにより、テクスチャマッピングされる画像の端の部分が、画像生成部１３０の出力画像に含まれないようにマッピングする。
【００６５】
この場合、画像マッピング部１４０は、テクスチャ座標に手を加えて、画像の端がマッピングされないようにする。テクスチャ座標はＵ，Ｖともに０から１の間であり、この区間をフルに物体表面にマッピングすることで、画像のｘ，ｙの全領域を表示することになる。これに対して、画像を拡大したい場合は、Ｕ，Ｖのより小さな区間、例えば、１０％クロップの場合には０．１から０．９を、物体表面にマッピングすれば、結果として画像が拡大されることになる。
【００６６】
区間を［ａ，ｂ］とし、さらに、変換前の座標を(u1,v1)、変換後の座標を(u2,v2)として、テクスチャ座標の変換式は、以下の（１）式、（２）式のようになる。
ｕ２＝（ｂ−ａ）×ｕ１＋ａ      ・・・（１）
ｖ２＝（ｂ−ａ）×ｖ１＋ａ      ・・・（２）
【００６７】
例えば、図６（ａ）に示すようなテクスチャマッピングすべき画像と、図６（ｂ）に示すようなテクスチャマッピングするポリゴンとテクスチャ座標（ＵＶ座標）を考える。図６（ｃ）は、クロップ処理をしない場合におけるテクスチャマッピング結果（出力画像の中の見え方）を示している。
【００６８】
図６（ｄ）は、上下に１０％クロップをする場合の変換後のテクスチャ座標（ＵＶ座標）を示し、図６（ｅ）は、クロップ処理をした場合におけるテクスチャマッピング結果（出力画像の中の見え方）を示している。このように、クロップ処理により画像は上下方向に拡大され、従って、画像の端の部分がマッピングされない状態となる。
【００６９】
「処理例２」
画像マッピング部１４０は、クロップ量に応じて、テクスチャ座標が該当範囲である領域には、画像をマッピングせず、ＣＧ記述データに指定の表面態様（マテリアル）のまま画像生成させる。すなわち、画像マッピング部１４０は、例えば、テクスチャマッピングを行う際に、垂直上下１０％クロップの場合、テクスチャ座標Ｖが０から０．１および０．９から１の領域については、テクスチャマッピングを行わないようにする。例えば、図６（ａ）に示すようなテクスチャマッピングすべき画像と、図６（ｂ）に示すようなテクスチャマッピングするポリゴンとテクスチャ座標（ＵＶ座標）を考える。図７は、上下に１０％クロップをした場合におけるテクスチャマッピング結果（出力画像の中の見え方）を示している。なお、図７には分かり易いようにクロップ位置を示す線が追加されている。
【００７０】
「処理例３」
画像マッピング部１４０は、クロップ量に応じて、テクスチャ座標が該当範囲である領域では、端になるほど０に近づく値（α）を算出し、この値を使ってテクスチャマッピングする。すなわち、画像マッピング部１４０は、例えば水平左右３０％クロップの場合、図８（ｃ）に示すように、αを算出する。この場合、テクスチャ座標Ｕが０．３から０．７の領域ではαは１とされる。また、Ｕが０でαが０、Ｕが１でαが０とされ、Ｕが０から０．３および０．７から１の領域については、αは線形的に変化するようにされる。
【００７１】
画像マッピング部１４０は、このαをブレンディング率として、画像を元の表面態様とブレンドさせる。図８（ａ）は、クロップ処理をしない場合におけるテクスチャマッピング結果（出力画像の中の見え方）を示している。一方、図８（ｂ）は、クロップ処理をした場合におけるテクスチャマッピング結果（出力画像の中の見え方）を示している。この場合、画像の端では、マッピングすべき画像から元の表面態様に徐々に変化していく。
【００７２】
図１に示す画像処理装置１００の動作例を説明する。ＣＧ制作部１１０では、ＣＧ制作ソフトウェアにより、所定のＣＧ画像を生成するためのＣＧ記述データが生成される。このようにＣＧ制作部１１０で生成されたＣＧ記述データは、ネットワーク１２０を介して、画像生成部１３０に送られ、記憶部１５０に記憶される。
【００７３】
画像生成部１３０では、ＣＧ制作部１１０で制作されたＣＧ記述データに基づいて、三次元空間画像であるＣＧ画像が生成される。また、画像生成部１３０により、例えば、図示しない画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の面に、その属性の値（名称）と対のマッピング入力による画像をテクスチャマッピングするように、画像マッピング部１４０が制御される。
【００７４】
画像マッピング部１４０では、上述の画像生成部１３０の制御のもと、テクスチャマッピングが行われる。すなわち、画像マッピング部１４０では、画像割り当てテーブルに存在する各属性の値（名称）に対応付けられているポリゴン（ポリゴン集合）の表面に、その属性の値（名称）と対のマッピング入力による画像がテクスチャマッピングされる。
【００７５】
この際、画像マッピング部１４０では、画像選択操作部１７０のクロップ操作部１７１でクロップ処理オンが指示されているとき、例えば、上述した「処理例１」〜「処理例３」等のクロップ処理が行われる。この場合、画像マッピング部１４０では、テクスチャマッピングされる画像の端（縁）の部分が画像生成部１３０の出力画像に含まれないように、マッピングが行われる。
【００７６】
そして、画像生成部１３０から導出された出力端子１３０ａには、所定のポリゴンの面に画像がテクスチャマッピングされたＣＧ画像の画像データＶoutが出力される。なお、マトリクススイッチ１６０の「１０」の入力ラインにも、画像生成部１３０から出力される、所定のポリゴンの表面に画像がテクスチャマッピングされたＣＧ画像の画像データが入力される。
【００７７】
図１に示す画像処理装置１００において、画像選択操作部１７０のクロップ操作部１７１でクロップ処理オンの指示がされることで、画像生成部１３０の画像マッピング部１４０では、画像の端の部分がクロップ処理された状態でテクスチャマッピングされる。そのため、例えば、画面の端の部分が乱れた画像のテクスチャマッピングにおいて、乱れた部分がマッピングされることを防止できる。
【００７８】
また、図１に示す画像処理装置１００において、画像マッピング部１４０では、クロップ要否記憶部１７３の記憶に基づいて、テクスチャマッピング対象の画像がクロップ処理要とされているとき、クロップ処理が行われる。そのため、画面の端の部分が乱れていない画像に対してクロップ処理が不必要に行われることを回避できる。なお、画像生成部１３０で処理されず画像合成部１８０に入る画像がクロップ要否記憶部１７３の記憶に基づいてクロップ要とされているとき、画像クロップ部１８１によりクロップ処理が行われる。
【００７９】
＜２．変形例＞
なお、上述実施の形態において、画像マッピング部１４０は、クロップ要否記憶部１７３の記憶に基づき、つまり、画像に応じてクロップ処理を行うか否かを決めている。しかし、ＣＧ記述データに指定の表面態様（マテリアル）に応じてクロップ処理を行うか否かを決めることも考えられる。
【００８０】
この場合、ＣＧ記述データに指定の表面態様（マテリアル）毎に、この表面態様のポリゴンの面にテクスチャマッピングする際にクロップ処理を行うか否かを定めたテーブルをさらに備える構成となる。このテーブルは、例えば、画像選択操作部１７０あるいは画像生成部１３０などに備えられる。この場合、画像マッピング部１４０は、このテーブルに従ってクロップ処理の要否を決める。
【００８１】
クロップ処理を行うべきか否かは、テクスチャマッピングする画像の特徴に依存して決まることが多い。しかし、それ以外の理由に応じて、クロップ処理を行うか否かを決めるのが適切な場合もある。例えば、ＣＧ仮想空間の中の箱の面に、スタジオのカメラで撮影しているアナウンサーの画像を入れる場合は、そこを視聴者に注目させるため、クロップ処理を行って少しでも変に見える端の部分を入れない方がよい。
【００８２】
これに対して、床の面に単なる動く模様として動画をテクスチャマッピングする場合は、画の内容自体に注目されることもないためクロップ処理をしない方がよいこともある。そこで、テーブルには、テクスチャマッピングを行う対象（ターゲット）としてＣＧ記述データのマテリアルを指定するように構成している場合、マテリアルの属性として、クロップ処理を行うか否かを記憶させる。
【００８３】
図９は、ＣＧ記述データに指定のマテリアル毎に、このマテリアルのポリゴンの表面にテクスチャマッピングする際にクロップ処理を行うか否かを定めたテーブルの一例を示している。このテーブルの場合、例えば、マテリアルの「Metal001」と「Monitor1」については、クロップ処理が行われず、「Cloth01」についてはクロップ処理が行われる。また、このテーブルでは、クロップ量としてのクロップパーセントも記憶されている。
【００８４】
上述実施の形態にように、画像毎にクロップの要否を記憶している場合は、例えば、選択されている画像がクロップ要で、かつ対象マテリアルについてクロップ処理を行う（On）となっている場合にのみ、クロップを行うようにする。また、用途によっては、選択されている画像がクロップ要の場合は、マテリアルのクロップ処理のオンオフに関係なくクロップ処理を実行する構成も考えられる。例えば、古い画像を使うため、それらには必ずクロップ処理を行った方がよい場合が考えられる。
【００８５】
また、上述していないが、テクスチャマッピングの対象画像がステレオ立体画像を構成する左眼画像および右眼画像である場合も考えられる。ステレオ立体画像をテクスチャマッピングする際、左眼用の仮想カメラと右眼用の仮想カメラに対しそれぞれテクスチャマッピング画像の左眼用画像と右眼用画像を撮影するようにしてレンダリングさせることで、テクスチャマッピング画像の立体感を維持できる。
【００８６】
しかし、テクスチャマッピング画像に含まれる撮影対象が左眼画像または右眼画像の片方にしか現れない場合がある。例えば、図１０（ａ）に示すように、立体オブジェクトＰＯのうち、手前に出ている左端は、右眼画像では見えない。これに対して、例えば、図１０（ｂ）に示すように、立体オブジェクトＰＯのうち、奥に位置する右端は、左眼画像および右眼画像の双方で見える。上述したように、テクスチャマッピング画像に含まれる撮影対象が左眼画像または右眼画像の片方にしか現れない場合、例えば、上述したようなαを用いたテクスチャマッピングを行うことで違和感を低減できる。
【００８７】
例えば、図１１は、右端の人が手前にいる場合の左眼画像（破線図示）および右眼画像（実線図示）を示している。このような場合、例えば、図１２（ｂ）に示すようにαを算出し、このαを用いてクロップ処理を行うことが考えられる。この場合、図１２（ａ）に示すように、右端の人の部分に対してクロップ処理が行われる。すなわち、この右端の人の部分がαを用いたクロップ処理により徐々に薄くなることから、この部分が目立たなくなり、違和感を軽減できる。
【００８８】
画像マッピング部１４０は、テクスチャマッピングの対象画像がステレオ立体画像を構成する左眼画像および右眼画像である場合、これらの画像を解析して、あるいはこれらの画像に付随する奥行き情報（視差情報）を用いて、画像の端が手前に出る部分か奥になる部分かを判断する。そして、画像マッピング部１４０は、画像の端が手前に出る部分である場合には、クロップ処理を行うことで、上述したように違和感を軽減できる。
【００８９】
なお、本技術は、以下のような構成も取ることができる。
（１）コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記画像生成部が描画するポリゴン面に画像をテクスチャマッピングする画像マッピング部と、
クロップ処理のオンオフを指示するクロップ操作部とを備え、
上記画像マッピング部は、
上記クロック操作部でクロップ処理オンが指示されているとき、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
画像処理装置。
（２）複数の画像から所定の画像を選択する画像選択部と、
上記複数の画像のそれぞれに対する上記クロップ処理の要否を記憶するクロップ要否記憶部とをさらに備え、
上記画像マッピング部は、
上記画像生成部が描画するポリゴンの表面に、上記画像選択部で選択された上記所定の画像をテクスチャマッピングし、
上記画像選択部で選択された上記所定の画像について上記クロップ要否記憶部にクロップ処理要が記憶されているとき、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
前記（１）に記載の画像処理装置。
（３）上記コンピュータグラフィクス記述データに指定の表面態様毎に、該表面態様のポリゴンの表面にテクスチャマッピングする際にクロップ処理を行うか否かを定めたテーブルをさらに備え、
上記画像マッピング部は、上記テーブルに従ってクロップ処理の要否を決める
前記（１）または（２）に記載の画像処理装置。
（４）上記画像マッピング部は、
クロップ量に応じて、上記画像をテクスチャ座標上で拡大することにより、テクスチャマッピングされる画像の端の部分が上記画像生成部の出力画像に含まれないようにマッピングする
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記画像マッピング部は、
クロップ量に応じて、テクスチャ座標が該当範囲である領域には、上記画像をマッピングせず、コンピュータグラフィクス記述データに指定の表面態様のまま画像生成させる
前記（１）から（３）のいずれかに記載の画像処理装置。
（６）上記画像マッピング部は、
クロップ量に応じて、テクスチャ座標が該当範囲である領域では、端になるほど０に近づく値を算出し、該値を使ってテクスチャマッピングする
前記（１）から（３）のいずれかに記載の画像処理装置。
（７）クロップ量を入力するためのクロップ量入力部をさらに備える
前記（１）から（６）のいずれかに記載の画像処理装置。
【符号の説明】
【００９０】
１００・・・画像処理装置
１１０・・・ＣＧ制作部
１２０・・・ネットワーク
１３０・・・画像生成部
１４０・・・画像マッピング部
１５０・・・記憶部
１６０・・・マトリクススイッチ
１７０・・・画像選択操作部
１７１・・・クロップ操作部
１７２・・・クロップ量入力部
１７３・・・クロップ要否記憶部
１８０・・・画像合成部
１８１・・・画像クロップ部
【図１】
2012221092.tif 000003
【図２】
2012221092.tif 000004
【図３】
2012221092.tif 000005
【図４】
2012221092.tif 000006
【図５】
2012221092.tif 000007
【図９】
2012221092.tif 000008
【図１０】
2012221092.tif 000009
【図６】
2012221092.tif 000010
【図７】
2012221092.tif 000011
【図８】
2012221092.tif 000012
【図１１】
2012221092.tif 000013
【図１２】
2012221092.tif 000014