(57)【要約】【課題】画面上の所定範囲を表示する元画像データを有し、この所定範囲の外側の領域（画像拡張部分）に対し、画像の範囲外の領域を予測することにより画像の拡張部分まで滑らかに連続する画像を表示できる画像処理方法を提供する。【解決手段】メモリ部２に元画像データ２ａが格納されている。エッジ検出回路３ａにより元画像データを形成する絵のエッジを検出する。エッジ延長回路３ｂにより絵のエッジを所定の範囲の外側の領域まで延長する。画素補充面算出回路３ｃにより所定の範囲の外側の領域であって延長した絵のエッジにより囲まれる面を算出する。画素情報演算回路３ｄにより、囲まれる面と同じ面の元画像の画素情報に基づき囲まれる面に補充すべき画素情報を求める。これにより元画像データ２ａの外側の拡張部分に、元画像データ２ａに滑らかに繋がる画像データを得ることができる。【選択図】図１Ａ
2008204035.tif 000002
【特許請求の範囲】
【請求項１】
所定の範囲を表示するための元画像データを有し、前記所定の範囲の外側の領域に対し前記元画像データに基づき画素を補充するための画像処理方法であって、
エッジ検出手段により前記元画像データにより形成される絵のエッジを検出し、
エッジ延長手段により前記検出した絵のエッジを前記所定の範囲の外側の領域まで延長し、
画素補充面算出手段により前記所定の範囲の外側の領域であって前記延長した絵のエッジにより囲まれる面を算出し、
画素情報演算手段により前記囲まれる面に対し、同じ面となる元画像データの画素情報より、補充すべき画素情報を求め、
前記所定の範囲の外側の領域を補充すべき画素情報で描画することを特徴とする画像処理方法。
【請求項２】
テクスチャ画像をポリゴン面に貼り付ける際、前記ポリゴン面を分ける境界付近にテクスチャ画像が欠損する領域が発生するときに画素を補充するための３Ｄ描画回路であって、
テクスチャ画像の輪郭を検出するテクスチャ画像輪郭検出部と、
前記テクスチャ画像輪郭検出部により検出したテクスチャ画像のエッジを前記欠損する領域まで延長し、延長したエッジによって形成される分割面を算出する分割面算出部と、
前記分割面と同じ面となるテクスチャ画像の画素情報を参照することにより、前記分割面の補充すべき画素情報を算出する分割面画素情報算出部と、
前記分割面の画素情報を前記元画像データに加えて画素情報を更新する更新部と、
を備えたことを特徴とする３Ｄ描画回路。
【請求項３】
前記画素情報は、面座標データおよび色データを含むことを特徴とする請求項２記載の３Ｄ描画回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データのエッジの外側を、内側の画像から予測し、拡張して表示する画像処理方法およびこの画像処理方法を用いた３Ｄ描画回路に関する。
【背景技術】
【０００２】
従来、ディスプレイに表示される画像の内部の一部に欠損領域が存在した場合、その欠損領域の画像を復元する画像処理の方法（内部画像の欠損について前後の画像により画像を補間処理するもの）は実用に供されているが、画像領域の外側に画像を拡張する場合、その画像の外側を推測して拡張する画像処理方法は存在していない。
画像の範囲外を表示したい時は、単純な座標の置き換えによって実現していた。
図８に従来の画像処理方法で処理する画像例を示す。
例えば、（ａ）に示すようなＬ1 ×Ｌ2 に示すような範囲の絵の画素情報を持っているとする。Ｌ1 ×Ｌ2 の範囲の左外側に画像を拡張する場合、ラップという手法で拡張すると、元の画像の右端の画像がＬ1 ×Ｌ2 の範囲の左外側に繋げた処理となる。そのため、拡張した部分の画像の連続性は損なわれ滑らかな拡張画像を得ることはできない（ｂ）。
【０００３】
また、クランプという手法を採用すると、Ｌ1 ×Ｌ2 の範囲の左外側に画像を拡張する場合、画像の左エッジの画像の濃淡が左側に延長される画像処理となって（ｃ）に示すような拡張部分を持つ画像となり、不自然である。さらにミラーという手法を用いれば、模様が傾斜している元画像では、Ｌ1 ×Ｌ2 の範囲の左外側に裏面から見た画像を繋げる処理となり、同様に不自然な画像となる（ｄ）。
このような処理は、視覚的に非常に小さい部分の画像部分であってもエッジ部分が目立ってしまうという欠点があった。
【０００４】
画像の並び替えなどをした場合、画像間に白画像が発生する場合の処理として映像データ処理装置（特許文献１）が提案されている。
これは、表示画面の１／４に画像データがある場合、この画像データを４つのマルチ画面表示するときに、各画面の間に生じる白画像部分を埋める処理を提案したもので、白画像部分に接する画像の画素を起点に、同じ画素を白画像部分に繰り返し加える処理を行うものである。このため、画面のエッジに接する新幹線の車輪からは長方形の模様が白画像の方向に延びた画像となる。これは、従来例で示した図８（ｃ）の処理と同じであり、白画像部分の領域が大きい場合には画像の滑らかさが損なわれることとなる。
【特許文献１】特開２００５−１４２６７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、画面上の所定範囲を表示する元画像データを有し、この元画像データの外側の領域（画像拡張部分）に対し、画像の範囲外の領域を予測することにより画像の拡張部分まで滑らかに連続する画像を表示できる画像処理方法を提供することにある。
本発明の他の目的はこの画像処理方法を用いてポリゴンのテクスチャ画像の貼り付けの境界付近の画像を従来に比較し滑らかに表示できるようにした３Ｄ描画回路を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために本発明の請求項１は、所定の範囲を表示するための元画像データを有し、前記所定の範囲の外側の領域に対し前記元画像データに基づき画素を補充するための画像処理方法であって、エッジ検出手段により前記元画像データにより形成される絵のエッジを検出し、エッジ延長手段により前記検出した絵のエッジを前記所定の範囲の外側の領域まで延長し、画素補充面算出手段により前記所定の範囲の外側の領域であって前記延長した絵のエッジにより囲まれる面を算出し、画素情報演算手段により前記囲まれる面に対し、同じ面となる元画像データの画素情報より、補充すべき画素情報を求め、前記所定の範囲の外側の領域を補充すべき画素情報で描画することを特徴とする。
本発明の請求項２は、テクスチャ画像をポリゴン面に貼り付ける際、前記ポリゴン面を分ける境界付近にテクスチャ画像が欠損する領域が発生するときに画素を補充するための３Ｄ描画回路であって、テクスチャ画像の輪郭を検出するテクスチャ画像輪郭検出部と、前記テクスチャ画像輪郭検出部により検出したテクスチャ画像のエッジを前記欠損する領域まで延長し、延長したエッジによって形成される分割面を算出する分割面算出部と、前記分割面と同じ面となるテクスチャ画像の画素情報を参照することにより、前記分割面の補充すべき画素情報を算出する分割面画素情報算出部と、前記分割面の画素情報を前記元画像データに加えて画素情報を更新する更新部とを備えたことを特徴とする。
本発明の請求項３は請求項２記載の発明において前記画素情報は、面座標データおよび色データを含むことを特徴とする。
【発明の効果】
【０００７】
上記構成によれば、画像データの外側の表示画面に対し、滑らかな画像を表示できる。特に３Ｄモデルの表面に貼るテクスチャのエッジに適用すると、従来の画像処理方法に比較し滑らかに３Ｄ画像を得ることができる。
また、ある物体が一部しか写っていない写真から全体を復元する場合、本発明方法を用いれば作業工程が削減でき手作業を単純化することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施の形態を詳しく説明する。
図１Ａは、本発明による画像処理方法により構成した描画処理回路の実施の形態を示すブロック図である。
メモリ部２に元画像データ２ａが格納されている。描画処理回路３は元画像データ２ａを用いて元画像データ２ａの外側の部分に拡張する画像データを形成する。
描画処理回路３はエッジ検出回路３ａ，エッジ延長回路３ｂ，画素補充面算出回路３ｃおよび画素情報演算回路３ｄより構成されており、画素情報演算回路３ｄから元画像データ２ａの外側の拡張部分の画像データが出力され、図示しない表示部ではこの拡張部分の画像データも表示される。
【０００９】
図１Ｂは、本発明による画像処理方法の工程を説明するための図である。
元画像データ２ａは左外側の境界線に向かって少しずつ薄くなるグラデーションの帯の画像５と、左外側の境界線に対し斜め下に向かっている帯の画像６より構成されているとする（ａ）。この元画像の左外側の所定の範囲に拡張画像を生成する場合、元画像のエッジを検出する元画像エッジ検出回路３ａにより、エッジ部分のみを検出する処理を行って（ｂ）に示す帯の形状線５ａ，６ａを検出する。
つぎにエッジ延長回路３ｂにより、帯の形状線５ａ，６ａを左外側に延長させて拡張部分に延長線５ｂ，６ｂを形成する（ｃ）。
さらに画像補充面算出回路３ｃにより元画像データ２ａの外側の領域の延長した絵のエッジにより囲まれる面を算出し、画像情報演算回路３ｄにより、囲まれる面に対し、同じ面となる元画像データの画素情報を参照し、この元画像データの画素情報に基づき、補充すべき画素情報を演算する。画素情報は面座標データおよび色データを含んでおり、これにより拡張部分に元画像データ２ａに繋がる滑らかな画像を描画することができる。
【００１０】
図２は、本発明による画像処理方法で処理した画像の例を示す図である。
元画像１は（ａ）に示すように多数の太い帯と多数の細い帯を所定間隔で斜めに配列したものであり、描画処理回路３で処理することにより、左外側には多数の太い帯のエッジを延長する線１ａが（ｂ）に示すように形成され、その線で囲まれる部分と同じ面の画像データを参照することにより（ｃ）に示すように描画される画素を得ることができる。
【００１１】
図３は、本発明による画像処理方法を適用した３Ｄゲーム装置の回路の実施の形態を示すブロック図である。
３Ｄゲーム装置１６はパッド，キーボード，マウスなどによりプレイヤ操作を入力してＣＰＵ１２に送出する入力操作装置１０，ゲームのＢＧＭなどを出力するサウンド回路１５，サウンドを出力するスピーカ１１，画素情報に基づきディスプレイ１４に画像を表示するグラフィック回路１３，ゲーム制御を司るプログラム，３Ｄゲームプログラムおよび必要なデータを格納するＨＤＤ１８ならびにゲーム起動したときＨＤＤ１８から読み出した３Ｄゲームプログラムや画像データを格納し、ＣＰＵ１２の演算の領域としても使用されるＲＡＭ１７およびＣＰＵ１２を備えている。
【００１２】
ＣＰＵ１２は、ＨＤＤ１８から読み出しＲＡＭ１７に一時格納したプログラムおよびデータによりゲームを実行するためのゲーム制御部１２ａの他、３Ｄゲームのジオメトリ処理部１２ｂおよびレンダリング部１２ｃの機能を有する。
ジオメトリ処理部１２ｂはポリゴンの３次元座標データを高速に処理する制御部で、ゲーム制御部１２ａから送られてくるポリゴンの座標データにモデルの移動，回転などに対する処理を行い、クリッピング，視野変換などの処理を行う。レンダリング部１２ｃはポリゴンのレンダリングを高速に処理する制御部で、ゲーム制御部１２ａおよびジオメトリ処理部１２ｂから送られてくるポリゴンデータに対しレンダリング処理を行い、陰面処理およびシェーディング処理などを行う。本発明にかかる描画処理部１９はレンダリング処理の一部であり、テクスチャ画像輪郭検出部１９ａ，分割面算出部１９ｂ，分割画面画素情報算出部１９ｃおよびピクセル情報更新部１９ｄの機能を備えている。
【００１３】
レンダリング部１２ｃがゲーム制御部１２ａおよびジオメトリ処理部１２ｂから送られてくるポリゴンデータに対し頂点処理を施し、作成したポリゴン面に対するテクスチャ画像の貼り付けを行う処理においてテクスチャ画像の範囲外を参照した場合、すなわちボリゴン面とテクスチャ画像が一致せず、テクスチャ画像の範囲の外側にも画像を補充すべきと判断した場合には、テクスチャ画像輪郭検出部１９ａはテクスチャ画像の濃淡の境界線を判断することにより画像の輪郭を検出する。分割面算出部１９ｂは画像の輪郭線をテクスチャ画像の外側の欠損する領域まで延長し、この延長したエッジと隣接のポリゴンの境界およびテクスチャ画像の外側線との間にできる分割面を算出する。分割面画素情報算出部１９ｃは分割面と同じ面となるテクスチャ画像の画素情報を参照することにより、分割面上に滑らかに繋がる画素情報を算出する。ピクセル情報更新部１９ｄは分割面に対する画素情報を元のテクスチャ画像データに追加することにより貼り付けるべき画素情報を更新する。ピクセル情報更新部１９ｄは背景処理や透過による処理の画素情報の更新なども行う。
【００１４】
図４は、本発明による画像処理方法の流れを示すフローチャートである。
描画処理はグラフック処理の一連の流れとなる（Ｓ００１）。ＲＡＭ１７から例えばある絵に関する頂点，テクスチャなどの情報が読み出され、ＣＰＵ１２でグラフィック処理するための準備がなされる（Ｓ００２）。
つぎにどのポリゴンをどこに描画するという頂点処理を行って描画する場所を決め、ピクセル処理を開始する（Ｓ００３，Ｓ００４）。すなわち、画面を描画する処理に移行する。
ピクセル毎にテクスチャ画像のどの座標を参照するかが対応付けられており、ピクセル毎に貼るべきテクスチャ画像の領域を探すこととなる。この処理において、画像を貼付すべきピクセル部分に対しテクスチャ画像の方が大きい場合、貼付すべきピクセル部分は完全にテクスチャ画像の範囲の中にあるので、テクスチャ画像の範囲の外側は参照しない。一方、貼付すべきピクセル部分に対しテクスチャが小さい場合は、テクスチャの外側すなわち周辺部分も参照する。テクスチャ画像の範囲内の参照であれば、既に存在するテクスチャの色データを持ってくれば良いので、従来通りのピクセル情報の更新に移行する（Ｓ００５，Ｓ０１０）。
一方、テクスチャ画像の範囲外の参照の場合、すなわち、テクスチャの外側のピクセル部分に貼り付けなければならない場合にはテクスチャ画像の輪郭検出の処理を行う（Ｓ００５，Ｓ００６）。
【００１５】
これはどこに何があるかを検出して絵の概ねの輪郭を求めるものである。
ここで求めた輪郭を延長することにより延長した輪郭で面を分割する（Ｓ００７）。
分割した輪郭は各ポリゴン面のどの部分に相当するかを調べる。そして分割した輪郭，隣接するポリゴンとの境界線，テクスチャ画面との境界線で形成される分割面を求めるための演算を行う（Ｓ００８）。
つぎに求めた分割面に対し同じ面のテクスチャ画像の内部データ（例えば、黒いドット，白いドットなど）を参照することにより求めた分割面に画素のデータを割り振る処理に進む。例えば分割面と同じ面のテクスチャ画像の内部データが徐々に青色が薄くなるグラデーションデータであるならば、テクスチャ画像の内部データと繋がる分割面の接続部分から分割面の延長部分に向けて貼付すべき青色のグラデーションデータの演算を行う（Ｓ００９）。このとき、分割面の接続部分に貼付される青色はテクスチャ画像の内部データの最も外側の青色の濃度と同じ濃度から始まり、徐々に薄くなるグラデーションデータとなる。
【００１６】
このようにして分割面について画素情報を計算することにより分割面に色，模様などの画素情報を割り振る。このとき背景や透過などについての処理も施され、これら処理計算結果も含め、ポリゴン面上のピクセル情報の更新が行われる（Ｓ０１０）。
つぎにゲーム制御部１２ａは各ポリゴンについてこのようなピクセル処理がすべて終了したか否かを判断し、終了していないならば、Ｓ００５に戻って処理を続ける。
ピクセル処理が終了した場合には、ディスプレイ２上に画像を表示するための描画処理に移行する（Ｓ０１２）。
【００１７】
図５は本発明による３Ｄ描画処理の過程について具体的な画像例を説明するための図である。
（ａ）は頂点処理によってポリゴンＡと隣接するポリゴンＢが形成され、ポリゴンＡにはテクスチャ画像Ａが、ポリゴンＢにはテクスチャ画像Ｂが貼り付けられ、ポリゴンＢに貼りつけるテクスチャ画像ＢはポリゴンＢの座標と一致する大きさであるが、ポリゴンＡにはテクスチャ画像の欠損部８ａが生じた状態を示している。そしてテクスチャ画像Ａは隣接するポリゴンＢと接する境界線に向かって徐々に薄くなる青色の帯９の絵を持っており、テクスチャ画像Ｂは、隣接するポリゴンＡと接する境界線からさらに徐々に薄くなる青色の帯１０の画像を持っている。
【００１８】
このような場合に、帯９のエッジ部分をテクスチャ画像の外に向かって、すなわちポリゴンＢに向かって延長させ、この延長線とポリゴンＡとＢとの境界線とテクスチャ画像Ａの外郭線とで作られる分割面９ａを計算により求める。分割面９ａに貼り付ける画素は、テクスチャ画像Ａの外郭線の内側の分割面と同じ領域９ｃ（二点鎖線で囲んだ部分）の画素情報を参照して求める。領域９ｃは外に向かって青色の帯が徐々に薄くなるように画素が配置されていることから、この情報より、分割面９ａにはこれと同じように外に向かって徐々に青色の帯が薄くなるように、かつ領域９ｃと接する部分の画素は、その部分のテクスチャ画像の色の濃淡と同じになるように帯補充画素９ｂが配置される演算が行われる。このように処理することにより、帯９に対し同じ色とグラデーションで繋がった帯が形成される。
【００１９】
図６は他の３Ｄ画像処理の流れを説明するためのフローチャートである。
図４のフローチャートでは、テクスチャ画像の輪郭を検出（Ｓ００６），エッジによって面を分割（Ｓ００７）の処理工程はテスクチャの範囲外を参照した後に行われているが、この実施の形態ではテクスチャ画像の輪郭を検出（Ｓ１０３），エッジによって面を分割（Ｓ１０４）の処理工程を、頂点処理（Ｓ１０５）より先に行っている点で画像処理方法の手順が異なっている。他の処理工程の内容は図４のフローチャートのそれぞれに対応する処理工程の内容と同じである。
【００２０】
図７はさらに他の３Ｄ画像処理の流れを説明するためのフローチャートである。
この実施の形態は、図４に比較し、ピクセル処理において分岐という複雑な処理を行わない点で異なっている。
描画処理はグラフック処理の一連の流れであり（Ｓ２０１）、ＲＡＭ１７から例えばある絵に関する頂点，テクスチャなどの情報が読み出され、ＣＰＵ１２でグラフィック処理するための準備がなされる（Ｓ２０２）。
つぎにテクスチャ画像の輪郭検出の処理を行い（Ｓ２０３）、この輪郭で面を分割する（Ｓ２０４）。
【００２１】
この後テクスチャ画像の外側一回りを最初に事前計算で求めておく。これはテクスチャ画像の範囲を参照する毎にテクスチャ画像を探すという図４のように処理するのではなく、テクスチャ画像の外周４辺すべてに対し、エッジの延長と、ピクセル補間の処理の計算をすべて済ませる。これにより図４に示すピクセル処理する場合の分岐の処理は行わない。このように計算することによりピクセル処理の中で参照しそうなデータは事前計算で算出されて情報があることから、この情報を使用することとなる。
Ｓ２０４に続いてテクスチャ画像範囲外のピクセルの事前計算を開始し（Ｓ２０５）、計算中のピクセルが含まれる分割面を計算する（Ｓ２０６）。そしてテクスチャ内部の画素情報から計算中のピクセルの画素情報を算出する（Ｓ２０７）。
このようにしてテクスチャ画像範囲外のすべてのピクセルの事前計算が終了したか否かを判断する（２０８）。
【００２２】
テクスチャ画像範囲外のすべてのピクセルの事前計算が終了していない場合にはＳ２０６に戻り、Ｓ２０６，Ｓ２０７の処理を続行する。事前計算が終了した場合には、頂点処理を行って描画する場所を決め、ピクセル処理を開始する（Ｓ２０９，Ｓ２１０）。すなわち、画面を描画する処理に移行する。
ピクセル処理では事前計算して算出された画素情報によりポリゴン面上のピクセル情報の更新が行われる。ついですべてのピクセルについて更新の処理が行われたか否かを判断し（Ｓ２１２）、更新の処理が終了していない場合は、Ｓ２１１に戻ってピクセル情報の更新の処理が続行される。更新の処理が終了した場合にはディスプレイ２上に画像を表示するための描画処理に移行する（Ｓ２１３）。
【産業上の利用可能性】
【００２３】
画像処理装置や３Ｄゲームを行うゲーム装置などに用いられる。
【図面の簡単な説明】
【００２４】
【図１Ａ】本発明による画像処理方法により構成した描画処理回路の実施の形態を示すブロック図である。
【図１Ｂ】本発明による画像処理方法の工程を説明するための図である。
【図２】本発明による画像処理方法で処理した画像の例を示す図である。
【図３】本発明による画像処理方法を適用した３Ｄゲーム装置の回路の実施の形態を示すブロック図である。
【図４】図３の３Ｄ画像処理の流れを説明するためのフローチャートである。
【図５】本発明による３Ｄ描画処理の過程について具体的な画像例を説明するための図である。
【図６】他の３Ｄ画像処理の流れを説明するためのフローチャートである。
【図７】さらに他の３Ｄ画像処理の流れを説明するためのフローチャートである。
【図８】従来の画像処理方法により処理した画像例を示す図である。
【符号の説明】
【００２５】
１  元画像
２  メモリ部
２ａ  元画像データ
３  描画処理回路
５，６  帯の画像
１０  入力操作装置  
１２  ＣＰＵ  
１３  グラフィック回路
１４  ディスプレイ  
１５  サウンド回路
１６  ゲーム装置
１７  ＲＡＭ
１８  ＨＤＤ
【図１Ａ】
2008204035.tif 000003
【図１Ｂ】
2008204035.tif 000004
【図２】
2008204035.tif 000005
【図３】
2008204035.tif 000006
【図４】
2008204035.tif 000007
【図５】
2008204035.tif 000008
【図６】
2008204035.tif 000009
【図７】
2008204035.tif 000010
【図８】
2008204035.tif 000011