(57)【特許請求の範囲】
【請求項１】
３次元空間で決まる多角形を２次元空間に投影し、その投影２次元多角形内の画素上に２次元画像からの画素値を描いて、３次元画像データを２次元画像に直す画像処理方法において、投影された２次元多角形の座標の記憶された値を深さ値と共に供給し、各頂点に関して画像座標値をマッピングする過程、深さ値の逆数およびその逆数と２次元画像の各頂点毎にそれぞれ作画する画像座標値との積を決定する過程、並びに、画像の縁に沿った画素の値および位置を補間して決定する過程とを備えたことを特徴とする画像処理方法。
【請求項２】
投影２次元画像を複数の三角形に分割するとともに、値の決定および補間の各過程を各分割三角形毎に行なうことを特徴とする請求項１記載の画像処理方法。
【請求項３】
最大から最小までの深さ座標値の順に分割三角形を処理することを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記複数の三角形がそれぞれ２次元空間の軸に平行に延在する縁を有するようにして画像を分割することを特徴とする請求項２記載の画像処理方法。
【請求項５】
画像内の２次元空間の少なくとも一方の軸方向における少なくとも一つの構図座標の変化率として構図の勾配値を取出す過程をさらに備えたことを特徴とする請求項１記載の画像処理方法。
【請求項６】
補間の過程に線形補間を備えたことを特徴とする請求項５記載の画像処理方法。
【請求項７】
３次元空間で決まる多角形を２次元空間に投影し、その投影多角形内の画素上に２次元画像からの画素値を描いて３次元画像データを２次元画像に直す画像処理装置において、２次元空間に投影した前記多角形の頂点の座標を、それぞれ深さおよび構図画像座標値とともに蓄積する第１蓄積手段、深さ値の逆数およびその逆数と構図画像座標値との積を前記頂点毎に取出すように構成した計算手段、当該計算手段から取出した値を受入れて蓄積する第２蓄積手段、並びに、第１および第２の蓄積手段に結合するとともに第２蓄積手段から取出した値を補間して画像の縁に沿った画素の値および位置を決定するように構成した処理手段を備えたことを特徴とする画像処理装置。
【請求項８】
複数の画像のうちのいずれが最大の深さ座標値を有しているかを決定してその画像を最初に作図する手段を備えて、複数の画像を連続的に作図し得るようにしたことを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記処理手段が、各画素毎に第１および第２の蓄積手段に蓄積した深さ座標値および情報に基づいて、構図勾配値を、当該画像内の２次元空間の軸方向における構図座標の変化率として決定するように動作し得ることを特徴とする請求項７記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像処理の方法および画像処理装置に関するものである。
【０００２】
特に、本発明は、３次元空間で決まる多角形を２次元空間に投影し、その投影２次元多角形内の画素上に２次元画像からの画素値を描いて、３次元画像データを２次元画像に直す画像処理に関するものである。
【０００３】
【従来の技術】
２次元ビデオ像または２次元構図が固体の３次元対象物を包んでいるように見えるコンピュータ・グラフィック方式は知られている。３次元対象物は３次元画像データとして表わされ、その画像データでは、多面体の各頂点が、一般に世界空間と呼ぶ仮想の３次元世界内における３次元座標位置として表わされる。その対象物は、３次元データから２次元投影を形成して、２次元静止画像もしくは一連の画像群を形成することによって観視され、それらの画像は写真フィルムもしくは映像搬送媒体に記録することができる。
【０００４】
対象物の位置は、観視の位置および方向に沿って、３次元世界空間内で調整することができ、その結果一連の投影が計算される。これらの投影は、フレーム順次に、なるべく実時間で計算することができ、その結果、仮想の相互作用的環境の創造が容易となる。
【０００５】
３次元対象物の変換を行なうためには、多面体の各面を個々に考察するのが好適であり、その結果、対象物を一連の多角形群に変換する。したがって、順次の多角形毎に対象物を投影して各多角形につき照明値を計算し、その結果、投影した多角形の境界内に存在する画素位置について表示可能の画素値を決めることができる。
【０００６】
各多角形表示毎の生地色の識別に加えて、多角形表面上に実在するビデオフレームを作図し得るので、３次元対象物の周りを平坦な２次元画像で包んだように見える。ビデオフレームは、単一の画像からなり、したがって、３次元対象物を構図で包む効果が生ずる。一方、ビデオ画像は、ビデオ系列からなり、したがて、中身の詰まった対象物の周りを動いているビデオ画像が包む効果が生ずる。
【０００７】
３次元世界空間においては、多角形がＸ，ＹおよびＺの次元における方向性を有している。しかしながら、２次元平面上に投影すると、多角形は、３次元世界のＸ，ＹおよびＺの各次元から区別するためにＸおよびＹの次元として識別する２次元のみによって決まる。したがって、ビデオフレーム内においては、ラインは左上隅から走査され、ライン上の移動は座標値Ｘを増すことによって達成され、次のラインへの歩進は座標値Ｙを増すことによって達成される。
【０００８】
観視している３次元対象物の概念像を作り出すためには、３次元多角形群を２次元平面に投影する際に、遠近法を考慮に入れる必要がある。これは、非線形処理であり、その結果、計算上の要求となる。したがって、３次元多角形群の各頂点を２次元平面内の位置に投影し、その後、陰影や２次元多角形への変換などの他の処理を行ない、３次元より２次元の計算のみが必要となるようにするのが好適である。
【０００９】
また、線形補間の過程により２次元多角形の処理を行なうのが通常であり、したがって、各多角形表面に単一色を割当てて多角形境界を明確に識別し得るようにする場合に、各頂点毎に多角形の色彩を識別することにより多角形群にゴーラウド（Gouraud ）陰影を施すことが可能である。しかる後に、多角形の縁に沿った画素位置がその縁に沿った線形補間によって計算され、多角形内の画素値が水平走査線を横切る線形補間によって割当てられた値となる。
【００１０】
対処物に中身の詰まった陰影を施した場合にはかかる過程が適切に作用するが、構図もしくはビデオ作図を行なう場合には問題が生ずる。
【００１１】
【発明が解決しようとする課題】
前述したように、構図作成もしくはビデオ作図を行なう目的は、中身の詰まった３次元対象物の周りを囲むビデオ画像の構図の概念を創り出すことになる。したがって、３次元世界空間で計算が行なわれれば、所望の結果が達成される。しかしながら、前述したように、これは計算上の要求であり、したがって、最も実際的な実施によって実現されるものではない。しかしながら、各頂点間の線形補間の過程によって２次元多角形表面に施す作用動作は、遠近法の非線形の性質を考慮に入れておらず、その結果、特に、多角形が深さ（Ｚ）の値の重要な領域に達した場合に、最終出力画像における不適正な計算値および明瞭な誤差が生ずる。
【００１２】
【課題を解決するための手段】
本発明の第１面によれば、３次元空間で決まる多角形を２次元空間に投影し、その投影２次元多角形内の画素上に２次元画像からの画素値を描いて、３次元画像データを２次元画像に直す画像処理方法において、投影された２次元多角形の座標の記憶された値を深さ値と共に供給し、各頂点に関して画像座標値をマッピングする過程、深さ値の逆数およびその逆数と２次元画像の各頂点毎にそれぞれ作画する画像座標値との積を決定する過程、並びに、画像の縁に沿った画素の値および位置を補間して決定する過程とを備えたことを特徴とする画像処理方法が提供される。
【００１３】
したがって、本発明によれば、ハードウエアにより効率よく補間し得るようにして作図値を遠近法に従って正確に計算することができる。
【００１４】
本発明の第２面によれば、３次元空間で決まる多角形を２次元空間に投影し、その投影多角形内の画素上に２次元画像からの画素値を描いて３次元画像データを２次元画像に直す画像処理装置において、２次元空間に投影した前記多角形の頂点の座標を、それぞれ深さおよび構図画像座標値とともに蓄積する第１蓄積手段、深さ値の逆数およびその逆数と構図画像座標値との積を前記頂点毎に取出すように構成した計算手段、当該計算手段から取出した値を受入れて蓄積する第２蓄積手段、並びに、第１および第２の蓄積手段に結合するとともに第２蓄積手段から取出した値を補間して画像の縁に沿った画素の値および位置を決定するように構成した処理手段を備えたことを特徴とする画像処理装置が提供される。
【００１５】
したがって、本発明によれば、遠近法上で正確なビデオ構図の作成を、画素毎の計算上の要求を減らして行ない得る、という利点が与えられる。
【００１６】
【実施例】
以下に図面を参照して実施例につき本発明を詳細に説明する。
【００１７】
図１には、処理ユニット１５を備えて、３次元画像データを処理し、仮想の３次元世界を観視し得るようにした２次元図面を作成するように構成配置した画像処理装置を示す。３次元データおよびプロセサ１５の動作を制御する指令は、磁気ディスク、光学ディスク、磁気光学ディスクその他の適切な蓄積媒体を含み得る永久蓄積装置１６に蓄積される。これらのデータは、例えば、従来のオーディオテープ、コンパクトディスク（ＣＤ−ＲＯＭ）あるいは、所要の時間率でプロセサ１５にデータを供給し得る他の任意の媒体に蓄積することができる。
【００１８】
ビデオ画像は、通常のテレビジョン受像機の形態になし得るビデオ・モニタ１７に供給する。さらに、相互作用的入力を、キーボード、トラッカーボール、マウスあるいは献呈されたキーパッド等の形態になし得る制御器１８から受入れる。
【００１９】
３次元データは、３次元座標空間におる多面体頂点の位置を判定することによって蓄積される。３次元データの２次元観視図は、それらの頂点を直線によって接続されていると考え、したがって、一連の多角形群を規定することにより、順次のフレーム毎に形成される。考察中の特別の観視図では見えない多角形を除去するために、背面選り捨てなどを行なった後に、各多角形を順次に考察することによって観視図を作成し、しかる後に、多角形群のリストを作成して、多角形群が、確実に適正な順序で形成されるようにする。図２および図３は、３次元対象物、この場合は立方体２０を一連の平坦な多角形群として観視する方法を説明している。
【００２０】
多角形群のそれぞれに中身の詰まった色彩を割当て、あるいは、各頂点について色彩を識別した後に、多角形境界内の各画素に対して線形補間の処理により色彩値を割当てることができ、また、構図の作成もしくはビデオ作図を行なう際にも、同様な過程を採ることもできる。
【００２１】
図３においては、多角形２１（この場合は立方体２０の一面の一部をなす三角形Ａ）を、各頂点２２，２３および２４について３次元座標を処理することにより、２次元観視平面に投影してある。このように、これらの頂点は、座標Ｘ，ＹおよびＺを有する３次元空間で予め決められており、２次元（Ｘ，Ｙ）平面上に投影されている。
【００２２】
Ｘ座標から得た情報の観視者への伝達は、多角形群が適正な順序で処理され、換言すれば、最大のＺ座標値を有して背後に向かう多角形が、より少ないＺ座標値を有する多角形より前に処理されることを確かめ、したがって、観視者に最も近い多角形が観視者から離れた多角形を閉塞することを確かめることによって達成することができる。さらに、Ｚ座標から得た情報も、２次元平面への多角形群の遠近法上適正な投影を確保することによって保持することができる。
【００２３】
かかる投影の後に、各頂点２２，２３および２４は、２次元表示画像フレーム内の遠近法上適正な位置に配置される。各頂点は、３次元世界空間から２次元表示画像平面への作用を反映する座標位置を、３次元座標セットおよび２次元座標セットの形で含有している。加うるに、各頂点は、多角形の表面の、色彩不透明性もしくは反映性などの特性を表わす他の情報も含有している。
【００２４】
本実施例においては、プロセサは、３次元対象物上に２次元画像を作図するものであり、その２次元画像は、通常のビデオフレームであって、３次元対象物上にビデオ構図を作図するものである。あるいは、その替わりに、一連のビデオフレーム群を考え、その結果、３次元対象物上に移動するビデオ系列を作図するようにすることもできる。したがって、そのビデオフレームは、ＲＧＢ値、輝度プラス色差値、あるいは、かかる値の圧縮表現として規定し得る多色画素群の配列からなっている。画像フレーム内における各画素の位置は、走査ラインに沿った左上隅からの測定によりＵ座標を得るとともに、フレームに沿った走査線数の測定によりＶ座標を得ることにより識別する。したがって、もとの画像内における座標位置の識別に記号ＵおよびＶを使用するが、ＰＡＬ方式で用いる色差信号と混同すべきでないことを強調すべきである。
【００２５】
多角形２１に戻って、この多角形は、出力画像の一領域と考えることができ、構図作成の目的は、その領域について画素値を識別することにある。したがって、画像フレームを蓄積装置内に築き上げ、一旦完全に満たすと、すなわち、画像フレーム内の全画素について画素値を一旦計算し終えると、観視可能のビデオ信号を形成するために、その画像フレームをラスター走査する。
【００２６】
各頂点２２，２３および２４は、本来、３次元空間で決まっており、それぞれ、座標位置（ｘ，ｙ，ｚ）を有している。２次元平面への投影の結果、各頂点は観視平面内に２次元座標を有することになり、したがって、各頂点２２，２３および２４は、出力ビデオフレーム内の三角形２１を境界とする画素群の領域を決めることになる。
【００２７】
理論的には、三角形２１内の各画素を３次元世界空間内で考えることが可能である。したがって、入力２次元画像を３次元世界空間内で作図することができ、画素値をその空間内で計算することができ、しかる後に、それらの画素群を２次元観視平面に投影することができる。しかしながら、かかる処置は計算手法上経費が嵩み、幾多の実際の場面で構図作成能力を発揮することは許さない。
【００２８】
前述したように、頂点２２，２３，２４を個々に考慮するとともにその間を補間することにより各種の陰影を施すことは知られている。また、同様の過程を構図作成の実施に採用することが期待されており、その際には、各頂点について作図を行なった後に、多角形によって囲んだ画素群のそれぞれに対する作図を、利用可能の情報を補間することによって計算する。
【００２９】
入力画像フレーム内の特別の画素位置を識別する頂点について作図を判定する。したがって、頂点に対して（Ｘ，Ｙ）位置を規定するのに加えて、その頂点に対し、（Ｕ，Ｖ）座標も規定する。入力画像フレームから画素を作図して得た色彩値を有する頂点の位置（Ｘ，Ｙ）で、出力画像フレーム内の画素を規定し、同様にして、他の頂点における画素値を入力画像フレーム内に作図する座標（Ｕ，Ｖ）によって判定する。
【００３０】
処理すべき三角形２１に関しては、入力画像フレーム内の画素群の三角形状領域が三角形２１内の画素群上に作図されることが明らかである。座標（Ｕ，Ｖ）により規定される画素値は、その多角形領域内のすべての画素位置（Ｘ，Ｙ）について、線形補間の過程により識別される。
【００３１】
図２に描いてあるように、作図および変換は三角形状多角形を参照して行なわれ、したがって、第１段階は、対象物２０の平坦な各表面の変換可能な三角形状多角形群への分割および２次元平面への投影からなっている。しかる後に、各作図が多角形頂点群に対して規定されるとともに、付加的位置が補間され、したがって、多角形群内の個々の画素は、入力画像から出力画像への直接の２次元作図によって識別される。
【００３２】
かかる過程は、頂点２２，２３，２４のそれぞれにおける１／Ｚ，Ｕ／ＺおよびＶ／Ｚの値の計算によって始まる。ついで、これらの値を、三角形の各縁に沿い、水平走査線を横切って補間する。各画素位置においては、１／（１／Ｚ）の除算により三角形のその位置に対する適正なＺ値が得られ、そのＺ値とＵ／ＺおよびＶ／Ｚとの各乗算によりＵおよびＶの適正値がそれぞれ得られる。
【００３３】
必要なハードウエアの準備が容易であるので、この実時間３次元画像合成方法の魅力が期待される。図４および図５を参照するに、三角形Ａは、上側もしくは下側が平坦な二つの三角形ｐおよびｑに分離することができ、それらの三角形についてＵ4 ，Ｖ4 およびＺ4 の適正値を計算する必要が生ずる。
【００３４】
三角形ｑについて考慮するに、各頂点は、座標（Ｘ2 ，Ｙ2 ），（Ｘ3 ，Ｙ3 ）および（Ｘ4 ，Ｙ4 ）を、それぞれ深さ座標値Ｚ2 ，Ｚ3 およびＺ4 とともに有している。まず、つぎの初期値を計算して、ハードウエアの増分領域（メモリ３０の第１領域）に負荷する。
【数１】
0003720864.tif 000002
【００３５】
三角形を横切る画素順次の走査は、深さ座標Ｚ4 をＹ4 における常数Ｙとともに有する点（Ｘ4 ，Ｙ4 ）から始めて、深さＺ2 の点（Ｘ2 ，Ｙ2 ）に進む。各画素においては、構図座標ＵおよびＶをつぎのように計算する。なお、つぎの式における添字ｆは直前の画素における値を指すものである。
【数２】
0003720864.tif 000003
【００３６】
引続く順次の走査線（Ｙ＜＝Ｙ3 ）については、つぎの境界条件のもとに、上述と同様にして構図座標を計算する。
【数３】
0003720864.tif 000004
上述の各式において添字「左スロープ」を付したＺ，ＵおよびＶの値については、添字「スタート」および「スタート（直前ライン）」を付したＺ，ＵおよびＶの値に１／Ｚを乗算する。
【００３７】
図５に模式的に示したように、これらの機能を達成するように構成した装置は、第１領域に初期座標値および勾配値を負荷するメモリ３０、そのメモリ３０の第２領域に蓄積した１／Ｚ，Ｕ／ＺおよびＶ／Ｚの各初期値を取出すように構成した計算ユニット３１、および、各画素毎にＺ，ＵおよびＶの各値を取出すプロセサ３２を備えている。実際の構成例においては、計算および処理の各機能が単一の処理装置によって管理されるものと考えられる。
【００３８】
歪みを伴わずに構図作成を達成するためには、適正な構図の濾過を行なう必要がある。したがって、各画素位置においては、単にそれぞれの画素位置に組合わされた構図座標以上に多くの情報を提供するのが好適である。
しかして、
【数４】
0003720864.tif 000005
【００３９】
したがって、本発明画像処理方法によれば、構図濾過に必要な情報信号の効率よい導出が可能となり、その信号導出はつぎのとおりである。
【数５】
0003720864.tif 000006
【００４０】
なお、垂直スロープ変数は、水平スロープ変数の計算について前述したのと同じ技術を用いて計算する。
【００４１】
前述したところから、必要な構図情報の導出に経費を要する計算は、除算１、乗算１０および加算４であることが判る。実時間の構図作成を達成するためには、画素毎にプロセサ３２で必要とする構図計算を低減させるのに多数の周知技術を用いることができる。あらゆる場合に、前述した画像処理方法によって導出する勾配値（ｄＵ／ｄＸ，ｄＵ／ｄＹ，ｄＶ／ｄＸ，ｄＶ／ｄＹ）を適正な濾過を行なうのに用いることができる。
【００４２】
例として、Ｌ．ウイリアムソン著「ピラミダル・パラメトリックス」コンピュータ・グラフィック誌（プロシーディング・ＳＩＧＧＲＡＰＨ８３）第１７巻、第３号、１９８３年７月に記載されているようなミップーマップ濾過方法を用いる場合には、最も適切な分解能レベルを選択するのに勾配値を用いることができる。あるいは、Ｆ．Ｃ．クロウ著「構図作成用総和領域表」コンピュータ・グラフィック誌（プロシーディング・ＳＩＧＧＲＡＰＨ８４）第１８巻、第３号、１９８４年７月に記載されているような方法における総和領域表の索引、もしくは、Ｎ．グリーン、Ｐ．ヘックバート共著「楕円加重平均濾過を用いた複合斜視図からのラスタ総合画像の作成」ＩＥＥＥ  ＣＧ＆Ａ誌、第６巻、１９８６年６月に記載されているような画素毎の楕円形状濾過粒の導出にかかる勾配値を用いることができる。これらの文献の開示内容とこれらの文献に記載されている技術への本発明方法の拡張とを参考までにここで合体させる。
【００４３】
本発明の以上の開示を読めば、他の変形は当業者には明らかであう。かかる変形には、画像処理装置ならびに機器および部品の設計、製造および使用につき既に知られており、上述した特徴に替えて、もしくは、加えて用い得る他の特徴を含め得る。特許請求の範囲はかかる特徴の特別の組合わせについて作成してあるが、本発明の範囲には、明確にもしくは不明確に開示した他の新たな特徴およびその組合わせも、既述した技術的問題を軽減すると否とに拘わりなく、含まれるものとし、かかる特徴について新たな特許請求の範囲を作成し得るものとする。
【図面の簡単な説明】
【図１】２次元構図作成用回路構成を有するプロセサを含む画像処理装置を示すブロック線図である。
【図２】２次元表示空間に構図した３次元物体を示す線図である。
【図３】図２に構図した物体画像の一部を表わす多角形を示す線図である。
【図４】図２に構図した物体画像の一部を表わす多角形を示す線図である。
【図５】図１の処理ユニットの一部を説明するブロック線図である。
【図１】
0003720864.tif 000007
【図２】
0003720864.tif 000008
【図３】
0003720864.tif 000009
【図４】
0003720864.tif 000010
【図５】
0003720864.tif 000011