(57)【特許請求の範囲】
【請求項１】
少なくとも一つの表示ユニット（２９，３２，３５，３６，３７）上に画像を表示するための３ｄ入力画像データを処理する方法であって、
前記３ｄ入力画像データは、関連付けられた３ｄ画像シーン（１９，２０，２１）に応じて一シーンごとにそれぞれ用意され、
前記３ｄ入力画像データは、管理及び処理を行うためにシーン処理ユニット（２４）にそれぞれ供給され、
前記３ｄ入力画像データは、前記シーン処理ユニット（２４）で一シーンごとに処理され、少なくとも二つの３ｄ画像シーン（１９，２０，２１）が少なくとも部分的に重畳されて一つの３ｄ全体シーン（２６）が作成されかつ管理され、
前記３ｄ全体シーン（２６）から前記表示ユニットのための複数の３ｄ出力シーン（３３，３４，４０）が導出され、当該３ｄ出力シーン（３３，３４，４０）では、遠近法的なパラメータを用いる少なくとも一つのカメラパラメータに応じてそのつど重畳が行われて、３ｄ出力画像データが、前記カメラパラメータに対応したそれぞれ一つのパースペクティブな視点について前記表示ユニットに表示させるために生成され、
前記３ｄ出力画像データは、前記表示ユニット（２９，３２，３５，３６，３７）に適合した目標画像データを生成するために、前記表示ユニット（２９，３２，３５，３６，３７）に対して設けられている少なくとも一つのレンダリングユニット（２７，３０，３８，３９）に供給され、
前記３ｄ入力画像データは、車両におけるクライアント・コンピュータプログラム・アプリケーション（１６，１７，１８）から生成され、
前記車両では、複数のクライアント・コンピュータプログラム・アプリケーション（１６，１７，１８）が実行され、当該クライアント・コンピュータプログラム・アプリケーションが、それぞれ個別の３ｄ入力画像データを、関連付けられた３ｄ画像シーンに対してそれぞれ生成するとともに、前記３ｄ画像シーンに割り当てられるパラメータを、それぞれ生成し、
前記管理がこれらのパラメータに基づいて行われる、
方法。
【請求項２】
請求項１に記載の方法において、
前記クライアント・コンピュータプログラム・アプリケーションが、それぞれ個別の３ｄ入力画像データを、関連付けられた３ｄ画像シーンに対してそれぞれ生成するとともに、前記３ｄ画像シーンに割り当てられる安全性パラメータを、それぞれ生成し、
前記３ｄ入力画像データには、前記安全性パラメータに応じて少なくとも二つの優先度のうちの一つがそれぞれ割り当てられ、
優先度は、対応する前記３ｄ画像シーン（１９，２０，２１）が他の３ｄ画像シーン（１９，２０，２１）により重畳される際にどの程度の視認性を維持するのかを表し、
前記３ｄ出力シーン（３３，３４，４０）は、前記レンダリングユニット（２７，３０，３８，３９）における前記目標画像データの生成の際に、目標画像座標において、より高い優先度で３ｄ画像シーン（１９，２０，２１）から導出される目標画像データが、より低い優先度で導出される目標画像データの上に重なるように構成されていることを特徴とする方法。
【請求項３】
請求項１または２に記載の方法において、
複数の表示ユニット（２９，３２，３５，３６，３７）が設けられ、当該複数の表示ユニットに対してそれぞれ一つのレンダリングユニット（２７，３０，３８，３９）が設けられ、
前記シーン処理ユニット（２４）は、前記表示ユニット（２９，３２，３５，３６，３７）に対してそれぞれ別々の３ｄ出力画像データを生成し、当該３ｄ出力画像データが前記目標画像データの生成のために一又は二以上のレンダリングユニット（２７，３０，３８，３９）に分配されることを特徴とする方法。
【請求項４】
請求項３に記載の方法において、
前記目標画像データは、それぞれ一つの表示ユニット（２９，３２，３５，３６，３７）に関連付けられており、
前記レンダリングユニット（２７，３０，３８，３９）は、前記目標画像データを、当該目標画像データにそれぞれ関連付けられた前記表示ユニット（２９，３２，３５，３６，３７）に出力することを特徴とする方法。
【請求項５】
請求項１乃至４のいずれか１項に記載の方法において、
前記少なくとも一つの表示ユニット（２９，３２，３５，３６，３７）は、２ｄ画像を表示するように形成されており、
前記レンダリングユニット（２７，３０，３８，３９）は、ラスタプロセッサであり、  前記目標画像データは、２ｄ画像データであることを特徴とする方法。
【請求項６】
請求項１乃至５のいずれか１項に記載の方法において、
前記遠近感のある観察位置は、前記表示ユニット（２９，３２，３５，３６，３７）の空間的な位置に対応することを特徴とする方法。
【請求項７】
請求項１乃至６のいずれか１項に記載の方法において、
前記シーン処理ユニット（２４）は、前記３ｄ入力画像データを提供する少なくとも二つのクライアント・コンピュータシステム（１６，１７，１８）の３ｄ画像要素間の相互作用を記述するインタラクション・パラメータを用いて、前記３ｄ全体シーン（２６）を作成することを特徴とする方法。  
【請求項８】
請求項１乃至７のいずれか１項に記載の方法において、
前記レンダリングユニット（２７，３０，３８，３９）で遅延シェーディングが行われることを特徴とする方法。
【請求項９】
請求項１乃至８のいずれか１項に記載の方法において、
前記３ｄ出力画像データをレンダリングするのに従い、並行して所定の参照画像をレンダリングし、前記参照画像のレンダリング結果に基づいて、前記３ｄ出力画像データのレンダリング結果をさらなる処理に利用するかそれとも破棄するかを決定することを特徴とする方法。
【請求項１０】
請求項１乃至９のいずれか１項に記載の方法において、
前記クライアント・コンピュータプログラム・アプリケーション（１６，１７，１８）により生成された前記パラメータは、インタラクション・パラメータ（２３）を含み、当該インタラクション・パラメータは、前記３ｄ画像シーンの３ｄ画像オブジェクトが他の３ｄ画像シーンの３ｄ画像オブジェクトとどのような仕方で相互作用するのかを記述することを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、
インタラクション・パラメータ（２３）は、３ｄ画像オブジェクトの反射の度合いについて、他の３ｄ画像オブジェクトがどのぐらいの強さで前記３ｄ画像オブジェクトで反射されるのかを表すことを特徴とする方法。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の方法を実行する少なくとも一つの制御部を備える画像処理システム。
【請求項１３】
請求項１２に記載の画像処理システム及び当該画像処理システムにより処理されたデータによる画像を表示可能な表示ユニット（２９，３２，３５，３６，３７）を備えている車両、特に自動車。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３ｄ画像データの処理のための方法及び装置に関する。本発明は、特に、いわゆる３ｄ画像データを用いて三次元（３ｄ）表示のオブジェクトを記述する際の方法及びシステムに関する。
【背景技術】
【０００２】
例えば、自動車にはマイクロプロセッサ制御のシステムがあり、このシステム上で３ｄ画像データを生成する複数のアプリケーションが実行される。このとき、各アプリケーションないし応用ソフトは、３ｄシーンを記述する個別のいわゆるシーンモデル（Ｓｚｅｎｅｎｍｏｄｅｌｌ）を構築する。３ｄシーンを表示ユニットに表示するために、いわゆるレンダラが用いられる。これらのシステムは、マイクロプロセッサ上、特にコンピュータ上で同じように実行される。これらは、実質的には、３ｄシーンが表示ユニットにおける表示に適しているように３ｄシーンの３ｄ画像データを処理するのに供される。
【０００３】
レンダリング・プロセスにしたがって、例えば、３ｄシーンから画像の計算処理を行うことができる。ベクタ画像を記述する３ｄ画像データを変換する際には、レンダリング・プロセスにしたがって、例えば、オブジェクトのベクタ画像を、二次元（２ｄ）のコンピュータグラフィックにおけるオブジェクトの画素式ピクセル表示にコンバートすることができる。
【０００４】
３ｄレンダラは、例えば、それぞれの個別の３ｄシーンから別々の２ｄグラフィックを創出することができる。制御コンポーネントの一つ、いわゆるレイヤ・マネージャを用いることで、異なる２ｄグラフィックの重ね合わせにより、表示ユニット上に表示するための全体画像（Ｇｅｓａｍｔｂｉｌｄ）を生成することができる。この場合、個々の２ｄ画像は、レイヤとして決まった順番に従って互いに重なり合うように載せられる。その際、より上側のレイヤによるコンテンツは、より下側のレイヤによるコンテンツを覆い隠すことができる。最上層のレイヤについては、そのコンテンツの視認性を確保することができる。
【０００５】
この種のレイヤベースのアーキテクチャないしデータ処理によれば、様々な応用ソフトにより３ｄコンテンツを共通のディスプレイ上に表示することができる。このとき、安全に関連した安全上重要な（ｓｉｃｈｅｒｈｅｉｔｓｒｅｌｅｖａｎｔ）応用ソフトによるコンテンツがディスプレイに表示され、つまり、それらのコンテンツが安全上重要でない応用ソフトによる他のコンテンツによって覆い隠されないことも保証することができる。
【０００６】
図１は、適当な画像処理アーキテクチャを示す。この例では、自動車内の複数の制御部ないし機器において三つのアプリケーションプログラムが走っている。すなわち、車両内制御においては、歩道を認識するためのアプリケーションプログラム１が、車両に取り付けられたマルチメディア・システムにおいては、メディア再生機２が、そして、車両に一時的に接続されたスマートフォンにおいては、Ｅメールアプリケーション３が走っている。これらのアプリケーションプログラムは、３ｄシーン４，５，６を記述する画像データをそれぞれ生成する。例えば、シーン４では歩道輪郭が、シーン５ではメディア再生機により生成された写真が、そしてシーン６ではＥメールリストが表示されているようにできる。これらのシーン画像データは、各アプリケーションプログラムに対して設けられたレンダラ７，８，９内で２ｄ画像に変換される。このとき、アプリケーションプログラム１，２，３には、レイヤも割り当てられており、画像データ１０は最上のレイヤに、画像データ１１は中間のレイヤに、そして画像データ１２は最下のレイヤに割り当てられている。レイヤ・マネージャプリケーション１３は、それぞれの画像データを受け取り、これらを層のようにして重ね合わせ、そのときに、最上のレイヤが他の全ての下側にあるレイヤの上に載るようにする。このようにして、レイヤ・マネージャ１３によって出力される２ｄ画像１４が出来上がる。
【０００７】
上述した方法、つまり各３ｄシーンを別々にレンダリングしてからレイヤ式に重畳が行われる方法の欠点は、空間的な要因により隠れて見えなくなる点や、異なる３ｄシーンの要素間における反射と陰影といった光学的効果を計算できない点である。加えて、例えば自動車においては、複数の特定のグラフィックコンテンツを複数の表示ユニットにわたって分けて表示することが時として求められる。例えば、第一のグラフィック部分は、ハンドル付近の主表示ユニットに、第二のグラフィック部分は、センターコンソール領域のインフォテイメントシステムに、第三のグラフィック部分は、リアシート領域の別のインフォテイメントシステムにといった具合である。個々のグラフィック部分は、その際に、同時に複数の表示ユニットに表示することもできる。このような要求は、上述のレイヤベースのアプローチでは満足に応えることができない。
【０００８】
引用文献１より、二次元と三次元のオブジェクトを二次元のコンピュータグラフィックで表示するためのシステムが公知である。このシステムでは、２ｄオブジェクトと３ｄオブジェクトを、階層的に一つの全体的なシーンにまとめることができる。この公知文献の内容は、ここに、参照により本明細書に取り入れられる。
【０００９】
コンピュータグラフィックを表示する場合、完成画像の生成と提示は、同じ機器の中で行われることが多い。機器の境界を取り去って境界を超えたグラフィックコンテンツのやりとりを実現するために、グラフィックデータは、通常、所定のフォーマット、いわゆるビデオストリームで転送される。この場合、ビデオストリームは、インターフェースを介して別の場所にある機器に転送され、そこで、ローカルのシーンにまとめられる。この場合の欠点は、大抵の場合、リモートとローカルのシーンの間の相互作用を確定して目標グラフィック（Ｚｉｅｌｇｒａｆｉｋ）に具現化するには、高いコストをかけない限り実現ができない点である。例えば、転送するビデオストリームに、影を落としているようなオブジェクトがあって、この影がローカルのシーンにおけるオブジェクト上でも見えるようにする場合には、一方では、二つの機器の間で追加の情報を交換する必要があるし、他方では、このことによって目標グラフィックを生成するのに高い計算コストが求められる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第７１４５５６２号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の課題は、３ｄ入力画像データに基づく画像の重畳を、高い精度と受け入れ可能な計算コストで実現することにある。
【課題を解決するための手段】
【００１２】
この課題は、独立請求項に記載の発明により解決される。本発明の有利な実施形態は、従属請求項に記載されている。
【００１３】
本発明によれば、少なくとも一つの表示ユニット上において画像を表示すべく３ｄ入力画像データを処理するため、３ｄ入力画像データが、関連付けられた３ｄ画像シーンに応じて一シーンごとにその都度用意されるように構成されている。３ｄ入力画像データは、管理と処理を行うためにシーン処理ユニットにそれぞれ供給され、シーン処理ユニット内で一シーンごとに処理される。このとき、少なくとも二つの３ｄ画像シーンが少なくとも部分的に重畳されて一つの３ｄ全体シーンが生成されかつ管理される。この３ｄ全体シーンから複数の３ｄ出力シーンが導出され、これらの３ｄ出力シーンにおいて、遠近感のある観察位置（パースペクティブな視点）（ｐｅｒｓｐｅｋｔｉｖｉｓｃｈｅｒ  Ｂｅｏｂａｃｈｔｕｎｇｓｏｒｔ）に応じてそのつど重ね合わせが行われ、３ｄ出力画像データが生成される。この３ｄ出力画像データは、表示ユニットに適合した目標画像データを生成するために、表示ユニットに対して設けられている少なくとも一つのレンダリングユニットに供給される。
【００１４】
３ｄ入力画像データは、特に３ｄ座標データ及びオブジェクト・アトリビュートといった、３ｄオブジェクトを表示するための典型的な数値を含んでいる。３ｄシーンは、データ技術的には、特にシーンツリーないしシーングラフにより構造化されている。３ｄ入力画像データは、特に複数のクライアント・コンピュータシステムにより用意することができる。クライアント・コンピュータシステム、シーン処理ユニットおよびレンダリングユニットは、マイクロプロセッサ制御の機器及び／又はそのような機器にロードされて走っているコンピュータプログラム・アプリケーションであってもよい。
【００１５】
本発明は、３ｄ全体シーンの画像により、様々な３ｄ入力画像データから、あるいは、これらに対応した３ｄ画像シーンから３ｄ出力画像データを導出するための処理が簡易化できて、しかも同時に、正確にできるという知見に基づいている。本発明はまた、３ｄ画像シーンの重畳が有利なことに３ｄ全体シーンから可能であるという知見に基づいている。加えて、３ｄ全体シーンから出て３ｄ出力画像データの作成に至る重畳の際に、遠近感のある各観察位置を入り込ませると都合がよいことが判明した。遠近感のある観察位置は、カメラパラメータとして重畳に入り込ませることができるが、ここでカメラパラメータとしては、画像シーンの開口角や画像シーンまでの距離といった、通常の遠近法的なパラメータを用いることができる。カメラパラメータとして、例えば以下のものを設けることができる：
・三次元空間内でのカメラの位置と方向を記述し、例えばカメラが向けられている相対的な観察方向又は地点及び／又は位置を記述する変換行列。さらに、例えば垂直上向きといった好適な方向を与えるベクトルを設けることができる。
・特に垂直方向における開口角。
・例えば、１６：９といった目標画像のアスペクト比。
・いわゆるニアプレーンパラメータ。これは、カメラ位置から投影面までの距離に対応し、この面の手間側の全ての要素が目標画像内で視認できないというものである。
・いわゆるファープレーンパラメータ。これは、カメラ位置からカメラ空間を制限する面までの距離に対応し、この面の背後側の全ての要素が目標画像内で視認できないというものである。
【００１６】
ニアプレーンパラメータとファープレーンパラメータが用いられるときには、カメラは、ニアプレーンとファープレーンとの間にあるシーン要素だけを受け入れる。プレーンの面は、垂直方向の開口角、アスペクト比及びニアプレーン又はファープレーンのそれぞれの値から与えられる。
【００１７】
遠近感のある観察位置ないしカメラパラメータは、それぞれ、空間的な位置、アライメント及び／又は少なくとも一つの表示ユニットのその他のパラメータに対応するものとすることができる。表示ユニットは、３ｄ画像を表示するのに適していてもよい。また、表示ユニットは、２ｄ画像を表示するように形成されていてもよい。表示の仕方に応じて、レンダリングユニットは、３ｄ出力画像データを３ｄ目標画像データかあるいは２ｄ目標画像データかに変換する。２ｄ目標画像データの場合には、レンダリングユニットは、特にラスタプロセッサである。複数の表示ユニットが設けられていてもよい。様々な表示ユニットに対して、遠近感のある様々な観察位置ないし様々なカメラパラメータを対応させることができる。こうして、３ｄ全体シーンから３ｄ出力シーンを導出するために、遠近感のある様々な観察位置ないしパラメータにそれぞれ対応させて３ｄ画像シーンの重畳を行うことができる。複数のレンダリングユニットを設けることもでき、それらに対して、それぞれ一又は二以上の表示ユニットを設けることができる。
【００１８】
汎用的に管理された３ｄ全体シーンにより、ビデオストリームの転送を省略することができ、グラフィックコンテンツは様々な表示ユニット間で直接やりとりすることができる。追加の表示ユニットを組み入れることは極めて容易になる。これについては、新たな表示ユニットを複数の表示ユニットの表示集合体（Ａｎｚｅｉｇｅｖｅｒｂｕｎｄ）に受け入れるために、各システムユニットにおいてそれぞれ僅かな制御部分（Ｓｔｅｕｅｒｕｎｇｓａｎｔｅｉｌ）、例えば小さなソフトウエア部分（Ｓｏｆｔｗａｒｅａｎｔｅｉｌ）を適応させるだけで十分可能である。加えて、任意の機器が新たなグラフィックコンテンツを全体シーンに加えることが可能である。表示ユニットは、それ自身に物理的に接続されている固有のレンダリングユニットをそれぞれ一つ備えている。
【００１９】
３ｄ入力画像データにはそれぞれ、少なくとも二つの優先度のうちの一つを割り当てることができ、このとき、優先度は、その対応する３ｄ画像シーンが他の３ｄ画像シーンとの重畳の際にどの程度視認性を維持するかをそれぞれ与える。３ｄ出力シーンは、かくして、レンダリングユニットにおける目標画像データの生成の際に、目標画像座標において、より高い優先度の３ｄ画像シーンから導出される目標画像データが、より低い優先度のものから導出される目標画像データの上に重なるように構成することができる。これにより、例えば、安全上意味のある（安全上重要な）画像要素が、安全上さほど意味のない（安全上重要でない）他の画像要素の上に表示ユニット上で重なること、つまりは、安全性のより高い状態で表示されることが実現できる。例えば、自動車では、表示ユニット上において、ギアが何速に入っているのかに関わる安全上重要な表示が、ナビゲーションデータに関わる安全上重要でない表示の上に重畳することを担保できる。優先度の割り当ては、３ｄ画像一シーンごとに、シーンツリーにおいて及び／又はアトリビュート形式において行うことができる。加えて、安全上重要なものとして印付けられた画像データを記憶する場合、それも特にシーン管理ユニット及び／又はレンダリングユニットに記憶する場合、メモリ書き込み防止が行われ、これにより意図しないメモリの上書きを防ぐように構成することができる。
【００２０】
本発明を用いることで、異なるクライアント・コンピュータシステムからの安全上重要な３ｄコンテンツと安全上重要でない３ｄコンテンツとを一緒にしてシーン処理ユニットにおいて処理することができ、そこからミックスされたコンテンツを持つ３ｄ全体シーンを生成することができる。この場合、安全上重要な３ｄコンテンツは、割り当てられたアトリビュートにより、意図しない操作から保護できるとともに遮蔽から保護できる一方、他方では、これにより、３ｄ画像シーン間の相互作用、光学的な効果及び３ｄ画像シーンの遮蔽を考慮しつつコヒーレントな３ｄ全体シーンを作ることができる。それゆえ、本発明を用いれば、特に自動車において、画像処理のためにいわゆるミクスド・クリティカリティ・システム（Ｍｉｘｅｄ−Ｃｒｉｔｉｃａｌｉｔｙ  Ｓｙｓｔｅｍ）が付与されることができる。
【００２１】
レンダリングユニットから表示ユニットに出力される安全上重要な表示のための目標画像データがそこに正確に描出されることを担保するため、両ユニットのチェックサム比較（Ｃｈｅｃｋｓｕｍｍｅｎ−Ｖｅｒｇｌｅｉｃｈ）によるテストを行うことができる。
【００２２】
本発明の有利な実施例においては、複数の表示ユニットが設けられ、それらの表示ユニットに対してそれぞれ一つのレンダリングユニットが設けられている。シーン処理ユニットは、このとき、表示ユニットのために、それぞれ異なる３ｄ出力画像データを、それも特に３ｄ全体シーンからの部分シーン（Ｔｅｉｌｓｚｅｎｅ）として、換言すればいわゆるサブシーンとして、生成することができ、この３ｄ出力画像データを、特にサブシーンずつ、一又は二以上のレンダリングユニットに目標画像データ生成のために分配することができる。複数のレンダリングユニットへの３ｄ出力画像データの分配は、有利にも、特定の画像データを、一つだけの表示ユニットのために複数のレンダリングユニットに分配することをも可能にする。他方、このような分配されたレンダリング・プロセスによれば、レンダリングユニットに強い負荷がかかっている第二の表示ユニットの３ｄ出力画像データのレンダリングを行うために、より負荷が少ない第一の表示ユニットのレンダリングユニットを利用することもできる。この長所は、目標画像データが、例えば、基礎としている３ｄ出力画像データ及び割り当てられた遠近法的なカメラパラメータを介してそれぞれ一つの表示ユニットに対して関連付けられることによってさらに強めることができる。レンダリングユニットは、かくして、目標画像データを、当該目標画像データにそれぞれ関連付けられた表示ユニット宛てに出力することができる。
【００２３】
レンダリング・プロセスのために複数のレンダリングユニットが設けられるときには、複数の構成と利点を得ることができる。一つには、一つのレンダリングユニットが故障した時に他のレンダリングユニットがそのレンダリングジョブを引き継ぐことができる点で、故障時のある程度の保証がある。また一つには、追加のレンダリングユニットが設けられるか、僅かしか負荷のかかっていない既存のレンダリングユニットが、かなりの負荷のかかっている他のレンダリングユニットのレンダリングジョブを追加で引き継ぐことによって、レンダリング能力を高めることができるというスケーラビリティがある。さらに、個々のレンダリングユニット間において安全重要性の点からレンダリングジョブを分配することができる。例えば、複数レンダリングユニットによる集合体の中の一レンダリングユニットを、安全上重要なものとして印付けられている、又は、最大の優先度が割り当てられている各３ｄ出力画像データのために取り置くことができる。このレンダリングユニットは、かくして、例えば安全上重要なデータのためのメモリ書き込み防止手段を設けることができる。
【００２４】
レンダリングユニットとシーン管理ユニットとの間には、特に双方向の相互作用が存在してもよい。これは、レンダリングユニットが、遠近感のある観察位置に対するデータをシーン管理ユニットに伝送し、逆にシーン管理ユニットが、３ｄ出力画像データをレンダリングユニットに伝送するというものである。遠近感のある観察位置に対するデータは、ここでもまた相応の表示ユニットのデータ、とりわけ表示ユニットの座標データを含むことができるか、あるいは、これらから導出されているのでもよい。特に、複数の表示ユニットが設けられている場合、これにより、別々の表示ユニット上に、画像シーンが部分的に重ねられたり結合されたりした表示を、遠近法的に正確に行うことを担保できる。
【００２５】
本発明の他の有利な実施形態によれば、シーン処理ユニットは、３ｄ全体シーンを作るために、クライアント・コンピュータシステムのうちの少なくとも二つの３ｄ画像要素間の相互作用を記述するインタラクション・パラメータを用いる。これにより、例えば、クライアント・コンピュータシステムの３ｄ画像要素による遮蔽を計算することができるとともに、表示ユニット内に正確に表示することができる。３ｄ画像要素間における反射とシャドウイング等の光学的な効果も、有利なことに、シーン処理ユニットによって３ｄ全体シーンから計算することができ、その後、表示ユニットに表示することができる。このとき、インタラクション・パラメータとして、例えばレイテンシパラメータ（Ｌａｔｅｎｚｐａｒａｍｅｔｅｒ）、透明性パラメータ（Ｔｒａｎｓｐａｒｅｎｚｐａｒａｍｅｔｅｒ）又は反射率（Ｒｅｆｌｅｘｉｏｎｓｋｏｅｆｆｉｚｉｅｎｔ）（これらは、３ｄ画像要素にアトリビュートとして割り当てられているものである。）を用いることができるか、あるいは、色及び光源（一つの３ｄ画像シーンに割り当てられているか又は３ｄ画像シーンにおいて３ｄ画像要素として設けられているもの。）の光の進行方向、色及び光の強さ等の照明パラメータ（Ｂｅｌｅｕｃｈｔｕｎｇｓｐａｒａｍｅｔｅｒ）を用いることができる。例えば、自動車の表示ユニット上で、信号の傍に描写しなければならない歩道標識の画像が、表示対象の点滅信号の黄色光に基づいて、明滅するほんのりした黄色で色づけられることができる。３ｄ画像要素間のインタラクションは、例えば１ミリ秒から５０ミリ秒の適切な動的時間枠（Ｄｙｎａｍｉｋｚｅｉｔｒａｕｍ）内で３ｄ画像要素がその都度新たに計算されるか表示ユニット上に表示されるかするとき、動的に行うことができる。これにより動画化（Ａｎｉｍａｔｉｏｎ）も行うことができる。
【００２６】
レンダリングユニットでは、好ましくは、いわゆる遅延シェーディングを行うことができる。この遅延シェーディングでは、レンダリングプロセスは段階的に行われ、プロセスは、所定の処理段階（当段階では、表示ユニットにおいて出力可能な目標画像データが存在して、しかもこのとき、より高い各処理段階において漸次一層高い画像品質が得られる。）にて早めに終了することができる。
【００２７】
レンダリング精度を監視するために、さらに、所定の参照画像、特に参照パターン及び／又は画像の大きさの点からして３ｄ出力画像データに対してかなり小さめの小画像といった参照画像が、３ｄ出力画像データのレンダリングが行われるに従って並行してレンダリングされるように構成することができる。そうして、参照画像のレンダリング結果の出来に基づいて、３ｄ出力画像データのレンダリング結果を後続の処理に利用するのかそれとも破棄するのか決めることができる。小画像ないし参照画像には、特に、レンダリングデータセットを利用することができる。このレンダリングデータセットは、各レンダリングユニットに適合され、３ｄ画像シーン及び／又はそれに割り当てられたパラメータに合わせられているものである。例えば、このような小画像は、安全上重要な３ｄ画像要素及び／又は３ｄ画像シーンのそれぞれに対して設けることができる。大きさ、位置、色、複雑性（Ｋｏｍｐｌｅｘｉｔaｔ）等々といった画像処理上重要な特性に関して、各３ｄ画像要素に適合させることができる。一つの３ｄ画像シーンには、複数の小画像を設けることができる。
【００２８】
以下に、本発明のさらなる実施形態を図面を参照しながら詳細に説明する。
【図面の簡単な説明】
【００２９】
【図１】従来技術による画像処理アーキテクチャを示す図である。
【図２】本発明による画像処理アーキテクチャを示す図である。
【図３】画像処理アーキテクチャの詳細を示す図である。
【図４】遅延シェーディングプロセスを示す図である。
【発明を実施するための形態】
【００３０】
図２に示された画像処理アーキテクチャ１５では、クライアント・コンピュータプログラムアプリケーション１６，１７，１８によって生成される３ｄ画像データが、シーン・マネージャ２４に供給され、このシーン・マネージャ２４が、これら受け取った３ｄ入力画像データをユニバーサル・シーン２６内で一緒にして、最終的に表示機器（ディスプレイ）２９，３２に画像シーンを表示すべく３ｄ出力画像データに処理する。そのために、各ディスプレイ・シーン３３，３４に対応した３ｄ出力画像データが、シーン・マネージャ２４から二つのレンダラ２７，３０に出力され、これらのレンダラ２７，３０が、３ｄ出力画像データからディスプレイに特化された目標画像データを生成する。レンダラ２７は、ディスプレイ２９用の目標画像データを生成する。レンダラ３０は、ディスプレイ３２用の目標画像データを生成する。
【００３１】
この画像処理システムは、本実施例においては自動車に設けられている。クライアント・アプリケーション１６は、ナビゲーションシステムを実行し、クライアント・アプリケーション１７は、車両に特化された機能、例えば入っているギアの検出機能を実行する。クライアント・アプリケーション１８は、車両に一時的に接続された携帯型の電気通信機器（スマートフォン）において実行される。クライアント・アプリケーション１６，１７，１８は、３ｄ画像シーン（クライアントシーン）１９，２０，２１にそれぞれ対応付けられた個別の３ｄ画像データをそれぞれ生成する。加えて、クライアント・アプリケーション１６，１７，１８は、それぞれ３ｄ画像シーンに割り当てられたパラメータを生成する。安全性パラメータ２２は、対応する３ｄ画像シーンが他の３ｄ画像シーンとの重畳の際にどの程度視認性を保つのかについてそれぞれ一つの優先度を与える。インタラクション・パラメータ２３は、３ｄ画像シーンの３ｄ画像オブジェクトが他の３ｄ画像シーンの３ｄ画像オブジェクトとどのようにして相互作用するのかを記述する。例えば、３ｄ画像オブジェクトの反射の度合いに関するインタラクション・パラメータ２３は、当該オブジェクトにおいて他の３ｄ画像オブジェクトがどの程度の強さで反射されるのかを表す。安全性パラメータ２２とインタラクション・パラメータ２３は、それぞれ、クライアント・アプリケーション１６，１７，１８から、一緒にまとめて又はクライアント・シーン１９，２０，２１に含めてシーン・マネージャ２４に転送される。これらは、ユニバーサル・シーン２６内とディスプレイ・シーン３３，３４内に含まれていてもよい。
【００３２】
３ｄ画像シーン１９，２０，２１のための３ｄ画像データも、パラメータ２２，２３も、いずれも画像処理のためのシーン・マネージャ２４に供給される。このシーン・マネージャ２４は、３ｄ画像データを処理するための３ｄプロセッサ２５を含み、３ｄ画像シーンに基づいて、本実施例ではユニバーサル・シーン２６と称される３ｄ全体シーンを作る。異なる３ｄ画像シーン１９，２０，２１は、このとき互いに重畳され、その際に安全性パラメータ２２とインタラクション・パラメータ２３が用いられ、及び／又は、さらに３ｄ画像シーン１９，２０，２１に割り当てられる。安全性パラメータ２２を３ｄプロセッサ２５内で利用する際には、より高い安全性パラメータの値が割り当てられている３ｄ画像データが、例えば他の３ｄ画像データの上に重ねられ、その結果は、３ｄプロセッサ２５により管理されるメモリ内において書き込み禁止により上書きから保護される。こうした利用は、レンダラ２７，３０においても適宜行うことができる。シーン・マネージャ２４は、このとき、安全性パラメータ２２を利用したアクセスルールにより、安全上重要なコンテンツが誤って上書きされたり、あるいは、変更されたりすることができないようにすることを確実にするとともに、安全上重要なシーン要素が、レンダリング後に各ディスプレイ２９，３２上で視認できるようにすることを確実にする。３ｄプロセッサ２５は、３ｄシーンが相応のアプリケーションによって処理される従来の中央処理装置（ＣＰＵ）でもよいし、あるいは、例えばグラフィックプロセッサやベクトルプロセッサといった、３ｄシーンを処理するための専用のハードウエアプロセッサでもよい。
【００３３】
クライアント・アプリケーション１６，１７，１８及び個々のプロセスは、それぞれグラフィックコンテンツをユニバーサル・シーン２６に加えることができ、ユニバーサル・シーン２６にどのコンテンツが既に存在するのかそれらの側で確かめることができる。シーン・マネージャ２４は、ユニバーサル・シーン２６を管理し、そこからレンダラ２７，３０に分配される各サブシーンを導出する。ユニバーサル・シーン２６とサブシーンを形成するために、シーン・マネージャ２４は、ディスプレイに特化されたデータであって、自動車内におけるディスプレイ２９，３２の組み込み位置とパースペクティブ（Ｐｅｒｓｐｅｋｔｉｖｅ）をそれぞれ示すデータ２８，３１を個々に取り寄せる。データ２８，３１は、各レンダラ２７，３０からパラメータとしてシーン・マネージャ２４に供給される。したがって、ユニバーサル・シーン２６は、クライアント・アプリケーション１６，１７，１８から提供された全ての３ｄ画像シーンに関する３ｄ全体シーンを、その全てのディスプレイ２９，３２をも考慮に入れた上で提供する。図１の実施例において、ディスプレイ２９，３２は、２ｄディスプレイである。それに対応して、レンダラ２７，３１は、ラスタプロセッサの態様で、レンダラに入ってくる３ｄ出力画像データを２ｄ目標画像データにレンダリングする。
【００３４】
図３には、本発明による画像処理システムの一つに係るシーン・マネージャ２４と出力側のコンポーネントが詳しく示されている。このシステムにおいては、三つのディスプレイ３５，３６，３７が設けられている。本実施例では、二つのディスプレイ３５，３６は、一つのレンダラ３８から目標画像データが供給される。レンダラ３９は、ディスプレイ・シーン４０の３ｄ出力画像データからディスプレイ３７のためだけの目標画像データを生成する。レンダラ３８は、二つのディスプレイ３５，３６のための位置とパースペクティブに関するパラメータを管理する。逆に、ディスプレイを複数のレンダラに接続して、各レンダラからディスプレイの部分画像がそれぞれ一つ生成されるというのも可能であろう。レンダラの集合体において、一つ以上のディスプレイのための部分画像をレンダリングすべきジョブを相互に分配することも可能である。
【００３５】
図３には、やはり異なるプロセスが示されている。これらのプロセスは、３ｄプロセッサ２５内で実行されるものであり、パラメータにより制御されるものである。これらのパラメータは、例えばクライアント・アプリケーション１６，１７，１８により生成されるかあるいはディスプレイ３５，３６，３７により生成されて、シーン・マネージャ２４に送られるものである。プロセス４１では、安全性パラメータが処理され、安全上重要なコンテンツが最終的に各ディスプレイにおいて視認可能であることが確実とされる。インテグリティ安全性プロセス４２（Ｉｎｔｅｇｒｉｔaｔｓ−Ｓｉｃｈｅｒｕｎｇｓｐｒｏｚｅｓｓ）では、特定の画像コンテンツが最終的に各ディスプレイに描出されることが確実とされる。このために、各画像コンテンツに対して３ｄプロセッサ内でチェックサムが計算され、このチェックサムを対応するディスプレイのチェックサムと比較することが行われる。レイテンシ安全性プロセス４３（Ｌａｔｅｎｚ−Ｓｉｃｈｅｒｕｎｇｓｐｒｏｚｅｓｓ）では、画像オブジェクトが所定の時間内に表示されるかが監視される。これは、特に遅延シェーディングを用いて行うことができ、例えば１００ｍｓといった特定の時間が過ぎたら、次に可能な処理段階でレンダリング・プロセスの中断が行われて、各画像オブジェクトがすぐさまディスプレイに表示される。こういったプロセス制御のためのパラメータは、例えば、安全性パラメータ２２又はインタラクション・パラメータ２３に関連付けられるものである。
【００３６】
データ保護マネジメントのためのプロセス４４により、特定の３ｄ画像要素及び／又は３ｄ画像シーンが、特定のディスプレイ上に、特定のディスプレイ領域に、あるいは全く、表示されないように制御される。このプロセスもまたパラメータ制御されている。プロセス４５により、３ｄプロセッサにおけるプロセスのためのエラーマネジメントが行われる。ロード・マネジメントのためのプロセス４６により、処理速度が制御される。このために、例えば、レンダラが均等に負荷がかけられているように３ｄ出力画像データのレンダラ３８，３９への分配を制御することができる。
【００３７】
図４には、レンダラ内で実行される遅延シェーディングが示されている。この場合、３ｄ画像データは、目標画像データを生成するために、いくつかの処理段階で順番に処理される。処理段階ＰＳ１では、各３ｄ画像データの色データが処理される。処理段階ＰＳ２では、３ｄ画像データの深度データ（Ｔｉｅｆｅｎｄａｔｅｎ）が処理される。処理段階ＰＳ３では、画像オブジェクトの表面に対する各法線が処理される。処理段階ＰＳ１，ＰＳ２，ＰＳ３は、一つの方法ステップでまとめて行うことができる。色、深度及び法線は、このときには、この一つの方法ステップによる結果である。
【００３８】
処理段階ＰＳ４では、場合によっては、光源の存在に応じて、３ｄ画像データの明るさの値（Ｈｅｌｌｉｇｋｅｉｔｓｗｅｒｔｅ）（灯火）（Ｌｉｃｈｔｅｒ）が処理される。処理段階ＰＳ１からＰＳ４までは、品質上十分な目標画像を生成するために不可欠である。後続の処理段階ＰＳ５は、予定されていた画像処理方法が目標画像の作成をもって終了する（処理段階ＰＳ６）前に、オブジェクトの角の平滑化（いわゆるアンチエイリアシング）を提供する。処理段階ＰＳ５は、しかしながら計算コストが高い。そのため、遅延シェーディングでは、画像処理プロセスを処理段階ＰＳ４後に中断して、少なくともある程度の最小限の情報の中身を再現する代替的な目標画像の作成をもって終了する（処理段階ＰＳ７）ことができる。処理段階ＰＳ５に加えて又は続けて、さらなる画像処理ステップをオプションで設けることができる。オプションのステップ間には、このとき、さらに他のオプション的な終了点を設けることができる。
【００３９】
上述の機器及びシステムコンポーネントは、特にコンピュータプログラムにより制御され、そのため、さらに、マイクロプロセッサ、揮発性及び不揮発性のメモリ、インターフェース等々といったコンピュータ及びデジタル式の制御装置のそれ自身公知の要素を備えることができる。本発明は、そのため、コンピュータにロードして実行するときに本発明によるフローを全て又は部分的に生じさせるようなコンピュータプログラム製品の形態で全て又は部分的に実現することができる。それは、ＣＤ／ＤＶＤといったデータ保持体の形態で提供することができるし、あるいはまた、コンピュータプログラムをダウンロード可能なサーバ上の複数のデータの形態でも提供することができる。
【図１】
0006362622.tif 000002
【図２】
0006362622.tif 000003
【図３】
0006362622.tif 000004
【図４】
0006362622.tif 000005