(57)【要約】【課題】  部分映像を、部分映像を発生する部分映像発生手段とは独立した映像合手段成で合成することにより通信回数を低減できることの可能な映像発生装置を提供する。【解決手段】  部分映像発生部１１１〜１１８で発生された部分映像は、三層に積層された映像合成層２１〜２３を含む映像合成部１２に伝送され、一つの映像に合成される。映像合成層２１〜２３はクロスバースイッチ２１０及び２２０、並びに二映像合成部２１１〜２１４、２２１〜２２２及び２３１から構成される。映像合成部１２はパイプライン構成を有し、映像合成が高速化される。【選択図】      図２
2005196549.tif 000002
【特許請求の範囲】
【請求項１】
部分映像を発生する複数の部分映像発生手段と、
前記複数の部分映像発生手段で発生された部分映像を一又は複数の合成画像に合成する映像合成手段と、
前記映像合成手段で合成された合成映像を表示する一又は複数の映像表示手段を具備する映像発生装置。
【請求項２】
前記映像合成手段が、
ｎ（ｎは正整数）枚の部分映像又は合成映像をCeil［ｎ／２］枚の合成映像に合成する映像合成層を一層又は複数層具備する請求項１に記載の映像発生装置。
ただし、Ceil［Ｘ］は、Ｘ以上の最小の整数を表す。
【請求項３】
前記映像合成層が、
二枚の部分映像又は合成映像を一枚の合成映像に合成する二映像合成手段Ceil［ｎ／２］台から構成される請求項２に記載の映像発生装置。
【請求項４】
前記二映像合成手段が、
ピクセルの混合により二画像を合成する混合合成手段である請求項３に記載の映像発生装置。
【請求項５】
前記混合合成手段が、
部分映像間の隠顕関係を二進木で表した場合の優先度に基づいて二映像を混合合成するものである請求項４に記載の映像発生装置。
【請求項６】
前記混合合成手段が、
二映像を構成するピクセルのＺ値に基づいて二映像を混合合成するものである請求項４に記載の映像発生装置。
【請求項７】
前記二映像合成手段が、
一方の映像のピクセルを他方のピクセルで置き換えることにより二映像を合成する置き換え合成手段である請求項３に記載の映像発生装置。
【請求項８】
前記置き換え合成手段が、
二映像を構成するピクセルのＺ値の大小に基づいてピクセルを置き換えるものである請求項７に記載の映像発生装置。
【請求項９】
前記置き換え合成手段が、
二映像を構成するピクセルのピクセル値の大小に基づいてピクセルを置き換えるものである請求項７に記載の映像発生装置。
【請求項１０】
前記二映像合成手段が、
二映像のピクセル値の加算平均値に基づいて二映像を合成するものである請求項３に記載の映像発生装置。
【請求項１１】
前記映像合成手段が、
部分映像間の同期をとる同期手段を更に具備する請求項１から１０のいずれか一項に記載の映像発生装置。
【請求項１２】
前記同期手段が、
前記複数の部分映像発生手段で発生された部分映像を構成するピクセルのピクセル値を順次記憶し、記憶順に出力する複数のピクセル値記憶手段と、
前記複数の部分映像発生手段で発生された部分映像の先頭を検出し、すべての部分映像の先頭が検出されたときに、前記ピクセル値記憶手段にピクセル値の出力命令を出力する同期命令生成手段を具備する請求項１１に記載の映像発生装置。
【請求項１３】
複数の部分映像を発生し、
前記複数の部分映像を一又は複数の合成画像に合成し、
前記一又は複数の合成画像を表示する映像発生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像発生装置に係り、特に映像合成方法に係らず高速で映像合成可能であるとともに、合成すべき部分映像の数の変化に柔軟に対応可能な映像発生装置に関する。
【背景技術】
【０００２】
近年コンピュータグラフィック技術の進展に伴い、コンピュータの出力を実時間で可視化する装置、例えば、フライトシミュレータの模擬視界発生装置が実用化されている。
【０００３】
上記の装置にあっては、パーソナル計算機（ＰＣ）に搭載可能なグラフィックボードの廉価化及び高機能化並びにＰＣ間ネットワークの通信速度の高速化が進み、複数のＰＣの並列処理により生成された部分映像を合成して一枚の映像として表示することが一般的であり、複数の部分映像の合成技術が重要となってきている。
【０００４】
部分画像の合成方法としては、例えばBinary-Swap-Composition法（ＢＳＣ法）及びSepiaシステムが周知である（非特許文献１及び非特許文献２参照）。
【０００５】
ＢＳＣ法は、並列ＰＣを使用したソフトウエア的な合成方法であるが、全ＰＣが部分映像を生成するとともに、合成映像を再配分し、すべての段階においてすべてのＰＣが映像合成に寄与することが特徴である。
【０００６】
従って、並列ＰＣの台数をＮpとすると最低でも２ＮpCeil［log2Ｎp］回のＰＣ間通信が必要となる。例えば、Ｎp＝８とすると、最低でも４８回の通信が必要となる。ここで、Ceil［Ｘ］はＸ以上の最小の整数を表す。
【０００７】
しかしながら、本来Ｎp枚の部分映像を合成するには（Ｎp−１）回の通信で足りるはずであり、Ｎp＝８の場合には約７倍の通信が必要となる。
【０００８】
従って、ＢＳＣ法においては通信のオーバーヘッドにより実時間処理が困難となるおそれがある。
【０００９】
一方、Sepiaシステム法は、ＰＣで生成された部分映像をそのＰＣに搭載された専用ボードでハードウエア的に合成する方法である。
【００１０】
即ち、各ＰＣは、バスに挿入され二つの部分映像を合成するSepiaボード、及び任意のSepiaボード間の通信を可能とするネットワークスイッチを具備する。
【００１１】
このネットワークスイッチは基本的にはクロスバースイッチであり、並列ＰＣの台数をＮpであるときはクロスバースイッチの接点の総数はＮp（Ｎp−１）となり、並列ＰＣの台数を増加してもクロスバースイッチの接点総数はさほど急激には増加しない。
【００１２】
【非特許文献１】“Parallel Volume Rendering Using Binary-Swap Composting”IEEE Computer Graphic and Application pp.58-68 July 1994
【非特許文献２】“Scalable Interactive Volume Rendering Using Off-the-Shelf Components”Proceeding of IEEE Symposium on Parallel and Large-Data Visualization and Graphics pp.115-158, 2001
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、Sepiaシステムでは、Ｎp（Ｎp−１）個の総接点数を有するクロスバースイッチが必要となり、ハードウエア的構成が複雑となることは回避できない。
【００１４】
さらに、ＢＳＣ法と同様に本来不要な通信を行うためにソフトウエア的には通信オーバーヘッドを無視できない、高価な専用ボードが必須である等の課題も残る。
【００１５】
本発明は、上記課題に鑑みなされたものであって、部分映像を、部分映像を生成する部分映像生成手段とは独立した映像合手段成で合成することにより通信回数を低減することが可能であるとともに、部分映像の数の変化に柔軟に対応可能な映像発生装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
第一の発明に係る映像発生装置は、部分映像を発生する複数の部分映像発生手段と、複数の部分映像発生手段で発生された部分映像を一又は複数の合成画像に合成する映像合成手段と、映像合成手段で合成された合成映像を表示する一又は複数の映像表示手段を具備する。
【００１７】
第二の発明に係る映像発生装置は、映像合成手段が、ｎ（ｎは正整数）枚の部分映像又は合成映像をCeil［ｎ／２］枚の合成映像に合成する映像合成層を一層又は複数層具備する。
【００１８】
第三の発明に係る映像発生装置は、映像合成層が、二枚の部分映像又は合成映像を一枚の合成映像に合成する二映像合成手段Ceil［ｎ／２］台から構成される。
【００１９】
第四の発明に係る映像発生装置は、二映像合成手段が、ピクセルの混合により二画像を合成する混合合成手段である。
【００２０】
第五の発明に係る映像発生装置は、二映像合成手段が、一方の映像のピクセルを他方のピクセルで置き換えることにより二映像を合成する置き換え合成手段である。
【００２１】
第六の発明に係る映像発生装置は、映像合成手段が、部分映像間の同期をとる同期手段を更に具備する。
【００２２】
第一の発明にかかる映像発生装置にあっては、部分映像発生手段で発生された部分映像が部分映像生成手段とは別個の映像合成手段によって合成される。
【００２３】
第二の発明にかかる映像発生装置にあっては、映像合成手段は、部分映像を半数の合成映像に合成する映像合成層を積層することによって構成される。
【００２４】
第三の発明にかかる映像発生装置にあっては、映像合成層は、少なくとも一つの二映像合成手段で構成される。
【００２５】
第四の発明にかかる映像発生装置にあっては、二映像はピクセルの混合によって合成される。
【００２６】
第五の発明にかかる映像発生装置にあっては、二映像はピクセル値の置き換えによって合成される。
【００２７】
第六の発明にかかる映像発生装置にあっては、各部分映像発生手段で発生された部分映像が同期して映像合成される。
【発明の効果】
【００２８】
第一の発明に係る映像発生装置によれば、部分映像の発生と部分映像の合成が独立して行われるので、部分映像発生手段間の通信回数が減少し、部分映像の合成を高速化することが可能となる。
【００２９】
第二の発明に係る映像発生装置によれば、映像合成手段をパイプライン構造で構成することにより、合成を高速化することが一層容易となる。
【００３０】
第三の発明に係る映像発生装置によれば、映像合成手段を二映像合成手段の組み合わせで構成することにより、部分映像発生手段の数の増減に柔軟に対応することが可能となる。
【００３１】
第四の発明に係る映像発生装置によれば、二映像をピクセル同士の混合により合成することが可能となる。
【００３２】
第五の発明に係る映像発生装置によれば、二映像をピクセルの置き換えにより合成することが可能となる。
【００３３】
第六の発明に係る映像発生装置によれば、部分映像を同期させて合成することにより、合成映像を見易くすることが可能となる。
【発明を実施するための最良の形態】
【００３４】
図１は本発明に係る映像発生装置の構成図であって、部分映像を発生するための部分映像発生部を八台、表示部を二台有する場合を示している。なお、部分映像発生部及び表示部の台数は特に限定されない。
【００３５】
即ち、部分映像発生部１１ｉ（１≦ｉ≦８）は全て同一の構成を有し、バス１１ａを中心として、ＣＰＵ１１ｂ、メモリ１１ｃ、映像発生ボード（ＶＧＢ）１１ｄ、及びインターフェイスボード（ＩＦＢ）１１ｅを具備する。
【００３６】
即ち、各部分映像発生部１１ｉは、メモリ１１ｃに記憶されているプログラムに基づいてＣＰＵ１１ｂで同じくメモリ１３ｃに記憶されているデータを処理し、映像発生ボード１１ｄにおいて部分映像化する。
【００３７】
各部分映像発生部１１ｉから出力される部分映像は二次元映像であるが、この二次元映像は三次元映像をレイキャスティング法などにより二次元映像に変換したものであってもよい。
【００３８】
この部分映像はインターフェイスボード１１ｅを介して映像合成部１２に伝送されるが、映像合成部１２の詳細は後述する。
【００３９】
映像合成部１２で合成された映像は、表示制御部１３ｊ（１≦ｊ≦２）を介して表示部１４ｊに表示される。
【００４０】
ここで、表示制御部１３ｊは一種のＰＣであって、バス１３ａを中心に、ＣＰＵ１３ｂ、メモリ１３ｃ、グラフィックボード（ＧＢ）１３ｄ、及びインターフェイスボード（ＩＦＢ）１３ｅを具備する。
【００４１】
表示制御部１３ｊは、グラフィックボード（ＧＢ）１３ｄで発生した映像を表示部１４ｊに表示する。各表示部１４ｊは相互に隣接して配置されており、表示部全体で一映像を表示するように構成されている。
【００４２】
図２は映像合成部の構成図であって、Ｋ（２以上の整数）枚の部分映像を、Ceil［Ｋ／２］枚の部分映像に合成する映像合成層を最大Ｍ＝Ceil［log2Ｋ］層積み重ねて構成される。ここで、Ceil［Ｘ］はＸ以上の最小の整数を表す。
【００４３】
例えば、図２に示すように八台（Ｉ＝８）の部分映像発生部１２で発生された部分映像を最終的に一枚の映像に合成する場合には、第一の映像合成層２１で八枚の部分映像を四枚の合成映像に合成し、第二の映像合成層２２で四枚の合成映像を二枚の合成映像に合成し、第三の映像合成層２３で二枚の合成映像を一枚の映像に合成する。
【００４４】
ここで、各映像合成層は、クロスバースイッチ及びCeil［Ｋ／２］台の二映像合成部で構成される。
【００４５】
クロスバースイッチは入力される部分映像の中の二枚を対として二映像合成部で合成するために、二映像合成部に入力すべき部分映像を切り替えるために使用される。
【００４６】
図２の場合には、第一の映像構成層２１はクロスバースイッチ２１０と四台の二映像合成部２１１〜２１４で、第二の映像構成層２２はクロスバースイッチ２２０と二台の二映像合成部２２１〜２２２で、第三の映像構成層２３は一台の二映像合成部２３１で構成される。第三の映像構成層２３はクロスバースイッチを含まないが、これは後述するように、二映像合成部自体がクロスバースイッチ機能を有するからである。
【００４７】
即ち、図２の映像合成部１２は三層の映像合成層を有し八枚の部分映像を一枚の映像に合成するが、図１に示すように二台の表示部１４１及び１４２を有する場合には第二の映像合成層２２から出力される二枚の合成映像を二台の表示部１４１及び１４２それぞれ表示し、視覚的に一枚の映像に合成してもよい。
【００４８】
同様に、表示部が四台ある場合には、第一の映像合成層２１の出力を表示部に表示すればよい。
【００４９】
図３は二映像合成部の詳細構成図であって、図２の二映像合成部２１１〜２１４、２２１〜２２２及び２３１は全て同一の構成を有する。
【００５０】
即ち、一つの二映像合成部３は、比較部３１、切り替え部３２、及び演算部３３から構成され、二映像合成部３には二つの二次元部分映像ＦX及びＦYが入力される。
【００５１】
二映像合成部３は、二つの部分映像をピクセル単位で合成する機能を有するが、合成方法として以下の五つを選択することが可能であり、映像発生装置の用途に応じて使用者が適切な合成方法を予め選択することができる。
（１）優先度に基づく混合
（２）Ｚ値に基づく混合
（３）Ｚ値の大（小）に基づく置き換え
（４）ピクセル値の大（小）に基づく置き換え
（５）ピクセルデータの平均値への置き換え
このために演算部３３は、混合演算部３３１、置き換え部３３２及び平均値演算部３３３を具備し、合成方法選択信号Ｓに応じていずれかが選択される。
【００５２】
なお、合成方法選択信号Ｓは、比較部３１及び切り替え部３２にも供給され、比較部３１及び切り替え部３２の動作／不動作を制御するとともに、部分映像データから比較部３１で比較すべきデータを抽出する。
【００５３】
図４は部分映像データのフレーム構成図であって、各映像フレームはフレーム優先度４１とフレームデータ４２から構成される。
【００５４】
フレーム優先度４１は、さらにその部分映像が有効であるか否かを表すチャンネルイネーブル４１１と、その部分映像の優先度Ｐ４１２を含む。
【００５５】
ここで、優先度Ｐは、特に三次元映像から変換された二次元映像を合成する場合に使用するものであり、視点を基準とした部分映像の隠顕関係を表わす値であって、視点に近い部分映像ほど高い優先度が割り当てられる。
【００５６】
フレームデータ４２は、フレームスタート４２１とフレームエンド４２２の間にステータスセンス４２３及び所定数のピクセルデータ４２４が挟まれた構成を有する。
【００５７】
各ピクセルデータ４２４は、ピクセルの深度を表すＺ値、ピクセルＲ、Ｇ及びＢ、並びに透明度αを含む。
【００５８】
図５は二部分映像の合成方法の説明図であって、（イ）に示すように二つの部分映像ＦXと部分映像ＦYの一部が重畳（（ロ）の斜線部）しており、（ロ）の太線で囲まれる一つの映像に合成する場合について説明する。
（１）優先度による混合が選択された場合
比較部３１では二つの部分映像ＦXと部分映像ＦYの優先度ＰX及びＰYが比較され、この比較結果に応じて切り替え部３２の経路が制御されるとともに、比較部３１の出力である合成映像の優先度として高い方の優先度が出力される。
【００５９】
図５（イ）に示すように、部分映像ＦXが部分映像ＦYより前にあれば、優先度ＰXの値は優先度ＰYの値より小さくなり、並行経路が選択され、部分映像ＦXが前映像ＦFと、部分映像ＦYが後映像ＦRとなる。
【００６０】
逆に、部分映像ＦXが部分映像ＦYより後にあれば、優先度ＰXの値は優先度ＰYの値より大きくなり、交差経路が選択され、部分映像ＦXが後映像ＦRと、部分映像ＦYが前映像ＦFとなる。
【００６１】
そして、前映像ＦFと後映像ＦRが混合演算部３３３において［数１］に基づいて合成される。
【００６２】
【数１】
2005196549.tif 000003
（２）Ｚ値による混合が選択された場合
比較部３１では二つの部分映像ＦXと部分映像ＦYのＺ値ＺX及びＺYがピクセルごとに比較され、この比較結果に応じて切り替え部３２の経路が制御されるとともに、比較部３１の出力である合成映像のＺ値として小さい方のＺ値が出力される。
【００６３】
部分映像ＦXのピクセルが部分映像ＦYのピクセルより前にあれば、ＺXの値はＺYの値より小さくなり、並行経路が選択され、部分映像ＦXのピクセルが前映像ＦFのピクセルと、部分映像ＦYのピクセルが後映像ＦRのピクセルとなる。
【００６４】
逆に、部分映像ＦXのピクセルが部分映像ＦYのピクセルより後にあれば、ＺXの値はＺYの値より大きくなり、交差経路が選択され、部分映像ＦXのピクセルが後映像ＦRのピクセルと、部分映像ＦYのピクセルが前映像ＦFのピクセルとなる。
【００６５】
そして、前映像ＦFのピクセルと後映像ＦRのピクセルが混合演算部３３３において［数１］に基づいて合成される。
（３）Ｚ値の大（小）に基づく置き換えが選択された場合
比較部３１では二つの部分映像ＦXと部分映像ＦYのＺ値ＺX及びＺYがピクセルごとに比較され、この比較結果に応じて切り替え部３２の経路が制御されるとともに、比較部３１の出力である合成映像のＺ値として大きい（小さい）方のＺ値が出力される。
【００６６】
部分映像ＦXのＺ値ＺXが部分映像ＦYのＺ値ＺYより大きければ（小さければ）、並行経路が選択され、部分映像ＦXが前映像ＦFと、部分映像ＦYが後映像ＦRとなる。
【００６７】
逆に、部分映像ＦXのＺ値ＺXが部分映像ＦYのＺ値ＺYより小さければ（大きければ）、交差経路が選択され、部分映像ＦXが後映像ＦRと、部分映像ＦYが前映像ＦFとなる。
【００６８】
そして、置き換え部３３２において、重畳部分のピクセル値を前映像ＦF（後映像ＦR）のピクセル値で置き換える。
（４）ピクセル値の大（小）に基づく置き換えが選択された場合
比較部３１では二つの部分映像ＦXと部分映像ＦYのピクセル値（ＲX、ＧX、ＢXのいずれか）及び（ＲY、ＧY、ＢYのいずれか）がピクセルごとに比較され、この比較結果に応じて切り替え部３２の経路が制御されるとともに、比較部３１の出力である合成映像ＰCのピクセル値（ＲC、ＧC、ＢC）として大きい（小さい）方のピクセル値が出力される。
【００６９】
部分映像ＦXのピクセル値が部分映像ＦYのピクセル値ＺYより大きければ（小さければ）、並行経路が選択され、部分映像ＦXが前映像ＦFと、部分映像ＦYが後映像ＦRとなる。
【００７０】
逆に、部分映像ＦXのＺ値ＺXが部分映像ＦYのＺ値ＺYより小さければ（大きければ）、交差経路が選択され、部分映像ＦXが後映像ＦRと、部分映像ＦYが前映像ＦFとなる。
【００７１】
そして、置き換え部３３２において、重畳部分のピクセルを前映像ＦF（後映像ＦR）のピクセルで置き換える。
（５）ピクセルデータの平均値への置き換えが選択された場合
この場合は比較部３１及び切り替え部３２は作動せず、常に並行経路が選択されて、部分映像ＦXが前映像ＦFと、部分映像ＦYが後映像ＦRとなる。
【００７２】
そして、平均値演算部３３３において、重畳部分のピクセル値を前映像ＦFのピクセル値と後映像ＦRのピクセル値の加算平均値で置き換える。
【００７３】
上記の説明において、各部分映像発生部１１ｉで発生された部分映像は映像合成部１２に同時に到達したものとしているが、実際には各部分映像発生部１１ｉは独立に動作するので、各部分映像発生部１１ｉで発生された部分映像の同期は保証されない。
【００７４】
図６は上記課題を解決するための第二の映像合成部の構成図であって、図２の映像合成部の最前段に同期部６が追設される。
【００７５】
図７は同期部の構成図であって、同期部６は一つの同期信号生成部６０と四台の緩衝部６１〜６４で構成される。
【００７６】
図８は緩衝部の構成図であって、四台の緩衝部６１〜６４は同一の構成を有する。従って、図８では緩衝部６１の構成について説明する。
【００７７】
即ち、緩衝部６１は、第一のＦＩＦＯ（First In First Out）メモリ６１１、第一のコマンド・デコーダ６１２、第二のＦＩＦＯメモリ６１３、及び第二のコマンド・デコーダ６１４から構成される。
【００７８】
即ち、第一及び第二のコマンド・デコーダ６１２及び６１４は、部分映像データＦX及びＦYに含まれるフレームスタート・コマンドを抽出して、同期信号生成部６０に送る。
【００７９】
図９は同期信号生成部の構成図であって、部分映像発生部が八台である場合は八入力の論理積演算部６００で構成される。
【００８０】
論理積演算部６００の入力には、コマンド・デコーダで抽出されたフレームスタート・コマンドが送られる。そして、八つの部分映像のすべてからフレームスタート・コマンドが抽出されると、八つの部分映像の先頭が揃ったものとして、論理積演算部６００から同期信号が出力される。
【００８１】
同期信号は第一及び第二のＦＩＦＯメモリ６１１及び６１３に送られ、第一及び第二のＦＩＦＯメモリ６１１及び６１３から部分映像の出力が開始される。
【００８２】
即ち、同期信号生成部６０から同期信号が出力されるまでは、各部分映像発生部で生成された部分映像のピクセルデータはＦＩＦＯメモリの中に記憶され、すべての部分映像の先頭が揃って同期信号が出力されたタイミングでＦＩＦＯメモリから記憶された順序にピクセルデータが出力され、部分映像を同期させることが可能となる。
【産業上の利用可能性】
【００８３】
大規模な映像を高速で発生でき、シュミレーション結果などを見やすい映像で表示することが可能になる。
【図面の簡単な説明】
【００８４】
【図１】本発明に係る映像発生装置の構成図である。
【図２】映像合成部の構成図である。
【図３】二映像合成部の詳細構成図である。
【図４】部分映像のフレーム構成図である。
【図５】二つの部分映像の合成方法の説明図である。
【図６】第二の映像合成部の構成図である。
【図７】同期部の構成図である。
【図８】緩衝部の構成図である。
【図９】同期信号生成部の構成図である。
【符号の説明】
【００８５】
１１１〜１１８…部分映像発生部
１２…映像合成部
２１…第一の映像合成層
２２…第二の映像合成層
２３…第三の映像合成層
２１０、２２０…クロスバースイッチ
２１１〜２１４、２２１〜２２２、２３１…二映像合成部
１３１〜１３２…表示制御部
１４１から４２…表示部
【図１】
2005196549.tif 000004
【図２】
2005196549.tif 000005
【図３】
2005196549.tif 000006
【図４】
2005196549.tif 000007
【図５】
2005196549.tif 000008
【図６】
2005196549.tif 000009
【図７】
2005196549.tif 000010
【図８】
2005196549.tif 000011
【図９】
2005196549.tif 000012