(57)【要約】【課題】グラフィックボードを用いることなくマルチレイヤ画像を高速に生成できるマルチレイヤ画像合成装置の提供。【解決手段】ベクタ画像である方位、距離、高度等の目標情報は、ａｐｐ１およびＸｌｉｂにより描画コマンドに変換し、仮想ディスプレイサーバＶＤ１によりビットマップ画像を生成し、ビットマップコピーコマンドの形式で共有メモリＳＭ１に送り、ビットマップ画像をコピーする。目標を極座標位置で表すレーダ信号は、ａｐｐ２でビットマップ画像に変換し、Ｘｌｉｂによりビットマップコピーコマンドを生成し、仮想ディスプレイサーバＶＤ２を経て、共有メモリＳＭ２にビットマップ画像をコピーする。同様に、カメラ映像Ｖ１のビットマップ画像をＳＭ４にコピーする。共有メモリＳＭ１，ＳＭ２，ＳＭ４のビットマップ画像を画像合成サーバ１０２で合成し、共有メモリＳＭ５に保存する。【選択図】        図２
2018066925.tif 000002
【特許請求の範囲】
【請求項１】
入力される複数レイヤの画像を１つのレイヤに合成するマルチレイヤ画像合成装置において、
合成しようとする前記入力画像を合成対象入力画像と称するとき、前記合成対象入力画像を各レイヤごとに独立に処理し、前記合成対象入力画像の画像形式に拘らず、前記合成対象入力画像をビットマップ画像で表し、前記ビットマップ画像をメインメモリにおける互いに異なるメモリ領域にそれぞれ一時保存させ、前記互いに異なるメモリ領域にそれぞれ一時保存した前記ビットマップ画像を画像合成サーバで合成し、前記画像合成サーバで合成して得た合成ビットマップ画像を前記メインメモリにおける別のメモリ領域に保存させる画像合成手段を有することを特徴とするマルチレイヤ画像合成装置。
【請求項２】
前記画像合成手段は、前記合成対象入力画像の画像形式がベクタ画像であるとき、前記ベクタ画像を処理することにより、前記ベクタ画像を表す描画コマンドを生成する描画コマンド生成手段と、前記描画コマンドに基づき前記ビットマップ画像を生成し、生成した前記ビットマップ画像を前記互いに異なるメモリ領域の何れかに一時保存させる第１の仮想ディスプレイサーバと、を有することを特徴とする請求項１に記載のマルチレイヤ画像合成装置。
【請求項３】
前記描画コマンド生成手段は、前記ベクタ画像がレーダにより検知した物標の方位、距離、速度、高度、識別を含む物標情報であるとき、前記物標情報に基づき、前記位置および前記識別を示すシンボル、前記方位および前記速度を示すリーダ、前記高度を示すデータブロックの情報を生成し、前記シンボル、前記リーダおよび前記データブロックの情報をベクタ画像で表し、Ｘｌｉｂ（Ｘライブラリ）により、前記シンボル、前記リーダおよび前記データブロックの情報を文字列コマンドまたはラインコマンドの描画コマンドに変換し、
前記第１の仮想ディスプレイサーバは、前記描画コマンドに基づき前記ビットマップ画像を生成し、前記ビットマップ画像をビットマップコピーコマンドの形式で前記メモリ領域の１つに送り、該メモリ領域に前記ビットマップ画像をコピーし、該メモリ領域に前記ビットマップ画像を一時保存させる
ことを特徴とする請求項２に記載のマルチレイヤ画像合成装置。
【請求項４】
前記画像合成手段は、前記合成対象入力画像がレーダ電波で検知した物標を極座標位置で表すレーダ信号であるとき、前記極座標画像をビットマップ画像に変換するとともに、該ビットマップ画像をＸｌｉｂによりビットマップコピーコマンドとして出力するビットマップ画像生成手段と、前記ビットマップコピーコマンドを入力し、入力した前記ビットマップコピーコマンドに基づき、前記ビットマップ画像を前記互いに異なるメモリ領域の何れかに一時保存させる第２の仮想ディスプレイサーバと、を有することを特徴とする請求項１ないし３の何れかに記載のマルチレイヤ画像合成装置。
【請求項５】
前記画像合成手段は、前記合成対象入力画像がデータ圧縮された動画であるカメラ映像であるとき、前記カメラ映像をデコードして、元の動画をビットマップ画像の画像形式で再生し、該ビットマップ画像をビットマップコピーコマンドの形式で出力する動画レコーダと、前記ビットマップコピーコマンドを入力し、入力した前記ビットマップコピーコマンドに基づき、前記ビットマップ画像を前記互いに異なるメモリ領域の何れかに一時保存させる第３の仮想ディスプレイサーバと、を有することを特徴とする請求項１ないし４の何れかに記載のマルチレイヤ画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーダビデオや目標情報といった表現形式の異なる複数の画像を複数の画像レイヤにそれぞれ入力し、それら複数の画像レイヤの画像を合成した合成画像を作成するマルチレイヤ画像合成装置に関する。
【背景技術】
【０００２】
レーダビデオや目標情報といった表現形式の異なる複数の画像を複数の画像レイヤにそれぞれ入力するマルチレイヤ画像合成装置としては、特開平７-３１１２５５号公報（特許文献１）にレーダビデオ表示装置が開示されている。このレーダビデオ表示装置は、その図１に示されているように、プロット地図画像とスイープビデオとをそれぞれ別の画像レイヤに入力し、両者を合成し、合成画像をＣＲＴに表示している。
【０００３】
上記特許文献１に開示されたレーダビデオ表示装置では、偏向系（３）および輝度系（４）でもってＣＲＴに表示するレーダ画像を合成している。特許文献１には偏向系（３）および輝度系（４）の具体的な回路構成の記載はない。複数の画像を合成する装置としては、例えば特開２００３-２４４７２６号公報（特許文献２）に画像合成処理装置が開示されている。この画像合成処理装置は、右目用および左目用とういう２つの画像レイヤにそれぞれ入力した画像と仮想空間画像とを合成するマルチレイヤ画像合成装置である。この画像合成処理装置では、２つの画像レイヤにそれぞれ入力した画像と仮想空間画像との合成にはグラフィックボードを用いている。なお、グラフィックボードは、ビデオカード、ビデオボード、グラフィックカード、グラフィックスカード等とも称されるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７-３１１２５５号公報
【特許文献２】特開２００３-２４４７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のようなレーダビデオ表示装置において、表示画像の生成にグラフィックボードを用いる従来のマルチレイヤ画像合成装置の構成を図４に例示する。図４のマルチレイヤ画像合成装置４０はサーバＳＶ１，ＳＶ２およびＳＶ３並びに画像合成回路４１を有する。サーバＳＶ１はメインメモリＭＭ１、ＣＰＵ１およびグラフィックボードＧＢ１を有してなる。サーバＳＶ２およびＳＶ３はサーバＳＶ１と同様な構成である。
【０００６】
サーバＳＶ１におけるメインメモリＭＭ１はＣＰＵ１で実行されるアプリケーションプログラムのコード及びデータを保持するとともに、表示器２０に表示する画像イメージを保持する。ＣＰＵ１は、目標情報を入力し、この目標情報をアプリケーションプログラムにより処理し、目標情報のベクタ画像を生成し、一旦メインメモリＭＭ１にベクタ画像を保存し、所定のタイミングでメインメモリＭＭ１から読み出して、グラフィックボードＧＢ１へそのベクタ画像を出力する。ベクタ画像は、画像を表現したデータの一種であり、さらに詳しくは、点の座標とそれを結ぶ線や面の方程式のパラメータ、および、塗りつぶしや特殊効果などの描画情報の集合として表現したデータである。ＣＰＵ１は、描画コマンドの形式で、ベクタ画像のデータをグラフィックボードＧＢ１へ供給する。ＣＰＵ１とグラフィックボードＧＢ１との入出力インタフェースは、ＰＣＩｅ(Peripheral Component Interconnect Express)と称されるシリアルインタフェースである。グラフィックボードＧＢ１は、ベクタ画像を表す描画コマンドを入力し、ベクタ画像についてラスタライズ処理を施し、ベクタ画像をビットマップ画像に変換する。このビットマップ画像は、ＤＶＩ(Digital Visual Interface)と称されるインタフェースでもって画像合成回路４１へ供給される。
【０００７】
サーバＳＶ２は、サーバＳＶ１と同様に作動する。但し、サーバＳＶ２ではＣＰＵ２にはレーダ信号が入力される。レーダ信号の表示方式は、平面図表示ＰＰＩ(Plan Position Indication)である。この表示では、レーダ電波を反射する物標を極座標位置で表す。ＣＰＵ２は、極座標画像をビットマップ画像に変換し、このビットマップ画像を一旦メインメモリＭＭ２に保存し、所定のタイミングでメインメモリＭＭ２から読み出して、ビットマップ画像のデータをビットマップコピーコマンドの形式でグラフィックボードＧＢ２へ供給する。グラフィックボードＧＢ２は、そのビットマップコピーコマンドで受けたビットマップ画像を内蔵のビットメモリにコピーし、そのまま画像合成回路４１へ出力する。
【０００８】
サーバＳＶ３では、ＣＰＵ３にはカメラ映像を入力する。カメラ映像はデータが圧縮された動画である。そこで、ＣＰＵ３は、圧縮された動画データを解凍し、元の動画データを再生し、その元の動画データをビットマップ画像に変換する。ＣＰＵ３は、そのビットマップ画像を一旦メインメモリＭＭ３に保存し、所定のタイミングでメインメモリＭＭ３から読み出して、ビットマップ画像のデータをビットマップコピーコマンドの形式でグラフィックボードＧＢ３へ供給する。グラフィックボードＧＢ３は、そのビットマップコピーコマンドで受けたビットマップ画像を内蔵のビットメモリにコピーし、そのまま画像合成回路４１へ出力する。
【０００９】
画像合成回路４１は、グラフィックボードＧＢ１，ＧＢ２，ＧＢ３という３つの画像レイヤから互いに異なるビットマップ画像を入力し、１つの画像レイヤに合成し、合成画像を表示器２０へ供給する。
【００１０】
図５は図４のマルチレイヤ画像合成装置４０におけるＣＰＵ１，ＣＰＵ２およびＣＰＵ３で実行されるソフトウエア２００の構成を示す図である。ソフトウエア２００はアプリケーションプログラムａｐｐ、ディスプレイサーバ２０２、グラフィックドライバ２０３、動画デコーダ１０１を有する。但し、図５には、入力信号として、目標情報、レーダ信号およびカメラ映像が示してあるが、目標情報はソフトウエア２００がＣＰＵ１で実行されるときにだけにプリケーションプログラムａｐｐに入力され、レーダ信号はソフトウエア２００がＣＰＵ２で実行されるときだけにアプリケーションプログラムａｐｐに入力され、カメラ映像はソフトウエア２００がＣＰＵ３で実行されるときだけに動画デコーダ１０１に入力される。すなわち、ソフトウエア２００はメインメモリＭＭ１，ＭＭ２およびＭＭ３にそれぞれインストールされ、ＣＰＵ１，ＣＰＵ２およびＣＰＵ３で実行される。
【００１１】
図５のソフトウエア２００は、図４のＣＰＵ１では次のように実行される。このとき、前述のとおり、ソフトウエア２００のアプリケーションプログラムａｐｐには目標情報が入力される。目標情報は、レーダで検出し、追尾している航空機等の物標の情報を表す信号である。航空機等の物標の情報は、方位、距離、速度、高度、識別等の情報である。アプリケーションプログラムａｐｐは、これらの情報に基づき、位置および識別を示すシンボル、方位および速度を示すリーダ、高度を示すデータブロックの情報を生成する。シンボル、リーダおよびデータブロックの情報はベクタ画像で表されている。さらにＸｌｉｂにより、これらシンボル、リーダおよびデータブロックの情報は文字列コマンド、ラインコマンド等のコマンドに変換される。文字列コマンド、ラインコマンド等のコマンドは描画コマンドである。描画コマンドは、ＸＹ座標を指定して、ライン、円等を描画させるコマンドである。Ｘｌｉｂで生成された文字列コマンド、ラインコマンド等の描画コマンドは、Ｘプロトコルで表され、ディスプレイサーバ２０２へ供給される。ディスプレイサーバ２０２は、文字列コマンド、ラインコマンド等の描画コマンドをそのままグラフィックドライバ２０３へ出力する。グラフィックドライバ２０３は、文字列コマンド、ラインコマンド等の描画コマンド（シンボル、リーダおよびデータブロック等を表す描画コマンド）を入力し、この描画コマンドをグラフィックボードＧＢ１の仕様に合わせた専用の描画コマンドに変換し、グラフィックボードＧＢ１へ供給する。
【００１２】
図５のソフトウエア２００は、図４のＣＰＵ２では次のように実行される。このとき、前述のとおり、ソフトウエア２００のアプリケーションプログラムａｐｐにはレーダ信号が入力される。レーダ信号はレーダ電波を反射する物標を極座標位置で表しているので、アプリケーションプログラムａｐｐは極座標画像をビットマップ画像に変換し、Ｘｌｉｂによりビットマップ画像をビットマップコピーコマンドに変換する。ビットマップコピーコマンドは、Ｘプロトコルでもってディスプレイサーバ２０２へ供給される。ディスプレイサーバ２０２は、入力したビットマップコピーコマンドに基づき、ビットマップ画像を生成し、記憶し、記憶していたビットマップ画像をグラフィックドライバ２０３へ供給する。グラフィックドライバ２０３は、ビットマップコピーコマンドを入力し、このビットマップコピーコマンドをグラフィックボードＧＢ２の仕様に合わせた専用のビットマップコピーコマンドに変換し、グラフィックボードＧＢ２へ供給する。
【００１３】
図５のソフトウエア２００は、図４のＣＰＵ３では次のように実行される。このとき、前述のとおり、ソフトウエア２００の動画レコーダ１０１にはカメラ映像が入力される。動画レコーダ１０１は、データ圧縮された動画であるカメラ映像をデコードし、元の動画をビットマップ画像の画像形式で再生し、このビットマップ画像をビットマップコピーコマンドに変換し、Ｘプロトコルのデータ形式でディスプレイサーバ２０２へ供給する。ディスプレイサーバ２０２は、入力したビットマップコピーコマンドに基づき、ビットマップ画像を生成し、記憶し、記憶していたビットマップ画像をグラフィックドライバ２０３へ供給する。グラフィックドライバ２０３は、ビットマップコピーコマンドを入力し、このビットマップコピーコマンドをグラフィックボードＧＢ２の仕様に合わせた専用のビットマップコピーコマンドに変換し、グラフィックボードＧＢ２へ供給する。
【００１４】
以上に図４および図５を参照して説明した従来のマルチレイヤ画像合成装置では、入力情報である目標情報、レーダ信号、カメラ映像に対応してグラフィックボードＧＢ１，ＧＢ２，ＧＢ３を備え、これらグラフィックボードにより、入力情報を表すビットマップ画像を作成している。入力画像の画像形式としては、目標情報のようなベクタ画像、レーダ信号のような極座標画像、カメラ映像のような動画等がある。画像を合成するには、これら画像形式の異なる入力画像をそれぞれビットマップ画像に変換し、ビットマップ画像で表された画像データを重ね合せることにより、合成画像を生成する必要がある。従来、このビットマップ画像を高速に作成する手段としてグラフィックボードが多用されてきた。グラフィックボードの描画処理は、ソフトウエアに依る場合に比べ一般に高速であると従来は言われてきたからである。
【００１５】
ところが、目標情報のようなベクタ画像、レーダ信号のような極座標画像、カメラ映像のような動画等を異なるレイヤに入力し、それぞれのレイヤの画像をビットマップ画像に変換し、これらのビットマップ画像を合成し、１つの画面に表示する、すなわちマルチレイヤ表示をする航空機搭載の表示装置などにおいて、グラフィックボードを使用することには次のような解決するべき課題があった。
（１）消費電力が大きい
グラフィックボードは、一般的に消費電力が大きく、航空機搭載の表示装置など、限られた消費電力しか許容されない装置では採用できないか、若しくは消費電力を下げるために性能を下げざるを得なかった。
（２）モデルの寿命が短い
グラフィックボードは、技術進歩が急速であり、１つのモデルの製造期間は２年程度というのが現状である。部品供給の安定を図るためには最新モデルのグラフィックボードに常に更新することが求められる。ところが、グラフィックボードを駆動する描画コマンドの仕様は、グラフィックボード毎に相違するので、描画コマンドを生成するグラフィックドライバ２０３は、グラフィックボードの更新をする都度に改めて設計し直すことが必要になる。
（３）アーキテクチャに左右される
グラフィックボードについては、供給メーカごとに独自のアーキテクチャを用いる。他方、マルチレイヤ表示を行おうとした場合、入力画像の画像形式に応じて特定のアーキテクチャのグラフィックボードを選択せざるを得ない場合が多い。そこで、グラフィックボードを用いるマルチレイヤ画像合成装置では、グラフィックドライバ等の製品設計においてグラフィックボードのアーキテクチャを考慮せざるを得ないので、製品設計の選択肢が狭められる。
（４）対応できる表示器の範囲が広がる
グラフィックボードを有するマルチレイヤ画像合成装置では、そのグラフィックボードが対応できる表示解像度を持つ表示器にしか画像を表示できない。
【００１６】
そこで、本発明は、かかる課題を解決するために、グラフィックボードを用いることなくマルチレイヤ画像を高速に生成できるマルチレイヤ画像合成装置の提供を目的とする。
【課題を解決するための手段】
【００１７】
前述の課題を解決するため、本発明によるマルチレイヤ画像合成装置は、主に次のような特徴的な構成を採用している。
【００１８】
（１）本発明によるマルチレイヤ画像合成装置は、
入力される複数レイヤの画像を１つのレイヤに合成するマルチレイヤ画像合成装置において、
合成しようとする前記入力画像を合成対象入力画像と称するとき、前記合成対象入力画像を各レイヤごとに独立に処理し、前記合成対象入力画像の画像形式に拘らず、前記合成対象入力画像をビットマップ画像で表し、前記ビットマップ画像をメインメモリにおける互いに異なるメモリ領域にそれぞれ一時保存させ、前記互いに異なるメモリ領域にそれぞれ一時保存した前記ビットマップ画像を画像合成サーバで合成し、前記画像合成サーバで合成して得た合成ビットマップ画像を前記メインメモリにおける別のメモリ領域に保存させる画像合成手段を有することを特徴とする。
（２）本発明によるマルチレイヤ画像合成装置は、
前記合成対象入力画像の画像形式がベクタ画像であるとき、前記ベクタ画像を処理することにより、前記ベクタ画像を表す描画コマンドを生成する描画コマンド生成手段と、前記描画コマンドに基づき前記ビットマップ画像を生成し、生成した前記ビットマップ画像を前記互いに異なるメモリ領域の何れかに一時保存させる第１の仮想ディスプレイサーバと、を前記画像合成手段が有することを特徴とする前記（１）に記載のものでもよい。
（３）本発明によるマルチレイヤ画像合成装置は、
前記描画コマンド生成手段が、前記ベクタ画像がレーダにより検知した物標の方位、距離、速度、高度、識別を含む物標情報であるとき、前記物標情報に基づき、前記位置および前記識別を示すシンボル、前記方位および前記速度を示すリーダ、前記高度を示すデータブロックの情報を生成し、前記シンボル、前記リーダおよび前記データブロックの情報をベクタ画像で表し、Ｘｌｉｂ（Ｘライブラリ）により、前記シンボル、前記リーダおよび前記データブロックの情報を文字列コマンドまたはラインコマンドの描画コマンドに変換し、
前記第１の仮想ディスプレイサーバが、前記描画コマンドに基づき前記ビットマップ画像を生成し、前記ビットマップ画像をビットマップコピーコマンドの形式で前記メモリ領域の１つに送り、該メモリ領域に前記ビットマップ画像をコピーし、該メモリ領域に前記ビットマップ画像を一時保存させる
ことを特徴とする前記（２）に記載のものでもよい。
（４）本発明によるマルチレイヤ画像合成装置は、
前記合成対象入力画像がレーダ電波で検知した物標を極座標位置で表すレーダ信号であるとき、前記極座標画像をビットマップ画像に変換するとともに、該ビットマップ画像をＸｌｉｂによりビットマップコピーコマンドとして出力するビットマップ画像生成手段と、前記ビットマップコピーコマンドを入力し、入力した前記ビットマップコピーコマンドに基づき、前記ビットマップ画像を前記互いに異なるメモリ領域の何れかに一時保存させる第２の仮想ディスプレイサーバと、を前記画像合成手段が有することを特徴とする前記（１）ないし（３）の何れかに記載のものでもよい。
（５）本発明によるマルチレイヤ画像合成装置は、
前記合成対象入力画像がデータ圧縮された動画であるカメラ映像であるとき、前記カメラ映像をデコードして、元の動画をビットマップ画像の画像形式で再生し、該ビットマップ画像をビットマップコピーコマンドの形式で出力する動画レコーダと、前記ビットマップコピーコマンドを入力し、入力した前記ビットマップコピーコマンドに基づき、前記ビットマップ画像を前記互いに異なるメモリ領域の何れかに一時保存させる第３の仮想ディスプレイサーバと、を前記画像合成手段が有することを特徴とする前記（１）ないし（４）の何れかに記載のものでもよい。
【発明の効果】
【００１９】
本発明によれば、グラフィックボードを用いることなくマルチレイヤ画像を高速に生成できるマルチレイヤ画像合成装置を提供できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態であるマルチレイヤ画像合成装置の構成を示す図である。
【図２】図１の実施形態におけるＣＰＵ１で実行されるソフトウエアの構成を示す図である。
【図３】図１の実施形態におけるＣＰＵ２で実行されるソフトウエアの構成を示す図である。
【図４】従来のマルチレイヤ画像合成装置の構成を示す図である。
【図５】図４の従来のマルチレイヤ画像合成装置におけるＣＰＵで実行されるソフトウエアの構成を示す図である。
【図６】互いに異なるレイヤにある複数の画像（Ａ，Ｂ，Ｃ，Ｄ）と、これら複数の画像を一つレイヤに合成した画像（Ｅ）の例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明によるマルチレイヤ画像合成装置の好適な実施形態について添付図を参照して説明する。なお、以下の各図面に付した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではないことも言うまでもない。
【００２２】
図1は、本発明の一実施形態であるマルチレイヤ画像合成装置の構成を示す図である。図１のマルチレイヤ画像合成装置１０は、メインメモリＭＭ１，ＭＭ２，ＭＭ３、ＣＰＵ１，ＣＰＵ２，ＣＰＵ３、表示回路１１、ドライバ回路１２およびイーサネット(Ethernet)（登録商標）スイッチ１３を有する。
【００２３】
メインメモリＭＭ１はＣＰＵ１で実行されるアプリケーションプログラムのコード及びデータを保持するとともに、表示器２０に表示する画像イメージをビットマップ画像の形式で保持する。ＣＰＵ１は、互いに異なるレイヤの画像として、目標情報Ｔ１、レーダ信号Ｒ１およびカメラ映像Ｖ１を入力する。目標情報Ｔ１は、レーダで検出し、追尾している航空機等の物標の情報を表す信号である。航空機等の物標の情報は、方位、距離、速度、高度、識別等の情報である。入力される目標情報では、これら方位等の情報はベクタ画像で表されている。レーダ信号は、航空機等の物標の方位、距離、受信電波の強度を極座標画像で表している。カメラ映像は動画である。ＣＰＵ１は、ベクタ画像の目標情報、極座標画像のレーダ画像および動画のカメラ映像のいずれをもビットマップ画像に変換し、このビットマップ画像を表すビットマップコピーコマンドの形式でメインメモリＭＭ１に一旦保存する。
【００２４】
ＣＰＵ２は、ＣＰＵ１と同様に、目標情報Ｔ２、レーダ信号Ｒ２、カメラ映像Ｖ２を入力し、それらの画像データのいずれをもビットマップ画像に変換し、このビットマップ画像をメインメモリＭＭ２に一旦保存する。ＣＰＵ３は、ＣＰＵ２と同様に、目標情報Ｔ３、レーダ信号Ｒ３、カメラ映像Ｖ３を入力し、それらの画像データのいずれをもビットマップ画像に変換し、このビットマップ画像をメインメモリＭＭ３に一旦保存する。
【００２５】
表示回路１１は、表示器２０の表示タイミングをＣＰＵ１に伝える。表示タイミングを受けたＣＰＵ１は、ビットマップ画像の目標情報Ｔ１、レーダ信号Ｒ１、カメラ映像Ｖ１を読み出すとともに、イーサネットスイッチ１３経由でＣＰＵ２およびＣＰＵ３に対し、メインメモリＭＭ２およびＭＭ３にそれぞれ保存されているビットマップ画像を読み出す命令を送る。ＣＰＵ２およびＣＰＵ３は、その命令を受け、メインメモリＭＭ２，ＭＭ３にそれぞれ保存されているビットマップ画像の目標情報Ｔ２，Ｔ３、レーダ信号Ｒ２，Ｒ３、カメラ映像Ｖ２，Ｖ３を読み出し、イーサネットスイッチ１３経由でＣＰＵ１宛てに、それらビットマップ画像を送る。
【００２６】
ＣＰＵ１は、メインメモリＭＭ１，ＭＭ２，ＭＭ３から読み出したビットマップ画像の目標情報Ｔ１，Ｔ２，Ｔ３、レーダ信号Ｒ１，Ｒ２，Ｒ３、カメラ映像Ｖ１，Ｖ２，Ｖ３を合成し、表示回路１１へ送る。ＣＰＵ１と表示回路１１との入出力インタフェースは、ＰＣＩｅ(Peripheral Component Interconnect Express)と称されるシリアルインタフェースである。ドライバ回路１２は、表示回路１１から送られたビットマップ画像を受け、表示器２０の仕様に合わせた形式のビットマップ画像を生成し、表示器２０へ送る。ドライバ回路１２と表示器２０とはＤＶＩ(Digital Visual Interface)インタフェースで接続されている。表示器２０には、目標情報Ｔ１，Ｔ２，Ｔ３、レーダ信号Ｒ１，Ｒ２，Ｒ３、カメラ映像Ｖ１，Ｖ２，Ｖ３を合成したビットマップ画像が表示される。
【００２７】
図２は、図１の実施形態におけるＣＰＵ１で実行されるソフトウエア１００の構成を示す図である。ソフトウエア１００は、アプリケーションプログラムａｐｐ１,２、動画デコーダ１０１、仮想ディスプレイサーバＶＤ１〜ＶＤ４、共有メモリＳＭ１〜ＳＭ４、画像合成サーバ１０２、共有メモリＳＭ５を有する。このソフトウエア１００およびソフトウエア１００を実行するＣＰＵは、前述の画像合成手段に相当する。ＣＰＵ１を４つのＣＰＵコアで構成し、例えば、アプリケーションプログラムａｐｐ１、仮想ディスプレイサーバＶＤ１、共有メモリＳＭ１、共有メモリＳＭ５および画像合成サーバ１０２を第１のＣＰＵコアで実行し、アプリケーションプログラムａｐｐ２、仮想ディスプレイサーバＶＤ２および共有メモリＳＭ２を第２のＣＰＵコアで実行し、仮想ディスプレイサーバＶＤ３および共有メモリＳＭ３を第３のＣＰＵコアで実行し、動画デコーダ１０１、仮想ディスプレイサーバＶＤ４および共有メモリＳＭ４を第４のＣＰＵコアで実行するようにしてもよい。なお、後述のように、共有メモリＳＭ１〜ＳＭ５は、メインメモリＭＭ１のメモリ領域を使って、実現される。
【００２８】
アプリケーションプログラムａｐｐ１は、ベクタ画像である目標情報Ｔ１を入力する。目標情報Ｔ１は、レーダで検出し、追尾している航空機等の物標の情報を表す信号であり、航空機等の物標の情報は、方位、距離、速度、高度、識別等の情報である。アプリケーションプログラムａｐｐ１は、これらの情報に基づき、位置および識別を示すシンボル、方位および速度を示すリーダ、高度を示すデータブロックの情報を生成する。シンボル、リーダおよびデータブロックの情報はベクタ画像で表されている。さらにＸｌｉｂ（Ｘライブラリ）により、これらシンボル、リーダおよびデータブロックの情報は文字列コマンド、ラインコマンド等のコマンドに変換される。文字列コマンド、ラインコマンド等のコマンドは描画コマンドである。描画コマンドは、ＸＹ座標を指定して、ライン、円等を描画させるコマンドである。Ｘｌｉｂで生成された文字列コマンド、ラインコマンド等の描画コマンドは、Ｘプロトコルで表され、仮想ディスプレイサーバＶＤ１へ供給される。アプリケーションプログラムａｐｐ１は前述の描画コマンド生成手段に相当する。
【００２９】
仮想ディスプレイサーバＶＤ１は、文字列コマンド、ラインコマンド等の描画コマンドを入力し、この描画コマンドに基づき、ビットマップメモリアドレスを１画素ずつ計算し、色情報をそれら各画素に書き込み、ビットマップ画像を生成する。ディスプレイサーバＶＤ１は、そのビットマップ画像をビットマップコピーコマンドの形式で、共有メモリＳＭ１に送り、共有メモリＳＭ１にビットマップ画像をコピーし、保存する。仮想ディスプレイサーバＶＤ１は前述の第１の仮想ディスプレイサーバに相当する。共有メモリＳＭ１は、図１のハードウエア上ではメインメモリＭＭ１内の記憶エリアとして実現される。共有メモリＳＭ１を実現するメインメモリＭＭ１内の記憶エリアは、前述のメインメモリにおける互いに異なるメモリ領域に相当する。
【００３０】
ソフトウエア１００のアプリケーションプログラムａｐｐ２にはレーダ信号Ｒ１が入力される。レーダ信号Ｒ１はレーダ電波を反射する物標を極座標位置で表しているので、アプリケーションプログラムａｐｐ２は極座標画像をビットマップ画像に変換し、Ｘｌｉｂによりビットマップ画像をビットマップコピーコマンドに変換する。ビットマップコピーコマンドは、Ｘプロトコルでもって仮想ディスプレイサーバＶＤ２へ供給される。仮想ディスプレイサーバＶＤ２は、入力したビットマップコピーコマンドに基づき、ビットマップ画像を生成し、ビットマップ画像を共有メモリＳＭ２にコピーし、保存する。アプリケーションプログラムａｐｐ２は、前述のビットマップ画像生成手段に相当する。また、仮想ディスプレイサーバＶＤ２は前述の第２の仮想ディスプレイサーバに相当する。
【００３１】
ソフトウエア１００の動画レコーダ１０１にはカメラ映像Ｖ１が入力される。動画レコーダ１０１は、データ圧縮された動画であるカメラ映像Ｖ１をデコードし、元の動画をビットマップ画像の画像形式で再生し、このビットマップ画像をビットマップコピーコマンドに変換し、Ｘプロトコルのデータ形式で仮想ディスプレイサーバＶＤ４へ供給する。仮想ディスプレイサーバＶＤ４は、入力したビットマップコピーコマンドに基づき、ビットマップ画像を生成し、ビットマップ画像を共有メモリＳＭ４にコピーし、保存する。仮想ディスプレイサーバＶＤ４は前述の第３の仮想ディスプレイサーバに相当する。
【００３２】
図３は、図１の実施形態におけるＣＰＵ２で実行されるソフトウエア１００Ａの構成を示す図である。ソフトウエア１００Ａは、アプリケーションプログラムａｐｐ１,２、動画デコーダ１０１、仮想ディスプレイサーバＶＤ１，ＶＤ２，ＶＤ４、共有メモリＳＭ１，ＳＭ２，ＳＭ４、画像合成サーバ１０２、共有メモリＳＭ５、イーサネット転送ソフト１０３を有する。図３のソフトウエア１００Ａは、図２のソフトウエア１００における仮想ディスプレイサーバＶＤ３および共有メモリＳＭ３を欠く一方、イーサネット転送ソフト１０３が追加された構成である。ソフトウエア１００Ａは、目標情報Ｔ２、レーダ信号Ｒ２、カメラ映像Ｖ２を入力し、これら入力を、ソフトウエア１００に入力される目標情報Ｔ１、レーダ信号Ｒ１、カメラ映像Ｖ１と同様に処理し、入力に対応したビットマップ画像を生成し、共有メモリＳＭ１，ＳＭ２，ＳＭ４にそれぞれ保存する。画像合成サーバ１０２は、これらビットマップ画像を合成し、合成ビットマップ画像を共有メモリＳＭ５に一旦保存する。
【００３３】
図１の表示回路１１が表示器２０の表示タイミングをソフトウエア１００（ＣＰＵ１上で実行されている）に伝えると、その表示タイミングを受けたソフトウエア１００は、イーサネットスイッチ１３経由で、ソフトウエア１００Ａ（ＣＰＵ２上で実行されている）に対し、共有メモリＳＭ５に保存されているビットマップ画像を読み出す命令を送る。ソフトウエア１００Ａのイーサネット転送ソフト１０３（イーサネットスイッチ１３を作動させるソフト）は、その命令を受け、共有メモリＳＭ５に保存されているビットマップ画像形式の目標情報Ｔ２、レーダ信号Ｒ２、カメラ映像Ｖ２を読み出し、イーサネットスイッチ１３経由でソフトウエア１００の仮想ディスプレイサーバＶＤ３宛てに、それらビットマップ画像のビットマップコピーコマンドを送る。仮想ディスプレイサーバＶＤ３は、ビットマップコピーコマンドにより表されているビットマップ画像を共有メモリＳＭ３にコピーし、保存する。
【００３４】
図３に示したマルチレイヤ画像合成装置ソフトウエア１００Ａは、上述のとおり、図１におけるＣＰＵ２に入力された目標情報Ｔ２、レーダ信号Ｒ２、カメラ映像Ｖ２を処理し、入力に対応したビットマップ画像を生成し、ビットマップ画像を共有メモリＳＭ１，ＳＭ２，ＳＭ４にそれぞれ保存し、画像合成サーバ１０２で、これらビットマップ画像を合成し、合成ビットマップ画像を共有メモリＳＭ５に一旦保存し、保存した合成ビットマップ画像を、図２のソフトウエア１００の読み出し命令に応じて、仮想ディスプレイサーバＶＤ３に送った。同様に、図３のソフトウエア１００Ａにより、図１におけるＣＰＵ３に入力された目標情報Ｔ３、レーダ信号Ｒ３、カメラ映像Ｖ３を処理し、これら入力の画像を合成し、図２のソフトウエア１００の読み出し命令に応じて、仮想ディスプレイサーバＶＤ３に合成ビットマップ画像を送ることもできる。図１に示されているように、メインメモリＭＭおよびＣＰＵは入力の増加に応じて任意の数まで増やすことが可能であり、増やした入力情報の数に応じてイーサネットスイッチ１３に入力される合成ビットマップ画像を増加することが可能であるから、本実施の形態のマルチレイヤ画像合成装置では、合成をする画像入力の数、すなわち画像のレイヤ数には格段の制限はない。
【００３５】
例えば、いま、図１のＣＰＵ２およびＣＰＵ３がいずれも図３のソフトウエア１００Ａを実行するものとする。このとき、目標情報Ｔ２、レーダ信号Ｒ２、カメラ映像Ｖ２の合成ビットマップ画像が共有メモリＳＭ５（ＣＰＵ２で実行されるソフトウエア１００Ａにおけるもの）に保存される。同時に、目標情報Ｔ３、レーダ信号Ｒ３、カメラ映像Ｖ３の合成ビットマップ画像が共有メモリＳＭ５（ＣＰＵ３で実行されるソフトウエア１００Ａにおけるもの）に保存される。このようなマルチレイヤ画像合成装置を構成するときは、図２おける仮想ディスプレイサーバＶＤ３、共有メモリＳＭ３のルートに並列に、仮想ディスプレイサーバＶＤ５、共有メモリＳＭ５のルートを設ける。そして、仮想ディスプレイサーバＶＤ３、共有メモリＳＭ３のルートで、目標情報Ｔ２、レーダ信号Ｒ２、カメラ映像Ｖ２の合成ビットマップ画像を処理し、仮想ディスプレイサーバＶＤ５、共有メモリＳＭ５のルートで目標情報Ｔ３、レーダ信号Ｒ３、カメラ映像Ｖ３の合成ビットマップ画像を処理すればよい。
【００３６】
かくして、図２、図３のマルチレイヤ画像合成装置ソフトウエア１００，１００Ａにより、図２の共有メモリＳＭ１〜ＳＭ４には、目標情報Ｔ１，Ｔ２，Ｔ３、レーダ信号Ｒ１，Ｒ２，Ｒ３、カメラ映像Ｖ１，Ｖ２，Ｖ３のビットマップ画像が一時保存される。図２の画像合成回路１０２は、共有メモリＳＭ１〜ＳＭ４に保存されているビットマップ画像を読み出し、画像合成をし、合成ビットマップ画像をビットマップコピーコマンドの形式で共有メモリＳＭ５に供給し、共有メモリＳＭ５に合成ビットマップ画像をコピーする。共有メモリＳＭ５は、画像合成回路１０２から供給されたビットマップコピーコマンドに基づき、ビットマップ画像をコピーし、一時保存するとともに、表示回路１１から受ける表示器２０の表示タイミングに、一時保存していたビットマップ画像を読み出し、表示器２０へ供給する。共有メモリＳＭ２〜５も、共有メモリＳＭ１と同様に、メインメモリＭＭ１内の記憶エリアにビットマップメモリとして実現されている。共有メモリＳＭ２〜５を実現するメインメモリＭＭ１内の記憶エリアは、共有メモリＳＭ１と同様に、前述のメインメモリにおける互いに異なるメモリ領域に相当する。
【００３７】
図６は、互いに異なるレイヤにある複数の画像（Ａ，Ｂ，Ｃ，Ｄ）とこれら複数の画像を一つレイヤに合成した画像（Ｅ）の例を示す図である。図６（Ａ）は半固定的に常時表示される距離円５０および方向線５１の画像の図、（Ｂ）はリアルタイムに示す目標情報の図、（Ｃ）は現時点までの一定時間の目標情報を示す画像の図、（Ｄ）はレーダ信号で表されるレーダビデオを示す画像の図、（Ｅ）は（Ａ）〜（Ｅ）の平面画像を合成した合成画像を示す図である。
【００３８】
これら（Ａ）から（Ｅ）に示す図は、ビットマップ画像で表してある。図６（Ｂ）では、符号５２が新しい物標Ｎを示す。Ｎは、物標の検出が新しいという意味の物標に関する識別を表し、またＮの表示位置はその物標の位置を表している。符号５３は、リーダと称される線を示し、その線の長さが速度、線の方向が進行方向を示す。符号５４は、データブロックと称される文字情報であり、航跡番号、高度などを表している。符号５６は何らかの未認識物標、符号５５はその未認識物標の予想進路を示す。図６（Ｃ）では、符号５７が一定時間内に検知した大型の物標、符号５８が一定時間内に検知した小型の物標を示す。図６（Ｄ）では、符号Ａ1〜Ａ６はレーダビデオを示す。
【００３９】
図６（Ａ）に示す距離円５０および方向線５１の画像は、半固定的に常時表示される画像であり、図１乃至図３に示す本発明の実施の形態では、目標情報Ｔ１〜Ｔ３と同様に、ベクタ画像で入力され、実施の形態のマルチレイヤ画像合成装置１０においてビットマップ画像に変換されたものである。図６（Ｂ）および（Ｃ）における符号５２〜５８は目標情報の画像であり、目標情報Ｔ１〜Ｔ３と同様に、ベクタ画像で入力され、実施の形態のマルチレイヤ画像合成装置１０においてビットマップ画像に変換されたものである。図６（Ｄ）に符号Ａ1〜Ａ６で示すレーダビデオはレーダ信号に基づき生成された画像であり、レーダ信号Ｒ１〜Ｒ３と同様に、極座標画像で入力され、実施の形態のマルチレイヤ画像合成装置１０においてビットマップ画像に変換されたものである。このように、本実施の形態のマルチレイヤ画像合成装置１０によれば、画像形式の異なる複数のレイヤの画像を入力し、ビットマップ画像の形式に揃え、ビットマップ画像形式の合成画像を表示器２０に表示することができる。
【００４０】
以上に図面を参照して詳細に説明したように、本発明のマルチレイヤ画像合成装置によれば、グラフィックボードを用いることなく、マルチレイヤ画像をＣＰＵで実行されるソフトウエア（画像合成手段）により高速に生成できるマルチレイヤ画像合成装置が提供できる。このように、グラフィックボードを用いず、複数レイヤの画像をＣＰＵで実行されるソフトウエア（画像合成手段）により合成することにより、マルチレイヤ画像を生成する本発明のマルチレイヤ画像合成装置には、次のような効果がある。
（１）消費電力の大きいグラフィックボードではなく、消費電力の小さいＣＰＵで画像合成をするので、高性能であっても消費電力が小さく、航空機に搭載できる。
（２）更新期間の短いグラフィックボードのモデル変更の都度に改めて設計し直す必要がなく、マルチレイヤ画像合成装置の維持経費が節約され、経済的である。
（３）供給メーカごとに独自のアーキテクチャが採用されるグラフィックボードを用いないので、グラフィックボードのアーキテクチャを考慮することなく、設計ができ、製品設計の選択肢が広がる。
（４）グラフィックボードを有するマルチレイヤ画像合成装置では、そのグラフィックボードが対応できる表示解像度を持つ表示器にしか画像を表示ができないが、グラフィックボードを持たない本発明のマルチレイヤ画像合成装置では、表示解像度は任意に設計できるので、任意の表示解像度を持つ表示器に画像を表示できる。
【００４１】
以上、本発明の好適な実施形態の構成を説明した。しかし、かかる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。例えば、入力情報は、図１乃至図３に例示した目標情報、レーダ信号といったレーダからの画像情報やカメラ映像に限らず、赤外線センサ等の他のセンサからの画像も１つのレイヤの画像として入力が可能であり、他の入力画像と合成して、ビットマップ画像として表示できる。
【符号の説明】
【００４２】
１０，４０    マルチレイヤ画像合成装置
１１    表示回路
１２    ドライバ回路
１３    イーサネットスイッチ
２０    表示器
４１    画像合成回路
１００，１００Ａ，２００    マルチレイヤ画像合成装置ソフトウエア
１０１    動画デコーダ
１０２    画像合成サーバ
１０３    イーサネット転送ソフト
２０２    ディスプレイサーバ
２０３    グラフィックドライバ
ＭＭ１〜ＭＭ３    メインメモリ
ａｐｐ，ａｐｐ１〜ａｐｐ３    アプリケーションプログラム
ＶＤ１〜ＶＤ４    仮想ディスプレイサーバ
ＳＭ１〜ＳＭ５    共有メモリ
Ｔ１〜Ｔ３    目標情報
Ｒ１〜Ｒ３    レーダ信号
Ｖ１〜Ｖ３    カメラ映像
ＧＢ１〜ＧＢ３    グラフィックボード
【図１】
2018066925.tif 000003
【図２】
2018066925.tif 000004
【図３】
2018066925.tif 000005
【図４】
2018066925.tif 000006
【図５】
2018066925.tif 000007
【図６】
2018066925.tif 000008