(57)【要約】【課題】画像の合成を高いリアルタイム性をもって行うことのできる画像処理装置を提供する。【解決手段】画像処理装置１００は、入力画像の入力データの入力を制御する第１の入力制御部１１０及び第２の入力制御部１２０と、各入力制御部１１０，１２０により入力された入力データを用いて、入力画像の一部に他の入力画像を重ねた部分を含む出力画像を生成するための出力データを生成する画像合成部１５０とを備える。入力データは、出力画像での他の入力画像に対する入力画像の相対位置を規定したパラメータが、入力画像を構成する各画素の輝度に付加された付加情報を含む。付加情報は、出力画像の位置する面内での入力画像の位置である面内位置と、入力画像同士の重なる方向での入力画像の位置である面外位置と、当該面外位置における優先度とを含む。そして、画像合成部１５０は、付加情報を参照しつつ入力データに基づき出力画像を生成する。【選択図】図１
2018072777.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を生成するためのデータを含む入力データの入力を制御する入力制御部と、
前記入力制御部により入力された前記入力データを用いて、前記入力画像の一部に他の前記入力画像を重ねた部分を含む出力画像を生成するための出力データを生成する生成部と、
を備え、
前記入力データは、前記出力画像での他の入力画像に対する入力画像の相対位置を規定したパラメータが、前記入力画像を構成する各画素の輝度に関する情報に付加されたデータを含み、
前記パラメータは、前記出力画像の位置する面内での前記入力画像の位置である面内位置と、前記入力画像同士の重なる方向での前記入力画像の位置である面外位置と、当該面外位置における優先度とを含み、
前記生成部は、前記入力データに基づく輝度値を有した画像が、その入力データに含まれる前記面内位置、および、前記面外位置に従い、かつ、相互に等しい前記面外位置においては、前記優先度の高い入力画像が前記優先度の低い入力画像のうえに重なるように、前記入力データに基づき前記出力画像を生成する
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせて１つの画像を生成する処理である合成を行う画像処理装置に関する。
【背景技術】
【０００２】
この種の画像処理装置の一例は、合成の対象となる複数の画像を外部記憶部に格納するとともに、各画像の幅、高さ、水平位置、垂直位置といった画像の相対位置を規定したパラメータを合成の対象となる画像ごとに設定してパラメータ記憶部に格納する。そして、画像処理装置の制御部は、合成の対象となる各画像を外部記憶部から読み出すとともに、当該読み出された各画像に設定されたパラメータをパラメータ記憶部から読み出し、当該読み出された各画像の合成を映像合成部に行わせる（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４４９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した画像処理装置は、合成の対象となる各画像の読み出しと、各画像の相対位置を規定したパラメータの読み出しとを合成のたびに行うため、画像の合成を高いリアルタイム性をもって行うことが困難となっていた。
【０００５】
本発明は、このような実情に鑑みてなされたものであり、その目的は、画像の合成を高いリアルタイム性をもって行うことのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決する画像処理装置は、入力画像を生成するためのデータを含む入力データの入力を制御する入力制御部と、前記入力制御部により入力された前記入力データを用いて、前記入力画像の一部に他の前記入力画像を重ねた部分を含む出力画像を生成するための出力データを生成する生成部と、を備え、前記入力データは、前記出力画像での他の入力画像に対する入力画像の相対位置を規定したパラメータが、前記入力画像を構成する各画素の輝度に関する情報に付加されたデータを含み、前記パラメータは、前記出力画像の位置する面内での前記入力画像の位置である面内位置と、前記入力画像同士の重なる方向での前記入力画像の位置である面外位置と、当該面外位置における優先度とを含み、前記生成部は、前記入力データに基づく輝度値を有した画像が、その入力データに含まれる前記面内位置、および、前記面外位置に従い、かつ、相互に等しい前記面外位置においては、前記優先度の高い入力画像が前記優先度の低い入力画像のうえに重なるように、前記入力データに基づき前記出力画像を生成する。
【０００７】
上記構成によれば、入力画像の入力データには、入力画像を構成する各画素の輝度に付加されるかたちで、出力画像での他の入力画像に対する入力画像の相対位置を規定したパラメータが含まれる。そのため、出力画像を生成するときには、入力画像を構成する各画素の輝度のデータの読み出しと併せて、出力画像での他の入力画像に対する入力画像の相対位置を規定したパラメータの読み出しが行われる。したがって、パラメータに規定された相対位置に基づく複数の入力画像の合成を高いリアルタイム性をもって行うことが可能となる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の一実施の形態の機能構成を示すブロック図。
【図２】入力画像の入力データのデータ構造の一例を示す模式図。
【図３】合成の対象となる入力画像の組み合わせの一例を示す模式図。
【図４】付加情報のデータ構造の一例を示す模式図。
【図５】複数の入力画像を組み合わせて出力画像を生成するときの処理の過程を説明するための模式図。
【発明を実施するための形態】
【０００９】
以下、画像処理装置の一実施の形態について説明する。
本実施の形態の画像処理装置は、複数の入力画像が入力されたときに、入力画像の一部に他の入力画像を重ねた部分を含む出力画像を生成するものである。この装置では、入力画像の入力データには、出力画像での他の入力画像に対する入力画像の相対位置を規定したパラメータが入力画像を構成する各画素の輝度に関する情報に付加されている。そして、入力画像の入力データの読み出しに際し、このパラメータを併せて読み出すことにより、出力画像での他の入力画像に対する入力画像の相対位置を規定した上で、出力画像を生成する。
【００１０】
具体的には、図１に示すように、画像処理装置１００は、第１の入力画像の入力データの入力を制御する第１の入力制御部１１０と、第２の入力画像の入力データの入力を制御する第２の入力制御部１２０とを有している。各々の入力データは、各対応する入力画像の各画素の輝度値に関する情報を含む実画像データと、出力画像での他の入力画像に対する入力画像の相対位置を規定したパラメータを含む付加情報とを含んでいる。そして、入力データは、第１の入力制御部１１０及び第２の入力制御部１２０から第１のフレームメモリ１３０及び第２のフレームメモリ１４０の各々に対して画像フレーム毎に格納される。
【００１１】
各フレームメモリ１３０，１４０に格納された入力データは、画像合成部１５０により読み出されて複数の入力画像を組み合わせて１つの出力画像を生成する処理である合成が行われる。この画像の合成に際し、画像合成部１５０は、各フレームメモリ１３０，１４０から読み出した入力データの付加情報に基づき、当該付加情報と入力画像の合成態様とを対応付けて記憶した合成制御テーブル１６０を参照して、出力画像での他の入力画像に対する入力画像の相対位置を認識する。そして、画像合成部１５０は、画像の合成により得られた出力画像を表示装置１７０に出力して表示する。
【００１２】
このとき、図２に示すように、付加情報としてのパラメータは、入力画像の位置する面内における入力画像の左上隅部を原点として左右方向及び上下方向に延びる軸線方向をそれぞれＸ軸方向、Ｙ軸方向として設定している。そして、入力画像の形状が矩形状であることを前提として、Ｘ‐Ｙ座標平面内における入力画像の画像領域として、４つの隅部の位置座標がそれぞれ（開始Ｘ座標，開始Ｙ座標）、（終了Ｘ座標，開始Ｙ座標）、（開始Ｘ座標，終了Ｙ座標）、（終了Ｘ座標，終了Ｙ座標）として規定されている。また、出力画像の位置する面内での入力画像の面内位置が「（配置Ｘ座標，配置Ｙ座標）」として規定されている。また、入力画像同士の重なる方向において上側に延びる軸線方向をＺ軸方向として設定したとき、Ｚ軸方向における入力画像の面外位置が「配置Ｚ座標」として規定されている。また、付加情報としてのパラメータはその他にも、入力画像の透明度の指標となる「α値」、及び、入力画像の面外位置である「配置Ｚ座標」が同一であるときに、出力画像における入力画像の表示の優先度を規定した「優先度」が含まれている。そして、これら各種の情報が、入力画像の画像ＩＤに基づいて相互に関連付けられている。
【００１３】
ここで、入力画像が互いに独立した複数の画像要素を含むときには、各々の画像要素の実画像データに個別に関連付けて付加情報が設定される。
例えば、図３に示す例では、第１の画像データは、ナビゲーションシステムにより生成された車両の経路案内のための画像データであって、地図データに車両の現在位置を重畳して表示した第１の画像要素Ｇ１と、目的地に向けた車両の方向指示を表示した第２の画像要素Ｇ２とを含んでいる。そして、入力画像の画像サイズが縦横に４００（ピクセル）×６００（ピクセル）であるときに、第１の画像要素Ｇ１における入力画像の位置する面内での画像領域として、４つの隅部の位置座標がそれぞれ「（０，０）」、「（４００，０）」、「（０，４００）」、「（４００，４００）」となる矩形領域が設定されている。また同様に、第２の画像要素Ｇ２における入力画像の位置する面内での画像領域として、４つの隅部の位置座標がそれぞれ「（４００，０）」、「（５００，０）」、「（４００，１００）」、「（５００，１００）」となる矩形領域が設定されている。
【００１４】
また、同図に示す例では、第２の画像データは、オーディオシステムにより生成された車内での楽曲再生のための画像データであって、補助的なメッセージの表示領域としてのステータスバーを表示した第３の画像要素Ｇ３と、楽曲の再生情報を表示した第４の画像要素Ｇ４とを含んでいる。そして、入力画像の画像サイズが縦横に４００（ピクセル）×６００（ピクセル）であるときに、第３の画像要素Ｇ３における入力画像の位置する面内での画像領域として、４つの隅部の位置座標がそれぞれ「（０，０）」、「（４００，０）」、「（０，５０）」、「（４００，５０）」となる矩形領域が設定されている。また同様に、第４の画像要素Ｇ４における入力画像の位置する面内での画像領域として、４つの隅部の位置座標がそれぞれ「（４００，０）」、「（６００，０）」、「（４００），（４００）」、「（６００，４００）」となる矩形領域が設定されている。
【００１５】
そして、図４に示すように、第１〜第４の画像要素Ｇ１〜Ｇ４の各々に対して上述した各種の情報を含む付加情報が個別に設定されている。そして、画像合成部１５０は、各フレームメモリ１３０，１４０から読み出した画像データに付加情報として含まれる数値データに基づき、当該付加情報と入力画像の合成態様とを対応付けて記憶した合成制御テーブル１６０を参照して、出力画像での入力画像の各画像要素Ｇ１〜Ｇ４の相対位置を認識する。この場合、画像合成部１５０は、画像データに含まれる付加情報を自身が有するメモリに一時的に格納してもよいし、メモリに付加情報を格納することなく直ちに入力画像の合成に用いたうえで付加情報を破棄するようにしてもよい。
【００１６】
具体的には、図５に示すように、第１の画像要素Ｇ１及び第３の画像要素Ｇ３を比較すると、出力画像の位置する面内での面内位置が部分的に重なっている。また、入力画像同士の重なる方向での面外位置となる「配置Ｚ座標」は、第１の画像要素Ｇ１が「０」であるのに対して第３の画像要素Ｇ３が「２００」であって、第３の画像要素Ｇ３の方が第１の画像要素Ｇ１よりも大きい。そのため、これら画像要素Ｇ１，Ｇ３の出力画像での相対位置は、第１の画像要素Ｇ１のうえに重なるように第３の画像要素Ｇ３が位置する。また同様に、第２の画像要素Ｇ２及び第４の画像要素Ｇ４を比較すると、出力画像の位置する面内での面内位置が部分的に重なっている。また、入力画像同士の重なる方向での面外位置となる「配置Ｚ座標」は、第２の画像要素Ｇ２が「１００」であるのに対して第４の画像要素Ｇ４が「１０」であって、第２の画像要素Ｇ２の方が第４の画像要素Ｇ４よりも大きい。そのため、これら画像要素Ｇ２，Ｇ４の出力画像での相対位置は、第４の画像要素Ｇ４のうえに重なるように第２の画像要素Ｇ２が位置する。
【００１７】
次に、本実施の形態の画像処理装置１００の作用について説明する。
複数の入力画像を重ね合わせて出力画像を生成するに際し、画像合成部１５０は、まず第１のフレームメモリ１３０及び第２のフレームメモリ１４０から入力画像の入力データを読み出す。この場合、入力画像の入力データは、入力画像の各画素の輝度値に関する情報を含む実画像データに対し、出力画像での他の入力画像に対する入力画像の相対位置に関する情報を含む付加情報が関連付けられている。そして、画像合成部１５０は、読み出した入力データに含まれる付加情報が示す出力画像での他の入力画像に対する入力画像の相対位置に関する情報を合成制御テーブル１６０を参照して認識する。すなわち、画像合成部１５０は、入力画像の入力データに含まれる実画像データと付加情報とを一元的に管理しており、入力画像の実画像データを読み出す処理とは別に、出力画像での他の入力画像に対する入力画像の相対位置に関する情報を別途読み出す必要はない。したがって、画像合成部１５０は、実画像データの読み出しと、出力画像での他の入力画像に対する入力画像の相対位置について規定した付加情報の読み出しとを合成のたびに行う構成と比較して、画像の合成を高いリアルタイム性をもって行うことが可能となる。
【００１８】
以上説明したように、上記実施の形態によれば、以下に示す効果を得ることができる。
入力画像の入力データには、入力画像を構成する各画素の輝度に関する情報に付加されるかたちで、出力画像での他の入力画像に対する入力画像の相対位置を規定した付加情報が含まれる。そのため、出力画像を生成するときには、入力画像を構成する各画素の輝度に関する情報の読み出しと併せて、出力画像での他の入力画像に対する入力画像の相対位置を規定した付加情報の読み出しが行われる。したがって、付加情報に規定された相対位置に基づく複数の入力画像の合成を高いリアルタイム性をもって行うことが可能となる。
【００１９】
なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態では、入力画像に含まれる画像要素Ｇ１〜Ｇ４の形状が矩形状である場合を例に挙げて説明した。ただし、画像要素Ｇ１〜Ｇ４の形状としては、多角形状等の他の形状を採用することも可能である。
【００２０】
・上記実施の形態では、入力画像に含まれる画像要素Ｇ１〜Ｇ４ごとに付加情報を設定するようにした。これに代えて、入力画像の画素単位、もしくは、相互に隣り合う複数の画素から構成される画素群の単位で別々の相対位置や優先度が規定される付加情報を設定するようにしてもよい。
【００２１】
・上記実施の形態では、出力画像での他の入力画像に対する入力画像の相対位置を規定する付加情報として、出力画像の位置する面内での入力画像の面内位置に関する情報を含めるようにした。ただし、付加情報としては、上述した面内位置に関する情報を省略するようにしてもよい。これにより、入力画像の合成処理の処理負荷を抑えることが可能となる。
【符号の説明】
【００２２】
１００…画像処理装置、１１０…第１の入力制御部、１２０…第２の入力制御部、１３０…第１のフレームメモリ、１４０…第２のフレームメモリ、１５０…画像合成部、１６０…合成制御テーブル、１７０…表示装置。
【図１】
2018072777.tif 000003
【図２】
2018072777.tif 000004
【図３】
2018072777.tif 000005
【図４】
2018072777.tif 000006
【図５】
2018072777.tif 000007