(57)【要約】  対象物を任意の視点から見た合成画像を、当該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成して、カメラ間の撮像画像の輝度差を解消して連続的な周囲画像を得るようにする。このために、画像処理装置に算出部、格納部、及び合成部を備える。算出部は、撮像画像を構成する一部の画素の画素値に対する補正値を、複数の撮像画像の各々の輝度に基づき算出する。格納部は、算出部により算出される補正値を上述の画素毎に格納する。合成部は、撮像画像を構成している画素に対応する合成画像上の画素の画素値を得ることによって、合成画像を生成する。なお、合成部は、合成画像上の画素の画素値を、撮像画像を構成している画素の画素値を、当該画素の撮像画像上の位置関係と、撮像画像と合成画像との対応関係と、格納部に格納されている補正値とに基づき補正することによって得る。
2014033886.tif 000002
【特許請求の範囲】
【請求項１】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理装置であって、
前記撮像画像を構成する一部の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出する算出部、
前記算出部により算出される前記補正値を前記画素毎に格納する格納部、及び
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置関係と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する合成部、
を備える画像処理装置。
【請求項２】
前記算出部は、前記合成部による前記合成画像の生成において隣接することとなる２枚の撮像画像における該２枚の撮像画像の境界に位置する画素の画素値に対する補正値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記算出部は、前記２枚の撮像画像の境界に位置する画素の輝度を前記２枚の撮像画像の各々の輝度の平均値とする値を、前記補正値として算出する請求項２に記載の画像処理装置。
【請求項４】
前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
前記算出部は、更に、前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素についての前記補正値の算出を、該画素についての前記境界に位置する画素に対する前記三次元空間での位置関係に応じた、前記境界に位置する画素についての前記補正値の線形補間によって行う、
請求項２又は３に記載の画像処理装置。
【請求項５】
前記ポリゴンは四角形であり、
前記ポリゴンの４つの頂点の前記三次元空間における座標値と該４つの頂点に対応している前記撮像画像上の４つの対応点についての前記撮像画像上での座標値とが対応付けられて格納されている頂点データテーブルを更に備え、
前記合成部は、前記撮像画像における前記４つの対応点を頂点とする四角形における対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に位置する画素の画素値を、前記格納部に格納されている前記４つの対応点の各々の前記補正値についての、該交点と該対応点との距離の近さに応じた重み付け平均値を用いて補正して、前記ポリゴンにおける対向する２組の辺のうちの一方の組の２つの辺を共に該第一の比率に内分する直線と他方の組の２つの辺を共に該第二の比率に内分する直線との交点に位置することとなる画素の画素値を得ることによって、前記合成画像を生成する、
請求項４に記載の画像処理装置。
【請求項６】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理方法であって、
前記撮像画像を構成する一部の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に格納部に格納し、
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置関係と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
画像処理方法。
【請求項７】
前記補正値の算出においては、前記合成画像の生成において隣接することとなる２枚の撮像画像における該２枚の撮像画像の境界に位置する画素の画素値に対する補正値を算出する請求項６に記載の画像処理方法。
【請求項８】
前記補正値の算出においては、前記２枚の撮像画像の境界に位置する画素の輝度を前記２枚の撮像画像の各々の輝度の平均値とする値を、前記補正値として算出する請求項７に記載の画像処理方法。
【請求項９】
前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
前記補正値の算出においては、更に、前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素についての前記補正値の算出を、該画素についての前記境界に位置する画素に対する前記三次元空間での位置関係に応じた、前記境界に位置する画素についての前記補正値の線形補間によって行う、
請求項７又は８に記載の画像処理方法。
【請求項１０】
前記ポリゴンは四角形であり、
前記ポリゴンの４つの頂点の前記三次元空間における座標値と該４つの頂点に対応している前記撮像画像上の４つの対応点についての前記撮像画像上での座標値との対応関係を予め取得しておき、
前記合成画像の生成においては、前記撮像画像における前記４つの対応点を頂点とする四角形における対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に位置する画素の画素値を、前記格納部に格納されている前記４つの対応点の各々の前記補正値についての、該交点と該対応点との距離の近さに応じた重み付け平均値を用いて補正して、前記ポリゴンにおける対向する２組の辺のうちの一方の組の２つの辺を共に該第一の比率に内分する直線と他方の組の２つの辺を共に該第二の比率に内分する直線との交点に位置することとなる画素の画素値を得ることによって、前記合成画像を生成する、
請求項９に記載の画像処理方法。
【請求項１１】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する処理をコンピュータに行わせるプログラムであって、
前記撮像画像を構成する一部の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に前記コンピュータの格納部に格納し、
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置関係と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
処理を前記コンピュータに実行させるプログラム。
【請求項１２】
前記補正値の算出においては、前記合成画像の生成において隣接することとなる２枚の撮像画像における該２枚の撮像画像の境界に位置する画素の画素値に対する補正値を算出する請求項１１に記載のプログラム。
【請求項１３】
前記補正値の算出においては、前記２枚の撮像画像の境界に位置する画素の輝度を前記２枚の撮像画像の各々の輝度の平均値とする値を、前記補正値として算出する請求項１２に記載のプログラム。
【請求項１４】
前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
前記補正値の算出においては、更に、前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素についての前記補正値の算出を、該画素についての前記境界に位置する画素に対する前記三次元空間での位置関係に応じた、前記境界に位置する画素についての前記補正値の線形補間によって行う、
請求項１２又は１３に記載のプログラム。
【請求項１５】
前記ポリゴンは四角形であり、
前記ポリゴンの４つの頂点の前記三次元空間における座標値と該４つの頂点に対応している前記撮像画像上の４つの対応点についての前記撮像画像上での座標値とが対応付けられて格納されている頂点データテーブルを予め前記コンピュータに格納しておき、
前記合成画像の生成においては、前記撮像画像における前記４つの対応点を頂点とする四角形における対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に位置する画素の画素値を、前記格納部に格納されている前記４つの対応点の各々の前記補正値についての、該交点と該対応点との距離の近さに応じた重み付け平均値を用いて補正して、前記ポリゴンにおける対向する２組の辺のうちの一方の組の２つの辺を共に該第一の比率に内分する直線と他方の組の２つの辺を共に該第二の比率に内分する直線との交点に位置することとなる画素の画素値を得ることによって、前記合成画像を生成する、
請求項１４に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、画像処理技術に関するものである。
【背景技術】
【０００２】
アラウンドビューモニタや全周囲立体モニタ等と称されている運転支援システムが知られている。このシステムは、車両に設置した複数の車載カメラで得られた車両の周囲の撮像画像を合成して車両周辺の画像を表示するものである。【０００３】
このシステムでは、まず、車両の前後左右の各部に１台ずつ設置した車載カメラが、図１に例示するような、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒの４枚の画像を撮像する。すると、運転支援システムは、これらの撮像画像１を合成して、図２に俯瞰画像２として例示するような、車両の周囲を当該車両の上方から俯瞰したかのような画像を作成して表示する。なお、俯瞰画像２における前カメラ画像領域２Ｆ、後カメラ画像領域２Ｂ、左カメラ画像領域２Ｌ、及び右カメラ画像領域２Ｒは、それぞれ、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒにおける部分領域を変形したものである。【０００４】
このシステムにおいて、各カメラが独立にＡＧＣ（Automatic Gain Control：自動利得制御）などの制御を行うと、各カメラでの撮像画像１の間に輝度差が生じ、合成画像における各々の撮像画像１の領域の境界に、輝度の違いによる不連続部分が発生することがある。図２の例では、俯瞰画像２において太線で表現されている、前カメラ画像領域２Ｆ、後カメラ画像領域２Ｂ、左カメラ画像領域２Ｌ、及び右カメラ画像領域２Ｒのそれぞれの境界部分に不連続部分が発生することがある。このような撮像画像１の間の輝度差を解消するには、例えば、各カメラが得た撮像画像１の輝度を、カメラ間での視野の重複部分についての画像領域の画素値に基づいて補正すればよい。このような技術が幾つか知られている。【０００５】
例えば、第一の技術として、入力画像のうちの重複部分についての画像領域の画素値に基づいて算出される補正係数を用いて輝度補正画像を一旦作成し、この補正画像から合成画像を作成することで境界部の不連続性を軽減するという技術が知られている。また、例えば、第二の技術として、カメラ毎の入力画像に対する視点変換を先に行い、視点変換後の画像上で重複領域の補正係数を推定して補正を行い、その補正後の画像を合成するという技術が知られている（例えば、特許文献１〜特許文献４参照）。【０００６】
なお、他の背景技術として、車両の周囲に設けた複数台のカメラにより取得されたカメラ画像を合成して、仮想的な視点を任意に変更可能な全周囲画像を生成する技術が知られている（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２７４４８号公報
【特許文献２】特開２００６−１７３９８８号公報
【特許文献３】特開２００８−２８５２１号公報
【特許文献４】特開２０１０−１１３４２４号公報
【特許文献５】国際公開第２０１２／０１７５６０号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述した第一及び第二の技術では、カメラ毎の撮像画像若しくは視点変換画像に対する補正を行って補正画像の作成を完了させてから、その補正画像の合成が行われる。このような画像処理を行う場合には、撮像画像若しくは視点変換画像と合成画像とをそれぞれ保持しておくための画像メモリに加えて、補正画像を格納するための画像メモリも使用される。また、この画像処理において行われる、撮像画像若しくは視点変換画像のキャプチャ処理と、輝度補正処理と、画像合成処理とは逐次処理になる。ここで、輝度補正処理は、撮像画像若しくは視点変換画像を構成する全ての画素に対して実施される処理であり、この全ての画素に対する輝度補正処理が完了してから、画像合成処理が開始される。このため、このような画像処理を行う場合には、カメラでの画像取得から合成画像の表示までのレイテンシが長くなってしまう。運転の安全が望まれる運転支援装置においては、このレイテンシは短いことが好ましい。【０００９】
また、例えば、各カメラで得られた画像に対して輝度補正を行わずに合成画像を先に作成し、その後に当該合成画像に対して輝度補正を行う場合について考えてみる。この場合の合成画像には、輝度補正が行われていないため、カメラでの撮像画像の境界部分で輝度差を有している。この場合の画像処理では、合成画像を一旦完成させた後に、画素間の輝度差を解消するための補正値の算出が、合成画像を構成している画素の全てについて行われ、その後に合成画像の輝度補正が行われることとなる。従って、このような画像処理を行う場合には、輝度補正が行われていない合成画像を保持しておくための画像メモリが使用される。また、この画像処理では、合成画像の作成が完了するまで補正値の算出が行えないため、カメラでの画像の取得から合成画像の表示までのレイテンシが長くなる。また、例えば合成画像の視点位置を変更した場合には、合成画像においてのカメラでの撮像画像の境界部分に対応する位置の関係が変化するため、各カメラでの撮像画像に輝度の変化がなくても、補正値の算出をやり直すこととなる。【００１０】
上述した問題に鑑み、本明細書で後述する画像処理装置は、カメラ間の撮像画像の輝度差を解消して連続的な周囲画像を得る新たな合成手法を提供する。
【課題を解決するための手段】
【００１１】
本明細書で後述する画像処理装置は、対象物を任意の視点から見た合成画像を、当該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成するものである。この画像処理装置のひとつに、算出部、格納部、及び合成部を備えるものがある。ここで、算出部は、撮像画像を構成する一部の画素の画素値に対する補正値を、複数の撮像画像の各々の輝度に基づき算出する。格納部は、算出部により算出される補正値を上述の画素毎に格納する。そして、合成部は、撮像画像を構成している画素に対応する合成画像上の画素の画素値を得ることによって、合成画像を生成する。なお、合成部は、全周囲画像上の画素の画素値を、撮像画像を構成している画素の画素値を、当該画素の撮像画像上の位置関係と、撮像画像と合成画像との対応関係と、格納部に格納されている補正値とに基づき補正することによって得る。
【発明の効果】
【００１２】
本明細書で後述する画像処理装置によれば、カメラ間の撮像画像の輝度差が解消されている連続的な周囲画像が得られるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】車載カメラによる撮像画像の例である。
【図２】図１の撮像画像を合成して作成される俯瞰画像の例である。
【図３】運転支援システムの一実施例の構成を図解したブロック図である。
【図４】車載カメラの設置例の説明図である。
【図５】立体投影面の形状の例を図解した図である。
【図６】入力画像フレームバッファに格納されている撮像画像の例である。
【図７】頂点データテーブルのデータ構造の一例である。
【図８】ポリゴンデータテーブルのデータ構造の一例である。
【図９】合成画像の一例である。
【図１０】輝度補正テーブルの生成の手順の説明図（その１）である。
【図１１】輝度補正テーブルの生成の手順の説明図（その２）である。
【図１２】輝度補正テーブルのデータ構造の一例である。
【図１３】撮像画像の輝度補正を伴った画像合成処理の説明図（その１）である。
【図１４】撮像画像の輝度補正を伴った画像合成処理の説明図（その２）である。
【図１５】撮像画像の輝度補正を伴った画像合成処理の説明図（その３）である。
【図１６】コンピュータのハードウェア構成例である。
【図１７】コンピュータにおいて行われる制御処理の処理内容を図解したフローチャートである。
【発明を実施するための形態】
【００１４】
まず図３について説明する。図３は、運転支援システムの一実施例の構成を図解したブロック図である。
【００１５】
この運転支援システムは、画像処理装置１０に、４台のカメラが接続されて構成されている。
【００１６】
４台のカメラ、すなわち、前カメラ３Ｆ、後カメラ３Ｂ、左カメラ３Ｌ、及び右カメラ３Ｒは、図４に図解されているように、それぞれ、車両４の前部、後部、左側部、及び右側部に設置されている。前カメラ３Ｆ、後カメラ３Ｂ、左カメラ３Ｌ、及び右カメラ３Ｒは、対象物の一例である車両４の周囲の異なる方向、すなわち前後左右の各方向を撮像する。そして、それぞれ、図１に例示したような撮像画像１、すなわち、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒを得る。
【００１７】
なお、以下の説明では、特に区別する必要がない場合には、これら４台のカメラを「カメラ３」と総称するものとする。
【００１８】
画像処理装置１０は、上述の撮像画像１から、車両４を任意の視点から見た、車両４の周辺の映像を含む画像を生成して表示するものである。なお、以下の説明では、この画像を「合成画像」と称することとする。
【００１９】
画像処理装置１０は、入力画像フレームバッファ１１、輝度補正テーブル生成部１２、輝度補正テーブル格納部１３、投影面データ格納部１４、視点位置決定部１５、画像合成部１６、及び画像表示部１７を備えている。
【００２０】
入力画像フレームバッファ１１は、カメラ３の各々から出力される撮像画像１を格納する画像用メモリである。
【００２１】
輝度補正テーブル生成部１２は、入力画像フレームバッファ１１に格納されている撮像画像１を参照して、撮像画像１を構成する一部の画素の画素値に対する補正値を、撮像画像１の各々の輝度に基づき算出して、後述する輝度補正テーブルを生成する。
【００２２】
輝度補正テーブル格納部１３は、輝度補正テーブル生成部１２によって生成された輝度補正テーブルを格納するメモリである。
【００２３】
輝度補正テーブル生成部１２による輝度補正テーブルの生成は、入力画像フレームバッファ１１が更新される度、すなわち、例えば、カメラ３の各々から３０毎秒フレームの頻度で撮像画像が入力画像フレームバッファ１１に格納される度に行うようにしてもよい。但し、一般に、撮像画像１のカメラ３間での輝度の違いは激しく変化するものではないので、このようにする代わりに、より少ない頻度、例えば、３０フレーム毎に、輝度補正テーブル生成部１２による輝度補正テーブルの生成が行われるようにしてもよい。なお、このようにする場合には、輝度補正テーブル格納部１３は、最後に生成された輝度補正テーブルを保持しておくようにする。
【００２４】
投影面データ格納部１４は、合成画像の生成処理において撮像画像１の投影が行われる投影面についてのデータが予め格納されているメモリである。
【００２５】
視点位置決定部１５は合成画像をどの視点位置から俯瞰したものとするかを決定する。この視点位置の決定は、例えば、予め登録されている位置からの選択により行うようにしてもよい。また、車両４のステアリング・アクセル・ギアポジション・ブレーキ等の操作量に応じて動的に算出するようにしてもよい。また、この視点位置を離散的に変更する決定を行うようにしてもよく、異なる視点位置間を連続的に変化させる決定を行うようにしてもよい。
【００２６】
画像合成部１６は、撮像画像１を構成している画素の画素値を補正して当該画素に対応する合成画像上の画素の画素値を得ることによって、合成画像を生成する。この撮像画像を構成している画素の画素値の補正は、当該画素の撮像画像１上の位置関係と、撮像画像１と合成画像との対応関係と、輝度補正テーブル格納部１３に格納されている補正値とに基づいて行われる。この画像合成部１６の動作は、後に詳しく説明する。なお、画像合成部１６は、入力画像フレームバッファ１１が更新される度に、上述した合成画像の生成を行う。
【００２７】
画像表示部１７は、画像合成部１６によって合成された合成画像を表示して、車両４の運転者等に提示する。
図３の運転支援システムは以上のように構成されている。
【００２８】
次に、図３の画像処理装置１０おける画像合成部１６が行う画像合成処理について、更に詳細に説明する。
【００２９】
画像合成部１６は、入力画像フレームバッファ１１に格納されている撮像画像１を、三次元空間で定義された立体投影面に投影することによって、合成画像の生成を行う。
【００３０】
図５は、本実施例で使用する立体投影面の形状を、Ｘ、Ｙ、及びＺの直交三次元空間座標系に図解したものである。この立体投影面５は、車両４の周辺の近傍では路面に近似しており、車両４から離れるに従って上方、すなわちＺ軸の正方向に立ち上がっている外に凸の面として、多角形近似したポリゴンにより定義されている。なお、図５の例では、四角形ポリゴンを用いて立体投影面５を定義している。
【００３１】
立体投影面５を定義している各ポリゴンの頂点は、三次元空間における座標値（Ｘ，Ｙ，Ｚ）で表されている。この各ポリゴンの頂点の座標値は、投影面データ格納部１４に格納されている、頂点データテーブルに予め格納しておく。
【００３２】
また、図６は、入力画像フレームバッファ１１に格納されている撮像画像１の例である。なお、図６の撮像画像１には、立体投影面５を定義している各ポリゴンに対応する矩形を表示している。例えば、図５に例示した立体投影面５において斜線が付されているポリゴンは、図６の撮像画像１における左カメラ画像１Ｌに表示されている、斜線が付されているポリゴンと対応している。
【００３３】
本実施例では、前カメラ画像１Ｆ、後カメラ画像１Ｂ、左カメラ画像１Ｌ、及び右カメラ画像１Ｒを、図６に図解されているように、Ｓ及びＴの直交二次元平面座標系上に並べて配置して入力画像フレームバッファ１１に格納しておくようにする。従って、撮像画像１を構成している画素は、当該画素の位置を表す座標値（Ｓ，Ｔ）によって参照される。
【００３４】
前述した頂点データテーブルには、画像合成処理によって撮像画像１を立体投影面５に投影したときに、各ポリゴンの頂点に位置することとなる撮像画像１の画素を示す座標が、更に格納されている。つまり、頂点データテーブルは、撮像画像１と合成画像との対応関係を表している。
【００３５】
図７は、頂点データテーブルのデータ構造の一例を表している。
図７において、「頂点ＩＤ」には、立体投影面５を定義しているポリゴンの頂点を個々に識別する番号が格納される。また、「投影面の頂点座標」には、「頂点ＩＤ」により特定される頂点のＸＹＺ空間における座標値が格納される。そして、「撮像画像の画素の座標」は、「頂点ＩＤ」により特定される頂点に位置することとなる撮像画像１の画素のＳＴ平面における座標値が格納される。
【００３６】
なお、頂点データテーブルにより表される、各頂点のＸＹＺ空間における座標値とＳＴ平面における座標値との関係は、車両４に設置されているカメラ３の設置位置及び視野の向き、並びにカメラ３の内部パラメータを用いて予め算出しておくようにする。なお、この算出の手法は公に知られており、例えば前掲した特許文献５でも説明されている。
【００３７】
立体投影面５は、頂点データテーブルに登録されている頂点の組み合わせにより構成されるポリゴンにより定義される。各ポリゴンを構成する頂点の組み合わせは、投影面データ格納部１４に頂点データテーブルと共に格納されている、ポリゴンデータテーブルに表される。
【００３８】
図８は、ポリゴンデータテーブルのデータ構造の一例を表している。
図８において、「ポリゴンＩＤ」には、立体投影面５を定義している各ポリゴンを個々に識別する番号が格納される。また、「頂点ＩＤ」には、「ポリゴンＩＤ」により特定されるポリゴンを構成する頂点を識別する情報として、頂点データテーブルにおける「頂点ＩＤ」の欄の番号が格納される。
【００３９】
合成画像の生成は、ポリゴンデータテーブルに表されている各ポリゴン、すなわち、立体投影面５を定義している各ポリゴンを、ＸＹＺ空間で定義された任意の合成視点位置で描画することによって行われる。この描画処理は一般的な三次元グラフィクス処理であり、撮像画像１をテクスチャ画像とし、座標（Ｓ，Ｔ）をテクスチャ座標とし、座標値（Ｘ，Ｙ，Ｚ）をポリゴン頂点座標としたテクスチャポリゴン描画処理を画像合成部１６が行う。この描画処理が行われることによって、視点位置決定部１５によって決定された視点位置における合成画像が得られる。図９は、画像合成部１６によって以上のようにして作成される合成画像の一例であり、この合成画像は、直交しているＵ軸及びＶ軸によって定義される二次元平面上に生成される。
【００４０】
但し、本実施例では、画像合成部１６は、撮像画像１の輝度補正を行いながら、上述した画像合成処理を行う。このために、本実施例では、輝度補正テーブル生成部１２により輝度補正テーブルの生成が行われる。
【００４１】
次に、図３の画像処理装置１０における輝度補正テーブル生成部１２による輝度補正テーブルの生成の手順について説明する。
【００４２】
輝度補正テーブル生成部１２は、まず、画像合成部１６による合成画像の生成において隣接することとなる２枚の撮像画像１における、当該２枚の撮像画像１の境界に位置する画素の画素値に対する補正値を算出する。より具体的には、輝度補正テーブル生成部１２は、当該２枚の撮像画像１の境界に位置する画素の輝度を、当該２枚の撮像画像１の各々の輝度の平均値とする値を、補正値として算出する。
【００４３】
まず図１０について説明する。図１０では、図６に提示した、ポリゴンが表示されている撮像画像１における当該ポリゴンの一部の頂点の画素に、白色の四角形の印が付されている。この印が付されている頂点の画素は、画像合成部１６による合成画像の生成において隣接することとなる２枚の撮像画像１の境界に位置する画素である。以降の説明では、この画素を「境界画素」と称することとする。輝度補正テーブル生成部１２は、この境界画素の輝度値を等しくする値を、補正値として算出する。
【００４４】
画像合成部１６により生成される合成画像において、後カメラ画像１Ｂは、右カメラ画像１Ｒ及び左カメラ画像１Ｌと隣接することとなる。ここで、合成画像において後カメラ画像１Ｂと右カメラ画像１Ｒとの境界に位置することとなる各頂点に対応している、後カメラ画像１Ｂにおいての各境界画素の平均輝度値をＬB1とし、この各境界画素に対する補正値をＣB1とする。また、当該各頂点に対応している、右カメラ画像１Ｒにおいての各境界画素の平均輝度値をＬR2とし、この各境界画素に対する補正値をＣR2とする。
【００４５】
輝度補正テーブル生成部１２は、この各頂点に位置する合成画像においての各境界画素の平均輝度値ＬBRを、上述した２つの平均輝度値ＬB1及びＬR2の平均値としたときの補正値ＣB1及びＣR2として算出する。すなわち、輝度補正テーブル生成部１２は、下記の［数１］式を成立させる補正値ＣB1及びＣR2を算出する。
【００４６】
【数１】
2014033886.tif 000003
【００４７】
この［数１］をＣB1及びＣR1について解くと下記の［数２］式が得られる。
【００４８】
【数２】
2014033886.tif 000004
【００４９】
つまり、輝度補正テーブル生成部１２は、上記の［数２］式の計算を行って補正値ＣB1及びＣR2を算出する。
【００５０】
同様に、右カメラ画像１Ｒと前カメラ画像１Ｆとの境界の各頂点に対応している、右カメラ画像１Ｒ及び前カメラ画像１Ｆの各々の各境界画素の平均輝度値をそれぞれＬR1及びＬF2とし、各境界画素に対する補正値をそれぞれＣR1及びＣF2とする。また、前カメラ画像１Ｆと左カメラ画像１Ｌとの境界の各頂点に対応している、前カメラ画像１Ｆ及び左カメラ画像１Ｌの各々の各境界画素の平均輝度値をそれぞれＬF1及びＬL2とし、各境界画素に対する補正値をそれぞれＣF1及びＣL2とする。更に、左カメラ画像１Ｌと後カメラ画像１Ｂとの境界の各頂点に対応している、左カメラ画像１Ｌ及び後カメラ画像１Ｂの各々の各境界画素の平均輝度値をそれぞれＬL1及びＬB2とし、各境界画素に対する補正値をそれぞれＣL1及びＣB2とする。このとき、輝度補正テーブル生成部１２は、下記の［数３］式、［数４］式、及び［数５］式の計算を行って、合成画像を生成した場合に撮像画像１の境界に位置することとなる境界画素についての補正値ＣR1、ＣF2、ＣF1、ＣL2、ＣL1、及びＣB2を算出する。
【００５１】
【数３】
2014033886.tif 000005
【００５２】
【数４】
2014033886.tif 000006
【００５３】
【数５】
2014033886.tif 000007
【００５４】
次に、輝度補正テーブル生成部１２は、合成画像が投影される立体投影面５を定義しているポリゴンの各頂点に位置することとなる撮像画像１の各画素に対する補正値を算出する。輝度補正テーブル生成部１２は、この補正値を、当該各画素についての、境界画素に対するＸＹＺ空間での位置関係に応じて、上述のようにして算出された補正値ＣR1、ＣF2、ＣF1、ＣL2、ＣL1、及びＣB2を線形補間することによって算出する。この線形補間について、図１１を用いて説明する。
【００５５】
図１１において、ポリゴンの頂点Ｖｎに位置することとなる左カメラ画像１Ｌの画素に対する補正値Ｃｎを算出する。
【００５６】
なお、図１１において、頂点Ｖａは、左カメラ画像１Ｌと後カメラ画像１Ｂとの境界上の頂点のうちで、当該頂点を起点として各ポリゴンの辺を経て頂点Ｖｎに到達する経路において経由することとなる辺の個数が最小のものである。頂点Ｖｂは、左カメラ画像１Ｌと前カメラ画像１Ｆとの境界上の頂点のうちで、当該頂点を起点として各ポリゴンの辺を経て頂点Ｖｎに到達する経路において経由することとなる辺の個数が最小のものである。なお、左カメラ画像１Ｌにおける頂点Ｖａ及び頂点Ｖｂにそれぞれ対応している境界画素に対する補正値を、それぞれＣａ及びＣｂとする。この補正値Ｃａ及びＣｂは、輝度補正テーブル生成部１２が前掲の［数５］式及び［数４］式の計算を行うことによって、既に算出されているものとする。
【００５７】
この場合、輝度補正テーブル生成部１２は、下記の［数６］式の計算を行うことによって、補正値Ｃａ及びＣｂを線形補間して補正値Ｃｎを算出する。
【００５８】
【数６】
2014033886.tif 000008
【００５９】
なお、［数６］式において、Ｄabは、頂点Ｖａを起点として各ポリゴンの辺を経て頂点Ｖｂに到達する経路の最短経路長を表しており、Ｄnbは、頂点Ｖｎを起点として各ポリゴンの辺を経て頂点Ｖｂに到達する経路の最短経路長を表している。この［数６］式の計算行うことにより、立体投影面５の周方向の経路長に応じて滑らかに補間した各頂点の輝度補正値が得られる。
【００６０】
輝度補正テーブル生成部１２は、以上のようにして、撮像画像１の各々について、立体投影面５を定義しているポリゴンの各頂点に位置することとなる撮像画像１の各画素に対する補正値を算出する。輝度補正テーブル生成部１２は、撮像画像１の画素を特定する頂点ＩＤと、当該画素について算出した補正値とを対応付けて、輝度補正テーブルを生成する。
【００６１】
図１２は、輝度補正テーブルのデータ構造の一例を表している。図１２に図解されているように、輝度補正テーブルでは、「頂点ＩＤ」と「補正値」とが対応付けられている。
【００６２】
次に、画像合成部１６が、以上のようにして生成された輝度補正テーブルを用いることによって行う、撮像画像１の輝度補正を伴った画像合成処理について、図１３を参照しながら説明する。
【００６３】
まず、画像合成部１６は、視点位置決定部１５により決定された視点位置に基づく周知の三次元コンピュータグラフィクス処理を実行して、ポリゴンデータテーブルに表されているポリゴンを全て順番に描画する処理を行うことによって、合成画像の生成を行う。
【００６４】
この描画の処理において、描画対象がｉ番目のポリゴンのポリゴンＩＤをＰｉとし、このポリゴンＰｉを構成する４つの頂点の頂点ＩＤをそれぞれ、Ｖi1、Ｖi2、Ｖi3、及びＶi4とする。これらの４つの頂点のＸＹＺ空間座標系における三次元座標は、頂点データテーブルに表されている。画像合成部１６は、視野変換、モデリング変換、投影変換などといった各種の幾何変換を施すことによって、ＸＹＺ空間座標系に定義されているこれら４つの頂点は、ＵＶ平面座標系上の４点に変換される。この変換後の４点をＶi1’、Ｖi2’、Ｖi3’、及びＶi4’とする。
【００６５】
ここで、頂点Ｖi1、Ｖi2、Ｖi3、及びＶi4それぞれのＸＹＺ空間座標系における三次元座標を（ｘij，ｙij，ｚij）（ｊ＝１，２，３，４）とする。また、これら４つの頂点の変換後のＵＶ平面座標系上の点Ｖi1’、Ｖi2’、Ｖi3’、及びＶi4’の座標を（ｕij，ｖij）（ｊ＝１，２，３，４）とする。図１３は、この変換の様子を模式的に表したものである。
【００６６】
ここで、ＵＶ平面座標系上に表された４つの頂点により形成される四角形ポリゴンにおける、対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に注目する。すなわち、図１４において、描かれている四角形で対向している辺Ｖi1’Ｖi4’及び辺Ｖi2’Ｖi3’を共にａ：（１−ａ）に内分する直線と、対向している辺Ｖi2’Ｖi1’及び辺Ｖi3’Ｖi4’を共にｂ：（１−ｂ）に内分する直線との交点Ｖに注目する。この交点Ｖの座標（ｕik，ｖik）は、下記の［数７］式で表される。
【００６７】
【数７】
2014033886.tif 000009
【００６８】
一方、このＵＶ平面座標系での交点Ｖに対応している、撮像画像１上の点についてのＳＴ平面座標系上の座標（ｓik，ｔik）は、下記の［数８］式で表される。
【００６９】
【数８】
2014033886.tif 000010
【００７０】
なお、［数８］式において、（ｓij，ｔij）（ｊ＝１，２，３，４）は、ポリゴンＰｉを構成する４つの頂点に対応する、撮像画像１上での点についてのＳＴ平面座標系上の座標である。これらの座標値は、頂点データテーブルに、４つの頂点の頂点ＩＤ、すなわちＶi1、Ｖi2、Ｖi3、及びＶi4にそれぞれ対応付けられて格納されている。
【００７１】
また、画像合成部１６は、交点Ｖに位置することとなる画素に対する補正値Ｃikを、下記の［数９］式により算出する。
【００７２】
【数９】
2014033886.tif 000011
【００７３】
なお、［数９］式において、Ｃij（ｊ＝１，２，３，４）は、前述の４つの頂点Ｖi1’、Ｖi2’、Ｖi3’、及びＶi4’についての補正値である。これらの補正値は、輝度補正テーブルにおいて、４つの頂点の頂点ＩＤ、すなわちＶi1、Ｖi2、Ｖi3、及びＶi4について格納されている。画像合成部１６は、この［数９］式の計算を行うことによって、交点Ｖに位置することとなる画素に対する補正に使用する補正値として、当該４つの各頂点についての補正値の、交点Ｖと当該４つの各頂点との距離の近さに応じた重み付け平均値を算出する。
【００７４】
画像合成部１６は、ＵＶ平面座標系上の前述した点Ｖ（ｕik，ｖik）に位置する画素の画素値Ｇ（ｕik，ｖik）を、下記の［数１０］式の計算を行って求める。
【００７５】
【数１０】
2014033886.tif 000012
【００７６】
なお、［数１０］式において、Ｐ（ｓik，ｔik）は、上の点についてのＳＴ平面座標系上の座標（ｓik，ｔik）の位置における撮像画像１の画素の画素値である。また、関数Ｃｌｉｐ（）は、引数である画素値を、所定のビット数に丸める関数である。例えば、Ｇ（ｕik，ｖik）及びＰ（ｓik，ｔik）の両者が、光の三原色であるＲＧＢ各色８ビットずつの値で表される場合には、関数Ｃｌｉｐ（）は、引数である画素値を、ＲＧＢ各色８ビットずつの値に丸める処理を行う。
【００７７】
画像合成部１６は、点Ｖ（ｕik，ｖik）について［数７］式が成立するときのａ及びｂの値を求め、得られた値を［数８］式及び［数９］式に代入して式の計算を行う。そして、得られた座標（ｓik，ｔik）及び補正値Ｃikについて、［数１０］式の計算を行って点Ｖ（ｕik，ｖik）に位置する画素の画素値Ｇ（ｕik，ｖik）を求めることによって、合成画像を生成する。
【００７８】
なお、上述した実施例では、立体投影面５を四角形ポリゴンにより定義したが、この定義を、他のポリゴンを用いて行うようにしてもよい。例えば、立体投影面５を三角形ポリゴンで定義した場合には、画像合成部１６は、以下のようにして合成画像の生成を行う。
【００７９】
まず、描画対象がｉ番目のポリゴンのポリゴンＩＤをＰｉとし、このポリゴンＰｉを構成する３つの頂点の頂点ＩＤをそれぞれ、Ｖi1、Ｖi2、及びＶi3とし、これらのＸＹＺ空間座標系における三次元座標を（ｘij，ｙij，ｚij）（ｊ＝１，２，３）とする。これらの３つの頂点のＸＹＺ空間座標系における三次元座標は頂点データテーブルに表されている。また、画像合成部１６が各種の幾何変換を施したときの変換後のＵＶ平面座標系上の３点をＶi1’、Ｖi2’、及びＶi3’とし、これらの座標を（ｕij，ｖij）（ｊ＝１，２，３）とする。
【００８０】
ここで、ＵＶ平面座標系上に表された３つの頂点により形成される三角形ポリゴンにおける１辺を第一の比率に内分する点と当該３つの頂点のうち当該１辺上に存在しない頂点とを結ぶ線分を、第二の比率に内分する点に注目する。すなわち、図１５において、描かれている三角形における辺Ｖi1’Ｖi3’をａ：（１−ａ）に内分する点と頂点Ｖi2’とを結ぶ線分をｂ：（１−ｂ）に内分する点Ｖに注目する。この点Ｖの座標（ｕik，ｖik）は、下記の［数１１］式で表される。
【００８１】
【数１１】
2014033886.tif 000013
【００８２】
一方、このＵＶ平面座標系での点Ｖに対応している、撮像画像１上の点についてのＳＴ平面座標系上の座標（ｓik，ｔik）は、下記の［数１２］式で表される。
【００８３】
【数１２】
2014033886.tif 000014
【００８４】
なお、［数１２］式において、（ｓij，ｔij）（ｊ＝１，２，３）は、ポリゴンＰｉを構成する３つの頂点に対応する、撮像画像１上での点についてのＳＴ平面座標系上の座標である。これらの座標値は、頂点データテーブルに、３つの頂点の頂点ＩＤ、すなわちＶi1、Ｖi2、及びＶi3にそれぞれ対応付けられて格納されている。
【００８５】
また、画像合成部１６は、点Ｖに位置することとなる画素に対する補正値Ｃikを、下記の［数１３］式により算出する。
【００８６】
【数１３】
2014033886.tif 000015
【００８７】
なお、［数１３］式において、Ｃij（ｊ＝１，２，３）は、前述の３つの頂点Ｖi1’、Ｖi2’、及びＶi3’についての補正値であり、輝度補正テーブルにおいて、３つの頂点の頂点ＩＤ、すなわちＶi1、Ｖi2、及びＶi3にそれぞれ格納されている値である。画像合成部１６は、この［数１３］式の計算を行うことによって、点Ｖに位置することとなる画素に対する補正に使用する補正値として、当該３つの各頂点についての補正値の、点Ｖと当該４つの各頂点との距離の近さに応じた重み付け平均値を算出する。
【００８８】
画像合成部１６は、点Ｖ（ｕik，ｖik）について［数１１］式が成立するときのａ及びｂの値を求め、得られた値を［数１２］式及び［数１３］式に代入して式の計算を行う。そして、得られた座標（ｓik，ｔik）及び補正値Ｃikについて、前掲した［数１０］式の計算を行って点Ｖ（ｕik，ｖik）に位置する画素の画素値Ｇ（ｕik，ｖik）を求めることによって、合成画像を生成する。このようにすることによって、立体投影面５が三角形ポリゴンで定義されている場合でも、合成画像が得られる。
【００８９】
そころで、以上までに説明した、図３の運転支援システムにおける画像処理装置１０を、標準的なコンピュータを用いて構成するようにしてもよい。
【００９０】
ここで図１６について説明する。図１６は、画像処理装置１０として動作させることの可能なコンピュータ２０のハードウェア構成例が図解されている。
【００９１】
このコンピュータ２０は、ＭＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスク装置２４、入力装置２５、表示装置２６、インタフェース装置２７、及び記録媒体駆動装置２８を備えている。なお、これらの構成要素はバスライン２９を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。
【００９２】
ＭＰＵ（Micro Processing Unit）２１は、このコンピュータ２０全体の動作を制御する演算処理装置である。
【００９３】
ＲＯＭ（Read Only Memory）２２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、この基本制御プログラムをコンピュータ５０の起動時に読み出して実行することにより、このコンピュータ２０の各構成要素の動作制御が可能になる。なお、ＲＯＭ２２として、フラッシュメモリ等の、電力供給の停止に対して記憶データが不揮発性であるメモリを使用してもよい。
【００９４】
ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。ＲＡＭ１１は、入力画像フレームバッファ１１や、輝度補正テーブル格納部１３として機能する。
【００９５】
ハードディスク装置２４は、ＭＰＵ２１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ２１は、ハードディスク装置２４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する制御処理を行えるようになる。また、ハードディスク装置２４は、投影面データ格納部１４としても機能する。なお、後述する制御処理の実行開始時にハードディスク装置２４から頂点データテーブル及びポリゴンデータテーブルをＭＰＵ５１が読み出してＲＡＭ２３に格納する処理を行うようにして、ＲＡＭ２３を投影面データ格納部１４として機能させるようにしてもよい。
【００９６】
入力装置２５は、例えばキーボード装置やマウス装置であり、コンピュータ２０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ２１に送付する。
【００９７】
表示装置２６は例えば液晶ディスプレイであり、ＭＰＵ２１から送付される表示データに応じて各種のテキストや画像を表示する。表示装置２６は、画像表示部１７として機能する。
【００９８】
インタフェース装置２７は、このコンピュータ２０に接続される各種機器との間での各種データの授受の管理を行う。インタフェース装置２７は、例えばカメラ３と接続されて、カメラ３から送られてくる撮像画像１を受信する。
【００９９】
記録媒体駆動装置２８は、可搬型記録媒体３０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ２１は、可搬型記録媒体３０に記録されている所定の制御プログラムを、記録媒体駆動装置２８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体６０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリなどがある。
【０１００】
このようなコンピュータ２０を画像処理装置１０として動作させるには、まず、後述する制御処理の各処理ステップをＭＰＵ２１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２４若しくは可搬型記録媒体３０に予め格納しておく。そして、ＭＰＵ２１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ２１が、図３に図解した画像処理装置１０が備えている各部として機能し、このコンピュータ５０を画像処理装置１０として機能させることが可能になる。
【０１０１】
次に、コンピュータ２０を画像処理装置１０として動作させるための制御処理について、図１７を参照しながら説明する。図１７は、この制御処理の処理内容を図解したフローチャートである。
【０１０２】
図１７の処理が開始されると、まず、Ｓ１０１において、インタフェース装置２７を制御して、カメラ１から送られてくる撮像画像１の取得を行わせると共に、得られた撮像画像をＲＡＭ２３に格納する処理をＭＰＵ２１が行う。このときのＲＡＭ２３は、図３における入力画像フレームバッファ１１として機能している。
【０１０３】
次に、Ｓ１０２では、輝度補正テーブルを作成する処理をＭＰＵ２１が行う。この処理では、ＭＰＵ２１は、合成画像の生成において隣接することとなる２枚の撮像画像１における、当該２枚の撮像画像１の境界に位置する画素の輝度を、当該２枚の撮像画像１の各々の輝度の平均値とする値を、補正値として算出する処理を行う。つまり、この処理は、輝度補正テーブル生成部１２が有している前述の各機能をＭＰＵ２１が提供する処理である。
【０１０４】
次に、Ｓ１０３では、Ｓ１０２の処理で生成された輝度補正テーブルをＲＡＭ２３に格納する処理をＭＰＵ２１が行う。このときのＲＡＭ２３は、図３における輝度補正テーブル格納部１３として機能している。
【０１０５】
次に説明するＳ１０４からＳ１０７にかけての処理は、画像合成部１６が有している前述の各機能をＭＰＵ２１が提供する処理である。
【０１０６】
まず、Ｓ１０４において、投影面データ格納部１４として機能しているハードディスク装置２４若しくはＲＡＭ２３に格納されているポリゴンデータテーブルと頂点データテーブルとのうちのポリゴンデータテーブルを参照する処理をＭＰＵ２１が行う。
【０１０７】
次に、Ｓ１０５において、画像合成の処理が未だ施されていないポリゴンについてのデータを取得する処理をＭＰＵ２１が行う。この処理では、当該ポリゴンを構成している頂点の頂点ＩＤのデータがポリゴンデータテーブルから取得され、その頂点ＩＤに対応付けられている座標データが頂点データテーブルから取得される。
【０１０８】
次に、Ｓ１０６では、Ｓ１０５の処理により得られたポリゴンについてのデータを用いて、当該ポリゴン内に位置する全ての画素についての画素値を算出する処理をＭＰＵ２１が行う。この処理は、例えば立体投影面５が四角形ポリゴンで定義されている場合に、前掲した［数７］、［数８］、［数９］、及び［数１０］の各式の計算を行って、当該ポリゴン内の全ての点に位置する画素の画素値を算出する処理である。
【０１０９】
次に、Ｓ１０７では、ポリゴンデータテーブルに登録されている全てのポリゴンについて、上述したＳ１０６の処理を終えたか否かを判定する処理をＭＰＵ２１が行う。ここで、ＭＰＵ２１は、全てのポリゴンについて処理を終えたと判定したとき（判定結果がＹｅｓのとき）にはＳ１０８に処理を進める。一方、ＭＰＵ２１は、ここで、未処理のポリゴンが残っていると判定したとき（判定結果がＮｏのとき）にはＳ１０５へと処理を戻し、未処理のポリゴンについて、Ｓ１０５及びＳ１０６の処理を行う。
【０１１０】
Ｓ１０８では、ポリゴンデータテーブルに登録されている全てのポリゴンについてＳ１０６の処理を全て終えたことによって生成された合成画像を、表示装置２６に表示させる処理をＭＰＵ２１が行う。この処理によって合成画像の表示を行う表示装置２６は、画像表示部１７として機能している。その後、ＭＰＵ２１はＳ１０１へと処理を戻し、カメラ３から送られてくる次のフレームの撮像画像１に対して、上述した処理を行う。
【０１１１】
以上の制御処理を行うことによって、コンピュータ２０が画像処理装置１０として動作する。
【０１１２】
以上のように、図３の画像処理装置１０は、撮像画像の輝度補正画像を作成しないので、補正画像を格納するためのフレームメモリは備えておらず、また、その作成のための処理負荷が低減されている。例えば、ＮＴＳＣ（National Television System Committee）方式の車載カメラを４台使用して、各７２０×４８０画素のＲＧＢ２４ｂｉｔの撮像画像を得た場合には、４ＭＢのメモリと１フレームあたり１３８万回の画素輝度補正処理とが削減される。
【０１１３】
また、図３の画像処理装置１０は、輝度補正前の合成画像の作成も行わないので、そのためのフレームメモリは備えておらず、また、その作成のための処理負荷が低減されている。例えば、ＮＴＳＣ方式の車載カメラを４台使用して、各７２０×４８０画素のＲＧＢ２４ｂｉｔの撮像画像を得た場合には、１ＭＢのメモリが削減される。
【０１１４】
また、図３の画像処理装置１０は、三次元空間で定義された立体投影面５上の頂点に対して補正値を作成するので、視点移動が生じても輝度補正テーブルの再計算を行わなくてよい。
【符号の説明】
【０１１５】
１  撮像画像
１Ｆ  前カメラ画像
１Ｂ  後カメラ画像
１Ｌ  左カメラ画像
１Ｒ  右カメラ画像
２  俯瞰画像
２Ｆ  前カメラ画像領域
２Ｂ  後カメラ画像領域
２Ｌ  左カメラ画像領域
２Ｒ  右カメラ画像領域
３  カメラ
３Ｆ  前カメラ
３Ｂ  後カメラ
３Ｌ  左カメラ
３Ｒ  右カメラ
４  車両
５  立体投影面
１０  画像処理装置
１１  入力画像フレームバッファ
１２  輝度補正テーブル生成部
１３  輝度補正テーブル格納部
１４  投影面データ格納部
１５  視点位置決定部
１６  画像合成部
１７  画像表示部
２０  コンピュータ
２１  ＭＰＵ
２２  ＲＯＭ
２３  ＲＡＭ
２４  ハードディスク装置
２５  入力装置
２６  表示装置
２７  インタフェース装置
２８  記録媒体駆動装置
２９  バスライン
３０  可搬型記録媒体
【図１】
2014033886.tif 000016
【図２】
2014033886.tif 000017
【図３】
2014033886.tif 000018
【図４】
2014033886.tif 000019
【図５】
2014033886.tif 000020
【図６】
2014033886.tif 000021
【図７】
2014033886.tif 000022
【図８】
2014033886.tif 000023
【図９】
2014033886.tif 000024
【図１０】
2014033886.tif 000025
【図１１】
2014033886.tif 000026
【図１２】
2014033886.tif 000027
【図１３】
2014033886.tif 000028
【図１４】
2014033886.tif 000029
【図１５】
2014033886.tif 000030
【図１６】
2014033886.tif 000031
【図１７】
2014033886.tif 000032
【手続補正書】
【提出日】平成27年1月23日(2015.1.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理装置であって、
前記撮像画像を構成する一部の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出する算出部、
前記算出部により算出される前記補正値を前記画素毎に格納する格納部、及び
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置関係と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する合成部、
を備える画像処理装置。
【請求項２】
前記算出部は、前記合成部による前記合成画像の生成において隣接することとなる２枚の撮像画像における該２枚の撮像画像の境界に位置する画素の画素値に対する補正値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記算出部は、前記２枚の撮像画像の境界に位置する画素の輝度を前記２枚の撮像画像の各々の輝度の平均値とする値を、前記補正値として算出する請求項２に記載の画像処理装置。
【請求項４】
前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
前記算出部は、更に、前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素についての前記補正値の算出を、該画素についての前記境界に位置する画素に対する前記三次元空間での位置関係に応じた、前記境界に位置する画素についての前記補正値の線形補間によって行う、
請求項２又は３に記載の画像処理装置。
【請求項５】
前記ポリゴンは四角形であり、
前記ポリゴンの４つの頂点の前記三次元空間における座標値と該４つの頂点に対応している前記撮像画像上の４つの対応点についての前記撮像画像上での座標値とが対応付けられて格納されている頂点データテーブルを更に備え、
前記合成部は、前記撮像画像における前記４つの対応点を頂点とする四角形における対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に位置する画素の画素値を、前記格納部に格納されている前記４つの対応点の各々の前記補正値についての、該交点と該対応点との距離の近さに応じた重み付け平均値を用いて補正して、前記ポリゴンにおける対向する２組の辺のうちの一方の組の２つの辺を共に該第一の比率に内分する直線と他方の組の２つの辺を共に該第二の比率に内分する直線との交点に位置することとなる画素の画素値を得ることによって、前記合成画像を生成する、
請求項４に記載の画像処理装置。
【請求項６】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理方法であって、
前記撮像画像を構成する一部の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に格納部に格納し、
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置関係と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
画像処理方法。
【請求項７】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する処理をコンピュータに行わせるプログラムであって、
前記撮像画像を構成する一部の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に前記コンピュータの格納部に格納し、
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置関係と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
処理を前記コンピュータに実行させるプログラム。
【手続補正書】
【提出日】平成28年4月20日(2016.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理装置であって、
前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
前記画像処理装置は、
前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出する算出部、
前記算出部により算出される前記補正値を前記画素毎に格納する格納部、及び
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する合成部、
を備える画像処理装置。
【請求項２】
前記算出部は、前記ポリゴンの頂点に位置することとなる前記撮像画像の画素のうちの前記合成部による前記合成画像の生成において隣接することとなる２枚の撮像画像の境界に位置する画素である境界画素の輝度を前記２枚の撮像画像の各々の輝度の平均値とする値を、該境界画素についての前記補正値として算出する請求項１に記載の画像処理装置。
【請求項３】
前記算出部は、前記ポリゴンの頂点に位置することとなる前記撮像画像の画素のうちの前記境界画素以外である画素についての前記補正値の算出を、該境界画素以外である画素についての前記境界画素に対する前記三次元空間での位置関係に応じた、前記境界画素についての前記補正値の線形補間によって行う、
請求項２に記載の画像処理装置。
【請求項４】
前記ポリゴンは四角形であり、
前記ポリゴンの４つの頂点の前記三次元空間における座標値と該４つの頂点に対応している前記撮像画像上の４つの対応点についての前記撮像画像上での座標値とが対応付けられて格納されている頂点データテーブルを更に備え、
前記合成部は、前記撮像画像における前記４つの対応点を頂点とする四角形における対向する２組の辺のうちの一方の組の２つの辺を共に第一の比率に内分する直線と他方の組の２つの辺を共に第二の比率に内分する直線との交点に位置する画素の画素値を、前記格納部に格納されている前記４つの対応点の各々の前記補正値についての、該交点と該対応点との距離の近さに応じた重み付け平均値を用いて補正して、前記ポリゴンにおける対向する２組の辺のうちの一方の組の２つの辺を共に該第一の比率に内分する直線と他方の組の２つの辺を共に該第二の比率に内分する直線との交点に位置することとなる画素の画素値を得ることによって、前記合成画像を生成する、
請求項３に記載の画像処理装置。
【請求項５】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する画像処理方法であって、
前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
前記画像処理方法は、
前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に格納部に格納し、
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
画像処理方法。
【請求項６】
対象物を任意の視点から見た合成画像を、該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成する処理をコンピュータに行わせるプログラムであって、
前記合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像であり、
前記プログラムは、
前記合成画像の生成において前記ポリゴンの頂点に位置することとなる前記撮像画像の画素の画素値に対する補正値を、前記複数の撮像画像の各々の輝度に基づき算出して該画素毎に前記コンピュータの格納部に格納し、
前記撮像画像を構成している画素の画素値を、該画素の前記撮像画像上の位置と、前記撮像画像と前記合成画像との対応関係と、前記格納部に格納されている前記補正値とに基づき補正して、前記撮像画像を構成している画素に対応する前記合成画像上の画素の画素値を得ることによって、前記合成画像を生成する、
処理を前記コンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本明細書で後述する画像処理装置は、対象物を任意の視点から見た合成画像を、当該対象物の周囲の異なる方向を撮像して得られた複数の撮像画像から生成するものである。この合成画像は、三次元空間に定義される複数のポリゴンによって多角形近似されている立体投影面に投影される画像である。この画像処理装置のひとつに、算出部、格納部、及び合成部を備えるものがある。ここで、算出部は、合成画像の生成においてポリゴンの頂点に位置することとなる撮像画像の画素の画素値に対する補正値を、複数の撮像画像の各々の輝度に基づき算出する。格納部は、算出部により算出される補正値を上述の画素毎に格納する。そして、合成部は、撮像画像を構成している画素に対応する合成画像上の画素の画素値を得ることによって、合成画像を生成する。なお、合成部は、全周囲画像上の画素の画素値を、撮像画像を構成している画素の画素値を、当該画素の撮像画像上の位置と、撮像画像と合成画像との対応関係と、格納部に格納されている補正値とに基づき補正することによって得る。
【国際調査報告】
2014033886.tif 000033
2014033886.tif 000034
2014033886.tif 000035
2014033886.tif 000036