(57)【要約】【課題】複数の撮像部にて得られた撮像画像を組み合わせた合成画像を生成する合成画像生成装置において、自車両の周囲の確認を行いやすい合成画像を生成できるようにする。【解決手段】画像表示システムにおいては、複数のカメラ２１〜２４にて撮像された撮像画像をそれぞれ取得し（Ｓ１１０）、取得された複数の撮像画像のそれぞれにおいて外乱の有無または外乱の程度を表す外乱度を判定する（Ｓ１２０）。また、複数の撮像画像による撮像領域が重複した重複領域において、複数の撮像画像のうちの外乱度がより高い撮像画像が占める面積がより狭くなるよう複数の撮像画像から１または複数の撮像画像を選択する（Ｓ１３０）。そして、複数の撮像画像に基づく合成画像を生成し、重複領域においては、外乱度に応じて選択された撮像画像を用いて合成画像を生成する（Ｓ１３０）。【選択図】図３
2015173401.tif 000002
【特許請求の範囲】
【請求項１】
自車両に搭載され、複数の撮像部にて得られた複数の撮像画像を組み合わせた合成画像を生成する合成画像生成装置（１０）であって、
複数の撮像部にて撮像された撮像画像をそれぞれ取得する撮像画像取得手段（Ｓ１１０）と、
取得された複数の撮像画像のそれぞれにおいて外乱の有無または外乱の程度を表す外乱度を判定する外乱度判定手段（Ｓ１２０）と、
前記複数の撮像画像による撮像領域が重複した重複領域において、前記複数の撮像画像のうちの前記外乱度がより低い撮像画像が占める面積がより広くなるよう前記複数の撮像画像から１または複数の撮像画像を選択する撮像画像選択手段（Ｓ１３０：Ｓ３４０、Ｓ３４５）と、
前記複数の撮像画像に基づく合成画像を生成し、前記重複領域においては、前記外乱度に応じて選択された撮像画像を用いて合成画像を生成する画像生成手段（Ｓ１３０：Ｓ３５０）と、
を備えたことを特徴とする合成画像生成装置。
【請求項２】
請求項１に記載の合成画像生成装置において、
前記外乱度判定手段は、各撮像画像を構成する各画素の輝度値に基づいて、前記外乱度の少なくとも一部として前記外乱の種別を判定し、
前記撮像画像選択手段は、前記外乱度に応じて撮像画像を選択すること
を特徴とする合成画像生成装置。
【請求項３】
請求項１または請求項２に記載の合成画像生成装置において、
前記撮像画像選択手段は、前記外乱度が最も低い撮像画像を選択すること
を特徴とする合成画像生成装置。
【請求項４】
請求項１または請求項２に記載の合成画像生成装置において、
前記外乱度判定手段は、前記外乱度を数値で判定し、
前記撮像画像選択手段は、前記外乱度の数値の比率に応じて各撮像画像の前記重複領域における占有比率を設定すること
を特徴とする合成画像生成装置。
【請求項５】
請求項１〜請求項４の何れか１項に記載の合成画像生成装置において、
前記画像生成手段は、前記合成画像として、自車両を真上から見たと仮定した鳥瞰画像を生成すること
を特徴とする合成画像生成装置。
【請求項６】
請求項１〜請求項５の何れか１項に記載の合成画像生成装置において、
前記合成画像から路面ペイントを抽出する路面ペイント抽出手段（Ｓ１３５）、
を備えたことを特徴とする合成画像生成装置。
【請求項７】
請求項６に記載の合成画像生成装置において、
前記外乱度に基づいて、前記複数の撮像画像のうちの外乱が生じた撮像画像の割合を算出する外乱割合算出手段（Ｓ３２５）と、
前記割合が予め設定された閾値以上である場合、前記路面ペイント抽出手段が路面ペイントを抽出する作動を禁止する禁止手段（Ｓ３３０）と、
を備えたことを特徴とする合成画像生成装置。
【請求項８】
コンピュータを、請求項１〜請求項７の何れか１項に記載の合成画像生成装置を構成する各手段として機能させるための合成画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせた合成画像を生成する合成画像生成装置、および合成画像生成プログラムに関する。
【背景技術】
【０００２】
上記の合成画像生成装置として、車両の周囲の複数のカメラで撮像した各撮像画像を取得し、これらの撮像画像に基づいて自車両の真上から見たと仮定した鳥瞰画像を生成するものが知られている（例えば、特許文献１参照）。この合成画像生成装置では、複数の撮像画像による撮像領域が重複する場合、予め設定された部位で撮像画像を切り、重複した領域の一部を削除して繋ぎ合わせることで、自然な鳥瞰画像となるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８２６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の鳥瞰画像（合成画像）は、自車両の周囲を確認するために利用されているが、例えば、何れかの撮像画像に強い光が入り込む場合には、その撮像画像に黒つぶれ（撮像画像中の光源以外の領域が黒くなる現象）が発生し、この合成画像から周囲を確認できる領域が狭くなる。
【０００５】
また、カメラのレンズに汚れや水滴等が付着した場合も同様である。このような場合、合成画像を用いて周囲を確認することが難しくなるという問題点があった。
そこで、このような問題点を鑑み、自車両に搭載され、複数の撮像部にて得られた撮像画像を組み合わせた合成画像を生成する合成画像生成装置において、自車両の周囲の確認を行いやすい合成画像を生成できるようにすることを本発明の目的とする。
【課題を解決するための手段】
【０００６】
本発明の合成画像生成装置において、撮像画像取得手段は複数の撮像部にて撮像された撮像画像をそれぞれ取得し、外乱度判定手段は取得された複数の撮像画像のそれぞれにおいて外乱の有無または外乱の程度を表す外乱度を判定する。また、撮像画像選択手段は、複数の撮像画像による撮像領域が重複した重複領域において、複数の撮像画像のうちの外乱度がより高い撮像画像が占める面積がより狭くなるよう複数の撮像画像から１または複数の撮像画像を選択する。そして、画像生成手段は、複数の撮像画像に基づく合成画像を生成し、重複領域においては、外乱度に応じて選択された撮像画像を用いて合成画像を生成する。
【０００７】
このような合成画像生成装置によれば、外乱の有無や程度に応じて外乱が生じた撮像画像が合成画像に占める割合を小さくすることができるので、自車両の周囲の確認を行いやすい合成画像を生成することができる。
【０００８】
なお、本発明においては、コンピュータを、合成画像生成装置を構成する各手段として実現するための合成画像生成プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
【図面の簡単な説明】
【０００９】
【図１】本発明が適用された画像表示システム１の概略構成を示すブロック図である。
【図２】カメラ２１〜２４の配置位置を示す鳥瞰図である。
【図３】画像処理部１０（ＣＰＵ１１）が実行する白線認識処理を示すフローチャートである。
【図４】白線認識処理のうちの外乱判定処理を示すフローチャートである。
【図５】撮像画像と視野重複エリアの一例を示す鳥瞰図である。
【図６】白線認識処理のうちの合成鳥瞰図画像作成処理を示すフローチャートである。
【図７】合成鳥瞰図画像（その１）の一例を示す鳥瞰図である。
【図８】合成鳥瞰図画像（その２）の一例を示す鳥瞰図である。
【図９】合成鳥瞰図画像（その３）の一例を示す鳥瞰図である。
【発明を実施するための形態】
【００１０】
以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された画像表示システム１は、例えば乗用車等の車両（以下、自車両ともいう。）に搭載され、複数のカメラ２１〜２４にて得られた撮像画像を組み合わせた合成画像を生成し、生成した画像から白線等の路面ペイントを認識するシステムである。
【００１１】
詳細には、図１に示すように、画像表示システム１は、画像処理部１０、各種カメラ２１〜２４、ディスプレイ２６、インジケータ２７を備えている。
各種カメラ２１〜２４としては、前方カメラ２１、後方カメラ２２、右カメラ２３、左カメラ２４を備えている。これらのカメラ２１〜２４は、図２等に示すハッチング部分のような撮像範囲を有する。ただし、図２等では撮像範囲を扇形（半円）で模式的に示しているが、実際の撮像範囲はこのような形状になるとは限らず、任意の形状・大きさを取り得る。
【００１２】
より詳細には、前方カメラ２１は例えばフロントバンパ内に配置され、自車両の前方を撮像範囲とする。後方カメラ２２は例えばリアバンパ内に配置され、自車両の後方を撮像範囲とする。
【００１３】
また、右カメラ２３は例えば自車両の右ミラーにおいて配置され、自車両の右側を撮像範囲とする。左カメラ２４は例えば自車両の左ミラーにおいて配置され、自車両の左側を撮像範囲とする。各カメラ２１〜２４は、例えば３３ｍｓ毎に撮像を行い、得られた撮像画像を画像処理部１０に送る。
【００１４】
ディスプレイ２６は、画像処理部１０から送られる映像信号に基づく画像を表示させる周知のディスプレイとして構成されている。
インジケータ２７は、画像処理部１０による表示指令に応じて、例えば白線等の路面ペイントの認識精度の高さの程度を視覚的に報知する。インジケータ２７は、例えば複数の発光部を備えており、発光させる発光部の数を認識精度に応じて変更する。路面ペイントの認識精度は、後述する白線抽出処理（Ｓ１３５）の処理の精度を示し、この精度に応じた出力が画像処理部１０からなされる。
【００１５】
画像処理部１０は、ＣＰＵ１１とＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、メモリ１２に格納されたプログラム（合成画像生成プログラムを含む）に従って、後述する白線認識処理等の各種処理を実行する。
【００１６】
［本実施形態の処理］
このように構成された画像表示システム１において、画像処理部１０は、図３に示す白線認識処理を実施する。白線認識処理は、例えば画像処理部１０の電源が投入されると開始される処理であり、その後、一定周期（例えば３３ｍｓ）毎に繰り返し実施される処理である。
【００１７】
この処理では、まず、複数のカメラ２１〜２４にて撮像された撮像画像をそれぞれ取得する（Ｓ１１０）。そして、外乱判定処理を実施する（Ｓ１２０）。外乱判定処理は、それぞれの撮像画像において外乱の有無または外乱の程度を表す外乱度を判定する処理である。この際、外乱度の一部として外乱の種別も判定する。
【００１８】
外乱判定処理では、図４に示すように、まず、変数ｎを１にセットする（Ｓ２１０）。つまり、ｎ番目の撮像画像を選択する。ここで、変数ｎは撮像画像の何れかを指定するものであり、例えば、前方カメラ２１による撮像画像がｎ＝１、後方カメラ２２による撮像画像がｎ＝２、右カメラ２３による撮像画像がｎ＝３、左カメラ２４による撮像画像がｎ＝４と割り当てられている。
【００１９】
続いて、選択されたｎ番目の撮像画像において、輝度値が飽和している箇所があるか否かを判定する（Ｓ２１５）。この処理では、撮像画像を構成する各画素の輝度値を判定し、輝度値が飽和している（輝度値のレベルが１００％のものが存在する）場合に、肯定判定される。
【００２０】
輝度値が飽和している箇所がなければ（Ｓ２１５：ＮＯ）、後述するＳ２２５の処理に移行する。また、輝度値が飽和している箇所があれば（Ｓ２１５：ＹＥＳ）、この撮像画像内に、太陽やヘッドライト等の白線認識を行う際に悪影響を与えうる光源が存在する旨をメモリ１２において記録させる（Ｓ２２０）。
【００２１】
このように撮像画像中に光源が存在する場合、例えば、この撮像画像における持ち点（例えば初期値１００点）を３０点減点し、メモリ１２に記録させる。なお、減点数は一例であるが、撮像画像から白線を認識する際の悪影響が大きいと推定されるもの（外乱の種別）ほど大きく減点を行う。
【００２２】
続いて、撮像画像中にボケている部分が存在するか否かを判定する（Ｓ２２５）。ここでボケている部分とは、後述する「汚れ」よりも輝度値が大きく、隣接する画素間の輝度値の差が小さく、ピントが合っていない領域を示す。
【００２３】
撮像画像中にボケている部分が存在しなければ（Ｓ２２５：ＮＯ）、後述するＳ２５０の処理に移行する。また、撮像画像中にボケている部分が存在すれば（Ｓ２２５：ＹＥＳ）、ボケている部分のサイズを判定する（Ｓ２３０）。
【００２４】
ボケている部分のサイズが予め設定されたサイズ閾値以上であれば（Ｓ２３０：ＹＥＳ）、ボケている部分のサイズが大きいと判定し、撮像画像中に大きな雨滴（水滴）が存在する旨をメモリ１２に記録させる（Ｓ２３５）。このように撮像画像中に大きな雨滴が存在する場合、例えば、この撮像画像における持ち点を３０点減点し、メモリ１２に記録させる。
【００２５】
また、ボケている部分のサイズがサイズ閾値未満であれば（Ｓ２３０：ＮＯ）、ボケている部分のサイズが小さいと判定し、撮像画像中に小さな雨滴が存在する旨をメモリ１２に記録させる（Ｓ２４０）。このように撮像画像中に小さな雨滴が存在する場合、例えば、この撮像画像における持ち点を撮像画像に光源または大きな雨滴が存在する場合よりも少ない１０点だけ減点し、メモリ１２に記録させる。
【００２６】
続いて、周囲の画素における輝度値に対して著しく輝度値が低い領域が存在するか否かを判定する（Ｓ２５０）。著しく輝度値が低い領域が存在しなければ（Ｓ２５０：ＮＯ）、後述するＳ２６０の処理に移行する。
【００２７】
また、著しく輝度値が低い領域が存在すれば（Ｓ２５０：ＹＥＳ）、撮像画像中に汚れが存在する旨をメモリ１２に記録させる。このように撮像画像中に汚れが存在する場合、例えば、この撮像画像における持ち点を２０点減点し、メモリ１２に記録させる（Ｓ２５５）。この際の減点数は、撮像画像中に小さな雨滴が存在する場合よりも多く、また、撮像画像中に光源または大きな雨滴が存在する場合よりも少なく設定する。
【００２８】
続いて、変数ｎと撮像画像の撮像画像数Ｎとを比較する（Ｓ２６０）。撮像画像数Ｎは、本実施形態では４つのカメラ２１〜２４が存在するため、４となる。変数Ｎが撮像画像数Ｎ未満であれば（Ｓ２６０：ＮＯ）、変数ｎをインクリメントし（Ｓ２６５）、Ｓ２１５の処理に戻る。また、変数ｎが撮像画像数Ｎ以上であれば（Ｓ２６０：ＹＥＳ）、外乱判定処理を終了する。
【００２９】
続いて、図３に戻り、合成鳥瞰図変換処理を実施する（Ｓ１２５）。この処理では、撮像画像のそれぞれについて、自車両を真上から見たと仮定した鳥瞰図（鳥瞰画像）に変換するための幾何変換テーブルを利用して、撮像画像中の各画素の座標変換を行うことで鳥瞰図に変換した撮像画像を得る。
【００３０】
例えば自車両が、図５（ａ）に示すような道路を走行中において、各カメラ２１〜２４から得られた撮像画像を鳥瞰図に変換することで、図５（ｂ）および図５（ｃ）に示すような鳥瞰画像がそれぞれ得られる。すなわち、図５（ｂ）に示すように、前方カメラ２１による前方画像４０、後方カメラ２２による後方画像４５、図５（ｃ）に示すように、右カメラ２３による右画像５０、左カメラ２４による左画像５５がそれぞれ得られる。
【００３１】
続いて、合成鳥瞰図画像作成処理を実施する（Ｓ１３０）。この処理では、各撮像画像に対応する鳥瞰図を合成することで合成鳥瞰図画像（合成画像）を得る。
ここで、撮像画像を鳥瞰図に変換した鳥瞰画像には、視野重複エリア（重複領域）が存在することに留意する。視野重複エリアとは、複数の撮像画像による撮像領域が重複した部位を示し、例えば、図５（ｂ）に示す前方画像４０の自車両よりも左側の領域４１は、図５（ｃ）に示す左画像５５の自車両よりも前側の領域５６と重複している。
【００３２】
また、同様に、前方画像４０の自車両よりも右側の領域４２と右画像５０の自車両よりも前側の領域５１、後方画像４５の自車両よりも左側の領域４６と左画像５５の自車両よりも後方の領域５７、後方画像４５の自車両よりも右側の領域４７と右画像５０の自車両よりも後方の領域５２は、それぞれ視野重複エリアを構成している。
【００３３】
そこで、合成鳥瞰図画像作成処理では、合成鳥瞰図を生成する際に、外乱を加味してこれらの視野重複エリアにおいて何れの画像を採用するかを適切に選択する。
合成鳥瞰図画像作成処理の詳細は、図６に示すように、まず、各カメラ２１〜２４からの撮像画像による外乱情報を取得する（Ｓ３１０）。ここで、外乱情報とは、前述の外乱判定処理においてメモリ１２に記録された外乱の種別の情報や点数の情報を表す。また、この処理においては、それぞれの鳥瞰画像（前方画像４０、後方画像４５、右画像５０、左画像５５）についても取得する。
【００３４】
続いて、外乱が発生している撮像画像があるか否かを判定する（Ｓ３１５）。ここで、外乱とは、外乱判定処理において判定された光源、雨滴、汚れ等の何れかを表し、何れか１つでも存在していれば外乱が発生していると判定される。
【００３５】
外乱が発生している撮像画像がなければ（Ｓ３１５：ＮＯ）、全画像の視野重複エリアの使用度（使用率）を一律５０％に設定する（Ｓ３２０）。すなわち、図７に示すように、自車両の鳥瞰図において、自車両の四隅をそれぞれ軸として、自車両の進行方向から４５度の角度となるよう境界線を引く。
【００３６】
そして、この境界線を境に使用する画像を変更する。例えば、自車両の右前における視野重複エリア（４２，５１）においては、境界線よりも自車両前方側の領域においては前方画像４０を採用し、境界線よりも自車両右側の領域においては右画像を採用する。
【００３７】
また、この境界線は、任意に角度を変更可能であり、例えば、図７に示すように、視野重複エリア（４２，５１）において、境界線を自車両の進行方向と平行にすると前方画像４０の使用度が０％となり、右画像５０の使用度が１００％となる。また例えば、視野重複エリア（４２，５１）において、境界線を自車両の進行方向と垂直にすると前方画像４０の使用度が１００％となり、右画像５０の使用度が０％となる。
【００３８】
このようなＳ３２０の処理が終了すると後述するＳ３５０の処理に移行する。また、Ｓ３１５の処理にて、外乱が発生している撮像画像があれば（Ｓ３１５：ＹＥＳ）、外乱が発生している撮像画像の数と予め設定された画像数閾値とを比較する（Ｓ３２５）。画像数閾値は、白線認識を行うアプリケーション等に応じて任意に設定可能である。
【００３９】
外乱が発生している撮像画像の数が画像数閾値以上であれば（Ｓ３２５：ＹＥＳ）、白線認識不能ダイアグ（フラグ）をＯＮ状態に設定し（Ｓ３３０）、合成鳥瞰図画像作成処理を終了する。
【００４０】
また、外乱が発生している撮像画像の数が画像数閾値未満であれば（Ｓ３２５：ＮＯ）、視野重複エリアにおいて外乱が発生していない撮像画像の使用度を１００％に設定する（Ｓ３４０）。例えば、図８（ａ）に示すように、前方画像４０に光源が存在し、他の撮像画像に外乱が存在しない場合には、図８（ｂ）に示すように、視野重複エリアにおける前方画像の使用度を０％に設定し、前方側における右画像５０および左画像５５を１００％に設定する。なお、後方画像４５と右画像５０および左画像５５との視野重複エリアにおいては、使用度をそれぞれ５０％に設定することになる。
【００４１】
続いて、外乱が発生している撮像画像同士の視野重複エリアの使用度を外乱の種別に応じて設定する（Ｓ３４５）。本実施形態では、白線認識に与える影響（外乱度）がより大きな外乱が存在する撮像画像の使用度を０％に設定する。
【００４２】
また、この処理では、上記の処理において外乱の種別に応じて点数を設定しているので、この点数を利用して使用度を設定する。例えば、図９（ａ）に示すように、前方画像４０に汚れ（−２０点）が存在しており、右画像５０に光源（−３０点）が存在する場合には、図９（ｂ）に示すように、より点数が低い画像である右画像５０の使用度を０％に設定する。
【００４３】
続いて、各視野重複エリアについて設定された使用度に従って鳥瞰画像（合成鳥瞰図画像）を生成し、この鳥瞰画像をメモリ１２に保存する（Ｓ３５０）。このような処理が終了すると、合成鳥瞰図画像生成処理を終了する。
【００４４】
続いて、図３に戻り、白線抽出処理を実施する（Ｓ１３５）。この処理は、白線認識不能ダイアグがＯＮ状態である場合には、実施が省略される。また、この処理が実施される場合には、メモリ１２に記録された鳥瞰画像に対して周知のハフ変換等を実施し、白線の認識結果をその精度（信頼度）とともにメモリ１２に記録する。ここで、認識結果の精度は、エッジ（隣接する画素間で所定以上の輝度差がある部位）の数、エッジの並び方の規則性、予め設定された基準道路幅との差、等によって決まる。
【００４５】
続いて、表示処理を実施する（Ｓ１５５）。この処理では、白線認識結果（座標等）とその精度とに応じた表示を行うための信号を生成し、この信号をディスプレイ２６およびインジケータ２７に対して送信する。
【００４６】
このような処理が終了すると白線認識処理を終了する。
［本実施形態による効果］
以上のように詳述した画像表示システム１において、画像処理部１０は、複数のカメラ２１〜２４にて撮像された撮像画像をそれぞれ取得し、取得された複数の撮像画像のそれぞれにおいて外乱の有無または外乱の程度を表す外乱度を判定する。また、複数の撮像画像による撮像領域が重複した重複領域において、複数の撮像画像のうちの外乱度がより高い撮像画像が占める面積がより狭くなるよう複数の撮像画像から１または複数の撮像画像を選択する。そして、複数の撮像画像に基づく合成画像を生成し、重複領域においては、外乱度に応じて選択された撮像画像を用いて合成画像を生成する。
【００４７】
このような画像表示システム１によれば、外乱の有無や程度に応じて外乱が生じた撮像画像が合成画像に占める割合を小さくすることができるので、自車両の周囲の確認を行いやすい合成画像を生成することができる。
【００４８】
また、上記画像表示システム１において、画像処理部１０は、撮像画像を構成する各画素の輝度値に基づいて、外乱度の少なくとも一部として外乱の種別を判定し、外乱度（外乱の種別）に応じて重複領域において利用する撮像画像を選択する。
【００４９】
このような画像表示システム１によれば、外乱の種別を判定するので、外乱の種別に応じて重複領域において表示させる撮像画像をより適切に選択することができる。
さらに、上記画像表示システム１において、画像処理部１０は、重複領域において外乱度が最も低い撮像画像を選択する。
【００５０】
このような画像表示システム１によれば、外乱度が最も低い撮像画像を選択するので、重複領域において、最も信頼性が高い画像を表示させることができる。
さらに、上記画像表示システム１において、画像処理部１０は、合成画像として、自車両を真上から見たと仮定した鳥瞰画像を生成する。
【００５１】
このような画像表示システム１によれば、鳥瞰画像を提供することができるので、路面ペイントを抽出する際に歪みを考慮する処理を省くことができる。よって、合成画像から路面ペイントを抽出する処理を簡素化することができる。
【００５２】
また、上記画像表示システム１において画像処理部１０は、合成画像から路面ペイントを抽出する。
このような画像表示システム１によれば、上記の構成にて得られた合成画像から路面ペイントを抽出するので、精度よく路面ペイントを抽出することができる。
【００５３】
さらに、上記画像表示システム１において、画像処理部１０は、外乱度に基づいて、複数の撮像画像のうちの外乱が生じた撮像画像の割合を算出し、この割合が予め設定された閾値以上である場合、路面ペイントを抽出する作動を禁止する。
【００５４】
このような画像表示システム１によれば、複数の撮像画像のうちの外乱が生じた撮像画像の割合が予め設定された閾値以上である場合、路面ペイントを抽出する作動を禁止するので、路面ペイントを誤検出することによる誤作動を抑制することができる。
【００５５】
［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
【００５６】
例えば、上記実施形態のＳ３４５の処理では、視野重複エリアにおいて外乱度がより高い画像の使用度を０％に設定したが、外乱度の数値の比率に応じて各撮像画像の重複領域における占有比率を設定してもよい。例えば、図９（ａ）に示すように、前方画像４０に汚れ（−２０点）が存在しており、右画像５０に光源（−３０点）が存在する場合には、前方画像４０の点数が８０点、右画像５０の点数が７０点となるため、前方画像４０の使用度を５３．３％、右画像の使用度４６．７％と設定すればよい。
【００５７】
このような画像表示システムでは、外乱度の数値の比率に応じて各撮像画像の重複領域における占有比率を設定するので、信頼性が高い画像をより広い面積で表示させることができる。
【００５８】
［実施形態の構成と本発明の手段との対応関係］
上記実施形態における画像処理部１０は本発明でいう合成画像生成装置に相当する。また、上記実施形態において画像処理部１０が実行する処理のうち、Ｓ１１０の処理は本発明でいう撮像画像取得手段に相当し、上記実施形態においてＳ１２０の処理は本発明でいう外乱度判定手段に相当する。
【００５９】
さらに、上記実施形態においてＳ３４０、Ｓ３４５の処理は本発明でいう撮像画像選択手段に相当し、上記実施形態においてＳ３５０の処理は本発明でいう画像生成手段に相当する。また、上記実施形態においてＳ１３５の処理は本発明でいう路面ペイント抽出手段に相当し、上記実施形態においてＳ３２５の処理は本発明でいう外乱割合算出手段に相当する。
【００６０】
さらに上記実施形態においてＳ３３０の処理は本発明でいう禁止手段に相当する。
【符号の説明】
【００６１】
１…画像表示システム、１０…画像処理部、１１…ＣＰＵ、１２…メモリ、２１…前方カメラ、２２…後方カメラ、２３…右カメラ、２４…左カメラ、２６…ディスプレイ、２７…インジケータ。
【図１】
2015173401.tif 000003
【図２】
2015173401.tif 000004
【図３】
2015173401.tif 000005
【図４】
2015173401.tif 000006
【図５】
2015173401.tif 000007
【図６】
2015173401.tif 000008
【図７】
2015173401.tif 000009
【図８】
2015173401.tif 000010
【図９】
2015173401.tif 000011
【手続補正書】
【提出日】平成26年11月19日(2014.11.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
【特許文献１】特開２０１２−１３４５８６号公報