(57)【要約】【課題】撮像画像の不可視領域により車載撮像装置の視覚補助機能が妨げられることを防止できる車載撮像装置を提供する。【解決手段】車両に搭載される撮像手段１と、車両の位置を検出する位置検出手段５と、撮像手段１で得られた画像と位置検出手段５で検出された位置情報とを関連づけて記憶する記憶手段１７と、撮像手段１で撮像された画像に不可視領域が存在するか否かを判断する不可視領域判断手段１３と、不可視領域判断手段１３により画像に不可視領域が存在すると判断されたとき、位置検出手段５で検出された車両の位置と一致する過去画像を記憶手段１７より抽出し、過去画像を撮像手段で撮像された現在画像に合成する画像合成手段１４とを備える。【選択図】図１
2011152865.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される撮像手段と、
前記車両の位置を検出する位置検出手段と、
前記撮像手段で得られた画像と前記位置検出手段で検出された位置情報とを関連づけて記憶する記憶手段と、
前記撮像手段で撮像された画像に不可視領域が存在するか否かを判断する不可視領域判断手段と、
前記不可視領域判断手段により前記画像に不可視領域が存在すると判断されたとき、前記位置検出手段で検出された前記車両の位置と一致する過去画像を前記記憶手段より抽出し、前記過去画像を前記撮像手段で撮像された現在画像に合成する画像合成手段とを備えることを特徴とする車載撮像装置。
【請求項２】
前記不可視領域判断手段は、
前記車両に取り付けられた照度センサと、
前記照度センサで検出された車両周囲の照度が、あらかじめ設定されたしきい値より低い場合に、前記不可視領域が存在すると判断する判断手段とを含むことを特徴とする請求項１に記載の車載撮像装置。
【請求項３】
前記不可視領域判断手段は、
前記過去画像からあらかじめ設定された補間対象を抽出し、前記現在画像と前記過去画像の前記補間対象との差分に基づいて前記不可視領域が存在するか否かを判断する判断手段を含むことを特徴とする請求項１に記載の車載撮像装置。
【請求項４】
前記現在画像に合成する前記過去画像が、標識、白線、ガードレール、及び駐車場内固定設置物のうち少なくともいずれかであることを特徴とする請求項１乃至３のいずれか一項に記載の車載撮像装置。
【請求項５】
前記過去画像と前記位置情報とが関連付けられて蓄積されたデータベースと通信する通信手段をさらに備え、
前記通信手段により前記車両の位置に対応した前記過去画像を前記位置情報とともに前記データベースから取得することを特徴とする請求項１乃至４のいずれか一項に記載の車載撮像装置。
【請求項６】
前記画像合成手段で合成された補間画像を表示する表示手段をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載の車載撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段を用いて自車両周辺を撮像する車載撮像装置に関する。
【背景技術】
【０００２】
従来から、車両に撮像手段を搭載し、撮像手段で撮像した画像を車内モニタ等に表示させて、車両走行時や駐車時において安全性や操作性を向上させるようにした車載撮像装置が実用化されている。
具体的な車載撮像装置の機能の一つとして、撮像手段で撮像したリアルタイムの実景画像を車内に表示させ、運転者の視界を補助する機能がある。さらに近年は、撮像画像を記憶手段に記憶し、この記憶画像をナビゲーション装置等で用いる技術が提案されている。
【０００３】
例えば、特許文献１（特開２００４−１５１０６３号公報）には、目的地までの経路を表示するナビゲーション機能を備えた車両で、地図情報に加えて実際に撮像した実景画像を表示する構成が開示されている。さらに、特許文献１は、撮像した画像と、位置情報や天候、時間帯からなる付加情報を関連付けて記憶し、現在位置と走行方向をもとに最も一致する画像を抽出し、この画像を経路に加えて表示する構成を備えている。
【０００４】
また、特許文献２（特開平１１−３０４５００号公報）には、走行位置に対応して画像を取り込んで記憶し、走行位置近傍の案内を行なう際に、記憶された画像を読み出して案内画面上に表示する構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１５１０６３号公報
【特許文献２】特開平１１−３０４５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、撮像画像を車内にリアルタイム表示して視覚補助する従来の車載撮像装置は、夜間、あるいは撮像範囲が障害物で一部遮られる場合などのように、車両周囲の状況によって撮像画像中に不可視となってしまう領域が発生することがある。撮像画像に不可視領域が存在すると、運転の安全性向上や操作性向上という車載撮像装置の視覚補助機能を十分に発揮できないという問題があった。
【０００７】
一方、特許文献１は、ナビゲーション機能の経路表示に加えて実景画像を表示し、運転者に対して効果的に道案内をすることを目的としており、撮像画像の不可視領域に関しては言及していない。特許文献２は、車両の位置情報にあわせて記憶された実景画像を表示させ、視覚的な情報を含む走行位置を示すものであり、特許文献１と同様に不可視領域に関しては言及がなく、これらの従来技術を用いても、撮像画像の不可視領域による問題を解消することはできなかった。
【０００８】
そのため本発明においては、撮像画像の不可視領域により車載撮像装置の視覚補助機能が妨げられることを防止できる車載撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る車載撮像装置は、車両に搭載される撮像手段と、前記車両の位置を検出する位置検出手段と、前記撮像手段で得られた画像と前記位置検出手段で検出された位置情報とを関連づけて記憶する記憶手段と、前記撮像手段で撮像された画像に不可視領域が存在するか否かを判断する不可視領域判断手段と、前記不可視領域判断手段により前記画像に不可視領域が存在すると判断されたとき、前記位置検出手段で検出された前記車両の位置と一致する過去画像を前記記憶手段より抽出し、前記過去画像を前記撮像手段で撮像された現在画像に合成する画像合成手段とを備えることを特徴とする。
【００１０】
本発明によれば、撮像画像に不可視領域が存在すると判断されたときに、現在画像の不可視領域を過去画像で補間するようにしたため、車両周囲の状況に左右されず確実に視覚補助機能を実現できる。したがって、本発明の車載撮像装置を用いることにより運転の安全性、操作性をより向上させることが可能である。なお、現在画像に合成する過去画像は、画像の一部領域であってもよい。
【００１１】
また、前記不可視領域判断手段は、前記車両に取り付けられた照度センサと、前記照度センサで検出された車両周囲の照度が、あらかじめ設定されたしきい値より低い場合に、前記不可視領域が存在すると判断する判断手段とを含むことが好ましい。
このように、照度センサを用いて夜間や悪天候等により車両周囲が暗いことを検知することで、不可視領域の有無を簡単に且つ確実に判断できる。なお、照度センサは撮像素子であってもよい。
【００１２】
また、前記不可視領域判断手段は、前記過去画像からあらかじめ設定された補間対象を抽出し、前記現在画像と前記過去画像の前記補間対象との差分に基づいて前記不可視領域が存在するか否かを判断する判断手段を含むことが好ましい。
このように、過去画像と現在画像とを比較することにより、特に障害物の存在により不可視領域が存在する場合に、不可視領域の有無を正確に判断することが可能となる。
【００１３】
さらに、前記現在画像に合成する前記過去画像が、標識、白線、ガードレール、及び駐車場内固定設置物のうち少なくともいずれかであることが好ましい。
標識、白線、ガードレール、及び駐車場内固定設置物は、車両走行時または駐車時において確実に認識する必要がある。本構成では、これらが撮像画像中で不可視のときに、過去画像からこれらを抽出して現在画像に合成することで、使用者がこれらを確実に認識でき、運転の安全性を高めることが可能となる。
【００１４】
また、前記過去画像と前記位置情報とが関連付けられて蓄積されたデータベースと通信する通信手段をさらに備え、前記通信手段により前記車両の位置に対応した前記過去画像を前記位置情報とともに前記データベースから取得することが好ましい。
これにより、自車が走行していない場所であっても、過去画像を取得することができるようになる。
【００１５】
さらにまた、前記画像合成手段で合成された補間画像を表示する表示手段をさらに備えることが好ましく、これにより車内の使用者が補間画像を簡単に確認することが可能となる。
【発明の効果】
【００１６】
本発明によれば、撮像画像に不可視領域が存在すると判断されたときに、現在画像の不可視領域を過去画像で補間するようにしたため、車両周囲の状況に左右されず確実に視覚補助機能を実現できる。したがって、本発明の車載撮像装置を用いることにより運転の安全性、操作性をより向上させることが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る車載撮像装置の全体構成図である。
【図２】本発明の実施形態に係る車載撮像装置の動作を示すフローチャートである。
【図３】画像の補間処理を示すフローチャートである。
【図４】昼間に撮像された過去画像の一例を示す図である。
【図５】夜間に撮像された現在画像の一例を示す図である。
【図６】補間画像の一例を示す図である。
【図７】画像の記録処理を示すフローチャートである。
【図８】画像記録情報のデータベーステーブルを示す図である。
【図９】本実施形態の変形例に係る車載撮像装置の全体構成図である。
【図１０】本実施形態の変形例に係る車載撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【００１９】
図１は本発明の実施形態に係る車載撮像装置の全体構成図である。
車載撮像装置は、主に、撮像手段であるカメラモジュール１と、車両の位置を検出する位置検出装置５と、記憶手段１７、及び記録処理手段１２や不可視領域判断手段１３や画像合成手段１４を含む演算手段１１を有する処理装置１０とを備える。さらに好適には、入力装置２１や表示装置２２を備える。
【００２０】
カメラモジュール１は、車両に搭載され車両周囲を撮像する。カメラモジュール１の撮像範囲は特に限定されないが、カメラモジュール１には、例えば、車両前方を撮像するフロントビューカメラ、車両後方を撮像するリアビューカメラ等が用いられる。具体的にカメラモジュール１はレンズ２と撮像素子３と駆動手段４を含む。レンズ２は、好適には魚眼レンズが用いられる。駆動手段４は、レンズ２等のカメラモジュール１を構成する機器を駆動するものである。なお、カメラモジュール１で撮像する画像は、静止画であっても動画であってもよい。
【００２１】
位置検出装置５は、車両の現在位置を検出する。位置検出装置５は、例えば、ＧＰＳ受信機を有してＧＰＳシステムにより測位情報を取得する装置、またはジャイロセンサや加速度センサ等を有して自律航法システムにより車両の現在位置を検出する装置、またはＧＰＳシステムと自律航法システムの両方を用いて車両の現在位置を検出する装置などが用いられる。
【００２２】
処理装置１０は、車両に搭載され、ＭＰＵやＣＰＵ等のハードウェアを含む演算手段１１と、撮像画像等を記憶する記憶手段１７とを有する。演算手段１１は、機能的に、記録処理手段１２と、不可視領域判断手段１３と、画像合成手段１４とを含み、これらの各手段を実現するソフトウェアのプログラムを不図示のプログラムメモリより読み出し実行することによって演算手段１１の各手段が実現されるようになっている。
この処理装置１０には、カメラモジュール１で撮像された撮像画像が入力される。
【００２３】
記録処理手段１２は、カメラモジュール１で撮像された撮像画像を、位置検出装置５で検出された車両の位置情報と関連付けて記憶手段１７に記憶する記録処理を行う。さらに、撮像画像には、位置情報以外の付帯情報、例えば撮像日時や天候や季節等の情報を撮像画像に関連付けて記憶してもよい。
【００２４】
不可視領域判断手段１３は、カメラモジュール１で撮像された現在の車両周囲の撮像画像（以下、現在画像と称する）に、不可視領域が存在するか否かを判断する。不可視領域とは、夜間等で車両周囲が暗く画像が鮮明でない領域、障害物により画像に現れない領域等のように、撮像範囲であるにも関わらず何からの理由により撮像画像に映し出されない領域をいう。
【００２５】
好ましくは、不可視領域判断手段１３は、車両に取り付けられた照度センサ（図示略）と、照度センサで検出された車両周囲の照度があらかじめ設定されたしきい値より低い場合に、不可視領域が存在すると判断する判断手段（図示略）とを含む構成とする。なお、照度センサは、車両のライトの照明範囲とは異なる位置に設置する。また、照度センサは撮像素子であってもよい。
このように、照度センサを用いて夜間や悪天候等により車両周囲が暗いことを検知することで、不可視領域の有無を簡単に且つ確実に判断できる。
【００２６】
また、不可視領域判断手段１３は、過去画像からあらかじめ設定された補間対象を抽出し、現在画像と過去画像の補間対象との差分から不可視領域の有無を判断する判断手段（図示略）を含む構成としてもよい。
あらかじめ設定された補間対象とは、標識、白線、ガードレール、及び駐車場内固定設置物のうち少なくともいずれかであることが好ましい。標識、白線、ガードレール、及び駐車場内固定設置物は、車両走行時または駐車時において確実に認識する必要がある。本構成では、これらが撮像画像中で不可視のときに、過去画像からこれらを抽出して現在画像に合成することで、使用者がこれらを確実に認識でき、運転の安全性を高めることが可能となる。
【００２７】
標識、白線に関しては、幅や長さ、色などが定められているため、その特徴に基づいて過去画像から抽出することができる。ガードレールや駐車場内固定設置物に関しては、あらかじめこれらの形状等の特徴を設置位置情報とともに登録しておき、設置位置情報と一致する過去画像からその特徴に基づいて抽出することが好ましい。このように、過去画像と現在画像とを比較することにより、特に障害物の存在により不可視領域が存在する場合に、不可視領域の有無を正確に判断することが可能となる。
【００２８】
画像合成手段１４は、現在画像の不可視領域に過去画像を合成して現在画像を補間する処理を行う。
上記した不可視領域判断手段１３と画像合成手段１４とにより実行される補間処理フローについては後述する。
記憶手段１７は、撮像画像と位置情報とが関連付けられた画像記録情報を記憶する。なお、記憶手段１７に記憶された撮像画像を過去画像と称する。
【００２９】
さらに、車載撮像装置は、入力装置２１を有していてもよい。入力装置２１は、タッチパネルを含むキー入力や音声入力等により処理装置１０に指令を入力するものである。
さらにまた、車載撮像装置は、表示装置２２を有していることが好ましい。表示装置２２は、車内に設置されたモニタ等が挙げられる。
【００３０】
次に、図２のフローチャートを参照して、本実施形態に係る車載撮像装置の動作を説明する。
車両が走行開始したら（Ｓ１）、カメラモジュール１で車両周囲を撮像する（Ｓ２）。処理装置１０で、記録処理及び補間処理の要否を判断し（Ｓ３）、いずれの処理も否であるときは、撮像した現在画像をそのまま表示装置２２に表示する（Ｓ４）。
記録処理が要であるときは、画像の記録処理を実行する（Ｓ５）。この記録処理フローについては、図７を参照して詳述する。
【００３１】
一方、補間処理が要であるときは、不可視領域判断手段１３で現在画像に不可視領域が存在するか否かを判断する（Ｓ６）。不可視領域が存在しないと判断された場合には、現在画像では補間処理を実施せず現在画像を表示装置２２にそのまま表示し、現在以降の撮像画像で再度不可視領域の存在の有無を判断する。不可視領域が存在すると判断された場合には、記憶手段１７に記憶された過去画像を現在画像に合成して不可視領域が補間された補間画像を作成し（Ｓ７）、表示装置２２に補間画像を表示する（Ｓ８）。
そして、走行が終了したか否かを判断し（Ｓ９）、終了したら処理フローを停止する。終了していない場合には、（Ｓ２）以降のステップを繰り返し行う。
なお、上記した記録処理及び補間処理の判断は、例えば、カメラモジュール１や処理装置１０等に電源を供給する電源装置のＯＮ／ＯＦＦに連動させて、電源装置がＯＮにされたら少なくともいずれかの処理を実行するようにし、ＯＦＦにされたら処理を終了するようにしてもよいし、それぞれ別個にＯＮ／ＯＦＦ回路を設けて、入力装置２１により使用者がＯＮ／ＯＦＦを選択できるようにしてもよい。また、このＯＮ／ＯＦＦに応じて、記録処理と補間処理は、いずれか一方の処理のみを実行してもよいし、両方の処理を並行に実行してもよい。好適な処理フローとしては、電源装置がＯＮにされたら処理装置１０で補間処理要と判断して補間処理を実行し、不可視領域判断手段１３で不可視領域が存在しないと判断されたときに処理装置１０で記録処理要と判断し、記録処理フローを実行する。
【００３２】
このように本実施形態によれば、撮像画像に不可視領域が存在すると判断されたときに、現在画像の不可視領域を過去画像で補間するようにしたため、車両周囲の状況に左右されず確実に視覚補助機能を実現できる。したがって、本実施形態の車載撮像装置を用いることにより運転の安全性、操作性をより向上させることが可能である。
【００３３】
ここで、図３を参照して、補間処理フローを詳細に説明する。
補間処理が要であるとき、位置検出装置５で車両の位置情報を取得し、車両の現在位置と同位置の過去画像を記憶手段１７から選択する（Ｓ１１）。一例として、昼間に撮像され記憶手段１７に記憶された過去画像５０Ａを図４に示し、夜間に撮像されたリアルタイムの現在画像５０Ｂを図５に示す。過去画像５０Ａには道路５１と、側線５２や中央線５３や規制標示５４等の白線と、標識５５、５６とが明瞭に映し出されているが、現在画像５０Ｂにはヘッドライトによる照明領域６０以外は暗く、不可視領域６１が存在する。
【００３４】
過去画像から、あらかじめ設定された補間対象部分を抽出し、補間対象の画像情報として保存する（Ｓ１２）。補間対象をどの物体にするかは、入力装置２１により事前に処理装置１０に設定されている。ここでは一例として、補間対象を白線と標識と駐車場内固定設置物（以下、設置物と略称する）に設定し、白線の画像情報をＡ１、標識の画像情報をＢ１、設置物の画像情報をＣ１とする。
【００３５】
現在画像と補間対象の画像情報Ａ１、Ｂ１、Ｃ１との差分を演算し、白線、標識、設置物の中で現在画像に表示されていない部分、すなわち現在画像に補間すべき画像情報を抽出する（Ｓ１３）。白線の画像情報Ａ１のうち補間すべき画像情報をＡ２、標識の画像情報Ｂ１のうち補間すべき画像情報をＢ２、設置物の画像情報Ｃ１のうち補間すべき画像情報をＣ２とする。
【００３６】
そして、標識の補間画像情報Ｂ２を現在画像に合成し、標識を補間する（Ｓ１４）。さらに、照度センサにより車両周囲の照度を検出し、照度があらかじめ設定されたしきい値より低いか否かを判断し（Ｓ１５）、照度がしきい値以上の場合は、標識のみが補間された補間画像を表示装置２２に表示する（Ｓ１９）。照度がしきい値より低い場合は、白線の補間画像情報Ａ２を現在画像に合成し、現在画像に白線を補間する（Ｓ１６）。標識５５、５６と白線５２、５３、５４が補間された補間画像５０Ｃを図６に示す。
【００３７】
駐車時の場合には、バック駐車か否かを判断し（Ｓ１７）、バック駐車ではない場合には標識と白線のみが補間された補間画像を表示装置２２に表示する（Ｓ１９）。バック駐車である場合には、設置物の補間画像情報Ｃ２を現在画像に合成し、現在画像に設置物を補間（Ｓ１８）した後、標識と白線と設置物が補間された現在画像を表示装置２２に表示する（Ｓ１９）。なお、バック駐車か否かの判断は、車両のシフト操作手段によりシフトレンジを検出し、後進モードに設定されているときにバック駐車中と判断してもよいし、自律航法機能を備えている場合には車両の進行方向を検出してバック駐車中と判断してもよい。
その後、電源がＯＦＦか否かを検知し（Ｓ２０）、ＯＦＦである場合には処理を終了し、ＯＮである場合には（Ｓ１１）以降のステップを繰り返し行う。
【００３８】
上記した補間処理フローは一例であり、標識については、過去画像から抽出した標識の画像情報と現在画像とを比較し、標識が現在画像に表示されていない場合に無条件で補間されるようにしている。一方、白線については、白線が現在画像に表示されておらず、且つ照度がしきい値より低い場合に補間されるようにしている。これは、車両周囲が明るい場合には、白線が表示されなくても道路の道幅や他車両等の他の指標により安全に運転可能なためである。また、駐車場内固定設置物は、バック駐車中であるときにのみ補間することにより、安全な駐車操作が可能となる。
このように、不可視領域判断手段１３を複数組み合わせてもよいし、不可視領域判断手段１３と現在画像に合成する補間対象とを適宜組み合わせ、必要とされる補間対象のみを合成する構成としてもよく、これにより補間対象の全てを合成処理する場合に比べて処理時間の短縮化が図れる。
【００３９】
さらに、過去画像から動的物体をフィルタリングにより除去した後に、過去画像を記憶手段１７に記憶することが好ましい。
撮像画像から動的物体を検知する方法の一例を示す。まず、２枚のキャプチャ画像を合成演算し、その差分の絶対値を検出用の画像とする。この時点で同じ絵柄は打ち消しあって黒のビットになり、異なる絵柄だけが値をもって浮き出る。差分画像は、ピクセルごとに２５６階調×ＲＧＢ３色分の明度（ＲＧＢそれぞれが０の黒から２５５の白まで）を持っている。差分画像のヒストグラムテーブルの判定用明度、すなわち、しきい値以上のビットを色毎にカウントすることで動的物体を検出できる。
光源や草木の動き、ノイズなどは、しきい値及び感度調整で最適化し、除外してもよい。
【００４０】
また、隣接画素同士で極端に色の違いが見られる画素を検出することによって物体の存在を検知し、動的物体検知の精度を高めることができる。
自車両が走行している場合、連続で撮像した静止画の集まりとなるため、１／２００秒程度のフレームレートで撮影したほぼ同一位置の画像が取得できる。さらに、後述するようにネットワークを介して過去画像を共有する場合には、同一ルートを走行した他車両の撮像画像から、人間や落ち葉、走行中の車両など動的物体の状況のみ異なる同じ場所の風景が像を多数取得でき、それらを使用することによって動的物体の検出精度をさらに高めることができる。
【００４１】
さらにまた、過去画像を現在画像に合成する際に、過去画像と現在画像の可視領域とをマッチングして画像の位置合わせをする補正処理を行なうことが好ましい。
これにより、過去画像と現在画像とを精度良く合成することが可能となる。
【００４２】
図７を参照して、記録処理フローを詳細に説明する。ここでは一例として、位置検出装置５がＧＰＳ受信機と自律航法機器とを有しているものとする。
記録処理が要であるとき、ＧＰＳ受信機により測位情報を受信開始する（Ｓ２１）。このとき、ＧＰＳ受信機がＧＰＳ衛星からの電波を受信可能か否かを判断し（Ｓ２２）、受信可能である場合には自車両の測位情報を受信する（Ｓ２３）。一方、車両がトンネルや地下、電波をさえぎる高層ビルの間等に位置し、ＧＰＳ衛星からの電波を受信できない場合には、車両に取り付けられた自律航法機器により車両の位置情報を取得する。これは、加速度センサで車両の加速度情報を入手し（Ｓ２４）、磁気センサで車両の方位情報を入手し（Ｓ２５）、傾斜センサで傾斜情報を入手し（Ｓ２６）、ジャイロセンサで角速度情報を入手し（Ｓ２７）、前回受信したＧＰＳによる測位情報に、各センサで入手した車両情報から演算された車両移動方向、距離を加算して現在の車両位置を算出する。なお、上記した自律航法機器は一例であり、車両の移動方向、距離を取得可能な機器が備わっていればどのような機器構成であってもよい。
【００４３】
このようにして車両の位置情報が検出されたら、車両に記憶されている現在の位置情報を更新し（Ｓ２８）、撮像画像に位置情報を関連付けて記憶手段１７に記憶する（Ｓ２９）。
その後、電源がＯＦＦか否かを検知し（Ｓ３０）、ＯＦＦである場合には処理を終了し、ＯＮである場合には（Ｓ２２）以降のステップを繰り返し行う。
【００４４】
なお、上記したＧＰＳを用いた測位方式は、ＧＰＳ受信機と４つのＧＰＳ衛星を用いた単独測位方式と、ＧＰＳ受信機と４つのＧＰＳ衛星を用いて得られた測位情報に対して、基準点との相対測位により誤差を修正し精度を向上させるようにした相対測位方式とがあり、いずれを用いるか特に限定されるものではないが、本実施形態では相対測位方式を用いることがより好ましい。
【００４５】
相対測位方式には、Ｄ−ＧＰＳとＲＴＫ−ＧＰＳがある。Ｄ−ＧＰＳは、ＧＰＳ衛星から送られてくるコード情報を解析し、衛星が電波を発した時刻と受信機が電波を受信した時刻から衛星と受信機の距離を求め、加えて４つの衛星の位置関係から受信機の位置を取得する。さらに、定点に設置された基準局の位置情報と、ＧＰＳによる基準局の測位情報とから求められた誤差に基づいて車両の測位情報を補正する。ＲＴＫ−ＧＰＳは、Ｄ−ＧＰＳと同様に誤差を求め、誤差を用いて車両の測位情報を補正するものであるが、これは衛星までの距離を測る際にコード情報ではなく搬送波の数及び位相を用いており、より精度が高い。
さらに、インターネットを伝送路としてＧＰＳ補正を行なうインターネットＧＰＳを用いるようにしてもよい。
これらの測位方式を用いることで、精度の高い位置情報を取得することが可能となる。
【００４６】
また、記録処理において、位置情報の他に撮像日時や天気や季節等の付帯情報を撮像画像に関連付けて記憶手段１７に記憶することが好ましい。図８は、画像記録情報のデータベーステーブルの一例を示す図である。撮像画像に画像識別番号を付与するとともに、撮像画像に対応した撮像画像の緯度、経度からなる位置情報と、撮像した日時と、天気とが、それぞれ画像識別番号ごとに記憶された画像記録情報のデータベーステーブルを作成する。そして、補間処理を行う際に、日時や天気等の付帯情報に基づいて適切な過去画像を選択し、選択された過去画像により現在画像を補間する。例えば、夜間に撮像された過去画像は標識や白線等が明瞭でない可能性があるため、これと同位置で昼間に撮像された過去画像を選択する。
【００４７】
次に、図９及び図１０を参照して、本実施形態の変形例につき説明する。この変形例は、ネットワークを介して他車両と過去画像を共有する構成となっている。なお、図１乃至図８に示した実施形態と同様の構成についてはその詳細な説明を省略する。
【００４８】
図９は本実施形態の変形例に係る車載撮像装置の全体構成図である。
車載撮像装置は、主に、カメラモジュール１と、位置検出装置であるＧＰＳ受信機５ａと、記憶手段１７、及び記録処理手段１２や不可視領域判断手段１３や画像合成手段１４を含む演算手段１１を有する処理装置１０と、ネットワーク４０に接続する通信手段１８とを備える。さらに好適には、入力装置２１や表示装置２２を備える。なお、ここでは一例として位置検出装置としてＧＰＳ受信機５ａを用いており、さらに目的地までの経路を検索、表示するナビゲーション手段１９を有する場合を示している。
この車載撮像装置は、ネットワーク４０を介して管理用サーバ３０に接続可能となっている。
【００４９】
管理用サーバ３０は、主として、ネットワーク４０に接続する通信装置３１と、各種演算処理を行う管理用処理装置３２と、データベース３３とを備える。
管理用サーバ３０は、通信装置３１によりネットワーク４０を介して車載撮像装置から過去画像と位置情報とが関連付けられた画像記録情報を受信し、データベース３３に蓄積する。データベース３３には、例えば上記した図８に示すデータベーステーブルが登録されている。また、管理用サーバ３０は、他車両３５、３６からも同様に画像記録情報を受信し、データベース３３に蓄積する。
【００５０】
図１０は、本実施形態の変形例に係る車載撮像装置の動作を示すフローチャートである。
まず、入力装置２１により目的地が入力されたらＧＰＳ受信機５ａで現在位置を取得し、ナビゲーション手段１９により現在位置から目的地までの経路を検索し、設定する（Ｓ３１）。そして、通信手段１８によりネットワーク４０を介して管理用サーバ３０のデータベース３３から上記設定された経路に位置情報が一致する画像記録情報を検索し、ダウンロードして記憶手段１７に記憶する（Ｓ３２）。
【００５１】
車両が走行開始したら（Ｓ３３）、カメラモジュール１で車両周囲を撮像する（Ｓ３４）。処理装置１０で、記録処理及び補間処理の要否を判断し（Ｓ３５）、いずれの処理も否であるときは、撮像した現在画像又は経路画像を表示装置２２に表示する（Ｓ３６）。
記録処理が要であるときは、画像の記録処理を実行する（Ｓ３７）。この記録処理では、撮像画像と、位置検出装置５で検出された現在の車両の位置情報とを関連付けた画像記録情報を記憶手段１７に一時記憶し、適宜通信手段１８によりネットワーク４０を介して管理用サーバ３０に送信する。管理用サーバ３０では、受信した画像記録情報をデータベース３３に蓄積する。
【００５２】
一方、補間処理が要であるときは、不可視領域判断手段１３で現在画像に不可視領域が存在するか否かを判断する（Ｓ３８）。不可視領域が存在しないと判断された場合には、現在画像では補間処理を実施せず現在画像を表示装置２２にそのまま表示し、現在以降の撮像画像で再度不可視領域の存在の有無を判断する。不可視領域が存在すると判断された場合には、記憶手段１７にダウンロードされた過去画像を現在画像に合成して不可視領域が補間された補間画像を作成し（Ｓ３９）、表示装置２２に補間画像を表示する（Ｓ４０）。
そして、走行が終了したか否かを判断し（Ｓ４１）、終了したら処理フローを停止する。終了していない場合には、（Ｓ３４）以降のステップを繰り返し行う。
このように、ネットワーク４０を介して過去画像を受信可能な構成とすることで、自車が走行していない場所であっても、過去画像を取得することができるようになる。
【００５３】
本実施形態及び変形例の使用例として、例えば、夜間や悪天候時等の視界が悪い状況で、現在画像の不可視領域に存在する白線や標識等の補間対象を現在画像に補間してモニタ表示し、運転支援する。
また、交差点などで車両の停止時、前方にトラック等の大型車両が停止している場合、または道路上の障害物によって標識や目的地への目印が隠れている場合、前方のトラックや障害物を透過して、標識や目的地への目印が確認できるような画像をモニタ表示し、運転支援する。
また、自宅や職場など頻繁に駐車する場所に駐車する場合、夜間は昼間に比べて視界状況が悪くなるため、駐車場所に障害物があった場合、昼間は障害物の存在に気づくが夜間は気づかない場合も出てくる。そこで、昼間に撮像した駐車場所の過去画像から夜間駐車時には視界が悪い領域の障害物の存在を運転者に知らせるために、バック駐車時は障害物を補間した補間画像をモニタ表示し、注意喚起する。
【符号の説明】
【００５４】
１    カメラモジュール
２    レンズ
３    撮像素子
４    駆動手段
５    位置検出装置
１０  処理装置
１１  演算手段
１２  記録処理手段
１３  不可視領域判断手段
１４  画像合成手段
１７  記憶手段
２１  入力装置
２２  表示装置
３０  管理用サーバ
３１  通信装置
３２  管理用処理装置
３３  データベース
３５、３６  他車両
４０  ネットワーク
【図１】
2011152865.tif 000003
【図２】
2011152865.tif 000004
【図３】
2011152865.tif 000005
【図４】
2011152865.tif 000006
【図５】
2011152865.tif 000007
【図６】
2011152865.tif 000008
【図７】
2011152865.tif 000009
【図８】
2011152865.tif 000010
【図９】
2011152865.tif 000011
【図１０】
2011152865.tif 000012