(57)【要約】【課題】本発明は、移動体に設置した複数の撮像手段により撮影した画像を表示する際、ある撮像手段に撮像した画像の中に欠損した画素が含まれている場合、他の撮像手段で撮像した画像の該当箇所の画素を欠落した画素の位置に補間し、美しい画像を車両の運転者へ提供することができる画像処理装置を提供する。【解決手段】撮像手段１ａで撮像した画像に、不良画素パターン記憶手段９に記憶されている不良パターンの画素がある場合、画像認識手段５は、不良パターンの画素があると認識する。画像合成手段６は、マッピングテーブル８に、不良画素に対応した画素が、他の撮像手段で撮像した画素がないかどうかを判断する。画像合成手段６は、マッピングテーブルを８を参照して、不良パターンのある画素を、他の撮像手段１ｂで撮像した画素で補間する。【選択図】図１
2011160063.tif 000002
【特許請求の範囲】
【請求項１】
車体の周囲を撮影する２以上の撮像手段と、不良画素パターンを記憶している不良画素パターン記憶手段と、前記撮像手段の中で、第１の撮像手段により撮像された画像と前記不良画素パターンの不良画素パターンを比較して、不良画素領域を認識する画素認識手段と、前記第１の撮像手段により撮像された画像の撮像範囲に対応し、前記撮像手段の中で、第２の撮像手段により撮像された撮像範囲を示すマッピングテーブルと、前記マッピングテーブルを活用して、前記第１の撮像手段で撮像した不良画素領域を、第２の撮像手段により撮像した画素で補間する画像合成手段とを備えた画像処理装置。
【請求項２】
車体と、この車体に設けた画像処理装置とからなり、
この画像処理装置は、車体の周囲を撮影する２以上の撮像手段と、不良画素パターンを記憶している不良画素パターン記憶手段と、前記撮像手段の中で、第１の撮像手段により撮像された画像と前記不良画素パターンの不良画素パターンを比較して、不良画素領域を認識する画素認識手段と、前記第１の撮像手段により撮像された画像の撮像範囲に対応し、前記撮像手段の中で、第２の撮像手段により撮像された撮像範囲を示すマッピングテーブルと、前記マッピングテーブルを活用して、前記第１の撮像手段で撮像した不良画素領域を、第２の撮像手段により撮像した画素で補間する画像合成手段とを備えた車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車体に複数の撮像手段が搭載され、撮影された車体周辺の複数の画像を合成し、その合成画像を運転者等に提供する画像処理装置に関するものである。
【背景技術】
【０００２】
従来の画像処理装置として、カメラによって撮像された画像を表示する際、撮像結果の画像に発生する画素の欠損や、スミア、ハレーションなどの影響によって発生した画素が原因で、本来の画素情報の欠損を補間して表示しているものが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像処理装置においては、欠損した画素の補間手法として、過去に撮像した画像から、情報の欠損した画素に該当するアドレスを検索し、当該部分の画素が欠損していない画像データがあった場合、過去の撮像画像から当該箇所の画素データを引用して、欠損した画素にデータを補間していた。しかしながら、撮像する対象が時々刻々と変化する場合、例えば車両のような移動体に搭載された撮像手段では、過去に撮像した画像を活用することがきないので、従来の手法を適用することはできない、という問題があった。
【０００５】
本発明は、従来の問題を解決するためになされたものであり、車体に設置した複数の撮像手段により撮影した画像を表示する際、ある撮像手段で撮像した画像の中に欠損した画素が含まれている場合、他の撮像手段で撮像した画像の該当箇所の画素を、欠落した画素の位置に補間し、美しい画像を車両の運転者へ提供することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、マッピングテーブルを活用して、第１の撮像手段で撮像した不良画素領域を、第２の撮像手段により撮像した画素で補間する画像合成手段を有する構成である。
【発明の効果】
【０００７】
本発明は、画素認識手段は、第１の撮像手段により撮像した画像が、不良画素パターン記憶手段に記憶されている不良パターンの画素があるかどうかを認識し、画像合成手段は、マッピングテーブルから不良画素に対応する第２の撮像手段により撮像した画素を探し出し、その画素を補間することにより、表示画像中に一定時間スミア、ハレーションなどが発生しても、車両の運転者に美しい画像を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態における画像処理装置のブロック図
【図２】同要部である撮像手段を車体に取付ける位置を説明する図
【図３】同要部である撮像手段で撮影した画像例を説明する図
【図４】同装置の動作説明フローを示す図
【図５】同装置において、重複領域を示すマッピングテーブルを示す図
【発明を実施するための形態】
【０００９】
以下、本発明の一実施の形態の画像処理装置について、図面を用いて説明する。
【００１０】
本実施の形態の画像処理装置を図１に示す。図１において、画像処理装置は、撮像部１が少なくとも車体の周囲を撮影する４つの撮像手段１ａ〜１ｄを有し、この撮像部１が撮像した情報信号は、ＥＣＵ２に入力される。ＣＰＵ４はＥＣＵ２に接続され、撮像部１からＥＣＵ２を介して画像情報を受信し、画像の不良画素を認識する画像認識手段５、補間画素を合成する画素合成手段６を有し、不良画素を補間する。表示部３はＣＰＵ４による処理結果を表示し、記憶部７はＣＰＵ４が画像処理を行う際に必要なデータの格納部として、マッピングテーブル８、不良画素パターン記憶手段９を有する。
【００１１】
撮像部１は、ＣＣＤ、ＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロの撮像手段、複数個で構成される。撮像手段１ａ〜１ｄは例えば魚眼レンズなどの高視野角のレンズを使って広範囲が撮影できるものを利用する。
【００１２】
図２は、車体に４つの撮像手段１ａ〜１ｄを設置し、車体の全周囲を撮像画像により確認できるようにした例である。撮像手段１ａは車体の前方のバンパー付近に設置され、撮像手段１ｂ、１ｃは車体側方のサイドミラーに設置され、撮像手段１ｄは車体後方に設置されている。各撮像手段１ａ〜１ｄで実際に撮影された画像は、図３の３１、３２、３３、３４に示すような画像となる。
【００１３】
以上のように構成された画像処理装置について、図４のフロー図を用いて、以下でその動作を説明する。
【００１４】
まず、車体の周囲を撮影する複数の撮像手段１ａ〜１ｄから得られた画像は、ＥＣＵ２を介してＣＰＵ４に入力される（ステップＳ１）。ＣＰＵ４の画像認識手段５は、撮像手段１ａ〜１ｄが撮像した画像と、記憶部７の不良画素パターン記憶手段９を比較する。不良画素パターン記憶手段９は、スミアやハレーションなどの強い光源の影響により、白とびを発生する画素の形状パターンを格納している。画像認識手段５は、撮像画像と不良画素パターン記憶手段９を比較して、不良画素領域を算出し、撮像画像における不良画素領域を認識する（ステップＳ２）。なお、画素認識手段５が、不良画素の形状パターンを認識できる現象は、スミアやハレーションなど強い光源の影響によるものだけではなく、一定時間たっても撮像された画素に変化が起こらない、撮像手段１ａ〜１ｄへの付着物や撮像手段１ａ〜１ｄを覆うカバーなどへの付着物がある画像にも適用可能である。
【００１５】
画素認識手段５がスミア、ハレーション等を起こしている不良画素を認識し、さらに一定時間、その認識が継続した場合（ステップＳ３）は、画像合成手段６はマッピングテーブル８を参照し、スミア、ハレーションなどを起こしている画素が、他の撮像手段でも撮像されていないかどうかの判定を行う。図５はマッピングテーブルを参照して、一方の撮像画像から同一部分を撮像している他方の撮像画像を参照し、画素座標を獲得する方法を示した図である。マッピングテーブル８は、撮像手段１ａの撮像画像５１と撮像手段１ｂの撮像画像５２において、同一部分を撮像している座標が１対１で対応づけられたテーブルである。画素合成手段６は、撮像画像５１上にある撮像画像の座標５３に対応する画素が、撮像画像５２に存在するかを知りたい場合は、マッピングテーブル８の画素座標一覧を参照する（ステップＳ４）。画像合成手段６は、マッピングテーブル８から撮像画像５１の座標５３に対応する撮像画像５２の座標５４を獲得する（ステップＳ５）。画像合成手段６は、表示部３に合成画像を表示する際に、スミア、ハレーションのない画素を優先的に利用して、スミア、ハレーションを起こしている画素に補間を行う（ステップＳ６）。これを移動体が移動中にリアルタイムの処理によって行われる。
【００１６】
このような上記実施の形態の画像処理装置を車体に搭載すれば、画素認識手段は、ある撮像手段により撮像した画像が、不良画素パターン記憶手段に記憶されている不良パターンの画素があるかどうかを認識し、画像合成手段は、記憶部のマッピングテーブルから不良画素に対応する他の撮像手段により撮像した画素を探し出し、その画素を補間することにより、表示画像中に一定時間スミア、ハレーションなどが発生しても、車両の運転者に美しい画像を提供することができる。
【産業上の利用可能性】
【００１７】
以上のように、本発明にかかる画像処理装置は、画素認識手段が第１の撮像手段により撮像した画像が、不良画素パターン記憶手段に記憶されている不良パターンの画素があるかどうかを認識し、画像合成手段は、記憶部のマッピングテーブルから不良画素に対応する第２の撮像手段により撮像した画素を探し出し、その画素を補間することにより、表示画像中に一定時間スミア、ハレーションなどが発生しても、車両の運転者に美しい画像を提供することができる画像処理装置として有用である。
【符号の説明】
【００１８】
１  撮像部
５  画像認識手段
６  画素合成手段
８  マッピングテーブル
９  不良画素パターン記憶手段
【図１】
2011160063.tif 000003
【図２】
2011160063.tif 000004
【図３】
2011160063.tif 000005
【図４】
2011160063.tif 000006
【図５】
2011160063.tif 000007