(57)【要約】      （修正有）【課題】画像内の対象物の位置を効率良く検出しつつ、フリッカを低減する画像処理装置を提供する。【解決手段】画像処理装置１００は、自車両１と認識対象との３次元空間での位置関係に基づいて、自車両の外部を写した、時間的に連続する複数の画像各々から、認識対象が写っていると推定される領域である対象領域を特定する特定手段と、複数の画像各々から対象領域を抽出することにより生成された複数の抽出画像を、位置関係に基づいて、互いに重ね合わせられるように補正する補正手段と、を備える。【選択図】図１
2020119212.tif 000002
【特許請求の範囲】
【請求項１】
自車両と認識対象との３次元空間での位置関係に基づいて、前記自車両の外部を写した、時間的に連続する複数の画像各々から、前記認識対象が写っていると推定される領域である対象領域を特定する特定手段と、
前記複数の画像各々から前記対象領域を抽出することにより生成された複数の抽出画像を、前記位置関係に基づいて、互いに重ね合わせられるように補正する補正手段と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、撮影された動画データのフリッカを低減するために、対象フレームの直前に撮影された直前フレームの画像と対象フレームの画像とから動きベクトルを検出し、直前フレームの補正画像のデータと該動きベクトルに基づいて移動画像のデータを生成し、対象フレームの画像のデータと、該移動画像のデータとに基づいて対象フレームの補正画像のデータを生成する装置が提案されている。その他関連する技術として、特許文献２が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−０３４４２２号公報
【特許文献２】特開２００７−１７８２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像から対象物（例えば信号機、道路標識等）を認識して、該認識された対象物に応じて車両を制御する技術が提案されている。他方で、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）素子を用いた信号機や道路標識等が増えてきている。ＬＥＤ素子の駆動周期と車両に搭載されたカメラの撮像周期とが異なる場合、フリッカが生じ、画像から対象物を正しく認識できない可能性がある。特許文献１に記載の技術では、直前フレームの画像と対象フレームの画像と用いてフリッカを低減している。しかしながら、特許文献１には、画像内の対象物の位置の検出方法については開示されていないという技術的問題点がある。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、画像内の対象物の位置を効率良く検出しつつ、フリッカを低減することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、自車両と認識対象との３次元空間での位置関係に基づいて、前記自車両の外部を写した、時間的に連続する複数の画像各々から、前記認識対象が写っていると推定される領域である対象領域を特定する特定手段と、前記複数の画像各々から前記対象領域を抽出することにより生成された複数の抽出画像を、前記位置関係に基づいて、互いに重ね合わせられるように補正する補正手段と、を備えるというものである。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】実施形態に係る画像処理の概念を示す概念図である。
【図３】実施形態に係る画像処理装置の動作を示すフローチャートである。
【図４】第１変形例に係る画像処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
画像処理装置に係る実施形態について図１乃至図３を参照して説明する。
【０００９】
（構成）
実施形態に係る画像処理装置の構成について図１を参照して説明する。図１は、実施形態に係る画像処理装置の構成を示すブロック図である。
【００１０】
図１において、画像処理装置１００は、車両１に搭載されている。車両１は、車両１の外部を撮像可能なカメラ１１、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）１２及び位置データベース（位置ＤＢ）１３を備えている。ここで、位置ＤＢ１３には、当該画像処理装置１００の認識対象（例えば信号機、道路標識等の設置位置が固定されているもの）の３次元位置（例えば緯度、経度、高さ等）が含まれている。位置ＤＢ１３は、例えば３次元地図情報等に基づいて構築すればよい。
【００１１】
画像処理装置１００は、例えばＬＥＤ素子を用いた信号機や道路標識等が撮像されることによるフリッカを低減するために、カメラ１１により撮像された複数の画像のうち時間的に連続する２以上の画像を合成して、フリッカが低減された画像を生成する。
【００１２】
画像処理装置１００は、フリッカが低減された画像の生成を実現するために、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、切り出し領域計算部１１０、切り出し領域補正部１２０、切り出し画像合成部１３０及び画像合成部１４０を備えて構成されている。
【００１３】
切り出し領域計算部１１０は、カメラ１１により撮像された時間的に連続する複数の画像データ（言い換えれば、動画データ）が入力されるとともに、ＧＮＳＳ１２の出力（即ち、車両１の位置を示す位置情報）が入力される。
【００１４】
切り出し領域計算部１１０は、車両１の位置を示す位置情報に基づいて、車両１の進路前方に存在する認識対象の位置を、位置ＤＢ１３から取得する。次に、切り出し領域計算部１１０は、位置情報及び認識対象の位置に基づいて、車両１と認識対象との３次元空間での位置関係を特定する。次に、切り出し領域計算部１１０は、該特定された位置関係と、例えばカメラ１１の光軸方向及び画角等とに基づいて、画像中の認識対象が写っていると推定される領域である切り出し領域を計算する。切り出し領域計算部１１０は、該計算された切り出し領域に基づいて、切り出し領域を設定する。
【００１５】
つまり、切り出し領域計算部１１０は、時刻ｔにおける車両１の位置を示す位置情報に基づいて、時刻ｔにおける車両１と認識対象との３次元空間での位置関係を特定して、カメラ１１により時刻ｔに撮像された画像に対して、切り出し領域を設定する。
【００１６】
切り出し領域補正部１２０は、切り出し領域計算部１１０により設定された切り出し領域に基づいて、カメラ１１により撮像された画像から該切り出し領域に含まれる画素データを抽出して、切り出し画像を生成する。
【００１７】
ここで、図２を参照して具体的に説明する。図２では、当該画像処理装置１００の認識対象としての信号機がカメラ１１により撮像されたとする。図２の最上段は、カメラ１１により撮像された時間的に連続する複数の画像を示している。該複数の画像中の点線で囲われた範囲が、切り出し領域計算部１１０により設定された切り出し領域に相当する。
【００１８】
切り出し領域補正部１２０は、各画像（即ち、“時刻ｔ＝Ｔ−Δｔ２”、“時刻ｔ＝Ｔ−Δｔ１”及び“時刻ｔ＝Ｔ”）中の点線で囲われた範囲を切り出して（即ち、切り出し領域に含まれる画素データを抽出して）切り出し画像を生成する（図２の上から２段目参照）。
【００１９】
車両１の走行時には、車両１と認識対象（図２では信号機）との位置関係が時々刻々と変化するため、画像中における認識対象の位置、大きさ及び姿勢（即ち、切り出し領域の位置、大きさ、形状等）も変化する。このため、各切り出し画像中における認識対象も大きさ等が互いに異なる。そこで、切り出し領域補正部１２０は、各切り出し画像中における認識対象を互いに重ね合わせられるように、各切り出し画像を補正する。このとき、切り出し領域補正部１２０は、上記３次元空間での位置関係に基づいて、各切り出し画像を補正する。
【００２０】
切り出し領域補正部１２０は、切り出し画像の補正の際に、切り出し画像中の認識対象が、予め定められた基準となる大きさ及び姿勢に合うように、該切り出し画像を補正してもよいし、一の切り出し画像中の認識対象の大きさ及び姿勢に合うように、他の切り出し画像を補正してもよい。尚、切り出し画像の補正には、既存の各種態様（例えば拡大、縮小、回転等）を適用可能であるので、その詳細な説明は省略する。
【００２１】
切り出し画像合成部１３０は、切り出し領域補正部１２０により補正された切り出し画像を合成して、合成画像を生成する（図２の下から２段目参照）。尚、切り出し画像の合成には、既存の各種態様を適用可能であるので、その詳細な説明は省略する。
【００２２】
画像合成部１４０は、上記合成画像を、対応する画像（図２では、“時刻ｔ＝Ｔ”に撮像された画像）の、切り出し領域に合成する（言い換えれば、切り出し領域を合成画像で上書きする）（図２の最下段参照）。このとき、対応する画像の切り出し領域の大きさ等が、合成画像の大きさ等と異なる場合、画像合成部１４０は、対応する画像から切り出された切り出し画像に施された補正（即ち、切り出し領域補正部１２０により該切り出し画像に施された補正）と逆の変換を合成画像に施した後に、該合成画像を対応する画像の切り出し領域に合成する。言い換えれば、画像合成部１４０は、対応する画像の切り出し領域の大きさ等に合うように、合成画像を補正した後に、該合成画像を対応する画像の切り出し領域に合成する。
【００２３】
（動作）
次に、画像処理装置１００の動作について図３のフローチャートを参照して説明する。
【００２４】
図３において、切り出し領域計算部１１０は、車両１の位置を示す位置情報と位置ＤＢ１３から取得された認識対象の位置とに基づいて、車両１と認識対象との３次元空間での位置関係を特定して切り出し領域を計算し、カメラ１１により撮像された画像に対して切り出し領域を設定する（ステップＳ１０１）。
【００２５】
次に、切り出し領域補正部１２０は、切り出し領域に基づいて、カメラ１１により撮像された画像から切り出し画像を生成する（ステップＳ１０２）。続いて、切り出し領域補正部１２０は、互いに重ね合わせられるように、上記３次元空間での位置関係に基づいて各切り出し画像を補正する（ステップＳ１０３）。
【００２６】
切り出し画像合成部１３０は、補正された切り出し画像を合成して合成画像を生成する（ステップＳ１０４）。画像合成部１４０は、合成画像に対し、対応する画像（即ち、カメラ１１により撮像された画像）の切り出し領域の大きさ等に合うように、該対応する画像から切り出された切り出し画像に施された補正と逆の変換を施す（ステップＳ１０５）。
【００２７】
次に、画像合成部１４０は、変換後の合成画像を、対応する画像（最新時刻（図２の“時刻ｔ＝Ｔ”の画像に相当）の画像）の切り出し領域に上書きする（ステップＳ１０６）。尚、ステップＳ１０５の処理は、ステップＳ１０３における補正方法によっては実行されなくてもよい。
【００２８】
（技術的効果）
車両１の走行時には、上述したように、車両１と認識対象との位置関係が時々刻々と変化する。仮にカメラ１１により撮像された画像だけから認識対象が検出される場合、例えば、一の時刻に撮像された画像から検出された認識対象と、該一の時刻の直前に撮像された画像から検出された認識対象とが同一であるか否かを判定する必要がある。つまり、カメラ１１により撮像された画像だけから認識対象が検出される場合、認識対象の検出に比較的手間がかかるという技術的問題点がある。
【００２９】
しかるに当該画像処理装置１００では、車両１と認識対象との３次元空間での位置関係に基づいて、切り出し領域（即ち、画像中で認識対象が写っていると推定される領域）が計算される。このように構成すれば、時間経過に伴い認識対象の写り方が変わったとしても、比較的容易にして認識対象を検出することができる。
【００３０】
当該画像処理装置１００では更に、切り出し画像が補正される際にも、車両１と認識対象との３次元空間での位置関係に基づいて補正が行われる。このため、比較的容易にして、各切り出し画像を、互いに重ね合わせられるように補正することができる。
【００３１】
＜第１変形例＞
上述した実施形態の第１変形例について図４を参照して説明する。図４は、第１変形例に係る画像処理装置の構成を示すブロック図である。
【００３２】
図４において、画像処理装置１００は車両１´に搭載されている。車両１´は、ＧＮＳＳ１２及び位置ＤＢ１３（図１参照）に代えて、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）１４を備えている。
【００３３】
切り出し領域計算部１１０は、ＬｉＤＡＲ１４の出力（即ち、３次元測量の結果）に基づいて、車両１と認識対象との３次元空間での位置関係を特定する。切り出し領域計算部１１０は、該特定された位置関係に基づいて、切り出し領域を設定する。
【００３４】
切り出し領域補正部１２０は、上記特定された位置関係に基づいて、切り出し画像を補正する。
【００３５】
＜第２変形例＞
上述した実施形態に係る車両１（図１参照）は、ＧＮＳＳ１２及び位置ＤＢ１３に加えて、ＬｉＤＡＲ１４（図４参照）を備えていてよい。切り出し領域計算部１１０は、ＬｉＤＡＲ１４の出力を補助的に利用して、車両１と認識対象との３次元空間での位置関係を特定してよい。
【００３６】
以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。
【００３７】
発明の一態様に係る画像処理装置は、自車両と認識対象との３次元空間での位置関係に基づいて、前記自車両の外部を写した、時間的に連続する複数の画像各々から、前記認識対象が写っていると推定される領域である対象領域を特定する特定手段と、前記複数の画像各々から前記対象領域を抽出することにより生成された複数の抽出画像を、前記位置関係に基づいて、互いに重ね合わせられるように補正する補正手段と、を備えるというものである。上述の実施形態においては、「切り出し領域計算部１１０」が「特定手段」の一例に相当し、「切り出し領域補正部１２０」が「補正手段」の一例に相当する。上述の実施形態における「切り出し領域」が「対象領域」の一例に相当し、「切り出し画像」が「抽出画像」の一例に相当する。
【００３８】
自車両が走行している場合、自車両と認識対象との位置関係は時々刻々と変化する。このため、画像内における認識対象の位置、大きさ及び姿勢は、時間と共に変化することになる（即ち、時刻ｔ−１に取得された画像内における認識対象の位置、大きさ及び姿勢と、時刻ｔに取得された画像内における認識対象の位置、大きさ及び姿勢とが互いに異なることになる）。
【００３９】
自車両に搭載されているカメラの撮像範囲は、典型的には、固定である。このため、自車両と認識対象との３次元空間での位置関係を知ることができれば、画像内における認識対象が写っていると推定される対象領域を特定することができる。つまり、上記３次元空間での位置関係を用いれば、例えば物標検出やパターンマッチング等の画像処理を行うことなく、認識対象が写っていると推定される領域を特定することができる。従って、上記３次元空間での位置関係に基づいて対象領域が特定される当該画像処理装置によれば、画像内の認識対象の位置を効率良く検出することができる。
【００４０】
「３次元空間での位置関係」は、例えばＧＮＳＳ等を用いて計測された自車両の位置と、３次元地図情報とから求めればよい。或いは、例えば自車両に搭載されたＬｉＤＡＲ等を用いて取得された３次元測量の結果から求めればよい。
【００４１】
当該画像処理装置では更に、補正手段により、複数の画像各々から抽出された対象領域から生成された複数の抽出画像が、互いに重ね合わせられるように補正される。このため、補正された複数の抽出画像を重ね合わせれば（例えば、画素値を加算すれば）、フリッカが低減された画像を生成することができる。従って、当該画像処理装置によれば、フリッカを低減することができる。
【００４２】
尚、「互いに重ね合わせられるように補正」とは、基準となる抽出画像における認識対象の大きさ及び姿勢に対応するように、他の抽出画像に画像処理（例えば拡大、縮小、回転等）を施すことを意味する。
【００４３】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００４４】
１、１´…車両、１１…カメラ、１２…ＧＮＳＳ、１３…位置データベース、１４…ＬｉＤＡＲ、１００…画像処理装置、１１０…切り出し領域計算部、１２０…切り出し領域補正部、１３０…切り出し画像合成部、１４０…画像合成部
【図１】
2020119212.tif 000003
【図２】
2020119212.tif 000004
【図３】
2020119212.tif 000005
【図４】
2020119212.tif 000006