(57)【要約】【課題】撮像画像の低解像度領域の画質の向上を図る。【解決手段】画像処理装置（１０）は、自車両（１）の外部を撮像した画像、並びに、該画像の撮像時刻における自車両の位置及び姿勢を取得する取得手段（１１）と、画像を構成する複数のピクセル各々の３次元座標を算出する算出手段（１３）と、一の撮像時刻に撮像された一の画像と、該一の撮像時刻より前に撮像された複数の過去画像とに基づいて所定の画像処理を行い、一の撮像時刻における補正画像を生成する生成手段（１４）と、を備える。生成手段は、所定の画像処理として、複数の過去画像各々を構成する各ピクセルの３次元座標を、複数の過去画像各々の撮像時刻の自車両の位置及び姿勢と、一の撮像時刻の自車両の位置及び姿勢とに基づいて、一の撮像時刻における３次元座標に変換し、各過去画像を構成する各ピクセルの画素値から、一の画像を構成するピクセルを補完するサブピクセルの画素値を求める。【選択図】図４
2019070927.tif 000002
【特許請求の範囲】
【請求項１】
自車両の外部を撮像した画像、並びに、前記画像の撮像時刻における前記自車両の位置及び姿勢を取得する取得手段と、
前記画像を構成する複数のピクセル各々の３次元座標を算出する算出手段と、
一の撮像時刻に撮像された一の画像と、前記一の撮像時刻より前に撮像された複数の画像である複数の過去画像とに基づいて所定の画像処理を行い、前記一の撮像時刻における補正画像を生成する生成手段と、
を備え、
前記生成手段は、前記所定の画像処理として、前記複数の過去画像各々を構成する複数のピクセル各々の３次元座標を、前記複数の過去画像各々の撮像時刻の前記自車両の位置及び姿勢と、前記一の撮像時刻の前記自車両の位置及び姿勢とに基づいて、前記一の撮像時刻における３次元座標に変換し、前記複数の過去画像各々を構成する複数のピクセル各々の画素値から、前記一の画像を構成する複数のピクセルを補完するサブピクセルの画素値を求める
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、魚眼レンズにより撮像された歪み画像の鮮鋭感を向上させた後、歪み補正を行う装置が提案されている（特許文献１参照）。或いは、広角レンズにより撮像された画像の歪み補正を行う装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２０７０６号公報
【特許文献２】国際公開第２０１２／０５６９８２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の背景技術では、一つの画像に係る情報（例えば画素値）にのみ基づいて画質の向上が図られ改良の余地がある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、画質の向上を図ることができる画像処理装置を提案することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、自車両の外部を撮像した画像、並びに、前記画像の撮像時刻における前記自車両の位置及び姿勢を取得する取得手段と、前記画像を構成する複数のピクセル各々の３次元座標を算出する算出手段と、一の撮像時刻に撮像された一の画像と、前記一の撮像時刻より前に撮像された複数の画像である複数の過去画像とに基づいて所定の画像処理を行い、前記一の撮像時刻における補正画像を生成する生成手段と、を備え、前記生成手段は、前記所定の画像処理として、前記複数の過去画像各々を構成する複数のピクセル各々の３次元座標を、前記複数の過去画像各々の撮像時刻の前記自車両の位置及び姿勢と、前記一の撮像時刻の前記自車両の位置及び姿勢とに基づいて、前記一の撮像時刻における３次元座標に変換し、前記複数の過去画像各々を構成する複数のピクセル各々の画素値から、前記一の画像を構成する複数のピクセルを補完するサブピクセルの画素値を求めるというものである。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】画像処理の問題点の一例を説明する図である。
【図３】実施形態に係る画像処理の概念を示す図である。
【図４】実施形態に係る画像処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
実施形態に係る画像処理装置について図面に基づいて説明する。
【０００９】
（構成）
実施形態に係る画像処理装置の構成について図１を参照して説明する。図１は、実施形態に係る画像処理装置の構成を示すブロック図である。
【００１０】
図１において、画像処理装置１０は、車両１に搭載されている。車両１は、該車両１の外部を撮像可能に設置されたカメラ２１と、該車両１の位置を検出する位置検出部２２と、該車両１の姿勢（例えばロール角、ピッチ角、ヨー角等）を検出する内界センサ２３と、を備えて構成されている。
【００１１】
画像処理装置１０は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、取得部１１、記憶部１２、算出部１３及び補正部１４を備えて構成されている。
【００１２】
取得部１１は、カメラ２１により撮像された画像を取得し、記憶部１２に保存する。取得部１１は更に、上記画像の撮像時刻に位置検出部２２により検出された車両１の位置を示す情報、及び該撮像時刻に内界センサ２３により検出された車両１の姿勢を示す情報を取得し、車両１の位置及び姿勢各々を示す情報を該撮像時刻と紐付けて記憶部１２に保存する。尚、算出部１３及び補正部１４については後述する。
【００１３】
（問題点）
車両１に搭載されるカメラ２１の画角を広げるために、該カメラ２１には、例えば広角レンズや魚眼レンズ等の高歪度レンズが採用されることが多い。このようなカメラ２１により撮像された画像は、例えば図２（ａ）に示すように、歪み収差を持つ画像（以降、適宜“歪み画像”と称する）となる。画像処理装置１０は、この歪み収差を補正するために、歪み画像に対して歪み補正処理を施す。
【００１４】
ここで、カメラ２１により撮像された画像は、高歪度レンズに起因して、画角が大きくなるほど画像の解像度が低下する。このため、歪み画像に対して歪み補正処理を施すと、例えば図２（ｂ）に示すように、画像の水平方向の端部領域に擬似エッジが発生することがある。
【００１５】
そこで、当該画像処理装置１０は、歪み補正処理として以下の処理を実施する。
【００１６】
（画像処理）
画像処理装置１０の算出部１３は、カメラ２１により撮像された各画像（即ち、記憶部１２に保存されている各画像）を構成する複数のピクセル各々の、車両１の位置を原点とする３次元座標を、例えばオプティカルフロー情報、視差情報、ライダー点群情報等を参照して算出する。算出部１３は、算出された３次元座標を、該３次元座標が算出された画像の撮像時刻に紐付けられた車両１の位置及び姿勢各々を示す情報に紐付けて記憶部１２に保存する。
【００１７】
尚、３次元座標の算出には、例えばＲＧＢＤ−ＩＣＰ（Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ）等の既存の技術を適用可能であるので、その詳細についての説明は省略する。
【００１８】
画像処理装置１０の補正部１４による歪み補正処理を説明するに当たり、次のことを前提とする。歪み補正処理が施される画像は、時刻ｔに撮像された画像である。歪み補正処理には、時刻ｔに撮像された画像に加えて、時刻ｔより前の時刻ｔ−１〜時刻ｔ−Ｎに撮像された複数の画像が用いられる。
【００１９】
本実施形態に係る歪み補正処理では、時刻ｔに撮像された画像を構成するピクセル（特に、画像の広画角領域を構成するピクセル）に、一又は複数のサブピクセルが追加される。ここで、「広画角領域」とは、例えば図２（ａ）に示す歪み画像のうち外縁近傍の領域等の画角が比較的大きく、且つ、解像度が比較的低い領域を意味する。
【００２０】
具体的には例えば、時刻ｔに撮像された画像の４つのピクセルからなる領域（図３（ａ）参照）に歪み補正処理が施される場合、上記４つのピクセルにより描画される画像を補完するための５つのサブピクセルが追加される（図３（ｂ）参照）。各サブピクセルの画素値は、時刻ｔ−１〜時刻ｔ−Ｎに撮像された各画像を構成するピクセルの画素値から求められる。
【００２１】
補正部１４は、時刻ｔに紐付けられた車両１の位置及び姿勢各々を示す情報と、時刻ｔ−１に紐付けられた車両１の位置及び姿勢各々を示す情報と、に基づいて、時刻ｔ−１に撮像された画像（即ち、時刻ｔ−１の歪み画像）の各ピクセルの３次元座標（即ち、時刻ｔ−１の車両１の位置を原点とする３次元座標）を、時刻ｔの車両１の位置を原点とする３次元座標に座標変換するための座標変換行列を求める。次に、補正部１４は、該求められた座標変換行列を用いて、時刻ｔ−１に撮像された画像の各ピクセルの３次元座標を、時刻ｔの車両１の位置を原点とする３次元座標に座標変換する。補正部１４は、同様の処理を、時刻ｔ−２〜時刻ｔ−Ｎに撮像された複数の画像各々に対して行う。
【００２２】
次に、補正部１４は、画素値を求めたいサブピクセルの座標の近傍に座標変換された時刻ｔ−１〜時刻ｔ−Ｎに撮像された各画像の一又は複数のピクセルの画素値に基づいて、該サブピクセルの画素値を求める。サブピクセルの画素値を求める方法には、例えばバイキュービックや最近傍法等の既存の方法を適用可能であるので、その詳細についての説明は省略する。
【００２３】
補正部１４は、時刻ｔに撮像された画像を構成する複数のピクセルと、上述の如く画素値が求められた一又は複数のサブピクセルとを用いて、歪み収差が補正された時刻ｔの画像を生成する。本実施形態に係る歪み補正処理により、時刻ｔに撮像された画像は、歪み収差が補正されるとともに高解像度化される。
【００２４】
実施形態に係る画像処理について、図４のフローチャートを参照して説明を加える。
【００２５】
図４において、算出部１３は、時刻ｔに撮像された画像の各ピクセルの３次元座標を算出（特定）し、当該処理と並行して行われるステップＳ１０３の処理で取得された時刻ｔの車両１の位置及び姿勢各々を示す情報と紐付けて、該算出された３次元座標を記憶部１２に保存する（ステップＳ１０１）。
【００２６】
上記ステップＳ１０１の処理と並行して、取得部１１は、時刻ｔ１の車両１の位置及び姿勢各々を示す情報を、撮像時刻（即ち、時刻ｔ１）と紐付けて記憶部１２に保存する（ステップＳ１０３）。
【００２７】
次に、補正部１４は、時刻ｔに撮像された画像のうち高解像度化する（即ち、歪み補正処理を施す）領域を決定する（ステップＳ１０２）。歪み補正処理が施される領域は、画像の一部に限らず、画像全体であってよい。
【００２８】
次に、補正部１４は、時刻ｔ−１に紐付けられた車両１の位置及び姿勢各々を示す情報を参照し（ステップＳ１０４）、時刻ｔ−１に撮像された画像の各ピクセルの３次元座標を、時刻ｔの車両１の位置を原点とする３次元座標に座標変換するための座標変換行列を求める（ステップＳ１０５）。
【００２９】
次に、補正部１４は、時刻ｔ−１に撮像された画像の各ピクセルの３次元座標を参照し（ステップＳ１０６）、ステップＳ１０５の処理で求められた座標変換行列を用いて、時刻ｔ−１に撮像された画像の各ピクセルの３次元座標を、時刻ｔの車両１の位置を原点とする３次元座標に座標変換する（即ち、投影する）（ステップＳ１０７）。
【００３０】
補正部１４は、ステップＳ１０４〜Ｓ１０７と同様の処理を、時刻ｔ−２〜時刻ｔ−Ｎに撮像された複数の画像各々に対して行う。
【００３１】
その後、補正部１４は、画素値を求めたいサブピクセルの座標の近傍に座標変換された時刻ｔ−１〜時刻ｔ−Ｎに撮像された各画像の一又は複数のピクセルの画素値に基づいて、該サブピクセルの画素値を求める。そして、補正部１４は、時刻ｔに撮像された画像を構成する複数のピクセルと一又は複数のサブピクセルとを用いて、歪み収差が補正された時刻ｔの画像を生成する（ステップＳ１０８）。
【００３２】
（技術的効果）
カメラ２１の位置（本実施形態では車両１の位置）が変化したとしても、時間的に連続する複数の画像には同一の被写体が写っている可能性が高い。他方で、同一の被写体であっても、画像間で写り方が異なっている可能性もある。当該画像処理装置１０では、上述の座標変換行列を用いることにより、同一の被写体の画像間の写り方の違いが補正される。このため、当該画像処理装置１０では、時間的に連続する複数の画像間において、同一被写体の位置合わせを精度良く行うことができる。
【００３３】
当該画像処理装置１０では、座標変換行列を用いて座標変換された時刻ｔ−１〜時刻ｔ−Ｎに撮像された各画像の一又は複数のピクセルの画素値に基づいて画素値が求められた一又は複数のサブピクセルと、時刻ｔに撮像された画像の各ピクセルとを用いて、歪み収差が補正された時刻ｔの画像が生成される。
【００３４】
このため、当該画像処理装置１０では、時刻ｔ−１〜時刻ｔ−Ｎに撮像された（即ち、歪み補正処理の対象画像より過去に撮像された）複数の画像を用いて、時刻ｔ〜時刻ｔ−Ｎの少なくとも一部の期間に撮像された同一被写体を高解像度化することができる。特に、時刻ｔ１に撮像された画像のうち広画角領域に写っている被写体を高解像度化することができる。つまり、当該画像処理装置１０によれば、例えば図２（ｂ）に示すような擬似エッジの発生を抑制することができる。
【００３５】
以上の結果、当該画像処理装置１０によれば、上述の歪み補正処理により画質の向上を図ることができる。
【００３６】
以上に説明した実施形態から導き出される発明の態様を以下に説明する。
【００３７】
発明の一態様に係る画像処理装置は、自車両の外部を撮像した画像、並びに、前記画像の撮像時刻における前記自車両の位置及び姿勢を取得する取得手段と、前記画像を構成する複数のピクセル各々の３次元座標を算出する算出手段と、一の撮像時刻に撮像された一の画像と、前記一の撮像時刻より前に撮像された複数の画像である複数の過去画像とに基づいて所定の画像処理を行い、前記一の撮像時刻における補正画像を生成する生成手段と、を備え、前記生成手段は、前記所定の画像処理として、前記複数の過去画像各々を構成する複数のピクセル各々の３次元座標を、前記複数の過去画像各々の撮像時刻の前記自車両の位置及び姿勢と、前記一の撮像時刻の前記自車両の位置及び姿勢とに基づいて、前記一の撮像時刻における３次元座標に変換し、前記複数の過去画像各々を構成する複数のピクセル各々の画素値から、前記一の画像を構成する複数のピクセルを補完するサブピクセルの画素値を求めるというものである。上述の実施形態においては、「取得部１１」が取得手段の一例に相当し、「算出部１３」が算出手段の一例に相当し、「補正部１４」が生成手段の一例に相当する。
【００３８】
当該画像処理装置では、一の画像を構成する複数のピクセルを補完するサブピクセルにより、該一の画像が高解像度化される。従って、当該画像処理装置によれば、画質の向上を図ることができる。ここで、各サブピクセルの画素値は、一の撮像時刻における３次元座標に変換された複数の過去画像各々を構成する複数のピクセルのうち、画素値を求めたいサブピクセルの近傍に変換されたピクセルの画素値から求められる。尚、サブピクセルの画素値を求める方法には、例えばバイキュービックや最近傍法等の既存の方法を適用可能である。
【００３９】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００４０】
１…車両、１０…画像処理装置、１１…取得部、１２…記憶部、１３…算出部、１４…補正部、２１…カメラ、２２…位置検出部、２３…内界センサ
【図１】
2019070927.tif 000003
【図２】
2019070927.tif 000004
【図３】
2019070927.tif 000005
【図４】
2019070927.tif 000006