(57)【要約】【課題】カメラで撮像された画像の歪みを好適に推定する。【解決手段】画像処理装置（２００）は、第１カメラ（１１０）と、第１カメラと少なくとも部分的に撮像範囲の重なる第２カメラ（２００）とで撮像された画像を処理する。画像処理装置は、第１カメラで撮像された歪みが既知である第１画像を取得する第１取得手段（２１０）と、第２カメラで撮像された歪みが既知でない第２画像を取得する第２取得手段（２２０）と、第１画像と第２画像とを撮像範囲の重なる領域で比較する比較手段（２３０）と、比較手段の比較結果に基づいて、第２画像の歪みを推定する推定手段（２４０）とを備える。【選択図】図１
2020042578.tif 000002
【特許請求の範囲】
【請求項１】
第１カメラと、前記第１カメラと少なくとも部分的に撮像範囲の重なる第２カメラとで撮像された画像を処理する画像処理装置であって、
前記第１カメラで撮像された歪みが既知である第１画像を取得する第１取得手段と、
前記第２カメラで撮像された歪みが既知でない第２画像を取得する第２取得手段と、
前記第１画像と前記第２画像とを撮像範囲の重なる領域で比較する比較手段と、
前記比較手段の比較結果に基づいて、前記第２画像の歪みを推定する推定手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪みのある画像を処理する画像処理装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、画像の歪みを小さくする歪み補正処理を実行するものが知られている。例えば特許文献１では、複数の幾何テーブルを組み合わせて、ステレオカメラと保護フードとの幾何学的歪を除去する技術が開示されている。特許文献２では、広角レンズの歪みを、容量の小さなメモリで高精度に補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−０６２１９８号公報
【特許文献２】特開２０１３−１０９４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数のカメラを用いる装置では、故障等によって一部のカメラを交換することがある。この際、交換したカメラについては、新たに歪み補正を行うことが好ましいが、歪み補正を行うためには、交換したカメラの歪みがどの程度なのか把握することが要求される。しかしながら、上述した特許文献を含む従来技術では、交換したカメラの歪みを把握するのに膨大な工数や経費が発生してしまうおそれがある。即ち、歪み補正が行なわれていないカメラについて、歪みに関する情報を把握するのは容易ではない。
【０００５】
本発明は、例えば上記問題点に鑑みてなされたものであり、カメラで撮像された画像の歪みを好適に推定することが可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置の一態様では、第１カメラと、前記第１カメラと少なくとも部分的に撮像範囲の重なる第２カメラとで撮像された画像を処理する画像処理装置であって前記第１カメラで撮像された歪みが既知である第１画像を取得する第１取得手段と、前記第２カメラで撮像された歪みが既知でない第２画像を取得する第２取得手段と、前記第１画像と前記第２画像とを撮像範囲の重なる領域で比較する比較手段と、前記比較手段の比較結果に基づいて、前記第２画像の歪みを推定する推定手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】実施形態に係る画像処理装置の動作の流れを示すフローチャートである。
【図３】広角カメラ画像と狭角カメラ画像との比較方法を示す概念図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して画像処理装置の実施形態について説明する。
【０００９】
＜装置構成＞
まず、本実施形態に係る画像処理装置の構成について、図１を参照して説明する。図１は、実施形態に係る画像処理装置の構成を示すブロック図である。
【００１０】
図１に示すように、本実施形態に係る画像処理装置２００は、車両１０に搭載されている。車両１０には、画像処理装置２００に加えて、画像処理装置２００で処理する画像を撮像する車載カメラ１００も設けられている。
【００１１】
車載カメラ１００は、例えばフロントガラス越しに車両１０前方を撮像可能なカメラであり、互いに画角の異なる広角カメラ１１０及び狭角カメラ１２０を備えている。広角カメラ１１０及び狭角カメラ１２０は、少なくとも部分的に撮像範囲が重なるように配置されている。例えば、広角カメラ１１０の撮像範囲の中心付近と、狭角カメラの撮像範囲全体とが、互いに重なるように配置されている。広角カメラ１１０及び狭角カメラ１２０の各々は、後述する付記における「第１カメラ」、「第２カメラ」の一具体例である。
【００１２】
なお、本実施形態に係る「歪み」は、撮像された画像に生ずる歪みであり、カメラが有するレンズに起因する歪みの他、車両のフロントガラスに起因する歪み等を含んでいてもよい。広角カメラ１１０で撮像された画像は、その特性上、ほとんど歪みは生じない。その一方で、狭角カメラ１２０で撮像された画像は、画像の外側にいくほど大きな歪みが生ずることになる。
【００１３】
画像処理装置２００は、例えば車両１０に搭載されるＥＣＵ（Ｅｌｅｃｔｒｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）として構成されており、その機能を実現するための論理的な処理ブロック又は物理的な処理回路として、第１画像取得部２１０、第２画像取得部２２０、画像比較部２３０、歪み推定部２４０、及び歪み補正部２５０を備えている。
【００１４】
第１画像取得部２１０は、広角カメラ１１０で撮像された画像（以下、適宜「広角カメラ画像」と称する）を取得可能に構成されている。第２画像取得部２２０は、狭角カメラ１２０で撮像された画像（以下、適宜「狭角カメラ画像」と称する）を取得可能に構成されている。第１画像取得部２１０で取得された広角カメラ画像、及び第２画像取得部２２０で取得された狭角カメラ画像は、それぞれ画像比較部２３０に出力される構成となっている。なお、第１画像取得部２１０及び第２画像取得部２２０は、後述する付記における「第１取得手段」及び「第２取得手段」の一具体例である。
【００１５】
画像比較部２３０は、第１画像取得部２１０で取得された広角カメラ画像と、第２画像取得部２２０で取得された狭角カメラ画像とを互いに比較可能に構成されている。具体的には、画像比較部２３０は、広角カメラ画像と狭角カメラ画像とで撮像範囲が重なる部分について、画像上のエッジ、コーナー、及びフロー等を特徴点とし、特徴点の対応付けを行う。この際、広角カメラ１１０と狭角カメラ１２０との色特性を合わせこんで、対応付けの精度向上を図ることもできる。なお、特徴点を利用する具体的な画像比較方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。画像比較部２３０による比較結果は、歪み推定部２４０に出力される構成となっている。画像比較部２３０は、後述する付記における「比較手段」の一具体例である。
【００１６】
歪み推定部２４０は、画像比較部２３０の比較結果（即ち、特徴点の対応付けの結果）に基づいて、狭角カメラ画像の歪みを推定することが可能に構成されている。即ち、歪みのない広角カメラ画像と、歪みのある狭角カメラ画像とを比較することで、狭角カメラにどの程度の歪みが生じているか（即ち、歪み量）を推定することができる。なお、歪み量の具体的な推定方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。歪み推定部２４０で推定された歪み量は、歪み補正部２５０に出力される構成となっている。歪み推定部２４０は、後述する付記における「推定手段」の一具体例である。
【００１７】
歪み補正部２５０は、歪み推定部２４０で推定された歪み量に基づいて、狭角カメラ画像の歪みを補正する処理（以下、適宜「歪み補正処理」と称する）を実行可能に構成されている。歪み補正処理によれば、狭角カメラ画像に生じている歪みを極めて小さくすることが可能である。歪み補正処理の具体的な処理内容については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。
【００１８】
＜動作説明＞
次に、本実施形態に係る画像処理装置２００の動作の流れについて、図２を参照して説明する。図２は、実施形態に係る画像処理装置の動作の流れを示すフローチャートである。
【００１９】
図２に示すように、本実施形態に係る画像処理装置２００の動作時には、まず第１画像取得部２１０及び第２画像取得部２２０の各々が、広角カメラ画像及び狭角カメラ画像を取得する（ステップＳ１１）。
【００２０】
続いて、画像比較部２３０が、広角カメラ画像及び狭角カメラ画像を互いに比較する。ここで、画像比較部２３０による具体的な比較動作について、図３を参照して説明する。図３は、広角カメラ画像と狭角カメラ画像との比較方法を示す概念図である。
【００２１】
図３に示すように、広角カメラ画像には歪みがない一方で、狭角カメラ画像には外側ほど大きな歪みが生じている。画像比較部２３０は、これら２つの画像を比較するために、広角カメラ画像の一部を抽出する。即ち、狭角カメラ画像の撮像範囲に重なる領域を抽出する。このようにすれば、画像の比較を容易に行うことができる。ただし、図３のように画像に収まる範囲がぴったり重ならない場合でも、画像の比較を行うことは可能である。例えば、広角カメラ画像及び狭角カメラ画像の両方に同じ物標（例えば、図３の先行車２０）が写り込んでいれば、その物標を対象として画像の比較（即ち、特徴点の対応付け）が行える。
【００２２】
図２に戻り、続いて、歪み推定部２４０が、比較結果に基づき狭角カメラ画像の歪み量を推定する（ステップＳ１３）。そして、歪み補正部２４０が、推定された歪み量を用いて、狭角カメラ画像に対する歪み補正処理を実行する（ステップＳ１４）。
【００２３】
＜技術的効果＞
次に、本実施形態に係る画像処理装置２００によって得られる技術的効果について説明する。
【００２４】
図１から３で示したように、本実施形態に係る画像処理装置２００によれば、広角カメラ画像と狭角カメラ画像とを比較することで推定された歪み量を用いて、狭角カメラ画像に生じている歪みが補正される。これにより、狭角カメラ画像に生じていた歪みを小さくすることができる。その結果、例えば車載カメラ１００で撮像された画像を利用した物標検出処理等を好適に実行することが可能となる。
【００２５】
なお、本実施形態では、歪みのない広角カメラ画像、及び歪みのある狭角カメラ画像を用いる例について説明したが、一方のカメラで撮像された画像の歪みが既知であれば、他方のカメラで撮像された画像（即ち、歪みが既知でない画像）の歪みを推定することができる。
【００２６】
また、歪みが既知である画像については、すでに歪み補正処理を行った画像を用いることもできる。具体的には、歪み補正処理で歪みが実質的になくなった画像と、歪みが既知でない画像とを比較するようにしてもよい。このような構成によれば、例えば、すでに歪み補正処理を行っている複数のカメラのうち、１つのカメラを故障等で交換した場合に、交換によって新たに設置されたカメラ（即ち、補正処理が行なわれていないカメラ）の歪み量を好適に推定し、適切な歪み補正処理を行うことができる。
＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。
【００２７】
（付記１）
付記１に記載の画像処理装置は、第１カメラと、前記第１カメラと少なくとも部分的に撮像範囲の重なる第２カメラとで撮像された画像を処理する画像処理装置であって、前記第１カメラで撮像された歪みが既知である第１画像を取得する第１取得手段と、前記第２カメラで撮像された歪みが既知でない第２画像を取得する第２取得手段と、前記第１画像と前記第２画像とを撮像範囲の重なる領域で比較する比較手段と、前記比較手段の比較結果に基づいて、前記第２画像の歪みを推定する推定手段とを備える。
【００２８】
付記１に記載の画像処理装置によれば、歪みが既知である第１画像と、歪みが既知でない第２画像とを比較することで、第２画像の歪みを好適に推定することができる。よって、例えば第２画像に対する歪み補正を適切に実行することが可能である。
（付記２）
付記２に記載の画像処理装置は、画像の歪みを補正する補正手段を更に備え、前記第１画像は、前記補正手段により、歪みが所定値以下になるように補正されたものである。
【００２９】
付記２に記載の画像処理装置によれば、第１画像の歪みが所定値以下（具体的には、実質的に歪みがないと言える程度に歪みが小さい状態）になるよう補正されているため、第２画像にどの程度の歪みがあるのかを容易に推定することができる。
【００３０】
（付記３）
付記３に記載の画像処理装置では、前記補正手段は、前記第２画像の歪みを前記推定された歪みに基づいて補正する。
【００３１】
付記３に記載の画像処理装置によれば、第２画像の歪みを好適に補正することができる。
【００３２】
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００３３】
１０  車両
２０  先行車
１００  車載カメラ
１１０  広角カメラ
１２０  狭角カメラ
２００画像処理装置
２１０  第１画像取得部
２２０  第２画像取得部
２３０  画像比較部
２４０  歪み推定部
２５０  歪み補正部
【図１】
2020042578.tif 000003
【図２】
2020042578.tif 000004
【図３】
2020042578.tif 000005