(57)【要約】【課題】計算資源を節約しながら、カメラの取り付け誤差を解消する。【解決手段】物体に取り付けられたカメラが撮像した画像を調整する画像調整装置が、処理部を備え、前記処理部が、前記取得した画像の一部を所定の面へと投影し、前記取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影し、前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行う。【選択図】図４
2020145548.tif 000002
【特許請求の範囲】
【請求項１】
物体に取り付けられたカメラが取得した画像を調整する、画像調整装置であって、
処理部を備え、
前記処理部が、
前記取得した画像の一部を所定の面へと投影し、
前記取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影し、
前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行う、
画像調整装置。
【請求項２】
請求項１に記載の画像調整装置であって、
前記所定の面は、前記カメラの位置から所定の距離に含まれる面である、
画像調整装置。
【請求項３】
請求項２に記載の画像調整装置であって、
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、６メートル以上７メートル未満である、
画像調整装置。
【請求項４】
請求項２に記載の画像調整装置であって、
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、７メートル以上１０メートル未満である、
画像調整装置。
【請求項５】
請求項３または請求項４に記載の画像調整装置であって、
前記回転および／または平行移動が行われた後の画像に、車両の後退支援用のガイドを重畳して出力する、
画像調整装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像調整装置であって、
メモリを更に備えており、
前記所定の面および前記球欠面に画像を投影する前の座標の値と、前記回転および／または平行移動が行われた後の座標の値との間の対応関係を示すデータをメモリに保存する、
画像調整装置。
【請求項７】
物体に取り付けられたカメラが撮像した画像を調整する、画像調整プログラムであって、
装置が有する処理部に、
取得した画像の一部を所定の面へと投影し、取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影するステップと、
前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行うステップと、
を実行させる、
画像調整プログラム。
【請求項８】
請求項７に記載の画像調整プログラムであって、
前記所定の面は、前記カメラの位置から所定の距離に含まれる面である、
画像調整プログラム。
【請求項９】
請求項８に記載の画像調整プログラムであって、
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、６メートル以上７メートル未満である、
画像調整プログラム。
【請求項１０】
請求項８に記載の画像調整プログラムであって、
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、７メートル以上１０メートル未満である、
画像調整プログラム。
【請求項１１】
請求項９または請求項１０に記載の画像調整プログラムであって、
前記回転および／または平行移動が行われた後の画像に、車両の後退支援用のガイドを重畳して出力する、
画像調整プログラム。
【請求項１２】
請求項７から請求項１１のいずれか１項に記載の画像調整プログラムであって、
前記所定の面および前記球欠面に画像を投影する前の座標の値と、前記回転および／または平行移動が行われた後の座標の値との間の対応関係を示すデータを前記装置に保存する、
画像調整プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体に取り付けられたカメラが撮像した画像を調整する、画像調整装置および画像調整プログラムに関する。
【背景技術】
【０００２】
車両に取り付けられたリアカメラで車両後方を撮像し、後退操作中の運転者に障害物の情報等を提示する、運転者支援技術が存在する。
【０００３】
特許文献１には、共通の被写領域を有する複数のカメラでそれぞれ撮影されたカメラ画像を受け付ける画像受付部と、前記画像受付部によって受け付けた各カメラ画像のうち、該各カメラ画像内の所定の水平線より下にある画像は、平面の底面を有する無限遠半球の底面に投影し、前記水平線より上にある画像は、前記無限遠半球の半球面に投影する投影部と、前記投影部によって前記無限遠半球に投影された画像に基づいて、パノラマ画像を生成するパノラマ画像生成部とを備える画像生成装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４５４６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、車両の背面に備えたリアカメラで後方を撮像し、後退進路中に障害物があるか否かを、モニタ等を介した画像表示によって提示できれば、運転者支援になる。
【０００６】
例えば図１に示すように、リアカメラで撮像した画像に、後退進路をガイドＧとして重ねる。そして、ガイドＧが重ねあわされた出力画像Ｉｏｕｔを、車両のフロントパネルに設けたモニタ等に出力する。そうすれば、車両の運転者は、前記モニタ等を確認しながら、障害物ＯＢＪにぶつからないように、あるいは後退進路中に障害物ＯＢＪがある場合はこれを避けるように、安全に後退操作をすることができる。
【０００７】
ここで、カメラには、取り付け誤差が存在し得る。この取り付け誤差があると、前記モニタ等に表示する出力画像Ｉｏｕｔが適切なものとはならず、運転者の後退支援を適切に行うことができない。
【０００８】
また、一般に、車両に取り付けるカメラは小型であり、その計算資源（メモリ、計算時間等）には制限がある。
【０００９】
そのため、本開示は、計算資源を節約しながら、カメラの取り付け誤差を解消することを目的とする。
【課題を解決するための手段】
【００１０】
物体に取り付けられたカメラが撮像した画像を調整する画像調整装置が、処理部を備え、前記処理部が、前記取得した画像の一部を所定の面へと投影し、前記取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影し、前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行う。前記構成により、取り付け誤差を解消することができる。また、前記球欠面の大きさは前記所定の面を内包する程度のもので良いため、計算資源を節約しながら、上記取り付け誤差を解消することができる。
【発明の効果】
【００１１】
本発明によれば、計算資源を節約しながら、カメラの取り付け誤差を解消することができる。
【図面の簡単な説明】
【００１２】
【図１】後退支援に用いられる、出力画像Ｉｏｕｔの一例を示す図。
【図２】カメラの取り付け誤差について説明する概念図であり、（ａ）取り付け誤差を示す図、（ｂ）取り付け誤差がある場合の出力画像の一例を示す図。
【図３】本開示の画像調整装置１の実施例を示す構成図。
【図４】本開示の画像調整装置１を用いて行う、調整処理の一例を示す図。
【図５】球欠スクリーンＳＳの概念図。
【図６】球欠スクリーンＳＳへの投影を示す概念図。
【図７】取り付け誤差についての説明図であり、（ａ）実際に取り付けられたカメラの位置、（ｂ）設計時のカメラ位置を示す図。
【図８】投影を行った状態を示す概念図。
【図９】誤差補正処理を示す概念図。
【図１０】誤差補正処理を行った後の状態を示す図であり、（ａ）球欠スクリーンＳＳを含んだ概念図、（ｂ）出力画像Ｉｏｕｔを表示した状態を示す図。
【図１１】処理部１１による処理例を示すフロー図。
【発明を実施するための形態】
【００１３】
以下、カメラは、自動車である車両に取り付けられたリアカメラであるという前提で、適宜図面を参照しながら詳細に説明する。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１４】
図１は、後退支援に用いられる、出力画像Ｉｏｕｔの一例を示す図である。この出力画像Ｉｏｕｔは、車両の背面に取り付けたリアカメラによって撮像した入力画像Ｉｉｎに、図示を省略する画像処理手段が適宜画像処理を行った上で、車両内のモニタ等に表示されるものである。
【００１５】
図示されているように、出力画像Ｉｏｕｔには、障害物ＯＢＪが映り込んでいる。図１において、障害物ＯＢＪは樹木である。車両の運転者は、車両が障害物ＯＢＪに衝突しないように車両を操縦して、車両を後退させる。
【００１６】
この車両の後退を支援するために、出力画像Ｉｏｕｔには２本のガイドＧが重畳的に表示されている。このガイドＧは、車両の車幅を考慮した後退進路を示している。ガイドＧは、リアカメラが撮像した入力画像Ｉｉｎに対して、図示を省略する画像処理手段が重畳的に付加している。なお、ガイドＧは、図示された線状のものでなくともよい。
【００１７】
運転者はガイドＧを参考にしながら、障害物ＯＢＪが２本のガイドＧの内側に入らないようにハンドルを操作して、車両を後退させる。このようにすれば、車両が障害物ＯＢＪに衝突することは無い。
【００１８】
すなわち、上記ガイドＧが重畳された出力画像Ｉｏｕｔによって、車両の後退支援を行う事ができる。しかしこれは、カメラが誤差なく取り付けられていることが前提条件となっている。
【００１９】
図２は、カメラの取り付け誤差について説明する概念図であり、（ａ）取り付け誤差を示す図、（ｂ）取り付け誤差がある場合の出力画像の一例を示す図である。
【００２０】
図２（ａ）に示すように、カメラ１３の取り付け誤差には、角度誤差ＡＥと位置誤差ＰＥとが含まれる。角度誤差ＡＥは、取り付けられたカメラのレンズが向いている角度が、本来想定していた角度に対してずれている事を言う。位置誤差ＰＥは、カメラを取り付けた位置（縦、横、高さ）が、本来想定していた位置に対してずれていることを言う。カメラ取り付けの際に、これらの取り付け誤差を完全に無くすことは、実際上は困難である。
【００２１】
図２（ｂ）は、上記の取り付け誤差がある場合の、出力画像Ｉｏｕｔを示している。この例では、カメラに角度誤差ＡＥがあり、カメラ１３が本来よりも上向きに取り付けられた状態である。
【００２２】
図２（ｂ）の補助線Ｌは、実際の路面上の位置を便宜的に示している。カメラが本来よりも上向きに取り付けられている（角度誤差ＡＥがある）為、障害物ＯＢＪは、本来の表示位置よりも下に表示される。
【００２３】
その一方で、重畳表示されるガイドＧは、カメラ１３が誤差無く取り付けられていることを前提にして重畳表示されている為、本来の表示位置に図２（ｂ）のように表示される。すると、障害物ＯＢＪが、ガイドＧの内側に入った状態となる。言い換えると、ガイドＧが樹木を貫通するかのように表示される。この出力画像Ｉｏｕｔをモニタ越しに見た運転者は、後退進路の中に障害物ＯＢＪが在るため、そのまま車両を後退させることはできないと判断するであろう。
【００２４】
このように、カメラに取り付け誤差があると、ガイドＧ等によって後退支援を行うのが困難になる。
【００２５】
このような事態を回避するために、本開示の画像調整装置１は、カメラ１３が撮像した画像に対して調整処理を行い、上記の角度誤差ＡＥと位置誤差ＰＥとを補正する。以下、当該調整処理について詳述する。
【００２６】
図３は、本開示の画像調整装置１の実施例を示す構成図である。本開示の画像調整装置１は、少なくとも処理部１１を備えている。処理部１１以外の構成要素を備えていてもよい。図示しているように、画像調整装置１がメモリ１２等を更に備えるようにすることもできる。
【００２７】
処理部１１は、画像調整装置１における情報処理を行う構成要素である。処理部１１は画像処理を行い、装置内の他の構成要素や装置外部から入力された指令や信号の処理を行い、逆に、装置内の他の構成要素や装置外部へと指令や信号を送信してよい。
【００２８】
メモリ１２は、処理部１１が行う画像処理に用いるプログラムや、各種パラメータ情報等を記憶してよい。メモリ１２は、典型的には不揮発性メモリであってよいが、これには限定されない。
【００２９】
カメラ１３は、画像を撮像して入力画像Ｉｉｎを得るための手段である。本実施形態においては、カメラ１３は車両の後方を撮像するためのリアカメラであるが、これには限定されない。例えば、車両の前方や側方を撮像するカメラ等であってもよい。
【００３０】
なお、本実施形態においては、カメラ１３は単眼であり、魚眼レンズを用いているものとする。
【００３１】
表示装置１４は、画像調整装置１によって生成された出力画像Ｉｏｕｔを表示することができる装置である。表示装置１４は、典型的には車両内に設けられたモニタ等であるが、これには限定されない。運転者は、この表示装置１４に表示された出力画像Ｉｏｕｔを見ることになる。図３においては、表示装置１４は画像調整装置１とは別体となっている。しかし、表示装置１４を画像調整装置１の中に含めてもよい。
【００３２】
なお、画像調整装置１に含まれる構成要素は、さらに一体化されていてもよく、逆に複数のサブコンポーネントへとさらに分割されてもよい。
【００３３】
例えば以上のようなハードウェア構成を備えた画像調整装置１により行われる処理の典型例は、以下の通りである。画像調整装置１の処理部１１が、カメラ１３が取得した入力画像Ｉｉｎに対し、画像処理を行う。画像処理により生成された出力画像Ｉｏｕｔを、表示装置１４によって表示する。
【００３４】
図４は、本開示の画像調整装置１を用いて行う、調整処理の一例を示す図である。
【００３５】
カメラ１３によって撮像された画像が、入力画像Ｉｉｎである。この入力画像Ｉｉｎは、イメージセンサ上の座標系（センサ座標）となっている。処理部１１が、この入力画像Ｉｉｎに対して一般的な像高−画角変換処理（ステップＳ１０１）を行って、センサ上の像高から画角および回転角を算出した後、処理部１１が球欠スクリーン投影処理（ステップＳ１０２）を行う。この球欠スクリーン投影処理の詳細については後述する。
【００３６】
球欠スクリーンに投影された画像の座標系は、世界座標系となっている。この球欠スクリーンに投影された画像に対して、誤差補正処理（ステップＳ１０３）を行う。すなわち、上述の角度誤差ＡＥ及び位置誤差ＰＥを補正する変換を行う。この誤差補正処理（ステップＳ１０３）の詳細についても後述する。
【００３７】
誤差補正処理（ステップＳ１０３）による誤差補正後の画像の座標系は、カメラ座標系である。像高−画角変換処理（ステップＳ１０４）を行って、出力画像Ｉｏｕｔを得る。この出力画像Ｉｏｕｔを、表示装置１４に表示する。
【００３８】
次に、球欠スクリーン投影処理（ステップＳ１０２）について説明するのだが、その前段階として、球欠スクリーンおよび球欠スクリーンへの投影について説明する。
【００３９】
図５は、図４に示した球欠スクリーン投影処理（ステップＳ１０２）に用いる、球欠スクリーンＳＳを示す概念図である。なお、球欠（Ｓｐｈｅｒｉｃａｌ  Ｓｅｇｍｅｎｔ）は、球を一つの平面で切った立体を意味する。この球欠スクリーンＳＳは、処理部１１が用いる仮想的なスクリーンである。球欠スクリーンＳＳは、所定の半径ｒを有する球の下部が切り取られた形状を呈する球欠面部ＳＳ１と、前記球欠面部ＳＳ１に内包される底面部ＳＳ２とを有している。なお、通常、底面部ＳＳ２は平面であり、球欠面部ＳＳ１と底面部ＳＳ２とは互いに接している。
【００４０】
上述の球欠スクリーンＳＳを、本開示の画像調整装置１において以下のように用いる。前記球欠面部ＳＳ１は、車両に取り付けられたカメラ１３の位置を中心Ｏとした、半径ｒを有する球の、下部を切り取ったものに相当する。一方、球欠スクリーンＳＳに含まれる底面部ＳＳ２は、上記球欠面部ＳＳ１に接する底面であり、路面に相当する。
【００４１】
すなわち、車両に取り付けられたカメラ１３について本開示の画像調整装置１を用いる場合、上記球欠スクリーンＳＳは、車両近傍の路面（底面部ＳＳ２）と、その路面を内包するような球欠面（球欠面部ＳＳ１）とに相当するものである。
【００４２】
なお、カメラ１３は通常、車体等に取り付けられるので、前記中心Ｏの、底面部ＳＳ２からの高さは０ではない。また、上記半径ｒの値は有限値である。
【００４３】
次に、球欠スクリーンＳＳへの投影について説明する。
【００４４】
図６は、上述の球欠スクリーンＳＳへの投影を示す概念図である。車両１００に、カメラ１３が取り付けられている。本例においては、カメラ１３は単眼であり、魚眼レンズを有する。図示されているように、カメラ１３が、路面から一定の高さになるように取り付けられる。本例においては、この高さは例えば１ｍ前後である。
【００４５】
ここでは、障害物ＯＢＪを用いて、投影の一例を示す。樹木である障害物ＯＢＪの表面上の２つの点Ｐ１、Ｐ２について例示する。この２つの点は、カメラ１３によって撮像された入力画像Ｉｉｎに映り込んでいる。
【００４６】
処理部１１は、点Ｐ１を、球欠面部ＳＳ１上の点Ｃ１へと投影する。また、処理部１１は、点Ｐ２を、底面部ＳＳ２における点Ｃ２へと投影する。
【００４７】
以上、本開示の画像調整装置１が用いる球欠スクリーンＳＳと、球欠スクリーンＳＳへの投影について説明した。このような投影を行うには、例えば図４に示したステップＳ１０２１〜Ｓ１０２３を処理部１１が実行すればよい。
【００４８】
ステップＳ１０２１で、処理部１１が、入力画像Ｉｉｎを半径ｒの球面に投影する（図６参照）。これは、通常の球面投影処理を行うことで実装することができる。
【００４９】
ステップＳ１０２２で、前記球面投影後の画像の座標系を、世界座標系へと変換する。
【００５０】
続いて、ステップＳ１０２３で、球面に投影された画像のうち、路面に相当する底面部ＳＳ２より下にある点を、底面部ＳＳ２へと投影し直す。これは、球面に投影された点と、中心Ｏ（カメラ位置）とを結んだ直線と、底面部ＳＳ２との交点を求めれば良い。
【００５１】
例えば以上のようにして、球欠スクリーン投影処理（ステップＳ１０２）を行うことができる。
【００５２】
ここで、本開示の画像調整装置１が用いる仮想的な球欠スクリーンＳＳに含まれる、球欠面部ＳＳ１および底面部ＳＳ２の大きさは、例えば下記の通りである。
【００５３】
底面部ＳＳ２の大きさは、図６に示した中心Ｏから６メートル以上７メートル未満、あるいは、６メートル以上１０メートル未満であってよい。
【００５４】
そして、球欠面部ＳＳ１は、上記のサイズの底面部ＳＳ２を内包する程度の大きさであってよい。すなわち、球欠面部ＳＳ１の元となる球の半径ｒは、有限の値である。
【００５５】
上述のように、本開示の画像調整装置１は、主に車両の後退支援用の画像の作成に用いるものである。これを車両の運転者の視点で考えると、路面（底面部ＳＳ２）の方が、路面の上空（球欠面部ＳＳ１）よりも重要となる。車両の運転者は、主に路面を見ながら車両を後退させるからである。
【００５６】
その為、球欠面部ＳＳ１と底面部ＳＳ２とでは、底面部ＳＳ２の方がより高い精度を求められる。下記はあくまで一例にすぎないが、表示装置１４に表示される出力画像Ｉｏｕｔのサイズが、横６４０ピクセル、縦４８０ピクセルのＶＧＡであったと仮定すると、底面部ＳＳ２については、例えば０．５ピクセル程度の誤差しか許されない。１ピクセルの誤差が、投影先では数十センチの誤差にも相当し得る。車両の運転時における数十センチの誤差は、障害物への予期せぬ衝突が生ずる程のものである。
【００５７】
上述のような高い精度を備えるべき底面部ＳＳ２の大きさを、例えば上述のように設定する。一方で、球欠面部ＳＳ１のサイズは、底面部ＳＳ２を内包する大きさであればよい。球欠面部ＳＳ１に要求される精度は、例えば上記のＶＧＡの画像サイズについて、数ピクセル程度の誤差まで許容される。
【００５８】
次に、図４に示した誤差補正処理（ステップＳ１０３）について、図７〜図９を参照しつつ説明する。
【００５９】
図７は、取り付け誤差についての説明図であり、（ａ）が実際に取り付けられたカメラの位置、（ｂ）が設計時のカメラ位置を示している。
【００６０】
図７（ａ）と図７（ｂ）とで共通する要素として、車載カメラであるカメラ１３、障害物ＯＢＪ、球欠スクリーンＳＳの球欠面部ＳＳ１および底面部ＳＳ２、そして補助線Ｌがある。補助線Ｌは、車両の後退方向を示している。
【００６１】
本来、カメラ１３は、図７（ｂ）の位置及び向きに取り付けられなければならない。しかしながら、実際には、誤差なくカメラを取り付けることは困難である。図２（ａ）に基づき前述したように、カメラ１３には、取り付け誤差（位置誤差ＰＥ、角度誤差ＡＥ）が発生する。図７（ａ）の例では、カメラ１３が、設計時の想定よりも上向きに取り付けられている。
【００６２】
そこで、本開示の画像調整装置１は、入力画像Ｉｉｎを球欠スクリーンＳＳへと投影する（ステップＳ１０２）。
【００６３】
図８は、上記の投影を行った状態を示す概念図である。この図に示すように、入力画像Ｉｉｎに映り込んだ障害物ＯＢＪは、球欠スクリーンＳＳへと投影される。しかしこの時点では、取り付け誤差（位置誤差ＰＥ、角度誤差ＡＥ）は補正されていない。
【００６４】
図８に示した状態のまま、誤差補正処理（ステップＳ１０３）を行わずに表示装置１４にＩｏｕｔを表示すると、図２（ｂ）のような状態で表示される。すなわち、障害物ＯＢＪが、ガイドＧの内側に入った状態となる。言い換えると、ガイドＧが樹木を貫通するかのように表示される。この出力画像Ｉｏｕｔを見た運転者は、後退進路の中に障害物が在るため、そのまま車両を後退させることはできないと判断するであろう。
【００６５】
そこで、処理部１１が、誤差補正処理（ステップＳ１０３）を行う。
【００６６】
図９は、処理部１１が実行する誤差補正処理を示す概念図である。図示しているように、カメラ１３自体を世界座標系の中で移動させるのではなく、球欠スクリーンＳＳ上に投影された入力画像Ｉｉｎに含まれる各点を移動させる。この移動は、例えば、回転および平行移動を扱うことのできる行列によって実装可能である。
【００６７】
球欠スクリーンＳＳ上の、図６に示した点Ｃ１の座標を（ｃｘ，ｃｙ，ｃｚ）とする。この点Ｃ１に対して、下記の行列変換をすればよい。
【００６８】
【数１】
2020145548.tif 000003
【００６９】
式（１）において、Ｒは回転行列であり、３行３列の正方行列である。Ｔは平行移動に相当する３行１列の行列である。なお、行列Ｒを無回転の行例とすることができ、行列Ｔを平行移動しない行列とすることもできる。
【００７０】
以上のように、誤差補正処理（ステップＳ１０３）を行うことができる。
【００７１】
図１０は、上記の誤差補正処理（ステップＳ１０３）を行った後の状態を示す図であり、（ａ）球欠スクリーンＳＳを含んだ概念図、（ｂ）出力画像Ｉｏｕｔを表示装置１４で表示した状態を示す図である。
【００７２】
図１０（ａ）に示すように、カメラ１３の取り付け誤差は補正されている。すなわち、本来より上向きに取り付けられていた（図７（ａ）および図７（ｂ）参照）カメラ１３が、下向きになるよう調整されている。図９に示したように、カメラ１３を中心とした球欠スクリーンＳＳ上に投影された各点を回転および／または平行移動したので、相対的にカメラ１３を移動したのと同様の効果が得られる。
【００７３】
上述の誤差補正処理（ステップＳ１０３）を行うことで、座標系は世界座標からカメラ座標へと変わる。そこで、処理部１１が像高−画角変換処理（ステップＳ１０４）をさらに行い、得た出力画像Ｉｏｕｔを表示装置１４で表示すると、図１０（ｂ）のようになる。なお、図１０（ｂ）において、上記の補正処理を行った後の画像に、車両の後退支援用のガイドＧを重畳して出力している。
【００７４】
図１０（ｂ）を、図２（ｂ）と比較しつつ参照すると、図１０（ｂ）では、補助線ＬとガイドＧとが一致しているのが見て取れる。障害物ＯＢＪがガイドＧの外側に映り込んでいる。このような誤差補正後の出力画像Ｉｏｕｔを見た運転者は、障害物ＯＢＪに惑わされずに、適切に車両を後退させることができる。
【００７５】
図１１は、処理部１１による処理例を示すフロー図である。なお、ステップＳ０１の前に、前処理として、カメラ１３を車両に取り付けた際の位置誤差ＰＥ、角度誤差ＡＥの計測が行われているものとする。
【００７６】
ステップＳ０１において、処理部１１が、センサ座標（入力画像Ｉｉｎの座標）を取得する。
【００７７】
ステップＳ０２において、処理部１１が、取得したセンサ座標から、その画角、回転角を入手（図４のステップＳ１０１に相当）して、カメラ１３を中心とした球面に投影（図４のステップＳ１０２１に相当）する。
【００７８】
ステップＳ０３において、処理部１１が、半径ｒの球面に投影した三次元座標の内、底面部ＳＳ２（路面）より下の点を底面部ＳＳ２（路面）に投影しなおす（図４のステップＳ１０２３に相当）。
【００７９】
ステップＳ０４において、処理部１１が、ステップＳ０２およびステップＳ０３で投影した球欠スクリーンＳＳ上の三次元座標に対して、事前計測済みの位置誤差ＰＥ、角度誤差ＡＥを補正（図４のステップＳ１０３に相当）する。この補正は、上記の行列変換によって行ってよい。
【００８０】
ステップＳ０５において、処理部１１が、上記誤差補正後の三次元座標を、センサ上の座標（補正センサ座標）に変換する（図４のステップＳ１０４に相当）。
【００８１】
ステップＳ０６において、処理部１１による制御の下、表示装置１４に、補正センサ座標の画像信号を出力する。なお、この画像信号は、上記ステップＳ０４において位置誤差ＰＥ、角度誤差ＡＥが補正済みである。
【００８２】
例えば上記のようにして、入力画像Ｉｉｎの調整および出力画像Ｉｏｕｔの出力を行うことができる。
【００８３】
なお、表示装置１４への表示のため、前記ステップＳ０６において画像信号を出力しているが、球欠スクリーンＳＳに画像を投影する前（図４のステップＳ１０１とＳ１０２の間）の座標値と、前記誤差補正処理が行われた後（図４のステップＳ１０３の直後）の座標の値との間の対応関係を示すデータを、例えばメモリ１２に保存してよい。
【００８４】
このような対応関係を示すデータを保存しておけば、次に調整すべき入力画像Ｉｉｎが本開示の画像調整装置１に入力された時に、この入力画像Ｉｉｎと、前記対応関係を示すデータとを用いて、調整後の出力画像Ｉｏｕｔを出力することができる。
【００８５】
ここで、上記処理例の利点について説明する。
【００８６】
処理部１１は、ステップＳ０２およびステップＳ０３によって、半径ｒの球を基とした球欠面部ＳＳ１と、ＳＳ１と接する底面部ＳＳ２からなる球欠スクリーンＳＳに、入力画像Ｉｉｎを投影している。ここで、前記半径ｒの値は、既に述べたような有限値である。よって、各処理に必要な処理リソース（メモリや処理時間等）を節約することができる。特に、車両等に後から取り付けるタイプのカメラは、小型な物も多い。しかし本開示の画像調整装置１を用いれば、小型の装置であっても充分に処理可能な省リソースで、上記の調整処理を実現することが可能である。
【００８７】
また、球欠面部ＳＳ１と底面部ＳＳ２とは互いに接している。よって、上記の処理を行った後に表示される出力画像Ｉｏｕｔにはつなぎ目が無くなる。
【００８８】
さらに、球欠面部ＳＳ１は、カメラ１３の位置を中心Ｏとする球を基にした球欠であり、上記ステップＳ０４における位置誤差ＰＥ、角度誤差ＡＥの補正は、この中心Ｏに基づいて行われる。すなわち、誤差補正処理に先立つ、中心を路面上に移動する為のベクトル演算等が不要となる。
【００８９】
本開示の画像調整装置１は、上述のようなものであってよく、装置の計算資源を節約しながら、画像の調整を行うことができる。
【００９０】
また、物体に取り付けられたカメラが撮像した画像を調整する画像調整プログラムが、装置が有する処理部に、取得した画像の一部を所定の面へと投影し、取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影するステップと、前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行うステップと、を実行させてよい。前記構成により、装置の計算資源を節約しながら、画像の調整を行うことができる。
【００９１】
上記構成において、前記所定の面は、前記カメラの位置から所定の距離に含まれる面であってよい。前記構成により、この面を内包する球欠面部ＳＳ１は、その半径が有限の値となる。その為、計算資源を節約しながら、画像の調整を行うことができる。
【００９２】
上記構成において、前記カメラは、車両に取り付けられるカメラであり、前記所定の距離は、６メートル以上７メートル未満であるか、または７メートル以上１０メートル未満であってよい。前記構成により、車両の後退支援等に適した出力画像を生成することができる。
【００９３】
上記構成において、前記回転および／または平行移動が行われた後の画像に、車両の後退支援用のガイドを重畳して出力してよい。前記構成により、車両の運転者に対して、車両の後退支援を適切に行うことができる。
【００９４】
上記構成において、前記所定の面および前記球欠面に画像を投影する前の座標の値と、前記回転および／または平行移動が行われた後の座標の値との間の対応関係を示すデータを、装置のメモリに保存してよい。前記構成により、次に調整すべき入力画像が入力された時に、この入力画像と、前記対応関係を示すデータとを用いて、調整後の出力画像を生成することができる。
【００９５】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【符号の説明】
【００９６】
１      画像調整装置
１１    処理部
１２    メモリ
１３    カメラ
１４    表示装置
１００  車両
Ｇ      ガイド
Ｌ      補助線
Ｏ      中心
ＯＢＪ  障害物
ＳＳ    球欠スクリーン
ＳＳ１  球欠面部
ＳＳ２  底面部
【図１】
2020145548.tif 000004
【図２】
2020145548.tif 000005
【図３】
2020145548.tif 000006
【図４】
2020145548.tif 000007
【図５】
2020145548.tif 000008
【図６】
2020145548.tif 000009
【図７】
2020145548.tif 000010
【図８】
2020145548.tif 000011
【図９】
2020145548.tif 000012
【図１０】
2020145548.tif 000013
【図１１】
2020145548.tif 000014