(57)【要約】【課題】移動体と障害物との高さ方向の衝突の可能性を、ユーザに認識させる。【解決手段】本開示に係る画像処理装置１０は、移動体１の周辺画像を取得するインターフェイス１２と、周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、路面３からの特定部位の高さに対応する位置に重畳するプロセッサ１２と、を備える。プロセッサ１２は、周辺画像に含まれる移動体１の進行方向に存在する障害物と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示を変形させる。【選択図】図１
2020071521.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺画像を取得するインターフェイスと、
前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備え、
前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる、画像処理装置。
【請求項２】
前記プロセッサは、前記進路軌跡を示す表示のうち、前記周辺画像に含まれる前記障害物の像と前記特定部位の進路軌跡の表示とが接触する部分を変形させる、請求項１に記載の画像処理装置。
【請求項３】
前記特定部位は、前記移動体の移動に対して、高さ方向の制約となる部位である、請求項１または２に記載の画像処理装置。
【請求項４】
前記移動体は車両であり、
前記特定部位は、前記車両のバンパー底面、前記車両の屋根、または、前記車両の屋根に設置された設置物である、請求項３に記載の画像処理装置。
【請求項５】
前記プロセッサは、前記障害物と前記進路軌跡とが接触する場合、接触の危険性を示す表示を前記周辺画像に重畳し、または、接触の危険性を示す信号を外部に出力する、請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
撮像光学系と、
前記撮像光学系を介して結像した像を撮像する撮像素子と、
前記撮像素子により撮像された、移動体の周辺画像を取得するインターフェイスと、
前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備え、
前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる、カメラ。
【請求項７】
移動体であって、
表示部と、
前記移動体の周辺を撮像するカメラと、を備え、
前記カメラは、
撮像光学系と、
前記撮像光学系を介して結像した像を撮像する撮像素子と、
前記撮像素子により撮像された、前記移動体の周辺画像を取得するインターフェイスと、
前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳して、前記表示部に表示するプロセッサと、を備え、
前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる、移動体。
【請求項８】
画像処理装置における画像処理方法であって、
移動体の周辺画像を取得するステップと、
前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するステップと、
前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させるステップと、を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、カメラ、移動体および画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、車両の後退時に、車両の後方画像に車両の左右輪が通過する軌跡である予想軌跡を重畳して表示する技術が開示されている。この技術では、後方画像に予想軌跡を一定間隔のはしご状に重畳することで、運転者が距離を認識できるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３３４４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
移動体の進行方向に存在する障害物との高さ方向の衝突の可能性の有無をユーザに認識させることは有益である。
【０００５】
本開示の目的は、上述した課題を解決し、移動体と障害物との高さ方向の衝突の可能性をユーザに認識させることにある。
【課題を解決するための手段】
【０００６】
本開示の実施形態に係る画像処理装置は、移動体の周辺画像を取得するインターフェイスと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備え、前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる。
【０００７】
本開示の実施形態に係るカメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された、移動体の周辺画像を取得するインターフェイスと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備え、前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる。
【０００８】
本開示の実施形態に係る移動体は、表示部と、前記移動体の周辺を撮像するカメラと、を備え、前記カメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された、前記移動体の周辺画像を取得するインターフェイスと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳して、前記表示部に表示するプロセッサと、を備え、前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる。
【０００９】
本開示の実施形態に係る画像処理方法は、画像処理装置における画像処理方法であって、
移動体の周辺画像を取得するステップと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するステップと、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させるステップと、を含む。
【発明の効果】
【００１０】
本開示によれば、移動体と障害物との高さ方向の衝突の可能性をユーザに認識させることができる画像処理装置、カメラ、移動体および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る画像処理装置の構成例を示す図である。
【図２】図１に示すプロセッサによる、周辺画像に対する進路軌跡を示す表示の重畳の一例を示す図である。
【図３】図１に示すプロセッサによる、周辺画像に対する進路軌跡を示す表示の重畳について説明するための図である。
【図４】図１に示すプロセッサによる、路面上に障害物が存在する場合の、周辺画像に対する進路軌跡を示す表示の重畳の一例を示す図である。
【図５】図１に示すプロセッサによる、路面上方に障害物が存在する場合の、周辺画像に対する進路軌跡を示す表示の重畳の一例を示す図である。
【図６】図１に示すプロセッサによる、路面上方に障害物が存在する場合の、周辺画像に対する進路軌跡を示す表示の重畳の他の一例を示す図である。
【図７】図１に示すプロセッサによる、路面に高低差がある場合の、周辺画像に対する進路軌跡を示す表示の重畳の一例について説明するための図である。
【図８】図１に示すプロセッサによる、路面に高低差がある場合の、進路軌跡を示す表示の補正の一例について説明するための図である。
【図９】図１に示すプロセッサによる、路面に高低差がある場合の、周辺画像に対する進路軌跡を示す表示の重畳の他の一例を示す図である。
【図１０】図１に示すプロセッサによる、路面に高低差がある場合の、進路軌跡を示す表示の補正の他の一例について説明するための図である。
【図１１】図１に示すプロセッサによる、障害物までの距離および障害物の方向の算出について説明するための図である。
【図１２】図１に示すプロセッサによる、路面に高低差がある場合の、進路軌跡を示す表示の補正の他の一例について説明するための図である。
【図１３】図１に示すプロセッサによる、路面に高低差がある場合の、進路軌跡を示す表示の補正の他の一例について説明するための図である。
【図１４】図１に示す画像処理装置における画像処理方法について説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は
、同一または同等の構成要素を示している。
【００１３】
図１は、本開示の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、図１に示すように、移動体１に搭載される。画像処理装置１０は、移動体１の周辺を撮像した周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を重畳する。
【００１４】
本開示における移動体１は、例えば、車両である。車両には、自動車および産業車両を含むが、これに限られず、鉄道車両、生活車両、および、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバスなどを含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
【００１５】
図１に示す画像処理装置１０は、インターフェイス１２と、プロセッサ１３と、メモリ１４とを備える。移動体１には、移動体１の周辺画像を取得する撮像部１１が搭載されている。画像処理装置１０および撮像部１１は、移動体１に搭載されたカメラ１Ａを構成する。まず、撮像部１１について説明する。
【００１６】
撮像部１１は、移動体１に搭載された車載カメラである。撮像部１１は、移動体１の周辺を撮像した周辺画像を取得する。撮像部１１は、移動体１に複数台搭載されてもよい。例えば、移動体１に４台の車載カメラが搭載される場合、例えば、移動体１の前方の周辺領域と、移動体１の前側面の少なくとも一部とを撮影可能な位置と、移動体１の後方の周辺領域と、移動体１の後側面の少なくとも一部とを撮影可能な位置と、移動体１の左側方の周辺領域と、移動体１の左側面の少なくとも一部とを撮影可能な位置と、移動体１の右側方の周辺領域と、移動体１の右側面の少なくとも一部とを撮影可能な位置とにそれぞれ、撮像部１１を配置する。このような配置とすることにより、移動体１の四方の周辺領域を撮影することができる。
【００１７】
撮像部１１は、少なくとも撮像光学系１１ａと、撮像素子１１ｂとを備える。
【００１８】
撮像光学系１１ａは、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系１１ａが備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系１１ａは、被写体像を撮像素子１１ｂの受光面に結像させる。撮像素子１１ｂは、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１１ｂの受光面上には、複数の画素が配列されている。撮像素子１１ｂは、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイおよびナビゲーション装置などの外部装置に周辺画像を出力してもよい。また、撮像部１１は、周辺画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。
【００１９】
次に、画像処理装置１０が備える構成について説明する。
【００２０】
インターフェイス１２は、有線または無線を介して、移動体１が備える各種構成と通信を行う。例えば、インターフェイス１２は、撮像部１１が撮像した周辺画像を取得し、プロセッサ１３に出力する。
【００２１】
プロセッサ１３は、例えば、ＤＳＰ（Digital Signal Processor）などの専用のプロセッサ、または、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３は、画像処理装置１０全体の動作を制御する。例えば、プロセッサ１３は、インターフェイス１２が取得した周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、路面からの特定部位の高さに対応する位置に重畳する。そして、プロセッサ１３は、周辺画像に含まれる移動体１の進行方向に存在する障害物を検出すると、その障害物と移動体１の特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示を変形させる。
【００２２】
プロセッサ１３は、移動体１の特定部位の進路軌跡を示す表示を重畳した周辺画像を、例えば、移動体１が備える表示部１５に表示する。また、プロセッサ１３は、障害物と移動体１の特定部位の進路軌跡とが接触する場合、接触の危険性を示す信号を外部に出力してもよい。例えば、プロセッサ１３は、障害物と移動体１の特定部位の進路軌跡とが接触する場合、移動体１に搭載されたブザーに警告音を出力させてもよい。また、プロセッサ１３は、移動体１が音波により周辺の障害物を検出するソナーを備えている場合、障害物と移動体１の特定部位の進路軌跡とが接触しなければ、ソナーにより障害物との接触の可能性が検出されても、警告音などの出力を行わないようにしてもよい。
【００２３】
移動体１の特定部位とは、移動体１の移動に対して、高さ方向の制約となる部位である。例えば、特定部位は、移動体１の車体の底面あるいは車体の上面である。移動体１が車両である場合、特定部位は、例えば、車両のバンパー底面、車両の屋根、または、車両の屋根に設置された設置物などである。
【００２４】
メモリ１４は、例えば、一次記憶装置または二次記憶装置などを含む。メモリ１４は、画像処理装置１０の動作に必要な種々の情報およびプログラムを記憶する。
【００２５】
次に、画像処理装置１０の動作について説明する。
【００２６】
図２は、プロセッサ１３による、周辺画像に対する、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示の重畳の一例を示す図である。なお、以下では、移動体１が後退する場合に、移動体１の後方の周辺画像に、移動体１の特定部位の進路軌跡を示す表示を重畳する場合を例として説明する。また、図２においては、移動体１の特定部位は、バンパー２の底面であるとする。
【００２７】
図２に示すように、プロセッサ１３は、周辺画像に対して、バンパー２の底面の進路軌跡を示す表示１００を重畳する。プロセッサ１３は、周辺画像において、路面３からのバンパー２の底面の高さに対応する位置に、バンパー２の底面の進路軌跡を示す表示１００（移動体１の車体の底面の進路軌跡を示す表示）を重畳する。
【００２８】
図３は、プロセッサ１３による周辺画像に対する進路軌跡を示す表示の重畳について説明するための図であり、移動体１を側面から見た図である。以下では、周辺画像に重畳される進路軌跡を示す表示を、移動体１を側面から見た側面図に、仮想的に図示して説明する。
【００２９】
図３に示すように、プロセッサ１３は、バンパー２の底面２ａから移動体１の進行方向に向かって延在する平面状の、バンパー２の底面２ａの進路軌跡を示す表示１００を周辺画像に重畳する。プロセッサ１３は、進路軌跡を示す表示を、例えば、所定の色の平面として周辺画像に重畳する。プロセッサ１３は、当該平面を半透明あるいはメッシュ状にして、周辺画像に重畳してもよい。
【００３０】
プロセッサ１３は、移動体１の進行方向に障害物が存在するか否かを検出する。障害物が存在するか否かの検出方法としては、例えば、移動体１の進行方向に向かって撮像された周辺画像の画像解析により検出する方法があるが、これに限られるものではなく、任意の方法を用いることができる。以下では、図３に示すように、路面３上に、例えば、車止めなどの障害物２００が存在するとする。
【００３１】
プロセッサ１３は、移動体１の進行方向に存在する障害物２００を検出すると、周辺画像において、障害物２００の像と進路軌跡を示す表示１００とが接触するか否かを判定する。進路軌跡を示す表示１００は、路面３からのバンパー２の底面２ａの高さに対応する位置に重畳される。したがって、プロセッサ１３は、障害物２００の像が、移動体１の特定部位の進路軌跡を示す表示１００よりも高いか否かにより、障害物２００の像と進路軌跡を示す表示１００とが接触するか否か、すなわち、障害物２００と移動体１の特定部位（バンパー２の底面２ａ）とが接触するか否かを判定することができる。
【００３２】
プロセッサ１３は、障害物２００と移動体１の特定部位とが接触すると判定すると、図４に示すように、進路軌跡を示す表示１００の一部を変形させる。具体的には、プロセッサ１３は、進路軌跡を示す表示１００のうち、周辺画像に含まれる障害物２００の像と接触する部分を変形させる。図４においては、プロセッサ１３は、破線丸印で示すように、周辺画像に含まれる障害物２００の像と接触する部分の進路軌跡を示す表示１００を、あたかも、障害物２００に入り込んでいるように変形させる。
【００３３】
障害物２００の高さが、移動体１のバンパー２の底面２ａよりも低い場合、障害物２００と移動体１のバンパー２の底面２ａとは接触しない。従来のように、周辺画像に対して、予想軌跡を重畳するだけでは、路面３上に存在する障害物２００と移動体１との高さ方向の接触の可能性をユーザに認識させることはできない。一方、本開示においては、プロセッサ１３は、周辺画像に対して、移動体１の特定部位の進路軌跡を示す表示１００を、特定部位の高さに対応する位置に重畳する。そして、プロセッサ１３は、障害物２００と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示１００を変形させる。こうすることで、路面３上に存在する障害物２００と移動体１との高さ方向の接触の可能性の有無をユーザに容易に認識させることができる。
【００３４】
図５は、プロセッサ１３による、周辺画像に対する、移動体１の特定部位の進路軌跡を示す表示の重畳の他の一例を示す図である。図５においては、移動体１の特定部位は、車両の屋根後方に設置されたリアスポイラ４であるとする。また、図５においては、路面３の上方に障害物２０１が存在するとする。
【００３５】
図５に示すように、プロセッサ１３は、周辺画像に対して、バンパー２の底面の進路軌跡を示す表示１００を重畳する。また、プロセッサ1３は、周辺画像に対して、リアスポイラ４の上面の路面３からの高さに対応する位置に、リアスポイラ４の進路軌跡を示す表示１０１（移動体１の車体の上面の進路軌跡を示す表示）を重畳する。
【００３６】
プロセッサ１３は、障害物２０１を検出すると、周辺画像において、障害物２０１の像と進路軌跡を示す表示１０１とが接触するか否かを判定する。進路軌跡を示す表示１０１は、リアスポイラ４の路面３からの高さに対応する位置に重畳される。したがって、プロセッサ１３は、障害物２０１の像が、移動体１の特定部位の進路軌跡を示す表示１０１よりも高いか否かにより、障害物２０１と進路軌跡を示す表示１０１とが接触するか否か、すなわち、障害物２０１と移動体１の特定部位（リアスポイラ４）とが接触するか否かを判定することができる。
【００３７】
プロセッサ１３は、障害物２０１と移動体１の特定部位とが接触すると判定すると、図５に示すように、進路軌跡を示す表示１０１の一部を変形させる。具体的には、プロセッサ１３は、進路軌跡を示す表示１０１のうち、周辺画像に含まれる障害物２０１の像と接触する部分を変形させる。図５においては、プロセッサ１３は、破線丸印で示すように、進路軌跡を示す表示１０１のうち、障害物２０１の像と接触する部分が潰れたように、進路軌跡を示す表示１０１を変形させる。
【００３８】
障害物２０１の高さが、移動体１のリアスポイラ４よりも高い場合、障害物２０１とリアスポイラ４とは接触しない。従来のように、周辺画像に対して、予想軌跡を重畳するだけでは、路面３の上方に存在する障害物２０１と移動体１との高さ方向の接触の可能性をユーザに認識させることはできない。一方、本開示においては、プロセッサ１３は、周辺画像に対して、移動体１の特定部位の進路軌跡を示す表示１０１を、特定部位の高さに対応する位置に重畳する。そして、プロセッサ１３は、障害物２０１と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示１０１を変形させる。こうすることで、障害物２０１と移動体１との高さ方向の接触の可能性の有無をユーザに認識させることができる。
【００３９】
プロセッサ１３は、移動体１と障害物とが接触する場合、接触の危険性を示す表示を周辺画像に重畳したり、接触の危険性を示す信号を外部に出力したりしてもよい。例えば、プロセッサ１３は、接触の危険性を示す信号を、インターフェイス１２を介して移動体１に搭載されたブザーに出力し、ブザーを鳴動させてもよい。
【００４０】
また、プロセッサ１３は、移動体１と障害物とが接触しない場合、移動体１の特定部位と障害物との高さの差を算出し、図６に示すように、算出した差を示す表示１０２を周辺画像に重畳してもよい。図６においては、リアスポイラ４と障害物２０１との高さの差を示す表示１０２を周辺画像に重畳した例を示している。
【００４１】
これまでは路面３が平坦である場合を例として説明したが、路面３に高低差がある場合がある。以下では、路面３に高低差がある場合の、周辺画像に対する進路軌跡を示す表示の重畳について説明する。
【００４２】
図７は、移動体１を側面から見た図である。図７においては、路面３は、水平な路面３ａと、路面３ａよりも低い位置にある水平な路面３ｂと、路面３ａと路面３ｂとを連結する下り斜面である路面３ｃとからなる例を示している。移動体１は、路面３ａから路面３ｃを経て、路面３ｂに向かって移動するものとする。また、路面３ｂに障害物２００が存在するものとする。障害物２００の高さは、バンパー２の底面２ａの路面３からの高さよりも高いとする。すなわち、路面３ｂでは、障害物２００とバンパー２の底面２ａとが接触するものとする。また、移動体１が路面３ａに存在する状態では、障害物２００の上端が、バンパー２の底面２ａよりも低い位置にあるとする。
【００４３】
移動体１が路面３ａに存在する場合、図７に示すように、バンパー２の底面２ａの路面３ａからの高さに対応する位置に、移動体１の進行方向に向かって延在する平面状の、損路軌跡を示す表示１００を周辺画像に重畳する方法が考えられる。上述したように、移動体１が路面３ａに存在する状態では、障害物２００の上端は、バンパー２の底面２ａよりも低い位置にある。そのため、図７に示すように、移動体１が路面３ａに存在する状態では、進路軌跡を示す表示１００と障害物２００とは接触しない。すなわち、ユーザから見ると、移動体１と障害物２００とが接触しないように見える。しかしながら、上述したように、路面３ｂでは、障害物２００とバンパー２の底面２ａとが接触する。したがって、このような方法では、移動体１と障害物２００との接触の可能性をユーザに正しく認識させることができない。
【００４４】
そこで、プロセッサ１３は、路面３の高低差に応じて、進路軌跡を示す表示を補正する。具体的には、プロセッサ１３は、路面３の高低差に応じて、進路軌跡を示す表示の上下方向の位置を補正する。以下では、進路軌跡を示す表示の補正について、図８，９を参照して説明する。
【００４５】
図８に示すように、移動体１に設けられた撮像部１１の路面３からの高さをＨとする。撮像部１１の路面３からの高さをＨは、固有の値であり、既知である。また、撮像部１１の路面３ｂからの高さをｈ２とする。また、進路軌跡を示す表示の高さ方向の補正値をｘとする。補正値ｘは、路面３ｃの高さに対応する。また、撮像部１１から障害物２００までの距離をｄとする。距離ｄは、撮像部１１と、撮像部１１から見た障害物２００と路面３ｂとの接点との間の距離である。また、水平方向と、撮像部１１から障害物２００に向かう方向とがなす角度をβとする。
【００４６】
プロセッサ１３は、障害物２００を検出すると、距離ｄおよび角度βを求める。距離ｄおよび角度βを求める方法の詳細については後述する。プロセッサ１３は、求めた距離ｄおよび角度βに基づき、以下の式（１）に従い、撮像部１１の路面３ｂからの高さをｈ２を算出する。
ｈ２＝ｄ×ｓｉｎβ  ・・・式（１）
【００４７】
撮像部１１の路面３ｂからの高さをｈ２を算出すると、プロセッサ１３は、以下の式（２）に従い、補正値ｘを算出する。
ｘ＝ｈ２−Ｈ  ・・・式（２）
【００４８】
プロセッサ１３は、算出した補正値ｘに基づき、バンパー２の底面２ａの進路軌跡を示す表示１００を補正する。具体的には、プロセッサ１３は、図８，９に示すように、バンパー２の底面２ａの路面３ａからの高さに対応する位置に、移動体１の進行方向に向かって延在する平面状の、進路軌跡を示す表示１００ａを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａよりも補正値ｘだけ低い位置に、障害物２００よりも手前から障害物２００に向かって延在する平面状の、進路軌跡を示す表示１００ｂを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａと、進路軌跡を示す表示１００ｂとを連結する、進路軌跡を示す表示１００ｃを周辺画像に重畳する。
【００４９】
図８に示すように、進路軌跡を示す表示１００ｂと障害物２００とが接触する場合、プロセッサ１３は、図９に示すように、進路軌跡を示す表示１００ｂと障害物２００とが接触する部分において、進路軌跡を示す表示１００ｂを変形させる。こうすることで、路面３に高低差がある場合にも、障害物２００と移動体１との高さ方向の接触の可能性の有無をユーザに正しく認識させることができる。
【００５０】
図７−図９においては、路面３が移動体１の進行方向に向かって下っている例を用いて説明したが、プロセッサ１３は、図１０に示すように、路面３が移動体１の進行方向に向かって上っている場合にも、同様の方法により補正値ｘを算出することができる。
【００５１】
図１０においては、路面３は、水平な路面３ａと、路面３ａよりも高い位置にある水平な路面３ｂと、路面３ａと路面３ｂとを連結する上り斜面である路面３ｃとからなる例を示している。
【００５２】
図１０に示すように、路面３が上っている場合にも、プロセッサ１３は、上述した式（１），（２）に従い、補正値ｘを算出する。そして、プロセッサ１３は、算出した補正値ｘに基づき、進路軌跡を示す表示１００を補正する。具体的には、プロセッサ１３は、バンパー２の底面２ａの路面３ａから高さに対応する位置に、移動体１の進行方向に向かって平面状の、進路軌跡を示す表示１００ａを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａよりも補正値ｘだけ高い位置に、障害物２００よりも手前から障害物２００に向かって延在する平面状の、進路軌跡を示す表示１００ｂを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａと、進路軌跡を示す表示１００ｂとを連結する、進路軌跡を示す表示１００ｃを周辺画像に重畳する。こうすることで、プロセッサ１３は、路面３が上っている場合にも、障害物２００と移動体１との高さ方向の接触の可能性の有無をユーザに正しく認識させることができる。
【００５３】
次に、上述した距離ｄおよび角度βを求める方法について説明する。
【００５４】
プロセッサ１３は、例えば、ステレオカメラ、Ｌｉｄａｒ（Light Detection and Ranging）装置または赤外線センサなどを用いて、距離ｄおよび角度βを検出することができる。Ｌｉｄａｒ装置とは、パルス状のレーザ光を射出し、そのレーザ光の散乱光を測定することで、対象までの距離などを検出する装置である。また、プロセッサ１３は、図１１を参照して説明する算出方法を用いて、距離ｄおよび角度βを算出してもよい。
【００５５】
図１１に示すように、撮像部１１が備えるレンズの光学中心を原点Ｏとする三次元座標系（ＸＹＺ座標系）を考える。図１１において、撮像部１１の光軸がＺ軸と一致するものとする。また、Ｚ軸方向における、撮像部１１が備えるレンズの焦点距離をｆとする。また、移動体１の移動に伴い、撮像部１１から見て、原点ＯからのＺ軸上の距離がＺ０である平面上において、障害物の特徴点が位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）から位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）に、直進方向に対して角度θだけ回転した方向に移動量ΔＤだけ移動したとする。角度θおよび移動量ΔＤは、移動体１の移動量から既知である。この場合、Ｚ軸方向において、原点Ｏからの距離が焦点距離ｆであるＵ−Ｖ平面では、障害物の特徴点は、ｐ１（ｕ１，ｖ１）からｐ２（ｕ２，ｖ２）に移動する。
【００５６】
図１１に示す座標系において、プロセッサ１３は、以下の式（３）に従い、Ｚ０を算出する。
ｆ：Ｚ０＝｜ｕ２−ｕ１｜：ΔＤ  ・・・式（３）
【００５７】
次に、プロセッサ１３は、以下の式（４）−式（６）に従い、位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）の座標を算出する。
【００５８】
【数１】
2020071521.tif 000003
【００５９】
そして、プロセッサ１３は、算出した位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）の座標に基づき、距離ｄおよび角度βを算出する。
【００６０】
図８−図１０においては、路面３に高低差がある場合の、移動体１の車体の底面（バンパー２の底面２ａ）の進路軌跡を示す表示１００の補正について説明した。プロセッサ１３は、路面３に高低差がある場合、移動体１の車体の上面の進路軌跡を示す表示１０１についても補正値ｘに基づき補正してもよい。以下では、移動体１の車体の上面の進路軌跡を示す表示１０１の補正について、図１２を参照して説明する。
【００６１】
図１２においては、路面３は、水平な路面３ａと、路面３ａよりも低い位置にある水平な路面３ｂと、路面３ａと路面３ｂとを連結する下り斜面である路面３ｃとからなるものとする。また、路面３ｂの上方に障害物２０１が存在するものとする。また、移動体１が路面３ａ上に存在する状態では、移動体１の屋根６は障害物２０１の底面よりも高いものとする。すなわち、移動体１が路面３ａ上に存在する状態で移動体１から障害物２０１を見ると、移動体１の屋根６が障害物２０１に接触するように見えるものとする。
【００６２】
プロセッサ１３は、図８を参照して説明した方法と同様の方法により、補正値ｘを算出する。ただし、図１２においては、プロセッサ１３は、障害物２０１の移動体１に最も近い端部２０１ａの直下の路面３ｂ上の点３ｂ’と、撮像部１１との間の距離を、距離ｄとして算出する。また、プロセッサ１３は、水平方向と、撮像部１１から点３ｂ’に向かう方向とがなす角度を角度βとして算出する。障害物２０１の端部２０１ａの直下の路面３ｂ上の点３ｂ’は、例えば、撮像部１１が撮像した周辺画像から求めることができる。
【００６３】
次に、プロセッサ１３は、移動体１の車体の上面（屋根６）の進路軌跡を示す表示１０１を補正する。具体的には、プロセッサ１３は、屋根６の後方の端部６ａの路面３ａからの高さに対応する位置に、移動体１の進行方向に向かって延在する平面状の、進路軌跡を示す表示１０１ａを周辺画像に重畳する。また、プロセッサ１３は、損路軌跡を示す表示１０１ａよりも補正値ｘだけ低い位置に、障害物２０１よりも手前から障害物２０１に向かって延在する平面状の、進路軌跡を示す表示１０１ｂを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１０１ａと、進路軌跡を示す表示１０１ｂとを連結する、進路軌跡を示す表示１０１ｃを周辺画像に重畳する。こうすることで、移動体１の車体の上面の進路軌跡を示す表示１０１についても、路面３の高低差に応じて補正することができる。
【００６４】
図１２においては、障害物２０１と進路軌跡を示す表示１０１ｂとが接触しない例を示しているが、障害物２０１と進路軌跡を示す表示１０１ｂとが接触する場合には、プロセッサ１３は、進路軌跡を示す表示１０１ｂの一部を変形させてもよい。
【００６５】
障害物２０１と進路軌跡を示す表示１０１ｂとが接触するか否かは、以下のようにして判定することができる。図１２に示すように、撮像部１１から障害物２０１までの高さをＨ’とし、撮像部１１から障害物２０１の端部２０１ａまでの距離をＤとし、水平方向と撮像部１１から障害物２０１の端部２０１ａに向かう方向とがなす角をαとする。また、移動体１の屋根６の路面３からの高さをｈ３とする。
【００６６】
まず、プロセッサ１３は、距離Ｄおよび角度αを算出する。距離Ｄおよび角度αは、図１０を参照して説明した方法により算出することができる。次に、プロセッサ１３は、以下の式（７）に従い、撮像部１１から障害物２０１までの高さＨ’を算出する。
Ｈ’＝Ｄ×ｓｉｎα  ・・・式（７）
【００６７】
図１２に示すように、障害物２０１の底面の高さは、Ｈ＋Ｈ’で表される。プロセッサ１３は、障害物２０１の高さ（Ｈ＋Ｈ’）と、屋根６の高さｈ３とを比較することで、障害物２０１と進路軌跡を示す表示１０１ｂとが接触するか否かを判定することができる。
【００６８】
図１２においては、移動体１の屋根６の端部６ａが、タイヤ７の路面３との接地点の直上あるいはその近傍にある例を示しているが、移動体１の中には、移動体１の屋根６の端部６ａが、タイヤ７の路面３との接地点よりも後方に設けられているものがある。以下では、図１３を参照して、屋根６の端部６ａがタイヤ７の路面３との接地点よりも後方に設けられている移動体１における、周辺画像に対する進路軌跡を示す表示１０１の重畳について説明する。図１３においては、図１２と同様に、移動体１が路面３ａ上に存在する状態で、移動体１の屋根６は障害物２０１の底面よりも高いものとする。すなわち、移動体１が路面３ａ上に存在する状態で、移動体１から障害物２０１を見ると、移動体１の屋根６が障害物２０１に接触するように見えるものとする。
【００６９】
図１３においては、移動体１の屋根６の端部６ａが、タイヤ７の路面３との接地点よりも距離Ｌだけ後方に設けられているものとする。距離Ｌは、固有の値であり、既知である。
【００７０】
まず、プロセッサ１３は、補正値ｘを算出する。次に、プロセッサ１３は、障害物２０１の端部２０１ａの直下の路面３ｂ上の点３ｂ’から移動体１に向かって距離Ｌだけ離れた地点の高さと、タイヤ７の接地点の高さとが同じであるか否かを判定する。
【００７１】
上述したように、図１３においては、移動体１が路面３ａ上に存在する状態では、移動体１の屋根６は障害物２０１の底面よりも高い。そのため、路面３ｂ上の点３ｂ’から移動体１に向かって距離Ｌだけ離れた地点が路面３ａ上である場合、その地点まで移動体１が移動すると、移動体１の屋根６の端部６ａと障害物２０１とが接触してしまう。この場合、プロセッサ１３は、補正値ｘを用いた進路軌跡を示す表示１０１の補正は行わず、屋根６の路面３からの高さに対応する位置に、屋根６の端部６ａから障害物２０１まで延在する進路軌跡を示す表示１０１を周辺画像に対して重畳する。こうすることで、障害物２０１に接触する可能性があることをユーザに認識させることができる。
【００７２】
次に、本実施形態に係る画像処理装置１０における画像処理方法について、図１４に示すフローチャートを参照して説明する。画像処理装置１０は、図１４に示すフローを、例えば、所定の時間間隔で繰り返す。
【００７３】
インターフェイス１２は、撮像部１１が撮像した周辺画像を取得する（ステップＳ１１）。
【００７４】
プロセッサ１３は、取得した周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、特定部位の路面３からの高さに対応する位置に重畳する（ステップＳ１２）。
【００７５】
次に、プロセッサ１３は、移動体１の進行方向に障害物が存在するか否かを判定する（ステップＳ１３）。
【００７６】
移動体１の進行方向に障害物が存在しないと判定した場合には（ステップＳ１３：Ｎｏ）、プロセッサ１３は、周辺画像に重畳した進路軌跡を示す表示をそのままにして処理を終了する。
【００７７】
移動体１の進行方向に障害物が存在すると判定した場合には（ステップＳ１３：Ｙｅｓ）、プロセッサ１３は、障害物と移動体１の特定部位の進路軌跡とが接触するか否かを判定する（ステップＳ１４）。
【００７８】
障害物と進路軌跡とが接触しないと判定した場合には（ステップＳ１４：Ｎｏ）、プロセッサ１３は、周辺画像に重畳した進路軌跡を示す表示をそのままにして処理を終了する。
【００７９】
障害物と進路軌跡とが接触すると判定した場合には（ステップＳ１４：Ｙｅｓ）、プロセッサ１３は、進路軌跡を示す表示を変形させる。ここで、プロセッサ１３は、進路軌跡を示す表示のうち、周辺画像に含まれる障害物の像と特定部位の進路軌跡の表示とが接触する部分を変形させる。
【００８０】
このように、本実施形態においては、画像処理装置１０は、移動体１の周辺画像を取得するインターフェイス１２と、周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、路面からの特定部位の高さに対応する位置に重畳するプロセッサ１３と、を備える。そして、プロセッサ１３は、周辺画像に含まれる移動体１の進行方向に存在する障害物と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示を変形させる。
【００８１】
周辺画像に対して、移動体１の特定部位の進路軌跡を示す表示を、路面からの特定部位の高さに対応する位置に重畳し、障害物と進路軌跡とが接触する場合、進路軌跡を示す表示を変形させることで、移動体１と障害物との高さ方向の衝突の可能性を、より容易にユーザに認識させることができる。
【００８２】
本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。
【符号の説明】
【００８３】
１    移動体
１Ａ    カメラ
２    バンパ
２ａ    バンパの底面
３，３ａ，３ｂ，３ｃ    路面
４    リアスポイラ
６    屋根
７    タイヤ
１０    画像処理装置
１１    撮像部
１１ａ    撮像光学系
１１ｂ    撮像素子
１２    インターフェイス
１３    プロセッサ
１４    メモリ
１５    表示部
１００，１０１    進路軌跡を示す表示
２００，２０１  障害物
【図１】
2020071521.tif 000004
【図２】
2020071521.tif 000005
【図３】
2020071521.tif 000006
【図４】
2020071521.tif 000007
【図５】
2020071521.tif 000008
【図６】
2020071521.tif 000009
【図７】
2020071521.tif 000010
【図８】
2020071521.tif 000011
【図９】
2020071521.tif 000012
【図１０】
2020071521.tif 000013
【図１１】
2020071521.tif 000014
【図１２】
2020071521.tif 000015
【図１３】
2020071521.tif 000016
【図１４】
2020071521.tif 000017