(57)【要約】【課題】利用者に提示される運転支援情報に対する、利用者自身による校正を支援する。【解決手段】画像取得部２２は、車両１０の周辺を示す外界画像をカメラ１２から取得する。ガイド線生成部２４は、校正モードにおいて、生成基準に基づいて車幅ガイド線を生成するとともに、補正基準に基づいて車幅ガイド線を補正した補正ガイド線を生成する。画像処理部２６は、外界画像、車幅ガイド線、および補正ガイド線を合成した合成画像を生成し、出力部２８は、合成画像を表示装置１６に表示させる。基準更新部３２は、校正モードにおいて、利用者により補正ガイド線が選択された場合、補正基準に基づいて生成基準を更新する。【選択図】図２
2018125683.tif 000002
【特許請求の範囲】
【請求項１】
車両の幅に対応するガイド線を生成する基準である生成基準を記憶する記憶部と、
前記車両の周辺を示す外界画像を取得する取得部と、
運転支援モードにおいて、前記記憶部に記憶された生成基準に基づいて前記ガイド線を生成するガイド線生成部と、
前記運転支援モードにおいて、前記取得部により取得された外界画像と、前記ガイド線生成部により生成された前記ガイド線とを合成した合成画像を生成する画像処理部と、
前記画像処理部により生成された合成画像を表示装置に表示させる出力部と、
基準更新部と、を備え、
前記記憶部は、前記ガイド線を補正する基準である補正基準をさらに記憶し、
前記ガイド線生成部は、校正モードにおいて、前記ガイド線を生成するとともに、前記記憶部に記憶された補正基準に基づいて前記ガイド線を補正した補正ガイド線を生成し、
前記画像処理部は、前記校正モードにおいて、前記取得部により取得された外界画像と、前記ガイド線生成部により生成された前記ガイド線および前記補正ガイド線を合成した合成画像を生成し、
前記基準更新部は、前記校正モードにおいて、利用者により前記補正ガイド線が選択された場合、前記補正基準に基づいて前記生成基準を更新する運転支援装置。
【請求項２】
前記ガイド線生成部は、前記校正モードにおいて、前記補正ガイド線として、前記ガイド線を左へずらした左側補正ガイド線と、前記ガイド線を右へずらした右側補正ガイド線とを生成し、
前記画像処理部は、前記校正モードにおいて、前記外界画像と、前記ガイド線と、前記左側補正ガイド線と、前記右側補正ガイド線とを合成した合成画像を生成する請求項１に記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理技術に関し、特に車両の運転を支援する技術に関する。
【背景技術】
【０００２】
駐車時の運転支援のために、車両の後方を撮像し、撮像画像を車内の表示装置に表示する車載カメラが知られている。このような車載カメラのキャリブレーション方法として、基準マーカーとなる指標を車載カメラで撮像し、撮像画像内の指標を用いて、車載カメラの設置誤差を吸収する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１１９８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車載カメラの利用シーンを考慮すると、その設置精度は極端に厳密である必要はなく、利用者が手作業でキャリブレーションを行っても、通常、支障をきたすことはない。ただし、手作業でのキャリブレーションは、利用者にとって煩わしい作業になることがあり、また、作業に長時間を要することもあった。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、１つの目的は、利用者に提示される運転支援情報に対する、利用者自身による校正を支援する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の運転支援装置は、車両の幅に対応するガイド線を生成する基準である生成基準を記憶する記憶部と、車両の周辺を示す外界画像を取得する取得部と、運転支援モードにおいて、記憶部に記憶された生成基準に基づいてガイド線を生成するガイド線生成部と、運転支援モードにおいて、取得部により取得された外界画像と、ガイド線生成部により生成されたガイド線とを合成した合成画像を生成する画像処理部と、画像処理部により生成された合成画像を表示装置に表示させる出力部と、基準更新部と、を備える。記憶部は、ガイド線を補正する基準である補正基準をさらに記憶し、ガイド線生成部は、校正モードにおいて、ガイド線を生成するとともに、記憶部に記憶された補正基準に基づいてガイド線を補正した補正ガイド線を生成し、画像処理部は、校正モードにおいて、取得部により取得された外界画像と、ガイド線生成部により生成されたガイド線および補正ガイド線を合成した合成画像を生成し、基準更新部は、校正モードにおいて、利用者により補正ガイド線が選択された場合、補正基準に基づいて生成基準を更新する。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、利用者に提示される運転支援情報に対する、利用者自身による校正を支援することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例に係る車両を模式的に示す図である。
【図２】図１の運転支援装置の機能構成を示すブロック図である。
【図３】リアビュー画像を模式的に示す図である。
【図４】校正用リアビュー画像を模式的に示す図である。
【図５】図１の運転支援装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施例では、カメラが撮像した車外画像に重畳する車幅ガイド線に対する簡易的なキャリブレーションを実現する技術を提案する。実施例の車幅ガイド線は、車両のステアリングの状態（回動角度等）に関わらず、現在の車両の向きにより固定的に定まる車幅線を含み、また、車両のステアリングの状態に応じて刻々と変化する走行予定軌跡線を含む。
【００１１】
図１は、実施例に係る車両１０を模式的に示す図であり、車両１０を上方から俯瞰した図である。車両１０は、カメラ１２、運転支援装置１４、表示装置１６を備える。カメラ１２、運転支援装置１４、表示装置１６は、公知のアダプタ、および／または、車載ネットワークを介して接続されてもよい。
【００１２】
カメラ１２は、車両１０の周辺を繰り返し撮像する撮像装置である。実施例のカメラ１２は、車両１０後部のバックドア等に取り付けられ、車両１０の後方空間の様子を示す外界画像を繰り返し生成する。カメラ１２は、光軸が車両１０の後方斜め下向きに伸びる姿勢で、リアガラスの上端近傍に設置されてもよい。
【００１３】
運転支援装置１４は、カメラ１２により生成された外界画像に基づいて、運転者による車両１０の運転を支援するための運転支援情報を生成する。実施例の運転支援装置１４は、運転支援情報として、車両１０の後方空間の様子を示すリアビュー画像を生成する。運転支援装置１４の詳細な構成は後述する。
【００１４】
表示装置１６は、運転者へ各種情報を提示し、また、運転者から入力された指示を運転支援装置１４へ伝達するＨＭＩ（Human Machine Interface）装置である。表示装置１６は、カーナビゲーション装置であってもよく、ＩＶＩ（In-Vehicle Infotainment）装置であってもよい。実施例の表示装置１６は、運転支援装置１４により生成されたリアビュー画像をモニタに表示する。
【００１５】
図２は、図１の運転支援装置１４の機能構成を示すブロック図である。運転支援装置１４は、記憶部２０、画像取得部２２、ガイド線生成部２４、画像処理部２６、出力部２８、モード切替部３０、基準更新部３２を備える。なお、運転支援装置１４は、動作状態として、通常のリアビュー画像を生成する運転支援モードと、利用者自身にリアビュー画像を校正させるためのモードであり、利用者による校正を支援するための校正用リアビュー画像を生成する校正モードとを備える。
【００１６】
本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。例えば、図２の各ブロックに対応するモジュールを含むコンピュータプログラムが運転支援装置１４のメモリに格納されてもよい。運転支援装置１４のＣＰＵは、そのコンピュータプログラムを適宜読み出して実行することにより、各ブロックの機能を発揮してもよい。また、運転支援装置１４は、運転支援ＥＣＵ（Electronic Control Unit）として実装されてもよい。
【００１７】
記憶部２０は、外界画像上での車両の幅を示す運転支援情報である車幅ガイド線を生成する基準となるデータ（以下、「ガイド生成基準」と呼ぶ。）を記憶する。さらに、記憶部２０は、車幅ガイド線を補正する基準となるデータであり、言い換えれば、車幅ガイド線を補正したガイド線である補正ガイド線を生成する基準となるデータ（以下、「補正基準」と呼ぶ。）を記憶する。
【００１８】
車幅ガイド線は、車両１０の車幅に対応する２本の線であり、リアビュー画像において進行方向（実施例では車両１０の後方）へ延びる線である。ガイド生成基準は、車両１０の後端から、予め定められた距離（例えば５メートル）までの車幅ガイド線を生成するように定める。ガイド生成基準は、車両１０におけるカメラ１２の取り付け位置と、取り付け角度に基づいて予め定められる。ガイド生成基準は、車幅ガイド線に関する様々な属性情報を含んでもよく、例えば、リアビュー画像における車幅ガイド線の位置、車幅ガイド線の縦横の長さ、車幅ガイド線の色彩情報を含んでもよい。
【００１９】
補正基準は、車幅ガイド線を補正（言い換えれば変更）するための条件、規則、または手順とも言える。補正基準は、（１）左右／回転補正の有無、（２）車幅ガイド線からの移動量（例えばリアビュー画像上での移動方向および移動距離）、（３）車幅ガイド線に対する補正角度のうち少なくとも１つを含んでもよい。実施例の補正基準は、車幅ガイド線を左にずらす補正を行うための左補正基準と、車幅ガイド線を右にずらす補正を行うための右補正基準とを含む。
【００２０】
画像取得部２２は、カメラ１２により生成され、カメラ１２から出力された外界画像を取得する。画像取得部２２は、取得した外界画像のデータを表示装置１６内部のメモリに保存する。
【００２１】
ガイド線生成部２４は、運転支援モードにおいて、記憶部２０に記憶されたガイド生成基準に基づいて、車幅ガイド線のデータを生成する。例えば、ガイド線生成部２４は、ガイド生成基準が定める範囲・サイズ・形状・色彩を備える車幅ガイド線のデータを生成する。車幅ガイド線は、車両１０の車幅を示す車幅線、および／または、車両１０の走行予定軌跡線を含む。
【００２２】
また、ガイド線生成部２４は、校正モードにおいて、車幅ガイド線のデータを生成するとともに、記憶部２０に記憶された補正基準に基づいて、車幅ガイド線を補正（変更とも言え、調整とも言える）した補正ガイド線のデータを生成する。実施例のガイド線生成部２４は、補正ガイド線として、左側補正ガイド線と右側補正ガイド線の２つを生成する。左側補正ガイド線は、車幅ガイド線を左にずらした線であり、左補正基準が定める態様で生成される。また、右側補正ガイド線は、車幅ガイド線を右にずらした線であり、右補正基準が定める態様で生成される。
【００２３】
画像処理部２６は、運転支援モードにおいて、画像取得部２２により取得された外界画像と、ガイド線生成部２４により生成された車幅ガイド線とを合成した合成画像をリアビュー画像として生成する。画像処理部２６は、外界画像における予め定められた位置に車幅ガイド線を重畳させることによりリアビュー画像を生成してもよい。
【００２４】
また、画像処理部２６は、校正モードにおいて、外界画像と、車幅ガイド線と、補助ガイド線とを合成した合成画像を校正用リアビュー画像として生成する。実施例の画像処理部２６は、補助ガイド線として、左側補正ガイド線と右側補正ガイド線の２つを校正用リアビュー画像に設定する。例えば、画像処理部２６は、車幅ガイド線から左方向へ予め定められた距離ずれた位置に左側補正ガイド線を設定してもよく、車幅ガイド線を左方向へ平行移動させた態様で左側補正ガイド線を設定してもよい。また、画像処理部２６は、車幅ガイド線から右方向へ予め定められた距離ずれた位置に右側補正ガイド線を設定してもよく、車幅ガイド線を右方向へ平行移動させた態様で右側補正ガイド線を設定してもよい。
【００２５】
出力部２８は、運転支援モードにおいて、画像処理部２６により生成されたリアビュー画像のデータを表示装置１６へ送信し、リアビュー画像を表示装置１６に表示させる。また、出力部２８は、校正モードにおいて、画像処理部２６により生成された校正用リアビュー画像のデータを表示装置１６へ送信し、校正用リアビュー画像を表示装置１６に表示させる。
【００２６】
図３は、リアビュー画像を模式的に示す。リアビュー画像４０における斜線部分は、車両１０の後部に設けられた部材（バンパー等）を示している。また、リアビュー画像４０は、車両１０の横幅を示す車幅ガイド線４２を含む。このようなリアビュー画像４０を表示装置１６に表示させることで、車両１０の駐車を支援することができる。
【００２７】
図４は、校正用リアビュー画像を模式的に示す。校正用リアビュー画像４４における斜線部分も、車両１０の後部に設けられた部材を示している。また、校正用リアビュー画像４４は、実践で示す車幅ガイド線４２に加えて、破線で示す左側補正ガイド線４６、および、一点鎖線で示す右側補正ガイド線４８を含む。左側補正ガイド線４６および右側補正ガイド線４８は、車幅ガイド線４２を挟むように設定される。なお、実際の校正用リアビュー画像４４では、車幅ガイド線４２、校正用リアビュー画像４４、左側補正ガイド線４６に異なる色彩が設定されてもよく、例えば、車幅ガイド線４２は緑色、左側補正ガイド線４６は赤色、右側補正ガイド線４８は黄色に設定されてもよい。
【００２８】
図２に戻り、モード切替部３０は、運転支援装置１４の動作モードの切替指示を表示装置１６から受信する。モード切替部３０は、受信した切替指示に応じて、運転支援装置１４の動作状態を、運転支援モードから校正モードへ切り替え、または、校正モードから運転支援モードへ切り替える。
【００２９】
基準更新部３２は、校正モード中に表示装置１６で表示された校正用リアビュー画像において、左側補正ガイド線が利用者（典型的には運転者）により選択された場合、記憶部２０に記憶された左補正基準に基づいてガイド生成基準を更新する。また、基準更新部３２は、校正用リアビュー画像において、右側補正ガイド線が利用者により選択された場合、記憶部２０に記憶された右補正基準に基づいてガイド生成基準を更新する。以下では、校正用リアビュー画像で左側補正ガイド線が選択された場合の詳細な処理を説明する。なお、右側補正ガイド線が選択された場合、「左」を「右」に読み替えた処理になる。
【００３０】
基準更新部３２は、校正用リアビュー画像で表示された左側補正ガイド線の態様、例えば車両１０の位置と左側補正ガイド線の表示位置との関係等が、以降の車幅ガイド線に反映されるようにガイド生成基準を更新する。例えば、基準更新部３２は、左補正基準が定める車幅ガイド線からの変化量を、ガイド生成基準に反映させてもよい。具体的に、車幅ガイド線からの左方向への移動量が左補正基準に規定されている場合、基準更新部３２は、ガイド生成基準が定める車幅ガイド線の位置を、左補正基準が定める移動量分、左方向にずらすよう調整してもよい。この場合、校正前の左側補正ガイドの位置に、校正後の車幅ガイド線が表示されることになる。また、校正後の左側補正ガイド線の位置は、校正前の左側ガイド線の位置より左にずれる。また、校正後の右側補正ガイド線の位置は、校正前の右側ガイド線の位置より左にずれる。
【００３１】
以上の構成による運転支援装置１４の動作を説明する。図５は、図１の運転支援装置１４の動作を示すフローチャートである。車両１０のギアがリバースに設定されると、カメラ１２は、車両１０の後方空間の撮像を開始し、後方空間の様子を示す外界画像を運転支援装置１４へ繰り返し出力する。運転支援装置１４の画像取得部２２は、カメラ１２から出力された外界画像を取得する（Ｓ１０）。運転支援装置１４が運転支援モードの場合（Ｓ１１のＮ）、ガイド線生成部２４は、ガイド生成基準にしたがって車幅ガイド線を生成する（Ｓ１２）。画像処理部２６は、外界画像と車幅ガイド線とを合成したリアビュー画像（例えば図３）を生成する（Ｓ１４）。出力部２８は、リアビュー画像を表示装置１６へ出力し、表示装置１６の画面にリアビュー画像を表示させる（Ｓ１６）。
【００３２】
図５には不図示だが、車両１０の運転者は、運転支援装置１４を校正モードへ切り替えさせるための所定の操作を表示装置１６へ入力する。表示装置１６は、この入力操作に応じて、校正モードへの切替指示を運転支援装置１４へ送信する。運転支援装置１４のモード切替部３０は、この切替指示が受信されると、運転支援装置１４の動作状態を運転支援モードから校正モードへ切り替える。
【００３３】
運転支援装置１４が校正モードの場合（Ｓ１１のＹ）、ガイド線生成部２４は、ガイド生成基準にしたがって車幅ガイド線を生成するとともに、左補正基準にしたがって車幅ガイド線を左方向にずらした態様の左側補正ガイド線を生成する。さらに、ガイド線生成部２４は、右補正基準にしたがって車幅ガイド線を右方向にずらした態様の右側補正ガイド線を生成する（Ｓ１８）。画像処理部２６は、外界画像、車幅ガイド線、左側補正ガイド線、および右側補正ガイド線を合成した校正用リアビュー画像（例えば図４）を生成する（Ｓ２０）。出力部２８は、校正用リアビュー画像を表示装置１６へ出力し、表示装置１６の画面に校正用リアビュー画像を表示させる（Ｓ２２）。
【００３４】
運転者は、校正用リアビュー画像を確認し、車幅ガイド線、左側補正ガイド線、右側補正ガイド線の中から、最適と考えるガイド線を表示装置１６の画面上で選択する。例えば、運転者は、校正用リアビュー画像を確認しつつ、実際に車両１０の駐車を試行する。運転者は、車幅ガイド線よりも左側補正ガイド線（または右側補正ガイド線）の方が実際の車両１０の位置に適合すると判断すると、左側補正ガイド線（または右側補正ガイド線）を選択する。また、運転者は、車幅ガイド線にしたがって車両１０を駐車した結果、車両１０の後進方向に対する左側（または右側）の空きが大きかった場合、左側補正ガイド線（または右側補正ガイド線）を選択する。
【００３５】
表示装置１６は、校正用リアビュー画像の表示画面における運転者による選択結果を示す情報であり、車幅ガイド線、左側補正ガイド線、右側補正ガイド線のうちいずれかが選択されたことを示す情報を運転支援装置１４へ送信する。運転支援装置１４の基準更新部３２は、運転者により左側補正ガイド線が選択された場合（Ｓ２４のＹ）、左補正基準に基づいてガイド生成基準を更新する（Ｓ２６）。同様に、基準更新部３２は、運転者により右側補正ガイド線が選択された場合、右補正基準に基づいてガイド生成基準を更新する。左側補正ガイド線と右側補正ガイド線のいずれも選択されず、例えば、車幅ガイド線が選択された場合（Ｓ２４のＮ）、Ｓ２６をスキップする。Ｓ２４のＮの場合、以降の車幅ガイド線は、それまでと同じ基準で生成される。
【００３６】
所定の終了条件が満たされた場合、例えば、車両１０のギアがリバース以外に変更された場合、または、車両１０の電源がオフになった場合（Ｓ２８のＹ）、運転支援装置１４は本図に示す処理を終了する。所定の終了条件が満たされなければ（Ｓ２８のＮ）、Ｓ１０に戻る。
【００３７】
実施例の運転支援装置１４によると、外界画像に重畳表示させる車幅ガイド線を、利用者が容易にキャリブレーションすることができる。また、実施例の運転支援装置１４は、利用者により選択可能な候補として左側補正ガイド線と右側補正ガイド線とを提示し、利用者自身に最適なガイド線を選択させる。これにより、厳密な自動キャリブレーションを実現するための複雑な実装が不要になり、運転支援装置１４の開発コストおよび製造コストを低減することができる。
【００３８】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３９】
なお、実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
車両の幅に対応するガイド線を生成する基準である生成基準を記憶する記憶部と、車両の周辺を示す外界画像を取得する取得部と、運転支援モードにおいて、記憶部に記憶された生成基準に基づいてガイド線を生成するガイド線生成部と、運転支援モードにおいて、取得部により取得された外界画像と、ガイド線生成部により生成されたガイド線とを合成した合成画像を生成する画像処理部と、画像処理部により生成された合成画像を表示装置に表示させる出力部と、基準更新部と、を備える運転支援装置。記憶部は、ガイド線を補正する基準である補正基準をさらに記憶し、ガイド線生成部は、校正モードにおいて、ガイド線を生成するとともに、記憶部に記憶された補正基準に基づいてガイド線を補正した補正ガイド線を生成し、画像処理部は、校正モードにおいて、取得部により取得された外界画像と、ガイド線生成部により生成されたガイド線および補正ガイド線を合成した合成画像を生成し、基準更新部は、校正モードにおいて、利用者により補正ガイド線が選択された場合、補正基準に基づいて生成基準を更新する。
この運転支援装置によると、利用者に提示される運転支援情報に対する、利用者自身による校正を容易化することができる。
［項目２］
ガイド線生成部は、校正モードにおいて、補正ガイド線として、ガイド線を左へずらした左側補正ガイド線と、ガイド線を右へずらした右側補正ガイド線とを生成し、画像処理部は、校正モードにおいて、外界画像と、ガイド線と、左側補正ガイド線と、右側補正ガイド線とを合成した合成画像を生成してもよい。
この態様によると、ガイド線の候補として、当初のガイド線、左側補正ガイド線、右側補正ガイド線を利用者へ提示し、それらの候補の中から最適なガイド線を利用者に選択させることで、利用者の負担を低く抑えつつ、ガイド線のキャリブレーションを実現できる。
【００４０】
上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
【符号の説明】
【００４１】
１０  車両、  １２  カメラ、  １４  運転支援装置、  １６  表示装置、  ２０  記憶部、  ２２  画像取得部、  ２４  ガイド線生成部、  ２６  画像処理部、  ２８  出力部、  ３２  基準更新部。
【図１】
2018125683.tif 000003
【図２】
2018125683.tif 000004
【図３】
2018125683.tif 000005
【図４】
2018125683.tif 000006
【図５】
2018125683.tif 000007