(57)【要約】【課題】予想進路線が過信されないことによって交通事故の発生を抑制することができる路面照射技術を提供する。【解決手段】路面照射装置は、推定部と、生成部と、算出部と、照射部と、を備える。前記推定部は、車両の周辺を撮影するカメラで得られた撮影画像から前記車両の移動方向を推定する。前記生成部は、前記推定部によって推定された前記車両の移動方向から車両の予想進路線を生成する。前記算出部は、前記予想進路線の確度を算出する。前記照射部は、前記確度に応じて前記予想進路線の形態を変更して前記予想進路線の画像を形成する光を路面に照射する。【選択図】図１
2018118618.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮影するカメラで得られた撮影画像から前記車両の移動方向を推定する推定部と、
前記推定部によって推定された前記車両の移動方向から車両の予想進路線を生成する生成部と、
前記予想進路線の確度を算出する算出部と、
前記予想進路線の形態を前記確度に応じて変更して前記予想進路線の画像を形成する光を路面に照射する照射部と、を備えることを特徴とする路面照射装置。
【請求項２】
前記推定部は、前記撮影画像から前記車両の単位時間当たりの移動量を推定し、
前記算出部は、前記推定部によって推定された前記車両の単位時間当たりの移動量に基づいて前記確度を算出することを特徴とする請求項１に記載の路面照射装置。
【請求項３】
前記算出部は、前記推定部によって推定された前記車両の移動方向に基づいて前記確度を算出することを特徴とする請求項１又は請求項２に記載の路面照射装置。
【請求項４】
前記算出部は、前記推定部が推定処理で用いる前記撮影画像中の特徴点のサンプル数に基づいて前記確度を算出することを特徴とする請求項１〜３のいずれか一項に記載の路面照射装置。
【請求項５】
前記推定部は、移動方向が特異である前記撮影画像中の特徴点を、推定処理で用いる前記撮影画像中の特徴点のサンプルから除外することを特徴とする請求項１〜４のいずれか一項に記載の路面照射装置。
【請求項６】
前記算出部は、前記推定部が推定処理で用いる前記撮影画像中の特徴点のサンプルから除外された特徴点の個数に基づいて前記確度を算出することを特徴とする請求項５に記載の路面照射装置。
【請求項７】
前記撮影画像から駐車枠を検出する検出部と、
前記予想進路線と前記駐車枠との相対関係に関する指標を求める指標演算部と、をさらに備え、
前記照射部は、前記予想進路線の形態を前記確度及び前記指標に応じて変更することを特徴とする請求項１〜６のいずれか一項に記載の路面照射装置。
【請求項８】
前記撮影画像に含まれる前記光の形態と期待される形態とのずれを判定する判定部と、
前記判定部の判定結果に基づいて車両外部の状況を検知する検知部と、をさらに備えることを特徴とする請求項１〜７にいずれか一項に記載の路面照射装置。
【請求項９】
前記検知部は、前記判定部の判定結果に基づいて障害物の有無を検知することを特徴とする請求項８に記載の路面照射装置。
【請求項１０】
車両の周辺を撮影するカメラで得られた撮影画像から前記車両の移動方向を推定する推定工程と、
前記推定工程によって推定された前記車両の移動方向から車両の予想進路線を生成する生成工程と、
前記予想進路線の確度を算出する算出工程と、
前記予想進路線の形態を前記確度に応じて変更して前記予想進路線の画像を形成する光を路面に照射する照射工程と、を備えることを特徴とする路面照射方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面に光を照射する技術に関する。
【背景技術】
【０００２】
特許文献１では、車両進行方向の予測軌跡の画像を路面に投射する運転支援装置が提案されている。特許文献１で提案されている運転支援装置によれば、ドライバーが車載カメラの撮影画像を表示するモニタ画面を見て路面を確認するときだけでなく、ドライバーがモニタ画面から目を離してサイドミラーやバックミラーを介して或いは直接目視によって路面を確認するときでも、運転操作を支援することができる。また、特許文献１で提案されている運転支援装置によれば、車両の周辺に位置する歩行者に対して車両進行方向の予測軌跡を教示して注意を喚起することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１８２１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両進行方向の予測軌跡の画像はあくまで予測によって生成されているため、車両進行方向の予測軌跡と実際に車両が進行する軌跡とが必ず一致するとは限らない。このため、ドライバーや歩行者が車両進行方向の予測軌跡を過信すると、交通事故の一因になってしまうおそれがある。
【０００５】
車両進行方向の予測軌跡は例えば駐車支援に利用される。しかしながら、ドライバーが車両進行方向の予測軌跡を頼りに駐車運転操作を行う場合、どの程度上手く駐車運転操作を行えているかが駐車運転操作の最中に分かり難いという問題がある。
【０００６】
また例えば近年精力的に開発が進められている車両の先進安全システム等では、車両外部の状況を検知する各種センサが必要になっている。しかしながら、特許文献１で提案されている運転支援装置は、車両進行方向の予測軌跡の画像を路面に投射するだけの機能しか有しておらず、車両外部の状況を検知することができない。
【０００７】
本発明は、上記の課題に鑑み、予想進路線が過信されないことによって交通事故の発生を抑制することができる路面照射技術を提供することを第１の目的とする。
【０００８】
また、本発明は、上記の課題に鑑み、どの程度上手く駐車運転操作を行えているかが駐車運転操作の最中に分かり易い路面照射技術を提供することを第２の目的とする。
【０００９】
さらに、本発明は、上記の課題に鑑み、路面に照射される光を利用して車両外部の状況を検知することができる路面照射技術を提供することを第３の目的とする。
【課題を解決するための手段】
【００１０】
上記第１の目的を達成するために本発明の第１の局面に係る路面照射装置は、車両の周辺を撮影するカメラで得られた撮影画像から前記車両の移動方向を推定する推定部と、前記推定部によって推定された前記車両の移動方向から車両の予想進路線を生成する生成部と、前記予想進路線の確度を算出する算出部と、前記予想進路線の形態を前記確度に応じて変更して前記予想進路線の画像を形成する光を路面に照射する照射部と、を備える構成（第１の構成）である。
【００１１】
また、上記第１の構成の路面照射装置において、前記推定部は、前記撮影画像から前記車両の単位時間当たりの移動量を推定し、前記算出部は、前記推定部によって推定された前記車両の単位時間当たりの移動量に基づいて前記確度を算出する構成（第２の構成）であってもよい。
【００１２】
また、上記第１又は第２の構成の路面照射装置において、前記算出部は、前記推定部によって推定された前記車両の移動方向に基づいて前記確度を算出する構成（第３の構成）であってもよい。
【００１３】
また、上記第１〜第３いずれかの構成の路面照射装置において、前記算出部は、前記推定部が推定処理で用いる前記撮影画像中の特徴点のサンプル数に基づいて前記確度を算出する構成（第４の構成）であってもよい。
【００１４】
また、上記第１〜第４いずれかの構成の路面照射装置において、前記推定部は、移動方向が特異である前記撮影画像中の特徴点を、推定処理で用いる前記撮影画像中の特徴点のサンプルから除外する構成（第５の構成）であってもよい。
【００１５】
また、上記第５の構成の路面照射装置において、前記算出部は、前記推定部が推定処理で用いる前記撮影画像中の特徴点のサンプルから除外された特徴点の個数に基づいて前記確度を算出する構成（第６の構成）であってもよい。
【００１６】
上記第２の目的を達成するために本発明の第２の局面に係る路面照射装置は、車両の周辺を撮影するカメラで得られた撮影画像から前記車両の移動方向を推定する推定部と、前記推定部によって推定された前記車両の移動方向から車両の予想進路線を生成する生成部と、前記撮影画像から駐車枠を検出する検出部と、前記予想進路線と前記駐車枠との相対関係に関する指標を求める指標演算部と、前記予想進路線の形態を前記指標に応じて変更して前記予想進路線の画像を形成する光を路面に照射する照射部と、を備える構成（第７の構成）である。
【００１７】
上記第３の目的を達成するために本発明の第３の局面に係る路面照射装置は、光を路面に照射する照射部と、車両の周辺を撮影するカメラで得られた撮影画像に含まれる前記光の形態と期待される形態とのずれを判定する判定部と、前記判定部の判定結果に基づいて車両外部の状況を検知する検知部と、を備える構成（第８の構成）である。
【００１８】
また、上記第８の構成の路面照射装置において、前記検知部は、前記判定部の判定結果に基づいて障害物の有無を検知する構成（第９の構成）であってもよい。
【００１９】
なお、上記第１及び第２の目的を達成するために、上記第１〜第６いずれかの構成と上記第７の構成とを組み合わせてもよい。また、上記第１及び第３の目的を達成するために、上記第１〜第６いずれかの構成と上記第８又は第９の構成とを組み合わせてもよい。また、また、上記第２及び第３の目的を達成するために、上記第７の構成と上記第８又は第９の構成とを組み合わせてもよい。また、上記第１〜第３の目的を達成するために、上記第１〜第６いずれかの構成と上記第７の構成と上記第８又は第９の構成とを組み合わせてもよい。
【００２０】
上記第１の目的を達成するために本発明の第１の局面に係る路面照射方法は、車両の周辺を撮影するカメラで得られた撮影画像から前記車両の移動方向を推定する推定工程と、前記推定工程によって推定された前記車両の移動方向から車両の予想進路線を生成する生成工程と、前記予想進路線の確度を算出する算出工程と、前記予想進路線の形態を前記確度に応じて変更して前記予想進路線の画像を形成する光を路面に照射する照射工程と、を備える構成（第１０の構成）である。
【００２１】
上記第２の目的を達成するために本発明の第２の局面に係る路面照射方法は、車両の周辺を撮影するカメラで得られた撮影画像から前記車両の移動方向を推定する推定工程と、前記推定工程によって推定された前記車両の移動方向から車両の予想進路線を生成する生成工程と、前記撮影画像から駐車枠を検出する検出工程と、前記予想進路線と前記駐車枠との相対関係に関する指標を求める指標演算工程と、前記予想進路線の形態を前記指標に応じて変更して前記予想進路線の画像を形成する光を路面に照射する照射工程と、を備える構成（第１１の構成）である。
【００２２】
上記第３の目的を達成するために本発明の第３の局面に係る路面照射方法は、光を路面に照射する照射工程と、車両の周辺を撮影するカメラで得られた撮影画像に含まれる前記光の形態と期待される形態とのずれを判定する判定工程と、前記判定工程の判定結果に基づいて車両外部の状況を検知する検知工程と、を備える構成（第１２の構成）である。
【発明の効果】
【００２３】
本発明の第１の局面によれば、路面に照射された光で形成される予想進路線の画像からドライバーや歩行者が予想進路線の確度を把握することができる。したがって、予想進路線がドライバーや歩行者に過信されないことによって交通事故の発生を抑制することができる。
【００２４】
本発明の第２の局面によれば、路面に照射された光で形成される予想進路線の画像からドライバーが予想進路線と駐車枠との位置関係を把握することができる。したがって、どの程度上手く駐車運転操作を行えているかが駐車運転操作の最中に分かり易くなる。
【００２５】
本発明の第３の局面によれば、路面に照射される光を利用して車両外部の状況を検知することができる。
【図面の簡単な説明】
【００２６】
【図１】第１実施形態に係る路面照射装置の構成を示す図
【図２】予想進路線の画像例を模式的に示す上面図
【図３】第１実施形態に係る路面照射装置の動作例を示すフローチャート
【図４】第２実施形態に係る路面照射装置の構成を示す図
【図５】予想進路線の画像例を示す図
【図６】第２実施形態に係る路面照射装置の動作例を示すフローチャート
【図７】第３実施形態に係る路面照射装置の構成を示す図
【図８】第３実施形態に係る路面照射装置の動作例を示すフローチャート
【発明を実施するための形態】
【００２７】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。
【００２８】
＜１．第１実施形態＞
図１は、第１実施形態に係る路面照射装置の構成を示す図である。図１に示すバックカメラ１、画像処理部２、及び光出力部３は車両に搭載される。画像処理部２及び光出力部３が路面照射装置を構成している。
【００２９】
バックカメラ１は、車両の後端部に設けられ、車両の後方向を撮影する。バックカメラ１の取付位置は、車両の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。バックカメラ１は、撮影画像を画像処理部２に出力する。
【００３０】
光出力部３は、車両の後端部に設けられ、画像処理部２から出力される画像を形成する光を車両後方の路面に照射する。光出力部３の取付位置は、車両の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。光出力部３としては、例えばプロジェクタ等を用いることができる。
【００３１】
画像処理部２はバックカメラ１から出力される撮影画像を処理する。本実施形態では、画像処理部２は処理後の画像を光出力部３に出力する。
【００３２】
画像処理部２は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて画像処理部２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。
【００３３】
本実施形態では、画像処理部２は、画像取得部２１と、推定部２２と、生成部２３と、算出部２４と、画像出力部２５と、を備える。
【００３４】
画像取得部２１は、バックカメラ１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、画像取得部２１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２１は、取得した撮影画像、或いは、取得及び変換した撮影画像を、推定部２２に出力する。画像取得部２１から出力される１つの撮影画像が１つのフレーム画像となる。
【００３５】
推定部２２は、異なる位置で撮像された２つの撮像画像から車両の移動方向及び単位時間当たりの移動量を推定する。具体的には、推定部２２は、２つのフレーム画像内の路面上に位置する特徴点（例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等）のオプティカルフロー（動きベクトル）から車両の移動方向及び単位時間当たりの移動量を推定する。
【００３６】
なお、推定部２２は、移動方向が特異である特徴点を、推定処理で用いる特徴点のサンプルから除外することが望ましい。これにより、例えば移動物に由来する特徴点を推定処理で用いる特徴点のサンプルから除外することができるので、オプティカルフロー（動きベクトル）の精度が向上し、オプティカルフロー（動きベクトル）を利用した進路線の予測精度も向上する。除外するタイミングは、例えば各特徴点のオプティカルフロー（動きベクトル）を算出した後その算出結果を用いて推定処理を行う前であってもよく、また例えば各特徴点のオプティカルフロー（動きベクトル）を算出してその算出結果を用いて推定処理を行う後であってもよい。除外するタイミングが後者である場合には、除外した結果が次回以降の推定処理に反映され、次回以降の推定処理での予測精度が向上する。なお、移動方向が特異であるか否かの判断は、例えば全ての特徴点の移動方向の平均を求め、その平均からのずれが所定の許容レベルを超えている場合に特異であると判断すればよい。
【００３７】
生成部２３は、推定部２２によって推定された車両の移動方向に基づいて車両の予想進路線を生成する。これにより、車両の移動方向及び単位時間当たりの移動量を把握するために路面照射装置が車速情報やステアリングの舵角情報等を取得する必要がなく、画像処理のみで生成部２３が車両の予想進路線を生成することができる。なお、車両の予想進路線は後輪タイヤの予想進路線であるため、生成部２３は２本の予想進路線を生成する。
【００３８】
算出部２４は、生成部２３によって生成された予想進路線の確度を算出する。
【００３９】
例えば算出部２４は、推定部２２によって推定された車両の単位時間当たりの移動量に基づいて予想進路線の確度を算出する。具体的には、例えば算出部２４は、推定部２２によって推定された車両の単位時間当たりの移動量が大きいほど、予想進路線の確度を低くする。車両の単位時間当たりの移動量（車速）が大きければ、ステアリング操作の遅れ等によって実際の車両進路が予想進路線から外れる度合いが大きくなると考えられるからである。また、例えば算出部２４は、推定部２２によって推定された車両の単位時間当たりの移動量の変動が大きいほど、予想進路線の確度を低くする。車両の単位時間当たりの移動量（車速）の変動が大きければ、ドライバーが運転に不慣れであり実際の車両進路が予想進路線から外れる可能性が大きくなると考えられるからである。
【００４０】
例えば算出部２４は、推定部２２によって推定された車両の移動方向に基づいて予想進路線の確度を算出する。具体的には、例えば算出部２４は、推定部２２によって推定された車両の移動方向の変動が大きいほど、予想進路線の確度を低くする。車両の移動方向の変動が大きければ、すなわち車両がふらついて移動していれば、ドライバーが運転に不慣れであり実際の車両進路が予想進路線から外れる可能性が大きくなると考えられるからである。なお、推定部２２によって推定された車両の移動方向が滑らかに変化している場合は、車両が安定して移動方向を変えているため、予想進路線の確度を低くしないようにすればよい。
【００４１】
例えば算出部２４は、推定部２２が推定処理で用いる撮影画像中の特徴点のサンプル数に基づいて予想進路線の確度を算出する。具体的には、例えば算出部２４は、推定部２２が推定処理で用いる撮影画像中の特徴点のサンプル数が多いほど、予想進路線の確度を高くする。撮影画像中の特徴点のサンプル数が多いほど、オプティカルフロー（動きベクトル）の精度が向上し、オプティカルフロー（動きベクトル）を利用した進路線の予測精度も向上すると考えられるからである。
【００４２】
例えば算出部２４は、推定部２２が推定処理で用いる撮影画像中の特徴点のサンプルから除外された特徴点の個数に基づいて予想進路線の確度を算出する。具体的には、例えば算出部２４は、サンプルから除外された特徴点の個数が多いほど、予想進路線の確度を高くする。サンプルから除外された特徴点の個数が多いほど、オプティカルフロー（動きベクトル）の精度が向上し、オプティカルフロー（動きベクトル）を利用した進路線の予測精度も向上すると考えられるからである。
【００４３】
上述した予想進路線の確度の算出例は適宜組み合わせることができ、例えば複数の算出例で算出された予想進路線の確度を重み付け平均したものを、最終的に算出部２４が算出する予想進路線の確度とすればよい。
【００４４】
上述の説明では、算出部２４が２本の予想進路線の確度（例えば、２本の予想進路線の全体の平均確度）を予想進路線の確度として算出することを説明した。これに加えて算出部２４は、予想進路線の一部分の確度を算出することも可能である。例えば２本の予想進路線のうち一方の進路線Ａの部分Ａ−１と、他方の進路線Ｂにおいて部分Ａ−１に対応する部分Ｂ−１との確度は同じ値となり、一方の進路線Ａの部分Ａ−２と、他方の進路線ＢにおいてＡ−２に対応する部分Ｂ−２との確度は同じ値となる。言い換えると、部分Ａ−１と部分Ｂ−１との確度（第１確度）は同じ値となり、部分Ａ−２と部分Ｂ−２との確度（第２確度）は同じ値となる。そして、第１確度と第２確度とは、基本的に異なる値となるが、偶然一致する場合もある。
【００４５】
画像出力部２５は画像を外部に出力する。本実施形態では、画像出力部２５は、予想進路線の形態を予想進路線の確度に応じて変更して予想進路線の画像を生成し、その予想進路線の画像を光出力部３に出力する。これにより、路面に照射された光で形成される予想進路線の画像からドライバーや歩行者が予想進路線の確度を把握することができる。したがって、歩行者は予想進路線を過信せずに車両を避けて歩行することができ、ドライバーは予想進路線を過信せずに運転操作をすることができる。その結果、交通事故の発生を抑制することができる。
【００４６】
図２は、予想進路線の画像例を模式的に示す上面図である。図２では予想進路線の他に車両５と仮想的な枠である駐車枠６とを図示している。
【００４７】
図２（ａ）は予想進路線の確度に応じて予想進路線の色を一様に変化させている。例えば、予想進路線の全体の確度（全体の平均確度）が所定の基準値よりも高い場合、予想進路線全体が暖色系の色で表示され、全体の確度が所定の基準値と同一又は所定の基準値よりも低いときは予想進路線全体が寒色系の色で表示される。
【００４８】
図２（ｂ）は予想進路線の部分毎に予想進路線の確度に応じて予想進路線の色を変化させている。例えば、予想進路線はある部分の確度が所定の基準値よりも高い場合、その部分は暖色系の色で表示され、ある部分の確度が所定の基準値と同一又は所定の基準値よりも低いときその部分は寒色系の色で表示される。図２（ｂ）の左側は、第１確度と第２確度の両方が所定の基準値よりも高い場合を示している。図２（ｂ）の右側は、第１確度が所定の基準値よりも高く、第２確度が所定の基準値と同一又は所定の基準値よりも低い場合を示している。図２（ａ）及び（ｂ）では、暖色系の色を黒色で示し、寒色系の色を灰色で示している。
【００４９】
図２（ｃ）は予想進路線の確度に応じて予想進路線の明るさを一様に変化させている。例えば、予想進路線の全体の確度が所定の基準値よりも高い場合、予想進路線全体が比較的暗く表示され、全体の確度が所定の基準値と同一又は所定の基準値よりも低いときは全体が比較的明るく表示される。
【００５０】
図２（ｄ）は予想進路線の部分毎に予想進路線の確度に応じて予想進路線の明るさを変化させている。例えば、予想進路線のある部分の確度が所定の基準値よりも高い場合、その部分は比較的暗く表示され、ある部分の確度が所定の基準値と同一又は所定の基準値よりも低いときその部分は比較的明るく表示される。図２（ｄ）の左側は、第１確度と第２確度の両方が所定の基準値よりも高い場合を示している。図２（ｄ）の右側は、第１確度が所定の基準値よりも高く、第２確度が所定の基準値と同一又は所定の基準値よりも低い場合を示している。図２（ｃ）及び（ｄ）では、暗い方を黒色で示し、明るい方を灰色で示している。
【００５１】
図２（ｅ）は予想進路線の確度に応じて予想進路線の太さを一様に変化させている。例えば、予想進路線の全体の確度が所定の基準値よりも高い場合、予想進路線全体が比較的太く表示され、全体の確度が所定の基準値と同一又は所定の基準値よりも低いときは全体が比較的細く表示される。
【００５２】
図２（ｆ）は予想進路線の部分毎に予想進路線の確度に応じて予想進路線の太さを変化させている。例えば、予想進路線のある部分の確度が所定の基準値よりも高い場合、その部分は比較的太く表示され、ある部分の確度が所定の基準値と同一又は所定の基準値よりも低いときその部分は比較的細く表示される。図２（ｆ）の左側は、第１確度と第２確度の両方が所定の基準値よりも高い場合を示している。図２（ｆ）の右側は、第１確度が所定の基準値よりも高く、第２確度が所定の基準値と同一又は所定の基準値よりも低い場合を示している。
【００５３】
図２（ｇ）は予想進路線の他に予想に反した運転操作によって車両が進入してくる可能性がある領域の境界線（点線）も示している。この点線の画像も光出力部３が出力する光によって形成するとよい。図２（ｈ）は予想進路線の他に危険な領域であることを示すアイコンも示している。このアイコンの画像も光出力部３が出力する光によって形成するとよい。上記の予想進路線の画像例は全て組み合わせ可能である。
【００５４】
図３は、第１実施形態に係る路面照射装置の動作例を示すフローチャートである。第１実施形態に係る路面照射装置の動作開始イベントが発生すると、第１実施形態に係る路面照射装置は図３に示すフローチャートの動作を開始する。第１実施形態に係る路面照射装置の動作開始イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジに切り替わったこと等を挙げることができる。
【００５５】
まず、推定部２２による推定処理が実行される（ステップＳ１１）。次に、生成部２３による生成処理が実行される（ステップＳ１２）。次に、算出部２４による算出処理が実行される（ステップＳ１３）。次に、画像出力部２５による画像出力処理が実行される（ステップＳ１４）。次に、光出力部３による光出力処理が実行される（ステップＳ１５）。そして、第１実施形態に係る路面照射装置は、第１実施形態に係る路面照射装置の動作終了イベントが発生しているか否かを確認する（ステップＳ１６）。第１実施形態に係る路面照射装置の動作終了イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。
【００５６】
第１実施形態に係る路面照射装置の動作終了イベントが発生していなければ、ステップＳ１１に戻る。これにより、新たなフレーム画像に基づいて推定部２２によって推定される車両の移動方向及び単位時間当たりの移動量が更新される。一方、第１実施形態に係る路面照射装置の動作終了イベントが発生していれば、第１実施形態に係る路面照射装置は図３に示すフローチャートの動作を終了する。
【００５７】
なお、ステップＳ１６を実施する代わりに、第１実施形態に係る路面照射装置の動作終了イベントが発生しているか否かを第１実施形態に係る路面照射装置がフローチャートの動作中常時監視し、第１実施形態に係る路面照射装置の動作終了イベントが発生すれば直ちにフローチャートの動作を終了するようにしてもよい。この場合、ステップＳ１５の処理が終わるとステップＳ１１に戻るようにすればよい。
【００５８】
＜２．第２実施形態＞
図４は、第２実施形態に係る路面照射装置の構成を示す図である。第１実施形態と同様に本実施形態においても画像処理部２及び光出力部３が路面照射装置を構成している。図４において図１と同一の部分には同一の符号を付し、詳細な説明を省略する。
【００５９】
第１実施形態と同様に本実施形態においても画像処理部２は処理後の画像を光出力部３に出力する。
【００６０】
本実施形態では、画像処理部２は、画像取得部２１と、推定部２２と、生成部２３と、検出部２６と、指標演算部２７と、画像出力部２５と、を備える。
【００６１】
検出部２６は、フレーム画像から駐車枠を検出する。具体的には、検出部２６は駐車区画を示す第１の区画線及び第２の区間線をエッジ抽出などの画像処理を利用して検出し、第１の区画線及び第２の区間線に基づいて車両が駐車されるべき領域の外枠を示す駐車枠を検出する。なお、第１の区画線及び第２の区間線は駐車場において白線やオレンジ色の線で描かれている。
【００６２】
指標演算部２７は、生成部２３によって生成された予想進路線と検出部２６によって検出された駐車枠との相対関係に関する指標を求める。例えば、指標演算部２７は、駐車枠の前方短辺（車両が駐車枠に収まった場合に車両の前端に近接する短辺）と２本の予想進路線との各交点を求め、２つの交点の中点と駐車枠の前方短辺の中点とのずれに応じた指標を求めるとよい。
【００６３】
本実施形態では、画像出力部２５は、指標演算部２７によって求められた指標に応じて変更して予想進路線の画像を生成し、その予想進路線の画像を光出力部３に出力する。これにより、路面に照射された光で形成される予想進路線の画像からドライバーが予想進路線と駐車枠との位置関係を把握することができる。したがって、どの程度上手く駐車運転操作を行えているかが駐車運転操作の最中に分かり易くなる。
【００６４】
図５は、予想進路線の画像例を模式的に示す上面図である。図５では予想進路線の他に車両５と仮想的な枠である駐車枠６とを図示している。図５（ａ）は指標演算部２７によって求められた指標に応じて予想進路線の色を一様に変化させている。例えば、予想進路線と駐車枠との位置関係が理想的であれば青色とし、予想進路線と駐車枠との位置関係が理想からすこし外れていれば黄色とし、予想進路線と駐車枠との位置関係が理想からかなり外れていれば赤色とすればよい。図５（ｂ）は指標演算部２７によって求められた指標に応じて予想進路線の太さと濃さを一様に変化させている。例えば、予想進路線と駐車枠との位置関係が理想的であれば細くて濃い線とし、予想進路線と駐車枠との位置関係が理想から外れていれば太くて薄い線とすればよい。図５（ｃ）は指標演算部２７によって求められた指標に応じて予想進路線を搖動させている。例えば、予想進路線と駐車枠との位置関係が理想的であれば予想進路線を搖動させず、予想進路線と駐車枠との位置関係が理想から外れていれば予想進路線を搖動させればよい。
【００６５】
図６は、第２実施形態に係る路面照射装置の動作例を示すフローチャートである。第２実施形態に係る路面照射装置の動作開始イベントが発生すると、第２実施形態に係る路面照射装置は図６に示すフローチャートの動作を開始する。第２実施形態に係る路面照射装置の動作開始イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジに切り替わったこと等を挙げることができる。
【００６６】
まず、推定部２２による推定処理が実行される（ステップＳ２１）。次に、生成部２３による生成処理が実行される（ステップＳ２２）。次に、検出部２６による検出処理が実行される（ステップＳ２３）。次に、指標演算部２７による指標演算処理が実行される（ステップＳ２４）。次に、画像出力部２５による画像出力処理が実行される（ステップＳ２５）。次に、光出力部３による光出力処理が実行される（ステップＳ２６）。そして、第２実施形態に係る路面照射装置は、第２実施形態に係る路面照射装置の動作終了イベントが発生しているか否かを確認する（ステップＳ２７）。第２実施形態に係る路面照射装置の動作終了イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。
【００６７】
第２実施形態に係る路面照射装置の動作終了イベントが発生していなければ、ステップＳ２１に戻る。これにより、新たなフレーム画像に基づいて推定部２２によって推定される車両の移動方向及び単位時間当たりの移動量が更新される。一方、第２実施形態に係る路面照射装置の動作終了イベントが発生していれば、第２実施形態に係る路面照射装置は図６に示すフローチャートの動作を終了する。
【００６８】
なお、ステップＳ２７を実施する代わりに、第２実施形態に係る路面照射装置の動作終了イベントが発生しているか否かを第２実施形態に係る路面照射装置がフローチャートの動作中常時監視し、第２実施形態に係る路面照射装置の動作終了イベントが発生すれば直ちにフローチャートの動作を終了するようにしてもよい。この場合、ステップＳ２６の処理が終わるとステップＳ２１に戻るようにすればよい。
【００６９】
＜３．第３実施形態＞
図７は、第３実施形態に係る路面照射装置の構成を示す図である。第１実施形態と同様に本実施形態においても画像処理部２及び光出力部３が路面照射装置を構成している。図７において図１と同一の部分には同一の符号を付し、詳細な説明を省略する。
【００７０】
第１実施形態とは異なり本実施形態では画像処理部２は処理後の画像を表示装置４に出力する。
【００７１】
表示装置４は、ドライバーが表示装置４の表示画面を視認できる位置に設けられ、画像処理部２から出力される画像を表示する。
【００７２】
本実施形態では、画像処理部２は、画像取得部２１と、判定部２８と、検知部２９と、画像出力部２５と、を備える。
【００７３】
判定部２８は、フレーム画像に含まれる光の形態と期待される形態とのずれを判定する。期待される形態とは、車両外部が標準的な状況において光出力部３が光を照射したときにフレーム画像に含まれる光の形態を意味している。標準的な状況としては、例えば障害物が存在せず、路面が乾いた舗装面であって、バックカメラ１のレンズに異物が付着していない状況等を挙げることができる。光出力部３が一定の形態の光を照射する場合には判定部２８は予め期待される形態を不揮発的に記憶しておけばよく、光出力部３が異なる形態の光を照射する場合には判定部２８は期待される形態に関する情報を光出力部３から取得するようにすればよい。
【００７４】
検知部２９は、判定部２８の判定結果に基づいて車両外部の状況を検知する。したがって、本実施形態では、路面に照射される光を利用して車両外部の状況を検知することができる。
【００７５】
例えば、検知部２９は、フレーム画像に含まれる光の形状が歪んでいる場合に光の照射方向に障害物が存在することを検知すればよい。この検知は、第１実施形態や第２実施形態との相乗効果が期待できるため、ドライバーが駐車運転操作を行っているときに特に有用である。
【００７６】
また例えば、検知部２９は、フレーム画像に含まれる光が期待される形状や鮮明度と異なる場合、その差分に基づいて路面の状態を検知すればよい。
【００７７】
また例えば、検知部２９は、フレーム画像に含まれる光の一部が期待される形状や鮮明度と異なっており車両が移動した後でもその差分が生じる位置や差分の状況に変化がない場合、その差分に基づいてバックカメラ１のレンズに雨滴や泥などの異物が付着していることを検知すればよい。
【００７８】
検知部２９の検知結果は、例えば車両に搭載される表示装置や車両制御ＥＣＵ（Electric Control Unit）に送信され、必要に応じて表示装置が警告表示を行ったり、車両制御ＥＣＵがドライバーの運転操作に対する介入を行うようにすればよい。
【００７９】
図８は、第３実施形態に係る路面照射装置の動作例を示すフローチャートである。第３実施形態に係る路面照射装置の動作開始イベントが発生すると、第３実施形態に係る路面照射装置は図８に示すフローチャートの動作を開始する。第３実施形態に係る路面照射装置の動作開始イベントとしては、例えば、車両のイグニッションスイッチがオンになったこと等を挙げることができる。
【００８０】
まず、光出力部３による光出力処理が実行される（ステップＳ３１）。次に、判定部２８による判定処理が実行される（ステップＳ３２）。次に、検知部２９による検知処理が実行される（ステップＳ５３）。そして、第３実施形態に係る路面照射装置は、第３実施形態に係る路面照射装置の動作終了イベントが発生しているか否かを確認する（ステップＳ３４）。第３実施形態に係る路面照射装置の動作終了イベントとしては、例えば、車両のイグニッションスイッチがオフになったこと等を挙げることができる。
【００８１】
第３実施形態に係る路面照射装置の動作終了イベントが発生していなければ、ステップＳ３２に戻る。これにより、新たなフレーム画像に基づいて判定部２８の判定結果が更新される。一方、第３実施形態に係る路面照射装置の動作終了イベントが発生していれば、第３実施形態に係る路面照射装置は図８に示すフローチャートの動作を終了する。
【００８２】
なお、ステップＳ３４を実施する代わりに、第３実施形態に係る路面照射装置の動作終了イベントが発生しているか否かを第３実施形態に係る路面照射装置がフローチャートの動作中常時監視し、第３実施形態に係る路面照射装置の動作終了イベントが発生すれば直ちにフローチャートの動作を終了するようにしてもよい。この場合、ステップＳ３３の処理が終わるとステップＳ３２に戻るようにすればよい。
【００８３】
＜４．変形例＞
上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【００８４】
例えば、第１〜第３実施形態の少なくとも２つを組み合わせて実施することができる。ただし、組合せの中に第１実施形態及び第２実施形態の両方が含まれる場合、予想進路線の確度に応じた予想進路線の形態の変更と、予想進路線と駐車枠との相対関係に関する指標に応じた予想進路線の形態の変更との区別がつくようにする必要がある。例えば、予想進路線の確度に応じて予想進路線の色を変更し、予想進路線と駐車枠との相対関係に関する指標に応じて予想進路線の太さを変更することによって、上記の区別が可能となる。
【００８５】
また例えば、第３実施形態を単独で実施する場合、光出力部３が出力する光はバックカメラ１によって撮影可能であれば、非可視光（例えば赤外線）であってもよい。
【００８６】
また上述した各実施形態ではバックカメラ１によって得られた撮影画像を利用したが、バックカメラ以外のカメラ（例えばフロントカメラやサイドカメラ）によって得られた撮影画像を利用してもよい。
【００８７】
また第２実施形態において、指標演算部２７によって求められた指標の関するデータを画像処理部２が車両に搭載される表示装置や車両制御ＥＣＵ（Electric Control Unit）に送信し、必要に応じて表示装置が警告表示を行ったり、車両制御ＥＣＵがドライバーの運転操作に対する介入を行ってもよい。
【符号の説明】
【００８８】
１  バックカメラ
２  画像処理部
３  光出力部
４  表示装置
２１  画像取得部
２２  推定部
２３  生成部
２４  算出部
２５  画像出力部
２６  検出部
２７  指標演算部
２８  判定部
２９  検知部
【図１】
2018118618.tif 000003
【図２】
2018118618.tif 000004
【図３】
2018118618.tif 000005
【図４】
2018118618.tif 000006
【図５】
2018118618.tif 000007
【図６】
2018118618.tif 000008
【図７】
2018118618.tif 000009
【図８】
2018118618.tif 000010