(57)【要約】運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供する。運転支援装置は、乗り物の運転者の視線を検出する視線検出部（３１）と、乗り物の周囲を撮像する複数の第一の撮像部１３〜１５の中から視線の方向に対応する第一の撮像部を選択する撮像選択部（３２）と、選択された第一の撮像部により撮像して得られた第一の撮像画像データを、運転者の眼の前方を撮像する第二の撮像部（２８）により撮像して得られる第二の撮像画像データに基づいて加工処理し、加工処理後の第一の撮像画像データに基づく画像を、乗り物の運転者の眼の前方に固定される透過型の表示部（２７）に表示させる表示制御部（３３）と、を備える。
2017145645.tif 000002
【特許請求の範囲】
【請求項１】
乗り物の運転を支援する運転支援装置であって、
前記乗り物の運転者の視線を検出する視線検出部と、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択部と、
前記撮像選択部により選択された前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記乗り物の前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御部と、を備える運転支援装置。
【請求項２】
請求項１記載の運転支援装置であって、
前記乗り物の前記運転者の眼の前方に固定される透過型の表示部と、
前記運転者の眼の前方を撮像する第二の撮像部と、を更に備え、
前記運転者の頭部に装着されるものである運転支援装置。
【請求項３】
請求項１又は２記載の運転支援装置であって、
前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示される前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援装置。
【請求項４】
請求項３記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援装置。
【請求項５】
請求項４記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援装置。
【請求項６】
請求項４記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援装置。
【請求項７】
請求項４〜６のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援装置。
【請求項８】
請求項４〜６のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援装置。
【請求項９】
請求項４〜８のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援装置。
【請求項１０】
請求項１〜９のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援装置。
【請求項１１】
請求項１〜１０のいずれか１項記載の運転支援装置であって、
前記視線検出部は、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援装置。
【請求項１２】
乗り物の運転を支援する運転支援方法であって、
前記乗り物の運転者の視線を検出する視線検出ステップと、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備える運転支援方法。
【請求項１３】
請求項１２記載の運転支援方法であって、
前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示された前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援方法。
【請求項１４】
請求項１３記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援方法。
【請求項１５】
請求項１４記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援方法。
【請求項１６】
請求項１４記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援方法。
【請求項１７】
請求項１４〜１６のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援方法。
【請求項１８】
請求項１４〜１６のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援方法。
【請求項１９】
請求項１４〜１８のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援方法。
【請求項２０】
請求項１２〜１９のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援方法。
【請求項２１】
請求項１２〜２０のいずれか１項記載の運転支援方法であって、
前記視線検出ステップは、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援方法。
【請求項２２】
乗り物の運転を支援する運転支援プログラムであって、
前記乗り物の運転者の視線を検出する視線検出ステップと、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるための運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置、運転支援方法、及び、運転支援プログラムに関する。
【背景技術】
【０００２】
自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物における運転を支援するシステムとして、乗り物の周囲を撮像可能に搭載された複数の撮像部と、運転者の頭部の動きを検出する動き検出部と、運転者の頭部に装着して用いられる透過型のＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ）と、を備えるシステムが提案されている（特許文献１及び特許文献２参照）。【０００３】
このシステムは、運転者の視線方向に対応する撮像部によって撮像される画像をＨＭＤに表示させることで、運転者の死角となる部分を運転者に視認させて安全運転を支援している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７８２３４号公報
【特許文献２】特開平１０−２０６７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のシステムは、透過型のＨＭＤを通して運転者から見える像に、撮像部によって撮像された画像が単純に重畳されるものである。このため、運転者から見える像の一部が撮像部によって撮像されている場合には、同じ内容の像が２つ観察される場合があり、運転者に違和感を生じさせてしまう。【０００６】
特許文献２に記載のシステムは、非透過型のＨＭＤを用いているため、運転者はＨＭＤを通して実際の像を確認することができず、安全性に支障をきたす。【０００７】
本発明は、上記事情に鑑みてなされたものであり、運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の運転支援装置は、乗り物の運転を支援する運転支援装置であって、上記乗り物の運転者の視線を検出する視線検出部と、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択部と、上記撮像選択部により選択された上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御部と、を備えるものである。【０００９】
本発明の運転支援方法は、乗り物の運転を支援する運転支援方法であって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備えるものである。【００１０】
本発明の運転支援プログラムは、乗り物の運転を支援する運転支援プログラムであって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態である運転支援装置２を装着する運転者が乗車する自動車１の概略構成を示す模式図である。
【図２】本発明の一実施形態である運転支援装置２の外観構成を示す斜視図である。
【図３】図２に示す運転支援装置２のブロック構成を示す図である。
【図４】第一の撮像部１５により撮像して得られた第一の撮像画像データ５０の一例を示す図である。
【図５】運転者が運転支援装置２を装着して自動車１の後方を向いた場合に運転者から観察される車内の風景を示す図である。
【図６】加工処理後の第一の撮像画像データ５０に基づく画像が表示部２７に表示された状態で運転者から観察される風景を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照して説明する。
【００１４】
図１は、本発明の一実施形態である運転支援装置２を装着する運転者が乗車する自動車１の概略構成を示す模式図である。図２は、本発明の一実施形態である運転支援装置２の外観構成を示す斜視図である。ここでは自動車１の運転者に運転支援装置２が装着される例を説明するが、電車、船舶、重機、航空機、又は、農作用機械等の乗り物の運転者に運転支援装置２が装着される構成であってもよい。
【００１５】
図１に示す自動車１は、車体右側に右サイドミラー１１が設けられ、車体左側に左サイドミラー１２が設けられている。自動車１は、右サイドミラー１１に取り付けられた第一の撮像部１３と、左サイドミラー１２に取り付けられた第一の撮像部１４と、自動車１の後方に位置するトランク部分に取り付けられた第一の撮像部１５と、を備える。
【００１６】
第一の撮像部１３は、自動車１の右側方から後方の範囲を撮像するものである。第一の撮像部１４は、自動車１の左側方から後方の範囲を撮像するものである。第一の撮像部１５は、自動車１の後方を撮像するものである。
【００１７】
このように、自動車１には、自動車１の周囲を撮像する複数の第一の撮像部が設けられている。なお、第一の撮像部１３〜１５の配置位置は図１に示したものに限定されない。例えば、第一の撮像部１３及び第一の撮像部１４は、右サイドミラー１１及び左サイドミラー１２に代えてフェンダミラーに取り付けられるものであってもよい。また、第一の撮像部１５は、例えば、ナンバープレートの近傍位置又はリヤウインドウ近傍位置等に設置されていてもよい。
【００１８】
第一の撮像部１３〜１５は、有線又は無線によって運転支援装置２と接続されている。第一の撮像部１３〜１５で撮像して得られる撮像画像データは、有線又は無線によって運転支援装置２に転送される。
【００１９】
運転支援装置２は、運転者の頭部に装着して用いられるものであり、図２に示す例ではメガネ形状の装置である。運転支援装置２は、運転者の頭部に装着された状態で、運転者の眼の前方を撮像することにより得られる撮像画像に基づいて運転者の視線を検出し、第一の撮像部１３〜１５の中から、検出した視線に対応する第一の撮像部で撮像された撮像画像を表示部２７に表示させる。これにより、運転者の死角となる範囲を視認可能として安全運転を支援するものである。
【００２０】
運転支援装置２は、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、ブリッジ２２に設けられた鼻当て２３Ｒ，２３Ｌ、及び、透明基板２４Ｒ，２４Ｌからなるメガネ本体と、メガネ本体に固定された制御ユニット２５と、を備える。
【００２１】
テンプル２１Ｒ、２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、運転者の耳又は側頭部に係止され、頭部への保持及び装着位置の調整を行うためのものである。
【００２２】
ブリッジ２２は、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した位置関係に保持する。
【００２３】
制御ユニット２５は、図２の例では、運転者の右眼の前方に配置される透明基板２４Ｒに固定されており、電池及び後述するシステム制御部３０等が収容される筐体２６と、透過型の表示部２７と、第二の撮像部２８と、を備える。
【００２４】
表示部２７は、運転者の眼の前方に固定される。これにより、表示部２７に表示された画像と、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者から観察される背景像とが重なった像を、運転者が観察可能となっている。
【００２５】
第二の撮像部２８は、運転者の眼の前方を撮像するものである。第二の撮像部２８の光軸及び画角は、運転者の視線及び視野と略同一になるように設定されている。
【００２６】
図３は、図２に示す運転支援装置２のブロック構成を示す図である。
【００２７】
図３に示すように、運転支援装置２は、表示部２７と、第二の撮像部２８と、システム制御部３０と、を備える。
【００２８】
システム制御部３０は、運転支援装置２を統括制御する。システム制御部３０は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ
Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含む。
【００２９】
システム制御部３０は、プロセッサがＲＯＭに記憶されたプログラムを実行することにより、視線検出部３１と、撮像選択部３２と、表示制御部３３として機能する。このプログラムは運転支援プログラムを含む。
【００３０】
視線検出部３１は、第二の撮像部２８によって運転者の眼の前方を撮像して得られた第二の撮像画像データを有線又は無線通信により取得し、取得した第二の撮像画像データを公知の画像解析処理により解析して、運転者の視線を検出する。
【００３１】
視線検出部３１は、例えば、運転支援装置２に設けられた加速度センサ又はジャイロセンサ等のセンサの情報に基づいて運転者の頭部の動きを検知し、検知した動きに基づいて装着者の視線を検出してもよい。
【００３２】
撮像選択部３２は、視線検出部３１で検出された運転者の視線に基づいて、第一の撮像部１３〜１５の中から、検出した視線の方向に対応する第一の撮像部を選択する。
【００３３】
自動車１の運転者の視線の方向と、第一の撮像部１３〜１５のうち、その運転者の視線の方向の風景を撮像することのできる第一の撮像部との対応関係は、予めテーブルデータとしてＲＯＭに記憶されている。撮像選択部３２は、視線検出部３１により検出された視線の方向に対応する第一の撮像部をこのテーブルデータから特定し、特定した第一の撮像部を選択する。
【００３４】
具体的には、運転者の視線が正面に対して右方向を向いていると検出された場合には、自動車１が前進する際の進行方向よりも右側の風景を撮像する第一の撮像部１３が選択される。また、運転者の視線が左方向を向いていると検出された場合には、自動車１が前進する際の進行方向よりも左側の風景を撮像する第一の撮像部１４が選択される。また、運転者の視線が後方を向いていると検出された場合には、自動車１が後退する際の進行方向の風景を撮像する第一の撮像部１５が選択される。
【００３５】
表示制御部３３は、撮像選択部３２により選択された第一の撮像部１３〜１５のいずれかにより撮像して得られた第一の撮像画像データと、第二の撮像部２８により撮像して得られる第二の撮像画像データとをそれぞれ取得する。表示制御部３３は、第一の撮像画像データを、第二の撮像画像データに基づいて加工処理し、加工処理後の第一の撮像画像データに基づく画像を表示部２７に表示させる。
【００３６】
この加工処理は、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者によって自動車１の窓枠内に観察される像の輪郭と、この像が第一の撮像部により撮像されて表示部２７に表示されたこの像に対応する画像（この像を撮像して得られた画像）の輪郭とを一致させるための処理である。すなわち、この加工処理により、加工処理後の第一の撮像画像データに基づく画像が表示部２７に表示された状態で、当該画像の輪郭と、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者によって自動車１の窓枠内に観察される像の輪郭とが一致する。
【００３７】
具体的には、表示制御部３３は、第二の撮像画像データのうち、運転者によって自動車１の窓枠内に観察される像に対応する部分（対応部分）から公知の輪郭抽出処理により輪郭を抽出する。撮像選択部３２により選択された第一の撮像部と、第二の撮像部２８は、自動車１の前後方向において位置に差があり、また、重力方向においても光軸の位置に差がある。
【００３８】
このため、第二の撮像画像データのうちの運転者によって自動車１の窓枠内に観察される像に対応する部分から輪郭抽出処理によって抽出された輪郭と、撮像選択部３２により選択された第一の撮像部により撮像して得られた第一の撮像画像データにおけるこの像に対応する部分の輪郭は、大きさ及び位置が異なる。
【００３９】
表示制御部３３は、第一の撮像画像データにおけるこの像に対応する部分の輪郭の大きさ及び位置が、第二の撮像画像データから輪郭抽出処理によって抽出された輪郭の大きさ及び位置と同じになるように、第一の撮像画像データをアフィン変換する。
【００４０】
次に、図４〜図６を参照して加工処理について詳述する。ここでは、運転者が自動車１の後方を観察する場合に行われる加工処理について説明する。
【００４１】
図４は、第一の撮像部１５により撮像して得られた第一の撮像画像データ５０の一例を示す図である。図４に示す第一の撮像画像データ５０には、人物に対応する画像５１、人物に対応する画像５２、電柱に対応する画像５３、及び、道路の白線に対応する画像５４が含まれる。
【００４２】
図５は、運転者が運転支援装置２を装着して自動車１の後方を向いた場合に、運転者から観察される車内の風景を示す図である。
【００４３】
自動車１の後方には、窓枠１０１で囲まれる透明ウインドウが設けられており、運転者が自動車１の後方を観察することができるようになっている。自動車１の車内には、同乗者が着席するための座席１０２が設けられている。
【００４４】
運転支援装置２を装着している運転者からは、表示部２７及び透明基板２４Ｒ，２４Ｌを通して、人物１１１、人物１１２、電柱１１３、及び、道路の白線１１４等の像が窓枠１０１内に観察される。図５には、運転支援装置２を装着した運転者から見える表示部２７の画像表示範囲２７Ａが示されている。
【００４５】
なお、図４に示した画像５１は、第一の撮像部１５によって人物１１１が撮像されて得られた画像である。図４に示した画像５２は、第一の撮像部１５によって人物１１２が撮像されて得られた画像である。図４に示した画像５３は、第一の撮像部１５によって電柱１１３が撮像されて得られた画像である。図４に示した画像５４は、第一の撮像部１５によって白線１１４が撮像されて得られた画像である。
【００４６】
運転支援装置２の電源がオンの間、視線検出部３１は、第二の撮像部２８によって撮像して得られた第二の撮像画像データを取得し、取得した第二の撮像画像データから運転者の視線の方向を検出する。図５の例では、運転者が自動車１の後方を向いていることが検出されるため、撮像選択部３２は第一の撮像部１５を選択する。
【００４７】
撮像選択部３２により第一の撮像部が選択されると、表示制御部３３は、撮像選択部３２で選択された第一の撮像部１５により撮像して得られた第一の撮像画像データ５０と、第二の撮像部２８により撮像して得られた第二の撮像画像データとを取得する。
【００４８】
第二の撮像画像データには、窓枠１０１内の人物１１１に対応する画像と、窓枠１０１内の人物１１２に対応する画像と、窓枠１０１の電柱１１３に対応する画像と、窓枠１０１の白線１１４に対応する画像とが含まれる。
【００４９】
表示制御部３３は、第二の撮像画像データから窓枠１０１を検出する処理を行う。更に、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分に輪郭抽出処理を行って、窓枠１０１内の人物１１１に対応する画像の輪郭と、窓枠１０１内の人物１１２に対応する画像の輪郭と、窓枠１０１内の電柱１１３に対応する画像の輪郭と、窓枠１０１内の白線１１４に対応する画像の輪郭と、をそれぞれ抽出する。
【００５０】
表示制御部３３は、第一の撮像画像データ５０に対しても輪郭抽出処理を行い、図４に示した画像５１〜画像５４の各々の輪郭を抽出する。
【００５１】
表示制御部３３は、第一の撮像画像データから抽出した画像５１〜画像５４の輪郭の各々における、第二の撮像画像データから抽出した人物１１１に対応する画像の輪郭、人物１１２に対応する画像の輪郭、電柱１１３に対応する画像の輪郭、及び、白線１１４に対応する画像の輪郭の各々の対応範囲を検出する。例えば、図４に示す範囲５５が、対応範囲として検出される。
【００５２】
表示制御部３３は、図４に示す第一の撮像画像データ５０をアフィン変換して、範囲５５から検出された画像５１〜画像５４の輪郭の各々の位置及び大きさを、第二の撮像画像データから抽出した人物１１１に対応する画像の輪郭、人物１１２に対応する画像の輪郭、電柱１１３に対応する画像の輪郭、及び、白線１１４に対応する画像の輪郭の各々と一致させる。
【００５３】
図６は、加工処理後の第一の撮像画像データ５０に基づく画像が表示部２７に表示された状態で運転者から観察される風景を示す図である。
【００５４】
図６に示すように、表示部２７に表示されたアフィン変換後の第一の撮像画像データ５０における画像５１の輪郭５１Ａ、画像５２の輪郭５２Ａ、画像５３の輪郭５３Ａ、及び、画像５４の輪郭５４Ａの各々は、運転者から窓枠１０１内に観察されている人物１１１の輪郭、人物１１２の輪郭、電柱１１３の輪郭、及び、白線１１４の輪郭の各々と一致している。
【００５５】
以上の加工処理によって、運転者に違和感を生じさせることなく、運転者の死角となる部分を視認させて安全運転を支援することができる。
【００５６】
表示制御部３３は、第二の撮像画像データのうちの運転者によって窓枠１０１内に観察される像に対応する部分（窓枠検出処理によって検出された窓枠内の部分）に輪郭抽出処理を行うものとしたが、この対応部分に対して、輪郭抽出処理の前に、自動車１の運転の障害となりえる障害物を検出する障害物検出処理を行い、この障害物検出処理によって障害物が検出された部分のみを対象にして輪郭抽出処理を行ってもよい。このようにすることで、輪郭抽出処理にかかる時間を削減することができ、処理速度を向上することができる。
【００５７】
障害物検出処理の方法としては、例えば、白線検知等によって道路を検出し、道路以外の物体を障害物として検出する方法、ステレオカメラ等を用いて自動車１からの距離が閾値以下の物体を障害物として検出する方法、顔検出処理により検出された人物を障害物として検出する方法、又は、予め登録した物体パターン（例えば、人物、電柱、又は、壁等）との画像マッチングにより障害物を検出する方法等を用いればよい。
【００５８】
また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端を含む一部のみを対象として輪郭抽出処理を行ってもよい。窓枠１０１内の略上半分には障害物がない（仮に障害物があったとしても遠くにある）と想定される。このため、例えば窓枠１０１内の略下半分のみを輪郭抽出処理の対象範囲とすることで、輪郭抽出処理にかかる時間を削減し、処理速度を向上することができる。
【００５９】
また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端から上端に向かって順に上述した障害物検出処理を行い、この障害物検出処理によって障害物が検出された場合に、最初に検出された障害物に対してのみ輪郭抽出処理を行ってもよい。
【００６０】
窓枠１０１内で下端に観察される像ほど自動車１の近くにあるものと想定されるため、第二の撮像画像データの窓枠１０１内の部分に対し下端から上端に向かって障害物検出処理を行い、最初に障害物が検出された時点で障害物検出処理を終了し、この障害物のみを対象として輪郭抽出処理を行うことで、障害物検出処理及び輪郭抽出処理にかかる時間を削減し、処理速度を向上することができる。
【００６１】
また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端から上端に向かって順に上記の障害物検出処理を行い、この部分から障害物が検出されない場合には、輪郭抽出処理を間引き処理するようにしてもよい。
【００６２】
間引き処理とは、例えば、画像に対して１画素行毎に輪郭抽出処理を行うのではなく、１画素行おき又は複数画素行おきに輪郭抽出処理を行うことを言う。
【００６３】
障害物が検出されない状態は、例えば、第二の撮像画像データの窓枠１０１内の部分に白線１１４に対応する画像しか含まれない場合が相当する。白線は直線であるため、輪郭抽出処理を間引いても、輪郭抽出の精度にはあまり影響しない。このような構成とすることで、輪郭処理にかかる時間を削減し、処理速度を向上することができる。
【００６４】
また、表示制御部３３は、輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記の加工処理を省略して、第一の撮像画像データに基づく画像を表示部２７に表示させてもよい。このように、輪郭が非抽出となる場合でも、自動車１の車外の撮像画像をそのまま表示部２７に表示させることで、運転者の死角となる部分を運転者に視認させることができる。
【００６５】
また、表示制御部３３は、表示部２７を通して観察される自動車１の構成物（例えば、図５に示した座席１０２等）の色又は自動車１の室内の明るさに基づいて、表示部２７に表示させる画像の色又は輝度の少なくとも１つを制御するのが好ましい。
【００６６】
例えば、表示制御部３３は、逆光の状況又は車内が暗い夜間等の場合には、画像の輝度を上げたり、画像のうちの構成物と重なる部分についてはこの構造部の色の補色で表示したりすることで、表示部２７に表示される画像の視認性を向上させることができる。
【００６７】
運転支援装置２のシステム制御部３０は、自動車１を制御する制御ユニットに設けられ、有線又は無線通信によって表示部２７及び第二の撮像部２８と通信可能であってもよい。このようにすることで、負荷の高い処理を自動車１に設けられた高性能のプロセッサによって実行することができ、運転支援装置２の連続使用時間を延ばすことができる。この場合は、システム制御部３０が運転支援装置を構成する。
【００６８】
以上説明してきたように、本明細書には少なくとも以下の事項が開示されている。
【００６９】
運転支援装置は、乗り物の運転を支援する運転支援装置であって、上記乗り物の運転者の視線を検出する視線検出部と、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択部と、上記撮像選択部により選択された第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御部と、を備えるものである。
【００７０】
上記運転支援装置は、上記運転者の頭部に装着されるものとすることができ、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部と、上記運転者の眼の前方を撮像する第二の撮像部と、を更に備えるものとすることができる。
【００７１】
上記運転支援装置において、上記加工処理は、上記運転者によって上記乗り物の窓枠内に観察される像の輪郭と、上記表示部に表示されるその画像に含まれるその像に対応する画像の輪郭とを一致させるための処理であるものを含むことができる。
【００７２】
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうちの上記運転者によって上記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、上記第一の撮像画像データから輪郭抽出処理を行い、上記加工処理は、上記第一の撮像画像データから抽出された輪郭のうち、上記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、上記第二の撮像画像データから抽出された輪郭に一致させる処理であるものを含むことができる。
【００７３】
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分であり、かつ、上記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行うものとすることができる。
【００７４】
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行うものとすることができる。
【００７５】
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から最初に検出された上記障害物を対象として輪郭抽出処理を行うものとすることができる。
【００７６】
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から上記障害物が検出されない場合には、輪郭抽出処理を間引き処理するものとすることができる。
【００７７】
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記加工処理を省略して、上記第一の撮像画像データに基づく上記画像を上記表示部に表示させるものとすることができる。
【００７８】
上記運転支援装置において、上記表示制御部は、上記表示部を通して観察される上記乗り物の構成物の色、又は、上記乗り物の室内の明るさに基づいて、上記表示部に表示させる上記画像の色又は輝度の少なくとも一方を制御するものとすることができる。
【００７９】
上記運転支援装置において、上記視線検出部は、上記運転者の眼の前方を撮像して得られる撮像画像に基づいて上記視線を検出する、又は、上記運転者の頭部の動きに基づいて上記視線を検出するものとすることができる。
【００８０】
運転支援方法は、乗り物の運転を支援する運転支援方法であって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備えるものである。
【００８１】
上記運転支援方法において、上記加工処理は、上記運転者によって上記乗り物の窓枠内に観察される像の輪郭と、上記表示部に表示されたその画像に含まれるその像に対応する画像の輪郭とを一致させるための処理であるものを含むことができる。
【００８２】
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記運転者によって上記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、上記第一の撮像画像データから輪郭抽出処理を行い、上記加工処理は、上記第一の撮像画像データから抽出された輪郭のうち、上記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、上記第二の撮像画像データから抽出された輪郭に一致させる処理であるものを含むことができる。
【００８３】
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分であり、かつ、上記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行うものとすることができる。
【００８４】
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行うものとすることができる。
【００８５】
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から最初に検出された上記障害物を対象として輪郭抽出処理を行うものとすることができる。
【００８６】
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から上記障害物が検出されない場合には、輪郭抽出処理を間引き処理するものとすることができる。
【００８７】
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記加工処理を省略して、上記第一の撮像画像データに基づく上記画像を上記表示部に表示させるものとすることができる。
【００８８】
上記運転支援方法において、上記表示制御ステップは、上記表示部を通して観察される上記乗り物の構成物の色、又は、上記乗り物の室内の明るさに基づいて、上記表示部に表示させる上記画像の色又は輝度の少なくとも一方を制御するものとすることができる。
【００８９】
上記運転支援方法において、上記視線検出ステップは、上記運転者の眼の前方を撮像して得られる撮像画像に基づいて上記視線を検出する、又は、上記運転者の頭部の動きに基づいて上記視線を検出するものとすることができる。
【００９０】
運転支援プログラムは、乗り物の運転を支援する運転支援プログラムであって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。
【産業上の利用可能性】
【００９１】
本発明は、自動車の運転を支援するのに好適である。
【符号の説明】
【００９２】
１  自動車
１１  右サイドミラー
１２  左サイドミラー
１３〜１５  第一の撮像部
２  運転支援装置
２１Ｌ、２１Ｒ  テンプル
２２  ブリッジ
２３Ｒ，２３Ｌ  鼻当て
２４Ｒ，２４Ｌ  透明基板
２５  制御ユニット
２６  筐体
２７  表示部
２８  第二の撮像部
３０  システム制御部
３１  視線検出部
３２  撮像選択部
３３  表示制御部
５０  第一の撮像画像データ
５１〜５４  画像
５５  範囲
１０１  窓枠
１０２  座席
１１１、１１２  人物
１１３  電柱
１１４  白線
２７Ａ  画像表示範囲
５１Ａ〜５３Ａ  輪郭
【図１】
2017145645.tif 000003
【図２】
2017145645.tif 000004
【図３】
2017145645.tif 000005
【図４】
2017145645.tif 000006
【図５】
2017145645.tif 000007
【図６】
2017145645.tif 000008
【手続補正書】
【提出日】平成29年6月22日(2017.6.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
乗り物の運転を支援する運転支援装置であって、
前記乗り物の運転者の視線を検出する視線検出部と、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択部と、
前記乗り物の前記運転者の眼の前方に固定される透過型の表示部と、
前記運転者の眼の前方を撮像する第二の撮像部と、
前記撮像選択部により選択された前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の眼の前方を撮像する前記第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記乗り物の前記運転者の眼の前方に固定される前記透過型の表示部に表示させる表示制御部と、を備え、
前記運転者の頭部に装着されるものである運転支援装置。
【請求項２】
（削除）
【請求項３】
請求項１記載の運転支援装置であって、
前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示される前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援装置。
【請求項４】
請求項３記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援装置。
【請求項５】
請求項４記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援装置。
【請求項６】
請求項４記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援装置。
【請求項７】
請求項４〜６のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援装置。
【請求項８】
請求項４〜６のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援装置。
【請求項９】
請求項４〜８のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援装置。
【請求項１０】
請求項１及び３〜９のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援装置。
【請求項１１】
請求項１及び３〜１０のいずれか１項記載の運転支援装置であって、
前記視線検出部は、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援装置。
【請求項１２】
乗り物の運転を支援する運転支援方法であって、
前記乗り物の運転者の視線を検出する視線検出ステップと、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備える運転支援方法。
【請求項１３】
請求項１２記載の運転支援方法であって、
前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示された前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援方法。
【請求項１４】
請求項１３記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援方法。
【請求項１５】
請求項１４記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援方法。
【請求項１６】
請求項１４記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援方法。
【請求項１７】
請求項１４〜１６のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援方法。
【請求項１８】
請求項１４〜１６のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援方法。
【請求項１９】
請求項１４〜１８のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援方法。
【請求項２０】
請求項１２〜１９のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援方法。
【請求項２１】
請求項１２〜２０のいずれか１項記載の運転支援方法であって、
前記視線検出ステップは、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援方法。
【請求項２２】
乗り物の運転を支援する運転支援プログラムであって、
前記乗り物の運転者の視線を検出する視線検出ステップと、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるための運転支援プログラム。
【手続補正書】
【提出日】平成30年7月17日(2018.7.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
乗り物の運転を支援する運転支援装置であって、
前記乗り物の運転者の視線を検出する視線検出部と、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択部と、
前記乗り物の前記運転者の眼の前方に固定される透過型の表示部と、
前記運転者の眼の前方を撮像する第二の撮像部と、
前記撮像選択部により選択された前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の眼の前方を撮像する前記第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記乗り物の前記運転者の眼の前方に固定される前記透過型の表示部に表示させる表示制御部と、を備え、
前記運転者の頭部に装着されるものである運転支援装置。
【請求項２】
請求項１記載の運転支援装置であって、
前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示される前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援装置。
【請求項３】
請求項２記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援装置。
【請求項４】
請求項３記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援装置。
【請求項５】
請求項３記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援装置。
【請求項６】
請求項３〜５のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援装置。
【請求項７】
請求項３〜５のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援装置。
【請求項８】
請求項３〜７のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援装置。
【請求項９】
請求項１〜８のいずれか１項記載の運転支援装置であって、
前記表示制御部は、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援装置。
【請求項１０】
請求項１〜９のいずれか１項記載の運転支援装置であって、
前記視線検出部は、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援装置。
【請求項１１】
乗り物の運転を支援する運転支援方法であって、
前記乗り物の運転者の視線を検出する視線検出ステップと、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備える運転支援方法。
【請求項１２】
請求項１１記載の運転支援方法であって、
前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示された前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援方法。
【請求項１３】
請求項１２記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援方法。
【請求項１４】
請求項１３記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援方法。
【請求項１５】
請求項１３記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援方法。
【請求項１６】
請求項１３〜１５のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援方法。
【請求項１７】
請求項１３〜１５のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援方法。
【請求項１８】
請求項１３〜１７のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援方法。
【請求項１９】
請求項１１〜１８のいずれか１項記載の運転支援方法であって、
前記表示制御ステップは、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援方法。
【請求項２０】
請求項１１〜１９のいずれか１項記載の運転支援方法であって、
前記視線検出ステップは、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援方法。
【請求項２１】
乗り物の運転を支援する運転支援プログラムであって、
前記乗り物の運転者の視線を検出する視線検出ステップと、
前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるための運転支援プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の運転支援装置は、乗り物の運転を支援する運転支援装置であって、前記乗り物の運転者の視線を検出する視線検出部と、前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択部と、前記乗り物の前記運転者の眼の前方に固定される透過型の表示部と、前記運転者の眼の前方を撮像する第二の撮像部と、前記撮像選択部により選択された前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の眼の前方を撮像する前記第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記乗り物の前記運転者の眼の前方に固定される前記透過型の表示部に表示させる表示制御部と、を備え、前記運転者の頭部に装着されるものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の運転支援方法は、乗り物の運転を支援する運転支援方法であって、前記乗り物の運転者の視線を検出する視線検出ステップと、前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備えるものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の運転支援プログラムは、乗り物の運転を支援する運転支援プログラムであって、前記乗り物の運転者の視線を検出する視線検出ステップと、前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのものである。
【国際調査報告】
2017145645.tif 000009
2017145645.tif 000010
2017145645.tif 000011
2017145645.tif 000012