(57)【特許請求の範囲】
【請求項１】
助手席側のサイドミラー近傍に設けられる撮像手段によって撮像された画像を表示する表示手段を有する表示装置において、
前記助手席の位置検出信号と運転席の位置検出信号を入力され、前記表示手段を制御する制御処理部を備え、
該制御処理部は、入力された前記助手席の位置検出信号及び前記運転席の位置検出信号に基づいて、運転席からサイドミラーに向けられる視線軌跡が遮断されるか否かを判定して前記表示手段を制御することを特徴とする表示装置。
【請求項２】
前記制御処理部は、前記運転席のドライバ頭部位置を入力され、
運転席のドライバ頭部位置、前記運転席の位置検出信号および前記サイドミラー位置により前記視線軌跡を演算することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記制御処理部は、前記視線軌跡が遮断されると判定したときに前記撮像された画像を表示するように前記表示手段を制御することを特徴とする請求項１又は請求項２に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サイドミラーへのドライバの視線が助手席の同乗者の頭部などによって遮られた場合においても、サイドミラーに映る像に代わる、カメラによる撮像画像をモニターに表示する表示装置に関する。
【背景技術】
【０００２】
一般に車両の運転者は車体両側に設けられたサイドミラーにより車体両側及び後方の安全を確認し、また室内に設けられたバックミラー（ルームミラー）により車体後方の安全を確認しながら車両の運転をしている。しかしながら、このようなサイドミラーやバックミラーによる安全確認方法では、ピラーなどの車体構造物によって視界が制限されるため、安全確認には不十分であるという問題があった。
【０００３】
そこで、ピラーなどの車体構造物によって運転者にとって死角となる車両周囲を、車室外に設置されたカメラで撮影し、撮影により得られた映像を該車体構造物の位置に設けたモニタに表示する車両周囲の映像を提供する装置が知られている。
【０００４】
例えば、特許文献１（特開２００７−９６６３８号公報）には、車両周囲を撮影して得られた映像を運転者に提供する車両周囲映像提供装置であって、車両の構造上運転者にとって死角となる車両周囲を撮影する撮影手段と、前記撮影手段により撮影された車両周囲の映像を処理する映像処理手段と、前記映像処理手段により処理された映像を表示する表示手段と、運転者の視点位置の情報を取得する視点位置取得手段と、を備え、前記映像処理手段は、前記視点位置取得手段により取得された視点位置の情報と前記表示手段の設置状態の情報とに基づいて、運転者の視点位置から前記表示手段の設置領域が透過して車外が見えた場合と同じ映像が前記表示手段に表示されるように、前記撮影手段により撮影された映像を座標変換することを特徴とする車両周囲の映像を提供する表示装置が開示されている。
【特許文献１】特開２００７−９６６３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本来、ドライバはサイドミラーやバックミラーによる確認に慣れているため、表示装置によって提供される画像には違和感を覚える。しかしながら、特許文献１に記載されているような表示装置では、サイドミラーを確認可能であるにもかかわらず、始終車両周囲の映像を提供するようになっているために、ドライバにとっては過剰な情報となり、逆に運転を行いにくい、という問題がある。
また、サイドミラーやバックミラーによる確認では、車内の状況（助手席の同乗者の頭部など）により車室内に発生する死角によって、ミラーに写る像をドライバが確認することができないことがある、という問題もある。
【課題を解決するための手段】
【０００６】
上記の２つの問題点を共に解決するために、請求項１に係る発明は、助手席側のサイドミラー近傍に設けられる撮像手段によって撮像された画像を表示する表示手段を有する表示装置において、前記助手席の位置検出信号と運転席の位置検出信号を入力され、前記表示手段を制御する制御処理部を備え、該制御処理部は、入力された前記助手席の位置検出信号及び前記運転席の位置検出信号に基づいて、運転席からサイドミラーに向けられる視線軌跡が遮断されるか否かを判定して前記表示手段を制御することを特徴とする。
【０００７】
また、請求項２に係る発明は、請求項１に記載の表示装置において、前記制御処理部は、前記運転席のドライバ頭部位置を入力され、運転席のドライバ頭部位置、前記運転席の位置検出信号および前記サイドミラー位置により前記視線軌跡を演算することを特徴とする。
【０００８】
また、請求項３に係る発明は、請求項１又は請求項２に記載の表示装置において、前記制御処理部は、前記視線軌跡が遮断されると判定したときに前記撮像された画像を表示するように前記表示手段を制御することを特徴とする。
【発明の効果】
【０００９】
本発明の表示装置によれば、室内の助手席同乗者や助手席に置かれている荷物によって、ドライバがサイドミラーの像を確認できないときにのみ、その代替画像を提供するようにしたものであるので、ドライバは違和感なく、しかも常に安全確認を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施形態に係る表示装置が搭載される車両の運転席周辺の様子を示す図であり、図２は本発明の実施形態に係る表示装置が搭載される車両の運転席及び助手席の様子を示す図である。
【００１１】
本実施形態の表示装置に係る構成については、自動車、ハイブリッド車、電気自動車などの車両１０に搭載されることを一応想定しているが、その他の移動手段に搭載することも可能である。以下、本実施形態の表示装置が、右ハンドルの車両１０に搭載されていることを前提として説明するが、左ハンドルの車両に本実施形態の表示装置を適用する場合は物理的なハードウエア構成を左右対称に構成すればよい。
【００１２】
車両１０の助手席側のサイドミラー３５０の近傍には、サイドミラー３５０が映す像と同様の動画像を撮影することができるサイドカメラ５２０が設けられている。また、室内カメラ５１０は、室内の運転席に座るドライバや、助手席に搭乗する同乗者、或いは助手席に載置される物体の動画像を撮影する。これらサイドカメラ５２０及び室内カメラ５１０で撮像された画像データは、後述するＥＣＵ１００で画像解析される。また、サイドカメラ５２０によって撮影された動画像は、計器板に設けられるモニター６１０に必要時に映し出されるようになっている。
車両１０の居住室内前方部は、運転席１１と助手席１２とが設けられる一般的なものであり、運転席１１及び助手席１２は、不図示の機構によって前後方向に位置を調整し、固定することができるようになっている。運転席位置検出部２１０及び助手席位置検出部２２０は、それぞれ運転席１１、助手席１２の位置を検出するものであり、それぞれの検出部で取得された位置検出信号は後述するＥＣＵ１００に送出される。
【００１３】
助手席１２には、座部に助手席着座センサ２２０（不図示）、及び荷重分布を検出するセンサからなる重心検出部２４０が設けられている。いずれの構成からの信号もＥＣＵ１００の方に入力され、本発明の表示装置の制御に用いられる。なお、助手席着座センサ２２０の機能を重心検出部２４０で兼ねるように構成することも可能である。
【００１４】
次に、本実施形態に係る表示装置のブロック構成について説明する。図３は本発明の実施の形態に係る表示装置のブロック構成の概略を示す図である。図３において、１００はＥＣＵ（制御処理部）、２００は車両情報取得部、２１０は運転席位置検出部（運転席位置検出手段）、２２０は助手席位置検出部（助手席位置検出手段）、２３０は助手席着座センサ、２４０は重心検出部、５００は画像情報取得部、５１０は室内カメラ（室内撮像
手段）、５２０はサイドカメラ（撮像手段）、６００はディスプレイ部、６１０はモニター（表示手段）をそれぞれ示している。
【００１５】
本実施形態の表示装置は、ＥＣＵ１００、車両情報取得部２００、画像情報取得部５００、ディスプレイ部６００を主に有している。ＥＣＵ１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェイスなどの各部を備えた汎用のコンピュータシステムで構成されており、所定のプログラムに基づいて車両情報取得部２００、画像情報取得部５００、ディスプレイ部６００と共に協働することよって本実施形態の表示装置を制御する。
【００１６】
本実施形態の表示装置における車両情報取得部２００は、少なくとも運転席位置検出部２１０、
助手席位置検出部２２０、助手席着座センサ２２０、重心検出部２４０を有しており、これらから運転席１１に搭乗するドライバに係る情報、助手席に搭乗する乗員或いは物体に係る情報を取得する。
【００１７】
運転席位置検出部２１０及び助手席位置検出部２２０との位置検出部によって、運転席１１と助手席１２との間の相対的な位置関係が求められる。図２に示すように座席相対距離ｄを定義するものとする。また、図２に示すように助手席１２が運転席１１より前方に存在する場合には、座席相対距離を正として定義する。このような演算処理は、運転席位置検出部２１０及び助手席位置検出部２２０で検出された位置検出信号に基づいてＥＣＵ１００が実行する。制御処理部であるＥＣＵ１００は、運転席位置検出部２１０及び助手席位置検出部２２０で検出された位置検出信号を入力されるが、位置検出信号は予め定められた基準点から移動した位置であっても良いし、その距離と対応する電圧等の値であっても良い。本発明の実施形態では、予め定めた基準点から移動した位置を検出する。
【００１８】
車両情報取得部２００における助手席着座センサ２２０は、助手席１２が受ける荷重などによって、助手席１２上の人・物体の存在を検出し、検出信号をＥＣＵ１００に送出する。また、重心検出部２４０は、所定の検出面を有し、その検出面内の荷重分布によって重心を検出する物である。ここで、本実施形態の表示装置においては、特に重心検出部２４０は、図２に示すように重心が重心検出部２４０の検出面の前方側（Ｆ領域）にある場合、重心が重心検出部２４０の検出面の後方側（Ｂ領域）にある場合を検出するようになっている。
【００１９】
計器板に表示されるモニター６１０は、ディスプレイ部６００に含まれており、ＥＣＵ１００によって、そのオンオフ及び画像表示が制御されるようになっている。
【００２０】
画像情報取得部５００を構成する室内カメラ５１０、サイドカメラ５２０のいずれも動画を撮像することが可能な撮像装置である。室内カメラ５１０及びサイドカメラ５２０で撮像された画像データは、ＥＣＵ１００で画像解析される。室内カメラ５１０による画像データからは、ドライバの頭部位置が検出され、助手席１２上の物体の高さなどが認識される。サイドカメラ５２０による画像データからは、車両１０左後方に後続する車両が存在するかなどが認識される。
【００２１】
以上のように構成される表示装置の動作イメージについて説明する。図４は本発明の実施の形態に係る表示装置の動作を説明する図である。本実施形態の表示装置は、助手席上の人や物体がドライバの死角となるか否かを判定して、死角となると判定されたような場合に、モニター６１０に、サイドカメラ５２０で撮像された画像をアシスト表示するものである。すなわち、本実施形態の表示装置では、図４（Ａ）に示すように、助手席１２に同乗者がいるが、サイドミラー３５０がドライバから見えている状態のときはアシスト表示を行わない。これに対して、図４（Ｂ）に示すように、助手席１２に同乗者がおり、こ
の同乗者によってサイドミラー３５０が死角となっているような場合に、アシスト表示を行うようにするものである。ここで、助手席１２に搭乗するのは常に人であるとは限らないので、本実施形態では、助手席１２に物が置かれたような場合にも対処することができるよう制御が行われるようになっている。
【００２２】
次に、以上のように構成される表示装置の制御について説明する。図５は本発明の実施の形態に係る表示装置の制御のフローチャートを示す図である。図５のフローチャートは表示装置の制御のメインルーチン処理を示すものである。
【００２３】
図５において、ステップＳ１００で、不図示の車両１０のイグニッションがオンされると、次にステップＳ１０１に進み、表示装置によるアシスト表示処理が開始される。
【００２４】
続くステップＳ１０２では、助手席着座センサ２２０が、助手席１２上の人又は物体の存在を検出したか否か判定される。ステップＳ１０２における判定の結果がＹＥＳであるときにはステップＳ１０３に進み、ステップＳ１０２における判定の結果がＮＯであるときにはステップＳ１０２をループする。
【００２５】
ステップＳ１０３においては、初期設定処理のサブルーチンが実行される。この初期設定処理のサブルーチンは、助手席１２上の人（物）に係る情報の概要を把握するために実行されるサブルーチンである。
【００２６】
ステップＳ１０４では、イグニッションがオフとなったか否かが判定される。ステップＳ１０４における判定結果がＮＯでるときには、ループを抜けて、ステップＳ１０８に進み本実施形態の表示装置によるアシスト表示処理を終了する。
【００２７】
ステップＳ１０４における判定結果がＮＯであるときにはステップＳ１０５に進み、死角判定処理のサブルーチンが実行される。このサブルーチンは、概略、ドライバにとって死角ができたか否かを判定するものである。
【００２８】
続いて、ステップＳ１０６で、死角表示処理のサブルーチンが実行される。このサブルーチンは、概略、死角があると判定されたときにアシスト表示を行うサブルーチンである。
【００２９】
ステップＳ１０７では、所定時間が経過したか否かが判定される。所定時間を経過せずに判定されるときには、ステップＳ１０５→ステップＳ１０６をループするようになっている。所定時間が経過したときは、ステップＳ１０２に進み、助手席１２上の状態が変化していないかをチェックするようになっている。
【００３０】
ステップＳ１０７では所定時間の経過をみて、再びステップＳ１０２に戻るようになっているが、これは、車両１０走行中の乗員の座席移動などを定期的にチェックするために行われるものである。
【００３１】
次に、初期設定処理、死角判定処理、死角表示処理の各サブルーチンの詳細について説明する。図６は本発明の実施の形態に係る表示装置の初期設定処理サブルーチンのフローチャートを示す図である。
【００３２】
図６において、ステップＳ２００で初期設定処理のサブルーチンが開始されると、続いてステップＳ２０１に進み、運転席位置検出部２１０によって運転席１１の位置が検出される。
【００３３】
ステップＳ２０２では、室内カメラ５１０で撮影された画像が解析されて、運転席１１に座るドライバの頭部の位置が検出される。
【００３４】
ステップＳ２０３では、運転席１１の位置と、ドライバの頭部の位置と、サイドミラー３５０の位置とから、ドライバがサイドミラー３５０をみるときの視線軌跡である、運転席からサイドミラーに向けられる視線軌跡の演算が行われる。
【００３５】
続いてステップＳ２０４では、助手席位置検出部２２０によって助手席１２の位置が検出される。
【００３６】
次のステップＳ２０５では、室内カメラ５１０で撮影された画像が解析されて、助手席搭乗体の大きさ検出が検出される。
【００３７】
また、次のステップＳ２０６では、ステップＳ２０５で検出された助手席搭乗体の大きさにも基づいて相対距離評価値αの設定が行われる。この相対距離評価値αについては後に説明する。
【００３８】
ステップＳ２０７では、重心検出部２４０によって助手席１２における重心の変動が検出されるか否かが判定される。ステップＳ２０７における判定の結果がＹＥＳであるときには、助手席１２上には人がいるものと判定する。また、ステップＳ２０７における判定の結果がＮＯであるときには、助手席１２上には物があるものと判定する。
【００３９】
ステップＳ２０８では、搭乗体フラグを１にセットし、また、ステップＳ２０９では搭乗体フラグを０にセットし、ステップＳ２１０でメインルーチンにリターンする。
【００４０】
次に死角判定処理のサブルーチンの詳細について説明する。図７は本発明の実施の形態に係る表示装置の死角判定処理サブルーチンのフローチャートを示す図である。
【００４１】
図７において、ステップＳ３００で、死角判定処理のサブルーチンが開始されると、続いてステップＳ３０１に進み、搭乗体フラグが１、すなわち搭乗体が人であるか否かが判定される。ステップＳ３０１における判定結果がＹＥＳであるときはステップＳ３０２に進み、ステップＳ３０１における判定結果がＮＯであるときはステップＳ３０７に進む。
【００４２】
ステップＳ３０２では、運転席位置検出部２１０及び助手席位置検出部２２０の検出結果に基づく座席相対距離ｄが相対距離評価値αより大きいかが判定される。なお、相対距離評価値αは助手席に搭乗する乗員或いは物体である搭乗体に係る情報と画像取得部５００を構成する室内撮像手段である室内カメラ５１０から取得した画像により搭乗体の大きさを検出し、搭乗体の大きさに応じた所定の値が設定される。相対距離評価値αは、搭乗体の大きさが大きいほど運転席からの助手席側のサイドミラー３５０に向けられる視線軌跡が遮られる可能性が高いとして小さく設定され、大きい搭乗体に比べて小さい搭乗体より大きく設定される。そのため、助手席に搭乗する乗員或いは物体である搭乗体の大きさに応じて相対距離評価値αを変えることができ、その大きさに応じた相対距離評価値αを設定できるので、視線軌跡が遮断されるか否かの判定をより的確に行うことができる。なお、相対距離評価値αは助手席に搭乗する乗員或いは物体である搭乗体の大きさに応じて設定できるものとするが、例えば、実験的に求められた所定の値等を予め設定しておいても良く、搭乗体の大きさは、室内撮像手段である室内カメラ５１０からの画像情報を画像処理して求めて、その大きさに応じた相対距離評価値αを求めても良い。
【００４３】
ステップＳ３０２でＮＯと判定された場合、すなわち座席相対距離ｄがα以下であるときには、助手席１２上の搭乗者によって、ドライバの視線軌跡が遮られる可能性はほぼな
いので、ステップＳ３０５に進み、死角フラグをＯＦＦにセットする。
【００４４】
ステップＳ３０２でＹＥＳと判定された場合には、ドライバの視線軌跡が遮られる可能性があるので、次の判定を行うためにステップＳ３０３に進む。
【００４５】
ステップＳ３０３では、重心検出部２４０によって検出される重心の位置がＦ領域にあるか否かが判定される。重心位置がＦ領域にある場合には、助手席の搭乗者が前屈みなっており、ドライバの視線軌跡を遮る可能性がある。このステップでは、そのような可能性の存否を判定するわけである。
【００４６】
ステップＳ３０３の判定の結果がＹＥＳであるときにはステップＳ３０４に進み、ステップＳ３０４で死角フラグをＯＮにセットし、ステップＳ３１２でリターンする。
【００４７】
また、ステップＳ３０３の判定の結果がＮＯであるときにはステップＳ３０６に進み、ステップＳ３０６で死角フラグをＯＦＦにセットし、ステップＳ３１２でリターンする。
【００４８】
ステップＳ３０１における判定結果がＮＯであるとき、すなわち、助手席１２の搭乗体が物であるときには、ステップＳ３０７に進む。ステップＳ３０７では、重心検出部２４０によって、重心情報を取得する。また、ステップＳ３０８では、室内カメラ５１０の画像によって助手席１２部の画像解析が行われる。
【００４９】
ステップＳ３０９では、重心情報と、助手席１２部の画像解析情報に基づいて、助手席１２上の物体がドライバの視線軌跡を遮断するか否かが判定される。
【００５０】
ステップＳ３０９の判定の結果がＹＥＳであるときにはステップＳ３１０に進み、ステップＳ３１０で死角フラグをＯＮにセットし、ステップＳ３１２でリターンする。
【００５１】
また、ステップＳ３０９の判定の結果がＮＯであるときにはステップＳ３１１に進み、ステップＳ３１１で死角フラグをＯＦＦにセットし、ステップＳ３１２でリターンする。
【００５２】
次に、死角表示処理のサブルーチンの詳細について説明する。図８は本発明の実施の形態に係る表示装置の死角表示処理サブルーチンのフローチャートを示す図である。
【００５３】
図８において、ステップＳ４００で死角表示処理のサブルーチンが開始されると、続いてステップＳ４０１に進み、死角フラグはＯＮであるか否かが判定される。ステップＳ４０１の判定結果がＹＥＳであるときにはステップＳ４０２に進み、判定結果がＹＥＳであるときにはステップＳ４０６に進み、アシスト表示を行うことなく、メインルーチンにリターンする。
【００５４】
ステップＳ４０２では、サイドカメラ５２０の撮影データの解析画像により後続他車両などが検出されているか否かが判定される。ステップＳ４０２の判定結果がＹＥＳであるときにはステップＳ４０５に進み、ステップＳ４０５でサイドカメラ５２０の画像をモニター６１０にアシスト表示する。
【００５５】
ステップＳ４０２の判定結果がＮＯであるときにはステップＳ４０３に進み、ステップＳ４０３において、室内カメラ５１０の画像によりドライバの視線方向が解析される。
【００５６】
続くステップＳ４０４では、解析されたドライバの視線方向が助手席の方向であるか否かが判定される。このステップにおける判定は、ドライバの視線方向が助手席の方向であれば、アシスト表示を提供するようにするための判定である。アシスト表示は、表示手段
であるモニター６１に撮像手段であるサイドカメラ５２０によって撮像された画像を表示することを意味している。そして、アシスト表示は、サイドカメラ５２０によって撮像された画像をそのまま表示しても良いが、視線軌跡演算手段で演算された視線軌跡から運転席からサイドミラーに向けられる視線、すなわち運転席からサイドミラーを見た場合の画像となるようにしても良い。具体的には、例えば、サイドカメラ５２０を可動可能に配設されている場合には、サイドカメラ５２０を運転席からサイドミラーを見た場合の画像を取得できるように制御しても良いし、サイドカメラ５２０が可動可能に配設されているか否かにかかわらず、サイドカメラ５２０で撮像した画像を視線軌跡に対応した撮像画像を表示するように設定した撮像画像の対応マップを用意しておき、その対応マップに基づいて撮像した画像を表示するように制御しても良い。
【００５７】
ステップＳ４０４における判定結果がＹＥＳであるときはステップＳ４０５に進み、サイドカメラ５２０の画像をモニター６１０にアシスト表示する。また、ステップＳ４０４における判定結果がＮＯであるときは、ステップＳ４０６に進み、メインルーチンにリターンする。
【００５８】
以上のような本実施形態に係る表示装置の構成によれば、車両１０の室内の助手席同乗者や助手席に置かれている荷物によって、ドライバがサイドミラー３５０の像を確認できないときにのみ、その代替画像をアシスト表示することによって提供するようにしたものであるので、ドライバは違和感なく、しかも常に安全確認を行うことができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態に係る表示装置が搭載される車両の運転席周辺の様子を示す図である。
【図２】本発明の実施形態に係る表示装置が搭載される車両の運転席・助手席の様子を示す図である。
【図３】本発明の実施の形態に係る表示装置のブロック構成の概略を示す図である。
【図４】本発明の実施の形態に係る表示装置の動作を説明する図である。
【図５】本発明の実施の形態に係る表示装置の制御のフローチャートを示す図である。
【図６】本発明の実施の形態に係る表示装置の初期設定処理サブルーチンのフローチャートを示す図である。
【図７】本発明の実施の形態に係る表示装置の死角判定処理サブルーチンのフローチャートを示す図である。
【図８】本発明の実施の形態に係る表示装置の死角表示処理サブルーチンのフローチャートを示す図である。
【符号の説明】
【００６０】
１０・・・車両、１１・・・運転席、１２・・・助手席、１００・・・ＥＣＵ（制御処理部）、２００・・・車両情報取得部、２１０・・・運転席位置検出部、２２０・・・助手席位置検出部、２３０・・・助手席着座センサ、２４０・・・重心検出部、３５０・・・サイドミラー、５００・・・画像情報取得部、５１０・・・室内カメラ、５２０・・・サイドカメラ、６００・・・ディスプレイ部、６１０・・・モニター
【図１】
0004930728.tif 000002
【図２】
0004930728.tif 000003
【図３】
0004930728.tif 000004
【図４】
0004930728.tif 000005
【図５】
0004930728.tif 000006
【図６】
0004930728.tif 000007
【図７】
0004930728.tif 000008
【図８】
0004930728.tif 000009