(57)【要約】【課題】映像の処理が複雑にならずに、運転者の死角領域を表示可能な車両用表示装置を提供する。【解決手段】車体部材１５によって形成される運転者の死角領域を撮影する死角撮影手段３と、該死角撮影手段３によって撮影した前記死角領域を前記運転者に対し表示する表示手段５と、を設けた車両用表示装置において、前記表示手段５が前記車体部材１５に配置され、前記運転者の頭部位置を検出する頭部位置検出手段４を設け、前記死角撮影手段３と前記頭部位置検出手段４とを、前記車体部材と正常着座状態の前記運転者の頭部位置とを結ぶ軸線にほぼ沿った状態で前記車体部材１５に配置した。【選択図】図７
2008037118.tif 000002
【特許請求の範囲】
【請求項１】
車体部材によって形成される運転者の死角領域を撮影する死角撮影手段と、該死角撮影手段によって撮影した前記死角領域を前記運転者に対し表示する表示手段と、を設けた車両用表示装置において、
前記表示手段が前記車体部材に配置され、
前記運転者の頭部位置を検出する頭部位置検出手段を設け、
前記死角撮影手段と前記頭部位置検出手段とを、前記車体部材と正常着座状態の前記運転者の頭部位置とを結ぶ軸線にほぼ沿った状態で前記車体部材に配置したことを特徴とする車両用表示装置。
【請求項２】
前記頭部位置検出手段により検出された前記運転者の頭部位置が、前記軸線に対してどの程度ずれているかを検出するずれ検出手段を設けたことを特徴とする請求項１に記載の車両用表示装置。
【請求項３】
前記死角撮影手段により撮影された映像の内、前記運転者の死角領域を抽出する補正手段を設けたことを特徴とする請求項１又は請求項２に記載の車両用表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の運転者の視界を補助する車両用表示装置に関するものである。
【背景技術】
【０００２】
従来から、カメラなどの撮影手段により捉えられた車両周辺の映像を運転者が視認可能な位置に表示して、運転者の視界を補助する車両用表示装置が知られている。この車両用表示装置には、Ｖ字形鏡に映された画像をルームミラー背面または運転席サンバイザ近傍に配置されたＣＣＤカメラで撮影し、撮影した映像の中からアイポイント検出器や座席位置検出センサの出力に基づいて死角領域を抽出し、抽出された映像に左右対称変換などの処理を行い、フロントピラーに沿って設置された液晶ディスプレイへ映像を表示するものがある（例えば、特許文献１参照）。
【特許文献１】特開２００４−６４１３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述の車両用表示装置は、Ｖ字形鏡を介しての画像を撮影しており、撮影された映像に対して左右、上下、前後方向のずれを補正して表示する必要があり、処理が複雑になるという問題があった。
【０００４】
そこで、本発明は、上記事情に鑑みてなされたものであり、映像の処理が複雑にならずに、運転者の死角領域を表示可能な車両用表示装置を提供するものである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１に記載した発明は、車体部材（例えば実施形態におけるフロントピラー１５）によって形成される運転者の死角領域（例えば実施形態における右死角領域ａ及び左死角領域ｃ）を撮影する死角撮影手段（例えば実施形態における外用カメラ３）と、該死角撮影手段によって撮影した前記死角領域を前記運転者に対し表示する表示手段（例えば実施形態における液晶ディスプレイ５）と、を設けた車両用表示装置（例えば実施形態における車両用表示装置１）において、前記表示手段が前記車体部材に配置され、前記運転者の頭部位置を検出する頭部位置検出手段（例えば実施形態における内用カメラ４）を設け、前記死角撮影手段と前記頭部位置検出手段とを、前記車体部材と正常着座状態の前記運転者の頭部位置とを結ぶ軸線にほぼ沿った状態で前記車体部材に配置したことを特徴とする。
このように構成することで、表示手段に死角領域を表示する際に、撮影された映像に対して前後方向のずれを補正する必要がなく、左右及び上下方向の補正をするのみでよい。
【０００６】
請求項２に記載した発明は、前記頭部位置検出手段により検出された前記運転者の頭部位置が、前記軸線に対してどの程度ずれているかを検出するずれ検出手段（例えば実施形態におけるずれ検出手段６）を設けたことを特徴とする。
このように構成することで、運転者の頭部位置を考慮して運転者の死角領域を設定することができる。
【０００７】
請求項３に記載した発明は、前記死角撮影手段により撮影された映像の内、前記運転者の死角領域を抽出する補正手段（例えば実施形態における補正手段７）を設けたことを特徴とする。
このように構成することで、車体部材によって運転者の死角になっている領域の映像を、運転者にとって視認可能な周辺の景色を補うように表示することができる。
【発明の効果】
【０００８】
請求項１に記載した発明によれば、表示手段に死角領域を表示する際に、撮影された映像に対して前後方向のずれを補正する必要がなく、左右及び上下方向の補正をするのみでよいため、映像の処理を容易にすることができる効果がある。
【０００９】
請求項２に記載した発明によれば、運転者の頭部位置を考慮して運転者の死角領域を設定することができるため、運転者にとって正確な死角領域を認識することができる効果がある。
【００１０】
請求項３に記載した発明によれば、車体部材によって運転者の死角になっている領域の映像を、運転者にとって視認可能な周辺の景色を補うように表示することができるため、運転者が実際に視認している周辺の景色と同等に違和感なく認識することができる効果がある。
【発明を実施するための最良の形態】
【００１１】
次に、本発明の実施形態を図１〜図７に基づいて説明する。
なお、本実施形態における各装置の取付方向や位置を示す定義は、車両進行方向を前方とし、車両進行方向に向かって右方向及び左方向を定義するものとする。
図１は、本実施形態における車両用表示装置の構成を示すブロック図である。
図１に示すように、車両用表示装置１は、車両用表示装置１を制御するＣＰＵ（中央演算装置）を備えたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２と、車両周辺を撮影可能なＣＣＤカメラからなる外用カメラ３と、運転者の頭部周辺を撮影可能なＣＣＤカメラからなる内用カメラ４と、外用カメラ３により撮影された映像を表示可能な液晶ディスプレイ５と、から構成されている。
外用カメラ３、内用カメラ４及び液晶ディスプレイ５は、光ファイバーケーブルなどの通信ケーブルによりＥＣＵ２と通信可能に接続されている。
【００１２】
ここで、ＥＣＵ２は、ずれ検出手段６と補正手段７とを備えている。
ずれ検出手段６は、内用カメラ４で撮影した映像に基づいて、運転者の頭部位置が正常着座状態の頭部位置からどの程度ずれているかを検出する。なお、運転者の正常着座状態は運転席のヘッドレストの位置から求めてもよく、また内用カメラ４によって撮影した映像のうち、代表的な頭部位置を正常着座状態としてもよい。運転者の頭部位置を検出する方法としては、内用カメラ４により得られた運転者の目や顔の映像を画像処理により分析することで、運転者の目の位置（アイポイント）を検出するものが一般的である。
【００１３】
補正手段７は、ずれ検出手段６から得られた検出結果に基づいて、外用カメラ３により撮影された映像から運転者の死角領域を抽出する。更に、抽出された死角領域の映像を運転者の頭部位置に応じて、形状を変化させる。
補正手段７により得られた映像は、その映像に対応する位置に配置された液晶ディスプレイ５に表示されるように構成されている。
【００１４】
また、液晶ディスプレイ５は、運転者から死角となる領域と運転者との間に配置されている。なお、液晶ディスプレイ５は、運転者から死角となる領域が複数箇所存在する場合は、複数用意されるものとする。
【００１５】
次に、図２は車両用表示装置の各装置の取付位置及びカメラの撮影方向を示す模式図である。また、図３は右側のフロントピラーの外面拡大図であり、図４は右側のフロントピラーの内面拡大図である。なお、ここでは一例として、運転者の前方視界に関して、運転者の死角領域を表示する車両用表示装置１について説明する。
図２に示すように、車両１１の車室内右前方に運転者が着座する運転席１２が形成されている。車両１１の前方に配置されたフロントウインドウガラス１３と、運転席１２及び図示しない助手席のドアに配置されたドアガラス１４との間には、フロントピラー１５がそれぞれ位置している。
外用カメラ３は、フロントピラー１５と正常着座状態の運転者の頭部位置とを結ぶ軸線にほぼ沿った位置に設置されている。また、内用カメラ４は、外用カメラ３と撮影方向を１８０度開くように、つまり、背中合わせになるように配置されている。
【００１６】
外用カメラ３及び内用カメラ４は、車室内に設置されており、外用カメラ３はフロントピラー１５のフロントウインドウガラス１３側ではなく、ドアガラス１４側から外部を撮影可能に配置されている。このように配置した方が、フロントウインドウガラス１３周辺部の雨滴の流れやワイパーで除去した雪の停滞、更にはワイパーブレードの通過による視界の遮蔽を防ぐことができるため好ましい。
【００１７】
外用カメラ３及び内用カメラ４は、左右のフロントピラー１５それぞれに設置されている。右側の外用カメラ３は、右側のフロントピラー１５による右死角領域ａを含む右撮影領域ｂの方向を撮影可能に設置されている。また、左側の外用カメラ３は、左側のフロントピラー１５による左死角領域ｃを含む左撮影領域ｄの方向を撮影可能に設置されている。
【００１８】
液晶ディスプレイ５は、フロントピラー１５の車室内に面した側にフロントピラー１５を覆うように設置されている。
また、ＥＣＵ２は、車両１１の内部に設置された図示しない制御部の一部として構成されている。
【００１９】
次に作用について説明する。
図５は、車両用表示装置の処理方法を示すフローチャートである。
図５に示すように、ステップ１（Ｓ１）では、運転者の頭部位置と液晶ディスプレイ５に表示する映像のポリゴン座標並びにテクスチャ座標との関係式を設定する。
この関係式は、カメラレンズ系の光学特性、運転者の頭部位置、外用カメラ３及び内用カメラ４の方向・位置関係、並びに液晶ディスプレイ５の方向・位置関係から行列式を用いた写像変換として導出される。本実施形態では、関係式を設定する一つの手法について説明する。
【００２０】
外用カメラ３、内用カメラ４、及び液晶ディスプレイ５を車両１１に設置した状態で、運転者の頭部位置を内用カメラ４で撮影し、撮影された映像に五箇所（上下方向中央での左右端部、左右方向中央での上下端部、及び中央部）以上の測定ポイントを設定する。
【００２１】
次に、格子状のテストパターンをテクスチャとして貼付した四角形ポリゴンを用意し、液晶ディスプレイ５に表示したときに、運転者の視点でテストパターン画像が歪みのない正立画像となるように、四角形ポリゴンの四つの頂点を調整し、それらの座標を取得する（歪み補正用）。
【００２２】
上記で得られた四角形ポリゴンの四つの頂点座標制御が有効な（頭部位置と連動制御された）状態で、四角形ポリゴンに外用カメラ３の映像をテクスチャに貼り付けする。これを液晶ディスプレイ５に表示したときの映像が死角となっている外界の部位（景色）と一致するように四角形ポリゴンのテクスチャ座標を四点とも調整し、それらの座標を取得する（方向及び拡大比の制御用）。
そして、これらの座標データを用いて、測定ポイントから得られた頭部位置間を線形補完する近似式を得て、座標制御関数とする。ここで、それぞれのデータ量が多いほど制御の精度も向上する。
【００２３】
Ｓ１の設定が完了すると、ステップ２（Ｓ２）へと進む。
Ｓ２では、外界の最新映像を外用カメラ３で取得したか否かを判定する。映像が取得されるまでは、Ｓ２を繰り返す。映像が取得されるとステップ３（Ｓ３）へと進む。
Ｓ３では、運転者の頭部周辺を内用カメラ４で撮影し、ＥＣＵ２にて運転者のアイポイントの位置情報をずれ検出手段６により取得し、ステップ４（Ｓ４）へと進む。ここで、運転者の頭部位置が一定であればフロントピラー１５によって死角となる領域は運転者の視線によらずほぼ一定となるため、運転者の頭部位置を求めるだけでアイポイント（運転者の目の位置）と置き換えることができる。
【００２４】
Ｓ４では、Ｓ３で得られた運転者のアイポイントの位置情報に基づいて、四角形ポリゴンの頂点座標を取得し、ステップ５（Ｓ５）へと進む（ずれ検出手段６）。この四角形ポリゴンとは、外界映像を動画テクスチャとして貼り付ける対象であり、この頂点座標は三次元データで構成され、テクスチャ座標は二次元データで構成されている。
Ｓ５では、Ｓ４で得られた四角形ポリゴンのテクスチャ座標を取得し、ステップ６（Ｓ６）へと進む。
Ｓ６では、Ｓ５で得られた四角形ポリゴンのテクスチャ座標へ外用カメラ３で撮影した映像をレンダリングし（補正手段７）、ステップ７（Ｓ７）へと進む。
【００２５】
Ｓ７では、レンダリングされた映像を液晶ディスプレイ５へ表示する。
車両を運転することにより運転者の死角領域が連続的に移動していくため、上記Ｓ２からＳ７を連続的に繰り返し、常に正確な死角領域の映像が液晶ディスプレイ５に表示されるように制御される。液晶ディスプレイ５に表示されると、ステップ８（Ｓ８）へと進む。
Ｓ８では、運転が継続中か否かを判定する。運転が継続中の場合は、Ｓ２へ戻り、運転を終了すると上述の処理も終了となる。
【００２６】
ここで、内用カメラ４には単眼カメラを採用し、単眼カメラによる方向データのみで制御している。単眼カメラで構成することが可能となった原理を説明する。
外用カメラ３と内用カメラ４とを、フロントピラー１５に設置した液晶ディスプレイ５の近傍に配置し、これら三者をまとめて座標の原点とみなす。このときフロントピラー１５による死角の方向と運転者の頭部の方向は、この原点に点対称で移動する。
そうすると、運転者の頭部位置の方向は、内用カメラ４で撮影された映像の平面的な二次元座標で算出することができ、三次元の処理をする必要がない。したがって、内用カメラ４は単眼カメラで構成が可能となる。
【００２７】
次に、外用カメラ３により撮影した外界映像をフロントピラーに設置した液晶ディスプレイ５へ表示する際の写像変換方法について説明する。
図６は、外用カメラ映像から液晶ディスプレイに表示する際の写像変換のイメージ図であり、（ａ）は運転者の頭部が運転席の中心より外側寄りにある場合、（ｂ）は運転者の頭部が運転席の中心位置にある場合、（ｃ）は運転者の頭部が運転席の中心より助手席側にある場合であり、上段は外界映像とフロントピラーとの位置関係を示し、下段は上段の情報を平面オブジェクトに写像変換したものを示すイメージ図である。
ここで、運転者とフロントピラー１５に設置した液晶ディスプレイ５とはほとんど正対していない。したがって、運転席１２からフロントピラー１５の方向を見るとき、運転者の頭部位置の移動によって液晶ディスプレイ５に抽出されるべき外界映像は位置だけでなく、形状も変化する。
【００２８】
図６に示すように、運転者の頭部が運転席１２の中心より外側寄りにある場合、運転者の頭部が運転席１２の中心位置にある場合、及び運転者の頭部が運転席１２の中心より助手席寄りにある場合では、死角領域ｅが位置だけでなく形状も変化する。液晶ディスプレイ５には、図６下段の死角領域ｅが表示される。
【００２９】
図６に示した形状変化（写像変換）には、通常、下段の四角形部分（死角領域ｅ）に限っても１６００×４８０ポイント＝７６万８千回／コマの座標変換処理が必要となるが、平面オブジェクトにあらかじめテクスチャマップを設定しておき、その頂点４点の座標のみを頭部位置座標の関数として制御することにより、ほとんどの処理負担をテクスチャ貼り付け処理としてビデオプロセッサに委ねることができる。この結果、１台の車載コンピュータで、毎秒１５回の頭部位置認識（パターンマッチング）と併行してのリアルタイム変形を実現することができる。
【００３０】
次に、図７は、運転席１２に着座した運転者のアイポイントから見える車両１１のフロントウインドウガラス１３からの視界と、外用カメラ３による撮影映像との関係を示す模式図である。
右側のフロントピラー１５による右死角領域ａの右死角映像ｆが右側のフロントピラー１５の内面に設置された液晶ディスプレイ５に表示され、左側のフロントピラー１５による左死角領域ｃの左死角映像ｇが左側のフロントピラー１５の内面に設置された液晶ディスプレイ５に表示される。それぞれに表示される映像は、外用カメラ３により撮影された映像に、ずれ検出手段６及び補正手段７の処理がなされた後のものである。
【００３１】
上述の実施形態によれば、外用カメラ３をフロントピラー１５と正常着座状態の運転者の頭部位置とを結ぶ軸線にほぼ沿った位置に設置し、内用カメラ４を外用カメラ３と撮影方向を１８０度開くように、つまり、背中合わせになるように設置した。また、液晶ディスプレイ５をフロントピラー１５の車室内に面した側にフロントピラー１５を覆うように設置した。
【００３２】
このように構成することで、運転者の頭部位置の方向を内用カメラ４で撮影された映像の平面的な二次元座標で算出することができると共に、外用カメラ３によって撮影された映像に対して左右、上下方向のずれを補正するだけで表示でき、処理を容易にすることができる。
【００３３】
また、死角領域の原因となるフロントピラー１５の形状にほぼ沿った形に映像を抽出することで、必要な映像のみを得ることができ、死角領域に対応する映像が肉眼で見るのとほぼ同じ大きさで表示することができる。
【００３４】
更に、液晶ディスプレイ５がフロントピラー１５のほぼ全体を覆っており、映像がフロントピラー１５のほぼ全体に映し出され、あたかもフロントピラー１５を透視していることになるため、直感的に死角領域にいる歩行者などを認識することができる。また、主にフロントパネル中央部に設置されるカーナビ用ディスプレイなどに表示する場合と比較して、運転者が視線移動する必要が無いため、確実に死角領域にいる歩行者などを認識することができる。
【００３５】
そして、外用カメラ３にて撮影された映像に、ずれ検出手段６及び補正手段７による処理をすることで、運転者にとって正確な死角領域の映像を違和感無く液晶ディスプレイ５に表示することができる。
【００３６】
尚、本発明は上述した実施形態に限られるものではなく、以下の態様を採用してもよい。
上記実施形態では、外用カメラ及び内用カメラにＣＣＤカメラを採用したが、カメラであればどのようなものでも構わない。また、各カメラを車室内に設置したが、カメラに防水措置などを施せば、車室外に設置しても構わない。また、液晶ディスプレイ内に小型の内用カメラを配置すれば、フロントピラーの内側に外用カメラ及び内用カメラを配置することも可能である。
上記実施形態では、外用カメラを右フロントピラーのドアガラス側から撮影する説明をしたが、フロントウインドウガラス側から撮影するように配置してもよい。
上記実施形態では、表示手段に液晶ディスプレイを採用した説明をしたが、必要な映像を表示可能なものであれば液晶ディスプレイでなくてもよい。
上記実施形態では、運転者の前方視界に関しての説明をしたが、運転者の後方視界を遮るリアピラーに同様の車両用表示装置を設置してもよく、また、他の部位に設置しても構わない。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態における車両用表示装置の構成を示すブロック図である。
【図２】本発明の実施形態における車両用表示装置の各装置の取付位置及びカメラの撮影方向を示す模式図である。
【図３】本発明の実施形態におけるフロントピラーの外面拡大図である。
【図４】本発明の実施形態におけるフロントピラーの内面拡大図である。
【図５】本発明の実施形態における車両用表示装置の処理の流れを示すフローチャートである。
【図６】本発明の実施形態における外用カメラ映像から液晶ディスプレイに表示する際の写像変換のイメージ図であり、（ａ）は運転者の頭部が運転席の中心より外側寄りにある場合、（ｂ）は運転者の頭部が運転席の中心位置にある場合、（ｃ）は運転者の頭部が運転席の中心より助手席側にある場合であり、上段は外界映像とフロントピラーとの位置関係を示し、下段は上段の情報を平面オブジェクトに写像変換したものを示すイメージ図である。
【図７】本発明の実施形態における車両用表示装置の映像表示例を示す模式図である。
【符号の説明】
【００３８】
１…車両用表示装置  ３…外用カメラ（死角撮影手段）  ４…内用カメラ（頭部位置検出手段）  ５…液晶ディスプレイ（表示手段）  ６…ずれ検出手段  ７…補正手段  １５…フロントピラー（車体部材）  ａ…右死角領域（死角領域）  ｃ…左死角領域（死角領域）  
【図１】
2008037118.tif 000003
【図２】
2008037118.tif 000004
【図３】
2008037118.tif 000005
【図４】
2008037118.tif 000006
【図５】
2008037118.tif 000007
【図６】
2008037118.tif 000008
【図７】
2008037118.tif 000009