(57)【要約】【課題】  映し出されている画像が、どの方向のものであるのかを運転者が瞬時かつ直感的に把握し易いように構成された、死角削減効果の高い車両用表示装置を提供する。【解決手段】  本発明の車両用表示装置１００は、車両４１の周辺を撮像する車外カメラ１１と、運転席に着席した運転者の視点の空間的な位置を認識する視点認識器２１と、運転者の視界を遮るサイドピラーやドア等の遮蔽物が透明であるとした場合に運転者の目に映るべき車外の景色を、車外カメラ１１によって得られた周辺画像データを視点認識器２１の認識結果に応じて加工することにより生成する画像データ処理装置２３と、画像データ処理装置２３が生成する画像を表示するディスプレイ３１〜３８を備える。ディスプレイ３１〜３８は、ピラー等の遮蔽物に取り付けられている。【選択図】  図２
2006044596.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像手段と、
運転席に着席した運転者の視点の空間的な位置を認識する視点認識手段と、
前記運転者の視界を遮るピラーやドア等の遮蔽物が透明であるとした場合に前記運転者の目に映るべき車外の景色の画像を、前記撮像手段によって得られた周辺画像データを前記視点認識手段の認識結果に応じて加工することにより生成する画像生成手段と、
前記画像生成手段が生成する画像を前記遮蔽物の位置に表示する表示手段と、
を備えたことを特徴とする車両用表示装置。
【請求項２】
前記視点認識手段は、前記運転者を正面から撮像するために車室内に設けられた車内カメラと、その車内カメラが取得する画像データから前記運転者の視点の３次元座標における位置を算出する視点認識器と、を含むものである請求項１記載の車両用表示装置。
【請求項３】
前記視点認識手段は、前記車内カメラを作動して前記運転者を撮像する際に、前記視点認識器から前記運転者に視点を安定させるための指示を取得し、音声等の識別情報によって前記運転者に視点を安定させるための案内を行なう対話制御器を備えた請求項２記載の車両用表示装置。
【請求項４】
前記遮蔽物は複数あり、前記表示手段はそれら遮蔽物に個別に取り付けられたディスプレイであり、前記視点認識手段は、前記運転者が一つ一つの前記ディスプレイに視線を移すときの動作または移した後の姿勢を視線移動時の画像データとして収集する処理を行なうように構成され、その画像データを記憶する記憶部が設けられる請求項１ないし３のいずれか１項に記載の車両用表示装置。
【請求項５】
前記表示手段は、前記遮蔽物に取り付けられたディスプレイとされ、
前記画像生成手段は、前記ディスプレイの設置位置を３次元座標上で特定する設置位置データと、前記ディスプレイの形状を特定する形状データとを予め記憶しておく記憶部を有し、前記視点認識手段によって求められた前記運転者の視点位置と、前記記憶部から読み出される前記設置位置データと、同じく前記形状データとから、前記運転者から見たときに前記遮蔽物によって遮られる像のみを抽出する形で、前記撮像手段によって得られた前記周辺画像データの切り取り加工を行なうように構成される請求項１ないし３のいずれか１項に記載の車両用表示装置。
【請求項６】
前記撮像手段は、魚眼レンズを備えたデジタル方式の車外カメラとされ、前記画像生成手段は、前記車外カメラから得られる画像を座標変換によって変形する処理を行なうとともに、前記遮蔽物によって視界が遮られる範囲を算出し、その遮られる範囲のピクセルデータを前記車外カメラから得られる画像から抽出して前記ディスプレイ用のグラフィックメモリにセットする処理を行なう請求項５記載の車両用表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲を撮像して車室内のディスプレイに表示することにより、運転者の死角を削減することができる車両用表示装置に関する。
【背景技術】
【０００２】
従来から、運転者の死角をカメラで撮像し、ディスプレイやホログラムに表示する試みがなされている（下記特許文献１〜４）。
【特許文献１】特開平６−２２７３１８号公報
【特許文献２】特開平７−１７３２８号公報
【特許文献３】特開平７−２２３４８７号公報
【特許文献４】特開２０００−７１８７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の表示装置では、たとえば車両後方の画像がダッシュボードに配置されたディスプレイに映し出されたりする。つまり、ディスプレイの配置と運転者の死角の方向とが一致しないため、運転者にしてみれば表示された画像がどこを映し出しているものなのか、瞬時に把握しづらい。
【０００４】
本発明の課題は、ディスプレイ等に映し出されている画像が、どの方向のものであるのかを運転者が瞬時かつ直感的に把握し易いように構成された、死角削減効果の高い車両用表示装置を提供することにある。
【課題を解決するための手段および発明の効果】
【０００５】
上記課題を解決するために本発明の車両用表示装置は、車両の周辺を撮像する撮像手段と、運転席に着席した運転者の視点の空間的な位置を認識する視点認識手段と、運転者の視界を遮るサイドピラーやドア等の遮蔽物が透明であるとした場合に運転者の目に映るべき車外の景色の画像を、撮像手段によって得られた周辺画像データを視点認識手段の認識結果に応じて加工することにより生成する画像生成手段と、画像生成手段が生成する画像を遮蔽物の位置に表示する表示手段と、を備えたことを主要な特徴とする。
【０００６】
上記本発明の車両用表示装置は、サイドピラーやドアといった死角を生む遮蔽物にディスプレイ等の表示手段を設置し、それらの遮蔽物があたかも透明であるかのごとく、車外の景色を表示させるものである。遮蔽物にディスプレイを取り付ける他にも、ホログラムで表示する方法も考え得る。こうした車両用表示装置の技術的なハードルの一つに、実際にフロントガラスやウインドウガラスを通じて映る景色と、遮蔽物の位置に映しだされる画像とを一致させることが挙げられる。上記本発明では、運転者の視点位置を予め求めておき、撮像手段で得た画像を、その視点位置に応じて加工する方式を採用している。このような構成によれば、現実の運転者の視点が基準となるため、実際にフロントガラスやウインドウガラスを通じて映る景色と、遮蔽物の位置に映しだされる画像とのズレを、どのような体格の運転者に対しても柔軟に解消できる。これにより、違和感を生じさせること無く全ての運転者の死角を効果的に減じることができ、いち早い危険察知や安全運転に寄与し得る車両用表示装置を実現することが可能となる。
【０００７】
具体的に、上記した視点認識手段は、運転者を正面から撮像するために車室内に設けられた車内カメラと、その車内カメラが取得する画像データから運転者の視点の３次元座標における位置を算出する視点認識器とを含むものとして構成することができる。このように、運転者の視点を３次元座標上で特定すれば、ピラー等の遮蔽物によって遮られる範囲を求める処理も容易である。
【０００８】
また、視点認識手段は、車内カメラを作動して運転者を撮像する際に、視点認識器から運転者に視点を安定させるための指示を取得し、音声等の識別情報によって運転者に視点を安定させるための案内を行なう対話制御器を備えるものとして構成することができる。車内カメラで運転者を撮像するタイミングで、運転者が運転時の姿勢を保ってくれるとは限らない。この場合、運転者の視点を認識する処理がスムーズに行なくなる恐れがある。したがって、対話制御器を用いた音声案内等により、視点認識のための処理に協力を促すようにするとよい。
【０００９】
また、遮蔽物としては、左右のサイドピラー、運転席や助手席のドア、ダッシュボードなど、複数あることが考え得る。こうした場合、遮蔽物を擬似的に透明化する表示手段として薄型ディスプレイを採用し、それら遮蔽物に個別に取り付けることができる。そして、視点認識手段は、運転者が一つ一つのディスプレイに視線を移すときの動作または移した後の姿勢を視線移動時の画像データとして収集する処理を行なうように構成することができ、その画像データを記憶する記憶部がさらに設けられる。すなわち、運転中の運転者の動作を常時撮像するようにし、予め記憶してある視線移動時の動作を運転者が行なったか否かの判断を行なうようにすれば、全てのディスプレイに常時車外画像を表示させるのではなく、運転者の視界に入っているディスプレイのみに選択的に車外画像を表示させるといった処理が可能になる。
【００１０】
他の一つの好適な態様において、表示手段は遮蔽物に取り付けられたディスプレイとされ、画像生成手段は、ディスプレイの設置位置を３次元座標上で特定する設置位置データと、ディスプレイの形状を特定する形状データとを予め記憶しておく記憶部を有し、視点認識手段によって求められた運転者の視点位置と、記憶部から読み出される設置位置データと、同じく形状データとから、運転者から見たときに遮蔽物によって遮られる像のみを抽出する形で、撮像手段によって得られた周辺画像データの切り取り加工を行なうように構成することができる。このような構成によれば、フロントガラスやウインドウガラスを通じて映る景色と、遮蔽物の位置に映しだされる画像とのズレを、スムーズに解消できる。
【００１１】
また、撮像手段には、魚眼レンズを備えたデジタル方式の車外カメラが好適である。たとえば、魚眼レンズを２台使用すれば、車両の全周囲を撮像できるようになる。また、画像生成手段は、車外カメラから得られる画像を座標変換によって変形する処理を行なうとともに、遮蔽物によって視界が遮られる範囲を算出し、その遮られる範囲のピクセルデータを車外カメラから得られる画像から抽出してディスプレイ用のグラフィックメモリにセットする処理を行なうように構成することができる。魚眼レンズを用いれば、少ない台数のカメラで車両の全周囲を撮像できる。デジタル方式の画像データから、必要な部分のピクセルデータのみを抽出する処理は比較的高速に行なえるので、ディスプレイに映し出される画像に遅れが生じる恐れも皆無に等しい。
【発明を実施するための最良の形態】
【００１２】
以下、添付の図面を参照しつつ本発明の実施形態について説明する。
図１は、本発明にかかる車両用表示装置の構成を示すブロック図である。図２は、その車両用表示装置の設置例を示す車両模式図である。図１に示すごとく、車両用表示装置１００は、車両の周辺を撮像する車外カメラ１１と、運転席に着席した運転者の視点の空間的な位置を認識する視点認識器２１と、車外カメラ１１によって得られた画像を加工する画像データ処理装置２２と、画像データ処理装置２２で加工された画像を表示するディスプレイ３１〜３８とを備える。運転者の視界を遮るピラーやドアに取り付けられたディスプレイ３１〜３８には、それらピラーやドアがあたかも透明であるように画像が表示される。これにより、運転者の死角を減じることができる。
【００１３】
図２に示すごとく、車外カメラ１１は、車両４１の前端部に設置してある。車外カメラ１１は、魚眼レンズを取り付けたＣＣＤカメラである。ＣＭＯＳ−ＩＣを使用したデジタルカメラなど、他種類のデジタル方式のカメラも採用可能である。魚眼レンズを用いることにより、進行方向の立体角２πの範囲を撮像できるようになる。魚眼レンズには、たとえば等距離射影方式（ｆθ）、平射影方式（２ｆ・ｔａｎ（θ／２））、等立体角射影方式（２ｆ・ｓｉｎ（θ／２））、正射影方式（ｆ・ｓｉｎθ）などいずれを使用してもよい。実績やコスト面からすれば等距離射影方式がよい。また、等距離投影方式などは画面周辺における情報量がつぶれてしまうのに対し、平射影方式だと周辺部における情報量が欠落しないため、鮮明な画像を得るのに適している。なお、こうした車外カメラ１１を複数台設けることも可能である。たとえば、前端部と後端部との対角位置に１対の車外カメラ１１を設けることにより、車両の前方のみならず後方も鮮明に撮像できるようになる。
【００１４】
車外カメラ１１によって撮像された画像は、車外カメラ制御器１５に送られる。車外カメラ制御器１５は、車両用表示装置１００を構成するものである。また、車外カメラ１１は車外の環境（温度、湿度等）を検出するセンサを備えており、鮮明な画像が得られるように自身の光学系、ＣＣＤの温度、カバーのくもり除去等を行なう機能を有する。車外カメラ制御器１５は車外カメラ１１から画像を受け取り、デジタルデータに変換して画像データ処理装置２３に送る。あるいは、車外カメラ制御器１５のメモリ（図示省略）にデジタル変換した画像データを記憶し、画像データ処理装置２３が処理のために画像データを取りにくるようにしてもよい。この場合、車外カメラ制御器１５は定期的にデジタルデータを書きかえるため、外部からデジタルデータが取られない場合、過去のデータは捨てられる（消去される）ことになる。
【００１５】
一方、車内にはダッシュボード、左右のサイドピラー、左右のドア、後部シートの各々にディスプレイ３１〜３８が設置されている。ディスプレイ３１〜３８には、フレキシブル基板を用いた有機ＥＬ（Electro Luminescence）ディスプレイを好適に採用することができる。これらのディスプレイ３１〜３８は、各々が別々の画像を表示することができる。車外カメラ１１によって得られた画像は、これらディスプレイ３１〜３８に映し出される。たとえば、右ピラーディスプレイ３２には、その運転席側のサイドピラーによって遮られた景色が映し出されるようになっている。なお、後部座席の背もたれ越しに車両後方が完全に視認できないような場合、天井からスクリーン状のディスプレイを吊るすようにして、そのディスプレイに表示を行なうようにしてもよい。
【００１６】
また、車内には運転者を撮像できる位置、たとえばルームミラーに隣接する位置に車内カメラ１３が設置してある。その車内カメラ１３によって得られる画像を鮮明化したり、外部からの命令を受けて車内カメラ１７に車内を撮像させたりする車内カメラ制御器１７が、車両用表示装置１００の一部として設けられる。車内カメラ制御器１７は、車内の照度を検出する照度センサ、車内の温度を検出する温度センサ等のセンサ１９の検出データが入力され、車内の画像が鮮明に撮像できる車内環境を作るための制御もあわせて行なう。
【００１７】
また、運転席のシート４３には、運転者の着席の有無を検出する着座センサ２５が備え付けられている。こうした着座センサ２５は、公知の荷重センサやリミットスイッチで構成されるものである。運転席４３に運転者が着席すると、運転席４３に設置してある着座センサ２５によって運転者の着席が検出される。その検出結果が視点認識器２１に送られ、これを契機に運転者の視点位置が計測される。運転者の視点位置は、適切な位置に原点が定められた３次元座標上で特定される。この３次元座標は、図２に示すごとく、車幅方向をＸ軸、車長方向をＹ軸、車高方向をＺ軸として定義されている。車内カメラ１３、車内カメラ制御器１７および視点認識器２１は、この３次元座標において運転者の視点の位置を測定する。
【００１８】
運転者の視点位置を測定する方法を詳しく説明する。図３に示すのは、視点認識器２１が行なう制御のフローチャートである。視点認識器２１は、運転席に運転者が着席しているか否かを着座センサ２５の出力を検出することによりチェックする（Ｓ１）。運転者が運転席に着席している場合、車内カメラ１３を作動させる命令を車内カメラ制御器１７に出力する（Ｓ１１）。この命令出力を機に、視点認識器２１および車内カメラ制御器１７は、運転者を撮像するモードに移る（Ｓ１２）。
【００１９】
運転者撮像モードに移ると、運転者の動作が安定しているかどうかをチェックする（Ｓ１３）。たとえば、着座センサ２５を荷重センサで構成し、運転者がシート３４に及ぼす圧力変動を見るようにすれば、運転者が静止しているか否かをある程度正確に判断することができる。また、シートベルト着用を以って運転者が静止したと判断するようにしてもよい。このように、運転者の動作が安定したかどうかの判断は、予め基準を設定しておくことで行なえる。
【００２０】
運転者の動作が設定時間以上安定しないとき、視点認識器２１は、対話制御器２７（エージェント）に、運転者に動作を安定させるための指示出力を依頼する（Ｓ１７）。この依頼に応じて対話制御器２７は、運転者へ音声案内等による問いかけを行ない、しばらくの間静止するように促す。たとえば、「視点位置を測定するのでしばらく静止してください」といった音声案内を行なうことにより、運転者の視点位置を高精度に測定できるようになる。
【００２１】
また、運転者に対し、見たいディスプレイ（視界を遮られたくない位置にあるディスプレイ）が、ダッシュボードディスプレイ３１、左右のピラーディスプレイ３２，３３、前部ドアディスプレイ３４，３６、後部ドアディスプレイ３５，３７、後部座席ディスプレイ３８のいずれであるのか選択する入力を対話制御器２７からの音声案内によって促すようにしてもよい。運転者から入力を受け付けることによって画像データ処理装置２３は、有効化する（運転者の死角の画像を表示する）ディスプレイと、無効化する（画像を表示しない）ディスプレイとを区別して認識し、有効化されたディスプレイにのみ車外カメラ１１で得られた画像を加工して表示させる。
【００２２】
このようにして、運転者の動作が安定すると車内カメラ１３によって運転者が正面から撮像され、図４（ａ）（ｂ）に示すような運転者画像が得られる。求めるべき運転者の視点位置Ｅは、たとえば両目の中心とする。この視点位置Ｅの座標は、次のようにして特定することができる。まず、図４で示した運転者画像の解析を行なう。運転者画像の解析では、運転者の複数の特徴点（両目、関節など）を得る。一方、視点認識器２１には、図４に示す運転席のシート４３の形状データを表すものとして複数の測定基準点が記憶されている。そして、それら測定基準点と運転者画像の解析で得られる運転者の特徴点とから、視点位置Ｅの座標（ｘ，ｙ，ｚ）が算出されて記録される（Ｓ１５，Ｓ１６）。
【００２３】
視点位置Ｅの座標（ｘ，ｙ，ｚ）の算出手順をさらに詳しく説明する。図４（ａ）に示すように、測定基準点Ａ（ヘッドレストの角）や測定基準点Ｂ（シートの角）の座標は予め分かっているので、これら測定基準点と特徴点の差を求めれば、視点位置Ｅの座標（ｘ，ｙ，ｚ）を求めることができる。まず、測定基準点Ａの実座標を（ｘ１，ｙ１）、測定基準点Ｂの実座標を（ｘ２，ｙ２）とする。測定基準点Ａと測定基準点Ｂとの間で形成される長方形の高さ方向の画素数をＮｙ、横方向の画素数をＮｘとし、測定基準点Ａの画素を（１，１）とすると、測定基準点Ｂの画素は（Ｎｘ，Ｎｙ）である。
【００２４】
一方、車内カメラ１３の撮影画像から左目の位置Ｅｌを目の虹彩位置で測定し、そのＥｌの座標を画素Ａ点から右、下方向に数えて（Ｅｌｘ，Ｅｌｙ）（ここでＥｌｘとＥｌｙは整数）を求める。右目も同様にして（Ｅｒｘ，Ｅｒｙ）である。すると、視点位置Ｅは、（（Ｅｌｘ＋Ｅｒｘ）／２，（Ｅｌｙ＋Ｅｒｙ）／２）となる。これを画素数Ｎｘ，Ｎｙで正規化すると（（Ｅｌｘ＋Ｅｒｘ）／（２Ｎｘ），（Ｅｌｙ＋Ｅｒｙ）／（２Ｎｙ））となる。さらに、これを実座標に変換することにより視点位置Ｅの座標（Ｅｘ，Ｅｙ）が求まる。
Ｅｘ＝ｘ１＋（ｘ２−ｘ１）（Ｅｌｘ＋Ｅｒｘ）／（２Ｎｘ）
Ｅｙ＝ｙ１＋（ｙ２−ｙ１）（Ｅｌｙ＋Ｅｒｙ）／（２Ｎｙ）
【００２５】
あるいは、次のような手順も採用できる。まず、図４の運転者画像の解析（パターン認識等）を行ない、運転者の視点位置ＥのＸ−Ｚ平面内での位置を特定する。一方、運転席のシート４３には前後方向の移動量、背もたれの角度を計測する変位センサ（図示省略）が取り付けられている。この変位センサによってシート移動量、背もたれ角などのシート姿勢が検出され、視点認識器２１に入力される。変位センサの検出結果から、シート４３の位置・姿勢を知ることができ、運転者の頭が前後方向（Ｙ軸方向）のどのあたりに位置するのか概ね正確に特定できる。すなわち、視点位置ＥのＹ座標を特定することができる。このようにして、視点位置Ｅの３次元座標が既知となる。求めた視点位置Ｅの座標は、車外カメラ１１で得られる画像を、運転者の視点から見た画像に変換するための（視点の変換のための）データとして用いられる。
【００２６】
また、上記のごとく運転者の視点を測定する際に、対話制御器２７（エージェント）を使って運転者に対し、「左ピラーを見てください」「右ピラーを見てください」というように、各ディスプレイ３１〜３８の方向を個別に向かせ、運転者の視線方向に応じた複数の視点位置Ｅを測定することも可能である。運転者が右ピラー方向を見るとき、左ピラー方向を見るとき、後部ドア方位を見るときなど、目の向く方向によって視点位置Ｅは変化すると考えられる。したがって、ディスプレイ３１〜３８に個別に対応する形で、視点位置Ｅの座標データを記憶しておき、車外カメラ１１から得られる画像の切り取りを行なう際には、各ディスプレイ３１〜３８に対応した視点位置Ｅの座標データを使用するとよい。このようにすれば、全てのディスプレイ３１〜３８にズレの少ない死角画像を映せるようになる。
【００２７】
たとえば、左右のそれぞれの目の虹彩の位置を測定することにより、視線をより詳細に計測できる。運転者が首を左右に振った場合、目の位置は正面を向いた場合に比べ目の位置は左右対称からずれる。両目がまっすぐ前を向いた場合と、首を曲げた場合の目の位置のずれの量から、首（顔）の回転角を計算する。次に、顔のほぼ正面方向に設置したカメラにて左右のそれぞれの黒目の位置を測定し、首を曲げた状態で、目がどちらの方向を見ているかを計測する。通常、黒目が中央にあれば、視線方向は正面にあり、黒目が右にずれると視線は右方向、逆の場合は視線は左方向になる。なお、視線位置は個人差があるため、首を曲げた状態で見る位置にある複数のディスプレイ（ピラーディスプレイ３２，３３やドアディスプレイ３４，３６）にマーカやエージェント等のキャラクタを表示し、運転者が首を曲げてそれらのキャラクタを注視するときの視線のキャリブレーションを行ない、そのキャリブレーション結果を各ディスプレイに映し出す画像の加工・生成に反映させてもよい。
【００２８】
また、運転者がどのような動作で左右のピラーディスプレイ３２，３３を見るかを画像として記録しておくことも好適である。この画像データから、運転者が正面から左右や後方を向くタイミングを予測すれば、そのタイミングに応じて運転者が向いた方向のディスプレイにのみ選択的に、車外カメラ１１で得た画像を表示するといった制御を行なえるようになる。
【００２９】
以上のようにして運転者の視点位置Ｅを測定したら、その視点位置Ｅの座標データと、ディスプレイ３１〜３８の設置位置データおよび形状データから、車外カメラ１１から得られる画像のうち、ディスプレイ３１〜３８に表示すべき部分の切り取り範囲が決定される。以下、画像データ処理装置２３の詳細な制御について、図５のフローチャートを参照しつつ説明する。
【００３０】
画像データ処理装置２３は、車外カメラ制御器１５から車外カメラ１１の画像データが送られてきたか否かを判断する（Ｓ１）。画像データが送られてきたらその画像データを記憶する（Ｓ２）。次に、運転者の視点位置を示すデータ（視点位置データ）が視点認識器２１に記憶されているかチェックする（Ｓ３）。先に説明したように、視点認識器２１は、視点位置Ｅの座標データを記憶している。画像データ処理装置２３は、視点位置Ｅの座標データを視点認識器２１から取得して記憶する（Ｓ４）。あるいは、視点位置Ｅの測定の際に、視点認識器２１から画像データ処理装置２３へ視点位置Ｅの座標データを渡すようにしておくこともできる。
【００３１】
なお、先に説明したごとく、視点位置Ｅは単一とは限らず、右ピラー方向、左ピラー方向、後部左方向、後部右方向…というように、ディスプレイ３１〜３８に個別に対応する形で測定できる。したがってこの場合には、画像データ処理装置２３には、ディスプレイ３１〜３８と視点位置Ｅとの対応関係が記憶される。
【００３２】
次に、ディスプレイ３１〜３８の属性データを読み出す。ここでいう属性データは、ディスプレイ３１〜３８の設置位置（設置範囲）を特定する座標データであり、画像データ処理装置２３に予め設定されている。たとえば、ディスプレイがサイドピラーにあわせた４角形であれば、その４隅の３次元座標を属性データとして設定する。また、ディスプレイ３１〜３８は、ＩＤ、表示サイズ、ディスプレイ形状といった属性データも持っている。ＩＤは、各ディスプレイにユニークなＩＤと車両に紐付けされたローカルなＩＤとを含む。ユニークなＩＤを属性データとして持つことで、複数のディスプレイ３１〜３８に異なる画像を表示させることができる。また、表示サイズを選択できる場合は、複数の表示サイズを属性データとして持つようにしてもよい。ディスプレイの位置や形状は、運転者の視点位置Ｅと同じ３次元座標上の複数の点で表すことができる。
【００３３】
図５のフローチャートのＳ５で、ディスプレイの属性データを読み出した後、ディスプレイの属性データと、運転者の視点位置Ｅの座標データとから、サイドピラー等の遮蔽物に取り付けられたディスプレイ３１〜３８を運転者が見る場合に、それら遮蔽物によって車外のどの領域が隠されるかが計算される。そして、その隠される部分を表す多角形（たとえば４角形）の領域が記録される。こうして運転者の死角となる領域を求める。
【００３４】
一方、車外カメラ１１で得られる画像をディスプレイ３１〜３８の形にあわせて表示するために必要な変換を行なう（Ｓ６）。図７に示すごとく、魚眼レンズの結像イメージは、左右が縮小されたものとなる。実際の３次元座標は、図７中の式によって魚眼レンズのＸ，Ｙ座標に変換される。ここでＸ，Ｙは−１から１までの範囲をとるようにしている。物体までの距離ｚがわかっていれば、Ｘ，Ｙからｘ、ｙが計算できる。
【００３５】
上記のようにして車外カメラ１１からの画像データの座標変換を行なって歪みをなくした画像を得たのち、先に求めた死角となる領域のみを残す形で画像データの切り取り操作を行ない、切り取った画像（ピクセルデータ）を表示制御装置２９に送る（Ｓ６，Ｓ７）。この結果、表示制御装置２９の受け取る画像データがグラフィックメモリにセットされ、ディスプレイ３１に表示する画像が生成される。
【００３６】
なお、座標変換を行なった画像データを運転者の死角となる領域を示す座標データとともに表示制御装置２９に送り、表示制御装置２９で死角以外の領域の切り取り操作を行ない、切り取った画像（ピクセルデータ）をディスプレイ３１〜３８のグラフィックメモリにセットするようにしてもよい。表示制御装置２９は、ディスプレイ３１〜３８の描画性能に応じてデータセットタイミングを調整する。本実施形態のように、運転者の死角を減ずるためのディスプレイ３１〜３８が複数設けられている場合には、各ディスプレイについてこうした処理を行なうことになる。
【００３７】
なお、魚眼レンズイメージから直接画像を切り取る方法としては、運転者の視点位置Ｅに対応する画素を直接ディスプレイに送るようにしてもよい。この方法によれば、表示が高速化できる。運転者の視点に応じて対応する画素は、運転者の目の高さによって変化するようになっている。
【００３８】
図６に、車両用表示装置１００の動作状況と、その状況に対応した運転席のイメージを示す。上図に示すごとく、車両４１が上方向に向かって停止、あるいは徐行しているとき前方を物体１が横切り、物体２が車両の右側方に存在する状況を仮定している。このとき、運転席のイメージは下図に示すようになる。右ピラーディスプレイ３２とダッシュボードディスプレイ３１には、運転者の視点から見た物体１が表示され、透過像表示イメージになる。また、物体２もドアディスプレイ３４に表示された像により透過したように見える。
【００３９】
このように、ダッシュボードディスプレイ３１によって車両前部の死角を見渡せるようにすれば、安全確認に威力を発揮する。特に、トラック、バス、ワゴン車など、ボンネットの突出が無い若しくは小さい車両の場合には、ボンネットの突出が大きい乗用車に比べ、運転者に違和感を生じさせることなく視界を広くすることが可能である。
【００４０】
次に、本発明の応用例を説明する。図８に示すように、運転席と後部座席とを隔てるようにディスプレイ３９を設け、そのディスプレイ３９の一方の面側には（前部座席側）後方視点の画像を表示するとともに、他方の面側（後部座席側）には映画等のエンターテイメント情報を表示する。この場合、後部座席のドア下部のディスプレイ３５，３７等にもエンターテイメント情報を表示すれば、大画面の臨場感のある表示が行なえる。また、運転者には説明してきたように、周囲が見えるため安全な運転支援が行なえる。なお、大画面スクリーンの役割を持つディスプレイ３９を天井に収納できるようにすれば、後部座席の搭乗者と運転者とがコミュニケーションを図るのに便利である。
【図面の簡単な説明】
【００４１】
【図１】本発明の車両用表示装置の構成を示すブロック図。
【図２】図１の車両用表示装置の設置例を示す車両模式図。
【図３】視点認識器の制御フローチャート。
【図４】車内カメラによって撮像される運転者のイメージ図。
【図５】画像データ処理部の制御フローチャート。
【図６】運転席のイメージ図。
【図７】魚眼レンズの結像イメージ図。
【図８】本発明の車両用表示装置の別設置例を示す車両模式図。
【符号の説明】
【００４２】
１１  車外カメラ
１３  車内カメラ
２１  視点認識器
２３  画像データ処理装置
２７  対話制御器
２９  表示制御装置
３１〜３９  ディスプレイ
４１，５１  車両
４３  シート
１００  車両用表示装置
【図１】
2006044596.tif 000003
【図２】
2006044596.tif 000004
【図３】
2006044596.tif 000005
【図４】
2006044596.tif 000006
【図５】
2006044596.tif 000007
【図６】
2006044596.tif 000008
【図７】
2006044596.tif 000009
【図８】
2006044596.tif 000010