(57)【要約】【課題】  ピラーの内面に、確立された画像処理を施して、時事刻々変化する外部の情景をリアルタイムに、不自然な印象を与えることなく映写することが可能となり、運転支援を迅速且つ的確に行うことができる車両外部表示方法及び装置を提供すること。【解決手段】  車両外部の情景を撮像した画像をカメラ視点画像Ｉｃとして撮像するとともに、運転者の視点を検出する視点検出工程とを実行し、車両外部の情景を運転者から見た場合に視認される画像を運転者視点画像Ｉｄとして得、運転者から見た車両構造物が運転者視点画像Ｉｄにおいて占める領域を運転者視点画像死角領域として求め、車両構造物の内面に、車両構造物の内面形状に対応させて投影表示する。【選択図】        図１
2006290304.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により車両外部の情景を撮像した画像をカメラ視点画像として得る撮像工程と、
前記カメラ視点画像から、運転者から見た場合に視認される画像である運転者視点画像を得る画像変換工程を実行するとともに、
車両構造物によって運転者にとって死角となる領域の画像を前記運転者視点画像から抽出する死角領域画像抽出工程を実行し、
前記死角領域画像抽出工程で得られる前記死角となる領域の画像を、前記車両構造物に投影表示する車両外部表示方法。
【請求項２】
運転者の視点を検出する視点検出工程を実行し、前記視点検出工程で検出された前記運転者の視点に基づいて、前記画像変換工程を実行するとともに、前記死角領域画像抽出工程を実行する請求項１記載の車両外部表示方法。
【請求項３】
撮像手段により車両外部の情景を撮像した画像をカメラ視点画像として得る撮像工程と、運転者の視点を検出する視点検出工程とを実行し、
前記視点検出工程で得られた前記運転者の視点に基づいて、
前記カメラ視点画像から、運転者から見た場合に視認される画像を運転者視点画像として得る画像変換工程を実行するとともに、運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定工程を実行し、
前記死角領域特定工程で得られる前記運転者視点画像死角領域の画像を、前記車両構造物に投影表示する車両外部表示方法。
【請求項４】
前記車両構造物に前記運転者視点画像死角領域の画像を投影表示するに、前記車両構造物の内面形状に対応させて表示する請求項３記載の車両外部表示方法。
【請求項５】
車外に仮想される仮想スクリーンに対して、前記仮想スクリーン上の画像として前記運転者視点画像を前記画像変換工程で得るとともに、
運転者視点から見た前記車両構造物の前記仮想スクリーン上の画像領域を車両構造物死角領域として、前記車両構造物死角領域に位置する前記運転者視点画像の領域部位を、前記運転者視点画像死角領域の画像とする請求項３記載の車両外部表示方法。
【請求項６】
前記カメラ視点画像を前記運転者視点画像とする変換テーブルを、前記視点の位置をパラメータとして予め備えておき、
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換する請求項３、４又は５記載の車両外部表示方法。
【請求項７】
前記視点の位置をパラメータとした、前記仮想スクリーンにおける前記車両構造物死角領域を予め求めておき、
検出された前記視点に基づいて使用すべき前記車両構造物死角領域を特定し、前記特定された車両構造物死角領域を用いて、
前記運転者視点画像死角領域の画像を求める請求項５記載の車両外部表示方法。
【請求項８】
前記視点の位置を、着座状態にある運転者画像を撮像して得られる運転者の目の位置、運転者が着座した着座状態にあるシート形状、若しくは車両に備えられているシート位置のいずれか１つ以上に基づいて求める請求項３〜７のいずれか１項記載の車両外部表示方法。
【請求項９】
車両外部の情景をカメラ視点画像として撮像する撮像手段と、
運転者の視点を検出する視点検出手段とを備え、
前記視点検出手段で得られた前記運転者の視点に基づいて、
前記カメラ視点画像を、前記運転者から見た場合に視認される画像である運転者視点画像に変換する変換手段を備えるとともに、
運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定手段を備え、
前記死角領域特定手段により得られる前記運転者視点画像死角領域の画像を、前記車両構造物に投影表示する車両外部表示装置。
【請求項１０】
前記運転者視点画像死角領域の画像を、前記車両構造物に投影表示するに、前記車両構造物の内面形状に対応させて投影表示する請求項９記載の車両外部表示装置。
【請求項１１】
車外に仮想される仮想スクリーンに対して、前記仮想スクリーン上の画像として前記運転者視点画像を前記変換手段で得るとともに、
運転者視点から見た前記車両構造物の前記仮想スクリーン上の画像領域を車両構造物死角領域として、前記車両構造物死角領域に位置する前記運転者視点画像の領域部位を、前記運転者視点画像死角領域の画像とする請求項９記載の車両外部表示装置。
【請求項１２】
前記カメラ視点画像を前記運転者視点画像とする変換テーブルを、前記視点の位置をパラメータとして予め備えておき、
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換する請求項９、１０又は１１記載の車両外部表示装置。
【請求項１３】
前記視点の位置をパラメータとした、前記車両構造物死角領域を予め求めておき、
検出された前記視点に基づいて使用すべき前記車両構造物死角領域を特定し、前記特定された車両構造物死角領域を用いて、前記運転者視点画像死角領域の画像を求める請求項１１記載の車両外部表示装置。
【請求項１４】
前記視点の位置を、着座状態にある運転者画像の目の位置、運転者が着座した着座状態にあるシート形状、若しくは車両に備えられているシート位置のいずれか１つ以上に基づいて求める請求項９〜１３のいずれか１項記載の車両外部表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車等に搭載され、運転者による運転を支援することができる車両外部表示方法及び装置に関する。
【背景技術】
【０００２】
運転を支援する装置として、自動車のインストゥルメントパネル上にターンシグナル等を表示したり、ピラー上に外部情景を表示したりするものが提案されている。ここで、ターンシグナルや外部情景は仮想画像として表示される。
例えば、特許文献１は、この種の仮想画像の様々な利用を提案するものであり、ピラーの内面に、外部情景を映写することが提案されている。この文献に記載の技術では、外部情景を撮像可能な撮像装置、運転者の視点を検出可能な視点検出装置及び画像編集装置が備えられており、この画像編集装置により画像の運転者視点に従った画像編集が行われることとなっている。
【０００３】
この文献には、段落〔００５１〕に、「画像編集装置１８では、これら供給された車両前方や車両後方の画像情報と視点位置信号から、運転者から死角となっている領域の外部情報を編集処理し、その編集処理データがホログラフィ表示装置１９に供給され、ホログラフィ表示装置１９により各ピラー３１位置の実空間上に死角部情報１３ｇが視認景色２３と一体的となるようにホログラム表示される。」と記載されている。
しかしながら、運転者視点をどのようにして検出するか、さらに、カメラにより撮像される撮像画像をどのように編集処理するかに関する具体的記載はない。
【０００４】
【特許文献１】特開平１１−１１５５４６号公報（第５１段落、図６、７、８）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えば、運転者の斜め前にあるピラーに、ピラーを越えた外部にある情景を映写すると、その映写状態が良好（外部の情景を忠実かつ自然に反映した歪み、ずれのない画像）である場合に限り、その効果を発揮することができる。
従って、映像に歪みがある場合等には問題となるとともに、ピラーの周部に存するウインドウに不要な映像が映写された場合は、不自然感を禁じ得ない。
さらに、運転状態にあっては、刻々とピラー外部の情景が変化するため、ほぼリアルタイムで外部の情景を歪み及びずれなく映写することが要求される。
【０００６】
このような観点から上述の従来技術を参照すると、画像編集装置における編集処理に関して何ら具体的な説明がなく、処理工程が煩雑化したり、死角領域以外の画像を、歪み、ずれのある状態で映写することとなる可能性が残る。
さらに、ピラー内面は比較的複雑な立体形状を有しているが、この種の立体形状に関する提案はなんら成されていない。
【０００７】
本発明の目的は、車両構造物、例えば、運転者の右前に位置するピラーの内面に、確立された画像処理を施して、時事刻々変化する外部の情景をリアルタイムに、不自然な印象を与えることなく映写することが可能となり、運転支援を迅速且つ的確に行うことができる車両外部表示方法及び装置を提供する点にある。
【課題を解決するための手段】
【０００８】
上記目的を達成するための、本願に係る車両外部表示方法の特徴手段は、
撮像手段により車両外部の情景を撮像した画像をカメラ視点画像として得る撮像工程と、
前記カメラ視点画像から、運転者から見た場合に視認される画像である運転者視点画像を得る画像変換工程を実行するとともに、
車両構造物によって運転者にとって死角となる領域の画像を前記運転者視点画像から抽出する死角領域画像抽出工程を実行し、
前記死角領域画像抽出工程で得られる前記死角となる領域の画像を、前記車両構造物に投影表示することにある。
【０００９】
この車両外部表示方法にあっては、カメラ視点画像を撮像手段を利用して得るとともに、このカメラ視点画像を運転者視点画像に変換する。さらに、このようにして得られた、この運転者視点画像における運転者にとって死角となる領域の画像を死角領域画像抽出工程において抽出し、この画像を車両構造物に投影表示する。従って、運転者の視点に変換した画像を表示するため自然な表示ができる。さらに、余計な部分への投影を無くすことが可能となり、車外の人や物、車両の他の部分への投影を防止できる。
【００１０】
上記の外部画像表示方法を実行する場合に、
運転者の視点を検出する視点検出工程を実行し、前記視点検出工程で検出された前記運転者の視点に基づいて、前記画像変換工程を実行するとともに、前記死角領域画像抽出工程を実行することが好ましい。
視点検出工程を実行することで、運転者の視点を検出して画像の変換、死角領域の抽出を行うため、視点の移動に対して最適な画像の投影を行うことができる。
【００１１】
上記目的を達成するための、更なる、本願に係る車両外部表示方法の特徴手段は、
撮像手段により車両外部の情景を撮像した画像をカメラ視点画像として得る撮像工程と、運転者の視点を検出する視点検出工程とを実行し、
前記視点検出工程で得られた前記運転者の視点に基づいて、
前記カメラ視点画像から、運転者から見た場合に視認される画像を運転者視点画像として得る画像変換工程を実行するとともに、運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定工程を実行し、
前記死角領域特定工程で得られる前記運転者視点画像死角領域の画像を、前記車両構造物に対応させて投影表示することにある。
【００１２】
この方法にあっては、車両外部の画像が撮像され、運転者の視点が検出される。
そして、このようにして検出される視点が、運転者視点画像を得るのに利用されるとともに、本願にいう死角領域の特定に使用される。
ここで、運転者視点画像は、車両外部の情景を運転者から見た場合に視認される情景画像であり、撮像手段と視点との位置関係に従って、カメラ視点画像から求めることができる。
【００１３】
一方、死角領域は、運転者の視点と、本願において、映像の対象となるピラーといった車両構造物により死角となる領域であり、この領域も視点と車両構造物との位置関係によって決定され、求めることが可能な仮想的な領域部位である。
【００１４】
そこで、本願にあっては、視点の検出を実行して、その視点の位置に基づいて運転者視点画像を得るとともに、その画像における死角領域を特定し、その領域内に位置する運転者死角領域の画像を、車両構造物に投影表示する。
【００１５】
このようにすることで、車両構造物に、過不足のない外部画像を、適切且つ迅速に映像することができる。
【００１６】
この構成の車両外部表示装置としては、
これを、車両外部の情景をカメラ視点画像として撮像する撮像手段と、
運転者の視点を検出する視点検出手段とを備え、
前記視点検出手段で得られた前記運転者の視点に基づいて、
前記カメラ視点画像を、前記運転者から見た場合に視認される画像である運転者視点画像に変換する変換手段を備えるとともに、
運転者から見た車両構造物が前記運転者視点画像において占める領域を運転者視点画像死角領域として求める死角領域特定手段を備え、
前記死角領域特定手段により得られる前記運転者視点画像死角領域の画像を、前記車両構造物に投影表示する構成とすることができる。
【００１７】
この手法を採用する場合、車両構造物に前記運転者視点画像死角領域の画像を投影表示するに、前記車両構造物の内面形状に対応させて表示することが好ましい。
このようにすることで、車両構造物の内面形状が比較的複雑な形状となっていても、これに対応させて、適切な運転者視点画像を映像することが可能となる。
【００１８】
さらに上記の車両外部表示方法にあって、
車外に仮想される仮想スクリーンに対して、前記仮想スクリーン上の画像として前記運転者視点画像を前記画像変換工程で得るとともに、
運転者視点から見た前記車両構造物の前記仮想スクリーン上の画像領域を車両構造物死角領域として、前記車両構造物死角領域に位置する前記運転者視点画像の領域部位を、前記運転者視点画像死角領域の画像とすることが好ましい。
【００１９】
この手法にあっては、車外に所定の仮想スクリーンを想定し、その仮想スクリーン上に外部の情景が映ったものとして、本願に係る表示を取り扱うこととなる。
この種の仮想スクリーンとしては、車の前方に鉛直に立設された平面スクリーンを仮想してもよいし、車の周りに上下方向に軸を有する円筒状のもの、或は車を中心とする球状のスクリーンを仮定してもよい。さらに、車体形状に合わせて、これを拡大した仮想スクリーンを外部に想定してもよい。
このような仮想スクリーンを仮定すると、その上での、カメラ視点画像から運転者視点画像への変換及び死角領域の特定及び演算処理が非常に簡便となる。結果、迅速且つ正確な処理が可能となる。
【００２０】
この手法を使用する車両外部表示装置としては、これを、
車外に仮想される仮想スクリーンに対して、前記仮想スクリーン上の画像として前記運転者視点画像を前記変換手段で得るとともに、
運転者視点から見た前記車両構造物の前記仮想スクリーン上の画像部位を車両構造物死角領域として、前記車両構造物死角領域に位置する前記運転者視点画像の領域部位を、前記運転者視点画像死角領域の画像とするものとして構成できる。
【００２１】
また、これまで説明してきた外部表示方法において、
前記カメラ視点画像を前記運転者視点画像とする変換テーブルを、前記視点の位置をパラメータとして予め備えておき、
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換することが好ましい。
【００２２】
本願装置にあっては、撮像手段の位置と視点の位置とが決まれば、自動的に視点変換の変換テーブルは決まる。そこで、視点の位置をパラメータとする変換テーブルを用意しておいて、検出された視点に従って、使用すべき変換テーブルを決定して運転者視点画像を得ることで、迅速且つ一定のスキームに従った処理で、目的の画像を得ることができる。
【００２３】
この手法を使用する外部表示装置は、
前記カメラ視点画像を前記運転者視点画像とする変換テーブルを、前記視点の位置をパラメータとして予め備えておき、
検出された前記視点に基づいて使用すべき前記変換テーブルを特定し、前記特定された変換テーブルを用いて、前記カメラ視点画像を前記運転者視点画像に変換することとなる。
【００２４】
一方、死角領域に関しても同様な構成を採用できる。
即ち、前記視点の位置をパラメータとした、前記仮想スクリーンにおける前記車両構造物死角領域を予め求めておき、
検出された前記視点に基づいて使用すべき前記車両構造物死角領域を特定し、前記特定された車両構造物死角領域を用いて、
前記運転者視点画像死角領域の画像を求めるものとするのである。
【００２５】
本願装置にあっては、視点が決まれば、自動的に仮想スクリーン上における車両構造物死角領域は決まる。そこで、視点の位置をパラメータとする仮想スクリーン上の車両構造物死角領域に関する情報を用意しておいて、検出された視点に従って、死角領域がどこになるかを特定することで、迅速且つ一定のスキームに従った処理で、目的の画像を得ることができる。
【００２６】
以上説明したように、本願に係る車両外部表示方法は検出される視点の位置に大きく依存することとなる。
そこで、この種の視点の位置の検出方法としては、着座状態にある運転者画像を撮像して得られる運転者の目の位置、運転者が着座した着座状態にあるシートの形状、若しくは車両に備えられているシート位置のいずれか１つ以上に基づいて求めることとできる。
【００２７】
また、検出装置としては、
着座状態にある運転者画像の目の位置、運転者が着座した着座状態にあるシート形状、若しくは車両に備えられているシート位置のいずれか１つ以上に基づいて求めるものとできる。
【発明を実施するための最良の形態】
【００２８】
図１は、本願に係る車両外部表示装置１００の構成を示したものであり、車に備えられる各機器１０２、１０３、１０４を、その配設位置に合わせて図示するとともに、本願装置１００の核となる演算処理装置である表示装置本体１０１を、その機能ブロック図で示している。
【００２９】
同図に示す例では、車両外部表示装置１００は、車１の前方及び左右方向を撮像するための撮像カメラ１０２、運転者２の視点３の位置を検出するための視点検出装置１０３、さらにプロジェクター１０４を備えて構成されるとともに、前記プロジェクター１０４に対して、映写に必要な情報を与える表示装置本体１０１を備えて構成されている。この表示装置本体１０１は、使用者である運転者２との遣り取りを行う入出力装置１０１ａを備えている。撮像カメラとしては、車の前方及び左右方向を撮像するためのものに限らず、側後方、後方を撮像するカメラを備えておいてもよい。
【００３０】
この表示装置本体１０１は、撮像カメラ１０２から得られるカメラ視点画像Ｉｃと、視点検出装置１０３から得られる運転者２の視点３の位置情報とに基づいて、プロジェクター１０４において映写さるべき画像（プロジェクター画像Ｉｐと称する）を生成する。
さらに、この表示装置本体１０１には、イグニッションキー４のＯＮ、ＯＦＦ情報が入るように構成されており、車両外部表示装置１０１のＯＮ、ＯＦＦは、このイグニッションキー４のＯＮ，ＯＦＦに連動するものとされている。
【００３１】
以下、車両外部表示装置１０１を成す夫々の機器に関して順に説明する。
１  撮像カメラ１０２（撮像手段の一例）
図１に示す例にあっては、車１の前方及び前側左右方向の外部画像を取るための撮像カメラ１０２が車１の前方、車体中央位置に設けられており、この撮像カメラ１０２から例えば、運転者２にとってピラー６によって死角となるピラー背面領域の情景も撮像することができる。この種のカメラ１０２としては、例えばＣＣＤカメラ、ＣＭＯＳカメラ等を使用する。
【００３２】
２  視点検出装置１０３（視点検出手段の一例）
視点検出装置１０３は、同図に示す例の場合、バックミラー７の支持部位近傍に装置される赤外線カメラ８と、シート支持フレーム９に設けられる複数のロードセル１０とを備えて構成されている。これら赤外線カメラ８、複数のロードセル１０からの検出情報は、視点検出装置１０３内に備えられている視点導出手段Ｃ１に送られ、視点位置に変換される。
前記赤外線カメラ８は、運転者２の顔をその視野内に納めるように構成されており、視点導出手段Ｃ１において、顔画像から目の位置を推定し、車内における上下方向及び左右方向（車の幅方向）における視点３の位置を導出する。
一方、シート支持フレーム９に設けられるロードセル１０は、平面形状が矩形の枠組みとして構成されるシート支持フレーム９の各枠に備えられ、視点導出手段Ｃ１において、夫々配置関係において対を成す２対のロードセル１０の出力から、車内における視点３の前後方向の位置を導出する。この前後方向の位置は、シートの位置から求めるものとしてもよい。
従って、この視点導出手段Ｃ１により、運転者２の視点３の車内における、上下・左右及び前後方向の位置を得ることができる。
【００３３】
３  プロジェクター１０４
プロジェクター１０４は、図１に示す例においては、運転者２の斜め右前に位置するピラー内面６ａに、ピラー外部の画像を映写するために設けられており、図８に示すように、その光軸１０４ａをピラー内面６ａを代表する仮想スクリーンＳ２にほぼ直交するように配設されており、ピラー内面６ａ全体に映写可能な位置関係に配設されている。このプロジェクター１０４は具体的には走査型の映写装置である所謂レーザープロジェクターである。
プロジェクター１０４は、前述の表示装置本体１０１から映写対象のプロジェクター画像Ｉｐを受け取り、その画像Ｉｐをピラー内面６ａに映写する。図２は、運転者右前側に位置されるピラー６の内面６ａにその外部画像を映写したものであり、ピラー内面６ａに映写された外部画像と、ピラー周りのガラス部位１１を透過して見える外部実像との間において、一体性のある自然な状態が得られていることが判る。
このプロジェクター１０４は、その位置、映像面の方向（光軸の方向）を調整可能に構成されている。
【００３４】
４  表示装置本体１０１
この表示装置本体１０１は、車両外部表示装置１００全体の動作を制御する部位であるとともに、プロジェクター１０４において表示に必要な画像を得る処理を行う部位である。
図１に示すように、表示装置本体１０１に対する入力は、イグニッションキー４のＯＮ・ＯＦＦ情報、カメラ視点画像Ｉｃ、視点３の情報である。
【００３５】
一方、図１に示すように、本体１０１内には記憶部ｍが備えられており、その記憶部ｍ内に、装置１００内に備えられる光学レンズによる歪みを補正するためのレンズ補正情報ｉ１、ピラー−プロジェクター変換情報ｉ２、車１の内装形状に基づいた補正を行うための内装形状補正情報ｉ３が記憶されているとともに、視点３の位置をパラメータとした、カメラ視点画像を運転者視点画像に変換する視点変換テーブルｉ４、運転者視点画像上の死角領域を記憶した死角領域情報ｉ５が記憶されている。
【００３６】
この表示装置本体１０１における処理は、カメラ視点画像Ｉｃの運転者視点画像Ｉｄへの変換、運転者視点画像Ｉｄにおける死角領域Ｄの特定、さらに、この死角領域Ｄの画像をプロジェクター１０４から映写するために必要となるプロジェクター画像Ｉｐの生成の順に処理が進む。
そして、このようにして得られたプロジェクター画像Ｉｐがプロジェクター１０４に送られて、ピラー６上に適切な死角領域Ｄの画像が映写される。
【００３７】
さらに、表示装置本体１０１には、初期化処理手段Ｃ２が備えられており、イグニッションキー４のＯＮ操作に伴って、所定の初期化処理を実行するように構成されるとともに、必要な場合は、プロジェクター１０４自体の位置、光軸方向を調整するように構成されている。但し、プロジェクター１０４の位置の調整は、使用者である運転者２によって行われる。
車両外部表示装置１００においては、その通常状態において、常時、検出されるカメラ視点画像Ｉｃ及び運転者の視点３に基づいて、プロジェクター画像Ｉｐが生成され、これが良好に映写される。一方、例えば、車両外部表示装置１００を初めて設置した時、あるいは、設置後、比較的長期間が経過しており、プロジェクター１０４の位置・方向が本来の位置・方向からずれを生じていると考えられる状況においては、表示装置本体１０１に対して設けられている入出力装置１０１ａを使用して、表示装置本体１０１側からの質問・指示に基づいて、プロジェクター１０４に対する位置調整（所謂キャリブレーション）を行うことができる。
【００３８】
以下、上記の操作を実行する、図１に示されるレンズ補正手段Ｃ３、第１変換手段Ｃ４、死角領域特定手段Ｃ５、プロジェクター画像生成手段Ｃ６（第２変換手段Ｃ６ａ及び内装形状補正手段Ｃ６ｂ）の働きに関して、具体例を示しながら説明する。
【００３９】
カメラ視点画像から運転者視点画像の生成
この画像生成は、レンズ補正手段Ｃ３による光学レンズの影響を排除した画像に対して、第一変換手段Ｃ４によって実行される画像変換であり、記憶部ｍに記憶されている視点変換テーブルｉ４を使用して行われる。
【００４０】
本願に係る車両外部表示装置１００にあっては、車１に対して撮像カメラ１０２の位置及びその撮像方向は固定されており、同時に先に示したように、運転者２の視点３の位置は特定される。従って、図３（ａ）（ｂ）に示すように、撮像カメラ１０２により撮像されるカメラ視点画像Ｉｃと、運転者２の視点３から見た運転者視点画像Ｉｄとの関係は一意に決定される。即ち、撮像カメラ１０２が車１の幅方向中央位置にその撮像方向を前方に向けて配設されており、運転者２の視点３が車１の幅方向中央位置より右側に位置し、同じく前方を見ている場合は、車１の前方右側に大きく見えている別の車２００は、運転者視点からみると、前後方向位置の差分だけ縮小され、さらに、左側によった画像となる。この状況は、図３（Ａ）に示すように、車１の前方に配設された仮想スクリーンＳ１に映る画像を、異なった視点から見ているのと同様である。従って、この種の変換は所謂アフィン変換等の座標変換とすることができる。
この変換の一例を、図４に基づいて説明する。ここでは、説明を簡略化するため、直線状に５個配列された画素の変換について説明する。
図４において、図４（ａ）は、カメラ視点からみた直線状に５個配列された画素の並びを示しており、図４（ｅ）は、これを運転者視点からみた場合に、どのような配列となるかを示したものである。
図示される５個の画素の運転者視点における変換は、カメラ視点と運転者視点とに関するカメラの光軸と運転者視線との角度差θを求め、その角度差θ分だけ傾けたスクリーンを想定することで特定できる。この場合、元の画像の中心（５個配列されているうちの３個目の画素の位置）を回転中心とする。この状態が図４（ｂ）に示す状態である。そして、元のスクリーン上の画素と運転者視点とを結んだ線と、傾けたスクリーンとの交点が変換後の画素の位置となる。従って、（ｃ）、（ｄ）に示すように、各画素間の距離が変化し、画素の配列の比が変わる。さらに、図４（ｅ）に示すように、運転者視点と変換後の画像平面の位置関係から画像サイズの調整を行うこととなる。
このようにして運転者の視点３に対応づけられた傾いたスクリーン上に構成された画素の集合が視点変換後の画像となる。即ち、先に説明した運転者視点画像を得ることができるのである。
【００４１】
そこで、本願にあっては、カメラ視点画像Ｉｃと運転者視点画像Ｉｄとの変換テーブルである視点変換テーブルｉ４が、視点３の位置をパラメータとして用意されており、第１変換手段Ｃ４は、検出される運転者２の視点３に基づいて視点変換テーブルｉ４を選択・特定して、現在のカメラ視点画像Ｉｃから現在の運転者視点画像Ｉｄを生成する。
【００４２】
運転者視点画像Ｉｄにおける死角領域Ｄの特定
この死角領域Ｄの特定は、死角領域特定手段Ｃ５により行われる処理である。
本願に係る車両外部表示装置１００にあっては、運転者２の視点３が検出される。これに対して、その視点３に対するピラー６の位置は、車１の形状が確定していることから特定される。従って、運転者２にとって死角となる外部領域は視点３の位置に基づいて決まる。
図５に、車１の幅方向において異なった位置にある視点３（図上「視点１」として示す視点３ａ、「視点２」として示す視点３ｂ）に対して、車１の前方向に配置されていると仮定できる仮想スクリーンＳ１における死角領域（本願にいう運転者視点死角領域）Ｄを示した。この図から判明するように、視点３が車１の幅方向外側に移動するに従って、死角領域Ｄは仮想スクリーンＳ１上で幅方向内側に移動することが判る。この仮想スクリーンＳ１上での死角領域Ｄは、視点３の位置とピラー６の位置との関係に基づいて確定している。
そこで、本願に係る車両外部表示装置１００にあっては、記憶部ｍ内に視点３の位置をパラメータとする仮想スクリーンＳ１上の死角領域情報ｉ５が記憶されており、検出される運転者２の視点３の位置に基づいて、死角領域特定手段Ｃ５がピラー６により形成される仮想スクリーンＳ１上の死角領域Ｄを特定する。
【００４３】
具体的には、仮想スクリーンＳ１上の死角領域Ｄに対して、死角領域Ｄ以外の領域をマスクする仮想的なマスク画像Ｍが生成され、このマスク画像Ｍが下手側へ送られる。
図６に、異なった視点３（図上「視点１」，「視点２」，「視点３」として示す）に対応する、仮想スクリーンＳ１上の死角領域Ｄを示すとともに、この死角領域Ｄを区画するためのマスク画像Ｍを示した。運転者の視点３（「視点１」，「視点２」，「視点３」）に従って、この死角領域Ｄが、視点３とピラー６との位置関係に従って右側から左側に移動していることがわかる。
【００４４】
運転者視点画像における死角領域に位置する画像の抽出
以上の工程を経て、図７に示すように、運転者視点画像Ｉｄとマスク画像Ｍとを利用して、その重畳領域としてピラーに映像すべき画像を抽出する。図７に、この画像を透過部画像Ｉｄｐとして示した。
【００４５】
プロジェクター画像Ｉｐの生成
上記のようにして得られる透過部画像Ｉｄｐは、プロジェクター画像生成手段Ｃ６に送られ、運転者２の視点３とプロジェクター１０４との関係から決まる変換とピラー６の形状、立体的形状からくる補正を受ける。即ち、記憶部ｍに記憶されている、ピラー−プロジェクター変換情報ｉ２、内装形状補正情報ｉ３に基づいた変換・補正を施すのである。
前者の変換は、主には、先にカメラ視点画像Ｉｃと運転者視点画像Ｉｄとの変換関係で述べたと同じ変換であり、この変換は第２変換手段Ｃ６ａにより実行される。
この段階の変換に関して述べると、透過部画像Ｉｄｐが得られていることから、ピラー６を代表する位置に鉛直方向の仮想スクリーンＳ２を仮定すれば、その映写すべき画像が確定する。
この映写すべき画像は、視点３から車外に設定した仮想スクリーンＳ１までの距離と、ピラー６を代表する位置に設定した仮想スクリーンＳ２との位置関係に対応して、幾分縮小され、両スクリーンＳ１，Ｓ２の傾き分だけ影響を受けたものとなる。
一方、ピラー６の位置とプロジェクター１０４の位置は固定された関係にあり、図８（Ａ）に示すように、プロジェクター１０４の光軸１０４ａは、ピラー６を代表する位置の仮想スクリーンＳ２に直交する関係に配設されているため、仮想スクリーンＳ２がプロジェクター１０４の映写面と平行に配設されている場合は、上記の映写すべき画像をピラーと仮想スクリーンＳ２の配置関係分だけ視点補正した画像をプロジェクター画像Ｉｐとすることができる。これらの変換が図１に示す第２変換手段Ｃ６ａで実行される。
【００４６】
通常のピラー６にあっては、ピラー６は、斜め前方向に延びる等立体的配置構成を有し、図８（Ａ）に示すように、その断面表面形状も複雑な形状とされている。
そこで、プロジェクター画像生成手段６には、第２変換手段Ｃ６ａに加えて、内装形状補正手段Ｃ６ｂが設けられている。
この補正に関する情報は、プロジェクター１０４とピラー６との位置関係が確定しており、さらにピラー６の立体的形状も確定しているため、予め確定することができ、記憶部ｍの内装形状補正情報ｉ３として記憶される。
【００４７】
この補正を、図８（Ａ）に示す、ピラー６が車１の前後方向及び幅方向に延びる２面６０，６１からなる場合に関して説明する。図８（ａ）は、ピラー６を運転者２から見た状態を示しており、ピラー内面６ａが下方に向かう程、運転者２から見て奥側（車の前側）に位置しており、ピラー内面６ａが運転者２側に突出した稜線６２と、この稜線６２から両側に延び、運転者２に対して離間する側に延びる２面６０，６１から構成されていることを示している。
【００４８】
さて、先に説明したピラー６を代表する位置に仮想した仮想スクリーンＳ２に形成されるべき死角領域Ｄの画像が図８（ｂ）に示すような単なる方形の画像Ａである場合を考える。この場合、図８（ｃ）に示すように、その画像Ａをピラー内面６ａにそのまま映写すると、方形の上辺ａ及び下辺ｂが屈曲した位置関係となる直線の組み合わせとなり好ましくない。従って、プロジェクター１０４に供給すべき画像としては、図８（ｄ）に示すように、運転者２から離間する方向に延びる各面６０，６１に映写される上辺ａ及び下辺ｂが、ピラー６の稜線６２において折れ曲がった区画線ａ１，ａ２，ｂ１，ｂ２となるように画像を補正しておく。このようにしておくことで、図８（ｅ）に示すように、ピラー内面６ａにプロジェクター１０４より映写された画像は外部画像を不自然な印象なく映写することができる。
【００４９】
以上の説明では、プロジェクター画像生成手段Ｃ６における処理を、第２変換手段Ｃ６ａと内装形状補正手段Ｃ６ｂとの別個の手段による処理として説明したが、運転者２の視点３が特定されると、車外に設定される仮想スクリーンＳ１の位置とピラー６の位置との関係からピラー内面６ａに映写されるべき画像は特定される。
【００５０】
一方、ピラー内面６ａの立体的形状とプロジェクター１０４の配設関係が固定であるため、プロジェクター１０４での映写に使用する画像であるプロジェクター画像Ｉｐは、車外に設定される仮想スクリーンＳ１の位置とピラー６の位置関係及びピラー内面６ａの立体的形状とプロジェクター１０４の配設関係から一意に求めることが可能である。
【００５１】
そこで、プロジェクター画像生成手段６では、第２変換手段Ｃ６ａによる変換及び内装形状補正手段による補正を統合した処理を施すことで、良好にピラー内面６ａに死角領域Ｄの画像を映写することができることとなる。
【００５２】
初期化処理
本願に係る車両外部表示装置１００では、現在のプロジェクター１０４の位置（方向も含む）を、プロジェクター１０４が本来あるべき位置に、適宜、運転者自身が調整可能に構成されている。
【００５３】
表示装置本体１０１内には初期化処理手段Ｃ２が設けられている。
この初期化処理の目的は、外部表示に必要な情報の取り込み、及び、プロジェクター１０４の位置の調整（キャリブレーション）にある。前記必要な情報の取り込みは、装置の作動時開始時に常に実行される処理であり、後者の調整は、例えば、車両外部表示装置１００の初期設置時、あるいは、所定の期間使用後に運転者２が調整を必要と判断した時に、適宜実行されるものである。
この調整手法の概念を模式的に、図９に示した。図９の左側には、運転者の右前側に位置するピラー６が示されており、右側には、プロジェクター１０４及びこの調整時にプロジェクター１０４から映写される初期化画像Ｉｉが示されている。
車両外部表示装置１００の使用に際しては、同左図に示すように、マーカー１２をピラー６に対して所定３箇所に設置しておく。このマーカー１２の位置は、車種、その車におけるピラー６の形状に合わせてプロジェクター１０４の配設位置との関係で予め決定されている位置であり、ピラー６とプロジェクター１０４との位置・光軸を適正に保つべく設定される位置である。図９には、マーカー１２を、ピラー６の上端に一点、下側二点設ける場合を示している。
一方、記憶部ｍには、初期化設定用のマーカー１２が配設されるべきピラー６に対する位置（車両形状データ上のマーカー位置である目標点の位置）が記憶されており、この位置に対応して、同図右側に示す初期化画像Ｉｉを生成し、目標点であるマーカー点ｉ１２をピラー６に映写することが可能な構成が採用されている。プロジェクター１０４がピラー６に対して適正に配設されている場合に、映写画像のマーカー点ｉ１２がピラー６上に位置するマーカー１２上に輝点として映写されることとなる。
【００５４】
この初期化処理手段Ｃ２の動作フローを、図１０に示した。一方、図１１に、車両外部表示装置１００のメインフローを示した。初期化処理は、メインフローの初段（ステップＳ１）に位置されており、車両外部表示装置１００の動作開始時（例えば、イグニッションキー４のＯＮ操作時）に常時実行される。
【００５５】
図１０に示すフローに従って、この初期化処理を説明する。
ステップ１０１（Ｓ１０１）
初期化処理を開始する時点で、記憶部ｍに記憶されているレンズ補正情報ｉ１を読み出す。レンズ補正情報ｉ１が変換テーブルとして記憶されている場合は、それをそのまま使用可能であり、レンズ特性を表す式等として記憶されている場合は、レンズ補正を画像情報に対して適応すべく、変換テーブルの形態に変えることとなる。
【００５６】
ステップ１０２・１０３（Ｓ１０２・１０３）
先に説明した、死角領域Ｄの画像からプロジェクター画像Ｉｐを形成するための情報ｉ２、ｉ３を、記憶部ｍから呼び出す。この場合、先に説明したピラー−プロジェクター変換情報ｉ２及び内部形状補正情報ｉ３が一体として呼び出され、プロジェクター画像Ｉｐの生成が可能となる。
【００５７】
以上の３のステップは、初期化処理に伴って、自動的に装置側で実行されるステップである。
以下、ステップ１０４（Ｓ１０４）からステップ１０９（Ｓ１０９）に至るステップは、プロジェクター１０４の調整（キャリブレーション）に関する処理ステップであり、装置１００と運転者２との間で行われる処理ステップである。
ステップ１０４（Ｓ１０４）
このステップに到達した段階で、表示装置本体１０１に付属して設けられている入出力装置１０１ａに、プロジェクター１０４調整（キャリブレーション）の要否が問い合わされ、運転者２側からのキャリブレーション開始トリガの有無が判断される。
例えば、入出力装置１０１ａの最上段の点灯ボタンを点灯しておくことで、調整の要否の判定を促し、このボタンが押されること（開始トリガあり）で、調整が要と判定されたものとするのである。一方、一定時間内に操作されない場合は、開始トリガなしとできる。
先にも説明したように、例えば、車両外部表示装置１００が最初に設置された時、或は、長期間に渡って使用が継続され、運転者２が表示画像に大きなずれを感じるようになった場合に、運転者２は、この開始トリガを入力する。
開始トリガがある場合（ステップ１０４；ｙｅｓ）は、ステップ１０５からステップ１０９の調整処理に入る。一方、開始トリガがない場合（ステップ１０４；ｎｏ）は、これらの処理は省略されて、初期化処理を終了する（エンド）。
【００５８】
ステップ１０５（Ｓ１０５）
このステップにおいて、先に説明したマーカー１２が設けられている位置である初期化画像上の目標点の位置を記憶部ｍから読み出し、図９右側に示す初期化画像Ｉｉを生成する。
以上説明した、ステップ１０４ステップ１０５は、装置側での一連の処理として実行される。
【００５９】
引き続いて、ステップ１０６からステップ１０８に示す一連の処理を、各マーカー１２に対して実行する。これらステップにあっては、運転者２によるプロジェクター１０４の調整操作が介入する。
ステップ１０６（Ｓ１０６）
このステップにおいて、初期化画像Ｉｉを使用して目標点の位置で走査線を映写する。
ステップ１０７・ステップ１０８（Ｓ１０７・１０８）
これらステップにおいては、ピラー６に備えられているマーカー１２の位置と、プロジェクター１０４から映写される走査線の位置とが一致しているか否かを、順次、装置が運転者２側に問い合わせ（Ｓ１０７）、一致していない場合は、運転者２にプロジェクター１０４の調整操作を指示するとともに、運転者２により調整される（Ｓ１０８）。
先に示す入出力装置１０１ａの場合は、輝点の映像順に、上から２番目、３番目、４番目の順に点灯していき、調整の後に、この点灯ボタンを順次押すことで、その調整の完了を確認することができる。
ステップ１０９（Ｓ１０９）
このステップにおいて、３個設けられているマーカー１２に関して、全ての点に関する調整が完了したかどうかが、運転者２、装置１００間で確認され、全てに関して完了した状態で、初期化処理を完了する。
【００６０】
以上が、本願に係る車両外部表示装置１００の構成及び初期化処理の内容であるが、以下、図１１に示すメインフローに基づいて、外部表示に関して説明する。
メインフローは、イグニッションキー４のＯＮ操作に伴って開始される（スタート）処理フローであり、初期化処理（ステップ１）を実行した後、適宜、撮像カメラ１０２からカメラ視点画像Ｉｃを取り込み、必要な処理を施した後、本願にいうプロジェクター画像Ｉｐを生成し、これをピラー上に映写するものである。
ステップ１（Ｓ１）
初期化処理手段Ｃ２により、先に説明した初期化処理が実行される。
このステップを完了した段階で、レンズ補正のためのレンズ補正情報ｉ１、ピラー−プロジェクター変換情報ｉ２及び内装形状補正情報ｉ３が、演算処理に適応できるように取り込まれており、プロジェクター１０４はピラー６に対して適性な位置関係に調整されている。
ステップ２（Ｓ２）
撮像カメラ１０２よりカメラ視点画像Ｉｃが取得される。この取得は、予め設定されている所定の取得間隔で実行される。この取得間隔は、メインフローにおけるステップ２〜ステップ８に至る単一特定のカメラ視点画像Ｉｃの映写処理に要する時間を考慮して決定されている。
ステップ３（Ｓ３）
初期化処理により予め確定されているレンズ補正情報ｉ１を使用して、カメラ視点画像Ｉｃの画像補正が施される。結果、レンズの影響を受けない画像を以降処理することとなる。
ステップ４（Ｓ４）
運転者２の視点３が取得される。即ち、視点位置検出手段Ｃ１により、赤外線カメラ８、ロードセル１０の検出結果に基づいて、運転者２の視点３が導出され、表示装置本体１０１に送られてくる。
ステップ５（Ｓ５）
レンズ補正済みのカメラ視点画像Ｉｃを、運転者視点画像Ｉｄに変換する。この変換は第１変換手段Ｃ４により実行され、車外に仮想的に設けられている仮想スクリーンＳ１上に映る外部映写を運転者２の視点３から見た場合に、見える画像に変換されることとなる。
この時、記憶部ｍに、視点３の位置をパラメータとして記憶されている変換テーブルを特定して、呼び出し使用する。
ステップ６（Ｓ６）
別途、運転者２の視点３の検出結果に基づいて、上記車外に仮想的に設けられている仮想スクリーンＳ１上の死角領域Ｄが特定される。この処理は、死角領域特定手段Ｃ５により実行される処理であり、記憶部ｍに、視点３をパラメータとして記憶されている死角領域Ｄを特定して・抽出してくる処理であり、実態上は、マスクの選択・抽出に帰着する。
ステップ５で得られた運転者視点画像Ｉｄとステップ６で得られるマスクとを利用して、透過部画像Ｉｄｐが生成され、プロジェクター側へ送られる。
ステップ７（Ｓ７）
そして、描画データであるプロジェクター画像Ｉｐが抽出・生成される。この処理はプロジェクター画像生成手段Ｃ６により実行される処理であり、仮想スクリーンＳ１，Ｓ２と視点３及びプロジェクター１０４の位置を考慮した第２変換手段Ｃ６ａによる変換と、内装形状を考慮した内装形状補正手段Ｃ６ｂによる補正を伴うこととなる。
ステップ８（Ｓ８）
このようにして生成されるプロジェクター画像（描画データからなる画像）Ｉｐが、プロジェクター１０４に送られ、画像表示される。
この時、プロジェクター１０４における走査の範囲は、視点３の位置（図中、「視点１」、「視点２」、「視点３」と表示）及び内装の表面形状にも依存する。図１２に示す例は、プロジェクターの位置に対して、視点３がその周りで移動した場合の例である。
同図に示すように、プロジェクターの最大照射範囲はピラーとの位置関係において「視点１」で示すように、ピラー６全体をカバーできるように走査することとなっているが、「視点２」の場合は下側の内面６ｄに対応する領域が走査しない領域となっており、同図に示す「視点３」の場合は、「視点１」の走査領域に対して上側の内面６ｕに対応する領域が走査しない領域となる。
以上のステップ２からステップ８に至る一連の処理を特定の画像に対して施すことで、ピラー６上に、迅速且つ良好にピラー外部の情景を映写することができる。
ステップ９（Ｓ９）
このステップは、引き続き画像表示を実行するか否かの判断ステップであり、イグニッションキー４がＯＦＦ操作されているか否かを判定し、ＯＦＦ操作されている場合は、動作を停止し、ＯＮ操作が維持されている場合は、ステップ２に戻って、新たな画像表示を行う。
上記の説明にあっては、本願に係る車両外部表示装置１００は、イグニッションキー４のＯＮ・ＯＦＦに基づいて動作するものとしたが、無論、独自のＯＮ・ＯＦＦスイッチを設けて、その動作を行うものとしてもよい。
【００６１】
以上の操作を実行することにより、良好にピラー上に外部画像を映写することができる。
〔別実施の形態〕
ａ．上記の実施の形態にあっては、運転者の右前にあるピラー上に外部の情景を映写するものとしたが、この種の映写を実行する部位に関しては、運転者にとって死角を形成する車体部位であれば任意の部位に外部の画像を映写することができる。
例えば、後部のピラー、後部座席、ボンネット等に映写するものとしてもよい。
ｂ．上記の実施の形態にあっては、プロジェクター画像生成手段を備え、プロジェクターから映像されるプロジェクター画像を使用して、その走査線が方形の画像領域に対して上辺あるいは下辺に平行に移動しながら走査を実行する場合に関して説明した。図８（ｄ）の下側に示すのがこの場合の走査方向である。
しかしながら、上記の第２変換手段及び内装形状補正手段による変換・補正を施すことなく、ピラー表面に的確に表示するためには、この画像における走査線の走査方向及び位置を、ピラーとプロジェクターとの位置関係及びピラーの具体的内面形状に基づいて変更してもよい。この例の場合、図５（ｂ）に示す画像と同じ画像とした場合、その走査方向・位置を図８（ｆ）に示すように変換する。この場合、初期化処理におけるステップ１０２及びステップ１０３に伴う処理が不要となり、表示装置本体から直接運転者視点画像の死角領域において確定している画像（透過部画像Ｉｄｐ）を、プロジェクターに送るとともに、送られてくる画像において、仮想スクリーンＳ１と、ピラー−プロジェクター間の位置関係及び、ピラーの形状に基づいて定まる走査方向及び画像上の位置に従って映像することとなる。
ｃ．上記の実施の形態にあっては、マスクは視点をパラメータとした情報として記憶部に予め記憶しておく情報としたが、３次元の車両形状データを持ち、車外に仮想する仮想スクリーン（先の例で示したＳ１）に基づいて、その仮想スクリーン上で、視点の検出毎に演算により求めるものとしてもよい。
ｄ. 上記の実施の形態にあっては、視点の位置は、運転者画像の目の位置として、あるいはシート形状、シートの位置から検出したが、積極的に検出することなく、予め設定されている視点の位置、例えばヘッドレストの位置に従った視点の位置を記憶部に記憶しておき、その情報に従った処理を行ってもよい。
【産業上の利用可能性】
【００６２】
例えば、運転者の右前に位置するピラーの内面に、確立された画像処理を施して、時事刻々変化する外部の情景をリアルタイムに、不自然な印象を与えることなく映写することが可能となり、運転支援を迅速且つ的確に行うことができる車両外部表示方法及び装置を提供することができた。
【図面の簡単な説明】
【００６３】
【図１】使用状態における車両外部表示装置の構成の説明図
【図２】ピラーに映写された外部情景を示す図
【図３】運転者視点画像の生成構成を示す説明図
【図４】運転者視点画像の生成における画素間の変換形態例を示す図
【図５】視点により異なることとなる死角領域を示す説明図
【図６】視点により異なることとなる死角領域とマスク画像の関係を示す図
【図７】マスク画像及び運転者視点画像を使用した運転者視点画像の死角領域の画像を示す図
【図８】内装形状補正の説明図
【図９】初期化処理時のマーカーに対する映写状態を示す図
【図１０】初期化処理フローを示すフローチャート
【図１１】メインフローを示すフローチャート
【図１２】異なった視点位置に基づく走査領域の説明図
【符号の説明】
【００６４】
１    ：車
２    ：運転者
３    ：視点
６    ：ピラー
１００：車両外部表示装置
１０１：表示装置本体
１０２：撮像カメラ
１０３：視点検出装置
１０４：プロジェクター
【図１】
2006290304.tif 000003
【図２】
2006290304.tif 000004
【図３】
2006290304.tif 000005
【図４】
2006290304.tif 000006
【図５】
2006290304.tif 000007
【図６】
2006290304.tif 000008
【図７】
2006290304.tif 000009
【図８】
2006290304.tif 000010
【図９】
2006290304.tif 000011
【図１０】
2006290304.tif 000012
【図１１】
2006290304.tif 000013
【図１２】
2006290304.tif 000014