(57)【要約】【課題】自動車の運転補助用画像表示方法を提供する。【解決手段】−特定の要因(ＥＶ)に従って変化する、自動車の３Ｄモデルの３Ｄ視点(ＰＯＶ)を定める過程と、−前記３Ｄ視点(ＰＯＶ)に従って捉えられる３Ｄ映像(ＳＣ)を形成する過程であって、    前記３Ｄ映像(ＳＣ)は、  −前記３Ｄ視点(ＰＯＶ)に従って形成される自動車の３Ｄモデル、および  −自動車(Ｖ)に搭載したビデオカメラ(ＣＡＭ)によって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記３Ｄ視点(ＰＯＶ)に従って表示されることによって運転者から透視される立体角(Ａ)の仮想視野(ＳＣＲＶ)を含み、−前記ビデオカメラ(ＣＡＭ)によって撮影され、かつ前記仮想視野(ＳＣＲＶ)内に投影された自動車の外部環境を含む３Ｄ映像を表示する過程とを含んでいる。【選択図】図１
2010028803.tif 000002
【特許請求の範囲】
【請求項１】
−特定の要因(ＥＶ)に従って変化する、自動車の３Ｄモデルの３Ｄ視点(ＰＯＶ)を定める過程と、
−前記３Ｄ視点(ＰＯＶ)に従って捉えられる３Ｄ映像(ＳＣ)を形成する過程であって、
前記３Ｄ映像(ＳＣ)は、
−前記３Ｄ視点(ＰＯＶ)に従って形成される自動車の３Ｄモデル、および
−自動車(Ｖ)に搭載したビデオカメラ(ＣＡＭ)によって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記３Ｄ視点(ＰＯＶ)に従って表示されることによって運転者から透視される立体角(Ａ)の仮想視野(ＳＣＲＶ)を含み、
−前記ビデオカメラ(ＣＡＭ)によって撮影され、かつ前記仮想視野(ＳＣＲＶ)内に投影された自動車の外部環境を含む３Ｄ映像を表示する過程とを含む自動車の運転操作補助用画像表示方法。
【請求項２】
前記特定の要因(ＥＶ)は、
−ユーザの選択、
−自動車の周囲における設置物や人の検知、または
−自動車の走行態様に係るパラメータであることを特徴とする請求項１記載の画像表示方法。
【請求項３】
前記３Ｄ映像(ＳＣ)は、前記自動車の３Ｄモデルと同一の参照フレーム上に設定される仮想視野(ＳＣＲＶ)を含むことを特徴とする請求項１または２記載の画像表示方法。
【請求項４】
前記３Ｄ映像(ＳＣ)は、前記自動車の３Ｄモデルとは異なる参照フレーム上に設定される仮想視野(ＳＣＲＶ)を含むことを特徴とする請求項１〜３のいずれかに記載の画像表示方法。
【請求項５】
前記３Ｄ映像(ＳＣ)を表示する際、前記自動車の３Ｄモデルは、透明パラメータ(ＴＲＰ)に従って表示されるようになっていることを特徴とする請求項１〜４のいずれかに記載の画像表示方法。
【請求項６】
前記３Ｄ映像(ＳＣ)の形成に用いられるビデオカメラ(ＣＡＭ)の１つは、後方を広角で写し出すようになっていることを特徴とする請求項１〜５のいずれかに記載の画像表示方法。
【請求項７】
−自動車の３Ｄモデルを形成する過程と、
−前記ビデオカメラ(ＣＡＭ)によって捉えられる立体角(Ａ)の仮想視野(ＳＣＲＶを形成する過程とをさらに含むことを特徴とする請求項１〜６のいずれかに記載の画像表示方法。
【請求項８】
−コントロールユニット(ＵＣ)であって、
−要因(ＥＶ)の変化に従って、自動車の３Ｄモデルの３Ｄ視点(ＰＯＶ)を定める機能と、
−前記３Ｄ視点(ＰＯＶ)に従う３Ｄ映像(ＳＣ)であって、
−自動車の３Ｄモデル、および
−自動車に搭載されたビデオカメラ(ＣＡＭ)によって写し出される立体角(Ａ)の仮想視野(ＳＣＲＶ)を含む３Ｄ映像(ＳＣ)を、前記３Ｄ視点(ＰＯＶ)に従って形成する機能とを有するコントロールユニット(ＵＣ)と、
−前記ビデオカメラ(ＣＡＭ)によって撮影され、前記仮想視野(ＳＣＲＶ)に投影された自動車の外部環境を含む３Ｄ映像を表示する表示ユニット(ＤＩＳＰＬＡＹ)とを備える、自動車(Ｖ)の運転操作を補助するための画像表示装置。
【請求項９】
データプロセシングユニットを介して、請求項１〜８のいずれかに記載の運転操作補助用画像表示方法を実行しうる指示シーケンスを含むコンピュータプログラム(ＰＧ)。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の分野に係り、特に自動車の運転操作を補助する画像表示方法、およびこの方法を実行するための画像表示装置に関する。
【背景技術】
【０００２】
自動車の運転操作を補助する画像表示方法として公知のものは、例えば運転者が駐車しようとしているときなど、低速で走行している間のみ表示が可能であった。この方法は、次のような過程からなっている。
−自動車のインストゥルメンタルパネルのスクリーンにおける第１の（左側の）部分に、１８０°のカメラアングルを有し、かつ現場を撮影しうる４台のビデオカメラによって得られたすべての平面画像（２次元画像）を、リアルタイムで同時に表示する第１の過程。これによって、自動車の刻々移り変わる環境を全方位的に捉え、平面画像として表示する。
−第１の過程における平面画像を表示しつつ、インストゥルメンタルパネルのスクリーンにおける第２の（右側の）部分に、前記リアルタイム表示前にビデオカメラに記録された所定の数の画像を、拡大尺度で表示する第２の過程。
【０００３】
しかし、上記の方法には、次のような欠点がある。
−スクリーンの第２の部分に拡大表示される画像の数と配置は、予め決められている。
−全方位的な平面画像と、拡大表示される各画像の向きが喰い違ったりするため、例えば、駐車しようとする運転者は、周囲の環境を十分に把握ことができず、円滑に運転操作することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上記事情に鑑みてなされたものであり、上述した公知の画像表示装置における欠点を解消し、駐車の際に運転操作を補助しうる画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の様相によれば、
−特定の要因に従って変化する、自動車の３Ｄ視点を定める過程と、
−前記３Ｄ視点に従って捉えられる３Ｄ映像を形成する過程であって、
前記３Ｄ映像は、
−前記３Ｄ視点に従って形成される自動車の３Ｄモデル、および
−自動車に搭載したビデオカメラによって撮影される立体角の仮想視野を含むようになっており、
−前記ビデオカメラによって撮影され、かつ前記仮想視野内に投影された自動車の外部環境を含む３Ｄ映像を表示する過程とを含む自動車の運転操作補助用画像表示方法が提供される。
【０００６】
以下で説明するように、仮想視野内に捕捉された自動車の周囲の環境を立体表示すること、および特定の要因（障害物の検知）にしたがって３Ｄ視点を決定することは、運転者に対して、最良の視点からリアルタイムで３Ｄ映像を提供し、運転者は、自動車の外部環境を容易に把握しうるようになることを意味する。
【０００７】
また、本発明によれば、
−特定の要因に従って変化する、自動車の３Ｄモデルの３Ｄ視点を定める過程と、
−前記３Ｄ視点に従って捉えられる３Ｄ映像を形成する過程であって、
前記３Ｄ映像は、
−前記３Ｄ視点に従って形成される自動車の３Ｄモデル、および
−自動車に搭載したビデオカメラによって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記３Ｄ視点に従って表示されることによって運転者から透視される立体角の仮想視野を含むようになっており、
−前記ビデオカメラによって撮影され、かつ前記仮想視野内に投影された自動車の外部環境を含む３Ｄ映像を表示する過程とを含む自動車の運転操作補助用画像表示方法が提供される。
【０００８】
上記のように、自動車の外部環境の画像を、仮想視野内に投影することにより、所定の視点に従って、外部環境の中に自動車が映し出された３Ｄ映像が得られる。
【０００９】
本発明の非限定的な例として、次の要因を含むことがある。  
−ユーザの選択、
−自動車の周囲における設置物や人の検知、または
−自動車の走行態様に係るパラメータ。
【００１０】
３Ｄ視点を変更する要因が、ユーザの選択である場合には、ユーザが、自身の運転操作にとって適当と思われる視点を選択する。
【００１１】
一方、３Ｄ視点を変更する要因が、車速、進行方向（前進または後退）、または旋回角度である場合には、ユーザが関与しなくても、視点は自動的に決定される。
【００１２】
前記３Ｄ映像は、前記自動車の３Ｄモデルと同一の参照フレーム上に設定される仮想視野を含んでいるのが好ましい。この仮想視野は、自動車に搭載されたビデオカメラによって撮影される外部環境を捉えるものである。
【００１３】
前記３Ｄ映像は、前記自動車の３Ｄモデルとは異なる参照フレーム上に設定される仮想視野を含んでいるのが好ましい。この仮想視野によれば、公道上の狭隘箇所を自動車が通過しうるか否かを判断することができる。
【００１４】
３Ｄ映像を表示する際、自動車の３Ｄモデルは、透明パラメータ(ＴＲＰ)に従って表示されるようになっているのが好ましい。この透明パラメータを用いれば、自動車の３Ｄモデルによって遮られる仮想視野の一部を可視化することができる。
【００１５】
前記３Ｄ映像の形成に用いられるビデオカメラの１つは、後方を広角で写すようになっているのが好ましい。このようなビデオカメラを用いれば、自動車のリアバンパが、自動車に接近する人と接触する否かを、予測することができる。
【００１６】
本発明に係る画像表示方法は、前段階として、
−自動車の３Ｄモデルを形成する過程と、
−前記ビデオカメラによって捉えられる立体角の仮想視野を形成する過程とをさらに含んでいるのが好ましい。
【００１７】
本発明の第２の様相によれば、
−コントロールユニットであって、
−要因の変化に従って、自動車の３Ｄモデルの３Ｄ視点を定める機能と、
−前記３Ｄ視点に従う３Ｄ映像であって、
−自動車の３Ｄモデル、および
−自動車に搭載されたビデオカメラによって写し出される立体角の仮想視野
を含む３Ｄ映像を、前記３Ｄ視点に従って形成する機能とを有するコントロールユニットと、
−前記ビデオカメラによって撮影され、前記仮想視野に投影された自動車の外部環境を含む３Ｄ映像を表示する表示ユニットとを備える、自動車の運転操作を補助するための画像表示装置が提供される。
【００１８】
本発明の第３の様相によれば、データプロセシングユニットを介して、上記いずれかの運転補助用画像表示方法を実行しうる指示シーケンスを含むコンピュータプログラムが提供される。
【発明の効果】
【００１９】
本発明の画像表示方法は、次の利点を有する。
−本発明によれば、３Ｄ視点を変更することによって、自動車の周囲の動的な表示を得ることができる。
−３Ｄ映像によって、自動車の周囲を現実に近い形で捉えることができる。
−最良の視点からビデオカメラを通して得られた情報を、運転者に常時提供する。
−ビデオカメラカメラに係る多数の変数、およびその組み合わせを介して得られる映像を同時に表示することができる。
−すでに表示済の映像の有益な情報表示箇所を縮小することなく、追加の映像を表示することにより、ユーザは、自動車の周囲の環境中における自身の位置を、即座に捉えることができる。
−自動車の各部に搭載された複数のビデオカメラのうちの１つまたは複数を選択することにより、運転者が運転操作中に捉えにくい一部の環境を、所定のアングルから捉えて、運転者に提供することができる。
−運転者が行おうとしている運転操作に適した映像を提供することができる。例えば、後退するときには、後部のビデオカメラで捉えて、再構成した映像を表示するのが有利である。他方、側方の歩行者や設置物が、後退や旋回のための運転操作にとって障害となる場合には、自動車の側方位を捉える視点に従って、側部のビデオカメラで写し出し、再構成した映像を表示するのが望ましい。
−スクリーンの第１の部分に、自動車とその近傍の全方位的な画像を長時間表示しなくてもよいため、スクリーンの第２の部分に表示される映像の解像度が損なわれるのを回避することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る画像表示方法の流れ図である。
【図２】図１に示す方法の実施のためのビデオカメラを搭載している自動車の模式的な斜視図である。
【図３】図１に示す方法によって決定される自動車の３Ｄモデルを形成するための第１の３Ｄ視点を示す模式図である。
【図４】同じく、第２の３Ｄ視点を示す模式図である。
【図５】同じく、第３の３Ｄ視点を示す模式図である。
【図６】同じく、第４の３Ｄ視点を示す模式図である。
【図７】ビデオカメラによって捉えられ、かつ図１に示す方法に従って決定される、第１の立体角に係る仮想視野を示す模式図である。
【図８】同じく、第２の立体角に係る仮想視野を示す模式図である。
【図９】同じく、第３の立体角に係る仮想視野を示す模式図である。
【図１０】図３に示す視点に対応する自動車の３Ｄモデルと、図７〜図９に示す仮想視野とを合わせて示す模式図である。
【図１１】図４に示す視点に対応する自動車の３Ｄモデルと、図９に示す仮想視野とを合わせて示す模式図である。
【図１２】図５に示す視点に対応する自動車の３Ｄモデルと、図９に示す仮想視野とを合わせて示す模式図である。
【図１３】図６に示す視点に対応する自動車の３Ｄモデルと、図８および図９に示す仮想視野とを合わせて示す模式図である。
【図１４】図１０に示す自動車の３Ｄモデルと、仮想視野の３Ｄ映像とを合わせて示す模式図である。
【図１５】図１１に示す自動車の３Ｄモデルと、仮想視野の３Ｄ映像とを合わせて示す模式図である。
【図１６】図１２に示す自動車の３Ｄモデルと、仮想視野の３Ｄ映像とを合わせて示す模式図である。
【図１７】図１３に示す自動車の３Ｄモデルと、仮想視野の３Ｄ映像とを合わせて示す模式図である。
【図１８】図７〜図９に示す視点を変更して得られる、自動車の３Ｄモデルと、仮想視野の３Ｄ映像を示す模式図である。
【図１９】同じく、視点をさらに変更して得られる、３Ｄ映像を示す模式図である。
【図２０】同じく、視点をさらに変更して得られる、３Ｄ映像を示す模式図である。
【図２１】図１に示す方法を実行するための画像表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
本発明の上記以外の特徴および効果は、以下の添付の画面を参照して行う実施形態の説明によって、明瞭に理解しうると思う。
【００２２】
図１は、本発明に係る駐車補助のための画像表示方法を示す流れ図である。
【００２３】
以下の説明は、駐車のための低速運転操作を補助するという設定の下に行う。しかし、この設定は、あくまでも例示的なものである。
【００２４】
本明細書および特許請求の範囲において、「自動車」の語は、エンジンを有するあらゆる車両を意味する。
【００２５】
図１に示す画像表示方法の過程は、次の如くである。
−過程ＤＥＦ＿ＰＯＶ（ＥＶ）（過程２）：自動車Ｖの３Ｄモデルの視点ＰＯＶを決定する（視点ＰＯＶは、１回１回異なる）。
−過程ＤＥＦ＿ＳＣ（ＭＶ，ＳＣＲＶ（Ｉ））（過程３）：過程２において決定された視点ＰＯＶに基づいて、３Ｄ映像（３次元映像または立体映像ともいう）ＳＣを形成する。
この３Ｄ映像ＳＣは、次の特徴を有する。
−自動車の３Ｄモデル、および
−自動車Ｖに搭載されているビデオカメラＣＡＭによって撮影される、立体角Ａをもつ仮想視野ＳＣＲＶの画像。
−過程ＤＩＳＰ＿ＳＣ（過程４）：ビデオカメラによって捉えられた画像Ｉを、ダッシュボードのディスプレイ上に表示する。
【００２６】
上記の方法は、ビデオカメラＣＡＭによって、自動車Ｖの周囲の環境を撮影するという過程ＡＣＱ（Ｉ）（過程１）を含むことができる。
【００２７】
過程１は、本発明の必須的構成要件ではないが、本発明に係る方法の前提となる過程であることに留意すべきである。
【００２８】
以下で説明する方法には、過程１が含まれている。
【００２９】
本発明に係る方法を実施する場合には、図２に示すように、自動車Ｖに、複数（５台）のビデオカメラＣＡＭを搭載する。その内訳は、次の通りである。
−自動車の前部における２台のビデオカメラＣＡＭ１、ＣＡＭ２、
−自動車の後部における１台のビデオカメラＣＡＭ３、
−自動車の側部における２台のビデオカメラＣＡＭ４、ＣＡＭ５。
【００３０】
以下に、本発明の各過程を詳細に説明する。
【００３１】
過程ＡＣＱ（Ｉ）（過程１；図１参照）においては、各ビデオカメラによって、一連の画像ＳＱを収集する。本実施形態に即して言うと、５台のビデオカメラによって、一連の画像ＳＱを５組撮影する。自動車Ｖに搭載したビデオカメラＣＡＭによる撮像技術は、当業者に知られているため、ここでは説明しない。
【００３２】
過程ＤＥＦ＿ＰＯＶ（ＥＶ）（過程２；図１参照）においては、自動車Ｖの３Ｄ視点ＰＯＶを決定する。３Ｄ視点ＰＯＶは、次のような要因ＥＶを考慮して決定するため、１回１回異なる。
【００３３】
自動車の周囲の環境を撮像するに当たって考慮される要因ＥＶとしては、次のようなものがある。
−障害物や人を検知するか否か、
−自動車の走行態様に係るパラメータ、および
−ユーザの選択。
【００３４】
第１および第２の要因ＥＶについては、これらがどのようなものであっても、３Ｄ視点ＰＯＶは、自動的に決定される。すなわち、ユーザは、運転操作中に、３Ｄ視点を選択する必要はない。したがって、駐車のための運転操作が簡単になる。
【００３５】
第３の要因ＥＶについては、３Ｄ視点ＰＯＶは、ユーザの選択によって決定される。すなわち、自動的には決定されない。このため、ユーザは、自身の運転操作、例えば駐車のための運転操作にとって、最も適当と思う３Ｄ視点を選択する。
【００３６】
第１の要因ＥＶの場合、３Ｄ視点ＰＯＶは、自動車の外的環境に係るパラメータ、例えば、障害物や人が検知されるか否かによって決定される。すなわち、自動車の後方に、郵便ポスト等の移動しない障害物が検知された場合や、歩行者が検知された場合には、駐車に至るまでの運転操作を補助するため、３Ｄ視点ＰＯＶは、自動的に決定される。したがって、３Ｄ視点ＰＯＶは、自動車の後方を写し出すものとなる。また、自動車の側方を写し出すものとなる場合もある。
【００３７】
自動車の周囲の障害物や人は、ビデオカメラや他の環境センサ（超音波センサ、レーダ等）から得られる画像を解析する画像処理アルゴリズム、またはこれらから得られるデータを統合するアルゴリズムによって検知される。障害物や人の検知技術は、当業者には公知であるため、ここでは触れない。
【００３８】
一方、第２の要因ＥＶの場合、３Ｄ視点ＰＯＶは、ユーザが運転している自動車の走行態様に係るパラメータによって決定される。このようなパラメータとしては、次のものがある。
−車速、
−旋回角度、および
−進行（前進または後退）方向。
【００３９】
第１のパラメータ（車速）について説明する。自動車が高速（例えば時速７０km）で走行する際には、運転者は、例えば、次の２秒間（距離にして約４０ｍ先まで）に生ずる可能性のある事態を注視するため、運転者に有益な情報は、自動車から遠く離れた地点の状況である。したがって、３Ｄ視点は、自動車の前部に搭載したビデオカメラＣＡＭ１とＣＡＭ２によって撮影される画像を利用するよう、自動車の前方を捉えるものが選択される。
【００４０】
一方、自動車が低速で走行する際には、運転者に有益な情報は、自動車の近傍（例えば両側）の状況である。したがって、自動車の前部に搭載したビデオカメラＣＡＭ１，ＣＡＭ２、側部に搭載したビデオカメラＣＡＭ３，ＣＡＭ４、および後部に搭載したビデオカメラＣＡＭ５で撮影した画像を利用するよう、３Ｄ視点ＰＯＶは、自動車の周囲全体を見渡すことができるものが選択される。
【００４１】
次に、第２のパラメータ（旋回角度）について説明する。駐車のために、右に旋回しつつ後退する場合には、運転者に有益な情報は、エアロパーツとしてのフロントウィングと同じ高さに位置する障害物や人についての情報である。したがって、３Ｄ視点ＰＯＶとしては、自動車が旋回していく先の周囲を撮影する右側部に搭載したビデオカメラ４、および後部に搭載したビデオカメラ３で撮影した画像を利用して、自動車を前方かつ上方から捉えるようなものが選択される。
【００４２】
最後に、第３のパラメータ（進行方向）について説明する。自動車が後退する場合には、３Ｄ視点ＰＯＶは、自動車の後部に搭載したビデオカメラ３によって、自動車を前方かつ上方から見下ろすようなものが選択される。他方、自動車が前進する場合には、３Ｄ視点ＰＯＶは、自動車の前部に搭載したビデオカメラによって、自動車を後方かつ上方から捉えるようなものが選択される。
【００４３】
第１のパラメータと第２のパラメータは、併用することもできる。
【００４４】
図３〜図６は、上記の各３Ｄ視点を示す模式図である。
【００４５】
図３は、自動車Ｖを、所定の距離だけ離れた地点から斜め方向に捉える、自動車の３Ｄモデルの第１の視点ＰＯＶ１を示す。この３Ｄ視点ＰＯＶ１は、例えば、ユーザが駐車しようとしているときに、自動車の周囲の環境を全体的に捉え、かつ自動車に接近する歩行者を発見するためのものである。
【００４６】
図４は、自動車Ｖを取り巻く水平な環境を捉える第２の視点ＰＯＶ２を示す。この３Ｄ視点ＰＯＶ２は、例えば、ユーザが駐車しようとして、すでに駐車エリアに入っているときに用いられる。
【００４７】
図５は、自動車Ｖを、近接した地点から斜め方向に捉える第３の３Ｄ視点ＰＯＶ３を示す。この３Ｄ視点ＰＯＶ３も、例えば、ユーザが駐車しようとして、すでに駐車エリアに入っているときに用いられる。
【００４８】
図６は、自動車Ｖを後方から捉える第４の３Ｄ視点ＰＯＶ４を示す。この３Ｄ視点ＰＯＶ４は、例えば、自動車が市街地を徐行しようとする際に用いられる。
【００４９】
なお、図３〜図６に示す３Ｄ視点以外の３Ｄ視点を用いることもできる。
【００５０】
上記のように、自動車の３Ｄモデルの３Ｄ視点ＰＯＶを自動的に決定すると、運転操作中の運転者は、３Ｄ視点を自身で選ぶ手間（運転操作を複雑にする）を要することなく、運転補助のための最良の視点を得ることができる。
【００５１】
本発明によると、自動車Ｖの運転者が、３Ｄ視点を自身で選択する第３のモードを提供することもできる。
【００５２】
第３のモードの場合、ユーザは、複数の３Ｄ視点の一覧から、タッチパネルや選択ボタンを介して、３Ｄ視点ＰＯＶを選択する。
【００５３】
過程ＤＥＦ＿ＳＣ（ＭＶ，ＳＣＲＶ（Ｉ））（過程３；図１参照）においては、選択された３Ｄ視点ＰＯＶから捉えた３Ｄ映像が形成される。この３Ｄ映像は、次のものを含んでいる。
−自動車の３Ｄモデル、および
−ビデオカメラによって捉えられる立体角Ａの仮想視野ＳＣＲＶ。
【００５４】
立体角は、ステラジアン単位で表される。本発明に係る方法は、前段階として、次の過程を含むことができる。
−自動車の３Ｄモデルを形成する過程、および
−ビデオカメラによって捉えられる立体角Ａの仮想視野ＳＣＲＶを形成する過程（図１に示す過程ＤＥＦ＿ＭＶ、ＤＥＦ＿ＳＲＣＶ（過程０））。
【００５５】
上記の過程０は、本発明にとって必須の構成要件ではないことに留意すべきである。
【００５６】
３台のビデオカメラＣＡＭ１〜ＣＡＭ３を用いる場合には、各ビデオカメラに対応する３つの仮想視野ＳＣＲＶ１〜ＳＣＲＶ３が定められる。
【００５７】
図７と図８は、それぞれ、ＣＡＭ３、ならびにＣＡＭ１およびＣＡＭ２に対応する仮想視野を示す。これら３台のビデオカメラは、これらの等高面よりも上にある対象をも捉えることができる。
【００５８】
これらの仮想視野に基づく３Ｄ映像は、乗車しているユーザが車内から見渡すことのできる眺めに対応する透視的なものである。
【００５９】
図９に示すように、側部のビデオカメラＣＡＭ４とＣＡＭ５についても、注目すべきリアルタイム画像を得るため、仮想視野を区画するための３Ｄ視点の選択を行うことができる。透視的な眺めに変換することにより、リアルタイムで３Ｄ映像を得るための技術は、当業者に公知のものを用いることができる。図９に示す仮想視野によれば、地表にある障害物も捉えることができる。すなわち、自動車の周囲の俯瞰的な３Ｄ映像を得ることができる。
【００６０】
図１０〜図１３は、それぞれ、図３〜図６に示す３Ｄ視点に対応して、ビデオカメラＣＡＭ１〜ＣＡＭ５によって捉えられる仮想視野ＳＣＲＶ１〜ＳＣＲＶ５を示す。
【００６１】
図１１〜図１３から分かるように、複数の３Ｄ視点ＰＯＶによって捉えられる複数の仮想視野ＳＣＲＶのうち、３Ｄ映像として現れないものもある。
【００６２】
本発明の方法によれば、自動車の３Ｄモデルを含む、周囲の環境の映像が形成され、かつ映像が立体的であるため、ユーザは、自動車の周囲の環境を正確に捉えることができる。
【００６３】
過程ＤＩＳＰ＿ＳＣ（過程４；図１参照）においては、ビデオカメラＣＡＭによって捉えられた画像Ｉが、対応する仮想視野ＳＣＲＶ上に投影され、３Ｄ映像として表示される。
【００６４】
ビデオカメラによって提供される画像は、所定の３Ｄ視点ＰＯＶに従ってユーザから透視的に見えるように変形されつつ、図１４〜図１７に示すように、リアルタイムで、仮想視野ＳＲＣＶ（図３〜図６に示す３Ｄ視点によって捉えられ、それぞれ、図１０〜図１３に示すように区画される仮想視野）に統合される。
【００６５】
３Ｄ視点に従って仮想視野ＳＣＲＶ内に投影された画像を含む３Ｄ映像を表示すると、ユーザは、駐車するときのように、細かな運転操作を要するときに、自分が乗っている自動車が、周囲の環境の中でどのように位置しているのかを把握することができる。
【００６６】
３Ｄ映像の表示中、自動車が、仮想視野ＳＣＲＶの一角を占めて視界を遮る場合には、自動車の３Ｄモデルは、関連する透明パラメータＴＲＰに従って表示される。
【００６７】
透明パラメータＴＲＰは、自動車の３Ｄモデルの各画素におけるαチャンネルであり、マスクとして利用される。
【００６８】
図１に示す過程１〜過程４は、必要なときに、リアルタイムで実行される。
【００６９】
自動車Ｖが前進または後退したり、歩行者が接近したりするときには、３Ｄ視点ＰＯＶは、運転操作を補助する上で最も適した視点を提供するよう変更される。
【００７０】
すなわち、３Ｄ視点は、所定の要因が生じたときには変更され、３Ｄ映像は、変更後の視点に基づいて、リアルタイムで表示される。
【００７１】
所定の要因が発生し、３Ｄ視点ＰＯＶに変更が生じたときでも、例えば、駐車しようとする運転者を補助するために要求されるあらゆる情報の３Ｄ映像が、図１８〜図２０に示すように表示されているときには、３Ｄ映像は、複数の仮想視野ＳＣＲＶの１つが全画面表示となるまで、途切れることなく表示される。
【００７２】
自動車が後退する場合には、関連する仮想視野ＳＣＲＶは、後部のビデオカメラＣＡＭ３によって自動車の後方を捉えるものとなる。一方、自動車が旋回する場合には、側部のビデオカメラＣＡＭ４またはＣＡＭ５によって捉えうる立体角に対応する仮想視野ＳＣＲＶが映し出される。
【００７３】
自動車の周囲を捉える仮想視野は、自動車の３Ｄモデルと同じ参照フレーム内に位置する。すなわち、自動車の３Ｄモデルが、３Ｄ映像内でリアルタイムで動くと、これに伴って仮想視野も動き、仮想視野ＳＣＲＶ１〜ＳＣＲＶ５は、自動車の３Ｄモデルと重なり合う。
【００７４】
自動車の３Ｄモデルと重なり合う仮想視野は、自動車に搭載されているビデオカメラによって写し出される周囲の環境を捉えるものである。
【００７５】
透明パラメータＴＰＲを用いて自動車の３Ｄモデルをリアルタイム表示するに当たっては、この３Ｄモデルによって、周囲の環境の一部が、隠れたり、再び現れたりする。通常、仮想視野ＳＣＲＶ内の画像は、自動車の３Ｄモデルによって一部遮られている。
【００７６】
上記の画像表示方法によれば、運転者は、自動車およびその周囲の環境を、最良の視点から、３Ｄ映像を介して、きわめて現実的に捉えることができる。
【００７７】
本発明に係る自動車の運転操作補助のための画像表示方法は、図２１に示す構成要素をもつ画像表示装置によって実行することができる。
【００７８】
上記の画像表示装置は、自動車Ｖに搭載される。この画像表示装置の構成要素は、次の通りである。
−コントロールユニットＵＣ、
このコントロールユニットＵＣは、次の機能を発揮する。
−要因ＥＶに従って変更される自動車の３Ｄモデルの３Ｄ視点ＰＯＶを定める。
−上記３Ｄ視点ＰＯＶに従って３Ｄ映像を形成する。
この３Ｄ映像は、次の対象を含んでいる。
−自動車の３Ｄモデル、および
−自動車に搭載されたビデオカメラによって捉えられる立体角Ａの仮想視野ＳＣＲＶ。
−上記自動車の３Ｄモデルが、仮想視野に投影された３Ｄ映像を表示する表示ユニットＤＩＳＰＬＡＹ。
【００７９】
さらに、画像表示装置は、自動車の３Ｄモデルを仮想視野ＳＣＲＶに投影するための画像プロセシングユニットＴＲを備えることもできる。
【００８０】
自動車Ｖの各部に搭載されている複数のビデオカメラＣＡＭは、それぞれ、次のような特徴を有する。
−自動車側部の両フェンダーミラーに位置する２つのビデオカメラＣＡＭ４とＣＡＭ５は、広い撮影角度（水平面において約１３０°）を有し、これらのビデオカメラの光軸は、概ね垂直方向下向きである。また、これらのビデオカメラによって捉えられる仮想視野の長手方向は、自動車の側面が延びる方向と一致している（図９参照）。
−自動車の前部に搭載されている２つのビデオカメラＣＡＭ１とＣＡＭ２は、狭い撮影角度（水平面において約６０°）、広い撮影角度（水平面において１３０°）または非常に広い撮影角度（水平面において１７０°）を有する。これらのビデオカメラは、バンパに取り付けられており、概ね前方、および前方斜め外側を捉える。これらのビデオカメラによって捉えられる仮想視野の長手方向は、概ね水平方向に延びている（図８参照）。
−自動車の後部（例えばトランク領域）に搭載されているビデオカメラＣＡＭ３は、広い撮影角度（水平面において１３０°）、または非常に広い撮影角度（水平面において１７０°）を有する。このビデオカメラは、リアバンパの中心部から、自動車の背後の環境を捉え、斜め後方を写し出す（図７参照）。また、このビデオカメラは、リアバンパが、例えば自動車の１〜２ｍ先の地点まで接近している歩行者と接触しそうか否かを検知することができる。
【００８１】
各ビデオカメラは、１秒間に３０フレームの画像（例えばＶＧＡタイプ、精細度は６４０×４８０である）を撮影することができ、このためにレンズ（図示せず）を装備している。
【００８２】
ビデオカメラの数、設置個所、および撮影の方位は、上に説明したものには限らない。
【００８３】
３Ｄ視点を決定するための要因が、ユーザの選択である場合、すでに説明したように、ユーザが所望の３Ｄ視点を選びうるよう、画像表示装置は、メニュー（一覧）を内蔵している。
【００８４】
図２１に示す態様においては、画像Ｉを収集するためのビデオカメラは、画像表示装置ＤＩＳＰの構成要素である。一方、画像プロセシングユニットＴＲは、コントロールユニットＵＣの構成要素となっているが、ビデオカメラに内蔵することもできる。
【００８５】
上記の画像表示方法は、プログラムが内蔵されたマイクロデバイス、ワイヤドロジック、またはハードウエア部品によって実行される。
【００８６】
画像表示装置ＤＩＳＰは、データプロセシングユニット（例えばマイクロプロセッサ）、マイクロコントローラのプロセッシングユニット、ＡＳＩＣ（特定用途向け集積回路）、コンピュータ等によって実行される１つまたは複数の指示シーケンスを含むコンピュータプログラムＰＧを内蔵することもできる。これらの指示シーケンスを実行すると、上記の画像表示方法が行われる。
【００８７】
コンピュータプログラムＰＧは、１回だけ記録可能で、非揮発性のＲＯＭ型メモリ、または再記録可能で、非揮発性のＥＥＰＲＯＭもしくはＦＬＡＳＨメモリに格納される。このコンピュータプログラムＰＧは、画像表示装置の製造現場で、もしくは出荷後に、または画像表示装置の使用現場で電気通信回線を通じて、メモリに格納される。上記の指示シーケンスは、機械語、または実行時にプロセシングユニットによって変換されるアセンブリ言語で記述される。
【００８８】
図２１に示すように、コンピュータプログラムＰＧは、画像表示装置ＤＩＳＰのコントロールユニットＵＣ内のメモリに格納される。
【００８９】
本発明の技術的範囲は、上記の実施形態には限定されないことに留意すべきである。
【００９０】
仮想視野ＳＣＲＶ６は、３Ｄ映像用の仮想視野とは別個の参照フレーム内に設定される。仮想視野ＳＣＲＶ６は、上に説明した仮想視野（リアルタイムでの表示中に変化する）とは違って静的なものである。静的な仮想視野ＳＣＲＶ６は、自動車の３Ｄモデルがこの仮想視野ＳＣＲＶ６に向かって移動し、この仮想視野ＳＣＲＶ６内に収まるよう、３Ｄ映像内で動かない。この静的な仮想視野ＳＣＲＶ６は、オンデマンド式に表示される。
【００９１】
上記の静的な仮想視野を用いれば、自動車が、公道Ｇ上の狭隘な箇所を通過する際に、この狭隘な箇所を静的な仮想視野として表示することにより、運転操作を容易にすることができる。狭隘な箇所とは、トンネル、橋の下の通路、駐車場等における狭い部分をいう。その外、公道上で幅員が小さくなっている箇所や、車高制限、車幅制限のある箇所等も含まれる。
【００９２】
したがって、画像プロセシングユニットＴＲは、静的な仮想視野ＳＣＲＶ６上に公道Ｇにおける狭隘な箇所を投影し、運転者に認識させるとともに、この狭隘な箇所の大きさを、静的な仮想視野ＳＣＲＶ６上に映し出される自動車の３Ｄモデルと対比することを可能にする。
【００９３】
本発明は、上記の用途以外の用途にも適用することができる。
【符号の説明】
【００９４】
ＣＡＭ１〜ＣＡＭ５  ビデオカメラ
ＰＯＶ１〜ＰＯＶ５  ３Ｄ視点
ＳＣＲＶ１〜ＳＣＲＶ５  仮想視野
Ｖ  自動車
ＵＣ  コントロールユニット
ＴＲ  透明パラメータ
ＰＧ  コンピュータプログラム
ＤＩＳＰ  表示ユニット
【図１】
2010028803.tif 000003
【図２】
2010028803.tif 000004
【図３】
2010028803.tif 000005
【図４】
2010028803.tif 000006
【図５】
2010028803.tif 000007
【図６】
2010028803.tif 000008
【図７】
2010028803.tif 000009
【図８】
2010028803.tif 000010
【図９】
2010028803.tif 000011
【図１０】
2010028803.tif 000012
【図１１】
2010028803.tif 000013
【図１２】
2010028803.tif 000014
【図１３】
2010028803.tif 000015
【図１４】
2010028803.tif 000016
【図１５】
2010028803.tif 000017
【図１６】
2010028803.tif 000018
【図１７】
2010028803.tif 000019
【図１８】
2010028803.tif 000020
【図１９】
2010028803.tif 000021
【図２０】
2010028803.tif 000022
【図２１】
2010028803.tif 000023
【外国語明細書】
2010028803000001.pdf