(57)【特許請求の範囲】
【請求項１】
複数のカメラにより撮影された映像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示するパノラマ画像表示方法において、
前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示することを特徴とするパノラマ画像表示方法。
【請求項２】
請求項１に記載のパノラマ画像表示方法において、
前記複数のカメラ及び前記モニタが車両に搭載されていることを特徴とするパノラマ画像表示方法。
【請求項３】
請求項１に記載のパノラマ画像表示方法において、
前記複数のカメラ及び前記モニタが車両に搭載され、該車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示することを特徴とするパノラマ画像表示方法。
【請求項４】
請求項２又は請求項３に記載のパノラマ画像表示方法において、
前記補助線又は前記イメージ画像の表示方法を、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて切り替えることを特徴とするパノラマ画像表示方法。
【請求項５】
複数のカメラにより撮影された画像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示させるパノラマ画像表示装置であって、
前記複数のカメラに接続され、該複数のカメラにより撮影された映像のアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段と、
該Ａ／Ｄ変換手段に接続され、前記複数のカメラにより撮影された映像と前記合成画像との対応関係に基づいて、前記複数のカメラにより撮影された映像のデジタル画像データを前記合成画像のデジタル画像データに変換する画像合成手段と、
該画像合成手段及び前記モニタに接続され、前記合成画像のデジタル画像データをアナログ画像データに変換するとともに該アナログ画像データを前記モニタに出力するＤ／Ａ変換手段とを有するパノラマ画像表示装置において、
前記画像合成手段と前記Ｄ／Ａ変換手段との間に又は該Ｄ／Ａ変換手段と前記モニタとの間に補助線重畳手段を有し、該補助線重畳手段が、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記補助線についての画像データを重畳させることを特徴とするパノラマ画像表示装置。
【請求項６】
請求項５に記載のパノラマ画像表示装置において、
前記複数のカメラ及び前記モニタとともに車両に搭載されていることを特徴とするパノラマ画像表示装置。
【請求項７】
請求項５に記載のパノラマ画像表示装置において、
前記複数のカメラ及び前記モニタとともに車両に搭載されるとともに、前記画像合成手段と前記Ｄ／Ａ変換手段との間に又は該Ｄ／Ａ変換手段と前記モニタとの間にイメージ画像重畳手段を有し、該イメージ画像重畳手段が、前記車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記イメージ画像の画像データを重畳させることを特徴とするパノラマ画像表示装置。
【請求項８】
請求項６に記載のパノラマ画像表示装置において、
前記補助線重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記補助線の表示方法を切り替えることを特徴とするパノラマ画像表示装置。
【請求項９】
請求項７に記載のパノラマ画像表示装置において、
前記イメージ画像重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記イメージ画像の表示方法を切り替えることを特徴とするパノラマ画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラにより撮影された映像を合成してパノラマ画像をモニタに表示するパノラマ画像の表示方法及び表示装置に関する。
【０００２】
【従来の技術】
例えば車載カメラにより撮影された映像をパノラマ画像（本明細書では、「パノラマ画像」とは主に１８０°前後の超広角の画角を持つ半周囲画像をいうものとする。）としてモニタに表示する方法としては、出願人が特願２００１−２１６１２号において既に提案したものがある。このパノラマ画像表示方法では、図１７に示すように、モニタ１の全面にパノラマ画像を表示し、パノラマ画像各部の方向（方位）については文字方位情報２、図形方位情報３等をスーパーインポーズすることにより表している。
【０００３】
【発明が解決しようとする課題】
しかしながら、今後車両等に多数のカメラが搭載されるようになった場合に、いまモニタに表示されている画像が画角のさほど大きくない通常のカメラによる撮影映像であるのか、超広角撮影によるパノラマ映像であるのか、複数の方向を撮影可能であるときにはどの方向の撮影映像であるのかをモニタの看者に一瞬で認識させる必要があるが、モニタの全面にパノラマ画像を表示する上記方法ではそのような要求に必ずしも十分に応えることができない可能性もある。
【０００４】
また、映像だけではモニタに映し出された物体がどの方向にあるのかを認識しづらい場合、看者はスーパーインポーズされた文字情報等を読み取らなければならないが、このようにモニタ画面中の文字情報を読み取らなければならないとするのは一瞬の視認性という観点からすると改良の余地があると思われる。一方、その視認性を向上させるために文字情報等の表示を大きくしたとしても、車載用モニタ等は比較的小型であるので表示画面が全体的に煩わしくなりがちであり、適切な解決にはならないおそれがある。
【０００５】
本発明は、上記の事情に鑑みて為されたもので、モニタに表示されたパノラマ画像の内容あるいは方向感を看者が文字情報等に頼らなくても直感的に把握しやすく、一瞬の視認性に優れるパノラマ画像表示方法及びパノラマ画像表示装置を提供することを課題としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、複数のカメラにより撮影された映像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示するパノラマ画像表示方法において、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示することを特徴とする。
【０００９】
請求項２に係る発明は、請求項１に記載のパノラマ画像表示方法において、前記複数のカメラ及び前記モニタが車両に搭載されていることを特徴とする。
【００１０】
請求項３に係る発明は、請求項１に記載のパノラマ画像表示方法において、前記複数のカメラ及び前記モニタが車両に搭載され、該車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示することを特徴とする。
【００１１】
請求項４に係る発明は、請求項２又は請求項３に記載のパノラマ画像表示方法において、
前記補助線又は前記イメージ画像の表示方法を、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて切り替えることを特徴とする。
【００１４】
請求項５に係る発明は、複数のカメラにより撮影された画像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示させるパノラマ画像表示装置であって、前記複数のカメラに接続され、該複数のカメラにより撮影された映像のアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段と、該Ａ／Ｄ変換手段に接続され、前記複数のカメラにより撮影された映像と前記合成画像との対応関係に基づいて、前記複数のカメラにより撮影された映像のデジタル画像データを前記合成画像のデジタル画像データに変換する画像合成手段と、該画像合成手段及び前記モニタに接続され、前記合成画像のデジタル画像データをアナログ画像データに変換するとともに該アナログ画像データを前記モニタに出力するＤ／Ａ変換手段とを有するパノラマ画像表示装置において、前記画像合成手段と前記Ｄ／Ａ変換手段との間に又は該Ｄ／Ａ変換手段と前記モニタとの間に補助線重畳手段を有し、該補助線重畳手段が、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記補助線についての画像データを重畳させることを特徴とする。
【００１５】
請求項６に係る発明は、請求項５に記載のパノラマ画像表示装置において、前記複数のカメラ及び前記モニタとともに車両に搭載されていることを特徴とする。
【００１６】
請求項７に係る発明は、請求項５に記載のパノラマ画像表示装置において、前記複数のカメラ及び前記モニタとともに車両に搭載されるとともに、前記画像合成手段と前記Ｄ／Ａ変換手段との間に又は該Ｄ／Ａ変換手段と前記モニタとの間にイメージ画像重畳手段を有し、該イメージ画像重畳手段が、前記車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記イメージ画像の画像データを重畳させることを特徴とする。
【００１７】
請求項８に係る発明は、請求項６に記載のパノラマ画像表示装置において、前記補助線重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記補助線の表示方法を切り替えることを特徴とする。
【００１８】
請求項９に係る発明は、請求項７に記載のパノラマ画像表示装置において、前記イメージ画像重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記イメージ画像の表示方法を切り替えることを特徴とする。
【００２１】
請求項１、請求項２、請求項５又は請求項６に係る発明によれば、軸線位置から仮想スクリーンに向かって放射状にのびる補助線がパノラマ画像とともにモニタに表示されるので、パノラマ画像の方向感が強調されて看者がその方向感を一層容易に把握することができる。
【００２２】
請求項３又は請求項７に係る発明によれば、複数のカメラ及びモニタが車両に搭載され、この車両のイメージ画像がパノラマ画像とともにモニタに表示されるので、たとえ車両に多数のカメラが搭載されていたとしても、看者がパノラマ画像の内容、すなわち、どのカメラによる撮影映像かを容易に把握することができる。
【００２３】
請求項４、請求項８又は請求項９に係る発明によれば、車両におけるスイッチ操作又は車両の走行状態に応じて補助線又はイメージ画像の表示方法が切り替えられるので、その時々の看者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【００２４】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【００２５】
〔パノラマ画像表示装置の全体構成〕
図１は本発明に係るパノラマ画像表示装置の概略構成を示す。このパノラマ画像表示装置４は、車両５の後方の映像を車室内のモニタ６に表示するために車載され（図２参照）、Ａ／Ｄ変換部７と、画像合成部８と、合成パターン演算／メモリ部９と、Ｄ／Ａ変換部１０と、画像重畳装置１１と、重畳パターン演算／メモリ部１２とを備える。
【００２６】
Ａ／Ｄ変換部７は、図２に模式的に示すように車両５の後部に設置された２台のカメラ１３ａ，１３ｂに接続され（同図においてはカメラ１３ａ，１３ｂの存在を明らかにすべくこれらを明示しているが、これらは実際にはレンズ部以外が車体に覆われて外部からは見えないようになっている。また、以下ではそのカメラを後述の仮想カメラと区別するために「実写カメラ」ともいう。）、各カメラにより撮影された映像のアナログ画像データをデジタル画像データに変換する。
【００２７】
画像合成部８はＡ／Ｄ変換部７及び合成パターン演算／メモリ部９に接続され、カメラ１３ａ，１３ｂにより撮影された映像を後述するように合成してパノラマ画像を生成する。この画像合成部８における画像合成は合成パターン演算／メモリ部９の処理に従い行われ、ここでは画像合成部８及び合成パターン演算／メモリ部９が画像合成手段として機能する。
【００２８】
Ｄ／Ａ変換部１０は画像合成部８に接続されるとともに、画像重畳装置１１を介してモニタ６に接続されている。このＤ／Ａ変換部１０は画像合成部８で生成されたパノラマ画像のデジタル画像データをアナログ画像データに変換する。
【００２９】
画像重畳装置１１は、画面の見やすさ等を向上させるためにデザインされたパターンのアナログ画像データをパノラマ画像のアナログ画像データに重畳させる。この画像重畳装置１１における画像の重畳は重畳パターン演算／メモリ部１２の処理に従い行われ、ここでは画像重畳装置１１及び重畳パターン演算／メモリ部１２が補助線重畳手段又はイメージ画像重畳手段として機能する。なお、この実施の形態においては画像重畳装置１１がＤ／Ａ変換部１０とモニタ６との間に設けられているが、画像合成部８とＤ／Ａ変換部１０との間に設けられていても、あるいは、画像合成部８と一体に設けられていてもよく、このとき画像重畳装置１１は上記パターンのデジタル画像データをパノラマ画像のデジタル画像データに重畳させる。
【００３０】
〔画像合成部における画像合成処理〕
図３は、画像合成部８及び合成パターン演算／メモリ部９におけるパノラマ画像の生成手法を説明するためのモデルを示す。同図において、符号Ｓｃは断面円形の筒体（円筒）の一部を切り取ってなる凹状の仮想的な立体スクリーン（円筒型スクリーン）を示し、符号Ｌはその筒体の軸線を示し、符号Ｒａ，Ｒｂはそれぞれ実写カメラ１３ａ，１３ｂによる撮影映像（実写カメライメージ、実写カメラスクリーン）を示す。
【００３１】
画像合成部８及び合成パターン演算／メモリ部９における画像合成の考え方として、まず最初に実写カメラ１３ａ，１３ｂで撮影された映像Ｒａ，Ｒｂを軸線Ｌの位置（軸線Ｌの近傍を含む。）から円筒型スクリーンＳｃ上へ投影し、その撮影映像Ｒａ，Ｒｂに対応する投影映像Ｑａ，Ｑｂを得る。従来は、その投影映像Ｑａ，Ｑｂからなる投影映像Ｑを円筒型スクリーンＳｃを開いて平面状とすることによって図４に示すようなパノラマ画像としていたが、本実施の形態では、軸線Ｌの位置から所定距離だけ離れた位置に仮想カメラを想定し、この仮想カメラで投影映像Ｑを撮影したときに得られる画像をパノラマ画像とする。図３において、符号１４はその仮想カメラのレンズ中心を示し、符号Ｉはその仮想カメラの撮影画像（仮想カメライメージ、仮想カメラスクリーン）を示す。
【００３２】
例えば仮想カメラに単純なピンホールカメラモデルを用いる場合には、仮想カメラのレンズ中心１４から円筒型スクリーンＳｃを覗き、この円筒型スクリーンＳｃ上の投影映像Ｑを仮想カメラスクリーンＩ上に投影することをイメージすればよい。この手法に従うと、仮想カメラスクリーンＩ上の中心付近の点と左右端付近の点とでは円筒型スクリーンＳｃ上の対応する点までの距離が異なるので、結果として仮想カメラスクリーンＩ上へ投影される映像の拡大・縮小率が仮想カメラスクリーンＩ上の左右方向の位置によって異なる。図３からもわかるように、仮想カメラスクリーンＩ上の中心付近の点から円筒型スクリーンＳｃまでの距離が最も長いので、その仮想カメラスクリーンＩ上の中心付近で映像は相対的に縮小される。これにより、仮想カメラスクリーンＩにおいて図５に示すように中心付近が上下方向に縮んだ自然な変形が実現され、看者があたかも立体的なものを見ているかのような視覚効果を奏して画像の内容や方向感の直感的理解に供するパノラマ画像が生成される。
【００３３】
また、仮想カメラを円筒型スクリーンＳｃに対して近づけたり離したりすることによって、仮想カメラスクリーンＩ上の中心付近、左右端付近における拡大・縮小率を自然に調整することができる。これは、仮想カメラスクリーンＩ上の中心付近の点に対応する円筒型スクリーンＳｃ上の点から仮想カメラまでの距離と、仮想カメラスクリーンＩ上の左右端付近の点に対応する円筒型スクリーンＳｃ上の点から仮想カメラまでの距離との比が、仮想カメラの位置が変わることによって連続的に変化するからである。このとき、仮想カメラスクリーンＩ上に形成されるパノラマ画像の全体的な大きさも拡大又は縮小されるが、仮想カメラの焦点距離（仮想カメラのレンズ中心１４と仮想カメラスクリーンＩとの離間距離）ｆ’を併せて調整することにより、その大きさが変化しないようにすることもできる。
【００３４】
ここで、以上の考え方を定式化するために、軸線ＬがＹ軸と一致するようにＸＹＺ直交座標系を設定し、図６に示すように、実写カメラ１３ａ，１３ｂのレンズ中心１５ａ，１５ｂがＸＺ平面内において原点（観察点）Ｏから距離ｒの位置にあるとする。また、円筒型スクリーンＳｃの半径をＰとすると、通常ｒはＰに比べてかなり小さい値を取るが、ここではｒのＰに対する割合を実際よりも大きくして図示している。また、実写カメラ１３ａ，１３ｂは互いに外向きとなるようにＺ軸に関して対称に配置され、これらの視線（LOS：Line of Site）がＺ軸となす角度がそれぞれθ及び−θであるとし、その焦点距離をｆとする。さらに、円筒型スクリーンＳｃ上にＺ軸との交点を原点としてＸ’Ｙ’座標系を設定し、実写カメラスクリーンＲａ，Ｒｂ上にLOSとの交点を原点ｏとしてｘｙ座標系を設定し、仮想カメラスクリーンＩ上にＺ軸との交点を原点ｏ’としてｘ’ｙ’座標系を設定する（Ｙ’，ｙ，ｙ’の各軸はＹ軸に平行とする。）。
【００３５】
いま、カメラ１３ａに着目し、実写カメラスクリーンＲａ上の点（ｘ，ｙ）が円筒型スクリーンＳｃ上の点Ｋ（Ｘ’，Ｙ’）に射影された場合を考える。ＸＺ平面内において線分ＯＫがＺ軸となす角度をαとし、線分ｏＫがカメラ１３ａのLOSとなす角度をθ’とすると、
【００３６】
【数１】
0004860835.tif 000002
【００３７】
【数２】
0004860835.tif 000003
【００３８】
あるいは
【００３９】
【数３】
0004860835.tif 000004
【００４０】
【数４】
0004860835.tif 000005
【００４１】
となり、このとき
【００４２】
【数５】
0004860835.tif 000006
【００４３】
あるいは
【００４４】
【数６】
0004860835.tif 000007
【００４５】
という関係が成り立つ。これらの関係を用いれば、実写カメラスクリーンＲａ上の点（ｘ，ｙ）と円筒型スクリーンＳｃ上の点Ｋ（Ｘ’，Ｙ’）とを互いに変換することができ、各式におけるθを−θとすれば上記関係をカメラ１３ｂについても利用することができる。
【００４６】
さらに、円筒型スクリーンＳｃ上の点Ｋ（Ｘ’，Ｙ’）と仮想カメラスクリーンＩ上の点（ｘ’，ｙ’）との関係を求めると、仮想カメラのレンズ中心１４がＸＺ平面内において原点Ｏから距離ｄの位置にあるとして
【００４７】
【数７】
0004860835.tif 000008
【００４８】
【数８】
0004860835.tif 000009
【００４９】
という関係が成り立つ。
【００５０】
上記式（１）〜式（８）を用いることによって、実写カメラスクリーンＲａ，Ｒｂ上の座標（ｘ，ｙ）と仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）とを具体的に対応させることができ、これらの式を用いて画像合成部８及び合成パターン演算／メモリ部９が実際に行う画像合成処理の例をつぎに説明する。
【００５１】
画像合成部８は、カメラ１３ａ，１３ｂの撮影映像の画素ごとのデジタル画像データを記憶する入力画像メモリ８ａを備えるとともに、合成画像（パノラマ画像）の画素ごとのデジタル画像データを記憶する出力画像メモリ８ｂを備え（図１参照）、図７に示すように、その出力画像メモリ８ｂの所定画素に対応する領域についてアドレスを発生させる（ステップ１（図７においてＳ．１と記載。以下同様））。
【００５２】
そのアドレスは図８に示すように合成パターン演算／メモリ部９に受信され（ステップ２）、仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）に変換された後（ステップ３）、式（７），（８）により円筒型スクリーンＳｃ上の対応する座標（Ｘ’，Ｙ’）が演算される（ステップ４）。
【００５３】
続いて、演算されたＸ’座標値等に応じて対応するカメラが選択され（ステップ５）、カメラ１３ａが選択された場合には式（１），（２）等が、カメラ１３ｂが選択された場合にはθを−θに置換した式（１），（２）等が用いられて実写カメラスクリーン上の対応する座標（ｘ，ｙ）が求められる（ステップ６）。
【００５４】
そして、その座標（ｘ，ｙ）に対応する入力画像メモリ８ａの領域のアドレスが演算により求められ（ステップ７）、合成パターン演算／メモリ部９はそのアドレスを画像合成部８に出力する（ステップ８）。
【００５５】
画像合成部８はアドレスを受信すると（ステップ９）、入力画像メモリ８ａの当該アドレスの領域に記憶された画像データを出力画像メモリ８ｂの先に送信したアドレス（ステップ１において送信したアドレス）の領域に移動させる（ステップ１０）。
【００５６】
このステップ１〜ステップ１０の処理を合成画像の全画素について行うことにより、その全画素のデジタル画像データが決定されてパノラマ画像が生成されるが、上述のように単に入力画像メモリ８ａから出力画像メモリ８ｂに画像データを移動させてパノラマ画像を生成するのではなく、カメラ１３ａ，１３ｂの撮影映像が重なる部分の処理や明るさ調整等の種々の演算を適宜行った上で生成してもよい。
【００５７】
また、図８に示すようにステップ４〜ステップ６の処理は仮想カメラについてのパラメータｄ，ｆ、仮想スクリーンについてのパラメータＰ、実写カメラについてのパラメータｒ，ｆ，θに依存することとしてもよく、これらのパラメータを車両５の走行状態等（スイッチ情報、センサ情報）に応じてリアルタイムに変化させることによりその時々の運転者の感覚に合ったパノラマ画像が表示されるが、この点については後述する。ただ、ステップ５については、上述のように仮想スクリーンが円筒面状で実写カメラが２台であれば、ステップ４で求めたＸ’がＸ’≧０を満たせばカメラ１３ａが選択され、Ｘ’＜０を満たせばカメラ１３ｂが選択されるとすれば処理が簡単である。
【００５８】
つぎに、その仮想スクリーンが円筒型ではなく他の形状を有する場合について述べる。
【００５９】
図９乃至図１１は、仮想スクリーンの形状を異ならせた場合のパノラマ画像の生成手法を説明するためのモデルを示し、図９において、符号Ｓｏは断面楕円形の筒体の一部を切り取ってなる仮想スクリーン（楕円筒型スクリーン）を、符号ａ，ｂはその楕円の長軸又は短軸の長さをそれぞれ示す。その他の符号については図６におけると同様であるので説明を省略する。なお、この楕円筒型スクリーンＳｏについて成立する関係式は円筒型スクリーンＳｃについて求めたものに比べて煩雑になるので、ここでは図８のフローで重要となる仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）と楕円筒型スクリーンＳｏ上の座標（Ｘ，Ｙ，Ｚ）との関係、及び、楕円筒型スクリーンＳｏ上の座標（Ｘ，Ｙ，Ｚ）と実写カメラスクリーンＲａ上の座標（ｘ，ｙ）との関係を導くための演算手順を明らかにするに止める。
【００６０】
仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）が楕円筒型スクリーンＳｏ上の点Ｋ（Ｘ，Ｙ，Ｚ）＝（ＸＫ，ＹＫ，ＺＫ）に対応するとした場合、ＸＫ，ＺＫはつぎの連立方程式をＸ，Ｚについて解くことにより求められる。
【００６１】
【数９】
0004860835.tif 000010
【００６２】
【数１０】
0004860835.tif 000011
【００６３】
また、ＹＫはＸＫを次式に代入することにより求められる。
【００６４】
【数１１】
0004860835.tif 000012
【００６５】
続いて、点Ｋに対応する実写カメラスクリーンＲａ上の座標をＸＹＺ空間で求めると、その座標（ＸＣ，ＹＣ，ＺＣ）は点Ｋの位置（ＸＫ，ＹＫ，ＺＫ）とカメラ１３ａの位置（r sinθ，０，r cosθ）とを結ぶ線分の実写カメラスクリーンＲａとの交点の座標に相当するから、ＸＣ，ＺＣはつぎの連立方程式をＸ，Ｚについて解くことにより求められる。
【００６６】
【数１２】
0004860835.tif 000013
【００６７】
【数１３】
0004860835.tif 000014
【００６８】
また、ＹＣはＸＣを次式に代入することにより求められる。
【００６９】
【数１４】
0004860835.tif 000015
【００７０】
Ｋに対応する実写カメラスクリーンＲａ上の座標（ｘ，ｙ）は、そのＸＣ，ＹＣ，ＺＣを用いて次式により与えられる。
【００７１】
【数１５】
0004860835.tif 000016
【００７２】
【数１６】
0004860835.tif 000017
【００７３】
以上で得られる関係を図８におけるステップ４、ステップ６で用いることにより、楕円筒型スクリーンＳｏによる画像合成が実現され、この楕円筒型スクリーンＳｏによる画像合成によってパノラマ画像の左右方向の拡大・縮小率も調整することが可能となる。なお、このとき図８における仮想スクリーンのパラメータはａ，ｂとなる。
【００７４】
一方、図１０及び図１１において、符号Ｓｒは断面長方形の筒体の一部を切り取ってなる仮想スクリーン（直方体型スクリーン）を示し、この直方体型スクリーンＳｒは、Ｘ軸を法線としてＸ軸と座標値−ＸＤで交わるスクリーンＳ1と、Ｚ軸を法線としてＺ軸と座標値ＺＤで交わるスクリーンＳ2と、Ｘ軸を法線としてＸ軸と座標値ＸＤで交わるスクリーンＳ3とからなっている。スクリーンＳ1，Ｓ2，Ｓ3には、Ｘ軸との交点を原点Ｏ1とするＸ1Ｙ1座標系、Ｚ軸との交点を原点Ｏ2とするＸ2Ｙ2座標系、Ｘ軸との交点を原点Ｏ3とするＸ3Ｙ3座標系をそれぞれ設定し（Ｙ1，Ｙ2，Ｙ3の各軸はＹ軸に平行とする。）、これらのスクリーンを同時に扱うのは困難であるため各スクリーン上の座標を（Ｘｎ，Ｙｎ）（ｎ＝１，２，３）として別々に扱う。
【００７５】
その直方体型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）と実写カメラスクリーンＲａ上の座標（ｘ，ｙ）との関係を求めると
【００７６】
【数１７】
0004860835.tif 000018
【００７７】
【数１８】
0004860835.tif 000019
【００７８】
【数１９】
0004860835.tif 000020
【００７９】
【数２０】
0004860835.tif 000021
【００８０】
【数２１】
0004860835.tif 000022
【００８１】
【数２２】
0004860835.tif 000023
【００８２】
が成立する。したがって、これらの関係式及びその逆関数を用いることによって、実写カメラスクリーンＲａ上の座標（ｘ，ｙ）と長方形型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）とを互いに変換することができる。また、長方体型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）と仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）との関係を求めると
【００８３】
【数２３】
0004860835.tif 000024
【００８４】
【数２４】
0004860835.tif 000025
【００８５】
【数２５】
0004860835.tif 000026
【００８６】
【数２６】
0004860835.tif 000027
【００８７】
【数２７】
0004860835.tif 000028
【００８８】
【数２８】
0004860835.tif 000029
【００８９】
が成立するので、以上の各式を組み合わせることにより直方体型スクリーンＳｒ上の座標（Ｘｎ，Ｙｎ）を介して実写カメラスクリーンＲａ上の座標（ｘ，ｙ）と仮想カメラスクリーンＩ上の座標（ｘ’，ｙ’）とを対応させることができる。そして、その対応関係に基づいた直方体型スクリーンＳｒによる画像合成によって、図１２に示すような三方を囲われている雰囲気のパノラマ画像を生成することができる。
【００９０】
〔画像重畳装置における画像重畳処理〕
画像合成部８及び合成パターン演算／メモリ部９により生成されたパノラマ画像の画像データは、Ｄ／Ａ変換部１０を経た後に画像重畳装置１１において上記パターンの画像データと重畳される。その一例として、図１３は、円筒型スクリーンＳｃを用いて生成されたパノラマ画像にパターンとして補助線が重畳された場合の画像を示す。すなわち、モニタ６の画面下部には円筒の中心部を意識した円弧１６と、その中心部から円筒型スクリーンＳｃに向かって放射状にのびる補助線１７とが描かれ、看者に立体的なパノラマ映像であることを強く意識させるようになっている。その補助線１７は上記中心部から一定の角度間隔ごとに描かれており、これにより看者はパノラマ画像の方向感あるいは方位角度を一層容易に把握することができる。
【００９１】
また、図１４は円筒型スクリーンＳｃを用いて生成されたパノラマ画像にパターンとして自車のイメージ画像が重畳された場合の画像を示す。すなわち、モニタ６の画面下部中央には車両のイメージ画像１８が描かれ、看者に撮影カメラの位置あるいは撮影方向を強く意識させるようになっている。そのイメージ画像１８は、車両５の後部や側部、前部等に複数の実写カメラが取り付けられ、それらのカメラの撮影映像が切り替えてモニタ６に表示される場合には、その切替えに合わせてデザインが変更される。
【００９２】
これらのパターンのデザインは、重畳パターン演算／メモリ部１２において決定され、その決定されたデザインの画像データが画像重畳装置１１に送信されて上記重畳が行われる。
【００９３】
〔スイッチ操作等による画像表示方法の変更〕
図１５は、車両５の運転者の手元にスイッチ装置１９があり、このスイッチ装置１９の操作により画像表示方法が変更される例を示している。例えばスイッチ装置１９の左から一番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から一番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から一番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては円筒型スクリーンＳｃによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によってはパノラマ画像に対して何ら画像が重畳されず、結局、モニタ６には図５に示すような画像が表示される。
【００９４】
また、スイッチ装置１９の左から二番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から二番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から二番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては直方体型スクリーンＳｒによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によってはスクリーンＳ1，Ｓ2及びスクリーンＳ2，Ｓ3の境界を示す画像が重畳され、モニタ６には図１２に示すような画像が表示される。
【００９５】
スイッチ装置１９の左から三番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から三番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から三番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては円筒型スクリーンＳｃによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によっては円弧１６及び補助線１７が重畳され、モニタ６には図１３に示すような画像が表示される。
【００９６】
スイッチ装置１９の左から四番目のスイッチが選択された場合、合成パターン演算／メモリ部９はそのメモリに記憶されている表示パターンのうち図中上から四番目にあるものを、重畳パターン演算／メモリ部１２はそのメモリに記憶されている表示パターンのうち図中上から四番目にあるものを、それぞれ画像合成部８、画像重畳装置１１に出力する。つまり、画像合成部８及び合成パターン演算／メモリ部９によっては円筒型スクリーンＳｃによるパノラマ画像が生成され、画像重畳装置１１及び重畳パターン演算／メモリ部１２によっては円弧１６、補助線１７及びイメージ画像１８が重畳され、モニタ６には図１４に示すような画像が表示される。
【００９７】
ところで、このように表示方法をパターン化して切り替える場合、リアルタイムでの画像の自動調整を不要とするならば、合成パターン演算／メモリ部９や重畳パターン演算／メモリ部１２が予めいくつかの表示方法を記憶しておきそれを画像合成部８や画像重畳装置１１に機械的に出力するようにしておくことによって、合成パターン演算／メモリ部９や重畳パターン演算／メモリ部１２が演算処理を行わなくてすみ構成が簡略化される。
【００９８】
図１６は、車両５の走行状態を示すパラメータの一つである車速により、画像表示方法が変更される例を示している。車速に応じてモニタ画面の中心付近の映像を周縁部の映像に比べて相対的に拡大又は縮小したい場合には、仮想カメラの位置を規定する距離ｄを大きく又は小さくし、それに略比例するように焦点距離ｆ’も大きく又は小さくすればよい。
【００９９】
詳細には、速度センサ２０により車速が検知されると、その車速に応じて合成パターン演算／メモリ部９において適切な距離ｄ及び焦点距離ｆ’が決定され、それに基づいて画像合成のための座標変換値（ｘ，ｙ等）がリアルタイムに演算されて画像合成部８における画像合成が行われる。例えば駐車時のように車速が小さい場合には、運転者は周囲を広く見渡したいと感じることが多いため、パノラマ画像の中心付近を比較的大きくすべく距離ｄ，焦点距離ｆ’を大きくする。一方、高速走行時のように車速が一定以上である場合には、運転者の窓越しの視界は狭くなるため、それを補うようにパノラマ画像の中心付近をやはり大きくすべく距離ｄ，焦点距離ｆ’を大きくする（このときの表示倍率は上記車速が小さい場合の表示倍率と異なっていても勿論よい。）。さらに、重畳パターン演算／メモリ部１２においてもその距離ｄ，焦点距離ｆ’に基づいて補助線１７の形状等が演算され、画像重畳装置１１における画像重畳が行われる。
【０１００】
以上のように車両５におけるスイッチ操作又は車両５の走行状態に応じて補助線１７やイメージ画像１８等の表示方法が切り替えられることにより、その時々の運転者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【０１０１】
なお、本発明の実施の形態は以上説明したものに限られず、例えば仮想スクリーンとして他の断面形状を有する筒体の一部を切り取ってなるものを用いてもかまわないし、車両の走行状態をギヤ操作や舵角等で判断して画像表示方法を変更してもよい。
【０１０４】
【発明の効果】
請求項１、請求項２、請求項５又は請求項６に係る発明によれば、軸線位置から仮想スクリーンに向かって放射状にのびる補助線がパノラマ画像とともにモニタに表示されるので、パノラマ画像の方向感が強調されて看者がその方向感を一層容易に把握することができる。
【０１０５】
請求項３又は請求項７に係る発明によれば、複数のカメラ及びモニタが車両に搭載され、この車両のイメージ画像がパノラマ画像とともにモニタに表示されるので、たとえ車両に多数のカメラが搭載されていたとしても、看者がパノラマ画像の内容、すなわち、どのカメラによる撮影映像かを容易に把握することができる。
【０１０６】
請求項４、請求項８又は請求項９に係る発明によれば、車両におけるスイッチ操作又は車両の走行状態に応じて補助線又はイメージ画像の表示方法が切り替えられるので、その時々の看者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【図面の簡単な説明】
【図１】本発明に係るパノラマ画像表示装置の概略構成を示す説明図である。
【図２】実写カメラの車両における配置を模式的に示す説明図である。
【図３】円筒型スクリーンを用いた画像合成のモデルを示す斜視図である。
【図４】図３のモデルにおいて仮想カメラを用いなかった場合のパノラマ画像を示す説明図である。
【図５】図３のモデルにおいて仮想カメラを用いた場合のパノラマ画像を示す説明図である。
【図６】図３の円筒型スクリーンを用いた画像合成のモデルを示す平面図である。
【図７】画像合成部における処理のフローを示す説明図である。
【図８】合成パターン演算／メモリ部における処理のフローを示す説明図である。
【図９】楕円筒型スクリーンを用いた画像合成のモデルを示す平面図である。
【図１０】直方体型スクリーンを用いた画像合成のモデルを示す斜視図である。
【図１１】図１０の直方体型スクリーンを用いた画像合成のモデルを示す平面図である。
【図１２】図１１のモデルにより得られるパノラマ画像の例を示す説明図である。
【図１３】図３のモデルにより得られるパノラマ画像に補助線を重畳した例を示す説明図である。
【図１４】図３のモデルにより得られるパノラマ画像に車両のイメージ画像を重畳した例を示す説明図である。
【図１５】スイッチ装置と合成パターン演算／メモリ部及び重畳パターン演算／メモリ部との連係を示す説明図である。
【図１６】速度センサと合成パターン演算／メモリ部及び重畳パターン演算／メモリ部との連係を示す説明図である。
【図１７】従来の方法により表示されたパノラマ画像を示す説明図である。
【符号の説明】
４    パノラマ画像表示装置
５    車両
６    モニタ
７    Ａ／Ｄ変換部（Ａ／Ｄ変換手段）
８    画像合成部
９    合成パターン演算／メモリ部
１０  Ｄ／Ａ変換部（Ｄ／Ａ変換手段）
１１  画像重畳装置
１２  重畳パターン演算／メモリ部
１３ａ，１３ｂ  カメラ
１７  補助線
１８  イメージ画像
１９  スイッチ装置
２０  速度センサ
ｄ    所定距離
Ｌ    軸線
Ｓｃ  円筒型スクリーン（仮想スクリーン）
Ｓｏ  楕円筒型スクリーン（仮想スクリーン）
Ｓｒ  直方体型スクリーン（仮想スクリーン）
【図１】
0004860835.tif 000030
【図２】
0004860835.tif 000031
【図３】
0004860835.tif 000032
【図４】
0004860835.tif 000033
【図５】
0004860835.tif 000034
【図６】
0004860835.tif 000035
【図７】
0004860835.tif 000036
【図８】
0004860835.tif 000037
【図９】
0004860835.tif 000038
【図１０】
0004860835.tif 000039
【図１１】
0004860835.tif 000040
【図１２】
0004860835.tif 000041
【図１３】
0004860835.tif 000042
【図１４】
0004860835.tif 000043
【図１５】
0004860835.tif 000044
【図１６】
0004860835.tif 000045
【図１７】
0004860835.tif 000046