(57)【要約】【課題】演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる画像生成装置および画像生成方法を提供すること。【解決手段】視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、実カメラ１と、地面上に設定した近景用スクリーン７１と、所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７を設定する手段と、前記実カメラ１より高い位置に仮想カメラ８を設定する手段と、単独のカメラ映像データの各画素位置と、仮想立体投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する手段と、座標変換にしたがって仮想カメラ８の仮想撮像面上にカメラ映像データの各画素を移し、仮想カメラ８から仮想立体投影面７を見たときのモニタ画像データを生成する手段と、を備えた。【選択図】図２
2008083786.tif 000002
【特許請求の範囲】
【請求項１】
仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、
前記仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手段と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換する座標変換手段と、
前記座標変換にしたがって仮想カメラの仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、
を備えたことを特徴とする画像生成装置。
【請求項２】
請求項１に記載された画像生成装置において、
前記仮想カメラの仮想撮像面として、前記近景用スクリーンに平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面を設定する仮想立体撮像面設定手段を設け、
前記座標変換手段は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換し、
前記モニタ画像データ生成手段は、座標変換にしたがって仮想カメラの仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成することを特徴とする画像生成装置。
【請求項３】
請求項１または請求項２に記載された画像生成装置において、
前記座標変換手段は、仮想撮像面上または仮想立体撮像面上での一つの画素位置を指定し、仮想立体投影面上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成することを特徴とする画像生成装置。
【請求項４】
請求項３に記載された画像生成装置において、
歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、
前記座標変換手段は、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想撮像面または仮想立体撮像面の座標系とすることを特徴とする画像生成装置。
【請求項５】
請求項１乃至請求項４の何れか１項に記載された画像生成装置において、
前記仮想カメラ設定手段は、外部からの設定操作により任意の空間位置に仮想カメラを設定できることを特徴とする画像生成装置。
【請求項６】
請求項１乃至請求項５の何れか１項に記載された画像生成装置において、
前記仮想立体投影面設定手段は、外部からの設定操作により遠景用スクリーンの近景用スクリーンに対する上向き傾斜角度を任意に設定できることを特徴とする画像生成装置。
【請求項７】
請求項２乃至請求項６の何れか１項に記載された画像生成装置において、
前記仮想立体撮像面設定手段は、外部からの設定操作により遠景用撮像面の近景用撮像面に対する下向き傾斜角度を任意に設定できることを特徴とする画像生成装置。
【請求項８】
請求項１乃至請求項７の何れか１項に記載された画像生成装置において、
前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラであることを特徴とする画像生成装置。
【請求項９】
仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、
前記仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手順と、
実撮像面に投影される画像により前記カメラ映像データを取得する実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手順と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、
前記座標変換にしたがって仮想カメラの仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、
を備えたことを特徴とする画像生成方法。
【請求項１０】
請求項９に記載された画像生成方法において、
前記仮想カメラの仮想撮像面として、前記近景用スクリーンに平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面を設定する仮想立体撮像面設定手順を設け、
前記座標変換手順は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換し、
前記モニタ画像データ生成手順は、座標変換にしたがって仮想カメラの仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成することを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
【０００３】
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
【特許文献１】特開２００５−２３６４９３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された運転支援装置にあっては、１視点映像の場合、俯瞰映像を表示させるため、近景のみの表示となり、多視点映像の場合、カメラ映像を表示させるため、遠景のみの表示となり、車両の周囲状況を的確に認識するには選択操作を要する、という問題があった。
さらに、１視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００５】
また、上記特許文献２に記載された画像生成装置にあっては、数台のカメラで撮影しているエリアの全体の様子を一枚に合成した画像にて表示しようとするものであるため、合成画像に連続性を持たせるには、複数のカメラ画像から特徴点を抽出する特徴点抽出手段と、複数個の特徴点を用いて表示画面の較正を行うキャリブレーション手段と、を設ける必要があり、モニタ画像データを生成するための演算処理が複雑になってしまう。
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００６】
本発明は、上記問題に着目してなされたもので、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる画像生成装置および画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明では、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、
前記仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手段と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換する座標変換手段と、
前記座標変換にしたがって仮想カメラの仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、
を備えたことを特徴とする。
【発明の効果】
【０００８】
よって、本発明の画像生成装置にあっては、仮想立体投影面設定手段において、仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面が設定される。また、仮想カメラ設定手段において、実撮像面に投影される画像によりカメラ映像データを取得する実カメラより高い位置に仮想カメラが設定される。そして、座標変換手段において、実カメラにより取得した単独のカメラ映像データの各画素位置と、仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換され、モニタ画像データ生成手段において、座標変換にしたがって仮想カメラの仮想撮像面上にカメラ映像データの各画素が移され、仮想カメラから仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データが生成される。
【０００９】
このように、座標変換により実カメラにより取得した単独のカメラ映像データからモニタ画像データを生成するものであるため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
【００１０】
さらに、仮想カメラから仮想立体投影面の近景用スクリーンを見たときに仮想撮像面に投影される画像は近景を上から眺めた俯瞰画像となり、仮想カメラから仮想立体投影面の遠景用スクリーンを見たときに仮想撮像面に投影される画像は中景乃至遠景（地平線上の映像も含む）を斜め上方から眺めたパース画像となる。しかも、仮想立体投影面の近景用スクリーンと遠景用スクリーンとは一体に連接されているため、近景の俯瞰表示データと遠景のパース表示データにずれが生じることが全く無く、生成されるモニタ画像データはシームレスに接合したものとなる。
【００１１】
そして、このモニタ画像データにより得られるモニタ画像は、距離感を認識しやすい近景の俯瞰画像と、遠いものは小さく見え近いものは大きく見えるという遠近感を認識しやすい中景乃至遠景のパース画像とを合成した画像となり、この合成画像をモニタ画面に表示することができる。このため、俯瞰画像とカメラ画像の選択操作や分割されたモニタ画面上で目線を移す等を要することなく、１つのモニタ画面にて周囲状況を的確に認識することができる。
【００１２】
この結果、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の画像生成装置および画像生成方法を実現する最良の形態を、図面に示す実施例１に基づいて説明する。
【実施例１】
【００１４】
まず、構成を説明する。
図１は実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図、図２は実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【００１５】
実施例１における画像生成装置は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する装置であり、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、仮想カメラ位置調整操作ノブ４と、スクリーン角度調整操作ノブ５と、撮像面角度調整操作ノブ６と、を備えている。
【００１６】
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
【００１７】
このリアカメラ１の光軸側には、図１及び図２に示すように、仮想投影面として、地面上に設定した近景用スクリーン７１と、該近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７が設定される（仮想立体投影面設定手段）。
【００１８】
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される（仮想カメラ設定手段）。
【００１９】
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、前記近景用スクリーン７１に平行な近景用撮像面９１と、該近景用撮像面９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９が設定される（仮想立体撮像面設定手段）。
【００２０】
前記画像処理コントローラ２は、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
【００２１】
前記デコーダ間変換部２１は、リアカメラ１に接続されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。
なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
【００２２】
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用い、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想立体投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
【００２３】
前記ＲＯＭ２３は、仮想立体撮像面９上での一つの画素位置を指定し、仮想立体投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想立体投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換される（座標変換手段）。
また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め（図１２(a)参照）、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系としている。
なお、マッピングテーブルとしては、仮想カメラ８の位置（ａ，ｂ）と、スクリーン傾斜角度αと、撮像面傾斜角度βと、に応じて、所定の位置間隔毎や角度間隔毎に複数のマッピングテーブルが記憶設定されていて、細かな位置設定や角度設定に対しては、例えば、補間法を用いて対応するようにしている。
【００２４】
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、マッピングテーブルを用いて座標変換処理を行う例であるが、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するような例である場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
【００２５】
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。
なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
【００２６】
前記モニタ３は、車室内のインストルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、近景の俯瞰表示と中景乃至遠景のパース表示（地平線上の映像も含む）との合成画像を表示する。
【００２７】
前記仮想カメラ位置調整操作ノブ４は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ノブ４では、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
【００２８】
前記スクリーン角度調整操作ノブ５は、運転者等による外部からの設定操作により遠景用スクリーン７２の近景用スクリーン７１に対する上向き傾斜角度αを任意に設定（例えば、30°〜90°の角度範囲）するためのスクリーン角度調整操作手段である。
【００２９】
前記撮像面角度調整操作ノブ６は、運転者等による外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定（例えば、30°〜90°の角度範囲）するための撮像面角度調整操作手段である。
【００３０】
実施例１の画像生成装置は、仮想カメラ８，仮想立体投影面７及び仮想立体撮像面９を用いた視点変換手法により、モニタ画像データを生成するものである。
【００３１】
発明のポイントは、
1.仮想投影面（スクリーン）を立体化して視点変換を行い、近景の俯瞰表示と中景乃至遠景のパース表示（地平線上の映像も含む）とをシームレスに接合する。
2.仮想カメラ８の撮像面の立体化と連携させることで映像デザインを調整し、俯瞰表示と歪み補正したパース表示の合成表示を見やすくする。
ことにある。
【００３２】
このために、仮想立体投影面７を導入し、地平線より上にある映像も仮想立体投影面７により視点変換を行うことで上記1.を達成する。
しかも、仮想立体投影面７の形状と仮想立体撮像面９の形状を連動させることで、俯瞰映像デザインの自由度を向上させて上記2.を達成する。
【００３３】
実施例１の詳細は、後述する「仮想立体スクリーンを用いた視点変換手法」に譲り、要点のみここに示す。
図２に示す実施例１の模式図で、実カメラ映像が近景用スクリーン７１及び遠景用スクリーン７２の仮想立体投影面７（スクリーン）に射影され、その映像を仮想カメラ８の仮想立体撮像面９で撮影している構成である。この構成により、遠景用スクリーン７２に地平線より上方の映像まで投影するという視点変換ができるようになる。
【００３４】
この実施例１に示す発明の特徴は、仮想立体投影面７と仮想立体撮像面９を連動、或いは独立に設定することにより、視点変換の自由度を向上させることができる点にある。以下に例を示す。
【００３５】
［仮想立体投影面７と仮想立体撮像面９が互いに平行の場合］
・リアカメラ１の撮像面とも平行な場合
このとき仮想立体投影面７及び仮想立体撮像面９では、リアカメラ１と同じ映像が投影される（レンズ歪みの効果は除く）ため、最終的に得られる映像は近景の俯瞰映像と中景乃至遠景の実カメラ映像とが連続的に接合されて表示される。
【００３６】
・リアカメラ１の撮像面と非平行な場合
このときは、近景の俯瞰映像はそのままで、リアカメラ１が上向き或いは下向きに回転したような映像が表示される。例えば、遠景用スクリーン７２が近景用スクリーン７１に対し垂直になった場合（α＝90°）、リアカメラ１が水平に設置されたような映像に変形されて表示される。そして、遠景用スクリーン７２が近景用スクリーン７１に対し垂直角度より大きくなった場合（α＜90°）、リアカメラ１が水平より下向きに設置されたような映像に変形されて表示される。
すなわち、中景乃至遠景については、任意の角度で実カメラを取り付けたのと同じ効果によりパース映像を得ることができ、なおかつ、近景については、パース映像との連続性を持つ俯瞰映像が表示される。
【００３７】
［仮想立体投影面７と仮想立体撮像面９とを互いに独立に設定した場合］
・仮想立体投影面７の２つの面がなす角度を変更する場合
仮想立体投影面７と仮想立体撮像面９の２つの面がなす角度α，βを一定の角度（例えば、α＝45°、β＝45°）に設定した場合には、図３(a)に示すように、画面の下部に近景の俯瞰映像を表示し、画面の上部に中景乃至遠景のパース映像を表示し、俯瞰映像とパース映像をシームレスに合成した平行設置映像にて表示される。
これに対し、図３(b)と図３(c)は、仮想立体撮像面９の２つの面がなす角度βを一定の角度に保ったまま、仮想立体投影面７の２つの面がなす角度αを変更した場合の２通りの視点変換例を示す。
図３(b)は、仮想立体投影面７の角度αを、図３(a)の場合よりも深くした場合の視点変換例であり、図３(c)は、仮想立体投影面７の角度αを、図３(a)の場合よりも浅くして水平に近い状態にした場合の視点変換例である。
角度が深い図３(b)の場合、遠景部がより小さく表示され遠近感が強く表示されるデザインである。一方、角度が浅い図３(c)場合は、折れ角の小さい「ついたて（仮想立体投影面７）」を斜め上から眺めたイメージであり、立体感を感じさせるデザインになる。いずれの場合も、仮想立体投影面７と仮想立体撮像面９が互いに平行である場合の平行設置映像に、パースを与える効果がある。
【００３８】
・仮想立体撮像面９の２つの面がなす角度を変更する場合
仮想立体投影面７と仮想立体撮像面９の２つの面がなす角度α，βを一定の角度に設定した図３(a)に対し、図３(d)と図３(e)は、仮想立体投影面７の２つの面がなす角度αを一定の角度に保ったまま、仮想立体撮像面９の２つの面がなす角度βを変更した場合の２通りの視点変換例を示す。
図３(d)は、仮想立体撮像面９の角度βを、図３(a)の場合よりも深くした場合の視点変換例であり、図３(e)は、仮想立体撮像面９の角度βを、図３(a)の場合よりも浅くして水平に近い状態にした場合の視点変換例である。
角度が深い図３(d)の場合、遠景部がより小さく表示され遠近感が強く表示されるデザインである。一方、角度が浅い図３(e)場合は、「ついたて（仮想立体投影面７）」を斜め上から見下ろしたイメージであり、立体感を感じさせるデザインになる。いずれの場合も、仮想立体投影面７と仮想立体撮像面９が互いに平行である場合の平行設置映像に、パースを与える効果がある。
【００３９】
上記のように、実施例１にあっては、近景の俯瞰映像と中景乃至遠景（地平線以上の映像を含む）のパース映像とをシームレスに表示することが可能になる。また、その表示について仮想立体投影面７及び仮想立体撮像面９の角度α，βを制御することにより、デザインの自由度を与えることができるようになる。
具体的には、中景乃至遠景映像について、
・実カメラの取り付けあおり角度を任意に変更する効果
・パース付与による遠近感の補正効果
を制御することができる。
【００４０】
次に、「仮想立体スクリーンを用いた視点変換手法（二平面モデルの場合）」について説明する。
１．背景および目的
車載周囲モニタとして、リアカメラ映像の俯瞰図表示と通常カメラ表示を同時表示させたいという要求は開発当初より存在し、商品化やデモンストレーションに際しては２画面表示により対応してきた。散発的には１画面表示手法について外部要求はあったものの、本当に見やすいのか、という疑問もあり本格的な検討は後回しにしてきた。
【００４１】
現在の「新たな見せ方」検討では、上記要求がそのまま検討課題に含まれる。加えて地面以外の地平線上の映像を視点変換で見せるなど、従来の視点変換技術では対応できない内容を含むことになる。そこで、これら要求に一括して当たれるように、視点変換アルゴリズムそのものを一新し、拡張性の高い手法を新たに考案することとした。以下に記述する仮想立体スクリーン手法はその一つの結果である。
【００４２】
この手法の特徴は、従来地面上に設定していた仮想スクリーンを、任意の３次元形状を持つ立体的な仮想スクリーンにするところにある。従来手法に比べ概念的にはスクリーン形状の違いだけであり、分かり易い拡張である。しかしながら、実現するアルゴリズムは全く異なる内容になっている。これまでは特定平面であることを前提として、全画素に同じマトリックスを作用させる簡素なアルゴリズムだったのに対し、任意形状のスクリーンに対応するには一画素毎に変換式が変わる可能性があり、その都度、対応点を求めることになるためである。
【００４３】
以下の記述は、この手法を整理し公開することを第一の目的とする。なお、立体スクリーン形状については任意性が高く、本記述ではひとつの事例のみを示しているが、対応点計算に必要な基本式群を整理し示しており、その他のスクリーン形状への応用も期待できる。以下の記述の第二の目的は、視点変換の実装に必要な座標変換群を総合的にレビューし、個別の技術を整理／提示することである。この種の情報は周辺技術的な内容であるため、これまで文書化されておらず、プログラムコードに埋め込まれた形で残っているだけである。しかし、それなりに複雑な手続きになっているため、視点変換の原理がわかっても実装上の障壁が高くなっている。記述の後半では必要な座標変換群を提示している。
【００４４】
２．立体スクリーン概論
立体スクリーンによる視点変換の考え方を図４(a)に示す。図４(a)の矢印で示したのが概念上での光の流れである。リアカメラで撮影されて映像を外部のスクリーンへ投影し、そのスクリーン上の映像を仮想CCDで撮影している。この図で仮想CCD画素とリアカメラCCD画素の対応を求めることが視点変換の基本である。もし、実体と同じ形状をした立体スクリーンを用意できれば、まさに仮想位置から実体を撮影したのと同じ映像を撮影できるはずである。もっとも、リアカメラCCDから見て死角部分の映像は失われたままではある。
【００４５】
図４(a)で示す立体スクリーンは２平面で構成された形状であり、仮想スクリーンとして地面を選択した場合には全く自由度がないのに比べ、かなり自由度が高いものとなる。代わりに、全てのスクリーン形状についてここで定式化するのは困難である。以下、図４(a)と同じ二平面スクリーンの例を記述することで、その基本的な考え方と構成手法を示している。
【００４６】
加えて、図４(b),(c)に示したように、仮想CCD も立体化する場合があることを考慮している。この仮想立体CCDの概念は、もともとは立体スクリーンにより生じるパースを除去するのが主目的である。図４(b)は地面に平行な仮想平面CCD上での映像例であり、スクリーンの立体領域ではパースがついて表示されている。それを取り除くには、この領域だけ立体スクリーンに平行なCCDを用いて映像を作成する必要があり、図のような立体CCDを導入するに至っている。図４(c)には仮想立体CCDの場合の見え方を示す。
立体スクリーンにより生じるパースの問題だけに限ればそのほかにも解決手法はあると思われるが、全体を一つの概念で扱うためにこの概念を導入した。図中の仮想立体CCD形状は立体スクリーンの単なるミニチュアであり、その点ではあえてCCDとしての概念を持ち出さなくても良いかもしれないが、積極的に図４(c)のような効果を得たい場合には、異なるCCD形状を用いる必要がある。こうした多様性をひとつの概念で扱うために、この記述では仮想スクリーンと仮想CCDを独立した概念として定義している。
【００４７】
３．変換手順
変換手順は、図４(a)の矢印の逆順である。即ち、仮想立体CCD面上の一点を指定し、立体スクリーン上での対応点、リアカメラCCD上での対応点の順番で求める。これは、出力画像の全画素分の対応点を求めるためである。なお、CCD面の座標系について、画像処理を考える場合にはエンコーダ／デコーダなどによってデジタル化した後の座標系で考えるのが実践的であるが、一方で機種依存性が出てしまい応用が効きにくい表現になる。そのため本記述では一般的な座標系を用いて一連の変換手順を示している。特定機種への対応については、次章でPICASSOについて対応例を示している。
【００４８】
３.１ 世界座標系の定義
本記述で用いる世界座標系は、３次元グラフィックス系でよく用いられる図５(a)の座標系を使う。これは、地面をスクリーンとする座標系（図５(b)）とはｙ軸とｚ軸が入れ替わっているので、継続的して作業する場合には注意が必要である。
【００４９】
３.２ 仮想CCD面の決定
仮想立体CCD面の定義について、最初に述べたように複数の平面CCDによる構成を示す。平面CCD内の画素位置表示にはいくつかの手法があるが、ここではuvベクトルを用いて表現する。図６(a)がその実施例である。
光学的には図中のカメラ位置より後方にある仮想立体CCDが本来のCCD面であるが、処理のしやすさなどを考慮し、本記述ではカメラ位置を中心に回転した前面仮想立体CCD面上で論じる。そのため、uvベクトルの基底{ｅｕ,ｅｖ}もその面上で定義する。また複数平面があれば、当然平面毎にuv基底ベクトルは設定され、今回の例では{ｅｕ１,ｅｖ１}と{ｅｕ２,ｅｖ２}としている。なお、これら基底ベクトルは世界座標系で定義されるベクトルである。
これらを用いて、CCDi 面上の画素位置は、
2008083786.tif 000003
で与えられる。Ｏｕｖは世界座標系で表される原点位置を表す位置ベクトルである。モニタ表示の(x,y)座標と(u,v)座標との相互変換は、２次元映像から２次元映像への変換であり、設計者に任される。一つの実施例は次節で示す。
【００５０】
具体的にCCD面の法線ベクトルπｉ＝(ｌｉ，ｍｉ，ｎｉ)が与えられたときの{ｅｕｉ,ｅｖｉ}の決め方の一例を以下に示す。束縛条件として、
・{ｅｕｉ,ｅｖｉ}は直交系、
・ｅｕｉはｙ成分を持たない（ｕ方向は地面に対して水平）、
を設定する。直交系という条件は以下の全ての議論では暗黙の条件となる。これら条件から、
2008083786.tif 000004
の条件式がえられ、これらを解くと、
2008083786.tif 000005
という（非ユニット）基底ベクトルが得られる。「ｕ方向が地面に対して水平」という条件をはずす場合には、各基底ベクトルを光軸周りにα度回転させると考え、
2008083786.tif 000006
になる。この場合、ｅｕｉは当然ｙ成分を持つようになる。なお、ｙ＝constである。平面を指定する場合は、上式に従うとｅｕｉ＝０（不定）になるため、別途xz平面内で適切に決定する。これら基底ベクトルを規格化する場合にはその次元を世界座標系に合わせておくと、後での処理に混乱が少ない。
【００５１】
３.３ 視線ベクトルの決定とスクリーン上の対応点
ある画素についてuvベクトル表現が決定されると、図７(a)に示すようにカメラ位置からの視線ベクトルが決まり、この視線ベクトルが指す立体スクリーン上の点が決まる。この点を求めるのは直線と平面の交点を求める作業であり特に難しくはないが、定式化は表現方式によりに変わってくる。以下に示すのはベクトル表現を用いた場合の一例である。
図７(b)より解くべき方程式は以下の２つである。
2008083786.tif 000007
これらを解くと交点は、
2008083786.tif 000008
と与えられる。
【００５２】
３.４ 立体CCD と立体スクリーンの与え方
仮想立体CCDの形状により図４(b)或いは図４(c)ようにモニタ上での見え方が変わる。どちらの表現を選択するかは場合によるが、図４(c)の設定例を図８に示す。この図で、立体CCDと立体スクリーンは平行に設置されている。このとき、立体スクリーンに映し出される映像はどのようなものか、また、角度を調整することでなにが変わるのか、というのが問題となる。
【００５３】
答えは、「仮想」リアカメラCCDで撮影したかのような映像が映し出される、である。この仮想リアカメラCCDは、
・リアカメラと同じ位置、
・立体スクリーンと平行、
という特徴を持ち、結果としてリアカメラの首振り角度を変えたのと同じ映像が得られる。従って、図８の立体CCDにより生成される映像は、
・指定した角度のカメラ映像として遠方映像を表示、
・近景は俯瞰映像、
・俯瞰映像と遠景映像の連続的接続、
という特徴をもつ。ただし、この効果を得るには図８に示すように、立体面の交線２つと仮想カメラ位置が、横から見て直線上に並ぶ必要がある。言い換えれば下記の３つのパラメータ、
・仮想カメラ位置
・立体CCD位置／形状
・立体スクリーン位置／形状
を全く独立に指定することはできない。２つを決めれば、もう一つは自動的に決定される。
【００５４】
３.５ 立体スクリーンからリアカメラCCDへの射影
上記(12)式により、立体スクリーン上の一点が指示された。次の問題は図９に示すように、リアカメラCCD上の対応点を求めることであり、具体的には直線（視線）とCCD平面との交点を求めることである。結局は平面と直線の交点を求める問題であり、３.２節の場合に比べCCDとスクリーンの立場が入れ替わっただけで、原理的には全く同じである。しかし、最終的に求めたい交点の表現が、３次元位置ベクトル形式ではなくCCD表面上の(u,v)座標系という点が異なっている。そのため、図９にあるようにCCD表面を{ｅｕ,ｅｖ}を用いて表現する。この記号は３.１節と同じであるが、今回はリアカメラCCD表面上で定義される。
【００５５】
リアカメラCCD上での基底ベクトルの決定についてはいくつかの方法があるが、現実のリアカメラに合わせ込む必要があるため、合わせ込み調整が可能な手順が望ましい。ここでは以下に２つの方法を示す。ただしいずれの方法もレンズ歪み等の光学的効果は全て除かれて、リアカメラをピンホールカメラとして扱えることが前提である。
【００５６】
３.５.１ リアカメラ{ｅｕ,ｅｖ}の決定
ここではまず{ｅｕ,ｅｖ}の決定について、カメラ視線を指定する方法と、既に実施されてきた回転行列で指定する２つの方法を示す。
【００５７】
３.５.１.１ 視線指定による決定
この手法で用いるパラメータは、
・カメラの光軸方向ベクトル（即ちCCDの法線ベクトルπ＝(ｌ，ｍ，ｎ) ）、
・カメラの光軸周りの回転角度α、
の２つである。「カメラの光軸方向ベクトル」は、カメラの向いている視線の方向ベクトルでもあり、またCCDの法線ベクトルでもある。この値と、
・カメラ位置と焦点距離、
によりCCD面を世界座標系で固定できる。このとき残る自由度は光軸回転のため、水平方向からの回転角度を角度αとすると、３.１節と全く同じであり、
2008083786.tif 000009
となる。このとき、{ｅｕ,ｅｖ}の原点は光軸位置とCCD面の交点である。なお、上式に焦点距離が陽に含まれていないのは、規格化されていないためである。例えば、画角と焦点距離から画素サイズを決定するため、{ｅｕ,ｅｖ}をその大きさに規格化することで、(u,v)値をそのまま画素値にする表現も可能である。
【００５８】
３.５.１.２ 回転行列による決定
既に実装してきた手法として、図１０に示すように真下を向いたカメラをｅｗ軸−＞ｅｖ軸−＞ｅｕ軸の順に回転処理し、カメラ姿勢を指定する方法がある。ここでｅｕは画面の横軸、ｅｖは画面の縦軸で、それらの原点は画面中心（光軸）に対応している。これらの回転角度から最終の{ｅｕ,ｅｖ}を求められれば、従来手法の継続性の観点から有用である。その計算過程はそれなりに複雑であり、以下にその結果だけを示す。
2008083786.tif 000010
ここでの回転軸と角度の対応は次の通りである。
φ：ｅｗ軸回転、（第１回転）
ψ：ｅｖ軸回転、（第２回転）
θ：ｅｕ軸回転、（第３回転）
３.５.２ リアカメラCCDへの射影
図９のCCDベクトルは、上記結果により定められた{ｅｕ,ｅｖ}を用いて、
2008083786.tif 000011
と表現できる。このとき、３.２節で求めた交点CP（図７(b)）に対応する(u,v)値を求めたい。上式と、
2008083786.tif 000012
を連立させることで(u,v)を求める。なお、ＯｕｖはCCD面上の原点を世界座標系で表現した３次元位置ベクトルである。結果だけを記すと、
2008083786.tif 000013
となる。なお、Ｐｒｅａｒはリアカメラ位置で、演算子×は３次元ベクトルの外積を意味している。これで得られる(u,v)値と実際のカメラ映像との対応はカメラシステムの画像座標に依存するため、一般的に記述できない。そこで次章では、特定の機種を用いた場合の変換例を示す。
【００５９】
３.６ 立体スクリーン法まとめ
本章では立体スクリーンを用いた視点変換手法の原理とその基本式を視点変換処理の流れに沿って紹介した。本手法では、従来手法では不可能であった「俯瞰映像と地平線上の映像の同時表示」が可能になり、表現の自由度は増している。しかしその分自由度が高く、俯瞰データ作成に際しては、より一層の理解が求められることになる。
【００６０】
また、計算時間も増えると思われる。テクニカルには出来るだけ実装を簡素にし、高速演算する工夫はできると思われるが、従来手法との原理的差異、すなわち全画素一括処理と一画素毎の個別処理の違いにより、演算処理量が格段に増え、一層マイコン動作が難しい処理になる可能性がある。結果として、マイコンによるセルフキャリブレーションへの応用は一層困難な作業になると思われる。
【００６１】
４. 実カメラ映像と対応
本章で述べる相互変換処理の全体像を図１１に示す。この一連の処理では、ピンホールカメラを前提とした前節の変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図１１内の矢印で示す６つの変換、すなわち、
・デコーダ間変換、
・ｙ軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。前節で示したのは、この中の「視点変換」に関わる内容だけである。本章ではそれ以外の変換処理について詳述する。なお、本記述では、
カメラ：CC-445（クラリオン製）、
デコーダ：PCCAP（I/O データ製）、
を用いた場合の実施例を示している。
【００６２】
４.１ デコーダ間変換
この変換は、ビデオキャプチャカードPCCAP(I/O データ製)のデコーダ性能とPICASSO のデコーダ性能とを互換させる変換である。PCCAPは歪み補正技術を構築するときに用いたハードウエアであり、この座標系で補正係数が決定されているため、当面避けて通れない。最も簡便な変換は、縦横とも解像度比分だけ倍数をかけて、座標値を対応させることである。ただし、これは近似的な対応であり、まず間違いなくズレが生じる。
PCCAPのデコーダとPICASSOのデコーダでは、NTSC信号からの映像切り出し領域が異なるためである。これまでの経験で、数％程度の位置ズレは常識的に存在する。データが全てそろっていれば、
・デコーダ性能表を比較して割り出す、
・同じカメラ映像をデコーダで同時に取得して比較する、
という手段があるが、残念ながら、
・PCCAP及びPICASSOともにデコーダの性能表は出ていない、
・PICASSOのデジタル映像データは外部に直接取り出せない、
のため現在ともに不可能である。現在用いている対策は複雑な手順となるが、PICASSO出力系のエンコーダ性能と併せて三つの相互変換について連立方程式を解くようにして決定する手法を考案している。このときPICASSOのスーパーインポーズ機能を併用して、内部の座標系を外部から計測できるように工夫している。
現在判明している変換式は、唯一PICASSO 開発途中に評価ボード（外部デコーダ）を用いて調整した結果だけである。
【００６３】
４.２ ｙ軸変換
これは原点を上下にする変換処理である。歪み補正技術構築時に原点を下にとる座標系を用いている。単純にｙ軸方向の画素数により変換するだけである。
【００６４】
４.３ 歪み補正変換
現有の歪み補正処理技術は、PCCAP(I/O データ製)でキャプチャした歪み補正前後のビットマップ画像（解像度640×480）について無次元の画素空間で処理する技術である。この変換処理の原理は、図１２(b)に示すように、各画素の光軸位置からの距離を変えるだけである。変換量は図１２(a)のグラフに示すような高次の単調増加関数で表され、あらかじめ実験的に定める。なお、経験上クラリオン製カメラでは同じロットでも光軸位置が数％程度ふらついている。これだけふらつきがあると、歪率の高い画像周縁部の映像処理に影響が現れるため、周縁部はできるだけは変換しない方がよい。
【００６５】
４.４ ピンホールカメラ変換
前節の歪み補正映像は無次元の処理であり、得られた映像を世界座標系の仮想CCD面上の映像に対応させるために、物理量を導入する。図１３はそのときの考え方を図示している。図中の歪み補正前後の映像は、前節と同じ解像度 640×480の画像としているが、それに対応するカメラモデルは異なっている様子が図１３の模式図で示されている。
【００６６】
図１３(a)に示す広角カメラの模式図では、光軸位置が画像中心にない。少なくともこれまで弊社のカメラで実験してきた限りでは、合致していた例はない。図中の光軸上の「カメラ位置」がCCD面からの焦点距離を表しレンズ位置に対応する。この図では、斜めの入射光がカメラ（レンズ）位置で屈折してCCD面上で結像し、その結果歪み映像が生じる様子を図示している。
【００６７】
一方、図１３(b)に示すピンホールカメラの模式図は異なっている。広角カメラ模式図に比べCCDの物理サイズは大きめに描かれ、焦点距離は短くなっている。また入射光は屈折せず直線的にCCD面上で結像しているように描かれている。この模式図を見ると、例えばCCD面のサイズ（或いはピクセルサイズ）をより大きく設定しても、焦点距離を同じ割合で長く設定すれば、同じ解像度で同じ映像を取得できることが理解される。すなわち特別な事情がない限り比率を保持しておけば、ピンホールカメラのスケール設定は自由である。この模式図から対応点計算に必要なカメラ定数は以下の値となる。
・仮想CCD面上での光軸位置、
・仮想CCDの焦点距離 f、
・仮想CCDのピクセルサイズ (Wx Wy)、
光軸位置については、考え易さの観点から図中では画像の中心（319.5,239.5）に設定しているが、そもそも仮想的なピンホールカメラであり、どこを中心にするかは自由である。また後の２つの項目については先述べたように、絶対値そのものはあまり重要ではない。
【００６８】
これら仮想CCDの設定値を使うと、世界座標系への変換処理は図１４に示す関係から、
2008083786.tif 000014
(Wx Wy)：仮想CCDのピクセルサイズ（通常はWx＝Wy）、
Ｏｃ：仮想CCD の光学中心（任意、通常は画面中央）、
とすることで変換する。なお、３.２節で述べたように基底ベクトル{ｅｕ,ｅｖ}は世界座標系の単位長さに規格化されているのが通常であり、その場合に(Wx Wy)は仮想CCDのピクセルサイズとしての意味を持つ。もし基底ベクトルが世界座標系で規格化されていなければ、この値はピクセルサイズではなく比例係数である。
【００６９】
さらに車載リアカメラについては、多くの場合、
2008083786.tif 000015
という左右反転処理が必要である。一般にリアカメラ映像は左右反転映像が出力されているためで、CC-445の場合にも同様である。
【００７０】
４.５ 視点変換
これは第３章で論じた内容でありここでは詳述しない。
【００７１】
４.６ エンコーダ変換
出力画像のデザインに関わる内容であり一般式は提示できないが、例えば一定スケールで単純に画像中央に表示する場合は、
2008083786.tif 000016
α：スケール定数、
SC：出力画像系の中心（図１１ではSC＝(179.5, 119.5)）、
で与えられる。注意するのは、リアカメラ映像を出力する場合、運転者視点用に左右反転が求められることがあり、その場合には４.４節で指摘したように左右反転処理を行う。そのときは上記処理前に、
2008083786.tif 000017
とするか、処理後に左右反転処理が必要である。後者の処理の場合、左右非対称な光学軸を設定して絵作りしている場合には注意が必要である。
なお、エンコーダ性能とモニタ性能の組み合わせ次第で、必ずしもエンコーダ座標系の中心点が出力モニタ上の中心点ではないため、上式SCで調整する場合が多い。
【００７２】
５．まとめ
本記述では、
・立体スクリーン／立体CCD概念、
・二平面モデルによる視点変換手法の原理、
・座標変換群の全体像、
・各変換処理の概念及び手法、
について示した。本記述で全ての変換式を提示しており、示した手続きに従えばマッピングテーブルを作成できるはずである。
【００７３】
次に、効果を説明する。
実施例１の画像生成装置および画像生成方法にあっては、下記に列挙する効果を得ることができる。
【００７４】
(1) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、前記仮想投影面として、地面上に設定した近景用スクリーン７１と、該近景用スクリーン７１の実カメラから遠い側に連接すると共に所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７を設定する仮想立体投影面設定手段と、前記実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手段と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する座標変換手段と、前記座標変換にしたがって仮想カメラ８の仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成装置を提供することができる。
【００７５】
(2) 前記仮想カメラ８の仮想撮像面として、前記近景用スクリーン７１に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手段を設け、前記座標変換手段は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換し、前記モニタ画像データ生成手段は、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するため、仮想立体投影面７により生じるパースを除去することができると共に、仮想立体投影面７と仮想立体撮像面９を連動、或いは独立に設定することにより、視点変換の自由度を向上させることができる。
【００７６】
(3) 前記座標変換手段は、仮想立体撮像面９上での一つの画素位置を指定し、仮想立体投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成するため、例えば、実カメラの撮像面上での一つの画素位置を指定して最終的に仮想立体撮像面９上での対応点を決める場合には、俯瞰画像への変換により拡大・縮小が生じ、全画素分の対応点を求めることができない場合があるのに対し、出力画像となる仮想立体撮像面９の全画素分の対応点を求めることができる。
【００７７】
(4) 歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、前記座標変換手段は、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系とするため、変換量関係特性を用いた簡単な歪み補正変換により、カメラレンズによる映像の歪みが補正され、ピンホールカメラでの撮像画面のように、直線的に描かれる遠景のパース画像を得ることができる。
【００７８】
(5) 前記仮想カメラ設定手段は、外部からの設定操作により任意の空間位置に仮想カメラを設定できるため、モニタ画面の下部に表示される近景の俯瞰画像と上部に表示される遠景のパース画像とのバランスが適切になるように調整することができる。
【００７９】
(6) 前記仮想立体投影面設定手段は、外部からの設定操作により遠景用スクリーン７２の近景用スクリーン７１に対する上向き傾斜角度αを任意に設定できるため、遠景のパース画像として、遠近感が強く表示されるデザインや立体感を強く感じさせるデザインにすることができる等、モニタ画面のデザイン自由度を高めることができる。
【００８０】
(7) 前記仮想立体撮像面設定手段は、外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定できるため、遠景のパース画像として、遠近感が強く表示されるデザインや立体感を強く感じさせるデザインにすることができる等、モニタ画面のデザイン自由度を高めることができる。
【００８１】
(8) 前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラ１であるため、下部に表示される近景の俯瞰画像と上部に表示される中景乃至遠景のパース画像の合成画像により、距離感や遠近感を含めて車両の後方周囲状況を的確にモニタ表示し、運転支援の実効を図ることができる。
【００８２】
(9) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、前記仮想投影面として、地面上に設定した近景用スクリーン７１と、該近景用スクリーン７１の実カメラから遠い側に連接すると共に所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７を設定する仮想立体投影面設定手順と、実撮像面に投影される画像により前記カメラ映像データを取得する実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手順と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、前記座標変換にしたがって仮想カメラ８の仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成方法を提供することができる。
【００８３】
(10) 前記仮想カメラ８の仮想撮像面として、前記近景用スクリーン７１に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手順を設け、前記座標変換手順は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換し、前記モニタ画像データ生成手順は、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するため、仮想立体投影面７により生じるパースを除去することができると共に、仮想立体投影面７と仮想立体撮像面９を連動、或いは独立に設定することにより、視点変換の自由度を向上させることができる。
【００８４】
以上、本発明の画像生成装置および画像生成方法を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００８５】
実施例１では、仮想投影面を仮想立体投影面とし、かつ、仮想撮像面を仮想立体撮像面とする好適な例を示したが、仮想撮像面は平面による撮像面とし、仮想投影面のみを仮想立体投影面とするものであっても良い。要するに、仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手段を有するものであれば、実施例１には限られることはない。
【００８６】
実施例１では、リアカメラを１台のみ設置し、１台のリアカメラにより取得した単独のカメラ映像データの各画素位置を座標変換してモニタ画像データを生成する例を示した。これは、本発明が、実カメラからの単独のカメラ映像データを用いることを特徴とし、この点を明瞭にする意味で、実施例１では車載カメラを１台にする例を示したものである。よって、実施例１の記載は、車載カメラの台数を１台に限定するものではなく、１台の実カメラと１台または複数台の補助カメラを設置しても良い。例えば、俯瞰映像において、実カメラであるリアカメラCCDから見て死角部分（両端部分）の映像が失われることがあるが、この場合、他の車載カメラ（補助カメラ）からの映像を利用し、死角部分の映像を補完するようにしても良い。
【００８７】
実施例１では、モニタ表示画像として、近景の俯瞰表示画像と中景乃至遠景のパース表示画像とがシームレスに接合された画像とする例を示したが、例えば、近景の俯瞰表示画像と中景乃至遠景のパース表示画像との間に仕切り線を設定したモニタ表示画像としても良い。すなわち、本発明は、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成するものであり、モニタ画像データに基づいて作成されるモニタ表示画像についてまで接合という条件を規定するものではない。例えば、視認性やデザイン性等を考慮して予め作成された仕切り線や枠組み等を施すベース画像に、生成したモニタ画像データに基づく俯瞰画像とパース画像を組み込み、両画像の合成画像をモニタへの表示画像とするようにしても良い。
【産業上の利用可能性】
【００８８】
実施例１では、車両に搭載されるリアカメラへの適用例を示したが、車両に搭載されるサイドカメラやフロントカメラへも適用できるし、また、車両以外に、店舗等に設置される監視カメラへも適用でき、監視カメラへ適用した場合には、カメラの設置台数やモニタの設置台数を大幅に減らすことができるというメリットを持つ。
【図面の簡単な説明】
【００８９】
【図１】実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図２】実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【図３】実施例１の画像生成装置において実カメラ映像からの視点変換のバリエーションを示す映像模式図である。
【図４】立体スクリーンと立体CCDによる視点変換の概略を示す図で、(a)は二平面モデルによる視点変換（投影）の全体図、(b)は仮想平面CCDの場合の見え方、(c)が仮想立体CCDの場合の見え方を示す。
【図５】世界座標系の比較を示す図で、(a)は今回の世界座標系、(b)は地面をスクリーンとする世界座標系を示す。
【図６】仮想立体CCDの概略を示す図で、(a)は仮想立体CCDの斜視図、(b)はモニタ表示例を示す。
【図７】仮想スクリーンと視線ベクトルの関係を示す図で、(a)は視線ベクトルの定義、(b)は仮想スクリーンの定義と交点の位置を示す。
【図８】仮想スクリーンと視線ベクトルの関係を示す全体図である。
【図９】リアカメラCCD周りの各種定義を示す図である。
【図１０】リアカメラCCD周りの記号の定義を示す図で、(a)は初期状態、(b)最終状態を示す。
【図１１】各種座標変換の相互作用を示す図である。
【図１２】歪み補正に用いられる関数例を示す図で、(a)は変換量の関数例、(b)光軸からの距離による相互変換を示す。
【図１３】歪み処理前後の画像と座標系の関係を示す図で、(a)は広角カメラ模式図、(b)はピンホールカメラ模式図を示す。
【図１４】仮想CCD画素(x,y)と世界座標系(u,v)の相関を示す図で、(a)は仮想CCD画素上に世界座標系を示し、(b)は無次元量と実空間量の相互変換を示す。
【符号の説明】
【００９０】
１  リアカメラ（実カメラ）
２  画像処理コントローラ
２１  デコーダ間変換部
２２  座標変換処理部
２３  ＲＯＭ
２４  ＲＡＭ
２５  エンコーダ変換部
３  モニタ
４  仮想カメラ位置調整操作ノブ
５  スクリーン角度調整操作ノブ
６  撮像面角度調整操作ノブ
７  仮想立体投影面
７１  近景用スクリーン
７２  遠景用スクリーン
８  仮想カメラ
９  仮想立体撮像面
９１  近景用撮像面
９２  遠景用撮像面
ａ，ｂ  仮想カメラ８の位置
α  スクリーン傾斜角度
β  撮像面傾斜角度
【図１】
2008083786.tif 000018
【図２】
2008083786.tif 000019
【図３】
2008083786.tif 000020
【図４】
2008083786.tif 000021
【図５】
2008083786.tif 000022
【図６】
2008083786.tif 000023
【図７】
2008083786.tif 000024
【図８】
2008083786.tif 000025
【図９】
2008083786.tif 000026
【図１０】
2008083786.tif 000027
【図１１】
2008083786.tif 000028
【図１２】
2008083786.tif 000029
【図１３】
2008083786.tif 000030
【図１４】
2008083786.tif 000031