(57)【要約】【課題】演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる画像生成装置および画像生成方法を提供すること。【解決手段】視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、実カメラ１と、地面上に仮想投影面７を設定する手段と、地面に平行な近景用撮像面９１と所定の下向き傾斜角度βを持つ遠景用撮像面９２を有する仮想立体撮像面９を設定する手段と、前記実カメラ１より高い位置に仮想カメラ８を設定する手段と、単独のカメラ映像データの各画素位置と、仮想投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換する手段と、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想投影面７を見たときのモニタ画像データを生成する手段と、を備えた。【選択図】図２
2008085446.tif 000002
【特許請求の範囲】
【請求項１】
仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、
地面上に仮想投影面を設定する仮想投影面設定手段と、
前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
前記実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手段と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換する座標変換手段と、
前記座標変換にしたがって仮想カメラの仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、
を備えたことを特徴とする画像生成装置。
【請求項２】
請求項１に記載された画像生成装置において、
前記仮想立体撮像面設定手段は、仮想立体撮像面の遠景用撮像面を、前記実カメラの実撮像面と平行に設定したことを特徴とする画像生成装置。
【請求項３】
請求項１または請求項２に記載された画像生成装置において、
前記座標変換手段は、仮想立体撮像面上での一つの画素位置を指定し、仮想投影面上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの実撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成することを特徴とする画像生成装置。
【請求項４】
請求項３に記載された画像生成装置において、
歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、
前記座標変換手段は、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面の座標系とすることを特徴とする画像生成装置。
【請求項５】
請求項１乃至請求項４の何れか１項に記載された画像生成装置において、
前記仮想カメラ設定手段は、外部からの設定操作により任意の空間位置に仮想カメラを設定できることを特徴とする画像生成装置。
【請求項６】
請求項１乃至請求項５の何れか１項に記載された画像生成装置において、
前記仮想立体撮像面設定手段は、外部からの設定操作により遠景用撮像面の近景用撮像面に対する下向き傾斜角度を任意に設定できることを特徴とする画像生成装置。
【請求項７】
請求項１乃至請求項６の何れか１項に記載された画像生成装置において、
前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラであることを特徴とする画像生成装置。
【請求項８】
仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、
地面上に仮想投影面を設定する仮想投影面設定手順と、
前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面を設定する仮想立体撮像面設定手順と、
実撮像面に投影される画像により前記カメラ映像データを取得する実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手順と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、
前記座標変換にしたがって仮想カメラの仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、
を備えたことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置および画像生成方法に関する。
【背景技術】
【０００２】
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
【０００３】
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
【特許文献１】特開２００５−２３６４９３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された運転支援装置にあっては、１視点映像の場合、俯瞰映像を表示させるため、近景のみの表示となり、多視点映像の場合、カメラ映像を表示させるため、遠景のみの表示となり、車両の周囲状況を的確に認識するには選択操作を要する、という問題があった。
さらに、１視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００５】
また、上記特許文献２に記載された画像生成装置にあっては、数台のカメラで撮影しているエリアの全体の様子を一枚に合成した画像にて表示しようとするものであるため、合成画像に連続性を持たせるには、複数のカメラ画像から特徴点を抽出する特徴点抽出手段と、複数個の特徴点を用いて表示画面の較正を行うキャリブレーション手段と、を設ける必要があり、モニタ画像データを生成するための演算処理が複雑になってしまう。
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００６】
本発明は、上記問題に着目してなされたもので、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる画像生成装置および画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明では、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、
地面上に仮想投影面を設定する仮想投影面設定手段と、
前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、
前記実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手段と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換する座標変換手段と、
前記座標変換にしたがって仮想カメラの仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、
を備えたことを特徴とする。
【発明の効果】
【０００８】
よって、本発明の画像生成装置にあっては、仮想投影面設定手段において、地面上に仮想投影面が設定され、仮想立体撮像面設定手段において、仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面が設定される。また、仮想カメラ設定手段において、実撮像面に投影される画像によりカメラ映像データを取得する実カメラより高い位置に仮想カメラが設定される。そして、座標変換手段において、実カメラにより取得した単独のカメラ映像データの各画素位置と、仮想投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換され、モニタ画像データ生成手段において、座標変換にしたがって仮想カメラの仮想立体撮像面上にカメラ映像データの各画素が移され、仮想カメラから仮想投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データが生成される。
【０００９】
このように、座標変換により実カメラにより取得した単独のカメラ映像データからモニタ画像データを生成するものであるため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
【００１０】
さらに、仮想カメラから仮想投影面を見たとき、仮想立体撮像面の近景用撮像面に投影される画像は近景を上から眺めた俯瞰画像となり、仮想カメラから仮想投影面を見たとき、仮想立体撮像面の遠景用撮像面に投影される画像は中景乃至遠景を斜め上方から眺めたパース画像となる。しかも、仮想立体撮像面の近景用撮像面と遠景用撮像面とは一体に連接されているため、近景の俯瞰表示データと遠景のパース表示データにずれが生じることが全く無く、生成されるモニタ画像データはシームレスに接合したものとなる。
【００１１】
そして、このモニタ画像データにより得られるモニタ画像は、距離感を認識しやすい近景の俯瞰画像と、遠いものは小さく見え近いものは大きく見えるという遠近感を認識しやすい中景乃至遠景のパース画像とを合成した画像となり、この合成画像をモニタ画面に表示することができる。このため、俯瞰画像とカメラ画像の選択操作や分割されたモニタ画面上で目線を移す等を要することなく、１つのモニタ画面にて周囲状況を的確に認識することができる。
【００１２】
この結果、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の画像生成装置および画像生成方法を実現する最良の形態を、図面に示す実施例１に基づいて説明する。
【実施例１】
【００１４】
まず、構成を説明する。
図１は実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図、図２は実施例１の画像生成装置において地面による仮想投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【００１５】
実施例１における画像生成装置は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する装置であり、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、仮想カメラ位置調整操作ノブ４と、撮像面角度調整操作ノブ５と、を備えている。
【００１６】
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面１１（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
【００１７】
このリアカメラ１の光軸側には、図１及び図２に示すように、地面上に仮想投影面７が設定される（仮想投影面設定手段）。
【００１８】
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される（仮想カメラ設定手段）。
【００１９】
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、地面に平行な近景用撮像面９１と、該近景用撮像面９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９が設定される（仮想立体撮像面設定手段）。
【００２０】
前記画像処理コントローラ２は、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
【００２１】
前記デコーダ間変換部２１は、リアカメラ１に接続されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。
なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
【００２２】
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用い、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
【００２３】
前記ＲＯＭ２３は、仮想立体撮像面９上での一つの画素位置を指定し、仮想投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の実撮像面１１上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換される（座標変換手段）。
また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め（図１０(a)参照）、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系としている。
なお、マッピングテーブルとしては、仮想カメラ８の位置（ａ，ｂ）と、撮像面傾斜角度βと、に応じて、所定の位置間隔毎や角度間隔毎に複数のマッピングテーブルが記憶設定されていて、細かな位置設定や角度設定に対しては、例えば、補間法を用いて対応するようにしている。
【００２４】
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、マッピングテーブルを用いて座標変換処理を行う例であるが、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するような例である場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
【００２５】
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。
なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
【００２６】
前記モニタ３は、車室内のインストルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、近景の俯瞰表示と中景乃至遠景のパース表示との合成画像を表示する。
【００２７】
前記仮想カメラ位置調整操作ノブ４は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ノブ４では、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
【００２８】
前記撮像面角度調整操作ノブ５は、運転者等による外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定（例えば、30°〜90°の角度範囲）するための撮像面角度調整操作手段である。
ここで、仮想立体撮像面９は、その遠景用撮像面９２を、リアカメラ１の実撮像面１１と平行に設定した状態を基準状態として設定し、この基準状態から下向き傾斜角度βを調整できるようにする。
【００２９】
実施例１の画像生成装置は、仮想カメラ８，仮想投影面７（地面スクリーン）及び仮想撮像面９を用いた視点変換手法により、モニタ画像データを生成するものである。
【００３０】
発明のポイントは、
仮想カメラ８の撮像面の立体化することで、近景の俯瞰映像と歪み補正した遠景のパース映像を、同時に連続的に表示する。
ことにあり、このために、仮想立体撮像面９を導入し、地面スクリーンによる仮想投影面７を介して視点変換を行うようにした。
【００３１】
実施例１の詳細は、後述する「仮想立体撮像面を用いた視点変換手法」に譲り、要点のみここに示す。
図２に示す実施例１の模式図で、実カメラ映像が仮想投影面７（地面スクリーン）に射影され、その映像を仮想カメラ８の仮想立体撮像面９で撮影している構成である。この構成により、仮想立体撮像面９の近景用撮像面９１に近景の俯瞰映像を撮像し、仮想立体撮像面９の遠景用撮像面９２に中景乃至遠景の映像を撮像するという視点変換ができる。
【００３２】
この実施例１に示す発明の特徴を、図３及び図４を用い、俯瞰映像のみを得る従来手法との実施例１の手法との比較により説明する。
【００３３】
従来手法では、仮想カメラの仮想撮像面は平面としており、図２に示すように、地面に平行に設定している。したがって、近景と遠景の実カメラ撮像面映像（図３(a)）から、俯瞰変換により近景の俯瞰映像のみを生成していた（図３(b)）。
【００３４】
一方、実施例１の仮想立体撮像面９を用いた場合には、近景と遠景の実カメラ撮像面映像（図４(a)）から、俯瞰変換による近景の俯瞰映像とパース変換による中景乃至遠景のパース映像とを連続的に仮想立体撮像面９上に射影する。なお、図３及び図４の(u,v)座標は仮想立体撮像面９の表面上に沿った座標系である。
【００３５】
結果として、近景の俯瞰映像と遠景のパースのついた斜め俯瞰映像が同時に、かつ連続的に表示できるようになる。とりわけ、図１及び図２に示すように仮想立体撮像面９の遠景用撮像面９２とリアカメラ１の実撮像面１１が平行になるように設定すれば、リアカメラ映像と同じパースの遠景映像が表示される（レンズの歪み効果は除く）。そして、仮想立体撮像面９の撮像面傾斜角度βを調整することでパースの制御が可能である。
【００３６】
上記のように、実施例１にあっては、近景の俯瞰映像と中景乃至遠景のパース映像とをシームレスに表示することが可能になる。また、その表示について仮想立体撮像面９の撮像面傾斜角度βを制御することにより、中景乃至遠景映像について、実カメラの取り付けあおり角度を任意に変更する効果を制御することができる。
【００３７】
次に、「仮想立体撮像面を用いた視点変換手法（二平面モデルの場合）」について説明する。
１．背景および目的
車載周囲モニタとして、リアカメラ映像の俯瞰図表示と通常カメラ表示を同時表示させたいという要求は開発当初より存在し、商品化やデモンストレーションに際しては２画面表示により対応してきた。散発的には１画面表示手法について外部要求はあったものの、本当に見やすいのか、という疑問もあり本格的な検討は後回しにしてきた。
【００３８】
現在の「新たな見せ方」検討では、上記要求がそのまま検討課題に含まれる。加えて近景から遠景までの映像を視点変換で見せるなど、従来の視点変換技術では対応できない内容を含むことになる。そこで、これら要求に一括して当たれるように、視点変換アルゴリズムそのものを一新し、拡張性の高い手法を新たに考案することとした。以下に記述する仮想立体撮像面を用いた視点変換手法はその一つの結果である。
【００３９】
この手法の特徴は、俯瞰映像を得るに際し地面に平行に設定していた平面による仮想撮像面を、任意の３次元形状を持つ立体的な仮想立体撮像面にするところにある。従来手法に比べ概念的には仮想撮像面の形状の違いだけであり、分かり易い拡張である。しかしながら、実現するアルゴリズムは全く異なる内容になっている。これまでは特定平面であることを前提として、全画素に同じマトリックスを作用させる簡素なアルゴリズムだったのに対し、任意形状の仮想撮像面に対応するには一画素毎に変換式が変わる可能性があり、その都度、対応点を求めることになるためである。
【００４０】
以下の記述は、この手法を整理し公開することを第一の目的とする。なお、立体撮像面形状については任意性が高く、本記述ではひとつの事例のみを示しているが、対応点計算に必要な基本式群を整理し示しており、その他の立体撮像面形状への応用も期待できる。以下の記述の第二の目的は、視点変換の実装に必要な座標変換群を総合的にレビューし、個別の技術を整理／提示することである。この種の情報は周辺技術的な内容であるため、これまで文書化されておらず、プログラムコードに埋め込まれた形で残っているだけである。しかし、それなりに複雑な手続きになっているため、視点変換の原理がわかっても実装上の障壁が高くなっている。記述の後半では必要な座標変換群を提示している。
【００４１】
２．仮想立体撮像面概論
仮想立体撮像面（以下、「仮想立体CCD」という。）による視点変換の考え方を図２に示す。図２の矢印で示したのが概念上での光の流れである。リアカメラで撮影されて映像を外部の地面スクリーンへ投影し、その地面スクリーン上の映像を仮想立体CCDで撮影している。この図２で仮想CCD画素とリアカメラCCD画素の対応を求めることが視点変換の基本である。もし、実体と同じ形状をした仮想立体CCDを用意できれば、まさに仮想位置から実体を撮影したのと同じ映像を撮影できるはずである。もっとも、リアカメラCCDから見て死角部分の映像は失われたままではある。
【００４２】
図１及び図２で示す仮想立体CCDは２平面で構成された形状であり、仮想CCDとして地面に平行なCCDを選択した場合には全く自由度がないのに比べ、かなり自由度が高いものとなる。代わりに、全ての仮想CCD形状についてここで定式化するのは困難である。以下、図１及び図２と同じ二平面の仮想立体CCDの例を記述することで、その基本的な考え方と構成手法を示している。
【００４３】
３．変換手順
変換手順は、図２の矢印の逆順である。即ち、仮想立体CCD面上の一点を指定し、地面スクリーン上での対応点、リアカメラCCD上での対応点の順番で求める。これは、出力画像の全画素分の対応点を求めるためである。なお、CCD面の座標系について、画像処理を考える場合にはエンコーダ／デコーダなどによってデジタル化した後の座標系で考えるのが実践的であるが、一方で機種依存性が出てしまい応用が効きにくい表現になる。そのため本記述では一般的な座標系を用いて一連の変換手順を示している。特定機種への対応については、次章でPICASSOについて対応例を示している。
【００４４】
３.１ 世界座標系の定義
本記述で用いる世界座標系は、図５に示す地面をスクリーンとする座標系を使う。これは、３次元グラフィックス系でよく用いられる世界座標系とはｙ軸とｚ軸が入れ替わっている。
【００４５】
３.２ 仮想CCD面の決定
仮想立体CCD面の定義について、最初に述べたように複数の平面CCDによる構成を示す。平面CCD内の画素位置表示にはいくつかの手法があるが、ここではuvベクトルを用いて表現する。図６(a)がその実施例である。
光学的には図中のカメラ位置より後方にある仮想立体CCDが本来のCCD面であるが、処理のしやすさなどを考慮し、本記述ではカメラ位置を中心に回転した前面仮想立体CCD面上で論じる。そのため、uvベクトルの基底{ｅｕ,ｅｖ}もその面上で定義する。また複数平面があれば、当然平面毎にuv基底ベクトルは設定され、今回の例では{ｅｕ１,ｅｖ１}と{ｅｕ２,ｅｖ２}としている。なお、これら基底ベクトルは世界座標系で定義されるベクトルである。
これらを用いて、CCDi 面上の画素位置は、
ｕ・ｅｕ１＋ｖ・ｅｖ１＋Ｏｕｖ      forCCD1                  (1)
ｕ・ｅｕ２＋ｖ・ｅｖ２＋Ｏｕｖ      forCCD2                  (2)
で与えられる。Ｏｕｖは世界座標系で表される原点位置を表す位置ベクトルである。モニタ表示の(x,y)座標と(u,v)座標との相互変換は、２次元映像から２次元映像への変換であり、設計者に任される。一つの実施例は次節で示す。
【００４６】
３.３ 視線ベクトルの決定とスクリーン上の対応点
ある画素についてuvベクトル表現が決定されると、図６(a)に示すようにカメラ位置からの視線ベクトルが決まり、この視線ベクトルが指す地面スクリーン上の点が決まる。この点を求めるのは直線と平面の交点を求める作業であり特に難しくはない。
【００４７】
３.４ 立体CCDの与え方
仮想立体CCDの形状によりモニタ上での見え方が変わる。仮想立体CCDの斜めに設定したCCD面とリアカメラCCDとの角度を同じにした場合、仮想立体CCDにより生成される映像は、
・指定した角度のカメラ映像として遠方映像を表示、
・近景は俯瞰映像、
・俯瞰映像と遠景映像の連続的接続、
という特徴をもつ。そして、仮想立体CCDの斜めに設定したCCD面をリアカメラCCDの角度から調整した場合、結果として、リアカメラの首振り角度を変えたのと同じ遠方画像が得られる。
【００４８】
３.５ 地面スクリーンからリアカメラCCDへの射影
地面スクリーン上の一点が指示された。次の問題は図７に示すように、リアカメラCCD上の対応点を求めることであり、具体的には直線（視線）とCCD平面との交点を求めることである。結局は平面と直線の交点を求める問題であり、３.２節の場合に比べCCDとスクリーンの立場が入れ替わっただけで、原理的には全く同じである。しかし、最終的に求めたい交点の表現が、３次元位置ベクトル形式ではなくCCD表面上の(u,v)座標系という点が異なっている。そのため、図７にあるようにCCD表面を{ｅｕ,ｅｖ}を用いて表現する。この記号は３.１節と同じであるが、今回はリアカメラCCD表面上で定義される。
【００４９】
リアカメラCCD上での基底ベクトルの決定についてはいくつかの方法があるが、現実のリアカメラに合わせ込む必要があるため、合わせ込み調整が可能な手順が望ましい。ここでは以下に２つの方法を示す。ただしいずれの方法もレンズ歪み等の光学的効果は全て除かれて、リアカメラをピンホールカメラとして扱えることが前提である。
【００５０】
３.５.１ リアカメラ{ｅｕ,ｅｖ}の決定
ここではまず{ｅｕ,ｅｖ}の決定について、カメラ視線を指定する方法と、既に実施されてきた回転行列で指定する方法による。
【００５１】
３.５.２ リアカメラCCDへの射影
図７のCCDベクトルは、上記結果により定められた{ｅｕ,ｅｖ}を用いて、
2008085446.tif 000003
と表現できる。このとき、３.２節で求めた交点CP（図７(b)）に対応する(u,v)値を求めたい。上式と、
2008085446.tif 000004
を連立させることで(u,v)を求める。なお、ＯｕｖはCCD面上の原点を世界座標系で表現した３次元位置ベクトルである。結果だけを記すと、
2008085446.tif 000005
となる。なお、Ｐｒｅａｒはリアカメラ位置で、演算子×は３次元ベクトルの外積を意味している。これで得られる(u,v)値と実際のカメラ映像との対応はカメラシステムの画像座標に依存するため、一般的に記述できない。そこで次章では、特定の機種を用いた場合の変換例を示す。
【００５２】
３.６ 仮想立体CCD法まとめ
本章では仮想立体CCDを用いた視点変換手法の原理とその基本式を視点変換処理の流れに沿って紹介した。本手法では、従来手法では不可能であった「俯瞰映像とパース映像の同時表示」が可能になり、表現の自由度は増している。しかしその分自由度が高く、俯瞰データ作成に際しては、より一層の理解が求められることになる。
【００５３】
４. 実カメラ映像と対応
本章で述べる相互変換処理の全体像を図８に示す。この一連の処理では、ピンホールカメラを前提とした前節の変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図８内の矢印で示す６つの変換、すなわち、
・デコーダ間変換、
・ｙ軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。前節で示したのは、この中の「視点変換」に関わる内容だけである。本章ではそれ以外の変換処理について詳述する。なお、本記述では、
カメラ：CC-445（クラリオン製）、
デコーダ：PCCAP（I/O データ製）、
を用いた場合の実施例を示している。
【００５４】
４.１ デコーダ間変換
この変換は、ビデオキャプチャカードPCCAP(I/O データ製)のデコーダ性能とPICASSO のデコーダ性能とを互換させる変換である。PCCAPは歪み補正技術を構築するときに用いたハードウエアであり、この座標系で補正係数が決定されているため、当面避けて通れない。最も簡便な変換は、縦横とも解像度比分だけ倍数をかけて、座標値を対応させることである。ただし、これは近似的な対応であり、まず間違いなくズレが生じる。
PCCAPのデコーダとPICASSOのデコーダでは、NTSC信号からの映像切り出し領域が異なるためである。これまでの経験で、数％程度の位置ズレは常識的に存在する。データが全てそろっていれば、
・デコーダ性能表を比較して割り出す、
・同じカメラ映像をデコーダで同時に取得して比較する、
という手段があるが、残念ながら、
・PCCAP及びPICASSOともにデコーダの性能表は出ていない、
・PICASSOのデジタル映像データは外部に直接取り出せない、
のため現在ともに不可能である。現在用いている対策は複雑な手順となるが、PICASSO出力系のエンコーダ性能と併せて三つの相互変換について連立方程式を解くようにして決定する手法を考案している。このときPICASSOのスーパーインポーズ機能を併用して、内部の座標系を外部から計測できるように工夫している。
現在判明している変換式は、唯一PICASSO 開発途中に評価ボード（外部デコーダ）を用いて調整した結果だけである。
【００５５】
４.２ ｙ軸変換
これは原点を上下にする変換処理である。歪み補正技術構築時に原点を下にとる座標系を用いている。単純にｙ軸方向の画素数により変換するだけである。
【００５６】
４.３ 歪み補正変換
現有の歪み補正処理技術は、PCCAP(I/O データ製)でキャプチャした歪み補正前後のビットマップ画像（解像度640×480）について無次元の画素空間で処理する技術である。この変換処理の原理は、図９(b)に示すように、各画素の光軸位置からの距離を変えるだけである。変換量は図９(a)のグラフに示すような高次の単調増加関数で表され、あらかじめ実験的に定める。なお、経験上クラリオン製カメラでは同じロットでも光軸位置が数％程度ふらついている。これだけふらつきがあると、歪率の高い画像周縁部の映像処理に影響が現れるため、周縁部はできるだけは変換しない方がよい。
【００５７】
４.４ ピンホールカメラ変換
前節の歪み補正映像は無次元の処理であり、得られた映像を世界座標系の仮想CCD面上の映像に対応させるために、物理量を導入する。図１０はそのときの考え方を図示している。図中の歪み補正前後の映像は、前節と同じ解像度 640×480の画像としているが、それに対応するカメラモデルは異なっている様子が図１０の模式図で示されている。
【００５８】
図１０(a)に示す広角カメラの模式図では、光軸位置が画像中心にない。少なくともこれまで弊社のカメラで実験してきた限りでは、合致していた例はない。図中の光軸上の「カメラ位置」がCCD面からの焦点距離を表しレンズ位置に対応する。この図では、斜めの入射光がカメラ（レンズ）位置で屈折してCCD面上で結像し、その結果歪み映像が生じる様子を図示している。
【００５９】
一方、図１０(b)に示すピンホールカメラの模式図は異なっている。広角カメラ模式図に比べCCDの物理サイズは大きめに描かれ、焦点距離は短くなっている。また入射光は屈折せず直線的にCCD面上で結像しているように描かれている。この模式図を見ると、例えばCCD面のサイズ（或いはピクセルサイズ）をより大きく設定しても、焦点距離を同じ割合で長く設定すれば、同じ解像度で同じ映像を取得できることが理解される。すなわち特別な事情がない限り比率を保持しておけば、ピンホールカメラのスケール設定は自由である。この模式図から対応点計算に必要なカメラ定数は以下の値となる。
・仮想CCD面上での光軸位置、
・仮想CCDの焦点距離 f、
・仮想CCDのピクセルサイズ (Wx Wy)、
光軸位置については、考え易さの観点から図中では画像の中心（319.5,239.5）に設定しているが、そもそも仮想的なピンホールカメラであり、どこを中心にするかは自由である。また後の２つの項目については先述べたように、絶対値そのものはあまり重要ではない。
【００６０】
これら仮想CCDの設定値を使うと、世界座標系への変換処理は図１１に示す関係から、
2008085446.tif 000006
(Wx Wy)：仮想CCDのピクセルサイズ（通常はWx＝Wy）、
Ｏｃ：仮想CCD の光学中心（任意、通常は画面中央）、
とすることで変換する。なお、３.２節で述べたように基底ベクトル{ｅｕ,ｅｖ}は世界座標系の単位長さに規格化されているのが通常であり、その場合に(Wx Wy)は仮想CCDのピクセルサイズとしての意味を持つ。もし基底ベクトルが世界座標系で規格化されていなければ、この値はピクセルサイズではなく比例係数である。
【００６１】
さらに車載リアカメラについては、多くの場合、
−ｕ⇒ｕ                                              (9)
という左右反転処理が必要である。一般にリアカメラ映像は左右反転映像が出力されているためで、CC-445の場合にも同様である。
【００６２】
４.５ 視点変換
これは第３章で論じた内容でありここでは詳述しない。
【００６３】
４.６ エンコーダ変換
出力画像のデザインに関わる内容であり一般式は提示できないが、例えば一定スケールで単純に画像中央に表示する場合は、
2008085446.tif 000007
α：スケール定数、
SC：出力画像系の中心（図８ではSC＝(179.5, 119.5)）、
で与えられる。注意するのは、リアカメラ映像を出力する場合、運転者視点用に左右反転が求められることがあり、その場合には４.４節で指摘したように左右反転処理を行う。そのときは上記処理前に、
ｕ⇒−ｕ                                              (11)
とするか、処理後に左右反転処理が必要である。後者の処理の場合、左右非対称な光学軸を設定して絵作りしている場合には注意が必要である。
なお、エンコーダ性能とモニタ性能の組み合わせ次第で、必ずしもエンコーダ座標系の中心点が出力モニタ上の中心点ではないため、上式SCで調整する場合が多い。
【００６４】
５．まとめ
本記述では、
・立体CCD概念、
・二平面モデルによる視点変換手法の原理、
・座標変換群の全体像、
・各変換処理の概念及び手法、
について示した。本記述で示した手続きに従えばマッピングテーブルを作成できるはずである。
【００６５】
次に、効果を説明する。
実施例１の画像生成装置および画像生成方法にあっては、下記に列挙する効果を得ることができる。
【００６６】
(1) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、地面上に仮想投影面７を設定する仮想投影面設定手段と、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手段と、前記実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手段と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換する座標変換手段と、前記座標変換にしたがって仮想カメラ８の仮想立体撮像面９上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成装置を提供することができる。
【００６７】
(2) 前記仮想立体撮像面設定手段は、仮想立体撮像面９の遠景用撮像面９２を、前記実カメラの実撮像面と平行に設定したため、実カメラ映像と同じパースの遠景映像を表示するモニタ画像データを生成することができる。
【００６８】
(3) 前記座標変換手段は、仮想立体撮像面９上での一つの画素位置を指定し、仮想投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの実撮像面１１上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成するため、例えば、実カメラの実撮像面１１上での一つの画素位置を指定して最終的に仮想立体撮像面９上での対応点を決める場合には、俯瞰画像への変換により拡大・縮小が生じ、全画素分の対応点を求めることができない場合があるのに対し、出力画像となる仮想立体撮像面９の全画素分の対応点を求めることができる。
【００６９】
(4) 歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、前記座標変換手段は、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系とするため、変換量関係特性を用いた簡単な歪み補正変換により、カメラレンズによる映像の歪みが補正され、ピンホールカメラでの撮像画面のように、直線的に描かれる遠景のパース画像を得ることができる。
【００７０】
(5) 前記仮想カメラ設定手段は、外部からの設定操作により任意の空間位置に仮想カメラを設定できるため、モニタ画面の下部に表示される近景の俯瞰画像と上部に表示される遠景のパース画像とのバランスが適切になるように調整することができる。
【００７１】
(6) 前記仮想立体撮像面設定手段は、外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定できるため、遠景のパース画像として、遠近感が強く表示されるデザインや立体感を強く感じさせるデザインにすることができる等、モニタ画面のデザイン自由度を高めることができる。
【００７２】
(7) 前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラ１であるため、下部に表示される近景の俯瞰画像と上部に表示される中景乃至遠景のパース画像の合成画像により、距離感や遠近感を含めて車両の後方周囲状況を的確にモニタ表示し、運転支援の実効を図ることができる。
【００７３】
(8) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、地面上に仮想投影面７を設定する仮想投影面設定手順と、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手順と、実撮像面１１に投影される画像により前記カメラ映像データを取得する実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手順と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、前記座標変換にしたがって仮想カメラ８の仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成方法を提供することができる。
【００７４】
以上、本発明の画像生成装置および画像生成方法を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００７５】
実施例１では、リアカメラを１台のみ設置し、１台のリアカメラにより取得した単独のカメラ映像データの各画素位置を座標変換してモニタ画像データを生成する例を示した。これは、本発明が、実カメラからの単独のカメラ映像データを用いることを特徴とし、この点を明瞭にする意味で、実施例１では車載カメラを１台にする例を示したものである。よって、実施例１の記載は、車載カメラの台数を１台に限定するものではなく、１台の実カメラと１台または複数台の補助カメラを設置しても良い。例えば、俯瞰映像において、実カメラであるリアカメラCCDから見て死角部分（両端部分）の映像が失われることがあるが、この場合、他の車載カメラ（補助カメラ）からの映像を利用し、死角部分の映像を補完するようにしても良い。
【００７６】
実施例１では、モニタ表示画像として、近景の俯瞰表示画像と中景乃至遠景のパース表示画像とがシームレスに接合された画像とする例を示したが、例えば、近景の俯瞰表示画像と中景乃至遠景のパース表示画像との間に仕切り線を設定したモニタ表示画像としても良い。すなわち、本発明は、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成するものであり、モニタ画像データに基づいて作成されるモニタ表示画像についてまで接合という条件を規定するものではない。例えば、視認性やデザイン性等を考慮して予め作成された仕切り線や枠組み等を施すベース画像に、生成したモニタ画像データに基づく俯瞰画像とパース画像を組み込み、両画像の合成画像をモニタへの表示画像とするようにしても良い。
【産業上の利用可能性】
【００７７】
実施例１では、車両に搭載されるリアカメラへの適用例を示したが、車両に搭載されるサイドカメラやフロントカメラへも適用できるし、また、車両以外に、店舗等に設置される監視カメラへも適用でき、監視カメラへ適用した場合には、カメラの設置台数やモニタの設置台数を大幅に減らすことができるというメリットを持つ。
【図面の簡単な説明】
【００７８】
【図１】実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図２】実施例１の画像生成装置において仮想投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【図３】従来の俯瞰映像の作成に際し実カメラ撮像面映像と仮想平面撮像面映像との視点変換を示す映像模式図である。
【図４】実施例１の俯瞰とパースとのシームレス映像の作成に際し実カメラ撮像面映像と仮想立体撮像面映像との視点変換を示す映像模式図である。
【図５】地面をスクリーンとする世界座標系を示す。
【図６】仮想立体CCDの概略を示す図で、(a)は仮想立体CCDの斜視図、(b)はモニタ表示例を示す。
【図７】仮想スクリーンと視線ベクトルの関係を示す図で、(a)は視線ベクトルの定義、(b)は仮想スクリーンの定義と交点の位置を示す。
【図８】各種座標変換の相互作用を示す図である。
【図９】歪み補正に用いられる関数例を示す図で、(a)は変換量の関数例、(b)光軸からの距離による相互変換を示す。
【図１０】歪み処理前後の画像と座標系の関係を示す図で、(a)は広角カメラ模式図、(b)はピンホールカメラ模式図を示す。
【図１１】仮想CCD画素(x,y)と世界座標系(u,v)の相関を示す図で、(a)は仮想CCD画素上に世界座標系を示し、(b)は無次元量と実空間量の相互変換を示す。
【符号の説明】
【００７９】
１  リアカメラ（実カメラ）
２  画像処理コントローラ
２１  デコーダ間変換部
２２  座標変換処理部
２３  ＲＯＭ
２４  ＲＡＭ
２５  エンコーダ変換部
３  モニタ
４  仮想カメラ位置調整操作ノブ
５  撮像面角度調整操作ノブ
７  仮想投影面
８  仮想カメラ
９  仮想立体撮像面
９１  近景用撮像面
９２  遠景用撮像面
ａ，ｂ  仮想カメラ８の位置
β  撮像面傾斜角度
【図１】
2008085446.tif 000008
【図２】
2008085446.tif 000009
【図３】
2008085446.tif 000010
【図４】
2008085446.tif 000011
【図５】
2008085446.tif 000012
【図６】
2008085446.tif 000013
【図７】
2008085446.tif 000014
【図８】
2008085446.tif 000015
【図９】
2008085446.tif 000016
【図１０】
2008085446.tif 000017
【図１１】
2008085446.tif 000018