(57)【要約】  車載用カメラの視点変換映像システムは、車両に取り付け固定される車載用カメラ１１と、画像を表示させるモニター装置１４と、前記車載用カメラ１１からの生の画像データが入力されかつ該画像データに視点変換画像生成用のマッピングデータに基づき視点変換処理を施して視点変換画像データを前記モニター装置１４に出力する視点変換処理ユニット１２を有する。しかも、視点変換映像システムは、前記車載用カメラ１１の三次元空間に対する位置と姿勢とを意味するパラメータであって且つ前記マッピングデータを生成するためのパラメータを入力するパラメータ入力装置１３とを有する。また、視点変換映像取得方法は、マッピングデータを生成するための入力パラメータを入力する入力ステップと、視点変換画像を表示させる第2表示ステップと、視点変換画像が適切か否かを判断して保存又は再実行可能とする判断ステップを有する。
2010007960.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付け固定される車載用カメラと、
画像を表示させるモニター装置と、
前記車載用カメラからの生の画像データが入力されかつ該画像データに視点変換画像生成用のマッピングデータに基づき視点変換処理を施して視点変換画像データをモニター装置に出力する視点変換処理ユニットと、
前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ前記マッピングデータを生成するためのパラメータを入力するパラメータ入力装置を有することを特徴とする車載用カメラの視点変換映像システム。
【請求項２】
前記視点変換処理ユニットは、前記パラメータ入力装置により入力された入力パラメータに基づいて前記マッピングデータをリアルタイムで演算する演算部と、前記車載用カメラから出力された画像データと前記演算部から出力されたマッピングデータとが入力されて該マッピングデータに基づき前記画像データに視点変換処理をリアルタイムで施す視点変換処理回路と、前記パラメータ入力装置により入力された入力パラメータを記憶するパラメータ記憶部と、を備えていることを特徴とする請求項１に記載の車載用カメラの視点変換映像システム。
【請求項３】
前記パラメータ記憶部には予め設定された初期パラメータが記憶され、前記初期パラメータは前記パラメータ入力装置により入力された入力パラメータに置換されることを特徴とする請求項２に記載の車載用カメラの視点変換映像システム。
【請求項４】
前記パラメータ入力装置はリモートコントロール装置からなり、該リモートコントロール装置は前記車載用カメラの視点の三次元座標位置に対応する３個のパラメータを指定する操作部と前記車載用カメラの三次元空間に対する姿勢としてのピッチ角とロール角とヨー角との３個のパラメータを指定する操作部とを有することを特徴とする請求項２に記載の車載用カメラの視点変換映像システム。
【請求項５】
前記モニター装置はタッチパネル式のモニター装置であり、前記パラメータ記憶部は予め設定された初期パラメータを記憶する初期パラメータ記憶部および前記パラメータ入力装置により入力された入力パラメータを記憶する複数個の入力パラメータ記憶部を有し、前記視点変換処理ユニットは前記複数個の入力パラメータ記憶部に記憶された入力パラメータに基づき得られる視点変換画像を前記タッチパネル式のモニター装置の画面に同時に並列的に縮小画像として表示させると共に、前記視点変換処理ユニットは前記縮小画像にタッチすると当該縮小画像を前記モニター装置の画面に拡大表示させることを特徴とする請求項２に記載の車載用カメラの視点変換映像システム。
【請求項６】
前記モニター装置は前記パラメータ入力装置を兼用するタッチパネル式のモニター装置であり、前記モニター装置の画面には前記パラメータを入力するパラメータ入力部が表示されることを特徴とする請求項２に記載の車載用カメラの視点変換映像システム。
【請求項７】
前記パラメータ入力部は前記車載用カメラの三次元位置データを入力するために前記画面に表示された移動方向指示部であることを特徴とする請求項６に記載の車載用カメラの視点変換映像システム。
【請求項８】
前記移動方向指示部は、Ｘ方向の位置データを入力するＸ移動方向指示部，Ｙ方向の位置データを入力するＹ移動方向指示部，Ｚ方向の位置データを入力するＺ移動方向指示部であることを特徴とする請求項７に記載の車載用カメラの視点変換映像システム。
【請求項９】
前記Ｘ移動方向指示部，Ｙ移動方向指示部，Ｚ移動方向指示部は視点位置を反対方向に移動させるための一対の指示ボタンをそれぞれ備えることを特徴とする請求項８に記載の車載用カメラの視点変換映像システム。
【請求項１０】
前記各移動方向指示部の一対の指示ボタンは互いに反対方向に向けられた矢印画像であることを特徴とする請求項９に記載の車載用カメラの視点変換映像システム。
【請求項１１】
前記画面には前記車載用カメラ三次元方向の平行移動量をそれぞれ表示させる３つの表示部が設けられていることを特徴とする請求項７に記載の車載用カメラの視点変換映像システム。
【請求項１２】
前記指示ボタンは前記画面の周縁部に設けられていることを特徴とする請求項９に記載の車載用カメラの視点変換映像システム。
【請求項１３】
前記タッチパネル式のモニター装置は三次元座標位置調整画面と姿勢調整画面を有し、前記視点変換処理ユニットは前記車載用カメラの視点の三次元座標位置に対応する３個のパラメータを指定する指示ボタンと前画面に戻すための戻るボタン及び三次元座標位置の調整完了を意味しかつ次の画面に移行するための決定ボタンを前記三次元座標位置調整画面に表示させる一方、前記視点変換処理ユニットは前記決定ボタンの操作により前記モニター装置に表示されかつ前記車載用カメラの三次元空間に対する姿勢としてのピッチ角，ロール角，ヨー角の３個のパラメータを指定する指示ボタンと前画面に戻すための戻るボタン及び三次元空間に対する姿勢調整の完了を意味ししかも入力された入力パラメータを前記入力パラメータ記憶部に記憶させるための決定ボタンを前記姿勢調整画面に表示させることを特徴とする請求項４に記載の車載用カメラの視点変換映像システム。
【請求項１４】
車両に取り付け固定された車載用カメラからの生の画像データが入力されかつ視点変換処理を施して視点変換された画像データをモニター装置に出力する視点変換処理ユニットを用いていると共に、前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ視点変換画像生成用のマッピングデータを生成する初期パラメータに基づきリアルタイムで前記車載用カメラにより取得された生の画像データに視点変換処理を施して前記モニター装置の画面に視点変換画像を表示させる第1表示ステップと、前記初期パラメータにより得られた視点変換画像を変更するために前記視点変換画像を視認しつつ前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ前記マッピングデータを生成するための入力パラメータを入力する入力ステップと、該入力ステップにより入力された入力パラメータに基づきリアルタイムで前記車載用カメラにより取得された画像データに視点変換処理を施して前記モニター装置の画面に視点変換画像を表示させる第2表示ステップと、該第2表示ステップで前記モニター装置の画面に表示された視点変換画像が適切か否かを判断して該視点変換画像が適切と判断したときには前記入力パラメータをパラメータ記憶部に保存させ、該視点変換画像が不適切と判断したときには前記入力ステップを再実行可能とする判断ステップとを有することを特徴とする車載用カメラの視点変換映像取得方法。
【請求項１５】
前記視点変換処理ユニットは、前記入力されたパラメータに基づいて前記マッピングデータをリアルタイムで演算する演算部と、前記車載用カメラから出力された画像データと前記演算部から出力されたマッピングデータとが入力されて該視点変換画像生成用のマッピングデータに基づき前記画像データに視点変換処理をリアルタイムで施す視点変換処理回路とを備えていることを特徴とする請求項７に記載の車載用カメラの視点変換映像取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顧客が車両に車載用カメラを取り付け固定して、車両に固定された車載用カメラにより取得された画像をモニター装置の画面を見ながら自由に視点を変換して視点変換画像を見ることのできる車載用カメラの視点変換映像システム及び視点変換映像取得方法に関する。
【背景技術】
【０００２】
近年、車載用カメラを車両に取付け固定し、この車載用カメラにより車両周囲を撮影し、この撮影された車両周囲の画像を視点変換して視点変換画像をモニター装置の画面に表示する視点変換映像システムが開発されている。【０００３】
この視点変換映像システムは、例えば、運転者に車両周囲の視点変換画像をモニター装置の画面に提示することにより、障害物の接近や存在等を認知・検知させ、走行安全等のサービスの提供に用いられる。【０００４】
従来、この種の視点変換映像システムでは、障害物までの距離測定を精密に行ったり、複数の車載用カメラにより取得された画像を精密に重ね合わせたりするためにキャリブレーション処理を行っている。ここで、キャリブレーション処理とは、車載用カメラの車両への取り付け誤差を補正するパラメータを取得する処理をいう。【０００５】
このキャリブレーション処理は、例えば特許文献１におけるように、工場出荷前にそれぞれの車両に対して行われている。このキャリブレーション処理では、空間的座標位置が既知のいわゆる参照点（又は格子点）を含む参照用被写体を車載用カメラで撮影した後、この撮影により得られた画像に基づいて車載用カメラの三次元空間に対する姿勢を調整するようにしている。この調整の処理では、例えば後部バンパーの輪郭を模した調整マーカが実際にその車体に取り付けられかつ固定された車載用カメラにより取得された生の画像に一致するように、車載用カメラの三次元空間に対する姿勢を意味するパラメータを調整している。そして、この調整により得られたパラメータをパラメータ記憶部（メモリ）に記憶させている。【０００６】
しかし、そのキャリブレーション処理は、参照用被写体を撮影するためにかなりのスペースが必要であり、時間も手間もかかるという問題がある。【０００７】
また、生画像の歪みを除去した俯瞰画像を視点変換処理により取得するために、図１に示すように車両１の後部に車載用カメラ２を設置しておいて、この車載用カメラ２により参照用被写体３を撮像し、この撮像により図２の既知の参照点４を含む参照用被写体画像５’を取得した後、この参照用被写体画像５’に基づいてキャリブレーション処理を行うことにより、車載用カメラの視点変換映像システムも知られている。
即ち、車載用カメラの視点変換映像システムでは、車載用カメラ２で取得された図２の参照用被写体画像５’に対して画像認識処理を実行することにより、参照用被写体画像５’の参照点４の三次元座標を取得し、この参照点４の三次元座標に基づき車載用カメラ２の三次元空間に対する姿勢を示すパラメータを調整し、この調整により得られたパラメータをパラメータ記憶部（メモリー）に記憶させるようにしている。
しかも、この車載用カメラの視点変換映像システムでは、仮想カメラ５の視点を決定し、この仮想カメラ５のパラメータを操作して、図３に示すように、仮想カメラ５の三次元空間に対する姿勢を調整し、図４に示す歪みの除去された適切な視点変換画像（俯瞰画像）６を取得することも知られている。
図５はその仮想カメラ５のパラメータによるキャリブレーション処理が不適切な例を示している。なお、図４、図５において、符号７、８は、車載用カメラ２により取得できなかった画像領域を示す。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２５６０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、車載用カメラ２の三次元空間に対する姿勢は、車載用カメラ２の三次元座標位置、車載用カメラ２の光軸Ｏの水平面および垂直面に対する傾き角、車載用カメラ２の光軸回りの回転角等を用いて表すことができる。
この場合、車載用カメラ２の三次元座標位置はｘ，ｙ，ｚの座標で表され、車載用カメラ２の光軸Ｏの水平面に対する傾き角はピッチ角θで表され、車載用カメラ２の光軸Ｏの垂直面に対する傾き角はヨー角φで表され、車載用カメラ２の光軸回りの回転角はロール角ψで表される。
従って、車載用カメラ２の三次元空間に対する姿勢は、６個のパラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）を用いて表すことができる。
そして、視点変換映像システムでは、視点変換画像（俯瞰画像）を生成するために、上述した車載用カメラ２の６個のパラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）と仮想カメラ５の６個のパラメータとを用いて視点変換画像生成用のマッピングデータを生成するようにしている。
しかし、このような視点変換映像システムでは、マッピングデータに基づき実際に車載用カメラ２により取得された生の画像データを処理しなければならず、このマッピングデータの生成に時間がかかるために、車載用カメラ２により取得された生の画像データに視点変換処理を施してモニター装置の画面に視点変換画像をリアルタイムで表示できないという不都合がある。【００１０】
また、この車載用カメラの視点変換映像システムでは、車載用カメラ（リアルカメラ）２のキャリブレーション処理と、仮想カメラ５のキャリブレーション処理との２ステップを必要とするため、極めて調整が面倒であり、顧客自らがキャリブレーション処理を行って視点変換画像を取得するのは困難極まりないという問題がある。【００１１】
すなわち、顧客が簡単に車載用カメラのキャリブレーションを行うことはできず、顧客にとって取り扱い易い車載用カメラの視点変換映像システムとはなっていないという問題があった。【００１２】
本発明の目的は、車載用カメラのキャリブレーション処理を不要として、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能な車載用カメラの視点変換映像システム及び視点変換映像取得方法を提供することにある。
【課題を解決するための手段】
【００１３】
この発明の車載用カメラの視点変換映像システムは、車両に取り付け固定される車載用カメラと、画像を表示させるモニター装置を有する。しかも、この視点変換映像システムは、上述した目的を達成するため、該車載用カメラからの生の画像データが入力されかつ該画像データに視点変換画像生成用のマッピングデータに基づき視点変換処理を施して視点変換画像データをモニター装置に出力する視点変換処理ユニットと、前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ前記マッピングデータを生成するためのパラメータを入力するパラメータ入力装置とを有する。【００１４】
この車載用カメラの視点変換映像システムによれば、視点変換処理のためのパラメータの入力をするパラメータ入力装置が設けられているので、パラメータを入力するのみで視点変換処理を自動的に行うことができ、顧客にとって取り扱い易くなる。【００１５】
しかも、モニター装置にリアルタイムで視点変換画像を表示させることができるので、この視点変換画像を見ながらマッピングデータ生成用のパラメータを調整できることになり、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能となる。【００１６】
また、この発明の車載用カメラの視点変換映像取得方法は、車両に取り付け固定された車載用カメラからの生の画像データが入力されかつ視点変換処理を施して視点変換された画像データをモニター装置に出力する視点変換処理ユニットを用いている。しかも、この発明の車載用カメラの視点変換映像取得方法は、上述した目的を達成するため、以下の第1表示ステップ，入力ステップ，第２表示ステップ，判断ステップを有する。この第１表示ステップでは、前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ視点変換画像生成用のマッピングデータを生成する初期パラメータに基づきリアルタイムで前記車載用カメラにより取得された生の画像データに視点変換処理を施して前記モニター装置の画面に視点変換画像を表示させる。また、入力ステップでは、前記初期パラメータにより得られた視点変換画像を変更するために前記視点変換画像を視認しつつ前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ前記マッピングデータを生成するための入力パラメータを入力する。更に、第２表示ステップでは、前記入力ステップにより入力された入力パラメータに基づきリアルタイムで前記車載用カメラにより取得された画像データに視点変換処理を施して前記モニター装置の画面に視点変換画像を表示させる。また、判断ステップでは、前記第２表示ステップで前記モニター装置の画面に表示された視点変換画像が適切か否かを判断して該視点変換画像が適切なときには前記パラメータをパラメータ記憶部に保存させ、該視点変換画像が不適切なときには前記入力ステップを再実行可能とする。【００１７】
この発明の車載用カメラの視点変換映像取得方法によれば、モニター装置にリアルタイムで視点変換画像を表示させることができるので、この視点変換画像を見ながらマッピングデータ生成用のパラメータを調整できることになり、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能となる。
【図面の簡単な説明】
【００１８】
【図１】従来の視点変換映像システムの一例を説明するための説明図であって、車両の後部に車載用カメラを取り付けて車両後部の参照用被写体の撮影状態を示す模式図である。
【図２】図１に示す車載用カメラにより撮像された生の画像を示す図である。
【図３】車載用カメラにより得られた生の画像に対する視点変換処理の従来の概念を説明するための図である。
【図４】仮想カメラを用いて視点変換処理により得られた適切な視点変換画像を示す図である。
【図５】仮想カメラを用いて視点変換処理により得られた不適切な視点変換画像を示す図である。
【図６】本発明に係わる視点変換映像システムの概略構成を説明するための模式図である。
【図７】本発明に係わる視点変換映像システムの視点変換処理の概念を説明するための図である。
【図８】図６に示す視点変換映像システムの詳細構成を示すブロック図である。
【図９】視点変換処理の基本概念を説明するために用いた模式図である。
【図１０】図８に示すパラメータ入力装置の一例としてのリモートコントロール装置の模式図である。
【図１１】本発明に係わる視点変換映像システムの処理手順を説明するためのフローチャート図である。
【図１２】本発明に係わる視点変換映像システムに用いる初期パラメータにより視点変換された視点変換画像の一例を示す説明図である。
【図１３】本発明に係わる視点変換映像システムに用いる入力パラメータにより視点変換された不適切な視点変換画像の一例を示す説明図である。
【図１４】本発明に係わる視点変換映像システムに用いる入力パラメータにより視点変換された適切な視点変換画像の一例を示す説明図である。
【図１５】図６に示す視点変換映像システムの他の詳細構成を示すブロック図である。
【図１６】図１５に示す視点変換映像システムの三次元座標位置調整画面を示す説明図である。
【図１７】図１５に示す視点変換映像システムの姿勢調整画面を示す説明図である。
【図１８】図１７に示す姿勢調整画面の指示ボタンを操作することにより取得された視点変換画像を示す説明図である。
【図１９】図１５に示すモニター装置の画面に表示された縮小画面の説明図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面に基づいて説明する。
【００２０】
[実施例１]
本発明に係わる視点変換映像システム１０は、図６に示すように、車載用カメラ１１と視点変換処理ユニット（ハードウエア装置）１２とパラメータ入力装置１３を備えている。この車載用カメラ１１には、公知の構造のものでかつ広角レンズタイプのものが用いられる。視点変換処理ユニット１２の内部構成については後述する。パラメータ入力装置１３には、例えば、有線のリモートコントロール装置を用いるが、無線のリモートコントロール装置であっても良い。
【００２１】
この視点変換映像システム１０は、顧客が販売店から車載用カメラ１１、視点変換処理ユニット１２、パラメータ入力装置１３等を備える視点変換映像システム構成用の組立セットを購入し、説明書に従って車両１に組み付けることにより構築することができる。
【００２２】
顧客は、モニター装置１４を必要に応じて購入する必要がある。しかし、この視点変換映像システム１０に対応するモニター装置１４がすでに搭載されている場合にはその必要はない。図６はこの視点変換映像システム１０の電気的接続関係を示す。この図６において、符号１５、１６、１７は接続ケーブル、１８はモニター装置１４の画像表示部（表示画面）である。
【００２３】
図７はその車載用カメラ１１を車両１の後部１Ａへ取り付けて固定した状態を示している。この車載用カメラ１１は、顧客が撮影を所望する参照用被写体３が存在する方向に広角レンズ系の光軸Ｏが向くように、車両１の後部１Ａに取り付けられて固定される。その車載用カメラ１１の後部１Ａへの取り付け位置は原則自由であるが、説明書に従って取り付けるのが望ましい。視点変換処理ユニット１２は、車両１の内部の適宜箇所、例えば運転席前部のインストルメントパネル内にセットする。また、パラメータ入力装置１３は、例えば、運転席前部のインストルメントパネルの適宜箇所に置いておくのが望ましい。モニター装置１４には、ナビゲーションシステムに用いるものを兼用可能である。
【００２４】
視点変換処理ユニット１２は、図８に示すようにパラメータ記憶部１２Ａと、マッピングデータ演算等を行う演算部である演算ブロック部１２Ｂと、俯瞰変換処理等を行う視点変換処理回路である視点変換処理ブロック部１２Ｃとを備えている。この視点変換処理ユニット１２の詳細な構成の説明を行う前に、車載用カメラ１１により撮像された生の画像データに視点変換処理を施すための一般的原理を図９を参照しつつ説明する。
【００２５】
この図９は車両１の後部１Ａに車載用カメラ１１を取り付けて固定した状態を示す模式図である。この車載用カメラ１１の光軸Ｏと車載用カメラ１１の図示しないＣＣＤ（固体撮像素子）の交点を撮像中心としたとき、このＣＣＤの撮像中心のｚ座標を高さ方向の座標位置とし、ＣＣＤの撮像中心のｘ座標を車両前後方向の座標位置とし、ＣＣＤの撮像中心のｙ座標を車幅方向に座標位置とする。そして、このＣＣＤの撮像中心の座標は車載用カメラ１１の視点となる。即ち、ＣＣＤの撮像中心の三次元空間における座標を三次元座標位置（ｘ、ｙ、ｚ）が車載用カメラ１１の視点となる。
この図９を参照して視点変換処理の一般原理を説明する際に、車両１の左右の後輪をＬｒｈ，Ｒｒｈとし、後輪をＬｒｈ，ＲｒｈのリヤシャフトをＬｒｓ，Ｒｒｓとする。このリヤシャフトＬｒｓ，Ｒｒｓは車幅方向に延びる同軸の中心線をリヤシャフト中心線（リヤシャフト軸線）Ｒａｘとして有する。そして、このリヤシャフト中心線Ｒａｘの後輪Ｌｒｈ，Ｒｒｈ間の中心をリヤ車輪間中心Ｒｓｃとし、このリヤ車輪間中心Ｒｓｃから下方に鉛直に下ろした線を仮想鉛直線ＳｃＬとし、仮想鉛直線ＳｃＬと水平な地面ＥＧとの交点を地面ＥＧ上の空間座標の座標原点Ｏｐとする。また、リヤ車輪間中心Ｒｓｃを通り且つ前後に延びる水平線をＨＬとし、車載用カメラ１１の光軸をＯとする。
また、例えば車載用カメラ１１の光軸Ｏの方向が鉛直方向の下向きの設置姿勢を、カメラ１の基準姿勢とする。しかも、この車載用カメラ１１は、光軸Ｏが鉛直方向に向けられると共に、光軸Ｏが水平線をＨＬと直交するように車両１の後部１Ａに取り付けられている。そして、この光軸Ｏと地面ＥＧとの交点が座標原点Ｏｒ（ｘ＝０、ｙ＝０、ｚ＝０）となっている。
尚、このような条件は、車両が走行していない状態で水平な地面ＥＧ上に置かれたときのものである。
【００２６】
また、車両１の走行時等における車載用カメラ１１の三次元空間に対する姿勢は、垂直面内での水平面に対する光軸Ｏの傾き角（ピッチ角θ）、撮影光軸回りの回転角（ロール角ψ）、水平面内での垂直面に対する光軸Ｏの傾き角（ヨー角φ）により決定される。従って、車載用カメラ２の三次元空間に対する位置と姿勢は三次元空間内で、６個のパラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）を用いて表現できる。
【００２７】
そこで、車両１が走行していない場合において車載用カメラ１１の光軸Ｏが鉛直下向きを向いているときを基本姿勢として、三次元空間の互いに独立な３軸回りのピッチ角θ、ヨー角φ、ロール角ψにより車載用カメラ１１の三次元空間に対する姿勢が一義的に定義される。
【００２８】
尚、いかなる姿勢で車両１に取り付けられた車載用カメラ１１であっても、その車載用カメラ１１の位置と姿勢とは６個のパラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）を用いて表すことができる。従って、車載用カメラ１１により取得された生の画像の任意の点は、この６個のパラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）を用いて理論的に定義できる。
【００２９】
そこで、例えば、車載用カメラ１１を車両１の後部１Ａに取り付ける際に、車体バンパー１９の上辺部２０が車載用カメラ１１で撮像できるようにしておく。そして、車載用カメラ１１で撮像した車体バンパー１９の上辺部２０をモニター装置１４の画像表示部（表示画面）１８に表示したときに、その上辺部２０が画像表示部１８の下側部分に映し出されるようにする。このような条件を満足するように、車載用カメラ１１を車両１の後部１Ａにその車載用カメラ１１を精密に取り付けかつ固定したときに得られる６個のパラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）を初期パラメータ（デフォルト値）とする。
【００３０】
例えば、この初期パラメータは、（ｘ＝０、ｙ＝０、ｚ＝０、θ＝４５度、ψ＝０、φ＝０）である。以下の説明では、三次元空間に対する車載用カメラ１１の座標位置（ｘ、ｙ、ｚ）を含めると煩雑になるので、ここでは、その説明を省略する。
【００３１】
この車載用カメラ１１の初期姿勢に対して、（θ0、ψ0、φ0）だけ回転を加えて車載用カメラ１１の姿勢を変更したときでも、その後に更に車載用カメラ１１に回転を加えて姿勢を変更して、異なる姿勢（θ’、ψ’、φ’）に変更したときでも、車載用カメラ１１の新たな姿勢は後述する回転行列によって表すことが可能である。従って、車載用カメラ１１のある姿勢により取得された生の画像中の任意の一点は、数学的演算により別の視点に変換して表現することが可能である。
【００３２】
生の画像中の任意の一点は、初期パラメータ（θ0、ψ0、φ0）とすると、回転行列Ｒを用いて数学的に演算可能である。即ち、画像中の任意の一点を示す座標点座標点[Ｘｏｕｔ]は、
[Ｘｏｕｔ]＝Ｒ（φ0）Ｒ（θ0）Ｒ（ψ0）[Ｘｉｎ]Ｒ（φ）Ｒ（θ）Ｒ（ψ）
＝ＲＤ    ・・・・・・（１）
となる。
ここで、[Ｘｉｎ]は回転変換対象として着目したの画像中の任意の一点を示す座標点である。また、[Ｘｏｕｔ]は初期パラメータ（θ0、ψ0、φ0）を用いた回転行列Ｒ（φ0）、Ｒ（θ0）、Ｒ（ψ0）によって回転変換後の画像中の任意の一点を示す座標点である。
【００３３】
回転行列Ｒ（φ0）、Ｒ（θ0）、Ｒ（ψ0）を[Ｘｉｎ]に対して左から右の順に実行することにより、画像中の任意の一点を示す座標点に対して演算が実行される。
【００３４】
この回転処理により得られた回転変換後の画像中の任意の一点を示す座標点に対して更に回転変換を行う場合には、更に以下に説明する回転変換処理を行う。
【００３５】
例えば、回転変換後の画像中の任意の一点を示す座標点に対して、車載用カメラ１１の光軸Ｏの回りにロール角Δψだけ回転を行う場合には、
[Ｘａ]＝Ｒ（Δψ）[Ｘｏｕｔ]
＝Ｒ（Δψ）Ｒ（φ0）Ｒ（θ0）Ｒ（ψ0）[Ｘｉｎ]Ｒ（Δψ）Ｒ（φ）Ｒ（θ）Ｒ（ψ）
＝ＲＤa    ・・・・・・（２）
の式を用いて、ロール角Δψだけ回転変換後の画像中の任意の一点を示す座標点を取得することができる。
【００３６】
ここで、（θ0、ψ0、φ0、Δψ）には、具体的な数値が与えられるので、変数を用いることなく、３×３の回転行列を用いて、回転変換後の画像中の任意の一点を示す座標点を表すことができる。なお、この回転行列については、例えば、特開２００７−２５６０３０号公報の数１式から数６式が用いられる。
【００３７】
また、一般的に、車載用カメラ１１の三次元座標空間に対する姿勢は、任意のθ、ψ、φを用いて表現することが可能である。従って、ＲＤa＝ＲＤとすると、視点変換後の車載用カメラ１１の仮想的姿勢をθ、ψ、φによって表現することができる。
【００３８】
つまり、回転行列を用いて視点変換映像生成用のマッピングデータを座標点毎に生成し、車載用カメラ１１により取得された生の画像データにマッピングデータによる視点変換処理を施して視点変換画像データをモニター装置１４に出力させることにすれば、モニター装置１４の画像表示部１８に視点変換画像を表示させることが可能である。このような視点変換処理は公知である。
【００３９】
図８に戻って、パラメータ入力装置１３、視点変換処理ユニット１２の各構成要素の機能を以下に説明する。
【００４０】
このパラメータ入力装置１３は、車載用カメラ１１の三次元状態データの生成に用いるパラメータを視点変換処理ユニット１２に入力する機能を有する。この三次元状態データは視点変換映像生成用のマッピングデータである。このマッピングデータの生成に用いるパラメータは、視点変換映像を生成するのに用いるデータとして、車載用カメラ１１の三次元空間に対する位置（座標位置）のデータと姿勢データ（光軸Ｏの傾斜方向や傾斜角度等）を有している。
【００４１】
演算ブロック部１２Ｂには、パラメータ入力装置１３から出力されたパラメータ、又はパラメータ記憶部１２Ａに記憶されたパラメータが入力される。この演算ブロック部１２Ｂはパラメータ入力装置１３により入力されたパラメータ（以下、入力パラメータとも言う。）に基づいてリアルタイムでマッピングデータを生成する。
【００４２】
視点変換処理ブロック部１２Ｃには、車載用カメラ１１から出力された生の画像データと演算ブロック部１２Ｂにより生成されたマッピングデータとが入力される。しかも、この視点変換処理ブロック部１２Ｃは、入力された生の画像データとマッピングデータに基づきリアルタイムで視点変換処理を施して、視点変換画像データをモニター装置１４に向けて出力する。
【００４３】
パラメータ記憶部１２Ａはパラメータ入力装置１３により入力された入力パラメータを記憶する役割を有する。このパラメータ記憶部１２Ａには予め設定された初期パラメータが記憶される。また、この初期パラメータはパラメータ入力装置１３により入力された入力パラメータに後述する処理により置換される。
【００４４】
パラメータ入力装置１３には、例えば、図１０に示すリモートコントロール装置が用いられる。このリモートコントロール装置であるパラメータ入力装置１３は、レバー１３ａ〜１３ｅと、１個のダイヤル１３ｆと、表示部１３ｇ〜１３ｉを有する。
このレバー１３ａ〜１３ｃは、車載用カメラ１１の視点の三次元座標位置に対応する３個のパラメータΔｘ、Δｙ、Δｚを指定する操作部として用いられる。また、レバー１３ｄ，１３ｅは、車載用カメラ１１の三次元空間に対する姿勢に対応するパラメータとしてのピッチ角Δθ、ヨー角Δφを指定する操作部として用いられる。ダイヤル１３ｆは、ロール角Δψを指定する操作部として用いられる。
また、表示部１３ｇ〜１３ｉには、モニター装置１４の画像表示部１８に映し出された画像をレバー１３ａ〜１３ｃの操作により移動操作したとき、この画像がモニター装置１４の画像表示部１８上で何ｃｍ平行移動するかを示すのに用いられる。なお、符号１３ｊは電源ボタンである。
【００４５】
このようなレバー１３ａ〜１３ｃの操作により、生の画像データに前後左右高さ方向に平行移動処理が施される。そして、この生の画像データの平行移動処理が施されると、この平行移動により視点変換された視点変換画像を生成するためのマッピングデータが生成される。また、レバー１３ｄ，１３ｅ、ダイヤル１３ｆの操作により、生の画像データに回転変換処理が施される。そして、この回転変換処理が施されると、この回転処理により視点変換された視点変換画像を生成するためのマッピングデータが生成される。
【００４６】
次に、図２に示す画像、図７に示す概念図、図８に示すブロック図、図１０に示すパラメータ入力装置、図１１に示すフローチャート、図１２〜図１４に示す画像を参照しながらこの発明の実施の形態に係わる視点変換画像の取得方法を説明する。
【００４７】
まず、顧客が車載用カメラ１１と視点変換処理ユニット１２とパラメータ入力装置１３とを購入して、図７に示す車両１の後部１Ａに適当な方向に車載用カメラ１１の光軸Ｏが向くようにして車載用カメラ１１を取り付け固定したとして説明する。
【００４８】
初めて、視点変換画像を設定するときには、パラメータ記憶部１２Ａには初期パラメータが記憶されている。この初期パラメータは工場で出荷前に適宜定めた値であり、例えば、この初期パラメータは、（ｘ＝０、ｙ＝０、ｚ＝０、θ＝４５度、ψ＝０、φ＝０）である。
【００４９】
パラメータ入力装置１３の電源ボタン１３ｊ、車載用カメラ１１の電源ボタン（図示を略す）、モニター装置１４の電源ボタン（図示を略す）がオンすると、パラメータ記憶部１２Ａに記憶されている初期パラメータが、図１１に示すように読み出される（Ｓ．１）。
演算ブロック部１２Ｂはこの初期パラメータに基づきリアルタイムで視点変換画像生成用のマッピングデータを演算する。このマッピングデータは視点変換処理ブロック部１２ｃに入力される。車載用カメラ１１は例えば図２に示す生の画像データを視点変換処理ブロック部１２ｃに出力する。視点変換処理ブロック部１２ｃはこの画像データに初期パラメータに基づき得られたマッピングデータにより視点変換処理を施して視点変換画像データ（デフォルト俯瞰図）を作成する（Ｓ．２）。
この作成されたデフォルト俯瞰図が視点変換画像データとしてモニター装置１４に出力される（Ｓ．３）。これにより、モニター装置１４の画像表示部１８に図１２に示す視点変換画像２１が表示される。
【００５０】
このＳ．１〜Ｓ．３の処理は、車載用カメラ１１によりリアルタイムで取得された画像データを初期パラメータに基づき視点変換処理して、この視点変換処理により得られる視点変換画像２１をモニター装置１４の画像表示部１８に表示させる第１表示ステップである。
尚、ここで初期パラメータは、視点変換映像生成用のマッピングデータを生成するためのパラメータであって、車載用カメラ１１の三次元空間に対する位置（三次元座標位置）のデータと姿勢（光軸Ｏの傾斜方向と傾斜角度等）のデータとを有する。
【００５１】
顧客はモニター装置１４の画像表示部１８に表示された視点変換画像２１を視認する（Ｓ．４）。ついで、顧客は視点変換画像２１を変更するか否かを判断する（Ｓ．５）。変更が不要の場合には、処理を終了する。通常の場合、変更不要ということはほとんどないので、ステップＳ．６へ移行する。
【００５２】
Ｓ．６においては、パラメータ入力装置１３によりパラメータを入力する。このＳ．６の処理が、初期パラメータにより得られた視点変換画像２１を変更するために、上述したマッピングデータを生成するためのパラメータを入力する入力ステップである。
【００５３】
演算ブロック部１２Ｂは、Ｓ．６で入力された入力パラメータに基づき回転行列を用いてリアルタイムで視点変換画像生成用のマッピングデータを演算する（Ｓ．７）。このマッピングデータは視点変換処理ブロック部１２ｃに入力される。視点変換処理ブロック部１２ｃは、このマッピングデータに基づき生の画像データに視点変換処理を施して視点変換画像データ（俯瞰図）を作成する（Ｓ．８）。この作成された俯瞰図が映像データとしてモニター装置１４に出力される（Ｓ．９）。これにより、モニター装置１４の画像表示部１８に図１３に示す視点変換画像２２が表示される。この視点変換画像２２は、初期パラメータにより得られた視点変換画像２１に更に入力パラメータによる視点変換が加えられた画像である。ここでは、入力パラメータはピッチ角Δθとロール角Δψである。
【００５４】
このＳ．７〜Ｓ．９までの処理は、車載用カメラ１１によりリアルタイムで取得された画像データをＳ．６の入力ステップにより入力された入力パラメータに基づき視点変換処理して、この視点変換処理により得られた画像をモニター装置１４の画像表示部１８に視点変換画像２２として表示させる第2表示ステップである。
【００５５】
顧客はこのモニター装置１４の画像表示部１８に表示された視点変換画像２２を視認し（Ｓ．１０）、この視点変換画像２２が適切であるか否かを判断する（Ｓ．１１）。
【００５６】
この視点変換画像２２が適切でないと判断した場合には、Ｓ．６に戻って、再度Ｓ．６〜Ｓ．１０の処理を行う。この再度の視点変換画像の取得処理により、例えば、図１４に示す視点変換画像２３が得られたとする。
【００５７】
この視点変換画像２３が適切なものであると判断した場合には、電源ボタン１３ｊをオフする。すると、この初期パラメータはパラメータ入力装置１３により入力された入力パラメータに置換される。すなわち、パラメータ記憶部１２Ａには、パラメータ入力装置１３により入力された入力パラメータが保存される（Ｓ．１２）。
この入力パラメータの保存処理は、演算ブロック部１２Ｂにより実行される。なお、この場合、パラメータ記憶部１２Ａに記憶される入力パラメータは、顧客の操作により与えられたパラメータ（Δｘ、Δｙ、Δｚ、Δθ、Δψ、Δφ）と既にパラメータ記憶部１２Ａに記憶保存されている初期パラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）との差分によって決定される。
【００５８】
すなわち、電源ボタン１３ｊをオフすると、リモートコントロール装置から終了コマンドが演算ブロック部１２Ｂに送信され、演算ブロック部１２Ｂは回転行列の逆演算に基づき入力パラメータ（Δｘ、Δｙ、Δｚ、Δθ、Δψ、Δφ）と既にパラメータ記憶部１２Ａに記憶保存されている初期パラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）との差分を演算する。
【００５９】
演算ブロック部１２Ｂはこの差分パラメータ（ｘ’、ｙ’、ｚ’、θ’、ψ’、φ’）をパラメータ記憶部１２Ａに送信する。これにより、パラメータ記憶部１２Ａに差分パラメータ（ｘ’、ｙ’、ｚ’、θ’、ψ’、φ’）が記憶され、この差分パラメータ（ｘ’、ｙ’、ｚ’、θ’、ψ’、φ’）は次回の視点変換画像取得の際に初期パラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）として用いられる。
【００６０】
また、上述したＳ．１１の処理は、第２表示ステップ（Ｓ．７〜Ｓ．９までの処理）でモニター装置１４の画像表示部１８に表示された視点変換画像が適切な否かを判断する判断ステップである。しかも、このＳ．１１の処理では、視点変換画像が適切であると判断したとき、入力パラメータをパラメータ記憶部１２Ａに保存させる。一方、このＳ．１１の処理では、視点変換画像が不適切であると判断したとき、入力ステップを再実行可能とする。
【００６１】
このような視点変換画像操作において、一回のレバー１３ａ〜１３ｃの操作で車載用カメラ１１の視点を三次元空間に対してΔｘ、Δｙ、Δｚだけ平行移動させ、一回のレバー１３ｄ，１３ｅの操作およびダイヤル１３ｆの操作によりΔθ、Δψ、Δφだけ視点を回転させることにする。このような操作により、初期パラメータ（ｘ、ｙ、ｚ、θ、ψ、φ）を基準として所定量ずつ車載用カメラ１１の視点を変化させることができる。この操作により、顧客は視点変換画像をリアルタイムで見ながら所定量ずつ視点変換を行うことができるので、取り扱いがより一層容易となる。
【００６２】
[実施例２]
この実施例２では、図１５に示すように、車載用視点変換映像システムは、パラメータ入力装置１３により入力された入力パラメータを記憶保存する複数個の入力パラメータ記憶部１２Ｄ〜１２Ｇを有する。この実施例２の場合、パラメータ記憶部１２Ａは初期パラメータ記憶部としてのＲＯＭからなり、初期パラメータは書き換え不能とされている。入力パラメータ記憶部１２Ｄ〜１２Ｇには、後述する操作により入力パラメータが記憶保存される。
【００６３】
ここでは、パラメータ入力装置１３は図１５に示したモニター装置１４であり、このモニター装置１４はタッチパネル式の画像表示部１８を有する。
このタッチパネル式の画像表示部（表示画面）１８には、図１６に示した三次元位置調整画面（すなわち三次元座標位置調整画面）１８Ａと、図１７，図１８に示した姿勢調整画面１８Ｂを切替表示できるようになっている。
この三次元位置調整画面１８Ａには、図１６に示すように、指示ボタン１８ａ〜１８ｃ，戻るボタン２４，決定ボタン２５が表示される。
この指示ボタン１８ａ〜１８ｃは、車載用カメラ１１の視点の三次元座標位置（Ｘ，Ｙ，Ｚ）に対応する３個のパラメータを指定するのに用いられる。即ち、指示ボタン１８ａ〜１８ｃは、上方向に向けた上矢印画像と下方向に向けた下矢印画像の一対を一組として有し、指示ボタン１８ａはＸ方向の座標位置の指示を行うのに用いられ、指示ボタン１８ｂはＹ方向の座標位置の指示を行うのに用いられ、指示ボタン１８ｃはＺ方向の座標位置の指示を行うのに用いられる。しかも、戻るボタン２４は前画面に戻すために用いられ、決定ボタン２５は三次元座標位置の調整完了をして、次の画面に移行するために用いられる。
また、姿勢調整画面１８Ｂには、図１７，図１８に示したように、指示ボタン１８ｄ（１８ｄ’），１８ｅ（１８ｅ’），１８ｆ（１８ｆ’）、戻るボタン２６、決定ボタン２７が表示される。
この指示ボタン１８ｄ（１８ｄ’），１８ｅ（１８ｅ’），１８ｆ（１８ｆ’）は、決定ボタン２５の操作により、モニター装置１４の三次元位置調整画面１８Ａに表示されて、車載用カメラ１１の三次元空間に対する姿勢としてのピッチ角Δθとロール角Δψとヨー角Δφの３個のパラメータを指定するのに用いられる。
即ち、指示ボタン１８ｄは画面上縁部に上矢印画像で表示され、指示ボタン１８ｄ’は画面下縁部に下矢印画像で表示される。また、指示ボタン１８ｅは画面左上コーナ部に右曲矢印画像で表示され、指示ボタン１８ｅ’は画面右上コーナ部に左曲矢印画像で表示される。更に、指示ボタン１８ｆは画面左側縁部の上下方向中央部に左矢印画像で表示され、指示ボタン１８ｆ’は画面右側縁部の上下方向中央部に右矢印画像で表示される。そして、指示ボタン１８ｄ，１８ｄ’は、車載用カメラ１１の三次元空間に対する姿勢としてのピッチ角Δθのパラメータを指定するのに用いられる。また、指示ボタン１８ｅ，１８ｅ’は、車載用カメラ１１の三次元空間に対する姿勢としてのロール角Δψのパラメータを指定するのに用いられる。更に、指示ボタン１８ｆ，１８ｆ’は車載用カメラ１１の三次元空間に対する姿勢としてのヨー角Δφの３個のパラメータを指定するのに用いられる。
また、戻るボタン２６は前画面に戻すために用いられる。決定ボタン２７は、三次元空間に対する姿勢調整完了して入力されたパラメータを図１５の入力パラメータ記憶部１２Ｄ〜１２Ｇに記憶させるのに用いられる。
【００６４】
図１６の三次元位置調整画面１８Ａには、各指示ボタン１８ａ〜１８ｃに対応して、画面上での画像の平行移動量を示す表示部１８ｇ〜１８ｉが設けられている。顧客はこの三次元位置調整画面１８Ａで車載用カメラ１１の三次元座標位置を調整し、姿勢調整画面１８Ｂで車載用カメラ１１の三次元空間に対する姿勢を調整することにより、視点変換生成用のマッピングデータを生成する。ついで、この視点変換生成用のマッピングデータを得るための入力パラメータを入力パラメータ記憶部１２Ｄに記憶させる。
【００６５】
また、例えば、図１７に示す姿勢調整画面１８Ｂにおいて、指示ボタン１８ｄを一回押圧操作すると、ピッチ角θがΔθだけプラス方向に回転され、このΔθに対応する回転操作が実行されて、最終的に、図１８に示す視点変換画像が得られる。
【００６６】
顧客は、実施例１のフローチャート（図１１参照）に相当する行為を複数回行うことにより、好みに応じた視点変換用のマッピングデータを得るための入力パラメータを複数個取得することができる。
例えば、図２に示す生の画像に対応する入力パラメータ、図１３に示す画像に対応する入力パラメータ、図１４に示す画像に対応する入力パラメータ、車載用カメラ１１の視点を参照用被写体３の真上において撮影したときに得られる画像に対応する入力パラメータが、入力パラメータ記憶部１２Ｄ〜１２Ｅに記憶保存されているものとする。
【００６７】
図１５のモニター装置１４の画像表示部（表示画面）１８には、図１９に示すようなタッチパネル式の画面１８Ｃが表示されるようになている。このタッチパネル式の画面１８Ｃには、モニター装置１４をオンさせたときに複数の視点変換画像が表示される。この複数の視点変換画像は、モニター装置１４をオンさせたとき、複数個の入力パラメータ記憶部１２Ｄ〜１２Ｅに記憶された入力パラメータに基づいて得られる縮小画像３１〜３４で、同時に並列的に表示される。しかも、この縮小画像の３１〜３４のいずれかにタッチすると、このタッチされた縮小画像に対応する視点変換画像がモニター装置１４の画像表示部１８に拡大表示される。
【００６８】
以上説明した発明の実施の形態の車載用カメラの視点変換映像システムでは、車載用カメラ１１の取り付け誤差調整というキャリブレーション処理を廃止すると共に、車載用カメラ（リアルカメラ）１１の三次元空間に対する位置（三次元座標位置）のデータと姿勢のデータ（光軸Ｏの傾斜方向と傾斜角度等）を視点変換画像の生成に用いるマッピングデータ作成用のパラメータとして用いている。
しかも、この車載用カメラの視点変換映像システムでは、マッピングデータ作成用のパラメータを用いて直接視点変換処理を実行することにしている。これにより、この発明の実施の形態の車載用カメラの視点変換映像システムでは、従来１２個のパラメータを用いて視点変換画像生成用のマッピングデータを作成していたときのマッピングデータ作成処理速度に較べて、マッピングデータの作成処理速度向上を図ることができることになる。その結果、このシステムでは、リアルタイムでモニター装置の画面に視点変換画像を表示できることになって、顧客はモニター装置１４の画像表示部１８を見ながら視点変換画像を取得可能である。
【００６９】
また、モニター装置１４にリアルタイムで視点変換画像を表示させることができるので、この視点変換画像を見ながらマッピングデータ生成用のパラメータを調整できることになり、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能である。
【００７０】
また、顧客がパラメータを調整可能な範囲を制限するようにしても良い。すなわち、死角が生じないように、車体バンパー１９の上辺部２０が画像表示部１８の下側部分に映る範囲内でパラメータを調整可能としても良い。
【００７１】
以上説明したように、この発明の実施の形態の車載用カメラの視点変換映像システムは、車両に取り付け固定される車載用カメラ１１と、画像を表示させるモニター装置１４と、前記車載用カメラ１１からの生の画像データが入力されかつ該画像データに視点変換画像生成用のマッピングデータに基づき視点変換処理を施して視点変換画像データを前記モニター装置１４に出力する視点変換処理ユニット１２を有する。また、この視点変換映像システムは、前記車載用カメラ１１の三次元空間に対する位置と姿勢とを意味するパラメータであって且つ前記マッピングデータを生成するためのパラメータを入力するパラメータ入力装置１３とを有する。
【００７２】
この構成によれば、視点変換処理のためのパラメータの入力をするパラメータ入力装置１３が設けられているので、パラメータを入力するのみで視点変換処理を自動的に行うことができ、顧客にとって取り扱い易くなる。
【００７３】
しかも、この構成によれば、モニター装置１４に視点変換画像を表示させることができるので、この視点変換画像を見ながらマッピングデータ生成用のパラメータをパラメータ入力装置１３により入力することで、このパラメータの入力の調整を容易にできることになり、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能となる。
【００７４】
また、この発明の実施の形態の車載用カメラの視点変換映像システムは、前記視点変換処理ユニット１２が、前記パラメータ入力装置１３により入力された入力パラメータに基づいて前記マッピングデータをリアルタイムで演算する演算部（演算ブロック部１２Ｂ）と、前記車載用カメラ１１から出力された画像データと前記演算部（演算ブロック部１２Ｂ）から出力されたマッピングデータとが入力されて該マッピングデータに基づき前記画像データに視点変換処理をリアルタイムで施す視点変換処理回路（視点変換処理ブロック部１２Ｃ）と、前記パラメータ入力装置１３により入力された入力パラメータを記憶するパラメータ記憶部（パラメータ記憶部１２Ａ，入力パラメータ記憶部１２Ｄ〜１２Ｇ）を備えている。
この構成によれば、モニター装置１４にリアルタイムで視点変換画像を表示させることができるので、この視点変換画像を見ながらマッピングデータ生成用のパラメータをパラメータ入力装置１３により入力することで、このパラメータの入力の調整を容易にできることになり、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能となる。しかも、パラメータ入力装置１３により入力された入力パラメータを記憶するパラメータ記憶部を有するので、顧客の好みに応じた視点画像を容易に得ることができる。
【００７５】
更に、この発明の実施の形態の車載用カメラの視点変換映像システムは、前記パラメータ記憶部（パラメータ記憶部１２Ａ）には予め設定された初期パラメータが記憶され、前記初期パラメータは前記パラメータ入力装置１３により入力された入力パラメータに置換されるようになっている。
この構成によれば、例えば工場等で設定された初期パラメータにより得られる視点変換画像を有する車両が出荷後に顧客に納品されたときに、この初期の視点変換画像がずれた場合や顧客の好みに合わない場合等であっても、初期パラメータを容易に変更して、好ましい視点変換画像を容易に得ることができる。
【００７６】
また、この発明の実施の形態の車載用カメラの視点変換映像システムは、前記パラメータ入力装置１３がリモートコントロール装置からなり、該リモートコントロール装置は前記車載用カメラ１１の視点の三次元座標位置に対応する３個のパラメータを指定する操作部（レバー１３ａ〜１３ｃ）と前記車載用カメラ１１の三次元空間に対する姿勢としてのピッチ角とロール角とヨー角との３個のパラメータを指定する操作部（ピッチ角Δθ操作用のレバー１３ｄ，ヨー角Δφ操作用のレバー１３ｅとロール角Δψ操作用のダイヤル１３ｆ）を有する。
【００７７】
この構成によれば、パラメータ入力装置１３をリモートコントロール装置により構成したので、遠隔操作が可能であるという効果を奏する。
【００７８】
また、この発明の実施の形態の車載用カメラの視点変換映像システムでは、前記モニター装置１４はタッチパネル式である。また、視点変換映像システムにおいて、前記パラメータ記憶部は、予め設定された初期パラメータを記憶する初期パラメータ記憶部（パラメータ記憶部１２Ａ）および前記パラメータ入力装置１３により入力された入力パラメータを記憶する複数個の入力パラメータ記憶部（１２Ｄ〜１２Ｇ）とを有している。また、この視点変換映像システムにおいて前記視点変換処理ユニット１２は、前記複数個の入力パラメータ記憶部（１２Ｄ〜１２Ｇ）に記憶された入力パラメータに基づき得られる視点変換画像を前記タッチパネル式のモニター装置１４の画面（１８Ａ〜１８Ｃ）に同時に並列的に縮小画像（３１〜３４）として表示させる。しかも、この視点変換処理ユニット１２は、前記縮小画像（３１〜３４）にタッチすると、当該縮小画像（３１〜３４）が前記モニター装置１４の画面に拡大表示させるようになっている。
【００７９】
この発明の視点変換映像システムによれば、モニター装置１４の画面に視点変換画像の縮小画像（サムネイル画像）を同時に表示させて提示することにしたので、顧客の好みに応じて視点変換画像を選択して表示させることができる。
この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記モニター装置１４は前記パラメータ入力装置を兼用するタッチパネル式のモニター装置であり、前記モニター装置１４の画面（１８Ａ，１８Ｂ）には前記パラメータを入力するパラメータ入力部（指示ボタン１８ａ〜１８ｃ、１８ｄ，１８ｄ′〜１８ｆ，１８ｆ′）が表示されるようになっている。
この構成によれば、パラメータ入力装置を別途設ける必要がないので、構成が簡単になる。
この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記パラメータ入力部（指示ボタン１８ａ〜１８ｃ、１８ｄ，１８ｄ′〜１８ｆ，１８ｆ′）は前記車載用カメラの三次元位置データを入力するために前記画面（１８Ａ，１８Ｂ）に表示された移動方向指示部である。
この構成によれば、モニター装置１４の画面（１８Ａ，１８Ｂ）に表示された画像を見ながら、視認位置を移動させることなくモニター装置１４の視点位置を容易に変更できるので、パラメータ入力の操作性がよい。
この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記移動方向指示部は、Ｘ方向の位置データを入力するＸ移動方向指示部，Ｙ方向の位置データを入力するＹ移動方向指示部，Ｚ方向の位置データを入力するＺ移動方向指示部（指示ボタン１８ａ〜１８ｃ、１８ｄ，１８ｄ′〜１８ｆ，１８ｆ′）である。
この構成によれば、Ｘ方向，Ｙ方向，Ｚ方向の各位置データを個別に容易に入力できるので、三次元方向の位置データの入力をきめ細かに行うことが容易となる。
この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記Ｘ移動方向指示部，Ｙ移動方向指示部，Ｚ移動方向指示部は視点位置を反対方向に移動させるための一対の指示ボタン（１８ａ〜１８ｃ、１８ｄ，１８ｄ′〜１８ｆ，１８ｆ′）をそれぞれ備える。
この構成によれば、三次元方向の視点位置の移動操作を容易に行うことができる。
この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記各移動方向指示部の一対の指示ボタン（指示ボタン１８ａ〜１８ｃ、１８ｄ，１８ｄ′〜１８ｆ，１８ｆ′）は互いに反対方向に向けられた矢印画像である。
この構成によれば、三次元方向の視点位置の移動方向を視覚的に知ることができるので、視点位置の移動方向の操作を容易に行うことができる。
この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記画面（１８Ａ，１８Ｂ）には前記車載用カメラ三次元方向の平行移動量をそれぞれ表示させる３つの表示部（１８ｇ〜１８ｉ）が設けられている。
この構成によれば、視点位置の移動状態とその平行移動量を同一画面で視認位置を移動させることなく容易に実行できる。
この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記指示ボタンは前記画面（１８Ｂ）の周縁部に設けられている。
この構成によれば、指示ボタンが画面（１８Ｂ）の周縁部に設けられているので、画面上の視点画像を容易に認識できる。
【００８０】
また、この発明の実施の形態の車載用カメラの視点変換映像システムにおいて、前記タッチパネル式のモニター装置１４の画面は三次元座標位置調整画面１８Ａと姿勢調整画面１８Ｂを有する。しかも、前記視点変換処理ユニット１２は、前記車載用カメラ１１の視点の三次元座標位置に対応する３個のパラメータを指定する指示ボタン（１８ａ〜１８ｃ）と前画面に戻すための戻るボタン２４及び三次元座標位置の調整完了を意味しかつ次の画面に移行するための決定ボタン２５を三次元座標位置調整画面１８Ａに表示させる。また、前記視点変換処理ユニット１２は、前記決定ボタン２５の操作により前記モニター装置１４に表示されかつ前記車載用カメラ１１の三次元空間に対する姿勢としてのピッチ角，ロール角，ヨー角の３個のパラメータを指定する指示ボタン（１８ｄ，１８ｄ’、１８ｅ，１８ｅ’、１８ｆ，１８ｆ’）と、前画面に戻すための戻るボタン２６と、三次元空間に対する姿勢調整の完了を意味し、しかも入力された入力パラメータを前記入力パラメータ記憶部（１２Ｄ〜１２Ｇ）に記憶させるための決定ボタン２７とを姿勢調整画面１８Ｂに表示させるようになっている。
【００８１】
この構成によれば、パラメータ入力装置１３にタッチパネル式のモニター装置１４を用いたので、部品点数の削減を図ることができる。
【００８２】
また、この発明の実施の形態の車載用カメラの視点変換映像取得方法では、車両に取り付け固定された車載用カメラ１１からの生の画像データが入力されかつ視点変換処理を施して視点変換された画像データをモニター装置１４に出力する視点変換処理ユニット１２を用い、前記モニター装置１４の画面に前記車載用カメラ１１により撮像された画像を視点変換処理により変換して視点変換画像を表示するようになっている。しかも、視点変換映像取得方法では、前記車載用カメラ１１の三次元空間に対する位置と姿勢とを意味しかつ視点変換画像生成用のマッピングデータを生成する初期パラメータに基づきリアルタイムで前記車載用カメラ１１により取得された生の画像データに視点変換処理を施して前記モニター装置１４の画面に視点変換画像を表示させる第１表示ステップを有する。また、視点変換映像取得方法では、前記初期パラメータにより得られた視点変換画像を変更するために前記視点変換画像を視認しつつ前記車載用カメラ１１の三次元空間に対する位置と姿勢とを意味しかつ前記マッピングデータを生成するための入力パラメータを入力する入力ステップを有する。また、視点変換映像取得方法では、該入力ステップにより入力された入力パラメータに基づきリアルタイムで前記車載用カメラ１１により取得された画像データに視点変換処理を施して前記モニター装置１４の画面に視点変換画像を表示させる第２表示ステップを有する。更に、視点変換映像取得方法では、該第２表示ステップで前記モニター装置１４の画面に表示された視点変換画像が適切か否かを判断して該視点変換画像が適切なときには前記パラメータをパラメータ記憶部１２Ａに保存させ、該視点変換画像が不適切なときには前記入力ステップを再実行可能とする判断ステップとを有する。
【００８３】
この車載用カメラの視点変換映像取得方法によれば、モニター装置１４にリアルタイムで視点変換画像を表示させることができるので、この視点変換画像を見ながらマッピングデータ生成用のパラメータを調整できることになり、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能となる。
【００８４】
また、この発明の実施の形態の車載用カメラの視点変換映像取得方法は、前記視点変換処理ユニット１２は、前記入力されたパラメータに基づいて前記マッピングデータをリアルタイムで演算する演算部（演算ブロック部１２Ｂ）と、前記車載用カメラ１１から出力された画像データと前記演算部から出力されたマッピングデータとが入力されて該視点変換画像生成用のマッピングデータに基づき前記画像データに視点変換処理をリアルタイムで施す視点変換処理回路（視点変換処理ブロック部１２Ｃ）を備えている。
【００８５】
この車載用カメラの視点変換映像取得方法によれば、モニター装置１４にリアルタイムで視点変換画像を表示させることができるので、この視点変換画像を見ながらマッピングデータ生成用のパラメータを調整できることになり、顧客にとって取り扱い易くかつ顧客が自由に視点変換画像を取得可能となる。
【００８６】
（優先権の主張）
本願は、２００８年７月１４日付に日本国特許庁に出願された特願２００８−１８３２０１号に基づく優先権を主張し、その内容をここに援用する。
【図１】
2010007960.tif 000003
【図２】
2010007960.tif 000004
【図３】
2010007960.tif 000005
【図４】
2010007960.tif 000006
【図５】
2010007960.tif 000007
【図６】
2010007960.tif 000008
【図７】
2010007960.tif 000009
【図８】
2010007960.tif 000010
【図９】
2010007960.tif 000011
【図１０】
2010007960.tif 000012
【図１１】
2010007960.tif 000013
【図１２】
2010007960.tif 000014
【図１３】
2010007960.tif 000015
【図１４】
2010007960.tif 000016
【図１５】
2010007960.tif 000017
【図１６】
2010007960.tif 000018
【図１７】
2010007960.tif 000019
【図１８】
2010007960.tif 000020
【図１９】
2010007960.tif 000021
【手続補正書】
【提出日】平成22年12月22日(2010.12.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に取り付け固定される車載用カメラと、
画像を表示させるモニター装置と、
前記車載用カメラからの生の画像データが入力されかつ該画像データに視点変換画像生成用のマッピングデータに基づき視点変換処理を施して視点変換画像データをモニター装置に出力する視点変換処理ユニットと、
前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ前記マッピングデータを生成するためのパラメータを入力するパラメータ入力装置を有する車載用カメラの視点変換映像システムであって、
前記視点変換処理ユニットは、前記パラメータ入力装置により入力された入力パラメータに基づいて前記マッピングデータをリアルタイムで演算する演算部と、前記車載用カメラから出力された画像データと前記演算部から出力されたマッピングデータとが入力されて該マッピングデータに基づき前記画像データに視点変換処理をリアルタイムで施す視点変換処理部と、前記パラメータ入力装置により入力された入力パラメータを記憶するパラメータ記憶部と、を備えていることを特徴とする車載用カメラの視点変換映像システム。
【請求項２】
前記パラメータ記憶部には予め設定された初期パラメータが記憶され、前記視点変換処理ユニットは、前記パラメータ入力装置により入力された入力パラメータに基づいて視点変換処理を施した画像が得られた後に、電源のオフ操作がされたときに視点変換処理を施した画像の入力パラメータを次回の起動時のパラメータとしてパラメータ記憶部に記憶させることを特徴とする請求項１に記載の車載用カメラの視点変換映像システム。
【請求項３】
前記パラメータ記憶部には予め設定された初期パラメータを記憶する初期パラメータ記憶部および前記パラメータ入力装置により入力された入力パラメータを記憶する複数個の入力パラメータ記憶部を有し、前記視点変換処理ユニットは前記複数個の入力パラメータ記憶部に記憶された入力パラメータに基づき得られる視点変換画像を前記モニター装置の画面に同時に並列的に縮小画像として表示させると共に、前記視点変換処理ユニットは選択される前記縮小画像を前記モニター装置の画面に拡大表示させることを特徴とする請求項１に記載の車載用カメラの視点変換映像システム。
【請求項４】
前記パラメータ入力装置は、前記車載用カメラの視点の三次元座標位置に対応する３個のパラメータを指定する操作部と前記車載用カメラの三次元空間に対する姿勢としてのピッチ角とロール角とヨー角との３個のパラメータを指定する操作部とを有することを特徴とする請求項１又は３に記載の車載用カメラの視点変換映像システム。
【請求項５】
前記モニター装置は前記パラメータ入力装置を兼用するタッチパネル式のモニター装置であり、前記モニター装置の画面には前記パラメータを入力するパラメータ入力部が表示されることを特徴とする請求項４に記載の車載用カメラの視点変換映像システム。
【請求項６】
前記パラメータ入力部は前記車載用カメラの三次元位置データを入力するために前記画面に表示された移動方向指示部であることを特徴とする請求項５に記載の車載用カメラの視点変換映像システム。
【請求項７】
前記移動方向指示部は、Ｘ方向の位置データを入力するＸ移動方向指示部，Ｙ方向の位置データを入力するＹ移動方向指示部，Ｚ方向の位置データを入力するＺ移動方向指示部であることを特徴とする請求項６に記載の車載用カメラの視点変換映像システム。
【請求項８】
前記Ｘ移動方向指示部，Ｙ移動方向指示部，Ｚ移動方向指示部は視点位置を反対方向に移動させるための一対の指示ボタンをそれぞれ備えることを特徴とする請求項７に記載の車載用カメラの視点変換映像システム。
【請求項９】
車両に取り付け固定された車載用カメラからの生の画像データが入力されかつ視点変換処理を施して視点変換された画像データをモニター装置に出力する視点変換処理ユニットと、前記車載用カメラの三次元空間に対する位置と姿勢とを意味しかつ視点変換画像生成用のマッピングデータを生成するパラメータを記憶させるパラメータ記憶部を備えた車載用カメラの視点変換映像システムにおける視点変換映像取得方法であって、
前記パラメータ記憶部に記憶された初期パラメータに基づきリアルタイムで前記車載用カメラにより取得された生の画像データに前記視点変換処理ユニットで視点変換処理を施して前記モニター装置の画面に視点変換画像を表示させる第1表示ステップと、
前記初期パラメータにより得られた視点変換画像を変更するために、入力された入力パラメータに基づきリアルタイムで前記車載用カメラにより取得された画像データに視点変換処理を施して前記モニター装置の画面に視点変換画像を表示させる第2表示ステップと、
電源がオフ操作されたときに前記視点変換処理ユニットにより前記入力パラメータを前記パラメータ記憶部に次回の起動時のパラメータとして保存する保存ステップとを有することを特徴とする車載用カメラの視点変換映像取得方法。
【請求項１０】
順次入力される入力パラメータは前記パラメータ記憶部に記憶され、前記モニター装置の画面に前記パラメータ記憶部に記憶された入力パラメータに基づき得られる複数の視点変換画像を縮小画像として表示させ、その１つが選択されると選択された縮小画像を拡大表示する拡大表示ステップをさらに有することを特徴とする請求項９に記載の車載用カメラの視点変換映像取得方法。
【国際調査報告】
2010007960.tif 000022
2010007960.tif 000023
2010007960.tif 000024
2010007960.tif 000025
2010007960.tif 000026
2010007960.tif 000027