(57)【要約】  【課題】  記憶容量を増やさずに滑らかな視点切り替えを行うことのできる映像変換装置を提供する。  【解決手段】  入力映像の視点を変換する撮像装置１００は、映像の視点を変更するための、複数の視点にそれぞれ対応する複数の視点パラメータを記憶するための視点パラメータ記憶部３０と、視点パラメータ記憶部３０に記憶された複数の視点パラメータから任意の出発視点の視点パラメータ及び任意の終着視点の視点パラメータを選択する視点選択部５０１と、視点選択部で選択された出発視点の視点パラメータと終着視点の視点パラメータとの間を補間して補間視点パラメータを生成する視点パラメータ補間部５０２と、視点パラメータ補間部５０２で順次生成された補間視点パラメータに基づいて、入力映像を順次視点変換することで視点変換映像を生成して、該視点変換映像を出力し、これによって視点が出発視点と終着視点との間で徐々に切り替わる視点変換映像を提供する視点変換部５０３とを備えている。【選択図】  図１
2011091527.tif 000002
【特許請求の範囲】
【請求項１】
入力映像の視点を変換する映像変換装置であって、
予め記憶された、映像の視点を変更するための、複数の視点にそれぞれ対応する複数の視点パラメータから、前記入力映像の視点を出発視点に変更するための視点パラメータ及び前記入力映像の視点を終着視点に変更するための視点パラメータを選択する視点選択部と、
前記視点選択部で選択された前記出発視点の視点パラメータと前記終着視点の視点パラメータとの間を補間して補間視点パラメータを生成する視点パラメータ補間部と、
前記視点パラメータ補間部で順次生成された前記補間視点パラメータに基づいて、前記入力映像を順次視点変換することで視点変換映像を生成して、該視点変換映像を出力し、これによって視点が前記出発視点と前記終着視点との間で徐々に切り替わる視点変換映像を提供する視点変換部と、
を備えたことを特徴とする映像変換装置。
【請求項２】
複数の代表視点にそれぞれ対応する複数の視点パラメータを記憶するための視点パラメータ記憶部をさらに備え、
前記視点選択部は、前記視点パラメータ記憶部に記憶された複数の代表視点の視点パラメータから前記出発視点の視点パラメータ及び前記終着視点の視点パラメータを選択することを特徴とする請求項１に記載の映像変換装置。
【請求項３】
前記視点パラメータは、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルであり、
前記視点変換部は、前記座標テーブルに従って、前記視点変換映像の各座標について前記入力映像の画素値を参照することで前記視点変換映像を生成することを特徴とする請求項１又は２に記載の映像変換装置。
【請求項４】
前記視点パラメータは、前記入力映像の視点から視点を変更する際の視点の回転角及び平行移動量を含むパラメータセットであり、
前記映像変換装置は、前記視点パラメータに基づいて、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標を求める座標変換部をさらに備え、
前記視点変換部は、前記視点変換映像の各座標について、前記座標変換部が求めた前記入力映像の座標の画素値を参照することで前記視点変換映像を生成することを特徴とする請求項１又は２に記載の映像変換装置。
【請求項５】
前記視点パラメータは、射影変換係数であることを特徴とする請求項１又は２に記載の映像変換装置。
【請求項６】
前記入力映像は、１台のカメラから得た映像、又は複数台のカメラから得た複数の映像を合成してなる合成映像であることを特徴とする請求項１ないし請求項５のいずれかに記載の映像変換装置。
【請求項７】
前記視点選択部は、ギアポジション、車速、方向指示器、及び／又はステア角を含む車両情報に連動して前記出発視点の視点パラメータ及び前記終着視点の視点パラメータを選択することを特徴とする請求項２ないし請求項６のいずれかに記載の映像変換装置。
【請求項８】
前記入力映像に重畳するための描画データを記憶する描画データ記憶部と、
前記出発視点の視点パラメータ、前記補間視点パラメータ、及び前記終着視点の視点パラメータの各々を用いて前記描画データを視点変換し、視点変換描画データを生成する描画データ視点変換部と、
前記視点変換映像に対して、該視点変換映像に対応する前記視点変換描画データを重畳する描画重畳部と、
をさらに備えたことを特徴とする請求項１ないし請求項７のいずれかに記載の映像変換装置。
【請求項９】
前記視点変換映像に対して画像処理を行う画像処理部をさらに備え、
前記描画重畳部は、前記画像処理部にて画像処理された後の前記視点変換映像に対して、該視点変換映像に対応する前記視点変換描画データを重畳することを特徴とする請求項８に記載の映像変換装置。
【請求項１０】
前記視点選択部は、車両周辺の障害物の有無の情報を含む障害物情報に基づいて、車両周辺に障害物があると判断される場合に、現在の視点パラメータを前記出発視点の視点パラメータとして選択し、障害物と車両との位置関係を把握できる視点変換映像を生成するための障害物視点パラメータを前記終着視点の視点パラメータとして選択することを特徴とする請求項１に記載の映像変換装置。
【請求項１１】
前記障害物情報は、さらに障害物の方向及び車両から障害物までの距離の情報を含み、
前記映像変換装置は、前記障害物の方向及び車両から障害物までの距離の情報に基づいて、前記障害物視点パラメータを生成する障害物視点パラメータ生成部をさらに備え、
前記障害物視点パラメータは、車両と障害物との接近箇所が拡大された視点変換映像を生成するための視点パラメータであることを特徴とする請求項１０に記載の映像変換装置。
【請求項１２】
前記障害物視点パラメータ生成部は、車両と障害物との距離が近いほど拡大率の大きい視点変換映像を生成するように前記障害物視点パラメータを生成することを特徴とする請求項１１に記載の映像変換装置。
【請求項１３】
前記視点変換部は、視点が時間Ｔをかけて前記出発視点から前記終着視点に徐々に切り替わる視点変換映像を提供し、ここで、前記時間Ｔは、映像表示のフレーム数であって、２以上であり、
前記視点パラメータ補間部は、（Ｔ−１）個の前記補間視点パラメータを生成することを特徴とする請求項１ないし請求項１２のいずれかに記載の映像変換装置。
【請求項１４】
カメラで車両周辺を撮影することで前記入力映像を生成する入力映像生成手段と、
請求項１ないし請求項１３のいずれかに記載の映像変換装置と、
を備えることを特徴とする撮像装置。
【請求項１５】
入力映像の視点を変換する処理をコンピュータに実行させる映像変換プログラムであって、
予め記憶された、映像の視点を変更するための、複数の視点にそれぞれ対応する複数の視点パラメータから、任意の出発視点の視点パラメータ及び任意の終着視点の視点パラメータを選択する視点選択ステップと、
選択された前記出発視点の視点パラメータと前記終着視点の視点パラメータとの間を補間して順次補間視点パラメータを生成し、該補間視点パラメータに基づいて、順次前記入力映像を視点変換することで順次前記視点変換映像を生成して、該視点変換映像を出力する視点変換ステップとをコンピュータに実行させ、
前記視点変換ステップによって、視点が前記出発視点と前記終着視点との間で徐々に切り替わる視点変換映像を提供することを特徴とする映像変換プログラム。
【請求項１６】
請求項１５に記載の映像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】
入力映像の視点を変換する映像変換方法であって、
予め記憶された、映像の視点を変更するための、複数の視点にそれぞれ対応する複数の視点パラメータから、前記入力映像の視点を出発視点に変更するための視点パラメータ及び前記入力映像の視点を終着視点に変更するための視点パラメータを選択する視点選択ステップと、
選択された前記出発視点の視点パラメータと前記終着視点の視点パラメータとの間を補間して順次補間視点パラメータを生成し、該補間視点パラメータに基づいて、順次前記入力映像を視点変換することで順次前記視点変換映像を生成して、該視点変換映像を出力する視点変換ステップとを含み、
前記視点変換ステップによって、視点が前記出発視点と前記終着視点との間で徐々に切り替わる視点変換映像を提供することを特徴とする映像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像を任意の視点の映像に変換する映像変換装置及びその映像変換装置を備えた撮像装置に関するものである。
【背景技術】
【０００２】
近年、車両周辺の状況を撮影する車載カメラの利用が拡大している。このような車載カメラは、自動車の安全運転を支援するために、運転手から死角となる場所を撮影する。カメラの映像を車内のモニタに表示することで、運転手は、車両周辺の様子を確認しながら運転できる。この際、カメラからの入力映像に対して視点変換をすることで、任意の視点から車両周辺を見た映像を生成するとともに、運転状況に応じて運転手が必要とする視点の映像をその都度提示することが行われる。
【０００３】
従来の車両用映像提示装置では、後退駐車、前進駐車、交差点進入などの運転状況に応じて、複数のカメラからの映像を複数の視点位置からの映像になるようにそれぞれ合成して表示している（例えば、特許文献１参照）。これにより、運転状況に応じた各場面で、運転手が必要とする合成映像を提示している。この映像提示装置では、映像の合成にはルックアップテーブルを用い、それぞれの視点位置に応じてルックアップテーブルを切り替えている。また、運転状況は運転手によるスイッチ選択により識別している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−０７８６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の映像提示装置においては、提示する映像の視点を切り替える際に、視点が瞬時に切り替わるので、運転手は映像が車両周辺のどこを撮影しているのか見失いやすく、運転手のとまどいを誘発するという問題があった。また、運転状況の識別を運転手によるスイッチ動作で行っているため、運転手が運転以外の動作をする必要があり、安全運転の妨げとなるという問題があった。
【０００６】
本発明は、従来の問題を解決するためになされたもので、映像の視点位置を滑らかに切り替えることで、視点位置の移動を運転手に知覚させることのできる映像変換装置及び撮像装置を提供することを目的とする。また、本発明は、運転手の手を煩わせることなく、映像の視点位置を自動的に最適な位置へ変更できる映像変換装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像変換装置は、入力映像の視点を変換する映像変換装置であって、予め記憶された、映像の視点を変更するための、複数の視点にそれぞれ対応する複数の視点パラメータから、前記入力映像の視点を出発視点に変更するための視点パラメータ及び前記入力映像の視点を終着視点に変更するための視点パラメータを選択する視点選択部と、前記視点選択部で選択された前記出発視点の視点パラメータと前記終着視点の視点パラメータとの間を補間して補間視点パラメータを生成する視点パラメータ補間部と、前記視点パラメータ補間部で順次生成された前記補間視点パラメータに基づいて、前記入力映像を順次視点変換することで視点変換映像を生成して、該視点変換映像を出力し、これによって視点が前記出発視点と前記終着視点との間で徐々に切り替わる視点変換映像を提供する視点変換部とを備えた構成を有する。
【０００８】
この構成により、あらかじめ用意した複数の視点からの映像を運転手に提示するにあたり、視点を瞬間的に切り替えるのではなく、出発視点と終着視点との間で視点を徐々に切り替えるので、連続的に滑らかな視点切り替えを行うことができる。また、視点変換映像を滑らかに切り替える際に、視点移行途中の視点変換映像を生成するための視点パラメータを予め記憶しておく必要がないので、必要な記憶容量の増大を抑えることができる。
【０００９】
また、本発明の映像変換装置は、複数の代表視点にそれぞれ対応する複数の視点パラメータを記憶するための視点パラメータ記憶部をさらに備え、前記視点選択部は、前記視点パラメータ記憶部に記憶された複数の代表視点の視点パラメータから前記出発視点の視点パラメータ及び前記終着視点の視点パラメータを選択する。この構成により、予め用意された代表視点の間で滑らかに視点を移行できる。
【００１０】
本発明の映像変換装置において、前記視点パラメータは、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルであり、前記視点変換部は、前記座標テーブルに従って、前記視点変換映像の各座標について前記入力映像の画素値を参照することで前記視点変換映像を生成する。
【００１１】
この構成により、視点パラメータとして座標テーブルを採用し、視点移行途中の補間処理では、この座標テーブルを直接補間するので、複雑な計算を要することなく補間を行うことができる。
【００１２】
また、本発明の映像変換装置において、前記視点パラメータは、前記入力映像の視点から視点を変更する際の視点の回転角及び平行移動量を含むパラメータセットであり、前記映像変換装置は、前記視点パラメータに基づいて、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標を求める座標変換部をさらに備え、前記視点変換部は、前記視点変換映像の各座標について、前記座標変換部が求めた前記入力映像の座標の画素値を参照することで前記視点変換映像を生成する。
【００１３】
この構成により、視点パラメータ記憶部は視点パラメータとしてパラメータセットを記憶しておけばよいので、視点パラメータを記憶するのに要する記憶容量の増大を抑えることができる。また、視点パラメータとしてパラメータセットを採用するので、補間処理によって出発視点と終着視点との間の視点変換映像が歪んだ映像になってしまうということがない。
【００１４】
また、本発明の映像変換装置において、前記視点パラメータは、射影変換係数である。この構成により、射影変換式の係数値を指定することにより実空間上におけるカメラの位置移動を指定することができる。
【００１５】
本発明の映像変換装置において、前記入力映像は、１台のカメラから得た映像、又は複数台のカメラから得た複数の映像を合成してなる合成映像である。この構成により、１台のカメラから得た映像を視点変換でき、又は複数台のカメラから得た複数の映像を合成してなる合成映像を視点変換できる。
【００１６】
また、本発明の映像変換装置において、前記視点選択部は、ギアポジション、車速、方向指示器、及び／又はステア角を含む車両情報に連動して前記出発視点の視点パラメータ及び前記終着視点の視点パラメータを選択する。
【００１７】
この構成により、視点の切り替えに運転手の操作を必要としないため運転の妨げをすることなく、運転の状況によって最適な視点からの映像を自動的に運転手に提示することができる。
【００１８】
本発明の映像変換装置は、さらに、前記入力映像に重畳するための描画データを記憶する描画データ記憶部と、前記出発視点の視点パラメータ、前記補間視点パラメータ、及び前記終着視点の視点パラメータの各々を用いて前記描画データを視点変換し、視点変換描画データを生成する描画データ視点変換部と、前記視点変換映像に対して、該視点変換映像に対応する前記視点変換描画データを重畳する描画重畳部とを備える構成を有している。
【００１９】
この構成により、入力映像に対して描画データを重畳する場合にも、出発視点から終着視点に移行する際に、視点変換映像に対して視点変換描画データを重畳した上で、視点を滑らかに移行できる。
【００２０】
本発明の映像変換装置は、前記視点変換映像に対して画像処理を行う画像処理部をさらに備え、前記描画重畳部は、前記画像処理部にて画像処理された後の前記視点変換映像に対して、該視点変換映像に対応する前記視点変換描画データを重畳する。
【００２１】
この構成により、画像処理によって視点変換描画データが滲んだり、その色相が変化したりすることを防止できる。
【００２２】
本発明の映像変換装置において、前記視点選択部は、車両周辺の障害物の有無の情報を含む障害物情報に基づいて、車両周辺に障害物があると判断される場合に、現在の視点パラメータを前記出発視点の視点パラメータとして選択し、障害物と車両との位置関係を把握できる視点変換映像を生成するための障害物視点パラメータを前記終着視点の視点パラメータとして選択する。
【００２３】
この構成により、車両周辺に障害物があるときに、通常の視点から障害物と車両との位置関係を把握できる視点に切り替えることができ、さらに、この際にも視点の切り替えを滑らかに行うことができる。
【００２４】
本発明の映像変換装置において、前記障害物情報は、さらに障害物の方向及び車両から障害物までの距離の情報を含み、前記映像変換装置は、前記障害物の方向及び車両から障害物までの距離の情報に基づいて、前記障害物視点パラメータを生成する障害物視点パラメータ生成部をさらに備え、前記障害物視点パラメータは、車両と障害物との接近箇所が拡大された視点変換映像を生成するための視点パラメータである。
【００２５】
この構成により、車両に衝突する危険性のある障害物付近を自動的に拡大して見やすくした映像を提示することができ、拡大表示する前の任意の視点から拡大した映像まで滑らかに切り替えながら運転手に提示することができる。
【００２６】
本発明の映像変換装置において、前記障害物視点パラメータ生成部は、車両と障害物との距離が近いほど拡大率の大きい視点変換映像を生成するように前記障害物視点パラメータを生成する。
【００２７】
この構成により、接触の危険が高まるほど車両と障害物の接触危険箇所を拡大して表示するので、接触危険箇所を確認しやすい映像を運転手に提示できる。
【００２８】
本発明の映像変換装置において、前記視点変換部は、視点が時間Ｔをかけて前記出発視点から前記終着視点に徐々に切り替わる視点変換映像を提供し、ここで、前記時間Ｔは、映像表示のフレーム数であって、２以上であり、前記視点パラメータ補間部は、（Ｔ−１）個の前記補間視点パラメータを生成する。
【００２９】
この構成により、出発視点と終着視点との間を指定のフレーム数の時間をかけて滑らかに切り替えることができる。
【００３０】
また、本発明の別の態様は、カメラで車両周辺を撮影することで前記入力映像を生成する入力映像生成手段と、上記のいずれかの映像変換装置とを備える構成を有する撮像装置である。この構成によっても、上述した本発明の利点が得られる。
【００３１】
また、本発明の別の態様は、入力映像の視点を変換する処理をコンピュータに実行させる映像変換プログラムであって、予め記憶された、映像の視点を変更するための、複数の視点にそれぞれ対応する複数の視点パラメータから、任意の出発視点の視点パラメータ及び任意の終着視点の視点パラメータを選択する視点選択ステップと、選択された前記出発視点の視点パラメータと前記終着視点の視点パラメータとの間を補間して順次補間視点パラメータを生成し、該補間視点パラメータに基づいて、順次前記入力映像を視点変換することで順次前記視点変換映像を生成して、該視点変換映像を出力する視点変換ステップとをコンピュータに実行させ、前記視点変換ステップによって、視点が前記出発視点と前記終着視点との間で徐々に切り替わる視点変換映像を提供する構成を備えた映像変換プログラムである。この構成によっても、上述した本発明の利点が得られる。
【００３２】
また、本発明の別の態様は、上述の映像変換プログラムを記録したコンピュータ読み取り可能な記録媒体である。この構成によっても、上述した本発明の利点が得られる。
【００３３】
また、本発明の映像変換方法は、入力映像の視点を変換する映像変換方法であって、予め記憶された、映像の視点を変更するための、複数の視点にそれぞれ対応する複数の視点パラメータから、前記入力映像の視点を出発視点に変更するための視点パラメータ及び前記入力映像の視点を終着視点に変更するための視点パラメータを選択する視点選択ステップと、選択された前記出発視点の視点パラメータと前記終着視点の視点パラメータとの間を補間して順次補間視点パラメータを生成し、該補間視点パラメータに基づいて、順次前記入力映像を視点変換することで順次前記視点変換映像を生成して、該視点変換映像を出力する視点変換ステップとを含み、前記視点変換ステップによって、視点が前記出発視点と前記終着視点との間で徐々に切り替わる視点変換映像を提供する。この方法によっても、上述した本発明の映像変換装置と同様の利点が得られる。
【発明の効果】
【００３４】
本発明によれば、滑らかな視点の切り替えができるので、あたかもカメラを移動させて撮影しているかの如き映像を運転手に提示でき、運転手が映像の視点を正しく認識できるという優れた効果を有する。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施の形態における映像変換装置の概略構成を示すブロック図
【図２】（ａ）原映像を示す図  （ｂ）視点変換映像を示す図  （ｃ）座標テーブルを示す図
【図３】車両情報と提示する映像の視点との対応の例を示す図
【図４】（ａ）出発視点に対応する座標テーブルを示す図  （ｂ）終着視点に対応する座標テーブルを示す図  （ｃ）出発視点と終着視点との間の視点に対応する補間座標テーブルを示す図  （ｄ）出発視点と終着視点との間の視点に対応する補間座標テーブルを示す図
【図５】本発明の第１の実施の形態における映像視点変換部の動作を示すフロー図
【図６】本発明の第２の実施の形態における映像変換装置の概略構成を示すブロック図
【図７】本発明の第２の実施の形態における視点パラメータ補間部の構成を示すブロック図
【図８】本発明の第２の実施の形態における視点パラメータ補間部の動作タイミングを説明する図
【図９】カメラ座標系と映像座標系の関係を表す図
【図１０】本発明の第２の実施の形態における映像視点変換部の動作を示すフロー図
【図１１】本発明の第３の実施の形態における映像変換装置の概略構成を示すブロック図
【図１２】（ａ）車両におけるカメラの取り付け位置を示す図  （ｂ）複数のカメラによる合成映像を示す図
【図１３】図１２（ｂ）の合成映像に対応する描画データを示す図
【図１４】（ａ）描画データのデータ形式の例（画素単位）を示す図  （ｂ）描画データのデータ形式の例（関数）を示す図
【図１５】（ａ）障害物がない状態の映像の例を示す図  （ｂ）車両と障害物との位置関係の例を示す図  （ｃ）障害物が存在している場合の障害物視点を示す図
【図１６】（ａ）車両と障害物との距離が近い場合の車両と障害物との位置関係を示す図  （ｂ）車両と障害物との距離が近い場合の障害物視点を示す図  （ｃ）車両と障害物との距離が遠い場合の車両と障害物との位置関係を示す図  （ｄ）車両と障害物との距離が遠い場合の障害物視点を示す図
【図１７】セレクタとその周辺部の接続の詳細を示したブロック図
【発明を実施するための形態】
【００３６】
以下、本発明の実施の形態の映像変換装置を備えた撮像装置について、図面を参照しながら説明する。本発明は、入力映像を任意の視点の映像に変換する映像変換装置及びその映像変換装置を備えた撮像装置に関るが、本明細書中で映像について「視点」というときは、当該映像がカメラで撮影されたと想定したときのそのカメラの位置及び角度を含み、さらにカメラの画角（映像の拡大縮小率）を含んでもよい。
【００３７】
（第１の実施の形態）
図１は、第１の実施の形態の撮像装置の概略構成を示すブロック図である。撮像装置１００は、カメラ１０、フレームメモリ２０、視点パラメータ記憶部３０、車両情報送信部４０、映像視点変換部５０、及び画像処理回路６０を備えている。カメラ１０は、車両の所定位置に所定の角度で取り付けられる。カメラ１０は、レンズ１１、撮像素子１２、Ａ／Ｄ変換器１３、及び映像信号処理回路１４を備えており、車両周辺の被写体を撮影して映像信号を生成する。レンズ１１は、被写体からの光を撮像素子１２に結像する。撮像素子１２は、結像した像を光電変換してアナログ信号を出力する。Ａ／Ｄ変換器１３は、撮像素子１２から出力されたアナログ信号をデジタル信号に変換する。映像信号処理回路１４は、Ａ／Ｄ変換された映像信号に対してＯＢ減算やホワイトバランス調整、ノイズ低減などを行う。
【００３８】
フレームメモリ２０は、カメラ１０の映像信号処理回路１４にて映像信号処理が行われた映像信号を１フレーム分記憶し、後述する視点変換部５０３に映像信号を出力する。視点パラメータ記憶部３０は、カメラ１０で撮影して得られた映像を代表視点の映像に変換するための視点パラメータを記憶している。視点パラメータ記憶部３０には、複数の代表視点について、それぞれの代表視点に対応する視点パラメータが記憶されている。車両情報送信部４０は、映像の視点を自動的に切り替えるために利用する車両情報を送信する。映像視点変換部５０は、車両情報送信部４０から受け取った車両情報に基づいてフレームメモリ２０に記憶した映像に対して視点変換を行う。画像処理回路６０は、映像視点変換部５０で視点変換された映像に対して輝度信号と色信号の分離、及び輝度や色の補正を行う。なお、カメラ１０は、本発明の入力映像生成手段に相当し、フレームメモリ２０、視点パラメータ記憶部３０、車両情報送信部４０、映像視点変換部５０、及び画像処理回路６０からなる構成は、本発明の映像変換装置に相当する。
【００３９】
映像視点変換部５０は、視点パラメータを用いて映像の視点変換を行い、視点変換映像を生成する。また、映像視点変換部５０は、２点間で視点を移動させるときに視点が２点間を滑らかに移動するような視点変換映像を生成する。即ち、映像視点変換部５０は、ある視点（視点１）から他の視点（視点２）に視点を直接変更するのではなく、視点１と視点２との間を視点が滑らかに移るように、視点１と視点２との間の複数の視点について、順に映像の視点変換を行い、視点変換映像を出力する。このような滑らかな視点移動を実現するために、視点１と視点２との間の複数の視点のすべてについて、視点パラメータ記憶部３０で視点パラメータを記憶しておき、映像視点変換部５０にてそれらの視点パラメータを利用して視点が順に移り変わるように順次視点変換映像を生成するという方法が考えられる。しかしながら、視点１と視点２との間のすべての視点の視点パラメータを視点パラメータ記憶部３０で記憶しておくとすれば、視点パラメータ記憶部３０に必要とされる容量が過大になる。そこで、本実施の形態では、上述のように視点パラメータ記憶部３０にはいくつかの代表視点の視点パラメータのみを記憶しておき、ある代表視点から他の代表視点へ視点を移行するときの中間の視点の視点パラメータは、その都度生成する。以下、このための構成を説明する。
【００４０】
本実施の形態では、視点パラメータ記憶部３０は、代表視点の視点パラメータとして、代表視点の座標テーブルを記憶している。この座標テーブルは、カメラ１０により撮影されてフレームメモリ２０に記憶された映像（以下「原映像」ともいう）を座標変換して視点変換映像を生成するに当たり、視点変換映像の各座標（画素）について、原映像のどの座標の画素値を参照するかが記述されているテーブルである。なお、原映像は、本発明の入力映像に相当する。
【００４１】
まず、座標テーブルを用いた視点変換を説明する。図２は、座標テーブルを用いた視点変換を説明する図である。図２（ａ）は原映像であり、図２（ｂ）は視点変換映像であり、図２（ｃ）は座標テーブルである。図２（ｃ）の座標テーブルには、図２（ｂ）の視点変換映像の座標ごとに、図２（ａ）の原映像に対応する参照座標値が記述されている。図２の座標テーブルを用いた視点変換では、図２（ｃ）の座標テーブル（０，０）に記憶されている座標値（３，１０）に基づいて、図２（ａ）の原映像の座標（３，１０）の画素値を参照して、図２（ｂ）の視点変換映像の左上の座標（０，０）の画素値を決定する。同様に、視点変換映像の座標（０，１）は、原映像の座標（４，１１）を参照する。このように、視点パラメータとして、座標テーブルを用いることで映像の視点変換が可能になる。
【００４２】
なお、座標テーブルは、図２のように視点変換映像の全画素に対応する参照座標値を有していなくてもよい。座標テーブルが、例えば水平８画素おき、垂直８画素おきに代表点のみの参照座標値を有しており、その間の画素の参照座標値は補間計算によって求めることも可能である。また、参照座標値は、整数に限らず、小数であってもよい。参照座標値が小数である場合は、フレームメモリ上の映像の複数の画素を参照して、参照画素の画素値を補間した値を視点変換映像に用いることとなる。例えば、視点変換映像のある座標について、参照座標値が（１，１．７）となっている場合には、視点変換映像のこの座標の画素値ｋは、ｋ＝（原映像の座標（１，１）の画素値）×０．３＋（原映像の座標（１，２）の画素値）×０．７とする。
【００４３】
車両情報送信部４０は、車両情報を映像視点変換部５０に送信する。ここで、車両情報とは運転状況を識別するためのものであり、例えばギアポジション、車速、方向指示器、ステア角などの情報がある。情報の送信には、ＬＩＮ（Ｌｏｃａｌ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｎｅｔｗｏｒｋ）やＣＡＮ（Ｃｏｎｔｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの車載ネットワークを利用する。
【００４４】
映像視点変換部５０は、視点選択部５０１、視点パラメータ補間部５０２、及び視点変換部５０３を備えている。まず、映像視点変換部５０の概要を説明する。映像視点変換部５０は、視点選択部５０１において車両情報送信部４０から車両情報を受信し、この車両情報に基づいて、視点パラメータ記憶部３０が記憶する座標テーブルの中から、視点の移行において出発点となる視点（出発視点）の座標テーブル及び視点の移行において終着点となる視点（終着視点）の座標テーブルを選択する。
【００４５】
視点パラメータ補間部５０２は、視点選択部５０１にて選択された２つの座標テーブルを時間Ｔかけて補間する。具体的には、視点パラメータ補間部５０２は、時刻ｔでは出発視点の座標テーブルをそのまま出力し、時刻ｔ＋Ｔでは終着視点の座標テーブルをそのまま出力し、時刻ｔ＋１〜ｔ＋Ｔ−１の間では出発視点の座標テーブルから終着視点の座標テーブルに順次変化するような変化途中の座標テーブルを生成して出力する。ここで、時間Ｔは、視点が出発視点から終着視点に移行するのに要する時間であり、具体的には視点が出発視点から終着視点に移行するのに要する映像のフレーム数である。
【００４６】
視点変換部５０３は、視点パラメータ補間部５０２から出力された座標テーブルを用いて、フレームメモリ２０から取得した映像に対して順次視点変換を行い、視点変換映像を生成する。視点変換映像は、視点変換部５０３から画像処理回路６０に出力される。視点変換部５０の上記の各構成要素は、演算処理回路、ＲＯＭ、ＲＡＭ、記憶装置等を備えたＬＳＩで実現してもよいし、コンピュータプログラムを実行するコンピュータ装置で実現してもよい。
【００４７】
次に、視点を移動させるための構成を詳しく説明する。視点選択部５０１は、視点を移動させる場合に、車両情報送信部４０から受信した車両情報に基づいて、運転手に対してどの視点の映像を提示すれば最適なのかを自動的に判断し、視点パラメータ記憶部３０が記憶する複数の代表視点の座標テーブルの中から２つの座標テーブルを選択する。この２つの座標テーブルのうち、１つは出発視点の座標テーブルであり、他の１つは終着視点の座標テーブルである。なお、視点選択部５０１は、視点を移動させる必要がない場合は、視点パラメータ記憶部３０が記憶する複数の代表視点の座標テーブルの中から１つの座標テーブルのみを選択する。
【００４８】
以下、視点選択部５０１が車両情報に基づいて出発視点及び終着視点をどのように決定するかを説明する。図３は、車両情報と提示する映像の視点との対応の例を示す図である。図３の例では、ギアポジション、車速、及び方向指示器の３つの車両情報に基づいて視点を切り替える。まず、ギアポジションがリバースにあるか否かで第１の判定が行われ、リバースにあるときは常に車後方（ＶＰ１）の映像を提示する。ギアポジションがリバースにないときは、車速による第２の判定が行われる。車速が１５ｋｍ／ｈ以上である場合において、方向指示器が左を出しているときは、車左側後方（ＶＰ２）の映像を提示し、方向指示器が右を出しているときは車右側後方（ＶＰ３）の映像を提示する。車左側後方（ＶＰ２）と車右側後方（ＶＰ３）の映像提示は、主にレーンチェンジ時の側後方確認を目的としている。車速が１５ｋｍ／ｈ以上であって、方向指示器を使用しないときは車後方（ＶＰ１）の映像を提示する。車速が１５ｋｍ／ｈ以下である場合において、方向指示器が左を出しているならば車左側方（ＶＰ４）の映像を提示し、それ以外ならば車後方（ＶＰ１）の映像を提示する。車左側方（ＶＰ４）の映像提示は、主に左折時の巻き込み防止を目的としている。なお、図３は車両情報を使った視点選択の一例であり、実用の際はこの組合せ及び条件に限るものではない。
【００４９】
以上のような視点選択において、視点選択部５０１では視点パラメータ記憶部３０から視点パラメータを１つ乃至２つを選択する。視点選択部５０１が２つの座標テーブルを選択するのは、図３に示したＶＰ１〜ＶＰ４の映像が遷移するときである。このとき視点選択部５０１は、遷移する前の視点に対応する座標テーブルを出発視点の座標テーブルとして、遷移した後の視点に対応する座標テーブルを終着視点の座標テーブルとして、それぞれ視点パラメータ記憶部３０から選択する。視点選択部５０１は、映像が遷移しないときは、出力中の映像に対応する１つの座標テーブルを選択する。
【００５０】
例えば、ギアポジションがリバース以外であって、車速１５ｋｍ／ｈ以上で走行している場合において、方向指示器を使用していない状態が続いたときは、視点選択部５０１は、図３の車後方（ＶＰ１）の視点に対応する視点パラメータを視点パラメータ記憶部３０から選択する。この状態から方向指示器の左を点滅させた場合、図３の車後方（ＶＰ１）から車左側後方（ＶＰ２）に視点を切り替えるために、視点選択部５０１は、車後方（ＶＰ１）を出発視点として、車左側後方（ＶＰ２）を終着視点として、それらの視点に対応する座標テーブルを視点パラメータ記憶部３０から選択する。なお、座標テーブルの選択が１つのときは、出発視点及び終着視点とも同じ座標テーブルが選択されたとみなして処理する。
【００５１】
視点選択部５０１で選択された２つの視点パラメータを用いて上記で説明した滑らかな視点の切り替えが行われるが、映像の遷移が短時間で複数回切り替えられた場合には、視点の切り替え中に別の視点に瞬時に切り替わってしまうおそれがある。例えば、車速１５ｋｍ／ｈ以上で走行中、方向指示器が出ていない状態から左を出したとき、視点選択部５０１は車後方（ＶＰ１）を出発視点として、車左側後方（ＶＰ２）を終着視点として、それらの座標テーブルを選択する。これらの２つの座標テーブルを使って滑らかに視点を切り替えている最中、方向指示器を左から右に変えたとき、車左側後方（ＶＰ２）及び車右側後方（ＶＰ３）の２つの座標テーブルが選択されることになり、車後方（ＶＰ１）から車左側後方（ＶＰ２）の映像に切り替わっている最中に、急に車左側後方（ＶＰ２）から車右側後方（ＶＰ３）の映像に切り替わる映像が運転手に提示されてしまい、混乱の原因となる。そのため、視点選択部５０１は、映像の切り替え中は新たな映像の切り替えが発生しても選択した出発視点及び終着視点を一定時間保留する。
【００５２】
視点パラメータ補間部５０２は、視点選択部５０１で選択された２つの座標テーブルに対して補間処理を行って、当該２つの座標テーブルの視点の間の複数の視点にそれぞれ対応する座標テーブルを生成する。図４は、出発視点に対応する座標テーブルと、終着視点に対応する座標テーブルとの２つの座標テーブルを時間Ｔ（Ｔ＝３）かけて滑らかに補間する例である。図４（ａ）は、出発視点に対応する座標テーブルであり、図４（ｂ）は、終着視点に対応する座標テーブルであり、図４（ｃ）及び（ｄ）は、出発視点と終着視点との間の視点に対応する補間座標テーブルである。時刻０のときは図４（ａ）の座標テーブルを適用して視点変換を行い、時刻１のときは図４（ｃ）の座標テーブルを適用して視点変換を行い、時刻２のときは図４（ｄ）の座標テーブルを適用して視点変換を行い、時刻３のときは図４（ｂ）の座標テーブルを適用して視点変換を行うことで、時間３をかけて出発視点から終着視点に視点を滑らかに変化させる。
【００５３】
図４（ａ）及び（ｂ）の座標テーブルは、代表視点の座標テーブルとして、あらかじめ視点パラメータ記憶部３０に記憶されており、視点選択部５０１によって選択される。視点パラメータ補間部５０２は、以下の式（１）を用いて、図４（ｃ）及び（ｄ）に示す補間された座標テーブルを求める。
【数１】
2011091527.tif 000003
ここで、ｘｎ及びｙｎは、時間Ｔかけて滑らかに補間する際の時刻ｎにおける各画素のｘ、ｙ座標である。ｘ０及びｙ０は、時刻０、すなわち視点移動開始時の各画素の座標を表し、ｘＴ及びｙＴは時刻Ｔ、すなわち視点移動完了時の各画素の座標を表している。
【００５４】
視点変換部５０３は、視点パラメータ補間部５０２から送られてきた座標テーブルを用いて、フレームメモリ２０から取得した映像（原映像）の座標変換を行うことにより、映像の視点を変換する。具体的には、上記で図２を参照して説明したとおり、当該座標テーブルに記述されている座標に対応する原映像の座標を参照することで、視点変換映像を生成する。
【００５５】
以上のように構成された映像視点変換部５０について、図５を用いてその動作を説明する。まず、視点選択部５０１が車両情報送信部４０から車両情報を取得する（ステップＳ５１）。次に、視点選択部５０１は、車両情報に基づいて、視点パラメータ記憶部３０から出発視点及び終着視点の座標テーブルを選択して、視点パラメータ補間部５０２に設定する（ステップＳ５２）。視点パラメータ補間部５０２は、まず出発視点の座標テーブルを視点変換部５０３に渡し、視点変換部５０３は、出発視点の座標テーブルを用いて原映像を視点変換する（ステップＳ５３）。
【００５６】
その後、フレームカウント値ｎをｎ＝１とし（ステップＳ５４）、ｎ＝Ｔであるか否かを判断する（ステップＳ５５）。ｎ＝Ｔでないときは（ステップＳ５５でＮＯ）、視点パラメータ補間部５０２は、ｎを式（１）に代入して、補間座標テーブルを生成し（ステップＳ５６）、視点変換部５０３が生成された補間座標テーブルを用いてフレームメモリ２０から取得した映像に対して視点変換を行う（ステップＳ５７）。その後、ｎをインクリメントして（ステップＳ５８）、ステップＳ５５に戻る。このステップＳ５５〜Ｓ５８のループを繰り返し、ｎ＝Ｔとなったら（ステップＳ５５でＹＥＳ）、視点変換部５０３は、視点パラメータ補間部５０２に設定されていた終着視点の座標テーブルを用いてフレームメモリ２０から取得した映像に対して視点変換を行う（ステップＳ５９）。
【００５７】
このような第１の実施の形態の撮像装置によれば、２つの視点パラメータを時間Ｔかけて滑らかに切り替えているので、視点変換映像を滑らかに切り替えることができ、自動的に視点映像が切り替わることで運転手が視点を見失う可能性を軽減できる。
【００５８】
また、第１の実施の形態の撮像装置によれば、視点変換映像を滑らかに切り替えるに際して、視点移行途中の視点変換映像を生成するための視点パラメータを記憶しておく必要がないので、必要な記憶容量の増大を抑えることができる。
【００５９】
さらに、第１の実施の形態の撮像装置によれば、視点パラメータとして、視点変換映像を生成するための座標テーブルを採用し、視点移行途中の補間処理は、この座標テーブルを直接補間することとしているので、複雑な計算を要することなく補間を行うことができる。
【００６０】
さらに、第１の実施の形態の撮像装置によれば、車両情報を利用して視点パラメータを自動的に切り替えるので、運転手の運転を妨害することなく、運転状況に合わせた最適な映像を随時提示することができる。
【００６１】
（第２の実施の形態）
次に、本発明の第２の実施の形態の撮像装置を説明する。第１の実施の形態の撮像装置１００では、視点パラメータ記憶部３０が、視点パラメータとして座標テーブルを記憶していた。本実施の形態では、視点パラメータ記憶部３１は、視点パラメータとして、視点変換の回転角、平行移動量、拡大縮小率のパラメータからなるパラメータセットを記憶している。本実施の形態の映像視点変換部５１は、このようなパラメータセットを用いて視点変換を行う。
【００６２】
図６は、本発明の第２の実施の形態の撮像装置の概略構成を示すブロック図である。図６において、第１の実施の形態と同様の構成については、同一の参照符号を付してその詳細な説明を省略する。本実施の形態の撮像装置２００は、カメラ１０、フレームメモリ２０、視点パラメータ記憶部３１、車両情報送信部４０、映像視点変換部５１、及び画像処理回路６０を備えている。カメラ１０、フレームメモリ２０、車両情報送信部４０、及び画像処理回路６０の構成は、第１の実施の形態と同じである。なお、カメラ１０は本発明の入力映像生成手段に相当し、フレームメモリ２０、視点パラメータ記憶部３１、車両情報送信部４０、映像視点変換部５１、及び画像処理回路６０からなる構成は、本発明の映像変換装置に相当する。
【００６３】
視点パラメータ記憶部３１には、複数の代表視点について、原映像を当該代表視点に変換するための原映像のＸ軸、Ｙ軸、Ｚ軸に対するそれぞれの回転角θｘ、θｙ、θｚと、平行移動量ｍｘ、ｍｙと、拡大縮小率Ｒからなるパラメータセットが視点パラメータとして記憶されている。
【００６４】
以下、本実施の形態の映像視点変換部５１について、第１の実施の形態の映像変換部５０と相違する点を中心に説明する。映像視点変換部５１は、視点選択部５１１、視点パラメータ補間部５１２、座標変換部５１４及び視点変換部５１３を備えている。なお、第１の実施の形態と同様に、映像視点変換部５１の上記の各構成要素は、演算処理回路、ＲＯＭ、ＲＡＭ、記憶装置等を備えたＬＳＩで実現してもよいし、コンピュータプログラムを実行するコンピュータ装置で実現してもよい。
【００６５】
視点選択部５１１は、第１の実施の形態の視点選択部５０１と同様にして、車両情報送信部４０から送信された車両情報に基づいて、視点パラメータ記憶部３１に記憶されている視点パラメータを１つ又は２つ選択する。但し、本実施の形態では、視点選択部５１１が選択するのは座標テーブルではなく、原映像の視点を変換する際の回転角と、平行移動量と、拡大縮小率とからなるパラメータセットである。
【００６６】
視点パラメータ補間部５１２は、視点選択部５１１で選択された２つの視点パラメータを補間する。図７は、視点パラメータ補間部５１２の構成を示すブロック図であり、図８は、視点選択部５１１及び視点パラメータ補間部５１２の動作タイミング図である。図７に示すように、視点パラメータ補間部５１２は、出発視点の視点パラメータと終着視点の視点パラメータとをホールドする視点ホールド部５１２１と、ホールドした２つの視点を補間計算する計算部５１２２と、視点パラメータをホールドするタイミングと補間計算の重み付けを制御するフレームカウンタ５１２３を備えている。フレームカウンタ５１２３は、０から時間Ｔまでをカウントする。視点ホールド部５１２１は、カウンタ値ＦＣが０のときは視点パラメータを更新し、カウンタ値ＦＣが０以外のときは視点パラメータをホールドする。また、視点ホールド部５１２１において、出発視点ホールド部ＳＶＰは視点の切り替え前（出発視点）の視点パラメータをホールドし、終着視点ホールド部ＥＶＰは視点切り替え後（終着視点）の視点パラメータをホールドする。
【００６７】
図８は、ギアポジションがリバース以外であって、車速１５ｋｍ／ｈ以上で走行中、方向指示器が左に出たときのタイミング図を示している。まず、方向指示器が出ていない状態では、視点選択部５１１の出力は車後方（ＶＰ１）の視点パラメータであり、視点パラメータ補間部５１２の出力も車後方（ＶＰ１）の視点パラメータで安定している状態とする。出力が安定している状態ではフレームカウンタ５１２３のカウンタ値ＦＣは０とする。次に、この状態から方向指示器が左に出されたとき、視点選択部５１１は、車後方（ＶＰ１）と車左側後方（ＶＰ２）の２つの視点パラメータを視点パラメータ記憶部３１から選択して視点パラメータ補間部５１２に出力する。このときフレームカウンタ５１２３のカウンタ値ＦＣは０であるので、視点パラメータ補間部５１２の視点ホールド部５１２１は、出発視点ＳＶＰを車後方（ＶＰ１）の視点パラメータに更新し、終着視点ＥＶＰを車左側後方（ＶＰ２）の視点パラメータに更新し、フレームカウンタ５１２３のカウントアップを開始する。
【００６８】
フレームカウンタ５１２３のカウントアップ中は、出発視点ＳＶＰと終着視点ＥＶＰはホールド状態となり、車後方（ＶＰ１）と車左側後方（ＶＰ２）の２つの視点パラメータがフレームカウンタによって重み付け補間された視点パラメータが計算される。補間の計算式は次式（２）である。
【数２】
2011091527.tif 000004
式（２）において、ＦＣはフレームカウンタ、Ｔは視点を滑らかに切り替えるのにかける時間である。重み付け補間の計算は、式（２）に示すように、フレームカウンタ５１２３のカウンタ値ＦＣが０に近いときは、出発視点の視点パラメータが大きく重み付けされ、フレームカウンタ５１２３のカウンタ値がＴに近づくほど、終着視点の視点パラメータが大きく重み付けされる。なお、視点パラメータを補間する場合には、視点パラメータを構成する回転角θｘ、θｙ、θｚ、平行移動量ｍｘ、ｍｙ、拡大縮小率Ｒのそれぞれについて式（２）を適用することで、視点パラメータを構成する各パラメータを独立に補間する。
【００６９】
以上、視点選択部５１１において出発視点及び終着視点の視点パラメータを選択して、視点パラメータ補間部５１２でそれを基に視点を滑らかに移動させるために視点パラメータ（回転角θｘ、θｙ、θｚ、平行移動量ｍｘ、ｍｙ、拡大縮小率Ｒからなるパラメータセット）を補間する方法を説明した。映像視点変換部５１は、このようにして得られた視点パラメータを用いて映像の視点を変換するために、さらに、座標変換部５１４と、視点変換部５１３とを備えている。
【００７０】
以下、原映像の回転角、平行移動量及び拡大縮小率からなるパラメータセットを用いた視点変換について説明する。図９はカメラ座標系と映像座標系の関係を表す図である。カメラ座標系上の点Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）を映像座標（ｘ，ｙ）上へ投影する式は次式（３）となる。
【数３】
2011091527.tif 000005
ここで、ｆはカメラの焦点距離である。
カメラ座標系上の点ＰをＸ軸周りにθｘ回転させた回転後の点Ｐ（Ｘｗ’，Ｙｗ’，Ｚｗ’）は回転行列を使って次式（４）で表すことができる。
【数４】
2011091527.tif 000006
上式の回転後の点Ｐ（Ｘｗ’，Ｙｗ’，Ｚｗ’）に対応する映像座標上の点（ｘｘ，ｙｘ）は、映像座標（ｘ，ｙ）を使って次式（５）で表される。
【数５】
2011091527.tif 000007
同様に、カメラ座標系上の点ＰをＹ軸周りにθｙ回転させた回転後の点に対応する映像座標上の点（ｘｙ，ｙｙ）は、映像座標（ｘ，ｙ）を使って次式（６）で表される。
【数６】
2011091527.tif 000008
同様に、カメラ座標系上の点ＰをＺ軸周りにθｚ回転させた回転後の点に対応する映像座標上の点（ｘｚ，ｙｚ）は、映像座標（ｘ，ｙ）を使って次式（７）で表される。
【数７】
2011091527.tif 000009
【００７１】
上に示した式（５）、式（６）、式（７）を用いることにより、カメラ座標系上の点ＰをＸ軸、Ｙ軸、Ｚ軸周りに回転させた回転後の点に対応する映像座標上の点（ｘｘｙｚ，ｙｘｙｚ）は、映像座標（ｘ，ｙ）を使って次式（８）で表される。
【数８】
2011091527.tif 000010
【００７２】
次に、平行移動と拡大縮小を説明する。映像座標上の平行移動量を（ｍｘ、ｍｙ）、拡大縮小率をＲとすると、回転、平行移動、拡大縮小後の映像座標上の点（ｘ’，ｙ’）は次式（９）となる。
【数９】
2011091527.tif 000011
以上のように、カメラ座標系上のＸ軸、Ｙ軸、Ｚ軸に対するそれぞれの回転角θｘ、θｙ、θｚと、映像座標軸上の平行移動量ｍｘ、ｍｙと、拡大縮小率Ｒの合計６つのパラメータを用いることで、カメラ座標系上のカメラの３次元的な動きが映像座標上で表現できる。
【００７３】
座標変換部５１４は、視点パラメータ補間部５１２から出力された視点パラメータ（θｘ、θｙ、θｚ、ｍｘ、ｍｙ、Ｒ）に基づいて、式（９）を用いて映像座標軸上の注目座標値（ｘ，ｙ）を変換する変換座標（ｘ’，ｙ’）を求める。この変換座標（ｘ’，ｙ’）は、フレームメモリ２０に記憶されている映像の画素のうち、視点変換映像において参照すべき画素を示す座標である。すなわち、座標（ｘ，ｙ）を変換する変換座標（ｘ’，ｙ’）は、視点変換映像の座標（ｘ，ｙ）において、フレームメモリ２０に記憶された映像の座標（ｘ’，ｙ’）の画素値を参照することを意味する。
【００７４】
視点変換部５１３は、変換座標（ｘ’，ｙ’）を使って視点変換を行う。すなわち、注目座標（ｘ，ｙ）に、フレームメモリ２０に記憶された映像の座標（ｘ’，ｙ’）の画素値を参照して出力することで、原映像の視点を変換した視点変換映像を生成する。なお、（ｘ，ｙ）は出力用映像の座標なので、視点変換映像を生成するためには画面全体を順次走査することになる。また、変換座標（ｘ’，ｙ’）が小数値ならば、第１の実施の形態で説明したように、複数の画素を補間した結果を出力する。座標変換部５１３は、視点変換映像を画像処理回路６０に出力する。
【００７５】
以上のように構成された映像視点変換部５１について、図１０を用いてその動作を説明する。まず、視点選択部５１１が車両情報送信部４０から車両情報を取得する（ステップＳ１０１）。次に、視点選択部５１１は、車両情報に基づいて、視点パラメータ記憶部３１から出発視点及び終着視点の視点パラメータを選択して、視点パラメータ補間部５１２に設定する（ステップＳ１０２）。視点パラメータ補間部５１２は、まずフレームカウンタ値ＦＣを式（２）に代入して補間視点パラメータを求める（ステップＳ１０３）。式（２）から明らかなように、最初（ＦＣ＝０のとき）の補間視点パラメータは、視点パラメータ記憶部３１から選択した出発視点の視点パラメータとなる。視点パラメータ補間部５１２が、求めた視点パラメータを座標変換部５１４に渡すと、座標変換部５１４は、式（９）を用いて視点パラメータを変換座標に変換する（ステップＳ１０４）。次に、視点変換部５１３は、変換座標を用いて原映像を変換して視点変換映像を生成する（ステップＳ１０５）。
【００７６】
その後、フレームカウンタ５１２３のカウンタ値ＦＣがＦＣ＝Ｔであるかを判断して（ステップＳ１０６）、ＦＣ＝Ｔでなければ（ステップＳ１０６でＮＯ）、カウンタ値ＦＣを１つカウントアップして（ステップＳ１０７）、ステップＳ１０３に戻る。このステップＳ１０３からステップＳ１０７のループをカウンタ値ＦＣがＦＣ＝Ｔとなるまで繰り返す。ＦＣ＝Ｔとなると（ステップＳ１０６でＹＥＳ）、処理を終了する。なお、ループを抜けるときの最後（ＦＣ＝Ｔのとき）のステップＳ１０３で求める視点パラメータは、式（９）から明らかなように、視点パラメータ記憶部３１から選択した終点視点の視点パラメータとなる。
【００７７】
このような第２の実施の形態の撮像装置によれば、第１の実施の形態の撮像装置と同様の効果が得られるとともに、さらに以下の効果も得られる。即ち、第２の実施の形態の撮像装置では、１つの視点を表現するためには、それに対応する６つのパラメータからなるパラメータセットを１組定義すればよい。よって、視点パラメータ記憶部３１には、複数の代表視点のそれぞれについて、視点パラメータとして、各々６つのパラメータからなるパラメータセットを記憶しておけばよいので、代表視点の視点パラメータとして座標テーブルを記憶する場合と比較して、視点パラメータ記憶部に要する記憶容量を大幅に削減できる。
【００７８】
また、出発視点と終着視点との間で、視点パラメータを構成する各パラメータ（回転角θｘ、θｙ、θｚ、平行移動量ｍｘ、ｍｙ、拡大縮小率Ｒ）について補間処理を行うので、座標テーブルを直接補間する場合と比較して、出発視点と終着視点との間の視点変換映像が歪んだ映像になってしまうということがない。これにより、より自然で滑らかな視点変換映像を提示できる。
【００７９】
なお、上記した実施の形態では、視点パラメータとして回転角θｘ、θｙ、θｚ、平行移動量ｍｘ、ｍｙ、拡大縮小率Ｒという６つのパラメータからなるパラメータセットを採用したが、視点パラメータはこれに限るものではない。例えば、式（８）は次式（１０）に表す射影変換式の形を取っている。
【数１０】
2011091527.tif 000012
そこで、視点パラメータとして式（１０）の射影変換係数Ｒｘ１〜Ｒｘ６及びＲｙ１〜Ｒｙ６を使うこともできる。この場合、視点パラメータ補間部５０２の補間対象はＲｘ１〜Ｒｘ６、Ｒｙ１〜Ｒｙ６の計１２個と若干増えるが、座標変換部５１４での計算が式（１０）の計算だけでよいため、回転角θｘ、θｙ、θｚ、平行移動量ｍｘ、ｍｙ、拡大縮小率Ｒを視点パラメータとするときよりも計算量を減らすことが可能である。
【００８０】
なお、上記した実施の形態では、視点パラメータ補間部５１２の重み付け補間の計算として式（２）のように一定の割合で視点が変化する例を説明したが、重み付け補間はこれに限るものではない。例えば、視点切り替えにかかる時間Ｔのうち、視点移動の開始を急峻に行って、移動の終了をゆっくり完了させるような見せ方をする重み付けにすることも可能である。この場合の重み付けの変化軌跡は対数関数の如き形となる。
【００８１】
（第３の実施の形態）
次に、本発明の第３の実施の形態の撮像装置について、図面を参照しながら説明する。
図１１は、第３の実施の形態の撮像装置の概略構成を示すブロック図である。本実施の形態の撮像装置３００は、複数台のカメラ１０ａ〜１０ｄ、映像合成部１５、フレームメモリ２０、視点パラメータ記憶部３１、描画データ記憶部７０、車両情報送信部４０、障害物情報送信部８０、映像描画視点変換部５２、画像処理回路６０、及び描画重畳回路６１を備えている。なお、複数台のカメラ１０ａ〜１０ｄ及び映像合成部１５からなる構成は、本発明の入力映像生成手段に相当し、フレームメモリ２０、視点パラメータ記憶部３１、描画データ記憶部７０、車両情報送信部４０、障害物情報送信部８０、映像描画視点変換部５２、画像処理回路６０、及び描画重畳回路６１からなる構成は、本発明の映像視点変換装置に相当する。
【００８２】
カメラ１０ａ〜１０ｄは、それぞれ車両の周辺の各箇所に取り付けられて、車両周辺の被写体を撮像して、映像信号を生成する。カメラ１０ａ〜１０ｄの各々の具体的な構成は、第１の実施の形態のカメラ１０と同様である。映像合成部１５は、複数のカメラ１０ａ〜１０ｄからの入力映像を合成する。フレームメモリ２０は、映像合成部１５で合成された映像の映像信号を１フレーム分記憶する。視点パラメータ記憶部３１は、映像を視点変換するための視点パラメータを記憶している。ここで記憶される視点パラメータは、第２の実施の形態と同様に、回転角、平行移動、拡大縮小率からなるパラメータセットである。但し、視点パラメータ記憶部３１に、視点パラメータとして、第１の実施の形態と同様に座標テーブルを記憶しておいてもよい。描画データ記憶部７０は、映像合成部１５で合成された映像に重畳するための描画データを記憶している。車両情報送信部４０は、第１の実施の形態と同様に、映像の視点を自動的に切り替えるために利用する車両情報を送信する。
【００８３】
障害物情報送信部８０は、車両周辺の障害物の有無に応じて映像の視点を自動的に切り替えるために利用する障害物情報を送信する。映像描画視点変換部５２は、視点パラメータ記憶部３１から選択した視点パラメータや障害物付近をズームするための障害物視点パラメータを使って、フレームメモリ２０に記憶された映像と描画データ記憶部７０に記憶された描画データに対して視点変換を行う。ここで、視点パラメータは、第１の実施の形態と同様に、車両情報送信部４０から受け取ったギアポジションや車速などの情報に基づいて選択される。また、障害物視点パラメータは、障害物情報送信部８０から受信した障害物の有無や方角や距離の情報に基づいて生成される。画像処理回路６０は、映像描画視点変換部５２で視点変換した映像に対して輝度信号と色信号の分離、及び輝度や色の補正を行う。描画重畳回路６１は、画像処理回路６０から出力される映像に対して映像描画視点変換部５２で視点変換された描画データを重畳する。
【００８４】
映像描画視点変換部５２は、視点選択部５２１、障害物視点パラメータ生成部５２６、セレクタ５２５、視点パラメータ補間部５２２、座標変換部５２４、及び視点変換部５２３を備えている。上記の実施の形態と同様に、映像描画視点変換部５２の上記の各構成要素は、演算処理回路、ＲＯＭ、ＲＡＭ、記憶装置等を備えたＬＳＩで実現してもよいし、コンピュータプログラムを実行するコンピュータ装置で実現してもよい。視点選択部５２１は、車両情報送信部４０からの車両情報に基づいて視点パラメータ記憶部３１が記憶する視点パラメータの中から２つの視点パラメータを選択する。ただし、視点を変更する必要がない場合は、視点選択部５２１は１つの視点パラメータだけを選択する。
【００８５】
障害物視点パラメータ生成部５２６は、障害物情報送信部８０から車両周辺の障害物の有無及び障害物の方向や距離情報を受け取り、障害物が存在するならば障害物付近の映像を提示するための障害物視点パラメータを生成する。セレクタ５２５は、障害物情報送信部８０から障害物の有無の情報を受け取り、障害物が無い場合には視点選択部５２１において選択された１つ又は２つの視点パラメータを視点パラメータ補間部５２２に送り、障害物が有る場合には、視点の切り替え途中も含めて、視点パラメータ補間部５２２の出力である視点パラメータと障害物視点パラメータ生成部５２６で生成された障害物視点パラメータとの２つの視点パラメータを視点パラメータ補間部５２２に送る。なお、視点パラメータ補間部５２２の出力は、現在表示中の視点に対応する視点パラメータである。
【００８６】
視点パラメータ補間部５２２は、セレクタ５２５において選択された２つの視点パラメータを時間Ｔかけて徐々に切り替えるように補間計算する。座標変換部５２４は、視点パラメータ補間部５２２から出力された視点パラメータから映像座標軸上の注目座標値（ｘ，ｙ）を変換する変換座標（ｘ’，ｙ’）を求める。この変換座標（ｘ’，ｙ’）は、視点変換映像及び視点変換描画データ（後述）において、フレームメモリ２０に記憶されている映像及び描画データ記憶部７０に記憶されている描画データを参照する座標である。
【００８７】
視点変換部５２３は、変換座標（ｘ’ ，ｙ’）を使って、フレームメモリ２０に記憶された映像（原映像）及び描画データ記憶部７０に記憶された描画データ（原描画データ）のそれぞれに対して視点変換を行う。視点変換部５２３は、原映像について視点変換を行う場合には、第２の実施の形態の場合と同様に、視点変換映像の注目座標（ｘ，ｙ）について、映像の座標（ｘ’，ｙ’）の画素値を参照する。また、視点変換部５２３は、描画データについて視点変換を行う場合は、視点変換描画データの注目座標（ｘ，ｙ）について、原描画データの座標（ｘ’，ｙ’）の画素値を参照する。視点変換部５２３は、視点変換映像を画像処理回路６０に出力し、視点変換描画データを描画重畳回路６１に出力する。視点変換部５２３において原描画データに対して視点変換を行う構成は、本発明の描画データ視点変換部に相当する。
【００８８】
以下、本実施の形態の撮像装置３００において第１及び第２の実施の形態と比較して特徴的な構成をより詳しく説明する。本実施の形態では、第１及び第２の実施の形態と比較して、複数のカメラの映像を合成する点、カメラの映像に描画データを重畳する点、及び障害物に応じて視点を切り替える点が特徴的である。以下、これらの特徴点を順に説明する。
【００８９】
まず、複数のカメラの映像を合成する点について説明する。上述のように、本実施の形態の撮像装置３００は、複数のカメラ１０ａ〜１０ｄを備えており、映像合成部１５は、これらの複数のカメラで得られた映像を合成して合成映像を生成する。図１２（ａ）は、これらの複数のカメラ１０ａ〜１０ｄの車両Ｃにおける取り付け位置を示す図であり、図１２（ｂ）は、これらの複数のカメラによって撮影された映像を合成して生成された合成映像である。図１２（ａ）に示すように、カメラ１０ａ〜１０ｄは、車両の前後左右の４箇所にそれぞれ設置されている。映像合成部１５は、カメラ１０ａ〜１０ｄからの映像を、図１２（ｂ）のように、車両を鳥瞰視点で撮影したかのような映像に合成する。複数カメラからの映像合成の方法としては、指定カメラと座標とをセットにした座標テーブルによるものが一般的である。
【００９０】
次に、カメラの映像に描画データを重畳する点について説明する。まず、描画データについて説明する。描画データ記憶部７０には、映像合成部１５で合成される映像に対応する描画データが記憶されている。図１３は、図１２（ｂ）の合成された映像に対応する描画データの例である。描画データには、前方、側方の車体幅を示す目安線や、後方の駐車支援のための距離目安線、方向を示す軌跡、マーキングなどが含まれる。この描画データは、後段の視点変換により映像に合わせて自動的に変換される。
【００９１】
図１４は、描画データのデータ形式の例を示す図である。描画データのデータ形式として、最も単純なのは、図１４（ａ）のように、描画データを映像データの形式とすることである。この場合、描画形状は、画素単位で描画画素を用いて表現される。このデータ形式は、描画形状が自由であるなどメリットもあるが、描画データ記憶部７０では映像データとして描画データを記憶するので、記憶容量がある程度必要となるというデメリットがある。しかしながら、描画データを映像データの形式とする場合にも、描画形状は一般的にはそれほど複雑な描画形状ではないため、ランレングス法などの簡易な映像圧縮で効果的に容量削減が可能である。
【００９２】
また、図１４（ｂ）のように、描画データを関数で表現することもできる。関数ｆ（ｘ）は、例えば次式（１１）のように、ｘのｎ次関数とすることができる。
【数１１】
2011091527.tif 000013
ｆ（ｘ）がｘの１次関数のとき、描画形状は直線のみとなり、２次関数以上の高次関数で曲線が描画可能となるが、上記のような目安線等の描画データとしては、２次あるいは３次関数で必要十分である。描画データを関数形式とする場合は、映像データ形式とする場合と比較して、描画データ記憶部７０の記憶容量が小さくて済むというメリットの他に、関数の係数を変えることで描画の形状を簡易に変化させることが可能であるというメリットがある。これらのメリットにより、例えば車両のステア角に連動して軌跡線を描写する関数の係数を変化させるようにすれば、ステア角に連動した軌跡描画も可能になる。この場合、ステア角の情報は車両情報送信部４０から取得できる。
【００９３】
描画データは、視点変換部５２３に読み出される。視点変換部５２３は、座標変換部５２４から受け取った変換座標（ｘ’、ｙ’）を用いて、描画データに対して視点変換を行う。このとき、この描画データに対応する合成映像としてフレームメモリ２０から読み出した合成映像に対して用いる変換座標と同じ変換座標を当該描画データに対しても用いる。描画データに対する変換座標（ｘ’、ｙ’）を用いた視点変換は映像に対する視点変換と同様である。すなわち、視点変換描画データの注目座標（ｘ，ｙ）として、参照座標（ｘ’，ｙ’）に対応する原描画データの画素値が参照される。この視点変換により生成された視点変換描画データは、視点変換部５２３から描画重畳回路６１に出力される。一方、第２の実施の形態と同様に、視点変換部５２３で視点変換された合成映像は、画像処理回路６０に出力される。描画重畳回路６１では、視点変換映像に視点変換描画データが重畳される。
【００９４】
このように、本実施の形態では、合成映像と描画データを重畳した上でその重畳データに対して視点変換を行うのではなく、合成映像に対して変換座標（ｘ’、ｙ’）を用いて視点変換を行い、描画データにも同じ変換座標（ｘ’、ｙ’）を用いて視点変換を行い、視点変換映像に対してのみ画像処理回路６０にて画像処理を行って、それに視点変換描画データを重畳させる。これは、描画データの描画を高画質にするためである。即ち、一般的に軌跡等のラインは細く、着色も指定されることが多いため、描画データを映像と一緒にして画像処理を行ってしまうとノイズ低減や色補正等によってラインが滲んだり色相が変化したりと元々指定した描画データと異なる出力となってしまう。そのような弊害を避けるために描画データと分かるようにラベルを付けて処理を分ける方法もあるが処理が煩雑となる。そこで、本実施の形態では画像処理回路６０には映像部分の画素だけを入力し、画像処理後の映像に対して描画重畳回路２６にて描画データを重畳している。
【００９５】
次に、障害物情報に応じて視点を切り替える点について説明する。障害物情報とは、車両周辺に存在して車両との接触の危険がある物体の情報である。障害物情報には、障害物の有無、障害物の方向、障害物と車両との距離が含まれる。障害物情報送信部８０は、これらの情報を障害物視点パラメータ生成部５２６及びセレクタ５２５に送信する。情報の送信にはＬＩＮやＣＡＮなどの車載ネットワークを利用する。また、障害物の有無を検知する方法としては、車両周辺にソナーをつけて感知する方法や、車両周辺に取り付けたカメラ映像から映像認識により検知する方法が一般によく知られている。ここではいずれにしても上記の障害物情報がある程度の精度で得られれば、障害物を検知する方法については問わない。
【００９６】
障害物視点パラメータ生成部５２６は、障害物情報送信部８０から障害物情報（障害物の有無、障害物の方向、障害物までの距離）を受け取り、障害物が存在する場合には、障害物の方向及び障害物までの距離の情報に基づいて、障害物付近の映像を運転手に提示するための障害物視点パラメータを生成する。具体的には、障害物視点パラメータ生成部５２６は、障害物が存在する場合には、運転手に提示する映像の視点を鳥瞰視点とし、かつ障害物付近を拡大表示するため障害物視点パラメータを生成する。こうすることで、運転手は障害物と車両との位置関係及び距離感を把握しやすくなる。
【００９７】
図１５は、障害物があるときの視点例を説明するための図である。図１５（ａ）は、障害物がない状態の映像であり、映像の視点は、通常視点として車両の前後左右の周辺を均等に見せる鳥瞰視点となっている。図１５（ｂ）は、車両と障害物との位置関係を例示したものであり、車両Ｃの後方右側に障害物Ｏが存在している。図１５（ｃ）は、図１５（ｂ）のように障害物Ｏが存在している場合の障害物視点ＶＷを示す図である。図１５（ｂ）のように障害物Ｏが存在している場合は、車両Ｃの一部と障害物Ｏが映るような障害物視点ＶＷとして、かつ車両の一部及び障害物の互いに接近している部分を拡大表示する。
【００９８】
また、障害物視点は車両と障害物との距離に応じてズーム比率を変える。図１６は、車両から障害物までの距離と表示例との関係を表したものである。図１６（ａ）は、車両と障害物との位置関係を示す図であり、車両Ｃと障害物Ｏとの距離が近い場合を示している。図１６（ｂ）は、図１６（ａ）の場合の障害物視点ＶＷを示す図である。図１６（ｃ）は、車両と障害物との位置関係を示す図であり、車両Ｃと障害物Ｏとの距離が遠い場合を示している。図１６（ｄ）は、図１６（ｃ）の場合の障害物視点ＶＷを示す図である。図１６（ａ）〜図１６（ｄ）に示すように、車両Ｃが障害物Ｏに接近するほどズームインし、車両Ｃが障害物Ｏから離れればズームアウトする。また、車両Ｃが障害物Ｏから所定の距離以上離れれば障害物視点から通常視点に戻す。
【００９９】
映像描画視点変換部５２は、通常視点から障害物視点へ時間Ｔをかけて視点を滑らかに切り替える。以下、このための構成を説明する。図１７は、セレクタ５２５とその周辺部の接続の詳細を示したブロック図である。セレクタ５２５は、障害物情報送信部８０から障害物の有無の情報を受け取り、障害物の有無によって視点パラメータ補間部５２１に渡すパラメータを切り替える。セレクタ５２５は、視点選択部５２１、障害物視点パラメータ生成部５２６、視点パラメータ補間部５２２から入力される視点パラメータを切り替えて視点パラメータ補間部５２２に出力する。なお、視点選択部５２１及びセレクタ５２５からなる構成は、本発明の視点選択部に相当する。
【０１００】
障害物情報送信部８０から受けた障害物情報において、障害物が無いとき、セレクタ５２５は視点選択部５０１から入力される２つの視点パラメータを出力する。この場合、第１及び第２の実施の形態と同じ視点切り替えの動作となる。障害物が有るとき、セレクタ５２５は出発視点の視点パラメータとして視点パラメータ補間部５０２から入力される視点パラメータを出力し、終着視点の視点パラメータとして障害物視点パラメータ生成部５２６から入力される障害物視点パラメータを出力する。ここで、視点パラメータ補間部５０２から入力される視点パラメータは、その時点で視点が移行している場合は、移行途中の視点パラメータであり、視点が移行しておらず固定されているときは、当該固定された視点パラメータである。これにより障害物が存在しているときは、現在表示されている任意の視点から障害物視点に随時切り替えることができる。視点パラメータ補間部５２２及び座標変換部５２４は第１及び第２の実施の形態と同様に、視点パラメータを補間して座標変換を行う。
【０１０１】
このような第３の実施の形態の撮像装置によれば、第１及び第２の同様の効果が得られるとともに、さらに以下の効果も得られる。即ち、第３の実施の形態の撮像装置によれば、カメラの映像に対して描画データを重畳する場合にも、ある視点から他の視点に移行する際に、視点を滑らかに移行できる。そして、視点を滑らかに移行している際にも、描画データがカメラの映像に対して正しく重畳される。
【０１０２】
また、第３の実施の形態の撮像装置によれば、描画データ記憶部７０には、映像合成部１５で合成される映像に対応する描画データのみを記憶しておき、視点を移行する際の途中の描画データは、予め記憶された描画データの視点を変換して求めるので、予め視点パラメータごとにすべての描画データを記憶しておく必要がなく、描画データ記憶部７０の記憶容量を削減できる。
【０１０３】
さらに、第３の実施の形態の撮像装置によれば、車両周辺に障害物がある場合には、通常視点から障害物と車両との位置関係が分かるように障害物周辺を拡大して鳥瞰する障害物視点に切り替えるが、この際にも視点の切り替えを滑らかに行うことができる。
【０１０４】
なお、上記の第３の実施の形態では、視点変換部５２３は、合成映像に対して変換座標（ｘ’、ｙ’）を用いて視点変換を行い、描画データにも変換座標（ｘ’、ｙ’）を用いて視点変換を行い、画像処理回路６０は視点変換映像に対してのみ画像処理を行って、描画重畳回路６１が画像処理を経た視点変換映像に視点変換描画データを重畳させるようにしたが、本発明はこれに限られない。例えば、視点変換部５２３は、描画データ記憶部７０に記憶された描画データの座標（ｘ’，ｙ’）に描画画素が存在するならば、当該描画データの座標（ｘ’，ｙ’）の画素値を参照して描画重畳回路６１に出力し、描画データの座標（ｘ’，ｙ’）に描画データが存在しないならば、フレームメモリ２０に記憶された合成映像の座標（ｘ’，ｙ’）の画素値を参照して画像処理回路６０に出力するようにしてもよい。
【０１０５】
上記した第１〜第３の実施の形態では、時間ＴをＴ＝３とする例について説明したが、時間Ｔは利用者の好みにより調整可能としてもよい。Ｔを大きくするほど視点の切り替えは滑らかになるが終着視点に移動するまでに時間を要する。逆にＴを小さくするほど視点の切り替えは瞬時切り替えに近づくが終着視点に移動するまでの時間は短縮される。なお、Ｔ＝１のとき瞬時切り替えと等価になる。
【０１０６】
また、上記した第１〜第３の実施の形態では、映像信号処理回路１４が行う処理としてＯＢ減算、ホワイトバランス調整、ノイズ低減を挙げたが、この３つの処理を行なわなくてもよいし、この３つ以外の処理を映像信号処理回路で行ってもよい。例えば、シェーディング補正やガンマ補正などが映像信号処理に含まれてもよい。
【産業上の利用可能性】
【０１０７】
以上のように、本発明に係る映像変換装置及びその映像変換装置を備えた撮像装置は、滑らかな視点切り替えができるので、あたかもカメラを移動させて撮影しているかの如き映像を運転手に提示でき、運転手が映像の視点を正しく認識できるという優れた効果を有し、入力映像を任意の視点の映像に変換する映像変換装置及びその映像変換装置を備えた撮像装置等として有用である。
【符号の説明】
【０１０８】
１０  カメラ
１５  画像合成部
２０  フレームメモリ
３０、３１  視点パラメータ記憶部
４０  車両情報送信部
５０、５１  映像視点変換部
５２  映像描画視点変換部
５０１、５１１、５２１  視点選択部
５０２、５１２、５２２  視点パラメータ補間部
５０３、５１３、５２３  視点変換部
５１４、５２４  座標変換部
５２５  セレクタ
５２６  障害物視点パラメータ生成部
６０  画像処理回路
６１  描画重畳回路
７０  描画データ記憶部
８０  障害物情報送信部
１００、２００、３００  撮像装置
【図１】
2011091527.tif 000014
【図２】
2011091527.tif 000015
【図３】
2011091527.tif 000016
【図４】
2011091527.tif 000017
【図５】
2011091527.tif 000018
【図６】
2011091527.tif 000019
【図７】
2011091527.tif 000020
【図８】
2011091527.tif 000021
【図９】
2011091527.tif 000022
【図１０】
2011091527.tif 000023
【図１１】
2011091527.tif 000024
【図１２】
2011091527.tif 000025
【図１３】
2011091527.tif 000026
【図１４】
2011091527.tif 000027
【図１５】
2011091527.tif 000028
【図１６】
2011091527.tif 000029
【図１７】
2011091527.tif 000030