(57)【要約】【課題】通信ラインを設けなくても撮像装置のパラメータを取得することが可能な「パラメータ取得システム、制御装置およびパラメータの取得方法」を提供する。【解決手段】撮像装置１１０の撮像レンズ表面に撮像装置１１０のパラメータを表す情報が印刷されたフィルムを貼付し、撮像装置１１０がこのフィルムを撮像し、制御装置２１０が、撮像装置１１０により撮像されたフィルムの映像信号を映像ライン２６０を介して入力し、その入力したフィルムの映像信号から撮像装置１１０のパラメータを抽出することにより、映像ライン２６０があればカメラパラメータが転送されるようにして、通信ラインを設けなくても撮像装置１１０のカメラパラメータを制御装置２１０にて取得することができるようにする。【選択図】図１
2008245205.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の撮像レンズ表面に貼付され、当該撮像装置のパラメータを表す情報が印刷されたフィルムと、
前記撮像装置が撮像した前記フィルムの映像信号を映像ラインを介して入力する制御装置とを備え、
前記制御装置は、前記映像ラインを介して入力したフィルムの映像信号から前記パラメータを抽出して記憶部に記憶するパラメータ取得部を備えることを特徴とするパラメータ取得システム。
【請求項２】
撮像装置の撮像レンズに取り付けられ、当該撮像装置のパラメータを表す情報が前記撮像レンズの表面側に印刷されたレンズキャップと、
前記撮像装置が撮像した前記レンズキャップの映像信号を映像ラインを介して入力する制御装置とを備え、
前記制御装置は、前記映像ラインを介して入力したレンズキャップの映像信号から前記パラメータを抽出して記憶部に記憶するパラメータ取得部を備えることを特徴とするパラメータ取得システム。
【請求項３】
請求項１または２に記載のパラメータ取得システムにおいて、
前記パラメータは、前記撮像レンズの歪特性に関するパラメータを含むことを特徴とするパラメータ取得システム。
【請求項４】
撮像装置の撮像レンズ表面に貼付され、当該撮像装置のパラメータを表す情報が印刷されたフィルムであって、前記撮像装置により撮像された前記フィルムの映像信号を映像ラインを介して入力する入力部と、
前記入力部により前記映像ラインを介して入力したフィルムの映像信号から前記パラメータを抽出して記憶部に記憶するパラメータ取得部とを備えることを特徴とする制御装置。
【請求項５】
撮像装置の撮像レンズに取り付けられ、当該撮像装置のパラメータを表す情報が前記撮像レンズの表面側に印刷されたレンズキャップであって、前記撮像装置により撮像された前記レンズキャップの映像信号を映像ラインを介して入力する入力部と、
前記入力部により前記映像ラインを介して入力したレンズキャップの映像信号から前記パラメータを抽出して記憶部に記憶するパラメータ取得部とを備えることを特徴とする制御装置。
【請求項６】
撮像装置が、自身の撮像レンズ表面に貼付されている当該撮像装置のパラメータを表す情報が印刷されたフィルムを撮像する第１のステップと、
前記制御装置が、前記第１のステップにて撮像されたフィルムの映像信号を映像ラインを介して入力する第２のステップと、
前記制御装置が、前記第２のステップで入力したフィルムの映像信号から前記パラメータを抽出する第３のステップとを備えることを特徴とするパラメータの取得方法。
【請求項７】
撮像装置が、自身の撮像レンズに取り付けられ、当該撮像装置のパラメータを表す情報が前記撮像レンズの表面側に印刷されたレンズキャップを撮像する第１のステップと、
前記制御装置が、前記第１のステップにて撮像された前記レンズキャップの映像信号を映像ラインを介して入力する第２のステップと、
前記制御装置が、前記第２のステップで入力したレンズキャップの映像信号から前記パラメータを抽出する第３のステップとを備えることを特徴とするパラメータの取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パラメータ取得システム、制御装置およびパラメータの取得方法に関し、例えば、撮像装置のパラメータを使用して、当該撮像装置のキャリブレーションを行うようになされたシステム、装置および方法に用いて好適なものである。
【背景技術】
【０００２】
従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た車両周辺画像を生成して表示する技術（以下、車両周辺画像生成技術という）が提案されている。この技術によれば、運転者は、自車両の表示装置に表示された車両周辺画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。
【０００３】
なお、運転者が所定の一連の運転操作（例えば、車庫入れ、縦列駐車の運転操作）を行おうとする場合、当該所定の一連の運転操作を行ったときの車両の運動を、周囲状況とともに表示装置に表示するようにした技術も提案されている（例えば、特許文献１を参照）。この技術によれば、上記所定の一連の運転操作による車両の運動と周囲状況との関係を運転者が直接的に確認でき、運転者の運転操作の負担を軽減することが出来る
【特許文献１】特開２０００−２２９５４７号公報
【０００４】
前述の車両周辺画像生成技術について言えば、各カメラにより撮影された画像の画素データと自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したマッピングテーブルをあらかじめ生成（キャリブレーション）しておく必要がある。また、そのマッピングテーブルを生成する前提として、各カメラが持つレンズの歪特性等のカメラ内部パラメータを、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）にあらかじめ設定しておく必要がある。すなわち、ＥＣＵでは、設定されたカメラパラメータを使用してキャリブレーションを行い、各カメラに合ったマッピングテーブルを生成する。なお、ＥＣＵに対するカメラパラメータの設定は、例えば、当該ＥＣＵの製造工程において行われる。
【０００５】
仮に、ＥＣＵと各カメラとが同一の製造工程にて製造される場合には、ＥＣＵの製造工程において、各カメラのカメラパラメータを計測し、その計測されたカメラパラメータをＥＣＵに設定することが可能である。しかし、一般的には、ＥＣＵと各カメラとは別の製造工程にて製造される。そのため、ＥＣＵの製造工程において、各カメラのカメラパラメータを当該ＥＣＵに設定することができない問題があった。
【０００６】
この問題に対処するため、各カメラの製造工程において計測されたカメラパラメータを各カメラの記憶部にあらかじめ記憶しておき、ＥＣＵと各カメラとを車両上に組み立てる段階において、各カメラとＥＣＵとの間に設けられた通信ラインを使用して、各カメラの記憶部に記憶しているカメラパラメータをＥＣＵに転送することが行われている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、各カメラが、例えばミラー内部やバンパー内部等に設置される場合には、各カメラに接続された配線をミラー内部やバンパー内部の外に引き出すためのスペースが小さいため、各カメラに接続されるケーブルの太さや本数に制約が生じてしまう。すなわち、各カメラが、通常有する電源ライン、映像ラインの他に、上記制約の関係上通信ラインを持つことができないことがある。この場合は、各カメラの記憶部に記憶しているカメラパラメータをＥＣＵにて取得することができない問題が生じていた。
【０００８】
本発明は、このような問題を解決するために成されたものであり、通信ラインを設けなくても撮像装置のパラメータを制御装置（ＥＣＵ）にて取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明では、撮像装置が、自身の撮像レンズ表面に貼付されている当該撮像装置のパラメータを表す情報が印刷されたフィルムを撮像し、制御装置が、上記撮像装置により撮像されたフィルムの映像信号を映像ラインを介して入力し、その入力したフィルムの映像信号から上記パラメータを抽出するようにしている。
【００１０】
また、本発明では、撮像装置が、自身の撮像レンズに取り付けられ、当該撮像装置のパラメータを表す情報が当該撮像レンズの表面側に印刷されたレンズキャップを撮像し、制御装置が、上記撮像装置により撮像されたレンズキャップの映像信号を映像ラインを介して入力し、その入力したレンズキャップの映像信号から上記パラメータを抽出するようにしている。
【発明の効果】
【００１１】
上記のように構成した本発明によれば、撮像装置のパラメータが映像信号として転送されるので、映像ラインがあればパラメータを転送することができる。これにより、通信ラインを設けなくても撮像装置のパラメータを制御装置にて取得することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるパラメータ取得システムを実施した車両周辺画像生成装置１００の構成例を示すブロック図である。図１において、１１０は複数の撮像装置であり、自車両の前方を撮影するためのフロントカメラ１２０、自車両の左側方を撮影するための左サイドカメラ１３０、自車両の右側方を撮影するための右サイドカメラ１４０および自車両の後方を撮影するためのリアカメラ１５０により構成されている。
【００１３】
本実施形態では、図２に示すように、撮像装置１１０のカメラパラメータを表す情報がバーコードに類似した形状で印刷された保護フィルム３４０（本発明のフィルムに相当する）が、撮像装置１１０の撮像レンズ表面３２０に貼付されている。撮像装置１１０のカメラパラメータには、例えば、撮像装置１１０の撮像レンズの歪特性に関するパラメータが含まれている。なお、保護フィルム３４０は、撮像装置１１０の出荷前段階で撮像装置１１０の撮像レンズ表面３２０に貼付される。
【００１４】
１６０は車両周辺画像生成部であり、画像処理部１７０、マッピングテーブル記憶部１８０および自車両画像記憶部１９０を備えている。画像処理部１７０は、各カメラ１２０〜１５０にて撮影された画像を入力し、マッピングテーブル記憶部１８０に記憶されている変換情報に従って、自車両の周辺を上方から見たときの背景画像を生成する。
【００１５】
ここで、背景画像は、フロントカメラ１２０により撮影された画像を視点変換して生成されたフロント車両周辺画像と、左サイドカメラ１３０により撮影された画像を視点変換して生成された左サイド車両周辺画像と、右サイドカメラ１４０により撮影された画像を視点変換して生成された右サイド車両周辺画像と、リアカメラ１５０により撮影された画像を視点変換して生成されたリア車両周辺画像とを合成することによって生成する。
【００１６】
マッピングテーブル記憶部１８０は、各カメラ１２０〜１５０により撮影された画像の画素データと自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。自車両画像記憶部１９０は、自車両を上方から見たときの形体を示す自車両画像を記憶しており、画像処理部１７０により読み出される。画像処理部１７０は、上述した背景画像の略中央に自車両画像を合成することにより、車両周辺画像を生成する。２００は表示装置であり、画像処理部１７０により生成された車両周辺画像を表示する。
【００１７】
２１０は制御装置（例えばＥＣＵ）であり、入力部２２０、パラメータ取得部２３０、記憶部２４０およびキャリブレーション部２５０を備えている。制御装置２１０は、撮像装置１１０の各カメラ１２０〜１５０に対して撮像処理の開始を指令することができる。その指令は、例えば、ユーザによる車両周辺画像生成装置１００に設けられている図示しない操作部の操作を通じて行われる。入力部２２０は、各カメラ１２０〜１５０に映像ライン２６０で接続されており、撮像装置１１０により撮像された保護フィルム３４０の映像信号を映像ライン２６０を介して入力する。なお、撮像装置１１０の撮像レンズ３２０に貼付された保護フィルム３４０、制御装置２１０は、本発明のパラメータ取得システムに相当する。
【００１８】
パラメータ取得部２３０は、入力部２２０により映像ライン２６０を介して入力された保護フィルムの映像信号からカメラパラメータを抽出して記憶部２４０に記憶する。例えば、パラメータ取得部２３０は、入力された保護フィルム３４０の映像信号を用いて画像認識を行う。具体的には、パラメータ取得部２３０は、保護フィルム３４０の映像信号を画像に変換し、その変換された画像に対して画像認識を行う。パラメータ取得部２３０は、あらかじめ用意されたカメラパラメータを表す画像テーブル情報を参照することにより、画像認識の対象画像からカメラパラメータを抽出する。なお、画像テーブル情報には、保護フィルム３４０に含まれる各種図形の大きさ、配置位置、数と、それによって表されるカメラパラメータとが対応付けて記載されている。
【００１９】
キャリブレーション部２５０は、記憶部２４０に記憶している各カメラ１２０〜１５０のカメラパラメータを取り出して、各カメラ１２０〜１５０に対応したマッピングテーブルを生成する（キャリブレーション）。そして、キャリブレーション部２５０は、生成したマッピングテーブルを車両周辺画像生成部１６０のマッピングテーブル記憶部１８０に記憶する。なお、キャリブレーションの終了後、保護フィルム３４０は、撮像装置１１０の撮像レンズ表面３２０からユーザにより剥がされる。
【００２０】
次に、本実施形態における制御装置２１０の動作について説明する。図３は、本実施形態によるパラメータ取得システムを実施した車両周辺画像生成装置１００の動作例を示すフローチャートである。図３における各処理は、撮像装置１１０のカメラパラメータを表す情報が印刷された保護フィルム３４０が撮像装置１１０の撮像レンズ表面３２０に貼付されている場合における車両周辺画像生成装置１００の処理内容を示している。
【００２１】
まず、撮像装置１１０は、制御装置２１０からの撮像指令を受けて、自身の撮像レンズ表面３２０に貼付されている保護フィルム３４０を撮像する（ステップＳ１００）。次に、撮像装置１１０は、撮像された保護フィルム３４０の映像信号を映像ライン２６０を介して制御装置２１０に転送する（ステップＳ１２０）。最後に、制御装置２１０の入力部２２０が、撮像装置１１０により転送された映像信号を入力し、パラメータ取得部２３０が、その入力した保護フィルム３４０の映像信号からカメラパラメータを抽出して記憶部２４０に記憶する（ステップＳ１４０）。これにより、車両周辺画像生成装置１００は、図３における処理を終了する。
【００２２】
以上詳しく説明したように、本実施形態では、撮像装置１１０が、自身の撮像レンズ表面３２０に貼付されている撮像装置１１０のカメラパラメータを表す情報が印刷された保護フィルム３４０を撮像し、制御装置２１０が、撮像装置１１０により撮像された保護フィルム３４０の映像信号を映像ライン２６０を介して入力し、その入力した保護フィルム３４０の映像信号からカメラパラメータを抽出するようにしている。
【００２３】
このようにすれば、撮像装置１１０のカメラパラメータが映像信号として転送されるので、映像ライン２６０があればカメラパラメータを転送することができる。これにより、通信ラインを設けなくても撮像装置１１０のカメラパラメータを制御装置２１０にて取得することができる。さらに、本実施形態では、従来技術において必要であった、カメラパラメータを記憶するための記憶部を撮像装置１１０に設ける必要がなくなり、撮像装置１１０の空間を有効に利用することができる。
【００２４】
なお、本実施形態では、撮像装置１１０のカメラパラメータを表す情報が印刷される対象が保護フィルム３４０である例について説明したが、これに限定されない。例えば、撮像装置１１０の撮像レンズに取り付けられるレンズキャップであっても良い。この場合、撮像装置１１０のパラメータを表す情報は、レンズキャップの撮像レンズ表面側に印刷するのが好ましい。
【００２５】
撮像装置１１０は、自身の撮像レンズに取り付けられたレンズキャップを撮像する。また、制御装置２１０は、撮像装置１１０にて撮像されたレンズキャップの映像信号を映像ライン２６０を介して入力し、入力したレンズキャップの映像信号からパラメータを抽出する。このようにすれば、撮像装置１１０のカメラパラメータを表す情報を保護フィルム３４０に印刷した場合と同様の効果が得られる。
【００２６】
また、本実施形態では、制御装置２１０において、保護フィルム３４０が撮像装置１１０の撮像レンズ表面３２０にあらかじめ貼付されている前提でカメラパラメータを取得する例について説明したが、カメラパラメータの取得方法はこれに限定されない。例えば、撮像装置１１０の撮像レンズ表面３２０に保護フィルム３４０が貼付されているか否かを検知する保護フィルム検知部を制御装置２１０に設ける。保護フィルム検知部は、撮像装置１１０の各カメラ１２０〜１５０で撮像される画像を所定時間ごとに入力部２２０から取得する。そして、保護フィルム検知部は、各カメラ１２０〜１５０から取得した撮像画像を画像認識することにより、撮像レンズ表面３２０に保護フィルム３４０が貼付されているか否かを判定する。
【００２７】
このようにすれば、撮像装置１１０の撮像レンズ表面３２０に保護フィルム３４０が貼付されている場合、保護フィルム検知部による判定結果をトリガにして、カメラパラメータの取得処理を開始することができる。例えば、撮像装置１１０の撮像レンズが故障した場合、その故障した撮像レンズを新しい撮像レンズと交換するだけで、制御装置２１０は、交換された撮像レンズ表面３２０に貼付されている保護フィルム３４０に表されたカメラパラメータの取得処理を開始することができる。
【００２８】
また、本実施形態では、撮像装置１１０のカメラパラメータに、撮像装置１１０の撮像レンズの歪特性に関するパラメータが含まれている例について説明したが、カメラパラメータに含まれるパラメータはこれに限定されない。例えば、撮像装置１１０のカメラパラメータには、各カメラ１２０〜１５０の焦点距離等のカメラ内部パラメータ、各カメラ１２０〜１５０の位置・姿勢等のカメラ外部パラメータが含まれても良い。
【００２９】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明によるパラメータ取得システムを実施した車両周辺画像生成装置の構成例を示す図である。
【図２】本実施形態による撮像装置の撮像レンズに貼付されている保護フィルム例を示す図である。
【図３】本実施形態による車両周辺画像生成装置の動作例を示すフローチャートである。
【符号の説明】
【００３１】
１１０  撮像装置
１２０  フロントカメラ
１３０  左サイドカメラ
１４０  右サイドカメラ
１５０  フロントカメラ
２１０  制御装置
２２０  入力部
２３０  パラメータ取得部
２４０  記憶部
２６０  映像ライン
３２０  撮像レンズ表面
３４０  保護フィルム
【図１】
2008245205.tif 000003
【図２】
2008245205.tif 000004
【図３】
2008245205.tif 000005