(57)【要約】      （修正有）【課題】カメラの取付け位置および姿勢のずれに起因する画像のずれを高い精度で補正する撮像装置、移動体、および撮像方法を提供する。【解決手段】撮像装置１０は、カメラ１２と、コントローラ１５とを備える。カメラ１２は、撮像画像ＣＩを生成する。コントローラ１５は、撮像画像ＣＩ内で平行移動または回転によって移動可能な、較正用オブジェクトＪを重畳する。コントローラ１５は、カメラ１２を搭載する移動体２０に対して定められた位置に配置された複数の指標が撮像された場合に、複数の指標の中の第１指標の像に第１対応箇所が一致するように較正用オブジェクトを移動させる。続いてコントローラ１５は、撮像画像における第１指標の像の位置および第２指標の像の位置と、較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、第２指標の像が第２対応箇所に一致するように歪補正を行う。【選択図】図２
2019176340.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を生成するカメラと、
前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように歪補正を行うコントローラとを備える、
撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記歪補正は、前記較正用オブジェクトの前記第２対応箇所と前記第２指標の像とに基づいて前記第１対応箇所を中心に前記較正用オブジェクトを回転により移動させ、前記撮像画像内の所定方向における第１指標の像からの距離に応じた伸縮率で、前記撮像画像を前記所定方向に伸縮する補正である
撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記歪補正は、さらに、前記撮像画像の前記較正用オブジェクトの前記第１対応箇所および前記第２対応箇所とは異なる第３対応箇所が、前記複数の指標の中の前記第１指標および前記第２指標とは異なる第３指標の像に一致するように、前記所定方向の直交方向における第１指標の像からの位置に応じた伸縮率で前記直交方向に前記撮像画像を伸縮する補正である
撮像装置。
【請求項４】
請求項１から３のいずれか一項に記載の撮像装置において、
前記コントローラは、前記歪補正を行った後に前記カメラによって生成された撮像画像内の少なくとも前記領域に前記歪補正と同一の歪補正を行う、
撮像装置。
【請求項５】
請求項１から４のいずれか一項に記載の撮像装置において、
前記較正用オブジェクトは、前記移動体が操作されているときに表示されるオブジェクトである
撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記較正用オブジェクトは、前記移動体の運転を支援するためのガイド線である
撮像装置。
【請求項７】
撮像画像を生成するカメラと、
前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置、および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように歪補正を行うコントローラと、を含む撮像装置を備える
移動体。
【請求項８】
撮像装置が実行する撮像方法であって、
前記撮像装置が、
撮像画像を生成し、
前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、
前記撮像画像を生成するカメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置、および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように歪補正を行う
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、移動体、および撮像方法に関する。
【背景技術】
【０００２】
従来、カメラを取り付ける位置および姿勢のずれに起因する画像のずれを補正することが知られている。例えば、該カメラによって指標となる被写体を撮像することによって生成された撮像画像における指標の像が較正用オブジェクトに一致するように撮像画像の領域を変更することが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２０９５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のように撮像画像の領域を変更しても、指標の像を較正用のオブジェクトに一致させることができないことがあり、画像のずれを高い精度で補正することが困難となる。
【０００５】
本開示は、カメラの取り付け位置および姿勢のずれに起因する画像のずれを高い精度で補正する撮像装置、移動体、および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一実施形態に係る撮像装置は、カメラと、コントローラとを備える。前記カメラは、撮像画像を生成する。前記コントローラは、前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように歪補正を行う。
【０００７】
本開示の一実施形態に係る移動体は、撮像装置を備える。前記撮像装置は、カメラと、コントローラとを含む。前記カメラは、撮像画像を生成する。前記コントローラは、前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように歪補正を行う。
【０００８】
本開示の一実施形態に係る撮像方法は、撮像装置が、撮像画像を生成する。前記撮像装置が、前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳する。前記撮像装置が、前記撮像画像を生成するカメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置、および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように歪補正を行う。
【発明の効果】
【０００９】
本開示の一実施形態に係る撮像装置、移動体、および撮像方法によれば、カメラの取り付け位置および姿勢のずれに起因する画像のずれが高い精度で補正されうる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る撮像装置および表示装置を備える移動体を示す概略図である。
【図２】図１に示す撮像装置の概略構成を示す機能ブロック図である。
【図３】図２に示す入力部が制御信号を生成するために、較正作業者によって操作される操作ボタンの例を示す図である。
【図４】図１に示す移動体および指標を上面視した概略図である。
【図５】図１に示す撮像装置の取付け位置および姿勢が設計値に合致した状態で撮像された撮像画像を示す概略図である。
【図６】図１に示す撮像装置によって撮像され、較正用オブジェクトが重畳された撮像画像の一例を示す概略図である。
【図７】図６に示す撮像画像における較正用オブジェクトおよび出力領域を平行移動によって移動させた状態を示す概略図である。
【図８】図７に示す撮像画像における較正用オブジェクトおよび出力領域を回転によって移動させた状態を示す概略図である。
【図９】第１補正方向の伸縮について説明するための概略図である。
【図１０】光学歪補正が行われた撮像画像を第１補正方向に伸縮した状態を示す概略図である。
【図１１】図１０に示す撮像画像を第２補正方向に伸縮した状態を示す概略図である。
【図１２】補正前の撮像画像において、図１１に示す撮像画像に対応する出力領域が対応する領域を示す図である。
【図１３】図２に示す撮像装置の較正処理のフローを示すフローチャートである。
【図１４】第２実施形態に係る撮像装置の概略構成を示す機能ブロック図である。
【図１５】図６に示す撮像画像における較正用オブジェクトを平行移動によって移動させた状態を示す概略図である。
【図１６】図１５に示す撮像画像における較正用オブジェクトを回転によって移動させた状態を示す概略図である。
【図１７】図１６に示す撮像画像に光学歪補正およびあおり歪補正を行った状態を示す概略図である。
【図１８】図１４に示す撮像装置の較正処理のフローを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の第１実施形態に係る撮像装置１０について、図面を参照して説明する。
【００１２】
図１に示すように、本開示の一実施形態に係る撮像装置１０は、移動体２０の、例えば後方の光景を撮像可能なように移動体２０に搭載されている。なお、以下の記載において、鉛直上向き方向をＹ方向、移動体２０の後方をＺ方向、Ｙ方向およびＺ方向に垂直な方向をＸ方向とする。撮像装置１０は、移動体２０の後方の光景に限らず、移動体２０の前方または側方の光景を撮像可能なように移動体２０に取付けられてもよい。撮像装置１０は、例えば、移動体２０の近傍の路面を撮像可能なように移動体２０に搭載されている。そのため、移動体２０は、光軸ＯＸが平地ＬＧに対して例えば３０°から６０°の角度をなすように搭載されてよい。移動体２０には、画像を表示する表示装置１１が取付けられている。撮像装置１０は、通信ネットワークを介して表示装置１１に接続され、表示装置１１に画像を送信する。
【００１３】
移動体２０は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
【００１４】
図２に示すように、撮像装置１０は、カメラ１２と、入力部１３と、メモリ１４と、コントローラ１５と、出力部１６とを備える。
【００１５】
カメラ１２は、撮像光学系および撮像素子を有する。撮像光学系は、１つ以上のレンズによって構成されてよい。撮像素子は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）等で構成されてよい。カメラ１２は、撮像素子が撮像光学系に入射した被写体像を撮像することによって撮像画像ＣＩを生成する。
【００１６】
入力部１３は、較正作業者の操作に基づいて、後述する較正用オブジェクトＪを撮像画像ＣＩ内で移動させるための制御信号を生成する。入力部１３は、例えば、図３に示すような、上方向、下方向、左方向、および右方向を示す矢印が表記されたそれぞれ上移動ボタン１３ａ、下移動ボタン１３ｂ、左移動ボタン１３ｃ、および右移動ボタン１３ｄを含む移動操作ボタンを含んでよい。入力部１３は、さらに、右回転方向および左回転方向をそれぞれ示す矢印が表記された右回転移動ボタン１３ｅおよび左回転移動ボタン１３ｆを含む回転操作ボタンを含んでよい。入力部１３は、較正作業者によって移動操作ボタンおよび回転操作ボタンが操作されると、操作に基づいて、撮像画像ＣＩ内で出力領域ＯＡを移動させる方向および量を示す制御信号を生成する。
【００１７】
入力部１３は、較正用オブジェクトＪの移動を確定するための確定ボタンを含んでよい。入力部１３は、較正作業者によって撮像画像ＣＩ内で出力領域ＯＡの移動を確定させる確定信号を生成する。
【００１８】
入力部１３は、較正作業者の操作に基づいて、後述する機能モードを切替えるための切替信号を生成する。入力部１３は、例えば、機能モードに含まれる通常モードおよび較正モードのいずれかを選択する操作スイッチによって構成されてよい。このような構成において、入力部１３は、較正作業者の操作によって、操作スイッチが通常モードに切り替えられると、通常モードへの切替を指示する切替信号を生成する。入力部１３は、較正作業者の操作によって、操作スイッチが較正モードに切り替えられると、較正モードへの切替を指示する切替信号を生成する。
【００１９】
入力部１３は、較正作業者の操作に基づいて、後述する指標の像Ｉｍのいずれかの位置を示す位置情報を生成する。具体的には、入力部１３は、較正作業者が任意のポインティングデバイスを用いて撮像画像ＣＩ内における、後述する指標の像Ｉｍの位置を示すための操作を行うと、当該操作に基づいて位置信号を生成する。
【００２０】
入力部１３は、操作ボタン、操作スイッチ、ポインティングデバイスに限られず、タッチパネルディスプレイを適用した表示装置１１によって構成されてもよい。
【００２１】
メモリ１４は、プログラムおよびデータを記憶する。メモリ１４は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。メモリ１４は、複数の種類の記憶デバイスを含んでもよい。メモリ１４は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでもよい。
【００２２】
メモリ１４は、カメラ１２の内部における光軸ずれの方向およびずれ量を記憶する。メモリ１４は、撮像画像ＣＩにおける、後述する通常モードで補正の対象となる一部の領域を画定するための対象領域情報を記憶する。また、メモリ１４は、後述するように、撮像画像ＣＩの一部の領域の画像を補正するための補正情報を記憶する。なお、対象領域情報および補正情報は、コントローラ１５が実行する、後述する較正モードにより生成される。
【００２３】
メモリ１４は、較正用オブジェクトＪの撮像画像ＣＩ内での位置を画定するためのオブジェクト位置情報を記憶する。較正用オブジェクトＪは、較正処理を行うために撮像画像ＣＩ内で指標となる仮想像である。オブジェクト位置情報が示す撮像画像ＣＩ内での位置は、撮像装置１０が設計値に合致するように移動体２０に取付けられた状態で、移動体２０に対する特定の位置に、撮像画像ＣＩにおいて対応する位置である。
【００２４】
較正用オブジェクトＪは、撮像画像ＣＩ内で移動可能である。較正用オブジェクトＪは任意の形状を有する。例えば、較正用オブジェクトＪは、矩形、線、点、記号、またはこれらを組み合わせた形状であってよい。また、較正用オブジェクトＪは、較正用オブジェクトＪの一部である第１対応箇所Ｊ１、第２対応箇所Ｊ２、第３対応箇所Ｊ３、および第４対応箇所Ｊ４を含む複数の対応箇所を有する。複数の対応箇所は、それぞれ較正用オブジェクトＪの特徴的な部分であってよい。特徴的な部分は、利用者の視認によって容易に一意に識別されえる部分である。特徴的な部分は、例えば、較正用オブジェクトＪを構成する矩形の角、ならびに較正用オブジェクトＪを構成する線の端部および交点等であってよい。例えば、較正用オブジェクトＪは、２つ以上の任意の数の対応箇所を有することができる。本実施形態は、較正用オブジェクトＪは、４つの対応箇所を有する。
【００２５】
メモリ１４は、較正用オブジェクトＪに対して特定の範囲である出力領域ＯＡの位置を示す出力位置情報を記憶する。出力位置情報は、撮像画像ＣＩ内での、較正用オブジェクトＪに対する相対的な位置を示す情報である。そのため、出力位置情報は、出力領域ＯＡに対して特定の位置にある較正用オブジェクトJの位置を示す情報でもある。
【００２６】
コントローラ１５は、１以上のプロセッサおよびメモリを含む。コントローラ１５は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ASIC; Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（PLD; Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ１５は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってもよい。コントローラ１５についての詳細な説明は後述する。
【００２７】
出力部１６は、コントローラ１５によって、後述する、補正処理が行われた撮像画像のうちの一部である部分画像を表示装置１１に出力する。
【００２８】
コントローラ１５は、通常モードおよび較正モードを含むいずれかの機能モードで制御を実行する。コントローラ１５は、入力部１３によって通常モードへの切替を指示する切替信号が生成されると、通常モードで制御を実行する。コントローラ１５は、入力部１３によって較正モードへの切替を指示する切替信号が生成されると、較正モードで制御を実行する。
【００２９】
コントローラ１５は、較正モードで歪補正を行った後に、通常モードでカメラ１２によって生成された撮像画像ＣＩ内の少なくとも一部の領域に、較正モードでの歪補正と同一の歪補正を行う。具体的には、通常モードでは、コントローラ１５は、較正モードで生成され、メモリ１４に記憶されている対象領域情報に基づいて、撮像画像ＣＩの少なくとも一部の領域を抽出する。コントローラ１５は、抽出した一部の領域を、メモリ１４に記憶されている補正情報を用いて補正する。対象領域情報および補正情報の詳細は後述する。
【００３０】
さらに、コントローラ１５は、補正した画像に画像処理を施して、出力部１６に表示装置１１へ出力させる。コントローラ１５は、補正情報を用いて撮像画像ＣＩの一部の領域を補正した部分画像に、ガイドオブジェクトを重畳してよい。
【００３１】
ガイドオブジェクトは、例えば、移動体２０のステアリングホイールが所定の状態にあるときに移動体２０が移動した場合に移動体２０が配置されると見込まれる撮像画像ＣＩ内の範囲を示す線であってよい。例えば、ガイドオブジェクトは、移動体２０が移動したときに移動体２０の両方の側面が通過する軌跡を示すガイド線を含んでよい。ガイドオブジェクトは、移動体２０の後端から所定距離（例えば、２〜５メートル）離れた位置を示すガイド線を含んでよい。ガイドオブジェクトは、移動体２０を基準とする実空間の特定の位置に、撮像画像ＣＩにおいて対応する位置に表示される仮想上の像であり較正用オブジェクトＪとしての条件を満たしており、本実施形態においては、較正用オブジェクトＪとしても用いられる。
【００３２】
コントローラ１５は、前述のように、較正モードにおいて、対象領域情報および補正情報を生成する。
【００３３】
較正モードの実行前に、作業者によって、図４に示すように、第１指標Ｉ１、第２指標Ｉ２、第３指標Ｉ３、および第４指標Ｉ４を含む複数の指標Ｉが移動体２０に対する特定の位置に配置される。特定の位置は、設計通りに撮像装置１０が移動体２０に固定された状態で、較正用オブジェクトＪの対応箇所の、撮像画像ＣＩ内の位置に、実空間上で対応する位置である。特定の位置は、例えば、移動体２０の後方であって、移動体２０の両側面をそれぞれ延長した面上である。特定の位置は、例えば、移動体２０の背面から所定距離（例えば、２〜５メートル）、離れた位置である。
【００３４】
指標Ｉの配置は、移動体２０を平地ＬＧに停止させ、平地ＬＧ上の移動体２０に対して定められた位置への載置であってよい。指標Ｉの配置は、指標Ｉが描かれた平地ＬＧ上の、指標Ｉに対して定められた位置への移動体２０の停止であってよい。
【００３５】
較正モードにおいて、コントローラ１５は、カメラ１２によって撮像画像ＣＩが生成されると、メモリ１４に記憶されたオブジェクト位置情報が示す、撮像画像ＣＩ内の位置に較正用オブジェクトＪを重畳する。コントローラ１５は、メモリ１４に記憶されている出力位置情報に基づく出力領域ＯＡ内の部分画像を出力部１６に表示装置１１へ出力させる。
【００３６】
撮像装置１０が設計値に合致するように移動体２０に取付けられた状態でカメラ１２によって生成された撮像画像ＣＩに較正用オブジェクトＪが重畳されると、図５に示すように、較正用オブジェクトＪにおける複数の対応箇所Ｊの位置は、指標の像Ｉｍのいずれかに一致する。具体的には、較正用オブジェクトＪの第１対応箇所Ｊ１、第２対応箇所Ｊ２、第３対応箇所Ｊ３、および第４対応箇所Ｊ４は、それぞれ第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、第３指標の像Ｉｍ３、および第４指標の像Ｉｍ４それぞれに一致する。
【００３７】
しかし、撮像装置１０の移動体２０に対する位置または姿勢が設計値に合致していない状態において、撮像画像ＣＩ内の被写体の像は、撮像装置１０の位置および姿勢が設計値に合致している状態での被写体の像から変位または変形している。例えば、カメラ１２が水平方向にずれている状態において、被写体の像は、撮像画像ＣＩ内の、水平方向に対応する方向にずれる。また、カメラ１２が鉛直方向にずれている状態において、被写体の像は、撮像画像ＣＩ内の、鉛直方向に対応する方向にずれる。
【００３８】
さらに、図１に示したように、カメラ１２の光軸ＯＸの方向は、平地ＬＧに対して傾いている。このような構成において、被写体が、光軸ＯＸの、平地ＬＧの面内方向の成分が向くＺ方向においてカメラ１２より遠くにあるほど、被写体の像は小さくなる。また、被写体の像の大きさは、カメラ１２からの距離に応じて部分ごとに変わるため、被写体の像は全体として歪む。このため、指標Ｉの像は、指標Ｉがカメラ１２より遠くにあるほど、撮像画像ＣＩ内のｘ方向にずれる。図５に示す撮像画像において、ｙ方向は、図１に示す実空間のＺ方向に対応する方向である。ｘ方向は、ｙ方向に直交する方向である。図１に示す例では、第１指標Ｉ１は、実空間のＺ方向において第３指標Ｉ３よりカメラ１２から離れている。したがって、図５に示すように撮像画像ＣＩ内のｘ方向において、第１指標の像Ｉｍ１は、第３指標の像Ｉｍ３より中心側に位置する。同じように、第２指標の像Ｉｍ２は、第４指標の像Ｉｍ４より中心側に位置する。このため、カメラ１２の移動体２０に対する姿勢が設計値と合致せず、チルト方向に傾いている状態において、被写体のカメラ１２からの距離が変わるため、歪み具合は変わる。以降において、カメラ１２がチルト方向に傾くことに起因して発生する被写体の像の歪みを「あおり歪」という。
【００３９】
このため、撮像装置１０の移動体２０に対する位置または姿勢が設計値と合致しない状態において、被写体の像である指標の像Ｉｍの位置は、設計値に合致している状態での指標の像Ｉｍの位置からずれる。したがって、較正用オブジェクトＪにおける複数の対応箇所Ｊの位置の１つ以上は、対応する指標の像Ｉｍに一致しない。図６に示す例では、較正用オブジェクトＪの第１対応箇所Ｊ１、第２対応箇所Ｊ２、第３対応箇所Ｊ３、および第４対応箇所Ｊ４の位置は、それぞれ第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、第３指標の像Ｉｍ３、および第４指標の像Ｉｍ４の位置に一致しない。
【００４０】
このようなカメラ１２の位置および姿勢のずれに起因する、撮像画像ＣＩ内の被写体の像のずれおよび歪を補正するために、較正モードでは、以下に説明する工程が実行される。
【００４１】
まず、第１の工程において、単一の対応箇所と対応する指標の像Ｉｍの位置合わせが実行される。第１の工程では、例えば、第１対応箇所Ｊ１の位置が第１指標の像Ｉｍ１の位置に一致するように、出力領域ＯＡを移動させる方向および量に応じて移動操作ボタンを操作するように、較正作業者は指示されている。以下の説明では、較正作業者が、第１対応箇所Ｊ１の位置を第１指標の像Ｉｍ１の位置に一致させるように、入力部１３に入力していると仮定して説明する。
【００４２】
コントローラ１５は、較正作業者の操作によって入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内で出力領域ＯＡを平行移動により移動させることによって較正用オブジェクトＪを平行移動により移動させる。具体的には、コントローラ１５は、図７に示すように、第１対応箇所Ｊ１が第１指標の像Ｉｍ１に一致するように、制御信号に基づいて、出力領域ＯＡを平行移動によって移動させる。これと同時に、コントローラ１５は、出力領域ＯＡに対して特定の位置となるように、メモリ１４に記憶されている出力領域情報に基づいて較正用オブジェクトJを平行移動により移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’が重畳され、出力領域ＯＡ’内の部分画像が出力される。
【００４３】
コントローラ１５は、出力領域ＯＡ’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５は、第１の工程において、入力部１３が確定信号を生成すると、第１対応箇所Ｊ１と第１指標の像Ｉｍ１とが一致しているとみなして、第１の工程を終了する。
【００４４】
第１の工程が実行された後、他の対応箇所と対応する他の指標とが一致しないとき、第２の工程が実行される。第２の工程において、第１の工程において位置合わせが行われた対応箇所と指標の像とを一致させたまま、他の対応箇所のうちの１つと対応する指標の像Ｉｍとの位置合わせが行われる。第２の工程では、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なるように、出力領域ＯＡを回転させる方向および量に応じて回転操作ボタンを操作するように、較正作業者は指導されている。
【００４５】
第１線分Ｌ１は、第１指標の像Ｉｍ１と第２指標の像Ｉｍ２とを端点とする線分である。第２線分Ｌ２は、第１対応箇所Ｊ１と第２対応箇所Ｊ２’とを端点とする線分である。以降の説明では、較正作業者が、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なるように、入力部１３に入力していると仮定して説明する。
【００４６】
コントローラ１５は、較正作業者の操作によって入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内で出力領域ＯＡ’を回転により移動させることによって較正用オブジェクトＪ’を回転により移動させる。具体的には、図８に示すように、コントローラ１５は、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なるように、制御信号に基づいて、出力領域ＯＡ’を回転によって移動させる。これと同時に、コントローラ１５は、出力領域ＯＡ’に対して特定の位置となるように、メモリ１４に記憶されている出力領域情報に基づいて較正用オブジェクトJ’を回転により移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’’が重畳され、出力領域ＯＡ’’内の部分画像が出力される。
【００４７】
コントローラ１５は、出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５は、第２の工程において、入力部１３が確定信号を生成すると、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なっているとみなして、第２の工程を終了する。
【００４８】
第２の工程が終了した後、第１線分Ｌ１の全てが、第２線分Ｌ２の全てと一致しないとき、第３の工程が実行される。第３の工程では、第２指標の像Ｉｍ２の位置を指示するようにポインティングデバイスを操作するように、較正作業者は指示されている。以下の説明では、較正作業者が、第２指標の像Ｉｍ２の位置を指示するように、入力部１３に入力していると仮定して説明する。
【００４９】
コントローラ１５は、較正作業者の操作によって入力部１３が生成した、第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第２対応箇所Ｊ２’’の位置が、第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致しないと判定すると、撮像画像ＣＩにおける光学歪補正を行う。具体的には、コントローラ１５は、メモリ１４に記憶されている光学歪データを用いて、公知の方法により撮像画像ＣＩを変換することによって撮像画像ＣＩの光学的な歪を低減するための光学歪補正を行う。コントローラ１５は、光学歪み補正を行うと、第３の工程を終了する。
【００５０】
第３の工程が終了した後、第４の工程が実行される。
【００５１】
第４の工程では、コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致するか否かを判定する。コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致しないと判定すると、以下に説明する、あおり歪を低減するためのあおり歪補正（歪補正）を行う。
【００５２】
あおり歪補正では、コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致するように、第１補正方向（所定方向）に撮像画像ＣＩを伸縮させる。第１補正方向は、第２指標の像Ｉｍ２から第１指標の像Ｉｍ１に向かう方向である。較正用オブジェクトＪは、上述したように回転により移動し、較正用オブジェクトＪ’’として撮像画像に重畳されている。そのため、第１補正方向は、第２指標の像Ｉｍ２から第２対応箇所Ｊ２’’に向かう方向でもある。
【００５３】
コントローラ１５は、第１指標の像Ｉｍ１の位置を保持しながら、第２指標の像Ｉｍ２が第２対応箇所Ｊ２’’に一致するように、撮像画像の一部を圧縮させ、別の一部を伸長する。
【００５４】
まず、第２指標の像Ｉｍ２が第１指標の像Ｉｍ１に対して第２対応箇所Ｊ２’’より離れている場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。
【００５５】
コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１補正方向における第１指標の像Ｉｍ１側に向けて圧縮させる。また、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分を、第１補正方向における第１指標の像Ｉｍ１から伸長する。
【００５６】
撮像画像の各部分の伸縮率は一定であってよい。撮像画像の各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第１補正方向の距離に応じて変化してもよい。
【００５７】
伸縮率が変化する構成において、コントローラ１５は、例えば、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮させる。コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１から離れるように伸長する。図９に示す例を用いて説明すると、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分Ｐ１および部分Ｐ２をそれぞれ部分Ｐ１’および部分Ｐ２’に圧縮させる。コントローラ１５は、第１指標の像Ｉｍ１から遠くに位置する部分Ｐ１を、近くに位置する部分Ｐ２より大きく第１指標の像Ｉｍ１に近づくように圧縮させる。また、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分Ｐ３および部分Ｐ４をそれぞれ部分Ｐ３’および部分Ｐ４’に伸長する。コントローラ１５は、第１指標の像Ｉｍ１から遠くに位置する部分Ｐ３を、近くに位置する部分Ｐ４より大きく第１指標の像Ｉｍ１から離れるように伸長する。
【００５８】
次に、第２指標の像Ｉｍ２が第１指標の像Ｉｍ１に対して第２対応箇所Ｊ２’’より近い場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。
【００５９】
コントローラ１５は、撮像画像ＣＩの第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１補正方向における第１指標の像から伸長する。また、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２の反対側の部分を、第１補正方向における第１指標の像Ｉｍ１側に圧縮させる。
【００６０】
撮像画像ＣＩの各部分の伸縮率は一定であってよい。撮像画像ＣＩの各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第１補正方向の距離に応じて変化してもよい。
【００６１】
伸縮率が変化する構成において、コントローラ１５は、例えば、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１から離れるように伸長する。コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮する。
【００６２】
この結果、図１０に示すように、第１補正方向の歪補正前の撮像画像ＣＩの全体は変形されて撮像画像ＣＩ’に補正される。第１補正方向の歪補正前の第２指標の像Ｉｍ２は、第２対応箇所Ｊ２’’に一致する第２指標の像Ｉｍ２’に補正される。また、第３指標の像Ｉｍ３および第４指標の像Ｉｍ４も、それぞれ第３指標の像Ｉｍ３’および第４指標の像Ｉｍ４’に補正される。コントローラ１５は、第１補正方向の歪補正を行うと、第４の工程を終了する。
【００６３】
第４の工程が終了した後、第１の工程から第３の工程で指標の像Ｉｍの位置に一致させた２つの対応箇所以外の対応箇所が、対応する指標の像Ｉｍに一致しないとき、第５の工程が実行される。第５の工程では、第３指標の像Ｉｍ３の位置を指示するようにポインティングデバイスを操作するように、較正作業者は指示されている。以下の説明では、較正作業者が、第３指標の像Ｉｍ３’の位置を指示するように、入力部１３に入力していると仮定して説明する。
【００６４】
コントローラ１５は、較正作業者の操作によって入力部１３が生成した、第３指標の像Ｉｍ３’の位置を示す位置信号に基づいて、第３対応箇所Ｊ３’’の位置が、第３指標の像Ｉｍ３’の位置に一致するか否かを判定する。コントローラ１５は、第３対応箇所Ｊ３’’が第３指標の像Ｉｍ３’に一致しないと判定すると、第１指標の像Ｉｍ１の位置を保持したままで、第３指標の像Ｉｍ３’が第３対応箇所Ｊ３’’に一致するように、第２補正方向に撮像画像ＣＩを伸縮するあおり歪補正を行う。第２補正方向は、第１補正方向の直交方向であり、第３指標の像Ｉｍ３から第３対応箇所Ｊ３に向かう方向である。
【００６５】
コントローラ１５は、第１指標の像Ｉｍ１の位置を保持しながら、第３指標の像Ｉｍ３’が第３対応箇所Ｊ３’’に一致するように、第２補正方向に、撮像画像の一部を圧縮させ、別の一部を伸長する。コントローラ１５は、第１指標の像Ｉｍ１の位置を保持しながら第２補正方向に撮像画像を伸縮するため、第１指標の像Ｉｍ１に対して第２補正方向と垂直な第１補正方向に位置する第２指標の像Ｉｍ１の位置は変わらない。
【００６６】
まず、第３指標の像Ｉｍ３’が第１指標の像Ｉｍ１に対して第３対応箇所Ｊ３’’より離れている場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第１補正方向における第１指標の像Ｉｍ１側に向けて圧縮させる。また、コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’とは反対側の部分を、第２補正方向における第１指標の像Ｉｍ１から伸長する。
【００６７】
撮像画像ＣＩ’の各部分の伸縮率は一定であってよい。撮像画像ＣＩ’の各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第２補正方向の距離に応じて変化してもよい。
【００６８】
伸縮率が変化する構成において、コントローラ１５は、例えば、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮させる。コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１から離れるように伸長する。
【００６９】
次に、第３指標の像Ｉｍ３’が第１指標の像Ｉｍ１に対して第３対応箇所Ｊ３’’より近い場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第２補正方向における第１指標の像Ｉｍ１から伸長する。また、コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’の反対側の部分を、第２補正方向における第１指標の像Ｉｍ１側に圧縮させる。
【００７０】
撮像画像の各部分の伸縮率は一定であってよい。撮像画像の各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第１補正方向の距離に応じて変化してもよい。
【００７１】
各部分の伸縮率が変化する構成において、コントローラ１５は、撮像画像の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標から離れるように伸長する。コントローラ１５は、撮像画像の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮させる。
【００７２】
この結果、図１１に示すように、第２補正方向の歪補正前の撮像画像ＣＩ’の全体はさらに変形されて撮像画像ＣＩ’’に補正される。第２補正方向の歪補正前の第３指標の像Ｉｍ３’は、第３対応箇所Ｊ３’’に一致する第３指標の像Ｉｍ３’’に補正される。また、第４指標の像Ｉｍ４’も、第４指標の像Ｉｍ４’’に補正される。コントローラ１５は、第２補正方向の歪補正を行うと、第５の工程を終了する。
【００７３】
第５の工程が終了した後、コントローラ１５は、較正用オブジェクトＪ’’、およびメモリ１４に記憶された出力位置情報に基づく出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。
【００７４】
なお、第１の工程が実行される前に、撮像画像ＣＩにおいて、第１指標の像Ｉｍ１の位置が第１対応箇所Ｊ１の位置に一致している場合、第１の工程は省略されてよい。第１の工程が実行されることにより、第２対応箇所Ｊ２’の位置が第２指標の像Ｉｍ２の位置に一致した場合、第２の工程および第３の工程は省略されてよい。第２の工程が実行されることにより、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致した場合、第３の工程は省略されてよい。第４の工程が実行されることにより、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ２’の位置に一致した場合、第５の工程は省略されてよい。
【００７５】
コントローラ１５は、上述のような較正用オブジェクトＪの移動および撮像画像ＣＩの歪補正を行うと、対象領域情報を生成し、メモリ１４に記憶させる。対象領域情報は、通常モードにおいて歪補正の対象なる、撮像画像内の一部の対象領域の位置を示す。対象領域は、歪補正が行われた撮像画像ＣＩ’’における出力領域ＯＡ’’（図１１参照）の、歪補正が行われる前の撮像画像ＣＩにおいて対応する出力領域ＯＡ０（図１２参照）である。なお、図１２に示す出力領域ＯＡ’’１は、第１補正方向のあおり歪補正が行われた後で、第２補正方向のあおり歪補正が行われる前の撮像画像ＣＩ’における出力領域ＯＡ’’の、撮像画像ＣＩにおいて対応する位置である。図１２に示す出力領域ＯＡ’’２は、第１補正方向および第２補正方向のあおり歪補正が行われる前の撮像画像ＣＩにおける出力領域ＯＡ’’の、撮像画像ＣＩにおいて対応する位置である。
【００７６】
なお、上述したように、出力領域ＯＡ’’は、較正モードの各工程が終了した後の撮像画像ＣＩ’’内の較正用オブジェクトＪ’’の位置に基づいて決定される。また、較正モードにおいて第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、および第３指標の像Ｉｍ３の位置と、較正用オブジェクトＪの位置とに基づいて、撮像画像ＣＩは、撮像画像ＣＩ’’に補正される。したがって、補正前の撮像画像ＣＩ内の出力領域ＯＡ０である対象領域は、補正前の撮像画像ＣＩにおける第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、および第３指標の像Ｉｍ３の位置と、較正用オブジェクトＪの位置とに基づいて定まる。
【００７７】
また、コントローラ１５は、較正モードにおいて上述したような補正処理を行うと、補正情報を生成し、メモリ１４に記憶する。補正情報は、補正前の撮像画像ＣＩ内の出力領域ＯＡ０である補正対象領域の各画素の位置と、補正後の撮像画像ＣＩ’’の出力領域ＯＡ’’の各画素の位置との対応を示す情報である。通常モードにおいて、コントローラ１５は、メモリ１４に記憶された補正情報を用いて、カメラ１２によって生成された撮像画像ＣＩを補正する。
【００７８】
なお、コントローラ１５は、補正情報および対象領域情報を、以前の較正モードで生成した補正情報および対象領域情報に上書きしてメモリ１４に記憶してもよい。コントローラ１５は、補正情報および対象領域情報を、以前の較正モードで生成した補正情報および対象領域情報とともにメモリ１４に記憶してもよい。
【００７９】
続いて、第１実施形態の撮像装置１０が較正モードで実行する較正処理について、図１３を参照して説明する。撮像装置１０は、較正モードへの切替を指示する切替信号が生成された後に、カメラ１２によって撮像画像ＣＩが生成されると、較正処理を開始する。
【００８０】
ステップＳ１１では、コントローラ１５は、メモリ１４に記憶されているオブジェクト位置情報に基づいて、撮像画像ＣＩに較正用オブジェクトＪを重畳する。また、コントローラ１５は、較正用オブジェクトＪの重畳位置およびメモリ１４に記憶された出力位置情報に基づく出力領域ＯＡ内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５が撮像画像ＣＩに較正用オブジェクトＪを重畳し、部分画像を出力させると、プロセスはステップＳ１２に進む。
【００８１】
ステップＳ１２では、コントローラ１５は、入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内の出力領域ＯＡを平行移動により出力領域ＯＡ’に移動させる。同時に、コントローラ１５は、較正用オブジェクトＪを出力領域ＯＡ’に対して特定の位置に移動させることによって、撮像画像ＣＩに較正用オブジェクトＪ’を重畳させる。コントローラ１５が出力領域ＯＡおよび較正用オブジェクトＪを平行移動により移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ１３に進む。
【００８２】
ステップＳ１３では、コントローラ１５は、入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内の出力領域ＯＡ’を回転により出力領域ＯＡ’’に移動させる。同時に、コントローラ１５は、較正用オブジェクトＪ’を出力領域ＯＡ’’に対して特定の位置に移動させることによって、撮像画像ＣＩに較正用オブジェクトＪ’’を重畳させる。コントローラ１５が出力領域ＯＡ’および較正用オブジェクトＪ’を回転によって移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ１４に進む。
【００８３】
ステップＳ１４では、コントローラ１５は、入力部１３が生成した第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ１８に進む。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ１５に進む。
【００８４】
ステップＳ１５では、コントローラ１５は、撮像画像ＣＩに光学歪補正を行う。コントローラ１５が撮像画像ＣＩに光学歪補正を行うと、プロセスはステップＳ１６に進む。
【００８５】
ステップＳ１６では、コントローラ１５は、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ１８に進む。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ１７に進む。
【００８６】
ステップＳ１７では、コントローラ１５は、入力部１３が生成した第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第１補正方向に撮像画像ＣＩを伸縮して撮像画像ＣＩ’に補正する。コントローラ１５が、第１補正方向に撮像画像ＣＩを伸縮して撮像画像ＣＩ’に補正すると、プロセスはステップＳ１８に進む。
【００８７】
ステップＳ１８では、コントローラ１５は、入力部１３が生成した、撮像画像ＣＩ’内の第３指標の像Ｉｍ３’の位置を示す位置信号に基づいて、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致するか否かを判定する。コントローラ１５が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致すると判定した場合、プロセスはステップＳ２０に進む。コントローラ１５が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致しないと判定した場合、プロセスは、ステップＳ１９に進む。
【００８８】
ステップＳ１９では、コントローラ１５は、第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正する。コントローラ１５が第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正すると、プロセスは、ステップＳ２０に進む。
【００８９】
ステップＳ２０では、撮像画像ＣＩ’’における、ステップＳ１３で移動させた出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５０が部分画像を出力させると、プロセスは、ステップＳ２１に進む。
【００９０】
ステップＳ２１では、コントローラ１５は、ステップＳ１２からステップＳ１９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて対象領域情報を生成し、メモリ１４に記憶させる。コントローラ１５が対象領域情報を生成し、メモリ１４に記憶させると、プロセスは、ステップＳ２２に進む。
【００９１】
ステップＳ２２では、コントローラ１５は、ステップＳ１２からステップＳ１９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて補正情報を生成し、メモリ１４に記憶させる。コントローラ１５は、補正情報を生成し、メモリ１４に記憶させると、較正処理を終了する。
【００９２】
以上説明したように、第１実施形態によれば、撮像装置１０は、第１指標の像Ｉｍ１に第１対応箇所Ｊ１が一致するように較正用オブジェクトＪを移動させる。さらに、撮像装置１０は、撮像画像内の少なくとも一部の領域に、第２指標の像Ｉｍ２が第２対応箇所Ｊ２に一致するように歪補正を行う。このため、撮像装置１０は、カメラ１２の取付け位置および姿勢の変化に起因して発生する撮像画像のずれおよびあおり歪を低減させうる。したがって、撮像装置１０は、移動体２０に対して設計値に合致して取付けられている状態での撮像画像内での被写体の像の位置と、実空間内での被写体の位置との関係を保持しうる。これにより、撮像装置１０は、撮像画像ＣＩ内の被写体の像に基づいて実空間での被写体の位置を正確に推定しうる。
【００９３】
また、第１実施形態によれば、撮像装置１０は、撮像画像ＣＩ内の所定方向における第１指標の像Ｉｍ１からの位置に応じた伸縮率で撮像画像ＣＩを第１補正方向に伸縮する。カメラ１２の光軸ＯＸの方向が平地ＬＧに対して傾いている構成において、撮像画像ＣＩは第１補正方向における位置に応じて、上述したあおり歪の度合いが異なる。第１補正方向は、上述したように、第２指標の像Ｉｍ２から第１指標の像Ｉｍ１に向かう方向である。そのため、第２指標Ｉ２から第１指標Ｉ１に向かう方向が、第１補正方向に対応する実空間の方向となる状態においては、撮像装置１０は、第１補正方向の位置に応じて撮像画像を第１補正方向に伸縮することによってあおり歪を低減しうる。
【００９４】
また、第１実施形態によれば、撮像装置１０は、第３対応箇所Ｊ３が第３指標の像Ｉｍ３に一致するように、第２調整方向における第１指標の像Ｉｍ１からの距離に応じた伸縮率で第２補正方向に撮像画像ＣＩを伸縮する。このため、撮像装置１０は、仮に第１補正方向とは異なる方向にあおり歪が発生していた場合、当該歪を低減しうる。
【００９５】
また、第１実施形態によれば、撮像装置１０は、通常モードにおいてカメラ１２によって生成された撮像画像内の少なくとも一部の領域に、較正モードで行った歪補正と同一の歪補正を行う。このため、撮像装置１０は、較正処理が完了した後に生成された撮像画像に対して、撮像装置１０の移動体２０に対する取付け位置または姿勢のずれに応じて発生する歪を低減すべく適切な歪補正を行いうる。
【００９６】
また、第１実施形態によれば、較正用オブジェクトＪは、例えば、ガイドオブジェクトのように、移動体２０が操作されているときに表示されるオブジェクトである。撮像装置１０は、移動体２０が操作されているときに表示されるオブジェクトを較正用オブジェクトＪとして適用することができる。この構成において、移動体２０が操作されているときに表示されるオブジェクトとは別に、較正用のみに用いられるオブジェクト必要としない。したがって、撮像装置１０は較正用のみに用いられるオブジェクトを記憶するためのメモリ容量を必要とせず、これにより記憶容量を低減しうる。
【００９７】
また、第１実施形態によれば、較正用オブジェクトＪはガイドオブジェクトである。ガイドオブジェクトは、移動体２０の運転を支援するためのオブジェクトであるため、表示装置１１が表示する画像の中央付近の領域に重畳される。このため、撮像装置１０は、撮像画像の中央付近に重畳される較正用オブジェクトＪと、較正用オブジェクトＪに対応する中央付近に含まれる指標の像Ｉｍとを用いて撮像画像を補正する。したがって、撮像装置１０は、歪が多く発生する、撮像画像内の端部近傍の較正用オブジェクトＪおよび指標の像Ｉｍを用いる場合に比べて、高い精度で撮像画像を補正しうる。
【００９８】
また、第１実施形態によれば、撮像装置１０は、較正用オブジェクトＪおよび出力領域ＯＡを平行移動に移動させた後に、較正用オブジェクトＪの回転による移動、および光学歪補正を行う。指標の像Ｉｍが撮像画像の中央近傍に含まれる場合、指標の像Ｉｍを含む領域に発生する光学的な歪は少ない。このような状態において、撮像装置１０は、較正用オブジェクトＪの位置を回転により移動させた後に、第２対応箇所Ｊ２が第２指標の像Ｉｍ２に一致すると判定することがある。この場合、撮像装置１０は、光学歪補正、および第１補正方向への伸縮の処理を省略することができ、これに伴い撮像装置１０の処理負荷を軽減しうる。
【００９９】
次に、本発明の第２実施形態について説明する。第２実施形態では、較正モードにおける出力領域ＯＡの移動が第１実施形態と異なっている。以下に、第１実施形態と異なる点を中心に第２実施形態について説明する。なお、第１実施形態と同じ構成を有する部位には同じ符号を付す。
【０１００】
第２実施形態の撮像装置１００は、第１実施形態と同じく、移動体２０に取付けられる。図１４に示すように、撮像装置１００は、カメラ１２と、入力部１３と、メモリ１４と、コントローラ１５０と、出力部１６とを備える。カメラ１２、入力部１３、メモリ１４、および出力部１６の機能は、第１実施形態と同じである。
【０１０１】
コントローラ１５０は、通常モードおよび較正モードを含むいずれかの機能モードで制御を実行する。コントローラ１５０が通常モードで実行する制御は、第１実施形態と同じである。コントローラ１５０は、較正モードにおいて、較正用オブジェクトの移動に伴い出力領域ＯＡを移動させない点で第１実施形態と異なる。以降において、コントローラ１５０の較正モードにおける制御について説明する。
【０１０２】
コントローラ１５０は、第１実施形態と同じく、第１の工程において、図１５に示すように撮像画像ＣＩ内で較正用オブジェクトＪを平行移動により移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’が重畳される。コントローラ１５０は、第１実施形態とは異なり、較正用オブジェクトＪの平行移動に伴う出力領域ＯＡの平行移動を行わない。したがって、コントローラ１５０は、平行移動により移動させた後の較正用オブジェクトＪ’を重畳した撮像画像ＣＩ中の出力領域ＯＡ内の部分画像を出力する。
【０１０３】
コントローラ１５０は、第１実施形態と同じく、第２の工程において、図１６に示すように較正用オブジェクトＪ’を回転によって移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’’が重畳される。コントローラ１５０は、第１実施形態とは異なり、較正用オブジェクトＪ’の回転に伴う出力領域ＯＡの回転を行わない。したがって、コントローラ１５０は、回転により移動させた後の較正用オブジェクトＪ’’を重畳した撮像画像ＣＩ中の出力領域ＯＡ内の部分画像を出力する。
【０１０４】
さらに、コントローラ１５０は、第１の実施形態と同じく、第３の工程において撮像画像ＣＩに光学歪補正を行う。コントローラ１５０は、第１の実施形態と同じく第４の工程および第５の工程において、あおり歪補正を行う。図１７に示すように、歪補正後の撮像画像ＣＩの全体の領域および各指標の像Ｉｍの位置は、第１実施形態の歪補正後の位置と同じである。ただし、第２実施形態において出力領域ＯＡは移動されていないため、出力領域ＯＡの位置は、撮像画像の較正用オブジェクトＪの移動が行われる前の位置と同じである。ここで、コントローラ１５０は、メモリ１４に記憶されている出力位置情報に基づいて、較正用オブジェクトＪ’’に対しての予め定められた特定の範囲となるように出力領域ＯＡを移動させた出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。
【０１０５】
続いて、第２実施形態の撮像装置１００の較正処理について、図１８を参照して説明する。撮像装置１００は、入力部１３によって較正モードへの切替を指示する切替信号が生成された後に、カメラ１２が撮像画像ＣＩを生成すると、較正処理を開始する。
【０１０６】
ステップＳ３１では、コントローラ１５０は、メモリ１４に記憶されているオブジェクト位置情報に基づいて、撮像画像ＣＩに較正用オブジェクトＪを重畳する。また、コントローラ１５０は、較正用オブジェクトＪに対しての予め定められた特定の範囲となる出力領域ＯＡ内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５０が部分画像を出力させると、プロセスはステップＳ３２に進む。
【０１０７】
ステップＳ３２では、コントローラ１５０は、入力部１３が入力した制御信号に基づいて、撮像画像ＣＩ内で較正用オブジェクトＪを平行移動で移動させることにより、撮像画像ＣＩに較正用オブジェクトＪ’を重畳する。コントローラ１５０が較正用オブジェクトＪを平行移動により移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ３３に進む。
【０１０８】
ステップＳ３３では、コントローラ１５０は、入力部１３が入力した制御信号に基づいて、第１対応箇所Ｊ１を軸にして較正用オブジェクトＪ’を回転で移動させることにより、撮像画像ＣＩに較正用オブジェクトＪ’’を重畳させる。コントローラ１５０が較正用オブジェクトＪ’を回転によって移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ３４に進む。
【０１０９】
ステップＳ３４では、コントローラ１５０は、入力部１３が生成した第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ３８に進む。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ３５に進む。
【０１１０】
ステップＳ３５では、コントローラ１５０は、撮像画像ＣＩに光学歪補正を行う。コントローラ１５０が撮像画像ＣＩに光学歪補正を行うと、プロセスはステップＳ３６に進む。
【０１１１】
ステップＳ３６では、コントローラ１５０は、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ３８に進む。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ３７に進む。
【０１１２】
ステップＳ３７では、コントローラ１５０は、第１補正方向に撮像画像ＣＩを伸縮する歪補正を行う。コントローラ１５０が、第１補正方向に撮像画像ＣＩを伸縮して撮像画像ＣＩ’に補正すると、プロセスはステップＳ３８に進む。
【０１１３】
ステップＳ３８では、コントローラ１５０は、入力部１３が生成した、撮像画像ＣＩ’内の第３指標の像Ｉｍ３’の位置を示す位置信号に基づいて、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致するか否かを判定する。コントローラ１５０が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致すると判定した場合、プロセスはステップＳ４０に進む。コントローラ１５０が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致しないと判定した場合、プロセスは、ステップＳ３９に進む。
【０１１４】
ステップＳ３９では、コントローラ１５０は、第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正する。コントローラ１５０が第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正すると、プロセスは、ステップＳ４０に進む。
【０１１５】
ステップＳ４０では、コントローラ１５０は、較正用オブジェクトＪ’’に対して特定の範囲となるように出力領域ＯＡを移動させた出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５０が部分画像を出力させると、プロセスは、ステップＳ４１に進む。
【０１１６】
ステップＳ４１では、コントローラ１５０は、ステップＳ３２からステップＳ３９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて対象領域情報を生成し、メモリ１４に記憶させる。コントローラ１５０が対象領域情報を生成し、メモリ１４に記憶させると、プロセスは、ステップＳ４２に進む。
【０１１７】
ステップＳ４２では、コントローラ１５０は、ステップＳ３２からステップＳ３９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて補正情報を生成し、メモリ１４に記憶させる。コントローラ１５０は、補正情報を生成し、メモリ１４に記憶させると、較正処理を終了する。
【０１１８】
以上説明したように、第２実施形態によれば、撮像装置１００は、第１実施形態と同じく、カメラ１２の取付け位置および姿勢の変化に起因して発生する撮像画像のずれを低減させるとともに、当該変化に伴って発生する撮像画像の歪を低減させることができる。
【０１１９】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述実施形態によって制限されるものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【０１２０】
例えば、上述の実施形態において、コントローラ１５およびコントローラ１５０は、較正用オブジェクトＪを平行移動または回転によって移動させた後に、光学歪補正を行ったが、これに限られない。例えば、コントローラ１５およびコントローラ１５０は、カメラ１２によって生成された撮像画像ＣＩに光学歪補正を行った後に、較正用オブジェクトＪを平行移動または回転によって移動させてもよい。
【符号の説明】
【０１２１】
１０，１００    撮像装置
１１            表示装置
１２            カメラ
１３            入力部
１３ａ          上移動ボタン
１３ｂ          下移動ボタン
１３ｃ          左移動ボタン
１３ｄ          右移動ボタン
１３ｅ          右回転移動ボタン
１３ｆ          左回転移動ボタン
１４            メモリ
１５，１５０    コントローラ
１６            出力部
２０            移動体
【図１】
2019176340.tif 000003
【図２】
2019176340.tif 000004
【図３】
2019176340.tif 000005
【図４】
2019176340.tif 000006
【図５】
2019176340.tif 000007
【図６】
2019176340.tif 000008
【図７】
2019176340.tif 000009
【図８】
2019176340.tif 000010
【図９】
2019176340.tif 000011
【図１０】
2019176340.tif 000012
【図１１】
2019176340.tif 000013
【図１２】
2019176340.tif 000014
【図１３】
2019176340.tif 000015
【図１４】
2019176340.tif 000016
【図１５】
2019176340.tif 000017
【図１６】
2019176340.tif 000018
【図１７】
2019176340.tif 000019
【図１８】
2019176340.tif 000020