(57)【要約】      （修正有）【課題】精度の高い画像データを継続して取得することができる撮像装置を提供する。【解決手段】撮像装置４００は、筐体部４０１と、筐体部に設けられ、所定の撮像領域を有する撮像光学系４０２ａ、４０２ｂと、撮像装置に設けられた基準マーク４０３と、を有している。撮像光学系４０２ａ、４０２ｂは、基準マーク４０３を撮像可能な画角を有する光学レンズを含み、基準マーク４０３が撮像光学系４０２ａ、４０２ｂの撮像領域内に設けられている。【選択図】図４
2018074479.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
筐体部と、
前記筐体部に設けられ、所定の撮像領域を有する撮像光学系と、
前記撮像装置に設けられた基準マークと、を有し、
前記基準マークが前記撮像領域内に設けられることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記撮像光学系は、前記撮像領域に前記筐体部の一部を含み、
前記基準マークは、前記撮像領域に含まれる前記筐体部の一部に設けられることを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記撮像装置は、異なる光軸を有する２つ以上の撮像光学系を有し、
前記基準マークは、前記２つ以上の撮像光学系の撮像領域が重なる領域に設けられていることを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置であって、
前記撮像装置は、異なる光軸を有する２以上の撮像光学系と、２以上の基準マークとを有し、
前記２以上の基準マークは、前記２以上の撮像光学系の光軸に互いに垂直な軸上に設けられていることを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか一項に記載の撮像装置であって、
前記撮像装置は、２以上の基準マークを有しており、
前記基準マークは、前記撮像光学系の周囲に円周上、かつ、等間隔に配置されることを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置であって、
前記撮像装置は、前記筐体部に接続される突出部を備え、
前記撮像光学系は、前記撮像領域に前記突出部の一部を含み、
前記基準マークは、前記撮像領域に含まれる前記突出部の一部に設けられることを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置であって、
前記撮像装置は、異なる光軸を有する２つ以上の撮像光学系を有し、
前記突出部は、前記２つ以上の撮像光学系の間に配置されるように前記筐体部に接続されることを特徴とする撮像装置。
【請求項８】
請求項６に記載の撮像装置であって、
前記撮像装置は、異なる光軸を有する２以上の撮像光学系を有し、
前記突出部は、前記２以上の撮像光学系の各光軸に互いに垂直な軸上、かつ、前記筐体部の端部に設けられることを特徴とする撮像装置。
【請求項９】
請求項７または８に記載の撮像装置であって、
前記基準マークは、複数設けられ、前記２以上の撮像光学系のそれぞれの撮像領域内に存在する基準マークが異なるように配置されることを特徴とする撮像装置。
【請求項１０】
請求項１〜９のいずれか一項に記載の撮像装置であって、
前記撮像光学系は、画角が１８０度以上である光学レンズを含むことを特徴とする撮像装置。
【請求項１１】
請求項１〜１０に記載の撮像装置であって、
前記基準マークを用いて前記撮像光学系の校正を行う校正回路を備えることを特徴とする撮像装置。
【請求項１２】
請求項１に記載の撮像装置であって、
前記基準マークを用いて前記撮像光学系の校正を行う校正回路を備え、
前記撮像装置は、異なる光軸を有する２つの撮像光学系を有し、
前記２つの撮像光学系は、一の撮像光学系の撮像領域に、他方の撮像光学系の一部を含み、他方の撮像光学系の撮像領域に一の撮像光学系の一部を含み、
前記校正回路は、前記一の撮像光学系の撮像領域に含まれる他方の撮像光学系の一部を、前記一の撮像光学系の基準マークとし、前記他方の撮像光学系の撮像領域に含まれる一の撮像光学系の一部を、前記他方の撮像光学系の基準マークとすることを特徴とする撮像装置。
【請求項１３】
請求項１１または１２に記載の撮像装置であって、
前記校正回路は、前記撮像光学系により撮像された撮像画像から、前記基準マークの特徴点を抽出して該特徴点の位置を撮像特徴点位置として算出し、予め記憶した標準特徴点位置と比較した結果に基づいて生成した校正パラメータを用いて校正を行うことを特徴とする撮像装置。
【請求項１４】
請求項１３に記載の撮像装置であって、
前記校正回路は、前記撮像光学系により撮像された撮像画像のうち、予め撮像装置の一部が写ると定めた撮像領域に該当する領域のみにおいて、前記基準マークの特徴点抽出を行うことを特徴とする撮像装置。
【請求項１５】
請求項１３に記載の撮像装置であって、
前記撮像特徴点位置と前記標準特徴点位置との比較した比較結果の予想値と、予想値に紐づく校正用パラメータとを含むデータテーブルを有し、
前記校正回路は、前記データテーブルの予測値のうち、前記撮像特徴点位置と前記標準特徴点位置とを比較した結果の比較値に最も近い値の予想値に紐付いた校正用パラメータを用いて校正処理を行うことを特徴とする撮像装置。
【請求項１６】
請求項１に記載の撮像装置であって、
前記撮像装置は、異なる光軸を有する２つ以上の撮像光学系と、該２つ以上の撮像光学系から取得した２枚以上の撮像画像に基づいて視差を算出する視差演算回路と、前記基準マークを用いて前記視差演算回路が算出した視差の校正を行う校正回路とを、備えることを特徴とする撮像装置。
【請求項１７】
請求項１〜１６のいずれか一項に記載の撮像装置を備えた移動体システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び移動体システムに関する。
【背景技術】
【０００２】
近年、カメラなどの撮像装置は、車両、鉄道、船舶、航空機、ロボットなどの移動体に搭載されて移動体の周囲を測距する測距装置や、街頭などに設置される監視カメラなど、多種多様な用途に広く利用されている。いずれの用途で利用される場合でも、撮像装置から精度の高い撮像画像データを取得できなければ誤作動や誤認識を招くが、撮像装置の製造誤差や組み付け誤差によって位置ズレや回転ズレ等があると、精度の高い画像データを取得することができない。また、撮像装置に含まれるレンズ等の光学系の特性によって画像データに歪みが生じることがある。精度の高い画像データを取得するためには、これらのズレや歪みを校正によって補正する必要がある。
【０００３】
例えば、特許文献１（特開２００９−０３３５００号公報）に開示されている撮像装置では、図２１に示すように、撮像装置８０２の前方に校正用ターゲット８０１を用意し、校正用ターゲット８０１が撮像された撮像画像データより算出されたパラメータに基づいて校正を行う方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている撮像装置等の従来の装置では、実使用時に温度変化や経時変化等によりズレや歪みが生じた場合に、撮像装置とは別に校正用ターゲットを用意する必要があるため、再校正することが容易ではなかった。したがって、精度の高い画像データを継続して取得することが困難であった。
【０００５】
そこで本発明は、精度の高い画像データを継続して取得することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮像装置であって、筐体部と、前記筐体部に設けられ、所定の撮像領域を有する撮像光学系と、前記撮像装置に設けられた基準マークと、を有し、前記基準マークが前記撮像領域内に設けられたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、精度の高い画像データを継続して取得することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態の移動体システム１の一例を示す模式図である。
【図２】図１の制御装置のハードウェア構成の一例を示すブロック図である。
【図３】図１の制御装置の機能構成の一例を示す機能ブロック図である。
【図４】本発明の撮像装置の一例を示す模式図である。
【図５】図４に示した撮像装置の撮像領域を説明する図である。
【図６】図４に示した撮像装置を用いて撮像した撮像画像を説明する図である。
【図７】校正処理を行った場合と行わなかった場合の比較を表す図である。
【図８】撮像装置のハードウェア構成の一例を示すブロック図である。
【図９】撮像装置の機能構成の一例を示す機能ブロック図である。
【図１０】校正処理の一例のフローチャートを示す図である。
【図１１】特徴点位置の比較を示す図である。
【図１２】単眼タイプの撮像装置の一例を示す模式図である。
【図１３】基準マークが撮像光学系の周囲の筐体部に２つずつ設けられた撮像装置の一例の模式図である。
【図１４】基準マークが撮像光学系の周囲の筐体部に８つずつ設けられた撮像装置の一例の模式図である。
【図１５】基準マークが筐体部中央の突出部に設けられた撮像装置の一例の模式図である。
【図１６】基準マークが筐体部端部の突出部に設けられた撮像装置の一例の模式図である。
【図１７】撮像光学系を基準マークとする撮像装置の一例の模式図である。
【図１８】図１７の撮像装置で撮像した撮像画像の一例である。
【図１９】第５実施形態の構成処理の一例のフローチャートを示す図である。
【図２０】視差に対する校正処理の一例のフローチャートを示す図である。
【図２１】従来の校正処理の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下の実施形態では、移動体が自律飛行する無人航空機（例えば、ドローン）であり、撮像装置を用いた測距による移動体周囲の物体検知を行い、それらの結果に基づいて移動体の移動を制御する移動体システムを例にとって説明する。
【００１０】
以下に、本発明の第１実施形態を、図面を用いて詳細に説明する。
［第１実施形態］
［移動体システムの基本構成］
図１は、第１実施形態の移動体システム１の一例を示す模式図である。図１に示されるように、移動体システム１は、移動体１０、撮像装置４００、制御装置３００を備えている。ここでは、移動体１０は、無人航空機である。移動体システム１は、撮像装置４００で撮像した画像を用いて測距を行い、移動体１０の周囲の物体検知を行う。
【００１１】
以下、移動体１０の左右方向をＸ軸方向、前後方向をＹ軸方向、高さ方向をＺ軸方向とする移動体に設定されたＸＹＺ３次元直交座標系（以下では「移動体座標系」とも呼ぶ）を適宜用いて説明する。ここでは、移動体座標系において移動体１０の前方向は＋Ｙ方向である。
【００１２】
移動体１０は、例えば、機体１１と、該機体１１の前後左右に設けられた４つのプロペラ１２〜１５と、を含むマルチコプター型のドローンである。移動体１０は、プロペラ１２〜１５をモータ等により回転駆動することで飛行するように構成されている。
【００１３】
機体１１は、例えば、円板状の胴部２０と、該胴部２０から−Ｚ側に延在するＴ字状の２つの脚部１６、１７と、胴部２０からＸＹ平面に沿って延在し、４つのプロペラ１２〜１５をそれぞれ回転可能に支持し、プロペラ１２〜１５を駆動させるモータ等を内蔵する４つのアーム９ａ〜９ｄと、を有する。
【００１４】
胴部２０には、各装置に電源を供給するバッテリー等が内蔵されており、また、撮像装置４００が支持部材１８、１９を介して宙吊り状態で取り付けられている。
【００１５】
２つの脚部１６、１７は移動体１０が地面に着地したときに転倒しないように支えるとともに撮像装置４００が地面に接触しないように保護する役割も担っている。
【００１６】
撮像装置４００は、例えば、光軸が互いに平行となるように配置された左右の撮像光学系と、静止画像や動画像を処理する処理回路（論理回路）とを有するステレオカメラ２１である。
【００１７】
制御装置３００は、例えば、移動体１０の状態を検知する各種センサを搭載し、撮像装置４００や移動体１０を制御することにより移動体システム１を制御する機能を有するフライトコントローラである。
【００１８】
なお、移動体１０は、制御により移動する物体であればドローン以外でも良く、例えば、車、航空機、船舶、ロボットでもよい。また、例えばロボットアーム等の作業ロボットのように、装置の一部が移動する物体でも良い。
【００１９】
［制御装置のハードウェア構成］
次に、第一実施形態に係る制御装置のハードウェア構成について図を用いて詳細に説明する。
【００２０】
図２は、図１の制御装置のハードウェア構成の一例を示すブロック図である。図２に示されるように、制御装置３００は、ＣＰＵ（Central  Processing  Unit）３０１と、ＲＡＭ（Random  Access  Memory）３０２と、ＲＯＭ（Read  Only  Memory）３０３と、ＦＰＧＡ（Field-Programmable  Gate  Array）３０４と、ジャイロセンサ３０５と、加速度センサ３０６と、ＧＰＳ（Global  Positioning  System）センサ３０７と、気圧センサ３０８と、磁気方位センサ３０９と、外部Ｉ／Ｆ（Interface）３１０と、バスライン３１１と、を備える。
【００２１】
ＣＰＵ３０１は、例えば、ＲＯＭ３０３等の記憶装置からプログラムやデータをＲＡＭ３０２上に読み出し、処理を実行して、制御装置３００の全体の制御や機能を実現する演算装置である。
【００２２】
ＲＡＭ３０２は、プログラムやデータを一時保持する揮発性の記憶装置である。
【００２３】
ＲＯＭ３０３は、電源を切ってもプログラムやデータを保持することができる不揮発性の記憶装置であり、ＣＰＵ３０１が制御装置３００の各機能を制御するために実行するプログラムやデータを記憶している。
【００２４】
ＦＰＧＡ３０４は、ＣＰＵ３０１等から入力された信号に所定の処理を行い、その処理結果を出力する処理回路である。
【００２５】
ジャイロセンサ３０５、加速度センサ３０６、ＧＰＳセンサ３０７、気圧センサ３０８、磁気方位センサ３０９は、それぞれ制御装置３００または制御装置３００に接続された移動体１０の角速度情報、加速度情報、位置情報、気圧情報、磁気方位情報等の状態情報を取得するセンサである。
【００２６】
外部Ｉ／Ｆ３１０は、例えば外部装置やネットワーク等とのインタフェースである。外部装置は例えば、例えば、撮像装置４００や移動体１０である。他にも、ＰＣ（Personal Computer）等の上位装置、ＳＤカード等の記憶装置でもよい。また、ネットワークは、例えば、ＣＡＮ(Controller Area Network)やＬＡＮ（Local Area Network）、インターネット等である。外部Ｉ／Ｆ３１０は、外部装置との接続または通信を可能にする構成であればよく、外部装置ごとに外部Ｉ／Ｆが用意されてもよい。上記の制御装置に係る構成は、バスライン３１１によって相互接続されている。
【００２７】
［制御装置の機能構成］
次に、第一実施形態に係る制御装置の機能構成について図を用いて詳細に説明する。
【００２８】
図３は、図１の制御装置の機能構成の一例を示す機能ブロック図である。図３に示されるように、制御装置３００は、記憶部３２１と、システム制御部３２２と、状態検知部３２３と、移動体制御部３２４と、撮像装置制御部３２５とを有する。
【００２９】
記憶部３２１は、例えばＲＡＭ３０２、ＲＯＭ３０３、ＦＰＧＡ３０４により実現され、予め用意されたプログラムやデータ、または状態検知部３２３から取得した情報等を記憶する。
【００３０】
システム制御部３２２は、例えばＣＰＵ３０１、ＦＰＧＡ３０４により実現され、記憶部３２１に記憶されたプログラムやデータ、状態検知部３２３から取得した状態情報、移動体制御部３２４または撮像装置制御部３２５を介して移動体１０または撮像装置４００から取得した情報に基づいて、状態検知部３２３、移動体制御部３２４、撮像装置制御部３２５をそれぞれに制御し、移動体システム１全体を制御する。
【００３１】
状態検知部３２３は、例えば、ジャイロセンサ３０５、加速度センサ３０６、ＧＰＳセンサ３０７、気圧センサ３０８、磁気方位センサ３０９により実現され、制御装置３００または制御装置３００に接続された移動体１０の状態情報を検知して取得する。また、状態検知部３２３は、取得した状態情報を記憶部３２１に記録する。
【００３２】
移動体制御部３２４は、例えばＣＰＵ３０１、ＦＰＧＡ３０４により実現され、システム制御部３２２から出力された制御命令に基づいて、移動体１０を制御する。また、移動体１０から情報（例えば、モータの回転数）を取得し、システム制御部３２２に出力する。
【００３３】
撮像装置制御部３２５は、例えばＣＰＵ３０１、ＦＰＧＡ３０４により実現され、システム制御部３２２から出力された制御命令に基づいて、撮像装置４００を制御する。また、撮像装置４００から情報（例えば、距離情報）を取得し、システム制御部３２２に出力する。
【００３４】
なお、上記実施形態では移動体制御部３２４および撮像装置制御部３２５は、移動体１０および撮像装置４００から取得した情報をシステム制御部３２２に出力しているが、記憶部３２１を介してシステム制御部３２２に出力する構成でも良い。
【００３５】
［撮像装置の基本構成］
次に、第一実施形態に係る撮像装置について図を用いて詳細に説明する。
【００３６】
図４は、本発明の撮像装置の一例を示す模式図である。図４に示されるように、撮像装置４００は、筐体部４０１と、撮像光学系４０２ａ、４０２ｂと、基準マーク４０３を備えている。
【００３７】
筐体部４０１は、例えば、幅（Ｙ方向の長さ）約２０ｃｍ、奥行き（Ｘ方向の長さ）約１５ｃｍ、高さ（Ｚ方向の長さ）約８ｃｍの直方体であり、材質はアルミニウム等である。撮像光学系４０２ａ、４０２ｂは、例えば、筐体部に設けられ、所定の撮像領域が撮像可能な画角が２００度の光学レンズを含む光学系である。なお、撮像光学系４０２ａ、４０２ｂは、基準マーク４０３を撮像可能な画角を有する光学レンズを含んでいれば良く、好ましくは画角が１８０度以上の光学レンズを含んでいれば良い。画角が１８０度以上であれば、撮像光学系の周囲の平面に設けられた基準マーク４０３の撮像が可能となる。
【００３８】
基準マーク４０３は、例えば、撮像装置の一部である筐体部４０１に設けられたマークであり、１つの矩形の中に４つの白黒の矩形マークが縦２列横２列で交互に並んでいるマークである。
【００３９】
なお、基準マーク４０３は、校正に用いることが可能であればマークの形状や模様、色は制限されず、例えば、筐体部の模様の一部を基準マークとしてもよい。基準マーク４０３は校正用マークとして機能する。
【００４０】
図５、図６を用いて、撮像装置の撮像領域および撮像画像について説明する。図５は、図４に示した撮像装置の撮像領域を説明する図である。図６は、図４に示した撮像装置を用いて撮像した撮像画像を説明する図である。なお、図５における撮像領域４５０ａ、４５０ｂは、＋Ｘ方向の大きさ、＋Ｙ方向の大きさに制限があるように描かれているが、これは説明のためであり、実際には大きさは制限されない。
【００４１】
図５に示すように、撮像光学系４０２ａ、ｂの撮像領域４５０ａ、４５０ｂはともに、撮像装置４００の一部として筐体部４０１の一部を含むため、撮像光学系４０２ａにより取得される撮像画像ａ（基準画像）および撮像光学系４０２ｂにより取得される撮像画像ｂ（比較画像）には、筐体部４０１の一部が写り込む。
【００４２】
そのため、撮像画像ａ、ｂは、図６に示すように、撮像領域４５０ａ、４５０ｂの中に、撮像装置の一部（筐体部４０１や撮像光学系４０２ａ、４０２ｂ）が撮像される第１領域４５１と、被写体９００等の撮像装置外部が撮像される第２領域４５２を有する。第１領域４５１は、撮像領域４５０に対して撮像装置４００の一部が写る領域である。第２内側領域は、撮像領域４５０に対して被写体９００等の撮像装置４００の外部が撮像される領域である。
【００４３】
なお、図５の撮像光学系４０２ａ、４０２ｂは筐体部４０１より＋Ｘ方向に膨らんでいるため、撮像画像ａには撮像光学系４０２ｂの一部が、撮像画像ｂには撮像光学系４０２ａの一部が写っており、この撮像光学系４０２ａ、４０２ｂの一部が写っている領域も第１領域４５１に該当する。
【００４４】
図５の撮像装置４００は、撮像領域４５０ａ、４５０ｂに含まれる筐体部４０１に、校正用の基準マーク４０３が設けられている。このように筐体部４０１に基準マーク４０３を設けることで、図６に示すように撮像画像ａ、ｂの第１領域４５１に基準マーク４０３が写り込む。よって、撮像装置４００は、この撮像装置の一部に設けられた基準マーク４０３に基づいて校正を行うことが可能となる。
【００４５】
従来技術では、図２１に示すように、校正用ターゲット８０１を設置し、撮像装置８０２を正確に位置合わせした後に撮像し、校正処理を行う必要があった。この場合、実使用時に温度変化や経時変化により歪みやズレが生じた場合に再度校正処理を行うのが困難であり、継続して精度の高い画像データを取得することができなかった。
【００４６】
本発明においては、校正用ターゲットを撮像装置とは別に用意しなくても、撮像装置に設けられた基準マークに基づいて校正処理を行うことが可能となる。これにより、撮像可能な環境であれば撮像装置の再校正が可能となるため、実使用時における再校正が容易となる。
【００４７】
したがって、撮像装置において温度変化や経時変化によりズレや歪みが生じた場合においても、基準マークを利用した再校正を行うことで、継続して精度の高い画像データを取得することができる。
【００４８】
図７は、校正処理を行った場合と行わなかった場合の比較を表す図である。撮像装置を用いて基準距離に設置した物体を撮像した撮像画像から、該物体までの視差を算出し、その視差が所定時間経過によってどのように変化したかを示している。
【００４９】
測距精度（初期）は、校正を行った直後に複数回撮像し、それぞれの測距精度の平均が許容値を上回っているか否かを示している。測距精度（所定時間経過後）は、校正を行ってから所定時間が経過した後に複数回撮像し、それぞれの測距精度の平均が許容値を上回っているか否かを示している。それぞれ、許容値以上であるときは〇印、許容値以下であるときは×印で結果を示している。
【００５０】
図７に示すように、校正処理を行った場合と校正処理を行わなかった場合を比べると、再校正処理を行った場合は、測距精度が所定時間経過後であっても測距精度が保たれていることがわかる。また、再校正処理を行わなかった場合は、測距精度が所定時間経過後に許容値を下回っていることがわかる。この再校正処理を行わなかった場合の測距精度の低下は以下の要因に起因して生じる。
【００５１】
測距は、複数の撮像画像から視差を算出することで行われる。このとき、視差の算出は校正された撮像装置による撮像画像を前提に行われるため、撮像装置の校正が合っていない場合は、視差の算出において誤差が生じ、測距精度が下がる。すなわち、測距精度を保つためには撮像装置の校正が合っている状態が続くのが望ましい。
【００５２】
従来の撮像装置は、製造出荷時に校正を行い、製造出荷時の撮像装置の条件に合わせた校正パラメータを用いて校正を行う。しかしながら、経時変化や環境変化により撮像装置の光学系等にズレや歪みが生じることで、撮像装置の条件は製造出荷時から徐々に異なっていく。これにより、撮像装置の校正が合わなくなり、撮像画像の精度（校正が合っている場合を理想画像とし、その画像との一致度。例えば、同環境において撮像された、製造出荷時の撮像画像と、製造出荷以降の撮像画像の一致度により測定される）が下がっていく。したがって、撮像画像の精度を保つためには再校正を行い、校正パラメータを修正する必要がある。
【００５３】
本発明では、校正用ターゲットを撮像装置とは別に用意しなくても、撮像装置に設けられた基準マークに基づいて校正処理を行うことが可能となる。これにより、撮像可能な環境であれば撮像装置の再校正が可能となるため、実使用時における再校正が容易となり、継続して精度の高い画像データを取得でき、測距精度を維持することができる。
【００５４】
また、撮像光学系が複数存在する場合は、例えば図５に示すように、撮像光学系４０２ａ、４０２ｂの撮像領域４５０ａ、４５０ｂの重なる領域に、基準マーク４０３を設けてもよい。例えば、撮像領域４５０ａ、４５０ｂの重なる領域に写りこむ筐体部４０１の一部に、基準マーク４０３を設ける。
【００５５】
このように複数の撮像光学系の撮像領域が重なる領域の撮像装置の一部に基準マークを設けることにより、複数の撮像光学系において、共通の基準マークを用いて校正を行うことが可能となる。
【００５６】
これにより、複数の撮像光学系があった場合でも継続して高精度な画像を少ない基準マークによって取得することができる。
【００５７】
［撮像装置のハードウェア構成］
図８は、撮像装置のハードウェア構成の一例を示すブロック図である。図８に示すように、撮像光学系４０２ａを通過した被写体光は、ＣＭＯＳ４０４ａに結像され、撮像光学系４０２ｂを通過した被写体光は、ＣＭＯＳ４０４ｂに結像される。ＣＭＯＳ４０４ａ、４０４ｂは、撮像面に結像された光学像を電気信号に変換し、アナログの画像データとして出力する。なお、撮像素子としてＣＭＯＳ４０４ａ、４０４ｂの代わりにＣＣＤ（Charge  Coupled  Device）等を採用してもよい。
【００５８】
ＣＭＯＳ４０４ａ、４０４ｂから出力された画像データは、それぞれＣＤＳ（Correlated  Double  Sampling：相関２重サンプリング）回路４０５ａ、４０５ｂによりノイズ成分を除去され、それぞれＡ／Ｄ変換器４０６ａ、４０６ｂによりデジタル値に変換され、さらにそれぞれ画像処理回路４０７ａ、４０７ｂに出力される。
【００５９】
なお、ＣＭＯＳ４０４ａ、４０４ｂ、ＣＤＳ回路４０５ａ、４０５ｂ、及びＡ／Ｄ変換器４０６ａ、４０６ｂは、タイミング信号発生器４０９により、動作するタイミングが制御されている。画像処理回路４０７ａ、４０７ｂは、それぞれ、画像データを一時格納するＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）４１１やＲＯＭ４１５等を用いて、内部に含まれる校正回路４０８を用いた校正処理、ＲＧＢ→ＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、及び色変換処理などの各種画像処理を行う。
【００６０】
なお、校正回路４０８による校正処理は、ＲＯＭ４１５等に記憶された校正用データに基づいた処理である。校正処理の詳細については後述する。ホワイトバランス制御処理は、画像情報の色濃さを調整する画像処理である。コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整する画像処理である。色変換処理は、画像情報の色合いを調整する画像処理である。
【００６１】
また、ＳＤＲＡＭ４１１に記憶された画像処理が施された画像データは、メモリカード４１２に記録される。このとき、画像圧縮等の画像処理を行った後に記録してもよい。
【００６２】
タイミング信号発生器４０９、画像処理回路４０７ａ、４０７ｂ、及びメモリカード４１２は、ＣＰＵ（Central  Processing  Unit）４１０により制御されている。ＲＯＭ（Read  Only  Memory）４１５は、ＣＰＵ４１０により実行されるプログラムなどを格納した読み出し専用メモリであり、ＲＡＭ（Random  Access Memory）４１４は、ＣＰＵ４１０が各種の処理過程で利用するワークエリア、及び各種データ格納エリアなどを有する読み出し書き込み自在のメモリである。
【００６３】
ＣＰＵ４１０は、各種処理の制御を行うとともに、画像処理回路４０７ａ、４０７ｂにより各種画像処理が施された画像データ、即ち、視差演算回路としてステレオ画像を用いた視差演算を行って視差画像を生成し、生成した視差画像に基づいて、視差画像に写る物体までの距離を求める。なお、視差は、画素毎又は画素ブロック毎に算出され、視差画像では、画素又は画素ブロック毎に視差情報が対応づけられる。画素ブロックは、１以上の画素で構成されるブロックである。これにより、視差画像は、視差画像に写る物体（対象物）の３次元空間上での３次元位置（３次元座標）を表すことができる。これにより、撮像方向の物体検知を行うことが可能となる。これらの過程における各種データは外部Ｉ／Ｆを４１６介して外部装置に出力することができる。撮像装置４００は操作部４１３により操作されてもよい。撮像装置４００の主要な構成は、バスライン４１７によって相互接続されている。
【００６４】
［撮像装置の機能構成］
次に、撮像装置の機能構成について説明する。図９は、撮像装置の機能構成の一例を示す機能ブロック図である。
【００６５】
図９に示すように、撮像装置４００は、基準画像撮像部４２１と、比較画像撮像部４２２と、校正部４２３と、記憶部４２４と、画像処理部４２５と、視差画像生成部４２６と、物体検知部４２７と、を有する。
【００６６】
基準画像撮像部４２１は、例えば撮像光学系４０２ａと、ＣＭＯＳ４０４ａと、ＣＤＳ回路４０５ａと、Ａ／Ｄ変換器４０６ａと、等により実現され、基準対象となる撮像画像（以下、基準画像）を取得し、校正部４２３に基準画像を出力する。
【００６７】
比較画像撮像部４２２は、例えば撮像光学系４０２ｂと、ＣＭＯＳ４０４ｂと、ＣＤＳ回路４０５ｂと、Ａ／Ｄ変換器４０６ｂと、等により実現され、比較対象となる撮像画像（以下、比較画像）を取得し、校正部４２３に比較画像を出力する。
【００６８】
校正部４２３は、例えば画像処理回路４０７ａ、４０７ｂと、ＣＰＵ４１０と、等により実現され、基準画像撮像部４２１または比較画像撮像部４２２から入力された基準画像または比較画像に対して、記憶部４２４から読みだした校正用データに基づいて校正処理を行う。校正処理の詳細については後述する。
【００６９】
記憶部４２４は、例えばＲＯＭ４１５等により実現され、校正処理に使用される校正用データを含む、画像処理に使用される画像処理用データを記憶する。
【００７０】
画像処理部４２５は、例えば画像処理回路４０７ａ、４０７ｂと、ＣＰＵ４１０と、等により実現され、校正部４２３から入力された校正処理後の基準画像または比較画像に対して、それぞれに記憶部４２４から読みだした画像処理用データを用いて画像処理行い、画像処理後の画像を視差画像生成部４２６に出力する。
【００７１】
視差画像生成部４２６は、例えばＣＰＵ４１０等により実現され、画像処理後の基準画像と、画像処理後の比較画像と、から視差画像を生成し、物体検知部４２７に生成した視差画像を出力する。視差画像生成処理は、例えばステレオマッチング処理等の公知の方法を利用することができる。
【００７２】
物体検知部４２７は、例えばＣＰＵ４１０等により実現され、視差画像生成部４２６から入力された視差画像を用いて物体検知処理を行う。物体検知処理の結果は制御装置３００に出力される。物体検知処理は、例えば視差画像評価等の公知の方法を利用することができる。
【００７３】
なお、上記機能構成では、画像処理部４２５は、校正部４２３による校正処理を行った後の基準画像または比較画像に対して画像処理を行っているが、校正部４２３による校正処理は、全ての撮像画像に対して行っても良いし、予め定められたプログラムによって必要に応じて行っても良い。校正処理を撮像毎に行わないことで、校正処理による計算負荷を軽減することができる。
【００７４】
［校正処理］
次に、撮像装置の校正部による校正処理の詳細を、図１０、図１１を用いて説明する。図１０は、校正処理の一例のフローチャートを示す図である。図１１は特徴点位置の比較を示す図である。
【００７５】
校正部４２３は、基準画像撮像部４２１から取得した基準画像、または比較画像撮像部４２２から取得した比較画像に対して校正処理を行う。すなわち、校正部４２３は、撮像画像に対して校正処理を行う。以下では校正部４２３が撮像画像に対して行う校正処理について説明する。
【００７６】
図１０に示すように、ステップＳ１１で、校正部４２３は、基準画像撮像部４２１または比較画像撮像部４２２から撮像画像を取得する。
【００７７】
ステップＳ１２で、校正部４２３は、校正処理を実施するか否かを予め記憶された校正判定基準に基づいて判定する。判定が否（Ｎ）であれば、撮像画像に対して校正処理を行わず、そのまま撮像画像を画像処理部４２５へ出力する。判定が是（Ｙ）であれば、校正部４２３は、撮像画像に対して校正処理を行う。なお、校正判定基準は、例えば、撮像画像の取得回数が設定値を超えたか否かでも良いし、撮像画像の所定領域の輝度値が設定値を超えたか否かでも良い。また、例えば、撮像画像の基準マークが写ると予想される領域を予め設定し、その領域の輝度値が設定値を超えたか否かでも良いし、装置撮像領域４５１が写ると予想される領域を予め設定し、その領域の輝度値や輝度値の分散値、平均値が設定値を超えたか否かでも良い。さらに、人による指示を受信した場合に校正処理を行うという校正判定基準でも良い。
【００７８】
ステップＳ１３で、校正部４２３は、撮像画像に写っている基準マーク４０３の特徴点抽出を行う。さらに、校正部４２３は、撮像画像中の基準マーク４０３の特徴点の位置を検出する。特徴点抽出は、例えば、工場出荷時に撮像した画像（標準画像）と撮像画像を用いてテンプレートマッチングを行い、さらにコーナー検出法により最適化することで求められる。また、特徴点抽出は、他にも撮像画像に対してHarrisオペレータ、FASTオペレータ、SIFT特徴量記述子、SURF特徴量記述子などの公知の技術を利用してもよい。特徴点とは、例えば基準マークのうち黒色で示される領域、基準マークの輪郭線、基準マークの中心位置等、任意に設定される。
【００７９】
ステップＳ１４で、校正部４２３は、撮像画像の基準マークの特徴点位置（以下、撮像特徴点位置）と、校正用データの基準マークの特徴点位置（以下、標準特徴点位置）とを比較する。校正用データは、記憶部に予め記憶されている標準特徴点位置が記録されたデータであり、例えば、工場出荷時等に撮像した画像（標準画像）に写った基準マーク４０３の特徴点を抽出して、その特徴点の位置が記録されたデータである。
【００８０】
ステップＳ１４での比較は、まず特徴点の位置比較を行う。例えば、図１１に示すように、標準特徴点位置が図１１（ａ）、撮像特徴点位置が図１１（ｂ）であるとき、まず標準特徴点位置における特徴点Ｐ１の座標（ｘ１，ｙ１）と、特徴点Ｐ１に対応する撮像特徴点位置における特徴点Ｑ１（ｘ１＋ｄｘ１、ｙ１＋ｄｙ１）を比較する。さらに標準特徴点位置における特徴点Ｐ２（ｘ２、ｙ２）と、特徴点Ｐ２に対応する撮像特徴点位置における特徴点Ｑ２（ｘ２＋ｄｘ２、ｙ２＋ｄｙ２）とを比較する。
【００８１】
これらの比較により、対応する特徴点のズレを示すシフト量(ｄｘ１、ｄｙ１、ｄｘ２、ｄｙ２)を算出する。ここで、対応する特徴点とは、例えば、標準特徴点の特徴点Ｐ１に最も類似する撮像特徴点を探索して得た特徴点である。このような比較には、ブロックマッチングやLucas-KanadeTrackerを用いた対応点探索や、上記特徴量を用いた特徴点の内応付などの公知の技術を利用して実現することができる。なお、ステップＳ１４はステップ１３と同時に行われても良い。すなわち、テンプレートマッチングを行う際に標準画像と基準画像のズレを検出し、ズレからシフト量の算出を行っても良い。また、上記特徴点抽出または特徴点比較の際に、基準マークがどの位置に写っているか想定される位置のみを予め設定し、その位置のみで比較する構成としても良い。
【００８２】
ステップＳ１５で、校正部４２３は、ステップＳ１４で算出した標準特徴点位置と撮像特徴点との各特徴点のズレを示すシフト量を、所定の式に代入して比較値を算出する。例えば、特徴点Ｐ１とＱ１を比較する場合、シフト量ｄｘ１、ｄｙ１を以下の式（１）に代入して比較値Ｗを算出する。
【００８３】
【数１】
2018074479.tif 000003
【００８４】
さらに校正部４２３は、算出した比較値Ｗが予め設定された閾値を超えたか否かを判定し、超えていない場合は、画像に歪みやズレ等が大きく生じていないとしてそのまま撮像画像を画像処理部４２５へ出力する。また、超えている場合は、ステップＳ１６の処理を行う。なお、ステップＳ１５の閾値は求められる性能によって設計者によって任意に設定される。
【００８５】
ステップＳ１６で、校正部４２３は、上記シフト量を記憶部４２４に記憶されている校正パラメータ算出式に代入し、校正パラメータを算出する。校正パラメータは、撮像光学系の歪みや位置ズレ等を画像処理により補正する校正用のパラメータである。校正パラメータ算出式は、撮像光学系等の性能に応じたパラメータ算出式であり、設計者によって任意に設定される。また、校正パラメータ算出式に代入する値は、基準マークを用いて求めた値であれば良く、上記シフト量以外の値を代入して算出してもよい。
【００８６】
ステップＳ１７で、校正部４２３は、ステップＳ１６で算出した校正用パラメータを用いて撮像画像に対して画像処理を行った後、処理後の画像を画像処理部４２５へ出力する。
【００８７】
以上の校正処理により、本実施形態の撮像装置は、経時変化や温度変化による撮像装置に含まれるレンズ等の光学系の特性によって生じる画像データに歪みや位置ズレを校正することが可能となり、精度の高い画像データを取得することができる。
【００８８】
従来技術では、基準マークのような校正用ターゲットが写った撮像画像を取得するためには、校正用ターゲットを別に用意して、校正用ターゲットと撮像装置の高精度な位置合わせを行った上で撮像する必要があったが、上記フローのように、本発明では従来技術のような用意が不要となり、実環境において撮像装置の特性に変化が生じた場合でも再校正が可能となる。
【００８９】
また、上記校正処理において、校正部４２３は、基準画像には基準画像用の校正用データ、比較画像には比較画像用の校正用データを用いて校正処理を行い、校正処理を最適化することで、より精度の高い画像データを取得することができる。
【００９０】
なお、上記校正処理ではステップＳ１３で、撮像画像全体に対して特徴点抽出を行っているが、撮像画像の基準マークの特徴点検出は、マスク等を用いて装置撮像領域４５１のみに行っても良い。これにより、全ての画像領域に対して特徴点検出を行う必要がなくなるため、検出処理速度が向上することができる。また、撮像領域に基準マークと似た模様を有する物体が存在する際の誤検知を抑制することができる。
【００９１】
また、上記校正処理では特徴点の位置比較による歪み・位置ズレ校正を行っているが、撮像画像の基準マークの特徴点のＲＧＢ値と、予め記憶しているＲＧＢ値とを比較して色の校正を行っても良い。色校正を行う場合は、撮像環境により色が変化する場合があるため、基準マーク４０３の特徴点の輝度値と予め記憶している輝度値との差分を考慮して色を比較することにより、撮像環境の校正への影響を低減することができる。
【００９２】
上記実施形態では、ステレオカメラ（複数の撮像光学系を有する撮像装置）の一例を用いて説明したが、撮像装置の一部を撮像可能な撮像光学系を有する撮像装置であれば、上記校正処理は適用可能である。例えば、図１２に示すように、筐体部５０１と、撮像光学系５０２と、基準マーク５０３と、からなる単眼の撮像装置５００の撮像装置でも良い。また、筐体部に対して対向するように配置された撮像光学系を有する撮像装置でも良い。さらに、ステレオカメラとしては、２つ以上の撮像光学系を有していてもよい。例えば、撮像光学系を３つ備え、３つの撮像光学系のうち２つを選択的に使用して視差画像を生成する構成としても良い。
【００９３】
［第２実施形態］
次に、第２実施形態について説明する。本実施形態は、撮像装置の筐体部に設けられる基準マークの数や配置が第１実施形態とは異なっている。具体的には、本実施形態では、基準マークが撮像光学系の周囲に複数配置される構成となっている。基準マークの数や配置以外は、第１実施形態と共通であるため、以下では、本実施形態の基準マークの数や配置のみ説明する。
【００９４】
図１３は、基準マークが撮像光学系の周囲の筐体部に２つずつ設けられた撮像装置の一例の模式図である。図１４は、基準マークが撮像光学系の周囲の筐体部に８つずつ設けられた撮像装置の一例の模式図である。
【００９５】
図１３に示すように、撮像装置４００は、筐体部４０１と、撮像光学系４０２ａ、４０２ｂと、基準マーク４３３を備え、基準マークが撮像光学系４０２ａ、４０２ｂの周囲の筐体部に２つずつ設けられている。
【００９６】
第１実施形態のように基準マークが１つであると、例えば撮像光学系の特性がレンズの場所によって大きく異なる場合に、撮像光学系全体の撮像領域の歪みやズレを校正することが難しい。また、組み付けの位置ズレ等によりズレが起きている場合、基準マークが１つであると、どの方向にズレが生じているのか推定するのが難しい場合がある。そこで、基準マークを撮像光学系の周囲に複数設けることにより、撮像光学系の歪みやズレをより高精度に校正することができる。
【００９７】
さらに、複数の撮像光学系により測距を行う場合は、各撮像光学系の光軸に対して垂直な軸Ｃ上の筐体部４０１に基準マーク４３３を設けると良い。これにより、軸Ｃ上、かつ、複数の撮像光学系の撮像領域が共通しない領域は、一般的に測距計算に用いない領域であるが、上記のように複数の基準マークの一部をその測距計算に用いない領域に設けることにより、領域を有効活用することができる。
【００９８】
また、図１３では撮像光学系４０２ａ、４０２ｂの周囲の筐体部４０１に２つずつ基準マーク４３３が設けられた場合について説明したが、基準マークは２つ以上あっても良い。例えば、図１４に示すように、撮像光学系４０２ａ、４０２ｂの周囲の筐体部４０１に８つずつ基準マーク４４３が設けられても良い。このとき、基準マーク４４３は、撮像光学系４０２ａ、４０２ｂの周囲の筐体部４０１に、円周上に並び、基準マーク４４３は等間隔に設けられると良い。これにより、撮像光学系の歪みやズレの校正が全体的に行うことが可能となり、より高精度な校正ができる。
【００９９】
［第３実施形態］
次に、第３実施形態について説明する。本実施形態は、撮像装置の筐体に設けられる基準マークの配置が第１実施形態とは異なっている。具体的には、本実施形態では、基準マークが筐体部に接続されている突出部に配置される構成となっている。突出部、基準マークの数および配置以外は、第１実施形態と共通であるため、以下では、本実施形態の突出部、基準マークの数および配置のみ説明する。
【０１００】
図１５は、基準マークが筐体部中央の突出部に設けられた撮像装置の一例の模式図である。図１６は、基準マークが筐体部端部の突出部にもう設けられた撮像装置の一例の模式図である。
【０１０１】
図１５に示すように、撮像装置４００は、筐体部４０１と、撮像光学系４０２ａ、４０２ｂと、基準マーク４５３とを備え、筐体部４０１は、撮像光学系の中央に突出部４５４を有しており、基準マーク４５３はその突出部４５４の撮像光学系４０２ａ、４０２ｂに向いている面（以下、側面）に設けられている。
【０１０２】
画角が大きい撮像光学系は、一般的に光学レンズの中央から周辺に向かうほど、実際の光と、撮像素子に届く光の差である収差が大きくなる。本実施形態では、筐体部４０１に突出部４５４を接続し、その突出部４５４に基準マーク４５３を設けることで、収差が小さい領域で校正を行うことが可能となり、より高精度な校正を行うことができる。
【０１０３】
複数の撮像光学系を有する場合は、突出部４５４は、複数の撮像光学系の撮像領域が重なる領域に設けられるのが望ましい。突出部４５４の側面に基準マーク４５３をそれぞれ設けることにより、突出部４５４を複数設けることなく、校正を行うことが可能となる。図１５の例では、突出部４５４の一の側面の基準マークは撮像光学系４０２ａの撮像領域ａに含まれるように配置され、他の側面の基準マークは撮像光学系４０２ｂの撮像領域ｂに含まれるように配置されている。すなわち、複数の撮像光学系の各撮像領域に含まれる基準マークはそれぞれ独立している。
【０１０４】
なお、突出部４５４は、筐体部から延長して突出しているものであってもよいし、筐体部４０１に接続されている部品でも良い。例えば、複数の撮像光学系の間にレーザレーダを設け、そのレーザレーダの受光器等が筐体部４０１から突出している場合は、受光器に基準マークを設ける構成としてもよい。
【０１０５】
また、図１６に示すように、複数の撮像光学系４０２ａ、４０２ｂを有する場合に、突出部４６４は、各撮像光学系の光軸に互いに垂直な軸上である筐体部４０１の端部に設けても良い。このとき、基準マーク４６３は、突出部４６４の面のうち、撮像光学系４０２ａ、４０２ｂにそれぞれ向いている面に設けられる。すなわち、基準マーク４６３は複数設けられ、撮像光学系４０２ａ、４０２ｂの撮像領域内に存在する基準マークが異なるように配置される。なお、筐体部４０１の端部は、測距が行われない領域または測距誤差が所定誤差よりも大きい領域に設置されれば良く、筐体部の縁に限定されない。
【０１０６】
各撮像光学系の光軸に対して垂直な軸Ｃ上、かつ、各撮像光学系の撮像領域が共通していない領域は測距が行われない領域または測距誤差が所定誤差よりも大きい領域であるため、突出部４６４をこの領域に設けることにより、領域を有効活用することができる。また、筐体部４０１からの撮像光学系４０２ａ、４０２ｂの突出具合よりも突出部４６４をさらに突出させることで、撮像装置が周辺物体に衝突した場合に、撮像光学系を保護することができる。
【０１０７】
［第４実施形態］
次に、第４実施形態について説明する。本実施形態は、撮像装置の筐体に設けられる基準マークが第１実施形態とは異なっている。具体的には、本実施形態では、撮像装置の撮像光学系自体を基準マークとして活用する構成となっている。基準マーク以外は、第１実施形態と共通であるため、以下では、本実施形態の基準マークのみ説明する。
【０１０８】
図１７は、撮像光学系を基準マークとする撮像装置の一例の模式図である。図１８は、図１７の撮像装置で撮像した撮像画像の一例である。
【０１０９】
図１７に示すように、撮像装置４００は、筐体部４０１と、撮像光学系４０２ａ、４０２ｂと、を備える。撮像光学系４０２ａ、４０２ｂは、筐体部４０１から突出している光学系であり、例えば魚眼レンズの上に保護カバーが設けられた光学系である。
【０１１０】
図１８に示すように、図１７の撮像装置４００で撮像した場合、撮像光学系４０２ａの撮像領域ａに撮像光学系４０２ｂが、撮像光学系４０２ｂの撮像領域ｂに撮像光学系４０２ａが写り込む。
【０１１１】
このとき、予め互いの撮像光学系を基準マークとして記憶しておくことで、校正回路による撮像光学系４０２ａ、４０２ｂを基準マークとして用いた校正が可能となる。すなわち、撮像装置は、複数の撮像光学系を有し、一の撮像光学系の撮像領域に、他方の撮像光学系の一部を含み、他方の撮像光学系の撮像領域に一の撮像光学系の一部を含む場合は、校正回路により、一の撮像光学系の撮像領域に含まれる他方の撮像光学系の一部を、一の撮像光学系の基準マークとし、他方の撮像光学系の撮像領域に含まれる一の撮像光学系の一部を、他方の撮像光学系の基準マークとすることで、校正が可能となる。これにより、校正用の基準マークを新たに設けなくとも校正ができる。
【０１１２】
［第５実施形態］
次に、第５実施形態について説明する。本実施形態は、校正処理の途中にデータテーブルを用いて校正パラメータを出力する点が第１実施形態とは異なっている。具体的には、本実施形態では、第１実施例のステップＳ１６の代わりに、撮像特徴点位置と標準特徴点位置の比較結果とデータテーブルを用いて校正パラメータを出力するステップＳ５１〜Ｓ５３の処理を行う。
【０１１３】
上記ステップ以外は、第１実施形態と共通であるため、以下では、本実施形態の校正処理のステップＳ５１〜Ｓ５３のみ説明する。
【０１１４】
校正処理の詳細を、図１９を用いて説明する。図１９は、第５実施形態の校正処理のフローチャートを示す図である。
【０１１５】
校正部４２３は、第１実施形態で説明した校正処理Ｓ１６の代わりに、以下のステップＳ５１〜Ｓ５３の処理を行う。ステップＳ１６とステップＳ５１〜Ｓ５３の違いは、ステップＳ１６では比較結果から校正パラメータを生成するのに対し、ステップＳ５１〜Ｓ５３は比較結果が予め記憶しているデータテーブルに含まれる予想値のうち、最も値が近い予想値に紐づく校正パラメータを取得することである。
【０１１６】
比較結果の変動理由は温度変化や経時変化であり、温度変化や経時変化によって生じる光学レンズの歪み等は、ある程度の傾向を持っているのが一般的である。そのため、予め比較結果の予想値と、その予想値の際に適した校正パラメータを算出しておくことで、実使用時に算出した比較結果に最も近い値の予想値に紐づく校正パラメータを使用できる。
【０１１７】
これにより、より良い高精度な校正が可能となる。以下にステップＳ５１〜Ｓ５３の詳細な処理を説明する。
【０１１８】
図１９に示すように、ステップＳ５１で、校正部４２３は、Ｓ１４で算出した比較結果を取得する。
【０１１９】
ステップＳ５２で、校正部４２３は、予め記憶しているデータテーブルを参照し、比較結果の値に最も近い予想値に紐づく校正パラメータを取得する。データテーブルは、例えば温度と、各温度の際に予想される比較結果の予想値と、各温度に適した校正パラメータとを含むデータテーブルである。またはデータテーブルは、例えば、経過時間と、各経過時間の際に予想される比較結果の予想値と、各経過時間に適した校正パラメータとを含むデータテーブルである。
【０１２０】
Ｓ５３で、校正部４２３は、取得した校正パタメータを出力し、ステップＳ１７の処理を行う。
【０１２１】
以上のステップＳ５１〜Ｓ５３の処理を、Ｓ１６の代わりに行うことで、より高い精度の校正が可能となる。
【０１２２】
［第６実施形態］
次に、第６実施形態について説明する。本実施形態は、視差画像生成部が視差画像生成処理を行う際に、視差に対して校正を行う点が第１実施形態とは異なっている。具体的には、本実施形態では、基準マーク周辺領域における視差値の比較から、視差画像の校正を行う構成となっている。視差に対する校正処理以外は、第１実施形態と共通であるため、以下では、本実施形態の校正処理のみ説明する。なお、基準マークは異なる光軸を有する複数の撮像光学系で重なる撮像領域に含まれる撮像装置の一部に設けられている。
【０１２３】
以下に校正部４２３による視差に対する校正処理の詳細を、図２０を用いて説明する。図２０は、視差に対する校正処理の一例のフローチャートを示す図である。
【０１２４】
図２０に示すように、ステップＳ６１で、校正部４２３は、視差画像生成部４２６より視差画像を取得する。
【０１２５】
ステップＳ６２で、校正部４２３は、視差に対する校正処理を実施するか否かを予め記憶された視差校正判定基準に基づいて判定する。判定が否（Ｎ）であれば、視差画像に対して校正処理を行わず、そのまま視差画像を出力する。判定が是（Ｙ）であれば、校正部４２３は、視差画像に対して視差に対する校正処理を行う。なお、視差校正判定基準は、例えば、視差画像にて視差が取得できていない画素の数が所定の閾値を超えたか否かである。また、視差画像の生成回数が所定の数を超えた場合や人による指示を受信した場合に校正処理を行うという基準でも良い。
【０１２６】
ステップＳ６３で、校正部４２３は、視差画像に写っている基準マーク４０３の視差を抽出する。視差算出は、ステレオマッチング処理等の公知の技術を利用することができる。
【０１２７】
ステップＳ６４で、視差画像の基準マークの視差と、校正用データの基準マークの視差を比較する。校正用データは、記憶部４２４に予め記憶されているデータであり、例えば、工場出荷時等に撮像した画像（標準画像）に写った基準マーク４０３の視差を算出して、その視差が記録されたデータである。ステップＳ６４の比較は、例えば、視差画像の基準マークの視差と、校正用データの基準マークの視差の差分値を算出する。
【０１２８】
ステップＳ６５で、校正部４２３は、ステップＳ６４で算出した差分値が、予め設定された閾値を超えたか否かを判定し、超えていない場合は、視差画像に誤差が大きく生じていないとしてそのまま視差画像を出力する。また、超えている場合は、ステップＳ６６の処理を行う。なお、ステップＳ６５の閾値は求められる性能によって設計者によって任意に設定される。
【０１２９】
ステップＳ６６で、校正部４２３は、上記差分値を記憶部４２４に記憶されている校正パラメータ算出式に代入し、校正パラメータを算出する。校正パラメータは、撮像光学系の歪みや位置ズレ等により生じる視差の誤差を補正する校正用のパラメータである。校正パラメータ算出式は、撮像光学系等の性能に応じたパラメータ算出式であり、設計者によって任意に設定される。また、校正パラメータ算出式に代入する値は、基準マークを用いて求めた値であれば良く、上記差分値以外の値を代入して算出してもよい。
【０１３０】
ステップＳ６７で、校正部４２３は、ステップＳ６６で算出した校正用パラメータを用いて視差画像に対して画像処理を行った後、処理後の視差画像を出力する。
【０１３１】
以上の校正処理により、本実施形態の撮像装置は、経時変化や温度変化による撮像装置に含まれるレンズ等の光学系の特性によって生じる視差の誤差を校正することが可能となり、精度の高い画像データを取得することができる。
【０１３２】
以上、本発明の各種実施形態について説明したが、上述した各種実施形態は本発明の一適用例を示したものである。本発明は、上述した各種実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。
【符号の説明】
【０１３３】
４００  撮像装置
４０１  筐体部
４０２ａ、４０２ｂ  撮像光学系
４０３  基準マーク
４５０  撮像領域
【先行技術文献】
【特許文献】
【０１３４】
【特許文献１】特開２００９−０３３５００号公報
【図１】
2018074479.tif 000004
【図２】
2018074479.tif 000005
【図３】
2018074479.tif 000006
【図４】
2018074479.tif 000007
【図５】
2018074479.tif 000008
【図６】
2018074479.tif 000009
【図７】
2018074479.tif 000010
【図８】
2018074479.tif 000011
【図９】
2018074479.tif 000012
【図１０】
2018074479.tif 000013
【図１１】
2018074479.tif 000014
【図１２】
2018074479.tif 000015
【図１３】
2018074479.tif 000016
【図１４】
2018074479.tif 000017
【図１５】
2018074479.tif 000018
【図１６】
2018074479.tif 000019
【図１７】
2018074479.tif 000020
【図１８】
2018074479.tif 000021
【図１９】
2018074479.tif 000022
【図２０】
2018074479.tif 000023
【図２１】
2018074479.tif 000024