(57)【特許請求の範囲】
【請求項１】
入射光の直進性を低下させる歪みを有する透過物体を介して画像を取得して撮像素子上に結像させるカメラユニットの、前記透過物体に対する位置ずれを検出する位置ずれ検出装置において、
前記透過物体と前記カメラユニットの相対位置関係についての複数のずれ状態の各々における特徴点の座標データである基準特徴点座標データを記憶する記憶部と、
前記カメラユニットが前記透過物体を介して撮影した画像に含まれる特徴点の座標データである比較特徴点座標データを抽出する特徴点抽出部と、
前記基準特徴点座標データと前記比較特徴点座標データとの関係に基づいて、前記カメラユニットの前記透過物体に対する位置ずれが前記複数のずれ状態のいずれに近いかを判定する位置ずれ判定部と、
を備えたことを特徴とする位置ずれ検出装置。
【請求項２】
前記基準特徴点座標データと前記比較特徴点座標データとにおける座標の差を算出し、前記座標の差が最小となる相対位置ずれ量候補を特定する位置ずれ量算出部を有し、
前記位置ずれ判定部は、前記透過物体と前記カメラユニットの前記複数のずれ状態の各々についての前記相対位置ずれ量候補の頻度であるヒストグラムにおいて、前記頻度が所定の閾値を超える前記複数のずれ状態の一を前記カメラユニットの前記透過物体に対する位置ずれと判定することを特徴とする請求項１に記載の位置ずれ検出装置。
【請求項３】
前記カメラユニットは、複数のカメラユニットを有する複眼カメラユニットであって、
前記位置ずれ判定部は、前記基準特徴点座標データと前記比較特徴点座標データとの関係に基づいて、各カメラユニットの位置ずれ又は前記複眼カメラユニット全体の位置ずれの有無を判定することを特徴とする請求項１又は２に記載の位置ずれ検出装置。
【請求項４】
前記特徴点は、直線性を有する対象に関するものであることを特徴とする請求項１乃至３の何れか１項に記載の位置ずれ検出装置。
【請求項５】
前記特徴点抽出部は、直線性を有する対象に関する特徴点を、エッジ抽出およびハフ変換を利用して抽出することを特徴とする請求項４に記載の位置ずれ検出装置。
【請求項６】
カメラユニットと、請求項１乃至５の何れか１項に記載の位置ずれ検出装置と、を備えたことを特徴とする車両。
【請求項７】
入射光の直進性を低下させる歪みを有する透過物体を介して画像を取得して撮像素子上に結像させるカメラユニットの、前記透過物体に対する位置ずれを検出する位置ずれ検出装置における位置ずれ検出方法であって、
前記位置ずれ検出装置が有する特徴点抽出部が、前記カメラユニットが前記透過物体を介して撮影した画像に含まれる特徴点の座標データである比較特徴点座標データを抽出する特徴点抽出ステップと、
前記位置ずれ検出装置が有する前記位置ずれ判定部が、前記比較特徴点座標データと、前記位置ずれ検出装置が有する記憶部に記憶された前記透過物体と前記カメラユニットの相対位置関係についての複数のずれ状態の各々における特徴点の座標データである基準特徴点座標データと、の関係に基づいて、前記カメラユニットの前記透過物体に対する位置ずれが前記複数のずれ状態のいずれに近いかを判定する位置ずれ判定ステップと、
を含むことを特徴とする位置ずれ検出方法。
【請求項８】
前記位置ずれ検出装置が有する位置ずれ量算出部が、前記基準特徴点座標データと前記比較特徴点座標データとにおける座標の差を算出し、前記座標の差が最小となる相対位置ずれ量候補を特定する位置ずれ量算出ステップを含み、
前記位置ずれ量算出部は、前記位置ずれ量算出ステップにおいて、前記透過物体と前記カメラユニットの前記複数のずれ状態の各々についての前記相対位置ずれ量候補の頻度であるヒストグラムにおいて、前記頻度が所定の閾値を超える前記複数のずれ状態の一を前記カメラユニットの前記透過物体に対する位置ずれと判定することを特徴とする請求項７に記載の位置ずれ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラの位置ずれ検出装置、車両及び位置ずれ検出方法に関する。
【背景技術】
【０００２】
近年、自動車の運転支援システムや駐車支援システムが注目されており、これには、単眼カメラやステレオカメラが使用されている。
このような運転支援システムの例として、搭載したカメラ（以下、車載カメラと記載する）によって車両前方を監視し、ヒトや他車両、障害物等との距離を検知し、それらに衝突する危険性がある場合には、運転者に報知したり、車両のブレーキを作動させて停止させたり、減速させたりするＡＳＶ（Advanced Safety Vehicle；先進安全自動車）装置が知られている。
なお、このような運転支援システムにおいて、車載カメラを車体に取り付ける際には、取り付け位置に関して高レベルの精度が要求される。
車載カメラの取り付け位置にずれが生じると、それに起因して車載カメラの撮像方向がずれてしまい、正確な測距に基づく運転支援が出来なくなる可能性があるからである。
【０００３】
図１９は、車両と車載カメラとの位置関係と撮像方向を説明する図である。
図１９（ａ）は、車両１００がまっすぐ走行する方向１０１と車載カメラの光軸方向１０２とが一致している場合を示している。
図１９（ａ）の場合、ヒトＭが車両１００の進行方向１０１に対して中央に存在する場合には、このまま前進すると衝突してしまうと判断できる。
それに対し、図１９（ｂ）は、車両１００がまっすぐ走る方向１０１に対してカメラの光軸方向１０２が一致せず、回転してしまっている状態を示している。この場合、ヒトＭが車両の進行方向に対して中央にいても、カメラの画像上ではヒトＭは右に写るので、正確に運転支援を行うことは出来ない。
出荷時に図１９（ａ）の状態で取り付けられたとしても、経時で図１９（ｂ）のように取り付け位置がずれてしまった場合には、ずれの検出及び補正を行う必要がある。
【０００４】
車載カメラがステレオカメラの場合には、撮像方向のずれは対象物までの算出距離にも直接影響を及ぼしてしまう。
さらに、測距装置としてのステレオカメラにおいて、カメラ全体が車両に対して位置ずれを生じていなかったとしても、ステレオカメラを構成するカメラ同士の相対的な位置関係がずれてしまった場合も、認識精度が低下してしまう。
もちろん、カメラの取り付け位置のずれは認識精度そのものの低下などの原因ともなり得る。
認識精度の低下が起こる例として、認識処理速度を向上させるために、対象物ごとの探索領域を限定している場合などが考えられるが、そのような場合にカメラの取り付け位置がずれてしまうと、車道、歩道、信号、標識、ガードレールなどの撮影画像内での領域がずれてしまい、目的の対象物の探索ができない場合が生じる。
このように、車両に対する車載カメラの取り付け位置は、非常に重要であり、製造・出荷時、又はその後のメンテナンス時に、正確に調整が行われる必要がある。
【０００５】
しかし、日常の使用時において、経年や衝撃にて車載カメラの取り付け位置がずれて調整が必要となっているか否かを使用者が判断することは難しい。
そこで、車載カメラの調整の必要の有無を判断するための方法として、例えば、特許文献１には、あらかじめ規定された位置に設置してある検査チャートの撮像画像から車体に対する車載カメラの取り付け位置の調整をする必要がある否かの検査をする方法が開示されている。
また、ステレオカメラの場合において、ステレオカメラを構成するカメラ同士の相対的な位置ずれを調整する必要の有無の判断について、特許文献２には、ステレオカメラの画像間の対応位置ずれを算出する処理の候補となる領域の輝度変化量の分散値によって相対位置ずれが起きたか、ずれ量がどの程度であるかを検知し補正する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示の方法では、あらかじめ規定された位置に設置してある検査チャートによって位置ずれの検知を行う必要があり、車両の使用を中止して規定の場所で位置ずれを検知しなければならず、車両の使用者の利便性を損なうだけでなく、経時や振動衝撃によるカメラの取り付け位置ずれが走行中にずれた場合に検知できないという問題は解消できていない。
また、特許文献２に開示の方法では、走行中の風景などの画像から、ステレオカメラを構成するカメラ間での相対位置ずれを検出することができるが、経時や振動衝撃を原因とする車両に対する、車載カメラ装置全体の取り付け位置ずれを検知できないという問題がある。
また、これら以外に、撮像範囲内にある、車両上に設置してある特徴的なマーカーによってカメラの取り付け位置ずれを検出する方法も考えられるが、マーカーからカメラまでの距離を十分確保する事ができないため、マーカーにピントがあわず、高精度に取り付けずれ量を検知する事が出来ない、という問題がある。
本発明は、上記の問題点を鑑みて、経時や振動衝撃による車両に対する取り付け位置ずれ（ステレオカメラのカメラ間での相対位置ずれを含む）が起きているか、さらに、位置ずれが起きている場合そのずれ量はどの程度であるかを、特別な検査チャート等を使用することなく、車を使用しながら検知することが可能な検知方法及び検知装置を提供する事を目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１に記載の発明は、入射光の直進性を低下させる歪みを有する透過物体を介して画像を取得して撮像素子上に結像させるカメラユニットの、前記透過物体に対する位置ずれを検出する位置ずれ検出装置において、前記透過物体と前記カメラユニットの相対位置関係についての複数のずれ状態の各々における特徴点の座標データである基準特徴点座標データを記憶する記憶部と、前記カメラユニットが前記透過物体を介して撮影した画像に含まれる特徴点の座標データである比較特徴点座標データを抽出する特徴点抽出部と、前記基準特徴点座標データと前記比較特徴点座標データとの関係に基づいて、前記カメラユニットの前記透過物体に対する位置ずれが前記複数のずれ状態のいずれに近いかを判定する位置ずれ判定部と、を備えたことを特徴とする。
【発明の効果】
【０００８】
上記のように構成したので、本発明によれば、あらかじめ規定された位置に設置してある検査チャートやマーカーなしに、経時や振動衝撃によるカメラ間の相対位置ずれやカメラの車両に対する取り付け位置のずれを検知することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るカメラ装置の構成を示す図。
【図２】第１の実施形態にかかる位置ずれ検知処理を説明するフローチャート。
【図３】第１の実施形態にかかる位置ずれ検知処理を詳細に説明する図。
【図４】位置ずれ量算出部において相対位置ずれの候補値を算出する方法を詳細に説明する図。
【図５】位置ずれ量算出部からのずれ状態の候補データのヒストグラムを示す図。
【図６】ずれ状態を見分けるのに適したエリアを示す図。
【図７】図４に示したヒストグラムに重み付けをして得た位置ずれ量を示す図。
【図８】第１の実施形態において、歪みデータの初期値を取得する処理を説明するフローチャート。
【図９】歪みデータの初期値を取得する際の、カメラ、検査チャート及び歪み透過物体の配置関係を示した図。
【図１０】初期データの取得方法について説明した図。
【図１１】特徴点が１ラインの直線状になるような検査チャートを前方に設置してピンホールカメラにより撮影したときに、歪み透過物体がある場合と無い場合の画素の状態を示した図。
【図１２】第２の実施形態に係るステレオカメラ装置の構成を示す図。
【図１３】第２の実施形態において、歪みデータの初期値を取得する処理を説明するフローチャート。
【図１４】第２の実施形態において、歪みデータの初期データを取得する際の、ステレオカメラユニットと、検査チャートと、歪み透過物体と、の配置関係を示した図。
【図１５】第２の実施形態において、歪みデータの初期データを取得する際の、ステレオカメラユニットと、検査チャートと、歪み透過物体と、の配置関係を示した図。
【図１６】車両に対するステレオカメラの変位を示す図。
【図１７】第２の実施異形態における、位置ずれ判定部による位置ずれ判断処理を説明するフローチャート。
【図１８】本実施形態の距離計測装置を適用可能な車両を示す模式図。
【図１９】車両と車載カメラとの位置関係と撮像方向を説明する図。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明の実施の形態を詳細に説明する。
本実施形態は、運転者や搭乗者が雨風を防ぐまたは走行中に飛来する障害物を防ぐ目的で車両に備わっている歪み透過物体（フロントやリアのウィンドウガラスなど）が有する歪みを利用して、車載カメラの取り付け位置ずれを検出するものである。
詳しくは、車両に対する、車載カメラの取り付け調整が精度よくされている出荷時に歪み透過物体の歪み測定しておき、その歪みデータと、走行時に撮像される画像から取得した歪みデータを比較する事で、位置ずれを検知し、さらに位置ずれ量を算出する。
詳しくは、車両が備える歪み透過物体は、経時では車両に対する位置ずれを起こさず、また、歪み透過物体は平行平板ではなく通常、縦方向と横方向とで曲率が異なる曲面形状で形成されており、かつ製造ばらつきによる歪みが存在する事を利用して、車載カメラの車両に対する位置ずれ位置を検知するものである。
また、本発明は「車両」に対するカメラの取り付け位置ずれに限定するものではなく、カメラで画像を取得する際に、被写体とカメラの間に、カメラ像面上での被写体の結像位置変化がおきるような歪みが存在する物体がある場合に適用できる。
【００１１】
［第１の実施形態］
まず、第１の実施形態として、車載カメラとして単眼カメラを車体に取り付けた場合の、取り付け位置ずれ検知方法及びその装置について説明する。
単眼カメラとしてピンホールカメラを例としてあげ、入射光の直進性を低下させる歪みのある透過物体としてフロントガラスが前方にあるカメラとする。
ピンホールカメラによって直線状の物体を撮像した場合は、通常は直線として撮像される。
しかしながら、カメラと直線状の物体との間に、フロントガラスなどの歪みのある透過物体があると、直線を撮像しても直線にはならない。
例えば、カメラと直線状物体との間に、一般的なフロントガラスが存在する場合と、存在しない場合とでは、カメラとセンサ上の結像位置は、０．００３ｍｍ程度変化し、結像位置の変化量は、フロントガラスとカメラ位置によって変化することが分かっている。
結像位置０．００３ｍｍの変化は、画素ピッチが６μｍのセンサの場合、０．５ｐｉｘｅｌに相当する。この結像位置の変化は、基線長が１６ｃｍ、焦点距離が８ｍｍのステレオカメラの場合、１９．５ｍ先のチャートを１．３ｍ以上異なる距離と測距してしまう原因となるのである。
本実施例は、このような、フロントガラスの歪みに起因する結像位置の変化を利用して、車載カメラの取り付け位置の位置ずれを検知するのである。
フロントガラスが歪んでいることで、車載カメラの位置ずれがより増幅されるため、位置ずれを検知しやすくなる。
【００１２】
図１は、第１の実施形態に係るカメラ装置の構成を示す図である。
図１に示すカメラ装置は、レンズ及び撮像素子（センサ）を含むカメラユニット１０と、制御部１１と、を備えており、制御部１１は、センサ画像が入力となり、各カメラの用途に合わせた画像処理を行う画像処理部１２と、駐車支援、測距、白線検知などの各目的に即した認識を行う認識部１３と、カメラユニット１０の位置ずれ検知を行う位置ずれ検知部１４と、認識部１３による認識結果及び位置ずれ検知部１４による検知結果が入力され、入力されたこれらの結果を図示しないディスプレイに表示又は音によって運転者に知らせる表示・警報制御部１５と、を備えている。
認識部１３による認識結果、位置ずれ検知部１４による検知結果は、ヘッドアップディスプレイにより表示するなど、様々な態様が考えられる。
【００１３】
また、認識結果や検知結果を、ディスプレイなどに表示したり警報したりするのではなく、ブレーキ制御やドアのロックなどの制御を行う際の情報として活用するようにしてもよい。
位置ずれ検知部１４は、カメラユニット１０によるセンサ出力画像を入力として、画像中の特徴点をセンサ上での座標として出力する特徴点抽出部２０と、特徴点抽出部２０により抽出された特徴点座標を入力とし、フロントガラスとカメラユニット１０との相対位置ずれ量候補値を算出する位置ずれ量算出部２２と、位置ずれ量算出部２２で求めた相対位置ずれ量候補値を入力とし、カメラユニット１０の取り付け位置がフロントガラスに対してずれたか否かの判定を行い、その情報を表示・警報制御部１５に出力する位置ずれ判定部２４と、を備えている。
また、図１に示す位置ずれ検知部１４は、特徴点抽出部２０、位置ずれ量算出部２２、位置ずれ判定部２４のそれぞれ処理に用いるパラメータやデータを格納したメモリ（ＲＯＭ）２１、２３、２５を備えているが、これらのメモリは、各処理部によって共有される単一のメモリで合っても良い。
また、制御部１１による一部又は全部の処理は、ＡＳＩＣなどのハードウェアによって実行されてもよいし、制御部１１が有するＣＰＵ（Central Processing Unit）によるソフトウェア処理によって実行されてもよい。
【００１４】
次に、位置ずれ検知部１４における各処理部について説明する。
図２は、第１の実施形態にかかる位置ずれ検知処理を説明するフローチャートである。
また、図３は、第１の実施形態にかかる位置ずれ検知処理を詳細に説明する図である。
図２、図３を用いて、第１の実施形態に係る位置ずれ検知処理を説明する。
まず、図２のステップＳ５１において、特徴点抽出部２０は、カメラユニット１０から図３（ａ）に示すような、直線状の物体Ｂを含む複数フレームの風景画像Ａを取得する。
次に、ステップＳ５２において、風景画像（入力画像）Ａを二値化して図２（ｂ）のような画像Ａ’を得る。
次に、ステップＳ５３において、図２（ｂ）の画像から、直線状の物体（被写体）Ｂ’と背景とのエッジにおける各座標（ｐｉ，ｑｉ）を特徴点座標（比較特徴点情報）として抽出する。
そして、特徴点抽出部２０は、抽出した特徴点を、センサ（撮像素子）上での座標として位置ずれ量算出部２２に出力する。
なお、入力画像Ａは、車両の走行中に撮影されたものでも、停止中に撮影されたものでもかまわない。
走行中に撮影した画像を用いる場合は、周囲の風景から直線性のある被写体（例えば、信号のポールや横断歩道の模様、白線、車両のエッジ、建物のエッジなど）の直線部分を検出する。特徴点はエッジ抽出とハフ変換を組み合わせて検出することができる。
【００１５】
また、特徴点抽出を行う被写体を認識するための辞書データを予めメモリ２１などに記憶しておいてもよい。
また、入力画像として停止中に得られる画像を用いる状況としては、例えば車検などの定期検査などの場合が考えられる。
この場合は、カメラの撮像画角範囲内に特徴点が直線状に並んでいるチャートを配置し、画像を取得し、これらの特徴点を検出する事が考えられる。
走行中に位置ずれを検知したいのか、定期検査などで位置ずれが起きていないかを確認したいのか、使用目的に応じてどのような特徴点を抽出するようにするかを決め、メモリ２１に記憶する情報を決定する。
なお、直線状の物体Ｂが、１フレームのみに撮像される可能性は極めて低いため、１フレームのみにおいて風景画像の特徴点（直線状物体Ｂのエッジ）が抽出可能であった場合には、特徴点抽出部２０から後述する位置ずれ量算出部２２への特徴点座標の出力は行わないようにすればよい。
【００１６】
次に、ステップＳ５４において、位置ずれ量算出部２２は、特徴点抽出部２０で抽出された特徴点座標を入力とし、フロントガラスとカメラの相対位置ずれ量の候補値を出力する。
そのために、メモリ２３には出荷初期データとして、基準特徴点座標データ（ｘｉ，ｙｉ）が記憶されている（後述する）。
この基準特徴点データは、カメラユニットに位置ずれがない状態で直線状の検査チャートを撮影した場合に、フロントガラスの歪みのみによって生じた位置ずれを含む、検査チャート上の座標である。
特徴点座標としてセンサ縦方向の直線を使用する場合には、位置ずれ量算出部２２は、前述した各特徴点座標（ｐｉ，ｑｉ）と、各基準特徴点座標（ｘｉ，ｙｉ）について、Σ（ｘｉ−ｐｉ）を計算し、各フレームについてｘ座標の差が最小のもの（図３（ｃ））を、その画像から算出されたフロントガラスとカメラの相対位置ずれ量の候補値とする（図３（ｄ））。
そして、ステップＳ５５において、この中から閾値を超えた相対位置ずれ量候補があればフロントガラスとカメラとの間に位置ずれが発生していると判断する（ステップＳ５６）。ない場合は、位置ずれなしを判断する（ステップＳ５７）。
また、温度による歪み量変化を求めている場合には、上述したずれ量とともに温度情報を出力する。
【００１７】
図４は、位置ずれ量算出部において相対位置ずれの候補値を算出する方法を詳細に説明する図である。
図４（ａ）に示す風景画像において、特徴点座標Σ（ｘｉ−ｐｉ）の点群を全て含むような（ｐｍａｘ−ｐｍｉｎ）×（ｑｍａｘ−ｑｍｉｎ）の画素エリアを設定する（図４（ｂ））。
初期データとしては、メモリ２３に格納している複数のずれ状態データから、上述した画素エリアの範囲を切り出す（図４（ｃ）のずれ状態１、ずれ状態２）。
そして、切り出した範囲内で、図４（ａ）に示す風景画像のｙ座標で、Σ（ｘｉ−ｐｉ）を複数のずれ状態データに対して行い、最小となるものを、ある風景画像から求められたずれ状態とする。
後段の位置ずれ判定部２４には、ずれ状態だけではなく、判定に使用したエリア情報をも出力する。位置ずれ判定部２４では、位置ずれ量算出部２２で求めた相対位置ずれ量候補値を入力とし、カメラユニット１０の取り付け位置がフロントガラスに対してずれている旨の判定情報を表示・警報制御部１５に出力する。
位置ずれ判定部２４は、入力された相対位置ずれ量候補値から、フロントガラスとカメラユニット１０の位置ずれ量を横軸としてヒストグラムを作成する。
ここで、特徴点抽出誤差などが含まれるため、図３（ｄ）で説明したように、判定可能閾値をもうけ、その閾値を超えた場合、フロントガラスとカメラの位置ずれが起きていると判定する。
【００１８】
図５は、図４の処理で得られたずれ状態候補データのヒストグラムを示す図である。
図５において、横軸はずれ状態（ずれ量）、縦軸は、頻度を示している。
このヒストグラムは、必ずしも、正規分布のようなデータになるとは限らない。
それは、図４（ｃ）におけるずれ状態１、ずれ状態２の比較から分かるように、画像領域によっては、フロントガラスによる直線の歪み方が類似している部分と、類似していない部分が存在しているからである。
なお、図４（ｃ）では、類似している箇所は、画面中央領域、類似していない箇所は、画面両端領域である。
図４（ａ）に示した風景画像から抽出される直線状の物体が、画面の特定領域に集中してしまう場合、全く異なるずれ状態であっても２つの状態がずれ状態候補としてあがってしまう。
【００１９】
そこで、図５に示すように、ヒストグラムの頻度に閾値を設け、ある頻度を超えた画面領域にて重み付けをする。
重み付け位置をあるずれ状態の頻度が超えたら、その頻度と近いずれ状態に着目する。
図５では、ずれ状態１、２、３を注目するずれ量とする。
ずれ状態の初期データを比較し、ずれ状態１、２、３を見分けるのに適したエリアを探索する（図６の枠４０、４１で示すエリア）。
同じｙ座標で各ずれ状態のｘ座標の差分を求め、最も大きなエリアを特徴エリアとしてもよい。
全てのずれ状態の特徴エリアを予め算出しておいても良いが、そのずれ状態同士を比較するかによって、エリア位置が変化するととともに、初期に記憶されている状態は多数あるため、ある程度、候補が絞られてからエリア探索する例を上記に挙げた。
特徴エリアに風景画像の特徴点がある場合は、他のエリアよりも重みをつけてヒストグラムを作成する。
図７に示したヒストグラムでは、重み付けをすることによって、ずれ状態１、２、３の中でも差がつくようになる。
図７のヒストグラムにおいて、ずれ量が判定可能な閾値を超え、かつ他のずれ量候補との差がある基準値以上であれば、その時点でずれ量を決定することが出来る。
【００２０】
図８は、第１の実施形態において、歪みデータの初期値（基準特徴座標データ）を取得する処理を説明するフローチャートである。
（１）検査チャートの画像を取得する（ステップＳ１０１）
図９は初期データ（歪みデータの初期値）を取得する際の、カメラ、検査チャート及び歪み透過物体の配置関係を示した図である。また、図１０は、初期データの取得方法について説明した図である。
なお、カメラユニット１０は歪みのないピンホールカメラであり、車両に対する取り付けの調整が終わっている状態である。
本実施形態は、この理想の取り付け初期位置からのずれを検知するものである。
図９では、カメラユニット１０の前方に歪み透過物体５０が設置されている例を示しているが、前方以外に歪み透過物体があってもよい。
例えば、撮像する対象（風景やヒト）からの光線がカメラ光学系に入射するまでの光路上に、車両に対して経時で位置変化を起こさない歪み透過物体がある状態であればよい。
検査チャート５５としては、直線性を有する（直線状の）パターンを用意することが必要とされる。
検査チャート５５の模様に直線性がある場合、この検査チャート５５と車両１００、もしくは検査チャート５５とカメラユニット１０の位置を精度よく設置する必要はない。
検査チャートを表示するディスプレイ上には、図１０（ａ）に示すような白と黒の直線エッジ画像（パターン）が表示されており、その画像のエッジ位置を１ｐｉｘｅｌずつ移動させるなどして、多くの直線データの歪み画像データを取得する事が望ましい。検査チャートは縦の直線だけでなく、横回転させるなどして、なるべく多くのデータを取得する。
また、測定環境の温度を変化させ、各温度の検査チャートの画像を取得してもよい。
【００２１】
（２）画像を二値化する（ステップＳ１０２）
直線状の被写体（検査チャート）は、図１０（ｂ）に示すように、歪み透過物体５０によって歪んで撮像される。その歪み座標を求めるために、センサ画像を二値化する（図１０（ｃ））。
（３）二値化した画像から（基準）特徴点データ（ｘｉ，ｙｉ）を抽出する（ステップＳ１０３）
二値化した画像から図１０の例のように特徴点データ（基準特徴点）を取得する。
図１０では縦方向の直線を例としてあげているが、近似直線はなるべく多くの種類の傾きを求めた方が精度よく位置ずれを検知できる。
走行中に直線状の特徴点が得られる領域においては、同じセンサ領域で近似直線の傾きの種類が多くとれるようにした方がよい。
検査チャート５５はカメラユニット１０に対して特に位置の規定などを行わないとしているので特徴点の結像する理想座標はないが、初期位置からのずれを検出したいので、理想座標はなくてもよい。
【００２２】
図１１は、特徴点が１ラインの直線状になるような検査チャートを前方に設置してピンホールカメラにより撮影したときに、歪み透過物体がある場合と無い場合の画素の状態を示した図である。
カメラユニット１０と検査チャート５５の位置は動かしていない。
歪み透過物体５０なしの状態では、直線状の被写体は、センサ座標上でも直線状に結像されるが、歪み透過物体がある場合は、直線状に結像されない。
歪み透過物体５０は、通常、縦方向と横方向とで曲率が異なる曲面形状で形成されており、かつ製造ばらつきが存在し、歪み透過物体に入射する光線と出射する光線の角度は僅かに異なる。
従って、カメラに入射する光線の角度は、歪み透過物体５０の有無によって異なり、カメラのセンサ上での結像位置が変化する。
【００２３】
結像位置変化量はフロントガラスのどの領域を光線が通過したかにより変化するため、車両と歪み透過物体５０との相対位置が経時でずれないとすれば、結像位置変化量の変化から、歪み透過物体５０とカメラユニット１０との相対位置関係がずれたか否かがわかり、最終的に車両とカメラの相対位置関係の変化がわかる。
（４）歪み透過物体とカメラの相対位置関係及び、基準特徴点データ（ｘｉ，ｙｉ）の値を記憶する（ステップＳ１０４）。
ステップＳ１０３で求めた特徴点データ（ｘｉ，ｙｉ）と、そのときの歪み透過物体５０とカメラユニット１０との相対位置関係をメモリ（図１のメモリ２１）などに記憶する。
歪み透過物体５０とカメラユニット１０との相対位置関係として記憶するデータとしては、車体にカメラを設置して位置を調整した後の初期状態をゼロとし、調整後のカメラの車両に対する設置位置（絶対値）を精度よく算出する必要はない。
【００２４】
本実施形態によっては、カメラ前方に設置してある歪み透過物体（フロントやリアのウィンドウガラスなど）の歪みに起因する、カメラ像面上での結像位置ずれを利用するので、以下のことを実現できるようになる。
すなわち、走行中に、車両に対してカメラの取り付け位置がずれたと検知できると、例えば認識結果からブレーキ制御やハンドル制御を行なうようなカメラでは、運転者に取り付け位置ずれによって認識結果の信頼性が低下したと警告し、ブレーキ制御やハンドル制御を解除する事ができる。
また、車両に対するカメラの取り付け位置ずれ量が算出できると、カメラの取り付け位置を微調整できる取り付け機構（もしくは取り付け部品を交換）によってカメラの取り付け位置を補正できるとともに、取り付け位置を調整しなおしても初期の出荷状態から変化してしまっているのでカメラを修理にださなければいけないという判定をカメラ使用者に警告することもできる。
【００２５】
［第２の実施形態］
上記に説明した第１の実施形態は、単眼カメラに関するものであったが、下記に説明する第２の実施形態は、被写体までの距離を測定するステレオカメラの車両に対する取り付け位置ずれ量、及びカメラ同士の相対位置関係のずれ量を算出する装置に関するものである。
なお、歪み透過物体としては、第１の実施形態と同様にフロントガラスを用いることが出来る。
なおここで、ステレオカメラ装置とは基線長離れた位置に複数のカメラを配置し、カメラ間での結像位置の差（視差）を検出して被写体までの距離を算出する装置である。
ステレオカメラ装置を車両に取り付ける際、経時でのステレオカメラ装置全体の取り付け位置ずれとカメラ間での相対位置ずれを検出する必要がある。
ステレオカメラ全体での取り付け位置ずれが発生すると、被写体までの距離が変わってしまい、ブレーキ制御、ハンドル制御などに使用されている場合には取り付け位置ずれによる算出距離の精度劣化は重大な事故の原因となる。
また、ステレオカメラ装置を構成するカメラ間での相対位置ずれが生じると（特に視差が変化するようなカメラの相対位置ずれ）、距離精度の劣化の大きな要因となるため、ずれの早期発見が重要である。
ステレオカメラによって高精度に測距する場合には、レンズや製造ばらつきによる歪みを補正した後に相関演算を行う必要がある。
【００２６】
図１２は、第２の実施形態に係るステレオカメラ装置の構成を示す図である。
図１２に示すステレオカメラ装置は、それぞれレンズ及び撮像素子（センサ）を含む左右のカメラユニット６０Ｌ、６０Ｒを備えたステレオカメラユニット６０と、及び制御部６０ａを備えている。
制御部６０ａは、位置ずれ検知部６１と、両カメラユニットのセンサ画像が入力となり、各カメラの歪み補正処理を行う前処理部６２と、後述する相関演算部６４と、駐車支援、測距、白線検知などの各目的に即した認識を行う認識部６６と、認識部６６による認識結果及び位置ずれ検知部６１による検知結果が入力され、入力されたこれらの結果を図示しないディスプレイに表示又は音によって運転者に知らせる表示・警報制御部７５と、を備えている。
【００２７】
また、位置ずれ検知部６１は、ステレオカメラユニット６０に含まれるカメラユニット６０Ｌ、６０Ｒによるセンサ出力画像を入力として、画像中の特徴点をセンサ上での座標として出力する特徴点抽出部６９と、特徴点抽出部６９により抽出された特徴点座標を入力とし、フロントガラスと各カメラユニット６０Ｌ、６０Ｒとの相対位置ずれ量候補値を算出する位置ずれ量算出部７１と、位置ずれ量算出部７１で求めた相対位置ずれ量候補値を入力とし、ステレオカメラユニット６０（カメラユニット６０Ｌ、６０Ｒ）の取り付け位置がフロントガラスに対してずれたか否かの判定を行い、その情報を表示・警報制御部１５に出力する位置ずれ判定部７３と、を備えている。
【００２８】
前処理部６２が行う歪み補正処理の方法としては、補正前後の変換先の情報をもつＬＵＴ（ルックアップテーブル）を使用してもよいし、歪み多項式を利用してもよい。
ＬＵＴでは大きな記憶容量が必要なため、歪みを多項式で表す方が望ましいと考える。歪み補正式としては例えば（式１）に示した高次の多項式が考えられる。
0006019646.tif 000002
・・・（式１）
式１において、δｘ、δｙはあるレンズのある点のｘ方向、ｙ方向の歪み量であり、ｘ，ｙは理想正規化座標、ｆ１，ｆ２…,ｆｋ、ｇ１，ｇ２…，ｇｋはある温度における歪み係数である。
これらの歪み係数を求めるためにｘ，ｙ，δｘ，δｙの値を既知データとし、画像全体でこの歪み式を満たすような歪み係数の最適化を行うなどが考えられる。これらの歪み係数もしくはＬＵＴデータはメモリ６３に予め記憶されている事が望ましい。
【００２９】
また、歪みとして認識するのはカメラユニットを構成するレンズの歪みでもよいし、フロントガラスの歪みを含んでも良い。
フロントガラスの歪みを含んだ歪み多項式を求める方法として例えば、車両に対してカメラを取り付けた後に調整を行い、その後に検査チャートを規定の設置位置に設置し、その検査チャートにおける特徴点の実測座標と、理想座標の関係から歪み多項式を求める方法があげられる。
【００３０】
本実施形態では、カメラ取り付け調整後にフロントガラスの歪みも含めた歪み補正を行うものとする。
また、メモリ６３には歪み係数の他に、歪み補正処理に使用するカメラの焦点距離や、画素ピッチなどの情報を記憶しておく。
前処理部６２により歪み補正された画像データは、後段の特徴点抽出部６９と相関演算部６４に出力される。
特徴点抽出部６９は、上述した第１の実施形態で説明した処理を行うカメラ間の相対位置ずれ量およびカメラ全体の取り付け位置ずれを算出するので、２つのカメラの画像データを特徴点抽出部６９に入力する。
【００３１】
ステレオカメラユニット６０において、２つのカメラユニット６０Ｌ、６０Ｒが一体となってずれる機構となっており、二つのカメラの相対位置ずれは検出せずにカメラ全体での取り付け位置ずれのみを検出する場合は、どちらか一方のカメラの画像データのみ特徴点抽出部６９に入力されればよい。
ステレオカメラユニット６０全体の取り付け位置ずれを検知する処理は、第１の実施形態で述べた方法と同じであるので、カメラ間の相対位置ずれ量を検出する場合について説明する。
位置ずれ量算出部７１は第１の実施形態（図１）の位置ずれ量算出部２２と同様の構成である。
メモリ７２には、ステレオカメラユニット６０を取り付けて調整をした際に取得した初期データが記憶されている。
【００３２】
ここで、第２の実施形態における初期データの取得方法について説明する。
図１３は、第２の実施形態において、歪みデータの初期値を取得する処理を説明するフローチャートである。
（１）検査チャートの画像を取得する（ステップＳ２０１）
図１４は、第２の実施形態において、歪みデータの初期データを取得する際の、ステレオカメラユニット６０と、検査チャート５５と、歪み透過物体５０と、の配置関係を示した図である。
ステレオカメラユニット６０は、フロントガラス（歪み透過物体）５０の歪みを含んだ歪みが補正されたカメラである。
検査チャート５５としては直線性を有する（直線状の）パターンを用意するが、フロントガラス５０の歪みを含んだ歪み補正が行われているステレオカメラであるので、取り付け位置ずれが起きていない場合には、検査チャート５５の直線は、直線として撮像される。
【００３３】
ここでは、ステレオカメラユニット６０を構成する２つのカメラユニット６０Ｌ、６０Ｒにより画像を取得する。
また、例えば図１５に示したように、検査チャート５５の代わりに、発光体５６を用いても良い。
発光体５６を用いる場合には、カメラに対する入射角を変え、その角度はピンホールカメラの像面上で、歪みのある透過物体がない場合に直線状に結像するようにする。また、発光体の光は広がりのない光である必要がある。
（２）画像を二値化する（ステップＳ２０２）
第１の実施形態と同様である。
（３）二値化した画像に対して特徴点データ（ｘｉ，ｙｉ）を抽出する（ステップＳ２０３）
これも、第１の実施形態と同様である。
【００３４】
（４）歪み透過物体と各カメラユニットの相対位置関係及び、特徴点データ（ｘｉ，ｙｉ）の値を記憶する（ステップＳ２０４）
基本的に、第１の実施形態と同様である。
初期の位置ずれが起きていない場合には特徴点データは直線状だが、ずれ量算出をするために追加された、後述するステレオカメラユニット６０と歪み透過物体５０との相対位置を変化させた場合には、被写体からの光線の光路が変わる。
（５）歪み透過物体とステレオカメラユニットの相対位置関係を変更する（ステップＳ２０５）
ステレオカメラユニット６０の設置位置が初期状態からずれたか否かだけでなく、ずれ量を判断する際に必要なステップである。
ステレオカメラユニット６０の取り付け位置が経時で最大にずれ得ると見積もられる範囲、または補正機構がある場合にはその補正許容範囲に応じて位置変更をすればよい。
ステレオカメラユニット６０と歪み透過物体（フロントガラス５０）との相対位置を変更すると、被写体（チャート５５）からの光線が歪み透過物体を透過する領域が変わるので、ステップＳ２０３の特徴点データ（ｘｉ，ｙｉ）の値が変わる。
【００３５】
相対位置を変更する際には歪み透過物体５０を動かしても、ステレオカメラユニット６０を動かしてもよいが、車体に歪み透過物体が取り付けられている状態を想定すると、車両におけるカメラ取り付け部に並進機構を設けたり、ステレオカメラユニットにおいて各カメラユニットを回転させる回転機構を設けておけば、取り扱いがし易いと考えられる。
もしくは、カメラ取り付け部に予め何種類かの取り付け部品を用意し、それらの部品を変更した際のデータを取得してもよい。
相対位置関係の変更としては、カメラ取り付け調整後のカメラ位置をゼロとしたときのｘ，ｙ，ｚ軸並進、ｘ，ｙ，ｚ軸回転があり、複数のカメラユニット（６０Ｌ、６０Ｒ）の相対位置関係は変えずに、ステレオカメラユニット全体の歪み透過物体に対する位置を変更する（図１６（ａ））データ取得方法、もしくは、各カメラユニットの相対位置、ステレオカメラユニット全体の位置のいずれも変更する（図１６（ｂ））データ取得方法が考えられる。
なお、位置ずれ判定部７３は、位置ずれ量算出部７１から入力されるカメラ６０Ｒとカメラ６０Ｌそれぞれの特徴点データ（ｘｉ，ｙｉ）と、メモリ７４に格納されたカメラユニット６０Ｒとカメラユニット６０Ｌの初期データとを比較し、類似データを探してずれ量を検出する。
【００３６】
以下に、このずれ量に基づく位置ずれ判断について説明する。
図１７は、第２の実施異形態における、位置ずれ判定部による位置ずれ判断処理を説明するフローチャートである。
位置ずれ判定部は、ステップＳ３００において、カメラユニット６０Ｌ、６０Ｒの特徴点データが初期値データと一致するか判断する（ステップＳ３００）。
次に、双方で一致した場合（ステップＳ３００でＹｅｓ）、ステレオカメラユニット全体として位置ずれしていないと判断する（ステップＳ３０１）。
双方が一致しない場合（ステップＳ３００でＮｏ）、双方のカメラユニットについて類似データが存在するかを確認する（ステップＳ３０２）。
双方について、類似データが存在する場合（ステップＳ３０２でＹｅｓ）で、各カメラユニットの相対位置ずれ量候補が一致した場合（ステップＳ３０３でＹｅｓ）、ステレオカメラユニット全体が位置ずれしていると判断する（ステップＳ３０４）。
【００３７】
一致しない場合（ステップＳ３０３でＮｏ）、各カメラユニットがばらばらに位置ずれしていると判断される（ステップＳ３０５）。
ステップ３０２で、双方のカメラユニットついて類似データがないと判断され（ステップＳ３０２でＮｏ）、一方のカメラユニットについての類似データが存在すると判断された場合（ステップＳ３０６でＹｅｓ）、データ類似しない一方のカメラユニットのみが位置ずれしていると判断する（ステップＳ３０７）。
最後に、ステップＳ３０６で、双方のカメラユニットともに類似データがないと判断される場合は、他の要因による結像位置変位であると判断する（ステップＳ３０８）。
【００３８】
以上の判断処理について詳しくは説明する。
（１）フロントガラス５０に対して、カメラユニット６０Ｒとカメラユニット６０Ｌがそれぞれ全く位置ずれを起こしていない場合、位置ずれ量算出部７１から出力されるカメラユニット６０Ｒとカメラユニット６０Ｌのデータはメモリ７４に記憶されている出荷時初期データとほぼ一致しｘ座標の差はほぼゼロになる。この場合、二つのカメラユニットはフロントガラス５０に対して位置ずれを起こしていないと判定し、このまま測距を続けてもよいと判断する。
（２）フロントガラスに対してステレオカメラユニット全体が位置ずれを起こした場合
位置ずれ量算出部７１から出力されるカメラユニット６０Ｒとカメラユニット６０Ｌのデータに類似したデータがメモリ７４に存在し、且つ各カメラユニット６０Ｌ、６０Ｒとフロントガラス５０の相対位置ずれ量候補値が一致したときに、位置ずれ判定部７３は、ステレオカメラユニット６０全体が、フロントガラス５０に対して位置ずれを起こしたと判定する。
フロントガラスに対する（車両に対する）カメラユニット６０の姿勢がわかるので、ステレオカメラユニットの位置ずれが補正許容範囲内であり、且つ補正機構を備えていれば、ずれ量分だけフロントガラスに対する位置を動かしてもよいし、また、大きくカメラの姿勢がずれてしまった場合には補正許容範囲外と判断し、ステレオカメラユニットの位置調整が必要であるというエラーメッセージを、ディスプレイやヘッドアップディスプレイに出力する。
【００３９】
（３）ステレオカメラユニットを構成するカメラユニットのうちの一部が、出荷時の位置からの位置ずれを起こした場合
位置ずれ量算出部７１から出力される位置ずれの起きていないカメラユニットのデータはメモリ７４に記憶されている出荷時初期データとほぼ一致するが、位置ずれを起こしたカメラユニットのデータに類似するデータがない場合に、位置ずれ判定部７３は、フロントガラス５０に対して二つのうち一つのカメラが出荷時から位置ずれを起こさず、一つのカメラが位置ずれを起こしたと判定する。
言い換えれば、位置ずれ量算出部７１から出力される各カメラのユニットのデータのうち、出荷時初期データとほぼ一致するデータに対応するカメラユニットについては、出荷時位置からの位置ずれが発生していないと判断し、初期出荷位置と一致しない（該当するデータがない）データに対応するカメラユニットについては、出荷時位置からの位置ずれが起きていると判断する。
この場合、カメラの相対位置を補正する機構を備えていれば補正を行い、備えていなければ、表示・警報制御部７５は、調整が必要な事を運転者に知らせる。
【００４０】
（４）２つのカメラのうち少なくとも１つのカメラにおいて、相対位置関係ではない結像位置変化が出荷時から発生した場合
位置ずれ量算出部７１から出力される２つのカメラユニットのデータ全てについて、メモリ７４に記憶されているデータ中に類似したデータがない場合、これは位置ずれ予想範囲内での位置ずれではないので、位置ずれ判定部７３は、他の要因でカメラの結像位置変化が起きていると判定する。
相対位置関係ではない結像位置変化としては、例えば内部パラメータと呼ばれるレンズのディストーションが経時で変化しているなどの原因が考えられる。
この場合、相関演算部６４は、前処理部６２から出力された画像の相関演算を行う。
メモリ６５には各ステレオカメラユニット６０Ｌ、６０Ｒの基線長、画素数、探索幅情報が記憶されていることが望ましく、ステレオカメラの基線長、画素数、探索幅などに応じてステレオマッチングを行い、相関演算を行う。マッチング処理としては、公知の各種のものを用いることができる。
【００４１】
例えばＳＡＤ（Sum of Absolute Difference）法が挙げられる。
なお、ＳＡＤ法は、基準画像内で設定されたテンプレートと、これと相関をとるべき比較画像内のブロックとの互いに対応する各ピクセル（画素）の輝度値の差の絶対値の積算値を算出して評価値とし、該評価値が最も小さいものに係る比較画像内のブロックをマッチング領域とするものである。
また、位置ずれ量算出部７１から入力される位置ずれ量に基づいて、画像処理によって補正してもよい。
【００４２】
認識部６６は、相関演算部６４で計算・生成された視差画像を入力として、測距対象物の認識を行う。
測距対象物の認識する際には、あらかじめ測距対象物の特徴を辞書データとしてメモリに記憶しておいてもよいし、視差が同じグループを一つのブロックとして、どのような物体があるか否かは認識しないが、そこに物体があるか否かを認識するようにしてもよい。後者の場合、測距精度がよいほど高精度に認識できる。
表示・警報制御部７５には、認識部６６による認識結果及び位置ずれ判定部７３からの判定結果が入力される。
判定結果は、図示しないディスプレイに表示したり、音によって運転者に知らせる方法や、ヘッドアップディスプレイに表示したりするなど様々な方法が考えられる。
また、表示や警報を装置で認識結果を出力するのではなく、ブレーキ制御やドアのロックなどの制御を行う際の情報として活用される事も考えられる。
【００４３】
＜その他の実施形態＞
図１８は、本実施形態の距離計測装置を適用可能な車両を示す模式図である。
本実施形態の画像処理システムは、車両前方の画像を取得するための撮像ユニット８１と、取得した画像に基づいて車両８０の前方に存在する他の車両までの距離を算出する等の処理を行う画像解析ユニット８２を有している。撮像ユニット８１は、車両８０が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。撮像ユニット８１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット８２に入力される。画像解析ユニット８２は、撮像ユニット８１から出力された画像信号を解析する。
撮像ユニット８１として、上記実施形態の撮像ユニット１０、６０を適用できる。
また、画像解析ユニット８２の一部の機能として、上記実施形態の画像処理部１２、認識部１３を適用することが出来る。
また、位置ずれ判定部２４、７３による判定結果を、ヘッドアップディスプレイ８９に表示することが出来る。
車両走行制御ユニット８８は、画像解析ユニット８２で計算された距離に基づいてハンドルやブレーキの制御も行うことが出来る。
【符号の説明】
【００４４】
１０  カメラユニット、１１  制御部、１２  画像処理部、１３  認識部、１４  検知部、１５  表示・警報制御部、２０  特徴点抽出部、２２  位置ずれ量算出部、２４  位置ずれ判定部、２６  表示・警報制御部、２６  量算出部、３１  視差計算部、３３  ＣＰＵ、５０  フロントガラス、５５  検査チャート、５６  発光体、６０  ステレオカメラユニット、６０Ｌ、６０Ｒ  カメラユニット、６０ａ  制御部、６１  位置ずれ検知部  ６２  前処理部、６４  相関演算部、６６  認識部、６９  特徴点抽出部、７１  位置ずれ量算出部、７３  位置ずれ判定部７３、７５  表示・警報制御部
【先行技術文献】
【特許文献】
【００４５】
【特許文献１】特許第３４７９００６号
【特許文献２】特許第４２８５６１８号
【図１】
0006019646.tif 000003
【図２】
0006019646.tif 000004
【図３】
0006019646.tif 000005
【図４】
0006019646.tif 000006
【図５】
0006019646.tif 000007
【図６】
0006019646.tif 000008
【図７】
0006019646.tif 000009
【図８】
0006019646.tif 000010
【図９】
0006019646.tif 000011
【図１０】
0006019646.tif 000012
【図１１】
0006019646.tif 000013
【図１２】
0006019646.tif 000014
【図１３】
0006019646.tif 000015
【図１４】
0006019646.tif 000016
【図１５】
0006019646.tif 000017
【図１６】
0006019646.tif 000018
【図１７】
0006019646.tif 000019
【図１８】
0006019646.tif 000020
【図１９】
0006019646.tif 000021