(57)【要約】【課題】製品出荷時の機械的な光軸調整による工数を低減し、コスト低減を図る。【解決手段】相対光軸ズレの調整範囲が既に拡大されている場合、アフィン変換による相対光軸ズレの調整のみを実行し（Ｓ１０１）、相対光軸ズレの調整範囲が未だ拡大されておらず、カメラ本体光軸ズレが有る場合、基準画像に対する光軸ズレの補正を行う（Ｓ１０２〜Ｓ１０４）。その後、相対光軸ズレの調整範囲が調整許容範囲外になったとき、機械的な光軸調整が必要になったことをユーザに通知する（Ｓ１０５，Ｓ１０６）。カメラ本体光軸ズレの機械的な調整が済んだ後は、アフィン変換による相対光軸ズレの自動調整領域を拡大し、カメラ本体光軸ズレの自動調整を停止する（Ｓ１０８）。これにより、製品出荷時の機械的な光軸調整による工数を低減し、コスト低減を図ることができる。【選択図】図６
2005083890.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラと第２のカメラとを設定間隔を開けて配設してなるステレオカメラの光軸のズレを自動的に補正するステレオカメラの光軸調整装置であって、
上記第１のカメラと上記第２のカメラとの間の相対的な光軸のズレを補正するための第１の調整用画像領域と、上記ステレオカメラ本体の規定の撮像方向に対する光軸のズレを補正するための第２の調整用画像領域とを設け、各調整用画像領域内で各光軸のズレを幾何学的な画像変換によって補正する手段と、
上記相対的な光軸のズレが規定量より大きくなったとき、上記ステレオカメラ本体の規定の撮像方向に対する光軸のズレを機械的に調整するよう通知する手段と、
上記通知による機械的な調整が行われた後、上記ステレオカメラ本体の規定の撮像方向に対する光軸のズレの自動補正を制限若しくは停止し、上記第２の調整用画像領域を上記第１の調整用画像領域に割当てて上記第１の調整用画像領域を拡大する手段とを備えたことを特徴とするステレオカメラの光軸調整装置。
【請求項２】
上記ステレオカメラを、車両に搭載して車外状況を三次元的に認識する装置の視覚センサとして用い、
上記第２の調整用画像領域を、上記ステレオカメラで撮像したアナログ画像をデジタル画像に変換する変換領域内の上下に設けた所定ライン数分の領域とすることを特徴とする請求項１記載のステレオカメラの光軸調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラの光軸のズレを調整するステレオカメラの光軸調整装置に関する。
【背景技術】
【０００２】
一般に、画像による三次元計測技術として、２台のカメラ（ステレオカメラ）で対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理では、ステレオカメラから得られた２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしているため、２つの画像間には視差以外のズレがないことが望ましく、ステレオカメラの光学位置調整が重要となる。
【０００４】
このため、本出願人は、特開平１１−２５９６３２号公報において、ステレオカメラの経時的な光軸のズレを、測距精度に及ぼす影響が無視できる早期の段階から稼働状態のまま自動的に調整する技術を提案している。
【特許文献１】特開平１１−２５９６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ステレオカメラの光軸のズレには、ステレオカメラを構成する２台のカメラ間の相対的な光軸のズレと、ステレオカメラ本体の規定の撮像方向に対する光軸のズレとの２種類のズレがある。前者の光軸のズレは、極めて精密な調整を要し、製品出荷後に市場において調整作業を行うことは困難である一方、後者の光軸のズレは、機械的にカメラ取付け位置を調整することにより修正することができる。
【０００６】
先に本出願人が提案した技術では、前者の光軸のズレを高精度に自動調整することができるものの、後者の光軸のズレが製品出荷時の機械的な作業によって調整済みであることを前提としており、生産ラインでの組付け・調整作業の工数が増し、製品コストの低減を図る上での支障となる。
【０００７】
本発明は上記事情に鑑みてなされたもので、製品出荷時の機械的な光軸調整による工数を低減し、コスト低減を図ることのできるステレオカメラの光軸調整装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明によるステレオカメラの光軸調整装置は、第１のカメラと第２のカメラとを設定間隔を開けて配設してなるステレオカメラの光軸のズレを自動的に補正するステレオカメラの光軸調整装置であって、上記第１のカメラと上記第２のカメラとの間の相対的な光軸のズレを補正するための第１の調整用画像領域と、上記ステレオカメラ本体の規定の撮像方向に対する光軸のズレを補正するための第２の調整用画像領域とを設け、各調整用画像領域内で各光軸のズレを幾何学的な画像変換によって補正する手段と、上記相対的な光軸のズレが規定量より大きくなったとき、上記ステレオカメラ本体の規定の撮像方向に対する光軸のズレを機械的に調整するよう通知する手段と、上記通知による機械的な調整が行われた後、上記ステレオカメラ本体の規定の撮像方向に対する光軸のズレの自動補正を制限若しくは停止し、上記第２の調整用画像領域を上記第１の調整用画像領域に割当てて上記第１の調整用画像領域を拡大する手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明は、ステレオカメラの光軸のズレを自動的に調整し、製品出荷時のステレオカメラの機械的な光軸調整による工数を簡略化することが可能であり、コスト低減を図ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の一形態に係わり、図１はステレオカメラの取り付けを示す説明図、図２は画像入力装置のブロック図、図３はアフィン変換回路のブロック図、図４は画像取り込みと逆アフィン変換のタイミングを示す説明図、図５は撮像領域に対するＡ／Ｄ変換領域と光軸調整用領域とを示す説明図、図６は光軸ズレ調整処理のフローチャート、図７は基準画像の光軸ズレ補正を示す説明図である。
【００１１】
図１において、符号１は、互いに同期が取れ、例えば電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵したシャッタースピード可変の２台のカメラからなるステレオカメラである。このステレオカメラ１は、本形態においては、車両に搭載され、車外風景を撮像した画像を処理して車外状況を三次元的に認識する装置の視覚センサとして用いられ、一方のカメラ２をステレオ処理の際の基準画像を撮像するメインカメラ、他方のカメラ３をステレオ処理の際の比較画像を撮像するサブカメラとして、両カメラ２，３がステイ４に所定間隔を開けて水平に配置されている。尚、図１（ａ）は上面図、図１（ｂ）は正面図である。
【００１２】
両カメラ２，３で撮像した２枚の画像は、画像入力装置１０を介してステレオ処理装置４０へ入力され、ステレオマッチングにより２つの画像の一致度が評価されて物体の三次元位置の算出や画像認識等が行われる。この場合、２台のカメラ２，３は、初期製造段階で互いの光軸が同一平面上で平行となるように組付けられてステイ４に固定されているが、市場における通常の使用時、ドリフト的なゆっくりとした光軸のズレが生じ、長期的には測距精度が僅かづつ低下して最終的に誤差が無視できないレベルに達する虞がある。
【００１３】
このため、両カメラ２，３とステレオ処理装置４０との間に接続される画像入力装置１０には、各カメラ２，３の光軸のズレを自動的に調整する機能が備えられている。この光軸の自動調整機能により、光軸のズレが軽微な段階すなわちステレオ処理装置４０におけるステレオマッチングの際のミスマッチングが少ない早期の段階から各カメラ２，３で撮像した画像におけるズレを自動的に補正し、等価的に各カメラ２，３の光軸を精密調整することができる。
【００１４】
このカメラ光軸の自動調整は、両カメラ２，３間の相対的な光軸のズレ（以下、便宜的に「相対光軸ズレ」と称する）の調整と、規定の撮像方向に対するカメラ本体の車両への取付けばらつきや車両の姿勢変化等による光軸のズレ（以下、便宜的に「カメラ本体光軸ズレ」と称する）の調整とに大別される。規定の撮像視野方向に対するカメラ本体光軸ズレは、両カメラ２，３間の相対光軸ズレに対して比較的容易に調整することができ、市場においてもディーラ等のサービス工場で機械的にカメラ取付け位置を再調整することにより修正することができる。一方、相対光軸ズレは、カメラ本体光軸ズレよりも高精度な調整を必要とし、製品出荷後に市場において調整作業を行うことは困難である。
【００１５】
従って、画像入力装置１０における光軸ズレの自動調整は、相対光軸ズレの調整を主とし、カメラ本体光軸ズレの調整を限定的に実施するようにしており、相対光軸ズレの調整範囲が許容範囲外となったときには、警告を発してユーザにディーラ等のサービス工場でのカメラ本体光軸ズレに対する機械的な調整作業を促すようにしている。この機械的な作業によるカメラ本体光軸ズレの調整を行った後は、画像入力装置１０におけるカメラ本体光軸ズレの自動調整を制限若しくは停止し、市場での調整が困難な相対光軸ズレに対する調整範囲を拡大する。
【００１６】
このため、画像入力装置１０には、図２に示すように、撮像画像の入力処理を行う画像入力部１０ａ、画像の回転や平行移動等の幾何学的変換（アフィン変換）を実施し、相対光軸ズレやカメラ本体光軸ズレを調整するための画像調整部１０ｂ、アフィン変換の画像変換値を演算すると共に、アフィン変換による相対光軸ズレ調整の補正量が許容範囲内か否かを判断し、許容範囲外となったとき、警告を発してユーザにディーラ等のサービス工場での調整作業を促す制御部１０ｃが備えられている。
【００１７】
画像入力部１０ａには、各カメラ２，３からのアナログ画像を後段の入力レンジに合わせるためのアナログインターフェース１１，１２、アナログ画像を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像に変換するＡ／Ｄコンバータ１３，１４等が備えられている。
【００１８】
また、画像調整部１０ｂには、デジタル化された画像を一時的に記憶する入力画像メモリ１５，１６、これらの入力画像メモリ１５，１６に記憶されたデジタル画像に対し、画像の回転や平行移動等の幾何学的変換を行い、ステレオ処理装置４０に出力するアフィン変換回路１７，１８等が備えられている。
【００１９】
アフィン変換回路１７，１８は、両カメラ２，３の画像間の対応点が光軸のズレによって本来の位置から幾何学的に移動したときの補正を行うものであり、一方のアフィン変換回路１７で代表すると、図３に示すような内部構成となっている。この内部構成では、アフィン変換回路１７には、入力画像メモリ１５へのデータの書き込み及びデータの読み出しを行う画像メモリデータインターフェース２０、入力画像メモリ１５のアドレス指定を行う画像メモリアドレスインターフェース２１、Ａ／Ｄコンバータ１３からの画像データを入力画像メモリ１５に書き込む際のアドレスを生成する入力画像書き込みアドレス生成回路２２、入力画像メモリ１５から画像データを読み出して画像の幾何学的変換を行う際のアドレスを逆アフィン変換によって生成する逆アフィン変換読み出しアドレス生成回路２３、逆アフィン変換によって読み出されたデータに対して線形補間を行い、変換画像データを出力する補間演算回路２４等が備えられている。
【００２０】
すなわち、アフィン変換回路１７，１８による画像の幾何学的変換では、変換前の原画像及び変換後の画像は、共に正方格子上に画素を配置したデジタル画像であり、変換後の画像上の画素の濃度値は、原画像を逆アフィン変換して求めた対応画素位置の濃度値で与えられる。この逆アフィン変換による原画像の対応画素位置は、一般に整数画素位置とはならず、原画像に対応画素が存在しないため、補間演算回路２４では、周囲４画素の濃度値を用いて線形補間を行い、変換後の画像上で画素の濃度値を隙間なく求める。
【００２１】
図４に示すように、アフィン変換回路１７，１８では、フィールド信号のサンプル期間で各カメラ２，３からの画像信号、例えば、各カメラ２，３から水平同期信号及び垂直同期信号に同期して出力されるＮＴＳＣ映像信号等の画像信号がサンプルされると、このサンプル画像を次のフィールド区間で画像変換する。
【００２２】
詳細には、アナログインターフェース１１，１２によってＡ／Ｄコンバータ１３，１４の入力レンジに合わせて各カメラ２，３からの画像信号のゲイン・オフセット等が調整され、Ａ／Ｄコンバータ１３，１４によってＡ／Ｄ変換されたデジタル画像データが、入力画像書き込みアドレス生成回路２２，２２で生成したアドレスに従って入力画像メモリ１５，１６に格納される。次のフィールド区間で、入力画像メモリ１５，１６から逆アフィン変換読み出しアドレス生成回路２３，２３で生成したアドレスの濃度データが読み出され、この濃度データに対し、補間演算回路２４，２４で補間演算を行い、変換画像がステレオ処理装置４０に出力される。
【００２３】
カメラ２，３の光軸ズレに対する補正値、すなわちアフィン変換回路１７，１８における画像変換値は、一般的な風景を撮像してステレオ画像処理を行う通常の動作をさせながら制御部１０ｃで補正値を演算し、アフィン変換回路１７，１８に画像変換値として与える。
【００２４】
制御部１０ｃは、ＣＰＵ３１、画像メモリ３２，３３等を備えたコンピュータであり、画像メモリ３２，３３を介して画像入力装置１０のＡ／Ｄコンバータ１３，１４に接続されるとともに、ステレオ処理装置４０に接続される。尚、制御部１０ｃは、ステレオ処理装置４０の一部として構成しても良く、ステレオ画像処理のバックグランドジョブとして、相対光軸ズレの調整範囲をチェックし、補正値演算処理を行うことができる。
【００２５】
ここで、図５に示すように、画像入力部１０ａで実際にＡ／Ｄ変換する画像領域ＲＤは、カメラの撮像素子の全撮像領域ＲＩよりも小さく設定されており、更に、画像認識に用いる処理領域ＲＧは、カメラ光軸ズレの自動調整代を見込んでＡ／Ｄ変換領域ＲＤよりも小さく設定されている。出荷直後の段階では、Ａ／Ｄ変換領域ＲＤから処理領域ＲＧを除いた領域の一部がカメラ本体光軸ズレの自動調整代に割当てられている。
【００２６】
本形態においては、カメラ本体光軸ズレの調整は、カメラ本体の車両への取付けばらつきや車両の姿勢変化等に対する調整であるため、Ａ／Ｄ変換領域ＲＤの上下に所定ライン数分だけ割当てられ、このカメラ本体光軸ズレの自動調整代を除いたＡ／Ｄ変換領域ＲＤの残り全部が相対光軸ズレの自動調整代に割当てられている。
【００２７】
以下、制御部１０ｃによる画像調整部１０ｂを介してのカメラ光軸ズレ調整に係わる処理について、図６のフローチャートを用いて説明する。尚、この処理では、カメラ本体光軸ズレの機械的な調整が行われた後は、カメラ本体光軸ズレの自動調整は停止するものとする。
【００２８】
この処理では、先ず、ステップＳ１０１においてアフィン変換によるカメラ２，３間の相対光軸ズレに対する補正処理を行う。このアフィン変換による相対光軸ズレの補正は、基本的には、メインカメラ２による基準画像を固定し、サブカメラ３による比較画像を回転・平行移動等して幾何学的に画像変換することにより、基準画像と比較画像との２つの画像における認識処理領域が視差検出方向（水平方向）にのみずれた位置関係となるよう補正する処理である。アフィン変換による光軸調整は、本出願人による特開平１１−２５９６３２号公報に詳述されている。
【００２９】
次に、ステップＳ１０２へ進み、相対光軸ズレの調整範囲を拡大済みか否かを調べる。相対光軸ズレの調整範囲が拡大済みか否かは、出荷当初のカメラ本体光軸ズレ及び相対光軸ズレの双方に対する調整領域が存在する状態下の調整モードと、カメラ本体光軸ズレの調整を停止し、カメラ本体光軸ズレの調整領域を相対光軸ズレの領域に含めて拡大した状態下の調整モードとに対して設定したフラグ（後述するステップＳ１０８において設定）を参照することにより判断する。
【００３０】
そして、相対光軸ズレの調整範囲が既に拡大されている場合、すなわち、カメラ本体光軸ズレの自動調整が停止されている場合には、ステップＳ１０１におけるアフィン変換による相対光軸ズレの調整のみを実行するループとなる。この場合には、後述するようにカメラ本体光軸ズレに対する機械的な調整が既になされており、光軸調整用に確保した画像領域を全て使用してアフィン変換による相対光軸ズレの自動調整を行う。一方、相対光軸ズレの調整範囲が未だ拡大されていない場合には、ステップＳ１０２からステップＳ１０３へ進む。
【００３１】
ステップＳ１０３では、カメラ本体光軸ズレが有るか否かを調べる。カメラ本体光軸ズレが無い場合には、ステップＳ１０５へジャンプし、カメラ本体光軸ズレが有る場合、ステップＳ１０４へ進んでカメラ本体光軸ズレに対する補正処理を実行する。このカメラ本体光軸ズレに対する補正は、例えば、図７に示すように、画像中の無限遠のラインＬが認識領域の一定位置になるように調整する処理であり、Ａ／Ｄ変換領域ＲＤの上下に割当てられた所定ライン数分の調整代（図５参照）内で基準画像を上下に移動させるアフィン変換処理となる。
【００３２】
ステップＳ１０５では、アフィン変換による相対光軸ズレの調整範囲が許容範囲内か否かを調べる。相対光軸ズレの調整許容範囲は、アフィン変換の水平・垂直・回転のパラメータにより補正限界の閾値を設定し、制御部１０ｃで演算したアフィン変換の画像変換値が閾値以下か否かを調べることにより判断する。
【００３３】
その結果、演算したアフィン変換の画像変換値が閾値以下であり、相対光軸ズレの調整範囲内であるときには、ステップＳ１０５からステップＳ１０１へ戻って上述の処理を繰返す。一方、相対光軸ズレが大きくなり、演算されるアフィン変換の画像変換値が閾値を越えて調整許容範囲外となったときには、ステップＳ１０５からステップＳ１０６へ進み、機械的な光軸調整が必要になったことをユーザに通知する。
【００３４】
すなわち、基準画像によるカメラ本体光軸ズレの調整を行っていると、経時変化等により２つのカメラ２，３間の相対光軸ズレが大きくなった場合、相対光軸ズレの調整範囲が足りなくなり、アフィン変換後の画像における認識領域がＡ／Ｄ変換領域の領域外となってしまう可能性がある。従って、Ａ／Ｄ変換領域ＲＤの上下に割当てられた所定ライン数分のカメラ本体光軸ズレの調整代に重複するアフィン変換の画像変換値を閾値として定め、この閾値から相対光軸ズレの調整範囲が許容範囲外になったと判断されるとき、ユーザに通知することで、ディーラ等のサービス工場においてカメラ本体光軸ズレに対するステップＳ１０７での機械的な調整を実施することをユーザに促す。
【００３５】
そして、カメラ本体光軸ズレの機械的な調整が済むと、ステップＳ１０７からステップＳ１０８へ進み、Ａ／Ｄ変換領域ＲＤの上下に割当てられた所定ライン数分のカメラ本体光軸ズレの調整代を相対光軸ズレの調整代に含めてアフィン変換による相対光軸ズレの自動調整領域を拡大する処理を行い、調整モードの変更を示すフラグを切換える。以後、カメラ本体光軸ズレの自動調整が停止され、拡大された調整範囲でのアフィン変換による相対光軸ズレの自動調整が実行される。
【００３６】
尚、カメラ本体光軸ズレの自動調整を停止した後は、以上の処理と並行して実行される処理により、カメラ本体光軸ズレの大きさがチェックされ、万一、カメラ本体光軸ズレの機械的な調整が必要になったときには、その旨、ユーザに通知される。
【００３７】
また、セルフレベライザーを装備している車両においては、セルフレベライザーを制御するコントローラと制御部１０ｃとを連係動作させることで本体光軸ズレを調整することが可能であり、本体光軸ズレの機械的調整のために車両を入庫させる煩わしさを解消することができる。
【００３８】
以上のように、画像入力装置１０に、相対光軸ズレの自動調整用画像領域とカメラ本体光軸ズレの自動調整用画像領域とを確保することで、ステレオカメラ１を車両に組付ける際の機械的な光軸調整に要する工数を低減し、コスト低減を図ることができる。そして、製品出荷後に経時変化等により相対光軸ズレが大きくなってきたときには、カメラ本体光軸ズレの機械的な調整によって初期性能を保証した上で画像入力装置１０におけるカメラ本体光軸ズレの自動調整を制限若しくは停止し、相対光軸ズレの調整範囲を拡大することにより、市場での調整が困難な相対光軸ズレに対応することができ、簡便なメンテナンスで初期の性能を維持することができる。
【図面の簡単な説明】
【００３９】
【図１】ステレオカメラの取り付けを示す説明図
【図２】画像入力装置のブロック図
【図３】アフィン変換回路のブロック図
【図４】画像取り込みと逆アフィン変換のタイミングを示す説明図
【図５】撮像領域に対するＡ／Ｄ変換領域と光軸調整用領域とを示す説明図
【図６】光軸ズレ調整処理のフローチャート
【図７】基準画像の光軸ズレ補正を示す説明図
【符号の説明】
【００４０】
１  ステレオカメラ
２，３  カメラ
１０  画像入力装置
１０ａ  画像入力部
１０ｂ  画像調整部
１０ｃ  制御部
１７，１８  アフィン変換回路
４０  ステレオ処理装置
代理人      弁理士      伊    藤      進
【図１】
2005083890.tif 000003
【図２】
2005083890.tif 000004
【図３】
2005083890.tif 000005
【図４】
2005083890.tif 000006
【図５】
2005083890.tif 000007
【図６】
2005083890.tif 000008
【図７】
2005083890.tif 000009