(57)【特許請求の範囲】
【請求項１】
撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置のキャリブレーション方法において、
異なる反射率からなる複数の反射領域を有するキャリブレーションチャートを該キャリブレーションチャートと前記複眼撮像装置との相対位置を変化させながら複数回撮影したときの複数のチャート画像を取得し、
複数回の撮影により取得した複数のチャート画像を用いて内部パラメータおよび外部パラメータを算出するとともに、前記複数のチャート画像を用いて前記撮像素子の各画素の感度ばらつきを補正するための感度補正データを算出する
ことを特徴とする複眼撮像装置のキャリブレーション方法。
【請求項２】
撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置のキャリブレーション装置において、
それぞれ異なる反射率からなる複数の反射領域を有するキャリブレーションチャートを該キャリブレーションチャートと前記複眼撮像装置との相対位置を変化させながら複数回撮影したときの複数のチャート画像を取得する画像取得部と、
該画像取得部により取得された複数のチャート画像を用いて内部パラメータおよび外部パラメータを算出するパラメータ算出部と、
前記画像取得部により取得された前記複数のチャート画像を用いて前記撮像素子の各画素の感度ばらつきを補正するための感度補正データを算出する感度補正データ算出部と
を備えたことを特徴とする複眼撮像装置のキャリブレーション装置。
【請求項３】
前記感度補正データ算出部が、
前記チャート画像内の前記複数の反射領域の中から前記感度補正データの算出に用いる前記反射領域を前記複数のチャート画像毎に設定する領域設定部と、
該領域設定部により設定された前記反射領域の画素値を用いて、該反射領域を撮影した前記撮像素子の画素の感度補正データを前記複数のチャート画像毎に演算し、該複数のチャート画像の前記感度補正データから前記撮像素子の全画素の前記感度補正データを取得する感度補正データ演算部と
を備えたものであることを特徴とする請求項２記載の複眼撮像装置のキャリブレーション装置。
【請求項４】
前記領域設定部が、
前記チャート画像における前記異なる反射領域の境界をエッジ部分として抽出するエッジ抽出部と、
該エッジ抽出部により抽出された前記エッジ部分を拡大するエッジ拡大部と、
該エッジ拡大部により拡大された前記エッジ部分により区切られた前記反射領域のうち、最も広い最大反射領域を前記感度補正データの算出に用いる前記反射領域として選択する領域選択部と
を備えたものであることを特徴とする請求項３記載の複眼撮像装置のキャリブレーション装置。
【請求項５】
前記感度補正データ演算部が、
前記撮像素子の各画素が異なる前記反射領域を撮影したときの複数の画素値を前記複数のチャート画像から前記画素毎に抽出する信号抽出部と、
該信号抽出部により前記画素毎に抽出された前記異なる反射領域毎の前記画素値を用いて、前記反射率に対する前記画素値の大きさを出力関数として前記画素毎に算出する出力特性算出部と、
該出力特性算出部により算出された前記画素毎の前記出力関数から感度が最も低い最低感度画素を検出する最低画素検出部と、
該最低画素検出部により検出された前記最低感度画素が出力可能な最大信号値に基づいて、前記各画素の補正後の画素値を示す補正目標関数を算出する目標値算出部と、
前記出力関数が前記補正目標関数になるような前記感度補正データを前記画素毎に算出する感度補正データ取得部と
を備えたものであることを特徴とする請求項２記載の複眼撮像装置のキャリブレーション装置。
【請求項６】
前記感度補正データ算出部において前記感度補正データが算出されていない未演算画素を検出する未演算画素検出部と、
前記未演算画素検出部において検出された前記未演算画素が前記感度補正データを取得するための前記キャリブレーションチャートもしくは前記複眼撮像装置の移動量を前記内部パラメータおよび前記外部パラメータを用いて検出する移動量算出部と
をさらに備えたものであることを特徴とする請求項２から５のいずれか１項記載の複眼撮像装置のキャリブレーション装置。
【請求項７】
前記移動量算出部が前記移動量を表示装置に表示する機能を有するものであることを特徴とする請求項６記載の複眼撮像装置のキャリブレーション装置、
【請求項８】
前記キャリブレーションチャートと前記複眼撮像装置との位置関係が前記移動量算出部により検出された位置関係になるように前記キャリブレーションチャートもしくは前記複眼撮像装置を移動させる移動手段をさらに備えたものであることを特徴とする請求項６または７記載の複眼撮像装置のキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複眼撮像装置のカメラ部について各調整を行うためのデータを取得するキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャートに関するものである。
【背景技術】
【０００２】
左右対称に配置された１対の撮影手段を用いてパノラマ画像、ステレオ画像、あるいは３Ｄ画像を取得する複眼撮影装置が知られている。パノラマ画像等を得るためには各カメラ部において取得した画像が略同一の画質を有している必要があるため、各カメラ部の出力特性のばらつきを抑える補正を行う必要がある。そこで、各カメラ部に対し補正条件を予め算出しておき、各カメラ部から２つの画像が取得されたときにこの補正条件に基づいて補正することが提案されている（たとえば特許文献１〜３参照）。
【０００３】
特許文献１において、各カメラ部が平面上の既知パターンをそれぞれ異なる方向から撮影することにより取得された画像を用いて、各カメラ部のレンズの歪みパラメータと各カメラ部の特性を示す内部パラメータと各カメラ部の３次元位置を示す外部パラメータとを算出する方法が開示されている。
【０００４】
また、特許文献２、３において、カメラ部の撮像素子における各画素の感度ばらつきを補正するための補正データを取得するため、各画素が同一の光量を受光したときの各画素からの信号出力値に基づいて感度補正データを生成する方法が開示されている。
【特許文献１】特開２００２−２７５０７号公報
【特許文献２】特開平１０−２５５０２０号公報
【特許文献３】特開２００４−１２８６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、特許文献１に示すような内部パラメータおよび外部パラメータの算出と、特許文献２、３に示すような各画素の感度補正データの算出とはそれぞれ別々に行う必要があり、複眼撮像装置に必要な補正条件の取得に時間や手間が掛かってしまうと言う問題がある。すなわち、特許文献１に開示されているように、内部パラメータおよび外部パラメータを算出するためには、所定の濃淡パターンを有するキャリブレーションチャート視点を変えて複数回撮影することにより複数のチャート画像を取得する必要がある。一方、特許文献２、３に開示されているように、感度補正データを取得するためには、全領域において均一な反射率を有するキャリブレーションチャートを撮影して感度ばらつきを取得する必要がある。したがって、内部パラメータおよび外部パラメータと感度補正データとの取得は別々に行う必要があり手間が掛かってしまうという問題がある。
【０００６】
そこで、本発明は、複眼撮像装置の内部パラメータＡおよび外部パラメータと感度補正データとを効率よく取得することができる複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャートを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明のキャリブレーション方法は、撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置のキャリブレーション方法において、異なる反射率からなる複数の反射領域を有するキャリブレーションチャートをキャリブレーションチャートと複眼撮像装置との相対位置を変化させながら複数回撮影したときの複数のチャート画像を取得し、複数回の撮影により取得した複数のチャート画像を用いて内部パラメータおよび外部パラメータを算出するとともに、複数のチャート画像を用いて撮像素子の各画素の感度ばらつきを補正するための感度補正データを算出することを特徴とするものである。
【０００８】
本発明のキャリブレーション装置は、撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置のキャリブレーション装置において、それぞれ異なる反射率からなる複数の反射領域を有するキャリブレーションチャートをキャリブレーションチャートと複眼撮像装置との相対位置を変化させながら複数回撮影したときの複数のチャート画像を取得する画像取得部と、画像取得部により取得された複数のチャート画像を用いて内部パラメータおよび外部パラメータを算出するパラメータ算出部と、画像取得部により取得された複数のチャート画像を用いて撮像素子の各画素の感度ばらつきを補正するための感度補正データを算出する感度補正データ算出部とを備えたことを特徴とするものである。
【０００９】
ここで、パラメータ算出部および感度補正データ算出部は、内部パラメータおよび外部パラメータと感度補正データとを各カメラ部毎にそれぞれ算出するものである。
【００１０】
なお、感度補正データ算出部は、複数のチャート画像から感度補正データを算出するものであればその構成を問わず、たとえばチャート画像内の複数の反射領域の中から感度補正データの算出に用いる反射領域を複数のチャート画像毎に設定する領域設定部と、領域設定部により設定された反射領域の画素値を用いて、反射領域を撮影した撮像素子の画素の感度補正データを複数のチャート画像毎に演算し、複数のチャート画像の感度補正データから撮像素子の全画素の感度補正データを取得する補正データ演算部とを備えたものであってもよい。
【００１１】
このとき、領域設定部は、感度補正データの生成を行う反射領域を設定するものであればなんでもよく、たとえばチャート画像における異なる反射領域の境界をエッジ部分として抽出するエッジ抽出部と、エッジ抽出部により抽出されたエッジ部分を拡大するエッジ拡大部と、エッジ拡大部により拡大されたエッジ部分により区切られた反射領域のうち、最も広い最大反射領域を感度補正データの算出に用いる反射領域として選択する領域選択部とを備えたものであってもよい。
【００１２】
また、補正感度データ演算部は、複数のチャート画像において撮像素子の画素が異なる反射領域を撮影したときの画素値を画素毎に抽出する信号抽出部と、信号抽出部により画素毎に抽出された異なる反射領域毎の画素値を用いて、反射率に対する画素値の大きさを出力関数を画素毎に算出する出力特性算出部と、出力特性算出部により算出された画素毎の出力関数から感度が最も低い最低感度画素を検出する最低画素検出部と、最低画素検出部により検出された最低感度画素が出力可能な最大信号値に基づいて、各画素の補正後の画素値を示す補正目標関数を算出する目標値算出部と、出力関数が補正目標関数になるような感度補正データを画素毎に算出する感度補正データ取得部とを備えたものであってもよい。
【００１３】
また、キャリブレーション装置は、感度補正データ算出部において感度補正データが算出されていない未演算画素を検出する未演算画素検出部と、未演算画素検出部において検出された未演算画素が感度補正データを取得するためのキャリブレーションチャートもしくは複眼撮像装置の移動量を内部パラメータおよび外部パラメータを用いて検出する移動量算出部とをさらに備えたものであってもよい。
【００１４】
このとき、移動量算出部は算出した移動量を表示装置に表示するものであってもよいし、あるいは、キャリブレーション装置は、キャリブレーションチャートと複眼撮像装置との位置関係が移動量算出部により検出された位置関係になるようにキャリブレーションチャートもしくは複眼撮像装置を移動させる移動手段をさらに備えたものであってもよい。
【００１５】
本発明のキャリブレーションチャートは、撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置について内部パラメータおよび外部パラメータを算出とともに撮像素子の感度補正データを算出する複眼撮像装置のキャリブレーションを行うときに用いられるキャリブレーションチャートであって、第１反射率からなる複数の第１反射領域と、第１反射率よりも高い第２反射率からなる複数の第２反射領域と、第２反射率よりも高い第３反射率からなる複数の第３反射領域とを備え、第１反射領域と第２反射領域と第３反射領域とが、上下および左右に異なる反射領域が隣接するように格子状に配列されていることを特徴とするものである。
【発明の効果】
【００１６】
本発明の複眼撮像装置のキャリブレーション方法および装置によれば、撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置のキャリブレーションを行うとき、異なる反射率からなる複数の反射領域を有するキャリブレーションチャートをキャリブレーションチャートと複眼撮像装置との相対位置を変化させながら複数回撮影したときの複数のチャート画像を取得し、複数回の撮影により取得した複数のチャート画像を用いて内部パラメータおよび外部パラメータを算出するとともに、複数のチャート画像を用いて撮像素子の各画素の感度ばらつきを補正するための感度補正データを算出することにより、内部パラメータおよび外部パラメータを算出するのに用いられる視点の異なる複数のチャート画像においては各カメラ部の撮像素子の各画素は異なる反射領域を撮影することを利用して内部パラメータおよび外部パラメータと感度補正データとを取得するため、従来のように内部パラメータおよび外部パラメータを算出するための複数のチャート画像と、感度補正データを算出するためのチャート画像とを別々に取得する必要がなく、共通のチャート画像を用いて効率的に内部パラメータおよび外部パラメータと感度補正データとを取得することができる。
【００１７】
なお、感度補正データ算出部が、チャート画像内の複数の反射領域の中から感度補正データの算出に用いる反射領域を複数のチャート画像毎に設定する領域設定部と、領域設定部により設定された反射領域の画素値を用いて、反射領域を撮影した撮像素子の画素の感度補正データを複数のチャート画像毎に演算し、複数のチャート画像の感度補正データから撮像素子の全画素の感度補正データを取得する補正データ演算部とを備えたものであるとき、同一の反射領域から取得した画素値に基づいて各画素の感度補正データを算出することができるため、感度ばらつきを抑制するための感度補正データを精度良く算出することができる。
【００１８】
また、領域設定部が、チャート画像における異なる反射領域の境界をエッジ部分として抽出するエッジ抽出部と、エッジ抽出部により抽出されたエッジ部分を拡大するエッジ拡大部と、エッジ拡大部により拡大されたエッジ部分により区切られた反射領域のうち、最も広い最大反射領域を感度補正データの算出に用いる反射領域として選択する領域選択部とを備えたものであれば、最大反射領域を用いて効率よく感度補正データを算出することができるとともに、エッジ部分について拡大処理を行っているため、エッジ付近の不安定な画素値を用いて感度補正データを算出することによる精度の劣化を防止することができる。
【００１９】
さらに、補正感度データ演算部が、複数のチャート画像において撮像素子の画素が異なる反射領域を撮影したときの画素値を画素毎に抽出する信号抽出部と、信号抽出部により画素毎に抽出された異なる反射領域毎の画素値を用いて、反射率に対する画素値の大きさを出力関数を画素毎に算出する出力特性算出部と、出力特性算出部により算出された画素毎の出力関数から感度が最も低い最低感度画素を検出する最低画素検出部と、最低画素検出部により検出された最低感度画素が出力可能な最大信号値に基づいて、各画素の補正後の画素値を示す補正目標関数を算出する目標値算出部と、出力関数が補正目標関数になるような感度補正データを画素毎に算出する感度補正データ取得部とを備えたものであるとき、感度の低い画素において画素出力時に飽和していなくても感度補正を行ったときに画素値が飽和してしまうことを防止するとともに、輝度値を利用したステレオマッチングにおけるマッチング精度の低下を最低限に抑えることができる。
【００２０】
また、感度補正データ算出部において感度補正データが算出されていない未演算画素を検出する未演算画素検出部と、未演算画素検出部において検出された未演算画素が感度補正データを取得するためのキャリブレーションチャートもしくは複眼撮像装置の移動量を内部パラメータおよび外部パラメータを用いて検出する移動量算出部とをさらに備えたものであれば、内部パラメータおよび外部パラメータの算出に必要な複数のチャート画像を用いただけでは撮像素子の全画素の感度補正データが得られなかった場合であっても、内部パラメータおよび外部パラメータを算出するためのキャリブレーションチャートを用いて未演算画素について感度補正データを取得するためのチャート画像を取得することができ、感度補正データが算出されない画素が発生するのを防止することができる。
【００２１】
さらに、キャリブレーションチャートと複眼撮像装置との位置関係が移動量算出部により検出された位置関係になるようにキャリブレーションチャートもしくは複眼撮像装置を移動させる移動手段をさらに備えたものであるとき、撮像素子の全画素について感度補正データが得られるように自動的に撮影を行うことができるため、より効率的に内部パラメータおよび外部パラメータと感度補正データとを同時に取得することができる。
【００２２】
本発明のキャリブレーションチャートによれば、撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置について内部パラメータおよび外部パラメータを算出とともに撮像素子の感度補正データを算出する複眼撮像装置のキャリブレーションを行うときに用いられるキャリブレーションチャートであって、第１反射率からなる複数の第１反射領域と、第１反射率よりも高い第２反射率からなる複数の第２反射領域と、第２反射率よりも高い第３反射率からなる複数の第３反射領域とを備え、第１反射領域と第２反射領域と第３反射領域とが、上下および左右に異なる反射領域が隣接するように格子状に配列されていることにより、共通のチャート画像を用いて効率的に内部パラメータおよび外部パラメータの算出と感度補正データの算出とを行うことができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明のキャリブレーション装置の好ましい実施の形態を詳細に説明する。図１は本発明のキャリブレーション装置１を内蔵した複眼撮像装置１Ａの好ましい実施の形態を示す概念図、図２は本発明のキャリブレーション装置の好ましい実施形態を示すブロック図である。キャリブレーション装置１は、キャリブレーションチャートＣＨ１を用いて複数のカメラ部２Ａ、２Ｂを有する複眼撮像装置１Ａのキャリブレーションを行うものである。なお、図１および図２においてはキャリブレーション装置１が複眼撮像装置１Ａに内蔵された構成を有しており、複眼撮像装置１Ａは撮影モード時においてステレオ画像等の取得を行い、調整モード時において下記に示すキャリブレーション動作を行う。なお、キャリブレーション装置１が複眼撮像装置１Ａに内蔵された場合について例示しているが、キャリブレーション装置１と複眼撮像装置１Ａとが別々の装置により構成されていてもよい。
【００２４】
複眼撮像装置１Ａは、第１カメラ部２Ａ、第２カメラ部２Ｂを有しており、各カメラ部２Ａ、２ＢはそれぞれＣＣＤやＣＭＯＳ等の撮像素子を有している。そして、第１カメラ部２Ａおよび第２カメラ部２ＢはキャリブレーションチャートＣＨ１を撮影することにより、各カメラ部２Ａ、２Ｂ毎にそれぞれチャート画像ＣＰ１を出力する。
【００２５】
図２のキャリブレーション装置１は、画像取得部３、パラメータ算出部１０、感度補正データ算出部２０、未演算画素検出部３０、移動量算出部４０を備えている。画像取得部３は、複眼撮像装置１Ａの各カメラ部２Ａ、２Ｂからそれぞれ出力されたチャート画像ＣＰ１を取得するものである。特に、画像取得部３は、キャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの相対的な位置が変化しながら撮影したときの複数のチャート画像ＣＰ１を取得する。
【００２６】
なお、図１に示すようにキャリブレーションチャートＣＨ１は、第１反射率からなる第１反射領域ＲＲ１と、第１反射率よりも高い第２反射率からなる第２反射領域ＲＲ２とを有し、一様に形成された第１反射領域ＲＲ１上に略円形状の複数の反射領域ＲＲ２が格子状に配列されたパターンを有している。
【００２７】
図２のパラメータ算出部１０は、画像取得部３において取得された複数のチャート画像ＣＰ１を用いて第１カメラ部２Ａおよび第２カメラ部２Ｂの内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出し記憶部５に記憶するものである。内部パラメータＡとは各カメラ部２Ａ、２Ｂの光学的特性を示すパラメータであり、外部パラメータ［Ｒ  ｔ］とは第１カメラ部２Ａまたは第２カメラ部２Ｂの３次元位置を示すパラメータである。なお、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］の詳細な説明は特開２００２−２７５０７号公報に開示されている。具体的には、３次元空間上の点Ｍ＝［ｘ、ｙ、ｚ］Tを第１カメラ部２Ａに投影したときのチャート画像ＣＰ１上の座標をｍ＝［ｕ、ｖ］Tと表したとき、Ｍとｍの関係は下記式（１）のように表すことができる。
【数１】
0004717863.tif 000002
【００２８】
なお、上記式（１）において、（ｕ０、ｖ０）は画像中心を表し、α（＝−ｆ・ｋｕ）、β（＝−ｆ・ｋｖ／ｓｉｎθ）はそれぞれｕ軸、ｖ軸のスケール因子、γ（＝−ｆ・ｋｕ・ｃｏｔθ）はｕ軸、ｖ軸のねじれ、ｆは焦点距離、ｋｕはｕ方向のスケール因子、ｋvはｖ方向のスケール因子を表す。
【００２９】
ここで、上記式（１）においては、レンズ歪みによる影響を考慮していないが、実際にはレンズの歪みによって、投影される座標（ｕ、ｖ）は歪み座標（ｕｄ、ｖｄ）に変化する。ここで、座標（ｕ、ｖ）と歪み座標（ｕｄ、ｖｄ）とは下記式（２）、（３）に示す関係になる。
【００３０】
ｕ＝（１＋ｋ1ｒ2＋ｋ2ｒ4）ｕｄ    ・・・（２）
ｖ＝（１＋ｋ1ｒ2＋ｋ2ｒ4）ｕｖ    ・・・（３）
なお、ｋ1、ｋ２は各カメラ部２Ａ、２Ｂのレンズ歪み補正パラメータを示す。
【００３１】
ここで、パラメータ算出部１０は、重心画像生成部１１、パラメータ演算部１２、パラメータ評価部１３を備えている。重心画像生成部１１は、図３（Ａ）に示すチャート画像ＣＰ１内に存在する複数の第２反射領域ＲＲ２毎に重心位置を検出し、図３（Ｂ）に示すように重心位置をマークした重心画像ＧＰ１を生成する。重心画像生成部１１は、設定枚数分の各チャート画像ＣＰ１に対応した複数の重心画像ＧＰ１を生成する。
【００３２】
パラメータ演算部１２は、生成した複数の重心画像ＧＰ１を用いて内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出する。具体的には、上記式（１）〜（３）のパラメータｓ、ｆ、ｋu、ｋV、−ｋUｃｏｔθ、ｋ1、ｋ２を内部パラメータＡとして求め、パラメータＲおよびｔを外部パラメータとして求める。なお、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］の算出方法の詳細な説明は特開２００２−２７５０７号公報に開示されている。
【００３３】
パラメータ評価部１３は、パラメータ演算部１２において各カメラ部２Ａ、２Ｂの内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］が正常に算出されたか否かを評価するものである。そして、パラメータ評価部１３は、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］が正常に算出されていると判断したとき、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を記憶部５に記憶する。
【００３４】
図２の感度補正データ算出部２０は、各カメラ部２Ａ、２Ｂに用いられている撮像素子の感度のばらつきを補正するための感度補正データＳＤを算出し記憶部５に記憶するものであって、領域設定部２１、感度補正データ演算部２２を備えている。
【００３５】
領域設定部２１は、１枚のチャート画像ＣＰ１から感度補正データＳＤを算出するための画素値を取得する領域を設定するものであって、エッジ抽出部２１ａ、エッジ拡大部２１ｂ、領域選択部２１ｃを有している。ここで、図４は領域設定部２１により生成される各種画像を示す模式図、図５は領域設定部２１の動作例を示すフローチャートであり、図４と図５を参照して領域設定部２１について説明する。
【００３６】
エッジ抽出部２１ａは、図４（Ａ）に示すようなチャート画像ＣＰ１が取得されたとき、図４（Ｂ）に示すようにチャート画像ＣＰ１内の第１反射領域ＲＲ１と第２反射領域ＲＲ２とのエッジ部分を抽出したエッジ画像ＥＰ１を生成する（ステップＳＴ１）。エッジ拡大部２１ｂは、図４（Ｃ）に示すようにエッジ抽出部２１ａにより抽出されたエッジ部分ＥＤ１を拡大する処理を施すものである（ステップＳＴ２）。これは、レンズの解像度や画素間の感度の違いによりエッジの検出は不安定になるため、エッジ付近の画素値が感度補正パラメータを求めるためのデータとして使用されることを防止するためである。
【００３７】
領域選択部２１ｃは、図４（Ｄ）に示すように、エッジ部分ＥＤ１に区切られた領域をラベリングすることにより、エッジ拡大部２１ｂにより拡大されたエッジ部分ＥＤ１により区切られた反射領域ＲＲ１、ＲＲ２のうち、最も広い最大反射領域を感度補正データＳＤの算出に用いる反射領域として選択する（ステップＳＴ３）。なお、図１のキャリブレーションチャートＣＨ１を用いた場合、図４（Ｄ）のように第１反射領域ＲＲ１が最大反射領域として抽出され、抽出された最大反射領域ＲＲ１内の画素は略均一の反射率からなる被写体を撮影したときの画素値を示している。
【００３８】
図２の感度補正データ演算部２２は、最大反射領域（第１反射領域）ＲＲ１内の各画素の信号値のばらつきに基づいて撮像素子の感度ばらつきを算出し、画素の出力値に乗算する係数を感度補正データＳＤとして算出するものである。具体的には、感度補正データ演算部２２は、撮像素子における各画素ｋ（ｋ＝０、２、・・・ｎ−１）の信号値の平均値Ａと各画素ｋの信号値ａｋとを用いて補正係数ＳＤｋ＝Ａ／ａｋを画素ｉの感度補正データＳＤとする。なお、感度補正データＳＤの計算方法の詳細はたとえば特開２００４−１２８６５３号公報に記載されている。
【００３９】
未演算画素検出部３０は、感度補正データ算出部２０において各カメラ部２Ａ、２Ｂの撮像素子の全画素について感度補正データＳＤが算出されたか否かを評価するものである。すなわち、図４（Ｄ）に示すように、領域設定部２１において第１反射領域ＲＲ１が感度補正データＳＤを算出する領域に設定されているため、上述したチャート画像ＣＰ１内の第２反射領域ＲＲ２を撮影した画素は感度補正データＳＤが算出されていない未演算画素となる。
【００４０】
ここで、パラメータ算出部１０において内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を取得するのに必要な複数のチャート画像ＣＰ１を取得しており、各チャート画像ＣＰ１毎に感度補正データＳＤが演算されている。したがって、ある画素に注目したとき、一方のチャート画像ＣＰ１では第２反射領域ＲＲ２を撮影しているために未演算画素になっているが、他方のチャート画像ＣＰ１では第１反射領域ＲＲ１を撮影しているために感度補正データＳＤが算出された状態になる。
【００４１】
但し、複数のチャート画像ＣＰ１を用いて各画素について感度補正データＳＤを取得したときであっても、第１反射領域ＲＲ１を撮影していない画素が存在する場合がある。未演算画素検出部３０は、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を取得するのに必要な複数のチャート画像ＣＰ１を用いて補正感度データを取得したときに、未だ感度補正データＳＤが算出されていない未演算画素を検出する。そして、未演算画素が検出されたとき未演算画素検出部３０は表示装置４にその旨を出力する。
【００４２】
移動量算出部４０は、未演算画素検出部３０において検出された未演算画素について感度補正データＳＤを取得するためのキャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの位置関係を、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を用いて検出するものである。ここで、図６は移動量算出部４０の動作例を示すフローチャートであり、図１と図６を参照して移動量算出部４０について説明する。まず、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］が算出されているか否かを記憶部５を参照することにより判断する（ステップＳＴ１１）。内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］が算出されていない場合、移動量算出部４０は内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］が算出されるまで移動量の算出を行わない。
【００４３】
一方、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］が算出されている場合、複眼撮像装置１ＡとキャリブレーションチャートＣＨ１との位置関係を演算する（ステップＳＴ１２）。つまり、パラメータ算出部１０において、チャート画像ＣＰ１を取得したときのキャリブレーションチャートＣＨ１の３次元位置および姿勢は推定されている。そこで、移動量算出部４０は、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を用いて、現在のキャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの位置関係を推定する。
【００４４】
次に、移動量算出部４０は、未演算画素が第１反射領域ＲＲ１を撮影できるキャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの位置関係を算出する（ステップＳＴ１３、ＳＴ１４）。具体的には、移動量算出部４０は、複眼撮像装置１Ａを現在の位置からｔだけ平行移動させＲだけ回転させた状態でキャリブレーションチャートＣＨ１を撮影したときに、取得される仮想チャート画像を複数算出する。そして、移動量算出部４０は、算出した複数の仮想チャート画像のうち、未演算画素について感度補正データＳＤを取得することができる画素数が最も多い仮想チャート画像を検出する。
【００４５】
その後、移動量算出部４０は、現在取得されているチャート画像ＣＰ１と検出された仮想チャート画像とからキャリブレーションチャートＣＨ１もしくは複眼撮像装置１Ａの移動量を算出する（ステップＳＴ１５）。そして、図７に示すように、表示装置４に現在取得されているチャート画像ＣＰ１とともに複眼撮像装置１Ａの移動量を表示する。このように、不足している感度補正データＳＤを取得するための最適な撮影位置を表示装置４に表示することができるため、図８に示すように、撮影者は次に撮影を行うための最適な位置にキャリブレーションチャートＣＨ１もしくは複眼撮像装置１Ａを移動させた後に撮影することができ、キャリブレーション作業の時間短縮化を図ることができる。
【００４６】
図９は本発明の複眼撮像装置のキャリブレーション方法の好ましい実施形態を示すフローチャートであり、図１から図９を参照して複眼撮像装置のキャリブレーション方法について説明する。まず、複眼撮像装置１ＡによりキャリブレーションチャートＣＨ１が撮影されることにより、画像取得部３によりチャート画像ＣＰ１が取得される（ステップＳＴ２１）。その後、取得したチャート画像ＣＰ１を用いて感度補正データ算出部２０により感度補正データＳＤを算出するための各種データが抽出される（ステップＳＴ２２、図４参照）。そして、抽出した各種データを用いて感度補正データＳＤが算出される（ステップＳＴ２３）。
【００４７】
次に、パラメータ算出部１０において、取得したチャート画像ＣＰ１から内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を取得するためのデータを抽出し記憶する（ステップＳＴ２４、図３参照）。その後、取得したチャート画像ＣＰ１の枚数が設定枚数よりも多いか否かが判断される（ステップＳＴ２５）。そして、チャート画像ＣＰ１が設定枚数分取得されるまで、キャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの位置関係を変えたチャート画像ＣＰ１の取得から内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を計算するためのデータの抽出が繰り返される（ステップＳＴ２１〜ＳＴ２５）。設定枚数分のチャート画像ＣＰ１が取得され、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するのに十分なデータが抽出されたとき、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］が算出される（ステップＳＴ２６）。
【００４８】
その後、未演算画素検出部３０において、すべての画素について感度補正データＳＤが算出されているか否かが判断される（ステップＳＴ２７）。感度補正データＳＤが算出されていない未演算画素が存在する場合、移動量算出部４０において未演算画素が第１反射領域ＲＲ１を撮影するのに必要なキャリブレーションチャートＣＨ１もしくは複眼撮像装置１Ａの移動量が算出される（ステップＳＴ２８、２９、図６参照）。そして、算出した移動量が表示装置４に表示される。操作者は表示装置４に表示された移動量に基づいてキャリブレーションチャートＣＨ１もしくは複眼撮像装置１Ａを移動させ再度撮影を行う。そして、未演算画素がなくなるまでステップＳＴ２１〜ＳＴ２８の作業が繰り返される。
【００４９】
このように、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するとともに、感度補正データＳＤを一度に取得することができるため、効率的に内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］と感度補正データＳＤとを取得することができる。
【００５０】
すなわち、従来においては、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］の算出と感度補正データＳＤの算出とは別々のキャリブレーションチャートを用いて行われなければならないため、両者を取得するのに手間が掛かってしまう。一方、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するために、視点の異なる複数のチャート画像ＣＰ１が取得される。ここで、カメラ部２Ａ、２Ｂの画素は、ある視点のチャート画像ＣＰ１においては第２反射領域ＲＲ２を撮影しているが、他の視点のチャート画像ＣＰ１においては第１反射領域ＲＲ１を撮影する場合がある。この点に着目し、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するために視点の異なる複数のチャート画像を取得したときに、各撮像素子が第１反射領域ＲＲ１を取得したときの画素値を抽出し、感度補正データＳＤを算出する。これにより、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］と感度補正データＳＤとを共通のチャート画像ＣＰ１を用いて効率的に取得することができる。
【００５１】
図１０は本発明のキャリブレーション装置に用いられるキャリブレーションチャートの一例を示す模式図であり、図１０を参照してキャリブレーションチャートＣＨ１０について説明する。キャリブレーションチャートＣＨ１０は、第１反射率からなる矩形状の第１反射領域ＲＲ１と、第１反射率よりも高い第２反射率からなる矩形状の第２反射領域ＲＲ２と、第２反射率よりも高い第３反射率からなる矩形状の第３反射領域ＲＲ３とを備えている。そして、第１反射領域ＲＲ１と第２反射領域ＲＲ２と第３反射領域ＲＲ３とは縦方向および横方向において異なる反射領域ＲＲ１〜ＲＲ３が隣接するように格子状に配列されている。
【００５２】
そして図１および図２に示すキャリブレーション装置１はキャリブレーションチャートＣＨ１０を用いてキャリブレーションを行うことになる。このとき、パラメータ算出部１０において、図１１（Ａ）に示すようなチャート画像ＣＰ１０から図１１（Ｂ）に示すように各反射領域ＲＲ１〜ＲＲ３の重心位置が検出され、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］の算出が行われる。
【００５３】
なお、感度補正データ算出部２０は、３つの反射領域ＲＲ１〜ＲＲ３のうち、１つの反射領域ＲＲ１〜ＲＲ３を選択し、複数のチャート画像ＣＰ１０において選択された反射領域ＲＲ１〜ＲＲ３を取得した画素について感度補正データＳＤを算出することになる。
【００５４】
このように、矩形状の各反射領域ＲＲ１〜ＲＲ３が格子状に配列されたキャリブレーションチャートＣＨ１０を用いてキャリブレーションを行うことにより、効率的に内部パラメータＡと外部パラメータ［Ｒ  ｔ］と感度補正データＳＤとを同時に取得することができる。すなわち、上述のように感度補正データ算出部２０は、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するのに必要な複数のチャート画像ＣＰ１０を用いて感度補正データＳＤを算出するものである。したがって、パラメータ算出部１０において必要な複数枚のチャート画像ＣＰ１０から各カメラ部２Ａ、２Ｂの撮像素子の全画素について感度補正データＳＤを算出することが望ましい。
【００５５】
ここで、図１０に示すように、ある反射領域ＲＲ１の上下および左右に異なる反射領域ＲＲ２、ＲＲ３が存在するようなパターンを有するキャリブレーションチャートＣＨ１０を用いることにより、視点が異なる複数のチャート画像ＣＰ１０を取得したときに、各画素がそれぞれ各反射領域ＲＲ１〜ＲＲ３のすべてを撮影しやすくなる。よって、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］と感度補正データＳＤを同時に効率よく算出することができる。特に、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を視点の異なる３枚のチャート画像ＣＰ１０を用いて算出するとき、各視点毎に各画素がそれぞれ各反射領域ＲＲ１〜ＲＲ３を取得できるような反射領域ＲＲ１〜ＲＲ３の面積に設定しておけば、３枚のチャート画像ＣＰ１０から外部パラメータ［Ｒ  ｔ］と感度補正データＳＤを同時に算出することができる。
【００５６】
図１２は本発明の複眼撮像装置におけるデータ算出部の感度補正データ演算部の別の実施形態を示す模式図であり、図１２を参照して感度補正データ演算部１２０について説明する。なお、図１２の感度補正データ演算部１２０において図２の感度補正データ演算部２２と同一の構成を有する部位には同一の符号を付してその説明を省略する。図１２の感度補正データ演算部１２０が図２の感度補正データ演算部２２と異なる点は、各画素が異なる反射領域ＲＲ１〜ＲＲ３を撮影したときに取得される画素値に基づいて感度補正データＳＤを算出する点である。
【００５７】
図１２において、感度補正データ演算部１２０は、信号抽出部１２１、出力特性算出部１２２、最低画素検出部１２３、目標値算出部１２４、感度補正データ取得部１２５を備えている。信号抽出部１２１は、複数のチャート画像ＣＰ１０において撮像素子の画素が異なる反射領域を撮影したときの画素値を画素毎に抽出するものである。具体的には図１３（Ａ）に示すようなチャート画像ＣＰ１０を取得したとき、信号抽出部１２１は、図１３（Ｂ）に示すようにチャート画像ＣＰ１０のエッジ部分ＥＤ１０を抽出してエッジ画像ＥＰ１０を取得するとともに、図１３（Ｃ）に示すようにエッジ拡大処理を施す。そして、信号抽出部１２１は、拡大したエッジ部分ＥＤ１０に囲まれた領域をラベリングすることにより、各反射領域ＲＲ１〜ＲＲ３毎に各画素における信号値を抽出する。つまり、信号抽出部１２１は、図１３（Ｄ）のように第１反射領域ＲＲ１を抽出して各画素が第１反射領域ＲＲ１を撮影したときの信号値を抽出し、図１３（Ｅ）のように第２反射領域ＲＲ２を抽出して画素が第２反射領域ＲＲ２を撮影したときの信号値を抽出し、図１３（Ｆ）のように第３反射領域ＲＲ３を抽出して各画素が第３反射領域ＲＲ３を撮影したときの信号値を抽出する。なお、信号抽出部１２１は、撮像素子の全画素が各反射領域ＲＲ１〜ＲＲ３を撮影したときの３つの信号値を複数のチャート画像ＣＰ１０から抽出する。
【００５８】
出力特性算出部１２２は、信号抽出部１２１により画素毎に抽出された異なる反射領域ＲＲ１〜ＲＲ３毎の画素値を用いて、反射率に対する画素値の大きさを出力関数ｆｋ（ｘ）として画素ｋ毎に算出するものである。つまり、図１４（Ａ）に示すように、撮像素子の所定の画素ｉが第１反射領域ＲＲ１から光量ｘ１の光を受光したとき信号値ｙ１を出力し、第２反射領域ＲＲ２から光量ｘ２の光を受光したときに信号値ｙ２を出力し、第３反射領域ＲＲ３から光量ｘ３の光を受光したときに信号値ｙ３を出力したとする。このとき、出力特性算出部１２２は、図１４（Ｂ）に示すように、各座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）の関係を関数として求め画素ｉの出力特性とする。なお、この関数はたとえばｙｉ＝ａｉｘ＋ｂｉで表されるような１次関数ｆｉ（ｘ）で近似したものとして表現される。
【００５９】
同様に、図１５（Ａ）に示すように撮像素子の別の画素ｊが第１反射領域ＲＲ１から光量ｘ１の光を受光したとき信号値ｙ１を出力し、第２反射領域ＲＲ２から光量ｘ２の光を受光したときに信号値ｙ２を出力し、第３反射領域ＲＲ３から光量ｘ３の光を受光したときに信号値ｙ３を出力したとき、出力特性算出部１２２は、図１５（Ｂ）に示すようにｙｊ＝ａｊｘ＋ｂｉで表される関数ｆｊ（ｘ）を求める。出力特性算出部１２２は上述した出力特性ｆｋ（ｘ）の算出を各カメラ部２Ａ、２Ｂの撮像素子の全画素について行う。なお、複数枚のチャート画像ＣＰ１０において、各画素が同一の反射領域ＲＲ１〜ＲＲ３から取得した信号値を複数有する場合その平均値を用いて関数を算出する。
【００６０】
最低画素検出部１２３は、出力特性算出部１２２により算出された各画素ｋ毎の出力関数から感度が最も低い最低感度画素を検出するものである。たとえば図１６に示すように、各画素ｉ毎の複数の出力特性ｆｉ（ｘ）が得られたとき、最低画素検出部１２３は、各画素の出力特性ｆｉ（ｘ）のうち反射率１００％（ｘ＝１００）としたときに最も小さい出力値ｙｍｉｎを検出する。
【００６１】
目標値算出部１２４は、最低画素検出部１２３により検出された最低感度画素が出力可能な最大信号値に基づいて、各画素の補正後の画素値を示す補正目標関数を算出する各画素の補正後の信号値である補正目標関数を算出するものである。つまり、図１６に示すように、目標値算出部１２４は（ｘ、ｙ）＝（０、０）と（ｘ、ｙ）＝（１００、ｙｍｉｎ）とを結ぶ一次関数ｙ＝ｍｘを補正目標関数ｆｒｅｆ（ｘ）として設定する。
【００６２】
感度補正データ取得部１２５は、出力関数ｆｊ（ｘ）が補正目標関数ｆｒｅｆ（ｘ）になるような感度補正データＳＤを各画素毎に算出する。具体的には、感度補正データ取得部１２５は、各画素ｋの出力特性ｙｋ＝ａｋｘ＋ｂｋが目標値ｙ＝ｍｘ（ｍ＝ｙｍｉｎ／１００）になるように、補正後の画素値ｙ＝ｍ（ｙｋ−ｂｋ）／ａｋを各画素ｋ毎に設定する。
【００６３】
図１７は図１３の感度補正データ演算部１２０の動作例を示すフローチャートである。図１７に示すように、信号抽出部１２１において撮像素子の全画素がキャリブレーションチャートＣＨ１０内の各反射領域ＲＲ１〜ＲＲ３を撮影したときの３つの信号値が取得されているか否かが判断される（ステップＳＴ３１）。なお、取得されていない場合、移動量算出部４０による移動量の算出および新たな視点でのキャリブレーションチャートＣＨ１０の撮影が行われる。なお、各画素において同一の反射領域ＲＲ１〜ＲＲ３から複数の信号値が取得されている場合（ステップＳＴ３２）、信号抽出部１２１において複数の信号値の平均値が算出され、当該反射領域ＲＲ１〜ＲＲ３の信号値として用いられる（ステップＳＴ３３）。
【００６４】
次に、出力特性算出部１２２により、各画素ｋについて各反射領域ＲＲ１〜ＲＲ３の反射率に対する信号出力値の関係を示す出力関数ｆｊ（ｘ）が算出される（ステップＳＴ３４、図１４、図１５参照）。そして、目標値算出部１２４および感度補正データ取得部１２５において、各画素ｋにおける感度補正データＳＤが算出される（ステップＳＴ３５、図１６参照）。
【００６５】
このように、各カメラ部２Ａ、２Ｂにおける各画素ｋの出力特性から補正目標値ｆｒｅｆ（ｘ）を決定することにより、感度補正によるダイナミックレンジの低下を抑え、各カメラ部の組毎に最適な感度補正を行うことができる。つまり、感度の低い画素は画素出力時に飽和していなくても感度補正を行ったときに画素値が飽和してしまうことがある。このとき、画素値に乗算する補正係数を低くしただけでは入力光に対する信号出力値の変化が鈍くなり、画素の輝度値を利用したステレオマッチングにおいてはマッチングする点が定まらない可能性がある。一方、各カメラ部２Ａ、２Ｂにおける最低感度画素の出力特性から補正目標値ｆｒｅｆ（ｘ）を決定することにより、感度補正によるダイナミックレンジの低下を抑え、各カメラ部２Ａ、２Ｂについて最適な感度補正を行うことができる。
【００６６】
なお、図１３〜図１７において、３種類の反射領域ＲＲ１〜ＲＲ３を有するキャリブレーションチャートＣＨ１０を用いて、反射率の異なる３つの画素値（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）を取得する場合について例示しているが、図１および図３に示すような２種類の反射領域ＲＲ１、ＲＲ２を有するキャリブレーションチャートＣＨ１を用いる場合にも適用することができる。このとき、出力特性算出部１２２は２つの画素値（ｘ１、ｙ１）、（ｘ２、ｙ２）から近似直線を算出することになる。
【００６７】
図１８は本発明のキャリブレーション装置の別の実施形態を示すブロック図であり、図を参照してキャリブレーション装置２００について説明する。なお、図１８のキャリブレーション装置において図２のキャリブレーション装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。図１８のキャリブレーション装置２００が図２のキャリブレーション装置と異なる点は、移動手段２１０が設けられている点である。
【００６８】
具体的には、図１９に示すように、キャリブレーションチャートＣＨ１を矢印ＸＹＺ方向にそれぞれ移動させるための移動手段２１０が設けられており、移動手段２１０は、移動量算出部４０により算出された移動量に基づいてキャリブレーションチャートＣＨ１を移動させるようになっている。なお、図１８および図１９において移動手段２１０がキャリブレーションチャートＣＨ１を移動させる場合について例示しているが、図２０に示すように複眼撮像装置１Ａ側を移動させるものであっても良い。
【００６９】
このように、移動手段２１０を設けることにより、自動的にキャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの位置関係を調整することができるため、撮影時間の短縮を図ることができるとともに、未演算画素について感度補正データＳＤが算出されないという感度補正エラーの発生を確実に防止することができる。
【００７０】
上記各実施の形態によれば、撮像素子を用いて画像を取得するカメラ部２Ａ、２Ｂを複数備えた複眼撮像装置１Ａのキャリブレーションを行うとき、異なる反射率からなる複数の反射領域ＲＲ１、ＲＲ２を有するキャリブレーションチャートＣＨ１をキャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの相対位置を変化させながら複数回撮影したときの複数のチャート画像ＣＰ１を取得し、複数回の撮影により取得した複数のチャート画像ＣＰ１を用いて内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するとともに、複数のチャート画像ＣＰ１を用いて撮像素子の各画素の感度ばらつきを補正するための感度補正データを算出することにより、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出する際に各カメラ部２Ａ、２Ｂの撮像素子における各画素は異なる反射領域ＲＲ１、ＲＲ２を撮影することを利用して内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］と感度補正データＳＤとを取得するため、従来のように内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するための複数のチャート画像と、感度補正データＳＤを算出するためのチャート画像とを別々に取得する必要がなく、共通のチャート画像ＣＰ１を用いて効率的に内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］と感度補正データＳＤとを取得することができる。
【００７１】
さらに、図２の感度補正データ算出部２０が、チャート画像ＣＰ１内の複数の反射領域ＲＲ１、ＲＲ２の中から感度補正データＳＤの算出に用いる反射領域ＲＲ１を複数のチャート画像ＣＰ１毎に設定する領域設定部２１と、領域設定部２１により設定された反射領域ＲＲ１の画素値を用いて、反射領域ＲＲ１を撮影した撮像素子の画素の感度補正データＳＤを複数のチャート画像ＣＰ１毎に演算し、複数のチャート画像ＣＰ１の感度補正データＳＤから撮像素子の全画素の感度補正データＳＤを取得する感度補正データ演算部２２とを備えたものであるとき、同一の反射領域ＲＲ１から取得した画素値に基づいて各画素の感度補正データを算出することができるため、感度ばらつきを抑制するための感度補正データＳＤを精度良く算出することができる。
【００７２】
また、図４、図５に示すように、領域設定部２１が、チャート画像ＣＰ１における異なる反射領域ＲＲ１、ＲＲ２の境界をエッジ部分ＥＤ１として抽出するエッジ抽出部２１ａと、エッジ抽出部２１ａにより抽出されたエッジ部分ＥＤ１を拡大するエッジ拡大部２１ｂと、エッジ拡大部２１ｂにより拡大されたエッジ部分ＥＤ１により区切られた反射領域ＲＲ１、ＲＲ２のうち、最も広い最大反射領域ＲＲ１を感度補正データＳＤの算出に用いる反射領域として選択する領域選択部２１ｃとを備えたものであれば、最大反射領域ＲＲ１を用いて効率よく感度補正データＳＤを算出することができるとともに、エッジ部分ＥＤ１について拡大処理を行っているため、エッジ付近の不安定な画素値を用いて感度補正データＳＤを算出することによる精度の劣化を防止することができる。
【００７３】
さらに、図１２〜図１７に示すように、補正感度データ演算部１２０が、複数のチャート画像ＣＰ１において撮像素子の画素が異なる反射領域ＲＲ１〜ＲＲ３を撮影したときの画素値を画素毎に抽出する信号抽出部１２１と、信号抽出部１２１により画素毎に抽出された異なる反射領域ＲＲ１〜ＲＲ３毎の画素値を用いて、反射率に対する画素値の大きさを出力関数ｆk（ｘ）を画素毎に算出する出力特性算出部１２２と、出力特性算出部１２２により算出された画素毎の出力関数から感度が最も低い最低感度画素を検出する最低画素検出部１２３と、最低画素検出部１２３により検出された最低感度画素が出力可能な最大信号値に基づいて、各画素の補正後の画素値を示す補正目標関数ｆｒｅｆ（ｘ）を算出する目標値算出部１２４と、出力関数が補正目標関数ｒｅｆ（ｘ）になるような感度補正データＳＤを画素毎に算出する感度補正データ取得部１２５とを備えたものであるとき、感度の低い画素において画素出力時に飽和していなくても感度補正を行ったときに画素値が飽和してしまうことを防止するとともに、輝度値を利用したステレオマッチングにおけるマッチング精度の低下を最低限に抑えることができる。
【００７４】
また、図２、図６に示すように、感度補正データ算出部２０において感度補正データＳＤが算出されていない未演算画素を検出する未演算画素検出部３０と、未演算画素検出部３０において検出された未演算画素が感度補正データＳＤを取得するためのキャリブレーションチャートＣＨ１もしくは複眼撮像装置１Ａの移動量を内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を用いて検出する移動量算出部４０とをさらに備えたものであれば、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］の算出に必要な複数のチャート画像ＣＰ１を用いただけでは撮像素子の全画素の感度補正データＳＤが得られなかった場合であっても、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出するためのキャリブレーションチャートを用いて未演算画素について感度補正データＳＤを取得するためのチャート画像ＣＰ１を取得することができ、感度補正データＳＤが算出されない画素が発生するのを防止することができる。
【００７５】
さらに、図１８〜図２０に示すように、キャリブレーションチャートＣＨ１と複眼撮像装置１Ａとの位置関係が移動量算出部により検出された位置関係になるようにキャリブレーションチャートＣＨ１もしくは複眼撮像装置１Ａを移動させる移動手段２１０をさらに備えたものであるとき、撮像素子の全画素について感度補正データＳＤが得られるように自動的に撮影を行うことができるため、より効率的に内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］と感度補正データＳＤとを同時に取得することができる。
【００７６】
また、図１０のキャリブレーションチャートＣＨ１０によれば、撮像素子を用いて画像を取得するカメラ部を複数備えた複眼撮像装置１Ａについて内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］を算出とともに撮像素子の感度補正データを算出する複眼撮像装置１Ａのキャリブレーションを行うときに用いられるキャリブレーションチャートであって、第１反射率からなる複数の第１反射領域ＲＲ１と、第１反射率よりも高い第２反射率からなる複数の第２反射領域ＲＲ２と、第２反射率よりも高い第３反射率からなる複数の第３反射領域ＲＲ３とを備え、第１反射領域ＲＲ１と第２反射領域ＲＲ２と第３反射領域ＲＲ３とが、上下および左右に異なる反射領域が隣接するように格子状に配列されていることにより、共通のチャート画像ＣＰ１を用いて効率的に内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］の算出と感度補正データＳＤの算出とを行うことができる。
【００７７】
本発明の実施の形態は上記実施の形態に限定されない。たとえば、上記各実施の形態において、所定のパターンを有するキャリブレーションチャートＣＨ１、ＣＨ１０を用いてキャリブレーションを行う場合について例示しているが、他の公知のキャリブレーションチャートを用いて、内部パラメータＡおよび外部パラメータ［Ｒ  ｔ］と感度補正データＳＤとを算出するようにしてもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明のキャリブレーション装置が用いられる複眼撮像装置およびキャリブレーションチャートの一例を示す概念図
【図２】本発明の複眼撮像装置のキャリブレーション装置の好ましい実施形態を示すブロック図
【図３】図２のキャリブレーション装置において取得されるチャート画像の一例を示す模式図
【図４】図２のキャリブレーション装置における領域設定部の動作例を示す模式図
【図５】図２のキャリブレーション装置における領域設定部の動作例を示すフローチャート
【図６】図２のキャリブレーション装置における移動量算出部の動作例を示すフローチャート
【図７】図２のキャリブレーション装置における移動量算出部により算出された移動量が表示装置に表示された状態を示す模式図
【図８】図２のキャリブレーション装置における移動量算出部により算出された移動量に基づいて複眼撮像装置が移動される様子を示す模式図
【図９】本発明の複眼撮像装置のキャリブレーション方法の好ましい実施形態を示すフローチャート
【図１０】本発明のキャリブレーションチャートの好ましい実施形態を示す模式図
【図１１】図１０のキャリブレーションチャートから取得したチャート画像から内部パラメータおよび外部パラメータを算出する様子を示す模式図
【図１２】本発明のキャリブレーション装置における感度補正データ演算部の別の実施形態を示すブロック図
【図１３】図１２の信号抽出部により各反射領域からの画素値を抽出する様子を示す模式図
【図１４】図１２の出力特性算出部により画素ｉについて出力特性を算出する様子を示すグラフ
【図１５】図１２の出力特性算出部により画素ｊについて出力特性を算出する様子を示すグラフ
【図１６】図１２の目標値算出部において補正目標関数が設定される様子を示すグラフ
【図１７】図１２の感度補正データ演算部の動作例を示すフローチャート
【図１８】本発明の複眼撮像装置のキャリブレーション装置の別の実施形態を示すブロック図
【図１９】図１８における移動手段の一例を示す模式図
【図２０】図１８における移動手段の別の一例を示す模式図
【符号の説明】
【００７９】
１、２００     キャリブレーション装置
１Ａ   複眼撮像装置
２Ａ   第１カメラ部
２Ｂ   第２カメラ部
３     画像取得部
４     表示装置
５     記憶部
１０   パラメータ算出部
１１   重心画像生成部
１２   パラメータ演算部
１３   パラメータ評価部
２０   感度補正データ算出部
２１   領域設定部
２１ａ エッジ抽出部
２１ｂ エッジ拡大部
２１ｃ 領域選択部
２２、１２２   感度補正演算部
２３   補正データ評価部
３０   未演算画素検出部
４０   移動量算出部
１２０ 感度補正演算部
１２１ 信号抽出部
１２２ 最低画素検出部
１２２ 出力特性算出部
１２３ 最低画素検出部
１２４ 目標値算出部
１２５ 感度データ演算部
２１０ 移動手段
［Ｒ  ｔ］     外部パラメータ
Ａ     内部パラメータ
ＣＨ１、ＣＨ１０      キャリブレーションチャート
ＣＰ１、ＣＰ１０      チャート画像
ＲＲ１ 第１反射領域
ＲＲ２ 第２反射領域
ＲＲ３ 第３反射領域
【図１】
0004717863.tif 000003
【図２】
0004717863.tif 000004
【図３】
0004717863.tif 000005
【図４】
0004717863.tif 000006
【図５】
0004717863.tif 000007
【図６】
0004717863.tif 000008
【図７】
0004717863.tif 000009
【図８】
0004717863.tif 000010
【図９】
0004717863.tif 000011
【図１２】
0004717863.tif 000012
【図１４】
0004717863.tif 000013
【図１５】
0004717863.tif 000014
【図１６】
0004717863.tif 000015
【図１７】
0004717863.tif 000016
【図１８】
0004717863.tif 000017
【図１９】
0004717863.tif 000018
【図２０】
0004717863.tif 000019
【図１０】
0004717863.tif 000020
【図１１】
0004717863.tif 000021
【図１３】
0004717863.tif 000022