(57)【要約】【課題】１対の撮影画像の各々の座標において、正確な対応付けを行なう際において、作業時間をより短縮できる対応付け方法及び装置を提供することを目的とする。【解決手段】本発明の対応付け方法は、複数台のカメラで得られた一対の撮影画像間の特徴情報を抽出する第１のステップと、一方の撮影画像から得られた複数個の特徴情報に対して、他方の撮影画像から得られた複数個の特徴情報を対応付ける第２のステップと、前記対応付けられた特徴情報間の視差を示す情報を取得する第３のステップと、前記取得した視差を示す情報に基づく分布を生成する第４のステップと、前記生成した分布に基づいて、視差を示す情報を複数の集団に分離する第５のステップと、前記集団に含まれるデータ数に基づいて、前記集団の良否を判別する第６のステップと、を備える。【選択図】図５
2011205172.tif 000002
【特許請求の範囲】
【請求項１】
複数台のカメラで得られた一対の撮影画像間の特徴情報を抽出する第１のステップと、
一方の撮影画像から得られた複数個の特徴情報に対して、他方の撮影画像から得られた複数個の特徴情報を対応付ける第２のステップと、
前記対応付けられた特徴情報間の視差を示す情報を取得する第３のステップと、
前記取得した視差を示す情報に基づく分布を生成する第４のステップと、
前記生成した分布に基づいて、視差を示す情報を複数の集団に分離する第５のステップと、
前記集団に含まれるデータ数に基づいて、前記集団の良否を判別する第６のステップと、
を備える対応付け方法。
【請求項２】
前記第６のステップは、前記データ数が最も多い集団を対応付けが良の集団と判別し、前記良と判別した集団以外の集団を否と判別する、
請求項１に記載の対応付け方法。
【請求項３】
前記否と判別した集団に対して、対応付けをやり直す第７のステップを更に備える、
請求項２に記載の対応付け方法。
【請求項４】
前記データ数が最も多い集団に含まれる許容範囲を検出する第７のステップと、
前記否と判別した集団に対して、対応付けをやり直し、特徴情報間の視差を示す情報を取得する第８のステップと、
前記許容範囲に基づいて、対応付けをやり直した、特徴情報間の視差を示す情報の対応付けの良否を判別する第９のステップと、
を備える請求項２に記載の対応付け方法。
【請求項５】
複数台のカメラで得られた一対の撮影画像間の特徴情報を抽出する抽出手段と、
一方の撮影画像から得られた複数個の特徴情報に対して、他方の撮影画像から得られた複数個の特徴情報を対応付ける対応付け手段と、
前記対応付けられた特徴情報間の視差を示す情報を取得する取得手段と、
前記取得した視差を示す情報に基づく分布を生成する生成手段と、
前記生成した分布に基づいて、視差を示す情報を複数の集団に分離する分離手段と、
前記集団に含まれるデータ数に基づいて、前記集団の良否を判別する良否判別手段と、
を備える対応付け装置。
【請求項６】
良否判別手段は、前記データ数が最も多い集団を対応付けが良の集団と判別し、前記良と判別した集団以外の集団を否と判別する、
請求項５に記載の対応付け装置。
【請求項７】
前記否と判別した集団に対して、対応付けをやり直す修正手段と、を更に備える、
請求項５に記載の対応付け装置。
【請求項８】
前記データ数が最も多い集団に含まれる許容範囲を検出する許容範囲検出手段と、
前記否と判別した集団に対して、対応付けをやり直し、特徴情報間の視差を示す情報を取得する二次取得手段と、
前記許容範囲に基づいて、対応付けをやり直した、特徴情報間の視差を示す情報の対応付けの良否を判別する二次判別手段と、
を備える請求項５に記載の対応付け装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像における物体座標の対応付け方法、及び、対応付け装置に関する。
【背景技術】
【０００２】
従来の特許文献１には、できるだけ少ない演算量でステレオ画像の対応付けおよびステレオ画像の視差を決定する方法が提供されている。
【０００３】
特許文献１の対応付け方法では、「撮像フェーズで２台の撮像装置にて左右２つの画像を得る。次に、撮像フェーズで得られた左右画像は、それぞれ特徴抽出フェーズにて特徴抽出が施され、後段の対応付けフェーズにて左右２つの特徴画像間で対応付けが行われる。対応付けフェーズでは、基準とする一方の特徴画像上をある走査規則に従ってウィンドゥを走査させることによって、対応付けの単位である前記ウィンドゥを順次設定し、設定した前記ウィンドゥごとに他方の特徴画像との間で対応付けを行う。次に、視差決定フェーズでは、基準とする一方の特徴画像をある大きさのブロックにて分割し、各ブロックごとにブロック内に包含されるウィンドゥの対応付けによって得られた視差を用いてヒストグラムを生成し、その最頻値をブロックの視差とする。」ことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−３３６６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カメラには光学的な歪みが存在している。そのため、マクロな物体（例えば、１００ミクロン程度）を撮影して、物体間の視差を求める際には、上記歪みが大きな影響を及ぼす。カメラの光学的な歪みは、撮影画像の中心と端とで、視差の違いを生む。したがって、一対の撮影画像の各々の座標において、どの点とどの点が対応付くかを正確に把握する必要がある。
【０００６】
しかしながら、1対の撮影画像から抽出した特徴点の全てに対して１つずつ対応付けをし、正しい対応付けかどうか評価することは、膨大な作業時間がかかる。
【０００７】
そこで本発明は、上記課題を解決するために、１対の撮影画像の各特徴点に対して正確な対応付けを行なう際、作業時間をより短縮できる対応付け方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
すなわち、本発明の対応付け方法は、複数台のカメラで得られた一対の撮影画像間の特徴情報を抽出する第１のステップと、一方の撮影画像から得られた複数個の特徴情報に対して、他方の撮影画像から得られた複数個の特徴情報を対応付ける第２のステップと、前記対応付けられた特徴情報間の視差を示す情報を取得する第３のステップと、前記取得した視差を示す情報に基づく分布を生成する第４のステップと、前記生成した分布に基づいて、視差を示す情報を複数の集団に分離する第５のステップと、前記集団に含まれるデータ数に基づいて、前記集団の良否を判別する第６のステップと、を備える。
【０００９】
また、本発明の対応付け装置は、複数台のカメラで得られた一対の撮影画像間の特徴情報を抽出する抽出手段と、一方の撮影画像から得られた複数個の特徴情報に対して、他方の撮影画像から得られた複数個の特徴情報を対応付ける対応付け手段と、前記対応付けられた特徴情報間の視差を示す情報を取得する取得手段と、前記取得した視差を示す情報に基づく分布を生成する生成手段と、前記生成した分布に基づいて、視差を示す情報を複数の集団に分離する分離手段と、前記集団に含まれるデータ数に基づいて、前記集団の良否を判別する良否判別手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、１対の撮影画像の各々の座標において、正確な対応付けを行なう際において、作業時間をより短縮できる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態に係る被測定物を説明するための図
【図２】本実施の形態に係る測定システムを説明するための図
【図３】本実施の形態に係る測定システムの対応付け動作を示すフローチャート
【図４】本実施の形態に係る動作の一部（Ｓ２〜Ｓ３）を説明するための図
【図５】本実施の形態に係る動作の一部（Ｓ６）を説明するための図
【図６】本実施の形態に係る校正用画像を説明するための図
【図７】本実施の形態に係る被測定物の視差測定動作を説明するためのフローチャート
【発明を実施するための形態】
【００１２】
（実施の形態１）
本実施の形態は、IRフィルタガラスのごみ検査に用いられる測定システムに適用した例を説明する。本実施の形態の測定システムは、塵埃などマクロな物体を撮影する。測定システムは、２台のカメラによる撮影画像を対応付けし、撮影画像の各座標の校正量を求める装置である。以下、測定システムの構成を説明した後、動作を説明する。
【００１３】
＜１．構成＞
測定システムの構成を図２に示す。測定システムは、被測定物を照らすためのLED照明（図示せず）と、被測定物を安置させるステージ５と、ステージを固定するためのステージ台６と、２台のカメラ１、２と、CCDに接続しCCDからの取得画像を処理するためのPC３及びPCモニタ７からなる。これによって、測定システムは、被測定物の三次元位置を算出できるように構成されている。
【００１４】
ここで、カメラの光学的な歪みの発生原因及びその影響について説明を行なう。光学的な歪みは、以下の要素に基づいて発生する。
【００１５】
（１）歪曲収差率
（２）カメラ横倍率
（３）基準面での視差
（４）カメラ取り付け姿勢
（５）被測定物の撮影画像に対する回転
つまり、測定システムは、上記パラメータを検出することができれば、撮影画像に補正をかけることができる。しかしながら、測定システムは、上記パラメータの一部が不明であることが多い。そのため、z軸基準面における視差を正確に求めることは困難であるといえる。
【００１６】
＜２．動作＞
以下、本実施の形態の視差対応付け動作、及び、被測定物の視差測定動作を、図面を参照しながら説明する。
【００１７】
＜２−１．視差対応付け動作＞
視差対応付け動作では、２台のカメラ画像のＺ基準面での校正量を決める。以下、図３〜５を用いて具体的に説明する。
【００１８】
まず、カメラ１及び２は、図２における任意のＺ座標位置（Ｚ基準面）で画像撮影を行う（Ｓ１）。
カメラ１及び２は、撮影範囲内のできるだけ多くの箇所の視差を求めるため、特に、図４のような画像を撮影する。カメラ１及び２で撮影された撮影画像は、ＰＣ３に入力される。
【００１９】
次に、ＰＣ３は、取得された撮影画像に存在する各々の物体のエッジを検出する（Ｓ２）。
次に、ＰＣ３は、取得されたエッジ情報から測定物の存在範囲を決め、各物体の特徴点を抽出する（Ｓ３）。
【００２０】
ＰＣ３は、特徴点抽出方法として次の方法を用いる。
【００２１】
まず、物体の輝度値データのうち任意の閾値より小さい範囲を切り出す。次に、切り出されたデータを二値化する。最後に、以下で示される式１を用いて物体の重心位置座標を決定する。
物体の切り出し範囲がｘ座標、ｙ座標において、xi〜xj、yi〜yj
(xn,yi),(xn,yi+1),…(xn,yj)までｙ軸方向の輝度の総和をYn、
(xi,yn),(xi+1,yn),…(xj,yn)までｘ軸方向の輝度の総和をXn  とすると、以下の式１により物体座標が算出される。
【００２２】
【数１】
2011205172.tif 000003
【００２３】
図３の説明に戻って、ＰＣ３は、算出された各物体の特徴点座標を図４の配列１、配列２に格納する（Ｓ３）。
【００２４】
次に、ＰＣ３は、配列に格納された特徴点の座標をソートする。例えば、ＰＣ３は、x座標の大きさ順でソートを行う。処理されたn個の座標は、x座標が小さい順に１行目からn行目まで格納される。これによって、ｘ座標を基準として配列が整理される。
【００２５】
ＰＣ３は、図４の配列１、配列２の同じ列に格納されている２つの物体座標から物体座標間の距離（視差）を算出する（Ｓ５）。具体的には、配列１i列に格納された座標：(xi1, yi1 )、 配列２i列に格納された座標：(xj2 , yj2)とすると、以下の式２のように距離を算出することができる。
【００２６】
【数２】
2011205172.tif 000004
【００２７】
ＰＣ３は、このようにして算出された距離に基づいてヒストグラムを生成する（Ｓ６）。
図５は、式２の計算により算出された各物体座標の距離を、前もって決めた階級数を持つヒストグラムにした図である。
【００２８】
次に、ＰＣ３は、ヒストグラムにおいて、データ数が０となる領域を境界として、データの山（集団）に分離する（Ｓ７）。そして、ＰＣ３は、最もデータ数の多い山を、正しく対応付けができている山と認識する（Ｓ８）。一方、ＰＣ３は、左記で正しく対応付けられた山以外の山を正しく対応付けができていない山と認識する（Ｓ８）。
【００２９】
例えば、図５上のようなヒストグラムが作成されたとすると、正しく対応付けられている物体座標間の距離は、図５上のように一番前に現れる山（集団）の中に存在する。他の例では、図５下のようなヒストグラムが作成されたとすると、正しく対応付けられている物体座標は、図５下のようにデータ数の最も大きい山（集団）に存在する。
【００３０】
このようにデータ数の最も大きい山を選択する理由は、カメラの光学系には歪みが存在することが通常であるので、正しい対応付けがされた場合であっても、得られる距離はバラツクと考えたからである。このように最もデータ数の多い山を正しい山と判別することで、ＰＣ３は、効率的に正しい対応付けを検出できる。
【００３１】
本実施の形態では、図４における物体座標63点に対しＳ６の処理を行った場合、正しく対応付けられた座標が49点、正しく対応付けられていない座標が14点となった。
【００３２】
正しく対応付けがなされた物体座標については、得られた距離を、校正に用いる値として、保持する。なお、ＰＣ３は、正しく対応付けられた山（座標）の最大距離と最小距離を記憶する。以下、最大距離を、許容最大値とし、最小距離を許容最小値とする。
【００３３】
次に、ＰＣ３は、正しく対応付けできていないデータが存在するか否かを判別する（Ｓ９）。ＰＣ３は、全てのデータが正しく対応付けできていると判別した場合、図３の処理を終了する。一方、ＰＣ３は、一部のデータが正しく対応付けできていないと判別した場合、ステップＳ１０の処理に移行する。
【００３４】
ステップＳ１０では、ＰＣ３は、正しく対応付けがなされていない集団に対して、対応付けをやり直す（Ｓ１０）。具体的には、ＰＣ３は、正しく対応付けがなされていない配列のデータに関して、違う方法でソートする。例えば、ＰＣ３は、ｙ座標の大きさ順でソートを行う。
【００３５】
そして、ＰＣ３は、ソートされた配列のデータを、対応付けをする。ＰＣ３は、対応付けられた物体座標間の距離を算出する（Ｓ１０）。
【００３６】
ＰＣ３は、対応付けられたデータ数が所定値よりも大きいか否かを判別する（Ｓ１１）。ＰＣ３は、所定値よりも大きければ、ステップＳ６の処理に戻る。
【００３７】
ＰＣ３は、所定値以下であれば、対応付けによって得られたデータの中で、許容最大値と許容最小値の範囲に入るデータを、正しく対応付けられたデータとして判別する（Ｓ１２）。正しく対応付けがなされた物体座標については、得られた距離を、校正に用いる値として、保持する。
【００３８】
ＰＣ３は、全てのデータが正しく対応付けられるまで、Ｓ１２の処理を繰り返す。
【００３９】
このように所定値以下のデータに対して、許容範囲に基づき、対応付けの良否を判断するようにしたので、より効率的に対応付け作業を行なうことができるようになる。
【００４０】
以上、図３の動作により、カメラのＺ基準面での校正量が決定される。なお、カメラの校正量は、以下のように表すことができる。
【００４１】
Ｚ基準面において、左カメラ１座標（Ｘａ、Ｙａ）における、右カメラ２座標までの校正量：（Ｘｂ、Ｙｂ）
上記のようなデータが複数の座標に対して存在する。つまり、上記校正量のデータは、Ｚ基準面におけるデータである。
【００４２】
＜２−２．被測定物の視差測定動作＞
次に、図１に示すような被測定物の視差測定動作を説明する。
【００４３】
まず、カメラ１及び２は、被測定物を撮影する（Ｔ１）。その後、ＰＣ３は、取得された撮影画像のエッジを検出する（Ｔ２）。
【００４４】
次に、ＰＣ３は、取得されたエッジ情報から測定物の存在範囲を決め、各物体の特徴点を抽出する（Ｔ３）。ＰＣ３は、各物体の特徴点座標を配列１、配列２に格納する。
【００４５】
ＰＣ３は、上記図３で得られたＺ基準面での校正量を用いて、左カメラ１で得られた撮影画像の特徴点座標を補正する（Ｔ４）。
【００４６】
ＰＣ３は、左カメラ１に関する補正後の特徴点座標と、右カメラ２に関する特徴点座標の距離を算出する。
【００４７】
ＰＣ３は、距離に基づいて、特徴点の３次元の位置情報を取得できる。これによって、撮影画像内に存在する物体（例えば、ゴミ）が、ｚ軸のどの位置に存在するかを検出することができるようになる。
【００４８】
すなわち、例えば、撮影画像内に写ったゴミが、ＣＣＤとＩＲフィルタの間に存在するか、ＩＲフィルタの表面に存在するかを検知できるようになる。
【００４９】
通常、ＩＲフィルタとＣＣＤの間にゴミが存在した場合、ゴミを取り除くことが難しいので、そのような製品は、不良品として扱うことが可能になる。
【００５０】
なお、被測定物の基準面の視差を求める方法は以下の方法で実現できる。実際の画像物体座標の視差から前述基準面での視差を引き算することで、基準面からのｚ軸方向変位による視差だけが求められる。
この後物体のz軸方向距離を以下の式より算出し、物体の三次元位置を決定する。
【００５１】
【数３】
2011205172.tif 000005
【００５２】
（但しｎ：被測定物の屈折率、β：カメラの横倍率、θ：カメラの輻輳角）
【産業上の利用可能性】
【００５３】
本発明は、撮影画像における物体座標の対応付け方法、及び、対応付け装置などに適用可能である。
【符号の説明】
【００５４】
１    左カメラ
２    右カメラ
３    ＰＣ
４    被測定物
５    ステージ
６    ステージ台
７    ＰＣモニタ
【図１】
2011205172.tif 000006
【図２】
2011205172.tif 000007
【図３】
2011205172.tif 000008
【図４】
2011205172.tif 000009
【図５】
2011205172.tif 000010
【図６】
2011205172.tif 000011
【図７】
2011205172.tif 000012