(57)【特許請求の範囲】
【請求項１】
物体を撮像する２以上の撮像手段と、
前記２以上の撮像手段により撮像された２画像である基準画像と比較画像の各背景部にパターン画像を重畳するパターン重畳手段と、
前記パターン重畳手段により前記パターン画像が重畳された前記基準画像と前記比較画像に基づいて前記物体の視差画像を生成する視差画像生成手段と、
を備え、
前記視差画像生成手段は、前記基準画像内の基準画素と、前記比較画像内の候補画素との非類似度であるコスト値を算出後、周辺画素の前記コスト値に基づく合成コスト値を算出し、前記合成コスト値に基づいて各画素の視差を導出することを特徴とする情報処理装置。
【請求項２】
物体を撮像する２以上の撮像手段と、
前記２以上の撮像手段により撮像された２画像である基準画像と比較画像の各背景部にパターン画像を重畳するパターン重畳手段と、
前記パターン重畳手段により前記パターン画像が重畳された前記基準画像と前記比較画像に基づいて前記物体の視差画像を生成する視差画像生成手段と、
を備え、
前記パターン重畳手段は、前記基準画像の前記背景部に重畳する前記パターン画像に対し、前記比較画像の前記背景部に、所定の背景視差だけ前記パターン画像をずらして重畳することを特徴とする情報処理装置。
【請求項３】
前記２以上の撮像画像は、少なくとも前記２以上の撮像手段のうち一方の撮像手段により撮像された前記基準画像と前記一方の撮像手段から所定距離離間した他方の撮像手段により撮像された前記比較画像と含むことを特徴とする請求項１、又は２に記載の情報処理装置。
【請求項４】
前記パターン重畳手段は、前記比較画像に重畳する前記パターン画像を前記比較画像における所定の基準位置から相対的に所定距離シフトさせて重畳することを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記パターン画像を記憶する記憶手段を備えることを特徴とする請求項１から４の何れか１項に記載の情報処理装置。
【請求項６】
前記記憶手段から画素単位で読み出した前記パターン画像を前記パターン重畳手段に画素単位で送信する制御を行う制御手段を備えることを特徴とする請求項５記載の情報処理装置。
【請求項７】
２以上の撮像手段により物体を撮像して取得される２画像である基準画像と比較画像を記憶部に記憶する工程と、
前記記憶部により記憶された２画像である前記基準画像と前記比較画像の各背景部にパターン画像を重畳する工程と、
前記パターン画像が重畳された前記基準画像と前記比較画像に基づいて前記物体の視差画像を生成する工程と、
を備え、
前記物体の視差画像を生成する工程では、前記基準画像内の基準画素と、前記比較画像内の候補画素との非類似度であるコスト値を算出後、周辺画素の前記コスト値に基づく合成コスト値を算出し、前記合成コスト値に基づいて各画素の視差を導出されることを特徴とする情報処理方法。
【請求項８】
２以上の撮像手段により物体を撮像して取得される２画像である基準画像と比較画像を記憶部に記憶する処理と、
前記記憶部により記憶された２画像である前記基準画像と前記比較画像の各背景部にパターン画像を重畳する処理と、
前記パターン画像が重畳された前記基準画像と前記比較画像に基づいて前記物体の視差画像を生成する処理と、
をコンピュータに実行させ、
前記物体の視差画像を生成する処理では、前記基準画像内の基準画素と、前記比較画像内の候補画素との非類似度であるコスト値を算出後、周辺画素の前記コスト値に基づく合成コスト値を算出し、前記合成コスト値に基づいて各画素の視差を導出されることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の撮像画像から所望の視差画像を得るための情報処理を行う情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来から、例えば工場での部品ピッキング用として、テクスチャの少ない部品を複数画像撮影して視差を算出し、この視差を利用して後段で部品に対する物体認識処理を施す部品ピッキング用システム５００が知られている（図１９参照）。なお、ここでの「テクスチャ」とは、例えば画像上の各画素の明暗で現れ得る模様、柄、パターン、色、ドット等をいう。
【０００３】
具体的には、例えば図１９のシステム５００に示すように、ステレオカメラ５１０において、撮像部５１１と撮像部５１２により画像データを取得し、画像マッチング部５１３において両画像データの各画素を探索してマッチングをとってコスト値を算出し、視差画像生成部５１４において画素毎に視差を算出するシステムが知られている。なお、認識処理部５２０は輝度画像と視差画像に基づいて部品を認識する。また、アーム制御部５４０は部品の認識結果に基づいて認識された部品をピッキングするためアームの駆動を制御する。
【０００４】
ここで、撮像部５１１により撮像された撮像画像を基準画像とした場合、基準画像における所定画素に対して周辺画素のテクスチャが少ない比較画像を探索してマッチングをとると、類似する画素が連なってしまう。そのため、対応画素をうまくマッチングさせることが困難となり、所望の視差（以下「正解視差」という。）が得られにくい。
【０００５】
そこで、図１９に示すように、パターン投光部５３０によって各種パターンを物体に向けて投光し、各種パターンが投影された画像に対してマッチングをとることにより、視差算出精度を向上させる技術が開示されている。これに関連する技術が、例えば特許文献１に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、図１９で示すようなパターン投光部５３０を用いて視差算出精度を向上させる技術においては、パターン投光部５３０の設置位置が悪い場合に、投光された光の照り返しがステレオカメラ５１０の撮像部５１１や撮像部５１２で撮像され（図２０参照）、視差算出結果に悪影響が生じる（図２１参照）。また、パターン投光部５３０を有すると、システム５００が大きくなるし、製造工数や製造コストに手間がかかる。さらに、アクリル部品や金属部品等のような鏡面反射により輝度値や色合いが変化する物品に対するパターン照明の反射後の両撮像部への照明光の戻り方の違いにより、両撮像部で取得した画像データの対応画素に輝度差が生じる。その結果、各画素に対するマッチング精度が極端に落ちるため、計算された物体領域の画素の視差は、正解視差から離れたものになってしまう。
【０００７】
本発明は、このような実情に鑑みてなされたものであって、パターンを投光しなくてもテクスチャが少ない物体の視差を精度良く算出する情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の情報処理装置は、物体を撮像する２以上の撮像手段と、前記２以上の撮像手段により撮像された２画像である基準画像と比較画像の各背景部にパターン画像を重畳するパターン重畳手段と、前記パターン重畳手段により前記パターン画像が重畳された前記基準画像と前記比較画像に基づいて前記物体の視差画像を生成する視差画像生成手段と、を備え、前記視差画像生成手段は、前記基準画像内の基準画素と、前記比較画像内の候補画素との非類似度であるコスト値を算出後、周辺画素の前記コスト値に基づく合成コスト値を算出し、前記合成コスト値に基づいて各画素の視差を導出することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、パターンを投光しなくてもテクスチャが少ない物体の視差を精度良く算出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態における情報処理装置を適用したピッキングシステムの概略構成図である。
【図２】本発明の実施形態におけるステレオカメラのハードウェア構成図である。
【図３】本発明の実施形態における情報処理装置の機能ブロック図である。
【図４】図３における画像マッチング部及びＳＧＭ視差画像生成部の処理構成図である。
【図５】図４における小数視差算出部による小数視差の算出について説明する模式図である。
【図６】図３の構成に領域検出部を加えた機能ブロック図である。
【図７】図６の構成に前処理部を加えた機能ブロック図である。
【図８】本実施形態において適用される測距の原理について説明する模式図である。
【図９】本実施形態におけるシフト量の算出について説明する概念図である。
【図１０】シフト量毎のコスト値を示すグラフである。
【図１１】本実施形態における合成コスト値の算出について説明する模式図である。
【図１２】本実施形態における視差値毎の合成コスト値を示すグラフである。
【図１３】本実施形態におけるパターン重畳の有無による合成コスト値を比較するグラフである。
【図１４】本実施形態におけるピッキングシステムにおいて予め計算される背景視差について説明する模式図である。
【図１５】本実施形態におけるパターン重畳の１例について説明する模式図である。
【図１６】本実施形態におけるピッキングシステムにおいて撮像対象とする基準画像の１例である。
【図１７】図１６の基準画像について、本実施形態におけるパターンを重畳して算出した視差画像の１例である。
【図１８】本実施形態における処理手順を示すフローチャートである。
【図１９】従来のパターン投光部を採用するピッキングシステムの概略構成図である。
【図２０】図１９のシステムにより撮像した基準画像の１例である。
【図２１】図２０の基準画像について、パターン投光により得られた視差画像の１例である。
【発明を実施するための形態】
【００１１】
本発明の実施形態の情報処理装置に関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。
【００１２】
本実施形態に係る情報処理装置は、例えば、ステレオカメラで撮像した２画像の背景部に画像処理によってパターンを重畳し、２画像マッチング処理を施し、ＳＧＭ（Ｓｅｍｉ  Ｇｌｏｂａｌ  Ｍａｔｃｈｉｎｇ）アルゴリズムを採用する構成をとる。つまり、図１９に示したようなパターン投光部により部品に所定パターンを投光する代わりに、撮像画像の背景部に所定のパターン画像を重畳したものについて、例えばＳＧＭアルゴリズムを用いて視差画像を得るというものである。
【００１３】
本実施形態における情報処理装置について、以下では本実施形態における情報処理機能を備えたステレオカメラを含むピッキングシステムを例に図１を参照して説明する。なお、本発明がピッキングシステムにのみ適用されるものでないことは言うまでもなく、ステレオカメラを採用する技術分野において理想的な視差画像を得るために適用されるものであってよい。
【００１４】
また、本実施形態においてはステレオカメラが本実施形態における情報処理機能を備えた構成について説明するが、これに限定されるものではない。例えば、ステレオカメラとしては撮像画像を得るために撮像手段等の最低限の構成をとり、情報処理機能については、ステレオカメラと物理的に分離したパーソナルコンピュータ等の情報処理装置が担う構成でもよい。
【００１５】
本実施形態における部品ピッキング用システム１の概略について図１を参照して説明する。本実施形態における部品ピッキング用システム１は、ステレオカメラ１０と、認識処理部２０と、アーム制御部４０で構成されている。
【００１６】
部品を撮像するステレオカメラ１０は、撮像手段としての撮像部１１、１２と、パターン重畳部１５と、画像マッチング部１３と、視差画像生成部１４を含み構成されている。なお、撮像手段としては２台に限定されず、３台以上であってもよい。
【００１７】
パターン重畳部１５は、撮像部１１、１２により撮像された２つの撮像画像にパターン画像を重畳するパターン重畳手段である。パターン画像の詳細については後述する。
【００１８】
画像マッチング部１３は、例えば、パターン画像が重畳された撮像画像における画素毎の輝度値の非類似度であるコスト値を算出する。コスト値算出の詳細については後述する。
【００１９】
視差画像生成部１４は、パターン重畳部１５によりパターン画像が重畳された２つの撮像画像に基づいて部品の視差画像を生成する視差画像生成手段である。視差画像の生成の詳細については後述する。
【００２０】
認識処理部２０は、撮像部から得られた輝度画像と、視差画像生成部１４により生成された視差画像の比較に基づいて部品を認識する。
【００２１】
アーム制御部４０は、認識処理部２０による認識結果を受けて部品をピッキングするためのアームの駆動を制御する。
【００２２】
次に、本実施形態におけるステレオカメラ１０のハードウェア構成の１例について図２を参照して説明する。本実施形態におけるステレオカメラ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３１と、ＲＯＭ  Ｉ／Ｆ３２と、画像処理部３３を備える。また、本実施形態におけるステレオカメラ１０は、２つの撮像部３４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３５と、ＲＡＭ  Ｉ／Ｆ３６と、撮像部制御用Ｉ／Ｆ３７を備える。
【００２３】
ＣＰＵ３０は、本実施形態における情報処理を全体として制御するための制御機能を担う。ＲＯＭ３１は、例えば本実施形態における情報処理プログラムや後述のようにパターン画像を記憶する。ＲＯＭ  Ｉ／Ｆ３２は、ＲＯＭ３１とＣＰＵ３０を含むその他の機能部とを接続するインタフェースである。画像処理部３３は、本実施形態におけるパターン画像の生成処理や、視差画像の生成処理を行う。
【００２４】
２つの撮像部３４については、上述した撮像部１１及び１２に相当する。例えば、所定距離離間した２つの撮像部が不図示の固定治具に固定され、それぞれが物体を撮影し、その光学像をアナログ信号に変換し、さらにデジタル信号に変換して画像データを出力する。画像データとしては、例えば８ビット／画素からなり、０〜２５５階調（輝度値）をとればよい。
【００２５】
ＲＡＭ３５は、例えば撮像部３４から撮像部制御用Ｉ／Ｆ３７等を介して入力された撮像画像をいったん格納するバッファ、あるいはキャッシュメモリとして機能する。
【００２６】
次に、本実施形態における情報処理装置の機能ブロックについて図３を参照して説明する。既に、図１を参照して説明した構成については説明を省略する。ここでは、パターン重畳部１５が備える構成について説明する。
【００２７】
パターン重畳部１５は、画像格納部１５１と、制御部１５２と、パターン記憶部１５３を備える。画像格納部１５１は、撮像部１１から取得した基準画像、そして撮像部１２から取得した比較画像を格納する。パターン記憶部１５３は、パターン画像を重畳する座標と画素値が予め定められたパターンデータを記憶する。制御部１５２は、パターン記憶部１５３に記憶されたパターンデータを読み出して重畳したい画素の座標と画素値を画像格納部１５１に送信する機能を有する。
【００２８】
制御部１５２は、背景領域の座標をパターン記憶部１５３のアドレスに変換することで対応する画素の画素値を読み出し、背景領域の座標とそれに対応する読み出した画素値を画像格納部１５１に送信して、重畳する画素値を対応する座標のアドレスに上書きする。
【００２９】
本機能ブロックにおける概略処理手順について説明する。まず、撮像部１１及び１２において画像を撮像する。そして、パターン重畳部１５において撮像画像の背景領域にパターン画像を重畳する。さらに、画像マッチング部１３においてコスト値Ｃ（ｐ、ｄ）を算出する。その後、ＳＧＭ視差画像生成部５０においてコスト値ＣをＳＧＭアルゴリズムにより集約させ、視差毎の各方向からの経路コスト値Ｌｒ（ｐ、ｄ）の和である合成コスト値Ｌｓ（ｐ、ｄ）を計算し、整数視差、さらには小数視差を算出する。
【００３０】
次に、画像マッチング部１３と、ＳＧＭ視差画像生成部５０の詳細について図４を参照して説明する。画像マッチング部１３は、高域強調フィルタ部１３１、１３２と、コスト算出部１３３を備える。ＳＧＭ視差画像生成部５０は、合成コスト算出部５１と、整数視差算出部５２と、小数視差算出部５３を備える。
【００３１】
画像マッチング部１３で算出されるコスト値Ｃの算出方法は、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、などの算出方法を選択してもよい。合成コスト算出部５１、整数視差算出部５２による各処理内容の詳細は後述する。
【００３２】
小数視差算出部５３では、算出視差を小数まで追求する場合にサブピクセル推定手法を使って図５に示すような小数視差δを算出する。例えば等角直線法では、視差Δ−１、Δ、Δ＋１に対応する３つの合成コスト値Ｌｓを使って小数視差δを算出してもよい。
【００３３】
また、パラボラフィット法や、多項式による近似手法では、前記の３つのＬｓを使って小数視差δを算出してもよい。さらに、視差Δ−２、Δ−１、Δ、Δ＋１、Δ＋２に対応する５つの合成コスト値Ｌｓを使って小数視差δを算出してもよい。なお、等角直線法、パラボラフィット法、多項式による近似手法によらず、所望のサブピクセル推定手法を用いて小数視差δを算出してもよい。
【００３４】
なお、物体領域と背景領域の境界までパターンを重畳する場合は、境界座標データを算出し、その座標データを参照してパターンを重畳する処理が必要となる。その場合は、図６に示すように領域検出部６０をさらに設け、領域検出部６０において取得した境界座標データを制御部１５２に送信する。
【００３５】
このようにすることで、制御部１５２は、物体領域と背景領域の境界座標データを参照できるので、背景領域の座標に対応するパターンデータのみをパターン記憶部１５３から読み出すことができる。つまり、背景領域以外の座標に対応するパターンデータをパターン記憶部１５３から読み出す必要がなくなる。
【００３６】
領域検出部６０において物体領域を検出する際は、撮像部１１にて取得された基準画像及び撮像部１２にて取得された比較画像のそれぞれの高周波成分を抽出する処理を実行してエッジ抽出画像を導出する。
【００３７】
エッジ抽出画像は、例えば、隣接する画素同士を微分、あるいは差分することにより、変化の大きい画素位置を導出するものである。変化の大きい画素位置の座標を、物体領域と背景領域の境界座標データとして抽出し、それらの内部にある部分を物体領域と決める。画像の高周波成分を抽出する画像フィルタとしては、ラプラスフィルタやプレウィットフィルタやソーベルフィルタが知られている。
【００３８】
テクスチャの少ない背景領域と物体領域の境界を明確にするために、エッジ抽出画像の画素値として、例えばソーベルフィルタの横勾配エッジ量と縦勾配エッジ量のそれぞれの２乗の和や、それの平方根を計算することが望ましい。
【００３９】
また、図７に示すように、撮像部１１及び１２から取得した画像に対してパターン重畳を施す前に前処理部７０を設けてもよい。前処理部７０は、歪み補正やガンマ補正等の処理を施す。視差を算出する際に、基準画像と比較画像の歪み状態が画像マッチング部１３で算出するコスト値Ｃの結果に大きな影響を与え、その影響が後段のＳＧＭ視差画像生成部５０にも影響を与える。よって、画像マッチングに入る前にこの影響を極力取り除いておくことが望ましい。
【００４０】
レンズとセンサの光軸ずれや、レンズの光学的歪み状態が基準画像と比較画像とで異なる場合は、その歪みを補正するための歪み補正パラメータを前処理部７０において保持し、キャリブレーション結果を歪み補正パラメータに反映させる手段を講じてもよい。
【００４１】
上述した各ブロックにおける処理は、図２で示したハードウェア構成により実現することができる。パターン重畳部１５は画像処理部３３の機能により、入力した撮像画像をいったん画像格納部１５１としてのＲＡＭ３５に格納する。格納された撮像画像の座標は制御部１５２としてのＣＰＵ３０に送信される。ＣＰＵ３０は、受信した座標をアドレスに変換し、アドレスをパターン記憶部１５３としてのＲＯＭ３１に送信する。
【００４２】
ＲＯＭ３１は、受信したアドレスに基づいた画素値をＣＰＵ３０に送信する。ＣＰＵ３０は、座標と受信した画素値に基づいてＲＡＭ３５のアドレスにアクセスし、パターンを重畳する座標に対応した画素値を上書きする。このようにして、パターンを重畳する座標に対応する画素値のＲＡＭ３５への書き込みが完了すると、書き換え後の画像をＲＡＭ３５から読み出す。そして、水平同期信号と画素値に時間的なズレが生じないように同期させ、後段の画像マッチング部１３に送信する。
【００４３】
ここで、パターン重畳部１５に入力した撮像画像は、いったんＲＡＭ３５に格納されるが、１画像全てをフレームバッファにいったん書き込んでもよいし、１ライン毎の画像をラインバッファにいったん書き込んでもよい。なお、ＣＰＵ３０で実行する命令を、画像処理部３３で実行してもよい。画像マッチング部１３、ＳＧＭ視差画像生成部５０、領域検出部６０、前処理部７０は、ＲＡＭ３５と画像処理部３３により、これら各処理機能が実現される。
【００４４】
［測距の原理］
本実施形態において適用される測距の原理について図８を参照して説明する。ここでは、例えば、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図８は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、所定領域ではなく、１画素単位により説明する。
【００４５】
［視差値算出］
まず、撮像装置１０ａ及び撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａ及び比較画像Ｉｂとする。なお、図８では、撮像装置１０ａ及び撮像装置１０ｂが平行等位に設置されているものとする。図８において、３次元空間内の物体Ｅ上のＳ点は、撮像装置１０ａ及び撮像装置１０ｂの同一水平線上の位置に写像される。
【００４６】
すなわち、各画像中のＳ点は、基準画像Ｉａ中の点Ｓａ（ｘ、ｙ）及び比較画像Ｉｂ中の点Ｓｂ（Ｘ、ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標におけるＳａ（ｘ、ｙ）と撮像装置１０ｂ上の座標におけるＳｂ（Ｘ、ｙ）とを用いて、次式のように表される。
Δ＝Ｘ−ｘ      〔式１〕
【００４７】
ここで、本図のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ、ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ、ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。
【００４８】
［距離算出］
また、視差値Δを用いることで、撮像装置１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。
【００４９】
図８に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、次式により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×ｆ）／Δ      〔式２〕
上記の式２により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなることが分かる。
【００５０】
［ＳＧＭ法］
続いて、本実施形態において採用するＳＧＭ法を用いた測距方法について図９から図１２を参照して説明する。ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出すために採用する方法であり、テクスチャが弱い物体等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。
【００５１】
また、このＳＧＭ法は、非類似度であるコスト値を算出した後、直ちに視差値を算出せず、コスト値を算出後、さらに、合成非類似度である合成コスト値を算出することで視差値を導出し、最終的に全ての画素における視差値を示す視差画像を導き出す方法である。なお、本実施形態ではＳＧＭ法を採用しているが、本発明を実現するためにはＳＧＭ法に限定されず、周辺画素のコスト値計算結果に基づいて最終的に全ての画素における視差値を導出できる手法であればよい。
【００５２】
［コスト値の算出］
まず、図９及び図１０を用いて、コスト値Ｃ（ｐ、ｄ）の算出方法について説明する。図９（ａ）は基準画像における基準画素を示す概念図である。また、図９（ｂ）は、図９（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら、つまりずらしながら、シフト量すなわちズレ量を算出する際の概念図である。図１０は、シフト量毎のコスト値を示すグラフである。ここで、対応画素とは、基準画像内の基準画素に最も類似する比較画像内の画素のことをいう。
【００５３】
図９（ａ）に示されているように、基準画像内の所定の基準画素ｐ（ｘ、ｙ）と、この基準画素ｐ（ｘ、ｙ）に対する比較画像内におけるエピポーラ線（Ｅｐｉｐｏｌａｒ  Ｌｉｎｅ）上の複数の対応画素の候補ｑ（ｘ＋ｄ、ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ、ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ、ｙ）のコスト値Ｃ（ｐ、ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量、すなわちズレ量であり、本実施形態では、画素単位のシフト量が表されている。
【００５４】
すなわち、図９では、対応画素の候補ｑ（ｘ＋ｄ、ｙ）を予め指定された範囲〔例えば、０＜ｄ＜２５〕において順次１画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ、ｙ）と基準画素ｐ（ｘ、ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ、ｄ）が算出される。
【００５５】
このようにして算出されたコスト値Ｃ（ｐ、ｄ）は、図１０に示されているように、シフト量ｄ毎に示されるグラフによって表すことができる。図１０では、コスト値Ｃは、シフト量ｄ＝５、１２、１９の場合が零（０）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることは困難になる。
【００５６】
［合成コスト値の算出］
次に、図１１及び図１２を用いて、合成コスト値Ｌｓ（ｐ、ｄ）の算出方法について説明する。本実施形態における合成コスト値の算出は、例えばＳＧＭ法により行うものである。コスト値Ｃ（ｐ、ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ、ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ、ｙ）におけるコスト値Ｃ（ｐ、ｄ）に集約させて、合成コスト値Ｌｓ（ｐ、ｄ）を算出する。
【００５７】
合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ、ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ、ｄ）を算出する必要がある。次式は、経路コスト値Ｌｒ（ｐ、ｄ）を算出するための式である。
Ｌｒ（ｐ、ｄ）＝Ｃ（ｐ、ｄ）＋ｍｉｎ｛Ｌｒ（ｐ−ｒ、ｄ）、Ｌｒ（ｐ−ｒ、ｄ−１）＋Ｐ１、Ｌｒ（ｐ−ｒ、ｄ＋１）＋Ｐ１、ｍｉｎd（Ｌｒ（ｐ−ｒ、ｄ））＋ｐ２｝      〔式３〕
【００５８】
ここで、ｒは、集約方向の方向ベクトルを示し、ｘ方向及びｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒは、式３に示されているように再帰的に適用される。ｍｉｎd（Ｌｒ（ｐ−ｒ、ｄ））は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ、ｄ）の最小値を示す。また、Ｐ１及びＰ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。
【００５９】
また、式３に示されているように、Ｌｒ（ｐ、ｄ）は、基準画素ｐ（ｘ、ｙ）におけるコスト値Ｃに、図１１に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、最初は、基準画像ｐ（ｘ、ｙ）のｒ方向の一番端の画素からＬｒを求め、ｒ方向に沿ってＬｒが求められる。
【００６０】
そして、図１１に示されているように、８方向のＬｒ0、Ｌｒ45、Ｌｒ90、Ｌｒ135、Ｌｒ180、Ｌｒ225、Ｌｒ270、Ｌｒ315が求められ、最終的に次式に基づいて合成コスト値Ｌｓが求められる。
Ｌｓ（ｐ、ｄ）＝Σr｛Ｌｒ（ｐ、ｄ）｝      〔式４〕
【００６１】
このようにして算出された合成コスト値Ｌｓ（ｐ、ｄ）は、図１２に示されているように、シフト量ｄ毎に示されるグラフによって表すことができる。図１２では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。なお、上記説明ではｒの経路数を８として説明しているが、これに限られることはない。例えば、６方向や、１６方向等にしてもよい。
【００６２】
［パターン重畳］
次に本実施形態におけるパターン重畳について詳細に説明する。ＳＧＭ法は、視差毎に値が極力変化しているマッチングコスト値Ｃ（ｐ、ｄ）を経路毎に集約して合成コスト値Ｌｓ（ｐ、ｄ）を得る手法であり、それによって精度の高い視差を取得する。そのため、所定のパターンが配置されている方向からコストを集約するのが良い。
【００６３】
図１３に示すように、画像処理によって例えば背景領域のような物体の撮像領域が重複しない領域にパターンを重畳する場合と、背景領域にパターンを重畳させない場合とで比較すると、画像処理によって背景領域にパターンを重畳する方が合成コスト値Ｌｓ（ｐ、ｄ）のコントラストが大きくなる。そのため、注目画素の視差値Δを精度良く決定しやすい。
【００６４】
パターンを重畳させずにテクスチャが少ない状態でマッチングした場合、ＳＧＭアルゴリズムの演算過程で得られる合成コスト値Ｌｓ（ｐ、ｄ）は大きなコントラストを得ることができない。よって、視差Δ’において最小値が得られているとしても、そのΔ’は、信頼度に乏しく正解視差からかけ離れた結果となる。視差画像生成結果は、図２１に示すように、背景全体の視差でさえも一定とならず精度が悪い視差画像結果となり好ましくない。
【００６５】
したがって、画像の背景領域にパターン画像を重畳することにより、画像の部品部分の画素の視差データを精度良く算出させることができる。また、本実施形態におけるＳＧＭ法により、画像の部品部分の画素の視差データ抜けを抑制することができる。視差データ抜けが改善されることにより、後段の物体認識処理での部品情報認識精度を向上させる効果がある。
【００６６】
ここで、図１４に示すように、工場ピッキングシステムでは、ステレオカメラから背景部までの距離Ｚは予め分かっている情報である。理由は、背景視差ｄ１＝〔基線長〕×〔レンズとセンサ面の距離〕／〔距離Ｚ〕は、予め計算できるからである。したがって、背景領域にパターン画像を重畳させることが可能である。
【００６７】
なお、基準画像の背景領域に重畳するパターン画像に対し、比較画像の背景領域に重畳するパターン画像は、予め計算し得る背景視差ｄ１だけ相対的にずらして重畳することが望ましい。すなわち、本実施形態におけるパターン重畳部１５は、比較画像に重畳するパターン画像を比較画像における所定の基準位置から相対的に所定距離シフトさせて重畳する。なお、ｄ２はここでの物体領域視差である。
【００６８】
背景領域に重畳するパターン画像は、背景領域全体に配置する必要はなく、所定の画素数、所定のピッチ、乱数など、所望の配置のさせ方で配置すればよい。ただし、例えば繰り返し周期を持つパターンは、コスト値Ｃの値が繰り返す場合があるため、好ましくない。
【００６９】
重畳するパターン画像は、例えば図１５に示すように左右サイドのみにパターン画像Ｂを重畳してもよいし、上下左右４つのサイドに重畳してもよいし、物体領域と背景領域の境界まで目いっぱい重畳してもよい。なお、図１５におけるＡは所定の物体の撮像画像である。
【００７０】
ＳＧＭ法は、繰り返し周期を持たないパターンに対して効果的であり、かつパターンが画像全領域に及んでいるほど効果がある。そのため、パターンとしては、繰り返し周期を持たない、例えば、種々の周波数成分を持っている乱数を、物体領域と背景領域の境界まで目いっぱい重畳するのが望ましい。
【００７１】
［部品の設置］
本実施形態を適用した具体例について図１６及び図１７を参照して説明する。まず、図１に示した部品ピッキング用システムにおいて、ステレオカメラ１０の撮像部１１にて得られる箱中の金属製の黒い太ネジ部品バラ積み画像の撮像画像を基準画像とする（図１６参照）。本図は、画像サイズが横１２８０ピクセル×縦９６０ピクセルとなっている。そして、撮像部１１から見て座標（ｘ、ｙ）＝（６３０、４５０）の位置に黒い太ネジ部品バラ積み状態の部品のうちの１つが最も手前に来る用に設置した。
【００７２】
事前に測定した距離として、撮像部１１から背景までの距離＝０．９７３ｍ、撮像部１１から箱の縁までの距離＝０．９０８ｍ、撮像部１１から一番手前の黒い太ネジ部品までの距離＝０．９２８ｍとなるように設置した。ステレオカメラ１０で得られるはずの正解視差は、背景視差＝６３ピクセル、箱の縁＝８２ピクセル、一番手前の黒い太ネジ部品＝７６ピクセルである。
【００７３】
［ステレオカメラ動作］
次に、ステレオカメラ１０を動作させ、箱中の金属製の黒い太ネジ部品バラ積み画像の背景部に画像処理でパターンを重畳させ、ＳＧＭアルゴリズムにより箱中の金属製の黒い太ネジ部品の視差を算出した。パターン画像の重畳は、図１５に示したような背景領域の両サイドに対して実施した。
【００７４】
その結果、箱の縁の視差＝８２ピクセル、背景視差＝６３ピクセル、一番手前の黒い太ネジ部品＝７６ピクセルとなり、正解視差が得られた（図１７参照）。箱内部の部品視差は、部品画像領域内で各画素において視差データが抜けることなく安定した結果となった。
【００７５】
［ピッキングシステム動作］
次に、アーム制御部４０において、アームを制御させ、座標（ｘ、ｙ）＝（６３０、４５０）にある一番手前の黒い太ネジ部品位置で、アームの爪部分により一番手前の黒い太ネジ部品取得を行うことができた。
【００７６】
つまり、本実施形態によれば、従来のような物体へのパターン投光ではなく、内部処理として予め算出されたパターン画像を重畳した撮像画像に基づいて視差画像を得るため、所望の視差を得ることができ、ピッキング部品等物体についての情報認識精度低下を防止することができる。つまり、アーム制御部４０はアームによる部品のピッキングを正確に制御することができる。
【００７７】
本実施形態における処理手順について図１８を参照して簡単に説明する。まず、上述のように撮像部１１により基準画像を撮像し、撮像部１２により比較画像を撮像する（ステップＳ１）。なお、Ａ１、Ａ２は共に、所定の部品の撮像画像を表したものである。
【００７８】
次に、パターン重畳部１５により、部品の撮像画像が重複しない背景領域にパターン画像Ｂを重畳する（ステップＳ２）。なお、ここでは部品の撮像画像領域と背景領域との境界ぎりぎりまでパターン画像を重畳している。
【００７９】
そして、パターン画像が重畳された撮像画像に基づいて視差画像生成部１４により視差画像が生成される（ステップＳ３）。
【００８０】
なお、本実施形態によれば、例えば従来のパターン投光部のような外部装置を備える必要がないため、システムの肥大化を防止し、システム製造工数や製造コストを削減することが可能となる。
【００８１】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の情報処理装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。
【００８２】
なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【符号の説明】
【００８３】
１    部品ピッキング用システム
１０    ステレオカメラ
１１、１２    撮像部
１３    画像マッチング部
１４    視差画像生成部
１５    パターン重畳部
２０    認識処理部
４０    アーム制御部
５０    ＳＧＭ視差画像生成部
５１    合成コスト算出部
５２    整数視差算出部
５３    小数視差算出部
６０    領域検出部
７０    前処理部
１３１、１３２    高域強調フィルタ部
１３３    コスト算出部
１５１    画像格納部
１５２    制御部
１５３    パターン記憶部
【先行技術文献】
【特許文献】
【００８４】
【特許文献１】特開２０１３−１９０３９４
【図１】
0006476629.tif 000002
【図２】
0006476629.tif 000003
【図３】
0006476629.tif 000004
【図４】
0006476629.tif 000005
【図５】
0006476629.tif 000006
【図６】
0006476629.tif 000007
【図７】
0006476629.tif 000008
【図８】
0006476629.tif 000009
【図９】
0006476629.tif 000010
【図１０】
0006476629.tif 000011
【図１１】
0006476629.tif 000012
【図１２】
0006476629.tif 000013
【図１３】
0006476629.tif 000014
【図１４】
0006476629.tif 000015
【図１５】
0006476629.tif 000016
【図１６】
0006476629.tif 000017
【図１７】
0006476629.tif 000018
【図１８】
0006476629.tif 000019
【図１９】
0006476629.tif 000020
【図２０】
0006476629.tif 000021
【図２１】
0006476629.tif 000022