(57)【要約】【課題】２つの画像を撮影した撮像装置間の位置及び姿勢の相対関係が未知で、かつ視点変化が大きい場合に、局所領域の対応付けを高速に行うことができるようにする。【解決手段】物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力し、入力した参照画像及び探索画像のそれぞれから直線を検出する。次に、明度の変化に基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出し、検出された直線と、検出した特徴点の周辺の明度または色とに基づいて前記参照画像及び前記探索画像の特徴量を記述する。そして、記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を、検出した直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する。【選択図】図１
2014102805.tif 000002
【特許請求の範囲】
【請求項１】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力手段と、
前記画像入力手段により入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出手段と、
前記直線検出手段によって検出された直線と、明度または色の変化とに基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出する特徴点検出手段と、
前記特徴点検出手段によって検出された特徴点の周辺の明度または色に基づいて前記参照画像及び前記探索画像の特徴量を記述する特徴量記述手段と、
前記特徴量記述手段によって記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を前記直線検出手段によって検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定手段とを有することを特徴とする情報処理装置。
【請求項２】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力手段と、
前記画像入力手段により入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出手段と、
明度または色の変化に基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出する特徴点検出手段と、
前記直線検出手段によって検出された直線と、前記特徴点検出手段によって検出された特徴点の周辺の明度または色とに基づいて前記参照画像及び前記探索画像の特徴量を記述する特徴量記述手段と、
前記特徴量記述手段によって記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を前記直線検出手段によって検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定手段とを有することを特徴とする情報処理装置。
【請求項３】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力手段と、
前記画像入力手段により入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出手段と、
明度または色の変化に基づいて前記参照画像から特徴点を検出する特徴点検出手段と、
前記直線検出手段によって前記参照画像から検出された直線と、前記特徴点検出手段によって検出された特徴点の周辺の明度または色とに基づいて前記参照画像の特徴量を記述する特徴量記述手段と、
前記特徴量記述手段によって記述された前記参照画像の特徴量と、前記直線検出手段によって前記探索画像から検出された直線に応じた探索領域内の点の周辺領域との相関を前記直線検出手段によって検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定手段とを有することを特徴とする情報処理装置。
【請求項４】
前記特徴点検出手段は、前記特徴点として角点を検出することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
前記直線検出手段は、前記参照画像及び前記探索画像の輝度勾配に基づいてエッジを検出し、前記検出したエッジに対して直線近似を行うことにより直線を検出し、
前記特徴量記述手段は、前記エッジをエッジの両端からエッジの方向ベクトルの正負の向きに延長した領域と前記直線の周辺領域とが重なる領域で検出した特徴点の周辺の明度または色に基づいて特徴量を記述することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
【請求項６】
前記直線検出手段は、前記参照画像及び前記探索画像から輝度勾配に基づいてエッジを検出し、前記検出したエッジに対して直線近似を行うことにより直線を検出し、
前記対応情報決定手段は、前記エッジをエッジの両端からエッジの方向ベクトルの正負の向きに延長した領域と重なる前記探索画像の直線の周辺領域で、前記参照画像の特徴量との相関を求めることを特徴とする請求項３に記載の情報処理装置。
【請求項７】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力工程と、
前記画像入力工程において入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出工程と、
前記直線検出工程において検出された直線と、明度または色の変化とに基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出する特徴点検出工程と、
前記特徴点検出工程において検出された特徴点の周辺の明度または色に基づいて前記参照画像及び前記探索画像の特徴量を記述する特徴量記述工程と、
前記特徴量記述工程において記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を前記直線検出工程において検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定工程とを有することを特徴とする情報処理方法。
【請求項８】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力工程と、
前記画像入力工程において入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出工程と、
明度または色の変化に基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出する特徴点検出工程と、
前記直線検出工程において検出された直線と、前記特徴点検出工程において検出された特徴点の周辺の明度または色とに基づいて前記参照画像及び前記探索画像の特徴量を記述する特徴量記述工程と、
前記特徴量記述工程において記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を前記直線検出工程において検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定工程とを有することを特徴とする情報処理方法。
【請求項９】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力工程と、
前記画像入力工程において入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出工程と、
明度または色の変化に基づいて前記参照画像から特徴点を検出する特徴点検出工程と、
前記直線検出工程において前記参照画像から検出された直線と、前記特徴点検出工程において検出された特徴点の周辺の明度または色とに基づいて前記参照画像の特徴量を記述する特徴量記述工程と、
前記特徴量記述工程において記述された前記参照画像の特徴量と、前記直線検出工程において前記探索画像から検出された直線に応じた探索領域内の点の周辺領域との相関を前記直線検出工程において検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定工程とを有することを特徴とする情報処理方法。
【請求項１０】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力工程と、
前記画像入力工程において入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出工程と、
前記直線検出工程において検出された直線と、明度または色の変化とに基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出する特徴点検出工程と、
前記特徴点検出工程において検出された特徴点の周辺の明度または色に基づいて前記参照画像及び前記探索画像の特徴量を記述する特徴量記述工程と、
前記特徴量記述工程において記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を前記直線検出工程において検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力工程と、
前記画像入力工程において入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出工程と、
明度または色の変化に基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出する特徴点検出工程と、
前記直線検出工程において検出された直線と、前記特徴点検出工程において検出された特徴点の周辺の明度または色とに基づいて前記参照画像及び前記探索画像の特徴量を記述する特徴量記述工程と、
前記特徴量記述工程において記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を前記直線検出工程において検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力工程と、
前記画像入力工程において入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出工程と、
明度または色の変化に基づいて前記参照画像から特徴点を検出する特徴点検出工程と、
前記直線検出工程において前記参照画像から検出された直線と、前記特徴点検出工程において検出された特徴点の周辺の明度または色とに基づいて前記参照画像の特徴量を記述する特徴量記述工程と、
前記特徴量記述工程において記述された前記参照画像の特徴量と、前記直線検出工程において前記探索画像から検出された直線に応じた探索領域内の点の周辺領域との相関を前記直線検出工程において検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、画像特徴の対応情報を求めるために用いて好適な情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、複合現実間やロボットの自動走行へ応用するために、画像情報を基に、現実物体の３次元幾何モデルを復元したりカメラの位置や姿勢を推定したりする技術が盛んに研究されている（例えば、非特許文献１及び２参照）。このように現実物体の３次元幾何モデルを復元したりカメラの位置や姿勢を推定したりすることは、複数の画像における画像特徴の対応情報に基づいて行われる。
【０００３】
そのため、物体の３次元幾何モデルを復元したりカメラの位置や姿勢を推定したりするには、何らかの方法で複数の画像における画像特徴の対応情報を求める必要がある。２つの画像間の局所領域の対応情報は、特徴の数が少ない場合や、処理時間の制約がない場合には、手動により与えることも可能である。しかし、特徴の数が多い場合や処理時間に制約がある場合に手動で対応情報を与えることは困難である。そこで画像特徴の対応情報を自動で求めることが望まれる。
【０００４】
このような画像間の局所領域の対応情報を求める方法として、画像上で検出されるテンプレートに基づくテンプレートマッチング法が開示されている（例えば、非特許文献３参照）。この方法は、入力画像とテンプレート画像とを重ね合わせることにより比較照合し、両者が一致しているかどうかを判定する。比較照合時に類似度を測り、その値が大きいほど対応するパターンとして確からしいとするものである。類似度としては、入力画像における輝度情報とテンプレートの輝度情報との相関が用いられる。例えば、正規化相互相関は、画像の明るさが正規化された量になっているために、明るさが変化した場合にも照合することができる。
【０００５】
前述したテンプレートマッチングは、全画素に対して行うと計算コストが膨大となるため、画像上で対応のとりやすい点を選び、これらの点周辺のテンプレート間の対応付けを行う手法（以下、従来技術１）が一般的に行われる（例えば、非特許文献４参照）。この対応のとりやすい点は、特徴点（ｆｅａｔｕｒｅ  ｐｏｉｎｔ）、関心点（ｉｎｔｅｒｅｓｔ  ｐｏｉｎｔ）などと呼ばれる。精度の良い対応を求めるにはその近傍で色や濃淡変化の激しい点を選べばよい。そのような点に高い値を与える特徴点検出の作用素（オペレータ）として、Ｈａｒｒｉｓオペレータが知られている（例えば、非特許文献５参照）。
【０００６】
また、画像上で頂点として観察される特徴点（以下、角点とする）の検出を高速に行う手法として、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）も知られている（例えば、非特許文献６参照）。このＦＡＳＴによって検出される角点は、注目画素を中心としたある固定半径を持つ円周上の画素の輝度値を注目画素の輝度値と比較することによって検出される。円周上の画素を１６個とした場合に、注目画素と比較して、１２個連続して注目画素よりも明るいまたは暗い場合に角点として検出する。そして、円周上の１６個の画素の輝度値をベクトルとして保持し、ベクトル同士のＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）などを計算することによって相違度を求め、角点の対応付けを行う。
【０００７】
また、２フレーム間において対象領域の輝度情報そのものの変化が最小となるように、画像間の輝度勾配から対象の移動量を推定する手法（以下、従来技術２）も提案されている（例えば、非特許文献７及び８参照）。以下、この手法について簡単に説明する。画像Ａ及び画像Ｂの２フレーム間における対象領域Ｒの輝度情報の変化表す目的関数εは、２フレーム間での対象領域の微小な移動量をｈとすると、以下の式（１）のように表すことができる。
【０００８】
【数１】
2014102805.tif 000003
【０００９】
そして、この目的関数εを最小化するような移動量ｈを求める。目的関数εの最小化では、まず、画像座標ｘについてテイラー展開して目的関数εを線形近似する。次に、目的関数の偏微分が０となるように目的関数の極小値を求め、極小値を得たときの移動量ｈを求めればよい。ここで、目的関数の座標に関する偏微分値は、画像間の輝度勾配を用いる。なお、説明を簡単にするため、一次元の移動量ｈのみについて説明したが、アフィン変形のパラメータも合わせて求める方法も提案されている。このような画像間の輝度勾配から対象の移動量を推定する手法は、Ｌｕｃａｓ−Ｋａｎａｄｅのアルゴリズムに代表される（例えば、非特許文献９参照）。
【００１０】
一方、２枚の画像を撮影した撮像装置の位置及び姿勢の相対関係が何らかの方法で求まっている場合には、エピポーラ拘束を利用した特徴点の対応付け手法（以下、従来技術３）が提案されている。エピポーラ拘束とは、位置及び姿勢の相対関係がわかっている２つの視点から同じある１点を見ているとき、一方で撮影された画像上の点が、他方の画像上のある線上で観察される拘束条件である。２つの撮像装置とそれぞれの撮像面に対して、それぞれのカメラ中心を他方の撮像面に投影した点をエピポール（ｅｐｉｐｏｌｅ）と呼び、撮像面上で注目する対象の投影点とエピポールを通る直線をエピポーラ線と呼ぶ。撮像装置の位置姿勢の相対関係が求まっていれば、エピポーラ線上で特徴点を探索することで対応付けることができる（例えば、非特許文献１０参照）。
【００１１】
また、２枚の画像のうち、一方の画像上で検出したエッジ上の点を検出し、他方の画像上で検出したエッジ上で対応点を探索する手法（以下、従来技術４）も提案されている。この手法では、まず、画像の輝度勾配に基づいてエッジを検出し、エッジ上の点を参照画像から特徴点として抽出する。ここでエッジとは、画像上で画素の濃度が急激に変化する点である。エッジ検出は、例えばＳｏｂｅｌオペレータ、Ｐｒｅｗｉｔｔオペレータなどの公知のエッジ検出オペレータにより行う。これらのエッジ検出オペレータで得られたエッジ上で検出される特徴点は、例えば、エッジの端点や曲率が変化する点などである。このようなエッジ検出を、他方の画像上でも行い、エッジ上で特徴点を検出し、特徴点間の相関を求めることにより画像間の局所領域の対応付けを行う。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Ｅ．Ｍｏｕｒａｇｎｏｎ，Ｆ．Ｄｅｋｅｙｓｅｒ，Ｐ．Ｓａｙｄ，ｍ．Ｌｈｕｉｌｌｉｅｒ，ａｎｄ  ｍ．Ｄｈｏｍｅ，"Ｒｅａｌ  ｔｉｍｅ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ３ｄ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ"，Ｉｎ  Ｐｒｏｃ．ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，（ＣＶＰＲ'０６），ｐｐ．３６３−３７０，２００６．
【非特許文献２】Ｇ．  Ｋｌｅｉｎ  ａｎｄ  Ｄ．Ｗ．  Ｍｕｒｒａｙ，"Ｐａｒａｌｌｅｌ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｍａｐｐｉｎｇ  ｆｏｒ  Ｓｍａｌｌ  ＡＲ  Ｗｏｒｋｓｐａｃｅｓ"，Ｉｎ  Ｐｒｏｃ．Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｍｉｘｅｄ  ａｎｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＩＳＭＡＲ'０７）２００７．
【非特許文献３】田村："コンピュータ画像処理"，オーム社，２００２
【非特許文献４】金沢、金谷："コンピュータビジョンのための画像の特徴点の抽出"，電子情報通信学会誌，Ｖｏｌ．１８７，Ｎｏ．１２，ｐｐ．１０４３−１０４８．２００４．
【非特許文献５】ｃ．Ｈａｒｒｉｓ  ａｎｄ  ｍ．Ｓｔｅｐｈｅｎｓ、"Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ"、Ｐｒｏｃ．４ｔｈ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆ、ｐｐ．１４７−１５１，１９８８．
【非特許文献６】Ｅ．Ｒｏｓｔｅｎ，  Ｔ．Ｄｒｕｍｍｏｎｄ，  "Ｆｕｓｉｎｇ  ｐｏｉｎｔｓ  ａｎｄ  ｌｉｎｅｓ  ｆｏｒ  ｈｉｇｈ  ｐｅｒｆｏｒｍａｎｃｅ  ｔｒａｃｋｉｎｇ" ，Ｉｎ：  １０ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ．  Ｖｏｌ．２，ｐｐ．１５０８−１５１５，２００５．
【非特許文献７】Ｂ．Ｌｕｃａｓ，Ｔ．Ｋａｎａｄｅ，"Ａｎ  ｉｔｅｒａｔｉｖｅ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅ  ｗｉｔｈ  ａｐｒｉｃａｔｉｏｎ  ｔｏ  ｓｔｅｒｅｏ  ｖｉｓｉｏｎ"，Ｉｎ：  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ７ｔｈ  ｉｎｔｅｒｎａｔｉｏｎａｌ  ｊｏｉｎｔ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．６７４−６７９，１９８１．
【非特許文献８】Ｃ．Ｔｏｍａｓｉ，Ｔ．Ｋａｎａｄｅ，"Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｔｒａｃｋｉｎｇ  ｏｆ  ｆｅａｔｕｒｅｓ"，Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，ＣＭＵ−ＣＳ−９１−１３２，Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ，１９９１
【非特許文献９】加藤，深尾，羽下，"対象追跡−フレーム間の類似度に着目した手法から動きのモデルに着目した手法まで−"，情報処理学会研究報告，ＣＶＩＭ，２００５−ＣＶＩＭ−１５０，ｐｐ．１８５−１９８
【非特許文献１０】佐藤  淳："コンピュータビジョン  −視覚の幾何学−"，コロナ社，1999．
【非特許文献１１】Ｓ．ｍ．Ｓｍｉｔｈ  ａｎｄ  Ｊ．ｍ．Ｂｒａｄｙ，"ＳＵＳＡＮ：Ａ  ｎｅｗ  ａｐｐｒｏａｃｈ  ｔｏ  ｌｏｗ  ｌｅｖｅｌ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．２３，ｎｏ．１，ｐｐ．４５−７８，１９９７．
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前述した従来技術１では、角点検出オペレータで検出される角点周辺のテンプレート間で対応付けるが、フレーム間の特徴点の移動量が大きくなると、対応点の探索範囲が大きくなり、計算に多くの時間がかかり、計算コストが膨大になるという問題がある。また、対応点の探索範囲が大きくなると、画像上の輝度情報の類似度が近い対応点候補が複数検出されてしまうことがある。その場合には、画像上の輝度情報に基づいた類似度が最大であっても真の対応であるとは限らず、誤対応が起こりやすいという問題もある。
【００１４】
また、従来技術２では、対象の輝度情報の変化を最小化するように輝度勾配から対象の移動量を推定するが、時系列画像を対象とした手法でありフレーム間での移動量が微小であることを仮定している。そのため、視点位置の変化が大きくなった場合には、対応付けを行うことができないという問題である。
【００１５】
さらに、従来技術３では、エピポーラ拘束を利用して特徴点を対応付けるが、複数の画像を撮影した撮像装置間の位置と姿勢との相対関係が未知である場合には利用できないという問題がある。
【００１６】
また、従来技術４では、画像上で検出したエッジ上の点を検出及び探索するが、光源の影響や隠れ（オクルージョン）の影響を受けると、エッジは分断されて検出される。このような場合には、エッジの端点や曲率が変化する点は、物体上に本来存在する特徴的な点とは異なるため、２つの画像内の局所領域を対応付けられないという問題がある。また、エッジ検出オペレータで求めたエッジは角点や交点付近で分断されて検出され、そのエッジの端からある距離だけ離れた場所に、物体上に本来存在する角点が存在する場合がある。そのため、物体上に本来存在する特徴的な点をエッジ上で求めることができず、画像から検出したエッジ上の点を用いて、２つの画像間の局所領域を対応付けようとしても、対応付けられない場合があるという問題がある。
【００１７】
本発明は前述の問題点に鑑み、２つの画像を撮影した撮像装置間の位置及び姿勢の相対関係が未知で、かつ視点変化が大きい場合に、局所領域の対応付けを高速に行うことができるようにすることを目的としている。
【課題を解決するための手段】
【００１８】
本発明の情報処理装置は、物体をそれぞれ異なる視点から撮影した参照画像及び探索画像を入力する画像入力手段と、前記画像入力手段により入力された参照画像及び探索画像のそれぞれから直線を検出する直線検出手段と、前記直線検出手段によって検出された直線と、明度または色の変化とに基づいて前記参照画像及び探索画像からそれぞれ特徴点を検出する特徴点検出手段と、前記特徴点検出手段によって検出された特徴点の周辺の明度または色に基づいて前記参照画像及び前記探索画像の特徴量を記述する特徴量記述手段と、前記特徴量記述手段によって記述された前記参照画像の特徴量と前記探索画像の特徴量との相関を前記直線検出手段によって検出された直線に従って求め、前記求めた相関に基づいて前記参照画像と前記探索画像との間の局所領域の対応情報を決定する対応情報決定手段とを有することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、２つの画像を撮影した撮像装置間の位置及び姿勢の相対関係が未知で、かつ視点変化が大きい場合であっても、局所領域の対応付けを高速に行うことができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態における情報処理システムの構成例を示すブロック図である。
【図２】第１の実施形態における画像特徴の対応付けを行う処理手順の一例を示すフローチャートである。
【図３】図２のステップＳ２０２における直線を検出する処理手順の一例を示すフローチャートである。
【図４】角点の周辺領域を説明するための図である。
【図５】図２のステップＳ２０５における対応情報を求める処理手順の一例を示すフローチャートである。
【図６】図５のステップＳ５０２における対応点を探索する処理手順の一例を示すフローチャートである。
【図７】第２及び第３の実施形態における情報処理システムの構成例を示すブロック図である。
【図８】第２の実施形態における画像特徴の対応付けを行う処理手順の一例を示すフローチャートである。
【図９】第３の実施形態における画像特徴の対応付けを行う処理手順の一例を示すフローチャートである。
【図１０】図９のステップＳ９０７における対応情報を求める処理手順の一例を示すフローチャートである。
【図１１】図１０のステップＳ１００１における対応点を探索する処理手順の一例を示すフローチャートである。
【図１２】実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
（第１の実施形態）
図１は、本実施形態において、２つの画像内における局所領域の対応情報を求める情報処理システムの構成例を示すブロック図である。
図１に示すように、情報処理装置１００は、画像入力部１０１、直線検出部１０２、特徴点検出部１０３、特徴量記述部１０４、及び対応情報決定部１０５によって構成されている。
【００２２】
情報処理装置１００には撮像装置１２０が接続されており、本実施形態では、情報処理装置１００が、この撮像装置１２０により異なる視点から撮影した２つの画像内における局所領域の対応付けを行う。なお、本実施形態では、歪みパラメータなどの撮像装置１２０の内部パラメータは公知の技術により求めておき、撮影した画像の歪み補正を行う。
【００２３】
撮像装置１２０は、画像入力部１０１を介して情報処理装置１００に接続されている。撮像装置１２０は、視野を共有するように現実空間中の物体１３０を異なる視点から撮影し、撮影した画像を、画像入力部１０１へ出力する。撮像装置１２０から出力される信号がＮＴＳＣ信号などのアナログ信号である場合は、画像入力部１０１は、例えば、アナログビデオキャプチャボードによって実現される。また、撮像装置１２０から出力される信号がＩＥＥＥ１３９４などのデジタル信号である場合は、例えば、ＩＥＥＥ１３９４インタフェースボードによって実現される。
【００２４】
なお、本実施形態においては、必ずしも情報処理装置１００に撮像装置１２０が接続されている必要はなく、物体１３０を撮影した画像を記憶した記憶装置から画像を読み出す構成であってもよい。また、物体１３０を撮影した画像から直線及び角点を検出できる物体であるならば、物体１３０は何れの物体であってもよい。
【００２５】
次に、情報処理装置１００の詳細な構成について説明する。
画像入力部１０１は、撮像装置１２０から入力された後述する参照画像及び探索画像を直線検出部１０２、特徴点検出部１０３、及び特徴量記述部１０４に出力する。直線検出部１０２は、画像入力部１０１から入力した参照画像及び探索画像のそれぞれにおいて直線を検出し、その直線情報を特徴点検出部１０３へ出力する。
【００２６】
特徴点検出部１０３は、直線検出部１０２で検出した直線情報と、画像入力部１０１で取得した参照画像及び探索画像とを入力する。そして、参照画像及び探索画像のそれぞれから検出した直線の周辺領域において、画素値の明度変化、すなわち頂点を表すような輝度勾配が生じる角点を特徴点として検出する。特徴点を検出すると、参照画像から検出した特徴点及び探索画像から検出した特徴点の特徴点情報を特徴量記述部１０４へ出力する。
【００２７】
特徴量記述部１０４は、特徴点検出部１０３で検出された特徴点情報と、画像入力部１０１で取得した参照画像及び探索画像とを入力する。そして、参照画像及び探索画像で検出した特徴点周辺の画素の明度に基づく画素値により特徴量を記述し、記述したそれぞれの特徴量を対応情報決定部１０５に出力する。
【００２８】
対応情報決定部１０５は、直線検出部１０２で検出された直線情報と、特徴量記述部１０４で記述された特徴量とを入力する。そして、直線周辺で参照画像で検出された特徴点の特徴量と探索画像で検出された特徴点の特徴量との相関を求めることにより、参照画像と探索画像内の局所領域の対応情報を決定して、その対応情報を出力する。
【００２９】
図１２は、図１に示した情報処理装置１００のハードウェア構成例を示すブロック図である。
図１２において、ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているプログラムやデータを用いて情報処理装置１００全体を制御する。さらに、以下に説明する情報処理装置１００が行う処理を実行する。
【００３０】
ＲＡＭ１２０２は、外部記憶装置１２０６からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介して受信した現実空間画像のデータを一時的に記憶するためのエリアを有する。まら、ＲＡＭ１２０２は、ＣＰＵ１２０１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ１２０２は各種のエリアを適宜提供することができる。
【００３１】
ＲＯＭ１２０３は、情報処理装置１００の設定データや、ブートプログラムなどを格納する。操作部１２０４は、キーボードやマウスなどにより構成されており、ユーザが操作部１２０４を操作することにより、各種の指示を入力することができる。以下に説明するユーザからの指示は、この操作部１２０４を用いて入力されることになる。表示部１２０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１２０１による処理結果を画像や文字などを用いて表示することができる。
【００３２】
外部記憶装置１２０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、以下に説明する各処理をＣＰＵ１２０１に実行させるためのプログラムやデータが保存されている。また、外部記憶装置１２０６には、以下、既知の情報として説明するものについてもデータとして保存されている。外部記憶装置１２０６に保存されているプログラムやデータはＣＰＵ１２０１の制御に従ってＲＡＭ１２０２に適宜ロードされ、ＣＰＵ１２０１による処理対象となる。
【００３３】
Ｉ／Ｆ１２０７は、撮像装置１２０と接続するためのインターフェースとして機能するものである。撮像装置１２０が撮影した各フレームの現実空間画像のデータはＩ／Ｆ１２０７を介して外部記憶装置１２０６やＲＡＭ１２０２に送出される。また、バス１２０８は、上述の各部を繋ぐバスである。
【００３４】
次に、本実施形態における画像特徴の対応付けを行う処理手順について説明する。図２は、本実施形態における画像特徴の対応付けを行う処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、画像入力部１０１により参照画像及び探索画像を取得する。そして、ステップＳ２０２において、直線検出部１０２は、ステップＳ２０１で取得した参照画像及び探索画像から直線情報を検出する。
【００３５】
図３は、直線検出部１０２が直線を検出する処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、参照画像及び探索画像からエッジを検出する。ここでエッジとは、画像上で濃度が急激に変化する点である。エッジ検出は、例えばＳｏｂｅｌオペレータ、Ｐｒｅｗｉｔｔオペレータなどの公知のエッジ検出オペレータにより行う。各画素については、エッジ検出オペレータを画像のｘ軸方向、ｙ軸方向について適用する。そして、その出力値をもとに、エッジ強度及びエッジ方向を算出する。エッジ検出オペレータの水平方向の出力値がｇｘ、垂直方向の出力値がｇｙである場合、該画素におけるエッジ強度Ｉは以下の式（２）により算出される。
【００３６】
【数２】
2014102805.tif 000004
【００３７】
また、該画素におけるエッジ方向φは以下の式（３）により算出される。
【００３８】
【数３】
2014102805.tif 000005
【００３９】
次に、ステップＳ３０２において、２値化画像を生成する。ステップＳ３０１では、エッジのぼけやエッジ検出オペレータのウィンドウサイズの影響により、エッジはその方向にある幅を持って検出される。そこで、各画素について、エッジ方向の隣接画素のエッジ強度を比較し、隣接画素よりもエッジ強度が大きい画素のみをエッジとして残し、エッジ幅を１画素にする細線化を行う。そして、エッジとして残った画素には１を、それ以外の画素には０を割り当てることにより２値化画像を生成する。なお、細線化されたエッジ検出結果を出力する、Ｃａｎｎｙのエッジ検出器を用いてエッジ検出と細線化とを行ってもよい。
【００４０】
次に、ステップＳ３０３において、ステップＳ３０２で生成された２値化画像について、隣接エッジのラベリングを行う。ラベリングは、例えばある画素の周囲８画素の中にエッジが存在すれば、同一ラベルを割り当てることにより行う。
【００４１】
次に、ステップＳ３０４において、ステップＳ３０３において同一ラベルに分類された隣接エッジの中から複数の枝が分岐する点を探索し、該分岐点において枝を切断し、各枝に異なるラベルを割り当てる。なお、分岐点がないものについては、分岐点の処理を行わないようにする。
【００４２】
次に、ステップＳ３０５において、ステップＳ３０４でラベルを割り当てられた各枝について、折れ線近似を行う。折れ線近似は、例えば以下の方法により行う。まず、枝の両端を線分で結び、枝上の点のうち該線分との距離が最大かつ閾値以上の点に新たに分割点を設ける。次に、この分割点と枝の両端とを線分で結び、該線分との距離が最大の点に分割点を設ける。この処理を、枝が折れ線によって十分近似されるまで再帰的に繰り返す。その後、折れ線を構成する各線分について、両端の座標を画像上の線分の検出結果として得る。
【００４３】
次に、ステップＳ３０６において、ステップＳ３０５で得た線分の両端の座標を通る直線の式（ａ'ｘ＋ｂ'ｙ＋ｃ'＝０）を求め、直線のパラメータ（ａ'，ｂ'，ｃ'）、直線のインデックス、及び直線周辺の画素の輝度情報を直線情報の検出結果とする。ここで、参照画像から検出した直線のインデックスをｊ（ｊ＝１，２，．．．，Ｊ）とし、探索画像から検出した直線のインデックスをｉ（ｉ＝１，２，．．．，Ｉ）とする。Ｊ及びＩはそれぞれの画像における直線の総数を表す。なお、以下では、参照画像における直線のインデックスがｊである直線を直線Ｌ１jと表記し、探索画像における直線のインデックスがｉである直線を直線Ｌ２iと表記する。このように直線近似を行い、直線情報を求める。
【００４４】
図２の説明に戻り、次に、ステップＳ２０３において、特徴点検出部１０３は、参照画像及び探索画像のそれぞれにおいて、検出した直線の周辺領域での明度に基づく画素値に基づいて特徴点を検出する。まず、画素の明度である輝度値が急激に変化し、画像上において頂点を表すような角点を検出する。角点検出は、例えば、Ｈａｒｒｉｓオペレータのような公知の角点検出オペレータにより行う。Ｈａｒｒｉｓオペレータは以下の式（４）及び式（５）により定義される。
【００４５】
【数４】
2014102805.tif 000006
【００４６】
【数５】
2014102805.tif 000007
【００４７】
ここで、式中のｋは定数（Ｈａｒｒｉｓは、ｋ＝０．０４を推奨）であり、Ｇσは標準偏差σのガウス分布による平滑化を表す。また、ｆx、ｆyは、それぞれｘ方向の微分値、ｙ方向の微分値である。そして、式（４）の正の極大値を大きい順に指定した個数だけ取り出す。また、角点検出を全画素に対して行うのではなく、参照画像で検出した各直線Ｌ１j、探索画像で検出した各直線Ｌ２iから、それぞれ距離ｄの周辺領域内において角点検出を行うことにより処理を高速化することができる。ここで、距離ｄは、直線周辺領域に存在する角点を検出するための閾値である。すなわち、直線から距離ｄ以内で検出された角点は、直線周辺領域上に存在するとみなす。なお、画像上で角点を検出できれば、角点の検出方法はＨａｒｒｉｓオペレータに限られるものではない。例えば、非特許文献６に記載されているＦＡＳＴオペレータや、非特許文献１１に記載されているＳＵＳＡＮオペレータなど、その他の何れの方法で求めてもよい。
【００４８】
次に、参照画像において検出された直線Ｌ１j周辺の角点を、直線Ｌ１jと関連付けて、特徴点Ｑ１kj（ｋ＝１，２，・・・Ｋj、ｊ＝１，２，・・・Ｊ）とする。ここで、Ｋjは直線Ｌ１j周辺で検出された特徴点の総数を表す。その特徴点Ｑ１kjの画像座標ＵＱ１kj（ｘＱ１kj，ｙＱ１kj）、インデックスｋ、直線のインデックスｊを特徴点情報として保持する。
【００４９】
また、探索画像においても同様に、直線Ｌ２i周辺の角点を、直線Ｌ２iと関連付けて、特徴点Ｑ２mi（ｍ＝１，２，・・・Ｍi、ｉ＝１，２，・・・Ｉ）とする。ここで、Ｍiは直線Ｌ２i周辺で検出された特徴点の総数を表す。その特徴点Ｑ２miの画像座標ＵＱ２mi（ｘＱ２mi，ｙＱ２mi）、インデックスｍ、直線のインデックスｉを特徴点情報として保持する。なお、複数の直線周辺に存在する角点は、その直線ごとに特徴点として登録する。そして、多重に登録したそれぞれの特徴点に対して同一の識別子ｃ（ｃ＝１，・・・Ｃ）を特徴点情報に付け加える。ここで、Ｃは、多重登録の総数を表す。
【００５０】
次に、ステップＳ２０４において、特徴量記述部１０４は、ステップＳ２０３で検出した特徴点周辺の輝度情報に基づいて特徴量の記述を行う。この処理では、まず、参照画像における特徴点Ｑ１kjの周辺の領域ＰＱ１kjの情報を保持する。このとき、図４に示すように画像のｘ軸と直線との間の角度をθとして、直線が画像のｘ軸と平行になるように特徴点Ｑ１kjを中心に直線周辺の領域をθ（または−θ）だけ回転させる。なお、座標（ｘ，ｙ）をθで回転した後の座標を（ｕ，ｖ）とすると、以下の式（６）に従って回転させる。
【００５１】
【数６】
2014102805.tif 000008
【００５２】
ただし、式中のθは反時計まわりの回転角である。そして、特徴点Ｑ１kjを中心にθだけ回転させた領域において、例えば、８×８画素パッチの画素値を特徴点の周辺領域ＰＱ１kjとして保持する。ここで、回転後の領域における８×８パッチの画像座標が整数で得られない場合は、回転前の領域における最近傍の画像座標を選択してサンプリングする。以上の方法により特徴点の周辺領域ＰＱ１kjを得る。さらに、ステップＳ２０２で直線Ｌ１jを得るために生成したエッジの二値化画像を参照して、エッジの上部から下部へ、０から１へ値が変化していなければ、特徴点の周辺領域を１８０度回転させる。探索画像においても同様に特徴点Ｑ２miを中心として周辺の領域を回転させ、周辺領域ＰＱ２miを保持する。
【００５３】
そして、参照画像におけるすべての特徴点Ｑ１kjの画像座標ＵＱ１kj（ｘＱ１kj，ｙＱ１kj）、特徴点の周辺領域ＰＱ１kjを特徴量として記述する。さらに、特徴点のインデックスｋ（ｋ＝１，２，・・・Ｋj）、及び直線のインデックスｊ（ｊ＝１，２，・・・Ｊ）をそれぞれの特徴量に関連付ける。探索画像も同様に、すべての特徴点Ｑ２miの画像座標ＵＱ２mi（ｘＱ２mi，ｙＱ２mi）、特徴点の周辺領域ＰＱ２miを特徴量として記述する。さらに特徴点のインデックス（ｍ＝１，２，・・・Ｍi）、及び直線のインデックスｉ（ｉ＝１，２，・・・Ｉ）をそれぞれの特徴量に関連付ける。
【００５４】
次に、ステップＳ２０５において、対応情報決定部１０５は、探索画像で検出した直線Ｌ２i周辺を探索領域として、参照画像で検出した特徴点Ｑ１kjと対応する点を、探索領域内で探索して対応情報を求める。
【００５５】
図５は、図２のステップＳ２０５における対応情報決定部１０５による対応情報を求める処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、直線Ｌ１j周辺で検出された特徴点Ｑ１kjの周辺領域ＰＱ１kjの画素値をベクトルとして保持する。次に、ステップＳ５０２において、直線Ｌ１j周辺で検出された特徴点Ｑ１kjに対応する対応点を、探索画像で検出した直線Ｌ２ｉ周辺を探索領域として、その探索領域内を探索する。
【００５６】
図６は、ステップＳ５０２における対応点を探索する処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、探索画像で検出した直線Ｌ２i周辺の特徴点Ｑ２miの周辺領域ＰＱ２miの画素値をベクトルとして保持する。
【００５７】
次に、ステップＳ６０２において、探索画像で検出した直線Ｌ２i周辺の特徴点Ｑ２miの周辺領域ＰＱ２miと、特徴点Ｑ１kjの周辺領域ＰＱ１kjとの類似度を求める。類似度の計算方法としては、例えば、特徴点の周辺領域における画素値の正規化相互相関により求める。類似度には、予め閾値を設けておき、各周辺領域で類似度を計算して閾値に満たない場合は、直線Ｌ２i周辺には、対応点はなかったとして処理を進める。ここで、特徴点の周辺領域は、ステップＳ２０４で特徴量の記述を行う際に直線が画像のｘ軸と平行となるように回転しているため、回転を考慮した類似度の計算が可能である。
【００５８】
なお、類似度の計算は、上述の方法に限らない。上述の方法は、撮像装置１２０の回転変化のみを考慮しているが、参照画像と探索画像との間で、スケール変化やアフィン変化を伴う場合には、これらを考慮して類似度を求め、対応付けを行う。例えば、非特許文献２に記載されているように、解像度の異なる画像に対して特徴点を検出し、それぞれに対して類似度を算出することによりスケールの異なる特徴に対して類似度を算出してもよい。これにより、画像上でスケールが変化する場合にも類似度に基づいて対応付けることができる。
【００５９】
また、特徴点の周辺領域を平面であると仮定することにより、アフィン変換等を用いて様々な視点から観察したときに得られると推定される仮想的な周辺領域画像を生成し、それぞれの仮想的な周辺領域に対して類似度を算出してもよい。これにより、２つの画像間でアフィン変化を伴う場合にも、求めた類似度に基づいて対応付けを行うことができる。また、類似度の計算方法は、正規化相互相関に限るものではなく、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｎｃｅ）などの相違度に基づいて求めてもよい。
【００６０】
次に、ステップＳ６０３において、直線Ｌ２i周辺で検出されたすべての特徴点Ｑ２mi（ｍ＝１，２，．．．，Ｍi）に対して探索（類似度の算出）を行ったか否かを判定する。この判定の結果、直線Ｌ２i周辺で検出されたすべての特徴点を探索した場合には、ステップＳ６０４へ進む。一方、ステップＳ６０３の判定の結果、直線Ｌ２i周辺で検出されたすべての特徴点を探索していない場合には、ステップＳ６０１へ戻り、直線Ｌ２i周辺で検出されたすべての特徴点の類似度を求めるまで処理を繰り返す。
【００６１】
次に、ステップＳ６０４において、すべての直線Ｌ２i（ｉ＝１，２，・・・Ｉ）に対して探索（類似度の算出）を行ったか否かを判定する。この判定の結果、すべての直線Ｌ２iに対して探索した場合は、ステップＳ６０５へ進む。一方、ステップＳ６０４の判定の結果、すべての直線Ｌ２iを探索していない場合には、ステップＳ６０１へ戻り、すべての直線Ｌ２iを探索するまで繰り返す。
【００６２】
次に、ステップＳ６０５において、すべての直線Ｌ２iを探索した時点で最大の類似度を持つ特徴点Ｑ２miを特徴点Ｑ１kjの対応点候補とする。そして、この最大の類似度を得た際の直線Ｌ２iのインデックスｉを関連付けて、処理を終了する。一方、すべての直線Ｌ２iを探索した時点で、求めたすべての類似度が、ステップＳ６０２における類似度の閾値に満たない場合には、対応点は存在しないとし、処理を終了する。
【００６３】
図５の説明に戻り、ステップＳ５０３において、直線Ｌ１j周辺で検出したすべての特徴点Ｑ１kj（ｋ＝１，２，・・・Ｋj）に対して対応点探索を行ったか否かを判定する。この判定の結果、直線Ｌ１j周辺で検出したすべての特徴点Ｑ１kjに対して対応点探索を行った場合には処理をステップＳ５０４へ進める。一方、直線Ｌ１j周辺で検出したすべての特徴点Ｑ１kjに対して対応点探索を行っていない場合には、ステップＳ５０１へ処理を戻す。
【００６４】
次に、ステップＳ５０４において、直線対応の信頼度を算出する。正しい対応が得られていれば、すべての対応点候補が同一直線周辺で検出されるが、誤対応が含まれている場合には、異なる直線周辺で検出された特徴点も対応点候補として含まれる。そこで、まず、直線Ｌ１j周辺で検出された特徴点Ｑ１kj（ｋ＝１，２，・・・Ｋj）の対応点候補に関連付けられた直線Ｌ２iのインデックスをカウントする。そのインデックスを持つ直線Ｌ２iと直線Ｌ１jとを、直線対応の候補とする。次にインデックスをカウントした総数が多い順に並べ、インデックスの総数に応じて重みωを求める。なお、重みωは、インデックスの総数が多くなると高い重みを与え、インデックスの総数をそのまま利用してもよいし、インデックスの最大の総数で割ることにより正規化した値を用いてもよい。さらに、直線対応の候補として得られた直線の組における対応点候補の類似度の平均類似度に、重みωを掛け合わせたものを、直線対応の信頼度として算出する。
【００６５】
次に、ステップＳ５０５において、すべての直線Ｌ１j（ｊ＝１，２，・・・Ｊ）に対して処理が終了したか否かを判定する。この判定の結果、すべての直線Ｌ１j（ｊ＝１，２，・・・Ｊ）に対して探索を行った場合には処理を終了する。一方、ステップＳ５０５の判定の結果、すべての直線Ｌ１jに対して探索を行っていない場合にはステップＳ５０１へ戻り、すべての直線Ｌ１jに対して探索を行うまでステップＳ５０１からＳ５０４までの処理を繰り返す。
【００６６】
図２の説明へ戻り、次に、ステップＳ２０６において、対応情報決定部１０５は、参照画像で検出した特徴点Ｑ１kjと探索画像で検出した特徴点Ｑ２miとの対応情報を決定する。
【００６７】
ここで、参照画像で検出された複数の直線に対応する候補として、探索画像で検出された１つまたは複数の直線が選択された場合、直線の組が１対１で対応していないので、誤対応が含まれていると仮定できる。そこで、まず、このような複数の直線の組に対して、ステップＳ５０４で求めた直線対応の信頼度の高い順に並べ替える。次に、これらの直線の組において、直線対応の信頼度が最大となる直線の組を正しい直線対応として決定し、それ以外の直線の組は、未決定の直線対応の候補として保持しておく。そして、未決定の直線対応の候補として残された直線の組がある場合には、未決定の直線対応の中で最大の信頼度を持つ直線の組を直線対応として決定する。未決定の直線候補の組がすべて直線対応として決定するまで、上記の処理を繰り返す。
【００６８】
このように直線対応を信頼度の高い組から決定することによって、誤対応を含まないように直線Ｌ１jと直線Ｌ２iとの対応を１対１で得ることができる。さらに、決定した直線対応の組において、検出されている対応点候補のみを残し、その他を除去するようにする。なお、すべての直線の対応が１対１で求まる場合には、上記のような処理を行う必要はない。
【００６９】
さらに、特徴点として多重に登録されていることを表す識別子ｃを持つ対応点候補の組が複数ある場合には、１つの組のみを選択して、他の対応点候補を除去する。そして、参照画像で検出した特徴点Ｑ１kjの画像座標ＵＱ１kj（ｘＱ１kj，ｙＱ１kj）と、探索画像で検出した特徴点Ｑ２miの画像座標ＵＱ２mi（ｘＱ２mi，ｙＱ２mi）とを組にしたベクトルを生成する。そして、これを参照画像及び探索画像内の局所領域の対応情報として出力して処理を終了する。
【００７０】
以上のように本実施形態によれば、参照画像及び探索画像のそれぞれに対して直線検出と特徴点検出とを行い、直線周辺で検出した角点を特徴点として、それを直線周辺で探索することにより、参照画像及び探索画像内の局所領域の対応情報を求めることができる。
【００７１】
実際に画像上で検出されたエッジは、光源変化や見えの隠れ（オクルージョン）により、分断されて検出されることが多い。そのため、参照画像上で検出されたエッジの端点のようなエッジ上で求めた特徴点は、探索画像において検出したエッジ上で誤対応することが多い。これに対して本実施形態では、直線周辺で検出した角点を特徴点とすることにより、光源やオクルージョンによってエッジが分断されて検出しても、対応点を求めることができる。さらに、画像で検出した直線周辺を探索することにより、精度よく対応情報を得ることができる。また、直線周辺で特徴点を探索するだけでよいため、高速に処理することができる。
【００７２】
（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。
図７は、本実施形態において、２つの画像内における局所領域の対応情報を求める情報処理システムの構成例を示すブロック図である。なお、情報処理装置７００のハードウェア構成は図１２と同様であるため、説明は省略する。
図７に示すように、情報処理装置７００は、画像入力部７０１、データ管理部７０２、直線検出部７０３、特徴点検出部７０４、特徴量記述部７０５、及び対応情報決定部７０６によって構成されている。
【００７３】
情報処理装置７００には撮像装置１２０が接続されており、視野を共有するように現実空間中の物体１３０を異なる視点から撮影する。本実施形態では、情報処理装置７００が、この撮像装置１２０により異なる視点から撮影した２つの画像内における局所領域の対応付けを行う場合について説明する。なお、本実施形態では、歪みパラメータなどの撮像装置１２０の内部パラメータは公知の技術により求めておき、撮影した画像の歪み補正を行う。
【００７４】
撮像装置１２０は、第１の実施形態と同様であるため、説明を省略する。なお、撮像装置１２０は、必ずしも情報処理装置７００に接続されている必要はなく、視野を共有するように物体１３０を撮影した画像を記憶した記憶装置から画像を読み出す構成であってもよい。
【００７５】
次に、情報処理装置７００の詳細な構成について説明する。
画像入力部７０１は、撮像装置１２０から入力された参照画像及び探索画像をデータ管理部７０２に出力する。データ管理部７０２は、画像入力部７０１から参照画像及び探索画像を入力し、これらの画像を管理する。本実施形態では、画像やその他のパラメータを一括してデータ管理部７０２が管理する。
【００７６】
直線検出部７０３は、データ管理部７０２から参照画像及び探索画像を入力し、それぞれの画像において直線を検出し、その直線情報をデータ管理部７０２へ出力する。特徴点検出部７０４は、データ管理部７０２から参照画像及び探索画像を入力し、入力した画像上の画素値の明度変化、すなわち頂点を表すような輝度変化が起こる角点を特徴点として検出する。参照画像から検出した特徴点及び探索画像から検出した特徴点の特徴点情報をデータ管理部７０２へ出力する。なお、本実施形態では、直線情報を用いずに特徴点を検出する。
【００７７】
特徴量記述部７０５は、データ管理部７０２から参照画像と、探索画像と、これらの画像から検出した直線情報及び特徴点情報とを入力する。そして、参照画像及び探索画像のそれぞれから検出した直線の周辺領域において検出されるそれぞれの特徴点周辺の明度に基づく画素値に基づいて、特徴量を記述する。そして、記述した特徴量をデータ管理部７０２に出力する。
【００７８】
対応情報決定部７０６は、データ管理部７０２から、参照画像及び探索画像で検出された直線情報と特徴量とを入力する。そして、検出された直線の周辺領域で、参照画像で検出された特徴点の特徴量と探索画像で検出された特徴点の特徴量との相関を求めることにより、参照画像及び探索画像内の局所領域の対応情報を決定して対応情報を出力する。
【００７９】
次に、本実施形態における画像特徴の対応付けを行う処理手順について説明する。図８は、本実施形態における画像特徴の対応付けを行う処理手順の一例を示すフローチャートである。
まず、ステップＳ８０１において、画像入力部７０１により参照画像及び探索画像を取得し、それぞれの画像をデータ管理部７０２に出力する。
【００８０】
次に、ステップＳ８０２において、直線検出部７０３は、ステップＳ８０１で取得した参照画像及び探索画像から直線情報を検出する。直線の検出方法は、図３に示した手順と同様の処理であるため説明を省略する。そして、直線近似を行って求めた直線のパラメータ、及び直線のインデックスを直線情報としてデータ管理部７０２へ出力する。
【００８１】
次に、ステップＳ８０３において、特徴点検出部７０４は、参照画像及び探索画像のそれぞれにおいて、明度に基づく画素値の変化に基づいて特徴点を検出する。本実施形態では、直線の周辺領域に限定せず、画像上で輝度値が急激に変化し、画像上において頂点を表すような角点を特徴点として検出する。角点の検出方法については、第１の実施形態におけるステップＳ２０３で説明したので省略する。また、参照画像において検出された特徴点をＱ１a（ａ＝１，２，・・・Ａ）とする。ここで、Ａは検出された特徴点の総数を表す。そして、すべての特徴点Ｑ１aの画像座標ＵＱ１a（ｘＱ１a，ｙＱ１a）を特徴点情報としてデータ管理部７０２へ出力する。また、探索画像においても同様に、検出した特徴点をＱ２b（ｂ＝１，２，・・・Ｂ）とする。ここで、Ｂは検出された特徴点の総数を表す。そして、同様に、すべての特徴点Ｑ２bの画像座標ＵＱ２b（ｘＱ２b，ｙＱ２b）を特徴点情報としてデータ管理部７０２へ出力する。
【００８２】
次に、ステップＳ８０４において、特徴量記述部７０５は、ステップＳ８０３で検出した特徴点の周辺の明度に基づく画素値に基づいて特徴量の記述を行う。この処理では、まず、データ管理部７０２から、参照画像と、探索画像と、これらの画像で検出した直線の直線情報及び特徴点の特徴点情報とを入力する。そして、直線Ｌ１j（ｊ＝１，２，・・・Ｊ）から距離ｄの周辺領域内に存在する特徴点Ｑ１a（ａ＝１，２，・・・Ａ）を求める。このようにして直線周辺領域で検出された特徴点Ｑ１aに対して、直線情報と関連付けて新たにインデックスを与え、特徴点Ｑ１kj（ｋ＝１，２，・・・Ｋj，ｊ＝１，２，・・・Ｊ）として表す。同様に、探索画像についても特徴点Ｑ２bに対して、直線情報と関連付けて新たにインデックスを与え、特徴点Ｑ２miとして表す。ここで、Ｋjは直線Ｌ１j周辺で検出された特徴点の総数を表し、Ｍiは１つの直線周辺で検出された特徴点の総数を表す。
【００８３】
次に、参照画像における特徴点Ｑ１kjの周辺領域ＰＱ１kjを保持する。特徴点の周辺領域の求め方の説明は、第１の実施形態と同様のため省略する。そして、参照画像におけるすべての特徴点Ｑ１kjの画像座標ＵＱ１kj（ｘＱ１kj，ｙＱ１kj）、及び特徴点の周辺領域ＰＱ１kjを特徴量として記述する。さらに、特徴点のインデックス（ｋ＝１，２，・・・Ｋj）、及び直線のインデックスｊ（ｊ＝１，２，・・・Ｊ）をそれぞれの特徴量に関連付ける。探索画像も同様に、すべての特徴点Ｑ２miの画像座標ＵＱ２mi（ｘＱ２mi，ｙＱ２mi）、及び特徴点の周辺領域ＰＱ２miを特徴量として記述する。さらに特徴点のインデックスｍ（ｍ＝１，２，・・・Ｍi）、及び直線のインデックスｉ（ｉ＝１，２，・・・Ｉ）をそれぞれの特徴量に関連付ける。
【００８４】
次に、ステップＳ８０５において、対応情報決定部７０６は、探索画像で検出した直線Ｌ２ｉ周辺を探索領域として、参照画像で検出した特徴点Ｑ１ｋｊと対応する点を、探索領域内で探索して対応情報を求める。この処理は、第１の実施形態におけるステップＳ２０５と同様のため、説明を省略する。
【００８５】
次に、ステップＳ８０６において、参照画像で検出した特徴点Ｑ１kjの画像座標ＵＱ１kj（ｘＱ１kj，ｙＱ１kj）と、探索画像で検出した特徴点Ｑ２miの画像座標ＵＱ２mi（ｘＱ２mi，ｙＱ２mi）とを組にしたベクトルを生成する。そして、これを対応情報として出力して処理を終了する。この処理も第１の実施形態におけるステップＳ２０６と同様のため、説明を省略する。
【００８６】
以上のように、参照画像及び探索画像のそれぞれに対して直線検出と特徴点検出を行い、直線周辺で検出した角点を特徴点とし、それを直線周辺で探索することにより、参照画像及び探索画像内の局所領域の対応情報を求めることができる。
【００８７】
（第３の実施形態）
以下、本発明の第３の実施形態について、図面を参照しながら説明する。なお、本実施形態に係る情報処理システムの構成については図７と同様であるため、説明は省略する。また、情報処理装置７００のハードウェア構成も図１２と同様であるため、説明は省略する。以下、第２の実施形態と異なる点について説明する。
【００８８】
図９は、本実施形態における画像特徴の対応付けを行う処理手順の一例を示すフローチャートである。
まず、ステップＳ９０１において、画像入力部７０１により参照画像を取得し、参照画像をデータ管理部７０２に出力する。そして、ステップＳ９０２において、直線検出部７０３は、ステップＳ９０１で取得した参照画像から直線情報を検出する。直線の検出方法は、第１の実施形態における直線検出部１０２と同様の処理であるため説明を省略する。そして、直線近似を行うことによって求めた直線のパラメータ、及び直線のインデックスを直線情報としてデータ管理部７０２に出力する。
【００８９】
次に、ステップＳ９０３において、特徴点検出部７０４は、参照画像において、画素の明度変化に基づいて特徴点を検出する。画像上で輝度値が急激に変化し、画像上において頂点を表すような角点を特徴点として検出する。角点の検出方法については、第１の実施形態におけるステップＳ２０３で述べたので省略する。また、第２の実施形態と同様に、参照画像において検出された特徴点をＱ１a（ａ＝１，２，．．．，Ａ）とする。そして、すべての特徴点Ｑ１aの画像座標ＵＱ１a（ｘＱ１a，ｙＱ１a）を特徴点情報としてデータ管理部７０２へ出力する。
【００９０】
次に、ステップＳ９０４において、特徴量記述部７０５は、ステップＳ９０３で検出した特徴点周辺の明度に基づく画素値に基づいて特徴量の記述を行う。この処理では、まず、データ管理部７０２から、参照画像と、参照画像から検出した直線の直線情報及び特徴点の特徴点情報とを入力する。そして、図８のステップＳ８０４と同様の手順により特徴点Ｑ１a（ａ＝１，２，Ａ）を求め、特徴点Ｑ１aに対して直線情報と関連付けて新たにインデックスを与え、特徴点Ｑ１kj（ｋ＝１，２，・・・Ｋj，ｊ＝１，２，・・・Ｊ）として表す。ここで、Ｋjは直線Ｌ１j周辺で検出された特徴点の総数を表す。そして、参照画像における特徴点Ｑ１kjの周辺領域ＰＱ１kjを保持する。特徴点の周辺領域の求め方については、第１の実施形態と同様のため説明は省略する。
【００９１】
次に、ステップＳ９０５において、画像入力部７０１により探索画像を取得し、探索画像をデータ管理部７０２に出力する。そして、ステップＳ９０６において、ステップＳ９０２と同様の手順により、ステップＳ９０５で取得した探索画像から直線情報を検出する。そして、検出した直線のパラメータ、及び直線のインデックスを直線情報として、データ管理部７０２へ出力する。
【００９２】
次に、ステップＳ９０７において、対応情報決定部７０６は、探索画像で検出した直線Ｌ２i周辺を探索領域として、参照画像で検出した特徴点Ｑ１kjと対応する点を、探索領域内で探索して対応情報を求める。
【００９３】
図１０は、図９のステップＳ９０７における対応情報決定部７０６により対応情報を求める処理手順の一例を示すフローチャートである。なお、ステップＳ５０１、Ｓ５０３〜Ｓ５０５の処理は、第１の実施形態で説明した処理と同様であるため、説明を省略する。そして、ステップＳ１００１において、以下の図１１のフローチャートに従って直線Ｌ１j周辺で検出された特徴点Ｑ１kjに対応する対応点を探索する。
【００９４】
図１１は、図１０のステップＳ１００１における対応点を探索する処理手順の一例を示すフローチャートである。
まず、ステップＳ１１０１において、直線Ｌ２i周辺で、対応点候補を探索する探索領域Ｒを設定する。つまり、直線Ｌ２i周辺領域で、かつ、直線検出を行う際に検出したエッジ周辺領域ではない領域を、対応点を探索する探索領域Ｒとして設定する。このように探索領域を設定するのは、エッジオペレータで検出したエッジ領域には、角点のような特徴点は含まれないことが多いので、探索を省くことによって処理の効率化を図っている。
【００９５】
次に、ステップＳ１１０２において、直線Ｌ２i周辺で設定した探索領域Ｒ内の全ての画素を点Ｑ２si（ｓ＝１，２，・・・Ｓi）とし、点Ｑ２si（ｓ＝１，２，・・・Ｓi）の周辺領域ＰＱ２siの画素値をベクトルとして保持する。ここで、Ｓiは直線Ｌ２i周辺で設定した探索領域Ｒ内のすべての画素の総数である。このとき、画像のｘ軸と直線との間の角度をθとして、画像のｘ軸と直線Ｌ２iとが平行になるように直線Ｌ２iの周辺領域すべてをθ（または−θ）だけ回転させる。さらに、直線Ｌ２iを得るために生成したエッジの二値化画像を参照して、エッジの上部から下部へ、０から１へ値が変化していなければ、特徴点の周辺領域を１８０度回転させる。ここで、回転後の直線Ｌ２iの周辺領域における点Ｑ２siの８×８画素パッチの画像座標が、整数で得られない場合、回転前の領域における最近傍の画像座標を選択することによりサンプリングする。そして回転後の点Ｑ２siの周辺領域をＰＱ２siとする。
【００９６】
なお、各点Ｑ２siの周辺領域ＰＱ２siを求める方法は、これに限らない。例えば、画像のｘ軸と直線Ｌ２iとが平行になるように各点Ｑ２siを中心に回転させた領域を、周辺領域ＰＱ２siとしてもよい。このような点の周辺領域の求め方の説明は、第１の実施形態と同様のため省略する。
【００９７】
次に、ステップＳ１１０３において、点Ｑ２siの周辺領域ＰＱ２siと、特徴点Ｑ１kjの周辺領域ＰＱ１kjとの類似度を求める。類似度の計算方法は、第１の実施形態と同様であるため説明を省略する。
【００９８】
次に、ステップＳ１１０４において、探索領域Ｒ内のすべての点Ｑ２si（ｓ＝１，２，・・・Ｓi）を探索したか否かを判定する。この判定の結果、すべての点Ｑ２siを探索した場合には、ステップＳ１１０５へ進む。一方、ステップＳ１１０４の判定の結果、探索領域Ｒ内のすべての点Ｑ２siを探索していない場合には、ステップＳ１１０２へ戻る。
【００９９】
次に、ステップＳ１１０５において、すべての直線Ｌ２i（ｉ＝１，２，．．．，Ｉ）に対して探索（類似度の算出）を行ったか否かを判定する。この判定の結果、すべての直線Ｌ２iに対して探索した場合は、ステップＳ１１０６へ進む。一方、ステップＳ１１０５の判定の結果、すべての直線Ｌ２iを探索していない場合は、ステップＳ１１０１へ戻り、すべての直線Ｌ２iを探索するまで繰り返す。
【０１００】
次に、ステップＳ１１０６において、すべての直線Ｌ２iを探索した時点で最大の類似度を持つ点Ｑ２siの画像座標ＵＱ２si（ｘＱ２si，ｙＱ２si）を特徴点Ｑ１kjの対応点候補とする。ここで、得られた対応点候補である点Ｑ２siに対して新たにインデックスを与え、特徴点Ｑ２mi（ｍ＝１，２，・・・Ｍi，ｉ＝１，２，・・・Ｉ）として表す。なお、Ｍiは直線Ｌ２mi周辺で検出された全特徴点Ｑ１kj（ｋ＝１，・・・Ｋj，ｊ＝１，２，・・・Ｊ）に対する対応点候補の総数を表す。そして、特徴点Ｑ２miの画像座標ＵＱ２mi（ｘＱ２mi，ｙＱ２mi）を特徴点Ｑ１kjの対応点候補として出力する。一方、すべての直線Ｌ２iを探索した時点で、求めたすべての類似度が、ステップＳ１１０３における類似度の閾値に満たない場合には、対応点は存在しないものとする。
【０１０１】
図９の説明に戻り、次に、ステップＳ９０８において、対応情報決定部７０６は、参照画像で検出した特徴点Ｑ１kjと探索画像で検出した特徴点Ｑ２miとの対応情報を決定する。対応情報の決定方法は、第１の実施形態におけるステップＳ２０６と同様であるため、説明を省略する。参照画像で検出した特徴点Ｑ１kjの画像座標ＵＱ１kj（ｘＱ１kj，ｙＱ１kj）と、探索画像で検出した特徴点Ｑ２miの画像座標ＵＱ２mi（ｘＱ２mi，ｙＱ２mi）とを組にしたベクトルを生成し、これを対応情報として出力して処理を終了する。
【０１０２】
以上のように本実施形態によれば、参照画像において直線検出と特徴点検出とを行い、探索画像において検出した直線周辺で探索することにより、参照画像及び探索画像内の局所領域の対応情報を求めることができる。
【０１０３】
（その他の実施形態）
第１〜第３の実施形態では、参照画像で検出した直線領域の全域において、特徴点の特徴量を求めていた。しかし、参照画像で検出した直線領域の周辺で特徴点の特徴量を求めるのであれば、これらの方法に限るものではない。例えば、直線全域に対して特徴点の特徴量を求めるのではなく、画像上で検出したエッジを、エッジの両端からエッジの方向ベクトル正負の向きにある距離を延長した領域と、直線の周辺領域とが重なる領域において検出される特徴点の特徴量を求めてもよい。また、直線検出を行う際に検出したエッジ周辺領域でない領域と、直線の周辺領域とが重なる領域において検出される特徴点の特徴量を求めてもよい。
【０１０４】
また、第１及び第２の実施形態では、対応点を探索するために、参照画像で検出した特徴点の特徴量を、探索画像で検出した直線全域に対して探索していた。しかし、探索方法はこれに限らない。例えば、直線全域に対して特徴点を探索するのではなく、画像上で検出したエッジを、エッジの両端からエッジの方向ベクトル正負の向きにある距離を延長した領域と重なる直線の周辺領域に対して、特徴点を探索してもよい。
【０１０５】
また、第３の実施形態では、対応点を探索する探索領域Ｒを、直線Ｌ２i周辺領域であって、かつ、直線検出を行う際に検出したエッジ周辺領域ではない領域とした。しかし、直線Ｌ２i周辺領域であれば、これに限らない。例えば、画像上で検出したエッジを、エッジの両端からエッジの方向ベクトル正負の向きにある距離を延長した領域と重なる直線Ｌ２iの周辺領域を探索領域Ｒとしてもよい。また、直線Ｌ２i周辺領域の全域を探索領域Ｒとしてもよい。
【０１０６】
また、第３の実施形態では、参照画像で検出した特徴点の特徴量を、探索領域Ｒ内で全探索することにより対応点候補を求めた。しかし、探索領域Ｒ内であれば、探索領域内のすべての画素を探索しなくてもよい。例えば、探索領域Ｒ内における隣接する画素のうち、所定の画素だけ離れた画素を点Ｑ２siとして求めてもよい。また、直線Ｌ２i上で所定の画素おきに分割点を求め、その分割点から最も近い探索領域Ｒ内の画素を、点Ｑ２siとして求めてもよい。
【０１０７】
また、第１〜第３の実施形態では、直線を検出する際に、ラベリング処理と折れ線近似とにより線分検出を行い直線のパラメータを求めた。しかし、直線の検出方法はこれに限るものではなく、画像上から直線を検出する方法であればいかなる方法であってもよい。例えば、ハフ変換に基づいて直線を検出してもよい。ハフ変換を用いる場合には、直線を表す代数方程式として以下の式（７）を用いる。
【０１０８】
【数７】
2014102805.tif 000009
【０１０９】
ここで、式中のｒは座標原点から直線へ下ろした垂線の長さ、αは垂線とｘ軸との間の角度を表すパラメータである。まず、画像中の各特徴点の座標値を式（７）のｘ、ｙに代入した式を、ｒ及びαに関する方程式とみなし、パラメータ空間中でその方程式の表す軌跡を描く。次にαを一定間隔ずつ増加させながら方程式を満たすｒの値を計算することにより、軌跡をパラメータ空間中に重ね書きする。そして、すべての特徴点に対応する軌跡を描いた後、多数の軌跡が集中している位置、すなわちパラメータ空間を表す配列中で大きな極大値をもつ要素を求める。このようにして求めたパラメータｒ、θは、多数の特徴点を通る直線を表す。
【０１１０】
また、第１〜第３の実施形態では、対応点を探索する直線周辺で検出した点の周辺領域の輝度値を特徴ベクトルの要素として保持していた。しかしながら、保持するデータは輝度値に限るものではなく、輝度情報に関するものであればいかなるものであってもよい。すなわち、探索する直線周辺の点のＲＧＢ値のうちのいずれかを保持してもよいし、例えばＹＵＶといった他の色空間に変換した後の値を保持してもよい。さらには、探索する直線周辺の１つの点に対して１つの値ではなく、例えばＲＧＢ３値すべてを保持しておき、特徴ベクトルの比較の際にはＲＧＢ値それぞれを比較して平均二乗誤差を算出してもよい。この場合であっても、色の表現方法はＲＧＢに限るものではなく、ＹＵＶなど他の色空間において表現してもよい。
【０１１１】
また、第１〜第３の実施形態では、参照画像で検出した特徴点Ｑ１kjと探索画像で検出した特徴点Ｑ２miとの対応情報を求め、対応情報の結果として出力した。しかし、参照画像及び探索画像内の局所領域の対応を求めるのであればこれに限らない。例えば、参照画像及び探索画像内の局所領域の対応情報は、直線対応として決定した、参照画像で検出した直線Ｌ１jと探索画像で検出した直線Ｌ２iとの直線情報の組であってもよい。また、直線対応の組として決定した直線情報を得るために画像から検出したエッジ線分の組であってもよい。また、参照画像で検出した特徴点の周辺領域ＰＱ１kjと探索画像で検出した特徴点の周辺領域ＰＱ２miとの画素値の組であってもよい。
【０１１２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１３】
１０１  画像入力部
１０２  直線検出部
１０３  特徴点検出部
１０４  特徴量記述部
１０５  対応情報決定部
【図１】
2014102805.tif 000010
【図２】
2014102805.tif 000011
【図３】
2014102805.tif 000012
【図４】
2014102805.tif 000013
【図５】
2014102805.tif 000014
【図６】
2014102805.tif 000015
【図７】
2014102805.tif 000016
【図８】
2014102805.tif 000017
【図９】
2014102805.tif 000018
【図１０】
2014102805.tif 000019
【図１１】
2014102805.tif 000020
【図１２】
2014102805.tif 000021