距離画像からのエッジ情報に基づく三次元レジストレーションに関する研究
指導教授：藤吉弘亘

TP14009 金子 将也
1. はじめに本研究では，距離画像から取得できる三次元エッジに着目したレジストレーションを提案した．三次元レジストレーションは，三次元空間において 2 つの点群を位置合わせする方法であり，ピッキングシステムや三次元モデル生成などに使用される．三次元レジストレーションの従来法の 1つとして，Iterative Closest Point(ICP) がある．ICP は，入力として与えられる 2 つの点群の位置合わせを自動で行う．一方の点群を構成する各点に対し，他方の点群における最近傍点を探索し，これらを仮の対応点とする．このような対応点間の距離を最小化するような剛体変換を推定する．この対応点探索，剛体変換推定を繰り返すことで，2つの点群を位置合わせする．ICP では，2 つの点群を位置合わせする時の変換量が大きい場合，適切な初期値を設定しないと対応点探索がうまくいかず，運動推定が局所解に陥り不安定になるという問題がある．そこで，本研究では座標情報以外に三次元エッジ情報を点群に付与し，エッジ情報を考慮することにより推定が局所解に陥ることを防ぐ．

2.Iterative Closest Point[1]Iterative Closest Point(ICP) は，点の座標情報しか持たない点群データから点の組み合わせを決定し，回転行列R と並進ベクトル T を推定する手法である．ICP の処理
手順は，以下の 4 つのステップからなる．
Step1 点群の点同士の仮の対応点を求める．
Step2 仮の対応点より RANSAC で R と T のパラメータを推定する．
Step3 パラメータにより変換した点群同士の対応点を求める．

ないと対応点探索がうまくいかず，運動推定が局所解に陥り不安定になるという問題がある．そこで，本研究では座標情報以外に三次元エッジ情報を点群に付与し，エッジ情報を考慮することにより推定が局所解に陥ることを防ぐ．

3. 提案手法
提案手法では，三次元エッジ情報を点群に付与し，エッジ情報を考慮したレジストレーションを提案する．はじめに三次元エッジの概要について述べる．

3.1. 三次元エッジ
距離画像におけるエッジは，明暗画像におけるエッジと異なり 3 種類に分類することができる．3 種類のエッジはそれぞれ，物体と背景の境界であるジャンプエッジ，物体の面と面の境界である凸ルーフエッジ，凹ルーフエッジがある．これらのエッジを三次元エッジと呼称する．三次元
エッジと平面を分類する手法としてリングオペレータ [2]が提案されている．リングオペレータは，距離画像の各画素に対してフーリエ変換を施すため，処理時間を要するという問題がある．そこで，本研究では，リングオペレータによるエッジ検出問題に決定木を導入し，分類問題として高速化する．決定木の学習サンプルには，CG で生成した距離画像を使用する．教師ラベルには，リングオペレータを適用したものを使用する．特徴ベクトルには，注目画素の距離値と周囲の画素の距離値を差を使用する．上記の手順により決定木を構築し，エッジ検出時は距離画像をラスタスキャンして，注目画素を決定木に入力する．決定木をトラバーサルしてたどり着いた末端ノードにより，平面，ジャンプエッジ，凸ルーフエッジ，凹ルーフエッジを判定する (図 2)．

Step4 推定したパラメータの誤差がしきい値以下になるまで 2，3 を繰り返す．
各ステップの詳細について次に述べる．点群間の点について，ユークリッド距離が最も小さい点同士を仮の対応点とする．次に，対応した各点が一致するように変換するパラメータを推定する．三次元空間における座標変換は，6 つのパラメータより行われる．この 6 つのパラメータはそれぞれ，x を基軸とした回転量 θx ，y を基軸とした回転量 θy ，z を基軸とした回転量 θz の回転に関係する回転行列 R と，x，y ，z 方向に平行移動させた量の並進ベクトル T からなる．これらの 6 つのパラメータを RANSAC を用いて推定する．RANSAC の入力には，仮の対応を決定した点の組み合わせを使用する．RANSAC により推定したパラメー
タで点群を変換し，変換後の点群で新たに対応点を求める．
この時の対応は，最初の時と同様にユークリッド距離が最小になる組み合わせとする．この時に，組み合わせの誤差の総和を求め，総和がしきい値未満であれば処理を終了し，しきい値以上であれば先ほどと同様に RANSAC でパラメータを推定する (図 1)．ICP では，2 つの点群を位置合

図 1 : ICP の組み合わせ更新わせする時の変換量が大きい場合，適切な初期値を設定し

図 2 : 決定木を用いたエッジ検出

3.2. エッジ情報を考慮したレジストレーション
上記の手法により検出できる三次元エッジを用いたレジストレーションを提案する．
Step1 エッジ情報の付与
Kinect などで取得される距離情報は，PCL などで扱う三次元点群データと奥行き情報を正規化して画像にした距離画像を生成することができる．三次元エッジを検出する手法は，リングオペレータも決定木を用いた手法も距離画像を対象にした手法である．そのため，予め両方のデータを作成し，距離画像に対し三次元エッジ検出を行い，エッジ検出された画像と三次元点群データを合わせて，エッジ情報が付与された三次元点群データを作成する．
Step2 仮対応点の決定
従来法である ICP は，ユークリッド距離が最も近い点を仮の対応点としている．提案手法では，そこにエッジ属性の対応も条件に追加する．エッジ属性が同一の点の中で，最も距離が近い点を仮の対応点として決定する．しかし，エッジ属性が誤検出している場合，誤った対応をとってしまう
ため，ユークリッド距離が近い順にソートしたときに，上位 5 位にエッジ属性が同一の点がない場合，属性が異なっていても最も近い点を対応点として決定する．
Step3 コスト関数の設計
従来法である ICP のコスト関数は，全ての組み合わせのユークリッド距離の総和となる．これが最小になるように，位置合わせを行う．提案手法では，上記以外にエッジ属性の一致具合を表現するコスト関数を追加する．まず，距離情報で設計するコスト関数は式 1 になる．

Edis =n∑d(P (xi ), P (yi ))(1)より，提案手法の法が従来法より精度が向上していることが確認できる．この理由として，ルーフエッジなどのエッジ情報と平面の情報が多く取得できる物体の場合，エッジ情報を有用に用いることができるためと考えられる．次に誤差が収束するまでの繰り返し回数を評価したグラフを図4 に示す．図 4 より，従来法と比較して提案手法の方が約i=1式 1 の x と y はそれぞれ点群集合 X と点群集合 Y の点を表す．n は点の組み合わせの総数，i は組み合わせ番号，P () は点の座標情報を表す．式 1 によりユークリッド距離を算出し，その総和が最小になるように位置合わせを行う．
エッジ属性の一致具合を表現するコスト関数を式 2 に示す．

Eclass =n {∑0 if C(xi ) = C(yi )1otherwise

(2)

i=1

式 2 の C() は各点のエッジ属性を表す．エッジ属性の不一致によりコストが大きくなり，この総和が最小になるように位置合わせを行う．最終的なコストは上記の 2 つのコストを合わせたものとなる．式 3 は 2 つのコストを合わせたものである．

E = λdis Edis + λclass Eclass(3)図 4 : 誤差の収束速度の評価20 回程度高速に収束していることがわかる．図 5 に実際のいち合わせ例を示す．

式 3 の λ はコストを合成するときの重みを表現している．

4. 評価実験
提案手法の有用性を確認するため，評価実験を行う．提案手法と従来法である ICP を Amazon Picking Challenge
データセットを用いて比較する．

4.1. 実験概要
2 つの手法により出力されたセグメンテーション領域を評価する．セグメンテーション領域の評価は，距離画像のセグメンテーション結果とラベリングデータを比較することで評価する．セグメンテーション評価のため，1 画素単位でセグメンテーション結果とラベリングデータを比較していき，1 枚の画像のすべての画素に対して検出率と適合率を算出する．そして，算出された検出率と適合率から F値を求め，F 値がしきい値以上であればセグメンテーション成功，しきい値未満ならセグメンテーション失敗と評価する．箱状の剛体を対象に評価を行う．従来法の問題点である初期位置の依存性を評価するため，モデルデータの初期位置を変化させて精度を比較する．モデルデータに予め，回転の変化を付与しておく．付与する変化として，x 軸に軸にして 0 〜° 90 の° 回転を 10 刻° みで付与， y 軸に軸にして 0〜° 90 の° 回転を 10 刻° みで付与， z 軸に軸にして 0 °〜90 °の回転を 10 °刻みで付与し，合計で 1000 パターンの評価データを用意する．用意したデータでレジストレーション，セグメンテーションを行い，しきい値を 0.0〜1.0まで変化させ精度を比較する．また，誤差の収束回数を評価する．上記と同じ評価データを使用し，誤差が収束するまでの繰り返し回数を評価する．

4.2. 実験結果
初期位置の依存性を評価したグラフを図 3 に示す．図 3

図 5 : 位置合わせ例

5. おわりに本研究では，三次元画像における特徴抽出法，および抽出された特徴を用いた位置合わせ法について提案した．提案した特徴抽出法は，従来法と比較して精度と収束速度を向上させることができた．また，提案した三次元レジスト
レーションは，従来法と比較して剛体における位置合わせ精度が向上させることができた．今後は，距離画像におけるノイズ・外れ値への対処法について検討する．

参考文献[1] Chen, Y. and Medioni, G. “Object Modeling by Registration of Multiple Range Images”, IEEE International
Conference on Robotics and Automation, 1991.
[2] Inokuchi, S., Nita, T., Matsuda, F. and Sakurai, Y.,A three dimensional edge-region operator for range pictures, International Conference on Pattern Recognition,
pp.918-920, 1982.

研究業績[1] Kaneko, M., Hasegawa, T., Yamauchi, Y., Yamashita,T., Fujiyoshi, H., “Fast 3D Edge Detection by Usinig
Decision Tree from Depth Image”, IEEE International
Conference on Intelligent Robots and Systems, 2015.

図 3 : 初期位置の依存性の評価[2] 金子将也, 長谷川昂宏, 山内悠嗣, 山下隆義, 藤吉弘亘, 決定木を用いた距離画像からの高速な三次元エッジ検出 , ロボ
ティクスシンポジア, 2015.