䢴䣃䢳䢯䣌䢲䢺

全周距離・反射率画像を用いたレーザスキャナによる空間種別の多数決識別Categorization of indoor places using panoramic range and reflectance images
水谷 仁（九大）
正マルティネス モゾス オスカル（九大）

倉爪 亮（九大）

岩下 友美（九大）

正○大石修士（九大）

長谷川 勉（九大）

Hitoshi MIZUTANI, Kyushu University, mizutani@irvs.ait.kyushu-u.ac.jp
Oscar MARTINEZ MOZOS, Kyushu University, omozos@irvs.ait.kyushu-u.ac.jp
Shuji OISHI, Kyushu University, oishi@irvs.ait.kyushu-u.ac.jp
Ryo KURAZUME, Kyushu University, kurazume@ait.kyushu-u.ac.jp
Yumi IWASHITA, Kyushu University, yumi@ait.kyushu-u.ac.jp
Tsutomu HASEGAWA, Kyushu University, hasegawa@ait.kyushu-u.ac.jp
This paper presents a new categorization method for typical indoor places (e.g., “oﬃce”, “kitchen”, “corridor”)
using 3D scans by a laser range ﬁnder. The proposed technique utilizes panoramic range and reﬂectance images
obtained by a laser range ﬁnder. Firstly, the panoramic range and reﬂectance images are divided into several
partial images, and histograms of local binary patterns (LBP) are created from each partial image. The place
category of each partial image is determined by support vector machines using a feature vector which concatenates
the histograms. Finally, the place category for a panoramic image is determined by voting the decision of partialimages. Experimental results show that the recognition rate of the place categorization is improved by theproposed method using panoramic images compared with the method using partial images.
Key Words: Place categorization, Laser range ﬁnder, Range image, Reﬂectance image

1

はじめに日常生活環境で様々な生活支援を行うサービスロボットにとって，ロボット周囲の空間の認識は重要な技術である．
特に “oﬃce”，“kitchen”といった空間種別の識別は，例えば高次の概念的表現も含め空間情報を獲得するセマンティッ
クマッピングや，物体認識のための事前知識としての利用，あるいは空間毎に実行可能な行動計画の立案など，様々な応用が考えられる．
本稿では，屋内環境におけるレーザレンジファインダ（Laser Range Finder，LRF）を用いた空間（種別）の識別手法を提案する．LRF は，レーザ光を用いて対象物上の表面点までの距離を得るものであり，副産物として測定点ごとにレーザ光の強度（反射率）を得ることができる．すなわ
ち，距離画像と反射率画像は原理的に厳密に位置合わせされた画像である．そこで提案手法では，この両者を用いて屋内空間の識別を行う．特に提案手法では，回転テーブル上に設置した 2 次元 LRF を垂直軸周りに 360◦ 回転させ，得られる全周画像を用いる．一例として，距離画像および反射率画像を濃淡値として表示した全周画像を Fig.1 に示す．
提案手法では，まず全周の距離画像および反射率画像を分割し，多数の部分画像を生成する．次に，得られた距離および反射率の部分画像を，それぞれ短縮局所二値パターン（Short Local Binary Pattern, SLBP）[1] により，近傍画素間の関係を表現した特徴量画像に変換する．その後，距離および反射率に対する特徴量画像に対して画素ヒストグラムを計算し，それらを統合した特徴ベクトルを用いて，サポートベクトルマシンにより空間の種別を識別する．最後に，部分画像毎の識別結果の投票により，全周画像に対する空間種別を決定する．

(a) Range image(b) Reﬂectance image
Fig.1 Panoramic images obtained by a laser range
ﬁnder in a laboratory.

2

短縮局所二値パターンを用いた空間識別

本章では，短縮局所二値パターン (SLBP) を用いた，レーザレンジファインダの距離，反射率画像を用いた空間の識別手法を示す [1]．

2.1

局所二値パターンを用いた特徴量画像生成

局所二値パターン（Local Binary Patterns, LBP）演算子 [2] は，濃淡画像のテクスチャ分析と分類を目的に Ojalaらにより提案された．この演算子は，参照画素とその近傍画素間の濃淡値の大小関係をベクトル形式で表すものである．
本稿では，LBP を距離画像および反射率画像の各画素 iに対して以下のように適用する．まず各画素値（距離値もしくは反射率値）p(i) を周囲 8 近傍の画素値 p1 (i), . . . , p8 (i) ∈N (p(i)) と比較する．その際，各近傍画素ごとの比較を次式

䣐䣱䢰䢢䢳䢵䢯䢴䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢵䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣖䣵䣷䣭䣷䣤䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢴䢯䢴䢷䢮䢢䢴䢲䢳䢵䢴䣃䢳䢯䣌䢲䢺䢪䢳䢫により二値 {0, 1} を用いて表現する．

{bj (i) =1,0,p(i) > pj (i)(j = 1, . . . , 8)otherwise(1)

ここで，周囲 8 近傍の計測画素値 pj (i)（j = 1, . . . , 8）の配置は Fig.2 に示す通りである．その後，近傍画素に対して得られた二値 bj (i) を Fig.3 に示す通り時計回りに{b0 (i), . . . , b8 (i)} と並べ，2 進数を生成する．最後に，得られた 2 進数を [0, 1, . . . , 255] の 10 進数に変換し，LBP の値d(i) とする．この LBP を用いて，距離画像および反射率画像からそれぞれ特徴量画像 T D および T R が生成される．
ここで，D および R はそれぞれ距離画像および反射率画像に対する画素値の行列を表している．

ある短縮局所二値パターン（Short Local Binary Pattern，SLBP）を導入する．
SLBP では，式 (1) を用いて得られる二値 bj (i) の 0，1 間の遷移回数 U (i) に閾値を設け，LBP のサブセットを抽出する．

U (i) = |b1 (i) − b8 (i)| +7∑|bj (i) − bj+1 (i)|0，1 間の遷移回数 U (i) は，例えば 000000002 ，111111112 ，010101012 であればそれぞれ 0，0，8 となる．最後に，0，1 間の遷移回数 U (i) に閾値 θ を設けることで，特徴量画像
T ∗（T D もしくは T R ）に対するヒストグラム H ∗ は，次元削減されたヒストグラム H ∗ (θ) として次式で表される．
H ∗ (θ) = {hd ∈ H ∗ | U (d) ≤ θ}, d ∈ [0, 255]

Fig.3 Toy example for the calculation of the LBPvalue of the center pixel (marked in bold). The resulting value 236 is assigned to that pixel.

2.4
空間ピラミッドを用いた特徴ベクトルの生成第 2.1 節の方法により得られた特徴量画像 T D ，T R を以下の方法を用いてそれぞれ特徴ベクトル xD ，xR に変換する．
まず特徴量画像 T ∗ （T D もしくは T R ）に対し，Fig.4 に示すような空間ピラミッド [3] と呼ばれる階層的な画像列を生成する．空間ピラミッドでは，各レベル l において特徴量画像 T ∗ を格子状に均一に i = 2l × 2l 個の領域に分割する．
∗
次に各分割領域において局所ヒストグラム Hl,iを計算する．
∗
ここで局所ヒストグラム Hl,i のそれぞれのビンは，レベル lの i 番目の画像において，対応する画素値の画素数である．
最後に，すべての局所ヒストグラムを結合し，特徴量画像T ∗ に対する特徴ベクトル x∗ を得る．
∗∗∗∗
∗x∗ = {{H0,1}, {H1,1, . . . , H1,4}, . . . , {HL,1, . . . , HL,2L ×2L }}(2)

距離画像および反射率画像に対するモダリティ統合

距離情報と反射率情報を統合するため，第 2.3 節で得られた特徴ベクトル xD (θ) および xR (θ) を結合し，最終的な特徴ベクトル x(θ) とする．この特徴ベクトル x(θ) が識別器の入力として用いられる．

x(θ) = {xD (θ), xR (θ)}
2.5

2.3

Three levels of pyramids.

短縮局所二値パターンを用いた特徴次元の削減

特徴次元の削減を行うため，Ojala らによって提案された
評価式 U [2] を参考に，局所二値パターンのサブセットで(5)識別方法

距離画像および反射率画像の対から得られた特徴ベクトルを用いて，サポートベクトルマシン（Support VectorMachines，SVMs）[5] に基づく教師あり学習により空間の識別を行う．実験ではラジアル基底関数 (Radial BasisFunction) カーネルを用いた．多クラス問題への拡張は一対一方式 [6] を適用し，識別実験では LIBSVM ライブラリ [7] を用いた．マージンパラメータ C および RBF カー
ネルにおける分布の半径の制御パラメータ γ は，それぞれC ∈ [2−5 , 2−2 , . . . , 216 ] および γ ∈ [2−12 , 2−9 , . . . , 23 ] の範囲で交差検定を用いた総当たり探索により決定した．

3Fig.4(4)

ここで，hd は LBP の値 d に対応したヒストグラムのビンを表している．ただし，θ = 8 のときはすべての LBP が選択されるため，通常の LBP と等しく，最終的な記述子はCENTRIST [4] と等価である．また θ = 2，4，6 のとき，256 種類の LBP のうちそれぞれ 58 種類，198 種類，254 種類が SLBP として選択される．そのため，CENTRIST の特徴次元に対し，それぞれ 22.7% ，77.3% ，99.2% に削減される．この SLBP を用いて，距離画像および反射率画像に対し，特徴ベクトル xD (θ) および xR (θ) がそれぞれ生成される．

Fig.2 8-neighboring pixels of p.

2.2

(3)

j=1

部分画像の投票に基づく全周画像の識別

本章では，前章で示した識別手法を，2 次元 LRF を垂直方向に回転して得られる全周画像に適用する．本章では，まず全周画像を分割して得られる部分画像に適用する手法を示し，その後，それら部分画像に対する識別結果の投票により，全周画像の高精度な空間識別を実現する手法を提案する．

䣐䣱䢰䢢䢳䢵䢯䢴䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢵䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣖䣵䣷䣭䣷䣤䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢴䢯䢴䢷䢮䢢䢴䢲䢳䢵䢴䣃䢳䢯䣌䢲䢺䢪䢴䢫た．例えば，“laboratory”というカテゴリでは異なる研究室の計測データを含んでいる．また同一の空間においても，異なる地点で複数回の計測を行った．
各全周画像は 3753 × 760 の解像度を有し，104 ピクセル（10◦ の近似）ずつ回転させながら，重なりがあるように624 × 760 ピクセルのサイズで部分画像を切り出した．生成された 10545 枚の分割画像（285 枚の全周画像）をデータセットとした．Table 1 にデータセットの概要を，Fig.6 に空間毎の部分画像の例を示す．

Fig.5 Segmentation of a panoramic image obtainedby a laser range ﬁnder
3.1

部分画像の識別

まず回転テーブル上でレーザレンジファインダを 360 度回転させ，Fig.1 に示すような全周の距離，反射率画像を取得する．次に，各全周画像から水平方向に重なりを残すように複数の部分画像を切り出す．その後，各部分画像に対して前章で示した手法を適用して，部分画像毎に空間を識別する．
3.2

Table 1 Summary of our dataset
CategoryCorridor

部分画像を用いた全周画像の多数決識別Kitchen

全周画像から切り出せれた複数の部分画像の識別結果を投票し，全周画像の空間の種別（カテゴリ）を推定する．本
手法では，最も尤もらしい空間種別のみならず，各種別ごとの推定確率を求めることができる．
まず全周画像に対する識別ベクトル z を次式の通り決定する．

z = {C(s1 ), . . . , C(sN )}Laboratory(6)

Study room

ここで，C(si ) は前項で示した，各部分画像 si に対する識別結果であり，N は部分画像数を表す．次に，z をすべてのカテゴリに対し，次式の確率分布に変換する．

P⃗ (⃗z) = {P (label1 | ⃗z), . . . , P (labelM | ⃗z)} ,(7)ここで，labelj は空間カテゴリ，M は空間カテゴリの数を表す．識別ベクトル z に対し，各空間カテゴリに対する推定確率 P (labelj | ⃗z ) は次式で求まる．

∑NP (labelj | ⃗z) =i

I(C(si ) = labelj ),N(8)

ここで，I(·) は引数が真なら 1 を，偽なら 0 を返す指示関数である．最後に，全周画像 S に対する推定カテゴリ labelS
は最大確率を有するラベルとする．

labelS = arg max P (labelj | ⃗z), ∀ labelj .
labelj4Oﬃce(9)

識別実験に先立ち，まず LRF を用いて様々な建物内で屋内環境の空間計測を行い，データセットを構築した．対象とした空間カテゴリは “corridor”, “kitchen”, “laboratory”,“oﬃce”および “study room”の 5 つである．各空間では，2次元 LRF を高さ 131cm の回転テーブル上に固定し，テーブルを回転させながらスリット状レーザを照射し，全周囲の距離画像および反射率画像を取得した．また各カテゴリに対して，複数の異なる空間（部屋）で計測データを取得しPanoramic images

Segmented images15555

Corridor 215555

Corridor 315555

Corridor 415555

Total

602220Kitchen 115555

Kitchen 215555

Kitchen 315555

Kitchen 415555

Total

60

2220

Laboratory

15555

Laboratory 215555

Laboratory 315555

Laboratory 415555

Total

60

2220

Study room

15555

Study room 215555

Study room 315555

Study room 415555

Total

60

2220

Oﬃce 115555

Oﬃce 215555

Oﬃce 315555

Total

4516655

識別実験

実験では，教師データとテストデータの 10 個の組を用いて，レーザーレンジファインダ用いた本識別システムの性能を評価した．これら教師データとテストデータの生成は，第4 節で紹介したデータセットを用いて以下の通り行った．まず各カテゴリから一つの空間を無作為に選択し，テストデータとする．そして，残りの空間は教師データとして用いる．
また選択された空間の組が既にテストデータとして存在する場合には，それを破棄し，異なるテストデータが得られるまで選択処理を続ける．これを 10 回繰り返し，教師データとテストデータの 10 個の組を生成した．
5.1

データセットPlaceCorridor 1

部分画像の識別

文献 [1] では，L = 2 かつ θ = 4 のとき最も高い識別率を示していることから，本実験ではそれらパラメータ値を用いた．Table 2 に示すように，部分画像の識別に対する正答率は 93.80 ± 8.44% であった．
5.2

部分画像を用いた全周画像の多数決識別第 3.2 節で示したように，提案手法では全周画像から切り出された複数の分割画像 si の投票により，全周画像に䣐䣱䢰䢢䢳䢵䢯䢴䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢵䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣖䣵䣷䣭䣷䣤䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢴䢯䢴䢷䢮䢢䢴䢲䢳䢵䢴䣃䢳䢯䣌䢲䢺䢪䢵䢫corridor
corridor 1

corridor 2

corridor 3

Table 3 Confusion matrix for the categorization of
panoramic images (%)

corridor 4

kitchenkitchen 1

kitchen 2

kitchen 3laboratory 2

study room 1

study room 2

Corridor

KitchenLaboratory

Study Room

100.00

0.00

0.00

0.00

0.00

Kitchen4.00 ± 10.52

80.00 ± 42.16

0.00

0.00

16.00 ± 34.31

laboratory 3

0.00

Laboratory

0.00

0.00

100.00

0.00

0.00

0.00

0.00

100.00

0.00

Oﬃce

0.00

1.33 ± 2.81

0.00

0.00

98.67 ± 2.81

6まとめと今後の課題

本稿では，レーザレンジファインダから得られた全周方向の距離画像および反射率画像を用いて，屋内空間を識別する手法を提案した．提案手法では，まず SLBP および空間ピラミッドを用いて両画像から局所特徴量のヒストグラムを抽出・統合し，特徴ベクトルを生成した．その後，サポートベクトルマシンにより部分画像を識別した．さらに，部分画像の投票により，多数決で全周画像の空間種別を推定した．
実験の結果，部分画像の投票により，全周画像をより高い精度で識別できることを確認した．

laboratory 4

study room
study room 3

Oﬃce

Study Roomkitchen 4laboratorylaboratory 1%
Corridor

謝辞
study room 4

本研究の一部は，日本学術振興会外国人特別研究員事業，文部科学省科学研究費補助金基盤研究 (B)（課題番号23360115）の支援を受けた．

文献
oﬃce
oﬃce 1oﬃce 2oﬃce 3Fig.6 Examples of depth (upper) and reﬂectance(bottom) images in our dataset

Table 2 Comparison of results between segmented
images and panoramic images (%)

Segmented images

Panoramic images

93.80 ± 8.44

95.73 ± 8.31

対する空間識別を行う．空間ピラミッドのレベル L およびSLBP の閾値 θ は第 5.1 節と同様のパラメータ値を用いた．
正答率を Table 2 に示す．これより，全周画像の識別率は95.73 ± 8.31% であり，部分画像の識別率 93.80 ± 8.44% と比べ，投票により識別性能が向上した．さらに，Table 3 に全周画像の識別に対する混同行列を示す．Table 3 から，最も識別が難しいカテゴリは”kitchen”であった．この原因として，実験で用いたデータセットには，壁付型およびペニン
シュラ型の異なる台所が含まれており，これらの識別が困難であったことが考えられる．

[1] 水谷仁, マルティネスモゾスオスカル, 倉爪亮, 岩下友美, 長谷川勉. レーザ距離画像と反射率画像を用いた屋内環境のカテゴ
リ識別. 日本ロボット学会学術講演会, 2012.
[2] T. Ojala, M. Pietikäinen, and T. Mäenpää. Multiresolution gray-scale and rotation invariant texture classiﬁcation
with local binary patterns. IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 24, No. 7, pp. 971–987,
2002.
[3] S. Lazebnik, C. Schmid, and J. Ponce. Beyond bags offeatures: Spatial pyramid matching for recognizing naturalscene categories. In IEEE Computer Society Conference on
Computer Vision and Pattern Recognition, 2006.
[4] J. Wu, H. I. Christensen, and J. M. Rehg. Visual place
categorization: Problem, dataset, and algorithm. In Procof the IEEE/RSJ International Conference on Intelligent
Robots and Systems (IROS), 2009. St. Louis, MO, USA.
[5] C. Cortes and V. Vapnik. Support-vector network. Machine Learning, Vol. 20, pp. 273–297, 1995.
[6] T. Hastie and R. Tibshirani. Classiﬁcation by pairwise
coupling. The annals of Statics, Vol. 26, pp. 451–471, 1998.
[7] C.-C Chang and C.-J. Lin. Libsvm: A library for supportvector machines. ACM Transactions on Intelligent Systems
and Technology, Vol. 2, pp. 27:1–27:27, 2011.

䣐䣱䢰䢢䢳䢵䢯䢴䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢵䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣖䣵䣷䣭䣷䣤䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢴䢯䢴䢷䢮䢢䢴䢲䢳䢵䢴䣃䢳䢯䣌䢲䢺䢪䢶䢫