物体検出のための側面を用いた訓練サンプル生成による撮影枚数の削減 ∗上野 高貴 † ，西山 正志 †,†† ，岩井 儀雄 †,††
Reducing number of acquisition images by synthesizing training samples using aspects for object detection
Kouki UENO, Masashi NISHIYAMA, and Yoshio IWAI
We propose a novel method for synthesizing training samples to obtain high accuracy of object detection under thecondition that the number of acquisition images is small. The convolutional neuronal networks for object detection require
the large number of acquisition images that the angles of postures of each object are varied. Thus, it is very time-consuming
to collect training samples. On the other hand, our method synthesizes training samples from the small number of aspect
images that determine the variation of appearances of objects. We design how to collect aspect images based on theknowledge that there is a bias in the postures of objects. Experimental results show that our method significantly reduces
the number of acquisition images while keeping high detection accuracy of a comparison method that requires the large
number of acquisition images.
Key words: Object detection, Training samples, Image acquisition, Synthesis, Aspects

Large amount

1. はじめに
物流システムにおける商品物体の搬入出工程は，人手による

Synthesis oftraining samples

膨大な労働力を必要とする．この工程は運搬作業と仕分け作業に分けることができる．運搬作業では，物体が収納されたコン
テナ型の自走式ロボット 1, 2) が巨大倉庫において導入されつつあり，近い将来に完全自動化されると見込まれている．一方，Images are acquired from various angles
Generation of a detector✗ The number of images is large(a) Existing method

仕分け作業では，対象となる物体の種類が非常に多いため，人Small amount

手で処理を行う必要がある．高精度な物体検出の機能を持つロ
ボットアーム3, 4, 5)を用いることで，仕分け作業を自動化することが強く求められている．本論文では，物体を精度よく検出するために，カメラで撮影した画像をどのように用いるかについて議論する．
既に実用化されているファクトリーオートメーション分野でUsing only aspectü The number of images is smallü Detection accuracy is high(b) Our method

Synthesis oftraining samples
Generation of a detector

Fig.1 The purpose of our method.

は，物体姿勢に対して強い制約を置くことで高い検出精度を得ている．例えばベルトコンベアを流れる物体を選別する用途など，同じ物体が同じ姿勢で置かれている状況に既存手法 6) は向いている．しかし，本論文で議論する仕分け作業では，複数種類の物体がコンテナ内に制約のない姿勢で配置されているため，既存手法 6) を単純には適用できない．ロボットアームで把持する物体を決定するために，画像中の各物体の種類が何で，それらの物体がどの位置に存在するかを正しく検出する手法が必要となる．
一般物体認識の分野では，畳み込みニューラルネットワー
ク 7, 8) を用いて物体種類を正しく見分ける手法が提案されている．さらに物体検出の分野では，物体の種類と位置とを高精度でかつ高速に検出する手法 9, 10, 11) が提案されている．また，ロボットアームで把持するポイントと制御パラメータについて自己学習を行う手法 12) が提案されている．これらの既存手法を応用することで，仕分け作業を自動化することが盛んに進められている．
畳み込みニューラルネットワークを用いた検出手法 9, 10, 11)で高い精度を得るためには，対象となる各物体について大量の訓練サンプルが必要となる．物体の姿勢が変わると見え方が大きく変動するためであり，それらの変動を十分に含む訓練サン
プルを既存手法 9, 10, 11) は事前に収集しておくことを前提条件としている．図 1 (a) のように，物体毎にカメラ角度を密に変化させながら撮影することが一般的に多い．例えば角度を 5 度刻みで撮影して訓練サンプルを収集する場合，回転の 3 自由度を考えると (360/5)3 ＝ 373248 枚の撮影が物体毎に要求される．訓練サンプルの収集は非常に手間がかかるため，仕分け作業の自動化にとって大きな阻害要因の一つとなっていた．
そこで本論文では，撮影枚数を大幅に減らしたとしても，高い検出精度を維持できる訓練サンプルの生成手法について述べる．コンテナ内に物体を配置した際，ありとあらゆる姿勢が発∗生する訳ではなく，起こりうる姿勢には偏りがあることを利用†する．提案手法では，検出に有効な特定の姿勢に対する物体側

原稿受付 平成 30 年 5 月 7 日
鳥取大学 大学院 持続性社会創生科学研究科†† 鳥取大学 工学部附属クロス情報科学研究センター

面のみを収集することで，撮影枚数を減らすことを狙う．提案

手法の狙いを図 1 (b) に示す．実験結果より，撮影枚数を大幅に削減したとしても，カメラ角度を密に変化させて撮影する比較手法と同等以上の検出精度を実現できることを確認した．以下では，2. 章で物体側面について考察し，3. 章で提案手法の流(a)

れについて述べる．次に 4. 章および 5. 章で提案手法の性能を評価し，最後に 6. 章でまとめる．

2. 物体側面
(b)

2.1

概要

Fig.2 Main surfaces of objects observed from a camera.

本論文では，一般消費者向けの商品物体を取り扱う物流シス
テム 1, 2, 13) を想定し，その中でも仕分け作業を対象とする．この作業では，自走するコンテナから商品物体を作業員が取り出す．以下では，コンテナから商品物体を取り出す作業を，ロボットアームによる把持で自動化することを考える．把持の対Planar object
objectPlanar象となる物体をロボットアームが正しく認識するために，コン
テナ内の物体をカメラで撮影した画像から検出する．物体検出

AspectAspect𝑎"!

"Aspect𝑎# !
Aspect#Fig.3 Example of aspects of a planar object.

で考慮すべき点として，物体の種類と配置が挙げられる．以下でそれぞれの詳細を説明する．

2.2

AspectAspect!!&&AspectAspectAspectAspect!𝑎
AspectAspect!𝑎"!!!!""""" !" Aspect
AspectAspect!
&!
AspectAspcetAspcet
&&&
#!

物体の種類

Aspect(AspectAspect!(!𝑎!!
AspectAspectAspect!((('(!
Aspcet

把持作業の対象となる物体は，模様のある箱や袋に変形しな
いよう梱包されている場合が多い．提案手法では，物体表面は複数の面で構成されていると仮定する．ここで，ある面を床にRectangular
objectRectangular
objectRectangular
object Aspcet
Rectangular
objectAspectAspect𝑎!
AspectAspect!&!'' !

Rectangular object
objectRectangular
Rectangular
objectAspect!'!''
Aspect'Aspect!!!
Aspcet𝑎
Aspect$Aspect%!
$$$AspectAspect!!$$AspectFig.4 Example of aspects of a rectangular object.

接地させた時，その物体が転倒せず静止している状態を自立

Aspect!#!𝑎!!
AspectAspcetAspectAspect#$##Aspect!!##Aspectと呼ぶ．自立する面の数に応じて，物体を平面，直方体，円柱の 3 つの形状に分類する．以下，それぞれの形状について説明する．
平面

自立する面が 2 個で構成される物体とする．例：絵本，カレンダー，鉛筆，DVD，皿，ノート

直方体 自立する面が 6 個で構成される物体とする．例：石鹸，スポンジ，ティッシュ
円柱

自立する面が 2 個存在し，曲面が一部含まれる物体とす
る．例：テニスボール容器，ダンベル，ガムテープ

なお，上記の形状に当てはまらない物体として衣服やテトラパックなどが存在するが，本論文で対象とする仕分け作業では取り扱わないものとする．

2.3

物体の配置

2.4 側面の決め方
以下では，訓練サンプルに含める面を側面と呼び ai (i ∈{1, ..., N }) と表記する．N は側面数とする．2.2 節で述べた平面，直方体，円柱の物体について側面の決め方を述べる．
平面物体の側面 ai ∈ {a1 , a2 } を以下の手順で決定する．
1. 自立する 2 個の面の内で面積が大きい方の面を a1 とする．ただし，面積が同じ面が存在する場合はランダムに 1個を選んで a1 とする．
2. a1 の裏となる面を a2 とする．
図 3 に平面物体の側面の例を示す．
直方体物体の側面 ai ∈ {a1 , ..., a6 } を以下の手順で決定する．

把持作業の対象となる物体は，ロボットアームが接触し易い

1. 自立する 6 個の面の内で面積が最大の面を a1 とする．た状態でコンテナ内に重なりがなく配置されることが望ましい．

だし，最大面積が同じ面が複数存在する場合は，その中か

しかし，コンテナ容量の制約，アーム稼働範囲の制約，把持作

らランダムに 1 個を選んで a1 とする．
2. a1 の裏となる面を a2 とする．
3. a1 , a2 以外の自立する面の内で面積が最大となる面を a3

業の繰り返しにより，物体同士が重なって配置される場合が多く発生する．複数の物体が重なって配置された直後は，それら物体の姿勢は様々に変化する．ただし，物体の姿勢は常に変化とする．ただし，最大面積が同じ面が複数存在する場合し続ける訳ではなく，図 2 (a) のように，転倒しないよう静止状

は，その中からランダムに 1 個を選んで a3 とする．

態に落ち着く．このように，コンテナ内で観測される物体姿勢
は，全方向へは自由に発生せず，特定の方向へ偏りが生じる．

4. a3 の裏となる面を a4 とする．
5. 残り 2 個の面の内で面積が大きい方の面を a5 とする．た

静止状態の見え方は，図 2 (b) のように，各物体において一個だし，面積が同じ面が存在する場合は，その中からランダの面で主にカバーされていると考えられる．そこで提案手法でムに 1 個を選んで a5 とする．

は，物体を構成する面の見え方変動を検出器の訓練サンプルに

6. a5 の裏となる面を a6 とする．

含めることで，物体同士が重なり傾いて配置された場合であっ図 4 に直方体物体の側面の例を示す．

ても正しく検出することを狙う．なお本論文では，部分的に隠円柱物体において底面以外は曲面であるため，図 5 のようれている物体を検出することは目的とせず，カメラから見て最に，外接する正 P 角柱で近似する．提案手法では，近似した正も手前にある物体を正しく検出することを考える．

P 角柱のそれぞれの面を仮側面と呼ぶ．円柱物体は，2 個の底Approximation
Cylinder

Optical axis

Positive 𝑃-prism

ObjectFig.5 Approximation of a cylinder object using a positive P -prism.

Floor

Fig.8 The relationship of positions between a camera and a target object.

3.2 画像撮影

AspectAspect𝑎"# !"#

CylinderCylinderobject側面画像の撮影手法について述べる．カメラの光軸が床面にAspect!"'Aspect𝑎"$

対して垂直になるようにカメラを設置し，対象物体を自立させた状態で床面に配置する．その際，カメラの光軸が物体重心を通るものとする．図 8 にカメラと物体の位置関係を示す．各

Aspect 𝑎!
""%
AspectAspect𝑎"& !"
AspectAspect𝑎"' !"
AspectAspect Aspect𝑎"(!"

Aspect 𝑎"

Aspect 𝑎"*

Aspect 𝑎"+

Aspect 𝑎"#,,Aspect !)")(

Aspect !"*&Aspect !"-%物体の撮影枚数は 2.4 節で定めた側面の数とする．平面物体は{a1 , a2 } の 2 枚，直方体物体は {a1 , ..., a6 } の 6 枚，円柱物体
は {ã1 , ..., ãP +2 } の P + 2 枚を準備する．なお，物体の側面領域はセグメンテーションされているものとし，側面領域の外接

Aspect !"#+ 矩形を側面画像のサイズ Wa × Ha 画素とする．

Fig.6 Example of aspects of a cylinder object.

Image acquisition

次に，背景画像の撮影手法について述べる．訓練サンプルの背景を検出時と同じ見え方とするために，物体を格納するコンテナを撮影する．コンテナ内に物体が存在しない場合，およSmall amount

Small amountび，物体が存在する場合を撮影の対象とする．ただし，背景画

Aspect images

Background images

像内に存在する物体は，検出対象の物体には含まれないものとする．背景画像のサイズを Wb × Hb 画素とする．

3.3 側面を用いた訓練サンプル生成

Synthesis

訓練サンプルの見かけの数を増加させる手法として，一般的

Large amountにはデータ拡張 14) が用いられる．データ拡張では，撮影されTraining samples

た 1 枚の物体画像に対して，回転，拡大縮小，平行移動，彩度，明度について画像変換を施す．複数の画像を仮想的に生成するLabeling
Generation of a detector
Fig.7 Overview of our method.

ことで，訓練サンプル数を増加させる．提案手法では，物体が側面で構成されることから，射影変換を従来のデータ拡張の手法に加え適用する．側面が斜めに配置された見え方を射影変換
で仮想的に生成することで，物体同士の重なりにより傾いて配置された場合であっても検出精度を向上させることを狙う．さ
らに，複数の側面画像を背景画像に重畳することにより，コン

面を合わせて P + 2 個の仮側面で構成されると仮定する．円柱物体の仮側面 ãi ∈ {ã1 , ..., ãP +2 } を以下の手順で決定する．

1. 底面 2 個の中からランダムに 1 個を選び ã1 とする．
2. ã1 の裏となる面を ã2 とする．
3. 底面以外の面からランダムに 1 個を選んで，ã3 とする．
4. ã3 に隣接する面を時計回りに ã4 から ãP +2 とする．
図 6 に正 8 角柱で近似した場合の円柱物体の仮側面の例を示す．

3. 提案手法
3.1

概要

物体側面の考え方を提案手法に導入することで，訓練サンプ

テナ内での物体の配置位置の違い，物体同士の重なる順序の違いに対応することを狙う．
訓練サンプル生成について，その流れを図 9 に示し，手順を以下で述べる．

1. 背景画像を 1 枚ランダムに選択する．
2. 側面画像を 1 枚ランダムに選択する．
3. 側面画像に対して射影変換，回転，拡大縮小，平行移動を順に適用する．

4. 背景画像に側面画像を重畳する．
5. 一定の確率 p で手順 2 に戻る．なお p は物体を追加するかどうかの確率とする．

6. 画像全体に対して彩度，明度を変更する．

ル収集時の撮影枚数を削減することを考える．提案手法の流れ

この手順を繰り返すことで，T 枚の訓練サンプルを仮想的に生を図 7 に示す．まず，側面画像と背景画像を撮影する．次に，成する．射影変換，回転，拡大縮小，平行移動，彩度，明度の側面画像と背景画像から訓練サンプルを仮想的に生成する．生変換に用いるパラメータを以下に挙げる．

成した訓練サンプルにラベルを付与し，検出器を学習させる．

射影変換 側面画像の端の四点に対して，変換後の端の四点

以下，提案手法の詳細を述べる．

を (Wa /E, 0), ((1 − 1/E)Wa , 0), (0, Ha ), (Wa , Ha ) とし射影する．

Background images

Select a backgroundimage randomly

Yellow：Planar，Red：Rectangular，Blue： Cylinder
YellowPlanar RedRectangular BlueCylinder

Aspect images

Select an aspect
image randomly

Homography Rotation

Scaling

Translation

Overlay the aspect image on the background image
More than 𝑝 ?

No

Fig.11 Target objects for evaluating basic performance.

ワークの構造を深く設計したとしても，検出精度が低下する場
合が発生する．そこで提案手法では，種類クラスに加えて，側Yes

面クラスをラベルとして各訓練サンプルに与える．これによChange saturation and lightness

り，同一クラスに属する見え方変動が小さくなり，検出精度をTraining samples向上させることができると考えられる．具体的には 2.4 節で定めた側面毎に 1 つのクラスを与える．平面物体は 1 種類につき{a1 , a2 } の 2 クラス，直方体物体は 1 種類につき {a1 , ..., a6 }の 6 クラス，円柱物体は 1 種類につき {ã1 , ..., ãP +2 } の P + 2
クラスとする．
Fig.9 Overview of synthesizing training samples.

4. 基本性能の評価
𝑊"
𝐸

𝜃

𝑊"
𝐸

4.1 実験条件
物体側面を用いた訓練サンプル生成の有効性を確認するために 24 種類の物体を用いた検出精度の評価を行った．図 11 に対象物体を示す．平面形状が 13 種類，直方体形状が 7 種類，円

Homography

Rotation

柱形状が 4 種類とした．なお円柱物体は P = 8 で近似した．
テストセットとして，物体同士の重なりがないコンテナ，および，物体同士の重なりがあるコンテナの 2 タイプを設定し𝑅𝑊" , 𝑅𝐻"

Background image(𝑋, 𝑌)

Scaling

Translation

Fig.10 Parameters for synthesizing training samples.

回転

側面画像の中心を原点とし θ 度だけ回転する．

拡大縮小

側面画像を R 倍する．

平行移動

背景画像中の位置 (X, Y ) に側面領域を重畳する．

彩度

重畳後の訓練サンプルの彩度を HSV 色空間で S だけ加
算する．

明度

同様に明度を V だけ加算する．

これらのパラメータの一部を図 10 に示す．

3.4

訓練サンプルのラベル付け

一般的に，畳み込みニューラルネットワークを用いた検出手
法 9, 10, 11) では，物体の種類数がそのままクラス数となる．この場合，ある物体の様々な姿勢に対する見え方変動を，単一クラスの訓練サンプルに含めることになる．よって，同一クラス
内における見え方変動が非常に大きくなり，ニューラルネット

た．図 12 (a) のテストセット 1 では物体の重なりがない条件，(b) のテストセット 2 では物体の重なりがある条件で，それぞれ画像を撮影した．サンプル数は，テストセット 1 が 272 枚，
テストセット 2 が 68 枚とした．
提案手法の側面画像を収集するために，24 種類の対象物体に対して合計で 13 × 2 + 7 × 6 + 4 × 10 = 108 枚の撮影を行った．
また背景画像を収集するために，テストセット 1 用に 5 枚，テストセット 2 用に 4 枚の撮影を行った．側面画像の平均解像度
を Wa = 133.0 ± 68.5 画素， Ha = 110.2 ± 59.7 画素とし，背景画像の解像度を Wb = 640 画素，Hb = 360 画素とした．
訓練サンプルを 3.3 節の手法で仮想的に生成した．生成時のパラメータは一様乱数で設定し，その範囲は E を [4, 6]，Rを [0.99, 1.01]，θ を [−180, 180]，X を [0.2Wb , 0.6Wb ]，Y を[0.2Hb , 0.6Hb ]，S を [−0.07, 0.07]，V を [−0.11, 0.11] とした．
生成した訓練サンプルとして，図 13 (a) にテストセット 1 に対する例を，(b) にテストセット 2 に対する例を示す．
検出器として YOLOv211) を使用した．バッチサイズは 64 とした．Learning rate は 0.001 からスタートして学習が進むにつれ 0.0001，0.00001 と 1/10 ずつ小さくした．ネットワーク構造
として，畳み込み層を 23 個，プーリング層を 5 個，全結合層を 1 個を用いた．

IOU =

Labeled region ∩ detected region
Labeled region ∪ detected region

Purple： Labeled region
Green： Detected region
Fig.14 Example of IOU.

(a) Test(a)data 1(b) Test(b)data 2

Fig.12 Test sets for evaluating detection accuracy.

Labeled region

Detected region

Fig.15 Example of detected region and labeled region. The purple box represents labeled region. The green box represents detected region.

された矩形領域は 1 個であることが多かった．これは，畳み込みニューラルネットワークから出力された複数の重なり合
う矩形領域が，YOLOv2 内に実装されている Non-Maximum

Suppression (NMS) 処理によって 1 個に統合されていたためである．検出された矩形領域と教示された矩形領域との間で IOUを計算し 0.5 以上であれば正解とした．NMS 処理後において1 個の物体に対して複数の矩形領域が検出された場合は，IOUの計算を繰り返した．

4.2 様々な角度から撮影した訓練サンプルとの比較提案手法により撮影枚数を減らしたとしても同等の検出精度を得ることができるかどうか検証した．提案手法では 4.1 節で述べた 108 枚の側面画像を用いた．ここで比較に用いる手法
では，各物体について姿勢を 15 度刻みに変化させて撮影した

(a)

(b)

Fig.13 Synthesized training samples for generating a detector.

16176 枚の物体画像を用いた．以下では比較手法 A と呼ぶ．各物体の撮影枚数以外の実験条件は，提案手法，比較手法 A ともに全て 4.1 節と同じとした．なお訓練サンプルは両者とも 3.3
節の手法で生成し，その数は両者とも T = 20 万枚とした．
図 16 (a) でテストセット 1 について，(b) でテストセット 2について検出精度を示す．図中では，全物体，および，物体形

検出精度の指標として intersection over union (IOU) を用い状毎の検出率の平均と標準偏差を記載した．どちらのデータ

た．IOU は，各物体について検出された矩形領域と教示されたセットでも，提案手法は比較手法 A と比べて良好な検出精度

矩形領域の論理積および論理和で定義される．図 14 に IOU のであった．実験結果より，提案手法を用いることで撮影枚数を例を示す．IOU が 0.5 以上である場合を正しく検出できたと判1/149 に削減したとしても削減前と同等以上の精度を得ること定した．テストセット毎に各サンプル中の各物体の検出率を算ができることを確認した．

出し，その平均と標準偏差を算出した．

4.3 側面をランダムに選択した場合との比較

各テストセットにおいて物体同士に重なりが発生した場合，提案手法により側面を選択した場合と，ランダムに側面を選カメラから見て最も手前に存在する物体を検出率の算出対象

択した場合で検出精度を比較した．ここで比較に用いる手法でとした．この場合，1 個の物体に対して複数の面が同時にカメは，4.2 節で用いた 16176 枚の物体画像の中からランダムに側ラから観測される例が多く発生していた．検出された矩形領

面画像を設定した．以下では比較手法 B と呼ぶ．側面の選択

域，および，教示された矩形領域の例を図 15 に示す．なお，以外の実験条件は，提案手法，比較手法 B ともに全て 4.1 節と物体の外接矩形を手作業で教示した．1 個の物体に対して複同じとした．側面画像の合計枚数は両者とも 108 枚とした．

数の面が同時にカメラから観測された画像であっても，検出

図 17 (a) でテストセット 1 について，(b) でテストセット 2 に

40
(a)

PlanarRectangular Cylinder

45

Accuracy [%]Accuracy [%]040

All objects

PlanarRectangular Cylinder00

All objects

40

45

45
Accuracy [%](a)0All objects

0

Rectangular Cylinder

Fig.18 Detection accuracy using our method or the comparison method C.

100

PlanarRectangular

Cylinder40

Accuracy [%]45

Accuracy [%]n Comparison method B

Accuracy [%]Accuracy [%]All objects

Accuracy [%]40

Planar(b)

Fig.16 Detection accuracy using our method or the comparison method A.

n Our method
100

Rectangular Cylinder

45

(b)

100

Planar(a)

45

All objects

40

n Comparison method C

Accuracy [%]Accuracy [%]Accuracy [%]All objects

45

0

100

Accuracy [%]40

n Our method
100n Comparison method A

Accuracy [%]n Our method
100

Accuracy [%]

100

4

6
𝑃
(a)

8

0

4

6
𝑃
(b)

8

Fig.19 Detection accuracy while changing the parameter of the positive P prism.

PlanarRectangular

Cylinder(b)Fig.17 Detection accuracy using our method or the comparison method B.

4.5 正 P 角柱のパラメータを変更した場合の評価
円柱を多角柱で近似する際のパラメータ P を変更した場合の検出精度を評価した．ここでは P = 4, 6, 8 について比較した．側面画像の数はそれぞれ 92, 100, 108 枚とした．図 19 (a)ついて検出精度を示す．提案手法は比較手法 B と比べて高い検出精度を得ていた．実験結果より，2.4 節で述べた側面の選
択手法はランダム選択と比べて有効であることが確認できた．

4.4

側面クラスを加えた場合の有効性の検証

物体の種類クラスに加えて側面クラスを用いる場合の検出精度を比較した．提案手法では，3.4 節で述べたように種類クラ
スに側面クラスを加えて検出器を学習した．ここで比較に用いる手法では，種類クラスのみを用いて検出器を学習した．以下
では比較手法 C と呼ぶ．提案手法の総クラス数は 108，比較手法 C の総クラス数は 24 とした．クラスの分け方以外の実験条
件は，提案手法，比較手法 C ともに全て 4.1 節と同じとした．
検出精度は両者ともに，ここまでの実験と同様，推定された種類と領域位置から IOU で算出した．
図 18 (a) でテストセット 1 について，(b) でテストセット 2について検出精度を示す．提案手法は比較手法 C と比べて高い検出精度を得た．訓練サンプル数は同じであっても，検出器の学習時に種類クラスと側面毎クラスとを同時に用いることで，同一クラス内での見え方の変動が抑えられ検出精度が向上したと考えられる．

でテストセット 1 について，(b) でテストセット 2 について検出精度の変化を示す．実験結果より，円柱を多角柱で近似する
際，仮側面の数を増加させた方が検出精度が高まることが分かった．

4.6 訓練サンプル生成時の射影変換の有効性の検証
側面を用いた訓練サンプル生成において，射影変換を適用する場合，および，適用しない場合の精度を比較した．射影変換を適用しない場合を以下では比較手法 D と呼ぶ．図 20 (a) でテストセット 1 について，(b) でテストセット 2 について検出精度を示す．
提案手法は比較手法 D と比べてテストセット 1 において検出精度が改善されていた．この理由を考察する．テストセット

1 の画像を撮影した際，カメラの光軸と床の法線は一致しておらず，射影による見え方変化が発生していた．この見え方変化
を射影変換によって訓練サンプルに含めることができたため，精度が向上したと考えられる．また，テストセット 2 において
も，提案手法は比較手法 D と比べて高い検出精度を得ていた．
テストセット 2 では物体同士の重なりが存在するため，射影による見え方変化がテストセット 1 と比べてより大きく発生してn Our method
100

40n Comparison method D

Yellow：Planar，Red：Rectangular，Blue ： Cylinder

Accuracy [%]Accuracy [%]100

All objects

40

PlanarRectangular Cylinder

45

45

Accuracy [%]Accuracy [%](a)0All objects

0

Fig.21 Target objects selected from the public dataset.

CameraPlanarz

Rectangular Cylinder(b)x

Fig.20 Detection accuracy using our method or the comparison method D.

Target object
y

いた．射影変換の効果により，精度が大幅に向上したと考えら

Fig.22 Definition of the object coordinate system.

れる．

5. 公開データセットを用いた評価
5.1

実験条件

提案手法の有効性を公開データセットを用いて評価した．こ
こでは Rutgers APC RGB-D データセット 15) に含まれる三次
元メッシュモデルを用いた．メッシュモデルにノイズが含まれる物体とテクスチャレスの物体を除き，図 21 に示す 17 種類の物体を検出対象として用いた．平面形状が 6 種類，直方体形状
が 8 種類，円柱形状が 3 種類とした．なお円柱物体は P = 8で近似した．
本論文で想定する物体配置において姿勢パラメータを変化させた時の検出精度を探るために，computer graphics (CG) を用いてテストセットを作成した．物体が 1 個の場合の配置を
図 22 に示す．物体座標系を (x, y, z) とすると，カメラの光軸
が z 軸と平行であり，かつ，物体重心を通るように設定した．

Fig.23 Test set generated from the public dataset.

テストセットの各画像をレンダリングする際，実データを元に x, y, z 軸周りに回転摂動のパラメータを設定した．z 軸周り

サンプルを生成した．側面画像に対して射影変換を適用するこには [−180, 180] 度の範囲でランダムに回転変動を加えた．まとで x 軸，y 軸周りの回転摂動を表現した．また，側面画像にた，x 軸および y 軸周りには，それぞれ [−G, G] 度の範囲でラ面内回転を適用することで z 軸周りの回転変動を表現した．

ンダムに回転摂動を加えた．複数物体を配置した時の見え方を

側面画像を収集するために，17 種類の対象物体に対して合疑似的に作成するために，物体が 1 個の場合をまずレンダリン

計で 6 × 2 + 8 × 6 + 3 × 10 = 90 枚のレンダリングを行った．

グし，各物体の画像をランダムに平行移動し重ね合わせた．物

また背景画像はランダムノイズで生成した．CG 訓練サンプル

体が互いに [0, 80]% の範囲で重なるように設定した．図 23 にの生成時のパラメータは 4.1 節と同じとし T = 2 万枚を生成作成した CG テストセットの例を示す．

した．図 24 に生成した CG 訓練サンプルの例を示す．

CG テストセットを作成するにあたり，実際に物体を重ねて配置した時の回転角度について予備実験で調査した．図 11 の24 物体を，重なりが発生する様に 50 × 40 cm2 の平面上へ配置した．図 22 で示した x 軸，y 軸，z 軸周りの回転角度を 9軸センサを用いて測定した．カメラから見て最も手前に存在する物体を測定対象とした．物体配置をランダムに繰り返すこと
で，角度測定を 50 回行った．その結果，x 軸，y 軸周りの回転
角度の平均が 15.5 ± 6.1 度であった．また，z 軸周りの回転角
度は [−180, 180] 度の範囲で一様に出現していた．この予備実
験より，x 軸，y 軸周りの回転角度は 20 度まで，z 軸周りの回転は [−180, 180] 度の範囲で常に発生する状況を想定して訓練

5.2 実験結果
公開データセットを用いて生成した CG テストセットにおいて，撮影枚数を減らしたとしても同等の検出精度を得ることができるかどうかを検証した．また，各物体の姿勢パラメータを変化させた時の検出精度を評価した．提案手法では 5.1 節の条
件でレンダリングした 90 枚の側面画像を用いた．ここで比較に用いる手法では，各物体について姿勢を 15 度刻みに変化させてレンダリングした 9792 枚の物体画像を用いた．以下では比較手法 ACG と呼ぶ．検出器と精度指標の実験条件は，提案手法，比較手法 ACG ともに 4.1 節と同じとした．

n Our methodn Comparison method A"#

Accuracy [%]

100

70

No rotation[-5, 5][-10, 10][-15, 15][-20, 20][-25, 25][-30, 30] [-35, 35][-40, 40] [-45, 45]

𝐺
Fig.25 Detection accuracy using our method or the comparison method ACG .

種類や物体形状の数が増加した時の検出精度の評価，物体の種類と位置に加えて姿勢も同時に推定する手法の開発などが挙げ
られる．
謝

辞

本研究の一部は，人工知能研究振興財団の助成を受けたものである．評価データセットの一部は東芝インフラシステムズ株
式会社の下山賢一氏から提供して頂いた．
参1)

Fig.24 Examples of CG training samples.

回転摂動について G = 0 から G = 45 まで 5 度刻みで CG
テストセットを作成した．図 25 で CG テストセットにおける検出精度を示す．提案手法は比較手法 ACG と比べて，30 度以下では良好な検出精度であることが分かった．また，G が大きくなるにつれ，提案手法と比較手法 ACG との間で精度差は小さくなり，35 度を超えると精度が逆転することが分かった．
回転摂動の範囲を 20 度までと想定し訓練サンプルを作成した
場合，テストセットの回転摂動の範囲は 30 度まで対応できることが分かった．また提案手法を用いることで，撮影枚数を1/108 に削減したとしても，様々な角度から撮影した場合と同等以上の精度を得られることを確認した．

6. おわりに
本論文では，少ない撮影枚数でも高い検出精度を得ることができる訓練サンプルの生成手法について述べた．提案手法では，コンテナ内に複数物体が配置される際，それらの物体が取り得る姿勢に偏りが存在することに着目し，物体側面の考え方を導入した．物体側面の見え方変動を仮想的に生成することで，検出器の訓練サンプルに多様性を持たせた．実験結果により，撮影枚数を大幅に削減したとしても，様々な姿勢を撮影する比較手法と同等以上の検出精度が維持できることを確認した．
本論文で対象とした物流システムの仕分け作業以外にも，物体が取り得る姿勢に偏りが発生する事例は複数存在する．例
えば，店舗におけるレジ打ち作業，店舗における棚割り作業，
家庭における食品管理作業が想定される．今後の課題として，様々な事例を想定したデータセットでの検出精度の評価，物体

考

文

献

P. R. Wurman, R. D’ Andrea, and M. Mountz. Coordinating hundredsof cooperative, autonomous vehicles in warehouses. In Proceedings ofthe 19th National Conference on Innovative Applications of Artificial
Intelligence, pp. 1752–1759, 2007.
2) R. D’ Andrea. Guest editorial: A revolution in the warehouse: A
retrospective on kiva systems and the grand challenges ahead. IEEE
Transactions on Automation Science and Engineering, Vol. 9, No. 4,
pp. 638–639, 2012.
3) P. Baker and Z. Halim. An exploration of warehouse automation implementations: cost, service and flexibility issues. Supply Chain Management: An International Journal, Vol. 12, No. 2, pp. 129–138, 2007.
4) N. Correll, K. E. Bekris, D. Berenson, O. Brock, A. Causo, K. Hauser,
K. Okada, A. Rodriguez, J. M. Romano, and P. R. Wurman. Analysis and observations from the first amazon picking challenge. IEEE
Transactions on Automation Science and Engineering, Vol. 15, No. 1,
pp. 172–188, 2018.
5) H. Fujiyoshi, T. Yamashita, Y. Yamauchi, T. Hasegawa,
M. Hashimoto, S. Akizuki, Y. Domae, and R. Kawanishi. Team c2 m:
Two cooperative robots for picking and stowing in amazon picking
challenge 2016. In Proceedings of Warehouse Picking Automation
Workshop, pp. 1–4, 2017.
6) C. A. Rosen and D. Nilzan. Use of sensors in programmable automation. Computer, Vol. 10, No. 12, pp. 12–23, 1977.
7) A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification
with deep convolutional neural networks. In Proceedings of the 25th
International Conference on Neural Information Processing Systems,
pp. 1097–1105, 2012.
8) K. Simonyan and A. Zisserman. Very deep convolutional networks forlarge-scale image recognition. In Proceedings of International Conference on Learning Representations, pp. 1–14, 2015.
9) W. Liu, D. Anguelov, and D. Erhan. Ssd: Single shot multibox detector. In Proceedings of European Conference on Computer Vision, pp.
21–37, 2016.
10) S. Ren, K. He, R. Girshick, and J. Sun. Faster r-cnn: Towards real-time
object detection with region proposal networks. IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol. 39, No. 6, pp. 1137–
1149, 2017.
11) J. Redmon and A. Farhadi. Yolo9000: Better, faster, stronger. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 6517–6525, 2017.
12) P. Pastor S. Levine, A. Krizhevsky, J. Ibarz, and D. Quillen. Learning hand-eye coordination for robotic grasping with deep learningand large-scale data collection. International Journal of Robotics Research, pp. 421–436, 2017.
13) H. Liu J. Li. Design optimization of amazon robotics. Automation,
Control and Intelligent Systems, Vol. 4, No. 2, pp. 48–52, 2016.
14) A. Dosovitskiy, J. T. Springenberg, M. Riedmiller, and T. Brox. Discriminative unsupervised feature learning with convolutional neuralnetworks. In Proceedings of Neural Information Processing Systems

Conference, pp. 766–774, 2014.
15) C. Rennie, R. Shome, K. E. Bekris, and A. F. D. Souza. A dataset for
improved rgbd-based object detection and pose estimation for warehouse pick-and-place. IEEE Robotics and Automation Letters, Vol. 1,

pp. 1179 – 1185, 2016.