日本ソフトウェア科学会第 33 回大会 (2016 年度) 講演論文集

特定物体認識を用いた簡易備品管理システムの開発
石橋 賢一郎Zhao Zhang

嵯峨 智

近年，POS システムをはじめとする物品管理システムにおいて，通常は物品を特定する識別コードが用いられることが多い．そこで，本論文では画像による特定物体認識を用いた簡易備品管理システム Snap Borrow を提案する．本システムは画像による特定物体認識を利用して備品を認識するため，これまで備品管理に必要とされたバーコード等の識別コードを利用することなく簡便な備品管理を実現する．本システムにより利用者はスマートフォンで備品を撮影するだけで対象備品を特定し，記録を残しながら容易に備品を登録・貸出・返却することが可能となる．

Recent years, many equipment management systems, such as POS system, employ special identification
code. However, the management cost is too much for equipment management in a small group, such as alaboratory. In this paper, we propose a simple equipment management system, which employ vision-based
generic object recognition. The system doesn t have to issue a special identification code for each equipment.
The users can manage the status of each equipment easily by capturing the photo of it.

ることが多く，備品の確認に支障を来すことがある．

1 はじめに一方，コンピュータビジョン技術の発展に伴い，機近年，情報化の進展に伴い，さまざまな物品管理械学習による技術が多くのアプリケーションで利用システムが利用されている．大規模なシステムではされるようになってきた．Google 画像検索 や顔画像

Point of Sales (POS) System [1] がよく知られ，多認証 など，実用的な用途への応用は枚挙にいとまがくの販売店で普及し利用されている．POS システムない．望月ら [3] は，スマートフォンと特定物体認識

ではバーコードを利用して商品を同定している．図書を用いた物品管理システムを提案している．しかし，館など多くの書籍を扱う場合もバーコードをベースとこれは小規模組織での貸借用に利用することを前提したシステムでの物品管理が実施されている．また，には作られていないため，貸し借りを管理する機能

近年では商品同定のために RFID タグ [2] を利用したがシステムにない．また，特徴点群の空間距離情報の現品確認作業 なども徐々に普及しはじめている．こみを用いているため，認識精度もそこまで高くない．のように，大規模に管理の労力をかけられるシステム

そこで我々はこのような画像認識技術を備品管理に応

ではバーコードや RFID タグなどのように専用の識用し，管理のための労力を極力減少させつつ，貸出，別コードを付加することで，対象を同定する手法が有返却の管理を実現する備品管理システムを提案する．

効である．しかし，研究室などの小規模グループ内で我々が提案する画像認識による備品管理システムの備品管理には管理に割ける労力が多くないことがSnap Borrow は端末で備品を複数回撮影し，備品に多い．そのため，貸出，返却などを記録せず実施され所持グループ・保管場所・コメントといった付加情報を加えるだけで登録作業が終了する．その後，システ

Specific Object Recognition-based Easy Equipment
Management System
Kenichiro Ishibashi, 筑波大学システム情報工学研究科コンピュータサイエンス専攻, Department of Computer
Science, University of Tsukuba.

ムにログインしたグループメンバが登録された備品を撮影することで備品の順位付きの認識結果を得ることができ，対象備品の貸し出し，返却処理を実施できる．本システムは従来の備品管理システムと比べ

ImageRecognition
ResultClientFixtureServer

図 1: 提案システム概要て，バーコードや RFID タグといった識別コードや，
図 2: Visual Words 作成

その管理が不要であり，管理のための労力を極力減少させつつ，備品の撮影のみで貸出，返却の管理を実現する．

より特定物体認識を行う．

2. 1. 1 特徴量抽出2 提案システム概要

局所特徴量の抽出で多く用いられる手段として，提案システムの概要を図 1 に示す．本システムは，Bay, et al. によって提案されている SURF [5] があAndroid OS が搭載された端末と物体認識及び備品管る．SURF は画像から特徴点の抽出と特徴量の記述理を行うサーバからなる．システム利用のおおまかなを行うアルゴリズムであり，スケール，回転，照明と流れを以下に示す．ユーザは，まず Android 端末でいった撮影環境の変化にロバストな特徴を持つ．本シ貸借の対象としたい備品の撮影を行う．次に撮影されステムでは，SURF を用いて特徴量を 128 次元の特た画像はサーバに送信され，物体認識によりグルー徴ベクトルで表現する．

プの所持する備品群との比較が行われる．その結果，

2. 1. 2 Visual Words 作成

備品が未登録であった場合，ユーザは備品の登録処

Visual Words

作成の流れを図 2 に示す．まず，理を行う．また，備品が既に登録済みであった場合，Visual Words を作成するために局所特徴抽出によっユーザは貸し出し・返却処理を行う．本節では各処理て学習画像群から SURF 特徴を抽出する．本システの詳細を述べる．

ムでは，全特徴を 128 次元空間に分布させ， K-meansを用いて 128 次元空間におけるユークリッド距離を基

2. 1 物体認識にクラスタリングする．各クラスタの重心を Visual

グループの所持する備品の認識手法として，我々はWord と呼び，全 Visual Word の集合をCsurka, et al. が提案した Bag-of-Keypoints [4] という手法を用いる．Bag-of-Keypoints の流れを示す．

1. 学習画像群から局所特徴量を抽出する．
2. 抽出された全ての特徴ベクトルを複数個のクラVisualWords とする．
2. 1. 3 画像の Bag-of-Keypoints 表現
画像の Bag-of-Keypoints 表現の流れを図 3 に示す．
画像のBag-of-Keypoints 表現とは各画像を Visualスタにクラスタリングし，各クラスタの重心をWords を次元とするヒストグラムに変換することでVisual Word とする．

ある．まず，各画像の局所特徴量にユークリッド距離

3. 各学習画像の局所特徴量を Visual Words( Vi-が一番近い

Visual Word を探索する．次に，各画

sual Word の集合) を用いてベクトル量子化し，像の特徴量を探索されたベクトル量子化ヒストグラムを作成する

投票により得られたヒストグラムを特徴数で割り正

4. 作成したベクトル量子化ヒストグラムを教師ベクトルとして分類器を作成する
以上の手法で作成された分類器を用いて，入力された物体の写真がどのクラスに属するか判定することにVisual Word に投票する．

規化することで，各画像は Visual Words を次元とするヒストグラムに変換される．

図 3: 画像の Bag-of-Keypoints 表現

2. 2 クラス分類器作成および認識確率による順位づけ
学習画像から得られたベクトル量子化ヒストグラムを教師ベクトルとして分類器を作成する．本システム
では分類器に Support Vector Machine (以下 SVM)
[6] を用いる．SVM は 2 クラスの分類において優れた性能を持つ学習アルゴリズムであり，複数の 1 対 1

図 4: システム利用の流れ

分類 SVM を組み合わせることで多クラスの分類も可能である．分類器による備品のクラス分類結果は備品管理に利用されるが，撮影環境により正しいクラス分類結果が得られない場合がある．本システムでは分類結果に確率推定に基づく順位を設けることで，クラス分類で正しい認識結果が得られなかった場合にも次点以降に確率の高い候補をあげることで対応する．
今回は SVM のライブラリとして libSVM [7] を用いる．クラス分類のため，C-SVM と RBF カーネル

図 5: 左：ログイン画面

右： ホーム画面により分類をすることとした．さらに認識結果に順位を設けるために，libSVM の Probability Estimationを用いた．これにより得られた多クラスの認識の確率を降順にソートすることで，認識結果の順位を取得する．

2. 3 システム利用の流れ
本システム利用の流れを図 4 に示す．今回，実例と図 6: 備品登録画面．左: 備品詳細情報登録画面: 詳細

してシステムに時計を登録し，貸し出し処理を行う．

情報登録後，備品画像登録画面に移行する．右:図 5 にログイン画面とホーム画面を示す．本システム

備品画像登録画面: 複数枚の画像登録を促す．

ユーザはホーム画面から備品の新規登録，備品認識を選択して各処理を実行できる．図 6 に備品登録画

われ，備品登録が完了する．図 7 に備品認識画面を面を示す．まず，ユーザは備品名・備品の場所・固有示す．Android 端末で撮影された写真はサーバに送ID・メモの各欄に備品情報を入力する．次に，ユー信され，分類器で識別され，結果は認識確率の高い順

ザは登録する備品の写真群を Android 端末付属のカに表示する．図 8 に貸し出し・返却画面を示す．ユー

メラから取得する．最後に，登録完了ボタンを押すとザは認識結果をもとに貸し出し・返却処理を行う．

分類器作成及びデータベースへの備品登録処理が行図 7: 備品認識画面．左: キャプチャ画面: ホーム画
面からカメラアイコンを押下すると画像キャプチャ画面に遷移する．備品を撮影すると自動的に画像をサーバに送信する．

右: 備品認識結

果画面: サーバからの備品認識結果を候補画像をあげて表示する．

図 9: 評価に用いた備品群
つをテスト画像，残りを学習画像として分類を行う．
これを 10 個のグループ全てについて行い，その平均を分類結果とする．ただし，K-means パラメータは
図 8: 左: 備品の貸し出し画面: 認識結果の所定の備品を押下することによりこの画面に遷移する．

K=100，SVM カーネルは RBF カーネルを用いるとする．

貸し出し可能であれば”Borrow” ボタンが押下

Cross Validation によるクラス分類結果を表 1 に可能になっている．押下することにより，貸出示す．表 1 の対角成分が正答率を表しており，全体登録が終了する．右: 返却画面: 返却可能であ的に高精度な分類を実現できているといえる．Hub，れば”Return” ボタンが押下可能になっている．

Mouse 及び Speaker の正答率が低いのは，白い背景押下することにより返却登録が終了する．に白い備品を配置したことや撮影方向によっては均一な面のみが映ること等の影響で，局所特徴量が十分に得られない画像があることが影響していると考えら

3 システムの評価れる．

本節では提案システムの有用性の検証を行う．有用性の評価方法として，Bag-of-Keypoints

Probability Estimation による認識確率の Cross

による備Validation による認識確率を表 2 に示す．この値は品識別精度の計測及び, システムシステム利用者への第 2 節で述べた Probability Estimation を用いて出アンケートを実施した．なお本アンケートは, 事前に力した認識確率の平均を結果とする．表 2 の対角成評価項目を説明し, 参加に同意の得られた者を対象と分が平均認識確率を表しており，値が大きいほど確した．

信を持った識別結果であるといえる．表 1 と照らし合わせると，クラス分類の正答率が高い備品である

3. 1 認識精度の計測

Note PC，Raspberry Pi 及び Soldering Iron におい

図 9 に示す 10 種類の備品各 100 枚の画像を利用ては認識確率も高い値を示しており，認識確率の値のしたCross Validation によって評価を行う．学習データを均等に 10 個のデータ群に分け，その中の一過多がクラス分類の正答率に直結しており，有効に活用できるといえる．

表 1: 備品のクラス分類結果
Recognition result

ClassHuRoHaMoDrNoTaRaSoSp

Hub86000105008

Router092

60010010

Handycam

08920000000Mouse

80085

302002Drone21139100011

Note PC

00000960040Tablet

50010092002

Raspberry Pi000000010000Soldering Iron

1010000098

0Speaker

31154030083

表 2: Probability Estimation による備品の認識確率 [%]Recognition probability

ClassHuRo

HaMoDrNoTaRaSoSp

Hub

74.6

0.4

0.3

4.8

2.2

0.5

6.8

0.3

0.8

9.3

Router

0.6

81.6

9.7

0.4

0.6

1.5

0.4

1.1

2.2

2.1

Handycam

0.3

13.8

76.4

0.7

2.4

0.6

0.3

2.4

1.6

1.5

Mouse

5.9

0.5

0.7

78.1

4.1

0.7

3.3

0.8

0.6

5.3

Drone

2.3

1.6

2.0

5.4

79.0

1.2

1.3

0.7

1.1

5.5

Note PC

0.2

0.8

0.7

1.0

1.0

92.3

0.2

0.3

2.9

0.5

Tablet

8.0

0.3

0.2

3.3

1.0

0.3

79.9

0.2

0.6

6.2

Raspberry Pi

0.3

1.3

1.6

0.7

0.6

0.4

0.2

92.6

1.2

1.0

Soldering Iron

0.8

3.5

2.7

0.8

0.9

2.2

0.6

1.2

85.6

1.7

Spaker

6.3

2.9

2.1

5.9

5.6

0.7

5.7

1.1

1.168.7

3. 2 ユーザの評価
図 10 にユーザの評価を示す．評価は，手軽さ，操作に迷わないか，画面遷移が分かりやすいか，既存のアプリと比べて備品管理が容易か，今後も利用したい
かの 5 項目を 5 段階評価で確認した．アプリの評価に関しては全て平均が 3 点台中盤〜後半の評価を得ており，平均よりは良いがまだ改善の余地ありといった印象を受けた．特に操作に迷わないかという設問

図 10: ユーザの評価に関しては，操作方法にかんしてある程度の説明が必要な部分があった．この結果を受け，ユーザマニュ
アル表示をシステム内で行えるように変更を加え，操4 AKAZE 特徴量による実装作に迷いやすいという課題への対応を行った．

本論文で用いた SURF 特徴量は，製品内で用いる際にライセンス契約が必要となるため本システムをアプリとして公開する際は制約が大きい．KAZE そのため，P. F. Alcantarilla らによりオープンソース

表 3: AKAZE を用いた際の備品のクラス分類結果
Recognition resultClassHuRoHaMoDrNoTaRaSoSp

Hub94000005001

Router086

101010201

Handycam

05910100111Mouse

00095

100004

Drone00109700020

Note PC

1130095

0000

Tablet10000099000

Raspberry Pi

022

100

095

00

Soldering Iron

20200000960Speaker

3124

3000186

表 4: AKAZE を用いた際の Probability Estimation による備品の認識確率 [%]Recognition probabilityClassHuRoHaMoDr

NoTaRa

SoSp

Hub

82.4

0.6

0.6

0.9

1.5

0.4

6.7

0.3

1.2

5.3

Router

0.4

76.6

11.7

0.9

0.7

0.3

0.3

3.4

1.1

4.6

Handycam

0.4

11.1

71.9

1.7

3.0

0.9

0.2

4.0

2.9

3.9

Mouse

0.7

1.0

2.2

84.8

1.4

2.2

0.5

1.1

1.3

4.7

Drone

0.2

0.3

1.0

2.6

91.7

0.6

0.1

0.5

2.6

0.4

Note PC

1.9

1.2

3.4

1.3

0.9

86.6

0.7

0.7

0.4

2.9

Tablet

5.3

0.4

0.2

0.5

0.7

0.1

91.3

0.2

0.2

1.0

Raspberry Pi

0.2

3.0

4.1

2.1

0.6

0.5

0.2

87.8

1.0

0.5

Soldering Iron

2.2

1.6

3.9

1.8

0.4

2.1

0.3

1.2

83.5

3.0

Spaker

4.7

3.6

3.8

4.3

3.2

0.4

0.5

0.4

2.5

76.5

として開発された AKAZE [8] を用いて特徴量抽出をおこなうことで，ライセンスに関する問題がないシステムを作成した．

AKAZE を用いたシステムにおいても，3.1 と同様に図 9 に示す 10 種類の備品各 100 枚の画像を利用したCross Validation によって評価を行う．

4. 1 AKAZE と SURF の比較
SURF に用いられているスケールスペースは，Gaus-

図 11: 上方から撮影した Hubsian filter が等方的であるためオブジェクトのエッジをぼかしてしまう．そのため，図 11 に示す特徴が細対してよりロバストだといえる．

い輪郭線しかない種類の画像の場合，局所特徴量の抽出ができないことがある．

4. 2 AKAZE を用いた際の認識精度の計測

それに対して AKAZE では非等方的なスケールス

Cross Validation によるクラス分類結果を表 3 にペースが用いられているため，図 11 のような画像に示す．表 3 の対角成分が正答率を表しており，SURFと同様に全体的に高精度な分類を実現できているといえる．また，SURF と比べて Hub，Mouse 及びSpeaker といった局所特徴量が十分に得にくい画像の参 考 文 献正答率が高く，様々な備品を扱う本システムにおいて[1] Jackson Lum.
Point-of-sale system and distributed computer network for same, Aug. 2001. US
Patent 6,272,529.
[2] John H Bowers and Thomas J Clare. Inventory
system using articles with rfid tags, Oct. 1999. US
Patent 5,963,134.
[3] 望月宏史, 柳井啓司. 物体認識技術を用いたモバイル
物品管理システム. In DEIM Forum, 2012.
[4] Gabriella Csurka, Christopher Dance, Lixin Fan,Jutta Willamowski, and Cédric Bray. Visual categorization with bags of keypoints. In Workshop
on statistical learning in computer vision, ECCV,Vol. 1, pp. 1–2. Prague, 2004.
[5] Herbert Bay, Andreas Ess, Tinne Tuytelaars, andLuc Van Gool. Speeded-up robust features (surf).
Computer vision and image understanding, Vol.
110, No. 3, pp. 346–359, 2008.
[6] Johan AK Suykens and Joos Vandewalle. Leastsquares support vector machine classifiers. Neuralprocessing letters, Vol. 9, No. 3, pp. 293–300, 1999.
[7] Chih-Chung Chang and Chih-Jen Lin.
Libsvm: a library for support vector machines. ACM
Transactions on Intelligent Systems and Technology(TIST), Vol. 2, No. 3, p. 27, 2011.
[8] P. F. Alcantarilla, J. Nuevo, and A. Bartoli. Fast
explicit diﬀusion for accelerated features in nonlinear scale spaces. In British Machine Vision Conf.
(BMVC), 2013.

は AKAZE を用いることがより適当だといえる．

5 結論
本論文では，研究室等小規模グループでの備品管理が厳密に行われていない問題を解決するために，物体認識を利用した備品管理アプリ

Snap Borrowを提案した．システムの評価から，Bag-of-Keypointsによる高い識別正答率を実現し，ユーザからも一定の評価が得られた．このことから，本システムにより物体認識を利用した備品管理が実現できたといえる．
しかし，ユーザからの評価よりシステムの操作面での課題があることも分かった．今後の課題としてユーザビリティ面の改善を行う必要がある．

実装の公開

Snap Borrow のソースコードは GitHub にてhttps://github.com/ishibashikenichiro/SnapBorrowの URL で公開中である．