計測自動制御学会東北支部 第 343 回研究集会 (2023.7.7)
資料番号 343-6

色相別重畳マーカ HueCode による姿勢推定・物体検出を統合した工場内自律移動ロボット支援システム
A Support System for Autonomous Mobile Robot in a Factory byintegrating Pose Estimation and Object Detection using HueCode thatComprises Multiple Markers in Different Colored Layers○横田将輝 ∗ ，岡田佳都 ∗ ，大野和則 ∗ ，多田隈建二郎 ∗ ，田所諭 ∗○ Yoshiki Yokota∗ , Yoshito Okada∗ , Kazunori Ohno∗ ,Kenjiro Tadakuma∗ , Satoshi Tadokoro∗*東北大学*Tohoku University
キーワード : 可視マーカ (ﬁducial marker)，位置姿勢推定 (pose estimation)，物体検出 (object detection)
連絡先 : 〒 980-8579 仙台市青葉区荒巻字青葉 6–6–1
東北大学大学院 情報科学研究科 応用情報科学専攻 田所研究室
横田将輝，Tel.: (022)795-7025，Fax.: (022)795-7023，E-mail: yokota.yoshiki@rm.is.tohoku.ac.jp

1.

緒言

ロボットが環境中を自律移動して特定の作業を行うためには，ロボットの位置姿勢の推定と，障害物や作業対象の検出が必要である．例えば，ロボットが目的地まで移動するためには，ロボッ
トが環境中のどこにいて，どのような姿勢であるかを推定しながら移動する必要がある．また，移動経路に障害物がある場合は，その位置や向Fig. 1: Absolute pose estimation with HueCode

きに合わせて回避する必要もある．
このような位置姿勢推定や物体検出を安価かつ小さな計算コストで行う手法として AR マー
カなどの可視マーカを用いた手法がある．あらかじめ環境中や対象物に AR マーカを貼ること
で，カメラと AR マーカ間の相対的な位置姿勢を推定できる．また，AR マーカの ID とマーカが貼られた位置情報や物体情報を格納したデー–1–

Fig. 2: Object detection with HueCodeタベースを紐づけることでロボットの絶対位置図構築を同時に行う SLAM(Simultaneous Local-

姿勢推定や物体検出が実現できる．しかしデー

ization and Mapping) [3]，反射マーカを複数の高タベースを用いた手法では，AR マーカの ID に速度カメラによりトラッキングするモーションは限りがあるため位置姿勢推定可能な空間にはキャプチャ[4] などが挙げられる．課題として，上限がある．また，データベースへのアクセス

GNSS を用いた手法では屋内など衛生電波が届権などの制約から外部のロボットは環境中の ARかない環境では使用できず，SLAM やモーショマーカを活用できない．

ンキャプチャはセンサやカメラが高額である点

そこで本稿では，ロボットの絶対位置姿勢取などがある．相対位置姿勢を推定する手法とし得と物体検出が可視マーカとカメラのみで完結て，内界センサの値を積分することでロボット可能な自律移動ロボット支援システムを提案すの移動量を推定するオドメトリなどが挙げられる．本システムでは可視マーカとして，我々がるが，単体ではロボットの絶対位置姿勢を取得

提案している位置姿勢情報と追加情報が同時にできないため，他の手法と併用して使用される取得可能な複合マーカ HueCode [1, 2] を用いることが多い．

ことで，データベースとの接続無しで絶対位置一般的な物体検出手法として，深度センサによ姿勢推定や物体検出を実現する．また，本稿でり物体形状や距離を計測する手法や，YOLO [5]は工場内の自律移動ロボットを想定し，図 1 のなどの深層学習モデルを用いてカメラ画像からような絶対位置姿勢推定や，障害物の検出手法学習した物体を検出する手法が挙げられる．課を提案する．検証実験では，提案手法を用いて題として，鏡や透明な物体などはカメラやセンサ絶対位置姿勢推定や，図 2 のように一般的な物によって検出することが難しい点が挙げられる．

体検出手法では認識が困難である透明な物体や我々は安価かつ小さな計算コストで位置姿勢推定や物体検出を行う手法として AR マーカな鏡の検出ができることを示す．
本稿の構成は以下の通りである．2 節では位どの可視マーカを用いた手法に着目した．AR

置姿勢推定や物体検出における類似手法との比マーカを環境中や対象物体に貼ることで，カメ較について述べる．3 節では本システムで用い

ラと AR マーカ間の位置姿勢を推定することがる色相別重畳マーカ HueCode の概要を述べる．

できる [6]．これは，カメラ画像内の AR マーカ

4 節では提案する自律移動ロボット支援システの 2 辺の向きから外積を求めることでカメラとムについて述べる．5 節では HueCode の認識にAR マーカ間の相対姿勢が推定でき，事前に与用いるデータセットの構築方法について述べる．

えられた辺の長さと画像内の辺の長さを比較す

6 節では検証実験について述べる．7 節ではまとることでカメラとマーカ間の距離が推定できるめと今後の予定について述べる．

ためである．
我々は複数の可視マーカを 1 枚に重ねること

2.

で，複数の情報を同時に読み取り可能な複合マー関連研究

カ HueCode [1, 2] を提案してきた．本システム

一般的な位置姿勢推定手法は，絶対位置姿勢

では HueCode に環境中のマーカ位置や物体情報を推定可能な手法と相対位置姿勢を推定する手を格納することで，マーカとカメラのみで絶対法に大別できる．絶対位置姿勢を推定する手法と位置姿勢推定や物体検出を実現する．

して，GNSS(Global Navigation Satellite System)
や GPS(Global Positioning System) などの衛星測位システムを用いた手法や，位置姿勢推定と地–2–

Fig. 4: Recognition of HueCodeFig. 3: Generation of HueCode3.

色相別重畳マーカ HueCode

本節では我々が提案してきた HueCode の概要を述べる．詳細は [1, 2] を参考にされたい．

HueCode は複数の可視マーカを異なる色相を用いて 1 枚に重畳することで構成される．これにより，1 枚分の面積で複数の情報を同時に取Fig. 5: Minimum system components得できる．重畳する可視マーカとして AR マー
カを用いることで，マーカとカメラ間の相対位次に HueCode の認識方法について説明する．

置姿勢を計算できる．また，QR コードを用いHueCode の認識方法を図 4 に示す．Binarizer でることで数字や文字列などの任意の情報をマー

はカメラで撮影した画像の各画素の RGB の値かカから読み取れる．さらに，大きさの異なる複ら，その画素をマーカに使用した色のいずれか数の AR マーカを重畳することにより，認識範に分類し，生成時の対応関係から元の白黒マー囲を向上させたマーカも実現できる [7]．色を用カを復元する．復元された白黒マーカは既存のいることでそれぞれのマーカをそのままの大きライブラリを用いて読取できる．Binarizer にはさで重ねられるため，マーカを単に並べるよりSVM(Support Vector Machine) [8] が用いられてもそれぞれのマーカを大きく表示できる．また，いる．SVM は機械学習アルゴリズムの一種でHueCode に用いられるマーカに制約はないため，あり，異なるクラスのデータを分類する超平面高性能なマーカが提案されるたびに HueCode のを決定するアルゴリズムである．Binarizer の学性能も向上可能である．

習データとして，事前にマーカに使用した色をHueCode の生成方法について説明する．2 種

様々な照明下で撮影したデータセットを作成し，類の白黒マーカを重畳する場合の生成方法を図それぞれの色が取りうる値を RGB 空間にプロッ3 に示す．重畳後の各画素は白と黒の組み合わトする．各色をクラスとして SVM を用いて境せにて表現されるため，22 色で表現される．具界面を決定することで，RGB 空間におけるマー体的には AR マーカの白と QR コードの白の組

カに使用した色の分布を求め，Binarizer で使用み合わせには緑色を，AR マーカの白と QR コーする．

ドの黒の組み合わせには赤色を割り振ることで表現している．一般化すると，N 枚の白黒マー
カを重畳するには 2N 色があればよい．

–3–

4.

提案システム

提案する工場内自律移動ロボット支援システ
ムの構成を図 5 に示す．本システムの最小構成はカメラ，HueCode，認識用 PC である．HueCodeをカメラで撮影し，3 節に示す認識方法によりマーカとカメラ間の相対位置姿勢の推定と QRコードに書き込まれた情報の読取を行う．また，

HueCode に重畳する QR コードの情報を変える

Fig. 6: Setup for dataset construction

ことで，絶対位置姿勢推定と物体検出の両方にHueCode を用いた物体検出方法について説明対応する．

HueCode に基づく絶対位置姿勢推定方法につする．HueCode に重畳する QR コードに書き込いて説明する．HueCode に重畳する QR コード

む情報は，(A) オブジェクト名，(B) オブジェクに書き込む情報は，(A)HueCode が貼られた絶トの大きさ，(C)HueCode に重畳された AR マー

対位置姿勢，(B)HueCode に重畳された AR マー

カの一辺の大きさ，の 3 つとした．(A) により，カの一辺の大きさ，の 2 つとした．先に (B) にマーカが貼られたオブジェクトの種類が取得でついて説明する．2 節にて，AR マーカを用いきるため，そのオブジェクトが障害物なのか，作た位置姿勢推定には AR マーカの 1 辺の長さが業対象なのかを判別可能となる．(B) により，オあらかじめ与えられる必要があることを述べた．

ブジェクトの幅や高さ，奥行きなどの障害物回したがって，1 辺の長さを QR コードに書き込避や物体把持を行うために必要な情報が得られむことで事前情報なしで位置姿勢推定ができる．

る．HueCode を用いた物体検出の利点は以下の(A) の情報より HueCode が貼られた位置と姿勢とおりである．

Marker が取得できるため，カメラの絶対位置姿TWorld• 深層学習を用いた手法と異なり，事前の学Camera が式 1 を用いて取得できる．
勢 TWorld

CameraMarkerCameraTWorld= TWorld
× TMarker

習やアノテーションが不要である• 鏡や透明な物体など，既存のセンサでは(1)認識が困難な物体でも検出可能である

Camera は AR マーカとカメラの相対
ここで，TMarker• HueCode を読み取るだけで物体のサイズ・位置姿勢を表し，AR マーカをカメラで撮影す領域が容易に取得可能である

ることで求められる．

HueCode を用いた絶対位置姿勢推定の利点は以下のとおりである．

5.

データセットの構築• AR マーカと QR コードの組み合わせによ

データセットの撮影環境を図 6 に示す．照明機

り，カメラの絶対位置姿勢が取得できる

器 [9] を用いて複数の色を印刷したカラーマップ• データベースや事前情報が不要であり，必に条件を変えて照明を当てて撮影し，取り得るRGB の値を計測してデータセットを作成した．

要な情報はすべて QR から読み取れる

撮影条件について，我々が以前作成したデータ• 後から変更が必要な場合はマーカの張替

セット [2] より明るさに頑健な認識が可能となるえのみで済むため，柔軟な仕様変更に対ように，データの撮影方法を変更した．これは，応できる

以前のデータセットでは図 6 のように正面から–4–

実験環境について説明する．カメラは Realsense

D435i [10] を使用した．用いたカメラは RGB カ
メラと IR カメラの両方を同時に撮影可能である．マーカの認識には RGB カメラのみを使用した．(解像度 1280 × 720，FOV87◦ × 58◦ ) また，鏡や透明な物体の検出性能を比較するため，IR(a) Previous dataset(b) New dataset

カメラを用いた深度画像を比較対象とした．
絶対位置姿勢用マーカは 1 種類，物体検出用Fig. 7: Improvement of the dataset

マーカは 2 種類作成した．マーカサイズは 1 辺
照明を当てて計測していたが，照明の影となる50mm とし，反射防止のためラミネート加工をようなマーカの配置方法では色の分類がうまく施した．絶対位置姿勢推定用マーカに書き込んできておらず，認識成功率が低くなっていたかだ情報は「0 100 200 0 0 0 0 50」とした．一つらである．この理由として，実際にマーカを認

目の数字 0 は絶対位置姿勢推定用マーカである

識する際に様々な照明条件下で認識できるようことを表す．次の 6 つの数字は位置 (x, y, z) と自動露光を設定し，学習時も条件をそろえるた

姿勢 (roll, pitch, yaw) を表す．最後の 50 は ARめ同じ設定にしていたことが原因であると考えマーカの 1 辺の長さ [mm] を表す．ている．学習時は撮影対象がマーカのみである

物体検出用マーカに書き込んだ情報は「1 acrylic

ため明るさを変えて撮影するとマーカに合わせ320 180 3 50」と「1 mirror 320 180 2 50」として露光時間が調整されていたのに対し，実際のた．一つ目の数字 1 は物体検出用マーカである

環境ではマーカ以外の要素に合わせて露光時間ことを表す．次の文字列は物体の種類を表す．次が調整されることがあるためマーカが照明の影の 3 つの数字は物体の大きさ (高さ，幅，奥行となると学習時よりも暗い画像が撮影され上手き)[mm] を表す．最後の 50 は AR マーカの 1 辺く認識できていなかったと考えた．したがって，の長さ [mm] を表す．

本システムでは自動露光をオフに設定しデータ認識用 PC では ROS [11] を用いて入力画像かセットの構築を行った．また，露光調整がないたら AR マーカと QR コードの読取，認識結果のめ，白飛びしたデータが含まれないように，以表示を行った．

前は照明の明るさをは上限の 5%, 50%, 100%の絶対位置姿勢推定を行った様子を図 1 に示す．

三種類としていたところを 5%, 10%, 15%と設

撮影画像から AR，QR の復元を行い，カメラ-定した．得られたデータセットのばらつきを図

マーカ間は AR の認識結果から，マーカ-原点間7 に示す．以前のデータセットよりもそれぞれは QR の情報から座標変換を得ることで，原点-の色のばらつきが大きいデータが得られている

カメラ間の絶対位置姿勢を得ることができた．

ことが確認できるため，より明るさに頑健な認

透明な物体，鏡の物体検出を行った様子を図識が可能であると考える．具体的な性能評価は

8 に示す．IR カメラを用いた深度画像では透明今後行う予定である．

な物体や鏡を正しく認識できていない様子がわ
かる．透明な物体では赤外線が透過してしまい，6.

鏡の場合は鏡に反射した物体がそのまま深度画検証実験

像に反映されるため，物体との距離が正しく認

提案システムを用いて，絶対位置姿勢推定・識できなかった．一方で，提案手法を用いるこ物体検出が行えることを実験により確かめた．とで，物体の材質によらず HueCode の情報から–5–

multiple ﬁducial markers using optimal color
scheme,” in 2022 IEEE 18th International Conference on Automation Science and Engineering(CASE), pp. 583–588, IEEE, 2022.
3) J. J. Leonard and H. F. Durrant-Whyte, “Simultaneous map building and localization for an autonomous mobile robot.,” in Proceedings IROS
’91:IEEE/RSJ International Workshop on Intelligent Robots and Systems ’91, vol. 3, pp. 1442–1447, 1991.

Fig. 8: Comparison with the proposed method anddepth camera for acrylic plate and mirror detection
形状を正しく認識できていることが確認できた．

7.

4) A. C. Sementille, L. E. Lourenço, J. R. F. Brega,and I. Rodello, “A motion capture system using passive markers,” in Proceedings of the 2004
ACM SIGGRAPH international conference on
Virtual Reality continuum and its applications inindustry, pp. 440–447, 2004.
5) J. Redmon and A. Farhadi, “Yolov3: An
incremental improvement,” arXiv preprint
arXiv:1804.02767, 2018.

結言

本稿では緒言に述べた，工場内での自律移動ロボットを支援するための，色相別重畳マーカ

HueCode を用いた絶対位置姿勢推定手法と物体検出手法を提案した．今後は，位置姿勢推定や物体検出精度の向上や，データセットの違いと認識率の比較，最適なデータセット構築などに取り組む予定である．また，自律移動ロボットへの提案システムの組み込みも取り組みたいと考えている．

6) H. Kato and M. Billinghurst, “Marker tracking
and hmd calibration for a video-based augmented
reality conferencing system,” in Proceedings 2ndIEEE and ACM International Workshop on Augmented Reality (IWAR’99), pp. 85–94, IEEE,1999.
7) 横田将輝, 岡田佳都, 藤倉大貴, 大野和則, 多田隈建二郎, and 田所諭, “AR-HueCode: 多数の AR
マーカの色相別重畳により高精度姿勢推定を可能とする複合マーカ,” in 第 22 回 計測自動制御学会 システムインテグレーション部門講演会, pp. 1284–1287, 計測自動制御学会, 2021.
8) V. Vapnik, The nature of statistical learning theory. Springer science & business media, 1999.

謝辞
本研究開発は、総務省の「仮想空間における電波模擬システム技術の高度化に向けた研究開発（JPJ000254）」によって実施した成果を含みます。

参考文献
1) Y. Okada, D. Fujikura, Y. Ozawa, K. Tadakuma,
K. Ohno, and S. Tadokoro, “Huecode: A metamarker exposing relative pose and additional information in different colored layers,” in 2021
IEEE International Conference on Robotics andAutomation (ICRA), pp. 5928–5934, IEEE, 2021.
2) Y. Yokota, D. Fujikura, Y. Okada, K. Ohno,
K. Tadakuma, and S. Tadokoro, “Huecode2:
An illumination-robust meta-marker overlaying–6–9) L. PIXEL ENTERPRISE LIMITED, “K80rgb metal light-pixel is a 14-year company always dedicated to provide quality
and smart lighting and audio products forphotography and videography creators..”
https://www.pixelhk.com/en/
product/K80rgb-Metal-Light-3.
(Accessed on 01/26/2023).
10) “Depthcamera
d435i–intel®
realsense™ depth and tracking cameras.”
https://www.intelrealsense.com/
depth-camera-d435i/.
(Accessed on07/05/2023).
11) M. Quigley, K. Conley, B. Gerkey, J. Faust,
T. Foote, J. Leibs, R. Wheeler, A. Y. Ng, et al.,
“Ros: an open-source robot operating system,” in
ICRA workshop on open source software, vol. 3,p. 5, Kobe, Japan, 2009.