情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-06
2023/3/1

布圧力センサを用いた布表面形状推定システムの検討
髙木 章成1

加藤 寛貴2吉田 直人4

米澤 朋子5

間瀬 健二3

榎堀 優2

概要：
昨今，様々なウェアラブル端末や生体センサが登場している．衣類型のセンサも多数提案されているが，その多くは体に密着させるものである．これは，あまり密着しない上着やスカートのような布上にセンサを実装すると，布の動きの影響を強く受けるためである．そこで我々は，織り構造による布圧力センサの出力値が，布の変形によっても微細な変化を発生させることに着目し，布圧力センサを用いた布形状および衣類形状の計測について研究している. 我々は，3 次元情報を 2 次元画像にマッピングすることで，盛んに研究されている多様な 2 次元画像を対象とした DNN 技術を活用し，pix2pix を用いたことで，平均誤差39.1 mm で 60 fps の表面形状推定を可能とした．

1. はじめに
昨今，様々なウェアラブル端末や生体センサが登場している．衣類型のセンサも多数提案されているが，その多くは体に密着させるものである．これは，あまり密着しない上着やスカートのような布上にセンサを実装すると，布の動きの影響を強く受けるためである．そこで我々は，織り構造による布圧力センサの出力値が，布の変形によっても微細な変化を発生させることに着目し，布圧力センサを

図 1: 布圧力センサ及びセンサ基盤

用いた布形状および衣類形状の計測について研究している [1]. 我々は，3 次元情報を 2 次元画像にマッピングすることで，盛んに研究されている多様な 2 次元画像を対象とるため，常時用いるにはプライバシーの問題が生じうる．

した DNN 技術を活用可能とした．本稿では，pix2pix を本手法では，布圧力センサを用いて表面形状を推定する用いたことで，平均誤差 39.1mm で 60 fps の表面形状推ことで，オクルージョンの問題やプライバシーの問題を回定を可能とした結果について述べる．

避できる．さらに，LiDER 機器やカメラ等の設置が不要2. 関連研究
2.1 センシングデータからの物体表面形状推定となる．

2.2 布表面形状推定

物体の表面形状推定手法において，LiDER のようなレー我々は，過去の研究 [1] において，3DCNN を用いて表ザー光やパターン光の反射を利用したものが用いられる．

面形状推定を行っている．一方で，3 次元形状復元を行う

しかし，本研究で行うような布表面形状の推定には，皺や研究は，2DCNN を用いた提案も盛んである．前述の PIFu

曲げなどで生じるオクルージョンが推定の妨げになる．なども 2DCNN を用いた形状復元である．そこで，本研究

また，PIFu[2] をベースとした RGB 画像から人体表面形

では，3 次元情報を 2 次元画像にマッピングし，pix2pix[3]状推定を行う研究もある．前述のものに比べ，カメラのみを用いたことで 60fps による形状推定を可能にした．

で行えるので簡単ではあるが，カメラで撮影する必要があ

3. 布圧力センサに表出する形状情報12345

名古屋大学 情報学部
名古屋大学 大学院情報学研究科
名古屋大学数理・データ科学教育研究センター
工学院大学 情報学部
関西大学大学院 総合情報学研究科© 2023 Information Processing Society of Japan

我々は，織り構造による布圧力センサ [4] を利用している
布圧力センサの布部分は導電性繊維が縦方向と横方向に格子状に編み込まれており，各交差部分がキャパシタとなっ

478

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-06
2023/3/1(c) 布表面形状の(a) 圧力値画像(b) 布表面形状

2 次元画像表現

図 2: 圧力値画像と布表面形状の比較ている．布に対する圧力や形状の変化に伴い繊維間の距離が変化し静電容量が変化することで，センサ基盤から得ら(a) 生成器れる信号強度が変化する．本稿で利用した布圧力センサを
図 1 に示す．これは，縦方向に 20，横方向に 40 の格子状の領域の信号を取得できる．
この布圧力センサは，布の形状変形によっても，縦糸横糸間の関係が微妙に変化し，出力値も同様に変化する．圧力値図 2a と布表面形状図 2b の比較によっても，圧力値の高い白い部分や薄い線部分が布表面形状の突起部分や皺に対応することが確認できる．従って，本センサの出力値を深層学習により解釈することで，布表面形状の推定ができる可能性が示唆されている．

4. 布表面形状推定(b) 識別器

本研究では，盛んに研究されている 2DCNN 系深層学習

図 3: 機械学習モデル概要

を応用可能とするため，3 次元情報を 2 次元画像にマッピングするアプローチを取った．本稿時点では，深層学習としては pix2pix を利用した．以下，詳しく述べる．

4.1 3 次元情報の 2 次元画像マッピング
図 2a，図 2b に布圧力センサから得られた圧力値をグレイスケール画像とした圧力値画像と，その時の布表面形状を示す．この時、図 2a，図 2b の間では対応する布センサ圧力点の位置が圧力値画像の xy 座標と布表面形状の zx 座標で同期していない．圧力値に応じて布表面形状の zx 座標も変化するからである．そのため，位置情報を保存する傾向にある U-Net[5] などの 2DCNN 系深層学習は，この
図 4: ユニット概要

二つのデータ間を直接接続するためには不向きである．そこで，本稿では，xyz の 3 次元位置情報を rgb の各値に格納することで，3 次元位置情報を 2 次元画像にマッピングする手法を提案する．

である．
以上の手法で，3 次元情報を 2 次元画像にマッピングす

布表面形状を 3D で表現するとき，縦方向 H に横方向ることとその逆が可能にし，布表面形状を img2img の手に W 個の頂点からなるメッシュとして表現することがで法を用いて推定できる．例として，布表面形状の図 2b と，きる．また，布をカメラに向けて広げたときの左上の角

その 2 次元画像の図 2c を示す．

を (1, 1) とし，(i, j) 番の頂点の一つ下の頂点 (i + 1, j) を一つ右横の頂点を (i, j + 1) とすることですべての頂点に4.2 pix2pix による布表面形状推定

H × W 通りの 2 次元の番号を割り振ることができる．こ

本研究では，pix2pix を用い表面形状推定を行った．

こで，(i, j) 番の頂点の xyz 座標とサイズ H × W の RGB

pix2pix は入力値と出力値の位置情報を良く保存し，また，画像縦 ipx 横 jpx 目の rgb 値を対応させることにより，3少ないデータセットでも学習できるためである．

次元情報である布表面形状と 2 次元画像の相互変換が可能© 2023 Information Processing Society of Japanpix2pix は U-Net をベースとした生成器 G・畳み込み層

479

情報処理学会 インタラクション 2023
IPSJ Interaction 2023をベースとした識別器 D からなる敵対的生成ネットワー
クの一種である．ネットワークの概要を図 3a 図 3b に示2A-062023/3/1

表 1: 推測モデルと実測値の誤差 (単位:mm)
Eavg

Emax

データ 131.6 ± 12.872.8

生成器は，圧力値配列 X を入力として与える．布表面

データ 244.7 ± 24.7

133.6

す．また，各ユニットの概要を図 4 に示す．
頂点座標配列 G(X) を出力するようにした．識別器は圧データ 377.4 ± 36.9210.8

力値配列 X と布表面頂点座標配列 Y または G(X) を入力

データ 4

15.7 ± 6.1

37.1として与えると，本物のデータかどうかを表す確率配列

データ 525.9 ± 16.8

105.0

D(X, Y ) または D(X, G(X)) を出力するようにした．

全体

39.1 ± 30.8

210.8

モデル内のすべての畳み込みレイヤーは，識別器での頂点情報入力直後にあるものを除きパディングを行うことで前後でサイズが変えないようにし深く畳み込みが行えるようにした．出力の布圧力センサ表面形状の端を滑らかにするため，パディング方法は画像の端の色で埋めた．

4.3 データセット

図 5: 左：推測データ，右：正解データ

本研究では，布圧力センサから得られる情報から布形状の推定を行う機械学習モデルの学習のためデータセットを作成した．データセットは，圧力値配列 X と布表面頂点座標配列 Y のペアとした．本研究では，55 組のデータを作成した．
圧力値配列 X は，布圧力センサの繊維の交差部分の数に対応したサイズの 20 × 40 × 1 の圧力値とした．まず，
図 1 のように布部分を均して平坦に設置し，圧力値 Pbias(a) 3D 表示ウィンドウ(b) 布圧力センサコントローラ

図 6: システム外観を取得した．その後，布と床の間に突起物を入れ布の形状を変更し，再度圧力値 Pa を取得した．得られた値から

Pc = Pa − Pbias を計算し，これを利用した．

視覚的に差異が目立つため，誤差の最大 Emax も計算した．

布表面頂点座標配列 Y は，サイズが 21 × 41 × 3 の頂点結果を表 1 に示す．全体の Eavg は 39.1 ± 30.8mm と座標配列データとした．作成にはまず，3D スキャナを用なった．テストデータの結果の一例（図 5）では，盛り上いて布と周辺の点群データを取得したのち，ポリゴンデーがっている部分が不完全なものの再現できており，布形タに変換した．次に，不要なポリゴンを削除し布圧力セン状の傾向は表現できていると思われる．ただし，全体のサ部分のみを切り出した．最後に，隣接する各頂点の距離Emax は 210.8mm となり，改善の余地は大きい．原因とがおおよそ均等になるように 21 × 41 個の頂点を取得し目してデータセットの不足が考えられる．過去の研究 [1] で的データとした．布圧力センサは正方形の面で圧力値をとは Eavg を 12mm 程度の誤差で実現しているため，データるので，20 × 40 の面からなる布表面を表現したかった．そセットの拡充によって，さらなる精度向上が期待できる．のため頂点座標配列のサイズは 21 × 41 とした．

4.3.1 学習5. 布表面形状推定システム

生成器の学習で用いる損失は Lg = RM SE(Y, G(X)) ×

本研究では 4 章で作成した表面形状推定手法で得られた

1000 + H(1, D(G(X))) と し た ．識 別 器 の 学 習 で は ，結果を実時間で可視化できるシステムを作成した．本シス

H(1, D(X, Y )) + H(0, D(X, G(X))) と し た ．

テムは入力した圧力値の表示及びその操作を行う布圧力セ

RM SE(A, B) は A と B の RMSE，H(A, B) は A と B

ンサコントローラ図 6b と，その圧力値から推定された 3の交差エントロピーを表している．G(X) 及び D(X, Y ) と次元表面形状を表示する 3D ウィンドウ図 6a が画面上にD(X, G(X)) を交互に計算し，誤差を最小化するように学表示される．

Ld=習した．推定精度向上のため，X に平均 0 分散 5 のガウシ
アンノイズを全ピクセルに加算した．
取得した 50 対を学習データに 5 対をテストデータに用

布圧力センサコントローラのボタンには以下の機能が割り振られる．

• StartScan（布圧力センサとの通信の開始と停止）いた．その後，生成頂点座標と実測頂点座標の 3 次元距離

• SetBias（バイアスの値を設定）の平均 Eavg を計算した．また，極端に離れた頂点があると• RestBias（バイアスの値を 0 に設定）
• ToggleCanvasMode（布圧力センサ取得値表示の有効© 2023 Information Processing Society of Japan480

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-06
2023/3/1

時間で大まかな表面形状を推定し確認できる．同様の手法
で，上着やズボン形状布圧力センサ等を作成し，実用に近い形で衣類型センサの表面形状推定を行えることを期待できる．また，表面に別の生体センサ等を実装し高速に連携(a) 推定モデル（視点 1）(b) 実物（視点 1）させてずれなどの補正に生かすといった応用が考えられる．
今後は，新規データセットの取得や学習モデルの改良によって布表面形状推定機能の高性能化を行う．
謝辞

本研究は JSPS 科研費 21H03481 の助成を受けたものです．
(c) 推定モデル（視点 2）(d) 実物（視点 2）

図 7: システム動作例

参考文献
[1]

化・無効化切り替え）• Quit（画面を閉じる）[2]

また，右部分は布圧力センサ取得値表示画面で値の大小に応じて赤 緑 青と変化して表示される．機械学習モデルの推定は onnxruntime の CUDA または CPU バックエンドで行い，3D 表示は Open3D[6] を利用している．

[3]

利用方法は，システムを起動した後，布圧力センサをPC に接続し StartScan ボタンを押す．次に，バイアスを[4]設定するため，布圧力センサを図 1 のように平坦にならしSetBias ボタンを押す．その後は布圧力センサを下から手で少し上げたり，下にモノを入れたりして形状を変化させ[5]ると，3D 表示ウィンドウの表示も対応して変化する．シ
ステム動作例を図 7 に示す．動作例では，布の表面形状の変化に合わせて大まかに変化する 3D ポリゴンモデルが表示される様子を表している．
処理性能の確認のため，以下の 2 つの実行環境で実行速度のテストを行った．

[6]

加藤寛貴，榎堀 優，吉田直人，間瀬健二： 非密着型センサ実用化に向けた布圧力センサの表面形状推定の検討，情報処理学会研究報告, Vol. 2022-UBI-73， No. 3, pp. 1–6(2022).
Saito, S., Huang, Z., Natsume, R., Morishima, S.,
Kanazawa, A. and Li, H.: PIFu: Pixel-Aligned Implicit
Function for High-Resolution Clothed Human Digitization, The IEEE International Conference on Computer
Vision (ICCV) (2019).
Isola, P., Zhu, J.-Y., Zhou, T. and Efros, A. A.: Imageto-Image Translation with Conditional Adversarial Networks, CVPR (2017).
Enokibori, Y., Suzuki, A., Mizuno, H., Shimakami, Y.
and Mase, K.: E-textile pressure sensor based on conductive ﬁber and its structure, pp. 207–210 (online), DOI:
10.1145/2494091.2494158 (2013).
Ronneberger, O., Fischer, P. and Brox, T.: U-Net: Convolutional Networks for Biomedical Image Segmentation,
Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015 (Navab, N., Hornegger, J.,
Wells, W. M. and Frangi, A. F., eds.), Cham, Springer
International Publishing, pp. 234–241 (2015).
Zhou, Q.-Y., Park, J. and Koltun, V.: Open3D: A Modern Library for 3D Data Processing, arXiv:1801.09847(2018).

2 11th Gen Intel(R) Core(TM) i7-1185G7 @ 3.00GHz
CPU バックエンド
2 Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz
NVIDIA GeForce GTX 1080
CUDA バックエンド
2 つの動作速度において，同じ動作速度が得られた．布
圧力センサ取得値表示の有効化時 15fps，布圧力センサ取得値表示の無効化時 60fps となり，実時間による布表面形状の推定が可能であることが確認された．

6. おわりに本研究では，布圧力センサから得られた圧力値から表面形状推定をする試みにおいて，3 次元情報を 2 次元画像にマッピングすることで，2 次元画像を対象とした pix2pix を使用し 3 次元形状を推定する枠組みを検討した．さらに，その推定結果を画面上で確認できるシステムを構築した．
結果，表面形状推定の平均誤差は 39.1mm，動作速度は60fps であった．この結果から本手法・システムにより実© 2023 Information Processing Society of Japan481