1

縫製作業者の技を見える化する- 縫製作業の計測と状態推定 信州大学 山崎公俊

2

研究開発項目研究開発の概要
対象作業：布製品製造における裁断・縫製・検査・仕上
布操作をモデル化し，熟練技能取得や作業自動化へ

加工作業のセンシング
技能の抽出とモデル化
操作技能の獲得訓練
分担推薦システム
ロス減少方策の推薦システム

柔軟物操作の方法やコツ

作業の客観的情報

A)

A)
B)
C)
D)
E)

作業者の動きどこを見るべきか？

どう触れるべきか？

柔軟物の挙動どう掴むべきか？

どう操作すべきか？

計測

計測データ

C)

非熟練者の訓練D)

人手モデル化

柔軟物操作技能モデル

分担再考

利用

B）
技能の伝達

柔軟物の認識工程分割

柔軟物の変化予測

etc.

自動化E) ロス発生源特定

生産力向上
小規模化
省人化
省エネ化

3

本日のトピック：作業の計測と状態推定
縫製作業• 対象は布部品：平面状の柔軟物• 操作の種類：つまむ，押し付ける，引っ張る，縫う(ミシン)

試行錯誤• 何を，どう測ればよいか？
• どこまで測れれば，何に役立つか？

• 何を，どう推定すればよいか？
• 推定結果をどう提示すればよいか？

最初の試み：モーションキャプチャ

5

考察
モーションキャプチャの利点• 指の位置が高精度で記録できるモーションキャプチャへの不満• 力情報や布の形状は計測できない• マーカーが隠れると計測不能になる• 準備が面倒（特に視点選び）• 指先力を計測するべき• 指腹の感覚を損なわない計測方式を採るべき

再考：縫製における布操作• つまみ，押し付け，引っ張りの組み合わせ• 見た目に加え，指腹の感覚をフィードバックして操作を実現？

6

指先力センサ（Ver. 1）
コンセプト

指腹部の感覚を損なわない計測方式
指を物体に押し付けると荷重に従い腹の変異も増加し，概ね比例する[1]センサの外形[1] 相澤淳平，上條正義，”触察中の皮膚変形量の測定”，長野県工業技術総合センター研究報告 (12), 23-26, (2017)

丸＋ 絶対値計測のためのキャリブレーション法＋ 個人差に対応する設計方法
類似センサに対する優位点

三角センサデータの例

6

7

指先力センサ（Ver. 2）より小型に，より多様な計測をセンサの構成✓ ひずみゲージ：爪の変形量を計測✓ カバー：爪への外力防止＆ケーブル結束✓ ネイルシール：ひずみゲージの固定項目
高さ [mm]26.0

幅 [mm]

19.0

奥行 [mm]13.0

体積 [mm3]

2300

項目

ひずみゲージ：
共和電業製KFGS-3-120-C1-27

特性

特性

高さ [mm]5.3

幅 [mm]

10.0

奥行 [mm]24.0

体積 [mm3]270

体積比較：約0.12倍(88%削減)
爪上体積：約0.28倍(72%削減)

8

指先力センサ 性能検証（１）
校正• キャリブレーション

真値計測用
触覚センサ

使用式:
𝑦 = 𝑎 log 𝑥 + 𝑏

校正装置

校正後データ• 力の方向の推定
実験内容：(b)～(e)のせん断方向の弁別性確認

(e)

(a)

(c)

(d)
力をかける方向

実験方法：
2Nの押しつけ力をかけながら，各方向で5secのデータを10個取得
結果：
右グラフのとおり弁別可能性あり
k近傍法による識別成功率：100%

(a)

50

Strain (2) [μST](b)

100(b)0(c)-50(d)-100(e)-150-200-250-200-150-100
Strain (1) [μST]-5009

指先力センサ：性能検証（2）① ② ③

押しつけ位置の分類④ ⑤ ⑥ ⑦ ⑧ ⑨

右手人差し指にセンサを装着
2. 指先を校正装置の上に置く
3. 下図①～⑨の順に板との接触面を変更，2Nが5秒間以上かかるよう指を押し付け
4. 1回目の5秒間のデータを訓練データに，2,3回目のデータを5分割してテストデータとし，k近傍法を用いて分類
1.

真値右手人差し指にセンサを装着①②③④⑤⑥⑦⑧⑨①1000200000②080000000③008000000

予測値④⑤⑥0000200118000500010000000040⑦0000001000

押しつけ位置の推定（正答率88％）⑧0000500101⑨00000000510★
★

縫製作業の計測例
Conveyfabric parts
250

Start point
positioning200

End point
Rib midpoint
Sewingpositioning
positioning
Pull byPinch byright handrighthand
Pinch byleft hand★
★

End point
re-pinch

SewingConvey
fabric parts

Releaseright hand

150

Strain [uST]10050005101520-50-100-150-200-250
LeftHand-IndexFinger-Center
LeftHand-MiddleFinger-Center
RightHand-IndexFinger-Center

Time [s]LeftHand-IndexFinger-Upper
LeftHand-MiddleFinger-Upper
RightHand-IndexFinger-Upper

2530

11

縫製動作分類への展開
コンセプト• 縫製作業を単純な動作の組み合わせとして表現• 視覚・触覚の計測結果から動作を分類，可視化• 動作のパターンを可視化し，作業の正確さや速度を判断

計測・
動作判別

縫製作業

動作パターンの可視化

12

動作分類手法
７つの動作要素の定義
1.
2.
3.
4.
5.

6.
7.

Prepare fabric parts
Lift/drop presser footSend fabric parts
Rotate fabric parts
Make backstitching
Cut yarn tails
Press start/stop button

C1C2C3C5C6C7C4分類モデル
Fingertip Force Module

入力：時系列の手指姿勢・接触力
出力：動作要素のクラス
WritheMatrixHands Posture Module

手指姿勢推定にはMediaPipeを使用

FC

LSTM

Softmax

Convolution

I/OPooling

13

動作分類結果各モーダルにおける再現率・適合率F1-score

F1-Score：71.8%

recallWrithe

0.411

0.318

0.338

Force

0.599

0.622

0.605

Combination

0.737

0.710

0.718

• Writhe: 手指姿勢の特徴表現• 各モーダル単体より判別精度が向上

precision f1-score

データの観察Class 3: 縫製- 各指の接触力の強弱顕著- 1本以上の指で布を操作

612510Estimated Force [N]Estimated Force [N]Class 1: 布部品の準備- 布部品を弱い力でつまむ- 右母指・右示指の相互作用

432
10900

1400

1900

Right-Index-Upper

2400
Time [ms]

2900

3400

Right-Thumb-Upper

864
2024000

25000

Right-Middle-Center

26000
Time [ms]Right-Index-Center

27000

28000

Left-Index-Center

14【補足】 動画像からの動作分類• 画像列を直接入力する方法• 分類モデル：畳み込み3層，プーリング3層，全結合・LSTMそれぞれ1層• 5枚の画像を一つの時系列データとして入力• クラス分類の正解率：93%• カラーバー出力までをオンライン化

15

その他の試みメインカメラ

表示用PC

センサユニット

ARマーカ※教示者はデータグローブも着用

サブカメラ

16

まとめ• 縫製作業のデータ化に向けた作業計測と状態推定• 指先力センサの提案と計測結果• マルチモーダル動作分類と作業状況提示• （間接的に）自動化技術への展開• 今後の展開• 縫製スキルのデータ化と非熟練者訓練への活用• 観察・計測で得た知見で自動化を促進