ロボットの性能評価の重要性～災害対応分野に見る世界と日本の取組み～〇木村 哲也（長岡技術科学大学）「基本と原則に反するものは、例外なく破綻する」（P.F.ドラッカー）
1

米国災害対応ロボット・ドローンの標準性能試験法（STM）の概要•••

DHS（国土安全保障省）-NIST（国立技術標準研究所）-ASTM（規格団体）が連携。
共通基盤性能を、繰り返し可能(repeatable)、再現可能(reproducible)、低価格(inexpensive)で、定量的に評価。
移動地形、障害物、操作、HRI、通信、エネルギー、センサ、安全と耐久性、用語とロジスティックス等に分け体
系的に整備

実環境
(津波被災地)

モックアップ（福島ロボットテストフィールド）STM（ASTM E2828-11
対称ステップフィールド）UGVの不整地上移動能力評価としての「ガレキ」

2

STM利用ロボットカタログ“Guide for Evaluating, Purchasing, and Training with Response Robots
Using DHS-NIST-ASTM International Standard Test Methods” より抜粋。
http://www.nist.gov/el/isd/ks/upload/DHS_NIST_ASTM_Robot_Test_Methods-2.pdf

3ＳＴＭによる爆発物処理ロボット調達・訓練（JIEDDO）
・JIEDDO(Joint Improvised Explosive Device Defeat Organization):
アフガニスタン、イラクで多発する即席爆弾(IED)対応組織。ミニマン
ハッタン計画とも呼ばれ2006-2010で$17B=２兆円の予算*1。
・超軽量偵察ロボット調達(3200万ドル)でSTM利用
・STMによる訓練例
不審物対応ロボット

超軽量偵察ロボット

車爆弾対応ロボット*1 P.Cary, N.Youssef, "Pentagon unit created to fight IEDs has spent billions, but casualties remain high", The Center for Public Integrity,
https://publicintegrity.org/national-security/jieddo-the-manhattan-project-that-bombed/4

レーン構成イメージ

これ以外のSでも合理的なら実施可能
例：S=2mで小型ドローンを評価

長さ10S
幅3S(左右に1.5S)

出典：A.Jacoff, Measuring and Comparing Small Unmanned Aircraft System Capabilities and Remote Pilot Proficiency

6

製品開発での性能評価
製品の役割⑧PJ評価者

使用者
③調達
④要員教育
⑤安心

②仕様適合性評価⑥改善提案①要求仕様の明確化
概念設計
実態設計
詳細（生産）設計
設計解（製品）原理の最適化 形態の最適化
基(礎研究 ) 製(品化 )⑦認証・保険機関

開発者
7

7

ソフトウェア開発Ｗモデルを参考にした
高品質なロボットの開発手順

経産省、NEDO, “トンネル災害およびプラント災害のための対応陸上移動ロボット
性能評価手順書”, 2018.5より

8ロボットの性能評価の重要性

種類

仕様場所

使用者

ステークホルダ

機能タスク種類

利用時
間性能評価例

速さ、作業領域、精度、剛性、消費電力

産業用マニピュレータ

一定・構造 訓練され的（工場内） た作業者

限定（同僚、保守作業員、工場責任者）

限定（搬送、加工）

限定・自律

長時間・連続クローラー型移動作業
災害対応ロボット

不定・非構
造的（災害現場）

多様（同僚、要救助者、現場責任者、自治体、一般市民、）限定（移動、搬送、作業）

多様・遠隔操縦

移動能力、作業領域、短時間・精度、剛性、操作性、間欠消費電力

訓練された作業者

性能評価に関わる因子の多様性で評価困難／不適切

9

米国緊急事態準備と対応のための省庁間委員会• サブカテゴリ―タイトル：ロボットと遠隔操作車両• MEL番号：03OE-07-ROBT• 考慮事項：
沢山の災害対応団体が製造企業が保証する能力を評価する事を個々に行っている。しかし、そのような市場でのデータの比較評価は、製造企業の用語や試験法が異なるため、大変困難である。ASTM E28xxシリーズのような標準性能試験法は具体的で信頼のおけるロボットのデータとして使うことができる。いつどこで試験が行われたたかに関わらず、認証された試験施設で取得されたデータは災害対応者は信頼する事ができる。

10

緊急事態準備と対応のための省庁間委員会「独自に作った性能仕様」は，しばしば競合や矛盾する要求仕様を導くことになる．このことは，常に不適切な性能や高価な費用のどちらか，もしくは両方を生じさせる。想定されたミッションタスクを反映した標準性能試験法により定義されたロボット能力の入手可能な組み合わせに基づき、購入者は購入の決定をすべきである。
車両即席爆弾対応ロボット試験法を含み、災害対応ロボットの試験法はこれまで（そしれこれからも）NISTにより開発されてきた。一連の標準試験法はASTM国際委員会; 利用用具小委員会E54.08から出版されており、毎年追加の標準試験法が発行されている。購入団体
は候補とするロボットの製造企業に、適用可能なASTM標準性能試験でロボットを評価するよう要求すべきであり、要求された一連の試験でロボットがどのぐらいの得点であったかを含む完全な試験チャートのコピーを各製造企業に要求すべきである。

https://interagencyboard.org/news-resources/sel/cbrne-operational-and-search-and-rescueequipment/robots
11米国災害対応ロボット・ドローンのSTMの概要••••••

2001年9.11航空機同時多発テロ。救助に入った多数の災害対応要員が２次災害で死亡。実用化されている軍事ロボット技術は災害対応に使えるか検討開始（関係者談）。
2002年ブッシュ大統領「全米の全ての災害対応要員は，非常事態対応と救命のために必要な設備を有しなければならない」として災害対応要員への十分な支援を表明
2003年米国下院では「米国下院議員は探査救助ロボットの認証に関するホワイトハウス声明を支持し，探査救助ロボット認証の標準化規格と評価基準を開発することを期待する」として関連事業に39 百万ドル（40億円）支出
2005年より5年計画でDHS-NIST-ASTMの連携により災害対応ロボットの標準性能試験法(Standard Test
Method for robot performance, STM)を開発。
• DHS:予算・省庁間調整、NIST:実働・規格原案作成、ASTM:規格発行
2005年 事前調査 DHS, NIST, STATEMENT OF REQUIREMENTS FOR URBAN SEARCH AND RESCUEROBOT PERFORMANCE STANDARDS（都市探査救助ロボットの性能標準への要求事項）[7]• 3 つの想定シナリオ(パンケーキクラッシュの建物，空洞のあるガレキ内部，大規模CBRN 災害), 13の想定ロボット(陸上7, 空中3, 水中3)
• FEMA災害対応要員とのワークショップを通じの103要求事項を抽出(HRI23, ロジ10, 環境5, 本体4, 通信5, 移動12, ペイロード17, 動力５，センサ32)
12
USAR, C-IED, sUAVと利用範囲拡大

STMの利用例【調達】
1. The Inter Agency Board（米国災害対応機関ＯＢ・ＯＧを中心とした助言機関）は災害対応ロボット調達で「独自に作った性能仕様は，しばしば競合や矛盾する要求仕様を導くことになる．このことは，常に不適切な性能や高価な費用のどちらか，もしくは両方を生じさせる」としSTM利用を推奨[8]2. 米国国防省の２兆円を超えるJoint Improvised Explosive Device Defeat Organization(JIEDDO)では超軽量偵察ロボットの32 百万ドル(35億円)の調達時に27 のSTM を用いて評価実施[3]．
【訓練】
1. 爆発物処理ロボットの訓練にSTM利用[3]。カナダでもSTM訓練導入検討[11]。
2. 全米防火協会（National Fire Protection Association,NFPA）では、NFPA2400：Standard for Small
Unmanned Aircraft Systems (sUAS) Used for Public Safety Operationsの中でSTMによりドローン操縦能力を評価[12]13STMの利用例【開発・社会実装支援】
1. ロボカップレスキューロボットリーグ[13]でNISTのUSAR/C-IEDを主とするSTMを利用。
2. 経済産業省「World Robot Summit インフラ・災害対応カテゴリー災害対応標準性能評価チャレンジではイ
ンフラ点検・災害対応のNISTと相補的なSTM競技を実施[14]。
3. 経済産業省:トンネル災害およびプラント災害のための対応陸上移動ロボット性能評価手順書[15]ではSTMを性能の検証手段として紹介。
4. JAEA構楢葉遠隔技術開発センターでは原子力災害対応用ロボットのSTMを開発[16]。
5. 英国原子力エネルギー公社過酷環境遠隔技術センター(RACE) では，NIST のSTMを用いた評価が可能な施設”RACE TEST” を設置[17]6. 防衛装備庁先進技術推進センターの高機動パワードスーツの開発ではSTM に着想を得た評価を実施[18]14共創からの考察• 消費者ニーズ多様化⇒開発の初期段階からステークホルダーが協働＝共創(Co-Creation)[21-23]• 共創の実施
1) 対話※重要だが困難
2) 情報の透明性，
3) 情報へのアクセス，
4) リスク―ベネフィットの理解• 標準化活動としてのSTM開発は対話促進

15

規格・認証・保険によるリスクマネジメント社会の構造
補償請求
保険金

認証説明請求説明責任【第三者】（ISO 17000シリーズ）
保険
認証（基準・手順・試験所）

残留リスク受容＆保証
残留リスク開示＆契約
安全認証
認証用データ規格
対価＆残留リスク受容

ユーザー【第二者】製品＆残留リスク開示（教育）

メーカー
【第一者】
16

ISO/IEC Guide 2(JIS-Z-8002)
標準化及び関連活動―一般的な用語• 標準化(standardization)：実際の問題又は起こる可能性がある問題に関して、与えられた状況において最適な秩序を得ることを目的として、共通に、かつ、繰り返して使用するための記述事項を確立する活動。
注記１：この活動は、特に規格を作成し、発行し、実施する過程からなる。
注記２：標準化がもたらす重要な利益は、製品、プロセス及びサービスが意図した目的に適するように改善されること、貿易上の障害が取り払われること、及び技術協力が促進されることである。
(下線は木村が追加)
17

ISO/IEC Guide 2(JIS-Z-8002)
標準化及び関連活動―一般的な用語• 規格(standard)：与えられた状況において最適な秩序を達成することを目的に，共通的に繰り返して使用するために，活動又はその結果に関する規則，指針又は特性を規定する文書であって，合意によって確立し，一般に認められている団体によって承認されているもの。
注記1 ：規格は，科学，技術及び経験を集約した結果に基づき，社会の最適の利益を目指すことが望ましい。
• 合意(consensus)：本質的な問題について、重要な利害関係者の中に妥協できない反対意見がなく、かつ、すべての関係者の見解を考慮することに努める過程及び対立した議論を調和させることに努める過程を経たうえで全体的な一致。
注記：合意は、必ずしも全員の一致を必要としない。
(下線は木村が追加)

18

まとめ
• 不適切な性能評価はロボットの開発・社会実装を阻害• ロボット性能評価は多様な因子の考慮が必要であり、手間暇（コスト）がかかる⇒短期的経済的合理性が明確でない分野の性能評価の整備は民主導では困難。
• 世界のイノベーションを牽引している米国では、災害対応ロボット・ドローンのSTMをDHS主導で系統的に整備。
• STMの利用は米国内外で広がっている。STMをシナリオ訓練に入れ込む事で、シナリオ訓練の定量化が容易になる。
• STM開発の標準化活動の「触媒」機能の強化が望まれる⇒MSTCプロジェクトへの期待※スライド中の文献番号は下記文献の参考文献
木村、芳賀、標準性能評価とロボット・ドローンイノベーション推進、第22回システムインテグ
レーション部門講演会予稿集、2312-2316, 2021
19