EEMBC
EEMBCとtinyMLperfのコラボレーション。
EEMBCは、MLCommonsと協業することにより、機械学習用エネルギーベンチマークULPMark-MLを、MLCommonsの機械学習用性能ベンチマークtinyMLperfと方向性を合わせる計画である。
2020年4月以来の6ヶ月間、EEMBCのチームはモデルの選定、利用するデータセット、実行ルール、精度の方程式などについてMLCommonsと協議を行なってきた。長年蓄積されたエネルギー消費量の計測経験とともに組み込みソフトウェア自動化をシームレスに行なうノウハウを、EEMBCはもたらしている。
デスクトップ用ベンチマークでは、ユーザは単にコンパイルをし、実行ファイルを実行するだけだった。だが組み込みプラットフォームと異なり、この単純な作業でもクロスコンパイル、フラッシュ/FPGAプログラマ、デバッガIDEが、結果を収集するために必要である。また、様々なベンダーのSDKと通信ファームウェアAPIやポータブルな通信メカニズムが必要です。さらに機械学習では1つの推論では不十分で、1つの正解率指標を決定するために数百個の入力が必要であり、それらを手作業で繰り返すことは大変である。