高次Moments EFN導入にはいくつかの課題が存在します。まず第一に挙げられる課題は計算コストおよびトレーニング時間の増加です。高次Moments EFNでは多数のパラメーターおよび複雑な演算処理が必要となるため、通常よりも大幅に計算資源を消費します。これによってトレーニング時間が長引くだけでなく、大規模データセットや複雑なタスクでは実用的ではありません。