FFNNやBNNと比較してRBNNが優れている点以外にも反論可能な側面は存在します。例えば、RBNNモデルは初期段階では収束まで時間がかかる場合があり、重みサンプリング値が真の重みから遠く離れている場合により多くのエポック数を必要とすることです。この点では収束速度や初期段階のパフォーマンス向上への改善余地が残されています。