Как уже писал если реализовывать `+` через `+=`, то есть вероятность, что `+=` будет работать чуть быстрее, однако есть вероятность, что это всё заинлайнится.

Реализации в обратном направлении (`+=` через `+`) мешает const ref, если придумаете как это грамотно обойти можно в обратном направлении реализовать. Хотя в принципе для программирования типично, что варианты `+=` должны работать быстрее.

А насколько действительно замедляется или нет работа нужно проверять профилировщиком или писать тесты быстродействия, причём важно сравнивать результаты которые получатся как минимум на уровне оптимизации -O3.