Хорошую - да, плохую - не обязательно.
На самом деле звукопоглотитель играет важную роль в работе колонки и его правильное использование может принести много пользы. Причём некоторые типы акустического оформления (лабиринт, TQWP, трансмиссионная линия) без звукопоглотителя вообще не могут работать правильно. Хорошо влияет звукопоглотитель и на работу закрытого ящика. А вот с фазоинвертором надо быть осторожным: звукопоглотитель значительно снижает акустическую добротность корпуса, поэтому его неосторожное использование может привести к значительному изменению режима работы фазоинвертора и заметному искажению АЧХ.
В общем, здесь ситуация как и вообще в жизни: правильное использование вещи приносит пользу, неправильное - приносит вред.