Нет, вся уже набранная аудитория сохранится и после изменения настроек конфиденциальности.