Я бы сказала - Да ты мне тоже не особо нравишься и без тебя веселее, но вот куда ж тебя выгонишь. Я понимаю, что вам сложно так сказать, но выслушивать мерзости от кого-либо в адрес дочери и терпеть -  ещё хуже. Не бойтесь сказать резкость.