Зачем он говорит - это понятно. Он разводит вас на эмоции, цепляет и выводит из равновесия. Специально это делает. Проблема в другом:  почему вас это задевает?  Если муж бывший и к нему уже нет никаких чувств, то должно быть совершенно безразлично, что он там говорит. А вам обидно от того, что он плохо думает о вас, вы хотите быть для него хорошей. Зачем вам это?