Никак не реагировать. И перестать к нему обращаться (за рамками вежливости и минимальной организации) - он не к вам приезжает.Лучше всего либо "выдавать ребенка ему", либо уходить из дома, пока он там. Хотя бы первый год после развода. Вопросы по ребенку можно решать по телефону.