Ну это же очевидная ошибка, так делают либо если отношения уже совсем остыли, либо если хотят их продолжить. У вас вроде ни то, ни другое.Этот мужчина - бывший. Человек, с которым вы более не общаетесь. Раз и навсегда заведите правило, что он никогда и ни при каких обстоятельствах не должен заходить в ваш дом. Вы его не приглашаете. Приехал к ребенку - выводите ему ребенка на улицу. Вам самой с ним говорить не о чем.