Ну это же бред просто! Взрослые люди должны четко отвечать "да" или "нет". Вы же устраиваете какую-то ерунду, говорите "нет". Да, типА запретить нельзя. Но "нет" означает - для любого нормального человека - что нельзя, что его не хотят видеть, что если он придет, будет скандал или вроде того.  А потом, конечно, обидки: вот жеж гад такой, я ему сказала "нет, нельзя с ребенком общаться", а он и не пришел.Вы не пробовали по-человечески сказать, и посмотреть, что будет?