Каждый день ему приходить не надо! По крайне мере, пока не начнет вести себя пристойно с матерью своего ребенка. Определите два дня в неделю и конкретное время! Сами при этом не присутствуйте - идите по делам (есть же у вас дела? магазины, кафе, по хозяйству). Он вас запугивает - и вы пугайт! не бойтесь его строить!