Автор, вам надо поставить с ним все точки над "и" - спокойно и холодно. Либо он живет у родителей либо вы семья. Дайте ему возможность сделать выбор. А то он неплохо устроился. Никаких ночевок, ужинов и секса. Все. Не звоните ему, ни о чем не просите. У вас своя жизнь. Если он хочет провести время с ребенком- пожалуйста - у него или у вас - но сами в это время уходите- в кино, к подружкам- ему знать не надо.  Никаких скандалов. Пусть поймет что он вас теряет.Удачи Вам! Все будет хорошо!