Автор, а какая разница просто он с ней общается или спит? Главное что у Вас семьи нет, ребенок ему пофигу, вы ему в напряг. Непонятно с какой радости он должен уходить из своей квартиры, скорее он вас из нее выставит. У вас есть у мамы жилье, где вы тоже собственник, вот туда и перебирайтесь!