Ну вот и ответ - он не хочет жить с вами, видит в этом больше минусов, чем плюсов. Вы его устраиваете как друг и секс-партнер, но жить он с вами не хочет. Нет у него потребности видеть вас и слышать вас и ребенка каждый день. Он не скучает и не нуждается в вас настолько же сильно, на сколько вы в нем.