Вы сами выбрали такой формат отношений. В будни он приезжает поужинать и по спать, а в выходные он там где, как тут уже много раз писали, ему комфортно и удобно. Вы пишите, что решили строить новые отношения, а как это проявляется? Если он их инициатор, то он вроде как должен что то Вам предлагать для укрепления ваших отношений. По крайней мере у Вас должны быть общие цели как например, улучшение жилищных условий, дать лучшее образование детям, планирование и обеспечение совместного отдыха, нахождение решения по текущим и долговременным проблемам и обеспечение выполнения этого решения, и так далее.