Так почему вы не выстроили отношения в удобном для себя формате - пусть бы он жил отдельно и приезжал тогда, когда у вас на него есть время. А в остальное время решал бы свои проблемы - с деньгами, женой, детьми. Когда решил бы - тогда и начали жить вместе. А так он получил все, что ему надо и даже больше. А вы не получили ничего, а только еще и свое отдаете.