Дайте себе и ему какой то определенный срок, подумайте, если оставить как есть, что будет через 2 года? Через 5, 10?. Вас и его устраивает такая жизнь как сейчас? Понятно что чужую беду руками разведу, но смотрю по сторонам,  все таки лучше складывается когда живут дети отдельно, пусть неподалеку, но отдельно.