Предлагаю такой вариант - пусть уходит, но не выгоняйте его, а просто попросите уйти, скажите, что вы понимаете сложность его ситуации, что вы не теряете надеждц на вашу семью и прочее бла-бла-бла. То есть чтобы официально считалось, что он ушел.Но когда будет приходить к вам - не гоните, будьте легкой в общении, играйте с ним  и т.п. А там посмотрите по ситуации - либо он поймет, что вы ему нужны, а та жещина нет,либо она сама его выгонит за частые отлучки к вам (а если вы будете себя грамотно вести, то приходить он будет и будет), либо он будет продолжать жить на две семьи, но уже изменять будет с вами, а не вам. Вы же немного отряхнетесь от семейного быта, почистите перышки и сами начнете строить потихоньку свою жизнь. Посмотрите, через пару месяцев может и не захотите его возвращения.