Автор, никто объективно тут Вам ничего не скажет ! Предлагаю Вам  не рвать с ним в прямом смысле, а обозначить свою позицию, что до его ухода к Вам у вас не может быть никаких близких отношений с ним.  И пусть или принимает это, или сваливает.Если любит, долго без Вас не продержится, пара-тройка месяцев от силы. А когда придет, сразу пусть на развод подает и решает с женой вопросы родительских обязанностей перед детьми.Это единственный наименее травматичный способ будет для Вас лично.