Ставьте ему условия и сроки. Дайте ему две недели на раздумывание и "разрешите" в случае, если он "выбирает" семью, начать ему отстраивать отношения с вами с чистого листа. А уж через две недели, пусть определяется: с той стороны порога он или с этой. В таком случае уйдет он, а не вы выгоните.