Я бы посоветовала расстаться, мало ли что говорит, а вот как испугается, что Вас потеряет, сразу все поймет- остаться в семье или нет. но это нужно решать жестко. Скорее всего, он не уйдет из семьи, раз за 4 года не решился, но зачем ему уходить, если у него и так все хорошо, так что зачем Вам одной мучаться, помучайте и его, пусть подумает, что ему нужно от жизни. А вообще я знаю много примеров, когда к любовницам уходят и создают прекрасные семьи. Счастливы даже их бывшие жены, тоже находили себе новую любовь. Все уже попуталось в этом мире.