Это не будет концом брака, иначе этот конец уже бы наступил. Автор не пришел бы сюда за советом. Концом романа на стороне это не будет, ни  при каких условиях. Просто по тому, что так не бывает. Из за угроз жены, связи с любовницами не теряют.Получится подвешенное состояние для всех участников, которое будет мучить всех участников, неопределенно долгое время.