Будете потом локти кусать.  Говорят же, уходить надо от, а не к.  Не устраивают отношения с мужем - разводитесь, а потом ищите что-то лучше.  Тем более, что секретные связи на стороне - это обычно накал страстей именно из-за их недозволенности, что совершенно не означает, что данный чел подходит для серьезных отношений.