Да, нет, конечно рушить все не зачем, надо жить дальше. Просто вы изначально выбрали неправильную позицию в отношении мужа. В начале ваших отношений вы были ему другом - утешали, слушали, он вам доверял, делился, рассказывал. А затем, став ему женой,  тема об этой женщины стала табу для него. Вы не учли главного - мужчина после расставания с любимой женщиной, это как тяжелобольной человек, который нуждается в сиделке, а когда выздоравливает, то сиделка ему уже не нужна, часто даже и не вспоминает о ней. Так вот, вы для своего мужа тогда были "сиделкой".