Ну, рано или поздно при таком количестве любовниц жена бы все узнала. Вы просто ускорили события. А разводиться из-за этого или нет - ее дело. Но Вы явно его еще не отпустили, если до сих пор переживаете. И дело тут не в совести, это совсем другое чувство. Отпустить - это когда реально все равно и будто это было в какой-то другой жизни и не с Вами.