Вы молодец. И совершенно правильно поступили. Этот момент у него рано или поздно пройдет. Может кризис среднего возраста...Но разбивать брак, я бы из-за измены не стала. Потом, если говорит "ничего не значит..." то, так оно и есть. Мой вот отец, после 30 лет брака с мамой ушел,  и ничего его не остановило, ни семья, ни дети.