Когда пары распадаются, то распадается и окружение этой пары и кто-то "идет" следом за мужем, а кто-то остается с женой. Это нормально. Вы выбрали быть с женой - ваше право и мужчина это тоже поймет со временем и отвалится сам собой, потерпите.