Страсть - страстью, а жизнь - жизнью, и путать их на самом деле не стоит. Можете нормально жить рядом, не унижая друг друга - живите, если крик сплошной и ругань - разводитесь. Я бы попытался сохранить семью, тем паче что любовники(цы) приходят и уходят, а семья остается.