Так надо теперь новые отношения строить, на старых у Вас вероятно уже ничего не получиться. Ваша вина в том, что Вы впустили третьего в Ваши с супругом интимные отношения - они же не спроста так называются (слишком уж там все легко сломать). И посторонним (если это не обговорено изначально - открытый брак, свинг и т.д.) там не место. Работа эта трудная, результат заранее предугадать нельзя. Но Вы должны точно себе представлять, что если решите строить новые отношения с семьей, то любовника там уже точно быть не должно. Ну а в противном случае готовтесь к разводу и возможно, пристальному вниманию журналистов.