Это очень испортит ваши с ним отношения. Жена начнет ему мозг выносить, скандалы,расследования,пытки моральные. Вашу с ним связь это точно не укрепит. Он начнет вас сторониться, избегать. Не делайте этого. Если бы он хотел уйти от нее то ушел бы, ну а впрочем если хотите остаться без любовника или себе нервы помотать и ему то сообщите.