ну это уже Ваши трудности  Отношения с любовником уже предполагают полигамность сторон, а значит он не обязан Вам хранить верность, также как и Вы спите или нет с мужем не ради любовника, а по собственным причинам. Это Ваш выбор, и он не может ограничивать в выборе Вашего любовника.Хотите верности?.. разводитесь и ищите моногамных отношений.