Ну так и ставьте ультиматум своему мужу, если честность для вас перед ним настолько вашна. А если он "ни себе, ни людям", при этом разводиться вы с ним не собираетесь, то изменяйте с чистой советью, в конце концов вы у себя одна, и на алтарь верности себя класть, в то время, когда не удовлетворяются ваши физиологические потребности, как-то глупо.