Если у вас нет детей, то все значительно проще. Дело конечно вашей совести и щепетильности. Но я считаю что в Вашем случае, когда муж знает ваше отношение к происходящему, Вы совершенно не обязаны выполнять его желания ущемляя свои. Человек может быть должен, только в том случае если это взаимообразно и если он так же, что-то требует от партнера. И если он может в полной мере контролировать то что от него требуется. Вы не можете контролировать свои сексуальные предпочтения, Вы не можете  контролировать желания мужа. Он уже взрослый дядя, пусть учится удовлетворять свои желания без вашего участия. И Ваша половая жизнь его в данном случае не касается. Если хотите уйти, уходите. Если не уверенны, уходите на время. На полгода, год например, по договоренности. Через  год все будет проще решить окончательно.