Муж ни в чем не виноват, так и решение должен принимать не он. А то у вас получается - я тебя не люблю, оргазма с тобой у меня нет, вообще ты мне на фиг не нужен, если хочешь, то уходи. Вы должны уходить, а не он. Вот тогда будет понятно, что вы несете ответственность. А пока вы просто из себя строите страдалицу в ситуации, которую сами и создали.