"мой супруг любит дурацкие шутки" - ответ на его шутку, все. На мужа обижаться - себя не уважать. вы же сами его выбрали. Если пришли к выводу, что ошиблись с выбором - ну скажите честно, что ошиблись и дальше думайте каким образом исправлять или не исправлять последствия этого выбора.