Тут на мужа надо смотреть, если он реально будет отдыхать, а не страдать весь отпуск на тему "а можно было б долг отдавать" и не испортит этот самый отпуск, то можно и поехать. Другой вариант - поехать самой, а его часть отдать на долг, как он хочет. Ну и...не ехать.