Если проблема только на отдыхе, то обсуждайте предстоящий отдых всегда. Может, вам имеет смысл как-то раздельно его планировать. Не в смысле ехать в разные страны, а уже по приезду проводить часть времени по-разному. Муж уехал на рафтинг, типа, а вы с книжкой валяетесь.Мужу может быть банально жалко, что отдых редко, и хочется все время проводить рядом с вами.