Вам нужно один раз уехать отдыхать без него, оставить его с мужем. А потом муж отдохнет один, а вы останетесь с сыном. Либо если есть возможность оставить сына с кем-то дома, а уехать с мужем. Но уезжать нужно не с упреком к ребенку, а радостно: и собираться радостно и рассказывать потом как хорошо вы отдохнули без применительно к сыну (т.е. не надо говорить, что там были для него развлечения, только о том как вам было хорошо отдыхать). Как только вы его исключите из связки мама-папа-сын и он поймет, что отдыхать родители могут хорошо и без него, он сразу же захочет ездить с вами. Сейчас он вами манипулирует и пытается стать вожаком в семье.