Сын не обязан под вас подстраиваться. Не хочет он. Возможно что с вами(!) не хочет, не интересно ему с вами. Едьте одна или с мужем, это же вам хочется. Боитесь оставить его одного, значит сидите дома и пасите его. Это же ваша проблема.