Я думаю, что правильно дать сыну отдыхать так, как хочет он, а Вам отдыхать так, как хотите Вы. И всем будет счастье. Почему Вы сидите дома из-за сына, искренне не понимаю. Пусть он иногда отдыхает от Вас, а Вы отдохнёте от него. Это какая-то иррациональная внутренняя установка, что непременно нужно ездить всем "хороводом".