У меня абсолютно совершенно точно такой же. С самого раннего возраста был "диким", не переносил чужих - ни взрослых, ни детей. Потом взрослых - прекрасно (в том числе детей лет 10, которых он наверное тоже за взрослых принимал), а малышню - ни в какую. Они еще и кричат, бегают, хватают - нееет, ни за что... Гуляли тоже одни. В сад попытались, нас оттуда "попросили" и мы ушли, т.к. ему реально очень плохо там было. И у нас в папу. Папа до сих пор такой. Он говорит - отстаньте от ребенка, вот мы и отстали. Скоро 6 будет. Сейчас уже конечно не плачет, не шарахается, но никакого интереса к детскому обществу нет. У него есть приятель на даче, он с ним нормально общается и играют, и бегают, но когда тот уходит, я вижу, что у сына прям облегчение наступает  Ему одному лучше. Характер такой, наверное... Я бы посоветовала не ходить на шумные праздники или, если вас это устроит, я бы сидела во взрослой компании с ним. Мой не очень активный, ему книжку в руки и можно сидеть спокойно. Если ваш не будет вырываться, то и не отправляйте его в "детскую", оставьте при себе, пусть сидит с вами. Или вообще не ходить. Причина отказа нормальная. Ребенок имеет право не хотеть ходить на шумные праздники. Если совсем неудобно - оставьте его с папой дома, а сами сходите.