Нет, мне кажется, нельзя запрещать. Вы можете повлиять на отношение сына к этим людям, немного сдерживать, оговаривать какие-то условия встречи, продолжительность. Вам не кажется, что его общение с родственниками, даже с теми, с кем вы не общаетесь, это уже не совсем ваша история?  бабушки две, и дядя есть. Он уже не такой уж маленький, 12 лет, скоро сам решит и сделает выводы. А м.б. ему там понравится? вам не рады были и даже с ребенком не общались, пока он был маленький, потому что без вас это было невозможно. А сейчас ребенок более автономный, они могут с ним установить вполне себе близкие связи без вас совершенно.