К сожалению, вы тут уже не будете ничего решать, пускать своего сына к ним или нет. Сын вообще может решить у отца жить или проводить там очень много времени. Так же как и бывший муж может захотеть, чтобы ребёнок с ним проживал достаточное количество времени. Он имеет право, потому что он ему отец.