Не запретить, а заинтересовать. Скажите, что ему делать дома? Ходить из угла в угол и ждать вас? Так, это любой сбежит.Займите его. Пусть ездит с бабушкой на кружки, в музеи... Какие у них сейчас занятия? У сына - балбесничать и юлить меж двух домов. У бабушки - война с вами. Так направьте эту энергию в мирно русло.