Ну так вам же виднее, как он с ними общается...Ложится ли спать, часто ли бежит к вам, когда вы все вместе или предпочитает их общество. Попробуйте пока вы там - уехать на пару дней (может к друзьям?) или хотя бы с ночевкой, как сын отреагирует. Хотя, если честно - я бы не оставила, пусть лучше бабушка едет с вами и помогает вам у вас дома, если условия позволяют.