Я бы с дедом пообщалась, а не с матерью. Приехала и честно сказала бы: никогда в жизни не подпущу близко к себе и своим детям. А будешь настаивать на переезде, расскажу о причинах своего отказа ВСЕМ: матери, соседям,  родственникам, милиции.