Тут могут быть варианты: бабушка не слишком расположена к ребенку и он это чувствует; может просто многое требует и мало развлекает; может Вы настроены против бабушки, недолюбливаете,  и ребенок это считывает, хотя Вы это и не афишируете. Ну остается ведь она с кем-то другим, вот с другими людьми и оставляйте.