Ну, в принципе мама имеет право... Я бы проявила твердость. Попросила маму предупреждать Вас заранее. если договорились - то за забирание сына отвечает она, и если не может, пусть подстраховывается. Если не может - то должна предупредить накануне. На этот случай надо подыскать парочку бабушек, которые МОГУТ в случае чего сына забрать и у себя подержать, пока Вы  с работы едете. В принципе, вы тоже можете такую же тактику применить - не заберешь, внука на этой неделе не увидишь. Уверенно скажите, что уедете, если так будет продолжаться. Мама, у нас есть несколько общих дел, мое проживание  вквартире, наш мальчик (сын и внук), а есть у каждой своя жизнь. Давай договоримся, где проходит граница. И твердо стойте на своем.