Может есть смысл пригласить их официально на обед? Ну и там сказать между делом (тет-а-тет), что хватит, мол, мамо, делать из мухи слона и отказываться от общения с внуком. Все мы люди и все имеем право на то, чтобы сморозить иногда что-то. Проще надо быть и не усложнять жизнь себе и близким. Тем более, что вы , как я поняла, уже извинились. Откажется - ну значит расслабьтесь и продолжайте жить дальше.