Ну, вы не обязаны быть им любящей бабушкой, это выбор вашего сына. Общайтесь просто нейтрально, если детей привозят на совместные встречи. Не надо свое негативное мнение нести в массы, особенно сыну, как там дальше его жизнь сложится не известно, а вот ваш категорический отказ от "внуков" и истерики по этому поводу он запомнит. А если других внуков у вас не будет, то может, стоит присмотреться к тем, что есть.