Да не испортятся отношения. Они привязались к ребенку, им не хочется с ним расставаться. Вы спокойно делайте как решили, не давайте им чувствовать, что они могут влиять на ваше решение. Привыкнут  и будет все нормально. Ребенку будет лучше в полной семье, а к бабушке-дедушке в гости хорошо ходить.