Что вам мешает сказать, что малышня - не ваша мечта и если б хотели, родили сами, и свалить куда-то, бросив его с внуками один на один? Думаю, несколько раз круглосуточного присмотра в одно лицо без любимой женщины рядом, станут для него отличным аргументом для отказа в привечании внуков.