грамотно - никак. Только ругаться. Дальше будет хуже - "папа ты в  отпуск, возьми с собой внука,вам веселей будет" и т.д. и т.п.  Если вас это не надо, то только ругаться - по-другому вы до мужа не донесете свое нежелание сидеть с его внуком.