Ваш муж дурак (простите). Объясните детям, что они не обязаны ни звонить, ни ездить к тем, к кому не хотят, исключение - эти люди сделали для них по-настоящему много, да и то все имеет границы. Если это просто бабушка и дедушка, которые таковые скорее формально, чем фактически, я бы им прямо сказала, что имеют право забить, не общаться, не звонить, не ездить и прямо говорить о нежелании и пусть все желающие обидеться обижаются.