Зачем отношения с мамой внуков? Тем более, после развода? А уж если вопрос ставится так - или обеспечивай внуков и их маму жильем и поддерживай с их мамой отношения, или тебя не будут допускать к внукам, то уж лучше сразу после развода самоустраниться. Да и до развода особо не привязываться ибо в любой момент общения могут лишить и начать шантажировать.