Ну так общайтесь с ними минимально  все. Я так со свекровью общаюсь - пару раз в год. Остальное время ее для нас не существует. Да еще и живет а другом городе, так сто в гости особо не заедешь. Живите себе, сами детям не звоните. Вот и как будто растворитесь.А портить им жизнь таким поступила не надо.