Наверное это банально, но да уйти. Вас не устраивает то, что он денег родителям дает, значит у Вас нехватка их. Если бы было достаточно, то Вы даже не замечали, что муж помогает им. А по-поводу переживаний того, что не общаются с внуками точно переживать не надо, потому что это глупые и никчемные люди, который оба не могли себе содержать уже с столь юном возрасте, а по меркам евы 40 лет это младенцы. Отношения строить надо было, когда он безумно влюблен был в Вас. Сейчас Вы уже ничего не исправите