Бросить не бросить, но УЧЕСТЬ существование в его жизни детей не повредило бы. Вот сейчас он Вас не вовлекает, а завтра приведет дите домой и скажет - все, мама делась туда то и туда то, он будет жить с нами. Ваши действия? Или квартиру захочет ребенку своему купить или образование дорогущее оплатить, да мало и чего. Дети растут, растут и их потребности.