Ну почему же зря? у Вас с ним чудесный ребенок, он всегда будет с Вами! Я бы сказала мужу спасибо за то  хорошее, что наверняка было в Вашей с ним жизни , рассталась бы с ним по-дружески.Это часть Вашей жизни, хотя и прошлое.И относится к своему прошлому надо  с уважением, тогда  в настоящем все сложится,как надо! это имхо, конечно!Принимать решение все равно Вам.