Отпустить его надо и продолжать барахтаться самой. Он поверил на какой то момент что сможет, но ошибся. Он всегда будет знать что это вы не можете иметь детей, а он отказался ради вас от возможности иметь своих. Это очень сильное чувство. Вы свою проблему как то решили, а он свою нет.