К сожалению, несчастье Вашего мужа не гарантирует Ваше счастье. Поэтому как бы там ни было, надо его отпустить. Думаю это безумно тяжело, (говорить легко), не представляю, КАК можно пережить, но это надо сделать. Абстрагироваться от его жизни. Начать свою с читого листа. К сожалению, очень часто мужчины забывают о детях после разрыва с женщиной и вполне могут до самой смерти воспитывать чужих детей, такое тоже бывает не редко. Простите его, отпустите, только не на словах, а в душе. Только после этого все у Вас начнет налаживаться. И ж... тоже не вечна!