А вы с мужем общаетеся или нет? Если есть возможность лучше общение свести к минимуму или вообще перестать с ним видиться. Хочет навещать ребенка - пожалуйста, помогать материально - пожалуйста. Но к Вам в душу не пускайте его! Только так вы сможете со временем отпустить его. А вот когда это произойдет все станет намного легче и проще.