Ну, принять ситуацию, что дети ваши, а не мужа. Перестать чего-то от него ждать, рассчитывать на себя в этом вопросе (в конце концов, если вы разведетесь, вы же на себя будете рассчитывать). Тогда и поводов для раздражения меньше будет. Кстати, возможно, при отсутствии давлежки и муж к ребенку лучше относиться будет.