Он ещё детей хотел, помимо сына и дочки? Ощущение, что нет, поэтому так стал Вам мстить. Что теперь делать? Просить его о помощи, если откажет, не ссориться. Уходить от него Вам нельзя, как Вы одна проживёте с 4 детьми? Значит сейчас плохой мир лучше доброй ссоры.