очень тяжело... но надо пересились себя и сказать "вали, раз решил, то уходи, держать не буду.". Если будете умолять остаться , то обязательно уйдет и вы еще виноватой останетесь. Здесь не обошлось без "водолаза", очень похоже на то. Только чтобы все по взрослому. И думать о себе и о детях. Если есть возможность, чтобы кто-нибудь с детьми помогал, то не отказывайтесь (няни, свекрови, мама и т.п.) И начинайте думать о себе. Только так можно изменить  ситуацию. Не зацикливайтесь пожалуйста на этом человеке.