Вот это "категорически против" - это уже указывает на крайне неприятного человека. Но вы согласились жить с ним и дальше, родили трех детей. Ну имеете то что имеете.Вы его сейчас стали раздражать, а избавиться от вас он не может, поэтому его эта ситуация бесит.