Так надо сразу тут же не спускать хамства: "Ты почему себе позволяешь мне хамить? Ты же взрослый человек, а не подросток".  Попробуйте. Развестись всегда успеете. Похоже он просто стал с годами вашим пятым ребенком, вот и козлит.