Как вариант, можно пожить отдельно. Какое-то время. Но муж Ваш уж больно нервный какой-то с ваших слов получается. ДО сих пор припоминать вам историю 4-х летней давности... И этим оправдывать свои гулянки. Поведение  инфантильного мальчика , а не мужчины... Вы сами не устали от этой нервотрепки постоянной?