Выйти из таких отношений очень просто. А про то, что мужчина обязательно пойдет на сторону - это ваш сценарий, вы себе вбили в голову такие стереотипы. Есть десятки вариантов развития событий. Первый, который, например, мне в голову приходит  - вы пойдете на сторону от него)