Вы можете терпеть в принципе, но всё равно это до поры до времени.  Всё равно ваш брак рассыпется. Так что или ждите, когда ребенок чуть повзрослеет и с ним будет проще и тогда уже уходите и стройте свою жизнь отдельно, или сейчас.  сложно давать советы, когда жизнь станет совсем невыносимой, то уходите.