Жаль если так, если секс это не причина, а следствие.  В таком случае я не вижу за что можно зацепиться в ваших отношениях, чтобы можно было их восстановить. А держать их на прежнем уровне может не получиться, т.к. вас это будет раздражать всё больше и больше, а ему будет не хватать ваших прежних отношений, секса, всё больше и больше -  в результате будет срыв, и разрыв. Скорее всего и ребёнку вашему это на пользу не пойдёт.Так что если не лежит у вас сердце к мужу, и вы не можете его простить, лучше наверное обсудить это прямо сейчас и разбежаться по-мирному.