из того, что вы написали видно, что муж вас любит, да и вы к нему небезразличны. Я бы не стала рушить отношения и лишать отца дочку из-за  глупой измены.  Просто так оставлять это точно не стоит, но и торопиться наверное не надо. Поговорите с ним, выясните чего ему не хватает в ваших отношениях, в вашей сексуальной жизни, из-за чего он пошел на измену и примите это к сведению, попробуйте измениться! Проще всего сказать - он такой плохой, он мне изменил, а не посмотреть на себя со стороны и измениться самой. В крайнем случае - поживите некоторое время отдельно и оцените, на сколько вам без него хорошо или плохо, а только потом примите решение - стоит ли разводиться или нет