Автор, уходите от мужа, он редкостный гад и манипулятор, вы не будете с ним счастливы никогда, даже если и забудете об этой измене. Вы уже зависите от него эмоционально, он очень умело насаждает  чувство вины, самооценка у вас катастрофически ползёт вниз. Не любит он вас нисколько, просто ему сейчас удобно быть в семье, вот и всё.