Значит ваш муж осознанно завел отношения на время вашего отсутствия?  Он осознанно врал и этой женщине, обещая ей совместное будущее, и вам, что ничего нет и не было. Он же не раскаялся в содеянном. Значит просто человек такой по жизни. Да, тогда конечно не оставлять) Изменять то он все равно будет, но зато хоть без такого комфорта, как вы ему устраиваете своими отъездами.