Я думаю, что бы отлепиться от болтающегося туда сюда мужа, нужно его послать. Другими словами поставить точку в отношениях и начать жить, пусть трудной, но своей жизнью. И не ждать, что он как бумеранг вернется. Вы его не предовали, а он Вас предал заведя любовницу. Болтается между любовницей и Вами потому, что Вы обе готовы его принимать. Это банально, но это так. Вот если он придет к Вам с раскаянием, подчеркиваю с раскаянием вот тогда и подумаете насколько Вы готовы ему поверить. А прийти может!