Вам надо залечить свои раны и простить мужа, простить Олю и простить себя. Тогда решение найдется само собой. Не надо портить себе жизнь, своим детям и БМ - пожелайте ему счастливой жизни, пусть "таскает" детей куда считает нужным, он же адекватный отец. А вы думайте, как устроить *свою жизнь.