Разводитесь,  либо оставляйте детей у мужа,  либо делите время их проживания 50/50, как это нынче принято на западе.  С мужем у вас уже ничего не наладится после любовника,  дайте в конце концов и ему шанс прожить без вашей вечно недовольной физиономии рядом