Автор, если вам некуда идти, то сидите тихо и воспринимайте мужа,  как очень неприятного соседа,  с которым приходится мириться Но вы же работаете, неужели нет возможности снять хоть маленькую квартиру? Детей можно для начала оставить отцу, а потом поделить: 50% времени они у вас, 50% у него. Не будет у вас с ним нормальной жизни, дальше будет только хуже.