По-любому получается, что точку в этой ситуации придется вам ставить - иначе на эту фигню потратите лучшие годы жизни. Вам надо уезжать из этой квартиры и звать мужа - мол, так и так - меня с детьми здесь больше не будет, ты с нами? Решай. Дайте ему ограниченный срок, скажем, месяц. После истечения срока либо он с вами, либо вам придется смириться с потерей. Конечно, если только ради любви к мужу вы не согласны и дальше убиваться и возвратиться в свекровину квартиру еще более потерявшей любое уважение.