Не поняла, чего конкретно вам терпеть предлагается? То, что он  с вами из-за детей? Ну скажите ему, что вы с ним из-за квартиры, пусть он терпит. Или то, что на работу не пускает? В принципе, если у вас есть возможность устроиться на хорошо оплачиваемую работу, то и фиг бы с ним... Тут терпеть необязательно, если невмоготу - устраивайтесь, детям няню или бабадеду, если есть кто у вас. Гнать будет - квартирку снимете. Терепть и молчать необязательно. Можете буянить и орать - хуже-то все равно не будет, хоть пар спустите...