Вы предлагаете именно ультиматум - "сижу здесь и буду сидеть, твое мнение по этому вопросу меня не интересует". С чего он уходить-то должен? Мало того, что без семьи  остался, так еще и просто на улицу в одних штанах?Если не ставить ультиматумов, то договариваться надо. И о том, как с детьми общаться, и о том, как имущество делить.