Тогда вам ничего другого не остается, как только дистанцироваться от него. Психологически, так сказать. Поставьте мысленно барьер между вами - чужие люди, волей судеб вынужденные вместе проживать под одной крышей. Временно. Ну как соседи по общаге, скажем. Это позволит вам сберечь большое количество жизненных сил, которые сейчас у вас уходят на обиды, несбыточные ожидания, раздражение и т.п.  С мужем отношения многогранны - с соседом же достаточно быть просто вежливой. Попробуйте, вам же надо как-то с наименьшими потерями пережить это время, пока дети маленькие, пока с садом и с трудоустройством проблемы...