Незнаю насколько у вас объективные причины не менять место жительства. Если вы это не сделаете сейчас, то в ближайшее время вам придётся иметь серьезные проблемы с сыном, что  пошатнёт ваши отношения.Как бы вы не пытались найти выход из положения- лучшее это переезд.Мы даже страну ради этого меняем.