Никто лучше Вас не знает всей ситуации – здесь же не профессиональные психологи Вам отвечают, поэтому ориентируйтесь по своим ощущениям. Может быть сыну будет легче не видеть натянутые отношения родителей, а может быть тяжелее – оказаться не в родной обстановке. Поскольку расставание Ваше с мужем не проходит гладко, и чтобы минимизировать стрессовые ситуации для ребенка, я бы все–таки сходила к семейному психологу на прием, тем более Вы и Ваш муж явно не справляетесь с ситуацией.