Если есть куда уходить, уходите. В вашей ситуации надо быть категоричной, так как вы отвечаете не только за себя, но и за своего ребенка. У вас нет сейчас права на "стерпится-слюбится", авось и прочее.  Как минимум вы сейчас дадите понять своему мужу, что вы не тряпка и так общаться с собой вы не позволите.