ТОгда и не ущемляйте его отцовских прав. Обозначьте, что вы намерены договориться с ним по поводу ребена 50 на 50. Ну или хотя бы 60 на 40.Уехать к маме, позвонить ему: "Давай насчет твоего общения с ребенком  и частичного прживания с нис договоримся, но жить с тобой я не буду".