Нет, не будете сволочью. Вы оформляете инвалидность ребенку. ребенку вредно нервничать. Шлите мужика в жопу или в суд (разводиться, делить имущество и определять порядок общения с ребенком). А до тех пор избегайте его под предлогом того, что беспокоитесь о здоровье ребенка и вам нужен посредник (суд) для решения конфликта. Кстати, сходите еще в Органы опеки, дабы заручиться их поддержкой и послушайте, что они скажут о вашей ситуации. В этом вопросе вам без них не обойтись.