Ну Ваш-то ещё маленький, 5 лет  всего ! Все будет нормально, главное, чаще общайтесь, объясняйте, что и зачем Вы делаете , чтобы ребенку было проще понимать  Ваши действия и их необходимость.Все будет нормально, если будет доверие с ребенком. 5 лет - это очень гибкий период. Поговорите с бывшим и предупредите его, что если будет создавать разлады и проблемы с ребенком- подадите в опеку и суд и ограничите его род.права. Я когда-то так селала и опека прислушалась (лично с ним беседовали и сами убедились, "шо за фрухт" ). Раз по-хорошему не понимает и собственного ребенка не жаль