Автор, пока не поздно, уходите вы от него. У вашего мужчины, если он вообще не был  до 46-ти лет женат и не было детей, нет никакого навыка построения семейных отношений не только с женщиной, но и с ребенком. И вряд ли у него это уже получится, потому что возраст уже у него слишком "зрелый". Пока он вообще поймет, что такое семья и ее неписанные законы, он вам и вашему ребенку весь мозг чайной ложкой выест. В семье должно быть всем комфортно, это не плац и муштра здесь не нужна.Для себя надо определить какой-то "испытательный" срок проживания с ним, а если видите, что не тянет он семейную жизнь с вами и вашим сыном - расставайтесь без сожалений.