То что вы сделали раньше назад уже не вернешь. Но просто представьте себя а его месте, мать, которая вечно шпыняет, упрекает и скандалит и отец, который понимает его желания и порывы. Кого бы вы выбрали? Вам радоваться надо, что вашему мальчику повезло с отцом. Но вот сейчас он вырос, что мешает вам сейчас, забыв свои обиды (кстати взрослые люди на детей не обижаются ведь) увидеть в нем личность, понять его,  попытаться хотя бы чувствовать его? Вы слишком, на мой взгляд, зациклены на своих чувствах и не понимаете чувства других людей.  Осознать, попытаться исправить ситуацию не поздно ведь еще. Но сейчас отношения уже надо строить как с равным. Так что забывайте все что вы хотели ему в качестве долгов навесить и выстраивайте взрослые отношения, без манипуляций обидой или любовью.