Faits : A. A.X._ est d'origine kosovare. Il était titulaire d'une autorisation d'établissement avant d'être naturalisé suisse. Il est père d'un enfant, B.X._, ressortissant bosniaque né le 28 juillet 1995. Le 22 octobre 2009, l'intéressé a déposé une demande de regroupement familial pour son fils vivant avec sa mère en Bosnie. L'Office des migrations du canton de Zurich a rejeté cette demande par décision du 16 juillet 2010. L'intéressé n'a pas contesté ce prononcé. Le 2 décembre 2010, il en a demandé le réexamen. Par décision du 6 décembre 2010, l'Office précité n'est pas entré en matière sur cette demande. Suite à sa naturalisation, A.X._ a déposé une nouvelle demande de regroupement familial le 23 décembre 2010. Celle-ci a été rejetée par l'Office des migrations du canton de Zurich le 4 mars 2011. Le recours contre le prononcé de cet office a été rejeté le 5 janvier 2012 par la Direction de sécurité du canton de Zurich. B. Dans un courrier daté du 21 juin 2012, A.X._ a déposé, dans le canton de Vaud, une troisième demande de regroupement familial en faveur de son fils, entré en Suisse le 8 juin 2012 au bénéfice d'un visa. Par décision du 12 février 2013, le Service de la population du canton de Vaud a admis la demande et transmis le dossier à l'Office fédéral des migrations (actuellement le Secrétariat d'Etat aux migrations; ci-après: le Secrétariat d'Etat) pour approbation. Par décision du 15 juillet 2013, le Secrétariat d'Etat a refusé d'approuver l'octroi d'une autorisation de séjour en faveur de B.X._ et lui a fixé un délai de départ. A.X._ a contesté cette décision auprès du Tribunal administratif fédéral le 23 juillet 2013. Le 13 avril 2015, le Tribunal administratif fédéral a rejeté le recours de A.X._. Il a jugé en substance que la demande de regroupement familial avait été faite hors délais et qu'il n'existait pas de raisons familiales majeures donnant droit à une autorisation de séjour. C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'approuver l'octroi de l'autorisation de séjour proposée par le canton de Vaud. Il se plaint de discrimination à rebours ainsi que de violation du droit fédéral et international. Par ordonnance du 28 mai 2015, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif. Le Tribunal administratif fédéral renonce à se déterminer. Le Secrétariat d'Etat conclut au rejet du recours.