Faits : A. X._, ressortissant de Bosnie-et-Herzégovine et de République de Macédoine, est né en 1989. En 2010 en Macédoine, il a rencontré une ressortissante de ce pays née en 1991. Celle-ci séjourne en Suisse depuis 1993 où elle est au bénéfice d'une autorisation d'établissement. Dès 2011, l'intéressé s'est rendu à plusieurs reprises en Suisse pour y rejoindre son amie. Le couple a eu un premier enfant en novembre 2012 et un deuxième en janvier 2014. Le 2 juillet 2014, X._ est entré en Suisse au moyen d'un visa touristique. Depuis l'échéance de celui-ci, il s'y trouve sans autorisation et n'est plus retourné en Macédoine. Le couple s'est marié en juillet 2015 et un troisième enfant est né en juin 2016. Les trois enfants sont au bénéfice d'autorisations d'établissement. Le 2 avril 2015, X._ a été condamné à une peine privative de liberté de dix mois avec sursis pendant trois ans pour vol en bande, dommage à la propriété et violation de domicile. Le 12 août 2015, il a été condamné à une amende de 600 fr. pour infraction à la LEtr (actuellement la LEI [RS 142.20]). Par la suite, le 5 mars 2018, sur recours, l'intéressé a encore été condamné à 20 jours-amende pour recel et trafic de stupéfiants. B. Par décision du 13 octobre 2016, le Service de la population du canton de Vaud s'est déclaré favorable à l'octroi d'une autorisation de séjour en faveur de X._, au titre du regroupement familial. Dans une décision ultérieure du 13 décembre 2016, il a autorisé l'intéressé à exercer une activité lucrative durant trois mois, en attendant que le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) donne son approbation à l'autorisation de séjour. Cette autorisation temporaire d'exercer une activité lucrative a été prolongée le 24 mars 2017. Par décision du 24 mai 2017, le Secrétariat d'Etat a refusé de donner son approbation à l'octroi d'une autorisation de séjour en faveur de X._ au titre du regroupement familial. Saisi sur recours du 28 juin 2017, le Tribunal administratif fédéral, par arrêt du 10 octobre 2018, a confirmé cette décision. C. Agissant par la voie du "recours de droit public", X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du Tribunal administratif fédéral du 10 octobre 2018 et d'approuver la prolongation ( recte l'octroi) de son autorisation de séjour; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le Tribunal administratif fédéral renonce à se déterminer. Le Secrétariat d'Etat conclut au rejet du recours.