Faits :
A.
Ressortissant kosovar né en 1963, X._ a séjourné et travaillé en Suisse de 1986 à 2000. Il a d'abord été mis au bénéfice d'une autorisation pour saisonnier, puis, en février 1990, d'une autorisation de séjour. En octobre 1997, l'intéressé, son épouse ainsi que leurs trois enfants ont obtenu une autorisation d'établissement. En mars 2000, X._ est retourné vivre au Kosovo avec sa famille. Le 22 novembre 2000, son fils cadet a été tué dans un accident de la route au Kosovo. Le 18 septembre 2001, X._ et son épouse ont eu un quatrième enfant.
Entre 2004 et 2008, X._ a déposé deux demandes de visa pour la Suisse. Le 15 janvier 2011, l'intéressé est revenu en Suisse au bénéfice d'un visa valable de décembre 2010 à juin 2011. Au mois de juin 2011, il a fait venir son épouse et son fils cadet.
Par décision du 3 juin 2011, le Service de l'emploi du canton de Vaud a rejeté la demande d'autorisation de travailler en faveur de l'intéressé, l'employeur n'ayant pas effectué de recherches sur le marché du travail indigène.
B.
B.a. Par décision du 3 mai 2012, le Service de la population du canton de Vaud (ci-après: le Service de la population) a rejeté une demande de X._ tendant à obtenir une autorisation de séjour.
Le 27 juin 2013, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a annulé la décision du 3 mai 2012 et renvoyé la cause au Service de la population afin qu'il rende une nouvelle décision. Il a jugé qu'il convenait d'admettre l'existence d'un cas individuel d'une extrême gravité justifiant que l'intéressé soit exempté des mesures de limitation, "au vu de la longue présence du recourant en Suisse, de son intégration réussie, de ses efforts en vue de se réintégrer en dépit de ses difficultés actuelles, de l'enjeu très important que cette réintégration comporte pour lui et des liens professionnels qui autorisent un pronostic favorable". Cet arrêt est entré en force.
B.b. Par décision du 29 octobre 2014, rendue après avoir entendu l'intéressé, le Secrétariat d'Etat aux migrations (anciennement l'Office fédéral des migrations; ci-après: le Secrétariat d'Etat) a refusé de donner son approbation à l'octroi d'une autorisation de séjour pour un cas individuel d'une extrême gravité en faveur de X._ et a prononcé son renvoi de Suisse.
Le Tribunal administratif fédéral, par arrêt du 19 juillet 2016, a rejeté le recours de l'intéressé contre la décision du Secrétariat d'Etat. Il a jugé qu'à défaut de liens spécialement intenses avec la Suisse, X._ ne remplissait pas les conditions requises pour la reconnaissance d'une situation d'extrême gravité.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal administratif fédéral du 19 juillet 2016, de lui accorder une autorisation de séjour, subsidiairement de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Plus subsidiairement, il conclut au renvoi de la cause au Service de la population pour qu'une autorisation de séjour lui soit délivrée.
Par ordonnance présidentielle du 31 août 2016, l'effet suspensif a été accordé au recours.
Le Tribunal administratif fédéral renonce à se déterminer sur le recours. Le Secrétariat d'Etat propose son rejet.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
1.1. Le recourant se prévaut du droit au respect de la vie privée garanti à l'art. 8 para. 1 CEDH. La protection de la vie privée découlant de cette disposition n'ouvre le droit à une autorisation de séjour qu'à des conditions restrictives. L'étranger doit en effet établir l'existence de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire (cf. <ref-ruling> consid. 3.2.1 p. 286; arrêts 2C_891/2016 du 27 septembre 2016 consid.3.2; 2C_725/2014 du 23 janvier 2015 consid. 3.2; 2C_536/2013 du 30 décembre 2013 consid. 2.2, non publié in <ref-ruling>). Au stade de la recevabilité, il suffit toutefois que l'existence de tels liens soit alléguée et apparaisse vraisemblable au vu des circonstances pour que le Tribunal fédéral entre en matière sur le recours (cf. <ref-ruling> consid. 1.1 p. 179; arrêts 2C_435/2014 du 13 février 2015 consid. 1.1; 2C_616/2012 du 1er avril 2013 consid. 1.4.2).
Dans le cas particulier, il n'est pas d'emblée exclu que les conditions requises pour bénéficier de la protection de la vie privée soient réunies au vu notamment de la présence de longue durée en Suisse du recourant, dont quatorze ans au bénéfice d'une autorisation d'établissement. Dans cette mesure, le recours échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF, étant précisé que le point de savoir si les conditions de l'art. 8 CEDH sont effectivement réunies dans le cas particulier relève de l'examen au fond (cf. en lien avec la garantie de la vie privée au sens de l'art. 8 para. 1 CEDH: arrêt 2C_75/2011 du 6 avril 2011 consid. 1.1).
1.2. Pour le surplus, dirigé contre un arrêt final (cf. art. 90 LTF) rendu par le Tribunal administratif fédéral (cf. art. 86 al. 1 let. a LTF), le recours a été déposé en temps utile, compte tenu des féries (art. 46 al. 1 let. b et art. 100 al. 1 LTF), par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il est par conséquent recevable.
2.
Sur le fond, le litige a pour origine un refus, par le Service de la population, d'octroyer une autorisation de séjour fondée sur l'art. 30 al. 1 let. b de la loi fédérale sur les étrangers (LEtr; RS 142.20). Cette décision a été portée devant le Tribunal cantonal, qui a admis le recours de X._ et a annulé la décision du Service de la population, renvoyant le dossier à l'autorité intimée afin qu'elle rende une nouvelle décision tenant compte d'un cas d'extrême gravité et précisant que la délivrance d'une telle autorisation était soumise à l'approbation fédérale. Faisant suite à cette décision, le Service de la population a transmis le dossier au Secrétariat d'Etat, qui a refusé d'approuver l'octroi de l'autorisation de séjour. Cette décision a été confirmée par le Tribunal administratif fédéral.
3.
Le Tribunal fédéral n'est en principe pas lié par les motifs de l'autorité précédente ni par les moyens des parties. Il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 3 p. 415; <ref-ruling> consid. 2.2 p. 540).
4.
Le recourant invoque en premier lieu les principes de la légalité et de la séparation des pouvoirs. Il remet en cause la compétence du Secrétariat d'Etat pour approuver l'octroi d'une autorisation de séjour sur la base de l'art. 30 al. 1 LEtr alors qu'une décision d'admission avait déjà été prise, sur recours, par une instance cantonale de recours.
4.1. Avant d'examiner ce grief, il convient de se demander si, au regard de la jurisprudence récente du Tribunal fédéral, le Secrétariat d'Etat aurait dû porter la décision du Tribunal cantonal devant la Cour de céans par la voie du recours en matière de droit public.
4.1.1. Dans un arrêt de principe publié aux <ref-ruling>, le Tribunal fédéral a examiné la compétence du Secrétariat d'Etat en matière d'approbation. Il a jugé que lorsque l'octroi d'une autorisation de séjour reposait sur la décision d'une autorité de recours cantonale, la réglementation de l'art. 85 al. 1 let. a et b de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201) ne répondait pas aux principes applicables en matière de délégation législative. Dans une telle situation, il n'existait donc aucune base légale permettant au Secrétariat d'Etat de refuser son approbation (<ref-ruling> consid. 4.4 p. 176 s.; cf. aussi arrêt 2C_634/2014 du 24 avril 2015 consid. 3.1). Le Tribunal fédéral a également jugé que lorsqu'un titre de séjour avait été octroyé sur recours par une autorité cantonale (en principe judiciaire) et que cette décision pouvait être portée jusqu'au Tribunal fédéral au moyen d'un recours en matière de droit public, c'est cette voie qui devait être utilisée par le Secrétariat d'Etat et non pas la procédure d'approbation. Le Tribunal fédéral a précisé que, si le Secrétariat d'Etat ne faisait pas usage de son droit de recours, il ne saurait, au travers de la procédure d'approbation, court-circuiter la décision de l'instance cantonale de recours. La qualité pour former un tel recours était cependant subordonnée à l'existence d'un droit à une autorisation en matière de droit des étrangers (art. 83 let. c ch. 2 LTF; <ref-ruling> consid. 4.4.3 p. 177 s.; arrêt 2C_634/2014 du 24 avril 2015 consid. 3.2).
4.1.2. En l'occurrence, le Tribunal cantonal a admis le recours de l'intéressé en se fondant exclusivement sur l'art. 30 al. 1 let. b LEtr. Or, au vu de sa formulation potestative, cette disposition ne confère aucun droit à l'obtention d'un permis de séjour. Une telle situation tombe donc sous le coup de la clause d'irrecevabilité prévue à l'art. 83 let. c ch. 2 LTF. Dans ces conditions, on ne pouvait exiger du Secrétariat d'Etat qu'il utilise la voie du recours en matière de droit public pour contester l'arrêt cantonal du 27 juin 2013 auprès du Tribunal fédéral. Le fait que le recourant puisse aussi se prévaloir de manière vraisemblable d'un droit tiré de l'art. 8 CEDH qui lui permettrait d'obtenir un titre de séjour, ce qui est examiné dans la présente procédure, ne change rien au fait que l'autorisation envisagée par les autorités cantonales reposait exclusivement sur l'art. 30 al. 1 let. b LEtr (cf. arrêt 2C_369/2015 du 22 novembre 2015 consid 3.2).
4.2. Reste à examiner la base légale permettant au Secrétariat d'Etat de soumettre à approbation l'octroi d'une autorisation de séjour basée sur l'art. 30 al. 1 LEtr alors qu'une décision d'admission a déjà été prise, sur recours, par une instance cantonale. Cette question suppose en premier lieu de déterminer le droit applicable.
4.2.1. Dans sa teneur jusqu'au 1er septembre 2015, l'art. 85 al. 1 OASA précisait ce qui suit:
"Le SEM a la compétence d'approuver l'octroi et le renouvellement des autorisations de séjour et de courte durée, ainsi que l'octroi de l'établissement, lorsque
a. il estime qu'une procédure d'approbation est nécessaire pour certaines catégories de personnes afin d'assurer une pratique uniforme de la loi;
b. il exige que l'approbation lui soit soumise dans un cas d'espèce;
c. l'octroi préalable de l'autorisation d'établissement doit avoir lieu conformément à l'art. 34, al. 3 et 4, LEtr;
d. l'autorisation d'exercer une activité lucrative est octroyée pour quatre mois au maximum au sens de l'art. 19, al. 4, let. a".
Cette disposition a été modifiée par le Conseil fédéral en date du 12 août 2015. Elle précise désormais, sous le titre "Autorisations soumises à approbation et décisions préalables (art. 30 al. 2, et 99 LEtr) ", que le Secrétariat d'Etat a la compétence d'approuver l'octroi et le renouvellement des autorisations de courte durée et de séjour, l'octroi de l'établissement ainsi que les décisions préalables des autorités cantonales du marché du travail (art. 83) (al. 1). A l'art. 85 al. 2 OASA, le Conseil fédéral a délégué son pouvoir réglementaire au Département fédéral de justice et police (DFJP), lequel a édicté l'ordonnance du 13 août 2015 relative aux autorisations soumises à la procédure d'approbation et aux décisions préalables dans le domaine du droit des étrangers (RS 142.201.1). L'art. 5 de l'ordonnance dresse une liste exhaustive des cas de dérogations aux conditions d'admission devant être soumis au Secrétariat d'Etat pour approbation. L'ordonnance, ainsi que le nouvel art. 85 OASA, sont entrés en vigueur le 1er septembre 2015 (cf. art. 7 de l'ordonnance; RO 2015 2739 et RO 2015 2741).
4.2.2. D'après les règles générales régissant la détermination du droit applicable, qui se déploient en l'absence de dispositions transitoires particulières, l'application d'une norme à des faits entièrement révolus avant son entrée en vigueur est interdite (<ref-ruling> consid. 4.2 p. 373 s.). En dérogation à ce principe général, les nouvelles règles de procédure s'appliquent pleinement dès leur entrée en vigueur aux causes qui sont encore pendantes (cf. <ref-ruling> consid. 7.4.5 p. 418 s.; <ref-ruling> consid. 2.2 p. 15; <ref-ruling> consid. 2c p. 101; arrêt 6B_618/2011 du 22 mars 2012 consid. 1.2.2). La procédure administrative connaît néanmoins une exception à l'application immédiate de la nouvelle procédure; celle-ci n'est admissible que pour autant que l'ancien et le nouveau droit s'inscrivent dans la continuité du système de procédure en place et que les modifications procédurales demeurent ponctuelles (<ref-ruling> consid. 7.4.5; <ref-ruling> consid. 3.3.2 p. 5 s.; <ref-ruling> consid. 4a et 4b p. 360 s.; <ref-ruling> consid. 4 p. 47; arrêts 2C_947/2014 du 2 novembre 2015 consid. 3.2; 2C_842/2014 du 17 février 2015 consid. 3.2; THIERRY TANQUEREL, Manuel de droit administratif, 2011, p.132). En revanche, l'ancien droit de procédure continue à gouverner les situations dans lesquelles le nouveau droit de procédure marque une rupture par rapport au système procédural antérieur et apporte des modifications fondamentales à l'ordre procédural (<ref-ruling> consid. 7.4.5 p. 418; arrêt 2C_947/2014 du 2 novembre 2015 consid. 7.2.2).
4.2.3. En l'occurrence, le Secrétariat d'Etat a refusé de donner son approbation avant l'entrée en vigueur du nouvel art. 85 OASA et de son ordonnance d'application. Le recourant a porté cette décision devant le Tribunal administratif fédéral le 1er décembre 2014. Le 1er septembre 2015, alors que la cause était pendante devant le Tribunal administratif fédéral, les nouvelles règles de procédure sont entrées en vigueur. Partant, lorsque le Tribunal administratif a rendu son arrêt le 19 juillet 2016, le nouveau droit de procédure était déjà en vigueur. En vertu de l'effet dévolutif complet, le prononcé du Tribunal administratif fédéral se substitue à la décision du Secrétariat d'Etat (cf. art. 49 de la loi fédérale du 20 décembre 1968 sur la procédure administrative [PA; RS 172.021] en relation avec l'art. 37 de la loi fédérale du 17 juin 2005 sur le Tribunal administratif fédéral [LTAF; RS 173.32]). Les nouvelles règles de procédure s'appliquent ainsi à la présente espèce, étant précisé qu'elles s'inscrivent dans la continuité de l'ancienne pratique du Secrétariat d'Etat en matière de procédure d'approbation. En effet, adoptés à la suite de l'<ref-ruling>, dans lequel le Tribunal fédéral a constaté l'absence de base légale suffisante permettant au Secrétariat d'Etat de refuser son approbation lorsque l'octroi de l'autorisation de séjour repose sur la décision d'une autorité de recours cantonale (cf. supra consid. 4.1.1), le nouvel art. 85 OASA ainsi que son ordonnance d'application visent à réglementer la pratique, déjà existante, du Secrétariat d'Etat en la matière.
4.3. Le principe de la légalité, consacré à l'art. 5 al. 1 Cst., exige que les autorités n'agissent que dans le cadre fixé par la loi. Hormis en droit pénal et fiscal où il a une signification particulière, le principe de la légalité n'est pas un droit constitutionnel du citoyen. Il s'agit d'un principe constitutionnel qui ne peut pas être invoqué en tant que tel, mais seulement en relation avec la violation, notamment, du principe de la séparation des pouvoirs, de l'égalité, de l'interdiction de l'arbitraire ou la violation d'un droit fondamental spécial (<ref-ruling> consid. 4.4 p. 386; <ref-ruling> consid. 2.1; arrêt 2C_586/2015 du 9 mai 2016 consid. 6.1 non publié in <ref-ruling>).
Le principe de la séparation des pouvoirs interdit à un organe de l'Etat d'empiéter sur les compétences d'un autre organe; en particulier, il interdit au pouvoir exécutif d'édicter des règles de droit, si ce n'est dans le cadre d'une délégation valablement conférée par le législateur (<ref-ruling> consid. 3.3 p. 30; <ref-ruling> p. 692; <ref-ruling> consid. 2.2 p. 326; <ref-ruling> consid. 3.1 p. 5). En droit fédéral, l'art. 164 al. 1 Cst. prévoit que doivent faire l'objet d'une législation formelle les règles de droit importantes, soit en particulier les dispositions fondamentales relatives à la restriction des droits constitutionnels (let. b) et aux droits et obligations des personnes (let. c). Une loi formelle peut prévoir une délégation législative, à moins que la Constitution ne l'exclue (al. 2).
4.4. En vertu de l'art. 40 LEtr, les autorisations prévues aux art. 32 à 35 et 37 à 39 LEtr sont octroyées par les cantons. Les compétences de la Confédération sont réservées notamment en matière de dérogations aux conditions d'admission (art. 30 LEtr) et de procédure d'approbation (art. 99 LEtr). La loi ne règle ni la procédure de dérogations aux conditions d'admission ni celle d'approbation. Dans les deux cas, cette compétence a été attribuée au Conseil fédéral (cf. art. 30 al. 2 LEtr et 99 LEtr). Comme mentionné ci-dessus (cf. supra consid. 4.2.1), le Conseil fédéral a fait usage de sa compétence en édictant l'OASA, dont le nouvel art. 85 al. 1 attribue au Secrétariat d'Etat la compétence d'approuver l'octroi et le renouvellement des autorisations de séjour. A l'art. 85 al. 2 OASA, le Conseil fédéral a délégué au Département fédéral de justice et police la compétence de dresser la liste des cas dans lesquels les autorisations de courte durée, de séjour ou d'établissement doivent être soumises à la procédure d'approbation, ce qu'il a fait par ordonnance du 13 août 2015. D'après l'art. 5 let. d de cette ordonnance, l'octroi d'une autorisation de séjour dans un cas individuel d'une extrême gravité est soumis au Secrétariat d'Etat pour approbation.
4.5. Dans l'arrêt attaqué, se référant à l'arrêt 2C_369/2015 du 22 novembre 2015 (consid. 3.2), le Tribunal administratif fédéral a considéré que le Secrétariat d'Etat tirait sa compétence d'approuver l'octroi d'une autorisation de séjour directement de l'art. 40 al. 1 2e phr. LEtr.
En l'occurrence, l'arrêt 2C_369/2015 sur lequel se fonde le Tribunal administratif fédéral ne permet pas de retenir que l'art. 40 LEtr constitue une base légale suffisante permettant au Secrétariat d'Etat d'approuver l'octroi d'une autorisation de séjour en matière de dérogations aux conditions d'admission. En effet, cette disposition, qui prévoit uniquement que la compétence en matière de dérogations aux conditions d'admission relève de la Confédération, ne contient aucune délégation de compétence en faveur du Secrétariat d'Etat. En réalité, la compétence du Secrétariat d'Etat pour approuver l'octroi d'une autorisation de séjour se fonde sur les art. 85 al. 2 OASA (nouvelle teneur) et 5 let. de l'ordonnance du 13 août 2015, applicables en l'occurrence (cf. supra consid. 4.2.3). Contrairement à la situation qui prévalait sous l'ancien droit, le pouvoir exécutif a désormais valablement attribué au Département fédéral de justice et police la compétence de définir les cas dans lesquels les autorisations de séjour sont soumis à approbation. Ce mode de faire est conforme à l'art. 48 LOGA, de sorte que, sous l'angle de la séparation des pouvoirs, le principe de la base légale est respecté.
4.6. Infondé, le grief tiré de la séparation des pouvoirs doit donc être rejeté par substitution de motifs.
5.
Sur le fond, le recourant se prévaut de la protection de sa vie privée au sens de l'art. 8 para. 1 CEDH pour prétendre à l'octroi d'une autorisation de séjour.
5.1. Sous l'angle étroit de la protection de la vie privée, l'art. 8 CEDH n'ouvre le droit à une autorisation de séjour qu'à des conditions restrictives. L'étranger doit en effet établir l'existence de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire. Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'étranger y est enraciné et dispose de ce fait d'un droit de présence dans notre pays (<ref-ruling> consid. 3.2.1 p. 286). Il procède bien plutôt à une pesée des intérêts en présence, en considérant la durée du séjour en Suisse comme un élément parmi d'autres (cf. <ref-ruling> consid. 3.2.1 p. 286 s.; arrêts 2C_891/2016 du 27 septembre 2016 consid. 3.2; 2C_725/2014 du 23 janvier 2015 consid. 3.2; 2C_654/2013 du 12 février 2014 consid. 2.1; 2C_426/2010 du 16 décembre 2010 consid. 3.1).
La jurisprudence a notamment déduit de l'art. 8 para. 1 CEDH, sous l'angle de la protection de la vie privée, un droit à une autorisation de séjour à un étranger installé depuis plus de onze ans en Suisse. Le Tribunal fédéral a retenu que l'intéressé avait développé dans notre pays des liens particulièrement intenses dans les domaines professionnel (création d'une société à responsabilité limitée; emploi à la Délégation permanente de l'Union africaine auprès de l'ONU) et social (cumul de diverses charges auprès de l'Eglise catholique); il a également été tenu compte, dans la pesée des intérêts, du fait que, sans le décès de son épouse suisse, avec laquelle il partageait sa vie, l'intéressé pouvait légitimement espérer la prolongation de son autorisation de séjour (cf. arrêt 2C_266/2009 du 2 février 2010). A l'inverse, le Tribunal fédéral a estimé qu'un étranger ayant vécu pendant plus de trente ans en Suisse avec son épouse en y développant normalement ses relations privées ne pouvait en déduire aucun droit à une autorisation de séjour sous l'angle de la protection de la vie privée (arrêt 2C_725/2014 du 23 janvier 2015 consid. 5.4; cf. aussi arrêt 2C_426/2010 du 16 décembre 2010 à propos d'un étranger ayant vécu pendant 17 ans en Suisse), étant rappelé que le Tribunal fédéral écarte tout schématisme en lien avec la durée du séjour en Suisse.
5.2. D'après les constatations figurant dans l'arrêt entrepris, qui lient le Tribunal fédéral (art. 105 al. 1 LTF), le recourant est arrivé en Suisse en 1986 et y a vécu 14 ans au bénéfice d'une autorisation d'établissement. En mars 2000, l'intéressé a quitté la Suisse pour s'installer à nouveau dans son pays d'origine. Il y a séjourné 11 ans avec sa famille, avant de revenir en Suisse en début 2011. Durant ses séjours en Suisse, l'intéressé a travaillé à satisfaction de ses employeurs, assurant ainsi l'indépendance financière de sa famille. Il n'a jamais émargé à l'aide sociale. Sur la base de ces éléments, les juges précédents ont retenu que l'intégration du recourant était bonne mais pas exceptionnelle. Cette analyse n'est pas critiquable. Si l'intéressé a noué des liens avec la population locale - ce qui est normal après des séjours totalisant près d'une vingtaine d'années - et s'il a un frère en Suisse, la relation du recourant avec ce pays n'apparaît pas spécialement étroite. En revanche, l'intéressé a des attaches importantes avec sa patrie. Le recourant a vécu au Kosovo jusqu'à l'âge de 23 ans, puis de nouveau entre 2000 et 2011. Sa présence en Suisse a ainsi été interrompue par un séjour de onze ans dans son pays d'origine. D'après l'arrêt attaqué, le recourant pensait s'y établir définitivement, afin de reconstruire sa vie dans le pays où se trouvaient ses racines (arrêt entrepris, consid. 5.2.1). A cela s'ajoute que son épouse est originaire du Kosovo et que leurs trois enfants sont nés dans ce pays. Le recourant ne conteste pas ces faits. Il se contente d'affirmer qu'il n'a jamais commis d'infractions pénales, ni bénéficié de l'aide sociale, ses activités lucratives lui permettant au contraire de subvenir aux besoins de sa famille. Or, selon la jurisprudence, l'autonomie financière et le respect des obligations légales ne suffisent pas à conclure à l'existence de liens particulièrement intenses qui vont largement au-delà de l'intégration ordinaire (cf. arrêt 2C_457/2014 du 3 juin 2014 consid. 4.2).
5.3. Dans ces conditions, force est d'admettre que le recourant ne peut se fonder sur la garantie du respect de la vie privée découlant de l'art. 8 CEDH pour obtenir une autorisation de séjour.
6.
Le recourant invoque l'arrêt de la Cour européenne des droits de l'homme (ci-après: CourEDH) Hasanbasic c. Suisse du 11 juin 2013 (52166/09). Cette jurisprudence ne lui est toutefois d'aucun secours, dès lors que les situations ne sont pas comparables. La CourEDH avait en effet constaté que le requérant entretenait une relation étroite et effective avec son épouse, titulaire d'une autorisation d'établissement, de sorte qu'il pouvait se prévaloir de l'art. 8 CEDH sous l'angle de la garantie de la vie familiale. Lorsque, comme en l'espèce, le recourant ne peut se prévaloir des garanties de l'art. 8 CEDH que sous l'angle étroit de la protection de de la vie privée, l'application de cette disposition est soumise à des conditions plus restrictives (cf. arrêt 2C_647/2016 du 2 décembre 2016 consid. 3.3). La CourEDH avait par ailleurs relevé que l'état de santé du requérant s'était sérieusement affaibli et nécessitait un suivi constant. Elle avait également attaché une importance particulière au fait que les requérants avaient séjourné en Suisse de façon ininterrompue. D'après la CourEDH, la situation était ainsi sensiblement différente de celle où le requérant se rend à l'étranger à plusieurs reprises pour des périodes prolongées (para. 57).
7.
Pour le surplus, le recourant ne peut rien tirer de la Convention du 20 novembre 1989 relative aux droits de l'enfant (RS 0.107) qui ne lui confère aucun droit à une autorisation de séjour (cf. <ref-ruling> consid. 2.2.2 p. 156; arrêt 2C_125/2014 du 12 février 2014 consid. 4.2). L'intérêt de son fils Y._ à vivre avec ses parents n'est au demeurant pas lésé, les conséquences de l'arrêt attaqué n'impliquant pas une séparation de la famille.
8.
Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant supporte les frais judiciaires (art. 65 et 66 al. 1 LTF) et n'a pas droit à des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Tribunal administratif fédéral, Cour VI, et au Secrétariat d'Etat aux migrations.
Lausanne, le 31 janvier 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : McGregor