Faits :
A.
A la suite de son mariage avec une ressortissante suisse en 2007, A.X._, ressortissant du Kosovo, a été mis au bénéfice d'une autorisation de séjour dans le canton de Vaud. Depuis le 1 er juin 2012, il est titulaire d'une autorisation d'établissement. Il vit séparé de son épouse depuis septembre 2013.
A.X._ a deux fils issus d'une précédente relation avec une compatriote, B.X._ et C.X._, nés en 1995 et 1997. Selon les certificats de naissance, la paternité de A.X._ à l'égard de ses deux enfants a été enregistrée dans les registres de l'état civil au Kosovo le 16 janvier 2008.
Le 5 octobre 2012, A.X._ a déposé une demande de regroupement familial en faveur de ses deux fils, en exposant que ses enfants avaient vécu chez leurs grands-parents paternels depuis la séparation d'avec son ex-compagne en 2003, mais que ceux-ci n'étaient désormais plus en mesure d'assurer l'éducation des enfants en raison de leur âge et de leur état de santé. Par la suite, A.X._ a fait savoir aux autorités que ses parents étaient repartis vivre en Allemagne pour des raisons médicales au cours du mois de janvier 2013, de sorte que B.X._ et C.X._ étaient "livrés à eux-mêmes" au Kosovo.
Le 17 juin 2013, le Service de la population du canton de Vaud a préavisé favorablement la délivrance d'autorisations de séjour en faveur de B.X._ et C.X._, en dépit du dépôt tardif de la demande de regroupement familial, et transmis le dossier à l'autorité fédérale de police des étrangers pour approbation.
B.
Par décision du 16 avril 2014, l'Office fédéral des migrations (devenu le 1 er janvier 2015 le Secrétariat d'Etat aux migrations, ci-après: le SEM) a refusé d'autoriser l'entrée en Suisse de B.X._ et C.X._ et d'approuver la délivrance en leur faveur d'autorisations de séjour au titre du regroupement familial.
B.X._ et C.X._ sont entrés en Suisse au mois de mai 2014.
Par arrêt du 29 juin 2016, le Tribunal administratif fédéral a rejeté le recours formé par A.X._ et ses deux fils contre la décision du SEM du 16 avril 2014 et renvoyé la cause à cette autorité afin qu'elle se prononce sur la question du renvoi de B.X._ et C.X._ de Suisse et sur l'exécution de cette mesure. En substance, il a considéré que la demande de regroupement familial était tardive, que A.X._ ne disposait ni de l'autorité parentale, ni du droit de garde sur ses fils, de sorte qu'il ne pouvait solliciter le bénéfice d'un regroupement familial différé, et qu'il n'existait pas de raisons familiales majeures justifiant la venue en Suisse de B.X._ et C.X._ dès lors que ceux-ci pouvaient vivre auprès de leur mère ou d'autres membres de leur famille au Kosovo.
C.
A.X._ (ci-après: le recourant 1), ainsi que B.X._ et C.X._ (ci-après: les recourants 2 et 3) forment un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt du 29 juin 2016. Ils concluent, avec suite de frais et dépens, principalement à la réforme de l'arrêt entrepris en ce sens que la décision rendue le 16 avril 2014 par le SEM est annulée et que les recourants 2 et 3 sont autorisés à séjourner en Suisse au titre du regroupement familial; subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi du dossier au Tribunal administratif fédéral pour nouvelles instruction et décision dans le sens des considérants.
Le Tribunal administratif fédéral renonce à se prononcer sur le recours. Le SEM conclut à son rejet.
D.
Par ordonnance du 8 septembre 2016, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif contenue dans le recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2.1 p. 397; <ref-ruling> consid. 2 p. 59).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit toutefois, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1 p. 179).
En l'occurrence, les recourants se prévalent de l'art. 43 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20). Cette disposition confère un droit à une autorisation de séjour aux enfants du titulaire d'une autorisation d'établissement, mais le soumet à la condition que ceux-ci soient âgés de moins de 18 ans (<ref-ruling> consid. 3.2 p. 499). Pour statuer sur la recevabilité du recours contre une décision rendue en matière de regroupement familial, le Tribunal fédéral se fonde sur l'âge de l'enfant au moment du dépôt de la demande (<ref-ruling> consid. 3.2 p. 500). En l'espèce, le recourant 1, titulaire d'une autorisation d'établissement depuis le 1er juin 2012, a déposé une demande de regroupement familial en faveur de ses deux fils le 5 octobre 2012, date à laquelle B.X._ était âgé de 17 ans et un mois et C.X._ de 15 ans et presque quatre mois. Il s'ensuit que l'art. 43 al. 1 LEtr est potentiellement de nature à conférer à ceux-ci un droit à une autorisation de séjour. Le recours échappe en conséquence au motif d'irrecevabilité de l'art. 83 let. c ch. 2 LTF. Partant, la voie du recours en matière de droit public est ouverte s'agissant de la confirmation par le Tribunal administratif fédéral du refus de délivrer des autorisations de séjour aux recourants 2 et 3, étant précisé que la question de savoir si le regroupement familial doit en définitive être accordé relève du fond (<ref-ruling> consid. 1.1 p. 332).
1.2. Outre qu'il a confirmé le refus d'approbation de délivrer des autorisations de séjour aux recourants 2 et 3, le Tribunal administratif fédéral a renvoyé la cause au SEM pour que cette autorité se prononce sur le renvoi de Suisse des intéressés et l'exécution possible de cette mesure. Dans la mesure où elle concerne le refus d'approbation de délivrer des autorisations de séjour, la décision attaquée constitue une décision finale partielle au sens de l'art. 91 LTF, qui peut faire l'objet d'un recours direct auprès du Tribunal fédéral (sur la notion de décision finale partielle, cf. <ref-ruling> consid. 2.2 p. 397), tandis que, dans la mesure où la cause est renvoyée à l'autorité inférieure et où celle-ci dispose d'une marge d'appréciation, il s'agit d'une décision incidente contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF (<ref-ruling> consid. 1.2 p. 148). A juste titre, les recourants ne s'en prennent qu'au premier aspect, qui sera seul revu. La voie du recours en matière de droit public serait au demeurant exclue en matière de renvoi et d'admission provisoire - octroyée si l'exécution du renvoi n'est pas possible (art. 83 LEtr) - (art. 83 let. c ch. 3 et 4 in fine LTF). En outre, l'arrêt attaqué n'émanant pas d'une autorité judiciaire cantonale, le recours constitutionnel subsidiaire serait également d'emblée exclu (art. 113 LTF).
1.3. Au surplus, l'arrêt attaqué a été rendu par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF), dans une cause de droit public (art. 82 let. a LTF). Le recours a en outre été déposé en temps utile compte tenu des féries (art. 46 al. 1 let. b et 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF), par les destinataires de l'arrêt entrepris qui ont un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation des droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.2 p. 232).
2.2. A moins que les faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.1 p. 18 s.) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF), le Tribunal fédéral est lié par les faits retenus par l'autorité précédente (art. 105 al. 2 LTF). Si la partie recourante entend s'écarter des constatations de fait de l'autorité précédente, elle doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 97 al. 1 LTF seraient réalisées conformément aux exigences de motivation de l'art. 106 al. 2 LTF. Sinon, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 10.1 p. 445).
3.
Les recourants reprochent à l'autorité précédente de ne pas avoir suffisamment instruit la cause, en violation de la maxime inquisitoire énoncée à l'art. 12 de la loi fédérale du 20 décembre 1968 sur la procédure administrative (PA; RS 172.021). Les précédents juges auraient considéré qu'il existait des solutions alternatives à la prise en charge des recourants 2 et 3 au Kosovo si leurs grands-parents paternels ne pouvaient plus s'occuper d'eux en se fondant sur de simples hypothèses, non étayées par les pièces du dossier.
3.1. Aux termes de l'art. 12 PA (applicable à la procédure devant le Tribunal administratif fédéral, art. 37 de la loi fédérale du 17 juin 2005 sur le Tribunal administratif fédéral [LTAF; RS 173.32]), l'autorité constate les faits d'office et procède s'il y a lieu à l'administration de preuves par les moyens évoqués dans cette disposition. Selon la maxime inquisitoire, l'autorité définit les faits pertinents et ne tient pour existants que ceux qui sont dûment prouvés; elle oblige notamment les autorités compétentes à prendre en considération d'office l'ensemble des pièces pertinentes qui ont été versées au dossier. En revanche, elle ne dispense pas les parties de collaborer à l'établissement des faits (art. 13 PA; arrêts 2C_157/2016 du 13 octobre 2016 consid. 2.1; 2C_84/2012 du 15 décembre 2012 consid. 3.1, non publié in <ref-ruling>); il leur incombe d'étayer leurs propres thèses, de renseigner le juge sur les faits de la cause et de lui indiquer les moyens de preuves disponibles, spécialement lorsqu'il s'agit d'élucider des faits qu'elles sont le mieux à même de connaître (<ref-ruling> consid. 6.3.1 p. 298 s.; arrêts 2C_104/2016 du 28 novembre 2016 consid. 5.2; 1C_266/2015 du 20 juin 2016 consid. 3.1.2). En matière de droit des étrangers, l'art. 90 LEtr met un devoir spécifique de collaborer à la constatation des faits déterminants à la charge de l'étranger ou des tiers participants (arrêts 2C_104/2016 du 28 novembre 2016 consid. 5.2; 2C_777/2015 du 26 mai 2016 consid. 3.3, non publié in <ref-ruling>).
3.2. En l'occurrence, il ressort de l'arrêt entrepris que le Tribunal administratif fédéral a invité, par ordonnance du 19 janvier 2016, les recourants à fournir des renseignements actualisés, pièces à l'appui, sur la situation des recourants 2 et 3 au Kosovo. Les précédents juges ont ainsi fait en sorte d'obtenir les informations nécessaires aux fins d'établir la situation familiale des intéressés au Kosovo. Les recourants ont donné suite à cette ordonnance par courriers des 21 mars, 19 et 20 avril, ainsi que 11 mai 2016, et produit différentes pièces. Dans la mesure où les recourants étaient les mieux placés pour renseigner les autorités sur ces questions, on ne voit pas quelle autre mesure d'administration des preuves aurait pu être ordonnée pour établir la situation familiale au Kosovo et les possibilités de prise en charge éducative. Les recourants ne précisent au demeurant pas à quels autres actes d'instruction le Tribunal administratif fédéral aurait dû procéder. Ils ne prétendent par ailleurs pas que l'autorité précédente aurait refusé de donner suite à des offres de preuve et ne font pas non plus état de pièce (s) qu'ils auraient produite (s) et qui n'aurai (en) t pas été prise (s) en considération par les précédents juges. Pour le surplus, la critique des recourants se rapporte à la manière dont les pièces produites ont été appréciées, question qui sera examinée ci-après ( infra consid. 4). Compte tenu de ce qui précède, le grief des recourants relatif à la violation de la maxime inquisitoire est infondé et doit être rejeté.
4.
Sous l'angle de l'établissement des faits et de l'appréciation des preuves, les recourants reprochent au Tribunal administratif fédéral d'avoir retenu de manière manifestement inexacte que la mère des recourants 2 et 3 disposait seule de l'autorité parentale et du droit de garde, d'une part, et pouvait s'occuper de ses enfants, d'autre part. Ils estiment en outre que l'autorité précédente aurait dû constater qu'il n'existait aucune possibilité de prise en charge des enfants au Kosovo par d'autres membres de la famille.
4.1. Lorsque la partie recourante s'en prend à l'établissement des faits ou à l'appréciation des preuves, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62).
4.2. Concernant la mère des enfants, le Tribunal administratif fédéral a retenu que celle-ci était seule titulaire de l'autorité parentale et du droit de garde au motif que le recourant 1, qui avait vécu en union libre avec son ancienne compagne, n'avait reconnu ses enfants qu'en 2008 et n'avait ni allégué, ni démontré par la remise de documents que l'autorité parentale et/ou le droit de garde lui auraient été attribués par la suite. Quant au prétendu désintérêt de la mère, qui aurait refait sa vie avec un autre homme dès 2003 dans une autre commune, le Tribunal administratif fédéral a relevé qu'il résultait des pièces du dossier que l'intéressée vivait dans la même commune que ses enfants en 2008 et que la seule attestation de résidence produite indiquait une autre commune de résidence au 7 août 2012. La mère ne paraissait ainsi pas avoir abandonné ses enfants comme le prétendaient les recourants. Par ailleurs, rien n'indiquait qu'elle n'était pas en mesure de s'en occuper, par exemple en raison d'importants soucis de santé.
4.3. L'appréciation des précédents juges échappe au grief d'arbitraire. En effet, avant la reconnaissance de paternité, on ne voit pas que le recourant 1 ait pu détenir l'autorité parentale et/ou la garde. Comme celui-ci n'a fourni aucune information au sujet de ses droits parentaux après ladite reconnaissance, alors qu'il devait collaborer à la remise de documents permettant d'établir ses droits (arrêt 2C_325/2009 du 8 mars 2010 consid. 4.4), la position du Tribunal administratif fédéral considérant que la situation concernant l'autorité parentale et le droit de garde ne s'est pas modifiée après 2008 n'apparaît pas insoutenable. Les recourants se contentent au demeurant d'évoquer des hypothèses au sujet de la potentielle autorité parentale du recourant 1, conjointe ou exclusive, sans étayer leur propos par un quelconque élément concret. Or, ces affirmations et suppositions ne suffisent pas à démontrer l'arbitraire des conclusions des juges précédents.
Quant à la thèse de l'abandon des enfants par leur mère, l'autorité précédente ne l'a pas ignorée comme le prétendent les recourants, mais l'a écartée au bénéfice d'une appréciation qui n'apparaît pas insoutenable compte tenu notamment des pièces relatives au domicile de l'intéressée dans le même village que ses enfants à une période où elle aurait prétendument déjà déménagé dans une autre commune.
4.4. S'agissant des autres liens familiaux au Kosovo, le Tribunal administratif fédéral a relevé qu'une tante et un oncle paternels des enfants vivaient au Kosovo. Eux-mêmes parents, ces personnes pouvaient néanmoins prendre en charge les recourants 2 et 3 dès lors que ceux-ci étaient des adolescents ne nécessitant pas des soins aussi importants que de jeunes enfants. Les recourants avaient par ailleurs indiqué que la grand-mère maternelle était toujours en vie. Du côté maternel, il y avait en outre une tante, mariée et mère de quatre enfants, ainsi que deux oncles. A défaut d'éléments indiquant que ces personnes seraient domiciliées à l'étranger ou ne seraient pas en mesure d'assurer l'éducation d'adolescents, les juges précédents ont conclu que les recourants 2 et 3 disposaient d'un réseau familial étendu au Kosovo à même de les prendre en charge.
4.5. On ne voit pas que les constatations et l'appréciation des juges précédents sur ce point seraient arbitraires. Les recourants ne le démontrent au demeurant pas. En effet, ils n'allèguent pas que les constats au sujet des membres de la famille au Kosovo seraient inexacts par rapport aux informations qu'ils ont fournies. Par ailleurs, s'agissant de l'éventuelle prise en charge des recourants 2 et 3 notamment par la tante ou l'oncle paternels, les recourants se contentent d'affirmer qu'elle est impossible au motif que ces personnes sont elles-mêmes déjà parents de plusieurs enfants. Ils n'indiquent toutefois pas en quoi l'appréciation du Tribunal administratif fédéral, qui a expressément relevé que la prise en charge d'adolescents nécessite moins de travail que celle de jeunes enfants et est partant conciliable avec l'éducation d'autres enfants, serait insoutenable. Enfin, les recourants allèguent que les possibilités de prise en charge du côté de la famille maternelle sont inexistantes, sans avancer de quelconque raison qui aurait été à tort ignorée par les juges précédents.
4.6. Il découle de ce qui précède que le grief d'arbitraire dans l'établissement des faits et l'appréciation des preuves est infondé et doit être rejeté. Dans la suite de son raisonnement, le Tribunal fédéral statuera donc sur la base des faits tels qu'ils résultent de l'arrêt attaqué.
5.
Les recourants estiment que l'autorité précédente a retenu à tort que la demande de regroupement familial a été déposée tardivement.
5.1. Selon l'art. 47 al. 1 LEtr, le regroupement familial doit être demandé dans un délai de 5 ans et, pour les enfants de plus de 12 ans, dans un délai de 12 mois. Si l'enfant atteint l'âge de 12 ans durant le délai de 5 ans de l'art. 47 al. 1 LEtr, ce délai se verra raccourci à un an au plus (arrêts 2C_915/2015 du 26 octobre 2015 consid. 6.1; 2C_285/2015 du 23 juillet 2015 consid. 2.1; 2C_473/2014 du 2 décembre 2014 consid. 4.1 et les références). L'art. 47 al. 3 let. b LEtr précise que, pour les membres de la famille d'étrangers, les délais commencent à courir lors de l'octroi de l'autorisation de séjour ou d'établissement ou lors de l'établissement du lien familial. Par ailleurs, au titre des dispositions transitoires, l'art. 126 al. 3 LEtr prévoit que les délais prévus à l'art. 47 al. 1 LEtr commencent à courir à l'entrée en vigueur de la LEtr, soit le 1 er janvier 2008, dans la mesure où l'entrée en Suisse ou l'établissement du lien familial sont antérieurs à cette date (<ref-ruling> consid. 4.2 p. 81).
5.2. En l'occurrence, le père des recourants 2 et 3 a obtenu une autorisation de séjour le 1 er juin 2007, mais sa paternité à l'égard de ses deux fils n'a été enregistrée à l'état civil au Kosovo que le 16 janvier 2008. Comme l'a retenu à juste titre le Tribunal administratif fédéral, le délai pour déposer la demande de regroupement familial a par conséquent commencé à courir à cette seconde date.
Le 16 janvier 2008, B.X._, né en 1995, avait 12 ans. Le délai d'une année applicable le concernant est donc arrivé à échéance en janvier 2009. C.X._, né en 1997, avait quant à lui 10 ans. Il a atteint ses 12 ans le 10 juin 2009, date à laquelle a commencé à courir un nouveau délai d'un an, arrivé à échéance en juin 2010.
La demande de regroupement familial ayant été déposée pour la première fois le 5 octobre 2012, elle n'a été introduite en temps utile pour aucun des enfants.
5.3. Les recourants s'opposent à cette conclusion, qu'ils qualifient d'arbitraire, au motif qu'en vertu de la jurisprudence du Tribunal fédéral exposée dans l'<ref-ruling>, il conviendrait de retenir que le délai pour déposer la demande de regroupement familial a commencé à courir avec la délivrance de l'autorisation d'établissement en faveur du recourant 1 (1er juin 2012). En effet, avant cette date, celui-ci n'avait aucun droit au regroupement familial et aucune raison de faire venir ses enfants en Suisse puisque ses parents pouvaient s'en occuper, de sorte qu'une demande de regroupement familial aurait été vouée à l'échec.
5.4. Dans l'<ref-ruling> auquel se réfèrent les recourants, le Tribunal fédéral a précisé que les étrangers ne disposant pas d'un droit au regroupement familial (notamment les titulaires d'une autorisation de séjour, cf. art. 44 LEtr; cf. <ref-ruling> consid. 1.2 p. 287) qui ont sans succès sollicité une première autorisation de séjour en faveur des membres de leur famille peuvent, ultérieurement à la survenance d'une circonstance leur ouvrant un véritable droit au regroupement familial (p. ex. obtention d'un permis d'établissement, naturalisation, mariage avec un ressortissant suisse, etc.), former une nouvelle demande même après l'échéance des délais de l'art. 47 al. 1 LEtr, pour autant que la première demande infructueuse ait été déposée dans ces délais et que la seconde intervienne également dans ces délais (<ref-ruling> consid. 3.3 p. 397). Il découle de cette jurisprudence que le changement de statut de l'autorisation de séjour à une autorisation d'établissement ne déclenche un nouveau délai pour former une demande de regroupement familial que si une première demande a été au préalable déposée en temps utile (cf. arrêt 2C_160/2016 du 15 novembre 2016 consid. 2.1), ce qui n'est pas le cas en l'espèce. On relèvera en outre que le recourant 1, du fait de son mariage avec une ressortissante suisse le 1er juin 2007, disposait d'un droit de présence assuré en Suisse lui permettant, sous certaines conditions, de déduire de l'art. 8 par. 1 CEDH un véritable droit à une autorisation de séjour en faveur de ses enfants (<ref-ruling> consid. 2.6 et 2.7 p. 292 s.), de sorte que l'octroi du permis d'établissement en sa faveur ne pouvait de toute façon pas repousser le commencement du délai litigieux. Contrairement à ce que semblent penser les recourants, il ne leur suffit pas d'émettre l'hypothèse que la demande de regroupement familial aurait été rejetée pour admettre qu'un nouveau délai commence à courir au moment de l'octroi de l'autorisation d'établissement.
Sur le vu de ce qui précède, c'est à bon droit que l'autorité précédente a retenu que la demande de regroupement familial, déposée le 5 octobre 2012, était tardive, si bien que le regroupement familial différé ne peut être accordé qu'en présence de raisons familiales majeures au sens de l'art. 47 al. 4 LEtr.
6.
A cet égard, les recourants font valoir que la dégradation précipitée et imprévisible de l'état de santé des grands-parents paternels, qui assumaient seuls la charge éducative des recourants 2 et 3 dont ils avaient de facto la garde, constituerait un changement important de circonstances justifiant la demande différée de regroupement familial. Il n'existerait par ailleurs aucune solution alternative à la prise en charge des recourants 2 et 3 au Kosovo.
6.1. De manière générale, selon la jurisprudence, le parent qui demande une autorisation de séjour pour son enfant au titre du regroupement familial doit en principe bénéficier (seul) de l'autorité parentale (ou au moins du droit de garde, <ref-ruling> consid. 2.3.1 p. 290). En cas d'autorité parentale conjointe, l'autre parent vivant à l'étranger doit avoir donné son accord exprès, étant précisé qu'une simple déclaration du parent restant à l'étranger autorisant son enfant à rejoindre l'autre parent en Suisse n'est pas suffisante à cet égard (arrêts 2C_247/2012 du 2 août 2012 consid. 3.2; 2C_576/2011 du 13 mars 2012 consid. 3.4 et les références). En d'autres termes, le parent qui considère qu'il est dans l'intérêt de l'enfant de venir le rejoindre en Suisse doit être en droit de vivre avec son enfant selon les règles du droit civil (<ref-ruling> consid. 4.8 p. 86 ss; arrêts 2C_555/2012 du 19 novembre 2012 consid. 2.4; 2C_325/2009 du 8 mars 2010 consid. 4.4). Il faut toutefois réserver les cas exceptionnels, notamment ceux où les nouvelles relations familiales sont clairement redéfinies - par exemple lors du décès du parent titulaire du droit de garde ou lors d'un changement marquant des besoins d'entretien (<ref-ruling> consid. 3.1.2 p. 11).
6.2. Les raisons familiales majeures au sens de l'art. 47 al. 4 LEtr peuvent être invoquées, selon l'art. 75 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), lorsque le bien de l'enfant ne peut être garanti que par un regroupement familial en Suisse. C'est notamment le cas lorsque des enfants se trouveraient livrés à eux-mêmes dans leur pays d'origine. C'est l'intérêt de l'enfant, non les intérêts économiques (prise d'une activité lucrative en Suisse), qui prime (Message du 8 mars 2002 concernant la loi sur les étrangers, FF 2002 3551). D'une façon générale, il ne doit être fait usage de l'art. 47 al. 4 LEtr qu'avec retenue (cf. arrêts 2C_905/2015 du 22 décembre 2015 consid. 4.2; 2C_438/2015 du 29 octobre 2015 consid. 5.1; 2C_1198/2012 du 26 mars 2013 consid. 4.2).
Lorsque le regroupement familial est demandé en raison de changements importants des circonstances à l'étranger, notamment dans les rapports de l'enfant avec le parent qui en avait la charge, il convient d'examiner s'il existe des solutions alternatives permettant à l'enfant de rester où il vit; cette exigence est d'autant plus importante pour les adolescents (<ref-ruling> consid. 3.1.2 p. 11; arrêts 2C_438/2015 du 29 octobre 2015 consid. 5.1; 2C_1129/2014 du 1 er avril 2015 consid. 3.2; 2C_887/2014 du 11 mars 2015 consid. 3.1). D'une manière générale, plus le jeune a vécu longtemps à l'étranger et se trouve à un âge proche de la majorité, plus les motifs propres à justifier le déplacement de son centre de vie doivent apparaître sérieux et solidement étayés. Le regroupement familial partiel suppose également de tenir compte de l'intérêt supérieur de l'enfant, comme l'exige l'art. 3 par. 1 de la convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107). Enfin, les raisons familiales majeures pour le regroupement familial ultérieur doivent être interprétées d'une manière conforme au droit fondamental au respect de la vie familiale (art. 13 Cst. et 8 CEDH; cf. arrêts 2C_905/2015 du 22 décembre 2015 consid. 4.2; 2C_438/2015 du 29 octobre 2015 consid. 5.1; 2C_473/2014 du 2 décembre 2014 consid. 4.3; 2C_276/2011 du 10 octobre 2011 consid. 4.1, non publié in <ref-ruling>).
6.3. En l'occurrence, avant même de déterminer si la dégradation de l'état de santé des grands-parents paternels constitue un changement important de circonstances qui justifierait d'envisager un regroupement familial différé, il convient de se demander si le recourant 1 pouvait solliciter le regroupement familial en faveur de ses enfants alors qu'il n'était pas titulaire, même à titre conjoint, de l'autorité parentale ou du droit de garde sur ses enfants (cf. supra consid. 4.2). Dans ces conditions, il faudrait que des faits exceptionnels se soient produits en relation avec la mère des enfants en 2012 pour qu'un regroupement familial avec le père soit envisagé, comme un décès ou une maladie grave de celle-ci, étant précisé que le seul fait que la mère ait donné son accord à la venue de ses enfants en Suisse ne suffit pas. Or, l'arrêt entrepris ne fait nullement apparaître de telles circonstances, le fait que la mère des recourants 2 et 3 se soit installée dans une autre commune que celle de ses enfants au cours de l'année 2012 ne constituant aucunement un événement permettant d'autoriser le regroupement familial sans autorité parentale ni droit de garde. C'est en conséquence à juste titre que les précédents juges ont préalablement retenu que le recourant 1 ne pouvait en principe demander valablement le regroupement familial en faveur de ses enfants, sans qu'il ne soit nécessaire de se prononcer sur l'état de santé des grands-parents paternels et les changements survenus à cet égard en 2012.
6.4. Au demeurant, comme l'a retenu à juste titre l'autorité précédente, même si les grands-parents paternels avaient de facto la garde des enfants, prenant soin d'eux de 2003 à 2012, et qu'ils ont dû subitement cesser de le faire en raison de problèmes de santé, on ne voit pas pour quel motif la mère n'aurait pas pu reprendre la charge de l'éducation de ses fils, avec l'aide financière du recourant 1. En outre, s'il fallait suivre les recourants au sujet du prétendu désintérêt de la mère à l'égard de ses fils depuis des années, il résulte de l'arrêt entrepris qu'il existe des solutions alternatives satisfaisantes permettant aux recourants 2 et 3 de rester dans le pays où ils ont grandi, lesquelles doivent être privilégiées par rapport à un changement brusque de lieu de vie. En effet, selon les constatations de l'autorité précédente, un oncle et une tante paternels des recourants 2 et 3 vivent au Kosovo, ainsi que plusieurs membres de la famille maternelle. Rien n'indique que ces différentes personnes n'auraient pas été en mesure d'assurer les besoins éducatifs de deux adolescents en grande partie déjà autonomes vu leur âge (17 et 15 ans). Dans ces conditions, on ne voit pas que l'on puisse reprocher à l'autorité précédente d'avoir retenu l'absence de raisons familiales majeures au sens de l'art. 47 al. 4 LEtr. Que les recourants 2 et 3 aient néanmoins choisi de venir en Suisse ne saurait être pris en compte pour juger des alternatives qui s'offraient à eux dans leur pays, sauf à encourager les comportements consistant à mettre les autorités devant le fait accompli (cf. arrêt 2C_438/2015 du 29 octobre 2015 consid. 5.3).
6.5. On ajoutera, du point de vue de l'intérêt supérieur de l'enfant au sens de la CDE, que les recourants 2 et 3 ont passé toute leur enfance et une grande partie de leur adolescence au Kosovo, pays dans lequel vivent leur mère et plusieurs membres de leur famille. L'aîné, qui était à une année de sa majorité, avait achevé sa scolarité obligatoire et le cadet était dans sa dernière année scolaire au moment où la demande de regroupement familial a été déposée. Une coupure des liens familiaux, sociaux et culturels, ainsi qu'une interruption brusque de la formation des recourants 2 et 3, pour rejoindre en Suisse leur père, avec lequel ils n'avaient plus vécu depuis la séparation de leurs parents en 2003 et qui ne les a reconnus qu'en 2008, et poursuivre leur vie dans un pays dont ils ne connaissent rien, à un âge où l'adaptation et l'intégration sont moins évidentes que pour de jeunes enfants, n'apparaissent pas dans leur intérêt. Selon les constatations de l'arrêt attaqué, non contestées sur ce point, le recourant 2 a au demeurant renoncé à ses études depuis qu'il est en Suisse et le recourant 3 a dû suivre des cours pour élèves en difficulté, ce qui tend à démontrer que le déplacement du lieu de vie ne leur a pas été bénéfique.
6.6. Finalement, le refus d'autoriser le regroupement familial n'apparaît pas contraire au respect de la vie familiale entre le recourant 1 et ses enfants. En effet, désormais séparé de son épouse, le recourant 1 peut aisément se rendre au Kosovo pour poursuivre la vie de famille avec ses fils.
6.7. Compte tenu de ce qui précède, l'instance précédente pouvait, sans violer ni le droit fédéral ni la CEDH ou la CDE, conclure à l'absence de raisons familiales majeures au sens de l'art. 47 al. 4 LEtr.
7.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, les recourants doivent supporter les frais judiciaires. Compte tenu de leurs situations, les frais seront mis à la charge du seul recourant 1 (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant 1.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 18 janvier 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber