Faits :
A.
A.A._ et B.A._, nés respectivement en 1953 et 1959, sont mariés et originaires du Kosovo. Ils sont parents de trois enfants, dont C.A._, né en 1980. Ce dernier a obtenu une autorisation de séjour en janvier 2005, octroyée afin de rejoindre son épouse, D.A._. Le 25 février 2014, il a été mis au bénéfice d'une autorisation d'établissement. C.A._, qui travaille en tant qu'indépendant dans le domaine de la plâtrerie et de la peinture, a eu deux enfants avec cette dernière, E.A._ et F.A._, nés respectivement en 2005 et 2008. Le 20 janvier 2009, B.A._ est arrivée en Suisse au bénéfice d'un visa touristique aux fins de rendre visite à son fils C.A._. Elle a été rejointe par son époux le 14 février 2009. Le 11 avril 2009, D.A._ est décédée à la suite d'un accident de la circulation.
B.
Le Service de la population du canton de Vaud (ci-après: le Service de la population), par décision du 24 janvier 2012, a rejeté une demande de A.A._ et B.A._ tendant à obtenir une autorisation de séjour. Ils désiraient s'occuper de leurs petits-enfants et plus particulièrement de F.A._, celui-ci souffrant d'une pneumopathie chronique sévère. Par arrêt du 20 août 2013, sur recours, le Tribunal cantonal a annulé la décision du 24 janvier 2012 et renvoyé la cause au Service de la population afin qu'il rende une nouvelle décision. Il a jugé qu'il convenait d'admettre l'existence de cas individuels d'une extrême gravité justifiant que les intéressés soient exemptés des mesures de limitation, " compte tenu en particulier du rôle progressivement assumé " par ces derniers à l'égard de leurs petits-enfants à la suite du décès de leur mère, " des besoins particuliers de prise en charge de F.A._ en lien avec son atteinte respiratoire, respectivement des répercussions psychologiques qu'aurait pour les enfants une séparation d'avec les intéressés ".
Le 29 août 2013, le Service de la population a informé les intéressés qu'il était disposé à leur délivrer des autorisations de séjour, sous réserve de l'approbation de l'autorité fédérale compétente.
C.
Par décision du 31 janvier 2014, le Secrétariat d'Etat aux migrations (anciennement l'Office fédéral des migrations; ci-après: le Secrétariat d'Etat) a refusé de donner son approbation à l'octroi d'une autorisation de séjour pour un cas individuel d'une extrême gravité en faveur de A.A._ et B.A._ et a prononcé leur renvoi de Suisse. Les époux A.A._ et B.A._ ont contesté ce prononcé devant le Tribunal administratif fédéral le 6 mars 2014.
Par arrêt du 12 mars 2015, le Tribunal administratif fédéral a rejeté le recours des intéressés, dans la mesure où il était recevable. Il a jugé en substance que malgré la situation de leurs petits-enfants les époux A.A._ et B.A._ ne remplissaient pas les conditions requises pour la reconnaissance d'une situation d'extrême gravité.
D.
Agissant par la voie du recours en matière de droit public et celle, subsidiaire, du recours constitutionnel, A.A._ et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, de réformer l'arrêt du Tribunal administratif fédéral du 12 mars 2015 en leur accordant une autorisation de séjour, subsidiairement d'annuler cet arrêt et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Ils se plaignent de violations du droit fédéral et international, ainsi que d'établissement inexact des faits.
Par ordonnance du 6 mai 2015, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Secrétariat d'Etat et le Tribunal administratif fédéral concluent tous deux au rejet du recours. Dans des observations finales, A.A._ et B.A._ ont en substance confirmé leurs conclusions.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 44; <ref-ruling> consid. 1 p. 472).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Selon la jurisprudence, un étranger peut, selon les circonstances, se prévaloir du droit au respect de sa vie privée et familiale au sens de l'art. 8 par. 1 CEDH, respectivement 13 al. 1 Cst., pour s'opposer à une éventuelle séparation de sa famille. L'art. 8 CEDH vise en premier lieu la famille dite nucléaire, c'est-à-dire la communauté formée par les parents et leurs enfants mineurs (<ref-ruling> consid. 1.3.2 p. 146; <ref-ruling> consid. 1d/aa p. 64 s.). Le Tribunal fédéral admet aussi qu'un étranger puisse, exceptionnellement et à des conditions restrictives, déduire un droit à une autorisation de séjour de l'art. 8 par. 1 CEDH, s'il existe un rapport de dépendance particulier entre lui et un proche parent (hors famille nucléaire) au bénéfice d'un droit de présence assuré en Suisse (nationalité suisse ou autorisation d'établissement), par exemple en raison d'une maladie ou d'un handicap (<ref-ruling> consid. 2 p. 14; <ref-ruling> consid. 1d p. 260 s.). Lorsque ce n'est pas l'étranger, mais la personne au bénéfice d'un droit de présence assuré en Suisse qui est dépendante, le Tribunal fédéral a jugé que l'étranger pouvait également faire valoir un droit lui ouvrant la voie du recours en matière de droit public en application de l'art. 8 CEDH. Dans un tel cas de figure, pour que cette voie de recours soit ouverte, l'étranger doit démontrer, de manière soutenable, qu'il existe un lien de dépendance particulier entre lui et la personne atteinte d'une maladie ou d'un handicap important et que cet état soit attesté (cf. arrêt 2C_253/2010 du 18 juillet 2011 consid. 1.5). Le point de savoir si le lien de dépendance permet effectivement de fonder une autorisation de séjour sous l'angle de l'art. 8 CEDH est une question de fond et non de recevabilité.
En l'occurrence, les recourants se prévalent de manière soutenable de l'art. 8 CEDH pour entretenir une relation avec leurs petits-enfants, tous deux mineurs et au bénéfice d'une autorisation d'établissement en Suisse. Ils souhaitent en particulier s'occuper de leur petit-fils souffrant d'une pneumopathie chronique sévère et nécessitant un suivi spécialisé régulier, ainsi qu'un traitement intensif, comprenant notamment plusieurs inhalations par jour. La voie du recours en matière de droit public est par conséquent ouverte. Formulé à l'encontre d'un arrêt du Tribunal administratif fédéral, le recours constitutionnel subsidiaire est d'emblée de cause exclu, conformément au texte de l'art. 113 LTF.
1.2. En tant que les recourants invoquent une violation des art. 30 al. 1 let. b LEtr (RS 142.20) et 28 LEtr, leur recours en matière de droit public est en revanche irrecevable (art. 83 let. c ch. 2 LTF). Ces dispositions concernent en effet des autorisations de nature potestative (arrêts 2C_17/2015 du 13 janvier 2015 consid. 3.1; 2C_614/2013 du 28 mars 2014 consid. 1.2).
1.3. Pour le surplus, s'en prenant à l'arrêt du 12 mars 2015, le recours est dirigé contre une décision finale (art. 90 LTF) rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF); en outre, il a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par les destinataires de l'arrêt attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Par conséquent, il convient d'entrer en matière.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'art. 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Les recourants relèvent que les faits constatés dans l'arrêt attaqué, notamment en ce qu'ils concernent les liens familiaux existant entre leur fils et d'autres membres de la famille vivant en Suisse, l'ont été de manière erronée. Toutefois, en tant que les recourants avancent des éléments de fait ne ressortant pas de l'arrêt précité, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, leur recours, sur ce point, doit être déclaré irrecevable. Pour cette raison également, dans l'éventualité où l'arrêt entrepris n'en fait pas mention, il ne sera pas non plus tenu compte des divers avis médicaux rapportés de manière purement appellatoire par les recourants dans leur mémoire.
3.
Les recourants invoquent en premier lieu la jurisprudence récente du Tribunal fédéral en matière d'approbation à l'octroi d'autorisations de séjour par le Secrétariat d'Etat (<ref-ruling>; cf. également arrêt 2C_634/2014 du 24 avril 2015).
3.1. Dans cette jurisprudence, le Tribunal fédéral a en particulier jugé que, lorsqu'un titre de séjour a été octroyé sur recours par une autorité cantonale (en principe judiciaire) et que cette décision peut être portée jusqu'au Tribunal fédéral au moyen d'un recours en matière de droit public, c'est cette voie de droit qui doit être utilisée par le Secrétariat d'Etat (cf. art. 89 al. 2 et 111 al. 1 LTF) et non celle de la procédure d'approbation (<ref-ruling> consid. 4.4.3 p. 177 s.; arrêt 2C_634/2014 précité consid. 3.2).
3.2. Il ressort de l'arrêt contesté que le Tribunal cantonal " a estimé qu'il convenait d'admettre l'existence de cas individuels d'une extrême gravité justifiant que les intéressés soient exemptés des mesures de limitation ". Compte tenu de ces propos, et à la lecture du jugement du 20 août 2013 (cf. art. 105 al. 2 LTF), il appert que le Tribunal cantonal, contrairement à l'avis des recourants, a admis le recours en se fondant exclusivement sur l'art. 30 al. 1 let. b LEtr. Cela signifie que l'autorisation, décernée matériellement par les autorités cantonales, doit obligatoirement être soumise à l'approbation du Secrétariat d'Etat non seulement en application de l'art. 99 LEtr, mais déjà en vertu de l'art. 40 LEtr (cf. Marc Spescha, in Spescha et al. [éd.], Migrationsrecht, 3 e éd. 2012, n° 1 ad art. 99 LEtr). En outre, s'agissant d'une application de l'art. 30 al. 1 let. b LEtr par le Tribunal cantonal, la voie du recours en matière de droit public était fermée, de sorte que l'on ne pouvait exiger du Secrétariat d'Etat qu'il utilise cette voie de droit pour contester le prononcé cantonal auprès du Tribunal fédéral. Le fait que les recourants puissent aussi se prévaloir de manière vraisemblable d'un droit tiré de l'art. 8 CEDH qui leur permettrait d'obtenir un titre de séjour, ce qui est examiné dans la présente procédure, ne change rien au fait que l'autorisation envisagée par les autorités cantonales reposait sur l'art. 30 al. 1 let. b LEtr et que, partant, la procédure d'approbation du Secrétariat d'Etat, suivie du recours au Tribunal administratif fédéral qui en a découlé, est admissible, même si elle peut aboutir à deux décisions d'autorités judiciaires de même niveau contradictoires.
4.
Se pose en définitive la question de savoir si, fondé sur les art. 13 al. 1 Cst. et 8 CEDH (dispositions qui ont une portée identique; cf. <ref-ruling> consid. 2.1 p. 288; <ref-ruling> consid. 4.2 p. 218 s.; arrêt 2D_7/2013 du 30 mai 2013 consid. 7), les recourants peuvent prétendre à séjourner en Suisse.
4.1. Il n'est pas contesté que, s'agissant de relations entre grands-parents et petits-enfants, l'art. 8 CEDH ne permet aux recourants d'obtenir un droit de séjourner en Suisse qu'en cas de relation de dépendance particulière avec ces derniers (cf. consid. 1.1 ci-dessus). En d'autres termes, l'élément déterminant pour se prévaloir de l'art. 8 par. 1 CEDH tient dans l'absolue nécessité pour les recourants de demeurer en Suisse afin d'assister leurs petits-enfants, et en particulier leur petit-fils qui, à défaut d'un tel soutient, ne pourrait pas faire face autrement aux problèmes imputables à son état de santé (cf. arrêt 2C_817/2010 précité consid. 4).
En l'espèce, il ressort des constatations effectuées par le Tribunal administratif fédéral que le petit-fils des recourants, mineur, souffre d'une maladie pulmonaire importante qui a nécessité des hospitalisations prolongées et régulières. Son état de santé tend par ailleurs à se péjorer. Il suit un traitement comprenant des inhalations plusieurs fois par jour et des contrôles ambulatoires. Suite au décès de leur bru, les recourants ont développé une relation forte avec leurs petits-enfants et s'occupent spécialement de leur petit-fils malade.
En l'occurrence, il faut tout d'abord tenir compte du fait que, comme le retient l'arrêt entrepris en se fondant sur un rapport médical, le départ des grands-parents exposerait de manière évidente les enfants à des problèmes importants et leur ferait courir un risque pour leur santé psychique, étant rappelé que les recourants ont été présents à leurs côtés depuis le décès de leur mère et que la grand-mère a pris le rôle de la défunte auprès d'eux. De plus et surtout, contrairement à ce qu'a fait valoir le Tribunal administratif fédéral, force est de constater que l'état de santé du petit-fils des recourants, ainsi que le jeune âge de celui-ci, sont tels qu'ils nécessitent une prise en charge que seuls les recourants, et en particulier la recourante, sont à même d'apporter. En effet, il ne faut pas sous-estimer la maladie de F.A._ ainsi que les soins nécessaires à ce dernier. Il ressort des certificats médicaux cités dans l'arrêt attaqué que l'affection dont souffre cet enfant est grave et impose des soins constants, ainsi que de régulières et longues hospitalisations. En cela, il nécessite nettement plus d'attention, de soin et de temps qu'un enfant "ordinaire". S'il peut être scolarisé auprès d'une école publique, il n'empêche que sa médication nécessite une flexibilité et une disponibilité que d'autres enfants ne requièrent que dans une moindre mesure. Son père est certes valide et apte à lui fournir les soins nécessaires. Toutefois, il ne faut pas méconnaître le fait qu'il travaille en tant qu'indépendant et subvient aux besoins de l'ensemble de la famille. En outre, depuis le décès de sa bru, la recourante a joué le rôle de mère de substitution auprès des enfants, sans interruption. Force est dès lors de constater que ne pas reconnaître un lien de dépendance particulier entre les recourants et leurs petits-enfants, respectivement ne pas considérer que les recourants peuvent se prévaloir de l'art. 8 par. 1 CEDH, aurait de graves conséquences, en particulier pour le petit-fils de ces derniers. En effet, soit il entraînerait un départ des enfants pour le Kosovo avec les grands-parents, ce qui impliquerait qu'ils ne pourraient plus bénéficier des structures éducatives et scolaires suisses et perdraient contact avec leur père, mais surtout que le petit-fils ne pourrait plus continuer son traitement en Suisse. Soit, si les enfants restaient en Suisse sans leurs grands-parents, ils subiraient, selon les experts cités par le Tribunal administratif fédéral, d'importantes séquelles psychologiques et leur père serait contraint de réduire son activité, voire d'en changer, pour prendre en charge son fils, notamment en raison des nombreuses et longues hospitalisations de ce dernier. Ainsi, il appert que la présence en Suisse des recourants est indispensable au bon développement de leurs petits-enfants, lesquels sont actuellement âgés de dix ans et sept ans et ont besoin, le dernier encore plus qu'un autre enfant, d'une mère de substitution.
4.2. Le droit prévu à l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Le refus d'octroyer ou de prolonger une autorisation de séjour ou d'établissement fondé sur l'art. 8 par. 2 CEDH suppose une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (cf. <ref-ruling> consid. 2.2 p. 147 s.; <ref-ruling> consid. 4.3 p. 381). Pour apprécier ce qui est équitable, l'autorité doit notamment tenir compte de la gravité d'une éventuelle faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion, respectivement du refus d'accorder ou de prolonger une autorisation de séjour.
En l'espèce, les recourants n'ont fait l'objet d'aucune procédure pénale, n'ont démontré aucun comportement délictuel et n'ont aucune dette. Il en va de même de leur fils qui a un emploi, n'a pas de dettes, bénéficie d'une situation stable en Suisse et n'a lui non plus jamais donné lieu à des plaintes ou fait l'objet de condamnations. Il n'existe ainsi aucun intérêt public prépondérant qui commanderait de s'écarter d'une solution qui, à l'évidence, correspond à l'intérêt des enfants, intérêt dont il y a lieu de tenir compte en application de la Convention du 20 novembre 1989 relative aux droits de l'enfant (RS 0.107; cf. arrêt 2C_648/2014 du 6 juillet 2015 consid. 2.3).
5.
Sur le vu de ce qui précède, le recours doit être admis dans la mesure où il est recevable et l'arrêt attaqué annulé. La cause est renvoyée au Secrétariat d'Etat pour qu'il approuve l'octroi d'autorisations de séjour aux recourants.
Il n'est pas perçu de frais judiciaires (art. 66 al. 4 LTF). Les recourants, qui obtiennent gain de cause avec l'assistance d'un représentant (art. 40 al. 1 LTF), ont droit à des dépens à la charge de la Confédération (art. 68 al. 1 LTF), soit le Secrétariat d'Etat. Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure accomplie devant elle.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est admis dans la mesure où il est recevable.
2.
La cause est renvoyée au Secrétariat d'Etat aux migrations pour qu'il approuve l'octroi d'autorisations de séjour aux recourants.
3.
Le recours constitutionnel subsidiaire est irrecevable.
4.
La cause est renvoyée au Tribunal administratif fédéral afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure devant lui.
5.
Il n'est pas perçu de frais judiciaires.
6.
Le Secrétariat d'Etat aux migrations versera aux recourants une indemnité de 2'000 fr. à titre de dépens.
7.
Le présent arrêt est communiqué au mandataire des recourants, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour III, ainsi qu'au Service de la population du canton de Vaud.
Lausanne, le 22 novembre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette