Faits :
A.
A.a. Le 22 janvier 2010, B._, ressortissant kosovar né en 1974 dont le séjour en Suisse était alors illégal, et A._, ressortissante mauricienne née en 1946 et qui était alors titulaire d'une autorisation d'établissement, ont formé auprès de l'Office de l'état civil de Lausanne une demande d'ouverture d'un dossier de mariage. Par décision du 27 septembre 2010, l'Office de l'état civil a refusé son concours à la célébration du mariage. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours déposé par les intéressés et confirmé la décision querellée le 22 février 2011. Le Tribunal fédéral a rejeté dans la mesure de sa recevabilité le recours contre cet arrêt le 9 août 2011 (cause 5A_225/2011).
Par décision du 24 octobre 2011, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé à B._ l'octroi d'une autorisation de séjour et a prononcé son renvoi de Suisse.
A.b. Le 24 octobre 2011, B._ et A._ se sont mariés au Kosovo. A la suite du mariage, B._ a sollicité la reconsidération de la décision du Service de la population.
Par décision du 21 novembre 2012, le Service de la population a refusé d'octroyer à B._ une autorisation d'entrée, respectivement de séjour. Saisi d'un recours contre cette décision, le Tribunal cantonal l'a rejeté par arrêt du 15 mai 2013. Il a considéré, en substance, qu'un faisceau d'indices montrait que B._ ne souhaitait manifestement pas fonder une communauté conjugale avec A._, mais qu'il entendait éluder les dispositions sur l'admission et le séjour des étrangers en invoquant leur union. Par arrêt du 2 décembre 2013 (cause 2C_566/2013), le Tribunal fédéral a rejeté dans la mesure de sa recevabilité le recours formé contre cet arrêt.
A.c. Durant l'année 2013, A._ a déposé une demande de naturalisation. Le 5 septembre 2013, ses données ont été saisies pour la première fois dans le registre d'état civil "Infostar" (registre fédéral de l'état civil informatisé). Sur la base du certificat du mariage célébré au Kosovo, elle a été inscrite avec le statut d'état civil "mariée". Le 20 janvier 2016, A._ a obtenu la nationalité suisse.
Le 19 février 2016, A._ et B._ ont demandé au Service de la population de reconsidérer la situation s'agissant du droit de séjour en Suisse du second. Le 10 mai 2016, le Service de la population a déclaré irrecevable cette requête. La décision, qui n'a pas été contestée, est entrée en force.
B.
B.a. Le 29 juin 2016, A._ et B._ ont déposé auprès du Service de la population une demande d'autorisation de séjour en faveur du second.
B.b. Le 1 er mars 2017, A._ a été entendue par la Direction de l'état civil du canton de Vaud (ci-après: la Direction de l'état civil). Des informations ont par ailleurs été demandées, le 3 mars 2017, à la représentation suisse à Pristina, Kosovo. Selon le rapport de l'Ambassade du 30 avril 2017, B._ vivait encore avec son épouse coutumière C._ et leurs deux enfants (nés en 1999 et 2004), dans la maison du père de l'intéressé. Par courrier du 29 mai 2017, B._ et A._ ont contesté la teneur de ce rapport.
B.c. Le Service de la population a suspendu, le 20 juin 2017, la procédure de demande d'autorisation de séjour jusqu'à droit connu au sujet de la transcription du mariage de A._ et B._ dans le registre d'état civil. Le 9 octobre 2017, le Département de l'économie, de l'innovation et du sport du canton de Vaud (ci-après: le Département) a rendu une décision ordonnant la rectification de l'état civil de A._ en ce sens d'une correction par le statut "veuve", soit le statut existant avant l'enregistrement effectué dans Infostar le 5 septembre 2013. Par arrêt du 16 mai 2018 (GE.2017.0202), le Tribunal cantonal a admis le recours formé contre cette décision, en considérant que le Département ne pouvait pas procéder d'office à la rectification de l'état civil de A._. Cet arrêt est entré en force.
B.d. A la suite de l'arrêt du 16 mai 2018, les époux ont sollicité la reprise de la procédure relative à l'autorisation de séjour auprès du Service de la population. Par décision du 10 septembre 2018, celui-ci a déclaré irrecevable la requête du 29 juin 2016, subsidiairement l'a rejetée (cf. <ref-law>). Par arrêt du 16 janvier 2019, le Tribunal cantonal a rejeté le recours formé par A._ et B._ contre cette décision et a confirmé celle-ci.
C.
Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 16 janvier 2019 du Tribunal cantonal ainsi que, principalement, de renvoyer la cause à cette autorité pour nouvelle décision dans le sens des considérants, et, subsidiairement, de réformer l'arrêt entrepris en ce sens que leur demande de réexamen est acceptée.
Le Service de la population renonce à se déterminer. Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. Le Secrétariat d'Etat aux migrations n'a pas déposé d'observations.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'occurrence, le recours échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF, car le recourant, marié à une ressortissante suisse, peut en principe prétendre à un titre de séjour en Suisse en vertu de l'art. 42 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20). La question de savoir si la demande de reconsidération, respectivement la demande d'autorisation de séjour qu'elle contient, a été rejetée à juste titre relève du fond (cf. <ref-ruling> consid. 1.1 p. 332; arrêt 2C_883/2018 du 21 mars 2019 consid. 1.1).
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par les destinataires de l'arrêt entrepris qui ont qualité pour recourir (cf. <ref-law>), le présent recours est en principe recevable et il convient d'entrer en matière, avec la précision suivante.
1.3. Le Tribunal cantonal a confirmé dans le dispositif de son arrêt la décision du 10 septembre 2018 du Service de la population déclarant irrecevable la demande de réexamen du 29 juin 2016, subsidiairement la rejetant, ce qui peut prêter à confusion entre irrecevabilité et rejet (cf. arrêt 2C_170/2018 du 18 avril 2018 consid. 1.3). En l'occurrence, il résulte de la motivation, à la lumière de laquelle le dispositif doit être interprété (cf. arrêts 2C_170/2018 du 18 avril 2018 consid. 1.3; 4A_561/2008 du 9 février 2009 consid. 2.6.4, non publié in <ref-ruling>), que le Tribunal cantonal a examiné la cause au fond. Comme le Tribunal cantonal a procédé à un examen au fond, la procédure devant le Tribunal fédéral n'est pas limitée au bien-fondé du refus d'entrée en matière (cf. arrêts 2C_689/2016 du 30 novembre 2016 consid. 1.4; 2C_876/2013 du 18 novembre 2013 consid. 1.3 a contrario). La Cour de céans peut donc revoir le fond, dans les limites de la procédure qui lui est propre (cf. arrêt 2C_950/2014 du 9 juillet 2015 consid. 2.3).
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (cf. <ref-ruling> consid. 2.4 p. 368 et les arrêts cités).
2.2. Les recourants font valoir au début de leur mémoire la violation de leur liberté personnelle (art. 10 al. 2 Cst.), de leur droit au mariage et à la famille (art. 14 Cst.), de leur droit d'être entendus (art. 29 al. 2 Cst.), ainsi que des principes de la proportionnalité (art. 5 al. 2 Cst.) et de la bonne foi (art. 5 al. 3 et 9 Cst.). Ils dénoncent également une violation des art. 8 CEDH (droit au respect de la vie familiale et privée), 12 CEDH (droit au mariage) et 14 CEDH (interdiction de la discrimination). Enfin, ils se prévalent de droits constitutionnels cantonaux vaudois, en particulier ceux découlant des art. 11, 14, 15 et 27 de la Constitution du canton de Vaud du 14 avril 2003 (Cst./VD; RS 131.231).
Les recourants n'expliquent pas dans la suite de leur exposé en quoi leur liberté personnelle a été méconnue. Il en va de même s'agissant du grief tiré de la violation du droit au mariage, que cela soit sous l'angle constitutionnel (art. 14 Cst.) ou conventionnel (art. 12 CEDH), étant au demeurant souligné que les recourants n'ont pas été empêchés de se marier. Les recourants n'exposent pas non plus en quoi la cause soulèverait une question au regard de l'interdiction de la discrimination énoncée à l'art. 14 CEDH. Dès lors que les griefs ne satisfont pas aux exigences de l'<ref-law>, ils n'ont pas à être examinés.
Par ailleurs, dans la mesure où les recourants ne prétendent pas que les dispositions de la Constitution du canton de Vaud qu'ils invoquent leur offriraient une protection différente ou plus étendue que celle découlant des dispositions de la Constitution fédérale dont ils se prévalent, leurs griefs seront traités exclusivement sous l'angle de ces dernières dispositions (cf. arrêt 2C_206/2017 du 23 février 2018 consid. 3.1).
3.
Les recourants font valoir une violation de leur droit d'être entendus (art. 29 al. 2 Cst.) sous deux aspects. Ils se plaignent d'une part du refus du Tribunal cantonal de procéder à leur audition. Ils reprochent d'autre part au Tribunal cantonal de s'être fondé sur le rapport du 30 avril 2017 établi par l'Ambassade suisse au Kosovo, alors qu'ils en ont contesté le contenu, sans jamais recevoir d'explications ou de réponse en retour.
3.1. La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.), en particulier, le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2.3 p. 222). Le droit de faire administrer des preuves n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299). Il y a arbitraire (art. 9 Cst.) dans l'établissement des faits ou l'appréciation des preuves si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 3.6.2 p. 287; <ref-ruling> consid. 6 p. 358).
3.2. En l'occurrence, pour ce qui a trait à l'audition des recourants, le Tribunal cantonal a rejeté cette requête au terme d'une appréciation anticipée des preuves. Dans ce cadre, il a relevé que les faits invoqués à l'appui de la demande de réexamen (naturalisation de la recourante et inscription du statut "mariée" dans le registre Infostar) n'étaient pas contestés, qu'en outre une audition de la recourante avait eu lieu devant la Direction de l'état civil le 1 er mars 2017 et figurait au dossier et qu'il ne voyait pas en quoi l'audition personnelle du recourant serait nécessaire.
3.2.1. Les recourants s'en prennent à cette appréciation anticipée des preuves en relevant que l'audition de la recourante auprès de la Direction de l'état civil le 1 er mars 2017 s'est déroulée sans son conseil, ce qui ne respecterait pas "les formes de l'audition en justice". Ils font par ailleurs valoir que l'audition du recourant aurait notamment permis d'établir son degré de connaissances linguistiques.
3.2.2. Les recourants n'indiquent pas quelle norme imposait l'audition administrative de la recourante en présence de son conseil, de sorte que leur argument ne démontre pas que l'appréciation anticipée des preuves effectuée par le Tribunal cantonal s'agissant de l'audition de la recourante serait arbitraire. On rappellera aussi, ce qui vaut également pour l'audition du recourant, que le droit d'être entendu ne confère pas de droit à être entendu oralement (cf. <ref-ruling> consid. 9.6.1 p. 76). Dans la mesure où il n'est pas contesté que les recourants ont pu s'exprimer par écrit tout au long de la procédure et, dans ce contexte, notamment faire valoir les compétences du recourant en français - qui ne sont au reste pas déterminantes en l'espèce -, c'est sans arbitraire que le Tribunal cantonal a renoncé à procéder aux auditions requises.
Le Tribunal cantonal ayant refusé par une appréciation anticipée des preuves dénuée d'arbitraire les mesures d'instruction sollicitées, il n'a pas violé le droit d'être entendus des recourants en rejetant les demandes d'audition.
3.3. Pour ce qui a trait au rapport de l'Ambassade suisse au Kosovo du 30 avril 2017, il résulte de l'arrêt attaqué que les recourants ont pu se déterminer à son propos; leurs remarques figurent au dossier et ont été transmises à la représentation suisse à Pristina. On ne voit donc pas en quoi leur droit d'être entendus a été méconnu sous cet angle.
Le fait que le Tribunal cantonal ait considéré que ce rapport était probant et, implicitement à tout le moins, qu'il n'était partant pas nécessaire d'obtenir des explications complémentaires de la part de l'Ambassade suisse au Kosovo à la suite des critiques des recourants sur son contenu, relève au surplus de l'appréciation des preuves, point qui est examiné ci-après (cf. infra consid. 4).
3.4. Le grief tiré de la violation de l'art. 29 al. 2 Cst. est rejeté.
4.
Les recourants, qui invoquent un établissement des faits et une appréciation des preuves arbitraires, reprochent au Tribunal cantonal de s'être fondé sur le rapport de la représentation suisse au Kosovo, qui serait incomplet et non probant, au détriment des nombreux documents qu'ils ont produits attestant de l'effectivité de leur relation.
4.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF <ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (cf. <ref-ruling> consid. 5.1 p. 356).
4.2. Le Tribunal cantonal a relevé que le rapport de la représentation suisse au Kosovo du 30 avril 2017, qui avait mis en évidence que le recourant vivait probablement toujours en communauté conjugale avec son épouse coutumière et ses deux enfants, était fondé sur des observations effectuées lors d'interventions simultanées de deux équipes de la représentation suisse qui s'étaient rendues au domicile du recourant et au domicile présumé de la mère de ses enfants. Celle-ci avait été reconnue au domicile du recourant par l'un des enquêteurs et un voisin avait confirmé que le père du recourant vivait dans la maison avec ses deux fils, leurs femmes et leurs enfants. La deuxième équipe d'enquêteurs avait pour sa part reçu confirmation que l'épouse coutumière du recourant ne vivait plus au domicile de ses parents, mais avec celui-ci, et avait constaté qu'elle n'avait pas d'affaires personnelles dans la chambre qui était censée être la sienne. Eu égard au contenu détaillé du rapport d'enquête, le Tribunal cantonal a considéré que les contestations formulées par les recourants à l'encontre des constats y figurant n'étaient pas crédibles.
4.3. Il résulte de ce qui précède que le Tribunal cantonal a expliqué de manière détaillée pour quels motifs il a estimé que le rapport de l'Ambassade suisse au Kosovo était convaincant et les allégations des recourants peu crédibles. Pour leur part, les recourants se contentent de réitérer leurs critiques à l'égard du contenu de ce rapport, sans démontrer en quoi le Tribunal cantonal serait tombé dans l'arbitraire en retenant que les constats relatés dans ce rapport étaient crédibles. On doit également souligner que le Tribunal cantonal ne s'est pas fondé uniquement sur le rapport de l'Ambassade suisse au Kosovo pour apprécier l'état de la relation entre les recourants, comme ceux-ci le laissent entendre. Il a en effet aussi relevé que la recourante, selon ce qu'elle avait déclaré devant la Direction de l'état civil, était hébergée chez la belle-soeur de son mari et ne s'était jamais rendue au domicile de son époux pendant ses séjours au Kosovo. Il a également noté que lesdits séjours étaient d'une durée d'environ une semaine par année, alors que la recourante pouvait effectuer des séjours plus longs, étant à la retraite.
Eu égard à l'ensemble de ces éléments, on ne saurait reprocher au Tribunal cantonal d'être tombé dans l'arbitraire en se fondant sur les constats figurant dans le rapport de l'Ambassade suisse au Kosovo et en ne donnant pas de crédit aux contestations des recourants. Le grief des recourants en ce sens est rejeté.
5.
Les recourants dénoncent une violation du principe de la bonne foi (art. 5 al. 3 et 9 Cst.) et de celui de la proportionnalité. Au titre de ces griefs, les recourants font valoir que le délai de traitement de leur demande, déposée en juin 2016, a été inexplicablement long, que, en suspendant la procédure dans l'attente de l'issue de la procédure d'état civil, le Service de la population aurait implicitement admis que la décision d'état civil relative à la transcription du statut de la recourante en tant que "mariée" dans les registres d'état civil était constitutive d'un fait nouveau et que, dans ces conditions, il ne pouvait pas par la suite refuser le réexamen. Par ailleurs, selon les recourants, en se basant sur le rapport de la représentation suisse au Kosovo, le Tribunal cantonal et le Service de la population se seraient fondés sur des considérations étrangères à la question du réexamen.
5.1. Fondé directement sur l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de celles-ci (<ref-ruling> consid. 6.2 p. 538). Il découle de ce principe que l'administration et les administrés doivent se comporter réciproquement de manière loyale, que l'administration doit s'abstenir de tout comportement propre à tromper l'administré et que celle-là ne saurait tirer aucun avantage des conséquences d'une incorrection ou insuffisance de sa part. A certaines conditions, le citoyen peut ainsi exiger de l'autorité qu'elle se conforme aux promesses ou assurances précises qu'elle lui a faites et ne trompe pas la confiance qu'il a légitimement placée dans celles-ci (<ref-ruling> consid. 3.6.2 p. 103; <ref-ruling> consid. 3.6.2 p. 193).
5.2. En l'occurrence, on ne voit pas quelle promesse l'autorité de première instance aurait faite aux recourants qui n'aurait pas été respectée ou quel comportement contradictoire elle aurait adopté. La suspension de la procédure de réexamen dans l'attente de l'issue de l'instruction menée par la Direction de l'état civil n'était peut-être pas judicieuse ou nécessaire, ainsi que l'a relevé le Tribunal cantonal, mais elle ne comportait en tout cas aucune garantie et n'impliquait aucun résultat donné s'agissant de l'issue de la procédure de réexamen. Au reste, les recourants se contredisent lorsqu'ils reprochent aux autorités, sous l'angle de la bonne foi, de ne pas avoir procédé au réexamen de la demande d'autorisation de séjour tout en leur faisant en même temps grief de s'être fondées sur le rapport de la représentation suisse au Kosovo dans le cadre du réexamen. En réalité, les autorités ont procédé à un examen au fond de la demande d'autorisation de séjour (cf. supra consid. 1.3). Que le résultat de cet examen ne soit pas celui voulu par les recourants n'implique pas qu'il y ait eu violation des règles de la bonne foi et/ou du principe de la proportionnalité.
Pour le surplus, les éventuels retards à statuer auraient dû être dénoncés par les recourants au moment où ils les ont constatés; or il ne résulte pas de l'arrêt attaqué que ceux-ci se soient plaints de la lenteur de la procédure et ils ne le font pas valoir. Dans tous les cas, il ne s'agit pas là d'une question relevant du principe de la bonne foi ou de celui de la proportionnalité, mais de l'interdiction du déni de justice (art. 29 al. 1 Cst.), qui n'est pas invoquée par les recourants.
Sur le vu de ce qui précède, les griefs tirés de la violation du principe de la bonne foi et de celui de la proportionnalité sont rejetés.
6.
L'arrêt attaqué revient à refuser une autorisation de séjour au recourant, alors que celui-ci avait déjà intenté plusieurs procédures tendant à obtenir un titre de séjour en Suisse (cf. infra consid. 9.1). Il convient de vérifier si ce refus est conforme au droit.
7.
7.1. En principe, même après un refus ou une révocation d'une autorisation de séjour, il est à tout moment possible de demander l'octroi d'une nouvelle autorisation, dans la mesure où, au moment du prononcé, l'étranger qui en fait la demande remplit les conditions posées à un tel octroi. Indépendamment du fait que cette demande s'intitule reconsidération ou nouvelle demande, elle ne saurait toutefois avoir pour conséquence de remettre continuellement en question des décisions entrées en force (cf. arrêt 2C_883/2018 du 21 mars 2019 consid. 4.3). L'autorité administrative n'est ainsi tenue d'entrer en matière sur une nouvelle demande que lorsque les circonstances ont subi des modifications notables ou lorsqu'il existe un cas de révision, c'est-à-dire lorsque l'étranger se prévaut de faits importants ou de preuves dont il n'avait pas connaissance dans la procédure précédente, qu'il lui aurait été impossible d'invoquer dans cette procédure pour des motifs juridiques ou pratiques ou encore qu'il n'avait alors pas de raison d'alléguer (<ref-ruling> consid. 2.1 p. 181; arrêts 2C_556/2018 du 14 novembre 2018 consid. 3; 2C_198/2018 du 25 juin 2018 consid. 3.3 et les références citées).
7.2. Toutefois, ce n'est pas parce qu'il existe un droit à un nouvel examen de la cause que l'étranger peut d'emblée prétendre à l'octroi d'une nouvelle autorisation (cf. arrêt 2C_883/2018 du 21 mars 2019 consid. 4.4). Les raisons qui ont conduit l'autorité à révoquer, à ne pas prolonger ou à ne pas octroyer d'autorisation lors d'une procédure précédente ne perdent pas leur pertinence. L'autorité doit toutefois procéder à une nouvelle pesée complète des intérêts en présence, dans laquelle elle prendra notamment en compte l'écoulement du temps. Il ne s'agit cependant pas d'examiner librement les conditions posées à l'octroi d'une autorisation, comme cela serait le cas lors d'une première demande d'autorisation, mais de déterminer si les circonstances se sont modifiées dans une mesure juridiquement pertinente depuis la révocation de l'autorisation, respectivement depuis le refus de son octroi ou de sa prolongation (arrêts 2C_883/2018 du 21 mars 2019 consid. 4.4; 2C_556/2018 du 14 novembre 2018 consid. 3; 2C_198/2018 du 25 juin 2018 consid. 3.3; 2C_736/2017 du 28 novembre 2017 consid. 3.3). Lorsque, comme en l'espèce dans l'arrêt du 2 décembre 2013, le Tribunal fédéral a refusé une autorisation de séjour, le point de départ pour apprécier si les circonstances ont changé est la date de l'arrêt de la juridiction inférieure, en l'occurrence l'arrêt du Tribunal cantonal du 15 mai 2013, car le Tribunal fédéral s'est fondé sur les faits constatés dans cet arrêt et il ne pouvait pas prendre en compte des faits nouveaux (cf. art. 105 al. 1 et 99 al. 1 LTF; cf. arrêt 2C_883/2018 du 21 mars 2019 consid. 4.5).
8.
8.1. Selon l'art. 42 al. 1 LEI, le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. L'art. 51 al. 1 let. a LEI dispose toutefois que les droits prévus à l'art. 42 s'éteignent s'ils sont invoqués abusivement, notamment pour éluder les dispositions en matière d'admission et de séjour.
8.2. Il y a mariage fictif ou de complaisance lorsque celui-ci est contracté dans le seul but d'éluder les dispositions de la loi fédérale sur les étrangers, en ce sens que les époux (voire seulement l'un d'eux) n'ont jamais eu la volonté de former une véritable communauté conjugale. L'intention réelle des époux est un élément intime qui, par la nature des choses, ne peut guère être établie par une preuve directe, mais seulement grâce à un faisceau d'indices (cf. <ref-ruling> consid. 4a p. 55 et 5a p. 57). L'autorité se fonde en principe sur un faisceau d'indices autonomes, aucun des critères n'étant souvent à lui seul déterminant pour juger du caractère fictif du mariage (cf. arrêt 2C_900/2017 du 7 mai 2018 consid. 8.2).
9.
9.1. En l'occurrence, à la suite de leur mariage au Kosovo le 24 octobre 2011, les recourants ont requis une première fois une autorisation de séjour en faveur de l'époux, demande qui a été rejetée par le Service de la population le 21 novembre 2012. Cette décision a été confirmée par le Tribunal cantonal le 15 mai 2013 et l'arrêt de cette autorité par le Tribunal fédéral le 2 décembre 2013 (2C_566/2013). Il avait été alors constaté que le recourant ne souhaitait pas fonder une union conjugale, mais entendait éluder les dispositions sur l'admission et le séjour des étrangers.
A la suite de cet arrêt, les recourants ont formé une première demande de reconsidération le 19 février 2016. La décision du 10 mai 2016 du Service de la population déclarant irrecevable cette requête est entrée en force. La demande du 29 juin 2016 faisant l'objet de la présente procédure est donc la seconde demande de reconsidération. A son appui, les recourants ont invoqué l'acquisition de la nationalité suisse par la recourante le 20 janvier 2016 et l'inscription le 5 septembre 2013 dans le registre Infostar du statut d'état civil "mariée", fait que la recourante n'aurait découvert que le 15 juin 2016.
9.2. Comme l'a relevé le Tribunal cantonal, l'acquisition de la nationalité suisse par la recourante aurait pu être invoquée précédemment puisqu'elle remonte au 20 janvier 2016; ce n'était donc pas un motif pour entrer en matière sur la seconde demande de reconsidération. Il s'agit de toute façon, comme l'a également relevé le Tribunal cantonal à bon droit, d'un fait qui n'est en l'occurrence pas pertinent sur le plan juridique, car l'invocation abusive du mariage est un motif de refus de l'autorisation de séjour en faveur du conjoint tant d'un ressortissant étranger titulaire d'une autorisation d'établissement que d'un ressortissant suisse (cf. art. 43 al. 1 et 51 al. 2 let. a LEI [pour les conjoints des titulaires d'autorisations d'établissement]; art. 42 al. 1 et 51 al. 1 let. a LEI [pour les conjoints de ressortissants suisses]).
9.3. En ce qui concerne l'inscription du statut civil "mariée" dans le registre Infostar, le Tribunal cantonal a laissé indécise la question de savoir si la recourante avait véritablement découvert ce fait le 15 juin 2016 comme elle l'avait prétendu, en notant qu'il ne modifiait de toute manière pas le résultat du raisonnement juridique ayant justifié le refus de l'autorisation de séjour. Les recourants estiment pour leur part que l'inscription du statut "mariée" dans le registre Infostar est un élément de fait nouveau et déterminant, car, avant cette transcription, ils n'auraient, selon eux, pas été considérés comme mariés au regard du droit suisse.
Le présent litige ne porte pas sur la reconnaissance en Suisse du mariage des recourants célébré au Kosovo, mais sur les effets de ce mariage sur le droit de séjour du recourant. De ce point de vue, le mariage a été reconnu, mais il a été retenu lors de l'examen de 2012 qu'il n'était invoqué que pour éluder les dispositions en matière d'entrée et de séjour des étrangers. Dès lors qu'il ne résulte pas de l'arrêt entrepris que le caractère abusif de l'invocation de l'union du point de vue de la législation en matière de séjour des étrangers aurait fait l'objet d'un (nouvel) examen au moment de l'inscription du statut "mariée" concernant la recourante dans le registre Infostar, ce que les recourants ne contestent pas, cette inscription n'est pas, en tant que telle, propre à modifier cette appréciation, comme l'a retenu à bon droit le Tribunal cantonal.
9.4. En résumé, ni la naturalisation de la recourante, ni l'inscription du statut "mariée" dans le registre Infostar n'ont entraîné une modification des circonstances dans une mesure juridiquement pertinente pour se prononcer sur le droit de séjour du recourant. Il résulte par ailleurs de l'arrêt attaqué que les circonstances de fait qui sont véritablement déterminantes sur le plan juridique ne se sont pas modifiées depuis le premier refus d'autorisation de séjour confirmé en mai 2013 par le Tribunal cantonal et en décembre 2013 par le Tribunal fédéral. Il avait alors été conclu à un mariage fictif, car il avait été constaté, outre une importante différence d'âge, une précipitation à vouloir conclure l'union et des difficultés de communication entre les époux, que les intéressés avaient peu d'activité en commun et que le recourant entretenait selon toute vraisemblance toujours une relation avec son épouse coutumière (cf. arrêt 2C_566/2013 du 2 décembre 2013 consid. 4). Or, il résulte de l'arrêt entrepris que les séjours de la recourante auprès de son mari au Kosovo depuis 2013 se limitent à des visites d'une semaine environ par année, que, selon ses propres déclarations, durant ses visites, la recourante n'est jamais accueillie au domicile de son mari, mais est hébergée chez la belle-soeur de son époux et qu'enfin celui-ci vit, à teneur du rapport de l'Ambassade suisse au Kosovo, avec son épouse coutumière et leurs deux enfants. Ainsi, les éléments relevés dans les précédentes décisions sont toujours d'actualité. En définitive, le seul paramètre qui a changé depuis le refus de l'autorisation de séjour confirmé en 2013 est la durée du mariage, qui est désormais, comme le relèvent les recourants, de plus de sept ans. En l'absence de véritable communauté de vie, on ne saurait toutefois accorder de poids à cette donnée temporelle.
Sur le vu de l'ensemble de ces circonstances, il faut retenir que l'appréciation selon laquelle le recourant n'a pas l'intention de former une communauté conjugale avec la recourante, qui a conduit au premier refus de l'autorisation de séjour, demeure actuelle. Partant, on ne peut reprocher au Tribunal cantonal d'avoir confirmé le refus d'une autorisation de séjour au recourant.
10.
Dans un dernier grief, les recourants invoquent l'art. 8 CEDH sous l'angle de la protection de la vie familiale.
Ainsi que la Cour de céans l'avait déjà souligné dans son arrêt du 2 décembre 2013, pour qu'une personne étrangère puisse invoquer la protection de la vie familiale découlant de l'art. 8 CEDH, elle doit entretenir une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (cf. 139 I 330 consid. 2.1 p. 335 s.; <ref-ruling> consid. 1.3 p. 287). Or, en l'occurrence, l'absence de relation étroite et effective entre les recourants constatée en 2013 est toujours d'actualité. Partant, les recourants ne tombent pas dans le champ d'application de l'art. 8 par. 1 CEDH et le recourant ne peut pas invoquer cette disposition pour obtenir une autorisation de séjour (cf. arrêt 2C_566/2013 du 2 décembre 2013 consid. 5.2).
11.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, les recourants doivent supporter les frais de la procédure fédérale, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 31 juillet 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber