Faits :
A.
A.a. En 1991, A.A._, ressortissant kosovar né en 1970, a épousé une ressortissante suisse et a, de ce fait, été mis au bénéfice d'une autorisation de séjour. A la suite de la séparation du couple, qui n'a pas eu d'enfants, et du divorce prononcé en 1995, le Service des migrations du canton de Neuchâtel (ci-après: le Service cantonal) a, par décision du 21 juin 1995, refusé de prolonger l'autorisation de séjour de A.A._ et lui a ordonné de quitter la Suisse. Cette décision a été confirmée par le Département de la justice, de la santé et de la sécurité du canton de Neuchâtel (actuellement: Département de l'économie et de l'action sociale; ci-après: le Département) le 25 octobre 1995, puis par le Tribunal administratif du canton de Neuchâtel (actuellement: la Cour de droit public; ci-après: le Tribunal cantonal) le 15 janvier 1996.
A.b. Le 18 septembre 1998, A.A._ s'est remarié avec une ressortissante suisse. Il a dès lors été mis au bénéfice d'une nouvelle autorisation de séjour, puis, en février 2004, d'une autorisation d'établissement. Aucun enfant n'est issu de cette union. Les époux se sont séparés quelques temps entre 2001 et 2002. Ils ont divorcé le 18 mai 2005.
A.c. Le 17 octobre 2006, A.A._ a épousé au Kosovo B.A._, ressortissante kosovare née en 1979. Le couple a deux enfants, C.A._, née en 2003, et D.A._, né en 2005.
B.
Le 14 février 2013, A.A._ a annoncé son mariage avec B.A._ au Service cantonal et a sollicité des informations sur le regroupement familial en Suisse. Le 2 août 2015, B.A._ et les deux enfants sont entrés en Suisse au bénéfice de visas touristiques. Le 20 août 2015, A.A._ a déposé une demande d'autorisations de séjour en leur faveur.
Par décision du 23 novembre 2017, le Service cantonal a refusé de délivrer des autorisations de séjour à B.A._, C.A._ et D.A._ et a ordonné leur renvoi de Suisse.
Le 13 mai 2019, le Département a rejeté le recours formé contre cette décision par A.A._, B.A._, C.A._ et D.A._.
Par arrêt du 5 décembre 2019, le Tribunal cantonal a rejeté le recours interjeté contre la décision du Département. En substance, le Tribunal cantonal a considéré que le droit au regroupement familial était éteint et que le refus des autorisations sollicitées respectait le principe de proportionnalité.
C.
A.A._ et B.A._ (ci-après: les recourants 1 et 2), ainsi que leurs deux enfants C.A._ et D.A._ (ci-après: les recourants 3 et 4) forment un recours en matière de droit public au Tribunal fédéral. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 5 décembre 2019 et, principalement, à l'octroi d'autorisations de séjour en faveur de B.A._, C.A._ et D.A._. Subsidiairement, ils demandent le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Par ordonnance présidentielle du 22 janvier 2020, la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif contenue dans le recours.
Le Service cantonal, le Département et le Tribunal cantonal se réfèrent aux considérants de l'arrêt attaqué et concluent au rejet du recours. Le Secrétariat d'Etat aux migrations n'a pas déposé d'observations.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral, ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332).
En l'occurrence, dès lors que le recourant 1 est titulaire d'une autorisation d'établissement, l'art. 43 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RO 2007 5437; intitulée, depuis le 1er janvier 2019, loi sur les étrangers et l'intégration [LEI; RO 2017 6521; RS 142.20]), ainsi que l'art. 8 CEDH, invoqués dans le recours, sont potentiellement de nature à conférer un droit à une autorisation de séjour aux recourants 2, 3 et 4, étant précisé que les recourants 3 et 4, nés en 2003 et 2005, sont encore mineurs (sur la condition de l'âge de l'enfant sous l'angle du droit interne et sous l'angle de la CEDH: <ref-ruling> consid. 2 p. 230, 3.1 p. 231 et 6.7 p. 238). Le recours est ainsi recevable au regard de l'art. 83 let. c ch. 2 LTF. La voie du recours en matière de droit public est donc ouverte.
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Le recours a été déposé en temps utile, compte tenu des féries (art. 46 al. 1 let. c et 100 al. 1 LTF), et dans les formes requises (<ref-law>), par les destinataires de l'arrêt entrepris qui ont un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), de sorte qu'ils ont la qualité pour recourir. Il est donc recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (cf. <ref-ruling> consid. 2.4 p. 368 et les arrêts cités).
2.2. Les recourants évoquent dans leur recours une violation de leur droit d'être entendu. Tel que formulé, le grief ne répond pas aux exigences de motivation de l'<ref-law>, ce qui suffit à l'écarter. Les recourants se contentent en effet d'affirmer une violation de cette garantie, sans plus de détails. Au surplus, dans la mesure où les recourants se plaignent que leurs allégations quant à la situation au Kosovo ont été balayées sans qu'il n'ait été procédé à des investigations, il sera souligné que le Tribunal cantonal n'a pas nié ces allégations, mais ne leur a pas donné la portée voulue par les recourants (cf. infra consid. 3.2). Il s'agit donc d'une appréciation des preuves et on ne voit pas en quoi le droit d'être entendu des recourants aurait été violé.
3.
3.1. Le Tribunal fédéral fonde son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (cf. <ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.2. En l'espèce, les recourants considèrent qu'il est arbitraire de retenir que les recourants 2, 3 et 4 ne seraient pas livrés à eux-mêmes en cas de retour au Kosovo. A l'appui de leur allégation, ils produisent une attestation datée du 6 janvier 2020, dans laquelle le frère de la recourante 2 indique qu'il a dû partir aux Etats-Unis et vendre la maison dans laquelle il avait laissé sa soeur et les enfants de celle-ci vivre au Kosovo.
Cette pièce ne peut pas être prise en considération dès lors qu'elle est postérieure à l'arrêt entrepris (cf. supra consid. 3.1). Au reste, contrairement à ce que semblent penser les recourants, le Tribunal cantonal n'a pas nié dans son arrêt le fait que la recourante 2 et les enfants ne pourraient peut-être plus compter sur l'aide du frère de celle-ci, mais a retenu qu'une absence d'alternative n'était pas établie. Les recourants ne démontrent pas en quoi cette appréciation serait arbitraire et on ne voit au demeurant pas qu'elle soit insoutenable.
3.3. Pour le surplus, les éléments de fait exposés dans le recours qui ne résultent pas déjà de l'arrêt entrepris ne seront pas pris en considération, dès lors qu'il n'est pas allégué, ni a fortiori démontré, que le Tribunal cantonal aurait établi les faits de manière arbitraire ou manifestement inexacte.
La Cour de céans statuera donc uniquement sur la base des faits constatés par l'autorité précédente (<ref-law>).
4.
Le litige porte sur la question de savoir si c'est à juste titre que le Tribunal cantonal a confirmé le refus de regroupement familial en faveur des recourants 2, 3 et 4.
5.
5.1. Selon l'art. 43 al. 1 LEtr, le conjoint étranger du titulaire d'une autorisation d'établissement, ainsi que ses enfants célibataires étrangers de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour.
L'art. 43 LEtr a été modifié par l'entrée en vigueur de la LEI le 1er janvier 2019 (cf. supra consid. 1.1). L'art. 43 al. 1 LEI confère également un droit à une autorisation de séjour au conjoint et aux enfants du titulaire d'une autorisation d'établissement, mais le soumet à des conditions supplémentaires. En l'espèce, conformément à la règle générale posée à l'art. 126 al. 1 LEI, c'est l'ancien droit matériel qui reste applicable en la cause, dès lors que le litige concerne une demande de regroupement familial déposée sous son empire en 2015 (cf. arrêt 2C_325/2019 du 3 février 2020 consid. 2.2.1). La Cour de céans se référera donc à la LEtr dans ce qui suit.
5.2. L'art. 47 LEtr institue des délais pour demander le regroupement familial (cf. aussi la disposition transitoire de l'art. 126 al. 3 LEtr). Passé le délai de l'art. 47 al. 1 LEtr, le regroupement familial différé n'est autorisé que pour des raisons familiales majeures (art. 47 al. 4 LEtr; cf. <ref-ruling> consid. 4.2 p. 81).
5.3. La question de savoir si les recourants pourraient en l'espèce bénéficier d'un droit au regroupement familial suppose toutefois que les conditions de l'art. 51 al. 2 LEtr ne soient pas réalisées. Selon cette disposition, les droits au regroupement familial prévus notamment à l'art. 43 LEtr s'éteignent en effet lorsqu'ils sont invoqués abusivement, notamment pour éluder les dispositions de la présente loi sur l'admission et le séjour ou ses dispositions d'exécution (let. a) ou s'il existe des motifs de révocation au sens de l'art. 62 (let. b).
5.4. D'après l'art. 62 let. a LEtr (art. 62 al. 1 let. a LEtr à compter du 1er octobre 2016, RO 2016 2329), l'autorité compétente peut révoquer une autorisation notamment si l'étranger ou son représentant légal a fait de fausses déclarations (première alternative) ou a dissimulé des faits essentiels (seconde alternative) durant la procédure d'autorisation. Ainsi, lorsque l'autorité pose des questions à l'étranger, celui-ci doit y répondre conformément à la vérité. Les fausses déclarations qui portent sur des éléments déterminants pour l'octroi de l'autorisation de séjour ou d'établissement conduisent à la révocation de celle-ci. Il ne doit toutefois pas être établi que l'autorisation aurait avec certitude été refusée si l'autorité avait obtenu une information correcte (<ref-ruling> consid. 3.1 p. 266). Quant à la dissimulation de faits essentiels, il faut, au même titre que pour les fausses déclarations, que l'étranger ait la volonté de tromper l'autorité. Cela est notamment le cas lorsqu'il cherche à provoquer, respectivement à maintenir, une fausse apparence sur un fait essentiel (<ref-ruling> consid. 3.1 p. 266 et les arrêts cités).
L'étranger est tenu de collaborer à la constatation des faits et en particulier de fournir des indications exactes et complètes sur les éléments déterminants pour la réglementation du séjour (art. 90 al. 1 let. a LEtr; <ref-ruling> consid. 3.1 p. 267). Toutefois, il appartient en premier lieu à l'autorité de poser les questions appropriées à l'étranger (<ref-ruling> consid. 3.2 p. 267). Il ne saurait être reproché à ce dernier de ne pas avoir de lui-même indiqué un élément de fait qu'il ne devait pas considérer comme étant déterminant pour l'octroi de son autorisation. Ainsi, en l'absence de question précise de l'autorité chargée de l'instruction, on ne peut critiquer l'étranger de ne pas avoir annoncé l'existence d'un enfant né d'une autre union que celle fondant l'autorisation de séjour ou d'établissement. Un tel élément n'a en effet pas d'incidence essentielle sur le droit d'obtenir une autorisation, car il ne peut pas être présumé que son existence conduirait vraisemblablement à reconnaître un caractère fictif à l'union donnant droit à une autorisation en Suisse (<ref-ruling> consid. 3.2 p. 267). Il en va en revanche différemment de l'absence d'indications quant à l'existence d'une liaison parallèle. En ne mentionnant pas qu'il entretient une relation durable avec une autre personne, l'étranger cherche à tromper l'autorité sur le caractère stable de sa relation vécue en Suisse avec la personne lui donnant le droit d'obtenir une autorisation de séjour ou d'établissement, conformément aux art. 42 et 43 LEtr. Il provoque ou maintient ainsi une fausse apparence de monogamie. La dissimulation d'une relation parallèle conduit donc à la révocation de l'autorisation, en application de l'art. 62 al. 1 let. a LEtr (par renvoi de l'art. 63 al. 1 let. a LEtr s'il est question d'autorisation d'établissement) (<ref-ruling> consid. 3.2 p. 267).
5.5. En l'espèce, l'arrêt attaqué retient que le recourant 1 entretient depuis 2002 une relation stable avec la recourante 2. Le couple a eu un premier enfant, C.A._, en mai 2003 et un second, D.A._, en juin 2005, soit un mois après le prononcé du divorce du recourant avec une ressortissante suisse. Un an plus tard, le recourant a épousé la mère de ses enfants.
Il résulte de ces faits que le recourant 1 entretenait déjà une relation durable avec la mère de ses enfants pendant son mariage avec une ressortissante suisse, dans la mesure où il en ressort en particulier que C.A._ et D.A._ ont été conçus pendant la durée de ce mariage. Le recourant 1 a par ailleurs rapidement après le divorce épousé la mère de ses enfants.
Selon l'arrêt entrepris, l'autorité cantonale n'avait pas connaissance de cette relation parallèle durable du recourant 1 avec la recourante 2, et de l'existence d'un enfant commun, lorsqu'elle a octroyé au recourant 1 une autorisation d'établissement en 2004. Ce n'est en effet qu'en 2013 que l'autorité cantonale a appris ces faits, lorsque le recourant 1 a entrepris les premières démarches en vue d'un regroupement familial en faveur de sa nouvelle épouse et de ses enfants et qu'il a dû, par la force des choses, enfin renseigner l'autorité cantonale. Contrairement à ce que semble penser le recourant 1, ce n'est pas ce fait qui lui est reproché, mais bien celui de ne pas avoir indiqué à l'autorité cantonale, dans le cadre de l'octroi de l'autorisation d'établissement qui lui permet de se prévaloir à présent d'un droit au regroupement familial, qu'il entretenait au Kosovo, en parallèle de son union avec une ressortissante suisse, une relation durable, dont un enfant était issu. Que le recourant 1 prétende que sa liaison n'était à l'origine pas destinée à durer ne modifie en rien ce constat. Il faut aussi préciser que, dans la mesure où C.A._ est née de la relation parallèle entre le recourant 1 et la recourante 2, il n'est pas décisif de savoir en l'espèce si le Service cantonal a expressément demandé au recourant 1 s'il avait des enfants au cours de la procédure d'autorisation d'établissement (cf. arrêt 2C_234/2017 du 11 septembre 2017 consid. 6.2). Ce qui est en effet déterminant en l'espèce est que le recourant 1 n'ait pas mentionné qu'il entretenait une relation durable avec la recourante 2, provoquant ou maintenant de la sorte une fausse apparence de monogamie, ce qui réalise le motif de révocation de l'art. 62 let. a LEtr.
Dès lors que le recourant 1 a obtenu son autorisation d'établissement en dissimulant un fait essentiel à l'autorité, il est abusif de sa part de solliciter le regroupement familial en faveur de son épouse et de ses enfants en invoquant l'art. 43 LEtr (arrêt 2C_360/2011 du 18 novembre 2011 consid. 4.1).
Le Tribunal cantonal n'a partant pas méconnu le droit fédéral en retenant que le droit des recourants au regroupement familial était éteint en vertu de l'art. 51 al. 2 LEtr. Partant, ainsi que l'a retenu à bon droit le Tribunal cantonal, il n'est pas nécessaire d'examiner si les délais de l'art. 47 al. 1 LEtr ont été respectés et, dans la négative, si l'on se trouve dans un cas de raisons personnelles majeures au sens de l'art. 47 al. 4 LEtr.
6.
Les recourants estiment que le Tribunal cantonal n'a pas correctement mis en balance les intérêts en présence. Ils relèvent que la recourante 2 et les enfants ne sont pas entrés illégalement en Suisse, que les recourants 3 et 4 ne sont pas responsables de la situation, qu'ils ont passé en Suisse toute leur adolescence et qu'un renvoi au Kosovo serait disproportionné. Ils se prévalent de l'art. 8 CEDH, ainsi que la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107).
6.1. L'art. 8 CEDH ne confère en principe pas un droit à séjourner dans un Etat déterminé: la Convention ne garantit en effet pas le droit d'une personne d'entrer ou de résider dans un Etat dont elle n'est pas ressortissante ou de n'en être pas expulsée (cf. <ref-ruling> consid. 4.2 p. 96; <ref-ruling> consid. 5.1 p. 26). Toutefois, le fait de refuser un droit de séjour à un étranger dont la famille se trouve en Suisse peut entraver sa vie familiale et porter ainsi atteinte au droit au respect de la vie privée et familiale garanti par cette disposition. Pour qu'il puisse invoquer la protection de la vie familiale découlant de l'art. 8 CEDH, l'étranger doit entretenir une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (cf. <ref-ruling> consid. 5.2.1 p. 180; <ref-ruling> consid. 2.1 p. 335 s.; <ref-ruling> consid. 1.3 p. 287).
6.2. Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. La mise en oeuvre d'une politique restrictive en matière de séjour des étrangers constitue un but légitime au regard de cette disposition conventionnelle (ATF <ref-ruling> consid. 2.1 p. 288; <ref-ruling> consid 2.2.1 p. 156).
Le refus d'octroyer une autorisation de séjour (ou d'établissement) fondé sur l'art. 8 par. 2 CEDH ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (<ref-ruling> consid. 2.2 p. 147 s.; <ref-ruling> consid. 4.3 p. 381). Lors de l'examen de la proportionnalité, il y a lieu de prendre en considération la gravité de l'éventuelle faute commise par l'étranger, la durée de son séjour en Suisse, son degré d'intégration, ainsi que le préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion, respectivement du refus d'accorder ou de prolonger une autorisation de séjour (<ref-ruling> consid. 2.4 p. 149; <ref-ruling> consid. 4.3 p. 381 s.). Dans la pesée des intérêts, il faut tenir compte de l'intérêt fondamental de l'enfant (cf. art. 3 de la Convention du 20 novembre 1989 relative aux droits de l'enfant [CDE; RS 0.107]) à pouvoir grandir en jouissant d'un contact étroit avec ses parents (cf. <ref-ruling> consid. 5.2 p. 97 s.; <ref-ruling> consid. 5.5.1 p. 29; cf. aussi arrêt de la CourEDH, El Ghatet c. Suisse du 8 novembre 2016[requête n o 56971/10], § 27 s. et 46 s.). Cela étant, un droit effectif au regroupement familial en faveur des enfants d'un étranger au bénéfice d'un droit de présence assuré en Suisse ne peut découler de l'art. 8 CEDH qu'à condition que les exigences fixées par le droit interne aux art. 43 ss LEtr (à présent LEI) soient respectées (cf. ATF <ref-ruling> consid. 1.3 p. 287 et 2.6 p. 292; arrêt 2C_325/2019 du 3 février 2020 consid. 3.1; cf. aussi arrêt 2C_153/2018 du 25 juin 2018 consid. 5.3).
6.3. En l'occurrence, le recourant 1 dispose d'un droit de séjour certain en Suisse et on ne peut contester que les relations entre lui et son épouse ainsi que leurs deux enfants relèvent de la vie familiale protégée par l'art. 8 CEDH. Dans la mesure où le recourant 1 a un droit durable à demeurer en Suisse, le refus signifié aux recourants 2, 3 et 4, qui entraîne leur départ de Suisse, est susceptible de séparer la famille. Il convient donc de procéder à la pesée des intérêts prévue par l'art. 8 par. 2 CEDH.
6.4. En l'occurrence, sous l'angle de l'intérêt public, on soulignera que le législateur suisse poursuit une politique migratoire restrictive et qu'il existe un intérêt public à ce que les règles sur le séjour qui en découlent soient respectées, afin d'éviter que ce but ne soit vidé de sa substance (arrêt 2C_1004/2018 du 11 juin 2019 consid. 8.2). Or, en l'occurrence, en dissimulant un fait essentiel aux autorités, le recourant 1 n'a pas respecté ces règles (cf. art. 62 al. 1 let. a LEtr). Par ailleurs, en se prévalant d'un droit au regroupement familial nonobstant ce comportement, il a cherché à détourner de leur but les dispositions en la matière (cf. art. 51 al. 2 let. a et b LEtr). L'intérêt public au refus des autorisations est partant donné.
6.5. Du point de vue des intérêts privés en jeu, on peut relever ce qui suit. La recourante 2 a eu deux enfants au Kosovo avec le recourant 1, alors que celui-ci vivait en Suisse, marié à une autre femme. Elle s'est mariée avec lui en 2006, mais ne l'a rejoint en Suisse qu'en 2015; elle a donc vécu la plus grande partie de sa relation avec le recourant 1 à distance. Quant aux recourants 3 et 4, ils ont depuis leur naissance grandi loin de leur père. Ils avaient déjà 12 ans, respectivement 10 ans, lorsqu'ils sont venus vivre auprès de lui en Suisse. Le refus des autorisations sollicitées a pour conséquence que les recourants retrouveront les relations qui ont été les leurs pendant toutes ces années, ce qui paraît acceptable. Certes, les recourants vivent réunis depuis presque cinq ans en Suisse et les recourants 3 et 4 ont passé une partie de leur adolescence dans ce pays. Cependant, à l'issue du visa touristique en 2015 et en l'absence d'un autre titre de séjour, les recourants 2, 3 et 4 auraient dû repartir au Kosovo (cf. arrêt 2C_969/2017 du 2 juillet 2018 consid. 3.5). Partant, le fait que, depuis presque cinq ans, ils vivent en Suisse et s'y intègrent ne saurait revêtir une portée déterminante, sous peine d'encourager la politique du fait accompli (cf. arrêts 2C_969/2017 du 2 juillet 2018 consid. 3.5; 2C_115/2016 du 31 mars 2016 consid. 6).
Par ailleurs, comme les recourants 3 et 4 sont nés au Kosovo et y ont grandi jusqu'à l'âge de 12 ans, respectivement 10 ans, il n'apparaît pas insurmontable pour eux de retourner y vivre, d'autant qu'ils seront accompagnés de leur mère. Pour celle-ci, le retour apparaît également supportable, étant relevé qu'il n'est pas établi qu'elle serait livrée à elle-même en raison du départ de son frère du Kosovo (cf. supra consid. 3.2). On ne voit en particulier pas pour quelle raison elle ne pourrait pas recevoir le soutien de son mari pour se réinstaller.
Au vu de son comportement, le recourant 1 devait s'attendre à ce que le regroupement familial demandé en faveur de sa nouvelle épouse et de ses enfants soit refusé. Ce refus ne constitue pas une mesure insupportable pour lui. Il pourra continuer à vivre la relation avec son épouse et ses enfants à distance, ainsi qu'il l'a fait pendant de nombreuses années. Il peut également décider de les rejoindre au Kosovo, pays dont il est ressortissant.
6.6. Sur le vu de l'ensemble de ces éléments, le refus des autorisations sollicitées respecte les exigences de l'art. 8 par. 2 CEDH et on ne peut reprocher au Tribunal cantonal d'avoir violé cette disposition ou la Convention des droits de l'enfant en confirmant ce refus.
7.
Les recourants estiment se trouver dans un cas individuel d'extrême gravité au sens des art. 30 al. 1 let. b LEtr et 31 OASA (RS 142.201). Ces dispositions ne confèrent cependant aucun droit aux recourants, de sorte que ceux-ci ne peuvent rien en déduire (cf. arrêt 2C_900/2017 du 7 mai 2018 consid. 11).
8.
Les considérants qui précèdent conduisent au rejet du recours.
Les frais judiciaires seront mis à la charge des recourants 1 et 2, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants 1 et 2, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Service des migrations, au Département de l'économie et de l'action sociale et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 21 avril 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber