Faits :
A.
A._, ressortissant serbe né en 1961, est entré en Suisse en 1987 et est au bénéfice d'une autorisation d'établissement depuis 1995. Il s'est marié avec une compatriote le 10 avril 2009 dans son pays d'origine. Le couple a eu deux enfants, nés en mai 2006 et novembre 2009.
B.
Le 9 août 2019, A._ a sollicité des autorisations de séjour au titre du regroupement familial en faveur de sa femme et de ses enfants auprès du Service de la population et des migrations du canton du Valais (ci-après: le Service des migrations). Celui-ci, qui a constaté que ces trois dernières personnes se trouvaient illégalement en Suisse depuis le 19 août 2019, a rejeté la demande d'autorisation par décision du 8 novembre 2019, retenant que cette demande avait été formée tardivement et qu'il n'existait aucune raison familiale majeure justifiant d'accorder le regroupement familial. A._ a contesté ce prononcé le 11 décembre 2019 auprès du Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat). Par décision du 13 mai 2020, cette autorité a rejeté le recours de l'intéressé. A._ a interjeté recours contre cette décision le 16 juin 2020 auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) qui, par arrêt du 12 janvier 2021, a rejeté le recours dans la mesure où celui-ci était recevable.
C.
Agissant par la voie du recours en matière de droit public et celle, subsidiaire, du recours constitutionnel, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 12 janvier 2021 et de renvoyer la cause à celui-ci pour nouvelle décision dans le sens des considérants.
Le Conseil d'Etat conclut au rejet du recours. Le Tribunal cantonal, le Service de la population et le Secrétariat d'Etat aux migrations renoncent tous trois à se déterminer.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit toutefois, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1 et les références). Pour statuer sur la recevabilité du recours contre une décision rendue en matière de regroupement familial, le Tribunal fédéral, pour ce qui concerne le droit interne, se fonde sur l'âge de l'enfant au moment du dépôt de la demande (<ref-ruling> consid. 3.2).
En l'occurrence, la femme du recourant, ainsi que les enfants du couple, qui sont tous les deux mineurs, disposent potentiellement d'un droit à une autorisation de séjour en Suisse, dans la mesure où, depuis 1995, leur époux, respectivement père y séjourne au bénéfice d'une autorisation d'établissement (cf. art. 43 LEI [RS 142.20]). La voie du recours en matière de droit public est par conséquent ouverte, si bien que celle du recours constitutionnel subsidiaire est irrecevable (<ref-law> a contrario).
1.2. Pour le surplus, l'arrêt attaqué, rendu dans une cause de droit public (<ref-law>), est une décision finale (<ref-law>) prise en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Le recours en matière de droit public a été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Il est par conséquent recevable.
2.
Dans un premier grief, citant l'art. 29 al. 2 Cst., le recourant se plaint d'une violation de son droit d'être entendu. Il invoque également un établissement arbitraire des faits au sens de l'<ref-law>.
2.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 6.3.1 et les références). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 et les références).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
2.2. En l'occurrence, le recourant se plaint de ce que l'autorité précédente n'aurait pas procédé à l'audition d'un témoin, requise implicitement par son précédent mandataire.
En tout premier lieu, force est de constater qu'on ne saurait reprocher au Tribunal cantonal de ne pas avoir procédé à l'audition d'un témoin qui n'a pas été expressément demandée et qui n'aurait été que prétendument souhaitée de manière implicite. En outre et surtout, cette autorité a valablement expliqué que le recourant se devait de collaborer et de prouver les faits pertinents avancés et qu'il avait eu l'occasion de s'exprimer à plusieurs reprises, notamment devant le Tribunal cantonal, après avoir pris connaissance de la décision du Conseil d'Etat et de l'appréciation des moyens de preuve à laquelle cette dernière autorité avait procédé.
Partant, il ne saurait être question de violation du droit d'être entendu. Le fait que le recourant conteste l'appréciation des faits effectuée par le Tribunal cantonal, et en particulier l'appréciation anticipée de ces faits, n'est pas une question de violation du droit d'être entendu, mais d'établissement inexact des faits au sens de l'<ref-law>, grief que le recourant soulève également.
2.3.
2.3.1. En l'occurrence, le recourant expose que sa mère, âgée, se trouve en Serbie et que son épouse s'en occupe depuis 2013. Ses deux enfants sont également restés dans leur pays d'origine. Le recourant poursuit en expliquant qu'il avait un frère, mais que celui-ci est décédé en juillet 2013. Il a également une soeur, ingénieure, qui travaillait à 100 % et qui n'a pu s'occuper de sa mère qu'à sa retraite, intervenue dernièrement et qui est la raison pour laquelle il demande aujourd'hui le regroupement familial. Il ajoute qu'il ne pouvait pas être attendu de la veuve de son frère de s'occuper de sa belle-mère, dans la mesure où elle avait trois enfants à charge, ni à sa soeur qui avait le droit de privilégier sa carrière professionnelle.
2.3.2. Pour sa part, le Tribunal cantonal a considéré que, si la mère du recourant se trouvait certes en Serbie, aucun élément ne permettait de savoir à partir de quand elle nécessitait une assistance, son état de santé ayant été jugé bon par son médecin, médecin qui n'a pas préconisé de médication ou de traitement particulier. L'autorité précédente a continué en retenant que le recourant n'avait aucunement expliqué qui s'était occupé de sa mère entre 2009 et 2013 et qu'il n'avait pas prouvé ses affirmations quant à sa soeur, notamment son âge, sa situation familiale et sa situation professionnelle. Il n'a pas plus démontré la situation exacte de sa belle-soeur, veuve de son frère, ni celle de ses trois neveux, se contentant d'affirmer que ceux-ci étaient en bas âge. Finalement, le Tribunal cantonal a encore constaté que plusieurs établissements pour personnes âgées se trouvaient dans le secteur où vit la mère du recourant.
2.3.3. Le recourant se contente d'opposer, de manière totalement appellatoire, ses propres vision et appréciation des faits aux constatations de l'autorité précédente. Il n'invoque toutefois pas, ni ne démontre à suffisance que les constatations du Tribunal cantonal relatives au manque d'informations au sujet des besoins de prise en charge de sa mère et de la nécessité de la présence de son épouse aux côtés de celle-ci seraient arbitraires ou manifestement inexactes, ce qui aurait été nécessaire s'agissant d'un élément de fait (cf. <ref-law>; cf. consid. 2.1 ci-dessus; cf. arrêt 2C_153/2018 du 25 juin 2018 consid. 4.2 et les références). Il n'indique pas non plus en quoi le Tribunal cantonal aurait versé dans l'arbitraire en retenant que le couple avait volontairement choisi de vivre sa relation à distance, en particulier entre la naissance de son premier enfant en 2006 et son mariage en 2009, et on ne voit pas en quoi cette déduction serait insoutenable, dès lors que la nécessité d'une séparation n'a pas été démontrée.
2.3.4. Dans ces conditions, le Tribunal fédéral n'a pas à s'écarter des constats de l'autorité précédente (cf. <ref-law>). Le grief d'appréciation arbitraire des faits est écarté et le Tribunal fédéral appliquera le droit sur la seule base des faits retenus dans l'arrêt entrepris.
3.
Le recourant se plaint d'une violation de l'art. 47 al. 4 LEI et de l'art. 8 CEDH. Il conteste en particulier l'absence de raisons familiales majeures. On mentionnera d'emblée que le grief relatif à l'art. 8 CEDH sera examiné conjointement avec l'art. 47 al. 4 LEtr, qui doit être interprété de manière conforme à cette disposition (cf. arrêt 2C_1025/2017 du 22 mai 2018 consid. 4).
3.1. La LEI a introduit des délais pour requérir le regroupement familial. Selon l'art. 47 al. 1 LEI, il doit être demandé dans les cinq ans. Pour les enfants de plus de douze ans, le regroupement familial doit intervenir dans un délai de douze mois. Ces délais commencent à courir, pour les membres de la famille d'étrangers, lors de l'octroi de l'autorisation de séjour ou d'établissement ou lors de l'établissement du lien familial (art. 47 al. 3 let. b LEI). Au titre des dispositions transitoires, l'art. 126 al. 3 LEI prévoit que les délais fixés à l'art. 47 al. 1 LEI commencent à courir à l'entrée en vigueur de la loi, soit le 1 er janvier 2008, dans la mesure où l'entrée en Suisse ou l'établissement du lien familial sont antérieurs à cette date. Passé ce délai, le regroupement familial différé n'est autorisé que pour des raisons familiales majeures (art. 47 al. 4 LEI). En outre, les droits au regroupement familial prévus à l'art. 43 LEI s'éteignent lorsqu'ils sont invoqués abusivement, notamment pour éluder les dispositions de la loi sur les étrangers ou ses dispositions d'exécution (art. 51 al. 2 let. a LEI) ou s'il existe des motifs de révocation au sens de l'art. 62 al. 1 LEI (<ref-ruling> consid. 2.3.1).
3.2. En l'espèce, il n'est pas contesté que le délai de cinq ans, respectivement douze mois prévu par l'art. 47 al. 1 LEI était échu lors de la demande de regroupement familial du 9 août 2019, le recourant étant au bénéfice d'une autorisation d'établissement depuis 1995 et s'étant marié en 2009. Le regroupement sollicité ne peut donc être autorisé que pour des raisons familiales majeures au sens de l'art. 47 al. 4 LEI, ce que le recourant reconnaît d'ailleurs lui-même.
4.
4.1. D'une façon générale, il ne doit être fait usage de l'art. 47 al. 4 LEI qu'avec retenue. Les raisons familiales majeures pour le regroupement familial ultérieur doivent toutefois être interprétées d'une manière conforme au droit fondamental au respect de la vie familiale (art. 13 Cst. et 8 CEDH; <ref-ruling> consid. 7.1.1 et les références).
Selon la jurisprudence, le désir de voir tous les membres de la famille réunis en Suisse est à la base de toute demande de regroupement familial, y compris celles déposées dans les délais, et représente même une des conditions du regroupement (cf. art. 42 al. 1, 43 al. 1 et 44 let. a LEI "à condition de vivre en ménage commun"). La seule possibilité de voir la famille réunie ne constitue dès lors pas une raison familiale majeure. Ainsi, lorsque la demande de regroupement est effectuée hors délai et que la famille a vécu séparée volontairement, d'autres raisons sont nécessaires. Le décès d'un parent proche âgé, dont le conjoint devait s'occuper dans le pays d'origine et où il a donc dû rester, peut, suivant les circonstances, constituer une raison familiale majeure, pour autant que la famille ait cherché en vain une autre solution pour la prise en charge de la personne nécessiteuse (arrêt 2C_153/2018 du 25 juin 2018 consid. 5.2 et les références). Lorsqu'il existe des solutions alternatives de prise en charge de la personne âgée pendant le délai pour demander le regroupement familial et que le conjoint reste néanmoins dans le pays d'origine, on ne se trouve en principe pas en présence d'une raison familiale majeure au sens de l'art. 47 al. 4 LEtr (cf. arrêt 2C_323/2018 du 21 septembre 2018 consid. 8).
4.2. Le recourant est d'avis que, sur le vu de la situation et de la structure familiale, le fait de charger sa femme de s'occuper de sa mère était une solution pragmatique, humaine, adéquate et appropriée. Néanmoins, comme on l'a vu précédemment (cf. consid. 2.3 ci-dessus), le Tribunal cantonal a retenu sans arbitraire que le recourant n'avait pas réussi à démontrer l'absence de solutions alternatives de prise en charge de sa mère dans son pays d'origine dès 2013. Compte tenu de ces constatations de fait et dans la mesure où aucune autre explication à la demande tardive de regroupement familial n'a été avancée, il faut en conclure qu'aucune raison familiale majeure justifiant un regroupement familial différé n'est établie. Le Tribunal cantonal n'a partant pas violé l'art. 47 al. 4 LEI en confirmant la décision de refus d'octroi d'une autorisation de séjour à l'épouse et aux enfants du recourant.
4.3. Le Tribunal cantonal n'a pas non plus violé l'art. 8 CEDH invoqué par le recourant. En effet, le recourant, son épouse et leurs enfants vivent, de leur propre initiative, séparés depuis 20 ans environ. La décision entreprise ne fait que maintenir le statu quo. Elle ne porte dès lors pas une atteinte intolérable à la vie de famille. Au surplus, le recourant pourra, comme il l'a fait jusqu'à présent selon l'arrêt entrepris, se rendre régulièrement en Serbie pour voir sa famille et rien n'empêchera son épouse et ses enfants de venir lui rendre visite en Suisse pour des séjours de courte durée. On ajoutera pour finir que le fait d'être venus s'établir en Suisse sans autorisation ne saurait leur apporter un quelconque avantage. En effet, en procédant de la sorte et en refusant d'attendre à l'étranger l'octroi de leurs autorisations de séjour, l'épouse et les enfants du recourant ont mis les autorités devant le fait accompli et porté atteinte au principe de l'égalité de traitement par rapport aux nombreux étrangers qui respectent les procédures établies pour obtenir un titre de séjour en Suisse (arrêt 2C_736/2017 du 28 novembre 2017 consid. 4.2 et les références).
4.4. Sur le vu de ce qui précède, les griefs du recourant tirés de la violation de l'art. 47 al. 4 LEI et de l'art. 8 CEDH sont écartés.
5.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrations, au Conseil d'Etat et à la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 11 mai 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette