Faits :
A.
A.a. A._, ressortissant équatorien né en 1981, est entré illégalement en Suisse en juin 2000.
Le 19 avril 2005, le Tribunal correctionnel de l'Est vaudois l'a condamné à une peine d'emprisonnement de 28 mois, sous déduction de la détention préventive déjà subie, et a prononcé son expulsion pour une durée de sept ans, pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et délit contre la loi fédérale sur le séjour et l'établissement des étrangers. Il ressort des considérants de ce jugement que A._ a commis à deux reprises des actes d'ordre sexuel sur une fillette âgée de 5 ans, que sa soeur gardait. Le 29 septembre 2005, A._ a été renvoyé par vol spécial dans son pays d'origine.
Alors qu'il était sous le coup d'une interdiction d'entrée en Suisse, A._ est revenu, selon ses déclarations, en 2011 dans ce pays. Il a été condamné à trois reprises entre 2013 et 2015 pour des infractions à la législation en matière de droit des étrangers (entrée et/ou séjour illégal).
A.b. En mars 2018, A._ a entamé une procédure préparatoire de mariage avec C._, ressortissante équatorienne au bénéfice d'une autorisation de séjour en Suisse, avec laquelle il alléguait avoir eu un fils né le 25 janvier 2018.
Le 24 septembre 2018, il a sollicité du Service de la population du canton de Vaud (ci-après: le Service cantonal) une autorisation de séjour en vue du mariage, en indiquant qu'il entretenait une relation avec sa fiancée depuis 2014. Par décision du 29 janvier 2019, le Service cantonal a refusé l'autorisation sollicitée et a imparti à l'intéressé un délai pour quitter la Suisse.
Par arrêt du 23 janvier 2020, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours de A._ contre ce prononcé.
Par arrêt 2C_183/2020 du 21 avril 2020, le Tribunal fédéral a rejeté le recours formé contre l'arrêt du 23 janvier 2020.
B.
Le 9 décembre 2020, A._ a déposé une demande de réexamen auprès du Service cantonal, tout en concluant à l'octroi d'une autorisation de séjour. Il s'est prévalu de la naissance de son second enfant le 31 juillet 2019.
Par décision du 17 décembre 2020, le Service cantonal a déclaré irrecevable la demande de A._ tendant au réexamen de sa situation et à l'octroi d'une autorisation de séjour, subsidiairement l'a rejetée. Il lui a imparti un nouveau délai pour quitter la Suisse.
A._ a recouru contre cette décision auprès du Tribunal cantonal, en concluant à son annulation et au renvoi de la cause au Service cantonal, ainsi que, subsidiairement, à l'octroi d'une autorisation de séjour par regroupement familial. Par arrêt du 15 février 2021, le Tribunal cantonal a rejeté le recours et confirmé la décision du Service cantonal du 17 décembre 2020.
C.
Contre l'arrêt du 15 février 2021, A._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, outre à l'octroi de l'effet suspensif, principalement à l'annulation de l'arrêt attaqué en ce sens que le Tribunal cantonal doit entrer en matière sur sa demande de réexamen et renvoyer la cause au Service cantonal pour nouvel examen et nouvelle décision. Subsidiairement, il conclut au renvoi de la cause au Tribunal cantonal pour nouvelle instruction et nouvelle décision.
Par ordonnance présidentielle du 19 mars 2021, la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. A cet égard, il suffit que la partie recourante démontre de manière soutenable l'existence d'un droit potentiel à une autorisation de séjour pour que son recours soit recevable; le point de savoir si toutes les conditions sont effectivement réunies dans un cas particulier relève de l'examen au fond (<ref-ruling> consid. 1.1 p. 179).
En l'espèce, le recourant cite notamment l'art. 8 CEDH et l'art. 13 Cst. L'art. 8 CEDH, lu conjointement avec l'art. 12 CEDH, peut conférer, à certaines conditions, un droit à une autorisation de séjour en vue du mariage, notamment avec une personne titulaire d'une autorisation de séjour lorsque celle-ci dispose d'un droit de présence assuré en Suisse (<ref-ruling> consid. 1 non publié et consid. 3.1; cf., en cas de demande de réexamen, arrêt 2C_1026/2017 du 25 juin 2018 consid. 1.1). Indépendamment de l'autorisation de séjour de courte durée en vue du mariage, il n'est en outre pas exclu que le recourant puisse déduire un droit de séjour de plus longue durée en Suisse, sur la base de l'art. 8 CEDH, du fait de sa relation avec sa compagne et ses enfants (cf. <ref-ruling> consid. 6.1). Le recours échappe partant à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF, la question de savoir si les conditions en lien avec l'art. 8 CEDH sont réunies relevant du fond.
1.2. Le recourant n'a pris que des conclusions en annulation et en renvoi. En principe, de telles conclusions sont les seules admissibles à l'encontre d'un arrêt confirmant une décision d'irrecevabilité (cf. <ref-ruling> consid. 4.4.2; arrêt 2C_882/2019 du 31 octobre 2019 consid. 2.3). En l'occurrence, l'arrêt entrepris confirme une décision qui prononçait tant l'irrecevabilité que, subsidiairement, le rejet de la demande. Il prononce en outre le rejet du recours, dans lequel il était conclu à l'octroi d'une autorisation de séjour. L'arrêt ne porte ainsi pas uniquement sur une irrecevabilité. Le recourant aurait donc pu et dû prendre une conclusion au fond (cf. <ref-law>). Dans la mesure où il ressort clairement de la motivation du recours, à la lumière de laquelle les conclusions doivent être interprétées, que le recourant entend obtenir une autorisation de séjour par regroupement familial et que les décisions des autorités cantonales ne sont pas très claires sur ce point (cf. infra consid. 4), il convient toutefois de ne pas se montrer trop formaliste (cf. <ref-ruling> consid. 1.3). Les autres conditions de recevabilité sont au surplus réunies (cf. art. 42, 82 let. a, 86 al. 1 let. d et al. 2, 89 al. 1, 90 et 100 al. 1 LTF), de sorte qu'il convient d'entrer en matière.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). La partie recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
2.2. En l'occurrence, le recourant expose, au début de son mémoire, un "rappel des faits déterminants", dans lequel il s'écarte en partie des faits retenus dans l'arrêt entrepris, sans invoquer l'arbitraire ou une constatation manifestement inexacte des faits. Le recourant allègue ainsi, par exemple, de manière appellatoire qu'il s'occupe de tous les aspects liés aux enfants pendant que sa compagne travaille, alors qu'il a été retenu dans l'arrêt entrepris que les enfants sont gardés à plein temps. Cette manière de faire n'est pas admissible. Le Tribunal fédéral statuera partant exclusivement sur la base des faits tels qu'établis par l'autorité précédente.
2.3. Le recourant présente en outre, en lien avec une convention entre les parents au sujet des enfants, des faits et preuves postérieurs à l'arrêt entrepris. Conformément à l'<ref-law>, le Tribunal fédéral ne peut pas prendre en compte ces éléments.
3.
Le recourant, évoquant les "garanties de procédure", se plaint du refus du Tribunal cantonal d'ordonner une expertise pédopsychiatrique. Il fait valoir que le Tribunal cantonal ne pouvait pas juger, sans tomber dans l'arbitraire, les conséquences d'un renvoi sur la psychologie des enfants sans passer par une investigation. Le recourant se plaint aussi d'un défaut de motivation, alléguant que le Tribunal cantonal n'aurait pas traité sa requête dans la partie en droit de son arrêt.
3.1. Garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend, notamment, le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre. Le droit de faire administrer des preuves n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1).
Le droit d'être entendu impose aussi à l'autorité judiciaire de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer son droit de recours à bon escient. Pour satisfaire à cette exigence, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision (<ref-ruling> consid. 4.2).
3.2. En ce qui concerne le reproche lié à une prétendue absence de motivation, il est relevé qu'au considérant 2c in fine de l'arrêt attaqué (p. 9), le Tribunal cantonal a expressément rejeté la mesure d'instruction sollicitée, en exposant que la situation familiale était pour l'essentielle identique à celle prévalant lors des précédentes décisions judiciaires, la naissance du second enfant ne constituant pas une modification sensible des circonstances pertinentes. La critique du recourant est donc totalement infondée.
3.3. Quant au refus en tant que tel de la mesure d'instruction, on ne voit pas en quoi le Tribunal cantonal aurait procédé à une appréciation anticipée des preuves arbitraire. En relevant que la situation était pour l'essentiel identique à celle prévalant lors des précédentes décisions judiciaires, le Tribunal cantonal a en effet implicitement estimé qu'une instruction complémentaire en ce qui concernait les enfants, par le biais de la mise en oeuvre d'une expertise psychiatrique, n'était pas nécessaire, ce qui n'est pas insoutenable.
Le grief en lien avec le droit d'être entendu est donc rejeté.
4.
Il convient de préciser l'objet du litige. Selon l'arrêt entrepris, le recourant a sollicité devant le Service cantonal un réexamen de la décision refusant l'octroi d'une autorisation de séjour de courte durée en vue du mariage, tout en concluant à l'octroi d'une autorisation de séjour. Dans sa décision du 17 décembre 2020, le Service cantonal a déclaré irrecevable la demande tendant au réexamen et à l'octroi d'une autorisation de séjour, subsidiairement l'a rejetée. Le recourant a derechef conclu à l'octroi d'une autorisation de séjour devant le Tribunal cantonal, tout en sollicitant l'entrée en matière sur sa demande de réexamen. Le Tribunal cantonal a rejeté le recours et confirmé la décision du Service cantonal. La motivation contient des arguments liés tant à l'irrecevabilité qu'au fond.
L'octroi d'une autorisation de séjour de courte durée en vue du mariage est soumis à des conditions différentes (cf., sur ces conditions, <ref-ruling> consid. 3; arrêt 2C_117/2019 du 7 juin 2019 consid. 3) de celles régissant l'octroi d'une autorisation de séjour (de plus longue durée) par regroupement familial avec un concubin et les enfants communs (cf., sur ces conditions, infra consid. 6). Le présent litige a donc deux volets. D'une part, il concerne l'irrecevabilité de la demande tendant à un nouvel examen du refus d'octroi d'une autorisation de séjour de courte durée en vue du mariage. D'autre part, il a trait à la confirmation du refus d'octroi d'une autorisation de séjour par regroupement familial. L'arrêt entrepris n'est pas très clair sur cette distinction. Le recourant n'est pas plus clair, mais s'en prend néanmoins aux deux aspects, qui seront donc examinés successivement.
5.
S'agissant du "réexamen" concernant l'autorisation de séjour de courte durée en vue du mariage, le recourant allègue que l'ancienneté de sa condamnation pénale, la naissance d'un deuxième enfant, le rôle qu'il joue dans la vie de famille, le travail de sa concubine à 90%, la répartition des tâches au sein du foyer, l'écoulement du temps et la promesse d'un emploi s'il possède un titre de séjour sont des facteurs justifiant un nouvel examen.
5.1. En principe, même après un refus ou une révocation d'une autorisation, il est toujours possible de demander l'octroi d'une nouvelle autorisation, dans la mesure où, au moment du prononcé, l'étranger qui en fait la demande remplit les conditions posées à un tel octroi (<ref-ruling> consid. 4.1). Indépendamment du fait que cette demande s'intitule réexamen, reconsidération (les termes sont équivalents) ou nouvelle demande, elle ne saurait toutefois avoir pour conséquence de remettre continuellement en question des décisions entrées en force. L'autorité administrative n'est ainsi tenue d'entrer en matière sur une nouvelle demande que lorsque les circonstances ont subi des modifications notables ou lorsqu'il existe un cas de révision, c'est-à-dire lorsque l'étranger se prévaut de faits importants ou de preuves dont il n'avait pas connaissance dans la procédure précédente, qu'il lui aurait été impossible d'invoquer dans cette procédure pour des motifs juridiques ou pratiques ou encore qu'il n'avait alors pas de raison d'alléguer (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.1).
5.2. En l'espèce, les précédents juges ont relevé qu'entre l'arrêt du Tribunal fédéral du 21 avril 2020 rejetant le recours dirigé contre la confirmation par arrêt du 23 avril 2020 du Tribunal cantonal du refus d'autorisation de séjour en vue du mariage et la demande déposée le 9 décembre 2020, seuls sept mois environ s'étaient écoulés. Le Tribunal cantonal a aussi souligné que le recourant avait déjà allégué devant lui être père d'un enfant. Quant au second enfant, il était né le 31 juillet 2019, soit plusieurs mois avant l'arrêt du 23 janvier 2020, mais le recourant n'avait pas allégué son existence, ni n'avait fait valoir son implication auprès de ses deux enfants, alors qu'il l'aurait pu. Le Tribunal cantonal a ainsi retenu que le recourant n'invoquait aucun élément nouveau qu'il aurait été dans l'impossibilité de faire valoir dans la procédure antérieure.
5.3. Sur le vu des éléments qui précèdent, c'est à bon droit que le Tribunal cantonal a confirmé l'irrecevabilité de la demande formée par le recourant tendant à un nouvel examen du refus d'autorisation de séjour en vue du mariage. A défaut de circonstances nouvelles ou que le recourant n'aurait pas pu faire valoir dans la précédente procédure, l'autorité de première instance n'était en effet pas tenue d'entrer en matière. Le recourant ne peut rien déduire du temps écoulé depuis la condamnation de 2005, celui-ci ayant déjà été pris en compte dans le cadre de l'examen de la première demande, qui a fait en dernier lieu l'objet de l'arrêt du Tribunal fédéral du 21 avril 2020. Une année supplémentaire de recul par rapport à cette condamnation ne constitue pas une modification notable des circonstances. C'est donc en vain que le recourant cite la jurisprudence selon laquelle une condamnation pénale ne peut pas faire indéfiniment échec à l'examen d'une nouvelle demande d'autorisation de séjour (arrêt 2C_1224/2013 du 12 décembre 2014 consid. 5.1.1).
Quant à la situation familiale, le recourant n'explique à aucun moment pour quelle raison il ne l'a pas exposée dans le cadre de sa première demande. Or, le recourant pouvait faire valoir non seulement la paternité à l'égard de son premier enfant né le 25 janvier 2018, mais également celle à l'égard de son fils né le 31 juillet 2019 devant le Tribunal cantonal, qui a statué le 23 janvier 2020 et qui examine librement les faits (cf. <ref-law>).
On doit ajouter qu'un nouvel examen d'une demande en droit des étrangers à la suite d'un refus ou de la révocation d'une autorisation suppose en principe que l'étranger ait respecté son obligation de quitter la Suisse et ait fait ses preuves dans son pays d'origine ou de séjour (arrêt 2C_663/2020 du 2 mars 2021 consid. 3.6 et les nombreux arrêts cités), ce qui n'est absolument pas le cas du recourant, qui n'a pas quitté la Suisse à la suite de l'arrêt du Tribunal fédéral du 21 avril 2020.
Sur le vu de ces circonstances, le recours ne peut donc qu'être rejeté en tant que le recourant critique la confirmation de l'irrecevabilité de sa demande de réexamen d'une autorisation de séjour en vue du mariage.
6.
En ce qui concerne le second aspect du litige, soit l'octroi d'une autorisation de séjour par regroupement familial, le recourant estime y avoir droit en vertu de l'art. 44 LEI (RS 142.20) et de l'art. 8 CEDH. Selon le recourant, l'arrêt entrepris violerait en outre les art. 3, 8 et 9 de la Convention relative aux droits de l'enfant du 20 novembre 1989 (RS 0.107; ci-après: CDE), ainsi que le principe de proportionnalité.
6.1. L'art. 44 LEI concerne le regroupement familial en faveur du conjoint du titulaire d'une autorisation de séjour. Le recourant n'étant pas marié avec sa compagne, cette disposition n'entre pas en ligne de compte (cf. <ref-ruling> consid. 2.5). Il est au surplus relevé que cette disposition est potestative et ne confère pas en elle-même de droit à une autorisation de séjour (<ref-ruling> consid. 6.2).
6.2. La Convention relative aux droits de l'enfant ne permet pas non plus de fonder une prétention directe à l'octroi d'une autorisation de séjour (<ref-ruling> consid. 2.4; arrêt 2C_293/2018 du 5 octobre 2018 consid. 1.5). La Convention est en revanche prise en considération de manière indirecte (<ref-ruling> consid. 2.4). Il est ainsi tenu compte de l'intérêt fondamental de l'enfant (art. 3 CDE) dans l'interprétation et l'application notamment de l'art. 8 CEDH (cf. <ref-ruling> consid. 5.2).
6.3.
6.3.1. Pour ce qui a trait à l'art. 8 CEDH, un étranger peut se prévaloir de cette disposition (et de l'art. 13 Cst.), qui garantit le droit au respect de la vie privée et familiale, pour s'opposer à l'éventuelle séparation de sa famille pour autant qu'il entretienne une relation étroite et effective avec un membre de sa famille ayant le droit de résider durablement en Suisse, ce qui suppose que celui-ci ait la nationalité suisse, qu'il soit au bénéfice d'une autorisation d'établissement ou d'un droit certain à une autorisation de séjour (<ref-ruling> consid. 6.1; <ref-ruling> consid. 6.1). D'après une jurisprudence constante, les relations visées par l'art. 8 CEDH sont avant tout celles qui concernent la famille dite nucléaire (" Kernfamilie "), soit celles qui existent entre époux ainsi qu'entre parents et enfants mineurs vivant en ménage commun (<ref-ruling> consid. 5.3; <ref-ruling> consid. 6.1 et les arrêts cités). Sous réserve de circonstances particulières, les concubins ne sont pas habilités à invoquer l'art. 8 CEDH (cf. <ref-ruling> consid. 2.5; arrêt 2C_702/2011 du 23 février 2012 consid. 3).
Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est en outre pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH. Cette disposition commande une pesée des intérêts qui suppose de tenir compte de l'ensemble des circonstances et de mettre en balance l'intérêt privé à l'obtention ou au maintien d'un titre de séjour et l'intérêt public à son refus ou à sa révocation (<ref-ruling> consid. 4.2 p. 96; <ref-ruling> consid. 6.1 p. 47 et les arrêts cités).
6.3.2. En l'espèce, la relation de concubinage que le recourant entretient avec sa compagne depuis 2014 pourrait éventuellement tomber sous le coup de la protection de l'art. 8 CEDH, eu égard à sa durée et à la présence d'enfants communs (cf. arrêts 2C_702/2011 du 23 février 2012 consid. 3.1 et 3.2; 2C_661/2010 du 31 janvier 2011 consid. 3). La relation avec les enfants mineurs tombe par ailleurs sous le coup de la notion de vie familiale. En revanche, les faits de l'arrêt entrepris ne permettent pas d'établir si la compagne du recourant et leurs enfants disposent d'un droit de séjour certain en Suisse, de sorte qu'il n'est pas évident que le recourant puisse invoquer le bénéfice de l'art. 8 par. 1 CEDH. Ce point peut demeurer indécis, pour les motifs qui suivent.
Ainsi que l'a relevé le Tribunal cantonal, une pesée des intérêts au regard de l'art. 8 CEDH a déjà été sommairement effectuée dans le cadre de l'examen du droit à autorisation de séjour en vue du mariage. Dans ce contexte, la Cour de céans avait souligné que des motifs d'ordre public s'opposaient a priori à l'octroi d'une autorisation de séjour après le mariage notamment fondée sur l'art. 8 CEDH (arrêt 2C_183/2020 consid. 4.5.3). Ces considérations s'appliquent également dans le cadre de la présente pesée des intérêts. D'une part, le recourant a été condamné à une peine de 28 mois d'emprisonnement. L'ancienneté de la condamnation (2005) est contrebalancée par la gravité des faits reprochés, étant rappelé que le recourant s'en est pris à l'intégrité sexuelle d'une très jeune enfant. D'autre part, alors qu'il était sous le coup d'une interdiction d'entrer sur le territoire suisse à la suite de son renvoi forcé, le recourant est revenu dans ce pays en 2011 et a été condamné à trois reprises pour entrée et/ou séjour illégal, la dernière fois en 2015. Tout dernièrement, il n'a pas respecté l'obligation de quitter la Suisse qui résultait de l'arrêt du Tribunal fédéral du 21 avril 2020. Cela fait donc près de dix ans que le recourant séjourne illégalement en Suisse. Ces éléments démontrent que le recourant n'entend pas se conformer à l'ordre juridique suisse. La situation du recourant diffère en de nombreux points de celle jugée dans l'arrêt 2C_963/2015 du 29 février 2016 dont il entend tirer comparaison, puisque ce cas portait sur le refus de prolongation d'une autorisation de séjour - alors que le recourant n'en a jamais eu - et que la personne concernée n'avait plus été condamnée pour aucune infraction depuis de nombreuses années. Le recourant ne peut donc rien en déduire.
Sous l'angle des intérêts privés, il faut relever que le recourant et sa compagne ont choisi d'avoir des enfants en connaissance de cause du statut précaire du premier sous l'angle du droit de séjour. Le refus de l'autorisation sollicitée ne vient que confirmer une situation préexistante. Par ailleurs, le Tribunal cantonal a relevé que la mère subvenait aux besoins de la famille et que les enfants étaient gardés à plein temps. La situation ne serait donc pas modifiée par le départ du recourant aussi profondément que celui-ci le prétend. En outre, l'intérêt fondamental de l'enfant (art. 3 CDE) à pouvoir grandir en jouissant d'un contact étroit avec les deux parents est certes un élément à prendre en compte, mais il n'est pas prépondérant par rapport aux autres (<ref-ruling> consid. 5.1). Le recourant ne peut donc pas tirer un argument décisif de l'intérêt de ses enfants à grandir auprès de lui pour obtenir un droit de séjour en Suisse, alors que des motifs d'ordre public plaident en faveur de son éloignement. La Cour de céans note enfin que le refus de l'autorisation de séjour n'implique pas nécessairement la séparation de la famille. En effet, la compagne du recourant étant originaire d'Equateur, la famille pourrait vivre réunie dans ce pays. En définitive, les motifs d'intérêt privé invoqués ne l'emportent pas sur l'intérêt public au refus d'octroi d'une autorisation de séjour.
6.4. Il résulte de ce qui précède que le Tribunal cantonal n'a pas violé le droit en confirmant le refus d'octroi d'une autorisation de séjour au recourant.
7.
Les considérants qui précèdent conduisent au rejet du recours. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 28 juin 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber