Faits :
A.
A.a. A._ (ci-après: A._), né le [...] 1993, est entré illégalement en Suisse en 2003, depuis l'Equateur, pays dont il est ressortissant, pour rejoindre sa mère, B._, née en 1973 et sans titre de séjour en Suisse.
Le 26 mars 2008, B._ a sollicité auprès du Service de la population du canton de Vaud (ci-après: le Service cantonal) une autorisation de séjour en faveur de son fils. Le 23 janvier 2009, le Service cantonal a refusé à A._ et à sa mère l'octroi d'une autorisation de séjour et a prononcé leur renvoi de Suisse. Cette décision a été confirmée par arrêt du 21 octobre 2010 de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), puis par arrêt 2D_65/2010 du 24 novembre 2010 du Tribunal fédéral. A._ et sa mère n'ont pas quitté la Suisse dans le délai imparti par le Service cantonal.
A.b. Le 21 février 2011, une demande de reconsidération a été déposée. Le Service cantonal l'a rejetée le 21 mars 2011, tout en ordonnant à A._ et sa mère de quitter la Suisse. Ce rejet a été confirmé par le Tribunal cantonal le 11 avril 2012 et par le Tribunal fédéral le 16 mai 2012 (arrêt 2D_30/2012). Les intéressés sont toutefois apparemment restés en Suisse.
A.c. Par jugement du 11 décembre 2014, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné A._ à une peine privative de liberté de deux ans, avec sursis pendant cinq ans, pour viol et infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), les faits remontant à juin 2011. Ce verdict a été confirmé le 26 mai 2015 sur appel. L'arrêt de la Cour d'appel pénale du Tribunal cantonal vaudois n'a pas fait l'objet d'un recours au Tribunal fédéral.
A.d. Le 26 mai 2015, B._ a déposé une nouvelle demande de reconsidération pour elle-même et son fils auprès du Service cantonal. Par décision du 28 octobre 2015, le Service cantonal a rejeté cette demande et sommé les intéressés de quitter la Suisse. Ceux-ci n'ont pas déféré à cet ordre de renvoi. Aucune mesure de contrainte n'a été prise à leur encontre à teneur du dossier.
A.e. Le 31 juillet 2017, A._ a déposé une nouvelle demande de réexamen de la décision du 23 janvier 2009, qui a été rejetée par le Service cantonal le 4 septembre 2017. A._ n'a pas donné suite à l'ordre de quitter la Suisse.
B.
B.a. En 2019, A._ a déposé une demande d'autorisation de séjour UE/AELE auprès du Service cantonal, en se prévalant d'un passeport espagnol valable du 14 février 2019 au 14 février 2024.
A._ a régulièrement travaillé en qualité d'assistant commercial dès le 1er juillet 2019 à 80% et à 100% dès le 28 janvier 2020.
Par décision du 28 mai 2020, le Service cantonal s'est déclaré favorable à l'octroi d'une autorisation de séjour UE/AELE avec activité lucrative, sous réserve de l'approbation du Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat).
B.b. Par décision du 25 septembre 2020, le Secrétariat d'Etat a refusé l'approbation de l'octroi d'une autorisation de séjour à A._ et lui a imparti un délai au 15 janvier 2021 pour quitter la Suisse.
Par arrêt du 25 novembre 2021, le Tribunal administratif fédéral a rejeté le recours formé par A._ contre ce prononcé.
C.
Contre l'arrêt du 25 novembre 2021, A._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt entrepris et, principalement, à sa réforme en ce sens que l'octroi d'une autorisation de séjour UE/AELE est approuvé, ainsi que, subsidiairement, au renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants.
Par ordonnance présidentielle du 28 décembre 2021, le Tribunal fédéral a admis la demande d'effet suspensif contenue dans le recours.
Le Tribunal administratif fédéral renonce à prendre position sur le recours. Le Secrétariat d'Etat conclut au rejet du recours.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral, ni le droit international ne donnent droit.
En l'espèce, en sa qualité de ressortissant espagnol, le recourant peut, en principe, prétendre à l'octroi d'une autorisation de séjour en Suisse, en vertu du droit à la libre circulation que lui confère l'ALCP (RS 0.142.112.681; cf. <ref-ruling> consid. 1.1). Cela suffit pour que son recours échappe à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF, la question de savoir si les conditions d'un tel droit sont effectivement réunies relevant du fond (cf. <ref-ruling> consid. 1.1).
1.2. Dirigé contre une décision finale (<ref-law>) rendue par le Tribunal administratif fédéral (<ref-law>), le présent recours a été déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il est ainsi recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (<ref-law>). Dans ce cas, l'acte de recours doit contenir un exposé succinct des droits fondamentaux violés et préciser en quoi consiste la violation (cf. <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2; <ref-ruling> consid. 6; <ref-ruling> consid. 1.6). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, le recourant complète et modifie librement l'état de fait retenu dans l'arrêt entrepris, sans invoquer l'arbitraire des constatations de fait des précédents juges. Il n'y a partant pas lieu de s'écarter des faits de l'arrêt attaqué. En outre, le Tribunal fédéral ne peut pas prendre en considération le nouvel extrait du registre des poursuites daté du 25 février 2022. Le Tribunal fédéral statuera donc exclusivement sur la base des faits établis dans l'arrêt attaqué.
3.
Le litige porte sur le refus d'approbation à l'octroi d'une autorisation de séjour UE/AELE au recourant.
4.
Le recourant fait valoir qu'il ne représente pas une menace pour l'ordre et la sécurité publics au sens de l'<ref-law>.
4.1. L'<ref-law> prévoit que le travailleur salarié ressortissant d'une partie contractante qui occupe un emploi d'une durée égale ou supérieure à un an au service d'un employeur de l'Etat d'accueil reçoit un titre de séjour d'une durée de cinq ans au moins à dater de sa délivrance. Celui-ci est automatiquement prolongé pour une durée de cinq ans au moins.
En l'occurrence, il ressort de l'arrêt attaqué que le recourant, ressortissant espagnol, a régulièrement travaillé en qualité d'assistant commercial dès le 1er juillet 2019 à 80% et à 100% dès le 28 janvier 2020. Il peut partant, en principe, se prévaloir d'un droit de séjour fondé sur l'ALCP, ce qui a été retenu par les autorités précédentes.
4.2. Sous réserve notamment du respect des exigences de l'<ref-law> (cf. infra consid. 4.4), l'ALCP ne réglemente pas en tant que tel le retrait, respectivement le refus d'octroi d'une autorisation de séjour UE/AELE, de sorte que l'art. 62 LEI est applicable (cf. art. 2 al. 2 LEI; <ref-law> [RS 142.203]; arrêt 2C_362/2019 du 10 janvier 2020 consid. 5.1).
4.3. A teneur de l'art. 62 al. 1 LEI, l'autorité compétente peut révoquer et, a fortiori, refuser l'octroi d'une autorisation de séjour notamment lorsque l'étranger a été condamné à une peine privative de liberté de longue durée (let. b). Selon la jurisprudence, est une peine de longue durée au sens de cette disposition une peine privative de liberté qui dépasse un an d'emprisonnement, indépendamment du fait qu'elle ait été prononcée avec un sursis complet, un sursis partiel ou sans sursis (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1).
En l'occurrence, le recourant a été condamné à une peine privative de liberté de deux ans le 11 décembre 2014. Il réalise donc le motif de refus d'octroi d'une autorisation de séjour de l'art. 62 al. 1 let. b LEI.
4.4. L'<ref-law> prévoit que les droits octroyés par les dispositions de l'ALCP ne peuvent être limités que par des mesures justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. Conformément à la jurisprudence rendue en rapport avec l'<ref-law>, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'"ordre public" pour restreindre cette liberté suppose, en-dehors du trouble de l'ordre social que constitue toute infraction à la loi, que le ressortissant visé représente une menace actuelle et réelle d'une certaine gravité affectant un intérêt fondamental de la société (cf. <ref-ruling> consid. 5.3; <ref-ruling> consid. 3.4). L'évaluation de cette menace doit se fonder exclusivement sur le comportement personnel de celui qui fait l'objet de la mesure, et non sur des motifs de prévention générale détachés du cas individuel. La seule existence d'antécédents pénaux ne permet pas de conclure (automatiquement) que l'étranger constitue une menace suffisamment grave pour l'ordre et la sécurité publics. Il faut donc procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3 et les références). Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée (<ref-ruling> consid. 5.3). L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (cf. <ref-ruling> consid. 5.3 et les références). A cet égard, le Tribunal fédéral se montre particulièrement rigoureux, en lien avec l'<ref-law>, en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (<ref-ruling> consid. 5.3; <ref-ruling> consid. 3.3).
4.5. En l'espèce, le recourant a été condamné le 11 décembre 2014 à une peine privative de liberté de deux ans avec sursis pendant cinq ans pour un viol sur une fille mineure commis en juin 2011, ainsi que pour contravention à la LStup. L'acte commis est très grave; selon les faits retenus dans l'arrêt entrepris, le recourant a violé une adolescente de 16 ans, après avoir assisté à un premier viol sur sa victime. Il a usé de force et persisté en dépit des efforts de la jeune femme pour lui échapper. Eu égard à la nature et à la gravité de l'infraction, c'est à raison que le Tribunal administratif fédéral a retenu que le recourant représentait une menace grave pour l'ordre public.
4.6. Reste à se demander si cette menace est actuelle et réelle, ce que le recourant nie.
Les faits qui ont valu au recourant la condamnation de 2014 remontent à 2011. Ils sont donc relativement anciens. Cela étant, le juge pénal a accordé le sursis en 2014, mais en l'assortissant d'un délai d'épreuve de cinq ans, soit le maximum prévu par la loi (<ref-law>). Ainsi, trois ans après les faits, le juge pénal a encore considéré qu'il était nécessaire d'assortir le sursis du délai d'épreuve maximum. Le pronostic n'était donc pas aussi favorable que ce que soutient le recourant. Par ailleurs, jusqu'à fin 2019, le recourant s'exposait à la révocation de son sursis en cas de nouveau crime ou délit (<ref-law>). On ne saurait par conséquent voir dans le bon comportement du recourant durant ces années le signe d'un amendement durable.
Outre la lourde condamnation pénale de 2014, le recourant n'a jamais donné suite aux ordres des autorités administratives et judiciaires de quitter la Suisse. Lors des ordres de renvoi de 2012, 2015 et 2017, il était déjà majeur, de sorte qu'il ne peut se retrancher derrière les choix administratifs de sa mère, comme il le fait valoir dans son recours. Le recourant a fait fi de l'arrêt du Tribunal fédéral de 2012 confirmant le rejet de sa demande d'autorisation de séjour. La condamnation pénale de 2014 ne l'a pas non plus incité à se conformer aux décisions des autorités administratives. Celles-ci lui ont en effet ordonné de quitter la Suisse en 2015 et 2017, sans succès. D'après l'arrêt attaqué, le 14 août 2017, le Service de la population a en outre effectué une perquisition au domicile du recourant. Cette mesure est également restée sans effet. En ce qui concerne le pronostic futur de comportements contraires à l'ordre public, le fait que le recourant n'ait jamais respecté les décisions prises par les autorités en matière de droit des étrangers constitue un indice défavorable indéniable.
Le recourant n'a pas commis d'infractions depuis la fin du délai d'épreuve fin 2019. Depuis 2019, il a par ailleurs la nationalité espagnole et peut donc prétendre à demeurer en Suisse. D'après l'arrêt attaqué, le recourant a repris avec succès sa vie en mains en se formant et s'intégrant sur le marché du travail. Eu égard au comportement passé du recourant, ces développements sont toutefois trop récents pour que l'on puisse en déduire qu'il n'y a pas de risque actuel et concret d'atteintes d'une certaine gravité à l'ordre et à la sécurité publics.
Sur le vu de l'ensemble des éléments qui précèdent, le Tribunal administratif fédéral pouvait, sans violer le droit, considérer que le recourant représentait une menace réelle et actuelle d'une certaine gravité pour l'ordre et la sécurité publics au sens de l'<ref-law>.
5.
Le recourant dénonce une violation du principe de proportionnalité. Il se prévaut de la ga rantie de la vie privée et familiale en se référant aux art. 13 Cst., 8 CEDH, 17 et 23 Pacte ONU II (RS 0.103.2).
5.1. Le recourant cite les art. 17 et 23 Pacte ONU II, sans expliquer en quoi ces dispositions auraient été méconnues. Sa critique ne satisfait pas aux exigences de motivation de l'<ref-law> et doit à ce titre être écartée.
5.2. Le recourant, majeur et célibataire, ne peut pas se prévaloir de l'art. 8 CEDH sous l'angle de la protection de la vie familiale. A teneur de l'arrêt attaqué, non contesté sur ce point, il ne se trouve en effet pas dans un état de dépendance particulier par rapport aux membres de sa famille disposant d'un droit de séjour en Suisse (cf. <ref-ruling> consid. 6.1 et références). La relation affective qu'il entretient depuis quelques années avec une ressortissante suisse ne relève en outre pas d'une situation de concubinage pouvant tomber sous le coup de l'art. 8 CEDH, à défaut notamment de vie commune (cf. <ref-ruling> consid. 2.5). Sous l'angle de la vie privée, le recourant n'a jamais séjourné légalement en Suisse et ne peut donc pas invoquer le bénéfice de la protection de l'art. 8 CEDH (<ref-ruling> consid. 3; arrêt 2C_302/2019 du 1er avril 2019 consid. 4.2).
Il s'ensuit que l'art. 8 CEDH n'est pas applicable en l'espèce. Ce constat n'a toutefois pas d'incidence. Il convient en effet de vérifier en tous les cas si le refus d'approbation à l'octroi d'une autorisation de séjour UE/AELE respecte le principe de proportionnalité (art. 96 LEI). Dans ce contexte, l'examen exigé par l'art. 96 LEI se confond avec celui commandé par l'art. 8 par. 2 CEDH, ainsi que par l'art. 13 Cst. (<ref-ruling> consid. 2.3.2; <ref-ruling> consid. 4.3).
5.3. Lors de l'examen de la proportionnalité, il y a lieu de prendre en considération la gravité de la faute commise, le temps écoulé depuis l'infraction, le comportement de l'auteur pendant cette période, le degré de son intégration, la durée du séjour en Suisse, ainsi que le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (<ref-ruling> consid. 2.3.1; 16 consid. 2.2.1; <ref-ruling> consid. 4.3).
5.4. En l'espèce, le recourant a été condamné en 2014 à une peine privative de liberté de deux ans pour viol, soit une infraction très grave, et contravention à la LStup. Le recourant était certes un jeune adulte au moment des faits, qui se sont produits en 2011. Il ne faut toutefois pas perdre de vue qu'il a, à teneur de l'arrêt attaqué, assisté au viol d'une fille de 16 ans, puis l'a violée à son tour. L'âge ne saurait excuser un acte aussi grave (cf. en ce sens arrêt 2C_802/2015 du 11 janvier 2016 consid. 6.3). Parallèlement à cette condamnation, le recourant n'a jamais donné suite aux nombreux ordres qui lui ont été donnés de quitter la Suisse. L'intérêt public à l'éloignement du recourant demeure important.
5.5. Du point de vue de l'intérêt privé, le recourant, âgé de presque 29 ans au moment de l'arrêt attaqué, vit en Suisse depuis ses 10 ans. Jusqu'à l'obtention de la nationalité espagnole en 2019, le recourant n'a toutefois jamais séjourné légalement en Suisse. Dans ces conditions, la durée de son séjour ne peut être considérée comme un élément déterminant dans l'appréciation (arrêt 2C_647/2016 du 2 décembre 2016 consid. 3.2). Cela vaut d'autant plus en l'espèce que les autorités ont à maintes reprises ordonné au recourant de quitter la Suisse. Le recourant ne saurait tirer bénéfice de ne jamais avoir obtempéré à ces ordres, dont le dernier remonte à 2017.
A teneur de l'arrêt entrepris, le recourant a suivi sa scolarité en Suisse, de la troisième à la neuvième année, a effectué une année de raccordement, a obtenu un certificat de voie secondaire générale en 2010, a fréquenté l'organisme pour le perfectionnement scolaire, la transition et l'insertion professionnelle, a travaillé comme coursier pour une pharmacie en parallèle à la préparation des examens préparatoires à l'admission au gymnase, a intégré une école de commerce et a obtenu un certificat fédéral de capacité d'employé de commerce, ainsi qu'une maturité professionnelle commerciale en septembre 2019, puis un diplôme de comptabilité orientée pratique en janvier 2021. Il a débuté, en septembre 2021, des cours préparatoires au brevet fédéral de spécialiste en finance et comptabilité. Il travaille par ailleurs depuis juillet 2019 en qualité d'assistant commercial. Le recourant n'a pas bénéficié de l'aide sociale et s'emploie à rembourser les dettes liées à la mise à sa charge des frais de la procédure ayant conduit à sa condamnation pénale. Il devait encore 16'132 fr. 55 au 26 juillet 2021. Le recourant a aussi produit plusieurs lettres de soutien de la part d'amis et de professeurs, ainsi qu'un certificat de travail intermédiaire attestant de son engagement et de ses bonnes relations de travail. Il résulte de ces faits que le recourant est bien intégré sur le plan professionnel, financier et social en Suisse. Cette intégration ne saurait cependant être décisive, dans la mesure où elle a été rendue possible par le séjour illégal et le choix, répété, du recourant de ne pas quitter la Suisse lorsque les autorités le lui ont ordonné (cf. arrêt 2C_142/2015 du 13 février 2015 consid. 3.3). Elle n'est en outre pas à ce point exceptionnelle qu'il se justifierait de lui accorder un poids significatif dans la balance des intérêts.
Le recourant est jeune, en bonne santé et dispose d'une bonne formation. Il a vécu en Espagne entre 2005 et 2007, auprès de son père. Même si un retour en Espagne ou en Equateur ne sera assurément pas évident après les nombreuses années passées en Suisse, le recourant est à un âge qui lui permet de s'intégrer et de s'habituer à un nouveau mode de vie. Rien n'indique qu'il serait confronté à des difficultés insurmontables.
5.6. Sur le vu des éléments qui précèdent, le Tribunal administratif fédéral n'a pas méconnu le principe de proportionnalité en concluant que l'intérêt privé du recourant à demeurer en Suisse ne l'emportait pas sur l'intérêt public à son éloignement. C'est partant à bon droit que les précédents juges ont confirmé le refus d'approbation à l'octroi d'une autorisation de séjour.
6.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour VI, et au Service de la population du canton de Vaud.
Lausanne, le 18 mars 2022
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
La Présidente : F. Aubry Girardin
La Greffière : E. Kleber