Faits:
A.
Par jugement du 13 mai 2020, le Tribunal correctionnel de l'arrondissement de Lausanne a constaté que A._ s'était rendu coupable de tentative de viol et de contravention à la loi fédérale sur les stupéfiants, l'a condamné à une peine privative de liberté de 30 mois ainsi qu'à une amende de 300 fr., a révoqué le sursis accordé à A._ le 31 août 2016 par le Tribunal de police de Lausanne et ordonné l'exécution de la peine privative de liberté de 6 mois, peine comprise dans la peine d'ensemble, et a renoncé à ordonner l'expulsion de A._ du territoire suisse.
B.
Par jugement du 9 octobre 2020, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis l'appel du Ministère public et rejeté l'appel joint de A._ à l'encontre de la décision de première instance. Elle a réformé cette décision en ce sens que A._ est condamné à une peine privative de liberté de 40 mois ainsi qu'à une amende de 300 fr. et qu'il est prononcé son expulsion du territoire suisse. Elle a confirmé le jugement entrepris pour le surplus. La cour cantonale a retenu les faits suivants.
B.a. A._ est né en 1993 à U._. Ressortissant italien au bénéfice d'un permis d'établissement, il a effectué sa scolarité obligatoire en Suisse jusqu'en huitième année. Il a ensuite suivi un préapprentissage de poseur de sols pendant deux ans, qui s'est terminé prématurément, notamment en raison de son absentéisme. Il a alors effectué différents stages en entreprise mais n'a pas pu obtenir de place d'apprentissage en raison, d'après lui, de ses lacunes théoriques. Il a ensuite travaillé au C._, activité qu'il a abandonnée car il avait retrouvé du travail sur un chantier. Avant sa mise en détention provisoire dans le cadre de la présente cause, il n'avait aucune activité lucrative et émargeait à l'aide sociale. Célibataire, il est le père d'une enfant née en 2013. Il voyait régulièrement sa fille avant son incarcération, à raison de trois fois par semaine, et aidait financièrement la mère de cette dernière lorsque ses moyens le lui permettaient. Ses parents, ses frères et soeurs ainsi que des tantes vivent en Suisse, plus particulièrement dans la région U._. A._ a expliqué qu'il ne s'était plus rendu en Italie depuis l'âge de 16 ou 17 ans, qu'il maîtrisait moyennement l'italien et qu'il n'avait plus que des tantes avec lesquelles il n'entretenait que peu de contacts dans ce pays. A l'audience d'appel, il a expliqué qu'il continuait son suivi psychiatrique en détention, que le traitement se passait bien, qu'il l'aidait à comprendre comment gérer ses pulsions et qu'il avait l'intention de poursuivre un tel suivi en dehors de la prison et de rester abstinent à l'alcool. Il a reconnu qu'il continuait à consommer du cannabis en détention, parce que la prison était dure. Il a enfin dit qu'il avait gardé son appartement et entrepris des démarches pour trouver un travail à sa sortie de détention; il voudrait avoir une vie normale et s'occuper de sa fille. A._ a des dettes pour environ 30'000 fr. de factures et frais de justice impayés.
B.b. Le casier judiciaire suisse de A._ contient les inscriptions suivantes:
- 24 mai 2012, Tribunal des mineurs de Lausanne, 8 jours de privation de liberté DPMin dont 5 jours avec sursis pour lésions corporelles simples et vol d'usage;
- 3 juin 2013, Ministère public de l'arrondissement du Nord vaudois, peine pécuniaire de 30 jours-amende à 40 fr. et amende de 300 fr. pour opposition aux actes de l'autorité, vol d'usage d'un véhicule automobile et conduite d'un sans le permis de conduire requis;
- 31 août 2016, Tribunal de police de l'arrondissement de Lausanne, peine privative de liberté de 6 mois avec sursis pendant 3 ans, prolongé d'une année le 12 décembre 2017, et amende de 800 fr., pour contrainte sexuelle;
- 1er septembre 2017, Ministère public de l'arrondissement de Lausanne, peine pécuniaire de 120 jours-amende à 30 fr. et amende de 600 fr. pour violation grave des règles de la circulation routière, opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire, violation des obligations en cas d'accident, conduite d'un véhicule défectueux, vol d'usage d'un véhicule automobile et conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis;
- 1er novembre 2017, Ministère public de l'arrondissement de Lausanne, 100 jours-amende à 20 fr. pour dommages à la propriété et lésions corporelles simples;
- 12 décembre 2017, Ministère public de l'arrondissement de Lausanne, peine pécuniaire de 30 jours-amende à 20 fr. et amende de 500 fr. pour voies de fait (partenaire hétérosexuel ou homosexuel) et menaces (partenaire hétérosexuel ou homosexuel);
- 24 octobre 2018, Ministère public de l'arrondissement de Lausanne, peine pécuniaire de 40 jours-amende à 30 fr. et amende de 1000 fr. pour vol d'importance mineure, dommages à la propriété et contravention à la loi fédérale sur les stupéfiants.
B.c. Le 5 octobre 2020, la Direction de la Prison de la Croisée a rendu un rapport au sujet de la détention de A._. Il en ressort essentiellement que le comportement de l'intéressé répond entièrement aux attentes.
B.d. En cours d'instruction, A._ a été soumis à une expertise psychiatrique, confiée au Département de psychiatrie du CHUV. Les experts ont rendu un rapport daté du 1er novembre 2019, dont il ressort que l'intéressé présente une accentuation de certains traits de personnalité, une utilisation nocive pour la santé d'alcool ainsi qu'un syndrome de dépendance au cannabis, actuellement abstinent dans un environnement protégé. En raison de l'impulsivité qui le caractérise ainsi que de sa consommation d'alcool qui potentialise cette impulsivité et favorise un passage à l'acte, les experts ont estimé qu'au moment des faits, la responsabilité de A._ était légèrement diminuée. Le risque que ce dernier commette des délits de même nature que ceux déjà commis antérieurement était élevé s'il venait à consommer de l'alcool de façon importante. En cas d'abstinence, le risque était moyen. Les experts n'ont recommandé aucune mesure ou traitement. Dans le chapitre «discussion», le rapport d'expertise relève notamment que l'intéressé présente une impulsivité marquée et que lorsqu'il désire obtenir quelque chose, la satisfaction de la pulsion prime au détriment des règles sociales. Il est également précisé qu'il présente des difficultés à se projeter dans le futur et à prendre en considération la conséquence de ses actes. Cela étant, à dires d'expert, A._ ne présentait pas de critères suffisants pour retenir un diagnostic de trouble de la personnalité.
B.e. Le Service de médecine et psychiatrie pénitentiaires a indiqué, dans un rapport du 8 mai 2020, que A._ était suivi depuis le début de son incarcération et ce de façon mensuelle. Ce dernier se présentait régulièrement aux entretiens dont il était demandeur, il investissait l'espace thérapeutique, se montrait adéquat et compliant durant les entretiens. Il se montrait en outre désireux de continuer le suivi à sa libération. Le 8 janvier 2020, A._ s'était adressé à la Fondation du Levant afin de bénéficier d'une prise en charge ambulatoire à sa sortie de prison.
B.f. Le 12 avril 2019, vers 03h50, à Lausanne, alors qu'il était alcoolisé (0,71 mg/I à 04h15), A._ a repéré B._, qu'il ne connaissait pas, à la rue V._ et l'a suivie jusqu'à l'entrée de son immeuble de la rue W._, en lui faisant plusieurs compliments sur son physique tandis qu'elle marchait devant lui. Devant la porte, A._ a abordé B._ en lui demandant si elle vivait là et lui a déclaré de but en blanc : «on va le faire». Alors que B._ avait composé le code d'entrée et ouvert la porte de l'immeuble, A._, qui se trouvait alors à côté d'elle, s'est engouffré à sa suite. La jeune femme lui a demandé de partir et de la laisser, et a tenté de le repousser de ses mains et de lui refermer la porte au nez, sans succès. A._ l'a immédiatement plaquée contre un mur et a repoussé son bras lorsqu'elle a essayé d'agripper la poignée et rouvrir la porte d'entrée afin de prendre la fuite. A._ a ensuite passé une main par l'encolure du t-shirt de B._ et une autre par-dessous l'habit pendant qu'il la maintenait contre le mur avec ses jambes et le poids de son corps. Il lui a caressé avec insistance et serré la poitrine à même la peau tout en lui enjoignant de se laisser faire. Puis, A._ a déchiré le collant de B._ au niveau de l'entrejambe et passé avec insistance sa main sur les parties génitales de celle-ci. Afin de le calmer et de le convaincre de la laisser ressortir, B._ a alors raconté à A._ qu'elle avait trop bu et qu'elle avait besoin d'air frais. Celui-ci ne lui a cependant pas répondu et est au contraire devenu plus insistant, de sorte que B._ - qui s'était montrée plutôt expectante jusque-là pour ne pas le mécontenter - a pris conscience qu'elle ne réussirait pas à lui faire entendre raison et a commencé à se débattre plus ardemment, tentant de le repousser avec ses deux mains et lui balançant des coups de pieds, notamment dans et entre les jambes. Elle a finalement réussi à se soustraire de son emprise un bref instant et s'est précipitée vers l'ascenseur situé à l'opposé de la porte d'entrée. A._ l'a retenue par les poignets tout en essayant de la tirer au sol. Toujours dans l'intention de la mettre par terre, il l'a poussée dans le dos et lui a donné un coup sur la tête, ce qui a eu pour effet de faire tomber la jeune femme sur ses genoux. Comprenant que si elle restait dans cette position, elle ne pourrait pas s'en sortir, B._ s'est immédiatement relevée. A nouveau, A._ l'a poussée et plaquée contre le mur, et il a repris ses attouchements au niveau de sa poitrine et son entrejambe. Par la déchirure qu'il avait précédemment faite dans son collant, A._ a écarté la culotte de la jeune femme et lui a inséré un doigt dans le vagin, en faisant des mouvements de va-et-vient. Ensuite, comme elle se débattait toujours, A._ lui a asséné un second coup de poing sur la tête, ce qui l'a à nouveau fait tomber à genoux. La jeune femme s'est alors mise à crier très fort. A._ a continué quelques secondes encore à lui imposer des attouchements puis lui a donné un dernier coup sur la tête qui lui a effleuré la joue, avant de prendre la fuite. A la suite à l'agression, B._ a souffert de douleurs à la mâchoire et à la tête, d'une ecchymose et de quelques dermabrasions sur le membre supérieur gauche.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 9 octobre 2020. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est renoncé à son expulsion du territoire suisse.

Considérant en droit :
1.
Le recourant s'oppose à son expulsion du territoire suisse. ll forme différentes critiques quant à l'appréciation des preuves et à l'établissement des faits.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.1, 88 consid. 1.3.1).
1.2. La cour cantonale a retenu que l'expulsion du recourant, qui est né et a toujours vécu en Suisse - où la majorité de sa famille la plus proche réside également - constituait une atteinte lourde à sa situation personnelle. Cela étant, ses perspectives de réinsertion professionnelle après l'exécution de sa peine privative de liberté demeuraient aléatoires, puisque les renseignements à son sujet étaient mauvais, qu'il n'était jamais parvenu à conserver un emploi et qu'il émargeait à l'aide sociale depuis près de deux ans lors de son arrestation. L'intéressé n'avait cessé de commettre des infractions depuis 2012. Sa maîtrise de l'italien était suffisante et il avait de la famille en Italie, de sorte que ses perspectives d'insertion dans ce pays n'étaient pas moins bonnes que celles dont il disposait en Suisse. Il ne pouvait pas se prévaloir véritablement des liens avec sa fille, née en 2013, alors qu'il n'avait cessé de commettre des infractions depuis lors et que ce lien était quoi qu'il en soit compromis par l'exécution des peines. Compte tenu de la proximité avec son pays d'origine, le maintien des relations familiales de l'intimé resterait possible. Ainsi, si l'atteinte aux intérêts personnels de A._ était indéniable, il ne restait pas moins que l'atteinte à l'ordre public était encore plus importante. En effet, le recourant était un récidiviste d'agressions sexuelles et il présentait un risque de récidive élevé en cas de consommation d'alcool, le risque étant encore qualifié par les experts psychiatres de moyen, même en période d'abstinence. En définitive, la cour cantonale a jugé que la nécessité d'éviter une nouvelle victime d'infraction à l'intégrité sexuelle devait l'emporter sur les inconvénients professionnels et familiaux que représentait l'expulsion pour le recourant. L'intérêt public à son expulsion l'emportait donc sur son intérêt privé à demeurer en Suisse.
1.3. Le recourant soutient que la cour cantonale a établi les faits relatifs à sa situation personnelle et professionnelle de manière manifestement inexacte. Il était faux de considérer que sa réinsertion professionnelle en Suisse était aléatoire dans la mesure où il avait, pendant deux ans, aidé à poser des sols et qu'il avait reçu une proposition pour un entretien d'embauche, produite devant l'instance d'appel. Il ressortait également des procès-verbaux de la procédure que sa famille proche représentait un soutien nécessaire à sa réinsertion et qu'avant son incarcération, il voyait sa fille au moins trois fois par semaine et envisageait même une garde alternée. En outre, sa relation avec elle était demeurée étroite en dépit de son incarcération. La cour cantonale avait tiré des déductions insoutenables des moyens de preuve en affirmant que le recourant ne pouvait se prévaloir véritablement de liens avec sa fille. Enfin, c'est à tort que la cour cantonale a retenu que ses possibilités d'insertion dans son pays d'origine ne seraient pas moins bonnes que celles dont il disposait en Suisse, car sa famille en Italie se limitait à deux vieilles tantes qu'il ne connaissait pas et sa maîtrise de l'italien n'était pas parfaite.
1.4. En substance, le recourant se contente d'opposer sa propre appréciation des différents critères déterminants de l'expulsion pénale (cf. consid. 2.1 infra) à celle de la cour cantonale, dans un procédé appellatoire, partant irrecevable.
En tout état, le recourant ne conteste pas n'avoir aucune formation, n'être jamais parvenu à conserver un emploi (la durée de deux ans qu'il mentionne se rapportant à son préapprentissage qui a pris fin prématurément en raison de son absentéisme) et émarger depuis deux ans à l'aide sociale. Il n'était pas arbitraire d'en déduire que les perspectives d'insertion professionnelle du recourant en Suisse paraissaient aléatoires, le fait que le recourant ait produit une proposition d'entretien d'embauche devant la cour cantonale n'apparaissant pas déterminant dans ce contexte. Il n'était pas davantage insoutenable de considérer que ses perspectives sur le marché de l'emploi n'étaient pas moins bonnes en Italie, où il pourra, pas moins qu'en Suisse, faire valoir l'expérience professionnelle qu'il affirme avoir malgré tout acquise.
La cour cantonale n'a pas omis de constater que le recourant voyait régulièrement sa fille avant son incarcération (jugement entrepris, p. 10). Il ressort toutefois des constatations de fait - qui ne sont pas contestées - qu'avant son incarcération, le recourant ne vivait pas sous le même toit qu'elle, qu'il ne contribuait qu'aléatoirement à son entretien et qu'il n'avait cessé de commettre des infractions depuis sa naissance. Dans cette mesure, la force des liens qui l'unit à sa fille pouvait, sans arbitraire, être relativisée.
Enfant de parents d'origine italienne, le recourant a admis qu'il avait une maîtrise moyenne de cette langue. Il peut cependant être attendu de lui qu'il se perfectionne dans l'optique de s'intégrer dans son pays d'origine, de sorte qu'ici également, il n'était pas arbitraire de retenir que le recourant avait une maîtrise suffisante de la langue italienne. Enfin, même s'il est admis que le recourant connaît mal ses deux tantes qui vivent en Italie, il n'est pas non plus insoutenable de considérer que la présence de membres de sa famille dans ce pays peut contribuer à faciliter son installation. Pour le surplus, la cour cantonale n'a pas manqué de relever que toute la famille proche du recourant était en Suisse et que sa réintégration dans son pays d'origine ne serait pas chose aisée, puisqu'elle a reconnu que son renvoi le plaçait dans une situation personnelle grave.
1.5. Le recourant fait encore grief à la cour cantonale de passer sous silence sa prise de conscience, intervenue pendant l'exécution de la peine. Il allègue que même s'il a déjà fait l'objet de plusieurs condamnations, c'est la première fois qu'il est incarcéré, ce qui lui a permis de prendre la mesure de la gravité de son comportement.
Sur ce point, la cour cantonale a relevé que le recourant bénéficiait d'un suivi psychiatrique et déclarait vouloir le poursuivre à sa sortie de prison. Elle a toutefois considéré que les regrets et excuses exprimés par le prénommé apparaissaient de circonstance, tout comme la prise de conscience qui aurait eu lieu au cours de la détention. Le recourant lui avait fait mauvaise impression lors de l'audience d'appel, notamment, comme on le comprend, en niant avoir voulu violer la victime et en affirmant ne pas avoir fait exprès de lui avoir donné des coups de poings. La cour cantonale n'a donc pas passé sous silence la prise de conscience alléguée par le recourant, mais a retenu que celle-ci n'était pas établie. En tant que le recourant se limite à affirmer le contraire, il ne démontre pas l'arbitraire de cette constatation, qui n'a au demeurant rien d'absurde dans la mesure où, devant la cour cantonale encore, le recourant persistait à nier une partie des faits et à minimiser ses actes.
Eu égard à ce qui précède, le grief d'arbitraire est infondé, dans la mesure de sa recevabilité.
2.
Le recourant n'a soulevé, formellement, que le grief d'arbitraire dans l'établissement des faits. Toutefois, au regard de sa motivation, on comprend qu'il soutient que sa situation relève du cas de rigueur au sens de l'<ref-law>. Dans la mesure où ce grief peut être compris comme étant indépendant de celui tiré d'une violation de l'art. 9 Cst., il y a lieu de considérer ce qui suit.
2.1. Aux termes de l'art. 66a al. 1 let. h CP, le juge expulse de Suisse l'étranger qui est condamné pour viol, quelle que soit la quotité de la peine prononcée à son encontre, pour une durée de 5 à 15 ans.
Selon l'<ref-law>, le juge peut exceptionnellement renoncer à une expulsion lorsque celle-ci mettrait l'étranger dans une situation personnelle grave et que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse. A cet égard, il tiendra compte de la situation particulière de l'étranger qui est né ou qui a grandi en Suisse.
La clause de rigueur permet de garantir le principe de la proportionnalité (art. 5 al. 2 Cst.). Elle doit être appliquée de manière restrictive (<ref-ruling> consid. 3.4.2 p. 108; <ref-ruling> consid. 3.3.1 p. 340). Selon la jurisprudence du Tribunal fédéral (<ref-ruling> consid. 3.4 p. 108 ss; <ref-ruling> consid. 3.3.2 p. 340 s.), il convient de s'inspirer des critères énoncés à l'art. 31 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201). L'art. 31 al. 1 OASA prévoit qu'une autorisation de séjour peut être octroyée dans les cas individuels d'extrême gravité. L'autorité doit tenir compte notamment de l'intégration du requérant selon les critères définis à l'art. 58a al. 1 de la loi fédérale sur les étrangers et l'intégration (LEI; RS 142.20), de la situation familiale, particulièrement de la période de scolarisation et de la durée de la scolarité des enfants, de la situation financière, de la durée de la présence en Suisse, de l'état de santé ainsi que des possibilités de réintégration dans l'État de provenance. Comme la liste de l'art. 31 al. 1 OASA n'est pas exhaustive et que l'expulsion relève du droit pénal, le juge devra également, dans l'examen du cas de rigueur, tenir compte des perspectives de réinsertion sociale du condamné (ATF <ref-ruling> consid. 3.3.2 p. 340 s.).
Dans l'appréciation du cas de rigueur, l'art. 66a al. 2 2ème phrase CP impose expressément de prendre en considération la situation particulière de l'étranger qui est né ou qui a grandi en Suisse. L'examen de la clause de rigueur doit être effectué dans chaque cas sur la base des critères d'intégration habituels (cf. ATF <ref-ruling> consid. 3.3.2 p. 340 s.). La situation particulière des étrangers nés ou ayant grandi en Suisse est prise en compte en ce sens qu'une durée de séjour plus longue, associée à une bonne intégration - par exemple en raison d'un parcours scolaire effectué en Suisse - doit généralement être considérée comme une indication importante de l'existence d'intérêts privés suffisamment forts et donc tendre à retenir une situation personnelle grave. Lors de la pesée des intérêts qui devra éventuellement être effectuée par la suite, la personne concernée doit se voir accorder un intérêt privé plus important à rester en Suisse au fur et à mesure que la durée de sa présence augmente. A l'inverse, on peut partir du principe que le temps passé en Suisse est d'autant moins marquant que le séjour et la scolarité achevée en Suisse sont courts, de sorte que l'intérêt privé à rester en Suisse doit être considéré comme moins fort (<ref-ruling> consid. 3.4.4 p. 109 s.; arrêt 6B_40/2021 du 29 septembre 2021 consid. 4.2).
2.2. Comme déjà mentionné, le recourant, qui a toujours vécu en Suisse, où il est né, est père d'un enfant, qui vit également en Suisse, avec lequel il entretient des contacts. Sa famille proche vit également dans ce pays. Dans ces conditions, c'est à juste titre que la cour cantonale a retenu qu'un renvoi du recourant en Italie, pays dans lequel il n'a jamais vécu, le placerait dans une situation personnelle grave, si bien que la première condition cumulative de l'<ref-law> est réalisée.
2.3. Il convient encore d'examiner si l'intérêt privé du recourant à demeurer en Suisse peut l'emporter sur l'intérêt public présidant à son expulsion.
Selon l'état de fait cantonal, établi sans arbitraire (consid. 1 supra), l'intérêt privé du recourant à demeurer en Suisse résulte essentiellement de sa présence dans ce pays depuis sa naissance ainsi que de celle des membres de sa famille. Pour le reste, l'intégration du recourant en Suisse est faible, que ce soit au niveau social, économique ou professionnel. Il sied encore de relever que le recourant est renvoyé dans un pays limitrophe, de sorte que les membres de sa famille restés en Suisse devraient pouvoir lui rendre visite régulièrement et lui apporter leur soutien. Les contacts du recourant avec sa fille pourront, en particulier, être maintenus par l'intermédiaire des moyens de communication modernes ainsi que par des séjours dans le pays d'origine du recourant, ce d'autant que celui-ci est proche géographiquement du pays de résidence de l'enfant (cf. <ref-ruling> consid. 5.1 p. 96 s. et les références citées; arrêt 6B_330/2021 du 15 septembre 2021 consid. 4.4.2).
Sur le plan de l'intérêt public à l'expulsion, il y a lieu de tenir compte du fait que le recourant a commis une tentative de viol, sa faute étant qualifiée de lourde. Comme la cour cantonale l'a relevé, le recourant s'en était pris avec insistance et brutalité à une victime choisie au hasard qu'il avait terrorisée. La tentative de viol n'était qualifiée de telle qu'en raison de l'absence de conjonction des organes génitaux, mais il n'en restait pas moins que le recourant avait fait subir des attouchements et des pénétrations digitales à la victime, ces actes de contrainte sexuelle étant absorbés par la qualification de tentative de viol. Le recourant avait également frappé la victime au visage à plusieurs reprises lorsque celle-ci avait essayé de se soustraire à son emprise. Ce comportement dénote d'une dangerosité particulière. Par ailleurs, ses antécédents sont très mauvais puisque le recourant, âgé de 25 ans au moment des faits, est condamné pour la huitième fois en sept ans. Ces nombreuses infractions mettent en lumière un sévère mépris des lois et de l'ordre juridique suisse. Le recourant présente également un antécédent spécifique, ayant été condamné pour des faits similaires en août 2016. Le risque de récidive de violence sexuelle a été qualifié d'élevé en cas de consommation d'alcool et de moyen en période d'abstinence. Compte tenu de ces éléments, l'ordre et la sécurité publiques sont gravement menacés. L'intérêt public à l'expulsion du recourant est dès lors très important.
Au regard de ce qui précède, l'intérêt public à l'expulsion du recourant l'emporte sur l'intérêt privé de celui-ci à demeurer en Suisse, de sorte que cette mesure, prononcée pour une durée de 5 ans et correspondant au minimum prévu par l'<ref-law>, ne porte pas atteinte au principe de la proportionnalité. Pour le surplus, s'il évoque l'art. 8 CEDH, le recourant ne motive pas de violation de cette disposition. Quoi qu'il en soit, une restriction au principe du respect de la vie privée et familiale pourrait également être justifiée ici, conformément au principe de proportionnalité (art. 8 par. 2 CEDH).
3.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 octobre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy