Faits :
A.
Par jugement du 16 octobre 2019, le Tribunal correctionnel de l'arrondissement de La Côte a condamné A._ à une peine privative de liberté de cinq ans pour contrainte sexuelle, tentative de contrainte sexuelle et viol et a ordonné son expulsion du territoire suisse pour une durée de dix ans. Il l'a également condamné au paiement d'une somme de 25'000 fr. en faveur de B._ à titre de réparation du tort moral.
B.
Par jugement du 3 mars 2020, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a très partiellement admis l'appel de A._ et réformé le jugement de première instance en annulant la révocation du sursis accordé le 2 mars 2017 par le Tribunal correctionnel de l'arrondissement de La Côte. Elle a confirmé le jugement entrepris pour le surplus. Elle s'est fondée en substance sur les faits suivants.
B.a. A._ est né en 1980 au Portugal, pays dont il est ressortissant. Il est venu en Suisse avec son frère et ses parents en 1986. Il a effectué sa scolarité obligatoire puis un apprentissage en qualité d'électricien de réseau haute tension et obtenu son diplôme en 2001. Il a travaillé dans l'installation intérieure pendant 1 an, puis 3 mois pour C._. Il a ensuite été engagé pendant 8 ans par le service électrique de D._, soit jusqu'en 2012-2013. Il s'est alors fait licencier par cet employeur et a fait une dépression. Il a ensuite été envoyé chez différentes sociétés par des agences de placement, avant de démissionner de son dernier poste. Il a alors été au chômage pendant 2-3 mois avant de retrouver du travail pour divers employeurs entre 2017 et début 2019. A._ fréquente sa compagne, E._, depuis 9 ans. Le couple a donné naissance à une petite fille en juillet 2015.
B.b. A Nyon, le 6 janvier 2019, vers 4h00 du matin, alors qu'elle sortait de la discothèque « F._ » où elle avait passé un moment avec une amie, B._ commençait à rentrer à pied, seule, chez elle, lorsqu'elle a été abordée par A._, lequel a engagé la conversation. Précisant qu'il prenait la même direction qu'elle pour aller à la gare, il lui a proposé de faire un bout de chemin ensemble, ce qu'elle a accepté. Après un trajet de quelques minutes, B._ et A._ sont entrés dans l'immeuble de celle-ci. Dans des circonstances qui n'ont pas été clairement déterminées, A._ a suivi B._ jusqu'à l'entrée de son logement. A cet endroit, à peine B._ avait-elle déverrouillé la porte que A._ l'a poussée à l'intérieur et s'est engouffré à sa suite dans l'appartement, refermant la porte derrière lui. Il s'est alors jeté sur sa victime, qu'il a poussée au sol et a entrepris de déshabiller, lui ôtant ses bottes et sa veste, et lui arrachant son pantalon et son string. Il a ensuite commencé à lui toucher le sexe, introduisant un doigt dans son vagin. B._ a alors prétendu qu'elle avait besoin d'uriner. A._ l'a laissée aller aux toilettes, faisant toutefois en sorte qu'elle ne puisse pas s'y enfermer en ôtant la clé, qu'il semble avoir replacée dans la serrure du côté extérieur de la porte. Peu après, alors que B._ rouvrait la porte dans l'intention de s'enfuir, elle s'est retrouvée face à A._ qui s'était entre-temps totalement déshabillé. A un moment donné et selon une chronologie incertaine, B._ a prétexté vouloir se faire belle - puisqu'il voulait entretenir des rapports sexuels avec elle - et s'était à nouveau rendue à la salle de bain. Là encore, A._ est intervenu. Il semble qu'alors que chacun s'agrippait à la porte de cette salle d'eau, la victime a reçu le montant de la porte en plein visage. A._ l'a ensuite amenée de force au salon, endroit où elle s'est débattue en assénant à son agresseur des coups de poing au visage et des coups avec ses jambes au niveau de son ventre et de ses parties intimes, sans effet. Pour la contraindre à l'acte sexuel, A._ a utilisé le poids de son corps et l'a saisie notamment par le cou et le visage, plaçant également sa main sur la bouche de la victime, tandis que celle-ci tentait de crier. Après lui avoir répété que si elle se comportait mieux, cela pouvait se passer autrement, qu'il ne voulait pas lui faire de mal et qu'il voulait lui donner du plaisir, A._ a obtenu de sa victime, qui avait de la peine à respirer, qu'elle lui fasse signe qu'elle n'allait pas crier. Il a alors enlevé sa main de ses voies respiratoires. Quelques instants plus tard, toutefois, B._ a recommencé à crier. Il lui a alors placé la main autour du cou, sans toutefois tenter de serrer. Malgré sa crainte de mourir, la victime a continué de crier. A._ l'a alors amenée du sol où ils se trouvaient sur le canapé et a entrepris de placer son pénis sur la bouche de B._, dans l'intention d'obtenir une fellation. La victime ne s'est pas exécutée. A._ l'a alors amenée vers un fauteuil, l'a placée contre le dossier de celui-ci et l'a pénétrée vaginalement, par derrière, répétant encore qu'il voulait juste lui donner du plaisir et qu'il ne lui ferait pas de mal. Lorsque A._ lui a fait comprendre qu'il voulait jouir et qu'ensuite ce serait fini, B._ a cessé de se débattre, attendant juste la fin de son calvaire. Après une pénétration vaginale de quelques minutes, A._ a éjaculé en partie en elle, avant de se retirer. A ce moment, B._ a vomi. Mécaniquement, elle a entrepris de nettoyer son vomi au sol, alors que son agresseur était toujours là. Il a ensuite quitté les lieux. B._ a alors fait appel à la police.
B.c. Le rapport établi par les médecins légistes, qui ont examiné B._ environ 6 heures après les faits, fait état d'ecchymoses d'allure fraîches au niveau du cuir chevelu en région pariéto-occipitale droite, au visage, à la face latérale droite du cou, aux bras, à la fesse droite et à la jambe gauche; de quelques dermabrasions au bras droit, en regard de la colonne lombaire, et aux jambes; de deux érythèmes au niveau du dos. L'examen gynécologique a mis en évidence deux abrasions au niveau des grandes lèvres.
B.d. Il ressort du rapport établi le 17 février 2020 par G._, psychologue, que B._ présente toujours de « sévères symptômes de stress post-traumatique tels que troubles du sommeil importants avec troubles de l'endormissement, réveils fréquents en raison de multiples cauchemars en relation avec l'agression, spasmes, asthénie, troubles de l'appétit en 2019 avec reprise partielle de poids actuellement, peurs voire angoisses quotidiennes, anxiété importante avec évitement des lieux liés à l'agression mais aussi évitement des lieux publics (se met à l'écart) tant la journée que la nuit et nécessité d'être accompagnée pour toute nouvelle destination ou lieux [..] ». Ce rapport expose également que « la patiente présente de plus un stress et une tension intérieure quotidiens associés à des symptômes somatiques fluctuants tels que tension musculaire, tremblement, tachypnée, dyspnée, tachycardie et vertige [...] sur le plan professionnel, la patiente est en arrêt de travail partiel à 70 % de son 80 % en raison des difficultés toujours présentes à s'exprimer en public, à téléphoner à des inconnus et à la fatigue engendrée par l'état de stress permanent que demande la réhabilitation au travail [...] »
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut principalement, avec suite de frais et dépens, à sa réforme en ce sens qu'il est libéré de tout chef d'accusation, que sa libération immédiate est ordonnée et qu'il n'est le débiteur d'aucun montant en faveur de B._, subsidiairement, que sa peine est sensiblement réduite et qu'il est renoncé à son expulsion ou, plus subsidiairement, que dite expulsion est prononcée pour une durée de cinq ans. Plus subsidiairement encore, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité précédente pour nouveau jugement.

Considérant en droit :
1.
Le recourant conteste sa culpabilité. Dans un premier moyen, il invoque la violation de son droit d'être entendu et reproche à la cour cantonale de ne pas avoir donné suite à ses réquisitions de preuve tendant à l'audition de sa compagne actuelle ainsi que de ses ex-compagnes.
1.1. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_505/2019 du 26 juin 2019 consid. 1.1.1; 6B_217/2019 du 4 avril 2019 consid. 3.1 et 6B_155/2019 du 29 mars 2019 consid. 2.1). Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236; arrêts 6B_505/2019 précité consid. 1.1.1 et 6B_155/2019 précité consid. 2.1).
1.2. Le recourant soutient que H._, I._ et E._ auraient pu témoigner qu'il s'était toujours bien comporté dans le cadre des relations qu'il avait successivement pu former avec des femmes et, en particulier, qu'il n'avait jamais eu quelque attitude violente ou contraignante à l'égard d'une femme. La cour cantonale a refusé ces auditions au motif que la compagne actuelle du recourant, E._, avait déjà été entendue. Elle avait affirmé que celui-ci n'était pas quelqu'un de violent et qu'il ne l'avait jamais forcée pendant un rapport sexuel. L'autorité précédente a admis que H._ et I._ déclareraient la même chose. Elle a toutefois considéré que leur appréciation du comportement du recourant était insuffisante pour mettre en doute la crédibilité de l'intimée au regard des éléments qu'elle a retenus.
Dans la mesure où E._ a déjà été entendue pendant l'instruction, on ne voit pas - et le recourant ne l'explique nullement - en quoi une nouvelle audition aurait été nécessaire au traitement du recours. En outre, puisque la cour cantonale a admis que les ex-compagnes confirmeraient également qu'elles n'avaient jamais eu à se plaindre de son comportement, on ne perçoit pas en quoi leur audition aurait pu contribuer à l'établissement des faits. Dans ces conditions, la cour cantonale n'a pas abusé de son pouvoir d'appréciation en écartant les réquisitions de preuve formulées devant elle par le recourant.
2.
Le recourant reproche à la cour cantonale d'avoir apprécié les preuves et établi les faits de manière arbitraire en lien avec sa condamnation pour viol, contrainte sexuelle et tentative de contrainte sexuelle. Il se plaint en outre, à cet égard, d'une violation du principe " in dubio pro reo".
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
2.2. Le recourant, qui ne nie pas les relations intimes avec l'intimée, mais se prévaut de son consentement (jugement cantonal consid. 4.3.2), s'en prend à la crédibilité de l'intimée. Il se prévaut de l'incohérence et des contradictions dans les déclarations de celle-ci.
La cour cantonale a examiné de manière détaillée les points sur lesquels les déclarations de l'intimée ont varié. Elle a constaté que l'intimée avait tout d'abord expliqué qu'ils étaient montés ensemble en ascenseur jusqu'à son appartement avant de dire qu'elle ne se souvenait pas et de tenter de donner une explication lors des débats de première instance, étant relevé qu'en définitive elle ne se souvenait pas avoir été avec son agresseur dans l'ascenseur. Elle avait également raconté qu'il l'avait poussée une fois sa porte déverrouillée, mais qu'elle n'était pas tombée alors qu'elle avait ensuite affirmé être tombée. Enfin, elle avait relaté qu'elle était allée à la salle de bain et qu'elle ne savait pas pourquoi elle n'avait pas verrouillé la porte pour échapper au recourant. Elle s'était ensuite souvenue avoir dit au recourant qu'elle voulait aller aux toilettes et qu'elle l'avait alors vu prendre la clé des WC avant qu'elle puisse y aller, précisant qu'elle avait bien les images du recourant en train de s'emparer de la clé, alors qu'en temps normal celle-ci était toujours à l'intérieur de la salle de bain.
La cour cantonale a considéré que les contradictions ci-dessus ne suffisaient pas pour douter de la crédibilité de la victime. En effet, d'une part, d'autres indices - comme les lésions constatées par expertise, le témoignage du voisin, celui de son ami, l'appel à la police immédiatement après les faits et le choc post-traumatique (dont elle souffrait encore aujourd'hui) - attestaient des dires de la victime. D'autre part, la version de cette dernière était constante et claire s'agissant des abus commis, les variations portant en définitive sur des détails non pertinents. De plus, elle était fortement alcoolisée, l'éthylotest ayant relevé une alcoolémie de 1.88 o/oo. Elle était évidemment également fatiguée, puisqu'il était environ 6 heures du matin après l'agression. Elle était aussi en état de choc et avait d'ailleurs signalé à la police qu'elle avait, pour ce motif, de la peine à être chronologique. Ainsi, l'état dans lequel elle s'était retrouvée après l'agression pouvait expliquer les divergences relevées ci-dessus. Les dires de la victime était crédibles malgré quelques souvenirs discontinus. Ils étaient corroborés par de très nombreuses preuves matérielles.
2.2.1. Le recourant discute par le menu les variations dans le discours de l'intimée et soutient que la cour cantonale n'en a pas pris la juste mesure. En cela, son argumentation consiste essentiellement à opposer sa propre appréciation à celle de la cour cantonale, dans une démarche appellatoire et, partant, irrecevable. Au demeurant, le recourant échoue à démontrer le caractère arbitraire des constatations cantonales, comme cela découle de ce qui suit.
2.2.2. Bien souvent, l'intimée a déclaré qu'elle ne se souvenait pas de certains éléments, ce qui n'est pas la même chose que d'affirmer des faits dont la réalité est contredite par les preuves du dossier. Ainsi, par exemple, le recourant fait grand cas du verre d'eau retrouvé dans l'évier de la cuisine. A cet égard, l'intimée a simplement déclaré qu'elle ne se souvenait pas de la consommation d'un verre d'eau. Quitte à vouloir convaincre les autorités de la véracité d'une histoire qui aurait en réalité été montée de toute pièce, il aurait été plus simple et plus logique d'expliquer que le recourant ou elle-même avait bu de l'eau à un moment donné, plutôt que d'admettre n'en avoir aucun souvenir. De même, ne se souvient-elle pas du chemin parcouru jusque chez elle en compagnie du recourant et elle est également confuse sur la question de savoir s'ils ont pris l'ascenseur ensemble. Le recourant y voit des tentatives de dissimuler les faits pour aboutir à une version davantage compatible avec la thèse d'une agression. Or, dans la mesure où l'intimée ne conteste pas être parvenue jusque devant la porte de chez elle avec le recourant, on ne perçoit pas ce que celle-ci aurait voulu dissimuler en expliquant ne pas bien se souvenir de ce moment. Le récit de l'intimée, émaillé de quelques « trous » sur des éléments circonstanciels, n'a pas l'apanage d'une version préparée et bien construite qui, au fil de l'enquête, se heurterait à des obstacles de cohérence ou à des faits établis.
2.2.3. Le recourant affirme que la cour cantonale ne pouvait simplement se baser sur « le postulat, prématuré et infondé, d'un soi-disant choc post-traumatique » pour expliquer les variations de l'intimée.
Il est audacieux, et en tout état irrecevable de tenter de mettre ainsi en doute le syndrome de stress post-traumatique constaté par la cour cantonale sur la base de trois certificats médicaux produits en justice. En tous les cas, les considérations cantonales n'ont rien d'insoutenables en tant qu'elles retiennent que le choc subi ensuite des événements rapportés par la victime, allié à l'importante alcoolisation - démontrée par le résultat de l'éthylotest - et à la fatigue, a pu rendre difficile pour celle-ci de livrer un récit complet et précis.
2.2.4. Le recourant reproche à la cour cantonale de n'avoir tiré aucune conclusion de la présence du soutien-gorge de l'intimée dans la salle de bain. Cette dernière affirmait en avoir porté un et ne pas savoir comment celui-ci s'était retrouvé à cet endroit, alors que le recourant avait déclaré qu'elle n'en portait pas. La cour cantonale aurait dû conclure que l'intimée devait avoir enlevé elle-même son soutien-gorge lors de son passage aux toilettes ayant précédé la relation sexuelle.
Selon les propres déclarations du recourant, l'intimée avait gardé son pull pendant les relations sexuelles (procès-verbaux d'audition des 25 janvier 2019 p. 7 et 29 mai 2019 p. 13). Il paraît ainsi peu vraisemblable que l'intimée soit allée enlever son soutien-gorge dans la salle de bain puis ait remis son pull avant de retrouver le recourant pour entretenir une relation sexuelle avec lui. Le recourant n'avance d'ailleurs pas un tel scenario. Ses allégations ne trouvent ainsi aucune assise dans le dossier.
Il n'en va pas différemment lorsque le recourant cherche à relativiser la portée du témoignage de J._. La cour cantonale a retenu que ce témoin, qui est le voisin de la victime, avait clairement expliqué avoir entendu des pleurs qui l'avaient choqué, une longue complainte, et avait également évoqué la souffrance contenue dans ces pleurs. L'autorité précédente ne voyait pas pourquoi la victime aurait pleuré si elle avait consenti à des rapports, de simples regrets ne pouvant expliquer ou justifier le genre de pleurs entendus, ce d'autant plus que les appartements étaient bien insonorisés et que les pleurs avaient réveillé J._. En tant que le recourant persiste à affirmer qu'il s'agissait de pleurs de regrets car l'intimée avait trompé son compagnon et avait entretenu un rapport non protégé, il argumente de manière purement appellatoire et sans fondement aucun. L'appréciation cantonale n'a au demeurant rien d'arbitraire au regard de la description des pleurs faite par le témoin.
2.2.5. Le recourant discute longuement le moment où l'intimée a tenté de se réfugier dans la salle de bain. En rapport avec la question de savoir pourquoi l'intimée n'avait pas verrouillé la porte de la salle d'eau, il y a lieu de relever que la clé a bien été retrouvée dans la serrure extérieure de la porte, ce qui tend à confirmer que l'intimée a effectivement été dans l'incapacité de s'enfermer.
Le recourant soutient encore que les déclarations de l'intimée à propos d'une bagarre avec la porte de la salle de bain qui lui aurait occasionné une marque sous l'oeil étaient démenties par l'analyse de l'expert K._, qui avait déclaré lors des débats de première instance : « Pour répondre à la Procureure qui me demande si ce genre de marques pourrait virer en oeil au beurre noir, nous avons interprété la lésion supérieure au sourcil comme étant compatible avec les faits. La lésion jaunâtre en dessous de l'oeil n'a pas été interprétée par nos soins car elle pouvait être antérieure vu son aspect jaunâtre. Cela me semble possible que ces deux lésions proviennent d'un montant de la porte. Mais elles n'ont pas le même âge. » Certes, comme le souligne le recourant, il en ressort que la marque sous l'oeil de l'intimée résulterait d'un choc antérieur à la nuit du 5 au 6 janvier 2019, ce que la cour cantonale n'a pas omis de relever. Mais il apparaît également qu'une autre marque sur son visage, au-dessus du sourcil, est compatible avec un coup provenant d'un montant de porte. Partant, on ne saurait conclure, comme le fait le recourant, que le constat de l'expert jetterait un doute particulièrement large sur les déclarations de l'intimée, puisqu'il demeure question d'une marque au visage compatible avec un coup porté par un battant de porte.
2.2.6. Quoi qu'il en soit, il n'était pas arbitraire de considérer que la question de la « bagarre avec la porte », comme celle de savoir si l'intimée est ou non tombée après que le recourant l'a poussée pour entrer dans son appartement, ne sont que des détails peu pertinents au regard des nombreux éléments corroborant les dires de la victime.
La cour cantonale a en effet constaté que selon l'expertise du 1er février 2019, l'examen clinique effectué directement après les faits avait relevé divers ecchymoses, dermabrasions et érythèmes. Les experts avaient mentionné que les ecchymoses constatées aux membres supérieurs et inférieurs gauches étaient compatibles avec les faits indiqués par l'expertisée, que les ecchymoses constatées au niveau du cuir chevelu, au visage et à la fesse droite pouvaient être survenues durant les faits, que les dermabrasions étaient des lésions traumatiques peu spécifiques et que celles constatées étaient d'aspect frais et pouvaient dater des faits. Le recourant ne saurait être suivi lorsqu'il avance que ces lésions seraient compatibles avec une relation sexuelle intense et dynamique. Non seulement ses allégations sont appellatoires mais elles ne trouvent pour le reste aucun ancrage dans le dossier, lui-même n'ayant jamais déclaré que sa relation sexuelle avec l'intimée, qu'il prétend consentie, aurait été émaillée d'actes de violence suffisamment importants pour marquer ainsi le corps de sa partenaire. La cour cantonale a par ailleurs retenu qu'il résultait du rapport médical que l'intimée avait relaté aux experts les événements comme elle les avait racontés au cours de la procédure, ce qui parlait en faveur de sa crédibilité.
Aux lésions physiques constatées s'ajoutent les éléments suivants : l'intimée a rapidement appelé la police à la suite du départ du recourant de son appartement. La cour cantonale a constaté que cet appel, dont elle a pu écouter l'enregistrement, montrait que la victime était complètement déboussolée et en état de choc, ce que la police avait également pu observer dès son arrivée. En outre, L._, le compagnon de la victime, a affirmé avoir été choqué par l'état de l'appartement après les faits. Il a aussi expliqué que l'intimée n'avait pu retourner vivre dans son appartement, que les faits en question l'avaient complètement transformée et qu'elle était devenue agoraphobe. Les certificats médicaux des 7 mars et 19 août 2019 indiquaient que l'événement traumatique du 6 janvier 2019 avait déclenché chez l'intimée une flambée de symptômes anxieux aigus qui remplissaient les critères diagnostiques d'une réaction aiguë à un facteur de stress, d'intensité sévère. La symptomatologie post-traumatique subsistait et avait évolué en un état de stress post-traumatique. La psychologue de la victime avait encore précisé, dans le certificat du 7 mars 2019, que l'hypothèse selon laquelle le lien entre la symptomatologie énoncée et l'agression était d'ordre causal et direct semblait parfaitement motivée, d'autant plus que le fonctionnement habituel de la patiente lui était bien connu en raison de la durée du suivi, lequel datait du 31 octobre 2011. L'intimée avait encore produit en appel un troisième certificat médical attestant qu'elle souffrait toujours d'un stress post-traumatique important qui l'empêchait de vivre normalement. Enfin, la cour cantonale a relevé avec pertinence qu'on ne discernait pas les raisons d'une éventuelle fausse accusation dans cette affaire, les parties ne se connaissant pas.
Considérant l'ensemble des éléments mis en exergue, il n'était pas insoutenable, ni contraire au principe " in dubio pro reo ", de conclure que la version de l'intimée était plus crédible que celle du recourant. L'intégration socioprofessionnelle du recourant, son cadre familial stable et son absence d'antécédents en matière sexuelle n'y changent rien.
Il s'ensuit que la condamnation du recourant pour viol, contrainte sexuelle et tentative de contrainte sexuelle ne viole pas le droit fédéral. Le grief du recourant est rejeté, dans la mesure de sa recevabilité.
3.
Au cas où sa culpabilité devait être confirmée, le recourant discute la quotité de la peine infligée à son encontre. Il soutient que la cour cantonale n'a pas suffisamment pris en considération l'impact de la détention sur sa personne, la séparation de sa famille, le caractère particulièrement difficile de la détention ainsi que son effet négatif sur sa vie professionnelle. Une peine inférieure aurait permis d'envisager un sursis complet, voire partiel.
3.1. Aux termes de l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
La culpabilité doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 6.1.1 p. 66; <ref-ruling> consid. 5 p. 57 ss; <ref-ruling> consid. 2.1 p. 19 s.). Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Sa décision sur ce point ne viole le droit fédéral que s'il est sorti du cadre légal, s'il s'est fondé sur des critères étrangers à l'<ref-law>, s'il a omis de prendre en considération des éléments prévus par cette disposition ou s'il a abusé de son pouvoir d'appréciation en fixant une peine exagérément sévère ou excessivement clémente (<ref-ruling> consid. 1.2 p. 319).
La perspective que l'exécution d'une peine privative de liberté puisse détacher le condamné d'un environnement favorable peut, selon les circonstances concrètes du cas, déployer un effet atténuant et conduire au prononcé d'une peine inférieure à celle qui serait proportionnée à sa culpabilité (ATF <ref-ruling> consid. 3.4 p. 24). Cela étant, il est inévitable que l'exécution d'une peine ferme d'une certaine durée ait des répercussions sur la vie professionnelle et familiale du condamné. Ces conséquences ne peuvent conduire à une réduction de la peine qu'en cas de circonstances extraordinaires (arrêts 6B_291/2020 du 15 mai 2020 consid. 2.2.2; 6B_352/2018 du 27 juillet 2018 consid. 4.1.2; 6B_1182/2017 du 12 avril 2018 consid. 2.3).
Lors de la fixation de la peine, le juge doit tenir compte du fait que certains délinquants sont plus durement touchés par l'exécution d'une peine privative de liberté. La vulnérabilité face à la peine ne doit cependant être retenue comme circonstance atténuante que si elle rend la sanction considérablement plus dure que pour la moyenne des autres condamnés, par exemple en présence de maladies graves, de psychoses claustrophobiques ou de surdimutité (cf. arrêts 6B_241/2020 du 6 mai 2020 consid. 4.1; 6B_1463/2019 du 20 février 2020 consid. 2.1.1; 6B_71/2016 du 5 avril 2017 consid. 4.2).
3.2. Avant sa détention, le recourant vivait avec sa compagne et son enfant et il était au bénéfice d'un emploi. Cette situation n'a rien d'extraordinaire. C'est à raison que la cour cantonale n'a pas tenu compte de ces éléments dans la fixation de la peine.
A teneur du jugement cantonal, selon un rapport du service médical de la Prison M._, le recourant a présenté d'importants troubles de l'adaptation marqué par un état anxio-dépressif et des difficultés d'adaptation aux conditions de la détention ordinaire. Dans ce contexte, il a été transféré à l'unité psychiatrique de la prison, où il a bénéficié d'un suivi psychiatrique régulier et d'un traitement psychotrope. Cette prise en charge psychiatrique lui a permis de retrouver une certaine stabilité et il a demandé de lui-même sa sortie de l'Unité psychiatrique pour être transféré à la prison N._. La cour cantonale a tenu compte de la santé fragile du recourant dans l'appréciation de la peine (jugement attaqué, consid. 5.3 p. 31). Pour le reste, le recourant n'expose pas en quoi, en se fondant sur les faits constatés, par lesquels le Tribunal fédéral est lié, sa situation présenterait un caractère si exceptionnel qu'une réduction de la peine s'imposerait pour ce motif. Mal fondé, son grief doit être rejeté.
3.3. Les griefs élevés à l'encontre de la peine sont donc infondés et le recourant n'en discute pas la quotité sous un autre angle. Pour le surplus, la possibilité d'un sursis n'entre pas en ligne de compte s'agissant d'une peine privative de liberté de cinq ans (cf. art. 42 et 43 CP).
4.
Le recourant critique son expulsion du territoire suisse.
4.1. Aux termes de l'<ref-law>, le juge expulse de Suisse l'étranger qui est condamné pour contrainte sexuelle et viol (let. h), quelle que soit la quotité de la peine prononcée à son encontre, pour une durée de cinq à quinze ans. Selon l'<ref-law>, le juge peut exceptionnellement renoncer à une expulsion lorsque celle-ci mettrait l'étranger dans une situation personnelle grave et que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse. À cet égard, il tiendra compte de la situation particulière de l'étranger qui est né ou qui a grandi en Suisse.
La clause de rigueur permet de garantir le principe de la proportionnalité (art. 5 al. 2 Cst.). Elle doit être appliquée de manière restrictive (<ref-ruling> consid. 3.4.2 p. 108; <ref-ruling> consid. 3.3.1 p. 340). Selon la jurisprudence du Tribunal fédéral (<ref-ruling> consid. 3.4 p. 108ss; <ref-ruling> consid. 3.3.2 p. 340 s.), il convient de s'inspirer des critères énoncés à l'art. 31 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201). L'art. 31 al. 1 OASA prévoit qu'une autorisation de séjour peut être octroyée dans les cas individuels d'extrême gravité. L'autorité doit tenir compte notamment de l'intégration du requérant selon les critères définis à l'art. 58a al. 1 de la loi fédérale sur les étrangers et l'intégration (LEI; RS 142.20), de la situation familiale, particulièrement de la période de scolarisation et de la durée de la scolarité des enfants, de la situation financière, de la durée de la présence en Suisse, de l'état de santé ainsi que des possibilités de réintégration dans l'Etat de provenance. Comme la liste de l'art. 31 al. 1 OASA n'est pas exhaustive et que l'expulsion relève du droit pénal, le juge devra également, dans l'examen du cas de rigueur, tenir compte des perspectives de réinsertion sociale du condamné (ATF <ref-ruling> consid. 3.3.2 p. 340 s.). En règle générale, il convient d'admettre l'existence d'un cas de rigueur au sens de l'<ref-law> lorsque l'expulsion constituerait, pour l'intéressé, une ingérence d'une certaine importance dans son droit au respect de sa vie privée et familiale garanti par la Constitution fédérale (art. 13 Cst.) et par le droit international, en particulier l'art. 8 CEDH (arrêts 6B_825/2020 du 28 octobre 2020 consid. 4.1; 6B_397/2020 du 24 juillet 2020 consid. 6.1; 6B_344/2020 du 9 juillet 2020 consid. 3.1).
Un étranger peut se prévaloir de l'art. 8 par. 1 CEDH (et de l'art. 13 Cst.), qui garantit notamment le droit au respect de la vie familiale, pour s'opposer à l'éventuelle séparation de sa famille, pour autant qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 2.1 p. 336 et les références citées). Les relations familiales visées par l'art. 8 par. 1 CEDH sont avant tout celles qui concernent la famille dite nucléaire, soit celles qui existent entre époux ainsi qu'entre parents et enfants mineurs vivant en ménage commun (cf. <ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 1.3.2 p. 146).
4.2. La cour cantonale a constaté que l'intérêt privé du recourant à demeurer en Suisse était important et qu'il pouvait se prévaloir d'un droit au respect de sa vie familiale au sens de l'art. 8 CEDH. En effet, il était arrivé dans ce pays à l'âge de 6 ou 7 ans avec son frère et ses parents. Il avait suivi en Suisse toute sa scolarité obligatoire et y avait effectué un apprentissage d'électricien. Ses liens sociaux et familiaux en Suisse étaient importants. Ainsi, il était en couple depuis de nombreuses années avec E._, avec laquelle il avait eu une enfant, née en juillet 2015. Il avait des liens et des contacts réguliers avec sa famille et sa belle-famille, qui vivaient tous en Suisse et en France. Il avait régulièrement travaillé, avait connu des périodes de chômage mais ne semblait pas avoir de difficulté particulière à trouver des emplois.
L'autorité précédente a considéré que les intérêts présidant à son expulsion étaient toutefois plus importants. En effet, le recourant était condamné pour des infractions très graves, soit pour viol, contrainte sexuelle et tentative de contrainte sexuelle. Son ancrage en Suisse, ses liens familiaux et même la naissance de sa fille ne l'avaient à l'évidence pas dissuadé de commettre des infractions. En effet, son casier judiciaire comportait déjà six autres condamnations, notamment pour des infractions à la LStup, soustraction d'énergie, infraction à la LCR, vol, dommages à la propriété, violation de domicile, détournement de valeurs patrimoniales mises sous-main de justice et dénonciation calomnieuse. Il persistait à nier les faits, mêmes ceux relatifs à des condamnations antérieures, ce qui faisait douter la cour cantonale d'une réelle prise de conscience de la gravité de ses actes et d'une remise en cause sincère. Ses perspectives de réintégration au Portugal devaient être considérées comme bonnes, le recourant retournant dans ce pays pour les vacances. Il avait une formation et pourrait trouver du travail comme électricien dans son pays d'origine. Il expliquait avoir du mal avec la langue mais ne contestait pas la parler. Sa famille possédait un logement au Portugal où il avait d'ailleurs passé les fêtes de fin d'année 2018. Les contacts avec sa compagne et sa fille pourraient être maintenus par l'intermédiaire des moyens de communication modernes ou pendant les vacances. Au regard de l'ensemble de ces éléments, son expulsion fixée à 10 ans était adéquate.
4.3. Le recourant soutient que son intérêt à demeurer en Suisse est bien plus important que retenu par la cour cantonale. Pour autant, il ne soulève aucun élément pertinent, se rapportant à son intérêt privé, que l'autorité précédente aurait arbitrairement méconnu. Le recourant discute essentiellement l'appréciation de la cour cantonale quant à ses possibilités de réinsertion au Portugal. Sur ce point, l'autorité précédente pouvait s'appuyer sur ses différents séjours dans ce pays pour constater qu'il y entretenait toujours des liens et elle a observé à juste titre que sa famille y disposait d'un logement. En outre, il est admis qu'il est capable de parler le portugais et on peut attendre de lui qu'il se perfectionne dans cette langue, en particulier dans le domaine technique nécessaire à l'exercice de son activité professionnelle. Pour le reste, il est évident que ce n'est pas parce que le contact entre les individus peut, de nos jours, être plus aisément maintenu grâce aux moyens de télécommunication modernes que l'éloignement physique de ses proches n'est pas source de souffrance. L'atteinte au droit au respect de la vie familiale du recourant a d'ailleurs été reconnue par la cour cantonale. Cette atteinte est toutefois admissible si des intérêts prépondérants la justifie.
A cet égard, le recourant ne conteste pas que les intérêts publics présidant à son expulsion puissent être qualifiés d'importants au regard de la gravité des infractions commises, de ses antécédents et de son absence de prise de conscience. Il est précisé que la peine privative de liberté à laquelle il a été condamné dépasse largement une année, ce qui aurait, cas échéant, pu permettre une révocation de son autorisation de séjour sur la base de l'art. 62 al. 1 let. b LEI [cf. <ref-ruling> consid. 2.1 p. 147, selon lequel constitue une « peine privative de liberté de longue durée » au sens de l'art. 62 al. 1 let. B LEtr [depuis le 1er janvier 2019 : LEI] toute peine dépassant un an d'emprisonnement). En définitive, la cour cantonale n'a pas violé le droit fédéral en considérant que les intérêts publics à l'expulsion du recourant l'emportait sur son intérêt privé à demeurer en Suisse. L'expulsion, ordonnée pour une durée de dix ans, s'avère conforme au principe de la proportionnalité découlant des art. 5 al. 2 Cst. et 8 § 2 CEDH.
5.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). L'intimée, qui n'a pas été invitée à se déterminer, ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 novembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy