Faits :
A.
Par jugement du 30 juin 2020, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a constaté que A._ s'était rendu coupable de voies de fait, dommages à la propriété, injure, menaces, contrainte sexuelle, viol, violation grave des règles de la circulation routière, conduite d'un véhicule automobile sans autorisation et contravention à la Loi fédérale sur les stupéfiants, et l'a condamné à une peine privative de liberté de 42 mois ainsi qu'à une peine pécuniaire de 10 jours-amende, le montant du jour-amende étant fixé à 30 francs. Il a ordonné à A._ de se soumettre à un traitement psychothérapeutique et médicamenteux ambulatoire et a prononcé son expulsion du territoire suisse pour une durée de cinq ans. Il a enfin dit que A._ était le débiteur de B._ de la somme de 7'500 fr. avec intérêts à 5 % l'an dès le 31 mars 2019 à titre de réparation du tort moral.
B.
Statuant par jugement du 18 novembre 2020, la Cour d'appel pénale du Tribunal cantonal a partiellement admis l'appel de A._ et réformé le jugement de première instance en ce sens que le prénommé a été libéré de l'infraction de dommages à la propriété et de menaces au préjudice de C._ Sàrl à la suite du retrait de sa plainte. Le jugement du 30 juin 2020 a été confirmé pour le surplus.
En substance, la cour cantonale a retenu les faits suivants.
B.a. A._ est né en 1973 en Suisse. Rapidement après sa naissance, il est parti en Italie avec ses parents et est revenu en 1978 à U._. Actuellement, il est au bénéfice d'un permis C. Après un apprentissage inachevé de mécanicien, A._ s'est spécialisé dans les plafonds acoustiques, dans le cadre de plusieurs entreprises qu'il a créées avec ses compagnes successives. Devant le premier juge, il a également indiqué suivre une formation en architecture d'intérieur.
A._ s'est marié en 1999 et a divorcé de la mère de ses deux filles, âgées de 20 et 15 ans. Selon ses déclarations devant le premier juge, A._ n'a plus vu ses filles depuis avant son incarcération en mars 2019.
Depuis sa sortie de prison fin mai 2019, il a indiqué avoir repris contact avec sa fille cadette mais que celle-ci refusait de le voir pour une chose s'étant passée dans le cadre du jugement matrimonial. Il vivait à V._ avec sa compagne D._. Il travaillait à son compte auprès de son entreprise E._. Son activité lui procurait un revenu mensuel d'environ 5'000 francs. Enfin, A._ avait des dettes à hauteur de 75'000 francs d'arriérés de pensions alimentaires dus au BRAPA et 25'000 francs d'arriérés d'impôts, ainsi que d'autres dettes pour des frais judiciaires.
B.b. Le casier judiciaire de A._ contient les inscriptions suivantes :
- 2011, Ministère public du canton de Fribourg, Fribourg : emploi répété d'étrangers sans autorisation; peine pécuniaire de 50 jours-amende à 30 francs;
- 2015, Tribunal de police, Lausanne : tentative de contrainte, contravention à l'art. 19a de la loi sur les stupéfiants; peine pécuniaire de 20 jours-amende à 10 fr., avec sursis pendant 3 ans, et amende de 200 francs; sursis révoqué le 28 mai 2018;
- 2017, Ministère public du canton du Valais, Office central : conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis; peine pécuniaire de 30jours-amende à 30 francs;
- 2018, Cour d'appel pénale du Tribunal cantonal, Lausanne : vol d'usage d'un véhicule automobile, conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis, circuler sans assurance-responsabilité civile au sens de la LCR, usage abusif de permis et / ou de plaques de contrôle, contravention à l'Ordonnance sur les règles de la circulation routière, contravention à l'art. 19a de la loi sur les stupéfiants, lésions corporelles simples qualifiées, vol, vol d'importance mineure, dommages à la propriété, injure, violation de domicile, opposition aux actes de l'autorité, violation des règles de la circulation routière, conducteurs se trouvant dans l'incapacité de conduire (véhicule automobile, taux d'alcool qualifié dans le sang ou dans l'haleine), conduire un véhicule défectueux; peine privative de liberté de 8 mois, peine- pécuniaire de 20 jours-amende à 10 fr. et amende de 1'000 francs;
- 2019, Office des juges d'application des peines, Lausanne : libération conditionnelle le 8 novembre 2019, délai d'épreuve 1 an, peine restante 2 mois et 22 jours, assistance de probation, règle de conduite;
- 2019, Ministère public de l'arrondissement de Lausanne : dénonciation calomnieuse, induire la justice en erreur, entrave à l'action pénale; peine privative de liberté de 90jours.
Son fichier ADMAS mentionne dix mesures dès 2002, dont huit retrait de permis.
B.c. Il ressort du rapport d'expertise du 19 février 2018, effectué dans le cadre de la condamnation du 28 mai 2018, que A._ souffre de troubles mixtes de la personnalité avec des traits narcissiques, dyssociaux et immatures, associés à une hypomanie, à une utilisation nocive pour la santé d'alcool et de cannabis et à un syndrome de dépendance à la cocaïne, et comportant une composante d'impulsivité.
Ainsi, les experts ont retenu une légère diminution de la responsabilité pénale de A._ en raison de ces troubles qui étaient présents au moment de la commission des actes reprochés : il a toujours gardé une pleine capacité d'apprécier le caractère illicite de ses actes, mais sa capacité à se déterminer d'après cette appréciation au moment des faits a en revanche pu être légèrement diminuée en raison de la désinhibition et de l'impulsivité engendrées par son trouble mixte de la personnalité et son hypomanie.
Le risque de récidive d'actes de violence similaires était modéré, tandis que le risque de récidive en matière de vols et d'infraction à la loi sur la circulation routière était élevé. Un traitement médicamenteux dans le cadre d'un traitement psychiatrique ambulatoire était susceptible de contribuer à diminuer la dimension de l'impulsivité et ainsi de pondérer le risque de récidive. Les experts ont indiqué que A._ tendait à banaliser les actes reprochés par le tribunal ou à remettre la faute sur autrui.
A._ était suivi au Centre F._ depuis décembre 2016. En appel, il a indiqué continuer ce suivi. Il avait vu son médecin environ 5 ou 6 fois durant cette année et suivait un traitement au valporate en raison de ses troubles bipolaires.
B.d. En date du 31 mars 2019 aux alentours de 20h00 au domicile de B._, A._, sous l'influence de cocaïne, et persuadé que son amie entretenait une liaison avec un installateur sanitaire, a bousculé cette dernière alors qu'elle se trouvait assoupie sur le canapé, et lui a asséné deux gifles. Il l'a ensuite saisie par le poignet et l'a tirée jusqu'à une armoire située dans le corridor de l'appartement. A._ a ensuite ouvert l'armoire, pris une bouteille d'alcool à brûler, a aspergé le sol, les meubles, les cheveux et le pyjama de sa compagne. Il s'est par la suite dirigé vers la chambre à coucher pour lui montrer les " traces " de son prétendu adultère et a pris un briquet qui s'y trouvait en menaçant de mettre le feu. Il a ensuite reposé le briquet sans l'avoir allumé.
Puis, A._ a poussé sa compagne dans la salle de bain, dont il a fermé la porte et lui a dit de se doucher. B._ a fermé la cuvette des toilettes de peur que son compagnon lui mette la tête dedans. Après qu'elle se fut déshabillée et fut montée dans la baignoire dont elle avait tiré le rideau, A._ l'a rejointe, nu. B._ lui a demandé de sortir, ce qu'il n'a pas fait. Au contraire, il l'a courbée en avant et elle lui a dit " Non arrête " à deux reprises avant qu'il la pénètre vaginalement, par derrière, en la traitant de " chienne ". Le précité lui ayant dit, peu avant, qu'il allait lui " fracasser les bras, les jambes et la mettre en miettes ", B._ n'a pas davantage résisté. Il avait préalablement tenté de la pénétrer analement sans parvenir à ses fins car B._ serrait les fesses afin de l'en empêcher. Il a ensuite forcé B._ à se baisser en lui appuyant sur les épaules, a mis son sexe dans sa bouche, la forçant à lui prodiguer une fellation, jusqu'à éjaculation.
Alors que A._ fumait une cigarette sur le balcon, B._, vêtue d'une veste, d'un pyjama et de tongs, a quitté l'appartement pour se rendre à la police.
B.e. Entre le 1er juin 2016 et le 21 novembre 2018, A._ a régulièrement circulé dans la région de U._ avec le fourgon de marque G._ immatriculé VD-xxx, alors qu'il était sous le coup d'un retrait de son permis de conduire depuis le 4 janvier 2016 pour une durée indéterminée.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 18 novembre 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est libéré des accusations de voies de fait, injure, menaces, contrainte sexuelle et viol, qu'il n'est condamné qu'à une peine pécuniaire, qu'aucune expulsion du territoire suisse n'est prononcée à son égard et qu'il ne doit aucune réparation pour tort moral à B._. Il conclut subsidiairement à sa réforme en ce sens qu'il est condamné à une peine réduite, compatible avec l'octroi d'un sursis total, voire partiel, et qu'il est renoncé à son expulsion du territoire suisse, plus subsidiairement, au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Le recourant se plaint d'arbitraire dans l'établissement des faits et de la violation du principe " in dubio pro reo ".
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.1; sur la notion d'arbitraire voir <ref-ruling> consid. 4.1.2 et les arrêts cités). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>); les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.1.2 et les arrêts cités).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (ATF <ref-ruling> consid. 1.1 p. 155 s. et les références citées).
Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_330/2021 du 15 septembre 2021 consid. 2.3; 6B_892/2020 du 16 février 2021 consid. 6.1; 6B_238/2020 du 14 décembre 2020 consid. 1.3 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (<ref-ruling> consid. 2.4; arrêts 6B_330/2021 précité consid. 2.3; 6B_976/2020 du 3 décembre 2020 consid. 1.2). Les cas de " déclarations contre déclarations ", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe " in dubio pro reo ", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3; arrêts 6B_330/2021 précité consid. 2.3; 6B_892/2020 précité consid. 6.1).
1.2.
1.2.1. La cour cantonale a retenu que les déclarations du recourant avaient varié, celui-ci allait jusqu'à nier ou inventer certains faits : il avait menti lors de sa première audition à la police lorsqu'il avait prétendu que le soir des faits, c'était sa compagne qui avait saisi une bouteille d'alcool à brûler et menacé de mettre le feu partout, et qu'il avait, quant à lui, dû lui arracher la bouteille des mains ce qui avait fait gicler de l'alcool partout. Il avait ensuite admis la version de l'intimée tout en indiquant qu'il s'était trompé de bouteille dès lors qu'il voulait prendre une bouteille de javel ou d'un autre produit pour faire des taches sur le mobilier. En outre, lors de cette audition, il avait prétendu que le fils de l'intimée était passé à l'appartement pendant les faits s'étant produits dans la salle de bain, alors que ce dernier avait indiqué, lors de son témoignage, que cela n'avait pas été le cas, ce qui avait d'ailleurs été corroboré lors des contrôles téléphoniques rétroactifs effectués. S'agissant de la nature des relations sexuelles qu'il entretenait avec sa compagne, le recourant avait déclaré, lors de sa première audition, qu'il ne s'adonnait qu'à des " pénétrations vaginales " avec l'intimée, qu'il n'y avait " jamais de sodomie " et qu'elle ne le " suçait jamais, elle n'aimait pas ça ". Or, lors des débats de première instance, lorsqu'il avait été confronté à ces déclarations et au fait qu'il soutenait que l'intimée était consentante lors de la fellation qu'elle lui avait prodiguée le 31 mars 2019, il était revenu sur ses premières déclarations en soutenant que l'intimée lui avait prodigué environ cinq fellations même si elle n'appréciait pas cela. Enfin, alors même que le recourant avait pris contact avec l'homme avec lequel il accusait l'intimée d'avoir eu une liaison, afin de l'intimider avant son audition devant les premiers juges, il avait prétendu que ce n'était pas lui mais un de ses amis qui avait pris cette initiative. Or, sa nouvelle compagne avait déclaré que le recourant lui avait confirmé avoir pris contact avec cet homme et bu un café avec lui. Réinterrogé, le recourant avait soutenu que cela n'avait pas été le cas mais qu'il avait menti à sa nouvelle compagne pour protéger son ami. En appel, il avait finalement reconnu avoir contacté lui-même l'installateur sanitaire.
1.2.2. Plus généralement, la cour cantonale a relevé que le recourant n'hésitait pas à reporter systématiquement la faute sur autrui et à se considérer comme une victime, en inversant totalement les rôles. Cet élément avait notamment été mis en avant dans l'expertise psychiatrique du 19 février 2018, effectuée à la suite de sa condamnation du 28 mai 2018, durant laquelle il n'avait cessé de rejeter la faute sur sa victime, à savoir son épouse de l'époque, dont il avait cassé la mâchoire à coup de pied. Dans la présente procédure, tant aux débats de première instance qu'en appel, il s'était à nouveau positionné comme victime s'agissant des faits du 31 mars 2019. Cet élément ressortait également du motif de la dispute des parties le soir en question, une prétendue infidélité de la part de l'intimée avec un installateur sanitaire. Le recourant n'avait d'ailleurs jamais cessé de réitérer cette accusation tout au long de la procédure à laquelle il avait ajouté une prétendue grossesse qui aurait été interrompue par un avortement fin 2018. Or, une attestation du gynécologue de l'intimée avait démontré que ces allégations étaient fausses. Il était encore précisé que le recourant reprochait déjà à son ex-femme de lui être infidèle entrainant une jalousie infondée et un déchainement de violence, même si elle n'était pas sexuelle, lui ayant valu sa condamnation du 28 mai 2018.
1.2.3. En revanche, la cour cantonale a relevé que les déclarations de l'intimée étaient crédibles car elles avaient toujours été très claires, détaillées, constantes et convaincantes. Tout au long de la procédure, elle avait expliqué le déroulement des faits sans varier dans ses déclarations, donnant des détails qui n'avaient pas pu être inventés. L'intimée avait en particulier expliqué avoir fermé la cuvette des toilettes de peur que le recourant lui mette la tête dedans. Elle avait également exprimé sa peur à plusieurs reprises, quittant son propre appartement, sans oser demander au recourant de partir. Elle s'était rendue en pyjama et en tongs à la police, puis au CHUV, directement après les faits. Elle n'avait jamais accablé le recourant, expliquant qu'avant le 31 mars 2019, elle n'avait jamais subi de violences sexuelles de sa part.
1.3. Selon sa version des faits, le recourant entretenait une relation fusionnelle avec l'intimée, " parsemée de quelques provocations ", mais stable dans sa durée. Alors qu'il envisageait de la quitter depuis un certain temps, les parties auraient entamé une discussion à ce sujet le 31 mars 2019 et une dispute serait survenue durant laquelle le recourant aurait saisi une bouteille inflammable. Toutefois, les parties se seraient réconciliées et auraient eu une relation sexuelle consentie.
Le recourant soutient que la cour cantonale a écarté sa version des faits au profit de celle de l'intimée en se livrant à une appréciation arbitraire des déclarations de cette dernière, dont les incohérences et un mensonge auraient été fortement minimisés. Le fait que l'intimée ait tout d'abord prétendu avoir été poussée dans la salle de bain et qu'elle se soit déshabillée seule pour se doucher laissait dubitatif, surtout qu'elle était sortie, puis qu'elle était revenue dans la salle de bain après la relation sexuelle pour se rhabiller, et se sécher les cheveux. Il affirme également qu'elle avait varié dans les explications données au sujet du SMS qu'elle avait adressé le 31 mars 2019 à la mère du recourant. L'intimée avait refusé d'admettre avoir donné suite à une publication Linkedin du recourant après sa sortie de détention. Enfin, cette dernière avait contesté toute tentative de contact avec la nouvelle compagne de l'intéressé, alors qu'il était établi qu'elle avait essayé de lui téléphoner. Par ailleurs, il n'était pas fait état des témoignages de son ex-femme et de sa nouvelle compagne, à décharge du recourant.
1.4. Le recourant réitère ici l'argumentation présentée devant la cour cantonale. En affirmant que les éléments qu'il invoque mettaient à mal la crédibilité de l'intimée, alors que l'autorité précédente a expliqué pourquoi ce n'était pas le cas, le recourant ne fait qu'opposer son appréciation des moyens de preuve à celle de la cour cantonale, dans une démarche purement appellatoire. Son grief ne répond pas aux exigences de l'<ref-law>, de sorte qu'il est, dans cette mesure, irrecevable.
Au demeurant, la conviction de la commission d'une infraction peut trouver un appui essentiel dans l'appréciation de la crédibilité de la victime. A cet égard, le recourant ne soulève aucune incohérence majeure, aucune contradiction grossière dans la version de l'intimée, entendue à maintes reprises au cours de la procédure, qui rendrait choquante l'appréciation de la cour cantonale à propos de sa crédibilité. Il n'était, en particulier, pas insoutenable de juger compréhensible l'attitude de l'intimée qui s'était déshabillée seule, s'était douchée à la demande du recourant, était sortie de la salle de bain pour y revenir afin de se sécher les cheveux et s'était rhabillée, notamment au vu de l'état de trouble dans lequel elle devait se trouver et de sa peur face à la violence du recourant qui l'avait préalablement aspergée d'alcool à brûler. Il n'était pas davantage arbitraire de considérer qu'on ne pouvait rien déduire de l'utilisation de l'intimée de l'application Linkedin ou du fait qu'elle ait cherché à contacter la nouvelle compagne du condamné, dans la mesure où ces éléments portent sur des points parfaitement secondaires et mineurs, qui plus est totalement étrangers au déroulement des faits reprochés au recourant. En ce qui concerne le message envoyé par l'intimée à la mère du recourant l'informant avoir été frappée et se trouver à la police, ce fait ne constitue pas un élément remettant en cause la crédibilité du récit livré par l'intimée mais tend au contraire à prouver qu'un conflit majeur avait lieu entre les parties ce soir-là, contrairement à ce que soutient le recourant qui évoque une dispute suivie d'une rapide réconciliation.
Enfin, la cour cantonale n'a pas méconnu le fait que l'ex-épouse du recourant, ainsi que sa nouvelle compagne, n'avaient jamais subi de violences sexuelles de sa part. Toutefois, cet élément n'est pas suffisant pour démontrer l'innocence de l'accusé ou discréditer la version de l'intimée. Il est encore relevé que son ex-épouse avait subi des violences physiques de la part de l'intéressé, pour des raisons similaires aux cas d'espèce, soit une prétendue infidélité, faits pour lesquels le recourant a été condamné en mai 2018.
En définitive, le recourant ne met en exergue aucun élément qui tendrait à faire reconnaître comme insoutenable l'appréciation de la cour cantonale. Compte tenu de ce qui précède, la cour cantonale n'a pas violé l'art. 9 Cst., ni le principe " in dubio pro reo " en concluant à la culpabilité du recourant en ce qui concerne les infractions commises au préjudice de la personne de l'intimée. Le grief est rejeté dans la mesure de sa recevabilité.
2.
Au cas où sa culpabilité devait être confirmée, le recourant discute la quotité de la peine infligée à son encontre. Il soutient que la cour cantonale n'a pas analysé certains éléments qui lui étaient favorables tel que le fait qu'il avait démontré vouloir poursuivre un traitement thérapeutique relatif à son trouble de bipolarité, sa volonté de reprendre une activité professionnelle et les résultats concluants à ce niveau. Une peine inférieure aurait permis d'envisager un sursis complet, voire partiel. Dans ce cadre, il convenait de retenir un pronostic favorable à l'égard du recourant, ce qui aurait d'ailleurs été cohérent avec le fait qu'avant les faits de la présente cause, une libération conditionnelle lui avait été accordée par le Juge d'application des peines du canton de Vaud.
2.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2). La culpabilité doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents (judiciaires et non judiciaires), la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 6 et les références citées).
Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2; <ref-ruling> consid. 5.6). L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>; <ref-ruling> consid. 1.2). Le juge peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté. Un recours ne saurait toutefois être admis simplement pour améliorer ou compléter un considérant lorsque la décision rendue apparaît conforme au droit (<ref-ruling> consid. 1.2; <ref-ruling> consid. 5.6).
2.2. La cour cantonale a exposé que la culpabilité du recourant, extrêmement lourde, devait en définitive être appréciée comme très lourde compte tenu de la légère diminution de responsabilité ressortant de l'expertise psychiatrique du 19 février 2018. Elle a souligné que celui-ci avait commis de graves infractions, qu'il n'avait eu aucun scrupule à l'égard de l'intimée, pour laquelle il avait montré du profond mépris, n'hésitant pas à poursuivre ses appréciations humiliantes à son égard par ses déclarations au sujet des faits, même contre les évidences révélées par l'instruction. En appel, le recourant n'avait pas montré le début d'une prise de conscience, continuant à se montrer arrogant, à rejeter la faute sur l'intimée et à nier les faits, malgré les évidences. L'attitude du recourant montrait qu'il n'y avait pas chez lui une quelconque prise de conscience ni de remise en question. Il n'avait par ailleurs pas hésité à rejeter la faute sur les autres et à se positionner en victime, même en relation avec les faits pour lesquels il avait été définitivement condamné. La multiplication des sanctions au casier judiciaire et l'évolution de la gravité des infractions commises au fil des condamnations faisaient apparaître le recourant comme insensible aux effets que la loi et les sanctions prononcées devaient avoir sur lui. A cet égard, seule une peine privative de liberté était envisageable pour l'ensemble des infractions retenues, à l'exception des contraventions justifiant une amende et pour l'infraction d'injure prévoyant une peine pécuniaire. En outre, la peine prononcée était partiellement complémentaire à celle prononcée le 28 mai 2020 par la Cour d'appel pénale du Tribunal cantonal vaudois en tant qu'elle concernait l'infraction grave à la Loi fédérale sur la circulation routière et la contraventions à la Loi fédérale sur les stupéfiants.
La peine prononcée, par 42 mois de privation de liberté, n'était pas compatible avec un sursis partiel. De toute manière, un tel mode d'exécution de peine n'aurait pas été accordé au recourant dans la mesure où seul un pronostic défavorable pouvait être posé. En effet, le recourant avait déjà démontré que ses condamnations antérieures ne le dissuadaient en rien de commettre de nouvelles infractions, ce qui avait déjà conduit la Cour d'appel pénale à prononcer une peine privative ferme le 28 mai 2018. En outre, le recourant avait non seulement récidivé dans le domaine des infractions à la Loi fédérale sur la circulation routière, mais il s'en était, cette fois, pris non pas seulement à l'intégrité physique, mais également à l'intégrité sexuelle de sa compagne, tout en rejetant la faute sur elle. Cela était inquiétant sachant qu'il ne montrait aucune prise de conscience.
2.3. Contrairement à ce que le recourant affirme, la cour cantonale n'a pas ignoré les éléments à sa décharge. Elle a pris en compte une légère diminution de la responsabilité pénale en relation avec les infractions commises en se référant aux conclusions de l'expertise psychiatrique. S'agissant de sa situation professionnelle, elle a simplement mis en évidence que bien que celui-ci cherchât à travailler, il avait tout de même accumulé de nombreuses dettes, y compris d'entretien, ainsi sa situation financière ne pouvait pas être qualifiée d'exemplaire. Le recourant ne peut, par ailleurs, rien déduire du fait qu'il exécute le jugement rendu lui ordonnant de suivre un traitement psychothérapeutique et médicamenteux, étant encore précisé que ce suivi, initié en 2016, ne l'a pas empêché de commettre les infractions reprochées dans la présente procédure.
En définitive, les développements du recourant ne mettent en évidence aucun élément que la cour cantonale aurait, à tort, ignoré en sa faveur ou pris en considération en sa défaveur. Au vu de ce qui précède, la cour cantonale n'a pas abusé de son large pouvoir d'appréciation dans la détermination de la quotité de la sanction. Le grief de violation de l'<ref-law> est rejeté.
2.4. Dans la mesure où la quotité de la peine prononcée, par 42 mois de privation de liberté, ne viole pas le droit fédéral, l'octroi d'un sursis, même partiel, n'entre pas en ligne de compte (cf. art. 42 et 43 CP).
3.
Le recourant critique son expulsion du territoire suisse.
3.1.
3.1.1. Aux termes de l'<ref-law>, le juge expulse de Suisse l'étranger qui est condamné pour contrainte sexuelle et viol (let. h), quelle que soit la quotité de la peine prononcée à son encontre, pour une durée de cinq à quinze ans. Selon l'<ref-law>, le juge peut exceptionnellement renoncer à une expulsion lorsque celle-ci mettrait l'étranger dans une situation personnelle grave et que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse. À cet égard, il tiendra compte de la situation particulière de l'étranger qui est né ou qui a grandi en Suisse.
La clause de rigueur permet de garantir le principe de la proportionnalité (art. 5 al. 2 Cst.). Elle doit être appliquée de manière restrictive (<ref-ruling> consid. 3.4.2 p. 108; <ref-ruling> consid. 3.3.1 p. 340). Selon la jurisprudence du Tribunal fédéral (<ref-ruling> consid. 3.4 p. 108 ss; <ref-ruling> consid. 3.3.2 p. 340 s.), il convient de s'inspirer des critères énoncés à l'art. 31 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201). L'art. 31 al. 1 OASA prévoit qu'une autorisation de séjour peut être octroyée dans les cas individuels d'extrême gravité. L'autorité doit tenir compte notamment de l'intégration du requérant selon les critères définis à l'art. 58a al. 1 de la loi fédérale sur les étrangers et l'intégration (LEI; RS 142.20), de la situation familiale, particulièrement de la période de scolarisation et de la durée de la scolarité des enfants, de la situation financière, de la durée de la présence en Suisse, de l'état de santé ainsi que des possibilités de réintégration dans l'État de provenance. Comme la liste de l'art. 31 al. 1 OASA n'est pas exhaustive et que l'expulsion relève du droit pénal, le juge devra également, dans l'examen du cas de rigueur, tenir compte des perspectives de réinsertion sociale du condamné (ATF <ref-ruling> consid. 3.3.2 p. 340 s.). En règle générale, il convient d'admettre l'existence d'un cas de rigueur au sens de l'<ref-law> lorsque l'expulsion constituerait, pour l'intéressé, une ingérence d'une certaine importance dans son droit au respect de sa vie privée et familiale garanti par la Constitution fédérale (art. 13 Cst.) et par le droit international, en particulier l'art. 8 CEDH (arrêts 6B_330/2021 précité consid. 4.2.1; 6B_825/2020 du 28 octobre 2020 consid. 4.1; 6B_397/2020 du 24 juillet 2020 consid. 6.1; 6B_344/2020 du 9 juillet 2020 consid. 3.1).
3.1.2. Dans l'appréciation du cas de rigueur, l'art. 66a al. 2 2e phrase CP impose expressément de prendre en considération la situation particulière de l'étranger qui est né ou qui a grandi en Suisse.
L'examen de la clause de rigueur doit être effectué dans chaque cas sur la base des critères d'intégration habituels (cf. ATF <ref-ruling> consid. 3.3.2 p. 340 s.). La situation particulière des étrangers nés ou ayant grandi en Suisse est prise en compte en ce sens qu'une durée de séjour plus longue, associée à une bonne intégration - par exemple en raison d'un parcours scolaire effectué en Suisse - doit généralement être considérée comme une indication importante de l'existence d'intérêts privés suffisamment forts et donc tendre à retenir une situation personnelle grave. Lors de la pesée des intérêts qui devra éventuellement être effectuée par la suite, la personne concernée doit se voir accorder un intérêt privé plus important à rester en Suisse au fur et à mesure que la durée de sa présence augmente. A l'inverse, on peut partir du principe que le temps passé en Suisse est d'autant moins marquant que le séjour et la scolarité achevée en Suisse sont courts, de sorte que l'intérêt privé à rester en Suisse doit être considéré comme moins fort (<ref-ruling> consid. 3.4.4 p. 109 s.; arrêt 6B_40/2021 du 29 septembre 2021 consid. 4.2).
3.1.3. Selon la jurisprudence, pour se prévaloir du droit au respect de sa vie privée au sens de l'art. 8 par. 1 CEDH, l'étranger doit établir l'existence de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire. Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'étranger y est enraciné et dispose de ce fait d'un droit de présence dans notre pays. Il procède bien plutôt à une pesée des intérêts en présence, en considérant la durée du séjour en Suisse comme un élément parmi d'autres et en n'accordant qu'un faible poids aux années passées en Suisse dans l'illégalité, en prison ou au bénéfice d'une simple tolérance (cf. <ref-ruling> consid. 4.3 p. 24; arrêt 6B_1198/2020 du 19 juillet 2021 consid. 4.2 et la référence citée). Un séjour légal de dix années suppose en principe une bonne intégration de l'étranger (<ref-ruling> consid. 3.9 p. 278; arrêt 6B_40/2021 précité consid. 4.3).
Un étranger peut se prévaloir de l'art. 8 par. 1 CEDH (et de l'art. 13 Cst.), qui garantit notamment le droit au respect de la vie familiale, pour s'opposer à l'éventuelle séparation de sa famille, pour autant qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 2.1 p. 336 et les références citées). Les relations familiales visées par l'art. 8 par. 1 CEDH sont avant tout celles qui concernent la famille dite nucléaire, soit celles qui existent entre époux ainsi qu'entre parents et enfants mineurs vivant en ménage commun (cf. <ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 1.3.2 p. 146).
3.2. Il ressort du jugement attaqué que le recourant, titulaire d'un permis C, peut se prévaloir d'une longue durée de séjour en Suisse, où il est né, a passé une grande partie de son enfance et terminé sa scolarité avant de suivre une formation de mécanicien qu'il n'a pas achevée. Par ailleurs, le recourant exerce une activité lucrative dans le domaine des plafonds acoustiques. Sa compagne, ses parents ainsi que ses filles, âgées de 20 et 15 ans, vivent en Suisse, tandis que ses plus proches parents en Italie sont des oncles et des tantes. Considérant ces éléments, on ne peut exclure que l'expulsion place le recourant dans une situation personnelle grave.
3.3. Il convient dès lors d'examiner si l'intérêt privé du recourant à demeurer en Suisse pouvait l'emporter sur l'intérêt public présidant à son expulsion.
3.3.1. La cour cantonale a constaté que le recourant avait déjà été condamné à cinq reprises. La condamnation du 28 mai 2018 mettait en évidence que le recourant ne cessait de récidiver, les infractions commises étant toujours de plus en plus graves. En outre, le fichier ADMAS de l'intéressé faisait également état de dix mesures administratives prononcées à son encontre, dont huit retraits de permis. Par ailleurs, le recourant ne voyait plus ses filles depuis un certain temps. Ils se parlaient par téléphone ou SMS mais la cadette avait exprimé le souhait de ne plus le voir. Il avait encore des oncles et des tantes en Italie, et parlait la langue de ce pays. Il travaillait en qualité d'indépendant et devrait être capable de développer un projet professionnel dans son pays d'origine. Il pouvait également s'y faire soigner. L'autorité précédente a ainsi estimé que l'intérêt public à l'expulsion du recourant l'emportait sur son intérêt privé à rester en Suisse.
3.3.2. L'appréciation de la cour cantonale doit être suivie.
En l'espèce, les intérêts présidant à l'expulsion du recourant sont importants, compte tenu de la nature et de la gravité des infractions commises, notamment le viol ayant porté atteinte à un bien juridique essentiel, à savoir l'intégrité sexuelle. Sa culpabilité a été qualifiée de très lourde. En outre, un pronostic défavorable a été posé à son égard, découlant de son défaut de prise de conscience, de son absence totale de scrupules et de son mépris à l'égard de la victime. La peine privative de liberté de 3 ans et 6 mois à laquelle le recourant a été condamné dépasse largement une année, ce qui pourrait permettre une révocation de son autorisation d'établissement sur la base de l'art. 63 al. 1 let. a cum art. 62 al. 1 let. b LEI (cf. <ref-ruling> consid. 2.1 p. 147, selon lequel constitue une " peine privative de liberté de longue durée " au sens de l'art. 62 al. 1 let. b LEtr [depuis le 1er janvier 2019 : LEI] toute peine dépassant un an d'emprisonnement). A cela s'ajoute que le recourant a déjà été condamné à cinq reprises. Les infractions figurant dans son casier judiciaire ont porté atteinte à plusieurs biens juridiquement protégés et révèlent un mépris persistant du recourant pour les lois et l'ordre juridique suisse.
Dans la discussion de son intérêt à demeurer en Suisse, le recourant oppose son appréciation des critères déterminants à celle de la cour cantonale, de sorte que ses développements apparaissent appellatoires dans une large mesure, partant irrecevables. On se limitera dès lors à constater que l'intérêt privé du recourant à demeurer en Suisse est certes également important, puisque ce dernier a essentiellement grandi dans ce pays et que les membres de sa famille y vivent. Cependant, comme l'a retenu l'instance cantonale, le recourant ne voit pas beaucoup ses filles et échange avec elles par SMS et messagerie. Ainsi, la cour cantonale pouvait conclure qu'il pourra conserver ce genre de relation avec elles en cas d'expulsion, surtout que sa fille cadette ne veut plus le voir comme il l'a déclaré aux débats de première instance et d'appel. En outre, il ressort du jugement attaqué que le recourant n'a pas de formation professionnelle achevée, qu'il travaille dans le domaine des plafonds acoustiques et que, malgré cela, il a accumulé des dettes à hauteur de 75'000 fr. d'arriérés de pensions alimentaires dus au BRAPA et 25'000 fr. d'arriérés d'impôts, ainsi que d'autres dettes pour des frais judiciaires, si bien que sa situation financière en Suisse n'apparaît pas favorable. Au surplus, il convient de relever que le recourant exerce son activité professionnelle en qualité d'indépendant ce qui lui permettra de travailler dans son pays d'origine également, de sorte que, comme cela ressort du jugement entrepris, ses possibilités de réintégration en Italie n'apparaissent pas mauvaises. Par ailleurs, contrairement à ce qu'il soutient, la présence d'oncles et des tantes en Italie et surtout, le fait qu'il parle l'italien pouvaient être retenus par la cour cantonale comme des éléments susceptibles de favoriser son installation et sa réintégration en Italie. Enfin, en tant qu'il soutient que l'instance cantonale aurait voulu exclure " la réalité du réseau social et amical du recourant en Suisse ", il ne motive nullement l'établissement arbitraire des faits sous cet angle, de sorte qu'il n'y a pas lieu de s'écarter des faits constatés dans le jugement entrepris.
En définitive, au regard de la persistance du recourant à violer l'ordre juridique suisse, de la gravité des faits pour lesquels il a été condamné et du danger qu'il représente pour l'ordre juridique suisse - la cour cantonale ayant constaté qu'il ne montrait aucun remord par rapport à ses actes - mais également de ses possibilités de réinsertion dans son pays d'origine, l'intérêt public à l'éloignement du recourant l'emporte sur son intérêt privé à demeurer en Suisse. La cour cantonale n'a pas violé le droit fédéral en ordonnant l'expulsion du recourant, l'une des conditions pour une application de l'<ref-law> faisant ainsi défaut. Pour le surplus, le recourant ne discute pas la durée de la mesure prononcée à son encontre. Enfin, il n'invoque pas d'atteinte à sa vie privée et familiale (art. 8 CEDH et 13 Cst.).
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). L'intimée, qui n'a pas été invitée à se déterminer, ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 novembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy