Faits :
A.
Par jugement du 24 juin 2020, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a constaté que A.A._ s'était rendu coupable de contrainte, contrainte sexuelle et actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, et l'a condamné à une peine privative de liberté de 20 mois, avec sursis durant 3 ans. Il a prononcé l' expulsion de A.A._ du territoire suisse pour une durée de cinq ans. Il a enfin dit que ce dernier était le débiteur de B.A._ de la somme de 10'000 fr. à titre d'indemnité pour tort moral.
B.
Statuant par jugement du 8 décembre 2020, la Cour d'appel pénale du Tribunal cantonal a rejeté l'appel de A.A._ ainsi que l'appel joint de B.A._ et a confirmé le jugement de première instance.
En substance, la cour cantonale a retenu les faits suivants.
B.a. A.A._ est né en 1985 à U._, en Macédoine, pays dont il est ressortissant. Il a séjourné en Suisse avec ses parents entre l'âge de six et treize ans. Puis, il est retourné vivre en Macédoine avec eux. Il est revenu en Suisse en 2013 avec son épouse B.A._, elle-même originaire du Kosovo.
De leur union est né un garçon, en 2013. Après une première séparation au début de l'année 2016, les époux se sont officiellement séparés au mois de juin 2018. Leur fils vit depuis lors avec sa mère et A.A._ exerçait son droit de visite de manière chaotique et irrégulière jusqu'à la convention conclue le 30 novembre 2020, qui confie la garde de l'enfant à la mère et accorde à A.A._ un libre et large droit de visite à exercer d'entente avec son épouse et, à défaut, un week-end sur deux et la moitié des vacances scolaires et des jours fériés.
B.b. Au bénéfice d'un permis d'établissement en Suisse, A.A._ n'y a travaillé que de façon épisodique depuis son arrivée en 2013, la famille ayant essentiellement vécu grâce au revenu de B.A._. Il est inscrit au chômage depuis l'été 2019, par l'entremise duquel il est actuellement placé dans une entreprise en qualité d'aide-jardinier. A.A._ dit recevoir de la caisse de chômage une indemnité mensuelle nette de 2'600 fr. après déduction de 600 fr. de pension alimentaire directement versés au Bureau de recouvrement et d'avances sur pensions alimentaires (BRAPA). Il ne verse aucune allocation familiale à son épouse et affirme vivre seul dans son appartement, dont le loyer s'élève à 1'250 fr. par mois, charges comprises.
B.c. Le casier judiciaire de A.A._ contient l'inscription suivante :
- 24 juin 2019, Ministère public de l'arrondissement de l'Est vaudois : voies de fait, injure et menaces; peine pécuniaire de 50 jours-amende à 30 francs le jour avec sursis durant deux ans et amende de 300 francs.
B.d. Entre 2016 et le mois de juin 2018, dans leur appartement commun, à raison de deux ou trois fois par semaine, A.A._ a fait usage de contrainte physique afin de pénétrer analement son épouse B.A._, quand bien même il savait qu'elle n'était pas consentante à la sodomie. A ces occasions, alors que son épouse se trouvait couchée sur le ventre et tentait de le repousser, A.A._ se mettait à califourchon sur elle, coinçait ses bras avec ses genoux et lui tenait les cheveux, avant de la pénétrer violemment jusqu'à éjaculation malgré ses pleurs. B.A._ a souffert de douleurs et de saignements au niveau de l'anus.
En outre, à réitérées reprises, A.A._ a pénétré vaginalement B.A._ avec ses doigts pendant qu'elle dormait, quand bien même il était conscient qu'elle n'était pas consentante.
B.e. En 2018, dans leur appartement commun, A.A._ a empêché B.A._ d'aller rendre visite à son père hospitalisé en bloquant la porte d'entrée de leur domicile et en la saisissant fortement par le bras pour qu'elle reste auprès de lui.
C.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 8 décembre 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est libéré des accusations de contrainte, contrainte sexuelle et actes d'ordre sexuel avec une personne incapable de discernement ou de résistance. Il conclut subsidiairement à ce qu'aucune expulsion du territoire suisse n'est prononcée à son égard, plus subsidiairement, au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants.

Considérant en droit :
1.
Invoquant l'arbitraire et la violation du principe " in dubio pro reo ", le recourant discute sa condamnation pour les infractions de contrainte sexuelle (<ref-law>) et de contrainte (<ref-law>) au préjudice de l'intimée.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156).
1.2. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1; <ref-ruling> consid. 2a). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
2.
Le recourant conteste l'établissement des faits en lien avec la contrainte sexuelle.
2.1. La cour cantonale a estimé que le contexte dans lequel l'intimée avait déposé plainte, la façon mesurée dont elle avait formulé ses reproches, les émotions manifestées à ces occasions, les propos parfaitement cohérents et mesurés du témoin C._, qui avait confirmé ces accusations, et certaines déclarations du recourant lui-même permettaient de se convaincre que le recourant avait bien commis les infractions à caractère sexuel retenues contre lui en première instance. Aux débats d'appel, le recourant avait d'ailleurs admis être passé outre le consentement de son épouse en la pénétrant digitalement durant son sommeil, précisant, quand bien même il avait maintenu ses conclusions, ne plus contester sa condamnation pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Quant aux actes de sodomie qui lui étaient reprochés, s'il a admis qu'ils avaient été douloureux pour son épouse et que celle-ci avait saigné la première fois, il avait néanmoins affirmé, sans la moindre crédibilité, qu'il ne l'avait pas vue pleurer et qu'il n'avait pas entendu ses refus répétés. Or, il apparaissait totalement invraisemblable que l'intimée ne se soit pas opposée à de nouvelles relations anales après avoir souffert et saigné la première fois. En outre, il résultait de l'appréciation des faits dans leur ensemble qu'il était clairement établi que le consentement de l'intimée n'était pas nécessaire pour le recourant, que ce soit pour les actes sexuels commis durant le sommeil de celle-ci ou pour les actes de sodomie, et qu'il s'était arrogé le droit de les imposer à son épouse pour satisfaire son propre appétit sexuel. A cet égard, la variation invoquée dans les déclarations de l'intimée n'était pas de nature à susciter le moindre doute concernant la réalité des contraintes sexuelles subies, laquelle au contraire confortée par les explications crédibles de l'intimée, selon lesquelles son époux se contentait de lui dire que ce n'était rien et qu'à force, elle n'aurait plus mal.
2.2. Le recourant reproche à la cour cantonale d'avoir arbitrairement passé sous silence certaines des déclarations de son épouse qui démontraient le grand ressentiment que celle-ci éprouvait à son égard. En outre, l'instance précédente n'avait pas retenu le contexte litigieux dans lequel la dénonciation était intervenue, soit une dispute avec sa belle-famille. Enfin, le jugement entrepris ne mentionnait aucunement l'abaissement de la contribution d'entretien que les parties avaient négocié dix jours auparavant devant la Cour d'appel civile.
Le recourant réitère ici l'argumentation présentée devant la cour cantonale. En affirmant que les éléments qu'il invoque mettent à mal la crédibilité de l'intimée, alors que l'autorité précédente a expliqué pourquoi ce n'était pas le cas, le recourant ne fait qu'opposer son appréciation des moyens de preuve à celle de la cour cantonale, dans une démarche purement appellatoire. Son grief ne répond pas aux exigences de l'<ref-law>, de sorte qu'il est, dans cette mesure, irrecevable.
Au demeurant, le recourant ne soulève aucune incohérence majeure, aucune contradiction grossière dans la version de l'intimée, entendue à maintes reprises au cours de la procédure, qui rendrait choquante l'appréciation de la cour cantonale à propos de sa crédibilité. S'agissant du ressentiment que l'intimée nourrissait à l'égard du recourant, les premiers juges avaient retenu que cela ne suffisait pas à décrédibiliser ses propos. La cour cantonale, sans mentionner expressément ce point, a épousé cette appréciation puisqu'elle a retenu que les déclarations de l'intimée lors du dépôt de sa plainte, puis lors de son audition par la police, étaient dignes de foi et emportaient conviction, notamment en raison du caractère circonstancié et relativement mesuré de ses accusations, de leur confirmation par un témoin qui avait recueilli les confidences de la victime avant le dépôt de la plainte et de la cohérence des éléments et des émotions rapportées aussi bien par le témoin que par l'inspectrice de police ou par le Centre d'accueil D._. On peut encore ajouter, du reste, que la colère de l'intimée peut parfaitement s'expliquer par les faits dénoncés. Enfin, le recourant ne peut rien déduire du contexte litigieux en lien avec la famille de l'intimée ou de l'accord trouvé par les parties s'agissant de la contribution d'entretien de leur enfant. En effet, il s'agit d'éléments parfaitement secondaires et totalement étrangers aux faits reprochés au recourant.
2.3. Le recourant soutient que l'intimée avait consenti à plusieurs reprises à des relations anales et qu'elle était partie intégrante de la sexualité soutenue du couple, malgré un épisode au cours duquel elle avait saigné, ce qui n'était pas contesté. Ce dernier élément avait en outre été rapporté spontanément par le recourant lors de son audition à la police, démontrant l'absence d'une quelconque contrainte.
Ici également, le recourant ne fait qu'opposer sa propre interprétation des faits à celle de la cour cantonale. Il procède ainsi de manière appellatoire, partant irrecevable. Au demeurant, le fait que le recourant ait spontanément admis le saignement anal lors de son audition à la police n'exclut nullement qu'il ait contraint l'intimée à de nombreuses occasions à des relations de cette nature malgré son opposition. Les constatations cantonales n'ont rien d'arbitraire.
2.4. Le recourant s'en prend à l'appréciation des preuves en relation avec le témoignage de C._. Il fait tout d'abord grief à la cour cantonale de ne pas avoir tenu compte du fait que le témoin avait rencontré l'intimée la veille de son audition. Or, cet élément ne suffit pas à remettre en cause le témoignage en question, lequel porte sur des événements relatés par l'intimée au témoin des mois auparavant. Son éventuelle omission n'est donc pas de nature à faire apparaître comme arbitraire les faits retenus par la cour cantonale.
Le recourant soutient encore qu'il y avait une divergence entre le récit de l'intimée et celui du témoin concernant la rencontre entre cette dernière et le recourant. Toutefois, cet élément est secondaire et étranger aux actes reprochés au recourant, de sorte qu'il n'est pas propre à remettre en question la crédibilité du témoin.
Enfin, le recourant affirme que les déclarations du témoin n'amenaient rien de plus que ce qu'il avait déclaré spontanément. Ce dernier oppose, de manière appellatoire, son appréciation du moyen de preuve à celle de la cour cantonale sans démontrer en quoi l'appréciation cantonale à ce propos serait arbitraire, de sorte que son grief est irrecevable.
2.5. Partant, le grief d'arbitraire soulevé par le recourant à l'encontre de sa condamnation pour contrainte sexuelle est mal fondé, dans la mesure de sa recevabilité.
3.
En lien avec sa condamnation pour l'infraction de contrainte, le recourant considère que l'instance cantonale a violé le principe de l'accusation. Il s'en prend également à l'établissement des faits.
3.1. L'<ref-law> consacre la maxime d'accusation. Selon cette disposition, une infraction ne peut faire l'objet d'un jugement que si le ministère public a déposé auprès du tribunal compétent un acte d'accusation dirigé contre une personne déterminée sur la base de faits précisément décrits. En effet, le prévenu doit connaître exactement les faits qui lui sont imputés et les peines et mesures auxquelles il est exposé, afin qu'il puisse s'expliquer et préparer efficacement sa défense (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s.). Les <ref-law> règlent la mise en accusation, en particulier le contenu strict de l'acte d'accusation. Selon l'<ref-law>, l'acte d'accusation désigne notamment les actes reprochés au prévenu, le lieu, la date et l'heure de leur commission ainsi que leurs conséquences et le mode de procéder de l'auteur (let. f); les infractions réalisées et les dispositions légales applicables de l'avis du ministère public (let. g). En d'autres termes, l'acte d'accusation doit contenir les faits qui, de l'avis du ministère public, correspondent à tous les éléments constitutifs de l'infraction reprochée au prévenu. L'acte d'accusation définit l'objet du procès et sert également à informer le prévenu (fonction de délimitation et d'information) (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s. et les références citées). Des imprécisions relatives au lieu ou à la date sont sans portée, dans la mesure où le prévenu ne peut pas avoir de doute sur le comportement qui lui est reproché (arrêts 6B_655/2021 du 22 décembre 2021 consid. 3.1; 6B_1498/2020 du 29 novembre 2021 consid. 2.1; 6B_1110/2020 du 15 décembre 2020 consid. 1.1).
3.2. La cour cantonale a retenu que le recourant a été renvoyé devant le tribunal correctionnel par acte d'accusation du 11 mars 2020, qui retenait à son chiffre 2 les faits suivants :
" 2. Entre octobre 2016 et juin 2018, dans leur appartement commun sis à la Route V._ à W._, A.A._ s'en est pris physiquement à son épouse B.A._ à réitérées reprises, notamment en la frappant avec des objets. En outre, à réitérées reprises, le prévenu empêchait son épouse de quitter l'appartement, notamment en fermant à clé la porte de celui-ci.
-..]
Les articles 126 al. 2 lit. b et 181 CP paraissent applicables au prévenu A.A._. ".
Lors des débats de première instance, le ministère public a abandonné l'accusation, dirigée à l'encontre du recourant, s'agissant des faits décrits ci-dessus et a requis sa libération de l'infraction de contrainte, estimant en substance que les épisodes concernés étaient insuffisamment précis pour permettre une condamnation. Toutefois, la cour cantonale a considéré, à la suite des premiers juges, que ceux-ci n'étaient pas liés par l'abandon de l'accusation de la part du ministère public s'agissant de ces faits. En effet, s'il était lié par l'état de fait décrit dans l'acte d'accusation, le tribunal devait prendre sa décision selon ses propres convictions, laquelle devait reposer sur sa propre administration des preuves. En conséquence, c'était à juste titre que le tribunal correctionnel avait procédé, sur la base du dossier et des déclarations de l'intimée, à sa propre appréciation des preuves s'agissant des faits décrits au chiffre 2 de l'acte d'accusation.
3.3. Le recourant soutient que l'autorité de première instance ne pouvait pas se prononcer sur l'état de fait relatif au point 2 de l'acte d'accusation puisque le ministère public l'avait formellement abandonné.
3.4. Selon le principe de l'accusation, l'acte d'accusation définit l'objet du procès (fonction de délimitation; art. 29 al. 2 et art. 32 al. 2 Cst.; art. 6 par. 1 et 3 let. a et b CEDH). Le tribunal est lié par l'état de fait décrit dans l'acte d'accusation (principe de l'immutabilité), mais peut s'écarter de l'appréciation juridique qu'en fait le ministère public (<ref-law>), à condition d'en informer les parties présentes et de les inviter à se prononcer (<ref-law>). L'<ref-law> précise d'ailleurs qu'une fois que les questions préjudicielles ont été traitées, soit avant le début de la procédure probatoire, l'accusation ne peut plus être retirée ni modifiée - sous la réserve de l'<ref-law>, lequel ne concerne pas l'abandon d'une partie de l'accusation par le ministère public (cf. arrêt 6B_1090/2019 du 27 avril 2020 consid. 3.1.1; Max Hauri/Petra Venetz, Basler Kommentar, Schweizerische Strafprozessordnung, Bâle 2014, N 3 ad <ref-law>; Pierre-Henri Winzap, in Commentaire romand, Code de procédure pénale suisse, 2e éd. 2019, n° 4 ad <ref-law>; Piquerez/Macaluso, Procédure pénale suisse, 3e éd. 2011, n° 1809; Jeanneret/Kuhn, Précis de procédure pénale, 2e éd. 2018, n° 4025).
3.5. Certes, le ministère public a, lors des débats de première instance, renoncé à soutenir l'accusation s'agissant des faits décrits au point 2 de l'acte d'accusation. Toutefois la cour cantonale a, à juste titre, exposé que les premiers juges étaient en droit de le condamner pour contrainte eu égard aux faits reprochés dans l'acte d'accusation. En effet, l'objet du procès est délimité par l'acte d'accusation, non par la position défendue par le ministère public lors des débats. Dans le cadre de la procédure d'appel, une fois les questions préjudicielles traitées, l'accusation ne peut plus être retirée ni modifiée (cf. supra consid. 3.4). Ainsi, conformément au principe d'immutabilité, le renoncement du ministère public à soutenir l'accusation de contrainte au stade des plaidoiries de première instance n'a pas pu avoir pour effet de modifier l'acte d'accusation, par lequel le tribunal était lié.
Pour le reste, la cour cantonale a constaté que l'acte d'accusation désignait suffisamment les actes reprochés au recourant permettant de délimiter précisément l'objet du litige, de garantir une information suffisante, de connaître les faits retenus à son encontre et, dès lors, l'exercice efficace de sa défense. Le recourant n'élève pas formellement de grief à l'encontre des constatations, de sorte qu'on ne perçoit pas, en définitive, en quoi il aurait subi un préjudice tiré de la violation du principe d'accusation qu'il invoque.
3.6. En ce qui concerne le grief de violation du principe in dubio pro reo en lien avec l'établissement des faits, on peut relever ce qui suit.
3.6.1. L'autorité précédente a exposé que les premiers juges s'étaient fondés sur plusieurs éléments pour retenir que le recourant avait empêché son épouse de quitter le logement commun, soit sur la teneur de sa plainte, dans laquelle l'intimée avait notamment indiqué : " ces derniers mois, alors que mon père était hospitalisé, il m'a empêché d'aller le voir en me bloquant la porte d'entrée de l'appartement ou en me retenant par le bras pour que je reste auprès de lui ", ainsi que sur les déclarations de l'intimée faites aux débats de première instance au sujet de marques sur son bras et sur un message WhatsApp adressé par cette dernière au recourant au mois de juin 2020, dans lequel elle lui reprochait de ne pas l'avoir laissée aller voir son père malade à l'hôpital pendant deux semaines. Ces éléments étaient probants. C'était donc à juste titre que les premiers juges avaient estimé que les mises en cause de l'intimée, qui a été constante dans ses déclarations, étaient plus crédibles que les dénégations du recourant. Il était par ailleurs évident que la contrainte s'était en l'occurrence exercée par un moyen illicite, soit par l'emploi d'une contrainte physique, dont l'intensité était manifestement suffisante pour entraver l'intimée d'une manière substantielle dans sa liberté d'action en l'empêchant effectivement de quitter son domicile pour se rendre au chevet de son père malade.
3.6.2. En affirmant que le dossier et l'acte d'accusation sont laconiques car fondés uniquement sur les déclarations de l'intimée et des messages WhatsApp, qu'aucun élément du dossier ne permet de considérer que l'intimée a véritablement été entravée par le comportement du recourant, enfin qu'il n'a pas été établi qu'une violence atteignant l'intensité requise par l'<ref-law> ait été exercée, alors même que l'autorité cantonale a discuté l'ensemble de ces éléments dans son argumentation, le recourant ne fait qu'opposer son appréciation des moyens de preuve à celle de la cour cantonale, dans une démarche purement appellatoire. Ainsi son grief ne répond pas aux exigences de l'<ref-law>, de sorte qu'il est, dans cette mesure, irrecevable.
Du reste, contrairement à ce que soutient le recourant, les déclarations de l'intimée, lors de son dépôt de plainte le 25 octobre 2018, sont assez précises pour établir les faits pertinents. En effet, celle-ci avait déclaré que le recourant " l'[avait] empêché de sortir avec [ses] amis en [la] retenant de force à l'appartement ", faisant apparaître que les comportements du recourant avaient pris une intensité telle que la liberté d'action de l'intimée était entravée de façon importante. Cette dernière a précisé les contraintes exercées par le recourant, en indiquant que " ces derniers mois, alors que [son] père était hospitalisé, il l'[avait] empêché d'aller le voir en [lui] bloquant la porte de l'entrée de l'appartement ou en [la] retenant par le bras pour qu'[elle] reste auprès de lui " (cf. Plainte du 25 octobre 2018, p. 4, pièce 4). Par ailleurs, ce dernier épisode est corroboré par les messages WhatsApp, produits par le recourant devant l'autorité de première instance, dans lesquels l'intimée, alors même qu'elle ignorait que ces messages seraient produits dans la présente procédure, reproche au recourant de l'avoir empêchée d'aller voir son père durant son hospitalisation. Enfin, le degré de violence exercée est illustré par les marques sur le corps de l'intimée évoquées lors des débats. Sur le vu de ces éléments, l'établissement des faits de l'autorité précédente n'est en rien insoutenable.
Pour le surplus, au regard des éléments de fait mis en exergue, c'est à bon droit que l'autorité précédente a qualifié les agissements du recourant de contrainte au sens de l'<ref-law>.
Les griefs élevés à l'encontre de cette condamnation sont ainsi rejetés, dans la mesure de leur recevabilité.
4.
Le recourant conteste s'être rendu coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance au préjudice de l'intimée. Il soutient que l'instance cantonale s'est contentée à tort de ses déclarations en appel, tendant à reconnaître la qualification juridique des faits reprochés, alors qu'en réalité, elle aurait dû constater que l'intimée n'était pas totalement incapable de résistance au sens de l'<ref-law>.
4.1. L'<ref-law> prévoit que celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Cette disposition protège, indépendamment de leur âge et de leur sexe, les personnes incapables de discernement ou de résistance dont l'auteur, en connaissance de cause, entend profiter pour commettre avec elles un acte d'ordre sexuel (<ref-ruling> consid. 2a p. 196). Son but est de protéger les personnes qui ne sont pas en état d'exprimer ou de manifester physiquement leur opposition à l'acte sexuel. A la différence de la contrainte sexuelle (<ref-law>) et du viol (<ref-law>), la victime est incapable de discernement ou de résistance, non en raison d'une contrainte exercée par l'auteur, mais pour d'autres causes (arrêt 6B_123/2020 du 26 novembre 2020 consid. 7.1).
L'<ref-law> vise une incapacité de discernement ou de résistance totale, qui peut se concrétiser par l'impossibilité pour la victime de se déterminer en raison d'une incapacité psychique, durable (p. ex. maladie mentale) ou passagère (p. ex. perte de connaissance, alcoolisation importante, etc.), ou encore par une incapacité de résistance parce qu'entravée dans l'exercice de ses sens, elle n'est pas en mesure de percevoir l'acte qui lui est imposé avant qu'il soit accompli et, partant, de porter un jugement sur celui-ci et, cas échéant, le refuser (cf. <ref-ruling> consid. 7.2 ss p. 56 ss; arrêt 6B_123/2020 précité consid. 7.1). L'<ref-law> exige que l'auteur ait profité de l'incapacité de discernement ou de résistance de la victime, autrement dit qu'il ait exploité l'état ou la situation dans laquelle elle se trouvait.
4.2. Aux débats d'appel, le recourant avait admis être passé outre le consentement de son épouse en la pénétrant digitalement durant son sommeil, précisant, quand bien même il avait maintenu ses conclusions, ne plus contester sa condamnation pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. La cour cantonale a tenu compte des aveux du recourant sur les faits reprochés - et non seulement l'admission de la qualification juridique retenue - mais elle a également considéré, par ailleurs, que le contexte dans lequel l'intimée avait déposé plainte, la façon mesurée dont elle avait formulé ses reproches, les émotions manifestées à ces occasions, les propos parfaitement cohérents et mesurés de C._, qui avait confirmé ces accusations, et certaines déclarations du recourant lui-même permettaient de se convaincre que le recourant avait bien commis les infractions à caractère sexuel retenues contre lui en première instance.
4.3. Pour autant que l'on déduise de l'argumentation du recourant un grief suffisamment motivé (cf. <ref-law>) tiré de la violation de l'<ref-law> (maxime de l'instruction), celui-ci serait infondé au vu de ce qui précède.
4.4. Pour le reste, le recourant conteste la réalisation de l'élément constitutif d'incapacité de discernement ou de résistance en arguant de ce que l'intimée se réveillait lorsqu'il la pénétrait digitalement et lui opposait alors son refus.
Le recourant admet que l'intimée était endormie lorsqu'il la pénétrait digitalement. Il importe peu qu'à la suite de ces agissements, l'intimée finisse par se réveiller et soit alors en mesure de s'y opposer. En effet, l'infraction est consommée dès le moment où le recourant réalise l'acte d'ordre sexuel en pénétrant le sexe de la victime de ses doigts, alors qu'à cet instant, celle-ci est plongée dans le sommeil et, de ce fait, in capable de s'y opposer. L'arrêt 6S.217/2002, qu'il invoque, ne lui est d'aucun secours à cet égard, car le Tribunal fédéral - contrairement à ce que semble en déduire le recourant - n'y a aucunement exclu que le sommeil puisse constituer un état permettant la réalisation de l'<ref-law>, indépendamment du comportement de la victime après qu'elle se fût éveillée. Alors endormie, l'intimée n'était pas en mesure de percevoir l'acte qui lui était imposé avant qu'il fût accompli et, partant, de porter un jugement sur celui-ci et, cas échéant, le refuser (consid. 4.1 in fine supra).
Dans ces circonstances, la cour cantonale pouvait, sans violer le droit fédéral, retenir que l'incapacité de résistance de la victime était réalisée dans le cas d'espèce. Le recourant ne paraît pas contester la commission de l'infraction sous un autre angle.
5.
Le recourant critique son expulsion du territoire suisse. Il ne conteste pas que ses condamnations pour contrainte sexuelle (<ref-law>) et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>), si elles sont admises, doivent conduire, en application de l'art. 66a al. 1 let. h CP, à son expulsion de Suisse. Cependant, invoquant les art. 8 CEDH, 3 et 9 par. 3 CDE, il soutient que les circonstances d'espèce justifient qu'il y soit renoncé en application de l'<ref-law>. Il se prévaut à cet égard principalement de la présence en Suisse de son enfant, né en 2013, avec lequel il jouit d'un lien étroit devant être protégé. Il exerçait d'ailleurs un droit de visite élargi et avait vécu auprès de lui pendant plusieurs années en tant qu'homme au foyer. En outre, le recourant avait la volonté de s'intégrer dans le paysage professionnel et social suisse, c'est pourquoi l'intérêt public à son renvoi ne supplantait pas son intérêt privé à pouvoir rester auprès de son fils.
5.1. Les conditions pour appliquer l'<ref-law> sont cumulatives. Afin de pouvoir renoncer à une expulsion prévue par l'<ref-law>, il faut, d'une part, que cette mesure mette l'étranger dans une situation personnelle grave et, d'autre part, que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse.
La clause de rigueur permet de garantir le principe de la proportionnalité (cf. art. 5 al. 2 Cst.; <ref-ruling> consid. 3.4.2 p. 108; <ref-ruling> consid. 3.3.1 p. 340). Elle doit être appliquée de manière restrictive (<ref-ruling> consid. 3.4.2 p. 108; <ref-ruling> consid. 3.3.1 p. 340). Selon la jurisprudence du Tribunal fédéral (cf. <ref-ruling> consid. 3 p. 108; <ref-ruling> consid. 3.3.2 p. 340 s.), il convient de s'inspirer des critères énoncés à l'art. 31 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201). L'art. 31 al. 1 OASA prévoit qu'une autorisation de séjour peut être octroyée dans les cas individuels d'extrême gravité. L'autorité doit tenir compte notamment de l'intégration du requérant selon les critères définis à l'art. 58a al. 1 de la loi fédérale sur les étrangers et l'intégration (LEI; RS 142.20), de la situation familiale, particulièrement de la période de scolarisation et de la durée de la scolarité des enfants, de la situation financière, de la durée de la présence en Suisse, de l'état de santé ainsi que des possibilités de réintégration dans l'État de provenance. Comme la liste de l'art. 31 al. 1 OASA n'est pas exhaustive et que l'expulsion relève du droit pénal, le juge devra également, dans l'examen du cas de rigueur, tenir compte des perspectives de réinsertion sociale du condamné (ATF <ref-ruling> consid. 3.3.2 p. 340 s.; arrêt 6B_ 990/2020 du 26 novembre 2021 consid. 3. 2.1). En règle générale, il convient d'admettre l'existence d'un cas de rigueur au sens de l'<ref-law> lorsque l'expulsion constituerait, pour l'intéressé, une ingérence d'une certaine importance dans son droit au respect de sa vie privée et familiale garanti par la Constitution fédérale (art. 13 Cst.) et par le droit international, en particulier l'art. 8 CEDH (arrêts 6B_990/2020 précité consid. 3.2.1; 6B_708/2020 du 11 mars 2021 consid. 5.1).
5.2. Selon la jurisprudence, un étranger peut se prévaloir de l'art. 8 par. 1 CEDH, qui garantit notamment le droit au respect de la vie familiale, pour s'opposer à l'éventuelle séparation de sa famille, pour autant qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 2.1 p. 336 et les références citées). Les relations familiales visées par l'art. 8 par. 1 CEDH sont avant tout celles qui concernent la famille dite nucléaire, soit celles qui existent entre époux ainsi qu'entre parents et enfants mineurs vivant en ménage commun (cf. <ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 1.3.2 p. 146; arrêt 6B_177/2021 du 8 novembre 2021 consid. 3.1.3). Dans le cadre de l'examen de la proportionnalité de la mesure (cf. art. 8 par. 2 CEDH), il faut aussi tenir compte de l'intérêt fondamental de l'enfant (art. 3 CDE) à pouvoir grandir en jouissant d'un contact étroit avec ses deux parents (<ref-ruling> consid. 5.2 p. 97 s.; aussi arrêt 6B_939/2020 du 4 mars 2021 consid. 3.3.1).
5.3. En ce qui concerne la relation du recourant avec son enfant, la cour cantonale a exposé - sans que le recourant ne se plaigne d'arbitraire dans l'établissement des faits à cet égard - que les liens père-fils s'étaient distendus depuis la séparation des parties, les contacts n'ayant repris que très récemment. Ainsi, l'autorité précédente a considéré que la présence de l'enfant du recourant en Suisse ne suffisait pas pour renoncer à son expulsion, étant rappelé qu'ils ne faisaient pas ménage commun, que le recourant avait laissé le BRAPA prendre en charge les contributions d'entretien dues et qu'il n'avait pas été démontré qu'il existait entre eux un lien particulièrement fort allant au-delà d'une relation ordinaire entre un père et son fils, leurs relations étant au contraire qualifiées de chaotiques et irrégulières. Si l'expulsion du recourant portait bien évidemment atteinte aux relations qu'il entretenait avec son fils, elle restait de durée limitée - soit de cinq ans - et ne l'empêcherait pas d'entretenir un contact avec lui par le biais des moyens de communication modernes.
5.4. Avec la cour cantonale, il faut admettre qu'en l'absence de ménage commun avec l'enfant et de relations personnelles entretenues de manière régulière, la seule présence en Suisse de l'enfant du recourant ne permet en principe pas de considérer qu'il existe une atteinte à la vie familiale au sens de l'art. 8 par.1 CEDH et, par conséquent, que son expulsion l'expose à une situation personnelle grave (cf. consid. 5.1 et 5.2 supra; voir aussi : arrêt 6B_1151/2020 du 8 avril 2021 consid. 4.2.4). L'invocation des art. 3 et 9 par. 3 CDE n'y change rien, dans la mesure où ces dispositions ne sauraient fonder une prétention directe à l'octroi ou au maintien d'une autorisation (<ref-ruling> consid. 5.2 p. 98 et les références; voir aussi : arrêt 6B_1151/2020 précité consid. 4.2.2).
5.5. Pour les motifs qui précèdent, il est douteux que l'expulsion du recourant le place dans une situation personnelle grave (première condition cumulative de l'<ref-law>). Quoi qu'il en soit, l'intérêt privé du recourant à demeurer en Suisse ne l'emporte pas sur celui, public, au prononcé de l'expulsion (seconde condition cumulative de l'<ref-law>).
En effet, comme l'a également relevé la cour cantonale, les actes commis par le recourant sont très graves, celui-ci ayant notamment fait subir à la mère de son enfant des violences sexuelles pendant plusieurs années et à réitérées reprises. En outre, malgré ses excuses aux débats d'appel, il a conclu à la suppression de toute indemnité pour tort moral en sa faveur et a continué à nier les faits les plus graves (cf. arrêt attaqué, consid. 6.3 p. 29). Enfin, ses agissements ne sauraient être réduits à une " problématique de couple " qui ne serait pas pertinente dans le cadre de l'examen de l'intérêt public. En effet, la Suisse considère que la violence à l'égard des femmes constitue une grave violation des droits humains qui entraîne des conséquences profondes non seulement pour les personnes concernées mais pour la société dans son ensemble (cf. arrêt 6B_1005/2020 du 22 décembre 2020 consid. 1.2.2 et les références citées).
Sous l'angle de l'intérêt privé du recourant, c'est de manière appellatoire qu'il affirme avoir été homme au foyer depuis son arrivée en Suisse, étant précisé que le recourant n'établit nullement le mode de garde de son fils et les tâches qu'il aurait exécutées à la maison. Aussi ne remet-il pas valablement en cause le constat de la cour cantonale selon lequel il ne s'était jamais intégré professionnellement et n'avait travaillé que de façon épisodique depuis son arrivée. En définitive, son intégration dans ce pays est manifestement faible et son intérêt à demeurer en Suisse résulte essentiellement de la présence de son fils dans ce pays. Or, comme l'a relevé la cour cantonale, grâce aux moyens de communication modernes et à la possibilité d'exercer le droit de visite pendant les vacances, une poursuite de l'exercice des relations personnelles après l'expulsion du recourant n'est pas d'emblée empêchée, étant encore précisé que la mesure d'expulsion est limitée à une durée de 5 ans.
Dans ces circonstances, et en toute hypothèse, l'intérêt public à l'éloignement du recourant l'emporte sur son intérêt privé à demeurer en Suisse.
5.6. Il s'ensuit que l'expulsion du recourant, prononcée pour une durée de 5 ans, doit être confirmée.
6.
Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière qui n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 janvier 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy