Faits :
A.
Par jugement du 30 mars 2020, le Tribunal de police du Littoral et du Val-de-Travers a reconnu A._ coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>), l'a acquitté de la prévention de contrainte (<ref-law>) et l'a condamné à 120 jours-amende à 30 fr. avec sursis pendant deux ans. Il l'a en outre condamné aux frais de la cause, arrêtés à 3'320 fr., sous réserve des règles de l'assistance judiciaire. Il a en outre statué sur les honoraires du conseil d'office et sur l'indemnité due à la plaignante pour ses frais de mandataire.
B.
Par jugement du 3 février 2021, la Cour pénale du Tribunal cantonal neuchâtelois a rejeté l'appel formé par A._ et a confirmé le jugement du tribunal de police.
En substance, il en ressort les éléments suivants.
B.a. Les époux A._ et B._, originaires de X._, se sont rencontrés en 2012, mariés en 2017 et séparés à Noël 2018.
B.b. En été 2018, A._ a prétexté des obligations professionnelles pour ne pas aller à X._ en même temps que son épouse. Alors qu'il était convenu qu'il l'y rejoigne, il s'était rendu secrètement à X._ avant la date prévue et y a rencontré une autre femme. Les époux ont ensuite passé le reste du séjour ensemble. Le prénommé a également envoyé à d'autres femmes des vidéos de lui en train de se masturber. De retour de X._, ayant eu vent de ces tromperies, B._ ne voulait "plus trop" entretenir de relations sexuelles avec son mari. Elle a consulté un psychiatre qui lui a prescrit des médicaments qui la faisaient dormir profondément. Le couple a fait chambre à part dès le 21 septembre 2018. Dans ce contexte, alors que son épouse dormait et se trouvait sous l'effet de médicaments puissants pour se soigner d'un état dépressif sévère, A._ lui a ôté le bas de son pyjama et l'a pénétrée à une reprise avec son sexe, en éjaculant ensuite en elle et sur elle, et à deux autres reprises il l'a pénétrée avec ses doigts.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement cantonal et conclut, principalement, à sa réforme en ce sens qu'il est acquitté de l'ensemble des charges à son encontre. Subsidiairement, il conclut à son annulation et au renvoi de la cause à la cour cantonale pour nouveau jugement dans le sens des considérants.
Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Invoquant une violation de l'<ref-law>, le recourant reproche à la cour cantonale de ne pas avoir donné suite à sa réquisition de preuve visant à l'audition de l'intimée.
1.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 6.3.1 et les références citées). Il n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3; <ref-ruling> consid. 3.3; <ref-ruling> consid. 5.3).
1.2. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_249/2021 du 13 septembre 2021 consid. 1.1.2; 6B_935/2020 du 25 février 2021 consid. 1.1; 6B_484/2020 du 21 janvier 2021 consid. 4.1; 6B_884/2019 du 30 octobre 2019 consid. 2.1).
1.3. Aux termes de l'<ref-law> - applicable aux débats d'appel par renvoi de l'<ref-law> -, le tribunal réitère l'administration des preuves qui, lors de la procédure préliminaire, ont été administrées en bonne et due forme, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement (<ref-ruling> consid. 1.4.1). La connaissance directe d'un moyen de preuve n'est nécessaire que lorsque celle-ci est susceptible d'influer sur le sort de la procédure, ce qui est le cas si la force du moyen de preuve dépend de manière décisive de l'impression suscitée au moment de sa présentation, notamment quand des déclarations constituent l'unique moyen de preuve - à défaut de tout autre indice - et qu'il existe une situation de "déclarations contre déclarations" (<ref-ruling> consid. 4.4.2). Le juge dispose d'un pouvoir d'appréciation afin de déterminer quel moyen de preuve doit être à nouveau administré (<ref-ruling> consid. 4.4.2). Seules les preuves essentielles et décisives dont la force probante dépend de l'impression qu'elles donnent doivent être réitérées. S'agissant d'un témoignage, l'administration de la preuve n'apparaît pas nécessaire uniquement au regard de son contenu (soit ce que dit le témoin), mais bien plutôt lorsque le jugement dépend de manière décisive du comportement du témoin (soit comment il le dit). Le tribunal dispose d'une certaine marge d'appréciation au moment de déterminer si une nouvelle administration de la preuve est nécessaire (<ref-ruling> consid. 4.4.2).
1.4. En vertu de l'<ref-law>, la victime jouit de droits particuliers au cours de la procédure. Elle a notamment le droit à la protection de la personnalité (art. 70 al. 1 let. a, 74 al. 4 et 152 al. 1 CPP; let. a); le droit à des mesures de protection (art. 152 à 154 CPP; let. c); et/ou le droit de refuser de témoigner (<ref-law>; let. d).
En particulier, la victime d'infraction à l'intégrité sexuelle peut, dans tous les cas, refuser de répondre aux questions qui ont trait à sa sphère intime (<ref-law>). Cette disposition est située dans le chapitre relatif aux témoins et dans la section traitant de leur droit, le cas échéant, de refuser de témoigner. Dès lors que le témoignage est en principe oral (cf. les termes "déclarations", "Aussagen" et "dichiarazioni" de l'<ref-law>), il est incontesté que l'<ref-law> peut être invoqué par la victime d'infraction à l'intégrité sexuelle lorsqu'elle est auditionnée par les autorités pénales, qu'elle soit entendue en tant que témoin (<ref-law>) ou comme partie plaignante (art. 178 let. a et 180 al. 2 CPP; arrêt 1B_342/2016 du 12 décembre 2016 consid. 3.1 et les références citées). Dans ce cadre, le droit de la victime est par ailleurs absolu et prévaut notamment sur la limite au refus de témoigner posée à l'<ref-law> (arrêts 6B_1371/2020 du 15 septembre 2021 consid. 3.1; 6B_249/2021 du 13 septembre 2021 consid. 1.1.3; 1B_342/2016 précité consid. 3.1 et les références citées). Cette solution se justifie eu égard en particulier aux difficultés, notamment émotionnelles, que peut engendrer le fait de parler, devant des autorités - voire en présence du prévenu - de cette thématique particulière.
De plus, la victime décide librement d'utiliser ce droit ou pas; elle peut ainsi refuser de répondre ou n'apporter qu'une réponse partielle. Si elle accepte à un moment donné de répondre, cela ne signifie pas qu'elle renonce à son droit ou, si elle en fait usage, qu'elle s'en prévaut d'une manière générale (arrêts 6B_1371/2020 précité consid. 3.1; 6B_249/2021 précité consid. 1.1.3; 1B_342/2016 précité consid. 3.1).
1.5. Il ressort du jugement cantonal que dans un premier temps, le vice-président de la cour cantonale avait, sur requête du recourant, prévu l'audition de l'intimée. Le 26 janvier 2021, l'intimée a demandé d'être dispensée de comparaître, en raison d'un risque sévère de décompensation psychique et a produit un certificat médical de son médecin, spécialiste FMH en psychiatrie, lequel indiquait, le 25 novembre 2020, que sa patiente ne pouvait "plus assister aux séances ou convocations en face du juge avec la présence de son ex-couple (sic) en raison du risque sévère de décompensation psychique. La patiente souffre actuellement de symptômatologie (sic) post-traumatique réactive à cette relation et c'est prioritaire de plus exposer la patiente afin de pouvoir récupérer son état psychique". La cour cantonale a renoncé à l'audition de l'intimée en la dispensant, dès lors qu'elle a estimé qu'en raison de ces considérations médicales le moyen de preuve n'était plus disponible pour une période indéterminée et qu'aucune amélioration à court terme ne pouvait être attendue. Elle a également précisé que le certificat médical était rejoint par d'autres avis médicaux. La cour cantonale a rappelé que les précédentes déclarations de la victime constituaient des éléments de preuve et qu'il lui appartenait de les apprécier avec une prudence et une retenue particulière. En outre, elle a relevé que l'intimée avait déjà été entendue une fois par la police, une fois par le ministère public et devant le tribunal de police. Lors des deux dernières auditions le recourant était présent. Finalement, pour la cour cantonale, il ne s'agissait pas d'une pure situation "de déclarations contre déclarations", sans autres preuves et indices, dès lors que l'instruction avait mis en lumière de nombreux messages électroniques échangés par les parties au moment des faits incriminés, que deux témoins indirects avaient été entendus et que les médecins traitants de l'intimée avaient fourni des rapports médicaux en lien avec les faits de la cause.
1.6. En substance, le recourant conteste les motifs avancés par la cour cantonale pour rejeter sa requête visant à l'audition de l'intimée. En l'espèce, l'intimée a produit un certificat médical indiquant qu'une nouvelle comparution devant le tribunal l'exposerait à un risque sévère de décompensation psychique et qu'il était prioritaire de ne plus la soumettre à ce genre de situation pour préserver son état psychique, ce qui lui a valu d'être dispensée de comparaître. Par cette demande, il faut comprendre que l'intimée a fait usage de son droit, en sa qualité de victime d'une infraction contre l'intégrité sexuelle, de refuser de témoigner s'agissant de sa sphère intime (cf. <ref-law>). A cet égard, la critique du recourant concernant la prétendue ancienneté du certificat médical est vaine. En effet, la victime peut exercer son droit en tout temps et ce dernier n'est pas subordonné à une situation médicale particulière. Il en va de même de son reproche, selon lequel, une audition devant le tribunal aménagée d'un dispositif de non-confrontation ou en l'absence du recourant aurait été conforme aux prescriptions médicales. Il est commun que l'évocation d'une telle thématique devant les autorités soit déjà suffisante à engendrer des difficultés, notamment émotionnelles, raison pour laquelle le droit de refuser de témoigner ne concerne pas uniquement les configurations mettant la victime en présence directe de l'auteur des faits incriminés. Le recourant prétend encore que l'intimée n'aurait jamais "rechigné" à comparaître devant le juge civil en lien avec la procédure, menée parallèlement, en mesures protectrices de l'union conjugale. Outre que cet élément ne ressort pas du jugement attaqué, sans que le recourant n'explique en quoi il aurait été arbitrairement omis, on ne voit pas en quoi il aurait eu une quelconque pertinence in casu. En effet, une audience devant le juge civil n'aurait certainement pas été axée sur la sphère intime de l'intimée. De manière plus générale, il est à rappeler que dans le cadre de la procédure pénale, la victime est libre de décider librement d'utiliser son droit ou pas. Le fait que la victime accepte à un certain moment de répondre n'implique pas qu'elle renonce à son droit de refuser de témoigner ultérieurement (cf. supra consid. 1.4). Par ailleurs, il est à relever que le recourant n'invoque pas de violation du droit à la confrontation en lien avec les art. 6 ch. 3 let. d CEDH et 147 al. 1 CPP, étant précisé sous cet angle que l'intimée a été entendue en contradictoire devant le ministère public et devant le tribunal de première instance. Pour le reste, le recourant prétend que de nombreuses zones d'ombre et des contradictions ressortiraient des déclarations de l'intimée, raison pour laquelle, elle aurait dû être auditionnée à nouveau. L'appréciation des déclarations émises par l'intimée antérieurement relève de l'appréciation des preuves (cf. infra consid. 2).
Partant, le rejet de la réquisition de preuve du recourant ne prête pas le flanc à la critique. Le grief du recourant est rejeté dans la mesure où il est recevable.
2.
Le recourant prétend que les déclarations de l'intimée auraient été arbitrairement tenues pour crédibles et conteste les faits retenus par la cour cantonale. A cet égard, il invoque une violation du principe in dubio pro reo.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.1; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe in dubio pro reo n'a pas de portée plus large que l'interdiction de l'arbitraire (ATF <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.1).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_1498/2020 du 29 novembre 2021 consid. 3.1, destiné à la publication; arrêts 6B_1052/2020 du 19 juillet 2021 consid. 1.1; 6B_984/2020 du 4 mars 2021 consid. 1.1).
Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_802/2021 du 10 février 2022 consid. 1.1; 6B_366/2021 du 26 janvier 2022 consid. 2.1.2; 6B_238/2020 du 14 décembre 2020 consid. 1.3 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4). Les cas de "déclarations contre déclarations", dans lesquels les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe in dubio pro reo, conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3; arrêts 6B_732/2021 du 24 février 2022 consid. 2.3; 6B_257/2021 du 22 décembre 2021 consid. 1.2; 6B_1498/2020 précité consid. 3.1).
2.2. La cour cantonale a retenu que les dires de l'intimée étaient tout à fait crédibles. Elle avait décrit les faits sans invraisemblance, ni contradiction. Devant le ministère public, alors qu'elle était assistée pour la première fois par une interprète faisant la traduction simultanée de l'espagnol au français et réciproquement, elle était revenue sur ses déclarations devant la police en français et sans interprète pour les modifier, en précisant que lors du deuxième épisode décrit dans l'acte d'accusation, elle n'avait pas été pénétrée par son mari avec son sexe, mais avec son doigt. La cour cantonale a souligné que s'il était regrettable que l'intimée ait été auditionnée une première fois en français, sans interprète, elle avait tenu à rectifier ses déclarations, dès qu'elle avait été en mesure de le faire, en allégeant les charges qui pesaient contre le recourant. Ainsi pour la cour cantonale, cela n'enlevait rien à sa crédibilité, bien au contraire. Les propos de l'intimée étaient mesurés et il ne pouvait pas lui être reproché d'avoir cherché à présenter les faits de la cause d'une façon particulièrement défavorable au recourant. D'ailleurs, après avoir été abusée une première fois dans son sommeil, elle n'avait pas déposé plainte. Si le recourant en était resté là, elle n'aurait vraisemblablement pas donné une suite pénale à cette affaire ("La première fois, j'ai un peu laissé aller et je n'ai pas trop réfléchi"). Ce n'était que parce que le prévenu avait renouvelé à deux reprises ces agissements qu'elle s'était résolue à déposer une plainte pénale. Par ailleurs, ses déclarations se recoupent avec celles de deux témoins, certes indirects, et avec certains éléments matériels du dossier, soit plusieurs messages électroniques échangés par les parties peu avant et après leur séparation. En outre, selon la cour cantonale, la version circonstanciée de l'intimée paraissait trop élaborée pour avoir été inventée pour les besoins de la cause. En effet, dans un tel scénario, l'intimée aurait dû envoyer par avance des messages au recourant avec de fausses accusations d'abus sexuels sur sa personne durant son sommeil, en spéculant sur un certain effet de surprise et en espérant des quiproquos, puis construire une fausse accusation qu'elle aurait ensuite colportée auprès de certaines personnes en escomptant qu'elles soient entendues par la police et en anticipant le dépôt d'une plainte pénale. Outre le fait qu'un tel scénario paraissait assez difficile à mettre en oeuvre, l'intimée n'avait aucun intérêt à ourdir un tel complot.
La cour cantonale, a également retenu, en substance, que les déclarations du recourant étaient moins convaincantes. Il avait tenu des propos contradictoires en adaptant sa version durant les interrogatoires. En outre, les textos des parties n'auraient aucun sens si comme l'avait affirmé le recourant, il avait toujours entretenu des relations sexuelles consenties avec l'intimée. A cet égard, la cour cantonale retient par exemple que si le recourant n'avait pas introduit un doigt dans le sexe de sa femme qui était entrain de dormir, il n'aurait probablement pas reçu de cette dernière un message, le 11 décembre 2018, ayant la teneur suivante: "Dans (sic [Sans]) que je me réveille avec les doigts de quelqu'un dans le vagin".
2.3.
2.3.1. Le recourant critique le fait que la plainte pénale de l'intimée serait intervenue en même temps qu'une requête en séparation et que la description des faits reprochés y aurait été succincte. On ne voit pas, et le recourant n'explique pas en quoi ces éléments pourraient avoir un impact sur la crédibilité des propos de l'intimée. Quoi qu'il en soit, la cour cantonale a, à juste titre, relevé que s'agissant de la séparation, il suffisait à l'intimée, qui était représentée par un avocat, de déposer une requête de mesures protectrices de l'union conjugale, et, éventuellement, d'attendre l'audience et l'octroi du domicile conjugal en étant hébergée provisoirement chez une amie. Ainsi, l'intimée n'avait aucune raison de fomenter un complot contre son mari. Le recourant prétend également que la version de l'intimée devrait être mise en doute en raison d'un problème de chronologie dans les faits dénoncés lors de son audition à la police. En l'espèce, il ressort de l'audition de l'intimée qu'elle avait déclaré "La première fois, c'était quand j'avais pris les médicaments du Dr C._. Cela doit remonter en 2018, probablement durant l'été". Elle a ensuite dit qu'il y avait eu en tout trois épisodes et que le dernier serait survenu "un mois, voire un mois et demi après la première fois" situant cet épisode le 6 décembre 2018, ce qui correspondait aux messages WhatsApp (Procès-verbal du 11 janvier 2018, pièce n° 20; <ref-law>). Il convient de rappeler que la première audition devant la police a été réalisée en l'absence d'interprète. De plus, le simple fait que l'estimation de l'intimée s'agissant du temps écoulé entre le premier épisode et les deux derniers ne soit pas d'une grande précision n'est pas propre à discréditer ses déclarations. En effet, s'agissant du premier épisode, l'intimée se rappelle surtout du contexte, à savoir qu'elle était sous l'effet des médicaments que le Dr C._ lui avait prescrits. Elle signifie son doute quant à l'aspect temporel en utilisant le terme "probablement" pour situer l'épisode dans le temps. D'ailleurs, la cour cantonale n'a pas retenu de date précise pour ce premier épisode. Les deux autres épisodes sont pour leur part clairement situés dans le temps, avec pour appui des messages WhatsApp.
2.3.2. Le recourant met en exergue de prétendues contradictions dans les déclarations de l'intimée. Il soulève que l'intimée aurait dit, lors de sa première audition, s'être réveillée "toute mouillée", puis questionnée par le procureur, aurait ajouté avoir été déshabillée par le recourant et ne porter ainsi que le haut de son pyjama. Or, il s'agit là uniquement d'une précision et non d'une contradiction, le fait que l'intimée soit souillée de sperme n'impliquait pas forcément qu'elle portait un bas de pyjama. En outre, les faits dénoncés, à savoir, une pénétration avec le sexe, impliquaient forcément que le recourant lui enlève ou lui baisse le bas du pyjama. Le recourant souligne ensuite que l'intimée, devant le procureur, était revenue sur les faits concernant le deuxième épisode et soutient qu'il était dès lors arbitraire de tenir ses dires pour crédibles sans même la réentendre. Or, à cet égard, la cour cantonale a retenu, à juste titre, que cette modification n'enlevait rien à la crédibilité de l'intimée. En effet, l'intimée avait été amenée à rectifier ses déclarations devant le procureur, du fait que lors de sa première audition elle n'avait pas bénéficié d'un interprète. Dès qu'elle avait été en mesure de le faire, elle avait corrigé ses dires en allégeant les charges qui pesaient contre le recourant.
2.3.3. Le recourant tente en vain de discréditer l'intimée en soutenant qu'elle aurait fait face à des problèmes psychiatriques qui ne dateraient pas des faits reprochés et qu'elle aurait débuté, en mars 2018, différents traitements médicamenteux pouvant avoir des effets secondaires tels que la confusion et des hallucinations. Le recourant se fonde sur des faits non constatés dans le jugement attaqué sans qu'il ne démontre, par une critique répondant aux exigences de motivation accrue de l'<ref-law>, qu'ils auraient été arbitrairement omis. Partant, ses critiques sont irrecevables.
2.3.4. Vu ce qui précède, le recourant échoue à démonter que la cour cantonale aurait versé dans l'arbitraire (cf. art. 97 al. 1 et 105 al. 1 LTF) en retenant que les déclarations de l'intimée étaient crédibles.
De plus, conformément à la jurisprudence (cf. supra consid. 2.1), le principe in dubio pro reo n'a ici pas de portée plus large que l'interdiction de l'arbitraire. Partant le grief est rejeté dans la mesure où il est recevable.
3.
Le recourant reproche à la cour cantonale d'avoir violé l'<ref-law>.
3.1. L'<ref-law> prévoit que celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Cette disposition protège, indépendamment de leur âge et de leur sexe, les personnes incapables de discernement ou de résistance dont l'auteur, en connaissance de cause, entend profiter pour commettre avec elles un acte d'ordre sexuel (<ref-ruling> consid. 2a). Son but est de protéger les personnes qui ne sont pas en état d'exprimer ou de manifester physiquement leur opposition à l'acte sexuel. A la différence de la contrainte sexuelle (<ref-law>) et du viol (<ref-law>), la victime est incapable de discernement ou de résistance, non en raison d'une contrainte exercée par l'auteur, mais pour d'autres causes (arrêts 6B_322/2021 du 2 mars 2022 consid. 3.3; 6B_215/2021 du 17 janvier 2022 consid. 4.1; 6B_123/2020 du 26 novembre 2020 consid. 7.1).
L'<ref-law> vise une incapacité de discernement ou de résistance totale, qui peut se concrétiser par l'impossibilité pour la victime de se déterminer en raison d'une incapacité psychique, durable (p. ex. maladie mentale) ou passagère (p. ex. perte de connaissance, alcoolisation importante, etc.), ou encore par une incapacité de résistance parce qu'entravée dans l'exercice de ses sens, elle n'est pas en mesure de percevoir l'acte qui lui est imposé avant qu'il soit accompli et, partant, de porter un jugement sur celui-ci et, cas échéant, le refuser (cf. <ref-ruling> consid. 7.2 ss; arrêts précités 6B_322/2021 consid. 3.3; 6B_215/2021 consid. 4.1; 6B_123/2020 consid. 7.1). L'<ref-law> exige que l'auteur ait profité de l'incapacité de discernement ou de résistance de la victime, autrement dit qu'il ait exploité l'état ou la situation dans laquelle elle se trouvait.
3.2. Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève du contenu de la pensée, à savoir de "faits internes" qui, en tant que tels, lient le Tribunal fédéral conformément à l'<ref-law>, à moins qu'ils aient été retenus de manière arbitraire (<ref-ruling> consid. 12; <ref-ruling> consid. 6.3).
3.3. La cour cantonale a estimé que les éléments constitutifs objectifs et subjectifs de l'infraction réprimée à l'<ref-law> étaient réunis. Le recourant avait saisi, à trois reprises, l'occasion que l'intimée dormait et se trouvait sous l'effet de médicaments puissants qu'elle prenait pour se soigner d'un état dépressif sévère pour lui ôter son bas de pyjama et la pénétrer à une reprise avec son sexe, en éjaculant ensuite en elle et sur elle, et à deux reprises avec ses doigts. S'agissant de l'intention, la cour cantonale a retenu que les explications du prévenu selon lesquelles, durant le mois de décembre, une relation sexuelle consentie ne se serait pas déroulée "comme d'habitude" parce que l'intimée, n'aurait pas été "chaude comme d'habitude" montraient bien que le recourant s'était aperçu du fait que son épouse se trouvait dans un état second. Le fait qu'elle soit parvenue, lors d'un deuxième épisode, malgré son état, à réagir, en demandant au recourant de cesser ne permettait pas de retenir qu'elle aurait été capable d'exprimer efficacement son opposition lors des deux autres épisodes et que ne l'ayant pas fait, il fallait considérer qu'elle était d'accord avec les agissements du recourant. L'insistance du recourant qui a agi à trois reprises, durant le sommeil de la victime, permettait d'établir qu'il avait sciemment exploité l'état d'incapacité de résistance dans lequel elle se trouvait pour s'adonner à des actes d'ordre sexuel sans son consentement à une période durant laquelle elle se refusait à lui, ce qu'il n'acceptait pas.
3.4. Le recourant conteste sa condamnation pour actes d'ordre sexuel sur une personne incapable de discernement ou de résistance au motif que les éléments constitutifs de l'infraction ne seraient pas réalisés. Le recourant soulève que l'intimée aurait déclaré que le recourant ne l'aurait jamais forcée ni menacée. Outre qu'il se fonde sur des faits non constatés dans le jugement attaqué sans prétendre qu'ils auraient été arbitrairement omis, ses critiques tombent à faux. En effet, l'infraction de l'<ref-law> ne suppose pas l'usage d'un moyen de contrainte.
Le recourant conteste que l'élément constitutif subjectif de l'infraction fût réalisé. Il soutient que l'intention ne saurait être retenue. A cet effet, il se contente de livrer sa propre version des faits. Il en va ainsi lorsqu'il soutient qu'il aurait toujours eu des relations sexuelles avec le consentement de ses partenaires et qu'il n'aurait aucun plaisir à entretenir des relations intimes si son épouse ne montrait pas d'engouement à ce propos. Il soutient qu'il aurait été arbitraire de retenir qu'il était conscient de l'état second dans lequel se trouvait l'intimée sur la base du fait qu'il avait admis devant la police qu'au mois de décembre une relation sexuelle ne se serait pas déroulée "comme d'habitude" parce que l'intimée n'aurait pas été "chaude comme d'habitude". Ses explications, selon lesquelles, il se référait à un rapport sexuel consenti que l'intimée aurait également admis, sont purement appellatoires. Au demeurant, son intention d'exploiter l'état de sa victime ressort du simple fait que sachant que son épouse se refusait à lui, ce dernier a agi lorsqu'elle était profondément endormie sous l'effet de puissants médicaments. Partant, les critiques du recourant sont rejetées dans la mesure où elles sont recevables.
3.5. Pour le surplus, le recourant semble reprocher à la cour cantonale un défaut de motivation s'agissant de l'élément constitutif subjectif de l'infraction. Il apparaît douteux que son grief, qui relève du droit d'être entendu que le recourant n'évoque même pas, soit suffisamment motivé. Quoi qu'il en soit, la cour cantonale donne des précisions sur l'aspect subjectif de l'infraction et sa motivation est suffisante. Infondé, le grief du recourant doit être rejeté dans la mesure où il est recevable.
4.
Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière qui n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour pénale.
Lausanne, le 11 avril 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Meriboute