Faits :
A.
Par jugement du 9 septembre 2020, le Tribunal correctionnel de la République et canton de Genève a condamné A._ pour lésions corporelles simples (art. 123 ch. 1 al. 1 et ch. 2 al. 5 CP), voies de fait (art. 126 al. 1 et al. 2 let. c CP), injure (<ref-law>), menaces (art. 180 al. 1 et al. 2 let. b CP), contrainte sexuelle (faits décrits sous points B.IV.12 et B.IV.14 de l'acte d'accusation; <ref-law>), viol (<ref-law>) et contravention à la loi fédérale sur les stupéfiants (<ref-law>) à une peine privative de liberté de 3 ans et demi, à une peine pécuniaire de 15 jours-amende à 50 fr. ainsi qu'à une amende de 800 francs. Il l'a acquitté du chef de contrainte sexuelle pour les faits décrits sous points B.IV.10, B.IV.11 et B.IV.13 de l'acte d'accusation. Le tribunal a renoncé à révoquer le sursis de 3 ans octroyé à A._ le 31 mars 2016 par le Ministère public de la République et canton de Genève (portant sur une peine pécuniaire de 120 jours-amende à 130 fr.), mais lui a adressé un avertissement tout en prolongeant le délai d'épreuve de 18 mois. Il a ordonné la mise en oeuvre pour A._ d'un traitement ambulatoire sous la forme d'un suivi psychiatrique, addictologique et psychothérapeutique. Le tribunal a encore astreint A._ à verser à B._ les montants de 2'854 fr. et 1'200 EUR à titre de réparation du dommage matériel ainsi que de 8'000 fr. à titre de tort moral.
B.
Statuant par arrêt du 25 mai 2021, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel formé par A._ contre le jugement du 9 septembre 2020. Elle a en revanche admis l'appel joint de B._. Le jugement a été réformé en ce sens que l'indemnité due par A._ à B._ à titre de tort moral était portée à 20'000 fr., avec intérêts à 5% dès le 1er janvier 2016. Le jugement a été confirmé pour le surplus.
La cour cantonale a notamment retenu les faits suivants s'agissant des événements encore pertinents devant le Tribunal fédéral.
B.a. A._ et B._ se sont rencontrés en 2009 à U._ dans le cadre de l'activité de prostitution exercée par celle-ci. A plusieurs reprises, A._ a aidé B._ sur le plan financier, notamment en lui mettant à disposition un appartement dont il s'acquittait du loyer. En avril 2012, A._, qui venait de divorcer, s'est établi dans cet appartement avec B._. Peu après, A._ a perdu son emploi en raison de sa consommation de stupéfiants puis, durant l'été 2012, a été hospitalisé en psychiatrie dans un contexte de décompensation délirante et d'agressivité envers son ex-épouse et ses enfants.
Entre 2012 et 2017, à au moins quinze reprises, la police est intervenue pour des faits de violence impliquant A._ et B._. A la plupart de ces occasions, les intéressés étaient sous l'effet de l'alcool ou de stupéfiants. Durant toute cette période et jusqu'en 2018, B._ a plusieurs fois quitté, puis réintégré, le domicile commun.
B.b. A une occasion, en août 2012, A._ s'est couché sur B._, alors qu'elle dormait, lui a mis la main sur la bouche, a bloqué ses deux bras avec ses deux mains, l'a maintenue sous son poids et l'a pénétrée par le vagin avec son pénis, jusqu'à éjaculation, en faisant fi du refus de cette dernière, qui lui demandait d'arrêter et de " dégager ", tout en criant et en pleurant.
En mai ou en juin 2018, à une date indéterminée, après avoir fait s'asseoir B._ sur un divan, A._ s'est mis en face d'elle et a introduit son pénis profondément dans sa gorge en lui tirant la tête en arrière par les cheveux pour la forcer à ouvrir la bouche, qu'elle maintenait fermée, tandis qu'elle essayait de le repousser avec ses mains.
A une date indéterminée, A._ a demandé à B._ de se placer en position de " levrette ", lui a maintenu le cou et l'a pénétrée par l'anus avec son pénis, alors qu'il savait qu'elle ne souhaitait pas entretenir un tel rapport, voire, à tout le moins, en avait pris le risque et s'en était accommodé.
Par ailleurs, le 6 juin 2018, entre autres actes de violence, A._ a essayé d'étrangler B._ avec la ficelle de son soutien-gorge et l'a frappée avec une barre de fer.
B.c. En cours d'instruction, A._ a été soumis à une expertise psychiatrique, réalisée par les Drs C._ et D._, psychiatres FMH.
A teneur du rapport d'expertise du 10 juillet 2019, A._ souffrait, au moment des faits, d'un trouble bipolaire en phase dépressive ainsi que d'une dépendance à l'alcool, à la cocaïne, au cannabis et aux benzodiazépines. Il possédait la faculté d'apprécier le caractère illicite de ses actes et avait partiellement la faculté de se déterminer d'après cette appréciation. Sa responsabilité était légèrement restreinte et les actes de violence et de contrainte sexuelle reprochés étaient en relation avec ses troubles. Le risque de récidive d'infractions du même ordre était moyen. Un suivi psychiatrique, addictologique et psychothérapeutique dans le cadre d'un traitement ambulatoire était susceptible de diminuer ce risque.
C.
A._ forme un recours en matière pénale contre l'arrêt du 25 mai 2021. Il conclut principalement, avec suite de frais et dépens, à son acquittement des chefs de viol et de contrainte sexuelle ainsi qu'à sa libération immédiate. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Invoquant des violations des art. 189 al. 1 et 190 al. 1 CP, le recourant conteste ses condamnations pour contrainte sexuelle et pour viol. Il se plaint également dans ce contexte d'une constatation arbitraire des faits ainsi que d'une violation du principe in dubio pro reo.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.1; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe in dubio pro reo n'a pas de portée plus large que l'interdiction de l'arbitraire (ATF <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.1).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_1498/2020 du 29 novembre 2021 consid. 3.1, destiné à la publication; arrêts 6B_1052/2020 du 19 juillet 2021 consid. 1.1; 6B_984/2020 du 4 mars 2021 consid. 1.1).
Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_366/2021 du 26 janvier 2022 consid. 2.1.2; 6B_238/2020 du 14 décembre 2020 consid. 1.3 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4). Les cas de " déclarations contre déclarations ", dans lesquels les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe in dubio pro reo, conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3; arrêts 6B_257/2021 du 22 décembre 2021 consid. 1.2; 6B_1498/2020 précité consid. 3.1).
1.2. À teneur de l'<ref-law>, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. D'après l'<ref-law>, celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel, sera puni d'une peine privative de liberté de un à dix ans.
Les art. 189 et 190 CP tendent à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, l'acte sexuel ou un autre acte d'ordre sexuel. Il s'agit de délits de violence, qui doivent être considérés principalement comme des actes d'agression physique (<ref-ruling> consid. 2.2 et les arrêts cités; arrêts 6B_1164/2020 du 10 juin 2021 consid. 3.1; 6B_146/2020 du 5 mai 2020 consid. 2.1). Pour qu'il y ait contrainte en matière sexuelle, il faut que la victime ne soit pas consentante, que l'auteur le sache ou accepte cette éventualité et qu'il passe outre en profitant de la situation ou en utilisant un moyen efficace (<ref-ruling> consid. 2b; arrêts 6B_367/2021 du 14 décembre 2021 consid. 2.2.1; 6B_1164/2020 précité consid. 3.1). Les art. 189 et 190 CP ne protègent des atteintes à la libre détermination en matière sexuelle que pour autant que l'auteur surmonte ou déjoue la résistance que l'on pouvait raisonnablement attendre de la victime (<ref-ruling> consid. 4 et l'arrêt cité; arrêts 6B_488/2021 du 22 décembre 2021 consid. 5.4.1; 6B_1164/2020 précité consid. 3.1).
1.3. Pour retenir que le recourant avait forcé l'intimée à se livrer à divers rapports sexuels avec lui, la cour cantonale s'est fondée sur les déclarations de la victime, qu'elle a tenues pour crédibles, à l'inverse de celles du recourant, qui s'était pour sa part borné à se réfugier derrière l'antienne de pratiques sexuelles partagées. L'intimée avait ainsi décrit, dans la limite de ses souvenirs et de son état psychique fragile, nombre de violences et abus subis, tout en mentionnant des détails spécifiques, mais néanmoins similaires, lors de chacune de ses auditions. Entendue à au moins six reprises entre juin 2017 et septembre 2020, celle-ci n'avait que très peu varié dans ses explications, n'avait pas cherché à accabler le recourant et s'était montrée mesurée et sincère dans ses propos, minimisant même la responsabilité de l'intéressé et la gravité des faits.
Par ailleurs, l'intimée était également crédible lorsqu'elle avait dépeint son quotidien avec le recourant, qui était rythmé par une consommation importante d'alcool et de stupéfiants, par des violences physiques et verbales répétées, par une attitude dominante du recourant à son égard ainsi que par les injures, menaces et humiliations de ce dernier. Tous ces éléments avaient induit chez elle une pression psychologique intense et l'avaient placée dans un état de peur et de stress permanent, l'ayant conduite à adopter une attitude de soumission. L'emprise du recourant était telle que l'intimée n'était pas parvenue, malgré les circonstances, à se détacher de lui et à le quitter, ce qui était souvent le cas de victimes de violences conjugales et n'était guère surprenant.
Dans ce contexte, le retrait par l'intimée de sa plainte pénale, opérée le 15 janvier 2018, et ses rétractations à cette occasion n'affectaient en rien sa crédibilité. Outre que l'intéressée avait finalement renouvelé sa plainte le 28 juin 2018 ensuite de nouveaux actes de violence, le retrait de plainte évoqué était en effet à mettre en lien avec l'emprise exercée par le recourant, qui l'avait aidée à sortir de la prostitution et subvenait à ses besoins, la plaçant dans un conflit sentimental duquel elle ne parvenait pas à sortir (cf. arrêt attaqué, consid. 3.2.1 p. 17 ss).
1.4. S'opposant à l'appréciation opérée par la cour cantonale, le recourant persiste à soutenir que les actes qui lui sont reprochés s'inscrivaient dans le cadre de pratiques sexuelles consenties par l'intimée et, plus généralement, d'une manipulation ourdie par cette dernière dans le but de le conduire, puis de le maintenir en détention.
1.4.1. Dans ses développements, le recourant s'attache toutefois, quant à chacun des actes de contrainte sexuelle et de viol qui lui sont reprochés, à remettre en cause la constance des versions présentées par l'intimée et partant la crédibilité de cette dernière, ceci en mettant en évidence de prétendues variations dans ses propos et en rediscutant longuement la portée des déclarations recueillies et le sens à leur donner.
Une telle démarche, appellatoire, est irrecevable dans le recours en matière pénale.
1.4.2. Pour le surplus, le recourant ne parvient pas à démontrer que les imprécisions dénoncées iraient au-delà d'éléments périphériques ou d'accroches temporelles, déjà mis en exergue par la cour cantonale, et qui n'étaient selon elle guère surprenants compte tenu de l'état d'angoisse dans lequel se trouvait l'intimée et dès lors que les agissements en cause s'étaient étalés sur plusieurs années. Il en va ainsi notamment lorsqu'il revient sur la description faite par l'intimée des gestes qu'il a précisément réalisés et de la marque de la veste qu'il portait au moment des faits du mois d'août 2012 ou encore lorsqu'il revient sur les circonstances du rapport anal dénoncé en relevant que l'intimée avait expliqué, à au moins deux reprises en cours de procédure, qu'il s'était simplement " trompé de trou ".
Aussi, en tant que l'intimée aurait reconnu avoir régulièrement accepté d'entretenir des rapports sexuels avec le recourant, y compris des jeux et des pratiques " atypiques " - telles des fellations " en gorge profonde " ou l'introduction d'objets dans l'anus -, cet aspect ne permet pas à lui seul, contrairement à ce que le recourant laisse entendre d'une manière quelque peu inadéquate, de déduire un consentement s'agissant précisément de la fellation et de la sodomie en cause, dont les circonstances avaient été individualisées par l'intimée, quand bien même elle n'avait pas été en mesure de les situer précisément sur le plan temporel. Quoi qu'il en soit, comme l'a relevé la cour cantonale, le recourant ne saurait à l'évidence déduire de l'accord donné par l'intimée à un moment précis un assentiment général et illimité pour le futur et en d'autres circonstances.
Par ailleurs, concernant en particulier les faits du mois d'août 2012, l'intimée avait livré le même récit lors de ses auditions des 15 février 2019 et 29 avril 2020, à savoir qu'elle était allée se coucher dans sa propre chambre, que le recourant lui avait mis les mains sur la bouche, qu'elle avait essayé de garder ses cuisses serrées et de se débattre, mais que le recourant était néanmoins parvenu, en la maintenant sous son poids, à la pénétrer par le vagin. Si lors de sa première audition par la police en juin 2017, l'intimée n'avait certes pas déclaré avoir manifesté un refus, la cour cantonale pouvait toutefois considérer sans arbitraire que la seule évocation de cet épisode lors de la première audition démontrait déjà suffisamment qu'elle estimait qu'il ne s'agissait pas d'un rapport sexuel " normal " et qu'un tel acte relevait du droit pénal. Pour le surplus, l'absence d'évocation des actes en cause lors de l'audience du 28 juin 2018 s'expliquait par le fait que celle-ci portait sur les actes dénoncés en dernier lieu, à savoir ceux s'étant déroulés quelque deux semaines auparavant (cf. arrêt attaqué, consid. 3.2.2 p. 19).
Cela étant, compte tenu des déclarations de l'intimée et des autres éléments pris en considération par la cour cantonale, y compris les violences physiques et verbales pour lesquelles le recourant a par ailleurs été condamné, le contexte de dépendance dans lequel l'intimée évoluait et l'attitude de soumission qu'elle avait adoptée au fil des années, il n'est pas arbitraire de considérer comme établis les faits dénoncés par l'intimée et les circonstances les entourant, en particulier s'agissant du fait que celle-ci n'avait pas valablement consenti aux différents rapports sexuels.
1.5. Au reste, le récit de l'intimée fait manifestement état d'un usage de la force physique par le recourant, celui-ci ayant entrepris pour chacun des actes dénoncés des gestes destinés à limiter la capacité de l'intimée à lui résister. A cet égard, il ne saurait non plus être fait abstraction de l'emprise psychologique exercée par le recourant, qui avait régulièrement humilié, injurié et menacé l'intimée et l'avait ainsi maintenue dans un état de stress et de peur persistant, l'ayant conduite à adopter une attitude de soumission à son égard.
Il apparaît ainsi que le recourant a bien fait usage de contrainte pour parvenir à ses fins, celle-là ayant en l'occurrence pris la forme tant de violences physiques que de pressions psychiques.
1.6. Sur le plan subjectif, comme l'a relevé la cour cantonale sans arbitraire, le recourant ne pouvait pas ignorer qu'au moment des faits, l'intimée ne souhaitait pas entretenir les rapports sexuels en cause, ni que les gestes qu'il avait entrepris étaient propres à l'empêcher de lui résister. Il ne pouvait par ailleurs qu'être conscient que le climat de peur dans lequel il avait placé l'intimée, de même que la force physique employée à son encontre, étaient propres à la contraindre à subir les actes reprochés (cf. arrêt attaqué, consid. 4.2.2 p. 24), de sorte que les comportements du recourant relèvent de l'intention.
1.7. Dès lors, au regard de ce qui précède, la condamnation du recourant pour contrainte sexuelle et viol n'est pas contraire au droit fédéral.
2.
Au surplus, le recourant ne revient pas sur les autres infractions pour lesquelles il a été condamné, ni ne conteste spécifiquement les peines et la mesure de traitement ambulatoire prononcées, ni encore ne précise, à défaut d'avoir obtenu l'acquittement requis, les motifs qui doivent conduire à sa libération immédiate.
3.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 10 février 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Tinguely