Faits :
A.
Par jugement du 6 février 2018, le Tribunal correctionnel de la République et canton de Genève a acquitté X._ des chefs de prévention de contrainte sexuelle (art. 189 ch. 1 CP), de viol (art. 190 ch. 1 CP), d'actes d'ordre sexuel commis sur une personne incapable de discernement (art. 191 CP) et de lésions corporelles simples (art. 123 ch. 1 CP).
B.
Statuant le 8 mai 2019, la Chambre pénale d'appel et de révision a admis partiellement les appels formés par A._, partie plaignante, et par le ministère public contre le jugement du 6 février 2018. Elle l'a réformé en ce sens que X._ était condamné pour actes d'ordre sexuel commis sur une personne incapable de discernement (art. 191 CP) à une peine pécuniaire de 200 jours-amende, à 30 fr. l'unité, avec sursis pendant 2 ans, qu'il devait payer à A._ une indemnité de 4000 fr., avec intérêts à 5% l'an dès le 1 er février 2016, à titre de réparation du tort moral, un tiers des frais de procédure étant en outre mis à sa charge. Le jugement du 6 février 2018 a été confirmé pour le surplus.
En substance, la cour cantonale a retenu les faits suivants.
B.a. X._, né en 1977, et A._, née en 1994, se sont rencontrés en octobre 2015 lors d'un séjour à la Clinique B._. Le premier était suivi par les Hôpitaux C._ en raison d'un ostéosarcome diagnostiqué en 2013, dont la tumeur située sur le haut du fémur lui occasionnait d'importantes douleurs. Il avait ainsi subi plusieurs interventions ainsi que deux cycles de chimiothérapie durant l'année 2015, se déplaçant depuis lors en chaise roulante ou au moyen de béquilles. La seconde souffrait pour sa part de troubles psychiques, notamment d'un trouble dépressif récurrent, présentant en outre un retard mental moyen. En 2013, une curatrice lui avait été désignée par l'autorité de protection de l'adulte, l'intéressée ayant été privée de l'exercice des droits civils dans les domaines des affaires administratives courantes, de la gestion du patrimoine et dans les rapports juridiques avec les tiers.
Après un séjour de X._ en Algérie, Etat dont il est ressortissant, les deux précités se sont revus à la fin janvier 2016. A cette période, et jusqu'au début février 2016, ainsi que le 13 mars 2016, ils ont entretenu des rapports sexuels dans le studio qu'occupait X._ à D._.
B.b. Le 18 mars 2016, A._, accompagnée de sa curatrice, a déposé plainte contre X._, lui reprochant de l'avoir violentée et forcée à entretenir des rapports sexuels brutaux en date du 13 mars 2016.
B.c. En cours d'instruction, A._ a été soumise à une expertise psychiatrique établie par le Dr E._, médecin à l'Unité de psychiatrie légale du Centre universitaire romand de médecine légale (CURML).
Dans son rapport du 14 juillet 2016, l'expert a relevé que l'ensemble du tableau clinique de l'expertisée (retard mental moyen, trouble envahissant du développement et trouble dépressif récurrent) était assimilable à un trouble mental de gravité élevée. Ainsi, pour une personne ayant des capacités normales d'observation, le retard mental de l'expertisée, qui n'avait pas de stigmates physiques, apparaissait rapidement dans le cadre d'une conversation verbale.
Un trouble du comportement au niveau sexuel a été mis en évidence sous forme d'une incapacité à comprendre les dimensions symboliques et affectives de ses comportements. A._ ne faisait pas la différence entre les pénétrations anale et vaginale dans leur description, alors qu'elle avait une perception relativement organisée de son corps et était capable de distinguer les différents actes sexuels.
L'expertisée n'avait pas la capacité de discernement pour acquiescer à un rapport sexuel, dans la mesure où elle ne pouvait pas se déterminer. Ni son accord, ni son refus n'étaient l'expression d'une volonté construite. Elle était capable d'opposer un refus ou au contraire de se mettre dans une position de passivité et de laisser-faire, en fonction des circonstances et de la capacité de son interlocuteur. En outre, A._ n'avait pas une tendance normale à fabuler, mais elle avait une capacité à ne pas dire la vérité sans être en mesure d'élaborer des mensonges complexes, ni forcément chercher à mentir.
C.
X._ forme un recours en matière pénale contre l'arrêt du 8 mai 2019. Il conclut, avec suite de frais et dépens, principalement à son acquittement. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.
Invitée à se déterminer sur le recours, la cour cantonale a renoncé à présenter des observations, se référant aux considérants de l'arrêt attaqué. Le Ministère public a conclu au rejet du recours. Quant à A._, elle a également conclu au rejet du recours. Elle a par ailleurs sollicité le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste sa condamnation du chef de l'art. 191 CP.
1.1. Aux termes de l'art. 191 CP, celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Cette disposition protège, indépendamment de leur âge et de leur sexe, les personnes incapables de discernement ou de résistance dont l'auteur, en connaissance de cause, entend profiter pour commettre avec elle un acte d'ordre sexuel (<ref-ruling> consid. 2a p. 196). Son but est de protéger les personnes qui ne sont pas en état d'exprimer ou de manifester physiquement leur opposition à l'acte sexuel. A la différence de la contrainte sexuelle (art. 189 CP) et du viol (art. 190 CP), la victime est incapable de discernement ou de résistance, non en raison d'une contrainte exercée par l'auteur, mais pour d'autres causes (<ref-ruling> consid. 7.2 p. 56).
La victime est considérée comme incapable de discernement lorsqu'au moment de l'acte elle n'est pas capable de se déterminer en toute connaissance de cause et de comprendre le sens et la portée des relations sexuelles. Dès lors que l'incapacité de discernement est une notion relative, il appartient au juge de déterminer concrètement si la victime était ou non capable de se défendre et de consentir (<ref-ruling> consid. 2c p. 198; arrêt 6B_1194/2015 du 3 juin 2016 consid. 1.3.1).
Sur le plan subjectif, l'art. 191 CP requiert l'intention, étant précisé que le dol éventuel suffit (arrêts 6B_578/2018 du 20 mars 2019 consid. 2.1; 6B_128/2012 du 21 juin 2012 consid. 1.6.1). Agit intentionnellement celui qui s'accommode de l'éventualité que la victime ne puisse pas être, en raison de son état physique ou psychique, en situation de s'opposer à une sollicitation d'ordre sexuel, mais lui fait subir malgré tout un acte d'ordre sexuel (arrêts 6B_69/2018 du 11 juin 2018 consid. 4.1; 6B_996/2017 du 7 mars 2018 consid. 1.1; 6B_128/2012 du 21 juin 2012 consid. 1.6.1). Il n'y a pas d'infraction si l'auteur est convaincu, à tort, que la personne est capable de discernement ou de résistance au moment de l'acte (arrêts 6B_578/2018 précité consid. 2.1; 6B_996/2017 du 7 mars 2018 consid. 1.1; 6B_60/2015 du 25 janvier 2016 consid. 1.2.1). Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève des constatations de fait (<ref-ruling> consid. 12 p. 152; <ref-ruling> consid. 6.3 p. 375).
1.2. La cour cantonale a retenu que, si l'intimée n'était pas affligée de stigmates clairement apparents de son retard mental, son déficit cognitif devait sauter aux yeux de toute personne la côtoyant, comme l'avait constaté l'expert psychiatre, qui avait relevé que le retard mental de l'intimée apparaissait rapidement dans le cadre d'une conversation verbale même banale. Le contenu des messages électroniques échangés entre les parties était à cet égard éloquent, les réponses fournies par l'intimée ne répondant pas à une logique de raisonnement structuré, au point de susciter l'incompréhension du recourant lui-même.
Il était certes probable que l'intimée n'avait pas clairement manifesté son opposition à des actes d'ordre sexuel, dès lors qu'un climat de confiance s'était fait jour entre les intéressés et que les rencontres s'étaient répétées, de manière à pouvoir faire naître chez le recourant le sentiment d'être le partenaire d'une relation amoureuse. Il apparaissait toutefois que l'intimée n'avait pas eu les moyens de faire connaître son opposition. Ainsi, le recourant, dont l'état général s'était fortement dégradé à l'époque des faits, s'était de facto retrouvé dans une situation qui l'avait conduit à ne pas se montrer trop curieux, profitant d'une relation inespérée au vu de sa condition. Il avait exploité l'état de capacité restreinte de l'intimée pour lui imposer des actes d'ordre sexuel, étant rappelé que, pour les motifs précités, il n'avait pas pu ne pas s'apercevoir de son retard mental.
En agissant de la sorte, le recourant avait accepté que l'intimée n'était pas sciemment consentante et qu'elle était dans l'incapacité de s'opposer aux actes sexuels entrepris. Il n'avait ainsi pas tenu compte de la faiblesse psychique de l'intimée, à tout le moins par dol éventuel (cf. arrêt entrepris, consid. 3.4 p. 27).
1.3. Le recourant, qui conteste qu'il lui fût possible de connaître l'incapacité de l'intimée de consentir valablement à des rapports sexuels, relève que, contrairement au tribunal de première instance - qui l'avait acquitté de tous les chefs de prévention -, la cour cantonale n'a pas procédé à l'audition de l'intéressée, ce qui lui aurait permis de se forger sa propre opinion quant à la perception qu'il pouvait être fait de son état.
On comprend par ces développements que le recourant se plaint d'une violation des règles relatives à l'administration directe des preuves par l'autorité d'appel, sous l'angle de l'art. 343 al. 3 CPP.
1.3.1. L'appel doit permettre un nouvel examen au fond par la juridiction d'appel. Celle-ci ne doit pas se borner à rechercher les erreurs du juge précédent et à critiquer le jugement de ce dernier; elle doit tenir ses propres débats et prendre sa décision sous sa responsabilité et selon sa libre conviction, qui doit reposer sur le dossier et sa propre administration des preuves. L'appel tend à la répétition de l'examen des faits et au prononcé d'un nouveau jugement (cf. art. 398 CPP; arrêts 6B_1263/2018 du 28 janvier 2019 consid. 2.1.1; 6B_868/2018 du 26 octobre 2018 consid. 1). L'immédiateté des preuves ne s'impose toutefois pas en instance d'appel. En effet, selon l'art. 389 al. 1 CPP, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'administration des preuves du tribunal de première instance n'est répétée que si les dispositions en matière de preuves ont été enfreintes (al. 2 let. a); l'administration des preuves était incomplète (al. 2 let. b); les pièces relatives à l'administration des preuves ne semblent pas fiables (al. 2 let. c). L'autorité de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours (al. 3). Conformément à l'art. 139 al. 2 CPP, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_217/2019 du 4 avril 2019 consid. 3.1; 6B_155/2019 du 29 mars 2019 consid. 2.1).
Selon l'art. 343 al. 3 CPP, applicable aux débats d'appel par le renvoi de l'art. 405 al. 1 CPP, le tribunal réitère l'administration des preuves qui, lors de la procédure préliminaire, ont été administrées en bonne et due forme lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement. La connaissance directe d'un moyen de preuve est nécessaire, au sens de l'art. 343 al. 3 CPP, lorsqu'elle est susceptible d'influer sur l'issue de la procédure. Tel est notamment le cas lorsque la force du moyen de preuve dépend de manière décisive de l'impression suscitée lors de sa présentation, par exemple lorsque l'impression directe suscitée par les déclarations d'un témoin est particulièrement décisive, ainsi lorsque cette déposition constitue le seul moyen de preuve direct (déposition contre déposition; cf. <ref-ruling> consid. 4.4.2 p. 199 s. et les références citées; arrêts 6B_505/2019 du 26 juin 2019 consid. 1.1.2; 6B_683/2015 du 7 avril 2016 consid. 1.1). Une administration directe des preuves par la cour d'appel peut en outre s'avérer nécessaire dans les situations prévues par l'art. 343 al. 3 CPP, lorsqu'elle souhaite s'écarter de l'état de fait retenu en première instance (cf. <ref-ruling> consid. 4.4.1 p. 199 et les références citées; arrêts 6B_217/2019 du 4 avril 2019 consid. 3.1; 6B_1422/2017 du 5 juin 2018 consid. 3.1; 6B_683/2015 précité consid. 1.1).
1.3.2. En l'espèce, il n'est nullement critiquable de retenir, au vu des conclusions du rapport d'expertise réalisé en cours d'instruction, que l'intimée souffrait d'un retard mental la rendant incapable de consentir à des rapports sexuels.
Cela étant, s'il ressort également de cette expertise que le retard mental de l'intimée était aisément discernable pour des personnes ayant des capacités normales d'observation, aucun élément de fait ne permettait de déduire qu'il en allait forcément de même s'agissant de son incapacité de consentir à des rapports sexuels. Dans ce contexte, il apparaît que la perception directe des déclarations de l'intimée au sujet de sa relation avec le recourant, de même que son attitude à l'occasion de sa déposition, pouvaient être décisives au moment d'apprécier si, en dépit des messages affectueux échangés et du lien entretenu par les intéressés au fil de leurs différentes rencontres, le recourant avait pu discerner que l'intimée, certes atteinte d'un retard mental, était pour autant incapable de consentir valablement sur le plan sexuel. Une administration directe de la preuve se justifiait d'autant plus que le Tribunal correctionnel, qui avait pour sa part entendu l'intimée, avait justifié l'acquittement du recourant en retenant notamment que celui-ci, lui-même atteint dans sa santé, pouvait de bonne foi penser que l'intimée était consentante (cf. jugement du 6 février 2018, consid. 3.2 p. 24).
Pour le surplus, on ne saurait déduire de l'arrêt entrepris que l'audition de l'intimée en procédure d'appel était impossible en raison de son état de santé, ni que cet état avait sensiblement évolué depuis la période des faits. De surcroît, s'il ressort du dossier que l'intimée avait demandé, par l'intermédiaire de son conseil, à être dispensée de comparution personnelle à l'audience d'appel - demande qui avait été acceptée par la cour cantonale -, elle avait néanmoins proposé d'être entendue hors la présence du recourant (cf. courrier du 14 septembre 2018, P. 16 du dossier d'appel), comme cela avait été le cas devant les juges de première instance, sans que cela paraisse d'emblée incompatible avec le droit d'être entendu du recourant (cf. art. 152 al. 3 CPP). Enfin, en tant que l'autorité précédente retient que le recourant aurait finalement reconnu à demi-mots que l'intimée était incapable de discernement (cf. arrêt entrepris, p. 26, 1 er paragraphe), elle n'indique pas à quelles déclarations elle fait référence.
En définitive, la cour cantonale a violé l'art. 343 al. 3 CPP en ne procédant pas à l'audition de l'intimée. Il s'agit là d'un premier motif qui conduit à l'admission du recours.
2.
Invoquant ensuite des violations des art. 19 et 20 CP, le recourant soutient que les circonstances commandaient d'ordonner une expertise concernant sa responsabilité.
2.1. Dans l'hypothèse où, après avoir procédé à l'audition de l'intimée, la cour cantonale devait parvenir à la conclusion que l'incapacité de celle-ci de consentir à des rapports sexuels était discernable, il s'agirait alors de déterminer si le recourant doit se voir imputer une responsabilité pleine et entière au regard des art. 19 et 20 CP. Il convient dès lors, par économie de procédure, d'examiner dans le cadre du présent arrêt le grief tiré de violations de ces dispositions.
2.2. Selon l'art. 20 CP, l'autorité d'instruction ou le juge ordonne une expertise s'il existe une raison sérieuse de douter de la responsabilité de l'auteur.
L'autorité doit ordonner une expertise non seulement lorsqu'elle éprouve effectivement des doutes quant à la responsabilité de l'auteur, mais aussi lorsque, d'après les circonstances du cas particulier, elle aurait dû en éprouver, c'est-à-dire lorsqu'elle se trouve en présence d'indices sérieux propres à faire douter de la responsabilité pleine et entière de l'auteur au moment des faits (arrêts 6B_1222/2018 du 3 mai 2019 consid. 2.2; 6B_987/2017 du 12 février 2018 consid. 1.1; 6B_352/2014 du 22 mai 2015 consid. 5.1 non publié aux <ref-ruling>; <ref-ruling> consid. 3.3 p. 147). La ratio legis veut que le juge, qui ne dispose pas de connaissances spécifiques dans le domaine de la psychiatrie, ne cherche pas à écarter ses doutes lui-même, fût-ce en se référant à la littérature spécialisée, mais que confronté à de telles circonstances, il recourt au spécialiste. Constituent de tels indices, une contradiction manifeste entre l'acte et la personnalité de l'auteur, le comportement aberrant du prévenu, un séjour antérieur dans un hôpital psychiatrique, une interdiction prononcée sous l'empire des anciennes dispositions du code civil, une attestation médicale, l'alcoolisme chronique, la dépendance aux stupéfiants, la possibilité que la culpabilité ait été influencée par un état affectif particulier ou l'existence de signes d'une faiblesse d'esprit ou d'un retard mental (<ref-ruling> consid. 4a p. 274; arrêts 6B_1222/2018 précité consid. 2.2; 6B_341/2010 du 20 juillet 2010 consid. 3.3.1).
2.3. En l'espèce, la cour cantonale a imputé au recourant les faits qui lui étaient reprochés sous l'angle de l'art. 191 CP, alors même qu'elle avait constaté que son état général s'était fortement dégradé à l'époque des faits (cf. arrêt entrepris, consid. 3.4 p. 27). Il ressort à cet égard des divers certificats médicaux produits par le recourant durant la procédure cantonale (cf. en particulier P. 10-18 du chargé de pièces du 22 novembre 2017) que celui-ci était suivi par le Centre d'oncologie des Hôpitaux C._ depuis mars 2013 en raison d'un ostéosarcome au fémur gauche (tumeur maligne osseuse) et avait ainsi subi, dans le cadre de son traitement, plusieurs opérations et hospitalisations ainsi que, notamment durant l'automne 2015, des cycles de chimiothérapie. Alors qu'il était en rémission depuis lors, sa maladie avait récidivé entre janvier et février 2016 dans le sens d'une aggravation, ce qui avait conduit à l'amputation de sa jambe gauche le 27 mai 2016 (cf. arrêt entrepris, p. 14). Il paraît en outre qu'au moment des faits, le recourant, qui avait de la peine à se lever et se déplaçait alors en chaise roulante, aurait consommé quotidiennement, dans le cadre de son traitement, un certain nombre de médicaments, qui pourraient avoir causé des effets secondaires, tels que des céphalées, un état de confusion ou encore une modification de l'état mental (cf. P. 21-32 du chargé de pièces précité).
Ces éléments quant à l'état de santé du recourant sont propres à faire douter que celui-ci disposait de ses pleines facultés cognitives et volitives lors des faits, qui sont survenus précisément au moment de la récidive de sa maladie, soit dès la fin du mois de janvier 2016. Il ne pouvait ainsi pas être établi que celui-ci était en mesure d'apprécier le caractère illicite de ses actes s'agissant en particulier de l'incapacité - éventuelle (cf. consid. 1.3.2 supra) - de l'intimée de consentir sur le plan sexuel. En renonçant à ordonner une expertise portant sur la responsabilité du recourant, la cour cantonale a violé l'art. 20 CP. Le recours est dès lors également bien fondé sous cet angle.
3.
Le recours doit être admis. L'arrêt attaqué est annulé et la cause renvoyée à la cour cantonale pour qu'elle rende un nouveau jugement après avoir procédé à l'audition de l'intimée et, le cas échéant, ordonné une expertise concernant la responsabilité du recourant.
Le recourant, qui obtient gain de cause, ne supporte pas les frais (art. 66 al. 1 LTF) et peut prétendre à une indemnité de dépens à la charge du canton de Genève (art. 68 al. 1 et 2 LTF), ce qui rend sans objet la requête d'assistance judiciaire.
L'intimée demande à être mise au bénéfice de l'assistance judiciaire. Elle relève dans ce cadre qu'elle vit dans un foyer protégé et perçoit une rente de l'assurance-invalidité ainsi que des prestations complémentaires. Compte tenu des circonstances et de sa situation financière, il convient de donner suite à la requête d'assistance judiciaire (art. 64 al. 1 LTF). Elle ne supportera par conséquent aucun frais. Dès lors qu'elle succombe, elle n'a pas droit à des dépens (art. 68 al. 1 LTF). L'intimée réclame une indemnité de 1136 francs. Ce montant, qui est justifié au regard de l'activité fournie par sa mandataire, sera versé à cette dernière par la caisse du Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Genève versera au mandataire du recourant une indemnité de 3000 fr. à titre de dépens pour la procédure au Tribunal fédéral.
4.
La demande d'assistance judiciaire de l'intimée est admise; Me Caroline Schumacher est désignée comme avocate d'office de l'intimée et une indemnité de 1136 fr. lui est allouée à titre d'honoraires, à verser par la caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 27 septembre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely