Faits :
A.
Par jugement du 20 juin 2019, le Tribunal correctionnel du canton de Genève a reconnu A._ coupable de viol avec cruauté, de contrainte sexuelle avec cruauté, de contrainte, de séquestration, de brigandage, de rupture de ban et de contravention à la Loi fédérale sur les stupéfiants. Il l'a condamné à une peine privative de liberté de sept ans, sous déduction de la détention subie avant jugement, et à une amende de 100 fr. assortie d'une peine privative de liberté de substitution d'un jour. Il a ordonné l'expulsion de Suisse de A._ pour une durée de 20 ans ainsi que son maintien en détention pour des motifs de sûreté et a statué sur les prétentions civiles.
B.
Par arrêt du 16 janvier 2020, la Chambre d'appel et de révision de la Cour de justice genevoise a très partiellement admis l'appel de A._ en ce sens qu'elle l'a acquitté de brigandage en lien avec les faits décrits sous chiffre III.4 de l'acte d'accusation. Elle a confirmé le jugement pour le surplus. Elle a ordonné le maintien de A._ en détention pour des motifs de sûreté, a mis à sa charge 90% des frais de la procédure d'appel et a fixé les indemnités du défenseur d'office et des conseils juridiques gratuits pour la procédure d'appel.
En résumé, cette condamnation repose sur les faits suivants que la cour cantonale a tenu pour établis :
B.a. Dans la nuit du 7 au 8 novembre 2017, vers 22h, C._ est montée à son lieu de travail à la rue D._, au sixième étage, avec un client, qu'elle a identifié par la suite comme étant A._. Alors qu'elle a refusé de lui prodiguer une fellation sans préservatif, l'intéressé a fermé la porte de la chambre à clé et conservé le trousseau. Il l'a menacée au moyen d'une bouteille de bière qu'il avait cassée en lui disant "si tu cries, je te coupe le visage [...] tu seras comme moi" en référence aux cicatrices qu'il portait sur le visage. De crainte, elle a accepté de lui prodiguer la fellation demandée.
Ensuite, alors qu'elle était nue, il l'a contrainte à se rendre sur le balcon, sis au sixième étage, et lui a dit "tu penses quoi si on se jette par le balcon".
Il l'a enfin retenue contre son gré pendant une certaine durée dans la chambre avec lui, en l'obligeant de se coucher sur le lit avec lui et à lui prodiguer un massage.
Lors de l'audience de confrontation au Ministère public, C._ a formellement déposé plainte contre A._, qu'elle a reconnu.
C._ est décédée le 8 novembre 2019 à Genève.
B.b. Le 24 novembre 2017, alors qu'elle travaillait comme prostituée à Genève depuis quelques jours, B._ a déposé plainte pour une agression qu'elle a expliqué avoir subie le même jour par un homme qu'elle avait amené dans la chambre où elle exerçait son activité. Cet homme, identifié ultérieurement comme étant A._, l'avait contrainte, sous la menace d'un couteau, à lui prodiguer une fellation sans préservatif. Il avait ensuite introduit de force un vibromasseur dans son anus, l'avait pénétrée vaginalement avec ledit vibromasseur puis avec son sexe, et l'avait ensuite pénétrée avec son sexe analement et à nouveau vaginalement.
A._ avait également contraint B._ à rester dans la chambre près d'une heure et demie, y compris après la commission des infractions à caractère sexuel, notamment en l'obligeant à lui prodiguer un massage et à regarder les photos sur son téléphone, ainsi qu'à rassurer une collègue qui était venue aux nouvelles pour la contraindre à rester à ses côtés.
Enfin, il avait, toujours sous la menace d'un couteau, volé 80 fr. et 200 euros que l'intéressée avait dans sa valise ainsi que son téléphone.
B.c. A teneur de l'extrait de son casier judiciaire suisse, A._ a été condamné le 20 mars 2017 par la Chambre pénale d'appel et de révision de la Cour de justice genevoise à une peine privative de liberté de deux ans avec sursis pendant trois ans, ainsi qu'à une expulsion de cinq ans pour violence ou menace contre les autorités et les fonctionnaires, entrée et séjours illégaux, vol, tentative de vol et mise en danger de la vie d'autrui.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 16 janvier 2020. Il conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens qu'il est acquitté des infractions de viol avec cruauté, de contrainte sexuelle avec cruauté, de contrainte, de séquestration et de brigandage. Il conclut également à ce que l'État de Genève soit condamné à lui verser une somme de 117'150 fr. au titre de tort moral pour détention préventive injustifiée. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
D.
Le ministère public, la cour cantonale et B._ ont été invités à se déterminer sur le recours. La cour cantonale s'est référée à sa décision et a déposé des déterminations. Le ministère public a conclu à l'irrecevabilité du recours, subsidiairement à son rejet. B._ a conclu au rejet du recours. Les observations ont été communiquées à A._, qui a répliqué et persisté dans ses conclusions.

Considérant en droit :
1.
En ce qui concerne les faits en relation avec C._, le recourant reproche à l'autorité précédente d'avoir apprécié les preuves et établi les faits de manière arbitraire. Il se plaint en outre, à cet égard, d'une violation du principe "in dubio pro reo". Dans ce cadre, il reproche essentiellement à la cour cantonale d'avoir privilégié la version de la plaignante au détriment de la sienne. Il conteste également la réalisation de la circonstance aggravante de la cruauté (cf. infra consid. 2)
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 2.4 p. 368 et les références citées).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_366/2020 du 17 novembre 2020 consid. 2.1; 6B_150/2020 du 19 mai 2020 consid. 4.1 et les références citées).
1.2. La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
1.3. Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_219/2020 du 4 août 2020 consid. 2.1; 6B_332/2020 du 9 juin 2020 consid. 3.2 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de "déclarations contre déclarations", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe "in dubio pro reo", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêts 6B_219/2020 précité consid. 2.1; 6B_332/2020 précité consid. 3.2).
1.4. Le recourant reproche d'abord aux autorités cantonales d'avoir omis d'indiquer le "contexte de la prostitution" dans lequel se sont déroulés les faits et qui, selon lui, constitue un "cadre très particulier" dont il faudrait tenir compte pour déterminer si l'on se trouve ou non en présence d'une contrainte sexuelle. Contrairement à ce que prétend le recourant, la cour cantonale n'a pas omis de mentionner que les victimes étaient des prostituées et que les infractions reprochées avaient été commises dans le cadre de l'exercice de leur activité. Pour le surplus, le recourant - qui se réfère d'ailleurs en vain à la jurisprudence concernant les pressions d'ordre psychique (cf. <ref-ruling> consid. 2.2. p. 109 et 128 IV 97 consid. 2b p. 99, 106) - ne démontre pas en quoi le fait que les victimes étaient des prostituées serait déterminant pour l'issue du litige. A cet égard, il convient de rappeler que, selon la jurisprudence, la gravité d'un viol, respectivement d'une contrainte sexuelle, ne saurait être relativisée, motif pris du statut ou de la profession de la victime. Une prostituée est non moins en droit que toute autre personne de refuser un rapport sexuel ou une pratique sexuelle déterminée. Il s'ensuit que la gravité de l'acte commis par celui qui l'a contrainte à s'y soumettre, respectivement l'importance de la faute de ce dernier, ne s'en trouve en rien diminuée (arrêt 6B_287/2009 du 18 mai 2010 consid. 1.3).
Le grief du recourant est dès lors rejeté dans la mesure où il est recevable.
1.5. Le recourant reproche ensuite à la cour cantonale d'avoir omis de se pencher sur les "contradictions et incohérences dans les déclarations et l'attitude" de la plaignante (mémoire de recours, p. 20).
1.5.1. En l'espèce, la cour cantonale a tenu pour crédibles et conformes à la réalité les déclarations détaillées de C._, jugeant que son récit, corroboré par d'autres éléments, emportait conviction. Elle a également relevé qu'il n'existait aucune raison plausible pour que celle-ci dénonce un client pour de tels faits s'ils ne s'étaient pas produits. En outre, sa version était corroborée par l'interpellation du recourant, peu après les faits et sur intervention de ses collègues. La cour cantonale a également noté que la similitude des faits reprochés par l'intéressée au recourant avec ceux décrits par l'intimée 2 ainsi que par E._, une troisième prostituée, renforçait la crédibilité de la version de C._. Enfin, elle a relevé que les messages d'appel à l'aide que l'intéressée avait envoyés à sa collègue et qui figuraient au dossier, dont la teneur montrait sa crainte et sa situation de détresse, ainsi que les deux appels manqués de cette collègue attestaient que le recourant avait retenu la plaignante contre son gré dans sa chambre au-delà des épisodes de contrainte.
1.5.2. Le recourant prétend que les déclarations de C._ comporteraient "des contradictions et des incohérences énormes" (mémoire de recours, p. 18). Il reproche essentiellement à celle-ci d'avoir relaté l'épisode au cours duquel il a contraint l'intéressée, alors qu'elle était nue, de se rendre sur le balcon, et lui a "proposé" qu'ils se jettent ensemble de la fenêtre - qu'il qualifie de "totalement farfelu" et qu'il conteste. Ce faisant, il se contente en réalité d'opposer, dans une démarche appellatoire et partant irrecevable, sa propre appréciation à celle de la cour cantonale, qui a, pour sa part, relevé qu'aucun élément ne permettait de douter de cet épisode, quelque peu incongru et qu'on imaginait mal avoir été inventé de toutes pièces (arrêt attaqué, p. 17). S'agissant ensuite du comportement de C._, le recourant lui reproche de ne pas avoir immédiatement déposé plainte pour contrainte sexuelle et de n'avoir dénoncé que le vol dans un premier temps. Il ressort en effet de l'arrêt attaqué que l'intéressée a d'abord présenté une version confuse, exprimant essentiellement la volonté que le recourant ne soit plus autorisé à se rendre dans ladite rue. La cour cantonale a considéré que cela "s'expliqu[ait] aisément par la nature des faits subis, et la difficulté de décrire ceux-ci à des gendarmes peu préparés à recueillir les déclarations d'une victime d'agression sexuelle, de surcroît allophone" (arrêt attaqué, p. 16). Le recourant ne démontre pas en quoi un tel raisonnement serait arbitraire; son grief est rejeté dans la mesure où il est recevable.
1.6. Le recourant voit ensuite de l'arbitraire dans le fait que la cour cantonale ne se serait fondée sur aucune preuve matérielle et sur aucun témoignage direct. Cet argument méconnaît clairement la possibilité qu'a une autorité de jugement de fonder sa conviction sur un ensemble d'éléments ou d'indices convergents (cf supra consid. 1.1) ainsi que sur les déclarations de la victime (cf. supra consid. 1.3).
Pour le surplus, le seul fait que des débris de verre n'ont pas été retrouvés dans la chambre de C._ ne suffit pas à rendre arbitraire le constat, fondé sur d'autres éléments, que le recourant l'a menacée avec une bouteille cassée.
1.7. Le recourant reproche enfin aux instances cantonales d'avoir écarté l'expertise psychiatrique alors que celle-ci le "disculpait" (mémoire de recours, p. 17 s.). La cour cantonale n'a pas méconnu cette expertise psychiatrique. Elle a ainsi rappelé en page 22 de son arrêt que la responsabilité pénale du recourant était entière. Le recourant se contente d'affirmer que l'expert a relevé l'absence de déviance sexuelle, de psychopathie et de "réelle froideur affective" chez lui, sans toutefois démontrer que la cour cantonale aurait tiré des constatations insoutenables de l'expertise ni exposer quels éléments déterminants elle aurait précisément omis (cf. art. 97 al. 1 LTF). Au demeurant, contrairement à ce que semble penser le recourant, le fait que l'expertise ait retenu qu'il ne souffrait pas, au moment des faits, de (grave) trouble mental ne permet ni d'exclure la cruauté (cf. infra consid. 2.3 in fine) ni d'écarter les déclarations des victimes. Le grief du recourant doit dès lors être rejeté dans la mesure où il est recevable.
1.8. Au vu de ce qui précède, la cour cantonale n'a pas versé dans l'arbitraire ni violé la présomption d'innocence en retenant que le recourant avait commis les actes qui lui étaient reprochés, essentiellement sur la base des déclarations de C._.
2.
Toujours en ce qui concerne les faits commis au préjudice de C._, le recourant reproche à la cour cantonale d'avoir retenu la circonstance aggravante de la cruauté de l'art. 189 al. 3 CP.
2.1. L'art. 189 al. 3 CP prévoit que si l'auteur a agi avec cruauté, notamment s'il a fait usage d'une arme dangereuse ou d'un autre objet dangereux, la peine sera la peine privative de liberté de trois ans au moins. Pour le surplus, il est renvoyé à la jurisprudence sur cette question (cf. <ref-ruling> consid. 3c p. 52; <ref-ruling> consid. 3 p. 228; arrêts 6B_1127/2019 du 20 janvier 2020 consid. 2.1 et 6P.197/2006 du 23 mars 2007 consid. 8).
2.2. En l'espèce, la cour cantonale a retenu la circonstance aggravante de l'art. 189 al. 3 CP pour la contrainte sexuelle commise au préjudice de C._ au motif que le recourant avait constamment menacé sa victime au moyen d'un tesson de bouteille - soit un objet dangereux au sens de l'art. 189 al. 3 CP - et qu'il avait également fait référence à ses propres cicatrices pour accentuer et concrétiser la menace. Le recourant ne discute pas le caractère dangereux du moyen employé pour contraindre sa victime au-delà de ce qui était nécessaire pour réaliser l'infraction et ne fait pas valoir de violation du droit fédéral sous cet angle. Quoi qu'il en soit, le comportement qui consiste à recourir à un tesson de bouteille pour menacer sa victime de s'en servir relève de la cruauté au sens de l'art. 189 al. 3 CP. Pour le surplus, le recourant se contente de nier l'usage d'un tesson de bouteille en rediscutant de manière appellatoire les faits constatés (art. 105 al. 1 LTF). Le grief est rejeté dans la mesure où il est recevable.
2.3. Pour le surplus, en tant que le recourant reproche à la cour cantonale d'avoir retenu la circonstance aggravante de la cruauté uniquement en raison de la durée pendant laquelle il est resté avec la victime - ce qui ne ressort pas de l'arrêt attaqué - son grief est sans objet. C'est également en vain que le recourant soutient que dès lors que l'expertise psychiatrique ne retient aucune déviance sexuelle ni aucune psychopathie chez lui, cela exclurait la cruauté. En effet, comme le relève la jurisprudence, l'infraction qualifiée n'est pas seulement réalisée si l'auteur est un pervers ou un sadique, mais dès que celui-ci fait preuve d'une cruauté qui ne s'impose pas pour parvenir à consommer l'infraction de base (ATF <ref-ruling> consid. 3 p. 228 s. et les arrêts cités; arrêts 6B_1127/2019 du 20 janvier 2020 consid. 2.1; 6P.197/2006 du 23 mars 2007 consid. 8), ce qui est le cas en l'espèce.
2.4. Il s'ensuit que la cour cantonale pouvait, sans violer le droit fédéral, considérer que le recourant s'était rendu coupable de contrainte sexuelle avec cruauté.
3.
En ce qui concerne les faits en relation avec l'intimée 2, le recourant soutient que son droit d'être entendu tel que garanti par les art. 107 CPP, 29 al. 2 Cst. et 6 par. 1 CEDH a été violé parce que "l'instance intimée n'a rien entrepris pour obliger [l'intimée 2] à assister aux débats" (mémoire de recours, p. 12). Il soutient que l'absence de celle-ci aux débats de première et de deuxième instances l'a privé d'un vrai procès contradictoire. On comprend par ces développements que le recourant se plaint, d'une part, d'une violation de l'art. 6 par. 3 let. d CEDH et, d'autre part, d'une violation des règles relatives à l'administration directe des preuves par l'autorité d'appel, sous l'angle des art. 389 CPP et 343 CPP.
3.1. L'art. 6 par. 3 let. d CEDH garantit à tout accusé le droit d'interroger ou de faire interroger les témoins à charge et d'obtenir la convocation et l'interrogation des témoins à décharge dans les mêmes conditions que les témoins à charge. Cette disposition exclut qu'un jugement pénal soit fondé sur les déclarations de témoins sans qu'une occasion appropriée et suffisante soit au moins une fois offerte au prévenu de mettre ces témoignages en doute et d'interroger les témoins, à quelque stade de la procédure que ce soit (<ref-ruling> consid. 1.3 p. 176; <ref-ruling> consid. 3.1 p. 41; <ref-ruling> consid. 2.2 p. 480 s.; arrêts 6B_386/2020 du 14 août 2020 consid. 3.1; 6B_383/2019 du 8 novembre 2019 consid. 8.1.2 non publié aux <ref-ruling>). En tant qu'elle concrétise le droit d'être entendu (art. 29 al. 2 Cst.), cette exigence est également garantie par l'art. 32 al. 2 Cst. (<ref-ruling> consid. 3.1.2 p. 435; <ref-ruling> consid. 2.2 p. 480). Ce droit est absolu lorsque la déposition du témoin en cause est d'une importance décisive, notamment lorsque l'intéressé est le seul témoin ou que sa déposition constitue une preuve essentielle (ATF <ref-ruling> consid. 2.2 p. 480 s. et les références citées; arrêt 6B_150/2020 du 19 mai 2020 consid. 2.2).
Par ailleurs, le prévenu peut valablement renoncer à son droit à la confrontation, même de manière tacite, pour autant que la renonciation ne contredise pas un intérêt général important, qu'elle soit établie de manière exempte d'équivoque et qu'elle soit entourée d'un minimum de garanties correspondant à sa gravité (<ref-ruling> consid. 9.2 p. 49; arrêt 6B_1074/2018 du 24 janvier 2019 consid. 1.1 et les références citées).
3.2. La voie de l'appel doit permettre un nouvel examen au fond par la juridiction d'appel, laquelle ne peut se borner à rechercher les erreurs du juge précédent et à critiquer le jugement de ce dernier, mais doit tenir ses propres débats et prendre sa décision sous sa responsabilité et selon sa libre conviction, qui doit reposer sur le dossier et sa propre administration des preuves. L'appel tend à la répétition de l'examen des faits et au prononcé d'un nouveau jugement (cf. art. 398 CP; arrêt 6B_481/2020 du 17 juillet 2020 consid. 1.2 et les références citées). L'immédiateté des preuves ne s'impose toutefois pas en instance d'appel. En effet, selon l'art. 389 al. 1 CPP, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. Ce principe n'est toutefois applicable que si les preuves sur lesquelles l'autorité de recours veut s'appuyer ont été administrées conformément aux règles de procédure (<ref-ruling> consid. 1.4.1 p. 290). L'administration des preuves du tribunal de première instance doit ainsi être répétée par l'autorité d'appel si les dispositions en matière de preuves ont été enfreintes, l'administration des preuves était incomplète ou les pièces relatives à l'administration des preuves ne semblent pas fiables (art. 389 al. 2 CPP; <ref-ruling> consid. 1.4.1 p. 290).
L'administration directe du moyen de preuve doit également être réitérée durant la procédure orale d'appel conformément à l'art. 343 al. 3 CPP, applicable par renvoi de l'art. 405 al. 1 CPP à la procédure d'appel, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement (<ref-ruling> consid. 1.4.1 p. 290; arrêt 6B_568/2019 du 17 septembre 2019 consid. 2.1 et les références citées). Dans la mesure où il incombe aux autorités pénales d'administrer les preuves conformément à la loi, les preuves complémentaires doivent être administrées d'office et il n'est pas nécessaire qu'une partie en fasse la demande (<ref-ruling> consid. 1.4.1 p. 290 in JdT 2017 IV 379).
La connaissance directe d'un moyen de preuve n'est nécessaire que lorsque celle-ci est susceptible d'influer sur le sort de la procédure, ce qui est le cas si la force du moyen de preuve dépend de manière décisive de l'impression suscitée au moment de sa présentation, notamment quand des déclarations constituent l'unique moyen de preuve - à défaut de tout autre indice - et qu'il existe une situation de "déclarations contre déclarations" (<ref-ruling> consid. 4.4.2 p. 199 s.; arrêt 6B_738/2019 du 27 novembre 2019 consid. 4.2 et les références citées).
Seules les preuves essentielles et décisives dont la force probante dépend de l'impression qu'elles donnent doivent être réitérées. S'agissant d'un témoignage, l'administration de la preuve n'apparaît pas nécessaire uniquement au regard de son contenu (soit ce que dit le témoin), mais bien plutôt lorsque le jugement dépend de manière décisive du comportement du témoin (soit comment il le dit). Le tribunal dispose d'une certaine marge d'appréciation au moment de déterminer si une nouvelle administration de la preuve est nécessaire (<ref-ruling> consid. 4.4.2 p. 199; arrêts 6B_505/2019 du 26 juin 2019 consid.1.1.2; 6B_217/2019 du 4 avril 2019 consid. 3.1 et les références citées).
3.3. En l'espèce, le recourant se plaint de l'absence de l'intimée 2 aux débats de première instance et d'appel, soulignant avoir exprimé son avis oralement lors des deux audiences ainsi que par écrit.
3.3.1. Il ressort du dossier que l'intimée 2 a demandé par lettre de son conseil à être dispensée de comparaître à l'audience d'appel au motif qu'elle n'arrivait pas à concevoir le fait d'être à nouveau confrontée à son agresseur (cf. pièce 20 du dossier cantonal). Elle avait fait la même demande au juge de première instance, qui n'a apparemment pas donné suite (cf. courrier du 26 avril 2019). L'intimée 2 ne s'est pas présentée aux débats de première instance (cf. PV d'audience du Tribunal correctionnel du 19 juin 2019, p. 2).
En appel, comme le relève la cour cantonale dans ses déterminations, l'intimée 2 avait initialement été convoquée à l'audience mais elle a sollicité d'être dispensée de comparaître. Par courrier électronique du 11 décembre 2019, la Présidente de la cour d'appel a donné suite à sa demande en précisant qu' "aucune partie ne sollicitant l'audition de [l'intimée 2], celle-ci [était] dispensée de comparaître à l'audience" (pièce 25 du dossier cantonal).
Comme le relève le ministère public dans ses déterminations, au cours de la procédure préliminaire, le recourant a eu l'occasion d'interroger l'intimée 2 lors d'une audience du 9 janvier 2018 devant le ministère public, sous la forme d'une confrontation indirecte conformément à l'art. 152 al. 3 CPP (cf. pièce C-52 du dossier cantonal; sur la confrontation indirecte, cf. <ref-ruling> consid. 3; JdT 2018 IV p. 155,164), ce qu'il ne conteste pas. Lors de cette audience de confrontation, le conseil du recourant s'est réservé le droit de poser des questions à l'intimée 2 une fois qu'elle aurait eu accès au dossier (cf. pièce C-59 du dossier cantonal).
3.3.2. Il découle de ce qui précède que le recourant a eu l'occasion au moins une fois au cours de la procédure d'interroger l'intimée 2. L'art. 6 par. 3 let. d CEDH n'a dès lors pas été violé, de sorte que le grief du recourant doit être rejeté sous cet angle.
3.4. Il reste à déterminer si une réaudition de l'intimée 2 en appel s'imposait en vertu des art. 343 et 389 CPP.
3.4.1. Dans son arrêt, la cour cantonale a considéré que la version de l'intimée 2 était corroborée par les déclarations des témoins, par la présence de l'ADN du recourant sur le préservatif retrouvé sur la place et sur le vibromasseur saisi, ainsi que par la durée de la présence du recourant dans la chambre de l'intimée 2, établie par vidéo-surveillance.
Contrairement à ce que soutient la cour cantonale dans ses observations, force est cependant d'admettre que, s'agissant des faits litigieux, l'on se trouve dans une situation de "déclarations contre déclarations" au sens de la jurisprudence précitée, dans laquelle les déclarations de l'intimée 2 constituent clairement le principal élément à charge, les autres éléments de preuve ne venant qu'appuyer ses dires. En effet, les seuls autres témoins - auxquels se réfère la cour cantonale - sont deux collègues de l'intimée 2 qui ont rapporté l'état de désarroi de celle-ci après les faits dénoncés (témoignages par ouï-dire) et qui ont reconnu le recourant comme étant la personne qui était sortie de la chambre de l'intéressée, ce que celui-ci ne conteste plus. S'agissant des preuves matérielles, les analyses ADN confirment que les parties ont entretenu des relations sexuelles - ce que le recourant ne conteste plus non plus - et les images de vidéo-surveillance attestent de la durée de la présence du recourant dans la chambre de l'intimée 2. Ces éléments ne permettent pas à eux seuls d'établir les faits reprochés, les déclarations de l'intimée 2 étant décisives.
Il s'ensuit que les conditions de l'art. 343 al. 3 CPP sont remplies.
3.4.2. Dans ses déterminations, la cour cantonale fait valoir que c'est notamment parce que le recourant n'a pas sollicité l'audition de l'intimée 2 qu'il a été fait droit à sa demande d'être dispensée de comparaître. Il est vrai qu'il ne ressort ni de l'arrêt attaqué ni du dossier cantonal que le recourant aurait requis l'audition de l'intimée 2 devant la cour cantonale dans sa déclaration d'appel. Cela étant, le fait que le recourant n'ait pas expressément requis l'audition de l'intimée 2 en appel n'est pas déterminant. En effet, comme rappelé précédemment, l'administration de preuves et de preuves complémentaires au sens des art. 389 al. 2 et 3 CPP doit être entreprise d'office et ne nécessite pas qu'une partie en fasse la demande (<ref-ruling> consid. 1.4.1). Il en va de même quand l'administration directe d'un moyen doit être réitérée conformément à l'art. 343 al. 3 CPP, applicable par renvoi de l'art. 405 al. 1 CPP à la procédure d'appel, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement.
3.4.3. En outre, on ne saurait considérer que le recourant a renoncé à l'audition de l'intimée 2 en appel. En effet, même si, comme le souligne la cour cantonale dans ses déterminations, il ressort du procès-verbal d'audience du 17 décembre 2019 que l'intimée 2 a été dispensée de comparaître et que le recourant n'a soulevé aucun incident à cet égard, il n'en demeure pas moins qu'il a protesté contre cette dispense dans ses conclusions en indemnisation du 17 décembre 2019, en faisant valoir que l'intimée 2 invoquait "des motifs peu prépondérants pour ne pas assister aux débats ce qui empêche une défense correcte et utile du prévenu" (pièce 30 du dossier cantonal). Au demeurant, contrairement à ce que soutient la cour cantonale, le fait que le recourant avait été invité à déposer dites conclusions au plus tard le 10 décembre 2019 n'y change rien, dès lors que l'arrêt a été rendu le 16 janvier 2020 et que la juridiction d'appel ne saurait refuser une réquisition de preuve parce que prétendument tardive, le recourant conservant toujours la faculté de présenter d'autres réquisitions de preuves pendant la phase des débats, postérieurement à la déclaration d'appel (cf. <ref-ruling> consid. 5.4 p. 223; arrêt 6B_345/2017 du 16 janvier 2018 consid. 1.3; CHRISTIAN DENYS, La jurisprudence récente du Tribunal fédéral en matière d'immédiateté de l'administration des preuves, forumpoenale, 5/2018, p. 410).
3.4.4. Pour le surplus, c'est en vain que l'intimée 2 se prévaut de l'art. 147 al. 3 CPP dans ses déterminations, en faisant valoir que la cour cantonale pouvait valablement renoncer à répéter l'audition de la partie plaignante lorsque cette audition entraînerait des frais et des démarches disproportionnées et que les droits de défense de l'accusé ont pu être satisfaits d'une autre matière. En effet, l'art. 147 al. 3 CPP vise la situation dans laquelle une partie ou son conseil juridique demande la répétition d'un acte d'instruction qui a été effectué en son absence, ce qui n'est pas le cas en l'espèce. Au demeurant, il convient de rappeler qu'il ne ressort pas de l'arrêt attaqué ou du dossier que l'audition de l'intimée 2 en appel était impossible en raison par exemple d'un empêchement durable (cf. <ref-ruling> consid. 5).
3.5. Il s'ensuit qu'en ne procédant pas à la réaudition de l'intimée 2, la cour cantonale a violé l'art. 343 al. 3 CPP. Le recours doit dès lors être admis sur ce point, l'arrêt attaqué annulé en conséquence et la cause renvoyée à l'autorité cantonale afin qu'elle procède à l'audition de l'intimée 2 avant de rendre une nouvelle décision. Il appartiendra à l'autorité cantonale de procéder à l'audition de l'intimée 2 dans le respect de ses droits, le cas échéant, moyennant des mesures de protection prévues par le CPP, en particulier l'art. 152 al. 3 CPP.
4.
Pour le surplus, il n'y a pas lieu d'examiner plus avant la quotité de la peine que le recourant ne conteste d'ailleurs pas dans son recours et qui dépend de l'issue du litige. En outre, s'agissant de la mesure d'expulsion, le recourant ne présente aucune argumentation topique propre à démontrer en quoi la cour cantonale aurait violé le droit, mais se borne à se plaindre de celle-ci en la présentant comme démesurée et arbitraire (art. 42 al. 2 LTF). Enfin, compte tenu du sort du recours, il n'y a pas lieu d'entrer en matière sur les conclusions du recourant visant à une indemnisation.
5.
Au vu de ce qui précède, le recours doit être partiellement admis (cf. consid. 3 supra). Pour le reste, il doit être rejeté dans la mesure où il est recevable.
La requête d'assistance judiciaire présentée par le recourant est sans objet dans la mesure où il obtient gain de cause et peut, à ce titre, prétendre à des dépens réduits de la part du canton de Genève (art. 68 al. 1 LTF); elle doit être rejetée pour le reste, dès lors que le recours était pour le surplus dénué de chances de succès s'agissant des aspects sur lesquels le recourant a succombé (art. 64 al. 1 LTF).
Le recourant, qui succombe partiellement, supportera une partie des frais judiciaires, fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (art. 66 al. 1 LTF).
Comme l'intimée 2 est dans le besoin, sa demande d'assistance judiciaire doit être admise (art. 64 al. 1 LTF). Par conséquent, il y a lieu d'allouer une indemnité à sa mandataire, désignée comme avocate d'office (art. 64 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. L'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire du recourant est rejetée dans la mesure où elle n'est pas sans objet.
3.
La demande d'assistance judiciaire de l'intimée 2 est admise. Me Catarina Monteiro Santos est désignée comme conseil d'office et une indemnité de 500 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
4.
Une partie des frais judiciaires, arrêtée à 600 fr., est mise à la charge du recourant.
5.
Le canton de Genève versera au conseil du recourant une indemnité de 1'500 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
6.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 14 décembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann