Faits :
A.
Par jugement du 5 novembre 2019, le Tribunal correctionnel genevois a acquitté A._ des chefs d'accusation de contrainte sexuelle, de viol et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance.
B.
Statuant le 10 mars 2021 sur les appels principaux de B.B._, C.B._ et D.B._, ainsi que sur l'appel joint du Ministère public de la République et canton de Genève, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a réformé le jugement attaqué en ce sens qu'elle a reconnu A._ coupable de contrainte sexuelle et de viol et l'a condamné, outre aux frais de la procédure, à une peine privative de liberté de 4 ans, sous déduction de 22 jours de détention avant jugement. Elle a ordonné qu'il soit soumis à un traitement ambulatoire (art. 63 CP), a ordonné son expulsion pour une durée de 5 ans et dit que l'exécution de la peine primait celle de l'expulsion, et a ordonné diverses restitutions. A._ a en outre été condamné à payer à B.B._ un montant de 2'010 fr. 80 à titre de réparation du dommage matériel et 15'000 fr. à titre de réparation du tort moral. C.B._ et D.B._ ont été déboutés de leurs prétentions en réparation du tort moral et les conclusions en indemnisation de A._ ont été rejetées.
En résumé, la cour cantonale a retenu les faits suivants:
B.a. B.B._, née en 1996, souffre d'une déficience intellectuelle, d'un retard psychomoteur et d'un retard physique. Elle fait l'objet d'une mesure de curatelle de portée générale depuis novembre 2014 et vit chez ses parents. Jusqu'à ses 18 ans, elle fréquentait une institution spécialisée où elle a fait la connaissance de E._, née en 1995, également atteinte d'une déficience intellectuelle.
B.b. Le 28 juillet 2017, les deux amies ont passé la soirée ensemble, dans un premier temps au domicile de E._, à U._. Échappant à la surveillance de la mère de cette dernière, elles se sont rendues aux environs de 21h chez F._, en bus, en ville de Genève, où se trouvait également A._. Pendant la soirée, celui-ci a contraint B.B._ à rester avec lui dans la salle de bain, usant de la force, alors qu'elle manifestait son refus. Il l'a dévêtue et l'a contrainte à subir une sodomie et une pénétration vaginale. B.B._ et E._ ont ensuite quitté l'appartement. Le père de la première, C.B._, est venu les chercher vers 23h10 à la place V._, à leur descente du bus xxx. Une fois seul dans la voiture avec sa fille, C.B._, sentant que quelque chose n'allait pas, a encouragé sa fille à parler. Elle lui a notamment dit " c'est l'ami de E._, il m'a fait des choses (...) en bas " en désignant le bas de son corps et derrière, étant précisé que B.B._ ne connaît pas le vocabulaire spécifique à l'anatomie. Les parents de B.B._ l'ont alors emmenée à l'hôpital où elle a raconté au personnel ce qui s'était passé et a subi un examen gynécologique. A teneur du constat de lésions traumatiques, B.B._ présentait, le 29 juillet 2017, une érosion au niveau de la vulve et une fissure anale sanguinolante. Les lésions étaient la conséquence de traumatismes contondants. Le lendemain, B.B._ a été soumise à une audition selon le protocole du National Institute of Child Health and Human Development (ci-après: NICHD). Elle a également été soumise à une expertise psychiatrique, environ une année après les faits. Par ordonnance du 25 février 2020, la direction de la procédure de la Chambre pénale d'appel et de révision a ordonné la mise en oeuvre d'une expertise de crédibilité. Il résultait du rapport d'évaluation de la crédibilité des déclarations de B.B._ un score de 9 sur 19, étant précisé qu'à partir d'un score de 8 points, les allégations pouvaient être considérées comme crédibles, conformément à la méthode employée.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 10 mars 2021. Il conclut, sous suite de frais et dépens, principalement à son acquittement des chefs d'accusation de contrainte sexuelle, de viol et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, au rejet des conclusions civiles de B.B._ et à l'allocation d'une indemnité de 8'000 fr. en réparation du tort moral subi. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Plus subsidiairement, il conclut à ce qu'il soit acheminé à prouver les faits de la présente cause par tout moyen de droit utile.

Considérant en droit :
1.
Le recourant se plaint d'un établissement manifestement inexact des faits et d'une violation du principe " in dubio pro reo ". Il conteste avoir violé l'intimée et, pour ce qui concerne la contrainte sexuelle, il soutient que l'élément de contrainte a été retenu à tort sur la base d'une appréciation arbitraire des preuves.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'examine la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_330/2021 du 15 septembre 2021 consid. 2.1; 6B_1052/2020 du 19 juillet 2021 consid. 1.1; 6B_984/2020 du 4 mars 2021 consid. 1.1).
La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_219/2020 du 4 août 2020 consid. 2.1; 6B_332/2020 du 9 juin 2020 consid. 3.2 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de " déclarations contre déclarations ", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe " in dubio pro reo ", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêts 6B_330/2021 du 15 septembre 2021 consid. 2.3; 6B_1271/2020 du 20 août 2021 consid. 1.1.1; 6B_1198/2020 du 19 juillet 2021 consid. 2.1).
1.2. La cour cantonale a acquis la conviction que le recourant avait pénétré l'intimée vaginalement et analement, avec son pénis, contre sa volonté, malgré les dénégations constantes de celle-ci. Pour ce faire, elle s'est fondée sur les déclarations de l'intimée qu'elle a considérées comme étant crédibles. Celle-ci avait su, avec des mots simples mais sans pour autant négliger les détails et en restant constante sur des points essentiels, raconter ce qui s'était passé tant aux médecins qui l'avaient examinée juste après les faits que lors de son audition, le lendemain, selon le protocole du NICHD, puis à l'experte psychiatre, un an après les faits. Aux premiers médecins, elle avait notamment rapporté des pénétrations péniennes vaginales avec préservatif et une pénétration pénienne anale douloureuse avec préservatif. Le lendemain, elle avait notamment indiqué que le recourant ne la laissait pas sortir, qu'il ne voulait pas qu'elle sorte de la salle de bain, qu'il avait " mis le zizi dans le vagin et derrière ", qu'elle n'avait pas voulu faire ça, que ça faisait mal et que le recourant l'avait frappée. Puis, à l'experte psychiatre elle avait expliqué que le recourant avait " mis son zizi derrière " (en indiquant son derrière de l'index) " et devant " (en montrant son bas ventre) et avait raconté, dans un langage frustre, mais tout à fait compréhensible, que son agresseur l'avait poussée fort contre le mur et qu'elle avait tenté de s'échapper, mais que la porte était fermée; elle avait crié " arrête! " plusieurs fois. Ses déclarations étaient en outre confirmées par l'expertise de crédibilité et corroborées par d'autres éléments du dossier, y compris sur des points moins essentiels. Ainsi, le témoignage de son père qui l'avait vue le soir des faits désigner son bas ventre à son amie en chuchotant dans la voiture, et auquel elle avait ensuite clairement dit que l'ami de E._ lui avait " fait des choses " avec son pénis, en désignant le bas de son corps et l'arrière, allait dans le sens de ses déclarations. L'acte sexuel " par devant et derrière " rapporté par la mère de l'intimée, présente lors du premier examen médical, ainsi que par la mère de E._ lorsque celle-ci avait expliqué ce que l'intimée lui avait raconté, corroboraient également les déclarations de cette dernière. Il en allait de même de la présence de sang évoquée par l'intimée, confirmée par le constat de lésions traumatiques. A cela s'ajoutait l'appréciation personnelle de l'experte psychiatre selon laquelle l'intimée était globalement crédible. La cour cantonale a par ailleurs considéré que les imprécisions dans le récit de l'intimée n'entachaient pas sa crédibilité de façon déterminante dans la mesure où elles trouvaient assise dans son psychisme et avaient trait à des points mineurs, sans lien direct avec les faits. D'un autre côté, les déclarations - dans l'ensemble constantes - du recourant apparaissaient peu précises, celui-ci ayant éludé beaucoup de questions, se contentant bien souvent de généralités et se contredisant parfois sur des points essentiels, de sorte que sa version n'était pas particulièrement crédible.
2.
2.1. En substance, le recourant, qui conteste toute pénétration vaginale et toute forme de contrainte dans la pénétration anale, reproche à la cour cantonale d'avoir arbitrairement tenu pour crédibles les déclarations de l'intimée. Il n'apporte toutefois aucun élément propre à remettre en cause les déclarations de B.B._. En effet, il se borne à revenir sur les incohérences du récit de cette dernière, reprochant à la juridiction cantonale de les avoir relativisées en invoquant le retard mental de celle-ci, retard mental dont la juridiction précédente se serait en revanche affranchie au moment d'établir les éléments à charge. Il se réfère en particulier à la première déclaration de l'intimée selon laquelle elle se trouvait au salon lorsqu'il l'aurait emmenée dans la salle de bain en la tirant par les poignets, puis à sa déclaration subséquente selon laquelle elle se trouvait dans la salle de bain en train de se laver les mains lorsqu'il l'y aurait rejointe. Elle avait également indiqué que la porte était fermée à clé alors que la porte était en réalité dépourvue de clé. Or, si les juges d'appel ont relevé que les contradictions dans le discours de l'intimée pouvaient être imputables à son retard de développement, ils ont également indiqué qu'une certaine confusion était tout autant susceptible de résulter des sévices subis. Quoi qu'il en soit, ils ont retenu que ces imprécisions trouvaient assise dans le psychisme de l'intimée et portaient sur des questions périphériques, de sorte qu'elles n'étaient pas susceptibles de remettre en question la crédibilité de l'intimée. Le recourant ne démontre pas en quoi cette appréciation serait arbitraire. En particulier, il ne démontre pas en quoi le fait de savoir où l'intimée se trouvait avant de se retrouver enfermée dans la salle de bain avec lui serait déterminant pour l'issue du litige. Il ne démontre pas non plus en quoi serait insoutenable l'appréciation de la cour cantonale selon laquelle la contradiction à propos de la porte fermée à clé n'était pas déterminante dès lors que l'experte psychiatre avait relevé que l'intimée s'était montrée " assez confuse " sur ce point et n'avait pas semblé comprendre le mécanisme de fermeture. Partant, c'est sans arbitraire que la cour cantonale, qui a apprécié la valeur probante des déclarations de l'intimée au vu de l'ensemble des éléments figurant au dossier, a considéré celles-ci comme étant crédibles.
2.2. En lien avec le viol, le recourant soutient qu'il n'existait pas d'éléments suffisants pour retenir une pénétration vaginale pénienne. On peine toutefois à le suivre lorsqu'il reproche à la cour cantonale d'avoir arbitrairement retenu l'existence de deux pénétrations arguant que l'intimée n'aurait fait état que d'une seule pénétration tout au long de ses diverses auditions, alors qu'il relève lui-même que l'intimée a indiqué, lors de son audition selon le protocole du NICHD, avoir été " forcée à mettre le zizi dans le vagin et derrière ". Il semble ainsi considérer que cette déclaration, dont il estime qu'elle aurait été faite " vaguement ", n'était pas suffisante pour retenir l'existence de deux pénétrations. Un tel procédé est toutefois inadmissible, le recourant se contentant de substituer, de manière purement appellatoire, sa propre appréciation à celle de la cour cantonale. En tant que le recourant reproche à la juridiction précédente de ne pas s'être penchée sur la question de savoir si, en utilisant le terme " vagin ", l'intimée avait en réalité interprété la pénétration anale comme une pénétration vaginale dans la mesure où le positionnement de ses orifices n'était pas clair pour elle, il n'oppose aucune critique argumentée à la motivation de la cour cantonale. Il se contente de lui reprocher d'avoir considéré que cet aspect n'était pas décisif dès lors que l'intimée avait à plusieurs reprises parlé de " devant " et " derrière " voire même désigné ces zones, ce qui est insuffisant au regard de l'art. 106 al. 2 LTF.
Il s'ensuit que la cour cantonale n'a pas violé l'interdiction de l'arbitraire, ni le principe " in dubio pro reo ", en retenant, sur la base des déclarations crédibles de l'intimée, que le recourant avait pénétré vaginalement l'intimée. Le recourant qui se limite à contester le viol sous l'angle de l'appréciation des preuves n'émet aucune critique en lien avec les éléments constitutifs de l'infraction de viol (art. 42 al. 2 LTF) qui, au vu des faits retenus sans arbitraire, sont réalisés.
3.
Le recourant conteste la réalisation de l'infraction de contrainte sexuelle (art. 189 al. 1 CP).
3.1. A teneur de l'art. 189 al. 1 CP, se rend coupable de contrainte sexuelle celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister, l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel.
Pour qu'il y ait contrainte en matière sexuelle, il faut que la victime ne soit pas consentante, que l'auteur le sache ou accepte cette éventualité et qu'il passe outre en profitant de la situation ou en utilisant un moyen efficace (<ref-ruling> consid. 2b p. 100; arrêt 6B_159/2020 du 20 avril 2020 consid. 2.4.1).
3.2. En l'espèce, la cour cantonale a retenu que les conditions de l'art. 189 al. 1 CP étaient réalisées. Le recourant avait en effet contraint l'intimée à rester avec lui dans la salle de bain et, usant de la force, alors qu'elle verbalisait son refus en criant d'arrêter et de la laisser sortir, et qu'elle n'avait aucune échappatoire, bloquée dans cet endroit exigu, il l'avait dévêtue et contrainte à subir une sodomie (et une pénétration vaginale). Il avait en outre agi avec intention.
3.3. Le recourant ne conteste pas avoir entretenu un acte d'ordre sexuel avec l'intimée, mais fait valoir qu'il ne l'a pas contrainte. Il considère que la cour cantonale a arbitrairement retenu que l'intimée n'était pas consentante alors qu'elle aurait manifesté l'envie d'entretenir une relation sexuelle avec lui. Toutefois, dans la mesure où il reproche à la cour cantonale de n'avoir pas pris en considération les déclarations de E._ selon lesquelles l'intimée voulait entretenir une relation sexuelle avec lui, sa critique est sans portée. En effet, dès lors que la juridiction précédente a - sans arbitraire - tenu pour crédible le récit de la recourante, - dont il ressort nullement qu'elle avait consenti aux actes d'ordre sexuel - elle a implicitement écarté la perception d'un consentement relayé par son amie. Au demeurant, le recourant ne démontre pas que la seule affirmation de E._ rendrait la décision de la cour cantonale arbitraire dans son résultat. En effet, la déclaration à laquelle il se réfère, protocolée comme suit: " Elle voulait coucher avec lui mais moi j'ai dit " pourquoi voulez "... je veux pas qu'elle fait ça " (cf. pièce C-138 du dossier cantonal) n'est pas suffisante pour remettre en question la crédibilité des déclarations de l'intimée dont la valeur probante a été appréciée au vu d'un ensemble d'éléments convergents (cf. consid. 1.3.1 supra), pas plus qu'elle ne saurait apporter de poids supplémentaire au récit du recourant que la cour cantonale a jugé peu crédible sur la base d'éléments que celui-ci ne prend pas la peine de discuter. De même, le recourant procède de manière appellatoire lorsqu'il prétend que le comportement de l'intimée après les événements " rendrait peu vraisemblable la survenance d'une contrainte typique ".
3.4. Le recourant conteste avoir usé d'un moyen de contrainte. Son argumentation, qui consiste pour partie à rediscuter les faits établis qui ont conduit la cour cantonale à retenir que l'élément de contrainte était réalisé sans en démontrer l'arbitraire, est irrecevable. Il en va ainsi lorsqu'il soutient que le fait que la porte avait été ouverte puis refermée avant l'acte sexuel aurait laissé à l'intimée tout le loisir de quitter la pièce ou encore que dans la mesure où la porte était munie d'un loquet, il était " matériellement impossible " qu'il retienne l'intimée dans la salle de bain contre son gré. En outre, contrairement à ce que le recourant semble prétendre, la cour cantonale n'a pas retenu l'élément de contrainte sur le seul fait qu'il avait poussé l'intimée dans la salle de bain contre le mur, mais aussi en considération du fait que la porte était fermée et qu'il avait empêché l'intimée de sortir malgré ses cris et sa volonté de s'échapper. Dans cette configuration, la cour cantonale pouvait sans violer le droit fédéral retenir que le recourant avait contraint intentionnellement par la force l'intimée à subir une pénétration anale contre sa volonté et que l'infraction était réalisée.
4.
Le recourant n'a pas été reconnu coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP), de sorte que sa conclusion tendant à ce qu'il soit libéré de cette infraction est sans objet. Sa conclusion tendant à l'octroi d'une indemnité fondée sur l'art. 429 CPP est également sans objet en tant qu'elle suppose l'acquittement des infractions reprochées, qu'il n'obtient pas.
5.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 29 novembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Paris