Faits :
A.
Par jugement du 26 août 2020, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré B._ des chefs d'accusation de menaces qualifiées et d'actes d'ordre sexuel sur une personne incapable de résistance, l'a reconnu coupable de lésions corporelles simples qualifiées, voies de fait qualifiées, appropriation illégitime sans dessein d'enrichissement au préjudice de proches ou de familiers, injure, séquestration, tentative de contrainte sexuelle, contrainte sexuelle, viol et contravention à la loi fédérale sur les stupéfiants. Il l'a condamné à une peine privative de liberté de quatre ans, sous déduction de 366 jours de détention provisoire et 90 jours de détention pour des motifs de sûreté, ainsi qu'à une peine pécuniaire de 20 jours-amende à 20 fr. le jour et à une amende de 800 fr. (la peine privative de liberté de substitution étant de 16 jours en cas de non-paiement fautif). Il a ordonné que B._ soit soumis à un traitement institutionnel en application de l'<ref-law>, a constaté que le précité a été détenu dans des conditions de détention provisoire illicites durant treize jours et ordonné que sept jours soient déduits de la peine prononcée précédemment. Il l'a maintenu en détention pour des motifs de sûreté, l'a expulsé du territoire suisse pour une durée de dix ans, l'a reconnu débiteur de A._ de la somme de 7'000 fr. avec intérêts à 5% l'an à compter du 4 mars 2018 et a rejeté les conclusions de celle-ci pour le surplus. Il a condamné B._ à verser à C._ le montant de 10'000 fr. à titre d'indemnité pour tort moral, avec intérêt à 5% l'an à compter du 1er décembre 2018, ainsi que la somme de 360 fr. à titre de dommage, avec intérêt à 5% l'an dès le 31 janvier 2019.
B.
Par jugement du 15 janvier 2021, la Cour d'appel pénale du Tribunal cantonal vaudois, statuant sur appel de B._ et sur recours de Me Luis Neves, a partiellement admis ceux-ci et a réformé le jugement de première instance, en ce sens qu'elle a libéré celui-là du chef d'accusation de tentative de contrainte sexuelle, l'a condamné à une peine privative de liberté de trois ans, l'a expulsé du territoire suisse pour une durée de cinq ans, a renvoyé A._ à agir par la voie civile, a levé le séquestre n° 1 et ordonné la restitution du téléphone mobile à B._, et a arrêté l'indemnité du défenseur d'office du précité, Me Luis Neves, à 18'542 fr. 15.
Bien que cela ne ressorte pas du dispositif, il découle des motifs du jugement d'appel que la cour cantonale a également acquitté B._ de viol à l'encontre de A._.
Elle a confirmé le jugement de première instance pour le surplus.
En substance, il ressort du jugement attaqué les faits suivants s'agissant des infractions encore contestées en procédure fédérale.
B.a. A U._, à la Fondation E._ (EMS), le 4 mars 2018 vers 16h50, A._, résidente de cet établissement médico-social et souffrant de troubles psychologiques de type borderline, a rencontré B._, qu'elle avait connu par le biais du réseau social " xxx " et qu'elle avait déjà vu à une reprise auparavant, à V._.
B.b. Après avoir demandé à A._ d'apposer le panneau " ne pas déranger " sur la porte de sa chambre, B._ lui a dit de s'asseoir sur le lit, l'a embrassée et lui a fait des suçons dans le cou, en lui tenant la tête. A._ lui a alors clairement, et à plusieurs reprises, signifié son refus, en le repoussant physiquement et en lui disant qu'elle n'avait pas envie d'entretenir des relations sexuelles avec lui. Après avoir enlevé son t-shirt, B._ a demandé à A._ de se lever et lui a ôté ses vêtements, avant de finir de se déshabiller lui-même (en enlevant le bas). Il l'a ensuite poussée sous la poitrine afin de la coucher sur le lit et lui répondait, alors qu'elle persistait à lui signifier son refus, qu'elle " mentait ". Alors qu'il était à moitié couché sur A._ et qu'il la maintenait d'une main sur le lit, au niveau de la poitrine, il s'est saisi d'un préservatif qui se trouvait dans une boîte au-dessus du lit, l'a mis sur son sexe et l'a contrainte à entretenir une relation sexuelle complète par pénétration vaginale, tout en essayant de lui faire des suçons et de la mordre au niveau du cou.
Au cours du rapport sexuel, B._ a également tenté à plusieurs reprises de pénétrer analement A._. A chaque fois, celle-ci le repoussait, lui indiquait qu'elle ne voulait pas et qu'elle avait mal. A une reprise, alors qu'il tentait de la sodomiser, A._ a réussi à se lever du lit et s'est dirigée vers la porte de la chambre pour s'enfuir. B._ l'a retenue en la saisissant par les épaules et l'a replacée avec force sur le lit. Son préservatif s'étant retiré, B._ en a placé un second sur son sexe avant de pénétrer vaginalement, une nouvelle fois et toujours contre sa volonté, A._ qui lui a alors demandé de " finir vite " et de partir. B._ s'est enfin rhabillé en silence, avant de demander à A._ quel chemin il devait emprunter pour rentrer, puis est parti, la laissant nue sur son lit. A._, choquée et tremblante, s'est alors rhabillée avant de se rendre à la salle à manger de l'établissement pour trouver de l'aide auprès d'une éducatrice.
B.c. Entre novembre ou décembre 2018 et le 25 février 2019, B._ et C._ entretenaient une relation et faisaient ménage commun à W._, en Valais.
En janvier 2019, B._ a soustrait le téléphone portable Samsung S7 de sa compagne, C._, d'une valeur de 360 fr., dans le but de la priver de ce moyen de communication, avant d'endommager le téléphone et de le jeter dans le Rhône, lorsqu'il a aperçu la police arriver devant le domicile du couple.
B.d. Au cours de leur relation, à réitérées reprises, dans leur appartement à W._, B._ a enfermé C._ chez elle contre son gré, afin de l'empêcher de sortir durant son absence et de s'assurer qu'elle ne rencontre pas d'autres hommes. Pour ce faire, il emportait le seul jeu de clés appartenant à la précitée, parfois son téléphone portable également, et fermait la porte à clé en sortant. Sa compagne restait alors séquestrée chez elle, sans moyen de sortir, pendant des durées variant de quelques heures à deux jours. Alors qu'elle avait demandé un deuxième jeu de clés à sa curatrice, B._ s'en est emparé et l'a dissimulé dans les toilettes, cachette dont sa compagne ne connaissait pas l'existence.
B.e. A une dizaine de reprises, dans leur appartement à W._, B._ a contraint C._ à entretenir des relations sexuelles avec lui, par pénétrations tant vaginales qu'anales. Dans le but de punir sa compagne, lui reprochant son manque d'hygiène, sa paresse ou encore de ne pas faire le ménage ou de se montrer trop proche d'autres hommes, B._ la poussait et l'emmenait de force dans la chambre ou le salon de l'appartement, avant de la déshabiller. Alors que sa compagne pleurait et criait, le précité lui mettait, respectivement lui insérait, contre son gré, des objets qu'il avait acquis précédemment, soit une boule dans la bouche (avec attache derrière la tête) et des menottes (bras dans le dos), avant de la placer en position allongée et de la contraindre à des rapports sexuels (pénétrations vaginales et anales). Lors des rapports, il lui insérait également un plug dans l'anus contre sa volonté. C._, entravée par les menottes, se débattait en effectuant des mouvements et tentait d'ôter les objets placés sur son corps, alors que B._ usait de sa force physique pour l'en empêcher et la maintenir.
C.
A._ et B._ forment chacun un recours en matière pénale au Tribunal fédéral contre le jugement du 15 janvier 2021.
A._ conclut, avec suite de frais et dépens, principalement, à la réforme du jugement attaqué, en ce sens que B._ est reconnu coupable de tentative de contrainte sexuelle et de viol et que celui-ci soit condamné à lui payer une indemnité de 7'000 fr., avec intérêt, à titre de réparation du tort moral. Subsidiairement, elle conclut au renvoi de la cause à la cour cantonale pour nouvelle décision (cause 6B_395/2021). A._ sollicite en outre l'assistance judiciaire.
B._ conclut, avec suite de frais et dépens, principalement, à la réforme du jugement attaqué, en ce sens qu'il est libéré des chefs d'accusation de menaces qualifiées, de tentative de contrainte sexuelle et d'actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, de séquestration, de contrainte sexuelle et de viol. Il conclut à sa culpabilité de voies de fait, d'appropriation illégitime sans dessein d'enrichissement, d'injures et de contravention à la loi fédérale sur les stupéfiants, et à une condamnation à une peine pécuniaire et à une amende à dire de justice, au constat de sa détention dans des conditions illicites durant treize jours, à sa libération immédiate, ainsi qu'à l'octroi d'une indemnité en réparation du tort moral subi en raison d'une atteinte à sa personnalité conformément à l'art. 429 al. 1 let. c CPP d'un montant de 300 fr. par jour de détention injustifiée, C._ étant renvoyée à agir par la voie civile. Subsidiairement, il conclut à l'annulation du jugement entrepris et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants (cause 6B_448/2021).
D.
Par ordonnance présidentielle du 2 décembre 2021, B._ a été mis au bénéfice de l'assistance judiciaire pour la procédure 6B_395/2021 devant le Tribunal fédéral et Me Luis Neves désigné en qualité de conseil juridique gratuit.
Dans la cause 6B_395/2021, la cour cantonale, le ministère public et B._ ont été invités à se déterminer sur le recours. La cour cantonale et le ministère public ont tous deux renoncé à formuler des observations, la première se référant aux considérants du jugement entrepris, le second concluant à l'admission du recours. B._ conclut à l'irrecevabilité du recours, subsidiairement à son rejet, à ce que les prétentions civiles soient intégralement rejetées, subsidiairement renvoyées au for civil conformément au jugement entrepris. Ces déterminations ont été communiquées à la recourante qui n'a pas répliqué.
Invités à se déterminer sur le recours dans la cause 6B_448/2021, la cour cantonale et le ministère public y ont renoncé, la première se référant aux considérants de sa décision, le second concluant au rejet du recours.

Considérant en droit :
1.
Les deux recours visent la même décision et posent des questions connexes sur le plan juridique. Il y a donc lieu de joindre les causes et de les traiter dans un seul arrêt (<ref-law> et 24 al. 2 PCF).
I. Recours de A._ (Recourante)
2.
2.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Selon la jurisprudence, la partie plaignante n'est habilitée à recourir contre un jugement prononçant l'acquittement du prévenu que si elle a, autant que cela pouvait raisonnablement être exigé d'elle, exercé l'action civile, en prenant des conclusions chiffrées en réparation de tout ou partie de son dommage matériel ou de son tort moral (<ref-ruling> consid. 1.3.1 p. 247 s.; arrêt 6B_346/2019 du 29 mai 2019 consid. 1.1).
2.2. En l'espèce, la recourante a participé à la procédure cantonale en qualité de partie plaignante et a pris des conclusions civiles en réparation de son tort moral, qu'elle a chiffrées à 7'000 francs. Ces conclusions ont été allouées par le tribunal de première instance, qui avait condamné l'intimé pour viol et tentative de contrainte sexuelle. En revanche, la cour cantonale a acquitté l'intimé et a renvoyé la recourante à agir devant le juge civil. Un tel renvoi équivaut implicitement à un rejet (cf. jugement attaqué consid. 8 p. 35) puisqu'il repose sur l'acquittement. La cour cantonale aurait dû statuer, l'état de fait étant suffisamment établi (<ref-law>). Il y a ainsi lieu de considérer que la décision attaquée a une incidence sur les conclusions civiles, dont la recourante réclame toujours l'allocation dans le présent recours. Dans ces conditions, la recourante dispose d'un intérêt juridique à recourir contre la décision d'acquittement de la cour cantonale. Elle a ainsi la qualité pour recourir.
3.
La recourante reproche à la cour cantonale d'avoir apprécié les preuves et établi les faits de manière arbitraire, en lien avec l'acquittement de l'intimé des chefs de prévention de viol et de tentative de contrainte sexuelle.
3.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1 p. 91 s.; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 4.1.2 p. 81; <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.1.2 p. 81; <ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 3.6.2 p. 287; <ref-ruling> consid. 1.1 p. 503 et les références citées).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_94/2021 du 29 septembre 2021 consid. 1.1; 6B_330/2021 du 15 septembre 2021 consid. 2.1; 6B_1052/2020 du 19 juillet 2021 consid. 1.1; 6B_984/2020 du 4 mars 2021 consid. 1.1).
Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêt 6B_1425/2020 du 5 juillet 2021 consid. 1.3 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de " déclarations contre déclarations ", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe " in dubio pro reo ", conduire à l'acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêts 6B_94/2021 du 29 septembre 2021 consid. 1.1; 6B_330/2021 du 15 septembre 2021 consid. 2.3; 6B_1271/2020 du 20 août 2021 consid. 1.1.1; 6B_1198/2020 du 19 juillet 2021 consid. 2.1).
Comme tous les autres moyens de preuve, les expertises sont soumises à la libre appréciation du juge. S'agissant des questions dont la réponse demande des connaissances professionnelles particulières, le juge ne peut s'écarter de l'expertise que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise (<ref-ruling> consid. 2.1.3 p. 53; arrêt 6B_715/2017 du 23 février 2018 consid. 1.1). Si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 2.1.3 p. 53; arrêt 6B_715/2017 du 23 février 2018 consid. 1.1).
3.2.
3.2.1. Conformément à l'<ref-law>, se rend coupable de contrainte sexuelle celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister, l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel. Celui qui, dans les mêmes circonstances, contraint une personne de sexe féminin à subir l'acte sexuel se rend coupable de viol au sens de l'<ref-law>.
3.2.2. Le viol et la contrainte sexuelle supposent l'emploi de la contrainte. S'agissant des moyens employés pour contraindre la victime, les dispositions citées mentionnent " notamment " la menace, la violence, les pressions d'ordre psychique et la mise hors d'état de résister.
Par menace, il faut entendre que l'auteur, par ses paroles ou son comportement, fait volontairement redouter à la victime la survenance d'un préjudice, à l'effet de l'amener à céder. La menace doit faire craindre un préjudice sérieux (<ref-ruling> consid. 2b p. 100).
Par violence, il faut entendre, comme dans le cas du brigandage (<ref-law>), l'emploi volontaire de la force physique sur la personne de la victime, dans le but de la faire céder (<ref-ruling> consid. 2b p. 100). Selon la jurisprudence, il peut également y avoir usage de la violence au sens des art. 189 et 190 CP lorsque la victime abandonne sa résistance à un moment donné en raison de l'impasse ou de la peur d'une nouvelle escalade de la situation (arrêts 6B_257/2020 et 6B_298/2020 du 24 juin 2021 consid. 5.5.3, destiné à publication; 6B_1149/2014 et 6B_1166/2014 du 16 juillet 2015 consid. 5.7.2; 6B_278/2011 du 16 juin 2011 consid. 3.3.2).
Par la notion de " pressions psychiques ", on vise un comportement de l'auteur qui provoque intentionnellement chez la victime des effets d'ordre psychique propres à la faire céder et à permettre l'acte (<ref-ruling> consid. 3.1 et 3.2 p. 170 ss). La victime se trouve ainsi dans une situation sans espoir, sans pour autant que l'auteur ait recouru à la force physique ou à la violence (<ref-ruling> consid. 3a/bb p. 110 s.; <ref-ruling> consid. 2b p. 100 et les références citées). Toute pression ou tout comportement conduisant à un acte sexuel ou à un autre acte d'ordre sexuel non souhaité ne saurait toutefois être qualifié d'emblée de contrainte sexuelle ou de viol. La pression ou la violence exercées par un mari menaçant son épouse de ne plus lui parler, de partir seul en vacances ou de la tromper si elle lui refuse les actes d'ordre sexuel exigés ne sont pas suffisantes au regard des art. 189 et 190 CP (<ref-ruling> consid. 3.1 p. 170). La pression psychique visée par les art. 189 et 190 CP doit être d'une intensité beaucoup plus forte. Certes, la loi n'exige pas que la victime soit totalement hors d'état de résister. L'effet produit sur la victime doit toutefois être grave et atteindre l'intensité d'un acte de violence ou d'une menace. C'est notamment le cas lorsque, compte tenu des circonstances et de la situation personnelle de la victime, on ne saurait attendre de résistance de sa part ou qu'on ne saurait l'exiger et que l'auteur parvient à son but contre la volonté de la victime sans devoir toutefois user de violence ou de menaces. La soumission de la victime doit, en d'autres termes, être compréhensible (<ref-ruling> consid. 3.1 p. 171).
Selon la jurisprudence, l'infériorité cognitive et la dépendance émotionnelle et sociale peuvent - en particulier chez les enfants et les adolescents - induire une pression psychique extraordinaire et, partant, une soumission comparable à la contrainte physique, les rendant incapables de s'opposer à des atteintes sexuelles (<ref-ruling> consid. 2.2 p. 109).
3.2.3. La contrainte sexuelle et le viol sont des infractions intentionnelles. L'auteur doit savoir que la victime n'est pas consentante ou en accepter l'éventualité. Déterminer ce qu'une personne a su, envisagé ou accepté relève de l'établissement des faits (<ref-ruling> consid. 12 p. 152; <ref-ruling> consid. 6.3 p. 375; arrêt 6B_995/2020 du 5 mai 2021 consid. 1.1.3). L'élément subjectif se déduit d'une analyse des circonstances permettant de tirer, sur la base des éléments extérieurs, des déductions sur les dispositions intérieures de l'auteur. S'agissant de la contrainte en matière sexuelle, l'élément subjectif sera réalisé lorsque la victime a donné des signes évidents et déchiffrables de son opposition, reconnaissables pour l'auteur - tels des pleurs, des demandes d'être laissée tranquille, le fait de se débattre, de refuser des tentatives d'amadouement ou d'essayer de fuir (arrêt 6B_774/2014 du 22 mai 2015 consid. 3.3 et la référence citée). La nature et la durée des rapports (par exemple sodomies, rapports sexuels commis à plusieurs et à multiples reprises) joueront également un rôle pour déterminer si l'auteur pouvait accepter l'éventualité que la victime était consentante (arrêt 6B_774/2014 du 22 mai 2015 consid. 3.3).
3.2.4. Il y a tentative (<ref-law>) lorsque l'auteur a réalisé tous les éléments subjectifs de l'infraction et manifeste sa décision de la commettre, alors que les éléments objectifs font, en tout ou en partie, défaut (<ref-ruling> consid. 3.4 p. 152; arrêt 6B_249/2021 du 13 septembre 2021 consid. 3.5.4). Le seuil de la tentative est franchi lorsque l'auteur a pris la décision de commettre l'infraction et qu'il a traduit cette intention par un acte. L'auteur doit avoir au moins commencé l'exécution de l'infraction. L'existence d'une tentative doit être constatée du point de vue objectif, mais se fonder sur des critères d'appréciation subjectifs (<ref-ruling> consid. 3.4 p. 152; <ref-ruling> consid. 7.2.1 p. 104; arrêt 6B_249/2021 du 13 septembre 2021 consid. 3.5.4).
3.3. La cour cantonale a retenu que l'on ne pouvait douter de la sincérité de la recourante qui n'avait pas de motif de mentir. Il était clair que son rendez-vous avec l'intimé l'avait traumatisée. Il fallait donc admettre que la recourante n'était pas consentante (cf. jugement entrepris consid. 3.5 p. 25).
Sur la question de savoir si cette absence de consentement était perceptible pour l'intimé, la cour cantonale a considéré que le comportement de la recourante avait été peu affirmé et ambigu (l'emmener dans sa chambre alors qu'il l'importunait déjà, selon elle par des baisers, mettre un panneau " ne pas déranger " sur sa porte, montrer où sont les préservatifs, dire qu'elle ne " voulait pas faire sans capote ", etc.). La recourante avait dit elle-même que, manquant de confiance en elle, ses " non " n'étaient " plus aussi catégoriques " face à l'insistance de l'intimé qui lui disait qu'il allait la faire changer d'avis. Certains éléments faisaient aussi douter de la volonté de l'intimé de contraindre. L'on pouvait par exemple se demander pourquoi, s'il avait vraiment imposé la relation vaginale, il avait renoncé à la relation anale. Selon la curatrice de l'intimé, ce dernier, en raison de sa propre pathologie, avait du mal à interpréter la réalité. Si le prévenu ne brillait pas par sa délicatesse, il avait une logique brute de décoffrage qu'il était parfois difficile de prendre en défaut (" J'ai pas dû la forcer. J'aurais eu l'air con si elle s'était mise à crier au milieu de son foyer "). Selon la cour cantonale, l'on ne pouvait pas tirer argument du fait que l'intimé admettait certains détails du récit de la recourante, car en réalité, leurs récits étaient très proches; si l'intimé disait que la recourante n'était pas trop décidée au début, il avait néanmoins pu, selon sa vision des choses, obtenir son acceptation en insistant. Insister n'était pas un crime et encore fallait-il que l'intimé insistant ait eu les moyens psychologiques de s'apercevoir que la victime n'était pas en mesure de résister à son insistance qu'elle percevait comme une contrainte (cf. jugement entrepris consid. 3.5 p. 25 s.).
D'après la cour cantonale, le fait d'être couché sur la victime ne suffisait pas pour retenir une contrainte. Aucun élément ne permettait de dire que l'intimé était " conscient d'avoir affaire à une jeune femme fragile avec des problèmes psychologiques, qui aurait [eu] plus de peine à s'opposer à lui ". L'intimé avait aussi des problèmes psychologiques, de sorte qu'il n'était pas censé savoir que sa partenaire était incapable d'alerter quelqu'un dans la pièce d'à côté, ou de maintenir un " non " ferme comme elle semblait avoir réussi à le faire comprendre pour la sodomie. L'insistance dans la drague face à une fille fragile ne pouvait dans ce cas être considérée comme une contrainte. En outre, le dol éventuel devait également porter sur le fait que la victime s'était soumise sous l'effet de la contrainte. Or, la cour cantonale a retenu que l'intimé était persuadé que son charme suffirait à convaincre la recourante, pas qu'il ait envisagé que le fait de se coucher sur elle ait pu constituer une contrainte pour elle (cf. jugement entrepris consid. 3.5 p. 26).
Enfin, s'agissant de la sodomie, la recourante indiquait qu'elle lui avait dit d'arrêter, qu'elle l'avait repoussé et qu'il avait alors repris la pénétration vaginale. Selon la cour cantonale, là encore, " essayer " ne voulait pas dire " essayer de contraindre " (cf. jugement entrepris consid. 3.5 p. 26).
3.4. La recourante débute ses écritures par un exposé des faits et consacre une large partie de celles-ci à une présentation personnelle de ceux-ci. Dans la mesure où elle s'écarte des faits retenus par la cour cantonale sans démontrer que ceux-ci auraient été établis de manière arbitraire, son exposé est appellatoire, partant irrecevable. Il en va notamment ainsi des hypothèses émises pour expliquer l'absence de cris de la recourante au moment des faits, des pressions d'ordre psychique que l'intimé aurait exercées sur elle et du fait qu'elle ne souhaitait pas une relation sexuelle avec l'intimé au moment où elle l'avait rencontré pour la première fois à V._, quelques semaines avant les faits reprochés.
3.5. La recourante soutient qu'il était arbitraire de nier la contrainte et l'élément constitutif subjectif de la tentative de contrainte sexuelle et du viol. Elle fait valoir que la conclusion de la cour cantonale serait en contradiction avec ses déclarations, jugées pourtant sincères par celle-ci, et que la cour cantonale se serait distancée de l'expertise psychiatrique de l'intimé.
3.5.1. A titre liminaire, il sied de relever que, dans sa partie " en fait ", la cour cantonale ne fait que reprendre la description des faits reprochés à l'intimé tels qu'ils ressortent de l'acte d'accusation sans se prononcer sur leur bien-fondé (cf. jugement entrepris consid. 2.2 p. 15 s.). Il n'est dès lors pas aisé de comprendre précisément quels sont les faits retenus par la cour cantonale.
En effet, son raisonnement s'avère contradictoire, dans la mesure où elle a nié l'existence d'un élément de contrainte et l'intention de l'intimé, alors qu'elle a retenu la sincérité des déclarations de la recourante. Or, il ressort manifestement de ces dernières un élément de contrainte qui ne pouvait échapper à l'intimé. Tout d'abord, la recourante a déclaré que l'intimé l'avait poussée sur le lit et l'y avait maintenue (cf. PV aud. 2 p. 3 et PV aud. 6 p. 2 s.; <ref-law>). Par ailleurs, au moment où l'intimé a essayé de pénétrer la recourante analement, celle-ci a tenté de fuir (cf. PV aud. 2 p. 4 et PV aud. 6 p. 3; <ref-law>). A cet instant, selon les déclarations de la recourante, l'intimé l'aurait retenue, en la saisissant par les épaules, et l'aurait recouchée sur le lit, pour ensuite continuer la pénétration vaginale (PV aud. 2 p. 4 et PV aud. 6 p. 3; <ref-law>). Elle a ajouté qu'elle avait peur de lui et que le comportement de ce dernier était agressif (cf. PV aud. 6 p. 3; <ref-law>).
Or, la cour cantonale passe sous silence ces éléments, de sorte qu'il semblerait qu'elle ne retient pas la version de la recourante sur ces points. Toutefois, elle n'expose pas les raisons qui justifieraient de s'écarter des déclarations de la recourante sur les éléments précités, alors même qu'elle considère de manière générale ces dernières comme sincères. Ces déclarations sont pourtant des éléments de preuve propres à démontrer l'usage d'une contrainte à l'encontre de la recourante.
3.5.2. En outre, la cour cantonale retient que l'intimé souffrait également de problèmes psychologiques, ce qui l'empêchait de savoir que sa partenaire était incapable de demander de l'aide ou de lui signifier des refus clairs. En ce sens, la cour cantonale semble s'écarter des conclusions de l'expertise selon lesquelles l'intimé présente une intelligence dans la norme (cf. pièce 86 p. 10; <ref-law>), choisit des personnes ayant un profil similaire, c'est-à-dire des jeunes femmes rencontrées soit sur un site de rencontre soit en institution, EMS ou hôpital psychiatrique, et qui ont en commun une incapacité de discernement (pour la recourante, un retard mental léger), et considère ces jeunes femmes comme des personnes de deuxième catégorie, des filles faciles avec lesquelles l'on peut se permettre certaines licences (cf. pièce 86 p. 8; <ref-law>)
Par ailleurs, les experts ont conclu que l'intimé instaurait une relation d'emprise ou de domination et utilisait certaines personnes comme expédiant à une sexualité ou à une pulsionnalité débordante sans les considérer comme personnes en tant que telles (il présentait une indifférence froide envers les sentiments d'autrui), et choisissait des personnes de sexe féminin présentant des carences psychiques majeures uniquement dans le but de satisfaire sa pulsionnalité (cf. pièce 86 p. 13; <ref-law>).
Si la cour cantonale entend s'écarter d'une expertise, elle est tenue de motiver sa décision et d'exposer les motifs la conduisant à s'en distancer (cf. supra consid. 3.1), ce qui ne ressort pas du jugement entrepris. Pourtant, à nouveau, il s'agit d'éléments pertinents propres à établir que l'intimé pouvait se rendre compte des refus exprimés et l'absence de consentement de la recourante.
3.5.3. Enfin, les déclarations de la recourante au sujet des refus qu'elle a exprimés à l'endroit de l'intimé doivent également être analysées à l'aune des éléments précités. Si la cour cantonale a certes minimisé la portée de ces refus, en considérant que la recourante avait adopté un comportement peu affirmé et ambigu, il n'en demeure pas moins que celle-ci a déclaré avoir refusé, à plusieurs reprises et de manière claire, d'entretenir une relation sexuelle avec l'intimé tant au début que pendant les faits reprochés, et a confirmé que l'intimé avait pu comprendre son refus et qu'il n'était pas possible qu'il ne s'en soit pas aperçu (cf. PV aud. 2 p. 6 et PV aud. 6 p. 3 s.; <ref-law>). La cour cantonale semble d'ailleurs elle-même retenir que la recourante a exprimé un " non " ferme lorsque l'intimé a essayé de la sodomiser (cf. jugement entrepris consid. 3.5 p. 26).
La recourante a également indiqué avoir eu peur et n'avoir pas pu crier car elle était tétanisée, comme bloquée (cf. PV aud. 6 p. 3; <ref-law>), ce qui pourrait, en partie, expliquer les raisons pour lesquelles ses refus étaient moins catégoriques par la suite, ce d'autant plus lorsque ces déclarations sont mises en parallèle à celles relatives à l'usage d'une contrainte rappelées précédemment (cf. supra consid. 3.5.1).
Or, la cour cantonale ne semble pas avoir pris en considération ces déclarations pour parvenir à la conclusion que la recourante avait adopté un comportement peu affirmé et ambigu, alors même qu'elle les a considérées crédibles.
3.6. En omettant les déclarations de la recourante qu'elle avait pourtant jugées sincères et en s'écartant de l'expertise de l'intimé sans fournir d'explication, la cour cantonale a versé dans l'arbitraire, dans la mesure où, si les éléments précités sont finalement retenus, ceux-ci sont propres à modifier l'issue de la cause et à démontrer l'exercice d'une contrainte à l'encontre de la recourante ainsi que des signes évidents et déchiffrables de l'opposition de celle-ci, reconnaissables pour l'intimé. Vu ce qui précède, le recours doit être admis.
Par conséquent, il appartiendra à la cour cantonale de procéder à un nouvel établissement des faits à la lumière de l'ensemble des éléments précités.
4.
Vu l'issue du recours, il est inutile de se prononcer plus avant sur les griefs invoqués par la recourante contre la décision de la cour cantonale de la renvoyer à agir par la voie civile s'agissant de ses prétentions en réparation du tort moral, puisqu'il appartiendra à la cour cantonale de réexaminer cette question à l'aune des faits qu'elle devra établir pour se prononcer sur les chefs de prévention de tentative de contrainte sexuelle et de viol reprochés à l'intimé.
II. Recours de B._ (Recourant)
5.
Le recourant fait grief à la cour cantonale d'avoir établi les faits de manière arbitraire, en lien avec les infractions de séquestration, de viol et de contrainte sexuelle, et dénonce une violation du principe de la présomption d'innocence au sens des <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II (RS 0.103.2) et 6 par. 2 CEDH, ainsi que de son corollaire le principe " in dubio pro reo ".
5.1. Les exigences auxquelles les griefs tirés de l'interdiction de l'arbitraire sont soumis ont été exposées précédemment (cf. supra consid. 3.1). En outre, lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe " in dubio pro reo " n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156).
5.2.
5.2.1. Le recourant reproche à la cour cantonale une appréciation manifestement erronée des déclarations de la curatrice de l'intimée C._ en lien avec sa condamnation du chef de séquestration.
5.2.2. La cour cantonale a retenu que la curatrice de l'intimée avait expliqué que le jeu de clés caché dans les toilettes l'avait été, parce que le recourant avait enfermé l'intimée; il devait lui permettre de sortir. Le recourant avait expliqué que c'était lui qui avait caché là le jeu de clés, qu'en cas d'urgence l'intimée aurait pu l'appeler pour lui demander où elles étaient, ce qu'elle n'avait jamais fait, et qu'elle n'avait au final jamais su que ces clés étaient cachées là. S'il avait procédé de la sorte, c'était par jalousie, pour éviter que " des hommes " viennent la voir (cf. jugement entrepris consid. 4.5 p. 29).
5.2.3. Le recourant prétend que, selon les déclarations de la curatrice, l'intimée aurait donc pu sortir grâce à ses clés lorsque le recourant l'avait enfermée à une ou deux reprises, de sorte que l'infraction de séquestration ne pouvait être consommée, faute pour l'intimée d'avoir été empêchée de sortir de son domicile à cause de lui. Ce faisant, le recourant se borne à opposer sa propre appréciation des faits à celle de la cour cantonale sans en démontrer l'arbitraire, dans une critique purement appellatoire et, partant, irrecevable. Au demeurant, si l'intimée a dû cacher un troisième jeu de clés dans l'appartement, comme sa curatrice l'a déclaré au cours de la procédure, il n'apparaît pas manifestement insoutenable d'en conclure que c'est en raison du fait qu'elle a été enfermée dans son appartement précédemment et pour lui permettre ensuite d'en sortir.
5.3.
5.3.1. Le recourant invoque ensuite une appréciation arbitraire des faits, en lien avec les chefs de prévention de viol et de contrainte sexuelle.
5.3.2. La cour cantonale a considéré que rien ne permettait de douter de la sincérité de l'intimée. Elle a retenu que celle-ci souffrait de troubles psychiques sérieux, avait, selon sa mère, de la peine à discerner le bien du mal, faisait très vite confiance et se faisait exploiter, avait besoin d'avoir un copain et se donnait entièrement dans la relation sans distinguer le bien du mal. S'agissant des violences sexuelles, la cour cantonale a retenu que l'intimée avait dit à sa mère que le recourant utilisait des objets sur elle, qu'elle " lui faisait plaisir car elle l'aimait ". La mère lui avait répondu que ça ne marchait pas ainsi mais admettait ne pas avoir " voulu savoir ". Avec ses difficultés psychiques, il n'était pas étonnant que l'intimée ne se soit pas répandue auprès des tiers sur ces sujets intimes, d'autant moins qu'elle ne paraissait même pas consciente que ce qui se passait n'était pas normal. Il n'était pas exact de dire que l'intimée aurait d'abord soutenu n'avoir été en désaccord qu'avec l'introduction de plugs dans l'anus. Elle avait seulement dit que toutes les relations sexuelles contraintes étaient " en lien avec ces objets ", mais racontait bien que, lors de ces épisodes de " punition ", non consentis, il y avait eu aussi des pénétrations vaginales. Les déclarations du recourant en appel, selon lesquelles l'intimée utilisait les plugs anaux toute seule quand il refusait de coucher avec elle, que ces objets n'étaient pas utilisés à titre de punition et que parfois cela plaisait à l'intimée, n'étaient pas crédibles. L'intimée pleurait et criait, ce qu'avait d'ailleurs admis le recourant à l'audience d'appel, quand bien même il avait minimisé la détresse de l'intimée: " cela lui est arrivé de pleurer vite fait et de dire j'en peux plus ". La cour cantonale a ainsi considéré que ce qui avait commencé comme un jeu sado-masochiste avait dérapé et le recourant clairement ne s'était plus soucié de savoir si sa partenaire appréciait toujours (cf. jugement entrepris consid. 4.5 p. 29).
5.3.3. Dans une critique largement appellatoire, le recourant oppose sa propre appréciation des faits à celle de la cour cantonale, de sorte que son grief est irrecevable. Il en va ainsi des contradictions dans les déclarations de l'intimée, lesquelles ne se rapportent pas aux faits de violences sexuelles subies, et des troubles psychiques dont souffre l'intimée. A cet égard, le recourant n'explique pas en quoi le raisonnement de la cour cantonale serait arbitraire ou que la solution retenue par celle-ci serait manifestement insoutenable dans son résultat, à savoir que, souffrant de plusieurs troubles psychiques, l'intimée avait suffisamment de problèmes pour éviter d'en ajouter avec de fausses accusations. En outre, le recourant perd de vue que la cour cantonale s'est également fondée sur d'autres pièces, comme les déclarations de la mère de l'intimée, celles d'amis du couple, ainsi que sur ses propres déclarations, pour conforter la crédibilité des dires de la plaignante, ce que le recourant ne discute pas. L'on ne discerne pas en quoi le fait que l'intimée n'ait pas été blessée au cours des faits reprochés en lien avec les chefs de prévention de viol et de contrainte sexuelle est pertinent et le recourant ne l'expose d'ailleurs pas. Il en va de même du fait que l'intimée savait ce qu'elle voulait et était apte à se défendre.
S'agissant du fait que l'intimée n'ait pas exposé ces violences aux médecins ou à sa curatrice, la cour cantonale a expliqué, qu'en raison de ses difficultés psychiques, il n'était pas étonnant que l'intimée ne se soit pas répandue auprès des tiers sur ces sujets intimes. Or, le recourant n'explique aucunement en quoi cette appréciation de la cour cantonale serait manifestement insoutenable.
Pour contester l'absence de consentement de l'intimée, le recourant cherche à tirer argument du fait que les objets utilisés lors des relations sexuelles n'étaient que des jouets sexuels qui n'empêchaient pas l'intimée de crier et de respirer (s'agissant de la boule placée sur la bouche), et que les menottes utilisées étaient pourvues d'un dispositif permettant de facilement se libérer. Outre qu'il se livre à une critique appellatoire - et donc irrecevable -, la cour cantonale a retenu que l'intimée criait et pleurait, de sorte que le recourant ne pouvait pas ne pas réaliser que sa compagne ne voulait pas, ce qu'il avait lui-même admis.
6.
Le recourant critique l'allocation à l'intimée d'une indemnité pour tort moral.
6.1. L'<ref-law> prévoit que celui qui subit une atteinte illicite à sa personnalité a droit à une somme d'argent à titre de réparation morale, pour autant que la gravité de l'atteinte le justifie et que l'auteur ne lui ait pas donné satisfaction autrement.
Dans le cadre de cette disposition, en cas d'atteinte à l'intégrité sexuelle, le calcul de la réparation morale se fonde, comme pour l'<ref-law>, avant tout sur la nature et la gravité de l'atteinte, l'intensité et la durée de ses effets sur la personnalité de la personne concernée, ainsi que sur le degré de culpabilité de la personne responsable (arrêt 6B_544/2010 du 25 octobre 2010 consid. 3.1).
L'ampleur de la réparation morale dépend avant tout de la gravité des souffrances physiques ou psychiques consécutives à l'atteinte subie par la victime et de la possibilité d'adoucir sensiblement, par le versement d'une somme d'argent, la douleur morale qui en résulte. Sa détermination relève du pouvoir d'appréciation du juge. En raison de sa nature, l'indemnité pour tort moral, qui est destinée à réparer un dommage qui ne peut que difficilement être réduit à une simple somme d'argent, échappe à toute fixation selon des critères mathématiques, de sorte que son évaluation en chiffres ne saurait excéder certaines limites. L'indemnité allouée doit toutefois être équitable (<ref-ruling> consid. 3.1 p. 342; <ref-ruling> consid. 11.2 p. 98; <ref-ruling> consid. 5.1 p. 704 s.; arrêts 6B_457/2021 du 22 octobre 2021 consid. 5.1; 6B_696/2019 du 24 septembre 2019 consid. 5.1.1; 6P.94/2006 du 10 août 2006 consid. 12.2.2).
La fixation de l'indemnité pour tort moral est une question d'application du droit fédéral, que le Tribunal fédéral examine donc librement. Dans la mesure où celle-ci relève pour une part importante de l'appréciation des circonstances, il intervient avec retenue. Il le fait notamment si l'autorité cantonale a mésusé de son pouvoir d'appréciation, en se fondant sur des considérations étrangères à la disposition applicable, en omettant de tenir compte d'éléments pertinents ou encore en fixant une indemnité inéquitable parce que manifestement trop faible ou trop élevée (arrêts 6B_457/2021 du 22 octobre 2021 consid. 5.1; 6P.94/2006 du 10 août 2006 consid. 12.2.2); toutefois, comme il s'agit d'une question d'équité - et non pas d'une question d'appréciation au sens strict, qui limiterait son pouvoir d'examen à l'abus ou à l'excès du pouvoir d'appréciation -, il examine librement si la somme allouée tient suffisamment compte de la gravité de l'atteinte ou si elle est disproportionnée par rapport à l'intensité des souffrances morales causées à la victime (arrêt 6P.94/2006 du 10 août 2006 consid. 12.2.2 et les références citées).
6.2. La cour cantonale a retenu que la condamnation du recourant pour lésions corporelles simples qualifiées, voies de fait qualifiées, injure, séquestration, contrainte sexuelle et viol à l'encontre de l'intimée ayant été confirmée, il n'y avait pas matière à révocation de l'octroi des conclusions civiles à cette dernière, par 10'000 fr., à titre d'indemnité pour tort moral. Il était en effet indéniable que l'intimée avait subi un tort moral en raison des actes illicites commis par le recourant. Au regard de l'ensemble des circonstances, l'allocation d'un montant de 10'000 fr. était justifiée, quotité que le recourant ne contestait d'ailleurs pas en tant que telle (cf. jugement entrepris consid. 8 p. 35).
6.3. Le recourant soutient que, dans la mesure où les violences vécues par l'intimée n'avaient plus d'impact sur elle, vu qu'elle les avait en grande partie oubliées, aucun montant en réparation du tort moral, à tout le moins, subjectivement, ne pouvait être alloué. Ce raisonnement ne peut être suivi. En effet, la durée des effets sur la personnalité de la personne concernée ne constitue pas l'unique critère pour calculer le montant de l'indemnité à allouer pour tort moral. D'autres critères interviennent à ce titre, comme la nature et la gravité de l'atteinte et le degré de culpabilité de la personne responsable. En l'espèce, le recourant a été condamné pour plusieurs infractions touchant l'intégrité corporelle et sexuelle ainsi qu'à la liberté de l'intimée. La culpabilité du recourant est lourde. Compte tenu des circonstances retenues par la cour cantonale, notamment la gravité des atteintes causées à la personnalité de l'intimée et le degré de culpabilité du recourant, il n'apparaît ainsi pas inéquitable de fixer le montant de l'indemnité due à titre de réparation morale à 10'000 francs. En outre, la cour cantonale ne s'est pas fondée sur des considérations étrangères à la disposition applicable, en omettant de tenir compte d'éléments pertinents. Mal fondé, le grief doit être rejeté.
7.
Le recourant critique la peine privative de liberté d'un mois en lien avec l'infraction d'appropriation illégitime sans dessein d'enrichissement, qu'il estime excessivement sévère.
7.1. A titre liminaire, il sied de relever que, nonobstant l'admission du recours de la recourante (cause 6B_395/2021), les griefs relatifs à la peine soulevés par le recourant peuvent être examinés, puisqu'ils sont indépendants de l'issue que donnera la cour cantonale à la cause 6B_395/2021.
Aux termes de l'<ref-law>, si, en raison d'un ou de plusieurs actes, l'auteur remplit les conditions de plusieurs peines de même genre, le juge le condamne à la peine de l'infraction la plus grave et l'augmente dans une juste proportion. Il ne peut toutefois excéder de plus de la moitié le maximum de la peine prévue pour cette infraction. Il est en outre lié par le maximum légal de chaque genre de peine.
L'exigence, pour appliquer l'<ref-law>, que les peines soient de même genre, implique que le juge examine, pour chaque infraction commise, la nature de la peine à prononcer pour chacune d'elle (<ref-ruling> consid. 3.2 p. 246; <ref-ruling> consid. 1.1.1 p. 316). Le prononcé d'une peine d'ensemble en application du principe de l'aggravation contenu à l'<ref-law> n'est ensuite possible que si le juge choisit, dans le cas concret, le même genre de peine pour sanctionner chaque infraction commise. Que les dispositions pénales applicables prévoient abstraitement des peines du même genre ne suffit pas. Si les sanctions envisagées concrètement ne sont pas du même genre, elles doivent être prononcées cumulativement. La peine privative de liberté et la peine pécuniaire ne sont pas des sanctions du même genre (ATF <ref-ruling> consid. 1.1.1 p. 316 et les références citées).
La peine pécuniaire constitue la sanction principale dans le domaine de la petite et moyenne criminalité, les peines privatives de liberté ne devant être prononcées que lorsque l'État ne peut garantir d'une autre manière la sécurité publique. Lorsque tant une peine pécuniaire qu'une peine privative de liberté entrent en considération et que toutes deux apparaissent sanctionner de manière équivalente la faute commise, il y a en règle générale lieu, conformément au principe de la proportionnalité, d'accorder la priorité à la première, qui porte atteinte au patrimoine de l'intéressé et constitue donc une sanction plus clémente qu'une peine privative de liberté, qui l'atteint dans sa liberté personnelle. Le choix de la sanction doit être opéré en tenant compte au premier chef de l'adéquation de la peine, de ses effets sur l'auteur et sur sa situation sociale ainsi que son efficacité du point de vue de la prévention. La faute de l'auteur n'est en revanche pas déterminante (ATF <ref-ruling> consid. 1.1.1 p. 317).
Conformément à l'<ref-law>, lorsque le juge choisit de prononcer à la place d'une peine pécuniaire une peine privative de liberté, il doit de plus motiver le choix de cette dernière peine de manière circonstanciée (ATF <ref-ruling> consid. 1.2 p. 319).
7.2. La cour cantonale a retenu que la culpabilité du recourant était très lourde. Celui-ci n'avait fait preuve d'aucune empathie à l'égard de ses partenaires, qu'il considérait comme des filles inférieures, de peu de vertu, qui ne méritaient dès lors pas de considération et qu'il n'avait pas hésité à salir tout au long de ses auditions. La teneur des propos échangés quelques mois avant les débats avec sa mère lors de conversations téléphoniques en détention était édifiante. Il se présentait comme une victime d'accusations mensongères et indiquait: " mais oui il faut que je fasse payer les gens qui m'ont mis là pour rien du tout... ça c'est clair " [...] " je leur ai fait du bien et puis voilà ". Le recourant n'avait pas pris conscience de la gravité de ses actes et le risque de récidive était d'ailleurs décrit comme moyen à élevé par les experts. Il n'avait fait preuve d'aucun remords. A charge, la cour cantonale a retenu également le concours d'infractions et la relativement longue durée des actes odieux, ainsi que leur répétition, à l'égard de l'intimée. Il n'y avait aucun élément à décharge. En raison d'une diminution légère de responsabilité, la faute du recourant devait être jugée un peu moins écrasante, mais restait néanmoins lourde. Une peine privative de liberté s'imposait, vu le lien entre les violences. La peine privative de liberté devait être arrêtée à trois ans, soit deux ans pour les infractions sexuelles, augmentées de neuf mois pour les autres violences, deux mois pour la séquestration et un mois pour l'appropriation illégitime (cf. jugement entrepris consid. 5.3.1 p. 32 s.).
7.3.
7.3.1. Le recourant allègue qu'en ayant jeté le téléphone de l'intimée dans le Rhône après se l'être approprié, il n'avait causé à celle-ci qu'un dommage d'un montant de 360 francs. Si le prononcé d'une amende devait être écarté, le prononcé d'une peine privative de liberté au lieu d'une peine pécuniaire serait disproportionné, vu notamment l'absence d'antécédent du recourant, l'acte commis et tous les critères gouvernant la fixation de la peine.
7.3.2. En l'espèce, le recourant allègue une violation du droit, sans toutefois préciser quelle base légale la cour cantonale aurait mal appliquée. L'on comprend néanmoins que celui-ci critique la nature de la peine prononcée à son encontre pour le chef de prévention d'appropriation illégitime sans dessein d'enrichissement. La peine menace de l'<ref-law> est une peine privative de liberté de trois ans au plus ou une peine pécuniaire. En l'espèce, la cour cantonale a choisi de prononcer une peine privative de liberté d'un mois à l'encontre du recourant pour sanctionner cette infraction, cette peine étant comprise dans la peine d'ensemble de trois ans de peine privative de liberté. Conformément à la jurisprudence précitée, avant d'appliquer l'<ref-law>, il incombait à la cour cantonale de motiver de manière circonstanciée son choix de prononcer une peine privative de liberté en lieu et place d'une peine pécuniaire pour sanctionner l'infraction réprimée à l'<ref-law>. Or, la cour cantonale n'expose pas les raisons l'ayant conduite à prononcer une peine de cette nature à l'encontre du recourant. Elle ne pouvait toutefois pas faire l'économie d'un tel raisonnement conformément à l'<ref-law> et à la jurisprudence précitée. Faute de motivation à cet égard, la cour cantonale a violé le droit fédéral.
7.4. Vu ce qui précède, le recours doit être admis sur ce point et la cause renvoyée à la cour cantonale pour nouvelle décision sur la peine en lien avec l'infraction d'appropriation illégitime sans dessein d'enrichissement.
8.
Le recourant reproche à la cour cantonale de n'avoir pas octroyé le sursis, total ou partiel, à la peine qu'elle a prononcée à son encontre.
8.1. A teneur de l'<ref-law>, le juge suspend en règle générale l'exécution d'une peine pécuniaire ou d'une peine privative de liberté de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits. L'<ref-law> prévoit que le juge peut suspendre partiellement l'exécution d'une peine privative de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon appropriée de la faute de l'auteur.
Pour l'octroi du sursis, le juge doit poser un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain (arrêts 6B_849/2020 du 5 novembre 2020 consid. 2.1; 6B_471/2020 du 24 septembre 2020 consid. 2.1). Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5; arrêts 6B_42/2018 du 17 mai 2018 consid. 1.2; 6B_682/2017 du 11 décembre 2017 consid. 1.1). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêt 6B_682/2017 du 11 décembre 2017 consid. 1.1 et les références citées). Dans l'émission du pronostic, le juge dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient qu'en cas d'abus ou d'excès de ce pouvoir (<ref-ruling> consid. 2.2 p. 139; <ref-ruling> consid. 3.1.1 p. 281; arrêts 6B_849/2020 du 5 novembre 2020 consid. 2.1; 6B_1304/2019 du 17 février 2020 consid. 1.1; 6B_42/2018 du 17 mai 2018 consid. 1.2; 6B_658/2017 du 30 janvier 2018 consid. 1.2; 6B_682/2017 du 11 décembre 2017 consid. 1.1). Selon la jurisprudence, les conditions subjectives auxquelles l'<ref-law> soumet l'octroi du sursis intégral s'appliquent également à l'octroi du sursis partiel (<ref-ruling> consid. 3.3 p. 277; <ref-ruling> consid. 5.3.1 p. 10; arrêt 6B_682/2017 du 11 décembre 2017 consid. 1.1).
8.2. La cour cantonale a arrêté la peine privative de liberté à trois ans, la question du sursis entier ne se posant donc pas. Par ailleurs, la cour cantonale a retenu que le pronostic était défavorable, au vu du risque de récidive, décrit par les experts comme moyen à élevé, de commettre de nouvelles infractions à l'intégrité sexuelle, de l'indifférence manifestée par le recourant à ses partenaires, ainsi que de l'absence de remords et de prise de conscience. Dans ces conditions, un sursis partiel ne pouvait être prononcé (cf. jugement entrepris consid. 5.3.2 p. 33).
8.3. Le recourant relève tout d'abord qu'il n'a aucun antécédent, a parfaitement collaboré tout au long de la procédure et est un détenu exemplaire. En outre, bien que le risque de récidive soit de moyen à élevé, l'expertise a été effectuée en raison d'accusations de deux femmes et de soupçons du ministère public à l'égard d'autres femmes. Or, comme le recourant a bénéficié de deux acquittements, hormis pour les faits à l'encontre de l'intimée, le risque de récidive ne pouvait pas être retenu comme étant défavorable au prononcé d'un sursis, dans l'hypothèse d'une condamnation pour les faits dénoncés par l'intimée, de sorte que le sursis total ou partiel devait lui être accordé.
En l'espèce, la parfaite collaboration du recourant tout au long de la procédure et son comportement exemplaire en détention sont des éléments de fait qui ne ressortent pas du jugement entrepris, et le recourant n'expose pas en quoi la cour cantonale aurait omis ces éléments en abusant de son large pouvoir d'appréciation. Au demeurant, le simple fait que celle-ci n'ait condamné le recourant que pour les faits dirigés contre l'intimée ne saurait amoindrir la portée de cette expertise, laquelle atteste que le risque de récidive est moyen à élevé. Par ailleurs, la cour cantonale a retenu, en sus des conclusions de l'expertise, l'indifférence manifestée par le recourant à l'égard de ses partenaires, soit également l'intimée, ainsi que son absence de remords et de prise de conscience, éléments qui ne sont pas contestés par le recourant. Conformément à la jurisprudence rappelée ci-dessus, de tels éléments sont propres à justifier un pronostic défavorable.
C'est donc à bon droit que la cour cantonale a prononcé une peine ferme. Mal fondé, le grief doit être rejeté.
9.
Le recourant conteste le prononcé d'une mesure institutionnelle au sens de l'<ref-law>, sans contester le principe même du prononcé d'une mesure, mais soutient qu'une mesure pour jeunes adultes au sens de l'<ref-law>, comme l'ont préconisée les experts, devrait être prononcée en lieu et place d'un traitement institutionnel. A cet égard, le recourant reproche à la cour cantonale de n'avoir pas suivi l'expertise quant au choix de la mesure et de ne pas avoir suffisamment motivé sa décision.
9.1. Selon l'<ref-law>, une mesure doit être ordonnée si une peine seule ne peut écarter le danger que l'auteur commette d'autres infractions (let. a), si l'auteur a besoin d'un traitement ou que la sécurité publique l'exige (let. b) et si les conditions prévues aux art. 59 à 61, 63 ou 64 sont remplies (let. c). Le prononcé d'une mesure suppose que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (<ref-law>).
En règle générale, le juge n'ordonne une mesure que si un établissement approprié est à disposition (<ref-law>). Une mesure ne doit pas être ordonnée sans tenir compte de la question de savoir s'il existe une institution dans laquelle le traitement peut être effectué. Il suffit cependant que le tribunal s'assure - sur la base des informations fournies par l'autorité d'exécution ou, le cas échéant, d'une expertise - qu'un établissement d'exécution approprié est disponible pour la mesure. Le tribunal ne doit pas assumer des tâches d'exécution et désigner lui-même l'institution appropriée. L'attribution dans un cas particulier est effectuée par l'autorité d'exécution compétente (arrêt 6B_625/2012 du 27 juin 2013 consid. 4.2.1).
9.1.1. A teneur de l'<ref-law>, un traitement thérapeutique institutionnel peut être ordonné en faveur d'une personne souffrant d'un grave trouble mental si elle a commis un crime ou un délit en relation avec ce trouble (let. a) et s'il est à prévoir que cette mesure la détournera de nouvelles infractions en relation avec ce trouble (let. b).
L'<ref-law> prévoit que si l'auteur avait moins de 25 ans au moment de l'infraction et qu'il souffre de graves troubles du développement de la personnalité, le juge peut ordonner son placement dans un établissement pour jeunes adultes aux conditions suivantes: l'auteur a commis un crime ou un délit en relation avec ces troubles (let. a) et il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ces troubles (let. b).
La nouvelle mesure applicable aux jeunes adultes entend maintenir pour l'essentiel le principe de l'éducation au travail prévu par l'ancien art. 100 bis CP, en vigueur jusqu'au 31 décembre 2006. Dans ce contexte, la jurisprudence développée sous l'empire de l'ancien droit est toujours d'actualité (cf. <ref-ruling> consid. 2.1.2 p. 51 s. et les références citées). La mesure prévue à l'<ref-law> est ordonnée principalement en raison de l'état personnel du jeune adulte délinquant et de sa capacité à recevoir un soutien socio-pédagogique et thérapeutique pouvant influencer favorablement le développement de sa personnalité. Un tel placement doit par conséquent être réservé aux jeunes adultes qui peuvent encore être largement influencés dans leur développement et qui apparaissent accessibles à cette éducation. Moins l'intéressé semble encore malléable, moins cette mesure peut entrer en considération. En outre, les carences du développement pertinentes sous l'angle pénal doivent pouvoir être comblées par l'éducation, en tout cas dans la mesure où ce moyen permet de prévenir une future délinquance. Le placement implique une disposition minimale à coopérer, le jeune adulte devant présenter un minimum de motivation (<ref-ruling> consid. 2.1.2 p. 52; arrêt 6B_330/2019 du 5 septembre 2019 consid. 1.1.1).
Par ailleurs, les auteurs dangereux n'ont pas leur place dans un établissement pour jeunes adultes. D'abord, la dangerosité parle en défaveur de l'efficacité de la mesure. En outre, de tels délinquants peuvent mettre en cause la sécurité de ces établissements, qui ont une mission limitée à l'éducation et qui n'ont pas à assumer en première ligne des problèmes de sécurité. Enfin, les auteurs dangereux risquent d'exercer une influence négative sur les autres jeunes. La dangerosité doit être déterminée par un pronostic, notamment en fonction du type de délit et de la manière dont il a été commis. Des actes de violence passibles d'une peine élevée constituent en tout cas un indice de dangerosité. Toutefois, ce qui est décisif, c'est la dangerosité de l'auteur, mais non celle de l'acte (<ref-ruling> consid. 2.1.2 p. 52).
En résumé, le placement dans un établissement pour jeunes adultes est fondé sur des considérations tirées du droit pénal des mineurs et ne visent donc que les auteurs qui peuvent encore être classés, d'après leur structure de personnalité et leur manière d'agir, dans le large cercle de la délinquance adolescente. Dans ce cadre, les critères essentiels permettant de prononcer ce placement sont les carences dans le développement caractériel, l'éducabilité, la prévention de la délinquance et l'absence de dangerosité. Nonobstant sa formulation potestative, si les conditions de l'<ref-law> sont remplies, le juge est tenu d'ordonner ce placement (<ref-ruling> consid. 2.1.2 p. 52 s.; arrêt 6B_22/2016 du 1er novembre 2016 consid. 1.1.2).
9.1.2. Pour ordonner une des mesures prévues aux art. 59 à 61, 63 et 64 CP, le juge doit se fonder sur une expertise. Celle-ci doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions et la nature de celles-ci, et sur les possibilités de faire exécuter la mesure (<ref-law>). Dans ce cadre, l'expert devra se prononcer, en particulier, sur la forme du traitement et la mesure qui lui semble la plus appropriée. Il incombe cependant au juge de déterminer si une mesure doit être ordonnée et, le cas échéant, laquelle. En effet, ce n'est pas à l'expert, mais bien au juge qu'il appartient de résoudre les questions juridiques qui se posent, dans le complexe de faits faisant l'objet de l'expertise (arrêts 6B_1403/2020 du 5 mai 2021 consid. 1.1; 6B_993/2020 du 13 octobre 2020 consid. 1.1 et les références citées).
Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise (<ref-ruling> consid. 2.1.3 p. 53; arrêts 1B_559/2021 du 17 janvier 2022 consid. 3.3; 6B_884/2021 du 10 janvier 2022 consid. 2.5.3; 6B_567/2020 du 6 décembre 2021 consid. 2.3.2; 6B_56/2018 du 2 août 2018 consid. 2.1, non publié in <ref-ruling>).
9.2. La cour cantonale a retenu que les premiers juges avaient dû s'écarter de l'avis des experts qui préconisaient une mesure pour jeune adulte tout en proposant un centre plus adapté pour des traitements institutionnels, notamment pour le motif qu'il y avait une pénurie de place dans les établissements permettant les mesures pour jeunes adultes. Dès lors que le trouble de la personnalité du recourant, clairement lié aux infractions commises, était susceptible d'être amélioré par un traitement et que les experts préconisaient un cadre strict, il y avait lieu de confirmer le traitement institutionnel prononcé par les premiers juges, en application de l'<ref-law> (cf. jugement entrepris consid. 6 p. 33 s.).
9.3. Selon le rapport d'expertise psychiatrique du 18 octobre 2019, les experts avaient conclu que le recourant présentait un grave trouble de la personnalité mixte avec des traits paranoïaques et antisociaux, qui trouvait son expression dans des comportements sexuels et non sexuels violents et qui était présent au moment des faits reprochés. Ces troubles entraînaient des conséquences sur la vie familiale, affective et sociale du recourant. Il ne prenait pas en compte l'autre dans sa relation. En ce sens, sa responsabilité était légèrement diminuée. Les experts avaient indiqué que le risque que le recourant commette des délits de même nature pouvait être considéré comme moyen à élevé. Ils avaient recommandé un traitement psychiatrique et psychothérapeutique spécialisé dans le traitement des auteurs d'infractions à caractère sexuel. Le type de défense paranoïaque rendait le suivi compliqué mais pas infaisable. Les experts avaient indiqué que le traitement ambulatoire sur l'agression sexuelle devait être effectué en parallèle à un traitement institutionnel, sous la forme d'un placement dans un établissement pour jeunes adultes, afin de pouvoir bénéficier d'un encadrement de type socio-éducatif (par exemple le Centre F._ de W._) (cf. jugement entrepris consid. 3.1 p. 16).
Aux débats, la co-experte G._ avait confirmé avoir préconisé une mesure en milieu fermé pour jeunes adultes (<ref-law>). Le but de formation était que le recourant soit encadré dans un établissement et qu'il puisse avoir des activités. Plus que la question de la formation, le souci était qu'il soit dans un établissement où il pouvait avoir une occupation et un encadrement socio-éducatif. Le centre F._ de W._ pouvait être adapté, compte tenu des pathologies présentées par le recourant. L'experte avait préconisé un encadrement social et thérapeutique. Quant au fait que cette institution était relativement ouverte, elle avait estimé qu'il y avait une différence entre un appartement privé sans soins psychiatriques, le recourant étant laissé à lui-même, et une institution du type F._. Le risque zéro n'existait pas, mais l'encadrement était quand même important. Il s'agissait en outre d'un premier jugement, un établissement fermé étant peut-être trop rapide. Cliniquement, il y avait des événements qui pouvaient se dérouler dans le foyer, le risque zéro n'existant pas. L'experte avait ajouté que, pendant les entretiens, le recourant lui avait dit être disposé à une telle mesure. Elle avait toutefois exprimé son souci qu'au bout d'un certain temps, celui-ci décide de quitter l'institution. Il fallait un programme bien défini et une durée suffisamment importante pour qu'il puisse y avoir un long suivi. Il fallait une certaine stabilité et une certaine durée avec un projet de soins tant au niveau de l'institution que du psychiatre traitant. En raison des défenses paranoïaques, le traitement pouvait très vite être mis en échec, raison pour laquelle ce traitement devait s'inscrire dans la durée (cf. jugement entrepris consid. 3.2 p. 16 s.).
9.4. Le recourant soutient que la cour cantonale n'aurait pas suffisamment exposé les raisons l'ayant conduite à s'écarter du rapport d'expertise.
En l'espèce, la cour cantonale fonde le prononcé d'une mesure au sens de l'<ref-law>, au motif notamment d'une pénurie de place pour un placement dans un établissement pour jeunes adultes au sens de l'<ref-law>. Or, elle ne pouvait écarter cette dernière mesure pour ce motif, vu que l'<ref-law> n'exige pas que l'établissement en question soit disposé à accueillir le condamné (cf. LUDWICZAK GLASSEY/ROTH/THALMANN, in Commentaire romand, Code pénal, 2e éd. 2021, n° 51 ad <ref-law>), la question des places effectivement disponibles relevant de l'autorité d'exécution compétente. Il suffit que le juge s'assure qu'un établissement approprié existe, ce qui est le cas en l'occurrence puisque les experts ont indiqué que le Centre F._ de W._ pouvait constituer un tel établissement.
En outre, la cour cantonale n'expose pas en quoi les critères essentiels pour prononcer une mesure au sens de l'<ref-law>, soit en particulier la malléabilité, les carences dans le développement caractériel, l'éducabilité, la prévention de la délinquance ou l'absence de dangerosité, ne seraient pas réalisés en l'espèce pour justifier le prononcé d'un traitement thérapeutique institutionnel au sens de l'<ref-law>. Or, si la cour cantonale entendait s'écarter de l'avis des experts, qui préconisaient pourtant le placement du recourant dans un établissement pour jeunes adultes, il lui incombait de motiver sa décision sur ce point, conformément à la jurisprudence précitée (cf. supra consid. 9.1.2).
Faute de motivation à cet égard, la cour cantonale a violé le droit d'être entendu du recourant (cf. art. 29 al. 2 Cst.; <ref-ruling> consid. 3.4.3 p. 46; <ref-ruling> consid. 2.1 p. 145), de sorte que ce grief doit être admis. Le jugement attaqué doit donc être annulé sur ce point et la cause renvoyée à la cour cantonale pour nouvelle décision. Il incombera à la cour cantonale de motiver de manière suffisante sa décision quant à la mesure à prononcer et au caractère proportionné de celle-ci, de sorte que l'atteinte aux droits de la personnalité qui en résulte pour le recourant ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (cf. <ref-law>; arrêts 6B_22/2016 du 1er novembre 2016 consid. 1.1; 6B_784/2010 du 2 décembre 2010 consid. 2.2.5).
III. Frais et dépens
10.
Au vu de ce qui précède, le recours 6B_395/2021 doit être admis, le jugement entrepris annulé et la cause renvoyée à la cour cantonale pour nouvelle décision.
Le recours 6B_448/2021 doit être partiellement admis, le jugement entrepris annulé et la cause renvoyée à la cour cantonale pour nouvelle décision. Pour le surplus, le recours doit être rejeté, dans la mesure où il est recevable.
La recourante, qui obtient gain de cause, ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud (<ref-law>), ce qui rend sans objet sa demande d'assistance judiciaire. L'intimé est mis au bénéfice de l'assistance judiciaire dans la cause 6B_395/2021, les conditions de l'<ref-law> étant réunies. L'intimé est dispensé des frais de procédure et Me Luis Neves, désigné en qualité de conseil juridique gratuit de l'intimé (<ref-law>), est indemnisé. Dans les circonstances de l'espèce, il peut être renoncé de mettre des dépens à la charge de l'intimé (<ref-law>).
Le recourant, qui obtient partiellement gain de cause, peut prétendre à des dépens réduits, à la charge du canton de Vaud (<ref-law>). Le recourant, qui succombe dans une large mesure, supportera une partie des frais judiciaires, fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les recours 6B_395/2021 et 6B_448/2021 sont joints.
2.
Le recours 6B_395/2021 est admis. Le jugement attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision.
3.
Il n'est pas perçu de frais judiciaires pour la cause 6B_395/2021.
4.
Le canton de Vaud versera au conseil de la recourante une indemnité de 3'000 fr. à titre de dépens pour la procédure 6B_395/2021 devant le Tribunal fédéral.
5.
L'assistance judiciaire est accordée à l'intimé dans la cause 6B_395/2021. Me Luis Neves est désigné comme avocat d'office de l'intimé et une indemnité de 1'500 fr. lui est allouée à titre d'honoraires, à payer par la Caisse du Tribunal fédéral.
6.
Le recours 6B_448/2021 est partiellement admis. Le jugement attaqué est annulé et la cause renvoyée à la cour cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté, dans la mesure où il est recevable.
7.
Une partie des frais judiciaires dans la cause 6B_448/2021, arrêtée à 1'000 fr., est mise à la charge du recourant.
8.
Le canton de Vaud versera au conseil du recourant une indemnité de 1'000 fr. à titre de dépens réduits pour la procédure 6B_448/2021 devant le Tribunal fédéral.
9.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 mars 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Rosselet