Faits :
A.
Par jugement du 13 janvier 2020, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné A._ pour lésions corporelles simples et viol à une peine privative de liberté de 30 mois, dont 15 mois fermes et 15 mois avec sursis durant 5 ans, sous déduction de 19 jours de détention provisoire. Il a également constaté que A._ avait été détenu dans des conditions de détention illicites durant 4 jours et a ordonné que 2 jours soient déduits de la partie ferme de la peine. Pour le surplus, il a renoncé à ordonner son expulsion, a dit qu'il était le débiteur de B._ d'un montant de 15'000 fr., avec intérêts à 5 % l'an dès le 7 février 2018, à titre de réparation du tort moral et a mis les frais de la cause à sa charge.
B.
Statuant sur l'appel formé par A._, l'appel joint du ministère public et le recours de Me Sarah Riat, la Cour d'appel pénale du Tribunal cantonal vaudois les a rejetés par jugement du 8 juillet 2020. Elle a confirmé le jugement du 13 janvier 2020 et alloué, pour la procédure d'appel, une indemnité de défenseur d'office d'un montant de 3'198 fr. à Me Sarah Riat et une indemnité de conseil d'office d'un montant de 4'042 fr. 60 à Me Yves Cottagnoud. Elle a dit que A._ ne serait tenu de rembourser à l'Etat les 6/10e de l'indemnité allouée à Me Sarah Riat et l'indemnité allouée à Me Yves Cottagnoud que lorsque sa situation financière le permettrait.
En résumé, la cour cantonale a retenu les faits suivants:
B.a. A._ est né en 1977 au Kosovo, pays dont il est ressortissant. Son casier judiciaire fait état d'une condamnation en mars 2011 pour conduite sans permis de conduire ou malgré un retrait (véhicule automobile), d'une condamnation en décembre 2011 pour recel et d'une condamnation en 2018 pour lésions corporelles simples qualifiées.
B.b. Le soir du 6 février 2018, à l'extérieur d'un dancing à X._, une altercation verbale a éclaté entre A._ et B._. Le premier a poussé la seconde, la faisant chuter en bas d'un escalier; sa tête a alors frappé le sol, ce qui lui a causé une "grosse bosse".
B.c. Au petit matin du 7 février 2018, A._, B._, C._ et D._, tous sous l'influence de l'alcool, se sont rendus en voiture à Y._, dans l'appartement de E._, que celui-ci avait mis à la disposition de D._.
A un moment, A._ et C._ se sont isolés dans la chambre à coucher pour y entretenir des relations sexuelles.
Plus tard, C._ a appelé B._ dans la chambre, qu'elle a alors quittée. A._, encore nu sur le lit, a attrapé B._et l'a couchée sur le lit. B._ a ramené ses jambes contre elle, a tenté de donner des coups de pied et a plusieurs fois dit "non", mais A._ a saisi ses bras et les a maintenus en croix sur sa poitrine. Il a ensuite descendu le pantalon et le sous-vêtement de B._ sur ses jambes et lui a écarté les cuisses, puis l'a brièvement pénétrée.
B._ est parvenue à se dégager, s'est rhabillée, est sortie de la chambre en courant, énervée, puis a quitté l'appartement après avoir récupéré son sac et ses chaussures.
B.d. B._ a déposé plainte pénale le 7 février 2018.
B.e. Le Centre universitaire romand de médecine légale (ci-après : le CURML) a établi un constat médical le 7 février 2018 dès 13h05. Il a notamment été relevé une ecchymose de 3,5 x 2,5 cm et une tuméfaction de 4 cm de diamètre sur la tête et le cuir chevelu de B._, des dermabrasions, érythèmes et ecchymoses sur ses membres supérieurs et inférieurs ainsi que sur son dos. Elle présentait en particulier des ecchymoses à la face interne de la cuisse et à la face postérieure de la cuisse droite, ainsi qu'aux faces postéro-interne, interne du tiers moyen, postéro-interne du tiers moyen et interne du tiers distal de la cuisse gauche.
C.
A._ forme un recours en matière pénale au Tribunal fédéral à l'encontre du jugement du 8 juillet 2020. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté des chefs de prévention de viol et de tentative de viol et qu'il est condamné pour lésions corporelles simples à une amende légère, fixée à dire de justice. Il conclut également à ce qu'aucune indemnité ne soit due par lui à B._ à quelque titre que ce soit, que les frais soient laissés à la charge de l'État, qu'il soit constaté qu'il a été détenu illicitement durant 19 jours et qu'une indemnité au sens de l'art. 429 al. 1 let. a CPP lui soit allouée, à la charge du canton de Vaud, d'un montant de 4'600 francs. Il requiert par ailleurs que l'indemnité de conseil d'office pour la procédure d'appel soit fixée à 2'129 fr. 85. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
D.
Invités à se déterminer sur le recours, en particulier sur la question de l'indemnité allouée au conseil d'office, la cour cantonale a présenté des observations et a conclu à l'admission du recours sur ce point, tandis que le ministère public a renoncé à se déterminer et que l'intimée s'en est remise à justice. Ces observations ont été communiquées au recourant, qui n'a pas répliqué, et à l'intimée.

Considérant en droit :
1.
Le recourant conteste sa condamnation pour viol. Il se plaint d'un établissement arbitraire des faits et invoque à cet égard une violation de la présomption d'innocence.
1.1. D'après l'art. 190 al. 1 CP, celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel, sera puni d'une peine privative de liberté de un à dix ans.
Par acte sexuel, il faut entendre l'introduction, même partielle et momentanée, du pénis dans le vagin; l'éjaculation n'est pas requise (<ref-ruling> consid. 2 p. 52; arrêt 6B_153/2016 du 14 juin 2016 consid. 1.1.2).
L'infraction réprimée par l'art. 190 CP est une infraction de violence qui suppose, en règle générale, une agression physique. La violence désigne l'emploi volontaire de la force physique sur la personne de la victime dans le but de la faire céder (<ref-ruling> consid. 2b p. 100; arrêt 6B_1285/2018 du 11 février 2019 consid. 2.1). Il n'est pas nécessaire que la victime soit mise hors d'état de résister ou que l'auteur la maltraite physiquement. Une certaine intensité est néanmoins requise. La violence suppose non pas n'importe quel emploi de la force physique, mais une application de cette force plus intense que ne l'exige l'accomplissement de l'acte dans les circonstances ordinaires de la vie (<ref-ruling>). Selon les circonstances, un déploiement de force relativement faible peut suffire. Ainsi, peut déjà suffire le fait de maintenir la victime avec la force de son corps, de la renverser à terre, de lui arracher ses habits ou de lui tordre un bras derrière le dos (arrêts 6B_1285/2018 précité consid. 2.1; 6S.126/2007 du 7 juin 2007 consid. 6.2).
Sur le plan subjectif, l'art. 190 CP est une infraction intentionnelle, étant précisé que le dol éventuel suffit. Agit intentionnellement celui qui sait ou accepte l'éventualité que la victime ne soit pas consentante, qu'il exerce ou emploie un moyen de contrainte sur elle et qu'elle se soumette à l'acte sexuel sous l'effet de cette contrainte (<ref-ruling> consid. 3 p. 70 s.; arrêts 6B_995/2020 du 5 mai 2021 consid. 2.1; 6B_159/2020 du 20 avril 2020 consid. 2.4.3 et la référence citée).
1.2. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1 p. 91 s.; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe "in dubio pro reo" n'a pas de portée plus large que l'interdiction de l'arbitraire (ATF <ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 1.1 p. 503).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_984/2020 du 4 mars 2021 consid. 1.1; 6B_238/2020 du 14 décembre 2020 consid. 1.1; 6B_621/2020 du 9 décembre 2020 consid. 1.1).
1.3. Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_892/2020 du 16 février 2021 consid. 6.1; 6B_238/2020 du 14 décembre 2020 consid. 1.3 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de "déclarations contre déclarations", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe "in dubio pro reo", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêt 6B_892/2020 précité consid. 6.1).
1.4. Le recourant reproche à la cour cantonale d'avoir privilégié la version de l'intimée au détriment de la sienne.
1.4.1. Citant différents extraits des déclarations de l'intimée qu'il considère comme contradictoires, le recourant soutient que c'est de manière arbitraire que la cour cantonale a retenu qu'une pénétration a eu lieu.
Il ressort du jugement et du dossier que l'intimée a déclaré, lors de toutes ses auditions, qu'elle avait été pénétrée par le recourant, soit devant l'expert, devant la police, devant le ministère public et lors de l'audience de première instance. Le seul fait qu'elle ait précisé lors de son audition devant le ministère public, puis devant le tribunal de première instance, qu'elle avait été pénétrée "un tout petit peu" sans que le recourant ait "pu aller profond" n'y change rien (cf. supra consid. 1.1 et infra consid. 2). En outre, comme l'a retenu la cour cantonale, s'agissant de la contrainte, l'intimée a été constante dans ses déclarations décrivant l'usage de la force physique et sa propre résistance. En définitive, le recourant ne parvient pas à démontrer que les déclarations de l'intimée n'auraient pas été constantes s'agissant des faits qui lui sont reprochés.
1.4.2. Le recourant fait grief à la cour cantonale de ne pas avoir tenu compte de la consommation d'alcool de l'intimée au moment des faits, qui aurait pu altérer sa perception des faits, et du fait qu'elle prenait un traitement médicamenteux pour des troubles psychiques.
La cour cantonale a retenu que les troubles psychiques dont souffrait l'intimée n'étaient pas de nature à altérer sa perception de la réalité au point d'imaginer une telle scène. Le recourant ne démontre pas en quoi cette appréciation serait arbitraire et il n'apparaît pas que tel soit le cas. En outre, s'agissant du fait que l'intimée avait consommé de l'alcool, cet élément ne suffit pas à rendre ses déclarations moins crédibles que celles du recourant ou des deux autres témoins, lesquels étaient tous alcoolisés, étant précisé que la version de l'intimée est corroborée par les déclarations des deux témoins et par les constatations du CURML et que celle-ci a immédiatement déposé plainte à la suite des faits, se soumettant ensuite aux examens de rigueur. Le grief est dès lors rejeté dans la mesure où il est recevable.
1.5. Le recourant reproche à la cour cantonale d'avoir jugé que les déclarations des deux témoins corroboraient les faits décrits par l'intimée, alors qu'il estime que celles-ci n'ont pas été constantes.
1.5.1. La cour cantonale a retenu que C._ avait déclaré que, déjà à X._, elle avait entendu le recourant dire qu'il allait "se faire" l'intimée. Les deux témoins ont d'ailleurs confirmé que le recourant avait tenté une approche physique de l'intimée alors qu'ils étaient assis sur le canapé, mais qu'elle l'avait alors repoussé. S'agissant des événements ayant eu lieu dans la chambre, D._ a déclaré s'être inquiété du ton des voix de l'intimée et du recourant, alors que C._ a confirmé avoir vu le recourant tenter de grimper sur l'intimée, qui tentait de le repousser, ne voulant pas qu'il la touche. La cour cantonale a jugé que, si ces déclarations n'établissaient pas en soi le viol, elles rendaient crédibles la version de l'intimée. Les deux témoins avaient encore tous les deux confirmé que l'intimée était sortie de la chambre furieuse en insultant le recourant avant de quitter l'appartement.
1.5.2. Le recourant, qui se contente essentiellement de citer des extraits des déclarations des deux témoins, ne démontre pas en quoi l'appréciation de la cour cantonale serait arbitraire. Au demeurant, contrairement à ce qu'il soutient, C._ a déclaré, de manière constante, qu'elle avait vu, dans la chambre, le recourant sur l'intimée, qui tentait de le repousser. Comme le relève la cour cantonale, il est vrai que les déclarations des témoins ont pu diverger sur des éléments qui pouvaient les mettre eux-mêmes en cause, comme le fait que D._ a déclaré ne pas avoir vu le recourant tenter de forcer l'intimée. Cela n'enlève cependant rien à la force probante générale de leurs propos relatifs au comportement du recourant, étant rappelé que, dans le cadre du principe de libre appréciation des preuves, rien ne s'oppose à ne retenir qu'une partie des déclarations d'un témoin globalement crédible (<ref-ruling> consid. 3; arrêts 6B_360/2017 du 9 octobre 2017 consid. 1.4; 6B_947/2015 du 29 juin 2017 consid. 9.12.2). Le grief est rejeté dans la mesure où il est recevable.
1.6. Le recourant soutient que, contrairement à l'intimée et aux deux témoins, il serait resté constant dans sa description des événements. Ce faisant, il oppose sa propre appréciation des preuves à celle de la cour cantonale, qui a retenu sans arbitraire que ses déclarations étaient dénuées de toute force probante. En effet, celui-ci a par exemple soutenu que l'intimée l'aurait volontairement rejoint dans le lit qu'il occupait avec C._, mais aucune des intéressées n'a confirmé cette version. Lors d'une audition, il a également émis l'hypothèse fantaisiste selon laquelle le contact accidentel entre son sexe et celui de l'intimée expliquerait les traces de son ADN qui seraient éventuellement trouvées à cet endroit. Enfin, le recourant a fait preuve d'une mémoire sélective en déclarant ne pas se souvenir de nombreux faits tout en contestant catégoriquement certains autres faits au cours de ses auditions successives. Son grief est rejeté dans la mesure où il est recevable.
1.7. Le recourant fait grief à la cour cantonale d'avoir fait preuve d'arbitraire en ne retenant que les éléments à sa charge du rapport du CURML.
Il reproche à la cour cantonale d'avoir omis de relever que, selon le rapport, il n'était pas possible d'exclure formellement que certaines des lésions subies par l'intimée étaient antérieures aux événements rapportés par celle-ci et que, pour certaines lésions, l'intimée avait indiqué qu'elle ignorait ce qui avait pu les provoquer. Le recourant ne démontre cependant pas en quoi ces éléments seraient déterminants pour l'issue du litige, dans la mesure où la cour cantonale n'a pas retenu que toutes les lésions subies par l'intimée dateraient du moment des faits reprochés au recourant. En effet, parmi les nombreuses lésions mentionnées dans le rapport, elle a retenu que le CURML avait notamment relevé des ecchymoses à l'avant-bras et aux cuisses compatibles avec le fait d'être saisie aux membres supérieurs et d'avoir les membres inférieurs écartés de force, ainsi que des ecchymoses et dermabrasions aux deux genoux qui pouvaient provenir de coups donnés pour se défendre. En outre, elle a relevé que les ecchymoses sur les faces internes et postéro-internes des cuisses de l'intimée étaient en particulier rattachables aux gestes du recourant tels que l'intimée les avait décrits, même si une preuve formelle n'était pas possible à cet égard.
Par ailleurs, contrairement à ce que semble soutenir le recourant, la cour cantonale a bien tenu compte du fait que l'examen gynécologique des parties génitales de l'intimée n'avait pas permis de trouver de traces de l'ADN du recourant, mais elle a relevé que le CURML avait exposé que cette absence ne permettait pas d'exclure un rapport sexuel entre les intéressés. Elle en a conclu qu'on ne pouvait dès lors pas en tirer un doute propre à remettre en cause les déclarations de l'intimée. Elle a également relevé que des traces de l'ADN du recourant avaient été retrouvées sur le cou et sur le bras gauche de l'intimée, démontrant qu'ils avaient été en contact. Dans la mesure où le recourant se contente de soutenir que l'absence de traces ADN retrouvées sur les parties génitales de l'intimée constitue "à tout le moins un indice fort d'absence de contact sur ces zones corporelles", il oppose sa propre appréciation de l'expertise à celle de la cour cantonale sans démontrer en quoi celle-ci serait insoutenable, de sorte que son argumentation est irrecevable.
1.8. Au vu de ce qui précède, la cour cantonale n'a pas violé l'interdiction de l'arbitraire ni le principe de la présomption d'innocence en concluant, sur la base notamment des déclarations de l'intimée, qu'il n'existait pas de doutes sérieux et irréductibles quant au fait que le recourant avait commis les faits qui lui étaient reprochés.
2.
Le recourant conteste que les éléments constitutifs objectifs et subjectifs du viol (art. 190 CP) soient réalisés. Il soutient en particulier que l'intention fait défaut en se fondant sur ses propres déclarations, qui n'auraient pas varié lors de l'enquête et selon lesquelles il n'aurait pas usé de contrainte pour forcer l'intimée à entretenir une relation sexuelle avec lui. Son grief repose en réalité sur sa propre version des faits alors qu'il n'a pas démontré que l'état de fait retenu par la cour cantonale serait arbitraire (supra consid. 1). Pour le reste, le recourant ne développe aucun grief répondant aux exigences de motivation de l'art. 42 al. 2 LTF concernant une éventuelle violation de l'art. 190 CP. En tout état de cause, dans la mesure où le recourant a pénétré l'intimée, même partiellement, en faisant usage de la force physique alors que celle-ci tentait de résister, la cour cantonale pouvait, sans violer le droit fédéral, considérer qu'il s'était rendu coupable de viol.
3.
Invoquant une violation des art. 123 ch. 1 al. 2 CP et 48a CP, le recourant reproche à la cour cantonale de ne pas avoir atténué la peine et prononcé une "amende légère".
3.1. Aux termes de l'art. 123 ch. 1 CP, celui qui, intentionnellement, aura fait subir à une personne une autre atteinte à l'intégrité corporelle ou à la santé sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. Dans les cas de peu de gravité, le juge pourra atténuer la peine conformément à l'art. 48a CP (art. 123 ch. 1 al. 2 CP).
La distinction entre lésions corporelles et voies de fait peut s'avérer délicate, notamment lorsque l'atteinte s'est limitée à des meurtrissures, des écorchures, des griffures ou des contusions. La question peut parfois être résolue de manière satisfaisante par l'application de l'art. 123 ch. 1 al. 2 CP, qui permet une atténuation libre de la peine dans les cas de peu de gravité (<ref-ruling> consid. 1.3 p. 192).
Selon la jurisprudence, pour déterminer si l'on se trouve dans un cas de lésions corporelles simples de peu de gravité au sens de l'art. 123 ch. 1 al. 2 CP, il faut prendre en considération l'ensemble des circonstances objectives et subjectives de l'infraction (<ref-ruling> consid. 2a; JdT 2003 IV p. 151).
Selon l'art. 48a CP, le juge qui atténue la peine n'est pas lié par le minimum légal de la peine prévue pour l'infraction (al. 1). Il peut prononcer une peine d'un genre différent de celui qui est prévu pour l'infraction mais il reste lié par le maximum et par le minimum légal de chaque genre de peine (al. 2).
3.2. La cour cantonale a retenu que le recourant avait poussé l'intimée, qui avait chuté et s'était cognée la tête au sol, écopant d'une "grosse bosse". Selon le certificat médical du CURML du 7 février 2018, le recourant avait causé une ecchymose de 3,5 x 2,5 cm et une tuméfaction de 4 cm de diamètre sur le crâne de l'intimée. Il résultait également du dossier que, plus tard dans la nuit, l'intimée s'était passée la tête sous l'eau car elle souffrait encore. La cour cantonale en a dès lors conclu qu'on ne pouvait pas considérer que les lésions corporelles simples causées par le recourant constituaient un cas à la limite des voies de fait. En outre, s'agissant de la faute du recourant, l'instance précédente a considéré que celle-ci n'était pas anodine. Si l'intimée avait ennuyé le recourant en lui donnant des petits coups au cours de la soirée, celui-ci n'avait jamais prétendu avoir eu mal ou ressenti le besoin de se défendre. Son geste était manifestement disproportionné et dû à l'énervement, de sorte qu'il ne se justifiait pas d'appliquer l'art. 123 ch. 1 al. 2 CP.
Le recourant développe une argumentation appellatoire et donc irrecevable. Il se borne tout d'abord à affirmer, sans motivation spécifique au sens de l'art. 42 al. 2 LTF, qu'il s'agit de lésions corporelles simples, à la limite des voies de fait. Pour le surplus, il se contente de soutenir que son geste serait intervenu en réponse aux "attaques" de l'intimée et que celle-ci "n'a pas hésité à continuer sa soirée", sans démontrer en quoi l'appréciation de la cour cantonale serait arbitraire ou violerait le droit fédéral.
Le grief est rejeté dans la mesure où il est recevable.
4.
Le recourant reproche à la cour cantonale de ne pas avoir tenu compte du fait qu'il se serait excusé à plusieurs reprises. Il ne prétend pas qu'il aurait soulevé un tel grief dans son appel cantonal et que la cour cantonale aurait commis un déni de justice en ne l'examinant pas. Le grief est donc irrecevable, faute d'épuisement des instances cantonales (cf. art. 80 al. 1 LTF). En tout état de cause, on relèvera que les excuses dont se prévaut le recourant par rapport aux lésions corporelles simples ne représentent pas un critère à ce point décisif qu'il commandait une diminution de la peine infligée en première instance. En outre, en l'absence de réelle prise de conscience, ses éventuelles excuses ne sont pas assimilables à un repentir sincère (cf. art. 48 let. d CP; arrêts 6B_1054/2019 du 27 janvier 2020 consid. 1.4; 6B_1368/2016 du 15 novembre 2017 consid. 5.1 non publié aux <ref-ruling>).
5.
Compte tenu du sort des conclusions du recourant, tendant à son acquittement des chefs de prévention de viol et de tentative de viol et au prononcé d'une amende légère à son encontre pour lésions corporelles simples, sa conclusion en indemnisation d'une détention illicite au sens de l'art. 429 CPP est sans objet.
6.
Invoquant une violation des art. 135, 138 et 426 al. 4 CPP, le recourant conteste le montant de l'indemnité allouée au conseil d'office de l'intimée, en particulier le tarif horaire de 360 fr. qui a été appliqué à ses honoraires.
6.1. Dans son jugement, la cour cantonale a fixé l'indemnité allouée au conseil juridique gratuit de l'intimée à 4'042 fr. 60 et a mis celle-ci à la charge du recourant, ce dernier n'étant tenu de la rembourser à l'État que lorsque sa situation financière le permettra. Elle a notamment appliqué un tarif horaire de 360 fr. aux honoraires du conseil de l'intimée.
6.2. A teneur de l'art. 426 al. 1 CPP, le prévenu supporte les frais de procédure s'il est condamné. En vertu de l'art. 422 al. 2 let. a CPP, les frais judiciaires incluent les frais imputables à la défense d'office et à l'assistance judiciaire gratuite. L'art. 426 al. 4 CPP prévoit que les frais de l'assistance judiciaire gratuite de la partie plaignante ne peuvent être mis à la charge du prévenu que si celui-ci bénéficie d'une bonne situation financière.
6.3. Aux termes de l'art. 135 al. 1 CPP, le défenseur d'office est indemnisé conformément au tarif des avocats de la Confédération ou du canton du for du procès. L'art. 138 al. 1 CPP dispose que l'art. 135 CPP s'applique par analogie à l'indemnisation du conseil juridique gratuit; la décision définitive concernant la prise en charge des honoraires du conseil juridique gratuit et des frais afférents aux actes de procédure pour lesquels la partie plaignante a été dispensée de fournir une avance est réservée.
L'autorité cantonale dispose d'un large pouvoir d'appréciation dans la fixation de l'indemnité du défenseur d'office. Le Tribunal fédéral n'intervient qu'en cas d'arbitraire. Tel est le cas lorsque la décision repose sur une appréciation insoutenable des circonstances, est incompatible avec les règles du droit et de l'équité, omet de prendre en considération tous les éléments propres à fonder la décision ou, au contraire, tient compte de critères dénués de pertinence (<ref-ruling> consid. 3.2 p. 126; <ref-ruling> consid. 3a p. 409; arrêts 6B_304/2018 du 5 octobre 2018 consid. 1.1; 6B_1410/2017 du 15 juin 2018 consid. 4.1). Il ne suffit pas que l'autorité ait apprécié de manière erronée un poste de l'état de frais ou qu'elle se soit fondée sur un argument déraisonnable; encore faut-il que le montant global alloué à titre d'indemnité se révèle arbitraire (<ref-ruling> consid. 3d p. 112; arrêt 6B_866/2019 consid. 3.1 et la référence citée).
6.4. Dans le canton de Vaud, l'art. 26b du Tarif des frais de procédure et indemnités en matière pénale (TFIP/VD; RS/VD 312.03.1) prévoit que les indemnités du défenseur d'office et du conseil juridique gratuit sont fixées selon les dispositions régissant l'assistance judiciaire en matière civile, applicables par analogie. L'art. 2 al. 1 du Règlement sur l'assistance judiciaire en matière civile (RAJ/VD; RS/VD 211.02.3) dispose que le conseil juridique commis d'office a droit au remboursement de ses débours et à un défraiement équitable, qui est fixé en considération de l'importance de la cause, de ses difficultés, de l'ampleur du travail et du temps consacré par le conseil juridique commis d'office. A cet égard, le juge apprécie l'étendue des opérations nécessaires pour la conduite du procès. Il applique le tarif horaire de 180 fr. pour les avocats (let. a).
6.5. Le recourant soutient que le montant alloué au conseil d'office doit être fixé sur la base d'un tarif horaire de 180 fr. et doit donc être ramené à 2'129 fr. 85.
Dans ses déterminations, la cour cantonale conclut que le recours est bien fondé dans la mesure où le recourant fait valoir que le tarif horaire appliqué au conseil d'office de l'intimée aurait dû être de 180 francs. Elle expose que l'application d'un tarif plus élevé résulte d'une erreur manifeste, s'agissant d'un conseil d'office, et que l'indemnité aurait effectivement dû être fixée à 2'129 fr. 85. Selon l'instance précédente, ce montant comprend les honoraires de 1'738 fr. 80 (9h40 x 180 fr.), auxquels s'ajoute 200 fr. pour les déplacements (1h40 x 120 fr.), 38 fr. 75 de débours (1'938 fr. 80 x 2 %) et 152 fr. 30 de TVA (1'977 fr. 55 x 7,7 %). Elle estime que le jugement peut être réformé en ce sens. Les intimés, quant à eux, ont renoncé à se déterminer.
6.6. En l'occurrence, compte tenu de ce qui précède, force est de constater que le montant de l'indemnité allouée au conseil juridique de l'intimée dans le jugement attaqué n'apparaît clairement pas conforme au tarif des conseils d'office du canton de Vaud, qui est fixé à 180 fr. par heure. Le recours doit donc être admis sur ce point et l'indemnité allouée au conseil juridique de l'intimée doit être fixée sur la base d'un tarif horaire de 180 francs.
7.
Au vu de ce qui précède, le recours doit être très partiellement admis, le jugement attaqué réformé en ce sens que l'indemnité allouée au conseil d'office de l'intimée est fixée au montant requis de 2'129 fr. 85. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
La requête d'assistance judiciaire présentée par le recourant est sans objet dans la mesure où il obtient gain de cause et peut, à ce titre, prétendre à des dépens réduits de la part du canton de Vaud (art. 68 al. 1 LTF); elle doit être rejetée pour le reste, dès lors que le recours était pour le surplus dénué de chances de succès s'agissant des aspects sur lesquels le recourant a succombé (art. 64 al. 1 LTF).
Le recourant, qui succombe partiellement, supportera une partie des frais judiciaires, fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement attaqué est réformé - au chiffre VI de son dispositif - en ce sens qu'une indemnité de conseil d'office pour la procédure d'appel d'un montant de 2'129 fr. 85, TVA et débours inclus, est allouée à Me Yves Cottagnoud. Pour le reste, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée, dans la mesure où elle n'est pas sans objet.
3.
Une partie des frais judiciaires, arrêtée à 800 fr., est mise à la charge du recourant.
4.
Le canton de Vaud versera en mains du conseil du recourant une indemnité de 1'000 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 juillet 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Thalmann