Faits :
A.
Par jugement du 4 avril 2019, le Tribunal régional du Littoral et du Val-de-Travers a reconnu A._ coupable d'infractions aux art. 123, 191 et 197 CP et l'a condamné à une peine privative de liberté de 36 mois, dont 18 mois fermes et 18 mois avec sursis, sous déduction de la détention subie. Il l'a également condamné à payer à B._ 10'000 fr. à titre de réparation morale et 1'600 fr., avec intérêt, et à payer à D._ 3'000 fr. à titre de réparation morale, avec intérêt. Il a enfin rejeté la requête en indemnité déposée par A._ et a fixé les indemnités des avocats d'office.
B.
Par jugement du 7 décembre 2020, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a partiellement admis l'appel de A._ et l'appel joint du ministère public contre le jugement du 4 avril 2019. Elle a rejeté les appels de B._ et de D._. Elle a réformé le jugement attaqué en ce sens que A._ est reconnu coupable d'abus de détresse, de tentative d'abus de détresse, de lésions corporelles simples par négligence et de pornographie et condamné à une peine privative de liberté de 36 mois, dont 18 mois fermes et 18 mois avec sursis, sous déduction de la détention subie, ainsi qu'à une peine pécuniaire de 30 jours-amende à 30 fr. le jour, avec sursis pendant quatre ans. En outre, elle a condamné A._ à payer à B._ 10'000 fr. à titre de réparation morale et 1'600 fr., les deux montants avec intérêts à 5 % dès le 1er mars 2015 et a rejeté les conclusions civiles de D._. Elle a enfin rejeté la requête en indemnité déposée par A._.
Il en ressort notamment ce qui suit s'agissant des infractions encore contestées devant le Tribunal fédéral.
B.a. A._, né en 1961 en Angola, est de nationalité portugaise. Sommelier, il exploite un bar avec son fils, après avoir été serveur dans un établissement public sis à proximité immédiate. Divorcé, il s'est remarié en 2016 avec une nouvelle compagne, dont il a un enfant né en 2012. Il a encore cinq autres enfants nés de quatre différentes femmes. Son casier judiciaire est vierge.
B.b. B._, née en 1983, est de nationalité suisse. Elle présente un retard mental léger. Elle a été placée dès l'âge de 13 ans au centre pédagogique de E._, d'abord en externat puis en internat. Son milieu familial a été décrit comme pesant. Après la fin de sa scolarité, B._ est entrée dans un centre de formation professionnelle et sociale à F._. Elle a commencé à cette époque à présenter des troubles de l'alimentation qui ont entraîné plusieurs hospitalisations. La formation entamée à F._ n'a pas été menée à terme. En 2006, B._ a refusé de rentrer chez ses parents, où elle vivait à l'époque; elle a été accueillie d'abord dans un foyer d'accueil d'urgence, puis s'est installée de façon autonome dans un appartement. Une curatelle a été mise en place. Au bénéfice d'une rente AI, elle jouit d'un encadrement relativement important (prise en charge en atelier protégé, soutien éducatif à domicile, curatelle, traitements médicamenteux, psychothérapie). Sa situation financière est modeste.
B.c. A G._, entre mai 2014 et février 2015, conscient de l'état de B._, A._ a profité notamment du retard mental de sa victime, des sentiments amoureux qu'elle manifestait à son encontre, de sa suggestibilité, de sa dépendance affective et de sa situation générale d'invalide pour obtenir d'elle les pratiques décrites aux chiffres II 1.5 à 1.11 de l'acte d'accusation, à savoir, en lui tenant la tête, qu'elle avale son sperme après avoir éjaculé dans sa bouche (ch. 1.5), qu'elle subisse des actes d'ordre sexuel sans contraception préalable (ch. 1.6), qu'elle subisse des actes d'urolagnie (ch. 1.7), qu'elle se laisse pénétrer vaginalement, après des pénétrations anales (ch. 1.8), et qu'elle entretienne une relation sexuelle à trois, qu'elle fasse une fellation à la tierce personne pendant que A._ la pénétrait et ensuite qu'elle lui fasse une fellation pendant que la tierce personne la pénétrait (ch. 1.9). Le prénommé a encore tenté à trois autres reprises d'amener B._ à entretenir des relations sexuelles à trois (ch. 1.10 et 1.11), dont une fois avec une personne de sexe féminin qu'il a rétribuée (ch. 1.12).
B.d. A G._, entre mai 2014 et février 2015, au préjudice de B._, en agissant selon les faits précités, A._ a porté atteinte à la santé psychique de sa victime.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 7 décembre 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est libéré des préventions de tentative d'abus de la détresse, abus de la détresse et lésions corporelles par négligence, que les prétentions civiles de B._ sont entièrement rejetées et qu'une indemnité au sens de l'<ref-law> lui est accordée. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouveau jugement au sens des considérants.
Sa demande d'effet suspensif a été rejetée par ordonnance du 25 février 2021.

Considérant en droit :
1.
Le recourant conteste sa condamnation pour abus de la détresse. Il se plaint notamment d'une appréciation arbitraire des preuves.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1 p. 91 s.; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156).
Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève du contenu de la pensée, à savoir de faits " internes " qui, en tant que tels, lient le Tribunal fédéral (cf. <ref-law>), à moins qu'ils aient été retenus de manière arbitraire (cf. <ref-ruling> consid. 6.3 p. 375).
1.2. Conformément à l'<ref-law>, celui qui, profitant de la détresse où se trouve la victime ou d'un lien de dépendance fondé sur des rapports de travail ou d'un lien de dépendance de toute autre nature, aura déterminé celle-ci à commettre ou à subir un acte d'ordre sexuel sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. La question de savoir s'il existe un état de détresse ou un lien de dépendance au sens de l'<ref-law> et si la capacité de la victime de se déterminer était gravement limitée doit être examinée à la lumière des circonstances du cas d'espèce (<ref-ruling> consid. 1 p. 117). La situation de détresse ou de dépendance doit être appréciée selon la représentation que s'en font les intéressés (cf. <ref-ruling> consid. 1; arrêt 6B_204/2019 du 15 mai 2019 consid. 6.1 et les références citées). L'<ref-law> est réservé aux cas où l'on discerne un consentement. Il faut que ce consentement apparaisse motivé par la situation de détresse ou de dépendance dans laquelle se trouve sa victime. Il doit exister une certaine entrave au libre arbitre. L'<ref-law> envisage donc une situation qui se situe entre l'absence de consentement et le libre consentement qui exclut toute infraction. On vise un consentement altéré par une situation de détresse ou de dépendance dont l'auteur profite. Les limites ne sont pas toujours faciles à tracer. L'infraction doit permettre de réprimer celui qui profite de façon éhontée d'une situation de détresse ou de dépendance, dans un cas où la victime n'aurait manifestement pas consenti sans cette situation particulière (arrêts 6B_895/2020 du 4 février 2021 consid. 2.4.1; 6B_204/2019 précité consid. 6.1 et les arrêts cités).
1.3. Dans une section de son mémoire intitulée " En faits ", le recourant présente sa propre version des évènements, en s'écartant largement des faits retenus par la cour cantonale, sans démontrer en quoi celle-ci aurait versé dans l'arbitraire à cet égard. Ce faisant, l'intéressé ne présente aucun grief recevable.
1.4. Le recourant reproche à la cour cantonale d'avoir arbitrairement retenu qu'il était conscient que l'intimée avait " un problème au cerveau " et qu'elle était " gentille ".
1.4.1. La cour cantonale a constaté que l'intimée souffrait d'un retard mental léger, qui était objectivement perceptible par les tiers, professionnels de la santé ou non. Elle a retenu que le recourant était conscient du retard mental de l'intimée et de sa nature accommodante. A cet égard, elle a relevé que les premières déclarations du recourant montraient qu'il avait bien perçu, dès le début de leur relation, l'état de l'intimée, contrairement à ce qu'il aurait pu soutenir ultérieurement. S'il n'avait pas voulu dire qu'elle avait un handicap, il avait, en faisant un signe du doigt vers sa tête, expliqué qu'il ne savait pas comment la jeune femme comprenait les choses et qu'elle devait avoir un problème (cf. pièces 51 ss du dossier cantonal). La cour cantonale a également relevé que le léger retard mental de l'intimée était clairement perceptible pour les clients du bar du recourant.
1.4.2. Le recourant se contente de soutenir, de manière appellatoire, que c'est " dans le contexte du dépôt de plainte et de l'arrestation " qu'il aurait déclaré que l'intimée avait un " gros problème ", sans démontrer en quoi l'appréciation de la cour cantonale serait arbitraire. C'est dès lors en vain qu'il soutient avoir toujours déclaré que l'intimée était normale, en se référant notamment à ses déclarations devant la cour cantonale. Par ailleurs, le fait qu'il n'eût pas connaissance de l'expertise du Docteur H._ qui mentionnait l'existence d'un retard mental léger chez l'intimée n'y change rien, dès lors qu'il est établi que ce retard était également perceptible par des tiers qui n'étaient pas des professionnels de la santé. Le grief est rejeté dans la mesure où il est recevable.
1.5. C'est ensuite en vain que le recourant soutient que l'intimée aurait conservé son libre arbitre, en se référant au fait que le Docteur I._ a retenu, dans le cadre de son expertise, que l'intimée n'était pas totalement incapable de se déterminer sur les sollicitations qui lui avaient été faites. En effet, l'<ref-law> n'exige pas l'absence totale de consentement, mais une certaine entrave au libre arbitre, ce que ledit docteur a d'ailleurs retenu dans l'expertise s'agissant de l'intimée (cf. pièce 547 du dossier cantonal; <ref-law>). Ainsi, contrairement à ce que soutient le recourant, le fait que l'intéressée ait, à une reprise, refusé des relations à trois avec une autre femme n'est à cet égard pas déterminant.
Le recourant prétend ensuite que le consentement de l'intimée n'était pas altéré en se fondant sur les déclarations de J._, entendu comme personne appelée à donner des renseignements. Ce faisant, il oppose sa propre appréciation à celle de la cour cantonale sans démontrer en quoi celle-ci serait arbitraire. Il en va de même lorsqu'il soutient que le médecin traitant de l'intimée et son médecin-psychiatre n'auraient pas considéré qu'elle était dans une situation de détresse, étant relevé qu'il ressort notamment du jugement attaqué que le médecin traitant de l'intimée était inquiet que des actes que celle-ci ne voulait pas lui soient imposés dans cette relation. Pour le surplus, on ne voit en quoi le fait que les médecins de l'intimée ne soient pas entrés en contact avec le recourant " pour le mettre en garde " serait pertinent en l'espèce. Le grief du recourant est rejeté dans la mesure où il est recevable.
1.6. Enfin, en tant que le recourant soutient qu' " aucun de ces états [de détresse ou de dépendance] n'était existant dans le cas d'espèce " (mémoire de recours, p. 9), il oppose sa propre appréciation à celle de la cour cantonale sans démontrer en quoi celle-ci aurait établi les faits de manière arbitraire ou violé l'<ref-law>, de sorte que son argumentation est irrecevable (cf. art. 42 al. 2 et 106 al. 2 LTF).
Compte tenu de ce qui précède, la cour cantonale pouvait, sans arbitraire et sans violer le droit fédéral, condamner le recourant pour abus de la détresse et tentative d'abus de la détresse.
2.
Le recourant conteste sa condamnation pour lésions corporelles par négligence. Il relève que l'intimée a déjà fait l'objet d'hospitalisations depuis 2002 en raison d'une anorexie mentale accompagnée d'un état dépressif sévère et qu'elle souffre notamment d'un état dépressif avec des crises d'angoisse depuis 2003. Il soutient qu'il n'était pas au courant de son état de santé.
2.1. Celui qui, par négligence, aura fait subir à une personne une atteinte à l'intégrité corporelle ou à la santé sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (<ref-law>). Si la lésion est grave, le délinquant sera poursuivi d'office (<ref-law>).
Agit par négligence quiconque, par une imprévoyance coupable, commet un crime ou un délit sans se rendre compte des conséquences de son acte ou sans en tenir compte. L'imprévoyance est coupable quand l'auteur n'a pas usé des précautions commandées par les circonstances et par sa situation personnelle (<ref-law>).
La négligence consciente se distingue du dol éventuel par l'élément volitif. Alors que celui qui agit par dol éventuel s'accommode du résultat dommageable pour le cas où il se produirait, celui qui agit par négligence consciente escompte - ensuite d'une imprévoyance coupable - que ce résultat, qu'il envisage aussi comme possible, ne se produira pas (<ref-ruling> consid. 4.1 p. 16; <ref-ruling> consid. 8.3 p. 61; <ref-ruling> consid. 3c p. 251; arrêt 6B_1222/2020 du 27 avril 2021 et les arrêts cités).
2.2. Il ressort du jugement attaqué que, s'agissant des conséquences médicales des faits reprochés au recourant, tant l'expert que les autres intervenants ont relevé que l'intimée avait développé d'importants symptômes de stress post-traumatiques et avait présenté une rechute dépressive ainsi que des troubles alimentaires (cf. jugement attaqué, consid. 5.4.2 à 5.4.4, 5.6 et 5.7). Le fait qu'elle ait déjà été hospitalisée par le passé ou qu'elle ait souffert de dépression ne change rien au fait que les actes du recourant ont causé chez elle des lésions psychiques. Pour le surplus, même si, comme il le soutient, le recourant n'avait pas connaissance des problèmes de santé passés de l'intimée, il ressort des faits établis par la cour cantonale qu'il était au courant du retard mental de l'intéressée et de sa nature accommodante (cf. supra consid. 1.4) et qu'il a profité de sa docilité pour l'amener à faire preuve de complaisance en matière sexuelle (cf. jugement attaqué, p. 40). Dans ces conditions, il n'était pas arbitraire pour la cour cantonale de retenir qu'il ne pouvait pas ignorer que les abus commis au détriment de l'intimée pouvaient causer une souffrance morale ou psychique à celle-ci.
Le grief du recourant est rejeté.
3.
Le recourant conteste la peine qui lui a été infligée. Il reproche à la cour cantonale de ne pas avoir motivé pourquoi elle lui infligeait la même peine que le tribunal de première instance alors qu'elle l'a condamné pour une infraction " bien moins grave " que celle prévue à l'<ref-law>.
3.1. L'<ref-law> prévoit que le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). L'alinéa 2 de cette disposition énumère une série de critères à prendre en considération pour déterminer la culpabilité de l'auteur (<ref-ruling> consid. 5.4 p. 59; <ref-ruling> consid. 2.1 p. 19 s. et les références citées).
Lorsque le prévenu est condamné pour plusieurs infractions en première instance, puis qu'il est acquitté de certains chefs de prévention en appel, sa faute est diminuée, ce qui doit entraîner en principe une réduction de la peine. La juridiction d'appel est toutefois libre de maintenir la peine infligée en première instance, mais elle doit motiver sa décision, par exemple en expliquant que les premiers juges auraient mal apprécié les faits en fixant une peine trop basse qu'il n'y aurait pas lieu de réduire encore (cf. <ref-law>; <ref-ruling> consid. 4 p. 397; <ref-ruling> consid. 1c/bb p. 21; arrêt 6B_1457/2020 du 15 avril 2021 consid. 1.1; 6B_1127/2019 du 20 janvier 2020 consid. 3.1 et les références citées).
3.2. Usant de son plein pouvoir dévolutif (cf. <ref-law>), la cour cantonale a procédé à sa propre évaluation de la culpabilité du recourant et des circonstances devant influencer la mesure de la sanction. Elle a tout d'abord considéré que le tribunal de première instance n'avait pas respecté les principes de fixation de la peine tels que rappelés dans l'<ref-ruling> consid. 1.2. Elle a jugé que la culpabilité du recourant pour l'abus de la détresse, l'infraction concrètement la plus grave, était écrasante, relevant notamment que les actes s'étant déroulés sur plusieurs mois, que l'auteur n'avait montré aucun égard pour la sensibilité de la victime, qu'il avait agi uniquement par égoïsme, dans le but de réaliser ses fantasmes, qu'il n'avait montré aucun remord et que ses agissements avaient eu de lourdes répercussions sur l'intimée. La cour cantonale a également souligné que le recourant n'avait pas d'antécédents, qu'il paraissait être un bon père, qu'il était décrit comme très travailleur et qu'il y avait lieu de tenir compte du temps relativement long qui s'était écoulé depuis les faits. Elle a donc fixé à 20 mois la peine privative de liberté pour les faits décrits sous chiffre II 1.9 de l'acte d'accusation. Cette peine devait être augmentée de respectivement trois, deux et un mois pour tenir compte des tentatives d'échangisme, puis d'un mois pour chaque infraction visée aux chiffres II 1.5 à 1.8. S'agissant des lésions corporelles simples par négligence, elles étaient sanctionnées d'une peine de six mois. Enfin, une peine pécuniaire de 30 jours-amende était prononcée pour la détention du matériel pornographique avec des animaux.
La cour cantonale a ensuite expressément motivé sa décision de maintenir la peine infligée en première instance en relevant que, contrairement au tribunal de première instance, qui avait qualifié la culpabilité du recourant de relativement lourde, elle la considérait comme écrasante. Ainsi, malgré l'abandon des charges liées à la relation avec D._ et la requalification des faits concernant l'intimée en des infractions abstraitement de moindre gravité, elle prononçait une peine proche de celle fixée en première instance.
Il s'ensuit que la motivation de la cour cantonale suffit à justifier que la peine prononcée en première instance ne soit pas réduite, comme le souhaiterait le recourant. Le grief déduit d'une violation du devoir de motiver est rejeté.
3.3. Pour le surplus, le recourant n'invoque aucun élément important propre à modifier la peine, qui aurait été omis ou pris en considération à tort par la cour cantonale. Au vu des circonstances, il n'apparaît pas que la peine infligée soit exagérément sévère au point de constituer un abus du pouvoir d'appréciation.
4.
En tant que le recourant conteste l'admission des conclusions civiles de l'intimée en se prévalant de son acquittement des infractions réalisées au préjudice de celle-ci, son grief est sans objet (cf. supra consid. 1 et 2). Il en va de même dans la mesure où le recourant conclut à l'octroi d'une indemnité fondée sur l'<ref-law> en lien avec l'acquittement qu'il réclame.
5.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant supportera les frais judiciaires (<ref-law>). L'intimée n'a pas droit à des dépens car elle n'a pas été invitée à se déterminer dans la procédure devant le Tribunal fédéral; sa demande d'assistance judiciaire est sans objet (cf. arrêt 6B_355/2015 du 22 février 2016 consid. 3).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 28 juillet 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant : Denys
La Greffière : Thalmann