Faits :
A.
Par jugement du 18 janvier 2021, le Tribunal criminel du Littoral et du Val-de-Travers a libéré A._ de la prévention de comportement frauduleux à l'égard des autorités, l'a reconnu coupable d'infraction à la Loi sur les stupéfiants, de séjour illégal, et l'a libéré des préventions d'injure et de tentative de contrainte en ce qui concerne D._. Il l'a également reconnu coupable de lésions corporelles simples commises le 22 mai 2016 à X._ au préjudice de B._ et l'a libéré des autres préventions de lésions corporelles simples en ce qui concerne cette dernière. Il a reconnu A._ coupable de contraintes et de menaces au préjudice de B._ ainsi qu'au préjudice de C._, mais l'a libéré des préventions de contraintes sexuelles et viols en ce qui concerne B._ et C._ ainsi que des préventions de violation du devoir d'assistance ou d'éducation. Le tribunal a condamné A._ à une peine privative de liberté de 23 mois, avec sursis durant 5 ans, peine partiellement complémentaire aux peines prononcées les 21 septembre 2016 et 14 novembre 2018 par le Ministère public du canton de Neuchâtel. Le tribunal a instauré un suivi de probation et a renoncé à révoquer les sursis octroyés par le Ministère public du canton de Neuchâtel par ordonnances pénales du 21 septembre 2016 et du 14 novembre 2018, a averti formellement A._ à cet égard et a prolongé le délai d'épreuve de 2 ans pour chacune de ces condamnations. Enfin, le tribunal a condamné A._ à payer à C._ un montant de 2'000 fr. à titre de tort moral et à payer à B._ un montant de 3'000 fr. à titre de tort moral.
B.
Par jugement du 10 novembre 2021, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a partiellement admis le recours de A._ ainsi que celui du ministère public, a admis l'appel de C._ et a rejeté les appels de B._ et de D._. Elle a réformé le jugement du 18 janvier 2021 en ce sens que A._ est libéré des préventions de menaces au préjudice de B._ mais est condamné pour injures ainsi que contrainte sexuelle et viol au préjudice de C._. La cour cantonale a condamné A._ à une peine privative de liberté de 40 mois. Elle a en outre ordonné son expulsion obligatoire du territoire suisse pour une durée de 5 ans et son signalement dans le système d'information Schengen. Enfin, elle l'a condamné à payer à C._ un montant de 10'000 fr. à titre de tort moral. Elle a confirmé le jugement pour le surplus.
La cour cantonale a retenu les faits suivants s'agissant des infractions encore contestées devant le Tribunal fédéral.
B.a. A._, né en 1981 en Algérie, a grandi dans ce pays et est venu en Suisse à l'âge de 27 ans. En 2009, A._ a fait la connaissance de E._, qui était alors âgée de 18 ans, à Y._. Ils se sont fréquentés pendant 2 ans et demi et ont eu un fils ensemble, F._, né en 2010 que A._ a reconnu. Celui-ci a ensuite eu une relation avec C._, en 2012, durant une période de trois mois, puis avec G._ (pendant 3-4 mois), jusqu'à ce qu'il rencontre B._. A._ et B._ ont habité ensemble depuis le 1er mars 2016 et se sont séparés en décembre 2017. Ensemble, ils ont eu un fils, H._, né en 2017, que A._ a reconnu le 29 juin 2017. Depuis le mois d'avril/mai 2018, A._ est en couple avec I._, la voisine de B._.
B.b. Il résulte des extraits du casier judiciaire que A._ a été condamné le 21 août 2009 par le Service régional des juges d'instruction de Y._ pour séjour illégal et contravention à la LStup à une peine privative de liberté de 45 jours et à une amende de 240 fr., le 5 avril 2011 par le Ministère public du canton de Berne pour séjour illégal et contravention à la LStup à une peine privative de liberté de 60 jours et à une amende de 100 fr., le 21 septembre 2016 par le Ministère public du canton de Neuchâtel pour la conduite d'un véhicule automobile sans le permis de conduire requis et contravention à la LStup à une peine pécuniaire de 45 jours-amende à 30 fr. et à une amende de 820 fr., et le 14 novembre 2018 par le Ministère public du canton de Neuchâtel pour une violation grave des règles de la circulation routière et la conduite d'un véhicule automobile sans le permis de conduire requis à une peine pécuniaire de 90 jours-amende à 10 fr. le jour et à une amende de 500 francs.
B.c. De mars 2016 à décembre 2017, à X._, A._ a été l'auteur d'un trafic portant sur un total de deux kilos de marijuana.
B.d. Le 22 mai 2016, A._ a frappé B._ et les coups assénés lui ont causé plusieurs contusions et hématomes notamment à l'oeil droit, au bras gauche, au thorax, ainsi qu'une tuméfaction importante du coude gauche, qui l'a obligée à porter une bretelle.
B.e. De mai 2016 à décembre 2017, à X._, A._ a injurié à plusieurs reprises B._ lors de disputes au sein du couple, en utilisant les termes suivants: "sale race", "sale pute", "salope" ainsi que d'autres mots injurieux en algérien.
B.f. À X._, de mai 2016 à décembre 2017, A._ a empêché B._, son ex-compagne, de répondre à la porte lorsqu'un membre du personnel de M._ - qui intervenait à la suite de son accouchement - sonnait, pour éviter que des traces de violence visibles soient perçues par le visiteur. Il l'a également empêchée d'aller ouvrir la porte lorsqu'elle avait des bleus afin d'éviter que son propre infirmier voie qu'il l'avait frappée. A._ a également empêché B._ de voir ses amies, ainsi que sa mère. Il a ainsi entravé la plaignante dans sa liberté d'action.
B.g. À Z._, dès 2012, A._ a contraint psychiquement et physiquement C._, son ex-compagne, avec laquelle il faisait ménage commun, en exerçant notamment des torsions sur ses bras et en lui tirant les cheveux, pour l'empêcher d'aller au centre médical. C._ devait également manger ce que A._ voulait et quand il le voulait, celui-ci la forçant parfois à finir son assiette. Il a également obligé C._ à rester à la maison, en lui interdisant de voir ses amis et de sortir sans lui. D ans le bus, A._ obligeait C._ à garder la tête en bas, l'entravant ainsi dans sa liberté d'action.
B.h. À Z._, en 2012, A._ a menacé C._, son ex-compagne, avec laquelle il faisait ménage commun, de la tuer elle et sa fille, puis, suite à leur séparation, l'a menacée de mort régulièrement, lui ayant dit qu'il la tuerait devant sa porte, pendant les deux ans qui ont suivi leur rupture, en passant tous les jours devant chez elle, au volant de sa voiture et en faisant le signe qu'il lui couperait la gorge, alarmant ainsi C._et la faisant craindre pour sa vie.
B.i. À Z._,en 2012, A._ a contraint C._ à avoir une relation sexuelle non consentie avec lui, lors de laquelle il a tiré son slip sur le côté alors qu'elle s'endormait et l'a pénétrée avec violence, éjaculant en elle, malgré le fait qu'elle ait hurlé et se soit débattue, en lui demandant de la lâcher.
Il a également forcé C._ à lui prodiguer des fellations, à tout le moins à deux reprises, en prenant violemment sa tête, par les cheveux, malgré les protestations de celle-ci, et en ayant éjaculé sur son visage à au moins une reprise.
C.
A._ forme un recours en matière pénale contre le jugement du 10 novembre 2021. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est libéré des préventions relatives à la LStup, aux lésions corporelles simples, aux injures et aux contraintes au préjudice de B._ ainsi que des infractions de contrainte, de menaces, de contrainte sexuelle et de viol au préjudice de C._. Il conclut également à la réforme du jugement entrepris en ce sens que son expulsion du territoire suisse n'est pas prononcée et qu'il n'est pas condamné à payer à C._ un montant de 10'000 fr. à titre de tort moral ni à payer à B._ un montant de 3'000 fr. à titre d'indemnité pour tort moral. Subsidiairement, A._ conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire et la désignation de son conseil comme avocat d'office.

Considérant en droit :
1.
Invoquant l'art. 58 Cst. de l'ancienne Constitution fédérale relative au juge naturel et l'art. 6 par. 1 CEDH, le recourant se plaint d'une violation de la garantie du juge naturel et impartial. Il reproche à la cour cantonale d'avoir rendu son jugement le lendemain matin après les débats et d'avoir ainsi eu un préjugé au moment où il a comparu.
1.1. La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH, qui ont, de ce point de vue, la même portée, permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat, mais seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles du plaideur ne sont pas décisives (<ref-ruling> consid. 4.3 p. 162 et les arrêts cités). Les <ref-law> règlent la récusation en procédure pénale.
1.2. Selon la jurisprudence et la doctrine, bien qu'un juge se doive de connaître son dossier avant la fin de l'instruction et qu'il soit acceptable qu'il prépare des projets de dispositif différents, il ne peut pas délibérer à l'avance. Ainsi la lecture du dispositif immédiatement après la fin des plaidoiries peut fonder, au moins en apparence, une suspicion de partialité (cf. arrêt 1B_536/2021 du 28 janvier 2022 consid. 4.2). Cela se comprend d'autant plus que l'<ref-law> prévoit que le tribunal se retire pour délibérer à huis clos, après la clôture des débats. Le tribunal ne peut donc pas, même s'il s'agit d'un juge unique, délibérer sur le siège (arrêt 1B_536/2021 précité consid. 4.2; OLIVIER JORNOT, Commentaire romand, Code de procédure pénale, 2e éd., 2019, n° 1 ad <ref-law>).
1.3. En l'occurrence, conformément à l'<ref-law>, la Cour pénale s'est bien retirée pour délibérer, après que la clôture des débats a été prononcée et l'audience suspendue le 9 novembre 2021 à 16h45 (cf. procès-verbal d'audience des 9 et 10 novembre 2021; pièce 1484 du dossier cantonal; <ref-law>). L'audience a en effet repris le 10 novembre 2021 à 9h, ce qui, contrairement à ce que soutient le recourant, a donné suffisamment de temps à la cour pour délibérer. Le recourant ne saurait ainsi être suivi lorsqu'il reproche à la cour cantonale d'avoir rendu son jugement le lendemain de l'audience, contrairement au tribunal de première instance qui avait attendu un peu plus d'un mois pour rendre son jugement. En effet, conformément au texte de l'<ref-law> et au principe de célérité (<ref-law>), les délibérations doivent dans la mesure du possible suivre immédiatement la clôture des débats dans le but de respecter la règle de la continuité et de la concentration (cf. arrêt 6B_1165/2013 du 1er mai 2014 consid. 1.3; MOREILLON/PAREIN-REYMOND, Petit commentaire du Code de procédure pénale, 2e éd., 2016, n° 3 ad <ref-law>; HEIMGARTNER/NIGGLI, in Basler Kommentar, Schweizerische Strafprozessordnung, 2e éd., 2014, n° 1 ad <ref-law>; cf. aussi JORNOT, op. cit., n° 1 ad <ref-law>). En outre, conformément à l'<ref-law>, le tribunal remet le dispositif du jugement aux parties à l'issue des débats ou le leur notifie dans les cinq jours. L'<ref-law> prévoit que si le tribunal doit motiver son jugement par écrit, il notifie dans les 60 jours, exceptionnellement dans les 90 jours, au prévenu et au ministère public le jugement intégralement motivé et ne notifie aux autres parties que les passages du jugement qui se réfèrent à leurs conclusions. En l'occurrence, il convient de relever que le jugement de 83 pages n'a été expédié aux parties que le 30 novembre 2021.
Il s'ensuit que le recourant ne soulève aucune circonstance donnant l'apparence d'une prévention et faisant redouter une activité partiale de la cour cantonale. Le grief est rejeté.
2.
Dans son mémoire de recours, le recourant reproche à la cour cantonale de ne pas avoir entendu l'intimée 3 lors des débats d'appel et de ne pas avoir ordonné une expertise de crédibilité des intimées.
2.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 7.2.2.1 p. 103; <ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299 et les références citées). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236).
Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'autorité d'appel doit répéter l'administration des preuves du tribunal de première instance si les dispositions en matière de preuves ont été enfreintes, l'administration des preuves était incomplète ou les pièces relatives à l'administration des preuves ne semblent pas fiables (<ref-law>; <ref-ruling> consid. 1.4.1 p. 290). L'administration directe du moyen de preuve doit également être réitérée durant la procédure orale d'appel conformément à l'<ref-law>, applicable par renvoi de l'<ref-law> à la procédure d'appel, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement (<ref-ruling> consid. 1.4.1 p. 290; arrêt 6B_568/2019 du 17 septembre 2019 consid. 2.1 et les références citées). La connaissance directe d'un moyen de preuve n'est nécessaire que lorsque celle-ci est susceptible d'influer sur le sort de la procédure, ce qui est le cas si la force du moyen de preuve dépend de manière décisive de l'impression suscitée au moment de sa présentation, notamment quand des déclarations constituent l'unique moyen de preuve - à défaut de tout autre indice - et qu'il existe une situation de "déclarations contre déclarations" (<ref-ruling> consid. 4.4.2 p. 199 s.; arrêts 6B_238/2020 du 14 décembre 2020 consid. 3.2; 6B_738/2019 du 27 novembre 2019 consid. 4.2).
L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_154/2021 du 17 novembre 2021 consid. 1.1; 6B_289/2020 du 1er décembre 2020 consid. 4.1; 6B_259/2020 du 17 août 2020 consid. 1.2).
2.2. Selon l'art. 6 par. 3 let. d CEDH, tout accusé a le droit d'interroger ou de faire interroger les témoins à charge et d'obtenir la convocation et l'interrogation des témoins à décharge dans les mêmes conditions que les témoins à charge. Cette disposition exclut qu'un jugement pénal soit fondé sur les déclarations de témoins sans qu'une occasion appropriée et suffisante soit au moins une fois offerte au prévenu de mettre ces témoignages en doute et d'interroger les témoins, à quelque stade de la procédure que ce soit (<ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1; <ref-ruling> consid. 2.2; arrêts 6B_734/2021 du 23 février 2022 consid. 3.2.1; 6B_249/2021 du 13 septembre 2021 consid. 1.1.1; 6B_1028/2020 du 1er avril 2021 consid. 1.2.1). En tant qu'elle concrétise le droit d'être entendu (art. 29 al. 2 Cst.), cette exigence est également garantie par l'art. 32 al. 2 Cst. (<ref-ruling> consid. 3.1.2; <ref-ruling> consid. 2.2). Ce droit est absolu lorsque la déposition du témoin en cause est d'une importance décisive, notamment lorsque l'intéressé est le seul témoin ou que sa déposition constitue une preuve essentielle (ATF <ref-ruling> consid. 2.2 p. 480 s. et les références citées; arrêt 6B_330/2021 du 15 septembre 2021 consid. 1.1).
Par ailleurs, le prévenu peut valablement renoncer à son droit à la confrontation, même de manière tacite, pour autant que la renonciation ne contredise pas un intérêt général important, qu'elle soit établie de manière exempte d'équivoque et qu'elle soit entourée d'un minimum de garanties correspondant à sa gravité (<ref-ruling> consid. 9.2 p. 49; arrêts 6B_136/2021 du 6 septembre 2021 consid. 1.3; 6B_383/2019 du 8 novembre 2019 consid. 8.1.2 non publié in <ref-ruling>).
2.3. Selon la jurisprudence, le juge ne doit recourir à une expertise de crédibilité qu'en présence de circonstances particulières. Une expertise de crédibilité effectuée par un spécialiste peut notamment s'imposer s'agissant de déclarations d'un petit enfant qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184 et les références citées; <ref-ruling> consid. 2 p. 84). Le tribunal dispose à cet égard d'un pouvoir d'appréciation (arrêts 6B_154/2021 du 17 novembre 2021 consid. 1.2.1; 6B_892/2020 du 16 février 2021 consid. 3.2.1; 6B_44/2020 du 16 septembre 2020 consid. 4.7).
2.4. Il ressort du dossier que l'intimée 3 a été entendue par la police le 17 juin 2019, par le ministère public le 29 octobre 2019 et par le tribunal de première instance le 10 décembre 2020. Par courrier du 28 septembre 2021, à la suite de sa demande, l'intimée 3 a été dispensée de comparaître, la vice-présidente de la cour pénale ayant précisé que "si la défense venait à envisager l'audition de la plaignante et à interpeller la direction de la procédure en ce sens, celle-ci réexaminerait la question" (cf. courrier du 28 septembre 2021; pièce 1449 du dossier cantonal; <ref-law>). Le recourant, qui n'a pas requis l'audition de l'intimée 3 dans sa déclaration d'appel ni devant la cour d'appel, ne s'est pas opposé à cette dispense de comparaître. Dans ce cas, il y a lieu de considérer qu'il a renoncé à l'audition de l'intimée 3 en appel. Au demeurant, le recourant a bénéficié, au moins une fois au cours de la procédure, d'une occasion appropriée et suffisante pour interroger l'intimée 3, de sorte que son droit à la confrontation n'a pas été violé. En outre, par cette demande, l'intimée 3 a fait usage de son droit, en sa qualité de victime d'une infraction contre l'intégrité sexuelle, de refuser de témoigner s'agissant de sa sphère intime (cf. <ref-law>; arrêt 6B_249/2021 du 13 septembre 2021 consid. 1.2.2). Le grief est rejeté.
2.5. S'agissant d'une expertise de crédibilité des intimées, force est de constater que le recourant n'a pas contesté en appel le refus du tribunal de première instance de donner suite à sa requête tendant à la mise en oeuvre d'une telle expertise. Il ne ressort d'ailleurs pas du jugement attaqué et du dossier que le recourant aurait formulé cette requête devant la cour cantonale (cf. déclaration d'appel du 8 février 2021; pièces 1406 ss et 1415 ss du dossier cantonal; <ref-law>). Son grief est par conséquent irrecevable, faute d'épuisement des instances cantonales (cf. <ref-law>). Au demeurant, le recourant se contente de soutenir que les deux intimées sont borderline, sans démontrer que les circonstances particulières exigées par la jurisprudence pour ordonner une expertise de crédibilité (cf. supra consid. 2.3) seraient réalisées en l'espèce. En particulier, il ne ressort pas du jugement attaqué que les intimées présenteraient des troubles psychiatriques qui entraineraient une perception erronée de la réalité. À supposer recevable, le grief serait infondé.
3.
Le recourant se plaint d'une violation du principe "in dubio pro reo". Il s'en prend à l'appréciation des preuves et à l'établissement des faits.
3.1. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1; <ref-ruling> consid. 2a). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
3.2. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1 p. 91 s.; <ref-ruling> consid. 1.1 p. 155 s.; sur la notion d'arbitraire v. <ref-ruling> consid. 4.1.2 p. 81; <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 4.1.2 p. 81; <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.1.2 p. 81; <ref-ruling> consid. 2.1).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_892/2021 du 30 mars 2022 consid. 1.1; 6B_732/2021 du 24 février 2022 consid. 2.1; 6B_1189/2021 du 16 février 2022 consid. 3.1).
3.3. Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_732/2021 du 24 février 2022 consid. 2.3; 6B_1189/2021 du 16 février 2022 consid. 3.3; 6B_1498/2020 du 29 novembre 2021 consid. 3.1 non publié in <ref-ruling> et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de "déclarations contre déclarations", dans lesquels les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe "in dubio pro reo", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêt 6B_1498/2020 précité consid. 3.1).
3.4. Le recourant conteste sa condamnation pour les infractions commises au préjudice de l'intimée 3, en particulier le viol et la contrainte sexuelle.
3.4.1. La cour cantonale a notamment considéré, s'agissant des préventions de contra inte sexuelleet de viol, que l'intimée 3 avait fait des déclarations crédibles et qu'on ne discernait pas de contradictions dans ses déclarations successives. Elle a jugé que rien ne permettait dès lors de mettre en doute ses premières déclarations. En outre, l' argument du co mplot (ou de la "cabale"), soulevé par le recourant, pour chacune des accusations qui le concern aient était dénué de toute pertinence puisque la réalité du viol et de la contrainte sexuelle repos aitessentiellement sur les déclarations crédibles de l'intimée 3,et non sur la base d'accusations qui auraient été portées par un ensemble de personnes (notamment des témoins).
3.4.2. Le recourant s'en prend tout d'abord aux déclarations de la témoin J._. Or, en tant qu'il soutient que la prénommée "ne l'aime pas", il invoque un élément qui ne ressort pas du jugement attaqué sans démontrer l'arbitraire de son omission, de sorte qu'il est irrecevable. Par ailleurs, le fait que J._ ait rapporté que l'intimée 3 ne lui a pas parlé de violence sexuelle n'est pas en soi déterminant, étant précisé qu'il ne ressort pas du jugement attaqué qu'elles étaient particulièrement proches. Il en va de même du fait que J._ a renoncé à porter plainte contre le recourant. Le grief est donc rejeté dans la mesure où il est recevable.
3.4.3. Le recourant soutient que les déclarations de l'intimée 3 ne seraient pas crédibles.
En tant qu'il allègue que les déclarations de l'intimée 3 auraient été "préparée[s]", que sa lettre au procureur manquerait de sincérité et que son langage serait "stéréotypé, froid et machinal", il oppose pour l'essentiel sa propre appréciation à celle de la cour cantonale qui a considéré que ses déclarations étaient parfaitement crédibles, relevant que l'intéressée avait exprimé des émotions au moment de dévoiler ce qu'elle avait vécu. S'agissant de sa lettre spontanée au ministère public, la cour cantonale a considéré que l'intimée 3 s'était certes exprimée de manière succincte sur la question des abus sexuels et n'avait pas repris, devant le ministère public, les détails figurant dans ses premières décla rations, mais cela ne fragilisait pas celles-ci, qui demeuraient parfaitement crédibles. Elle a relevé que, dans son courrier spontané, de même que devant le ministère public, l'intimée 3 s'était simplement exprimée dans une perspective différente plus large, mais sans introduire des contradictions en lien avec ses premières déclarations. Le recourant ne démontre pas en quoi cette appréciation serait arbitraire et tel n'apparaît pas être le cas.
Enfin, dans la mesure où le recourant soutient que l'intimée 3 n'est pas crédible lorsqu'elle soutient qu'il "l'a retourné sur le ventre avant de la pénétrer", dès lors qu'il serait de petite taille, ne serait pas athlétique et que l'intimée 3 serait plus corpulente que lui, il présente des éléments qui ne ressortent pas du jugement attaqué, sans démontrer l'arbitraire de leur omission, de sorte que son argumentation est irrecevable.
3.4.4. Le recourant soutient ensuite qu'il existerait des contradictions dans les déclarations de l'intimée 3. C'est tout d'abord en vain qu'il lui reproche de ne pas avoir décrit les faits de manière précise. En effet, de petites imprécisions sur des points accessoires sont compréhensibles compte tenu notamment du temps écoulé depuis les faits, étant au demeurant relevé que les déclarations de l'intimée 3 n'ont pas varié sur des éléments fondamentaux. Le recourant voit ensuite une "énorme contradiction" dans le fait que l'intimée 3 a déclaré, lors de ses auditions qu'au début de la relation tout se passait bien, pendant un mois maximum, alors qu'elle avait déclaré juste avant qu'elle avait vécu des "tortures" pendant les trois mois de relation. Ce raisonnement ne saurait être suivi. Il ressort en effet clairement des déclarations de l'intimée 3 et de sa lettre au ministère public que si sa relation avec le recourant avait bien commencé - celui-ci se montrant attentionné et charmant -, elle s'est rapidement dégradée, l'intéressé ayant notamment tenté de contrôler sa compagne, en instaurant un climat de peur (cf. PV d'audition du 17 juin 2019; pièces 258 ss du dossier cantonal et PV d'audition du 29 octobre 2019; pièces 898 ss du dossier cantonal; <ref-law>). Pour le surplus, en tant que le recourant soutient que l'intimée 3 s'est contredite par rapport au fait que celui-ci l'avait ou non frappée, il y a lieu de relever que cet élément n'apparaît pas déterminant dès lors que l'intéressé n'a pas été reconnu coupable de lésions corporelles simples au préjudice de l'intimée 3. En tout état, on ne voit pas de contradiction dans le fait qu'elle a déclaré, dans sa lettre au procureur, que "[l]es comportements [du recourant] étaient très violents bien qu'il ne l'[ait] jamais frappée", dès lors qu'elle explique notamment qu'il l'insultait, se montrait menaçant envers elle et la contrôlait (cf. lettre du 9 juillet 2019; pièces 306 ss du dossier cantonal; <ref-law>).
3.4.5. Le recourant soutient que le traumatisme que présente l'intimée 3 serait dû au fait qu'elle a déjà été violée par son frère et par une autre personne quand elle était enfant. Ce faisant, il invoque des faits qui ne ressortent pas du jugement attaqué, sans démontrer l'arbitraire de leur omission, de sorte qu'ils sont irrecevables. Pour le surplus, on ne voit pas en quoi le fait que l'intéressée ait ou non porté plainte contre d'autres agresseurs serait déterminant sur le présent litige.
3.4.6. Le recourant critique l'expertise psychiatrique dans la mesure où elle "retient une psychopathologie à la condition qu'[il] ait commis les infractions reprochées". Il soutient également que cette expertise n'est pas un "indice suffisant" de sa culpabilité.
3.4.6.1. Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise. Inversement, si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 6.2.3; <ref-ruling> consid. 2.1.3).
Savoir si une expertise est convaincante est une question d'interprétation des preuves, que le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire. Lorsque l'autorité cantonale juge l'expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer (<ref-ruling> consid. 6.1 p. 373; arrêt 6B_154/2021 du 17 novembre 2021 consid. 1.7.1 et la référence citée). Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire. Sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (<ref-ruling> consid. 6 p. 359; <ref-ruling> consid. 4.2.3 p. 391; arrêt 6B_1080/2021 du 8 décembre 2021 consid. 2.5.1).
3.4.6.2. En l'espèce, les experts ont répondu à une question de la façon suivante: "Si [le recourant] s'est bien comporté comme les victimes le décrivent, on doit compter avec un risque élevé de récidive de nouvelles infractions dans l'avenir, essentiellement sous forme de comportement violent et sexuellement abusif dans le cadre de relations de cohabitation".
Contrairement à ce que soutient le recourant, on ne saurait reprocher aux experts d'avoir utilisé, dans leur rapport, la forme conditionnelle en lien avec la commission d'infractions par celui-ci, dès lors qu'au moment de son établissement, le recourant n'avait pas encore été jugé et bénéficiait de la présomption d'innocence. A cet égard, il convient de rappeler que ce n'est pas le rôle de l'expert, mais bien celui du juge d'établir les faits (cf. notamment arrêt 6B_276/2018 du 24 septembre 2018 consid. 1.4.1). En outre, contrairement à ce que soutient le recourant, il ne ressort pas du rapport d'expertise que, s'il n'avait pas commis les infractions qui lui sont reprochées, il ne présenterait pas de troubles psychopathologiques. En effet, les passages cités par le recourant se réfèrent au risque de récidive qu'il présente, l'expert ayant évalué ce risque en partant de l'hypothèse que le recourant avait commis les faits reprochés. Pour le surplus, le recourant ne soutient pas que la cour cantonale serait tombée dans l'arbitraire en se ralliant à la conclusion de l'expertise selon laquelle le risque de récidive qu'il présente est élevé. Il ne conteste par ailleurs pas le fait que sa responsabilité pénale est pleine et entière. Son grief est dès lors rejeté dans la mesure où il est recevable.
3.5. Le recourant conteste sa condamnation pour infraction à la LStup.
3.5.1. S'agissant de l'infraction à la LStup, la cour cantonale s'est essentiellement référée au jugement de première instance. Selon ce dernier, deux personnes ont témoigné avoir directement acheté de la marijuana auprès du recourant. Le deuxième a précisé que le recourant était un dealeur et que c'était son métier. Le tribunal a relevé que ces déclarations étaient cohérentes et auto-incriminantes de sorte qu'il y avait lieu de les retenir. Par ailleurs, tant l'intimée 2 que l'intimée 3 avaient indiqué que le recourant vivait de son trafic, comme il n'avait pas de papiers. Ces déclarations étaient crédibles et convaincantes, étant relevé que le recourant, qui était en situation illégale et sans revenus fixes, peinait à expliquer sa situation financière.
La cour cantonale a ajouté que l'hypothèse du recourant, selon laquelle il s'agirait d'un "complot" contre lui qui aurait été organisé par l'intimée 2, n'emportait pas conviction. En effet, s'il était exact que les intimées avaient eu des contacts entre elles et que l'intimée 2 connaissait les témoins ayant été auditionnés sur la question du trafic de stupéfiants, tant les intimées que les témoins entendus étaient restés modérés et factuels dans leur récit, contrairement au recourant qui n'avait cessé de nier catégoriquement toute implication même modeste dans un trafic de marijuana, alors même qu'il était mis en cause par plusieurs témoins qui avaient affirmé (en fournissant des détails convaincants) s'être approvisionnés régulièrement chez lui. La cour cantonale a encore constaté qu'à cela s'ajoutait le fait que le recourant n'était pas parvenu à expliquer comment il réalisait (licitement) un revenu lui permettant de faire face, mois après mois, aux dépenses nécessaires pour lui (y compris pour financer sa consommation de stupéfiants dont il avait reconnu la quotité durant l'instruction) et pour ses deux enfants (dont il avait la garde partagée) l'existence d'une activité de dog-sitter étant à cet égard bien hypothétique, vu les explications vagues et peu convaincantes données par le recourant. L'instance précédente a jugé que les déclarations du recourant perdaient toute crédibilité et ses dénégations n'étaient d'aucun poids face aux propos des personnes ayant explicitement confirmé que le recourant était un dealer. Elle a relevé que les propos de l'intimée 2 concernant la quantité de drogue contenue dans les paquets confectionnés par le recourant avaient en outre été confirmés tant par le témoin K._ que par le témoin L._. Enfin, à cela s'ajoutait le fait qu'on ne voyait pas pourquoi ce dernier, en particulier, porterait de fausses accusations contre le recourant puisque, par ses déclarations, il s'accusait lui-même.
3.5.2. Le raisonnement de la cour cantonale est convaincant. Dans une courte argumentation, le recourant se contente d'opposer sa propre appréciation à celle de la cour cantonale, sans démontrer en quoi celle-ci serait arbitraire ou violerait le principe "in dubio pro reo". Il en va ainsi lorsqu'il soutient qu'il aurait été "victime d'une mise en scène mise en route par [l'intimée 2]", qu'il n'y aurait pas eu de "véritable enquête et preuves" ou que l'intimée 2 ne serait pas crédible, étant rappelé que la condamnation du recourant se fonde également sur les déclarations de l'intimée 3 et sur celles de deux témoins directs. Son grief est dès lors rejeté dans la mesure où il est recevable.
3.6. S'agissant de l'infraction d'injure, le recourant soutient pour la première fois devant le Tribunal fédéral qu'il y a lieu de faire application de l'<ref-law>.
3.6.1. L'<ref-law> stipule que celui qui, de toute autre manière, aura, par la parole, l'écriture, l'image, le geste ou par des voies de fait, attaqué autrui dans son honneur sera, sur plainte, puni d'une peine pécuniaire de 90 jours-amende au plus (al. 1). Si l'injurié a riposté immédiatement par une injure ou par des voies de fait, le juge pourra exempter de toute peine les deux délinquants ou l'un d'eux (al. 3).
3.6.2. En l'espèce, il ne ressort pas du jugement attaqué que l'intimée 2 aurait riposté immédiatement aux injures du recourant par une injure ou par des voies de fait et le recourant ne prétend pas que cet élément aurait arbitrairement été omis. Son grief est par conséquent rejeté dans la mesure où il est recevable.
3.7. Enfin, s'agissant des lésions corporelles simples, le recourant se contente de soutenir que "pour l'épisode du 22 mai 2016, [ses] propos sont corroborés par sa compagne actuelle". Ce faisant, il invoque à nouveau des éléments qui ne ressortent pas du jugement attaqué, sans démontrer l'arbitraire de leur omission, de sorte que son argumentation est irrecevable. Il ne critique pour le surplus pas l'argumentation de la cour cantonale à cet égard.
3.8. Au vu de ce qui précède, la cour cantonale pouvait, sans violer l'interdiction de l'arbitraire ou le principe "in dubio pro reo", conclure que le recourant avait commis les faits reprochés.
4.
Le recourant soutient qu'au regard du temps écoulé depuis la commission des infractions au préjudice de l'intimée 3, il devait être mis au bénéfice de la circonstance atténuante décrite à l'art. 48 let. e CP.
4.1. Aux termes de l'art. 48 let. e CP, le juge atténue la peine si l'intérêt à punir a sensiblement diminué en raison du temps écoulé depuis l'infraction et que l'auteur s'est bien comporté dans l'intervalle.
La disposition en cause ne fixe pas de délai. Selon la jurisprudence, l'atténuation de la peine en raison du temps écoulé depuis l'infraction procède de la même idée que la prescription. L'effet guérisseur du temps écoulé, qui rend moindre la nécessité de punir, doit aussi pouvoir être pris en considération lorsque la prescription n'est pas encore acquise, si l'infraction est ancienne et si le délinquant s'est bien comporté dans l'intervalle. Cela suppose qu'un temps relativement long se soit écoulé depuis l'infraction. Cette condition est en tout cas réalisée lorsque les deux tiers du délai de prescription de l'action pénale sont écoulés. Le juge peut toutefois réduire ce délai pour tenir compte de la nature et de la gravité de l'infraction (<ref-ruling> consid. 3.1; <ref-ruling> consid. 6.1 et 6.2). Pour déterminer si l'action pénale est proche de la prescription, le juge doit se référer à la date à laquelle les faits ont été souverainement établis, et non au jugement de première instance (moment où cesse de courir la prescription selon l'<ref-law>). Ainsi, lorsque le condamné a fait appel, il faut prendre en considération le moment où le jugement de seconde instance a été rendu dès lors que ce recours a un effet dévolutif (cf. <ref-law>; <ref-ruling> consid. 3.1; cf. arrêts 6B_29/2021 du 30 septembre 2021 consid. 1.2; 6B_260/2020 du 2 juillet 2020 consid. 2.3.3).
4.2. En l'espèce, il n'apparaît pas que, pour les infractions de viol et contrainte sexuelle, commises en 2012 au préjudice de l'intimée 3, les deux tiers du délai de prescription étaient encore atteints à la date du jugement attaqué (10 novembre 2021). En tout état de cause, cette circonstance n'est manifestement pas réalisée, du fait que le recourant s'est rendu coupable de nombreuses infractions depuis lors. Ainsi, le recourant ne saurait, de bonne foi, prétendre s'être bien comporté dans l'intervalle.
Infondé, son grief doit être rejeté.
4.3. Pour le surplus, le recourant ne prétend pas que la cour cantonale aurait fondé son appréciation sur des critères qui n'étaient pas pertinents au regard de l'<ref-law>. Il n'invoque en outre aucun autre élément propre à modifier la peine, qui aurait été omis à tort par la cour cantonale.
Les développements du recourant ne mettent ainsi en évidence aucune violation du droit fédéral dans la fixation de la peine.
5.
Pour le surplus, le recourant conclut à ce qu'il soit renoncé à prononcer son expulsion. Il ne soulève toutefois aucun grief en lien avec cette mesure et ne formule aucune critique à l'encontre de la motivation cantonale. Cette question n'a dès lors pas à être examinée (<ref-law>).
6.
La conclusion du recourant tendant à ce qu'aucune indemnité ne soit allouée aux intimées est sans objet en tant qu'elle suppose l'acquittement des infractions reprochées, qu'il n'obtient pas.
7.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour pénale.
Lausanne, le 19 avril 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Thalmann