Faits :
A.
Par jugement du 15 août 2019, le Tribunal de police des Montagnes et du Val-de-Ruz a reconnu A.A._ coupable de lésions corporelles graves par négligence, d'omission de prêter secours, d'usure, d'infraction à l'art. 117 al. 1 LEI et d'infractions aux <ref-law>, 106 LACI, 112 al. 1 LAA et 76 al. 2 LPP. Il a condamné le prénommé à une peine privative de liberté de huit mois, avec sursis pendant deux ans, à une peine pécuniaire de 180 jours-amende à 20 fr., avec sursis pendant deux ans, ainsi qu'à une amende de 2000 francs.
B.
Par jugement du 6 juillet 2020, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a partiellement admis l'appel formé par A.A._. Elle a libéré le prénommé des infractions d'usure et d'omission de prêter secours et l'a condamné à une peine pécuniaire de 180 jours-amende à 30 francs, avec sursis pendant deux ans, ainsi qu'à une amende de 1500 francs. Elle a confirmé le jugement entrepris pour le surplus.
La Cour pénale du Tribunal cantonal s'est fondée en substance sur les faits suivants.
Le 31 mars 2017, B.B._, ouvrier agricole en situation illégale, a chuté en passant à travers une ouverture aménagée dans le soliveau au-dessus de l'écurie (ou pont de grange), sur une hauteur de 2,13 mètres, dans une ferme sise aux U._, appartenant à C.A._ et exploitée avec son père A.A._. Le blessé a été transporté à l'hôpital le 2 avril 2017 par une ambulance appelée par son cousin, D.B._. Selon le constat de l'Hôpital neuchâtelois du 5 avril 2017, le patient souffrait de fractures des processus transverses droits L1 et L2 associées à un épaississement et un hypersignal T2 du ligament sur-épineux et du ligament jaune à gauche, à hauteur L1, ainsi qu'un oedème du processus transverse droit de L3. Il a séjourné à l'hôpital pendant plusieurs semaines. A sa sortie, il devait se déplacer avec des cannes anglaises et suivre un traitement médicamenteux. Des examens réalisés en juillet 2017 puis
en septembre et octobre 2018 ont mis en évidence une entorse musculaire importante au niveau lombaire et une discopathie L4-L5 dégénérative, ainsi qu'une névralgie lombo-fessière droite en relation avec une neuropathie du nerf clunéal moyen et supérieur, d'origine traumatique. En juillet 2019, B.B._ a été pris en charge dans un centre anti-douleur et il a séjourné dès le 21 octobre 2019 à la clinique du Noirmont pour un trouble dépressif récurrent. B.B._ a déposé plusieurs certificats médicaux attestant de son incapacité de travail.
C.
Le ministère public du canton de Neuchâtel et B.B._ forment chacun un recours en matière pénale à l'encontre du jugement de la Cour pénale du Tribunal cantonal neuchâtelois du 6 juillet 2020.
Le ministère public conclut principalement à la réforme du jugement entrepris en ce sens que A.A._ est reconnu coupable d'usure et d'omission de prêter secours et qu'il est condamné à une peine privative de liberté de 20 mois avec sursis pendant 4 ans, à une peine pécuniaire de 180 jours-amende à 30 fr. avec sursis pendant 4 ans, à une amende contraventionnelle de 500 fr. et à une amende additionnelle de 1500 francs. Subsidiairement, il conclut au renvoi de la cause à la Cour pénale du Tribunal cantonal neuchâtelois pour nouvelle décision.
B.B._ conclut principalement, avec suite de frais et dépens, au renvoi de la cause à l'autorité de deuxième instance pour nouvelle décision, subsidiairement à la réforme du jugement attaqué en ce sens que A.A._ est reconnu coupable d'omission de prêter secours et d'usure et qu'ilest condamné à une peine fixée à dire de justice, mais à tout le moins correspondant à celle à laquelle il avait été condamné en première instance. B.B._ sollicite également le bénéfice de l'assistance judiciaire.
D.
Invités à se déterminer sur le recours du ministère public, A.A._ a conclu à son rejet et sollicité le bénéfice de l'assistance judiciaire, tandis que B.B._ n'a pas formulé d'observations. La cour cantonale ne s'est pas déterminée.

Considérant en droit :
1.
Les deux recours ont pour objet la même décision. Ils ont trait au même complexe de faits et portent dans une large mesure sur les mêmes questions de droit. Il y a lieu de joindre les causes et de les traiter dans un seul arrêt (<ref-law> et 71 LTF).
2.
Le Tribunal fédéral contrôle d'office et librement la recevabilité des recours qui lui sont soumis.
2.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4).
Lorsque, comme en l'espèce, la cause fait l'objet d'une procédure au fond, la partie plaignante doit avoir expressément pris des conclusions civiles. Le cas échéant, s'il ne lui est juridiquement et raisonnablement pas possible de prendre des conclusions civiles, il lui incombe d'expliquer quelles prétentions elle entend faire valoir, dans quelle mesure la décision attaquée a une incidence sur elles et pourquoi elle n'a pas été en mesure d'agir dans le cadre de la procédure pénale. La notion d'influence du jugement pénal sur les prétentions civiles est conçue strictement. La partie plaignante ne peut pas s'opposer à une décision parce que celle-ci ne facilite pas son action sur le plan civil. Il faut que la décision attaquée ait pour conséquence qu'elle rencontrera plus de difficultés à faire valoir ses prétentions civiles (<ref-ruling> consid. 1a p. 188; arrêt 6B_812/2020 du 16 juillet 2020 consid. 1.1).
2.2. En l'espèce, B.B._ reconnaît ne pas avoir pris de conclusions civiles. Il explique que ses prétentions ne sont pour l'heure pas chiffrables car elles dépendent de la prise en charge par certaines assurances, qui attendent l'issue de la procédure pénale, et de l'évolution de son état de santé. Il précise que comme des traitements sont encore en cours, il est difficile de déterminer une éventuelle perte de gain à futur liée à une invalidité totale ou partielle. Il indique par ailleurs que la reconnaissance de l'infraction d'usure aurait une incidence sur ses prétentions découlant du contrat de travail car l'intimé pourrait se prévaloir de son acquittement pour rejeter toutes les prétentions relatives aux heures supplémentaires et aux vacances. Enfin, B.B._ soutient qu'après son accident, il s'était trouvé pendant deux jours dans un état de profonde angoisse du fait qu'il n'était pas secouru alors qu'il ne pouvait plus marcher et qu'il souffrait énormément. En conséquence, la condamnation de l'intimé du chef d'omission de prêter secours fonderait une prétention en réparation du tort moral plus élevée que si les seules lésions corporelles graves par négligence étaient retenues.
2.3. Comme on le comprend, les explications de B.B._ en lien avec la détermination de son éventuelle invalidité concernent les prétentions civiles qu'il déduit de la commission de l'infraction de lésions corporelles graves par négligence, qui a été reconnue et n'est plus discutée devant le Tribunal fédéral. En revanche, B.B._ n'établit pas en quoi l'admission de son recours, circonscrit à la réalisation des infractions d'usure et d'omission de prêter secours, aurait une incidence sur des prétentions liées à son état de santé et son incapacité de gain. En particulier, le recourant n'allègue pas que ses lésions auraient été moins graves si des soins lui avaient été prodigués plus rapidement. En lien avec cette infraction, il se limite à évoquer un tort moral. Or on ne voit pas ce qui l'empêchait de prendre des conclusions civiles sous cet angle. L'argumentation de B.B._ ne permet en tous les cas pas de comprendre en quoi le tort moral allégué, lié à l'angoisse ressentie avant qu'il ne soit secouru, n'aurait pas déjà été chiffrable à l'issue des débats de première instance. Même dans l'hypothèse où il était impossible pour le recourant de chiffrer sa prétention - ce qui n'est en rien évident -, il aurait alors au moins dû demander que cette dernière lui soit allouée dans son principe (cf. <ref-ruling> consid. 1b p. 188).
De même, le recourant n'explique pas pourquoi il n'a pas pris de conclusions civiles en réparation du dommage causé par l'infraction d'usure alléguée. En particulier, il n'indique nullement que ses prétentions n'auraient pas déjà été chiffrables. Pour le surplus, en tant qu'il soutient que l'intimé pourrait se prévaloir de son acquittement pour rejeter ses prétentions relatives aux heures supplémentaires et aux vacances, le recourant omet que la partie plaignante ne peut pas s'opposer à une décision uniquement parce que celle-ci ne facilite pas ses négociations avec la contre-partie ou son action sur le plan civil.
Considérant ce qui précède, il y a lieu de conclure que le recours de B.B._ est irrecevable en l'absence de qualité pour recourir.
2.4. En application de l'art. 81 al. 1 let. b ch. 3 LTF, l'accusateur public a qualité pour former un recours en matière pénale. Formé et signé par un procureur du canton de Neuchâtel, le recours du ministère public est recevable sous cet angle.
3.
Le ministère public soutient que les conditions de l'infraction d'omission de prêter secours étaient réalisées.
3.1. Conformément à l'<ref-law>, celui qui n'aura pas prêté secours à une personne qu'il a blessée ou à une personne en danger de mort imminent, alors que l'on pouvait raisonnablement l'exiger de lui, étant donné les circonstances, celui qui aura empêché un tiers de prêter secours ou l'aura entravé dans l'accomplissement de ce devoir, sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
L'<ref-law> sanctionne un délit de mise en danger abstraite par pure omission (<ref-ruling> consid. 2a p. 20 s. et les références citées). Le secours qui doit être prêté se limite aux actes que l'on peut raisonnablement exiger de l'auteur compte tenu des circonstances. Seuls sont exigés les actes de secours qui sont possibles et qui peuvent être utiles. Il s'agit de prendre les mesures commandées par les circonstances. Un résultat n'est pas exigé (<ref-ruling> consid. 2a p. 20 s. et les références citées). L'infraction visée par l'<ref-law> est réalisée dès que l'auteur n'apporte pas son aide au blessé, sans qu'il importe de savoir si elle eût été couronnée de succès. L'aide s'impose même lorsqu'il ne s'agit que d'épargner des souffrances à un blessé ou un mourant. Le devoir d'apporter de l'aide s'éteint cependant lorsque l'aide ne répond manifestement plus à aucun besoin, notamment lorsque la personne est elle-même en mesure de s'assumer, que des tiers la prennent en charge de manière suffisante, qu'elle refuse expressément l'aide proposée ou encore une fois le décès survenu. L'aide doit ainsi apparaître comme nécessaire ou tout au moins utile (arrêts 6B_508/2020 du 7 janvier 2021 consid. 3.4.1; 6B_143/2020 du 1 avril 2020 consid. 4.1; 6B_1089/2017 du 16 mai 2018 consid. 1.1).
La victime n'a ainsi pas besoin d'être totalement impuissante: le devoir de porter secours s'éteint ou n'existe pas lorsque celle-ci peut manifestement s'aider elle-même (cf. Stefan Maeder, in Basler Kommentar, Strafrecht I, 4e éd. 2018 n°27 ad <ref-law>; Bernard Corboz, Les infractions en droit suisse, volume I, 3e éd., 2010, n° 14 ad <ref-law>). L'auteur doit faire tout ce qui est en son pouvoir. De nos jours, étant donné l'existence de téléphones portables et d'organisations de secours efficaces, un appel à un service d'urgence, un médecin ou à la police constitue une manière appropriée de demander de l'aide rapidement (Stefan Maeder, op. cit., n° 25 à 26a ad <ref-law>; cf. <ref-ruling> p. 22). Bien entendu, les actions qui ne peuvent être considérées comme une assistance sont insuffisantes. Quiconque, par exemple, allonge sur un matelas une personne qui a consommé une grande quantité de drogue et qui, de ce fait, tombe, se débat, crie, a des crampes et perd temporairement le contrôle de son corps, l'enveloppe dans une couette et le maintient par ses mains et ses pieds avec un cordon, une écharpe, une sangle de vélo et du ruban adhésif, ne l'aide pas, étant donné le danger aigu que l'overdose fait courir à sa vie (cf. arrêt 6B_649/2012 consid. 3.3, cité par Stefan Maeder, op. cit., n° 26a). Il est ainsi sans importance, pour la qualification juridique, que l'auteur n'ait rien fait du tout ou qu'il ait fait quelque chose d'absurde ou de manifestement inutile. L'infraction est consommée s'il n'a pas apporté le secours que l'on pouvait raisonnablement exiger de lui (Bernard Corboz, op. cit., n° 12 ad <ref-law>).
3.2. La cour cantonale a constaté que le comportement de l'intimé, à savoir ne pas avoir sécurisé l'ouverture pratiquée dans le soliveau où son employé travaillait, était l'une des causes directes des lésions corporelles graves subies par celui-ci. L'autorité précédente a ensuite cherché à déterminer si les circonstances exigeaient que l'intimé appelât les secours, au vu de la gravité des blessures subies par B.B._. Elle a rappelé les déclarations des intéressés sur ce point, sans toutefois indiquer les faits qu'elle tenait pour établis. Cependant, il n'est pas contesté que, comme l'a expliqué l'intimé, le vendredi 31 mars 2017 en milieu de journée, il avait trouvé B.B._ couché par terre dans le couloir entre les deux crèches alors qu'il venait de chuter depuis le pont de grange. Il l'avait aidé à se relever et à se rendre jusqu'à une chambre, où il l'avait allongé dans le lit. L'intimé avait frictionné B.B._ avec une pommade anti-inflammatoire et lui avait donné un Tramal 100. Il lui avait ensuite préparé une assiette de pâtes, que le blessé avait mangée. Plus tard, il lui avait apporté de l'eau et des yogourts, lui avait redonné du Tramal et l'avait à nouveau frictionné. Il avait également vérifié qu'il sentait quelque chose au niveau du pied et lui avait trouvé des béquilles. Par ailleurs, il ressort du jugement attaqué que D.B._, son cousin, l'avait appelé le samedi 2 avril 2017 entre 21h et 22h. Il lui avait dit qu'il avait eu un accident et que depuis celui-ci, il était dans son lit et n'arrivait plus à bouger. Il souhaitait rentrer immédiatement au W._, sans voir un médecin. D.B._ l'avait découragé de faire ce voyage sans soins préalables et ils avaient pris rendez-vous le dimanche vers 13h. D.B._ avait vu que son cousin souffrait beaucoup et n'arrivait plus à bouger. B.B._ avait alors prié son cousin de l'amener en voiture à l'hôpital. Ce n'était toutefois pas possible en raison de l'état du blessé et D.B._ _ avait appelé une ambulance.
La cour cantonale a considéré qu'il fallait admettre, faute d'éléments contraires, que l'accidenté était en possession de son téléphone et à même d'en faire usage (puisqu'il pouvait manger par ses propres moyens) dès le vendredi vers le milieu de la journée, lorsqu'il avait été installé dans une chambre au rez-de-chaussée de la ferme des A.A._. B.B._ pouvait donc demander par lui-même des secours ou, s'il craignait de ne pas suffisamment maîtriser la langue française, téléphoner dès ce moment-là à D.B._, comme il l'avait fait le samedi soir. Selon ses déclarations, B.B._ était entré en contact par téléphone avec l'intimé au moment de son engagement, ce qui démontrait une connaissance minimale de la langue française, en tout cas suffisante pour appeler les secours. L'autorité précédente a conclu que l'aide de l'intimé n'était pas nécessaire, dès lors que B.B._ était en mesure de s'assumer. L'un des éléments constitutifs de l'omission de prêter secours n'était donc pas réalisé, sans qu'il soit nécessaire d'examiner les moyens de l'intimé tirés de l'erreur de fait.
3.3. Conformément à l'<ref-law>, il s'agit de déterminer si l'intimé devait prêter secours à B.B._ dès l'instant où il a constaté l'accident. Le cas présentait d'emblée une certaine gravité puisque B.B._ était tombé d'une hauteur d'environ deux mètres sur le sol en béton. Allongé dans le couloir entre les deux crèches, B.B._ n'était pas en mesure de s'assumer. Il n'est pas contesté que la mesure adéquate eût consisté à appeler immédiatement un médecin ou une ambulance. En omettant d'agir ainsi, l'intimé n'a donc pas fait tout ce qui pouvait être raisonnablement attendu de lui pour prêter secours à l'accidenté. En aidant le blessé à se relever et en le déplaçant alors qu'il venait de se briser plusieurs vertèbres, l'intimé a même eu un geste dangereux.
Par la suite, l'intimé a persisté à ne pas appeler les secours. Certes, une fois installé dans un lit, B.B._ avait alors accès à son téléphone portable et pouvait donc théoriquement organiser lui-même sa prise en charge médicale. Cependant, on ne saurait encore admettre, sans autre examen de la situation, qu'il suffit qu'un blessé soit conscient et dispose d'un téléphone peu de temps après l'accident pour exclure toute obligation de prêter secours de la part de l'auteur des lésions. En l'espèce, la cour cantonale n'a pas déterminé si, comme l'a déclaré B.B._, il avait demandé à l'intimé d'appeler un médecin mais que celui-ci avait refusé - ce qui est contesté par l'intimé, encore dans ses observations devant la Cour de céans. De même, B.B._ a expliqué qu'il n'avait pas osé chercher lui-même le numéro des secours car il avait peur de la réaction de l'intimé et de perdre son travail, sans que la cour cantonale n'indique si elle accordait foi à ces déclarations. Ces points de fait peuvent cependant demeurer ouverts. En effet, il est ici suffisant de constater que l'intéressé se trouvait dans un pays étranger dont il maîtrisait mal la langue, en situation illégale, couché dans un lit dans la ferme appartenant à la famille de son employeur, après avoir été victime d'une chute importante ayant entraîné des lésions corporelles graves, soit des fractures de plusieurs vertèbres et des douleurs sévères. Dans la configuration d'espèce, l'aide de l'intimé était tout au moins utile au sens de la jurisprudence susmentionnée. Enfin, et quoi qu'en dise l'intimé, il importe peu que B.B._ ait eu la possibilité d'appeler son cousin, comme il a fini par le faire. C'est précisément parce que l'intimé ne lui a pas apporté son aide que B.B._ a dû solliciter un tiers pour obtenir le secours dont il avait besoin.
Aussi, compte tenu de l'ensemble des circonstances de fait que l'on peut dégager du jugement attaqué, il apparaît que l'intimé n'a pas apporté le secours que l'on pouvait raisonnablement exiger de lui. La cour cantonale a violé le droit fédéral en retenant que cette condition de l'<ref-law> n'était pas réalisée. Par conséquent, il y a lieu d'annuler la décision attaquée sur ce point et de renvoyer la cause à la cour cantonale. Celle-ci devra en particulier examiner la réalisation de l'élément subjectif de l'infraction d'omission de prêter secours.
4.
Le recourant fait grief à la cour cantonale de ne pas avoir retenu l'infraction d'usure.
4.1. Selon l'<ref-law>, celui qui aura exploité la gêne, la dépendance, l'inexpérience ou la faiblesse de la capacité de jugement d'une personne en se faisant accorder ou promettre par elle, pour lui-même ou pour un tiers, en échange d'une prestation, des avantages pécuniaires en disproportion évidente avec celle-ci sur le plan économique, celui qui aura acquis une créance usuraire et l'aura aliénée ou fait valoir, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire. Cette infraction suppose la réalisation des éléments constitutifs objectifs suivants : une situation de faiblesse de la victime, l'exploitation de cette situation de faiblesse, l'échange d'une contre-prestation, une disproportion évidente entre l'avantage pécuniaire et la contre-prestation, ainsi que l'existence d'un rapport de causalité entre la situation de faiblesse et la disproportion des prestations (arrêts 6B_649/2020 du 2 octobre 2020 consid. 2.1; 6B_430/2020 du 26 août 2020 consid. 2.1; 6B_301/2020 du 28 avril 2020 consid. 1.1).
L'avantage pécuniaire obtenu doit être en disproportion évidente, sur le plan économique, avec la prestation fournie. Elle doit être évaluée de manière objective (<ref-ruling> consid. 7.2 p. 109). Le rapport entre la prestation et la contre-prestation se mesure dans le cas normal selon le prix ou la rémunération usuels pour des choses ou des services de même espèce (<ref-ruling> consid. 2 p. 87 s.; <ref-ruling> consid. 1 p. 134; plus récemment: arrêts 6B_301/2020 du 28 avril 2020 consid. 1.1.4; 6B_707/2016 du 16 octobre 2017 consid. 2).
La loi et la jurisprudence ne fournissent pas de limite précise pour déterminer à partir de quand le déséquilibre entre les prestations est usuraire. Les critères à prendre en considération, parmi lesquels celui des risques encourus, rendent difficile une évaluation en chiffres. Pour qu'elle puisse être considérée comme usuraire, la disproportion doit toutefois excéder sensiblement les limites de ce qui apparaît usuel et normal au regard de l'ensemble des circonstances; elle doit s'imposer comme frappante aux yeux de tout client (ATF <ref-ruling> consid. 1 p. 134 s.; arrêt 6S.6/2007 du 19 février 2007 consid. 3.1). Dans la doctrine, une limite de l'ordre de 20 % est évoquée pour les domaines réglementés; pour les autres domaines, il y a usure, dans tous les cas, dès 35 % (arrêts 6B_918/2018 du 24 avril 2019 consid. 2.4.3; 6B_27/2009 du 29 septembre 2009 consid. 1.2 et les références citées; d'un autre avis: Ursula Cassani, Liberté contractuelle et protection pénale de la partie faible: l'usure, une infraction en quête de sens, in: Le contrat dans tous ses états, 2004, p. 144, qui estime qu'il n'existe une disproportion évidente qu'à partir de 50%). La jurisprudence considère comme décisive la valeur patrimoniale effective, c'est-à-dire la valeur de la prestation calculée en tenant compte de toutes les circonstances ( cf. <ref-ruling> consid. 7.2 p. 109; <ref-ruling> consid. 2 p. 88; arrêt 6B_395/2007 du 14 novembre 2007 consid. 4.1).
4.2. La cour cantonale a retenu que dans le cas d'espèce, la condition de la gêne était réalisée et que l'intimé ne pouvait qu'être conscient de cette situation. Il restait donc à examiner s'il y avait disproportion évidente entre le travail fourni et le salaire versé. L'autorité précédente a exposé que le salaire net pour un employé agricole logé et nourri devrait être, pour 56 heures hebdomadaires maximum, de 2'010 fr. brut par mois, selon l'Arrêté neuchâtelois concernant le contrat-type de travail pour l'agriculture du 27 novembre 2002 (RS/NE 225.43; ci-après: CCT-Agri.). Pour la période considérée, B.B._ avait touché la somme mensuelle nette moyenne de 2'311 fr. 90. B.B._ avait déclaré qu'il travaillait 13,5 heures par jour, 7 jours sur 7, ce qui correspondait à 94 heures par semaine, quoique des horaires inférieurs soient mentionnés dans sa plainte. Selon un rapport de l'Union ouvrière du 12 décembre 2017, à l'attention de l'Office de l'assurance-invalidité du canton de Neuchâtel, le travailleur aurait effectué deux horaires, respectivement de 82h15 par semaine du 23 novembre 2015 au 31 janvier 2017 et de 73h30 par semaine du 1er février 2017 au 31 mars 2017. Ce rapport, qui correspondait aux données figurant dans la plainte, n'était toutefois, selon son auteur, " pas exhaustif et pouvait contenir des inexactitudes ". Par ailleurs, le carnet de B.B._ versé au dossier ne contenait pas de relevé d'heure.
La cour cantonale a admis que, comme B.B._ l'alléguait, il n'avait pas pris de vacances pendant toute la durée de son engagement. Elle a toutefois retenu que les prestations fournies par l'employé et l'employeur ne se trouvaient pas dans une situation de disproportion évidente dès lors que la rémunération afférent aux vacances (5 semaines) représentait en moyenne 10.64% du salaire. Elle a également considéré que les horaires de travail hebdomadaires annoncés, soit 94h, 82h15 ou 73h30 n'étaient pas suffisamment démontrés. Le premier chiffre ne pouvait pas être retenu car il ne tenait pas compte du temps des repas. Les autres chiffres pouvaient être erronés. Il ressortait par ailleurs du dossier que B.B._ s'était rendu certains dimanches après-midi avec l'intimé au Centre F._ à V._ (tous les deux-trois mois en vue de rencontrer un compatriote qui s'occupait de transferts d'argent vers le W._), qu'il avait reçu une fois la visite de son cousin et qu'il avait partagé un repas avec l'intimé dans un restaurant. Dans ces circonstances, l'autorité précédente a conclu que faute d'éléments suffisants, l'accusation n'avait pas apporté la preuve de la réalisation de la disproportion manifeste entre les prestations des parties au contrat de travail, de sorte que l'intimé devait être acquitté de la prévention d'usure.
4.3. Comme l'a observé le ministère public, c'est évidemment le propre du travail au noir que d'être mal documenté, sans que cela ne doive encore constituer un obstacle systématique à la répression des abus. En l'espèce, le fait que les moments de loisir accordés à B.B._ aient été si rares tendrait plutôt à confirmer les déclarations du prénommé selon lesquelles il travaillait sept jours sur sept et n'avait généralement bénéficié d'aucun congé. Par ailleurs, l'intimé n'a pas discuté les horaires de travail avancés par B.B._, se cantonnant à nier que le prénommé ait été son employé, allégation qui a été écartée par les juridictions cantonales. Cela étant, il n'est pas nécessaire d'examiner si la cour cantonale aurait, comme le soutient le ministère public, écarté le chiffre minimal avancé par l'Union ouvrière, soit 73h30, de manière arbitraire. En effet, même à suivre le recourant sur ce point et à retenir que B.B._ a travaillé selon cet horaire hebdomadaire moyen, la condition de la disproportion manifeste entre les prestations n'est pas réalisée, comme cela découle de ce qui suit.
4.4. La CCT-Agri a été modifiée avec effet au 1er janvier 2021. Selon cette modification, le salaire brut minimum s'élève à 17 francs par heure ou à 3'685 francs par mois, la nourriture et logement faisant partie intégrante du salaire (art. 13 al. 1 et 3). Cela étant, il sied de se référer à la teneur du contrat-type en vigueur au moment où B.B._ a travaillé dans l'exploitation de l'intimé. Ainsi, selon les constatations cantonales - qui ne sont pas remises en cause sur ce point -, il faut partir d'un salaire brut minimum de 2'010 fr. par mois s'agissant d'un employé qui vit dans le ménage de l'employeur (cf. art. 13 aCCT-Agri; soit un salaire de 3'000 fr. dont il convient de déduire 990 fr. pour la nourriture et le logement selon les taux AVS). A teneur de l'art. 7 al. 3 aCCT-Agri, les heures supplémentaires - soit ici 17h30 par semaine selon le ministère public - doivent être rémunérées à hauteur du salaire brut minimum majoré de 25%. En l'espèce, cela correspond à une rémunération supplémentaire d'environ 785 fr. brut par mois. En outre, la cour cantonale a considéré que les vacances non-prises correspondaient à 10.64% du salaire, ce que le ministère public ne conteste pas. Cela représente une compensation à hauteur d'environ 214 fr. brut par mois. Ainsi, selon le tarif prévu par la aCCT-Agri et sur la base des constatations cantonales, un employé agricole ayant travaillé dans les mêmes conditions que B.B._ (73h30 par semaine sans vacances) aurait dû percevoir un salaire minimum de 3'009 fr. mensuel brut environ. Selon le ministère public, il convient de réduire de 15% environ le salaire brut pour obtenir le salaire net, ce qui paraît raisonnable. Il en résulte un salaire net selon la réglementation de 2'557 fr. 65, qui doit être mis en perspective avec le salaire net moyen perçu par B.B._, soit 2'311 fr. 90. Au regard des critères mis en exergue par la jurisprudence (cf. consid. 4.1 supra), le salaire de l'intéressé étant inférieur de 10% environ au tarif minimum prévu par le contrat-type, il n'apparaît pas que la rémunération effectivement perçue par B.B._ soit usurière.
Il s'ensuit que la cour cantonale n'a pas violé le droit fédéral en concluant que l'infraction réprimée à l'<ref-law> n'était pas réalisée en l'espèce.
5.
Sur le vu de ce qui précède, le recours formé par B.B._ est irrecevable (consid. 2 supra). Les conclusions de B.B._ étaient dénuées de chance de succès. Sa demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). B.B._ supportera les frais de justice dans la cause 6B_1006/2020, dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).
Le recours formé par le ministère public est partiellement admis (consid. 3 supra). Le jugement attaqué est annulé en ce qui concerne l'acquittement de l'intimé du chef d'infraction d'omission de prêter secours (<ref-law>) et la cause 6B_875/2020 est renvoyée à la cour cantonale pour nouvelle décision sur ce point. Pour le surplus, le recours du ministère public est rejeté (consid. 4 supra).
La requête d'assistance judiciaire de A.A._ est sans objet dans la mesure où le ministère public succombe. Il ne supportera pas de frais judiciaires pour cette partie de la procédure et aura droit à une indemnité de dépens réduite à la charge du canton de Neuchâtel (<ref-law>).
Au vu de sa situation financière, l'assistance judiciaire demandée par A.A._ dans ses déterminations lui sera accordée pour le surplus, aucun autre frais mis à sa charge et une indemnité appropriée accordée à son conseil, à charge de la Caisse du Tribunal fédéral (<ref-law>). A.A._ est rendu attentif au fait qu'il devra rembourser cette dernière, s'il peut ultérieurement le faire (<ref-law>).
B.B._, qui n'a pas présenté d'observations dans la cause 6B_875/2020, n'a pas droit à des dépens et ne supporte aucun frais.
Le ministère public et le canton de Neuchâtel ne supportent aucun frais (<ref-law>). Le ministère public n'a pas non plus droit à des dépens (art. 68 al. 1 et 3 LTF)

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 6B_875/2020 et 6B_1006/2020 sont jointes.
2.
Le recours de B.B._ (6B_1006/2020) est irrecevable.
3.
La demande d'assistance judiciaire formulée par B.B._ dans la procédure 6B_1006/2020 est rejetée.
4.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge de B.B._ pour la procédure 6B_1006/2020.
5.
Le recours du ministère public (6B_875/2020) est partiellement admis, le jugement attaqué est annulé et la cause renvoyée à la cour cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté.
6.
La requête d'assistance judiciaire formulée dans le dossier 6B_875/2020 par A.A._ est admise dans la mesure où elle n'est pas sans objet.
7.
Le canton de Neuchâtel versera au conseil de A.A._ une indemnité de 1'000 fr. à titre de dépens réduits pour la procédure 6B_875/2020 devant le Tribunal fédéral.
8.
Me Maika Pedisic est désignée comme avocate d'office de A.A._ et une indemnité de 1'000 fr., supportée par la caisse du Tribunal fédéral, lui est allouée à titre d'honoraires pour la procédure 6B_875/2020.
9.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 15 avril 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy