Faits :
A.
Par jugement du 28 mars 2019, le Tribunal de police du Littoral et du Val-de-Travers a reconnu A._ coupable de contrainte sexuelle au sens de l'<ref-law> et l'a condamné à une peine privative de liberté de 10 mois avec sursis pendant 2 ans, ainsi qu'à verser à la partie plaignante une indemnité de 5'000 fr. pour tort moral. Il a par ailleurs renoncé à révoquer un sursis accordé le 27 juin 2016 par le Ministère public de l'arrondissement de Lausanne.
B.
Statuant le 25 juin 2020, la Cour pénale du Tribunal cantonal neuchâtelois a partiellement admis l'appel formé par A._ contre ce jugement, qu'elle a réformé en ce sens qu'elle l'a reconnu coupable d'abus de la détresse au sens de l'<ref-law> et l'a condamné à une peine privative de liberté de 9 mois avec sursis pendant 2 ans, ramenant par ailleurs à 4'000 fr. le montant de l'indemnité pour tort moral.
Les faits à l'origine de cette condamnation sont en substance les suivants.
En 2017, B._, d'origine camerounaise, qui était en Suisse depuis 6 ans et vivait avec son mari et leurs deux enfants, avait épuisé son droit au chômage et était à la recherche d'un emploi d'opératrice en horlogerie. Dans l'attente d'un emploi fixe, elle travaillait pour une agence intérimaire, C._ SA, pour laquelle elle a effectué plusieurs missions auprès de l'entreprise D._ AG, qui s'occupe d'assainissement de bâtiments d'habitation après inondation et incendie. Lors des deux dernières missions, qui ont eu lieu les 31 mars et 3 avril 2017, sous le prétexte de lui confier une tâche, A._, qui était son chef d'équipe, l'a éloignée de ses collègues qui travaillaient au troisième étage d'un immeuble qui avait brûlé pour l'emmener au deuxième étage, où ils sont entrés dans un appartement dont il a refermé la porte derrière eux; il n'a pas été établi qu'il l'ait verrouillée. Il a ensuite invité B._ à le suivre dans une chambre à coucher, dans laquelle se trouvait un lit sur lequel il l'a fait asseoir. Il a alors sorti son sexe de son pantalon et lui a demandé une fellation, ce qu'elle a d'abord refusé. Il a insisté en tirant la tête de la jeune femme vers son sexe et en lui disant la première fois " tu veux du travail, non? " et la seconde " tu as besoin de travail, non? ". Dans les deux cas, elle l'a masturbé avant de lui prodiguer une fellation jusqu'à éjaculation dans sa bouche.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la cour pénale. Il conclut, avec suite de frais et dépens, préalablement à ce que l'acte d'accusation du 9 décembre 2019 soit retranché du dossier et principalement à ce que le jugement attaqué soit réformé en ce sens qu'il est libéré des chefs d'accusation de contrainte sexuelle et d'abus de la détresse. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recourant fait valoir que l'acte d'accusation du 9 décembre 2019, sur lequel repose sa condamnation, est nul, la cour cantonale ayant outrepassé ses droits et violé les règles de la procédure pénale en renvoyant l'acte d'accusation, modifié une première fois le 21 octobre 2019, au ministère public pour une deuxième modification, cela après la clôture des débats et alors qu'elle se trouvait en phase de délibérations. Il soutient qu'un tel renvoi ne se justifiait pas en vertu de l'<ref-law> car cette disposition permet uniquement de compléter les preuves.
1.1. Conformément à l'<ref-law>, qui consacre la maxime d'accusation, une infraction ne peut faire l'objet d'un jugement que si le ministère public a déposé auprès du tribunal compétent un acte d'accusation dirigé contre une personne déterminée sur la base de faits précisément décrits. En effet, le prévenu doit connaître exactement les faits qui lui sont imputés et les peines et mesures auxquelles il est exposé, afin qu'il puisse s'expliquer et préparer efficacement sa défense (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s.). Le tribunal est lié par l'état de fait décrit dans l'acte d'accusation (principe de l'immutabilité de l'acte d'accusation), mais peut s'écarter de l'appréciation juridique qu'en fait le ministère public (<ref-law>), à condition d'en informer les parties présentes et de les inviter à se prononcer (<ref-law>). Il peut également retenir dans son jugement des faits ou des circonstances complémentaires, lorsque ceux-ci sont secondaires et n'ont aucune influence sur l'appréciation juridique (arrêts 6B_815/2020 du 22 décembre 2020 consid. 3.1; 6B_1023/2017 du 25 avril 2018 consid. 1.1 non publié aux <ref-ruling>). Le principe de l'accusation est également déduit de l'art. 29 al. 2 Cst. (droit d'être entendu), de l'art. 32 al. 2 Cst. (droit d'être informé, dans les plus brefs délais et de manière détaillée, des accusations portées contre soi) et de l'art. 6 par. 3 let. a CEDH (droit d'être informé de la nature et de la cause de l'accusation).
Les <ref-law> règlent la mise en accusation, en particulier le contenu strict de l'acte d'accusation. Selon l'<ref-law>, l'acte d'accusation désigne notamment les actes reprochés au prévenu, le lieu, la date et l'heure de leur commission ainsi que leurs conséquences et le mode de procéder de l'auteur (let. f); les infractions réalisées et les dispositions légales applicables de l'avis du ministère public (let. g). En d'autres termes, l'acte d'accusation doit contenir les faits qui, de l'avis du ministère public, correspondent à tous les éléments constitutifs de l'infraction reprochée au prévenu (arrêt 6B_815/2020 du 22 décembre 2020 consid. 3.1). L'acte d'accusation définit l'objet du procès et sert également à informer le prévenu (fonction de délimitation et d'information) (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s. et les références citées).
1.2. La cour cantonale a retenu que l'acte d'accusation, dans sa version du 21 octobre 2019, décrivait les faits d'une façon certes sommaire mais suffisante, la mise à profit du lien de dépendance et l'intention ressortant implicitement de la description des faits. Si tel est bien le cas le grief du recourant est dénué de pertinence, raison pour laquelle il y a lieu d'examiner en premier lieu dans quelle mesure la condamnation du recourant peut être fondée sur cette base.
2.
Le recourant invoque une violation de la présomption d'innocence et soutient que les faits ont été constatés de manière manifestement inexacte, arbitraire.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence, celle-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (voir <ref-ruling> consid. 1.1 p. 156 et les arrêts cités).
Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 155 s.).
2.2. Le recourant soutient que la cour cantonale ne pouvait pas sans arbitraire admettre que c'est en raison d'un lien de dépendance que l'intimée lui a accordé des faveurs sexuelles. Il se prévaut à ce propos de déclarations de l'intimée devant la cour cantonale selon lesquelles au moment de lui faire une fellation elle n'avait pas imaginé qu'elle obtiendrait davantage de travail dans son entreprise. Il relève qu'il n'était pas chargé de l'engagement des employés et n'était ni formellement ni factuellement l'employeur de l'intimée, de sorte que, même s'ils étaient dans une relation de travail avec un lien de subordination directe, il est excessif de considérer, comme l'a fait la cour cantonale, que les protagonistes se trouvaient dans une " situation inégale de soumission du côté de la victime et de domination du côté de l'auteur ". Il souligne par ailleurs le caractère temporaire de l'engagement de l'intimée, qui n'était selon lui de nature à générer ni un rapport de confiance particulier ni une forte emprise de l'auteur sur la victime, telle que celle exigée par l'<ref-law>.
2.3. La cour cantonale a notamment relevé que l'intimée, originaire du Cameroun, était peu au fait des usages sur le lieu de travail en vigueur dans notre pays, qu'elle vivait difficilement le fait de ne pas avoir d'emploi fixe et cherchait activement du travail.
S'agissant du recourant, elle a noté qu'il était contremaître ou chef d'équipe, qu'il déterminait le nombre de personnes dont il avait besoin, décidait sur quel chantier les employés devaient travailler, donnait les instructions et contrôlait le travail. Il était en relation avec l'entreprise de placement, qui lui communiquait les numéros de téléphone des employés temporaires, auxquels il faisait appel en fonction de ses besoins. Elle a retenu qu'il avait le pouvoir de décider si l'intimée reviendrait travailler ou non et qu'il ne lui avait pas échappé qu'elle désirait travailler.
Au demeurant, le recourant a lui-même émis la supposition qu'elle l'avait dénoncé pour se venger parce qu'il ne lui avait pas donné assez de travail, ce qui montre bien que sa position dans l'entreprise lui permettait d'exercer une influence sur le travail attribué à l'intimée.
Cette dernière a certes dit devant la cour cantonale qu'au moment des faits elle n'imaginait pas obtenir davantage de travail dans l'entreprise du recourant. Elle a toutefois ajouté que ce dernier avait insisté à plusieurs reprises, notamment lors des actes, sur le fait que c'était lui qui commandait, relevant en outre qu'elle voulait du travail. Dans ces circonstances, même compte tenu des déclarations invoquées par le recourant, la constatation de la cour cantonale selon laquelle il existait entre les protagonistes une relation de soumission et domination échappe au grief d'arbitraire.
2.4.
2.4.1. Conformément à l'<ref-law>, celui qui, profitant de la détresse où se trouve la victime ou d'un lien de dépendance fondé sur des rapports de travail ou d'un lien de dépendance de toute autre nature, aura déterminé celle-ci à commettre ou à subir un acte d'ordre sexuel sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. La question de savoir s'il existe un état de détresse ou un lien de dépendance au sens de l'<ref-law> et si la capacité de la victime de se déterminer était gravement limitée doit être examinée à la lumière des circonstances du cas d'espèce (<ref-ruling> consid. 1 p. 117). La situation de détresse ou de dépendance doit être appréciée selon la représentation que s'en font les intéressés (cf. <ref-ruling> consid. 1; arrêt 6B_204/2019 du 15 mai 2019 consid. 6.1 et les références citées). L'<ref-law> est réservé aux cas où l'on discerne un consentement. Il faut que ce consentement apparaisse motivé par la situation de détresse ou de dépendance dans laquelle se trouve sa victime. Il doit exister une certaine entrave au libre arbitre. L'<ref-law> envisage donc une situation qui se situe entre l'absence de consentement et le libre consentement qui exclut toute infraction. On vise un consentement altéré par une situation de détresse ou de dépendance dont l'auteur profite. Les limites ne sont pas toujours faciles à tracer. L'infraction doit permettre de réprimer celui qui profite de façon éhontée d'une situation de détresse ou de dépendance, dans un cas où la victime n'aurait manifestement pas consenti sans cette situation particulière (arrêt 6B_204/2019 précité consid. 6.1 et les arrêts cités).
2.4.2. La cour cantonale a constaté que le recourant, en sa qualité de contremaître ou de chef d'équipe, déterminait le nombre de personnes dont il avait besoin et décidait sur quel chantier les employés devaient travailler. Il avait ainsi la possibilité d'influer sur les perspectives de l'intimée d'obtenir du travail et savait qu'elle désirait travailler. Il était de surcroît son chef, de sorte qu'elle devait se soumettre à ses instructions.
Le recourant a manifestement profité de cette situation, d'une part en demandant à l'intimée de le suivre à un autre étage afin de l'isoler des autres personnes qui travaillaient sur le chantier et d'autre part en lui faisant remarquer que c'était lui qui commandait, qu'elle devait lui obéir et qu'elle avait besoin de travailler. Comme par ailleurs il ressort des constatations de la cour cantonale que l'intimée, au demeurant peu au courant des usages sur le lieu de travail en Suisse, lui avait à plusieurs reprises fait part de son refus d'accomplir les actes d'ordre sexuel qu'il lui demandait, c'est sans violer le droit fédéral que la cour cantonale a admis que le recourant a profité de la situation de dépendance dans laquelle elle se trouvait pour l'amener à commettre des actes auxquels elle n'aurait de toute évidence pas consenti dans d'autres circonstances.
2.4.3. Même en omettant les points contestés, savoir d'une part que le recourant aurait été chargé d'engager le personnel et d'autre part qu'il aurait fermé la porte à clé, l'acte d'accusation dans sa version du 21 octobre 2019 mentionne la qualité de contremaître du recourant, qui indique la subordination hiérarchique de l'intimée, le fait qu'il lui a ordonné de le suivre à l'étage inférieur et qu'il a fait allusion à sa volonté et même à son besoin d'obtenir du travail. Il mentionne donc les circonstances de fait qui fondent la condamnation du recourant du chef d'abus de la détresse, à savoir la manoeuvre de celui-ci destinée à isoler l'intimée, la dépendance de cette dernière envers lui et son besoin de travailler. Ces indications sont suffisantes pour que ledit acte d'accusation remplisse sa fonction de délimitation et d'information rappelée au consid. 1.1 ci-dessus.
Peu importe par ailleurs que l'acte d'accusation ne mentionne pas la masturbation que le recourant a obtenue de l'intimée dans le même contexte de faits dès lors que l'acte qui y figure, à savoir une fellation jusqu'à éjaculation, suffit à réaliser les éléments constitutifs de l'infraction.
3.
Enfin, l'argumentation du recourant relative à la non-applicabilité de l'<ref-law> est dénuée de pertinence, cette disposition n'ayant pas été retenue à son encontre.
4.
Mal fondé, le recours doit être rejeté. Comme les conclusions étaient dépourvues de chances de succès, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, supportera les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, qui n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal neuchâtelois.
Lausanne, le 4 février 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Paquier-Boinay