Faits :
A.
Par jugement du 20 janvier 2020, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné A.A._ pour voies de fait qualifiées, menaces qualifiées, contrainte sexuelle et enlèvement de mineur à une peine privative de liberté de 30 mois et à une amende de 1'000 fr., avec une peine privative de liberté de substitution de 10 jours en cas de non-paiement fautif. Il a en outre ordonné la mise en oeuvre d'un traitement institutionnel en faveur de A.A._, ordonné l'expulsion de ce dernier du territoire suisse pour une durée de 10 ans et l'a déclaré débiteur de B._ d'un montant de 5'000 fr. à titre d'indemnité pour tort moral.
B.
Statuant le 25 mai 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A.A._ contre le jugement du tribunal correctionnel, qu'elle a confirmé.
Les faits à l'origine de cette condamnation sont en substance les suivants.
A.A._, ressortissant syrien né en 1990, a épousé religieusement en 2014 en Syrie B._, alors âgée de 14 ans, selon un arrangement passé entre leurs deux familles. Ce mariage n'est pas reconnu en Suisse. De cette union est né un fils, C._, en 2015, dont la mère est seule titulaire de l'autorité parentale. La famille serait arrivée en Suisse en 2017.
Entre le 28 août 2017 et le 7 novembre 2018, A.A._ s'en est pris à de multiples reprises à l'intégrité physique et sexuelle de B._. Lorsqu'ils se disputaient, il la poussait, lui tirait les cheveux, lui assénait des gifles ainsi que des coups de poing et de pied sur tout le corps. Il lançait également des objets contre elle et prenait tout ce qui était à portée de main pour la frapper, lui causant des hématomes.
Au cours de cette même période, A.A._ a forcé B._ à pratiquer la sodomie contre son gré à une vingtaine de reprises. Elle manifestait son refus, ce qui énervait son partenaire et aboutissait à des disputes au cours desquelles il la frappait ou la poussait. Elle se soumettait dès lors de peur qu'il ne la frappe ou la tue; elle avait mal, pleurait, criait et lui disait qu'il devait arrêter.
A leur domicile, à D._, le 7 novembre 2018, vers 19h45, lors d'une dispute au cours de laquelle B._ a évoqué l'idée d'une séparation, A.A._, qui avait consommé de l'alcool, a empêché sa compagne de s'approcher de leur fils alors âgé de 3 ans, la frappant sur les mains à chaque fois qu'elle essayait de le prendre dans ses bras et lui déclarant qu'elle n'allait plus le revoir. Il l'a en outre menacée au moyen d'un chandelier en métal et a tenté à plusieurs reprises de la frapper à la tête avec une bouteille de vin, sans toutefois l'atteindre, B._ étant parvenue à saisir la main avec laquelle il tenait la bouteille. Il l'a également frappée avec un objet indéterminé à l'arrière de la tête et lui a donné des coups avec ses mains ouvertes, l'atteignant au niveau de l'oreille. Au cours de la soirée, il a en outre à plusieurs reprises menacé de la tuer et de la découper en morceaux, a détruit la carte SIM de son téléphone portable et effacé les messages qu'il contenait.
A un moment donné, B._ s'est enfermée dans sa chambre alors que A.A._ a contacté téléphoniquement ses parents, à qui il a déclaré que si elle ouvrait la bouche il la tuerait. Il a par ailleurs contacté son frère, E.A._, domicilié dans le canton de F._, avant d'expliquer à son fils que son oncle allait venir le chercher. A l'arrivée de celui-ci, qui était accompagné d'une amie, il a préparé les affaires de leur fils et le lui a confié en lui demandant de l'emmener chez leur soeur, à F._, lui déclarant en kurde, " prends l'enfant, demain je serai en prison ". Peu après 23 h, E.A._ et son amie, qui ne connaissait pas la situation car elle ne parlait pas leur langue, sont partis avec l'enfant. B._, terrorisée à l'idée que son compagnon s'en prenne à elle, n'a pas été en mesure de réagir.
C.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la cour d'appel pénale. Il conclut, avec suite de frais et dépens, principalement à la réforme du jugement attaqué en ce sens qu'il est libéré des chefs d'accusation de voies de fait qualifiées, menaces qualifiées, contrainte sexuelle et enlèvement de mineur, que sa libération immédiate est ordonnée et qu'il est constaté que les conditions de la mise en oeuvre d'un traitement institutionnel et de l'expulsion ne sont pas remplies. A titre subsidiaire, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour qu'elle statue à nouveau. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir violé le principe " in dubio pro reo " et d'avoir procédé à une appréciation arbitraire des preuves.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 p. 503). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence ou à son corollaire, le principe " in dubio pro reo ", ceux-ci n'ont pas de portée plus large que l'interdiction de l'arbitraire (voir <ref-ruling> consid. 1.1 p. 155 s.).
Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>); il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 92 et les arrêts cités).
1.2. La cour cantonale a considéré qu'au cours de ses différentes dépositions l'intimée était demeurée claire, constante et cohérente s'agissant des points essentiels fondant l'accusation et que les imprécisions relevées par le recourant, qui portaient essentiellement sur des détails, avaient un impact négligeable sur sa crédibilité, montrant plutôt qu'elle préférait admettre qu'elle ne pouvait pas être plus précise plutôt que de charger le recourant. Elle a relevé qu'en revanche le recourant avait constamment minimisé, voire nié les faits et que ses explications n'étaient pas crédibles. Examinant les témoignages figurant au dossier, elle a relevé que l'assistant social de l'école de l'intimée et un camarade de classe ont déclaré qu'elle leur avait donné la même version des faits qu'à la police, précisant qu'elle était angoissée, traumatisée et avait besoin d'aide, ce qui montrait qu'elle était en état de choc le lendemain des faits. La cour cantonale a, enfin, mentionné les déclarations du frère du recourant et de son amie, desquelles il ressort que le recourant avait confisqué le téléphone portable de l'intimée, laquelle avait passé la grande majorité du temps dans sa chambre, qu'il y avait des bris de verre dans le salon, que l'atmosphère était tendue, le couple s'étant manifestement disputé, ce qui a été confirmé par la soeur du recourant.
1.3. Le recourant cherche en premier lieu à remettre en question la crédibilité de l'intimée en soutenant que sa version a évolué à plusieurs reprises au cours de l'instruction. Non seulement les contradictions qu'il invoque portent sur des points secondaires mais son argumentation ne contient aucun élément propre à remettre en cause l'appréciation de la cour cantonale.
Ainsi, le prétendu " épisode de la porte des toilettes ", dont le bruit aurait énervé le recourant, qui n'aurait été évoqué que devant l'autorité de première instance est de peu d'importance et n'a pas de portée sur la crédibilité de l'intimée. Par ailleurs, lorsque le recourant prétend que la déclaration selon laquelle il aurait frappé l'intimée lorsqu'ils étaient au téléphone avec ses parents serait en contradiction avec le fait qu'elle a déclaré qu'elle était parvenue à esquiver tous les coups le soir en question, il omet que, si elle a bien dit qu'il n'était pas parvenu à l'atteindre avec la bouteille de vin, elle a également affirmé qu'il l'avait en revanche frappée avec un autre objet indéterminé et lui avait asséné des coups avec ses mains (déclarations de l'intimée à la police du 8 novembre 2018, p. 6). En outre, lorsqu'il reproche à la cour cantonale de n'avoir pas tenu compte du témoignage de l'amie de son frère, duquel il ressort que l'intimée disposait encore d'un téléphone peu après 22h le soir des faits, il oublie qu'il a lui-même déclaré à la police qu'il avait confisqué le téléphone de son épouse, dont il avait retiré et détruit la carte SIM, avant que son frère et son amie n' arrivent (déclarations du recourant à la police du 9 novembre 2018, p. 14).
1.4. Dans la mesure où le recourant évoque le fait qu'il avait sollicité la mise en oeuvre d'une évaluation psychologique de l'intimée, le recourant ne formule aucun grief relatif à une violation de son droit d'être entendu qui satisfasse aux exigences de l'<ref-law>.
1.5. Pour le surplus, son argumentation, de nature appellatoire, tend essentiellement à substituer sa propre version des faits à celle retenue par la cour cantonale et n'est, partant, pas recevable.
2.
Le recourant se plaint d'une violation de l'<ref-law>, qui réprime l'enlèvement de mineur.
2.1. Conformément à cette disposition, celui qui aura soustrait ou refusé de remettre un mineur au détenteur du droit de déterminer le lieu de résidence sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
Le bien juridique protégé est le droit de déterminer le lieu de résidence en tant que composante de l'autorité parentale. Un enlèvement peut être commis par l'un des deux parents, s'il n'exerce pas ou pas seul l'autorité parentale, respectivement, le droit de déterminer le lieu de résidence (arrêt 6B_1073/2018 du 23 août 2019 consid. 6.1 et les références citées). Par soustraire ou refuser de remettre un mineur, il faut entendre que celui-ci est, avec ou sans son consentement, éloigné ou tenu éloigné du lieu de séjour ou de placement choisi par le ou les détenteurs du droit de déterminer son lieu de résidence, la séparation spatiale ayant pour effet d'empêcher l'exercice de ce droit (arrêt 6B_1073/2018 op.cit. loc.cit.).
Sur le plan subjectif, l'infraction est intentionnelle; le dol éventuel suffit. Agit par dol éventuel celui qui tient pour possible la réalisation de l'infraction et l'accepte pour le cas où celle-ci se produirait (art. 12 al. 2 2ème phrase CP; <ref-ruling> consid. 4.1 et les arrêts cités).
Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève des constatations de fait (voir <ref-ruling> consid. 12; <ref-ruling> consid. 6-3), qui lient le Tribunal fédéral, à moins d'avoir été établies de façon arbitraire (<ref-law>). En revanche, la question de savoir si les éléments extérieurs retenus en tant que révélateurs du contenu de la conscience et de la volonté autorisent à admettre que l'auteur a agi par dol éventuel relève du droit (<ref-ruling> consid. 4.2.3).
2.2. Dans la mesure où le recourant soutient avoir agi pour protéger son fils du conflit parental et avoir pensé que l'intimée consentait au départ de celui-ci, il s'en prend à des constatations de fait et son grief est irrecevable.
2.3. La cour cantonale a dûment exposé au consid. 5.3 du jugement attaqué que, compte tenu de l'atmosphère particulièrement tendue qui régnait le soir en question, des menaces de mort proférées par le recourant, de l'éducation, de la culture et du jeune âge de l'intimée, il n'était pas possible à celle-ci de s'opposer au recourant et à son frère, qui étaient déterminés à éloigner l'enfant. Le recourant, qui n'ignorait pas ces circonstances, ne pouvait qu'être conscient que l'attitude de l'intimée relevait de la résignation plutôt que du consentement. Il y a dès lors lieu de considérer qu'il a envisagé l'hypothèse que sa compagne ait été opposée au départ de leur fils et l'a acceptée, de sorte que la cour cantonale n'a pas violé le droit fédéral en admettant que l'intention était donnée, pour le moins sous la forme du dol éventuel.
2.4. Le recourant se prévaut d'une publication selon laquelle l'infraction ne serait pas réalisée si l'auteur n'emmène le mineur qu'en excursion de courte durée. Cette opinion a en effet été soutenue en doctrine (A CKERMANN/VOGLER/BAUMANN/EGLI, Strafrecht, Individualinteressen, 2019, p. 459; ANDREAS ECKERT, Basler Kommentar, Strafrecht, 4ème éd. 2019, n° 25 ad <ref-law>; DONATSCH / THOMMEN / WOHLERS, Strafrecht IV, Delikte gegen die Allgemeinheit, 5ème éd. 2017, p. 27 s.), de même que l'avis qu'une durée insignifiante, comme le dépassement de l'heure fixée pour le transfert de l'enfant d'un parent à l'autre, ne suffit pas (BERTRAND SAUTEREL, commentaire romand, Code pénal II, 2017, n° 26 ad <ref-law>), point que la jurisprudence a laissé indécis (voir <ref-ruling> consid. 1c) et qui n'a pas à être tranché en l'espèce puisque l'enfant devait séjourner chez la soeur du recourant pour une durée indéterminée mais à tout le moins quelques jours.
2.5. Le recourant invoque enfin l'<ref-law> en exposant qu'il ne connaissait pas les règles du droit suisse relatives à l'autorité parentale.
Agit sous l'emprise d'une erreur sur les faits au sens de cette disposition celui qui n'a pas connaissance ou qui se base sur une appréciation erronée d'un élément constitutif d'une infraction pénale (<ref-ruling> consid. 3.1 p. 240; plus récemment: arrêt 6B_755/2020 du 3 novembre 2020 consid. 2).
Il ne ressort pas des constatations de la cour cantonale et le recourant ne prétend au demeurant lui-même pas qu'il aurait pensé pouvoir décider seul de l'endroit de résidence de son fils. Au contraire, tout au long de la procédure il a cherché à faire admettre que l'intimée aurait consenti au départ de leur fils sans jamais faire allusion au fait que ce serait à lui seul d'en décider. Peu importe dès lors qu'il ait connu ou non les règles qui régissent l'autorité parentale en Suisse.
3.
Les autres conclusions prises par le recourant sont émises sans que des griefs recevables aient été développés à leurs égards et sont dès lors irrecevables.
4.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>) et le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière qui n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal vaudois.
Lausanne, le 10 juin 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Paquier-Boinay