Faits :
A.
Par jugement du 7 février 2017, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour lésions corporelles simples qualifiées, voies de fait qualifiées, injure, menaces qualifiées, séquestration et enlèvement, contrainte, contrainte sexuelle, viol, violence ou menace contre les autorités et les fonctionnaires, contravention à la loi fédérale sur les stupéfiants et infraction à la loi fédérale sur les étrangers, à une peine privative de liberté de cinq ans. Il a dit que X._ devait à A._ une réparation morale de 15'000 fr. et lui a donné acte de ses réserves civiles pour le surplus. Il a indemnisé le conseil d'office de A._ par 11'653 fr. 75 et lui a alloué 15'600 fr. de dépens pénaux à la charge de X._. Il a également indemnisé par 16'514 fr. 45 le défenseur d'office de X._ et mis les frais par 64'149 fr. 30 à sa charge. Il a dit que X._ ne serait tenu de rembourser à l'Etat le montant des indemnités allouées aux conseils d'office que lorsque sa situation financière le permettrait et de verser au conseil d'office de A._ la somme de 3'946 fr. 25 correspondant à la différence entre son indemnité de conseil d'office et les honoraires qu'elle aurait perçus comme conseil privé.
B.
Par arrêt du 1er juin 2017, la Cour d'appel pénal du Tribunal cantonal vaudois a très partiellement admis le recours de X._ et annulé le jugement du 7 février 2017 en ce qu'il allouait des dépens pénaux au conseil de la plaignante, défenseur d'office au sens de l'<ref-law>, et en ce qu'il le condamnait à verser au conseil de la plaignante la somme correspondant à la différence entre son indemnité de conseil d'office et les honoraires qu'elle aurait perçus comme conseil privé.
La cour cantonale a retenu les faits suivants:
B.a. X._, ressortissant algérien, sans profession et sans domicile connu, séjournant illégalement en Suisse, a rencontré A._ en août 2015. Ils sont devenus amis intimes et ont vécu ensemble à partir du mois de septembre ou octobre 2015, dans un premier temps dans une caravane que X._ occupait dans un camping à B._. Au mois de décembre 2015, constatant la dégradation de sa relation de couple avec X._, A._ a obtenu d'être relogée dans sa propre caravane, sur le même site. A partir du 20 janvier 2016, elle a rejoint X._ à C._, lequel était installé dans un appartement loué par D._, l'une de ses connaissances.
Entre le mois d'octobre 2015 et le 29 janvier 2016, X._ a fait subir à A._, à de multiples reprises, des violences verbales, physiques et sexuelles. Le 30 janvier 2016, A._ a déposé plainte pénale et s'est constituée partie plaignante.
B.b. Au camping à B._, à partir du mois d'octobre 2015, X._ a infligé, à plusieurs reprises, des violences physiques à A._. Le 1er janvier 2016, en particulier, X._ s'est rendu dans la caravane de A._, à qui il a reproché d'avoir fêté la nouvelle année sans lui. Il s'est mis à la frapper sur tout le corps, en particulier sur le visage et l'a serrée au cou à deux reprises. Il l'a également insultée. Durant les trois jours qui ont suivi, X._ n'a pas laissé A._ sortir de sa caravane, hormis pour la laisser faire ses besoins, sous sa surveillance. A plusieurs reprises durant cette période, X._ a abusé sexuellement de A._, l'a menacée de mort ou de s'en prendre aux siens. Le 3 janvier 2016, X._ a de nouveau asséné plusieurs coups de poings à A._ au niveau de la poitrine et l'a giflée. L'intéressée est parvenue à profiter d'un moment où X._ s'était endormi pour se sauver. Elle s'est réfugiée chez une amie à E._, laquelle l'a hébergée durant quelques jours. Le 6 janvier 2016, elle s'est rendue à la consultation de l'hôpital F._ à G._ et, le 7 janvier 2016, à l'Unité de médecine des violences. L'examen clinique a notamment montré la présence d'un hématome en lunette violacé ainsi que de multiples ecchymoses et contusions. Les examens complémentaires effectués ont révélé la présence d'une fracture du plancher de l'orbite de l'oeil, ainsi que d'une invagination intestinale.
B.c. A partir du mois de décembre 2015, X._ a régulièrement empêché A._ de quitter la caravane et de téléphoner, brisant notamment la puce de son téléphone ou déclarant aux tiers qui souhaitaient la contacter qu'elle était absente. En outre, dès lors que X._ la frappait essentiellement sur le visage, à coups de poings et de claques, et qu'elle en portait ainsi les stigmates, lorsqu'il devait s'absenter, il l'enfermait dans la caravane afin que personne ne la voie dans cet état, lui confisquant son portable.
B.d. Dans les mêmes circonstances de temps et de lieu, à plusieurs reprises, lorsqu'elle se refusait à lui, X._ l'a contrainte à subir des relations sexuelles, lors desquelles il la frappait à coups de claques sur les fesses, lui tirait les cheveux et lui imposait des pénétrations anales. Pendant l'acte, il la traitait en outre de " pute " et de " salope ". A une occasion, lors d'un rapport non consenti et en raison des coups que lui assénait X._, A._ a déféqué sur elle-même. X._ l'a alors empêchée de se laver pendant plusieurs heures, allant jusqu'à lui ordonner de s'enduire le visage de ses excréments et d'en ingurgiter.
B.e. A C._, dès le 20 janvier 2016, après une période de séparation, pendant laquelle A._ avait notamment séjourné au Foyer H._, les coups et violences sexuelles ont repris. A._ a été frappée à de nombreuses reprises et a vu ses cheveux arrachés par poignées. X._ s'en est également pris à elle dans la rue lors de leurs rares sorties. Rapidement, il l'a coupée du monde, l'empêchant de quitter l'appartement, lui saisissant son téléphone portable et ses papiers d'identité. A une occasion pendant cette période, X._ a exigé d'elle qu'elle déchire son soutien-gorge, qu'elle rabatte le débardeur qu'elle portait sur son visage derrière la tête et qu'elle reste ainsi devant lui, entièrement nue. Comme elle refusait de coucher avec lui, il s'est mis à la frapper à coups de poings, de gifles, à lui tirer les cheveux et à l'insulter. A un moment donné, X._ s'est placé sur elle et a exercé des pressions à hauteur de son torse, ce qui l'a fait vomir. Il l'a alors tournée, l'a à nouveau frappée avant de la pénétrer vaginalement avec son sexe et analement avec sa main. En la ressortant, il a enduit le visage et le corps de A._ d'excréments; il en a fait de même avec son vomi. Il l'a encore forcée à lui prodiguer une fellation, tout en la giflant et en lui tirant les cheveux. Il a accompagné ses gestes d'un " T'aimes ça salope! " avant d'être interrompu par le locataire de l'appartement, D._, lequel se trouvait au salon et avait entendu A._ crier. Après avoir rassuré celui-ci en lui disant qu'ils étaient en train de " faire l'amour ", X._ est revenu auprès de A._ et s'est remis à la battre pour la punir d'avoir crié. Le 29 janvier 2016, A._ a été conduite à la consultation du service de chirurgie générale de l'hôpital F._. De contusions multiples (faciale, thoracique, cervicale, dorsale et lombaire) ainsi que des hématomes touchant le bras droit ont été constatés. Au terme de cette consultation, l'intéressée a été amenée et hospitalisée à la Fondation I._. L'examen vaginal de A._, effectué au département de gynécologie de l'hôpital F._, a mis au jour la présence d'une lésion vésiculaire au niveau des grandes lèvres ainsi que d'un vaginisme important. L'examen clinique effectué par le Centre universitaire romand le 31 janvier 2016 a révélé la présence notamment d'ecchymoses d'âges divers au niveau du cou, du thorax, du dos et des membres ainsi que de multiples dermabrasions et érythèmes.
B.f. A._ est parvenue à s'enfuir de l'appartement de C._ le 28 février 2016. X._ n'a pas cessé de la harceler par téléphone, profitant de l'insulter et de la menacer. Au rang des menaces figuraient celles de la tuer, de s'en prendre à ses enfants et de lui sculpter un " smiley " sur le visage à l'aide d'un cutter.
B.g. A plusieurs occasions, X._ a serré A._ au cou de diverses manières. Plus d'une fois, elle s'est presque évanouie. En particulier, le 9 décembre 2015, à J._, X._ a traité A._ de " pute " et de " salope ". Elle a reculé de quelques pas avant que le prévenu ne lui saisisse les deux pans de l'écharpe qu'elle portait et ne se mette à tirer dessus. A._ l'a supplié d'arrêter car il lui faisait mal. Ce n'est qu'après quelques secondes qu'il a relâché sa prise, au moment où il a été surpris par des tiers.
B.h. Née en 1980, A._ a été mariée à deux reprises, la dernière fois à K._. Elle est mère de trois enfants, qui vivent en France chez leur père. Par décision du 4 août 2016, la Justice de Paix du district d'Aigle a institué une curatelle de portée générale en faveur de A._. Par décision du 1er décembre 2016, cette même autorité a ordonné le placement à des fins d'assistance de l'intéressée.
B.i. Pour les besoins de la cause civile, A._ a été soumise à une expertise psychiatrique confiée au Dr. L._. Dans son rapport, l'expert a posé le diagnostic de trouble grave de la personnalité de type émotionnellement labile, type borderline, d'abus d'alcool épisodique, de consommation épisodique de substances psychoactives multiples et de dépendance aux dérivés du cannabis. L'expert a relevé que l'expertisée avait une tendance à minimiser, voire à taire, les épisodes douloureux de sa vie. Il a souligné l'étayage important qu'elle trouvait dans ses relations conjugales ou sentimentales, la séparation étant vécue comme un abandon. A la suite de sa séparation avec son mari K._, A._ s'était ainsi " accrochée à un ' ami ' violent, se mettant dans des situations dangereuses, tout en les minimisant ". Dès sa rencontre avec X._, les intervenants ont constaté la dégringolade et la déchéance de A._. M._, intervenant social à la Fondation I._, a constaté, début janvier 2016, l'emprise de l'intéressé sur A._ et la peur que celui-ci lui inspirait.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 1er juin 2017. Préalablement, il requiert l'ordonnance d'une expertise de crédibilité sur la personne de A._. Principalement, il conclut, avec suite de frais et dépens, à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour qu'elle ordonne une expertise de crédibilité sur la personne de A._. Subsidiairement, il conclut à la réforme du jugement entrepris en ce sens qu'il est libéré des chefs d'accusation de lésions corporelles simples, de séquestration et enlèvement, de contrainte, de contrainte sexuelle et de viol. Il conclut également à ce qu'une indemnité de 48'000 fr. lui soit allouée en application de l'art. 429 al. 1 let. c CPP, que les frais de première et deuxième instances, y compris les indemnités des conseils d'office, soient laissés à la charge de l'Etat et que les conclusions civiles de A._ soient déclarées irrecevables. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
A titre préalable, le recourant conclut à la mise en oeuvre d'une expertise de crédibilité sur la personne de A._.
Il n'y a pas lieu de donner suite à cette requête, les conditions exceptionnelles pour prononcer une mesure probatoire devant le Tribunal fédéral n'étant manifestement pas réunies (cf. <ref-ruling> consid. 2 p. 104; JEAN-MAURICE FRÉSARD, in Commentaire de la LTF, 2009, n° 9 ad <ref-law>). Le recourant ne revient d'ailleurs pas sur cette requête dans son mémoire de recours.
2.
Invoquant les art. 6 CEDH, 29, 30 et 32 Cst. ainsi que les art. 6 al. 2 et 398 CPP, le recourant se plaint du refus de la cour cantonale d'ordonner une expertise de crédibilité.
2.1. Conformément au principe de la libre appréciation des preuves, l'appréciation de la crédibilité des divers moyens de preuve relève en premier lieu de la compétence du juge du fait et aucun moyen de preuve ne s'impose à lui. Le magistrat ne saurait se soustraire à son devoir de libre appréciation en exigeant, sans nuance et quasi automatiquement, qu'une expertise de crédibilité soit ordonnée dès que des déclarations sont contestées, contiennent quelques imprécisions ou des contradictions mineures ou manquent de clarté sur des points secondaires (arrêt 6B_506/2016 du 22 juin 2017 consid. 1.4.1). Le juge ne doit ainsi recourir à une expertise de crédibilité qu'en présence de circonstances particulières (<ref-ruling> consid. 2 p. 86 et les arrêts cités; arrêt 6B_58/2017 du 21 août 2017 consid. 2.1). S'agissant de l'appréciation d'allégations d'abus sexuels, les expertises de crédibilité s'imposent surtout lorsqu'il s'agit des déclarations d'un petit enfant qui sont fragmentaires ou difficilement interprétables, lorsqu'il existe des indices sérieux de troubles psychiques, ou lorsque des éléments concrets font penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184; <ref-ruling> consid. 2 p. 84 ss; <ref-ruling> consid. 1c p. 31/32).
2.2. La cour cantonale a retenu en substance que les déclarations de l'intimée s'étaient avérées vérifiables sur certains points par des témoignages et des examens médicaux, s'agissant en particulier des traces de lésions subies et des lieux où les violences s'étaient déroulées, et par des constatations faites par des tiers ainsi que les révélations que la victime leur avait faites. Les propos de l'intimée, largement majeure au moment où elle a dénoncé les faits et déposé plainte pénale, ne présentaient par ailleurs aucune difficulté d'interprétation qui aurait justifié le recours à un expert. En outre, l'intimée avait fait l'objet d'une expertise civile en vue de mesures de protection à mettre en place. Cette expertise avait abouti au diagnostic de trouble grave de la personnalité de type émotionnellement labile, type borderline, d'abus d'alcool épisodique, de consommation épisodique de substances multiples et de dépendance aux dérives du cannabis. L'expert n'avait toutefois pas identifié de trouble du cours de la pensée, ni de symptômes évidents de la lignée psychotique. Il n'avait par ailleurs éprouvé aucun doute quant à la réalité des violences infligées à l'expertisée et imputables au recourant. Dans ces conditions, la mise en oeuvre d'une expertise de crédibilité devait être refusée.
2.3. Le recourant reproche à la cour cantonale d'avoir repris des considérants du premier jugement. Or, l'art. 398 al. 2 et 3 CPP, qui concerne le pouvoir d'examen de l'autorité d'appel n'exclut pas que l'autorité d'appel puisse se référer dans une certaine mesure à l'appréciation contenue dans le jugement de première instance (cf. arrêt 6B_114/2013 du 1er juillet 2013 consid. 6).
2.4. Le recourant souligne un certain nombre d'éléments, tels que le fait que l'intimée prendrait des drogues et boirait de l'alcool, qu'elle s'auto-mutilait, qu'elle a fait des tentatives de suicide par le passé, et a été internée, qu'elle est sans profession et dépend des services sociaux, qu'elle fait l'objet d'une curatelle de portée générale, et qu'elle a perdu la garde de ses trois enfants. Selon lui, ces éléments rendraient une expertise de crédibilité nécessaire. Les faits invoqués par le recourant ressortent pour la plupart de l'arrêt attaqué et ont été dûment pris en compte par la cour cantonale. Celle-ci a cependant jugé qu'en l'absence de trouble susceptible d'avoir influé sur le contenu des déclarations et en l'absence d'influence d'un tiers, il n'était pas utile d'ordonner une expertise de crédibilité. Le recourant ne démontre pas quoi cette appréciation serait arbitraire.
2.5. Il en va de même lorsque le recourant tente de pointer des variations ou contradictions dans les déclarations successives de l'intimée, sans démontrer en quoi la cour cantonale aurait tiré des conclusions insoutenables de ces moyens de preuves. Contrairement à ce que soutient le recourant, comme l'a relevé la cour cantonale, les quelques divergences dans les déclarations de l'intimée sont mineures et essentiellement chronologiques et n'ont aucune incidence sur l'issue du litige.
2.6. Le recourant souligne ensuite que le récit du témoin D._ - chez qui le recourant s'était installé à C._ -, lorsqu'il a poussé la porte de la chambre à coucher du couple, ne correspondrait pas à celui de l'intimée. Il ressort du témoignage de ce témoin qu'il a été alerté la nuit par des bruits de claques ou de baffe, qu'il est resté sur le seuil de la porte, qu'il voyait mal, l'éclairage étant médiocre et que le recourant a tenté de le rassurer. Le fait qu'il a dit avoir vu l'intimée porter un habit léger alors qu'elle a déclaré être nue pendant l'épisode n'est pas pertinent. Il en va de même du fait qu'il aurait dit avoir bu un café avec l'intimée à 5 heures du matin ou du fait que le témoin n'a pas senti d'odeur de vomi ou d'excréments. En effet, l'intimée a elle-même indiqué ne plus se souvenir si le témoin était arrivé dans la chambre avant ou après l'acte sexuel, ce qui, au vu des circonstances, est compréhensible.
2.7. Le recourant soutient en substance que les déclarations de la recourante n'étaient pas crédibles, s'agissant du fait qu'elle était restreinte dans ses mouvements. Comme le relève la cour cantonale, le fait que l'appartement à C._ et la caravane pouvaient être ouverts depuis l'intérieur ne sont pas déterminants, dès lors que la privation de liberté résultait d'un empêchement physique et psychique exercé par le recourant qui interdisait à l'intimée de sortir et la frappait et menaçait pour obtenir sa soumission (cf. infra consid. 4).
Au vu de ce qui précède, c'est dès lors à bon droit que l'instance précédente a conclu qu'il n'existait aucune indication à soumettre l'intimée à une expertise de crédibilité. Le grief est infondé.
3.
Invoquant l'<ref-law>, le recourant se plaint d'un établissement inexact des faits ainsi que d'une violation du principe in dubio pro reo. Il reproche en particulier à la cour cantonale d'avoir retenu la version qui lui était la plus défavorable.
3.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53 et 140 I 201 consid. 6.1 p. 205).
La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant l'appréciation des preuves que le fardeau de la preuve (<ref-ruling> consid. 2a p. 40 s.; <ref-ruling> consid. 2c p. 36 s.; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82 s.). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. C'est ainsi à l'accusation d'établir la culpabilité du prévenu, et non à celui-ci de démontrer qu'il n'est pas coupable. La présomption d'innocence est violée lorsque le juge rend un verdict de culpabilité au seul motif que le prévenu n'a pas prouvé son innocence (<ref-ruling> consid. 2a p. 40; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368).
3.2. A l'instar des premiers juges, la cour cantonale a considéré que l'intimée était crédible en raison de ses déclarations détaillées, cohérentes et réitérées en confrontation. Il ressort tant du jugement attaqué que du dossier que l'intimée a plutôt eu tendance à minimiser et à occulter les violences qu'elle avait subies. En outre, la cour cantonale a relevé que ni l'expert civil, ni les autres intervenants médicaux n'avaient constaté une incidence des troubles psychiatriques de la victime sur sa crédibilité. Ses déclarations se recoupaient avec des constats médicaux et son récit était corroboré par les dépositions des témoins qui avaient vu les traces de coup et avaient recueilli ses confidences et de ceux qui avaient assisté aux violences ou avaient été alertés par celles-ci.
3.3. Les développements du recourant s'épuisent principalement en une rediscussion des moyens de preuve pris en considération par l'autorité précédente, à laquelle il oppose sa propre appréciation. Une telle démarche, essentiellement appellatoire, ne répond pas aux exigences de motivation déduites de l'<ref-law>. L'on se limitera, dans la suite, à répondre aux arguments du recourant qui n'apparaissent pas immédiatement irrecevables.
3.4. Comme le relève la cour cantonale, le fait que l'intimée n'a pas parlé de séquestration à des tiers n'est pas décisif. Il en va de même du fait que le recourant n'a jamais été condamné dans le passé pour des faits similaires.
3.5. Le recourant soutient en substance que les lésions médicales constatées sur l'intimée proviennent de gestes auto-agressifs de la part de l'intimée. Il ressort des faits de la cause que l'intimée a toujours admis s'être automutilée et a spontanément distingué les lésions, ecchymoses et autres dermabrasions qu'elle attribuait aux coups du prévenu des blessures qu'elle s'était elle-même infligée. Les médecins ont d'ailleurs confirmé que le tableau lésionnel constaté était compatible avec les déclarations de la victime. Selon le médecin légiste, le genre de lésions et leur disposition n'étaient pas typiques d'une auto-agression, mais parlaient en faveur d'une hétéro-agression. Le fait que les médecins n'ont pas exclu, dans l'absolu, une auto-agression n'est pas décisif.
3.6. Le recourant ne démontre pas en quoi les constatations de la cour cantonale seraient arbitraires, de sorte que son grief doit être rejeté, dans la mesure où il est recevable. Le grief pris d'une violation de la présomption d'innocence en relation avec l'appréciation des preuves doit également être rejeté, dans la mesure où il est recevable. La cour cantonale est clairement parvenue à une conviction et n'a à cet égard pas non plus violé la présomption d'innocence.
4.
Le recourant se plaint d'une violation de l'<ref-law>. Il conteste la réalisation d'une privation de liberté et soutient que l'intimée n'était pas limitée dans ses mouvements par lui.
4.1. Aux termes de l'<ref-law>, celui qui, sans droit, aura arrêté une personne, l'aura retenue prisonnière, ou l'aura, de toute autre manière, privée de sa liberté (al. 1) ou qui, en usant de violence, de ruse ou de menace, aura enlevé une personne (al. 2) sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
4.2. Le bien juridique protégé est la liberté de déplacement. Les éléments objectifs constitutifs sont réalisés si la personne est privée de sa liberté d'aller et venir et de choisir le lieu où elle souhaite rester. Il n'est pas nécessaire que la privation de liberté soit de longue durée. Quelques minutes suffisent (arrêt 6B_637/2011 du 13 avril 2012 consid. 3.3.1; STEFAN TRECHSEL, Praxiskommentar, 2008, n° 7 ad <ref-law>). Une personne peut être séquestrée par le recours à la menace, à la violence, en soustrayant les moyens dont elle a besoin pour partir ou encore en la plaçant dans des conditions telles qu'elle se sent dans l'impossibilité de s'en aller (arrêt 6B_637/2011 du 13 avril 2012 consid. 3.3.1 et la référence citée).
4.3. Dans le cas d'espèce, trois épisodes de séquestration ont été retenus. Le premier se situe dans la caravane durant les trois jours suivants le 1er janvier 2016. Pendant ce temps-là, le recourant n'a pas laissé l'intimée quitter la caravane en bloquant la porte de son corps, hormis pour la laisser faire ses besoins, sous sa surveillance, jusqu'à ce qu'elle parvienne à s'enfuir en profitant du fait qu'il était endormi. L'intimée s'est réfugiée chez une amie puis s'est rendue à l'hôpital à G._ le 6 janvier 2016 ainsi qu'à l'Unité de médecine des violences le 7 janvier 2016. Force est dès lors de constater que le recourant s'est opposé physiquement à la sortie de l'intimée de la caravane, de sorte qu'il l'a privée de sa liberté.
Le deuxième épisode a eu lieu en décembre 2015. Selon la cour cantonale, le recourant a régulièrement empêché l'intimée de quitter la caravane et de téléphoner, en brisant notamment la puce de son téléphone portable ou en déclarant aux tiers qui souhaitaient la contacter qu'elle était absente. Dès lors qu'il la frappait essentiellement au visage, lorsqu'il devait s'absenter, pour éviter que des tiers ne voient les marques de coups que présentait son visage, il donnait l'ordre à l'intimée de rester dans la caravane et lui confisquait son téléphone portable. Même si, comme le soutient le recourant, la caravane pouvait être ouverte depuis l'intérieur, dans la mesure où il donnait à l'intimée des ordres appuyés par des menaces de violence, celle-ci n'était en réalité pas libre de se déplacer.
Le troisième épisode a eu lieu dans l'appartement à C._ dès le 20 janvier 2016 jusqu'à la fuite de l'intimée le 28 février 2016. Il ressort des faits constatés par la cour cantonale que le recourant empêchait l'intimée de quitter l'appartement, lui saisissant son téléphone portable et ses papiers d'identité. Contrairement à ce que soutient le recourant, il ressort du dossier que le témoin D._ a constaté que l'intimée semblait avoir peur et être stressée. Il a également relevé que le recourant avait toujours accompagné l'intimée pendant leurs rares déplacements. La cour cantonale a retenu que les déplacements de l'intimée étaient dès lors décidés par le recourant. On relèvera d'ailleurs que, dès l'instant où l'intimée s'est enfuie, le recourant n'a pas cessé de lui envoyer des insultes et des menaces, notamment de la tuer ou de s'en prendre à ses enfants.
4.4. La cour cantonale n'a dès lors pas violé le droit fédéral en considérant que l'intimée était privée de sa liberté de mouvement tour à tour par la menace, la violence, respectivement par une entrave purement physique, soit lorsque le recourant se plaçait devant la porte de la caravane.
5.
Le recourant se plaint d'une violation des art. 189 al. 1 et 190 al. 1 CP.
5.1. Aux termes de l'<ref-law>, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. A teneur de l'<ref-law>, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel, sera puni d'une peine privative de liberté de un à dix ans.
5.2. Les infractions réprimant la contrainte sexuelle interdisent toute atteinte à la liberté sexuelle. Pour qu'il y ait contrainte en matière sexuelle, il faut que la victime ne soit pas consentante, que l'auteur le sache ou accepte cette éventualité et qu'il passe outre en profitant de la situation ou en utilisant un moyen efficace (<ref-ruling> consid. 2b p. 100; arrêts 6B_968/2016 du 25 septembre 2017 consid. 2.1.1 et 6B_71/2015 du 19 novembre 2015 consid. 2.1.2). L'<ref-law>, tout comme l'<ref-law>, tendent à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, l'acte sexuel ou un autre acte d'ordre sexuel. Il s'agit de délits de violence, qui doivent être considérés principalement comme des actes d'agression physique (<ref-ruling> consid. 2.2 p. 109; <ref-ruling> consid. 2b p. 99, 106 consid. 3a/bb p. 110 s.; <ref-ruling> consid. 3b p. 158 s.; arrêt 6B_968/2016 du 25 septembre 2017 consid. 2.1.1).
5.3. Le recourant soutient qu'il n'est pas possible de retenir l'élément constitutif de la contrainte. Il se limite à une libre discussion, s'écartant des faits retenus sans arbitraire par la cour cantonale. De la sorte ses critiques sont irrecevables. Au vu des diverses violences physiques exercées sur l'intimée, c'est sans violer le droit fédéral que la cour cantonale a admis la contrainte au sens des art. 189 et 190 CP.
6.
Le recourant conclut au versement d'une indemnité de 48'000 fr., en application de l'<ref-law>, qui prévoit que si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Sa conclusion présuppose l'admission de ses griefs sur sa culpabilité. Vu leur sort, sa conclusion est sans portée.
7.
7.1. Le recourant soutient en vain que, dans la mesure où il doit être acquitté, une indemnité pour tort moral ne doit pas être octroyée à l'intimée.
7.2. C'est également en vain que le recourant soutient que l'intimée ne pouvait pas se constituer partie plaignante, dans la mesure où elle aurait été à ce moment-là totalement incapable de discernement et qu'elle ne pouvait pas non plus prendre des conclusions civiles en tort moral, parce qu'à ce moment-là, elle était non seulement incapable de discernement mais faisait aussi l'objet d'une curatelle de portée générale.
En effet, il ne ressort pas des faits constatés par la cour cantonale qui lient le Tribunal fédéral (<ref-law>) que l'intimée était " totalement incapable de discernement ", ni au moment de se constituer partie plaignante, ni au moment où elle a pris des conclusions en réparation de son tort moral. En outre, comme l'a relevé à juste titre la cour cantonale, l'intimée s'est constituée partie plaignante le 30 janvier 2016, soit avant qu'elle fasse l'objet d'une curatelle de portée générale par décision du 4 août 2016, de sorte que cet acte est valable. En outre, à supposer qu'elle fût privée de ses droits civils, conformément à l'<ref-law>, avant de prendre des conclusions civiles en tort moral, il n'en demeure pas moins qu'elle pouvait faire une telle demande sans l'aval de son représentant légal, dans la mesure où elle exerçait un droit strictement personnel au sens de l'<ref-law> (cf. <ref-ruling> consid. 5 b/ee p. 196 et les références citées; cf. aussi arrêt 5A_677/2008 du 16 octobre 2008 consid. 2).
8.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaireest rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 20 avril 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann