Faits :
A.
Par jugement du 31 octobre 2016, la Cour d'appel pénale du canton du Vaud a partiellement admis l'appel de X._ et modifié le jugement rendu le 17 mai 2016 par le Tribunal correctionnel de l'arrondissement de la Broye et du Nord Vaudois, comme suit. Elle a libéré X._ du chef de prévention de contravention à la loi fédérale sur les stupéfiants. Elle a constaté qu'il s'était rendu coupable de viol, séquestration et enlèvement, lésions corporelles simples qualifiées, lésions corporelles simples, menaces qualifiées, menaces, contraintes, tentative de contrainte, appropriation illégitime, injure, vol de peu d'importance, violation simple des règles de la circulation, conduite en état d'ébriété, conduite en présence d'un taux d'alcool qualifié dans le sang ou dans l'haleine, conduite sans permis de conduire ou malgré un retrait, conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis, conduite d'un véhicule automobile non couvert par l'assurance responsabilité civile prescrite, usage abusif de permis ou de plaques, tentative d'entrave aux mesures de constatations de l'incapacité de conduire, violation des devoirs en cas d'accident, vol d'usage d'un véhicule automobile et infraction à la loi fédérale sur les armes. X._ a été condamné à une peine privative de liberté de trois ans, à une peine pécuniaire de 15 jours-amende à 10 fr. le jour, peine partiellement complémentaire à celle prononcée le 7 août 2013 par le Ministère public de l'arrondissement du Nord Vaudois ainsi qu'à une amende de 1'000 fr. convertible en 10 jours de peine privative de liberté en cas de non-paiement fautif. La Cour d'appel pénale a de plus ordonné un traitement ambulatoire sous la forme d'un suivi spécialisé dans le traitement des violences conjugales ainsi que le versement par X._ à A._ d'une indemnité pour tort moral de 10'000 francs. Elle a refusé d'allouer des dépens à A._ et ordonné la confiscation et la destruction de la marijuana séquestrée.
En bref, la Cour d'appel pénale a retenu les faits suivants:
- Après un premier divorce et un séjour en prison en août 1999, X._ a entretenu une relation sentimentale avec A._. Cette dernière a donné naissance à un enfant en août 2011. Leur relation a été marquée par de nombreux épisodes de violence.
- En janvier 2010, X._ a donné à A._, qui disait vouloir le quitter, un coup de pied et des gifles provoquant un saignement du nez et de la lèvre. Un mois plus tard, il l'a agressée à coups de poing et de pied au visage et au ventre puis l'a lancée contre un mur en la menaçant de mort. En avril 2010, alors que A._ lui demandait de cesser de consommer de l'alcool, il l'a saisie à la gorge; l'arrivée fortuite d'un tiers a mis fin à l'altercation. Le 18 août 2010, à U._, A._ a passé un appel téléphonique à un assureur sans mettre l'appareil sur haut-parleur. X._ l'a alors giflée en la faisant saigner du nez. Un constat établi le 20 août 2010 par l'unité de médecine de violence du centre universitaire romand de médecine légale indique que A._ souffrait d'une légère tuméfaction sur le côté droit du nez ainsi qu'un discret hématome en regard du bord inférieur de l'orbite gauche. A._ a déposé plainte le 18 août 2010.
- Les 12, 23 et 28 octobre ainsi que les 7, 14 et 27 novembre 2010, contrarié par des habitudes ou des propos de A._, voire par sa simple présence, X._ l'a enfermée dans les toilettes de son domicile à U._ et l'y a maintenue, contre sa volonté, entre 1h00 et 1h30. A trois reprises, il l'a ensuite contrainte à l'acte sexuel. A chaque fois, A._ s'y est opposée mais en raison des menaces proférées à son encontre et des violences subies, elle a fini par céder. La dernière fois, grâce à l'arrivée inopinée d'un tiers durant l'agression, elle est parvenue à s'enfuir chez ses parents.
- X._ a commis plusieurs infractions à la loi sur la circulation routière ainsi qu'à la loi sur les armes. Il a également, à la suite d'une consommation excessive d'alcool, insulté, giflé et menacé de mort plusieurs personnes et subtilisé les clés d'un véhicule automobile ne lui appartenant pas.
B.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 31 octobre 2016. Il conclut, avec suite de frais et dépens, à la réforme de cette décision, en ce sens qu'il est libéré des chefs d'accusation de viol, séquestration, menaces et enlèvement, qu'il est condamné à une peine privative de liberté de six mois pour les autres infractions et que les prétentions de A._ en indemnisation du tort moral sont rejetées. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour qu'il soit libéré des chefs d'accusation de viol, séquestration, menaces et enlèvement et condamné uniquement à une peine privative de liberté de six mois pour les autres infractions et que les prétentions de A._ en indemnisation du tort moral sont rejetées. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Invoquant l'<ref-law>, le recourant se plaint d'un établissement inexact des faits, de violations de l'interdiction de l'arbitraire ainsi que du principe in dubio pro reo.
Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, cf. <ref-ruling> consid. 3.4 p. 53; <ref-ruling> consid. 6.1 p. 205).
La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant l'appréciation des preuves que le fardeau de la preuve (<ref-ruling> consid. 2a p. 40 s.; <ref-ruling> consid. 2c p. 36 s.; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82 s.). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. C'est ainsi à l'accusation d'établir la culpabilité du prévenu, et non à celui-ci de démontrer qu'il n'est pas coupable. La présomption d'innocence est violée lorsque le juge rend un verdict de culpabilité au seul motif que le prévenu n'a pas prouvé son innocence (<ref-ruling> consid. 2a p. 40; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.4 p. 368).
2.
Dans un premier grief, le recourant soutient que l'autorité précédente a écarté les doutes qu'elle éprouvait sur les déclarations de l'intimée en se fondant sur des condamnations antérieures du recourant pour viol alors qu'elles ne figuraient plus au casier judiciaire.
L'instance précédente a admis que si des doutes pouvaient surgir sur les accusations de viols et de séquestration en raison de la persistance des sentiments de l'intimée envers le recourant, ils pouvaient être levés pour plusieurs motifs. Elle a confirmé l'appréciation des premiers juges qui, ayant longuement vu et entendu les parties, ont souligné le contexte de violence dans le couple, l'emprise du recourant sur l'intimée et les nombreuses menaces proférées, expliquant ainsi l'absence de réaction de l'intimée face aux agressions subies. L'autorité précédente s'est également appuyée sur les déclarations des thérapeutes de l'intimée qu'elle a jugées crédibles. Elle s'est également fondée sur l'expertise psychiatrique du recourant qui met en évidence l'angoisse profonde du traumatisme lié à la perte du lien. L'autorité précédente a souligné que les épisodes d'enfermement dans les toilettes sont si particuliers qu'ils ont l'accent de la vérité. L'intime conviction de cette autorité n'est donc pas fondée, comme le prétend le recourant, sur ses antécédents judiciaires, dont l'inscription a été radiée. L'autorité précédente a indiqué, en réponse au grief du recourant, que la jurisprudence fédérale exclut de tenir compte des condamnations radiées à charge dans le cadre de l'appréciation de la peine ou de l'octroi du sursis. Une fois écoulé le délai d'élimination, il n'est plus possible de tenir compte des antécédents que pour l'établissement d'une expertise (<ref-ruling> consid. 5 i.f. p. 96). En l'espèce, l'expertise psychiatrique a pris en compte les antécédents du recourant pour apprécier la personnalité du recourant, ce que précisément la jurisprudence citée autorise.
3.
Dans un deuxième grief, le recourant souligne l'incohérence de l'autorité précédente sur la qualification du récit de l'intimée qu'elle juge à la fois clair et constant tout en soulignant les contradictions dont il serait émaillé.
L'autorité précédente a examiné quels étaient les éléments qui parlaient en faveur du récit de l'intimée, à savoir la qualité de son discours, sa sincérité, l'existence d'un certificat médical confirmant les faits rapportés, les circonstances du dévoilement du viol, les textos adressés au recourant et les déclarations des divers témoins confirmant les dires de l'intimée. Cette autorité a également relevé quelques contradictions non pas, comme le soutient le recourant, au niveau du discours de l'intimée, mais au niveau de son comportement. Or, l'expertise a précisément permis d'expliquer les raisons pour lesquelles l'intimée est restée auprès du recourant malgré les violences subies et pourquoi elle persistait à revenir vers lui malgré ces violences. Les éléments invoqués par le recourant ne permettent pas de retenir que l'appréciation des preuves serait entachée d'arbitraire.
4.
Le recourant soutient que l'autorité précédente a fait siennes les déclarations de la psychologue sans les discuter et que les témoignages retenus à charge sont emprunts de partialité. Ce faisant, le recourant tente d'imposer son appréciation des preuves, sans démontrer en quoi l'autorité précédente aurait établi les faits de manière insoutenable. Il se contente de mettre en doute les explications de la psychologue sans motiver ce grief. Il fait de même avec les déclarations des témoins, prétendant qu'ils seraient empreints d'animosité et devraient ainsi être écartés en raison de leur partialité. Il oublie toutefois de mentionner qu'il s'en est pris verbalement et physiquement à ces personnes, confirmant ainsi sa propension aux actes violents. Le grief doit être écarté dans la mesure où il est recevable.
5.
Le recourant soutient que le comportement ambivalent de l'intimée aurait dû amener l'autorité précédente à mettre en doute ses déclarations.
Cette autorité s'est appuyée sur l'appréciation des premiers juges pour confirmer la crédibilité des déclarations de l'intimée. Ceux-ci ont mis en évidence son comportement paradoxal et ambigu, relevant à la fois l'affection de l'intimée pour le recourant malgré les violences subies et ses déclarations partielles puisqu'elle a d'abord tu être retournée auprès de lui avant de le dénoncer. Ils ont souligné que ces ambiguïtés ne décrédibilisaient pas le récit de l'intimée mais étaient la preuve de son immaturité et de l'emprise exercée par le recourant. L'autorité précédente s'est également appuyée sur les déclarations des thérapeutes ainsi que sur l'expertise psychiatrique du recourant qui ont déjà été discutées (cf. supra consid. 2). En définitive, le recourant cherche à discréditer le comportement de l'intimée, exploitant sa faiblesse et mettant en doute la problématique du mécanisme des violences conjugales. Sa version des faits repose uniquement sur ses propos, lesquels ne démontrent aucunement en quoi l'appréciation des preuves opérée par l'autorité précédente serait insoutenable. Une telle argumentation est insuffisante et, partant, irrecevable.
6.
Dans un dernier grief, le recourant soutient que l'autorité précédente ne pouvait pas invoquer l'expertise psychiatrique pour établir sa culpabilité.
Le recourant développe sur ce point une argumentation purement appellatoire et, partant, irrecevable, par laquelle il discute librement l'appréciation de l'expertise psychiatrique à laquelle s'est livrée l'autorité précédente, sans démontrer en quoi cette dernière en aurait tiré des conclusions insoutenables. Au demeurant, il ressort du rapport d'expertise que le recourant souffre d'une « personnalité profondément abandonnique avec crainte d'effondrement à chaque rupture de lien (...) dans ces moments, il peut se montrer violent, dans un recours à l'agir impulsif et non contrôlé pour pallier l'effondrement ». Contrairement aux affirmations du recourant, l'expert ne s'est pas prononcé sur la culpabilité du recourant mais a estimé que la structure de sa personnalité pouvait le conduire à la violence. L'autorité précédente pouvait, sans verser dans l'arbitraire, prendre en compte l'expertise psychiatrique pour apprécier la culpabilité du recourant.
7.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable.
Comme il était dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>). L'intimée, qui n'a pas été invitée à se déterminer sur le recours, ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 décembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod