Faits :
A.
Par jugement du 2 décembre 2013, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour viol et contrainte sexuelle à une peine privative de liberté de trois ans.
B.
Par jugement du 9 avril 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel de X._. Elle a confirmé sa culpabilité s'agissant des infractions précitées, mais a modifié la peine en ce sens qu'elle a assorti la peine privative de liberté de 3 ans d'un sursis partiel portant sur 18 mois, avec délai d'épreuve de 2 ans.
Ce jugement est fondé sur les éléments de faits suivants.
Au mois d'avril 2007, Y._, alors âgée de 25 ans et qui souffrait de dépression, a rencontré Z._. Cette dernière lui a alors présenté X._, lequel était à même, selon les dires de cette connaissance, de soigner ses maux et son mal-être par une médecine alternative, traditionnelle et issue de sa religion.
Dès le mois de juin 2007, Y._, qui s'est laissée convaincre par les talents de guérisseur qui lui avaient été vantés, s'est rendue à plusieurs reprises au domicile de X._. A une reprise, alors qu'elle se trouvait seule chez lui, ce dernier a demandé à Y._ d'entretenir une relation sexuelle avec lui. Celle-ci, qui se trouvait à ce moment-là assise sur un canapé, a refusé. X._ l'a alors tirée par le bras, ce qui l'a fait basculer sur le matelas où il avait pris place. Il l'a maintenue à cet endroit, utilisant une main pour lui tenir les deux bras remontés au-dessus de sa tête et l'autre pour la déshabiller complètement. X._ a ensuite descendu le pantalon de la tenue tunisienne blanche qu'il portait, puis a violemment pénétré vaginalement Y._. Par la suite, il l'a encore sodomisée. Il n'a pas fait usage de préservatif et a éjaculé en elle. A la suite de ces faits, X._ a déclaré à Y._, qui était tétanisée et qui pleurait, qu'il allait réparer son erreur en l'épousant. Compte tenu de cet engagement, Y._ l'a revu pendant un mois et demi environ, à raison de deux à trois jours par semaine. Lors de ces rencontres, elle a accepté d'entretenir des relations sexuelles avec lui, convaincue qu'ils allaient se marier. X._ n'a finalement plus donné de ses nouvelles à Y._ qui a cherché en vain à le contacter.
L'état de santé de cette dernière s'est fortement dégradé, l'empêchant notamment de passer ses examens de fin d'apprentissage et l'amenant à consulter, à tout le moins dès le début de l'année 2008, divers spécialistes, auxquels elle a fait état de l'événement traumatique subi.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 9 avril 2014, concluant à sa réforme, en ce sens qu'il est libéré des accusations portées contre lui. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recourant dénonce l'arbitraire dans l'établissement des faits, ainsi que la violation du principe in dubio pro reo.
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur la notion d'arbitraire: <ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 6.1 p. 379). La recevabilité de tels griefs, ainsi que de ceux déduits du droit constitutionnel et conventionnel, suppose l'articulation de critiques circonstanciées (<ref-ruling> consid. 3 p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont, en particulier, irrecevables (cf. <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 6 p. 397).
Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices (arrêt 6B_118/2009 du 20 décembre 2011 consid. 7.2.2 non reproduit in <ref-ruling>).
Lorsque l'appréciation des preuves est critiquée en référence au principe in dubio pro reo (art. 32 al. 1 Cst., 10 al. 1 CPP et 6 par. 2 CEDH), celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
1.2. Le recourant ne remet plus en cause devant la cour de céans qu'il connaît l'intimée et qu'il a agi en tant que guérisseur. Il nie uniquement l'existence de rapports sexuels et la nature contrainte de l'un d'eux. Il ne conteste pas non plus l'existence de troubles psychiques de l'intimée, mais soutient qu'ils pourraient être dus à d'autres causes que le viol. Le recourant discute, dans ce contexte, la valeur probante du certificat médical établi par le Centre A._, en tant qu'il émane d'un thérapeute traitant. Il objecte que, selon le rapport rédigé par le médecin généraliste traitant de l'intimée, cette dernière aurait évoqué la possibilité d'avoir été abusée alors qu'elle était éventuellement sous l'influence de substances toxiques. Une autre pièce médicale ferait état de " viols répétés ". La version de l'intimée aurait ainsi varié et son récit serait flou et peu détaillé en ce qui concerne diverses particularités physiques du recourant (tatouage, dents métalliques, déviation pénienne).
Le seul fait qu'un certificat médical émane d'un médecin traitant ne lui enlève pas toute valeur probante, cette question étant dominée par le principe de libre appréciation des preuves (cf. <ref-law>). En l'espèce, la cour cantonale a relevé la concordance des nombreux certificats médicaux produits par l'intimée ainsi que la gravité des troubles psychiques dont elle souffrait. Il en ressortait que les médecins avaient eu le sentiment que celle-ci avait dit la vérité sur les faits qu'elle reprochait au recourant. De surcroît, l'aggravation très nette de l'état psychique de l'intimée après les faits était établie par les déclarations de plusieurs témoins. La cour cantonale pouvait ainsi, sans arbitraire, relier l'état post-traumatique de l'intimée à une agression sexuelle. Au vu de la cohérence des rapports médicaux, il n'était pas insoutenable d'accorder également foi au certificat émanant du Centre A._. Ce dernier document indique que, compte tenu de l'importance et de l'intensité des symptômes, le délai de trois ans pour déposer plainte est compréhensible. La difficulté de cette révélation permet, de même, de comprendre que l'intimée a pu, dans un premier temps, chercher une explication à son manque de réaction lors de l'agression sexuelle (éventuelle influence de substances toxiques relatée dans le certificat de la Dresse B._). Au demeurant, dans le cadre du principe de la libre appréciation des preuves, le juge du fait peut ne retenir qu'une partie des déclarations d'un témoin globalement crédible (cf. ATF 120 Ia consid. 3 p. 39; arrêt 6B_685/2010 du 4 avril 2011 consid. 2.2.1). Les circonstances dans lesquelles se sont déroulés les faits, ainsi que le temps écoulé depuis lors, expliquent sans difficulté les imprécisions des déclarations de l'intimée, telles que celles relatives à la couleur de deux dents métalliques, à la présence d'une dépigmentation consécutive à l'effacement d'un tatouage ou encore aux particularités anatomiques du recourant. Essentiellement appellatoires, les développements de ce dernier ne démontrent pas que les faits ont été établis de manière arbitraire par la cour cantonale.
1.3. Pour le surplus, le recourant ne conteste ni la qualification juridique des faits ainsi établis ni la fixation de la peine qui lui a été infligée.
2.
Le recours était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, dont le montant sera toutefois fixé en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Bichovsky Suligoj