Faits : A. Par jugement du 2 décembre 2013, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour viol et contrainte sexuelle à une peine privative de liberté de trois ans. B. Par jugement du 9 avril 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel de X._. Elle a confirmé sa culpabilité s'agissant des infractions précitées, mais a modifié la peine en ce sens qu'elle a assorti la peine privative de liberté de 3 ans d'un sursis partiel portant sur 18 mois, avec délai d'épreuve de 2 ans. Ce jugement est fondé sur les éléments de faits suivants. Au mois d'avril 2007, Y._, alors âgée de 25 ans et qui souffrait de dépression, a rencontré Z._. Cette dernière lui a alors présenté X._, lequel était à même, selon les dires de cette connaissance, de soigner ses maux et son mal-être par une médecine alternative, traditionnelle et issue de sa religion. Dès le mois de juin 2007, Y._, qui s'est laissée convaincre par les talents de guérisseur qui lui avaient été vantés, s'est rendue à plusieurs reprises au domicile de X._. A une reprise, alors qu'elle se trouvait seule chez lui, ce dernier a demandé à Y._ d'entretenir une relation sexuelle avec lui. Celle-ci, qui se trouvait à ce moment-là assise sur un canapé, a refusé. X._ l'a alors tirée par le bras, ce qui l'a fait basculer sur le matelas où il avait pris place. Il l'a maintenue à cet endroit, utilisant une main pour lui tenir les deux bras remontés au-dessus de sa tête et l'autre pour la déshabiller complètement. X._ a ensuite descendu le pantalon de la tenue tunisienne blanche qu'il portait, puis a violemment pénétré vaginalement Y._. Par la suite, il l'a encore sodomisée. Il n'a pas fait usage de préservatif et a éjaculé en elle. A la suite de ces faits, X._ a déclaré à Y._, qui était tétanisée et qui pleurait, qu'il allait réparer son erreur en l'épousant. Compte tenu de cet engagement, Y._ l'a revu pendant un mois et demi environ, à raison de deux à trois jours par semaine. Lors de ces rencontres, elle a accepté d'entretenir des relations sexuelles avec lui, convaincue qu'ils allaient se marier. X._ n'a finalement plus donné de ses nouvelles à Y._ qui a cherché en vain à le contacter. L'état de santé de cette dernière s'est fortement dégradé, l'empêchant notamment de passer ses examens de fin d'apprentissage et l'amenant à consulter, à tout le moins dès le début de l'année 2008, divers spécialistes, auxquels elle a fait état de l'événement traumatique subi. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 9 avril 2014, concluant à sa réforme, en ce sens qu'il est libéré des accusations portées contre lui. Il sollicite par ailleurs l'assistance judiciaire.