Faits : A. Par jugement du 5 novembre 2014, le Tribunal correctionnel de l'arrondissement de Lausanne a acquitté A._ de tentative de meurtre, subsidiairement d'omission de prêter secours, mise en danger de la vie d'autrui, plus subsidiairement de lésions corporelles graves, condamné X._ à une peine privative de liberté de 3 ans pour viol, menaces et tentative de séquestration et enlèvement, dit que X._ est débiteur de A._ de 12'000 fr., avec intérêts à 5% l'an dès le 26 mars 2011, et rejeté les conclusions civiles de X._. B. Statuant sur l'appel de X._, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté celui-ci par jugement du 22 mai 2005. Cette autorité a retenu les faits suivants. Le 25 mars 2011, entre 13h00 et 16h00, A._, née en 1987 en Somalie, s'est rendue au domicile de son cousin éloigné, X._, né en 1972 dans ce même pays. Le motif de sa visite était que X._ lui avait promis de lui restituer une importante somme d'argent. Devant la porte de son appartement, X._ a saisi avec force le bras gauche de A._ pour l'obliger à entrer, tout en lui mettant une main sur la bouche afin qu'elle ne crie pas. A l'intérieur, il a fermé la porte et poussé A._ à plusieurs reprises pour la forcer à se diriger vers la chambre à coucher. Une fois tous deux arrivés dans cette pièce, X._ a jeté A._ sur le lit avant de commencer à la déshabiller de force en lui maintenant les jambes, puis les bras. Alors qu'elle était en slip et soutien-gorge, X._ a filmé A._, ou fait semblant de la filmer, avec son téléphone portable en lui disant que si elle criait, qu'elle se débattait ou qu'elle allait à la police, il diffuserait les images sur Internet. Il lui a encore dit que si sa famille et son ami la voyaient comme cela, ils ne voudraient plus d'elle. Il s'est ensuite jeté sur A._, lui a tenu les bras et lui a arraché son soutien-gorge. Il a mis une main sur la bouche de cette dernière, laquelle, terrorisée, pleurait, et l'a ainsi empêchée de respirer. Il lui a ensuite asséné plusieurs gifles, lui a tiré les cheveux et lui a descendu son slip. Il a, à nouveau, saisi les bras de A._, lui a écarté les jambes avec les siennes et l'a pénétrée vaginalement à plusieurs reprises, sans préservatif. Après avoir éjaculé, X._ s'est retiré de A._ et s'est couché sur le lit. Cette dernière en a alors profité pour quitter la chambre et se rendre dans la cuisine. X._, qui l'avait suivie, s'est alors emparé d'un couteau de cuisine qui se trouvait sur une table et l'a dirigé contre A._ en la menaçant de la tuer si elle criait ou si elle parlait à la police de ce qui s'était passé. Il a ensuite jeté le couteau dans l'évier et a repoussé A._ dans la chambre à coucher avant de la jeter sur le lit. A ce moment, B._, que logeait le prévenu, a pénétré dans le logement et s'est couché sur le canapé. Comme il avait bu de l'alcool, il s'est immédiatement endormi. A._, qui avait entendu le bruit de la porte, a essayé de demander de l'aide en criant, mais X._ lui a mis la main sur la bouche et l'a maintenue un certain temps couchée dans le lit. A._ s'est ensuite relevée et a pris son sac ainsi que son téléphone portable. X._ l'a alors saisie avec force par la mâchoire et lui a pris son téléphone portable avant de se recoucher sur le lit. A._ s'est empressée de s'emparer de son slip, de son pantalon et de son pull et s'est dirigée vers la cuisine. X._ l'a une nouvelle fois suivie et empoignée par derrière. A._ a alors saisi un petit couteau qui se trouvait dans l'évier de la cuisine et a demandé à X._ en vain de la laisser partir, en le menaçant de se suicider. X._ a tenté de prendre le couteau des mains de A._, qui lui a alors asséné un violent coup au niveau du cou en se retournant. Dans l'action, A._ s'est blessée au petit doigt. Elle a quitté l'appartement, le couteau à la main, et a demandé à des passants d'appeler la police. X._ a souffert d'une plaie cervicale gauche avec section de la veine jugulaire antérieure gauche, d'une lacération du lobe thyroïdien et du pneumo-médiastin, qui a nécessité une hospitalisation de trois jours. Le 25 mars 2011, A._ a déposé plainte et s'est constituée partie plaignante. Le 6 octobre 2011, X._ en a fait de même. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut principalement à sa réforme, en ce sens que A._ est condamnée pour lésions corporelles graves et mise en danger de la vie d'autrui, qu'il est libéré des chefs d'accusation de viol, menaces et tentative de séquestration et d'enlèvement, et que les conclusions civiles de A._ sont rejetées. Bien qu'il ne prenne pas de conclusions formelles sur ce point, il ressort de la motivation de son recours qu'il conclut également à ce que A._ soit condamnée à lui verser le montant de 8'000 fr., avec intérêts à 5% l'an dès le 26 mars 2011, à titre de réparation pour tort moral. Subsidiairement, il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouveau jugement dans le sens des considérants. En substance, il se plaint de la violation du principe de la présomption d'innocence consacré à l'art. 10 CPP, d'arbitraire dans l'établissement des faits et de la violation des art. 15 et 42 CP. Il sollicite l'octroi de l'assistance judiciaire. Des observations n'ont pas été requises.