Faits :
A.
Par jugement du 24 juin 2014, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ du chef d'accusation de contravention à la LStup (RS 812.121) et l'a condamné pour lésions corporelles simples, lésions corporelles simples qualifiées, voies de fait qualifiées, mise en danger de la vie d'autrui, injure, contrainte sexuelle, viol, insoumission à une décision de l'autorité et contravention à la loi [du canton de Vaud] du 19 mai 2009 sur les contraventions (LContr; RSV 312.11) à une peine privative de liberté de 3 ans et à une amende de 500 fr. - convertible en cas de non-paiement fautif en une peine privative de liberté de substitution de 5 jours -, peine complémentaire à celle infligée par le Ministère public de l'arrondissement de Lausanne le 4 octobre 2013.
B.
Statuant sur les appels formés par X._ et le Ministère public de l'arrondissement de Lausanne, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud les a très partiellement admis en ce sens qu'elle a notamment libéré celui-là des chefs d'accusation de contravention à la LStup et de voies de fait qualifiées et l'a condamné à une peine privative de liberté de 3 ans et à une amende de 500 fr., convertible en cas de non-paiement fautif en une peine privative de liberté de substitution de 5 jours.
En bref, il en ressort les faits suivants.
X._ et A._ se sont rencontrés en juillet 2009 et ont noué une relation sentimentale. En août 2009, A._ s'est installée chez le prénommé. Dès ce moment, il a commencé à la violenter physiquement. Après une énième altercation survenue le 24 décembre 2009, le couple s'est séparé et A._ a quitté le logement commun. X._ lui ayant promis qu'il avait changé et qu'il ne s'en prendrait plus physiquement à elle, A._ est retournée vivre auprès de lui dès mars ou avril 2010. Toutefois, quelque temps après la reprise de la vie commune, X._ s'en est pris plusieurs fois physiquement et sexuellement à sa compagne. Encouragée par sa soeur, B._, qu'elle avait appelée à l'aide le 29 août 2010, A._ a, ce jour-là, quitté définitivement X._.
Selon l'extrait du casier judiciaire suisse de X._, ce dernier a été condamné entre 2001 et 2013 à cinq reprises, dont deux fois pour lésions corporelles simples.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 20 novembre 2014. Il conclut principalement à sa réforme en ce sens qu'il est acquitté des chefs d'accusation de viol et de contrainte sexuelle et condamné à une peine privative de liberté de 9 mois et à une amende de 500 francs. Subsidiairement, il sollicite son annulation et le renvoi de la cause à la cour cantonale pour nouveau jugement.

Considérant en droit :
1.
Le recours s'ouvre sur une présentation des faits sans que le grief d'arbitraire ne soit soulevé, de sorte qu'il n'y a pas lieu d'examiner ces allégations plus en avant. On n'examinera les points ainsi exposés qu'autant que le recourant développe, dans la suite de son mémoire, des griefs répondant aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF.
2.
Le recourant se plaint d'une constatation manifestement inexacte des faits (<ref-law>) et d'une violation du principe in dubio pro reo (<ref-law>).
2.1. La présomption d'innocence, garantie par les art. 14 par. 2 Pacte ONU II, 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves.
En tant que règle relative au fardeau de la preuve, la présomption d'innocence signifie que toute personne prévenue d'une infraction pénale doit être présumée innocente jusqu'à ce que sa culpabilité soit légalement établie et, partant, qu'il appartient à l'accusation de prouver la culpabilité de l'intéressé. La présomption d'innocence est violée si le juge du fond condamne le prévenu au motif que son innocence n'est pas établie, s'il a tenu la culpabilité pour établie uniquement parce que le prévenu n'a pas apporté les preuves qui auraient permis de lever les doutes quant à son innocence ou à sa culpabilité ou encore s'il a condamné le prévenu au seul motif que sa culpabilité est plus vraisemblable que son innocence (cf. <ref-ruling> consid. 2a p. 40 et les références citées).
Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables au prévenu sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes. A propos de l'appréciation des preuves, le principe in dubio pro reo se confond en définitive avec celui d'appréciation arbitraire des preuves (cf. <ref-ruling> consid. 7 p. 82 et les références citées).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées). Sous peine d'irrecevabilité, l'arbitraire allégué doit être démontré conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 1.4 p. 176; <ref-ruling> consid. 2.8 p. 494). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266 et les références citées).
2.2. La cour cantonale s'est référée à l'appréciation des premiers juges, qui ont acquis la conviction générale de la sincérité de l'intimée en considérant plusieurs éléments convergents, savoir, d'une part, les déclarations constantes et immuables de la prénommée - corroborées par les témoignages de ses proches, de même que par les constatations médicales et les photos qui les étayaient - et, d'autre part, les antécédents du recourant déjà condamné en 2006 pour des lésions corporelles simples et en 2013, pour des faits comparables commis à l'encontre de sa nouvelle compagne. La cour cantonale a estimé que cette appréciation échappait à la critique et devait être confirmée. Elle s'est rapportée à la chronologie des plaintes et dépositions de l'intimée, à propos desquelles elle n'avait pas remarqué d'incohérence ou de variations majeures. Les constatations médicales au dossier corroboraient les récits de l'intimée. S'agissant des agressions sexuelles dénoncées par cette dernière, il était notoire que de telles infractions ne laissaient pas forcément des traces. De plus, la crédibilité de l'intimée reposait sur la constance de ses déclarations, sur les détails sonnant vrais qui les émaillaient (notamment l'évocation d'un saignement à l'anus), sur l'émotion congruente manifestée lors de certains récits aux médecins, sur le diagnostic de stress post-traumatique et sur le schéma habituel du tyran domestique qui étend la domination de sa victime au domaine sexuel. En outre, aucun indice ne supposait que les témoins B._, C._ et D._, qui avaient fait des témoignages précis, mesurés et convaincants, auraient fait des dépositions fausses, en particulier menti sur les confidences de femme battue, marquée de coups et abusée que l'intimée leur avait faites. Il n'y avait dès lors aucun motif d'écarter leurs déclarations. S'agissant du témoignage indirect de E._ selon lequel F._, précédent ami de l'intimée, lui aurait dit que celle-ci aurait accusé celui-là de viol en criant par la fenêtre, et qu'elle aurait réitéré cette accusation en le croisant dans la rue alors qu'elle était accompagnée du recourant, la cour cantonale a considéré qu'il ne pouvait être pris en considération. Le témoin n'avait pas assisté aux faits qu'il évoquait et ne pouvait ainsi en attester ni la véracité ni la fausseté.
2.3. On comprend de l'argumentation du recourant qu'il reproche à la cour cantonale de l'avoir condamné pour contrainte sexuelle et viol au seul motif que sa culpabilité serait plus vraisemblable que son innocence.
La cour cantonale a exposé en détail les faits reprochés. Son raisonnement permet de comprendre qu'elle a considéré que le recourant était l'auteur des agressions sexuelles subies par l'intimée, non en raison du fait que sa culpabilité était plus vraisemblable que son innocence, mais parce que les preuves récoltées permettaient de retenir qu'il était coupable. La cour cantonale n'a donc nullement procédé à un renversement du fardeau de la preuve, ni n'a éprouvé un doute qu'elle aurait interprété en défaveur du recourant. Le grief est infondé. La seule question est donc de savoir si la cour cantonale aurait dû éprouver un doute, ce qui relève de l'appréciation des preuves, et non de la répartition du fardeau de la preuve. Cette question ne peut être examinée que sous l'angle de l'arbitraire.
2.4. Le recourant fait valoir que l'autorité précédente se serait livrée à une constatation erronée et contradictoire des faits en affirmant, d'une part, que l'absence de traces découlant d'une agression sexuelle serait un fait notoire, tout en soulignant, d'autre part, que les saignements de l'anus dont l'intimée avait fait échos auprès des médecins renforceraient sa crédibilité. Il soutient en outre que faute d'éléments matériels probants, en particulier de rapport médical appuyant les déclarations de l'intimée, on ne saurait conclure à l'exactitude des faits tels que présentés par cette dernière sur la simple base de prétendus faits notoires ou de schémas théoriques. La critique du recourant sur ce point est de nature largement appellatoire et est par conséquent irrecevable. D'une part, il omet que la cour cantonale a retenu non seulement qu'il avait fait subir à l'intimée une sodomie - ensuite de quoi elle avait déclaré qu'elle avait saigné au niveau de l'anus - mais aussi qu'il l'avait violée à deux reprises, sans laisser de traces apparentes. C'est ainsi en vain que le recourant cherche des contradictions entre les affirmations de la cour cantonale. D'autre part, il ne montre pas que l'absence de traces répertoriées par les médecins découlant des agressions en cause exclurait totalement la possibilité qu'elle ait subi les violences sexuelles en cause. Il n'est en effet pas inconcevable que ces actes n'aient pas laissé de marques, respectivement que les lésions résultant de l'acte de sodomie se soient résorbées entre le 29 août 2010 et les examens médicaux des 31 août et 1 er septembre 2010. Au demeurant, l'absence de certificat médical établissant les sévices sexuels subis par l'intimée ne suffit pas à mettre en doute l'existence de ceux-ci. Le climat de violence tel qu'il ressort des nombreuses attestations médicales fait apparaître la version des faits de l'intimée plus crédible que celle du recourant. Tout du moins, les éléments invoqués par le recourant ne permettent pas de retenir que l'appréciation des preuves serait entachée d'arbitraire.
Le recourant reproche à la cour cantonale de s'être fondée sur les déclarations contradictoires de la soeur de l'intimée, B._, seul témoin ayant corroboré les allégations de violences sexuelles. Il soutient en outre que la cour cantonale aurait arbitrairement écarté le témoignage constant de E._, tout en précisant que son appréciation pour l'exclure devrait être appliquée mutatis mutandis à celui de B._. A l'appui de sa motivation, il énumère des extraits de procès-verbaux d'audition où cette dernière évoque que sa soeur aurait subi un acte de sodomie durant la nuit du 6 au 7 juin 2010, alors qu'elle n'en aurait pas fait part au Ministère public lors de sa première audition et que l'intimée n'aurait elle-même jamais évoqué de tels faits. Ces déclarations ne sont toutefois pas contradictoires avec le fait que l'intimée ait subi des violences sexuelles. Au demeurant, ce témoignage n'a joué qu'un rôle limité dans la condamnation du recourant et n'est dès lors pas de nature à jeter le discrédit sur les déclarations de l'intimée, au vu des autres indices retenus par la cour cantonale. Quant au témoignage de E._, il n'était pas insoutenable de l'écarter pour le motif invoqué. En effet, ses dires ne sont confirmés par aucun témoin et ne peuvent être considérés comme suffisamment établis. Ainsi, le recourant ne peut tirer argument de ces déclarations pour affirmer que la décision cantonale serait arbitraire dans son résultat. Au surplus, quand bien même il serait déjà arrivé à l'intimée, par le passé, de raconter des faits contraires à la vérité, cela ne permettrait pas encore d'en conclure qu'il était inadmissible de considérer sa version, dans le cas d'espèce, comme crédible. Ici également, l'argumentation du recourant n'est pas propre à démontrer l'arbitraire dans l'appréciation des preuves et la constatation des faits.
Enfin, lorsque le recourant se plaint que la cour cantonale aurait méconnu ses déclarations constantes et n'aurait pas tenu compte de ses antécédents - lesquels démontreraient qu'il n'aurait jamais été condamné pour des infractions contre l'intégrité sexuelle et qu'il ne posséderait aucunement le profil d'un agresseur sexuel - il ne tient aucun compte de l'appréciation des preuves à laquelle s'est livré le tribunal de première instance (cf. jugement p. 33 et 34) et à sa suite la cour cantonale (cf. supra consid. 2.2). Sa version repose uniquement sur ses propos, lesquels ne démontrent aucunement en quoi l'appréciation des preuves opérée par la juridiction cantonale serait insoutenable. Une telle argumentation est insuffisante et, partant, irrecevable. Au demeurant, le fait qu'il n'ait jamais été condamné pour des infractions contre l'intégrité sexuelle n'a pas de portée déterminante en l'espèce. En effet, cela n'enlève rien au caractère violent de ses réactions excessives à la contrariété ou à la frustration, compatibles avec les agressions sexuelles perpétrées au préjudice de l'intimée. En outre, les lésions corporelles pour lesquelles il a été condamné en 2013, commises à l'encontre de sa nouvelle amie, ne parlent pas en sa faveur et viennent confirmer le climat de violence qu'il impose à ses partenaires.
En définitive, les nombreux indices retenus par l'autorité précédente, dont le recourant ne démontre pas le caractère insoutenable, permettaient de retenir, sans arbitraire, que les agressions sexuelles dénoncées avaient effectivement eu lieu. Les dénégations du recourant ne sont pas susceptibles de renverser l'ensemble de ces indices.
3.
Comme le recourant ne remet en cause la quotité de la peine qu'en relation avec ses conclusions en libération du chef des infractions de contrainte sexuelle et de viol, il n'y a pas lieu d'examiner plus avant les éléments de fixation de la peine sous l'angle des art. 47, 49 et 50 CP qu'il ne discute en aucune manière (<ref-law>). Pour le surplus, le recourant ne soulève aucun grief recevable quant à l'application du droit matériel.
4.
Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 15 janvier 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel