Faits : A. Par jugement du 24 juin 2014, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ du chef d'accusation de contravention à la LStup (RS 812.121) et l'a condamné pour lésions corporelles simples, lésions corporelles simples qualifiées, voies de fait qualifiées, mise en danger de la vie d'autrui, injure, contrainte sexuelle, viol, insoumission à une décision de l'autorité et contravention à la loi [du canton de Vaud] du 19 mai 2009 sur les contraventions (LContr; RSV 312.11) à une peine privative de liberté de 3 ans et à une amende de 500 fr. - convertible en cas de non-paiement fautif en une peine privative de liberté de substitution de 5 jours -, peine complémentaire à celle infligée par le Ministère public de l'arrondissement de Lausanne le 4 octobre 2013. B. Statuant sur les appels formés par X._ et le Ministère public de l'arrondissement de Lausanne, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud les a très partiellement admis en ce sens qu'elle a notamment libéré celui-là des chefs d'accusation de contravention à la LStup et de voies de fait qualifiées et l'a condamné à une peine privative de liberté de 3 ans et à une amende de 500 fr., convertible en cas de non-paiement fautif en une peine privative de liberté de substitution de 5 jours. En bref, il en ressort les faits suivants. X._ et A._ se sont rencontrés en juillet 2009 et ont noué une relation sentimentale. En août 2009, A._ s'est installée chez le prénommé. Dès ce moment, il a commencé à la violenter physiquement. Après une énième altercation survenue le 24 décembre 2009, le couple s'est séparé et A._ a quitté le logement commun. X._ lui ayant promis qu'il avait changé et qu'il ne s'en prendrait plus physiquement à elle, A._ est retournée vivre auprès de lui dès mars ou avril 2010. Toutefois, quelque temps après la reprise de la vie commune, X._ s'en est pris plusieurs fois physiquement et sexuellement à sa compagne. Encouragée par sa soeur, B._, qu'elle avait appelée à l'aide le 29 août 2010, A._ a, ce jour-là, quitté définitivement X._. Selon l'extrait du casier judiciaire suisse de X._, ce dernier a été condamné entre 2001 et 2013 à cinq reprises, dont deux fois pour lésions corporelles simples. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 20 novembre 2014. Il conclut principalement à sa réforme en ce sens qu'il est acquitté des chefs d'accusation de viol et de contrainte sexuelle et condamné à une peine privative de liberté de 9 mois et à une amende de 500 francs. Subsidiairement, il sollicite son annulation et le renvoi de la cause à la cour cantonale pour nouveau jugement.