Faits :
A.
Par jugement du 21 janvier 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, viol et violation grave des règles de la circulation routière à une peine privative de liberté de quatre ans, sous déduction de deux jours de détention avant jugement.
B.
Par jugement du 8 juin 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._ et confirmé le jugement du Tribunal correctionnel du 21 janvier 2015. Elle a déduit de la peine la détention subie depuis le jugement de première instance ainsi que dix jours au titre de réparation des conditions de détention illicites.
En résumé, cette condamnation repose sur les faits suivants:
Depuis l'été 2003 jusqu'en septembre 2005, X._, né en 1975, a régulièrement forcé sa cousine, Y._, née en 1989, à subir divers actes d'ordre sexuel ainsi que des relations sexuelles complètes. Les abus sont intervenus le plus souvent au domicile de la famille de la victime, à qui X._ rendait visite le mercredi après-midi alors qu'elle était seule dans l'appartement. X._ a également abusé de la victime une fois à son domicile, une fois au domicile de sa compagne et à deux occasions dans une forêt. Y._ a expliqué à plusieurs reprises à X._ qu'elle ne voulait pas avoir de relations avec lui et a souvent essayé de se défendre durant l'acte, y compris physiquement, mais sans y parvenir. Y._ a déposé plainte pour l'ensemble de ces faits le 8 mai 2012.
Le 23 mars 2013 à A._, sur la route de B._, X._ a commis un dépassement de vitesse de 25 km/h.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à la réforme du jugement d'appel en ce sens qu'il est condamné à une peine privative de liberté de deux ans, sous déduction de deux jours de détention avant jugement, avec sursis pendant telle durée que justice dira, subsidiairement à une peine privative de liberté de trois ans, sous déduction de deux jours de détention avant jugement, avec sursis " de deux ans pendant telle durée que justice dira ", plus subsidiairement à une nouvelle instruction et un nouveau jugement afin que la Cour d'appel pénale du Tribunal cantonal fixe elle-même la peine. Il requiert, en outre, le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant ne remet pas en cause le verdict de culpabilité rendu par la cour cantonale. S'en prenant exclusivement à la fixation de la peine sous l'angle de l'art. 48 let. e CP, il reproche à l'autorité précédente d'avoir ignoré cette disposition.
1.1. L'art. 48 let. e CP conduit à l'atténuation de la peine à la double condition que l'intérêt à punir ait sensiblement diminué en raison du temps écoulé depuis l'infraction et que l'auteur se soit bien comporté dans l'intervalle. La jurisprudence admet qu'il s'est écoulé un temps relativement long au sens de l'art. 48 let. e CP lorsque les deux tiers du délai de prescription de l'action pénale ont été atteints. Le juge peut toutefois réduire ce délai pour tenir compte de la nature et de la gravité de l'infraction (<ref-ruling> consid. 3.1 p. 147 s.; <ref-ruling> consid. 6.2 p. 2 ss). Pour déterminer si l'action pénale est proche de la prescription, le juge doit se référer à la date à laquelle les faits ont été souverainement établis, et non au jugement de première instance (moment où cesse de courir la prescription selon l'<ref-law>). Ainsi, lorsque le condamné a fait appel, il faut prendre en considération le moment où le jugement de seconde instance a été rendu dès lors que ce recours a un effet dévolutif (cf. <ref-law>; <ref-ruling> consid. 3.1 p. 148; <ref-ruling> consid. 6.2.1 p. 4).
1.2. S'agissant de la fixation de la peine, la cour cantonale a déclaré faire siennes les constatations du Tribunal correctionnel, notamment la conclusion des premiers juges selon laquelle il n'existait aucun élément déterminant à la décharge du prévenu " sous réserve de l'ancienneté des faits " (jugement entrepris, consid. 6 p. 19 s.; jugement du 21 janvier 2015, consid. 4 p. 20). Elle a encore précisé que " malgré l'écoulement du temps, la peine est adéquate, la culpabilité du recourant étant lourde objectivement et subjectivement " (jugement entrepris, consid. 6 p. 20). Il découle de la motivation du jugement attaqué que la cour cantonale a tenu compte de l'écoulement du temps depuis la commission des infractions dans le cadre général de la fixation de la peine au sens de l'<ref-law>. En revanche, elle n'a pas appliqué la circonstance atténuante de l'art. 48 let. e CP, comme cela ressort également du dispositif du jugement attaqué. Le recourant invoquant l'application de cette disposition en sa faveur, il sied de déterminer si les conditions en sont réunies.
1.3. Selon l'état de fait cantonal, les atteintes à l'intégrité sexuelle de Y._ ont été commises entre l'été 2003 et septembre 2005. S'agissant d'actes séparés et ponctuels, qui se sont déroulés à des moments différents durant plusieurs années, une unité d'action est exclue (<ref-ruling> consid. 2.4 p. 90 s.; arrêt 6S.397/2005 du 13 novembre 2005 consid. 2). La commission de chacun des actes fait donc partir son propre délai de prescription (<ref-law>). Les infractions de viol (<ref-law>), contrainte sexuelle (<ref-law>) et actes d'ordre sexuel avec des enfants (<ref-law>) se prescrivant par quinze ans (<ref-law>), les deux tiers du délai de prescription correspondent à une durée de dix ans, étant précisé que les art. 97 al. 2 et 101 let. c CP sont sans portée en l'espèce. Lorsque la cour cantonale a statué le 8 juin 2015, plus des deux tiers du délai de prescription s'étaient donc écoulés s'agissant de tous les actes antérieurs au 9 juin 2005. En revanche, ce terme n'était pas atteint pour les actes commis après le 8 juin 2005.
La première condition cumulative de l'art. 48 let. e CP étant remplie s'agissant des actes commis entre l'été 2003 et le 8 juin 2005, il convient de rechercher si la seconde condition cumulative, relative au bon comportement de l'auteur, l'est également. Selon les constatations cantonales, que le recourant ne critique pas, des abus ont été commis jusqu'en septembre 2005. Il s'ensuit que le recourant ne peut prétendre s'être bien comporté jusqu'en septembre 2005, soit durant une partie de l'intervalle correspondant aux deux tiers du délai de prescription pour l'ensemble des infractions en question. Par ailleurs, la gravité objective des faits ne justifie d'aucune manière de prendre en considération un délai plus court que les deux tiers du délai de prescription. De surcroît, le recourant s'est encore signalé en mars 2013 par une infraction à la LCR. Il en découle que la seconde condition cumulative de l'art. 48 let. e CP n'est pas remplie.
La cour cantonale n'a donc pas violé le droit fédéral en ne mettant pas le recourant au bénéfice de l'art. 48 let. e CP. On renvoie, pour le surplus, quant à la quotité de la peine et à l'application de l'<ref-law>, aux considérants des autorités cantonales, qui ne prêtent pas le flanc à la critique (<ref-law>).
2.
Le recours doit ainsi être rejeté. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 septembre 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy