Faits : A. Par jugement du 21 janvier 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, viol et violation grave des règles de la circulation routière à une peine privative de liberté de quatre ans, sous déduction de deux jours de détention avant jugement. B. Par jugement du 8 juin 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._ et confirmé le jugement du Tribunal correctionnel du 21 janvier 2015. Elle a déduit de la peine la détention subie depuis le jugement de première instance ainsi que dix jours au titre de réparation des conditions de détention illicites. En résumé, cette condamnation repose sur les faits suivants: Depuis l'été 2003 jusqu'en septembre 2005, X._, né en 1975, a régulièrement forcé sa cousine, Y._, née en 1989, à subir divers actes d'ordre sexuel ainsi que des relations sexuelles complètes. Les abus sont intervenus le plus souvent au domicile de la famille de la victime, à qui X._ rendait visite le mercredi après-midi alors qu'elle était seule dans l'appartement. X._ a également abusé de la victime une fois à son domicile, une fois au domicile de sa compagne et à deux occasions dans une forêt. Y._ a expliqué à plusieurs reprises à X._ qu'elle ne voulait pas avoir de relations avec lui et a souvent essayé de se défendre durant l'acte, y compris physiquement, mais sans y parvenir. Y._ a déposé plainte pour l'ensemble de ces faits le 8 mai 2012. Le 23 mars 2013 à A._, sur la route de B._, X._ a commis un dépassement de vitesse de 25 km/h. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à la réforme du jugement d'appel en ce sens qu'il est condamné à une peine privative de liberté de deux ans, sous déduction de deux jours de détention avant jugement, avec sursis pendant telle durée que justice dira, subsidiairement à une peine privative de liberté de trois ans, sous déduction de deux jours de détention avant jugement, avec sursis " de deux ans pendant telle durée que justice dira ", plus subsidiairement à une nouvelle instruction et un nouveau jugement afin que la Cour d'appel pénale du Tribunal cantonal fixe elle-même la peine. Il requiert, en outre, le bénéfice de l'assistance judiciaire.