Faits : A. Par jugement du 13 octobre 2016, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour violation grave qualifiée des règles de la circulation routière à une peine privative de liberté de quinze mois, dont six mois fermes et le solde avec sursis pendant trois ans. Il lui était reproché d'avoir roulé le 22 mai 2013 dans le canton de Vaud au volant de son véhicule automobile à 156 km/h, marge de sécurité déduite, sur un tronçon dont la vitesse maximale autorisée était de 80 km/h. Par jugement du 27 février 2017, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé contre cette décision. B. Le 29 mai 2017, X._ a déposé une demande de révision de ces deux jugements, produisant une lettre datée du 20 avril 2017 et écrite par une prétendue cousine résidant au Portugal, dans laquelle celle-ci s'incriminait pour l'excès de vitesse précité. Par jugement du 6 juin 2017, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a considéré la demande manifestement mal fondée et l'a rejetée dans la mesure où elle était recevable. Elle a mis les frais à la charge du demandeur et a rejeté sa requête d'assistance judiciaire. C. X._ forme un recours auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour qu'elle entre en matière sur la requête de révision, se prononce sur celle-ci et accorde l'assistance judiciaire dans le cadre de la procédure de révision. Il sollicite également le bénéfice de l'assistance judiciaire en vertu de l'art. 64 LTF et requiert que l'exécution des jugements mentionnés supra sous let. A soit suspendue. Par ordonnance du 1er septembre 2017, le Président de la Cour de droit pénal du Tribunal fédéral a écarté cette dernière requête.