Faits:
A.
Par jugement du 31 août 2012, le Tribunal correctionnel de l'arrondissement de la Côte a déclaré A.X._ coupable d'actes d'ordre sexuel avec des enfants, de tentatives d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle, de contrainte et de viol. Il l'a condamné à une peine privative de liberté de 30 mois, sous déduction de 5 jours de détention avant jugement, peine complémentaire à trois peines prononcées antérieurement. Cette autorité a suspendu l'exécution d'une partie de la peine portant sur 18 mois, a fixé au condamné un délai d'épreuve de trois ans, a renoncé à révoquer les deux sursis précédemment accordés et a condamné A.X._ à payer à titre d'indemnité pour tort moral un montant de 20'000 fr. à C.Y._ et un montant de 2'231.60 fr. à E.Y._ à titre d'indemnité pour les dépens occasionnés par la procédure.
B.
Ce jugement a été confirmé le 14 mars 2013 par la Cour d'appel pénal du Tribunal cantonal vaudois sauf en ce qui concerne le caractère complémentaire de la peine et la question de la révocation des sursis.
Les faits à la base de la condamnation sont en résumé les suivants:
A.X._ a épousé en septembre 2004 en 3èmes noces B.Y.X._ et a vécu avec elle et ses filles issues d'un précédent mariage avec E.Y._ et dont elle avait la garde, soit C.Y._, née le 20 septembre 1993, et D.Y._, née le 26 février 1997.
Dès 2002, connaissant d'importantes difficultés scolaires, C.Y._ a été suivie par une psychologue scolaire, particulièrement l'année 2008-2009. Après le déménagement de la famille à Saint-Cergue en 2005, alors qu'elle était âgée de 12 ans, C.Y._ a souffert de crises d'angoisse et est devenue très agressive tant physiquement que verbalement avec sa mère et son beau-père. E.Y._ s'est adressé à la justice de paix en janvier 2006. C.Y._ et sa soeur ont bénéficié d'une mesure de surveillance éducative au sens de l'article 307 CC entre novembre 2006 et 2009.
A Saint-Cergue, dans le courant de l'année 2005, aux alentours de midi, A.X._ s'est rendu dans la cuisine du logement familial où se trouvait C.Y._. Il s'est positionné derrière elle, l'a prise dans ses bras et lui a caressé la poitrine par-dessus les habits. La jeune fille a fait appel à sa soeur cadette, prétextant un problème dans la cuisine, et A.X._ a cessé ses agissements.
La même année à l'occasion d'une fête de famille, A.X._ s'est rendu à la salle de bain où se trouvait C.Y._. À cet endroit, il a tenté d'embrasser la jeune fille qui a manifesté son opposition en tournant la tête. A.X._ ayant remarqué la présence d'un voisin en regardant par la fenêtre, a mis un terme à ses agissements.
Toujours à Saint-Cergue, en automne 2005, alors qu'il était seul en début de soirée, A.X._ a rejoint C.Y._ qui se trouvait dans la chambre parentale. Il a cherché à la prendre dans ses bras. Cette dernière lui a dit qu'elle ne voulait pas. A.X._ lui a alors intimé l'ordre de se taire tout en lui disant que cela allait bien se passer. Apeurée, C.Y._ n'est pas parvenue à crier. A.X._ l'a déshabillée de force et, alors que la jeune fille tentait de se débattre, lui a donné un coup au visage au niveau de la pommette gauche. A.X._ s'est dévêtu, ne gardant qu'un T-shirt. Il est revenu vers la jeune fille, qui s'était couverte à l'aide de son duvet, son sexe en érection et, après avoir retiré le duvet, l'a pénétrée vaginalement. Tétanisée, C.Y._ n'a pas réagi. Pleurant et encore choquée au retour de sa mère, elle n'a pas osé lui avouer ce qui venait de se produire de crainte de lui faire de la peine.
Quelques mois plus tard, lors d'une dispute avec son beau-père, ce dernier a saisi C.Y._ par les cheveux et a déclaré que si elle parlait à quelqu'un de ce qui s'était passé, il agirait de la même manière avec sa soeur. Compte tenu de ces menaces, C.Y._ a gardé secret le comportement de son beau-père jusqu'en 2010. Lors d'un entretien avec la psychologue scolaire, C.Y._ a alors confié avoir été maltraitée par son père, avant de revenir sur ses déclarations et dire qu'elle avait été victime d'abus sexuels, sans pour autant mentionner le nom de leur auteur. Peu après cet entretien, elle a finalement confié ce que A.X._ lui avait fait subir à l'épouse de son père, avec qui elle avait développé un lien de confiance particulier.
C.
A.X._ forme un recours en matière pénale contre le jugement rendu sur appel. Il conclut à l'annulation de ce dernier, à son acquittement et au rejet des conclusions civiles, à l'octroi d'une indemnité pour tort moral et subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision. Il sollicite aussi l'assistance judiciaire.
Il n'a pas été requis d'observations.

Considérant en droit:
1.
1.1. Aux termes de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit donc, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (<ref-ruling> consid. 4.1 p. 235; <ref-ruling> consid. 1.5 p. 674; 232 consid. 1.2 p. 234). Le Tribunal fédéral n'a pas à vérifier de lui-même si l'acte entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans le mémoire de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 2.5 p. 314; <ref-ruling> consid. 1.4 p. 254; III 393 consid. 6 p. 397).
1.2. Le recourant invoque une violation du principe de la bonne foi, du droit à un procès équitable et de la maxime d'instruction (art. 3 et 6 CPP). Dans une motivation peu claire, il prétend qu'un rapport de police est entaché d'un vice grave de procédure, qu'un inspecteur de police a eu un comportement contraire à la bonne foi, qu'il n'a pas instruit l'affaire à sa décharge et que le jugement attaqué viole le droit dans la mesure où il se base sur les déclarations de cet inspecteur et qu'il ne retient pas un fait qui lui est favorable, soit que le matelas sur lequel se seraient déroulés les faits n'était pas tâché de sang, contrairement aux déclarations de la victime.
Outre que la motivation du grief ne répond pas aux exigences rappelées ci-dessus (consid. 1.1), dans la mesure où le recourant entend contester l'enquête menée par la police ou invoquer un vice de procédure, son grief est à l'évidence tardif. Le recourant n'allègue pas avoir ignoré les vices qu'il invoque. Il lui appartenait dès lors de les soulever lors de l'enquête ou aux débats puis de contester si nécessaire les décisions rendues en appel. En application des règles de la bonne foi en procédure, la jurisprudence exige en effet de celui qui entend exercer ses droits, ceux de la défense en particulier, un comportement actif, en temps utile et adéquat, la partie ne pouvant se réserver l'invocation ultérieure de vice de procédure pour l'hypothèse d'une issue défavorable de la procédure (<ref-ruling> consid. 2.2 p. 336). Cette partie de son grief est irrecevable.
Quant à la remise en cause de l'appréciation du témoignage du policier ou l'allégation selon laquelle le jugement attaqué aurait ignoré un fait déterminant, cette partie du grief se confond avec celui d'arbitraire, qui sera examiné ci-dessous dans la mesure de sa recevabilité.
2.
Le recourant reproche au jugement attaqué de violer la présomption d'innocence et le principe in dubio pro reo (art. 6 § 2 CEDH et 10 CPP) et d'être arbitraire.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 2.4 p. 5). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire, détaillée (<ref-ruling> consid. 1.4 p. 287) et circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> c. 5.1 p. 356 et les références citées).
2.2. Les premiers juges, suivis par la cour cantonale, ont admis la culpabilité du recourant et retenu la version de la victime sur la base d'une série d'éléments, soit la crédibilité des déclarations de la victime, attestée également par tous les intervenants, les difficultés de comportement de la victime, notamment les signes de souffrance psychique à mettre en lien avec l'expérience d'une sexualité forcée et trop précoce et le caractère singulier du recourant et sa sexualité insolite.
2.3. Le recourant soutient que les difficultés de comportement de la victime sont déjà antérieures à son arrivée dans la famille et qu'il est erroné de faire un lien entre les souffrances psychiques de l'intimée et le comportement qui lui est reproché.
Or, d'une part, le jugement attaqué, reprenant l'appréciation des premiers juges (jugement du 31 août 2012, p. 46), analyse le comportement de la victime avant et après les révélations. D'autre part, il relève que le comportement de la victime est allé en s'aggravant lorsqu'elle habitait St-Cergue, à la période des faits, où elle était alors dans un état catastrophique. Il n'ignore donc pas, contrairement à ce que prétend le recourant, que la victime rencontrait déjà des difficultés avant les faits (jugement du 31 août 2012, p. 46), mais retient que tout le monde s'entend pour reconnaître que la situation s'est gravement péjorée à l'époque des faits. Affirmer, comme le fait le recourant, qu'il est erroné de faire un lien entre les souffrances psychiques de la victime et le comportement qui lui est reproché non seulement ne remplit pas les exigences de motivation rappelées ci-dessus et est purement appellatoire, mais encore ne permet pas de qualifier d'arbitraire l'appréciation cantonale, qui est dûment motivée.
2.4. Le recourant relève une série d'éléments qui auraient dû faire douter de sa culpabilité.
2.4.1. Il est évident qu'une condamnation pour abus sexuel peut être prononcée sans arbitraire indépendamment de la question de savoir si le prévenu avait des fichiers illicites, notamment pédophiles, sur son ordinateur ou des antécédents en matière d'infraction sexuelle. Ensuite, même si la victime a dit à un moment donné à son père que le recourant était con mais plutôt gentil, cela ne rend nullement insoutenables les déclarations de la jeune fille sur les faits imputés au recourant ni sa condamnation.
2.4.2. Le jugement attaqué, reprenant le premier jugement, considère qu'il n'est pas pertinent que ni la mère, ni la soeur de la victime ne se souviennent d'une blessure qui aurait été visible, cette lésion pouvant paraître anodine (jugement du 31 août 2012, p. 43). En affirmant le contraire ou en relevant certaines déclarations de tiers le qualifiant de non-violent, le recourant ne fait qu'opposer sa propre appréciation à celle de l'autorité précédente sans démontrer le caractère arbitraire de celle-là, ce qui n'est pas admissible. Au demeurant, les extraits des déclarations citées ne suffisent pas à démontrer un éventuel arbitraire du jugement attaqué.
2.4.3. Le raisonnement des premiers juges, repris dans le jugement attaqué, n'ignore pas que les premières déclarations sont intervenues dans un contexte qui n'était pas forcément idéal. Il arrive à la conclusion qu'il n'apparaît pas qu'elles auraient pu être influencées. L'interrogatoire qui a suivi le premier récit de la victime ne prête pas flanc à la critique et la version de l'intimée est accréditée par une série d'éléments probants qui permettent de la qualifier de fondée (jugement du 31 août 2012, p. 49).
En affirmant que le père et la belle-mère de la victime ont téléguidé ses déclarations, le recourant ne fait une nouvelle fois qu'opposer son appréciation à celle du jugement attaqué, ce qui n'est pas recevable.
Il en est de même lorsque le recourant reproche aux autorités de jugement d'avoir refusé de considérer que les faits narrés par la victime étaient mensongers, alors qu'elle avait menti tout d'abord en accusant faussement son père de maltraitance. Il ne démontre en rien en quoi l'appréciation des premiers juges (jugement du 31 août 2012, p. 44 et 45), à laquelle renvoie le jugement attaqué, serait insoutenable et il n'y a pas lieu d'examiner son grief.
2.4.4. Le recourant reproche au jugement attaqué de se fonder sur les déclarations d'un inspecteur de police pour apprécier la crédibilité de la victime, alors que, selon lui, cet inspecteur aurait sciemment dissimulé le résultat de l'expertise du matelas sur lequel se sont déroulés les faits.
Cependant, pour asseoir leur conviction, les juges cantonaux ne se sont pas fondés sur la présence d'une tâche sur le matelas et cet élément de fait n'est dès lors pas pertinent. L'absence de toute tâche ne permet pas à elle seule de considérer comme insoutenable l'appréciation du récit de la victime qui y aurait fait référence, compte tenu des autres éléments relevés dans le jugement attaqué attestant de la crédibilité des dires de la victime. Quant au témoignage de l'inspecteur mis en cause par le recourant, non seulement les faits allégués par le recourant ne sont pas établis, mais encore ce témoignage n'est de loin pas le seul à confirmer la crédibilité des déclarations de la victime. Le collègue de cet inspecteur l'a aussi fait, ainsi que les parents de la victime, sa soeur, sa belle-mère, une psychologue, un kynésiologue et un enseignant (jugement attaqué, p. 19 ; jugement du 31 août 2012, p. 44). Dans ces conditions, les éléments mis en avant par le recourant ne sont en aucun cas suffisants pour permettre de qualifier l'appréciation des déclarations de la victime d'insoutenable. Le grief du recourant ne peut qu'être rejeté dans la mesure de sa faible recevabilité.
2.4.5. Enfin, le recourant oppose encore sa propre appréciation des faits à celle des juges cantonaux (jugement attaqué, p. 19; jugement du 31 août 2012, p. 47 à 49) en contestant qu'on puisse tenir compte d'un comportement singulier de sa part en matière de sexualité ou du témoignage d'une ex-amie, qui aurait gardé une certaine rancoeur contre lui et prétendu qu'il la droguait, tout en ignorant les déclarations d'une ex-épouse et de la mère de la victime, qui auraient qualifié sa sexualité de normale. A nouveau, opposer sa propre appréciation des faits en citant notamment des déclarations isolées ou en les interprétant ne suffit pas pour répondre aux exigences de motivation rappelées ci-dessus (cf. consid. 2.1). Au demeurant, les déclarations citées ne permettent pas de taxer d'arbitraire le raisonnement cantonal.
3.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recours étant dénué de chance de succès, la requête d'assistance judiciaire doit également être rejetée. Le recourant devra supporter les frais, dont le montant sera fixé en tenant compte de sa situation financière défavorable (<ref-law>). L'intimée, qui n'a pas été amenée à se déterminer, n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 2 septembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod