Faits: A. Par jugement du 31 août 2012, le Tribunal correctionnel de l'arrondissement de la Côte a déclaré A.X._ coupable d'actes d'ordre sexuel avec des enfants, de tentatives d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle, de contrainte et de viol. Il l'a condamné à une peine privative de liberté de 30 mois, sous déduction de 5 jours de détention avant jugement, peine complémentaire à trois peines prononcées antérieurement. Cette autorité a suspendu l'exécution d'une partie de la peine portant sur 18 mois, a fixé au condamné un délai d'épreuve de trois ans, a renoncé à révoquer les deux sursis précédemment accordés et a condamné A.X._ à payer à titre d'indemnité pour tort moral un montant de 20'000 fr. à C.Y._ et un montant de 2'231.60 fr. à E.Y._ à titre d'indemnité pour les dépens occasionnés par la procédure. B. Ce jugement a été confirmé le 14 mars 2013 par la Cour d'appel pénal du Tribunal cantonal vaudois sauf en ce qui concerne le caractère complémentaire de la peine et la question de la révocation des sursis. Les faits à la base de la condamnation sont en résumé les suivants: A.X._ a épousé en septembre 2004 en 3èmes noces B.Y.X._ et a vécu avec elle et ses filles issues d'un précédent mariage avec E.Y._ et dont elle avait la garde, soit C.Y._, née le 20 septembre 1993, et D.Y._, née le 26 février 1997. Dès 2002, connaissant d'importantes difficultés scolaires, C.Y._ a été suivie par une psychologue scolaire, particulièrement l'année 2008-2009. Après le déménagement de la famille à Saint-Cergue en 2005, alors qu'elle était âgée de 12 ans, C.Y._ a souffert de crises d'angoisse et est devenue très agressive tant physiquement que verbalement avec sa mère et son beau-père. E.Y._ s'est adressé à la justice de paix en janvier 2006. C.Y._ et sa soeur ont bénéficié d'une mesure de surveillance éducative au sens de l'article 307 CC entre novembre 2006 et 2009. A Saint-Cergue, dans le courant de l'année 2005, aux alentours de midi, A.X._ s'est rendu dans la cuisine du logement familial où se trouvait C.Y._. Il s'est positionné derrière elle, l'a prise dans ses bras et lui a caressé la poitrine par-dessus les habits. La jeune fille a fait appel à sa soeur cadette, prétextant un problème dans la cuisine, et A.X._ a cessé ses agissements. La même année à l'occasion d'une fête de famille, A.X._ s'est rendu à la salle de bain où se trouvait C.Y._. À cet endroit, il a tenté d'embrasser la jeune fille qui a manifesté son opposition en tournant la tête. A.X._ ayant remarqué la présence d'un voisin en regardant par la fenêtre, a mis un terme à ses agissements. Toujours à Saint-Cergue, en automne 2005, alors qu'il était seul en début de soirée, A.X._ a rejoint C.Y._ qui se trouvait dans la chambre parentale. Il a cherché à la prendre dans ses bras. Cette dernière lui a dit qu'elle ne voulait pas. A.X._ lui a alors intimé l'ordre de se taire tout en lui disant que cela allait bien se passer. Apeurée, C.Y._ n'est pas parvenue à crier. A.X._ l'a déshabillée de force et, alors que la jeune fille tentait de se débattre, lui a donné un coup au visage au niveau de la pommette gauche. A.X._ s'est dévêtu, ne gardant qu'un T-shirt. Il est revenu vers la jeune fille, qui s'était couverte à l'aide de son duvet, son sexe en érection et, après avoir retiré le duvet, l'a pénétrée vaginalement. Tétanisée, C.Y._ n'a pas réagi. Pleurant et encore choquée au retour de sa mère, elle n'a pas osé lui avouer ce qui venait de se produire de crainte de lui faire de la peine. Quelques mois plus tard, lors d'une dispute avec son beau-père, ce dernier a saisi C.Y._ par les cheveux et a déclaré que si elle parlait à quelqu'un de ce qui s'était passé, il agirait de la même manière avec sa soeur. Compte tenu de ces menaces, C.Y._ a gardé secret le comportement de son beau-père jusqu'en 2010. Lors d'un entretien avec la psychologue scolaire, C.Y._ a alors confié avoir été maltraitée par son père, avant de revenir sur ses déclarations et dire qu'elle avait été victime d'abus sexuels, sans pour autant mentionner le nom de leur auteur. Peu après cet entretien, elle a finalement confié ce que A.X._ lui avait fait subir à l'épouse de son père, avec qui elle avait développé un lien de confiance particulier. C. A.X._ forme un recours en matière pénale contre le jugement rendu sur appel. Il conclut à l'annulation de ce dernier, à son acquittement et au rejet des conclusions civiles, à l'octroi d'une indemnité pour tort moral et subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision. Il sollicite aussi l'assistance judiciaire. Il n'a pas été requis d'observations.