Faits :
A.
Par jugement du 22 mars 2019, le Tribunal correctionnel de l'arrondissement de Lausanne a constaté que A._ s'était rendu coupable d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de représentation de la violence, et l'a condamné à une peine privative de liberté de 13 mois, sous déduction de 1 jour de détention avant jugement, avec sursis partiel portant sur 7 mois et un délai d'épreuve de 2 ans, ainsi qu'à une amende de 800 francs.
B.
Par jugement du 17 septembre 2019, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par A._ à l'encontre de ce jugement. Les faits retenus sont en substance les suivants.
En avril 2004, A._ a proposé à B._ d'emmener la fille de cette dernière, à savoir C._, née en 1996, à son domicile afin qu'elle puisse jouer avec sa fille qui avait pratiquement le même âge. Après un moment, C._ a quitté l'appartement de A._ en sa compagnie afin de rejoindre sa mère. Sur le trajet, le précité a décidé de conduire l'enfant, qui était âgée d'un peu moins de huit ans, dans une salle de karaté, tenue par son beau-frère, au motif qu'il avait oublié quelque chose à cet endroit. Profitant du fait que l'enfant voulait se rendre aux toilettes, il l'a poussée contre une porte, a baissé sa braguette, sorti son sexe et l'a apposé sur celui de C._ juste après lui avoir descendu son pantalon et sa culotte. A la fin du mois de juin 2005, B._ s'est présentée à l'Hôpital de l'enfance où elle a dénoncé des attouchements d'ordre sexuel commis en 2004 sur sa fille et que cette dernière lui avait révélés en février 2005. Après de premières mesures d'instruction, il n'a pas été possible d'interroger le prévenu, lequel était parti en Espagne. En conséquence, une ordonnance de non-lieu a été rendue le 7 février 2007. La cause a alors été durablement suspendue, jusqu'à ce que A._ soit interpellé en Suisse le 6 août 2017. Le lendemain, une décision de reprise de l'instruction a été rendue.
Le 6 août 2017, par le biais de la messagerie Whatsapp, A._ a reçu une vidéo à caractère violent, dans laquelle un homme, après avoir été tué par balle, se faisait découper les bras au moyen d'un couteau. Il a visionné et conservé cette vidéo dans le répertoire « photos » de son téléphone portable.
Le casier judiciaire suisse de A._ est vierge. Il en est de même de son casier judiciaire espagnol.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour d'appel pénale. Il conclut, avec suite de frais et dépens, à la réforme du jugement attaqué en ce sens qu'il est condamné à une peine privative de liberté de 12 mois au plus et que le sursis complet lui est accordé. A titre subsidiaire, il conclut à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Devant le Tribunal fédéral, le recourant ne conteste plus sa culpabilité mais critique la peine infligée. Dans un premier grief, il se plaint de la motivation de la décision attaquée, considérant qu'elle ne permet pas de comprendre comment la circonstance de l'écoulement du temps a été prise en considération.
1.1. L'<ref-law> prévoit que le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2). Le juge dispose d'un large pouvoir d'appréciation dans le cadre de la fixation de la peine.
Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2 p. 319; <ref-ruling> consid. 5.6 p. 61). L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur dont il tient compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>). Le juge peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté. Un recours ne saurait toutefois être admis simplement pour améliorer ou compléter un considérant lorsque la décision rendue apparaît conforme au droit (arrêts 6B_79/2020 du 14 février 2020 consid. 2.1.1; 6B_51/2020 du 4 février 2020 consid. 1.1; cf. <ref-ruling> consid. 1.2 p. 319; <ref-ruling> consid. 5.6 p. 61).
Aux termes de l'<ref-law>, si, en raison d'un ou de plusieurs actes, l'auteur remplit les conditions de plusieurs peines de même genre, le juge le condamne à la peine de l'infraction la plus grave et l'augmente dans une juste proportion. Il ne peut toutefois excéder de plus de la moitié le maximum de la peine prévue pour cette infraction. Il est en outre lié par le maximum légal de chaque genre de peine.
1.2. La cour cantonale a considéré, à l'instar des premiers juges, que la culpabilité du recourant était lourde, l'acte sexuel accompli en contraignant l'enfant par la force, coincée contre la porte intérieure d'un local clos et déshabillée de force, étant similaire à un début de viol, le sexe de l'auteur ayant été mis en contact avec le sexe de sa victime. Cette proximité de la contrainte sexuelle avec le viol, dont le genre de sanction excluait la peine pécuniaire, imposait une sanction sous la forme d'une peine privative de liberté. De plus, le crime avait été commis à l'encontre d'une fillette particulièrement vulnérable et choisie comme telle par l'abuseur, soit une victime âgée de sept ans, fille d'une mère équatorienne, vivant seule avec sa fille et dans la clandestinité, puisqu'elles n'avaient pas de titre de séjour en Suisse. Un témoin avait indiqué à la police qu'à son avis, le recourant pensait qu'elle ne dénoncerait jamais les faits à la police, car il savait qu'elle était sans papiers. Lors de l'audience d'appel, le recourant avait confirmé qu'il connaissait le statut illégal de la mère et de sa fille. Ce choix révélait un calcul d'impunité particulièrement ignoble. Le mode opératoire adopté consistant à isoler l'enfant pour l'abuser en toute quiétude, puis de s'assurer de son silence en lui faisant valoir qu'une révélation la compromettrait auprès de sa mère, dénotait lâcheté et bassesse. Quant au comportement du recourant durant l'enquête, la cour cantonale a constaté que celui-ci ne s'était pas borné à nier, mais il avait traité la victime de menteuse et avait suggéré que la dénonciation aurait été le fruit d'une vengeance de la mère de la victime, qui avait été en couple avec sa soeur.
Enfin, la cour cantonale a retenu que la circonstance atténuante prévue par l'art. 48 let. e CP ne trouvait pas application en l'espèce car même si le délai de presque 15 ans entre la commission des faits et le jugement devait être qualifié de long, le recourant ne s'était pas bien comporté dans l'intervalle, puisqu'il avait commis le délit de l'<ref-law> en août 2017. Par ailleurs, il s'était enfui à l'étranger pour échapper à la justice pénale suisse, cette intention résultant clairement de son refus de communiquer à la mère de ses enfants demeurée à D._ tout élément permettant de le localiser. Cela étant, il y avait tout de même lieu de tenir compte de l'écoulement du temps dans la fixation de la peine conformément à l'<ref-law>. L'autorité précédente a considéré que si la cause avait pu être jugée dans des délais usuels, la sanction aurait été de 13 mois pour la contrainte sexuelle et d'un supplément de 7 mois pour les actes d'ordre sexuel, la victime ayant été traumatisée et durement marquée par ces faits. Compte tenu de l'écoulement du temps, il était justifié de réduire cette quotité de 20 mois à 13 mois de peine privative de liberté.
1.3. On comprend de la motivation de la cour cantonale qu'une peine de base de 13 mois est retenue pour sanctionner l'infraction de contrainte sexuelle et que le concours avec l'infraction d'actes d'ordre sexuel avec des enfants justifie d'aggraver cette peine de 7 mois, ce qui porte la peine d'ensemble à 20 mois. Cette quotité est ensuite réduite de 7 mois pour tenir compte de l'écoulement du temps. Tel qu'articulé, le grief ne met pas en évidence une lacune de motivation en ce qui concerne la prise en compte de la circonstance de l'écoulement du temps. Il n'y a ainsi pas lieu de constater de violation de l'<ref-law>.
2.
Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de l'effet de la peine sur son avenir.
2.1. La perspective que l'exécution d'une peine privative de liberté puisse détacher le condamné d'un environnement favorable peut, selon les circonstances concrètes du cas, déployer un effet atténuant et conduire au prononcé d'une peine inférieure à celle qui serait proportionnée à sa culpabilité (<ref-ruling> consid. 3.4 p. 24). Cela étant, il est inévitable que l'exécution d'une peine ferme d'une certaine durée ait des répercussions sur la vie professionnelle et familiale du condamné. Ces conséquences ne peuvent conduire à une réduction de la peine qu'en cas de circonstances extraordinaires (arrêts 6B_675/2019 du 17 juillet 2019 consid. 3.1; 6B_375/2019 du 12 juin 2019 consid. 3.2).
2.2. En l'espèce, le recourant fait valoir que le prononcé d'une peine privative de liberté de 13 mois l'expose à une révocation de son autorisation de séjour dès lors qu'à teneur de l'art. 62 al. 1 let. b LEI, l'autorité peut révoquer une autorisation si l'étranger a été condamné à une peine privative de liberté de longue durée, soit, selon la jurisprudence, toute peine dépassant un an. En outre, la quotité de la peine retenue exclut la possibilité d'un mode alternatif de la sanction tel que le port du bracelet électronique, réservé aux peines privatives de liberté de 20 jours à 12 mois (cf. <ref-law>). La révocation de son autorisation de séjour et l'impossibilité d'exécuter sa peine sous le régime de la surveillance électronique auraient pour conséquence la perte de son emploi ainsi que la rupture de ses liens familiaux, étant précisé que sa mère, ses soeurs et plusieurs de ses enfants vivent en Suisse.
2.3. Le risque de perdre son droit de séjour en Suisse en raison d'une longue peine privative de liberté découle du statut d'étranger du recourant et n'a en soi rien d'extraordinaire, étant précisé que cela vaut également pour les détenteurs d'une autorisation d'établissement (renvoi de l'art. 63 al. 1 let. a LEI à l'art. 62 al. 1 let. a LEI). La situation du recourant ne diffère pas non plus de celle de la plupart des autres condamnés qui exerçaient une activité lucrative dépendante avant de devoir exécuter une peine privative de liberté d'une certaine durée. Le recourant ne prétend pas, d'ailleurs, que des circonstances extraordinaires, telles que définies par la jurisprudence, seraient réalisées en l'espèce, mais soutient uniquement qu'une peine légèrement inférieure permettrait d'éviter les conséquences négatives qu'il met en exergue. Or dites conséquences ne constituent pas, en tant que telles, un motif de réduction de la peine que le juge estime justifiée au regard de la culpabilité de l'auteur. Partant, c'est à raison que la cour cantonale n'a pas atténué la peine prononcée au regard des circonstances invoquées par le recourant.
3.
Le recourant soutient qu'un sursis complet aurait dû lui être accordé en lieu et place d'un sursis partiel. Il fait valoir que par ses dénégations, il a simplement exercé le droit de ne pas s'auto-incriminer et que ce comportement ne saurait constituer un facteur de mauvais pronostic.
3.1. Les faits reprochés au recourant ont été commis avant l'entrée en vigueur, le 1er janvier 2007 puis le 1er janvier 2018, des nouvelles dispositions de la partie générale du CP. Le nouveau droit, plus favorable, doit être appliqué en vertu de la lex mitior (<ref-law>; cf. arrêt 6B_492/2008 du 19 mai 2009 consid. 1 non publié in <ref-ruling>)
L'<ref-law> prévoit que le juge suspend en règle générale l'exécution d'une peine privative de liberté de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits. Selon l'<ref-law>, le juge peut suspendre partiellement l'exécution d'une peine privative de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon appropriée de la faute de l'auteur.
Lorsque la durée de la peine privative de liberté se situe, comme en l'espèce, entre un et deux ans, permettant donc le choix entre le sursis complet (<ref-law>) et le sursis partiel (<ref-law>), l'octroi du sursis au sens de l'<ref-law> est la règle et le sursis partiel l'exception. Celui-ci ne doit être prononcé que si, sous l'angle de la prévention spéciale, l'octroi du sursis pour une partie de la peine ne peut se concevoir que moyennant l'exécution de l'autre partie. La situation est comparable à celle où il s'agit d'évaluer les perspectives d'amendement en cas de révocation du sursis. Lorsqu'il existe, notamment en raison de condamnations antérieures, de sérieux doutes sur les perspectives d'amendement de l'auteur, qui ne justifient cependant pas encore, à l'issue de l'appréciation de l'ensemble des circonstances, un pronostic concrètement défavorable, le tribunal peut accorder un sursis partiel au lieu du sursis total. On évite ainsi, dans les cas de pronostics très incertains, le dilemme du "tout ou rien". Un pronostic défavorable, en revanche, exclut tant le sursis partiel que le sursis total (<ref-ruling> consid. 3.1.1 p. 280; <ref-ruling> consid. 5.3.1 p. 10).
Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5; arrêt 6B_1040/2019 du 17 octobre 2019 consid. 2.1). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêts 6B_1216/2019 du 28 novembre 2019 consid. 5.1; 6B_584/2019 du 15 août 2019 consid. 3.1 et les références citées).
La présomption d'innocence implique le droit, pour l'accusé, de se taire ou de fournir uniquement des preuves à sa décharge (art. 32 al. 1 Cst.; 6 ch. 2 CEDH; 14 ch. 3 let. g du Pacte international relatif aux droits civils et politiques, RS 0.103.2). Le silence ou les dénégations de l'accusé peuvent cependant être le signe d'une absence de repentir et faire obstacle à l'octroi du sursis. Le fait que l'accusé refuse de répondre ou nie l'acte ne permet toutefois pas de conclure dans tous les cas qu'il n'en voit pas le caractère répréhensible et ne le regrette pas. Un tel comportement peut en effet avoir divers motifs. Le délinquant peut nier par honte, par peur du châtiment, par crainte de perdre sa place ou par égard pour ses proches et offrir plus de garanties quant à son comportement futur que celui qui avoue ouvertement l'infraction qu'il a commise, mais qui ne la considère pas comme répréhensible ou qui se montre indifférent aux conséquences de son acte (<ref-ruling> consid. 2a p. 258 s.). Il en va différemment lorsque l'accusé ne se borne pas à nier dans son intérêt ou dans celui de tiers, mais s'efforce consciemment d'induire en erreur les autorités pénales, rejette la faute sur autrui ou tente de mauvaise foi de charger les témoins ou la victime, voire de les faire passer pour des menteurs. Celui qui use de tels moyens pour se soustraire à une condamnation ou en atténuer la rigueur manifeste par là un manque particulier de scrupules. Dans la règle, cette attitude ne permet pas d'espérer qu'une peine avec sursis suffira de détourner l'accusé durablement de la délinquance (<ref-ruling> consid. 2a p. 259; plus récemment: arrêt 6B _1040/2019 du 17 octobre 2019 consid. 2.1).
Le juge dispose d'un large pouvoir d'appréciation dans l'émission du pronostic. Le Tribunal fédéral n'intervient que s'il en a abusé, notamment lorsqu'il a omis de tenir compte de critères pertinents et s'est fondé exclusivement sur les antécédents du condamné (ATF <ref-ruling>40 consid. 4.2 p. 143; <ref-ruling> consid. 2.3 p. 204; arrêt 6B_1304/2019 du 17 février 2020 consid. 1.1).
3.2. La cour cantonale s'est référée au jugement de première instance dont il ressort que le pronostic était mitigé, l'absence de prise de conscience du recourant étant pondérée par l'absence d'infraction commise entre 2005 et 2017, sous réserve de la contravention de l'<ref-law>. Elle a constaté, en outre, que le recourant ne s'était pas contenté de nier les faits par peur de la sanction ou par crainte que sa réputation auprès de ses proches soit compromise, mais il avait consciemment tenté d'induire la justice en erreur et rejeté la faute sur sa victime qu'il avait traitée de menteuse ou la mère de celle-ci qu'il avait présentée comme voulant se venger de lui au travers de fausses accusations relayées par sa fille. Il avait ainsi démontré une absence particulière de scrupules, qui ne permettait pas d'espérer qu'une peine avec sursis suffirait à le détourner durablement de la délinquance.
3.3. Le recourant soutient que, contrairement à ce qu'a retenu la cour cantonale, il n'a pas tenté de fustiger la victime ou sa mère ni d'induire la justice en erreur, mais a simplement cherché à se défendre des accusations portées contre lui. Ce faisant, il s'écarte des constatations de fait de la cour cantonale, étant précisé qu'en citant son audition devant l'autorité précédente pour seul exemple de son propos - lors de cette audience, il lui a été posé la question de savoir pourquoi la plaignante aurait inventé de telles accusations -, il ne démontre pas encore le caractère arbitraire de l'état de fait du jugement attaqué (art. 97 al. 1 et 106 al. 2 LTF). Il s'ensuit que son argumentation n'est pas recevable (cf. <ref-law>).
Sur la base de ses constatations, la cour cantonale pouvait considérer que l'attitude du recourant durant la procédure outrepassait le droit de ne pas s'incriminer et que le comportement retenu démontrait un défaut de prise de conscience de sa faute, qui peut justifier un pronostic défavorable. Par ailleurs, la cour cantonale n'a pas omis de tenir compte de l'absence de récidive pour des faits similaires depuis plus d'une décennie et du risque de récidive faible retenu par les experts (cf. jugement attaqué, consid. 5. 3 p. 24) - étant encore ajouté que le recourant ne soulève aucun grief d'arbitraire en lien avec l'appréciation de l'expertise. On comprend qu'elle a considéré que ces éléments permettaient de tempérer le pronostic, le rendant ainsi mitigé plutôt que défavorable. Les autres circonstances dont le recourant se prévaut (absence d'antécédents, intégration familiale et professionnelle, stabilité financière) ont également été constatées dans le jugement entrepris, sans que le recourant n'explique en quoi elles suffiraient à contrebalancer l'absence de prise de conscience, qui revêt un caractère déterminant, et ainsi à renverser le pronostic. Il apparaît dès lors que la cour cantonale a suffisamment pris en considération les éléments favorables que le recourant met en exergue en octroyant un sursis partiel au sens de l'<ref-law>. Compte tenu du large pouvoir d'appréciation qui lui est laissé, elle n'a pas violé le droit fédéral en refusant le sursis complet.
4.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 30 mars 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy