Faits :
A.
Par jugement du 23 novembre 2016, le Tribunal de police de l'arrondissement de Lausanne a constaté que X._ s'était rendu coupable d'actes d'ordre sexuel avec des enfants (<ref-law>) et d'infraction à la LStup (art. 19 bis). Il l'a condamné à une peine privative de liberté de trois mois, a ordonné la poursuite du traitement ambulatoire psychiatrique et médicamenteux entrepris par l'intéressé au sens de l'<ref-law>, a révoqué le sursis qui lui avait été accordé le 30 septembre 2014 par le Tribunal de police de Lausanne et a ordonné l'exécution de la peine pécuniaire de 120 jours-amende à 20 fr. le jour, sous déduction d'un jour de détention préventive.
B.
Par jugement du 22 mai 2017, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et a admis la demande de restitution de délai et l'appel présentés par A._. Elle a dit que X._ devait verser à A._ un montant de 3000 fr., avec intérêts à 5% l'an dès le 28 mai 2015, à titre de tort moral et a donné acte à A._ de ses réserves civiles. Elle a confirmé le jugement de première instance pour le surplus.
B.a. Le jugement de la Cour d'appel pénale repose en substance sur les faits suivants.
Le 28 mai 2015, à B._, X._, né en 1976, a abordé A._, née en 1996, et s'est rendu avec elle dans le parc C._. X._ a embrassé à quatre reprises A._, avec la langue, alors qu'il savait que cette dernière était âgée de moins de 16 ans. A un moment donné, et alors qu'il caressait la cuisse droite et l'épaule droite de la jeune fille, X._ a également saisi la main de celle-ci et a vainement tenté de la placer sur son propre sexe, par-dessus ses habits, avant qu'elle ne parvienne à retirer sa main. Au cours de cet épisode, X._ a en outre proposé à A._ d'entretenir une relation sexuelle tarifée avec lui et de fumer de la marijuana, ce que l'intéressée a refusé de faire.
B.b. X._ a été soumis à une expertise psychiatrique. Dans leur rapport du 30 juin 2016, les experts ont posé les diagnostics de troubles mixtes de la personnalité et de difficultés liées à l'environnement social. Ils ont relevé que l'intéressé présentait des attitudes et des comportements dysharmonieux dans plusieurs secteurs du fonctionnement, se manifestant sous la forme d'un mode de comportement inadéquat, durable, profondément enraciné et inadapté à des situations personnelles. Les experts avaient également pu observer des traits de personnalité borderline chez l'expertisé.
B.c. Le casier judiciaire suisse de X._ fait état de quatre condamnations, la première, le 10 septembre 2007, à une peine pécuniaire de 8 jours-amende pour séjour illégal et contravention à la LStup, la deuxième, le 26 août 2008, à une peine pécuniaire de 10 jours-amende pour dommages à la propriété, la troisième, le 14 décembre 2011, à une peine pécuniaire de 15 jours-amende pour infraction la LStup, et la dernière, le 30 septembre 2014, à une peine pécuniaire de 120 jours-amende avec sursis pour contrainte.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement, à la réforme du jugement attaqué en ce sens qu'il est libéré des chefs de prévention d'actes d'ordre sexuel avec des enfants et d'infraction à la LStup, la demande de restitution de délai et l'appel formés par A._ sont rejetés, le sursis accordé le 30 septembre 2014 par le Tribunal de police de Lausanne n'est pas révoqué, la poursuite du traitement ambulatoire psychiatrique et médicamenteux au sens de l'<ref-law> n'est pas ordonné, et il n'est pas condamné à verser à A._ un montant de 3000 fr. à titre de tort moral. Subsidiairement, il conclut à ce qu'il soit reconnu coupable de contravention contre l'intégrité sexuelle au sens de l'<ref-law> et d'infraction à l'<ref-law>, qu'il soit condamné à une amende et que le sursis antérieur ne soit pas révoqué, plus subsidiairement à ce qu'il soit reconnu coupable d'actes d'ordre sexuel avec des enfants au sens de l'art. 187 ch. 4 et d'infraction à l'<ref-law> et qu'il soit condamné à une peine de travail d'intérêt général et que le sursis antérieur ne soit pas révoqué. Encore plus subsidiairement, il sollicite le renvoi du jugement querellé à la Cour d'appel pénale du Tribunal cantonal pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant fait grief à la cour cantonale d'avoir violé son droit d'être entendu en refusant l'administration de certains moyens de preuves.
1.1. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_304/2017 du 21 décembre 2017 consid. 1.1; 6B_1368/2016 du 15 novembre 2017 consid. 8.1). Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées).
1.2. Le recourant fait grief à la cour cantonale d'avoir relevé qu'aucun des moyens de preuve sollicités en procédure d'appel n'avait été requis devant l'autorité de première instance. Cette observation de l'autorité précédente est sans conséquence, dans la mesure où elle a ensuite expliqué pourquoi l'administration des preuves supplémentaires requises par le recourant était inutile au traitement de l'appel, sous la réserve de l'audition de l'intimée, qu'elle a ordonné. Elle a ainsi retenu que les moyens de preuve à sa disposition ainsi que l'audition susmentionnée étaient suffisants pour lui permettre d'apprécier la crédibilité de l'intimée et de forger sa conviction, sans qu'il ne soit nécessaire d'établir les antécédents et la situation personnelle de la victime (<ref-law>).
Le recourant n'établit pas le caractère insoutenable de cette appréciation. Il se limite à faire valoir que les infractions qui lui sont reprochées ne sont pas bénignes et que les autorités précédentes ne pouvaient raisonnablement se fonder sur les seules déclarations d'une jeune adolescente, peut-être perturbée, puisque placée en foyer. Ce faisant, il ne fait que livrer sa propre opinion et ne démontre nullement en quoi les moyens de preuve qu'il a sollicités étaient propres à établir qu'il n'avait pas commis les infractions reprochées. Appellatoire, le grief ne répond pas aux exigences de motivation accrues de l'<ref-law>, de sorte qu'il est irrecevable.
2.
Le recourant invoque la violation du principe de la présomption d'innocence en lien avec sa condamnation pour actes d'ordre sexuel avec des enfants (<ref-law>) et infraction à l'<ref-law>.
2.1. La présomption d'innocence, garantie par les art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire le principe " in dubio pro reo " concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire (art. 9 Cst.; <ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 6.3 p. 375).
Le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling> consid. 3 p. 352). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
2.2. La cour cantonale a relevé que l'audition-vidéo de l'intimée permettait de constater l'absence de toute contradiction entre le récit libre de la jeune fille et ses réponses données aux questions subséquentes du policier. L'intimée apparaissait convaincante, y compris dans la gestuelle et dans les émotions exprimées. Elle n'avait pas donné l'impression ni d'inventer, ni d'exagérer, ni d'accabler le recourant. Son récit était cohérent dans la mesure où elle a en substance expliqué qu'un homme l'avait suivie, l'avait abordée, l'avait amenée dans le parc en face de son foyer, avait établi un contact corporel avec elle et lui avait fait des propositions à caractère sexuel et tenté d'obtenir son adhésion à des rapports sexuels. Lors de son audition devant la cour cantonale, l'intimée s'était expliquée une nouvelle fois sur l'ensemble des faits qu'elle avait dénoncés en répondant aux questions précises de la défense. Là encore, on ne relevait pas de contradiction ou d'incohérence dans ses propos mesurés. A cela s'ajoutait que la victime n'avait aucune raison d'inventer les faits.
A l'inverse, la version des faits du recourant était singulière en tant qu'il admettait avoir abordé une jeune fille pendant la nuit, l'avoir enlacée et lui avoir caressé les cheveux, la nuque ou l'arrière de la tête. Il avait considérablement varié dans ses déclarations, tant sur les aspects principaux que sur les points secondaires, son récit étant pour le moins confus.
2.2.1. Pour le recourant, il serait incohérent que la victime se soit laissée embrasser à quatre ou cinq reprises puis, au moment de se dire au revoir, elle aurait refusé d'être embrassée à nouveau. Selon lui, on ne comprenait pas non plus que si, comme l'intimée l'expliquait, elle avait peur, elle ait demandé une cigarette au recourant et ait accepté de se rendre dans un parc avec lui. L'intimée s'était également contredite s'agissant de l'heure de leur rencontre et du temps qu'ils avaient passé ensemble.
Ces quelques éléments ne sauraient suffire à rendre insoutenable l'appréciation d'ensemble de la cour cantonale quant à la crédibilité de l'intimée (consid. 2.2 supra). Au surplus, l'adolescente a expliqué qu'elle ne savait pas quoi faire quand le recourant l'avait abordée, puis quand les choses étaient allées trop loin, elle l'avait repoussé, y compris sur la tentative de l'embrasser (jugement entrepris p. 4 et 5). Ces explications ne paraissent pas manifestement dénuées de cohérence. Par ailleurs, la cour cantonale a retenu - sans que le recourant n'y oppose une critique motivée -, qu'il n'était pas déterminant que l'intimée se soit trompée d'environ une heure quant au moment du déroulement des faits, dans la mesure où le recourant avait admis que le tête à tête s'était bel et bien déroulé dans le parc, ne contestant que certains gestes et toute intention sexuelle.
2.2.2. Si, comme le recourant l'affirme, le fait d'avoir fumé des cigarettes avec l'intimée et échangé son numéro de téléphone avec le sien ne le rendait bien évidemment pas encore coupable d'actes d'ordre sexuels, la cour cantonale pouvait relever, s'agissant d'apprécier la crédibilité de la version des faits de l'intimée, que des éléments périphériques de son récit étaient corroborés par d'autres moyens de preuve (par ex.: mégots de cigarette retrouvés sur les lieux et portant l'ADN du recourant). Par ailleurs, la cour cantonale pouvait tenir compte de la constatation des policiers selon laquelle l'intimée était en état de choc après les faits et qu'elle avait dû être hospitalisée, peu importe que le dossier médical de l'intimée n'ait pas été versé à la procédure.
2.2.3. Le recourant reproche encore à la cour cantonale d'avoir méconnu le contenu du rapport d'expertise psychiatrique. Tel n'est cependant pas le cas, la cour cantonale ayant constaté que l'expertise psychiatrique relevait notamment que des actes d'ordre sexuel pouvaient être mis en lien avec une difficulté à reconnaître les codes sociaux et que le recourant pouvait commettre des actes irréfléchis et déraisonnables. Il n'est ainsi pas décisif que l'expertise n'ait pas constaté d'éléments relevant d'une perversion sexuelle chez le recourant.
2.3. Il s'ensuit que le recourant ne fait qu'opposer sa propre appréciation des faits et des preuves à celle de la cour cantonale, qu'il ne discute pas. Il ne développe ainsi aucune argumentation recevable susceptible de démontrer l'arbitraire des constatations cantonales. Au demeurant, on ne discerne pas en quoi les considérations de l'autorité précédente seraient insoutenables. Le grief pris d'une violation de la présomption d'innocence en relation avec l'appréciation des preuves doit donc être rejeté, dans la mesure où il est recevable. La cour cantonale est clairement parvenue à une conviction et n'a à cet égard pas non plus violé la présomption d'innocence.
3.
Le recourant nie avoir su que l'intimée était âgée de moins de 16 ans.
3.1. L'<ref-law> réprime le comportement de celui qui aura commis un acte d'ordre sexuel avec un enfant de moins de 16 ans. Si la différence d'âge entre les participants ne dépasse pas trois ans, l'acte n'est pas punissable (ch. 2). Si l'auteur agit en admettant par erreur que sa victime était âgée de 16 ans au moins, alors qu'en usant des précautions voulues, il aurait pu l'éviter, il est punissable en application du chiffre 4 de cette disposition.
Subjectivement, l'auteur doit agir intentionnellement, l'intention devant porter sur le caractère sexuel de l'acte, mais aussi sur le fait que la victime est âgée de moins de seize ans et sur la différence d'âge (arrêt 6B_457/2010 du 8 septembre 2010 consid. 1.2.1). Le dol éventuel suffit. C'est dire que si l'auteur accepte l'éventualité que le jeune ait moins de 16 ans, il agit par dol éventuel et ne peut se prévaloir d'une erreur sur l'âge de la victime (BERNARD CORBOZ, Les infractions en droit suisse, 3ème éd., 2010, n. 45 ad <ref-law>). En revanche, l'<ref-law> vise l'hypothèse où l'auteur adopte intentionnellement le comportement objectivement délictueux, mais en croyant par erreur que l'enfant a atteint l'âge de 16 ans, alors que cette erreur était évitable. Si l'erreur était inévitable, l'auteur doit être acquitté (arrêt 6B_1058/2010 du 1er mars 2011 consid. 1.1 et réf. citée).
Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève de l'établissement des faits. Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception de la notion d'intention, notamment de dol éventuel, et si elle l'a correctement appliquée sur la base des faits retenus et des éléments à prendre en considération (ATF <ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 2.3.2 p. 156).
3.2. La cour cantonale a constaté que l'intimée avait moins de 16 ans au moment des faits. Son apparence et sa voix, qui ressortaient de son audition enregistrée, suscitaient à tout le moins une interrogation sur son jeune âge chez n'importe quel interlocuteur évoquant avec elle des relations sexuelles. L'apparence juvénile de la victime avait également été constatée lors son audition devant la cour cantonale. Au demeurant, tant la version de la victime, selon laquelle le recourant avait tenté de banaliser l'importance de la différence d'âge et lui avait dit qu'elle ne devait pas le repousser, que celle de l'intéressé, qui a soutenu avoir quitté A._ dès qu'il avait appris son âge, dénotaient qu'il paraissait se préoccuper de l'âge de cette dernière. Ainsi, le recourant s'était à tout le moins accommodé du fait que la jeune fille pouvait être âgée de moins de 16 ans.
3.3. Le recourant fait valoir que la voix de la victime et son apparence ne sont pas les mêmes devant des policiers ou des juges que dans un autre contexte, et qu'il pouvait penser qu'elle était plus âgée dès lors qu'elle se trouvait seule dans la rue à 23h30 un jeudi et qu'elle lui avait demandé une cigarette. On ne pouvait rien déduire de l'audition de l'intimée devant l'autorité précédente, intervenue deux ans après les faits. Les déclarations des parties tendaient également à démontrer que le recourant ne connaissait pas son âge. Enfin, vu ses traits psychologiques, il n'avait aucune intention de commettre un acte d'ordre sexuel sur un enfant.
3.4. L'argumentation du recourant revient à opposer son appréciation à celle de la cour cantonale. Sa motivation est ainsi appellatoire dans une large mesure, partant déjà irrecevable pour cette raison. Pour le surplus, les circonstances que le recourant tente de mettre en avant ne contrebalancent guère l'appréciation cantonale, qui n'est pas insoutenable en tant qu'elle se fonde sur l'apparence de la victime tant dans le cadre de l'audition enregistrée par la police juste après les faits que lors de sa comparution en appel, ainsi que sur les déclarations des parties qui admettent que la question de l'âge avait été évoquée.
Compte tenu de ce qui précède, et en l'absence de tout autre grief, la condamnation du recourant pour actes d'ordre sexuel avec des enfants au sens de l'<ref-law> ne viole pas le droit fédéral, et l'infraction de l'<ref-law>, plaidée à titre subsidiaire par le recourant, est exclue. Il en va a fortiori de même de sa condamnation du chef de l'<ref-law> pour avoir proposé des stupéfiants à une personne de moins de 18 ans, le recourant ne contestant à cet égard que sa connaissance de l'âge de l'intimée.
4.
Le recourant invoque une violation de l'<ref-law>. Il soutient que l'autorité précédente n'a pas expliqué en quoi une peine de travail d'intérêt général ne pouvait pas être exécutée.
4.1. Aux termes de l'<ref-law> en vigueur jusqu'au 31 décembre 2017, le juge peut prononcer une peine privative de liberté ferme de moins de six mois uniquement si les conditions du sursis à l'exécution de la peine (<ref-law>) ne sont pas réunies et s'il y a lieu d'admettre que ni une peine pécuniaire, ni un travail d'intérêt général ne peuvent être exécutés. Cette disposition est applicable en l'espèce sans égard à la modification entrée en vigueur le 1er janvier 2018, qui n'est pas plus favorable à l'intéressé (cf. <ref-law>; arrêt 6B_341/2017 du 23 janvier 2018 consid. 1.1).
4.2. Dans la conception de la partie générale du code pénal en vigueur jusqu'à la fin de l'année 2017, la peine pécuniaire constitue la peine principale. Les peines privatives de liberté ne doivent être prononcées que lorsque l'Etat ne peut garantir d'une autre manière la sécurité publique. En vertu du principe de la proportionnalité, il y a lieu, en règle générale, lorsque plusieurs peines entrent en considération et apparaissent sanctionner de manière équivalente la faute, de choisir celle qui restreint le moins sévèrement la liberté personnelle du condamné, respectivement qui le touche le moins durement. L'intention essentielle au coeur de la révision de la partie générale du code pénal en matière de sanction était d'éviter les courtes peines de prison ou d'arrêt, qui font obstacle à la socialisation de l'auteur, et de leur substituer d'autres sanctions. Pour choisir la nature de la peine, le juge doit prendre en considération l'opportunité de la sanction envisagée, ses effets sur l'auteur et son milieu social, ainsi que son efficacité préventive (<ref-ruling> consid. 4 p. 100 ss). Lorsque des motifs de prévention spéciale permettent de considérer qu'une peine pécuniaire ou une peine de travail d'intérêt général seraient d'emblée inadaptées, l'autorité peut prononcer une peine privative de liberté de courte durée (arrêt 6B_341/2017 du 23 janvier 2018 consid. 1.1).
Le juge doit motiver le choix de la courte peine privative de liberté ferme de manière circonstanciée ( <ref-law>). Il ne lui suffit pas d'expliquer pourquoi une peine privative de liberté ferme semble adéquate, mais il devra également mentionner clairement en quoi les conditions du sursis ne sont pas réunies, en quoi il y a lieu d'admettre que la peine pécuniaire ne paraît pas exécutable et en quoi un travail d'intérêt général ne semble pas non plus exécutable (<ref-ruling> consid. 8.4 p. 80; arrêt 6B_372/2017 du 15 novembre 2017 consid. 1.1).
4.3. En l'espèce, la cour cantonale a expliqué qu'une courte peine privative de liberté s'imposait pour des motifs de prévention spéciale, dès lors que les quatre précédentes condamnations à des peines pécuniaires, fermes ou avec sursis, n'avaient eu aucun effet correcteur sur le recourant. En outre, l'autorité précédente relevait l'absence totale de prise de conscience du recourant, celui-ci n'hésitant pas à rejeter la faute sur sa victime, qu'il présentait comme une menteuse.
L'autorité précédente a ainsi exposé en quoi les autres genres de peine (peine pécuniaire et travail d'intérêt général) ne pouvaient pas être privilégiés dans le cas d'espèce. Si le recourant soutient être disposé et apte à exécuter un travail d'intérêt général, il n'établit cependant pas que les motifs de prévention spéciale retenus par la cour cantonale seraient infondés. L'approche de la cour cantonale n'étant pas critiquable, le prononcé d'une courte peine privative de liberté ferme peut être confirmé.
5.
Le recourant se plaint de la révocation du sursis antérieur.
5.1. Selon l'<ref-law>, si durant le délai d'épreuve, le condamné commet un crime ou un délit et qu'il y a dès lors lieu de prévoir qu'il commettra de nouvelles infractions, le juge révoque le sursis ou le sursis partiel (al. 1, 1ère phrase). S'il n'y a pas lieu de prévoir que le condamné commettra de nouvelles infractions, le juge renonce à ordonner la révocation (al. 2, 1ère phrase).
La commission d'un crime ou d'un délit durant le délai d'épreuve n'entraîne pas nécessairement une révocation du sursis. Celle-ci ne se justifie qu'en cas de pronostic défavorable, à savoir lorsque la nouvelle infraction laisse entrevoir une réduction sensible des perspectives de succès de la mise à l'épreuve (<ref-ruling> consid. 4.2 et 4.3 p. 142). Par analogie avec l'art. 42 al. 1 et 2 CP, le juge se fonde sur une appréciation globale des circonstances du cas d'espèce pour estimer le risque de récidive (<ref-ruling> consid. 4.4 p. 143).
Dans l'appréciation des perspectives d'amendement à laquelle il doit procéder pour décider de la révocation d'un sursis antérieur, le juge doit tenir compte des effets prévisibles de l'octroi ou non du sursis à la nouvelle peine. Il peut parvenir à la conclusion que l'exécution, le cas échéant, de la nouvelle peine aura un effet dissuasif suffisant, justifiant de renoncer à la révocation du sursis antérieur. L'inverse est également admissible: si le sursis précédent est révoqué, l'exécution de la peine qui en était assortie peut conduire à nier l'existence d'un pronostic défavorable pour la nouvelle peine et, partant, à assortir cette dernière du sursis (<ref-ruling> consid. 4.5 p. 144). L'existence d'un pronostic défavorable quant au comportement futur du condamné, bien qu'elle soit une condition aussi bien du sursis à la nouvelle peine que de la révocation d'un sursis antérieur, ne peut faire l'objet d'un unique examen, dont le résultat suffirait à sceller tant le sort de la décision sur le sursis à la nouvelle peine que celui de la décision sur la révocation du sursis antérieur. Le fait que le condamné devra exécuter une peine - celle qui lui est nouvellement infligée ou celle qui l'avait été antérieurement avec sursis - peut apparaître suffisant à le détourner de la récidive et, partant, doit être pris en considération pour décider de la nécessité ou non d'exécuter l'autre peine. Il constitue donc une circonstance nouvelle, appelant un réexamen du pronostic au stade de la décision d'ordonner ou non l'exécution de l'autre peine. Il va de soi que le juge doit motiver sa décision sur ce point, de manière à ce que l'intéressé puisse au besoin la contester utilement et l'autorité de recours exercer son contrôle (arrêts 6B_105/2016 du 11 octobre 2016 consid. 1.1; 6B_1165/2013 du 1er mai 2014 consid. 2.2 et les références citées).
5.2. La première condition de l'<ref-law> est réalisée, puisque le recourant a récidivé pendant le délai d'épreuve du sursis assortissant la peine de 120 jours-amende prononcée contre lui le 30 septembre 2014.
Le recourant s'en prend au pronostic défavorable posé par la cour cantonale. Il invoque l'avis des experts selon lequel le risque de réitération d'actes similaires paraissait plutôt limité. Ceux-ci n'ont toutefois pas exclu tout risque de récidive; au contraire, ils ont admis un tel risque - même si celui-ci n'est pas majeur - et ont préconisé un suivi psychiatrique régulier associé à un suivi social et à un traitement médicamenteux, sous la forme d'un traitement ambulatoire au sens de l'<ref-law>, afin de diminuer ce risque. En outre, par ses dénégations, le recourant montre qu'il n'a pas pris conscience de l'illicéité de son comportement. Dans ce contexte, la cour cantonale pouvait retenir un pronostic défavorable.
5.3. Le recourant fait valoir que la cour cantonale n'a pas examiné si l'exécution de la (nouvelle) peine privative de liberté de 3 mois était de nature à infléchir le pronostic défavorable quant à son comportement futur.
Après avoir mis en exergue, sous l'angle de l'application de l'<ref-law>, l'échec des quatre précédentes condamnations du recourant à des peines pécuniaires fermes ou avec sursis ainsi que son absence totale de prise de conscience, la cour cantonale a constaté que pour les mêmes raisons, le pronostic quant au comportement futur du recourant était résolument défavorable, de sorte que la révocation du sursis accordé le 30 septembre 2014 par le Tribunal de police de l'arrondissement de Lausanne se justifiait également.
La cour cantonale a ainsi procédé à l'examen de la révocation du sursis dans un deuxième temps, après avoir conclu que la peine privative de liberté ferme de 3 mois prononcée par le tribunal de première instance était adéquate. En indiquant que le pronostic était " résolument défavorable ", on comprend que la cour cantonale a retenu que le pronostic examiné sous l'angle de l'<ref-law> demeurait négatif en dépit de la condamnation du recourant à une peine privative de liberté. Le grief du recourant est dès lors infondé.
5.4. En définitive, les critères sur lesquels s'est fondée la cour cantonale pour conclure à un pronostic défavorable sont pertinents et son examen est complet. L'<ref-law> n'a pas été violé.
6.
Le recourant conteste la qualité de partie plaignante de A._.
6.1. La cour cantonale a constaté que l'intimée n'avait pas spontanément fait de déclaration tendant à sa constitution en qualité de partie plaignante demandeur au pénal et au civil durant la procédure préliminaire. En outre, le ministère public n'avait pas formellement informé l'intéressée de son droit de faire la déclaration prévue à l'<ref-law> avant l'issue de la procédure préliminaire. Au stade de la procédure d'appel, l'intimée a eu connaissance du jugement et a déclaré vouloir participer à la procédure comme demandeur au pénal et au civil. Le 30 mars 2017, elle a adressé au ministère public, avec copie envoyée simultanément à la cour d'appel, une requête de restitution du délai de l'<ref-law> ou de l'<ref-law>.
L'autorité précédente a considéré que la demande de restitution de délai formulée par l'intimée répondait aux exigences de l'<ref-law>. Dès lors que l'intéressée avait simultanément et expressément déclaré devant la cour cantonale vouloir se constituer partie plaignante, son acte devait être qualifié de déclaration d'appel concluant à la modification du jugement pour qu'une réparation morale lui soit allouée. Cela valait d'autant plus que l'intimée avait jusqu'ici été empêchée de faire valoir ses droits en raison d'une erreur de l'autorité et que ce vice devait être réparé. A._ devait donc se voir reconnaître la qualité de partie plaignante, de sorte qu'il pouvait être entré en matière sur les conclusions civiles qu'elle avait formulées.
6.2. Il n'est pas contesté que le manquement de l'intimée, qui ne s'est pas constituée partie plaignante durant la procédure préliminaire, n'est pas fautif, compte tenu de l'omission du ministère public de l'informer de ses droits. Le recourant soutient cependant que l'intimée n'a pas démontré qu'elle serait de ce fait exposée à un préjudice important et irréparable au sens de l'<ref-law>, dans la mesure où elle conserve la possibilité de faire valoir ses conclusions civiles devant le juge civil. Il affirme également que la cour cantonale n'était pas compétente pour statuer sur la demande de restitution de délai de l'intimée et que le ministère public a violé son droit d'être entendu en se prononçant sur cette demande le jour même où il s'est déterminé par écrit sur ce point.
6.3. On entend par partie plaignante le lésé qui déclare expressément vouloir participer à la procédure pénale comme demandeur au pénal ou au civil (<ref-law>). Le lésé qui veut déposer des conclusions civiles doit préalablement s'être constitué partie plaignante par la déclaration expresse prévue à l'<ref-law>, à défaut de quoi ses conclusions civiles ne seront pas recevables (J EANDIN/MATZ, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 7 ad <ref-law>).
La déclaration de constitution de partie plaignante doit être faite devant une autorité de poursuite pénale avant la clôture de la procédure préliminaire (<ref-law>; cf. <ref-law>), à savoir avant qu'une décision de classement ou de mise en accusation ne soit rendue. La constitution de partie plaignante ne peut plus se faire après la clôture de la procédure préliminaire, par exemple lors de la procédure de première instance. Selon l'<ref-law>, si le lésé n'a pas fait spontanément de déclaration, le ministère public attire son attention dès l'ouverture de la procédure préliminaire sur son droit d'en faire une. Le CPP ne prévoit aucune sanction en cas de défaut d'information de la part du ministère public. Lorsque la loi confère à l'autorité un devoir d'information qu'elle a complètement omis de satisfaire, l'administré peut, en se prévalant de la protection de la bonne foi, exiger de l'autorité qu'elle entre en matière sur sa demande quand bien même ses droits seraient prescrits (<ref-ruling> consid. 3.1.1. p. 187 et 123 II 241 consid. 3f p. 245 à propos de l'<ref-law>; arrêt 6B_728/2012 du 18 février 2013 consid. 3.1). Ainsi faut-il admettre que, lorsque le ministère public a omis de faire l'information prévue à l'<ref-law>, le lésé doit être autorisé à se constituer partie plaignante ultérieurement (arrêt 6B_728/2012 du 18 février 2013 consid. 3.1 et la référence citée; MAZZUCCHELLI/ POSTIZZI, in Basler Kommentar, Schweizerische Strafprozessordnung I, 2e éd., 2014, n° 12a ad <ref-law>).
Selon l'<ref-law>, une partie peut demander la restitution d'un délai si elle a été empêchée de l'observer et qu'elle est de ce fait exposée à un préjudice important et irréparable.
6.4. La question de savoir si l'<ref-law> permet, en l'espèce, de restituer le délai de l'<ref-law> peut demeurer ouverte, dans la mesure où la qualité de partie plaignante de l'intimée peut être admise sur un autre fondement.
La cour cantonale a constaté que durant toute l'enquête et le jugement de première instance, A._ avait été totalement ignorée et n'avait été traitée ni comme partie, ni comme victime d'une infraction. Elle n'avait été informée pour la première fois de la possibilité de se constituer partie plaignante qu'au jour de son premier entretien avec son conseil d'office nouvellement désigné. Elle avait alors déposé sans attendre une demande de restitution de délai et de constitution de partie plaignante.
Dans ce contexte, en vertu de l'<ref-law> qui prévoit que les autorités pénales se conforment au principe de la bonne foi, d'où il découle que les personnes impliquées dans la procédure ne doivent subir aucun préjudice si l'information due selon la loi ne leur a pas été donnée (consid. 6.3 supra), la demande de constitution de partie plaignante de l'intimée, déposée devant l'autorité en charge de la procédure dès qu'elle a eu connaissance de ses droits, doit être considérée comme valable. Le grief de défaut de compétence de la cour cantonale pour statuer sur la restitution de délai au sens de l'<ref-law> est dès lors sans objet. Il en va de même de l'allégation de violation du droit d'être entendu par le ministère public, attendu que la décision d'admettre la qualité de partie plaignante de l'intimée a été rendue non par cette autorité mais par la cour cantonale, et qu'au surplus le recourant a eu l'occasion de se déterminer avant qu'elle ne statue. Pour ces motifs, le grief du recourant doit être rejeté.
7.
Sur le vu de ce qui précède, il y a lieu de rejeter le recours dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 mars 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy