Faits :
A.
Par jugement du 12 novembre 2014, le Tribunal d'arrondissement de La Côte a levé le traitement ambulatoire prononcé le 7 février 2013 à l'encontre de X._. En application de l'<ref-law>, il a ordonné son remplacement par un traitement thérapeutique institutionnel, comportant à la fois une thérapie psychoéducative, un contrôle social serré ainsi qu'un suivi strict d'abstinence à l'alcool et a suspendu l'exécution du solde de la peine prononcée par le Tribunal correctionnel de l'arrondissement de La Côte par jugement du 7 février 2013.
B.
Statuant sur le recours formé par X._, la Chambre des recours pénale du Tribunal cantonal vaudois l'a rejeté par arrêt du 5 janvier 2015.
Cet arrêt repose notamment sur les éléments suivants:
B.a. Par jugement du 7 février 2013, le Tribunal correctionnel de l'arrondissement de la Côte a condamné X._ à trois ans de peine privative de liberté, sous déduction de 406 jours de détention avant jugement, pour actes d'ordre sexuel avec des enfants et pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et a ordonné un traitement ambulatoire consistant en une prise en charge psychothérapeutique relative au problème de sa dépendance alcoolique et un suivi ambulatoire en lien avec le trouble de la préférence sexuelle de type pédophilique, précisant que ce traitement durerait aussi longtemps que les médecins concernés l'estimeraient nécessaire.
Le Tribunal s'est fondé sur une expertise psychiatrique confiée au Centre d'expertises de l'Institut de psychiatrie légale à Cery. Les experts ont posé le diagnostic de troubles mentaux et troubles du comportement liés à l'utilisation d'alcool, syndrome de dépendance actuellement abstinent, mais dans un environnement protégé, ainsi que de pédophilie. Ils ont conclu à une légère diminution de responsabilité due à l'alcool. S'agissant du risque de récidive, les experts ont retenu qu'il n'était pas négligeable en présence d'une déviance sexuelle de type pédophilique existante depuis de nombreuses années et d'une capacité de réflexion et d'introspection limitée qui rendait tout suivi psychothérapeutique aléatoire. Par ailleurs, si l'expertisé connaissait une rechute alcoolique, le risque de réitération d'actes de même nature serait alors important. Par conséquent, les experts ont estimé qu'un suivi psychothérapeutique adapté en ambulatoire était concevable même si les capacités d'élaboration et de réflexion limitées pouvaient rendre ce suivi malaisé, voire aléatoire.
B.b. Par ordonnance du 10 janvier 2014, le Juge d'application des peines a refusé la libération conditionnelle à X._ et a saisi le Tribunal correctionnel de l'arrondissement de La Côte en vue de l'examen du prononcé d'une mesure thérapeutique institutionnelle à son endroit. Ce magistrat a relevé que même si l'intéressé s'était soumis au traitement ambulatoire ordonné, il ne semblait pas en avoir tiré un quelconque bénéfice et on ne pouvait que douter du réel investissement du condamné dans son suivi même s'il se déclarait disposé à le poursuivre dans l'hypothèse où une telle condition lui était imposée.
B.c. Dans le cadre de la procédure d'examen de changement de mesure dont il a été saisi, le Tribunal correctionnel de l'arrondissement de La Côte a confié un nouveau mandat d'expertise à la Dresse A._.
Son appréciation diagnostique est légèrement différente de celle figurant dans la première expertise, en ce sens que le trouble de paraphilie existant est, selon elle, plus large. Elle a ainsi posé les diagnostics de trouble de la préférence sexuelle et de syndrome de dépendance à l'alcool, actuellement abstinent en milieu protégé. En effet, la sexualité déviante de X._ n'était pas orientée que sur les enfants mais aussi vers la zoophilie et une homosexualité mal assumée. La sexualité de l'intéressé était tellement peu mature qu'il y avait un risque de passage à l'acte tant par rapport à des enfants que par rapport à des animaux. L'expertisé souffrait d'une grave déviance sexuelle et les actes commis par le passé sur les enfants étaient en relation avec ce trouble. Il avait tendance à taire ou à minimiser toute forme d'attirance sexuelle envers les deux fillettes abusées. Bien qu'il verbalisait avoir commis des délits, il semblait ne pas prendre réellement conscience de leur gravité, même s'il avait intégré l'interdit social.
S'agissant du traitement, l'experte a préconisé trois axes à l'endroit de X._. En premier lieu, elle a relevé que le suivi psychothérapeutique dont il avait bénéficié pendant plus d'une année à raison d'un entretien tous les 15 jours en prison n'était pas efficient car l'intéressé n'en comprenait ni le sens ni le but; il n'avait d'ailleurs pas les compétences psychiques d'introspection et d'élaboration nécessaires à une psychothérapie. Il fallait donc se tourner vers une thérapie psychoéducative, soit une thérapie beaucoup plus basique, dans le but de permettre à l'intéressé de comprendre et d'intégrer ce qu'était une sexualité licite. Elle a précisé qu'il était possible d'atteindre ce but, sans toutefois pouvoir se prononcer sur la rapidité d'évolution de l'intéressé. En second lieu, l'experte a préconisé un contrôle social serré afin que X._ reste en contact avec la loi, puisqu'il était sensible à l'autorité et à la sanction mais qu'il n'avait pas réellement les moyens d'intégrer une position morale face à la victime au-delà de l'intériorisation d'un interdit. De son point de vue, ce contrôle social serré pouvait être assuré par la Fondation vaudoise de probation, l'un de ses représentants devant voir très régulièrement X._, soit une fois par semaine, voire toutes les deux semaines. Enfin, eu égard au fait que l'alcool avait un rôle important dans la commission d'actes répréhensibles, de par son effet désinhibant, limitant les capacités de X._ à résister à ses pulsions déviantes, elle a préconisé une interdiction de boire de l'alcool, avec la poursuite des contrôles stricts d'abstinence.
Entendue à l'audience du 11 novembre 2014, l'experte a admis que X._ représentait un danger pour la société. Tout en admettant que ces trois axes pourraient être mis en place dans un cadre institutionnel, elle a écarté la possibilité d'ordonner une mesure thérapeutique institutionnelle, dès lors qu'il n'y avait pas d'argument psychiatrique pour justifier son instauration. Partant, elle était d'avis que la mise en place des trois axes prescrits pouvait se faire en ambulatoire et était suffisante pour gérer les pulsions de l'intéressé, étant précisé que le risque zéro n'existait pas. Il fallait toutefois mettre en place ces trois axes de traitement dès la sortie de prison, à défaut de quoi le risque de récidive serait augmenté. Il était également important que X._ reste strictement abstinent de toute consommation d'alcool. Enfin, la spécialiste a admis qu'un contrôle social plus serré dans le cadre d'une prison ou d'un autre espace fermé serait de nature à diminuer encore plus le risque de récidive dans le sens où on se rapprocherait d'un risque zéro en lien avec l'enfermement.
B.d. Egalement entendu lors de l'audience précitée, X._ a expliqué que sa soeur, elle-même surveillée par un foyer pour un problème de consommation d'alcool, était prête à l'accueillir dans son appartement où il disposerait d'une chambre à sa sortie de prison. S'agissant de la gravité des actes perpétrés, il a expliqué qu'il n'avait pas forcé ses victimes et qu'il ne s'agissait pas de viol car elles ne s'étaient pas défendues. Il a dit comprendre que les enfants ne pouvaient pas se défendre ou qu'ils n'osaient pas le faire et a donc reconnu que cela pouvait être un " petit viol ". Il a souhaité avoir une sexualité normale et dit être conscient qu'il y avait un travail qui devait être fait dans un cadre particulier, mais que selon lui, il pouvait être fait à l'extérieur. Concernant sa consommation d'alcool, il a pris l'engagement formel de ne plus boire.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 5 janvier 2015. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause au Tribunal cantonal pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire.
Invités à se déterminer sur le recours, la cour cantonale et le ministère public y ont renoncé, se référant aux considérants de l'arrêt cantonal.

Considérant en droit :
1.
Le recourant résume, en pages 3 à 8 de son mémoire de recours, divers éléments de la procédure. Il ne soulève de la sorte aucun grief recevable sous l'angle des art. 42 al. 2 et 106 al. 2 LTF.
2.
Le recourant reproche à l'autorité cantonale de s'être arbitrairement écartée de l'expertise, qui préconisait un traitement ambulatoire. Elle aurait ainsi ordonné à tort un traitement institutionnel au lieu d'un traitement ambulatoire, méconnaissant ainsi le principe de proportionnalité énoncé aux art. 56 et 56a al. 1 CP et violant par là même l'<ref-law>.
2.1.
2.1.1. L'arrêt attaqué a été rendu dans le cadre de l'<ref-law>. Selon cette disposition, si, avant ou pendant l'exécution d'une peine privative de liberté ou d'un internement au sens de l'<ref-law>, le condamné réunit les conditions d'une mesure thérapeutique institutionnelle prévues aux art. 59 à 61 CP, le juge peut ordonner cette mesure ultérieurement. Le juge compétent est celui qui a prononcé la peine ou ordonné l'internement (art. 65 al. 1 2 e phrase CP). S'agissant d'une décision ultérieure indépendante, la procédure est régie par les <ref-law> (cf. arrêt 6B_597/2012 du 28 mai 2013 consid. 2.3.1).
2.1.2. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement thérapeutique institutionnel selon l'<ref-law>, lorsque l'auteur a commis un crime ou un délit en relation avec ce trouble (let. a) et qu'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (let. b).
En règle générale, le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (<ref-law>). L'<ref-law> prévoit toutefois que tant qu'il existe un risque de fuite ou de récidive, le traitement doit être exécuté dans un établissement fermé. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'<ref-law>, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (art. 59 al. 3 2 e phrase CP). Le risque de récidive visé par l'<ref-law> doit, sur la base de l'appréciation d'une série de circonstances, être concret et hautement probable. Au regard du principe de la proportionnalité, le placement dans un établissement fermé ne peut être ordonné que lorsque le comportement ou l'état du condamné représente une grave mise en danger pour la sécurité et l'ordre dans l'établissement (arrêt 6B_763/2014 du 6 janvier 2015 consid. 3.1.3 et les arrêts cités).
2.1.3. Reste que la décision du juge doit respecter le principe de proportionnalité. Selon l'<ref-law>, le prononcé d'une mesure suppose que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Cette disposition postule la pesée de l'atteinte aux droits inhérente à la mesure ordonnée et de la dangerosité de l'auteur (<ref-ruling> consid. 1.2 p. 203). L'<ref-law> rappelle que si plusieurs mesures s'avèrent appropriées, mais qu'une seule est nécessaire, le juge ordonne celle qui porte à l'auteur les atteintes les moins graves.
2.1.4. En cas de changement de sanction au sens de l'<ref-law>, le juge se fonde sur une expertise. Celle-ci doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions et la nature de celles-ci, et sur les possibilités de faire exécuter la mesure (<ref-law>).
Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise (<ref-ruling> consid. 4.3.1 p. 198 s.). Inversement, si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 4.3.1 p. 199).
2.2. A titre liminaire, il est constaté qu'il ne ressort pas du dispositif de l'arrêt querellé si le traitement institutionnel a été prononcé en milieu ouvert (<ref-law>) ou fermé (<ref-law>). Néanmoins, on comprend, à la lecture des considérants, que l'autorité cantonale a opté pour le second en tant qu'il est précisé qu'il " est manifeste que ce suivi doit être fait en milieu fermé " (arrêt entrepris, p. 14).
2.3. En substance, la cour cantonale a retenu que tous les intervenants étaient unanimes pour dire qu'il existait un risque élevé de réitération délictuelle chez le recourant au vu d'une forte minimisation de la gravité de ses passages à l'acte et d'une surestimation de ses capacités à lutter contre sa dépendance à l'alcool. Par ailleurs, l'experte avait expliqué lors des débats que le recourant présentait un danger pour la société et qu'une vraie évolution sur l'immaturité de sa sexualité pouvait à terme seulement être espérée.
La cour cantonale a en outre considéré que les propos du recourant étaient " alarmants " et " le déni de ses pulsions sexuelles très préoccupant ". En particulier, il avait fortement minimisé la gravité de ses actes en expliquant son passage à l'acte par une simple consommation abusive d'alcool. Ayant admis être " un peu pédophile ", il n'acceptait pas sa grave déviance sexuelle et ne comprenait pas que tout contact avec les mineurs ou avec les personnes incapables de résistance lui était interdit. S'agissant de sa consommation d'alcool, s'il s'était certes engagé devant le tribunal correctionnel à ne plus en boire, ses intentions pouvaient être sérieusement mises en doute dès lors qu'il avait déclaré devant l'experte qu'il aurait aujourd'hui la capacité de boire raisonnablement, sans abus. A cela, s'ajoutait qu'il avait affirmé qu'à sa sortie de prison il entendait vivre auprès de sa soeur, laquelle souffrait également de problèmes d'alcool.
Au vu de l'ensemble de ces éléments, la cour cantonale a constaté qu'" en l'absence de projets concrets à l'extérieur et d'un cadre fort, il existait un risque réel que la [sic] recourant recommence à boire, avec la conséquence que, désinhibé, il pratique à nouveau sa sexualité déviante, dont il n'intégrait pas le caractère illicite ". Par conséquent, elle a admis, à l'instar des premiers juges, qu'un traitement ambulatoire n'était pas suffisant pour empêcher le recourant de récidiver, ce d'autant plus que le traitement ambulatoire ordonné initialement n'avait pas produit les effets escomptés. Au contraire, la nature et l'importance du bien juridique menacé, à savoir l'intégrité sexuelle des enfants, préconisait d'imposer au recourant un cadre strict éloigné de toutes tentations. Un traitement institutionnel en milieu fermé était ainsi la seule mesure apte à réduire le risque de commission de nouvelles infractions.
2.4. On comprend de la motivation cantonale que l'expertise a été jugée non concluante sur des points essentiels, notamment quant au prononcé de la mesure. Quand bien même la cour cantonale a motivé les raisons qui l'ont poussée à écarter les conclusions de l'experte, soit notamment les propos alarmants tenus par le recourant lors des débats de première instance et le fait que le traitement ambulatoire ordonné initialement n'ait pas produit les effets escomptés, il n'en reste pas moins qu'elle n'a pas respecté les exigences posées par l'<ref-law>. En particulier, la cour cantonale aurait dû mettre en évidence que la conclusion de l'experte tendant au prononcé d'un traitement ambulatoire par le biais de la Fondation vaudoise de probation apparaissait en contradiction avec le suivi strict sur trois axes qu'elle préconisait, dont une abstinence complète à l'alcool, ainsi qu'avec le fait qu'elle a admis que le recourant représentait un danger pour la société et que sa sexualité était tellement peu mature qu'il existait un risque de passage à l'acte tant par rapport à des enfants qu'à des animaux. Face aux contradictions de l'expertise, il incombait à la cour cantonale, en vue de dissiper les doutes, d'ordonner une nouvelle expertise. A défaut, elle ne s'est donc fondée sur aucune expertise concluante pour prononcer le traitement institutionnel et a par conséquent violé l'<ref-law>.
Il s'ensuit que le recours doit être admis. L'arrêt attaqué doit être annulé et la cause renvoyée à l'instance cantonale pour instruction complémentaire sous forme d'une nouvelle expertise et nouvelle décision.
Dans l'attente d'une nouvelle décision, le recourant pourra être maintenu en détention pour des motifs de sûreté, pour autant que les conditions en soient réalisées (cf. art. 221 et 229 CPP par analogie et <ref-ruling> consid. 2 p. 335 ss).
3.
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF), ce qui rend sans objet sa requête d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au conseil du recourant la somme de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 22 juin 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj