Faits : A. Par jugement du 12 novembre 2014, le Tribunal d'arrondissement de La Côte a levé le traitement ambulatoire prononcé le 7 février 2013 à l'encontre de X._. En application de l'art. 65 CP, il a ordonné son remplacement par un traitement thérapeutique institutionnel, comportant à la fois une thérapie psychoéducative, un contrôle social serré ainsi qu'un suivi strict d'abstinence à l'alcool et a suspendu l'exécution du solde de la peine prononcée par le Tribunal correctionnel de l'arrondissement de La Côte par jugement du 7 février 2013. B. Statuant sur le recours formé par X._, la Chambre des recours pénale du Tribunal cantonal vaudois l'a rejeté par arrêt du 5 janvier 2015. Cet arrêt repose notamment sur les éléments suivants: B.a. Par jugement du 7 février 2013, le Tribunal correctionnel de l'arrondissement de la Côte a condamné X._ à trois ans de peine privative de liberté, sous déduction de 406 jours de détention avant jugement, pour actes d'ordre sexuel avec des enfants et pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et a ordonné un traitement ambulatoire consistant en une prise en charge psychothérapeutique relative au problème de sa dépendance alcoolique et un suivi ambulatoire en lien avec le trouble de la préférence sexuelle de type pédophilique, précisant que ce traitement durerait aussi longtemps que les médecins concernés l'estimeraient nécessaire. Le Tribunal s'est fondé sur une expertise psychiatrique confiée au Centre d'expertises de l'Institut de psychiatrie légale à Cery. Les experts ont posé le diagnostic de troubles mentaux et troubles du comportement liés à l'utilisation d'alcool, syndrome de dépendance actuellement abstinent, mais dans un environnement protégé, ainsi que de pédophilie. Ils ont conclu à une légère diminution de responsabilité due à l'alcool. S'agissant du risque de récidive, les experts ont retenu qu'il n'était pas négligeable en présence d'une déviance sexuelle de type pédophilique existante depuis de nombreuses années et d'une capacité de réflexion et d'introspection limitée qui rendait tout suivi psychothérapeutique aléatoire. Par ailleurs, si l'expertisé connaissait une rechute alcoolique, le risque de réitération d'actes de même nature serait alors important. Par conséquent, les experts ont estimé qu'un suivi psychothérapeutique adapté en ambulatoire était concevable même si les capacités d'élaboration et de réflexion limitées pouvaient rendre ce suivi malaisé, voire aléatoire. B.b. Par ordonnance du 10 janvier 2014, le Juge d'application des peines a refusé la libération conditionnelle à X._ et a saisi le Tribunal correctionnel de l'arrondissement de La Côte en vue de l'examen du prononcé d'une mesure thérapeutique institutionnelle à son endroit. Ce magistrat a relevé que même si l'intéressé s'était soumis au traitement ambulatoire ordonné, il ne semblait pas en avoir tiré un quelconque bénéfice et on ne pouvait que douter du réel investissement du condamné dans son suivi même s'il se déclarait disposé à le poursuivre dans l'hypothèse où une telle condition lui était imposée. B.c. Dans le cadre de la procédure d'examen de changement de mesure dont il a été saisi, le Tribunal correctionnel de l'arrondissement de La Côte a confié un nouveau mandat d'expertise à la Dresse A._. Son appréciation diagnostique est légèrement différente de celle figurant dans la première expertise, en ce sens que le trouble de paraphilie existant est, selon elle, plus large. Elle a ainsi posé les diagnostics de trouble de la préférence sexuelle et de syndrome de dépendance à l'alcool, actuellement abstinent en milieu protégé. En effet, la sexualité déviante de X._ n'était pas orientée que sur les enfants mais aussi vers la zoophilie et une homosexualité mal assumée. La sexualité de l'intéressé était tellement peu mature qu'il y avait un risque de passage à l'acte tant par rapport à des enfants que par rapport à des animaux. L'expertisé souffrait d'une grave déviance sexuelle et les actes commis par le passé sur les enfants étaient en relation avec ce trouble. Il avait tendance à taire ou à minimiser toute forme d'attirance sexuelle envers les deux fillettes abusées. Bien qu'il verbalisait avoir commis des délits, il semblait ne pas prendre réellement conscience de leur gravité, même s'il avait intégré l'interdit social. S'agissant du traitement, l'experte a préconisé trois axes à l'endroit de X._. En premier lieu, elle a relevé que le suivi psychothérapeutique dont il avait bénéficié pendant plus d'une année à raison d'un entretien tous les 15 jours en prison n'était pas efficient car l'intéressé n'en comprenait ni le sens ni le but; il n'avait d'ailleurs pas les compétences psychiques d'introspection et d'élaboration nécessaires à une psychothérapie. Il fallait donc se tourner vers une thérapie psychoéducative, soit une thérapie beaucoup plus basique, dans le but de permettre à l'intéressé de comprendre et d'intégrer ce qu'était une sexualité licite. Elle a précisé qu'il était possible d'atteindre ce but, sans toutefois pouvoir se prononcer sur la rapidité d'évolution de l'intéressé. En second lieu, l'experte a préconisé un contrôle social serré afin que X._ reste en contact avec la loi, puisqu'il était sensible à l'autorité et à la sanction mais qu'il n'avait pas réellement les moyens d'intégrer une position morale face à la victime au-delà de l'intériorisation d'un interdit. De son point de vue, ce contrôle social serré pouvait être assuré par la Fondation vaudoise de probation, l'un de ses représentants devant voir très régulièrement X._, soit une fois par semaine, voire toutes les deux semaines. Enfin, eu égard au fait que l'alcool avait un rôle important dans la commission d'actes répréhensibles, de par son effet désinhibant, limitant les capacités de X._ à résister à ses pulsions déviantes, elle a préconisé une interdiction de boire de l'alcool, avec la poursuite des contrôles stricts d'abstinence. Entendue à l'audience du 11 novembre 2014, l'experte a admis que X._ représentait un danger pour la société. Tout en admettant que ces trois axes pourraient être mis en place dans un cadre institutionnel, elle a écarté la possibilité d'ordonner une mesure thérapeutique institutionnelle, dès lors qu'il n'y avait pas d'argument psychiatrique pour justifier son instauration. Partant, elle était d'avis que la mise en place des trois axes prescrits pouvait se faire en ambulatoire et était suffisante pour gérer les pulsions de l'intéressé, étant précisé que le risque zéro n'existait pas. Il fallait toutefois mettre en place ces trois axes de traitement dès la sortie de prison, à défaut de quoi le risque de récidive serait augmenté. Il était également important que X._ reste strictement abstinent de toute consommation d'alcool. Enfin, la spécialiste a admis qu'un contrôle social plus serré dans le cadre d'une prison ou d'un autre espace fermé serait de nature à diminuer encore plus le risque de récidive dans le sens où on se rapprocherait d'un risque zéro en lien avec l'enfermement. B.d. Egalement entendu lors de l'audience précitée, X._ a expliqué que sa soeur, elle-même surveillée par un foyer pour un problème de consommation d'alcool, était prête à l'accueillir dans son appartement où il disposerait d'une chambre à sa sortie de prison. S'agissant de la gravité des actes perpétrés, il a expliqué qu'il n'avait pas forcé ses victimes et qu'il ne s'agissait pas de viol car elles ne s'étaient pas défendues. Il a dit comprendre que les enfants ne pouvaient pas se défendre ou qu'ils n'osaient pas le faire et a donc reconnu que cela pouvait être un " petit viol ". Il a souhaité avoir une sexualité normale et dit être conscient qu'il y avait un travail qui devait être fait dans un cadre particulier, mais que selon lui, il pouvait être fait à l'extérieur. Concernant sa consommation d'alcool, il a pris l'engagement formel de ne plus boire. C. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 5 janvier 2015. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause au Tribunal cantonal pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire. Invités à se déterminer sur le recours, la cour cantonale et le ministère public y ont renoncé, se référant aux considérants de l'arrêt cantonal.