Faits : A. Par arrêt du 6 septembre 2010, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a condamné X._ à une peine privative de liberté de deux ans et demi et trois jours, sous déduction de 259 jours de détention avant jugement, à une peine pécuniaire de 30 jours-amende, le montant du jour-amende étant fixé à 10 fr., ainsi qu'à une amende de 500 fr. pour lésions corporelles simples, lésions corporelles simples qualifiées, voies de fait qualifiées, agression, vol, brigandage, dommages à la propriété, extorsion, injure, menaces qualifiées, contrainte sexuelle, conduite en état d'ébriété qualifiée, vol d'usage, circulation sans permis de conduire, circulation sans permis de circulation, conduite d'un véhicule non couvert par une assurance RC, usage abusif de permis ou de plaques, soustraction de plaques et contravention à la loi fédérale sur les stupéfiants. Elle a ordonné la mise en oeuvre d'un traitement thérapeutique institutionnel en milieu carcéral au sens de l'art. 59 al. 3 CP. B. Par prononcé du 1 er février 2012, le Juge d'application des peines du canton de Vaud a refusé la libération conditionnelle. Il a retenu que la prise de conscience de l'intéressé était insuffisante. Un travail en profondeur, tel que débuté en psychothérapie, devait se poursuivre sur le long terme avant de pouvoir exercer un véritable effet sur le risque de récidive que présentait le condamné. Le 14 mai 2013, le Juge d'application des peines a refusé d'accorder la libération conditionnelle de la mesure thérapeutique institutionnelle. Il a relevé la bonne alliance thérapeutique de l'intéressé, en constatant que le processus de changement amorcé demeurait encore fragile, que l'intéressé avait rencontré d'importants problèmes d'adaptation depuis son passage à la Colonie et qu'il persistait à consommer des produits stupéfiants. Par arrêt du 31 mai 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours interjeté par X._. C. Par ordonnance du 3 novembre 2014, le Juge d'application des peines a refusé d'accorder la libération conditionnelle de la mesure thérapeutique institutionnelle. Par arrêt du 1 er décembre 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._. D. Celui-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de dépens, à son annulation et à ce que sa libération conditionnelle soit ordonnée, subsidiairement à ce que la cause soit renvoyée à l'autorité cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire.