Faits :
A.
Par arrêt du 6 septembre 2010, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a condamné X._ à une peine privative de liberté de deux ans et demi et trois jours, sous déduction de 259 jours de détention avant jugement, à une peine pécuniaire de 30 jours-amende, le montant du jour-amende étant fixé à 10 fr., ainsi qu'à une amende de 500 fr. pour lésions corporelles simples, lésions corporelles simples qualifiées, voies de fait qualifiées, agression, vol, brigandage, dommages à la propriété, extorsion, injure, menaces qualifiées, contrainte sexuelle, conduite en état d'ébriété qualifiée, vol d'usage, circulation sans permis de conduire, circulation sans permis de circulation, conduite d'un véhicule non couvert par une assurance RC, usage abusif de permis ou de plaques, soustraction de plaques et contravention à la loi fédérale sur les stupéfiants. Elle a ordonné la mise en oeuvre d'un traitement thérapeutique institutionnel en milieu carcéral au sens de l'<ref-law>.
B.
Par prononcé du 1 er février 2012, le Juge d'application des peines du canton de Vaud a refusé la libération conditionnelle. Il a retenu que la prise de conscience de l'intéressé était insuffisante. Un travail en profondeur, tel que débuté en psychothérapie, devait se poursuivre sur le long terme avant de pouvoir exercer un véritable effet sur le risque de récidive que présentait le condamné.
Le 14 mai 2013, le Juge d'application des peines a refusé d'accorder la libération conditionnelle de la mesure thérapeutique institutionnelle. Il a relevé la bonne alliance thérapeutique de l'intéressé, en constatant que le processus de changement amorcé demeurait encore fragile, que l'intéressé avait rencontré d'importants problèmes d'adaptation depuis son passage à la Colonie et qu'il persistait à consommer des produits stupéfiants. Par arrêt du 31 mai 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours interjeté par X._.
C.
Par ordonnance du 3 novembre 2014, le Juge d'application des peines a refusé d'accorder la libération conditionnelle de la mesure thérapeutique institutionnelle.
Par arrêt du 1 er décembre 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
D.
Celui-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de dépens, à son annulation et à ce que sa libération conditionnelle soit ordonnée, subsidiairement à ce que la cause soit renvoyée à l'autorité cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recourant invoque une violation de l'<ref-law> et du principe de la proportionnalité (art. 5 Cst. et 56 al. 2 CP).
1.1. La libération conditionnelle d'une mesure est réglée par l'<ref-law>. Elle est accordée dès que l'état de l'auteur justifie qu'on lui donne l'occasion de faire ses preuves en liberté (<ref-law>). La loi ne définit pas cette notion. Elle n'exige pas la guérison de l'auteur, mais une évolution ayant pour effet d'éliminer ou de réduire dans une mesure suffisante le risque de nouvelles infractions. Il n'est donc pas nécessaire que l'auteur soit mentalement normal. Il suffit qu'il ait appris à vivre avec ses déficits, de manière que l'on puisse poser un pronostic favorable quant à son comportement futur, étant rappelé que s'agissant de la décision sur le pronostic, le principe "in dubio pro reo" est inapplicable (<ref-ruling> consid. 1.2 p. 202 s.). Ce pronostic doit être posé en tenant compte du principe de la proportionnalité (art. 5 al. 2 Cst. et 56 al. 2 CP) selon lequel l'atteinte aux droits de la personnalité qui résulte pour l'auteur d'une mesure ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Cette disposition postule de la sorte la pesée à effectuer entre l'atteinte aux droits inhérente à la mesure ordonnée et la dangerosité de l'auteur (<ref-ruling> consid. 1.2 p. 203).
1.2. A titre de violation de l'<ref-law>, le recourant se limite à dire que l'autorité a violé les principes de la libération conditionnelle dès lors qu'il n'a pas eu l'occasion de prouver son absence de dangerosité et que l'on retient à sa charge des éléments induits par sa détention. Ce faisant, le recourant ne discute nullement du contenu de l'arrêt attaqué (p. 14) relatif au pronostic. Il en ressort que le refus de la libération conditionnelle repose sur une expertise psychiatrique du 4 septembre 2014, selon laquelle une évolution peut être espérée à condition que le recourant continue à bénéficier d'un soutien psychothérapeutique et que les étapes se franchissent de manière très progressive. Faute pour le recourant de discuter ce qui a guidé le refus de la libération conditionnelle, l'argumentation présentée ne remplit pas les exigences minimales de motivation posées par l'<ref-law>. Elle est irrecevable. Au demeurant, la motivation cantonale n'est pas critiquable et il y est renvoyé (<ref-law>).
1.3. Pour ce qui concerne le principe de la proportionnalité, la cour cantonale a rappelé que le recourant avait été condamné notamment pour des infractions contre l'intégrité sexuelle et corporelle, que les intérêts à protéger étaient ainsi importants, que la mesure thérapeutique durait depuis moins de cinq ans, que l'atteinte à la personnalité du recourant était atténuée parce qu'il avait déjà bénéficié d'un allègement de régime sous forme d'un placement en secteur fermé à la Colonie et qu'il devrait pouvoir passer prochainement en milieu ouvert. Elle a relevé que les progrès réalisés par le recourant démontraient l'utilité de la mesure. Elle a nié à ce stade une violation du principe de la proportionnalité (arrêt attaqué, p. 16).
Le recourant se contente de dire que le passage prochain en milieu ouvert est à ce jour incertain. Selon lui, l'autorité n'aurait pas pesé le poids de l'atteinte subie et ses progrès rendent encore plus disproportionné son maintien en détention. Il est douteux que l'argumentaire présenté satisfasse aux exigences minimales de motivation. Quoi qu'il en soit, la cour cantonale n'a omis aucun élément pertinent. Une libération apparaît à ce stade prématurée conformément à l'avis des experts psychiatres dans leur rapport du 4 septembre 2014, lesquels ont relevé que l'abstinence totale à l'alcool et aux drogues était impérative, ces substances constituant clairement un risque d'actes de violence chez le recourant et que le maintien d'un cadre contenant et soutenant dans lequel s'inscrivait une prise en charge psychiatrique était nécessaire pour diminuer le risque de récidive (cf. arrêt attaqué, p. 10). La cour a néanmoins admis qu'un passage en milieu ouvert apparaissait opportun, les différents intervenants s'accordant à cet égard, l'Office d'exécution des peines étant compétent pour sa mise en oeuvre (cf. arrêt attaqué, p. 14 in fine). Ainsi, contrairement à l'opinion du recourant, la cour a clairement procédé à une pesée des intérêts et pris en considération l'évolution du recourant, ainsi que le régime assoupli dont il allait pouvoir bénéficier. La prétendue incertitude évoquée par le recourant quant à la mise en place d'un tel régime ne constitue qu'une simple affirmation, sans que soit de la sorte formulé un grief recevable susceptible de mettre en cause la solution cantonale. En l'état, on ne perçoit aucune violation du principe de la proportionnalité.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 3 mars 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod