Faits : A. Le 29 octobre 2009, le Tribunal correctionnel d'arrondissement de l'Est vaudois a condamné X._ à une peine privative de liberté de 15 mois pour lésions corporelles simples qualifiées, contrainte, contrainte sexuelle et viol. L'exécution de la peine a été suspendue en faveur d'une mesure thérapeutique institutionnelle en milieu fermé au sens des art. 59 al. 1 et 3 CP. X._ a été condamné en bref pour avoir fait subir à son épouse, du début de l'année 2006 au mois de juin 2008, diverses pratiques sexuelles contre son consentement, pour lui avoir infligé des coups de ceinture lorsqu'elle refusait de se plier à ses exigences, ainsi que pour l'avoir frappée à coups de poing et de pied. B. Par ordonnance du 26 janvier 2015, le Juge d'application des peines du canton de Vaud a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle qu'il a prolongée pour une durée de deux ans. C. Par arrêt du 26 février 2015, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre cette décision. En substance, la décision cantonale repose sur les éléments qui suivent: Le condamné a fait l'objet de plusieurs expertises psychiatriques dont la dernière en date du 5 avril 2012. Il en ressort que l'expertisé souffre d'une schizophrénie paranoïde, de dépendance au cannabis et d'abus d'alcool, abstinent en milieu protégé. La maladie était stabilisée sous traitement neuroleptique mais il subsistait certains symptômes chroniques et déficitaires tels que le trouble de la pensée, l'absence de reconnaissance du trouble et l'abrasion des affects. Les substances constituaient un facteur d'aggravation des troubles psychiques, de péjoration du pronostic et d'aggravation de la dangerosité. Les experts ont relevé que la mesure avait permis de stabiliser la maladie et de permettre une évolution favorable s'agissant du risque de réitération. Toutefois, sa vulnérabilité au stress liée à la schizophrénie commandait d'éviter de le confronter abruptement à toutes les sollicitations extérieures, ce d'autant que son abstinence ne serait pas assurée à l'extérieur. Ils ont préconisé un passage progressif en établissement psychiatrique ouvert, avant d'envisager une libération conditionnelle. Un élargissement progressif du cadre institutionnel a été mis en place par l'Office d'exécution des peines depuis février 2014. Dans un avis du 2 juin 2014 puis un rapport du 21 août 2014, le Dr A._, psychiatre FMH et thérapeute du condamné, a émis un préavis réservé en lien avec la libération conditionnelle, en soulignant en particulier une conscience partielle de la maladie et la nécessité d'un cadre légal tout en appuyant la démarche relative à un élargissement progressif du cadre institutionnel. Le 25 septembre 2014, l'Office d'exécution des peines du canton de Vaud (OEP) a saisi le Juge d'application des peines d'une proposition tendant au refus de la libération conditionnelle de la mesure thérapeutique institutionnelle et à la prolongation de celle-ci pour une durée de trois ans. Dans un rapport établi par l'OEP le 12 janvier 2015, il est rapporté que lors d'une rencontre interdisciplinaire du 7 novembre 2014, les divers intervenants ont constaté une évolution favorable de l'intéressé et, pour ce qui est des éventuels élargissements, ont adhéré à un processus progressif. Sur la problématique de la maladie et du risque, il est relevé que son discours est banalisant et qu'il rencontre des difficultés à communiquer sur son vécu intérieur. Il ressort d'un avis de l'OEP du 16 janvier 2015 que X._ a été dépisté positif au cannabis le 8 janvier précédent. D. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est libéré conditionnellement de la mesure thérapeutique ; subsidiairement, il demande à ce que la cause soit renvoyée à l'autorité précédente pour nouvelle décision. Il requiert en outre l'assistance judiciaire.