Faits :
A.
Le 29 octobre 2009, le Tribunal correctionnel d'arrondissement de l'Est vaudois a condamné X._ à une peine privative de liberté de 15 mois pour lésions corporelles simples qualifiées, contrainte, contrainte sexuelle et viol. L'exécution de la peine a été suspendue en faveur d'une mesure thérapeutique institutionnelle en milieu fermé au sens des art. 59 al. 1 et 3 CP.
X._ a été condamné en bref pour avoir fait subir à son épouse, du début de l'année 2006 au mois de juin 2008, diverses pratiques sexuelles contre son consentement, pour lui avoir infligé des coups de ceinture lorsqu'elle refusait de se plier à ses exigences, ainsi que pour l'avoir frappée à coups de poing et de pied.
B.
Par ordonnance du 26 janvier 2015, le Juge d'application des peines du canton de Vaud a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle qu'il a prolongée pour une durée de deux ans.
C.
Par arrêt du 26 février 2015, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre cette décision.
En substance, la décision cantonale repose sur les éléments qui suivent:
Le condamné a fait l'objet de plusieurs expertises psychiatriques dont la dernière en date du 5 avril 2012. Il en ressort que l'expertisé souffre d'une schizophrénie paranoïde, de dépendance au cannabis et d'abus d'alcool, abstinent en milieu protégé. La maladie était stabilisée sous traitement neuroleptique mais il subsistait certains symptômes chroniques et déficitaires tels que le trouble de la pensée, l'absence de reconnaissance du trouble et l'abrasion des affects. Les substances constituaient un facteur d'aggravation des troubles psychiques, de péjoration du pronostic et d'aggravation de la dangerosité. Les experts ont relevé que la mesure avait permis de stabiliser la maladie et de permettre une évolution favorable s'agissant du risque de réitération. Toutefois, sa vulnérabilité au stress liée à la schizophrénie commandait d'éviter de le confronter abruptement à toutes les sollicitations extérieures, ce d'autant que son abstinence ne serait pas assurée à l'extérieur. Ils ont préconisé un passage progressif en établissement psychiatrique ouvert, avant d'envisager une libération conditionnelle.
Un élargissement progressif du cadre institutionnel a été mis en place par l'Office d'exécution des peines depuis février 2014.
Dans un avis du 2 juin 2014 puis un rapport du 21 août 2014, le Dr A._, psychiatre FMH et thérapeute du condamné, a émis un préavis réservé en lien avec la libération conditionnelle, en soulignant en particulier une conscience partielle de la maladie et la nécessité d'un cadre légal tout en appuyant la démarche relative à un élargissement progressif du cadre institutionnel.
Le 25 septembre 2014, l'Office d'exécution des peines du canton de Vaud (OEP) a saisi le Juge d'application des peines d'une proposition tendant au refus de la libération conditionnelle de la mesure thérapeutique institutionnelle et à la prolongation de celle-ci pour une durée de trois ans.
Dans un rapport établi par l'OEP le 12 janvier 2015, il est rapporté que lors d'une rencontre interdisciplinaire du 7 novembre 2014, les divers intervenants ont constaté une évolution favorable de l'intéressé et, pour ce qui est des éventuels élargissements, ont adhéré à un processus progressif. Sur la problématique de la maladie et du risque, il est relevé que son discours est banalisant et qu'il rencontre des difficultés à communiquer sur son vécu intérieur.
Il ressort d'un avis de l'OEP du 16 janvier 2015 que X._ a été dépisté positif au cannabis le 8 janvier précédent.
D.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est libéré conditionnellement de la mesure thérapeutique ; subsidiairement, il demande à ce que la cause soit renvoyée à l'autorité précédente pour nouvelle décision. Il requiert en outre l'assistance judiciaire.

Considérant en droit :
1.
Dès lors qu'ils ne résultent pas de l'arrêt attaqué, les pièces nouvelles et les faits nouveaux présentés par le recourant sont irrecevables (<ref-law>).
2.
Le recourant dénonce une violation des art. 59 al. 4 et 62 CP.
2.1. Eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés. Le recourant doit par conséquent critiquer les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 p. 88 s.). De plus, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.3 p. 266). Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266).
2.2. La libération conditionnelle d'une mesure est réglée par l'<ref-law>. Elle est accordée dès que l'état de l'auteur justifie qu'on lui donne l'occasion de faire ses preuves en liberté (<ref-law>). La loi ne définit pas cette notion. Elle n'exige pas la guérison de l'auteur, mais une évolution ayant pour effet d'éliminer ou de réduire dans une mesure suffisante le risque de nouvelles infractions. Il n'est donc pas nécessaire que l'auteur soit mentalement normal. Il suffit qu'il ait appris à vivre avec ses déficits, de manière que l'on puisse poser un pronostic favorable quant à son comportement futur, étant rappelé que s'agissant de la décision sur le pronostic, le principe "in dubio pro reo" est inapplicable (<ref-ruling> consid. 1.2 p. 202 s.). Ce pronostic doit être posé en tenant compte du principe de la proportionnalité (art. 5 al. 2 Cst. et 56 al. 2 CP) selon lequel l'atteinte aux droits de la personnalité qui résulte pour l'auteur d'une mesure ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Cette disposition postule de la sorte la pesée à effectuer entre l'atteinte aux droits inhérente à la mesure ordonnée et la dangerosité de l'auteur (<ref-ruling> consid. 1.2 p. 203).
3.
3.1. L'autorité précédente a retenu que le pronostic était défavorable en particulier sur la base de l'appréciation du thérapeute du recourant qui tenait la conscience morbide de l'intéressé pour seulement partielle et préconisait la poursuite du séjour en EMS fermé. Cet avis n'était infirmé par aucune pièce, singulièrement pas par l'évolution favorable décrite par ailleurs du recourant, lequel minimisait son affection et ses effets. Un tel défaut de conscience d'une pathologie psychiatrique chronique recelait à l'évidence des risques d'infractions similaires à celles à l'origine de la condamnation, vu les difficultés du recourant à gérer le stress relationnel. S'agissant d'un facteur de mauvais pronostic, ce n'était pas sans raison que les divers intervenants s'accordaient à n'élargir le cadre institutionnel que de manière progressive. A cela s'ajoutait que le recourant n'était pas toujours abstinent, puisqu'il avait été récemment contrôlé positif au cannabis, stupéfiant notoirement connu pour accroître les symptômes de la schizophrénie. Cette consommation impliquait un risque objectif supplémentaire de réitération et relativisait les appréciations favorables émises antérieurement.
3.2. Le recourant conteste le pronostic défavorable. Il soutient que sa bonne compliance au traitement pharmacologique et son abstinence aux stupéfiants et à l'alcool sont révélateurs de la prise de conscience de la nécessité de se soigner. Selon lui, le traitement prodigué et ses efforts conduisent à retenir une diminution durable de sa dangerosité. Ce faisant, il se borne dans une démarche appellatoire, partant irrecevable, à opposer sa propre appréciation de sa dangerosité à celle de l'autorité précédente sans la discuter. Il n'explique pas en quoi la cour cantonale, qui s'est fondée sur les avis convergents des différents intervenants, de son propre thérapeute ainsi que des experts, aurait arbitrairement retenu un défaut de conscience de sa pathologie. Il en va de même quand il fait valoir qu'en tout état la sous-estimation de sa pathologie ne constitue pas un facteur pertinent pour fonder un pronostic défavorable, et ce contrairement aux avis exprimés par les spécialistes tels que retenus par l'arrêt cantonal. Les experts ont relevé en particulier que cette conscience partielle de sa maladie ne permet pas de garantir, en cas de libération conditionnelle, qu'il continuera à prendre son traitement. Au demeurant, la cour cantonale a aussi retenu comme facteurs susceptibles de fonder un risque de récidive sa vulnérabilité au stress non encore suffisamment maîtrisée, ainsi que le risque, avéré, de reprise de consommation de stupéfiants de nature à favoriser un passage à l'acte. Au vu de ces éléments, tous pertinents pour apprécier le risque de récidive, la cour cantonale n'a pas violé le droit fédéral en retenant que le pronostic était défavorable.
3.3. Pour ce qui concerne le principe de la proportionnalité, la critique du recourant tombe à faux quand il fonde sa violation sur l'absence de risque de récidive (consid. 3.2). La durée de la mesure respecte le principe de proportionnalité en considération du fait que le recourant a été condamné notamment pour des infractions contre l'intégrité sexuelle et corporelle et que les intérêts à protéger sont importants. L'atteinte à la personnalité du recourant est en outre atténuée puisqu'il bénéficie depuis février 2014 d'un allègement progressif du cadre institutionnel. Les progrès réalisés par le recourant démontrent l'utilité de la mesure. Pour le surplus, les mesures d'accompagnement qu'il préconise pour assortir une libération conditionnelle sont prématurées au regard du pronostic défavorable.
La cour cantonale était ainsi fondée à refuser la libération conditionnelle du recourant.
3.4. Le recourant ne satisfait pas aux exigences de motivation lorsqu'il se limite à affirmer que la prolongation de la mesure viole le droit fédéral (<ref-law>). Au demeurant, la cour cantonale n'a pas violé le droit fédéral (<ref-law>) en considérant que le délai de prolongation de deux ans apparaissait adéquat.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Le recours étant dénué de chances de succès, l'assistance judiciaire doit être refusée (<ref-law>). Le recourant, qui succombe, supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 26 novembre 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy