Faits :
A.
Par jugement du 28 mai 2008, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour tentative de meurtre, à une peine privative de liberté de deux ans, sous déduction de 386 jours de détention avant jugement, et a révoqué le sursis à la peine de 20 jours d'emprisonnement prononcée le 2 mars 2006 par le Juge d'instruction de l'arrondissement de Lausanne pour contravention à la Loi fédérale sur les stupéfiants (LStup; RS 812.121). Le Tribunal correctionnel a, par ailleurs, ordonné que le condamné soit soumis à une mesure thérapeutique institutionnelle au sens de l'<ref-law>.
L'intéressé a exécuté sa mesure aux Etablissements de la plaine de l'Orbe avant d'être transféré au sein de l'EMS E._ à Z._ le 10 avril 2013. Depuis le 1er mai 2015, il a bénéficié du régime de travail externe. Dès le 1er mars 2016, le régime du travail et du logement externe lui a été accordé et il a été transféré dans un appartement protégé supervisé par la Direction de l'EMS.
X._ a fait l'objet de plusieurs expertises psychiatriques en 2007, 2010 et, en dernier lieu, en 2014. Dans le dernier rapport d'expertise du 18 novembre 2014, le Dr A._ a diagnostiqué chez l'expertisé une schizophrénie paranoïde en rémission partielle ainsi qu'un retard mental léger. S'agissant de la schizophrénie, il a observé une bonne évolution avec une faible dose de traitement. Il a précisé que la comorbidité représentée par le retard mental léger et la pathologie psychotique avait représenté un facteur de risque certain s'agissant de la récidive. Le facteur de risque principal paraissait toutefois résider dans l'environnement social - alors favorable - du condamné, en raison de la présence d'une famille qui le soutenait et de l'accompagnement thérapeutique et socio-éducatif dont il bénéficiait. L'expert a estimé que l'intéressé avait bien intégré le caractère inacceptable des comportements violents ainsi que son besoin d'aide et d'encadrement, de telle sorte que le risque de récidive était faible dans l'immédiat et qu'il devait le rester moyennant la mise en place d'un « accompagnement psycho-éducatif soutenant ».
B.
Par ordonnance du 6 juin 2016, le Juge d'application des peines, donnant suite à une proposition de l'Office d'exécution des peines (OEP) du 14 avril 2016, a libéré conditionnellement X._ de la mesure thérapeutique institutionnelle ordonnée par jugement du Tribunal correctionnel de l'arrondissement de Lausanne du 28 mai 2008, a fixé le délai d'épreuve à deux ans et a ordonné, à titre de règle de conduite, que X._ poursuive une prise en charge thérapeutique comprenant une prise régulière de la médication prescrite, pendant la durée du délai d'épreuve, qu'il continue à résider en appartements protégés pour une durée de six mois - ensuite de quoi son placement pourrait avoir lieu sur un mode volontaire en concertation avec la Direction des appartements protégés où il aurait résidé - et qu'il respecte les directives de ses thérapeutes et de sa curatrice, également pendant le délai d'épreuve.
Par décision d'application du 9 août 2016, l'OEP a confié les mandats médico-légaux liés à l'ordonnance du Juge d'application des peines du 6 juin 2016 à la Fondation E._, à Z._, concernant le maintien du lieu de vie de X._, ainsi qu'à la Dresse B._, médecin psychiatre, s'agissant du suivi ambulatoire.
Dans leur rapport du 3 octobre 2016, la Dresse B._ et C._, Directeur de la Fondation E._, ont relevé que X._, même s'il avait montré sa volonté de progresser, n'avait que très peu conscience de sa maladie, avait des capacités d'élaboration très restreintes qui le freinaient dans sa possibilité d'apprentissage de mesures préventives et que ses capacités à prévenir la rechute existaient actuellement grâce au traitement intégré qui était ordonné, où médecin psychiatre, équipe éducative, infirmière et curatrice le soutenaient et l'encadraient. Ils ont estimé que ce suivi, pour donner une chance à l'intéressé de s'insérer sans rechute ni risque de récidive, devait être fait par paliers, en garantissant ainsi une certaine sécurité par une vérification régulière et une consolidation des acquis. Ainsi, compte tenu des capacités d'adaptation limitées de X._, les étapes nécessaires avant l'élargissement du cadre en milieu non-protégé devaient, selon les prénommés, se succéder progressivement et couvrir les deux ans de mise à l'épreuve. En conséquence, ils ont proposé d'étendre l'ordonnance de suivi en appartements protégés à l'EMS E._ jusqu'à la fin de la mesure.
Le 17 octobre 2016, l'OEP a saisi le Juge d'application des peines d'une proposition tendant à la modification de la règle de conduite assortissant la libération conditionnelle accordée à X._, dans le sens d'une poursuite de l'obligation faite à ce dernier de résider en appartements protégés ou dans tout autre logement agréé par l'OEP jusqu'au terme du délai d'épreuve. L'OEP a relevé que l'ensemble des intervenants avaient souligné la nécessité pour le condamné de maintenir son lieu de vie à l'EMS E._ durant toute la durée du délai d'épreuve. Il s'est également référé au rapport établi le 3 octobre 2016 par la Dresse B._ et C._.
C.
Par ordonnance du 14 novembre 2016, le Juge d'application des peines a modifié la règle de conduite assortissant la libération conditionnelle accordée à X._ le 6 juin 2016, en ce sens qu'il a été ordonné que le condamné continue de résider en appartements protégés ou dans tout autre logement agréé par l'Office d'exécution des peines jusqu'au terme du délai d'épreuve.
D.
Par arrêt du 23 décembre 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre cette décision.
E.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à la réforme de cette décision en ce sens que les règles de conduite assortissant sa libération conditionnelle accordée le 6 juin 2016 ne sont pas modifiées. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle instruction et décision. Il sollicite également l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint d'une violation du droit fédéral dans l'application des art. 95 al. 3 et 5 CP. Il relève que la décision entreprise ne repose sur aucun élément concret que l'autorité aurait ignoré au moment du prononcé de la libération conditionnelle qui puisse permettre de considérer que la règle de conduite n'est plus en mesure d'être exécutée. Le rapport du 3 octobre 2016, qui relève l'absence de toute violation de sa part des règles de conduite, n'est pas apte à remettre en question le bien-fondé de la décision du 6 juin 2016.
1.1. Aux termes de l'<ref-law>, si le condamné, libéré conditionnellement, se soustrait à l'assistance de probation, s'il viole les règles de conduite ou si l'assistance de probation ou les règles de conduite ne peuvent plus être exécutées ou ne sont plus nécessaires, l'autorité compétente présente un rapport au juge ou à l'autorité d'exécution. Dans ces cas, le juge ou l'autorité d'exécution peut prolonger le délai d'épreuve jusqu'à concurrence de la moitié de sa durée, lever l'assistance de probation ou en ordonner une nouvelle ou modifier les règles de conduite, les révoquer ou en imposer de nouvelles (<ref-law>). Il peut aussi révoquer le sursis ou ordonner la réintégration dans l'exécution de la peine ou de la mesure s'il est sérieusement à craindre que le condamné ne commette de nouvelles infractions (<ref-law>).
La jurisprudence a qualifié l'assistance de probation et les règles de conduite comme des mesures d'accompagnement qui tendent non seulement à permettre la réinsertion du condamné, mais qui visent aussi à réduire le danger de récidive pendant la période d'épreuve, objectif qui ressort expressément de l'<ref-law>. Sous cet angle, l'assistance de probation et les règles de conduite impliquent donc de tenir compte de la sécurité publique, qui a déjà été lésée par l'infraction ayant donné lieu à la privation de liberté, objet de la libération conditionnelle. Il en résulte que l'exécutabilité de l'assistance de probation ou de règles de conduite, en tant que mesure d'accompagnement de la décision de libération conditionnelle, ne doit pas être examinée uniquement sous l'angle du respect par le condamné des modalités de la mesure en question, mais aussi en tenant compte du but de sécurité publique poursuivi. Si la mesure ne peut plus atteindre cet objectif, elle doit être considérée comme n'étant plus exécutable au sens de l'<ref-law>. En pareil cas, l'autorité a alors la possibilité de réaménager la mesure selon l'<ref-law> ou de prononcer la réintégration au sens de l'<ref-law> (<ref-ruling> consid. 4.3.2 p. 68 s.).
1.2.
1.2.1. Le recourant a bénéficié d'une libération conditionnelle de la mesure thérapeutique institutionnelle assortie de règles de conduite dont l'obligation de continuer à résider en appartement protégé pour une durée de six mois. L'autorité cantonale n'a pas fondé sa décision sur la violation ou la soustraction du recourant aux règles de conduite, mais a examiné l'adéquation de la règle de conduite au but de sécurité publique qui lui est assigné, à savoir la prévention du risque de récidive, comme la loi l'autorise selon la jurisprudence citée. Le recourant ne saurait ainsi rien tirer en sa faveur de l'absence de violation de sa part des règles de conduite pour considérer que l'autorité cantonale n'était pas fondée à en prolonger sa durée.
1.2.2. Le recourant souligne qu'il a toujours scrupuleusement respecté les règles de conduite, de sorte que le pronostic favorable posé au moment de la libération conditionnelle ne saurait être remis en question, faute d'élément nouveau. Sa critique, qui se confond avec la précédente, est sans portée. L'obligation de résidence en appartement protégé a pour but d'assurer la prise en charge thérapeutique du recourant afin de réduire le risque de récidive. Le pronostic favorable posé au moment de la libération conditionnelle de la mesure thérapeutique institutionnelle prenait donc en compte un risque de récidive contenu par les règles de conduite assortissant la libération conditionnelle. L'examen de l'adéquation des règles de conduite et de leur efficacité préventive suppose un examen de l'évolution de l'état du recourant depuis leur mise en oeuvre. Le respect des règles de conduite invoquées par le recourant n'exclut pas cet examen.
1.2.3. Sur la base des avis exprimés par les intervenants, l'autorité cantonale a constaté que le risque de récidive demeurait réel si le recourant ne vivait plus en appartement protégé, en raison de ses capacités limitées à apprendre et à mettre en oeuvre hors milieu protégé des mesures préventives. En affirmant que son évolution est favorable et qu'il a compris l'importance de se soumettre à un traitement médical, le recourant ne fait qu'opposer sa propre appréciation de son état sans établir en quoi celle retenue par l'autorité cantonale, en particulier fondée sur le rapport médical du 3 octobre 2016, serait arbitraire. Il est rappelé que le Tribunal fédéral est lié par les constatations de fait établies par l'autorité précédente (<ref-law>), à moins que celles-ci ne soient manifestement inexactes (<ref-law>), c'est-à-dire arbitraires (<ref-ruling> consid. 2.3.2 p. 341). Il n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement.
1.3. En conséquence, au vu de la faible évolution du recourant dans son aptitude à prévenir une rechute, l'autorité cantonale pouvait retenir que la durée limitée de six mois assortissant l'obligation de résider en appartement protégé ne permettait pas d'atteindre le but pour lequel elle a été instaurée, soit éviter ou à tout le moins limiter le risque de récidive. Elle était ainsi fondée à considérer, sans violation du droit fédéral, qu'un réaménagement de la règle de conduite dans le sens d'une prolongation de sa durée était apte et nécessaire à prévenir le risque de récidive.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions sont manifestement dénuées de chance de succès. La demande d'assistance judiciaire est rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 5 avril 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens