Faits : A. Par jugement du 28 mai 2008, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour tentative de meurtre, à une peine privative de liberté de deux ans, sous déduction de 386 jours de détention avant jugement, et a révoqué le sursis à la peine de 20 jours d'emprisonnement prononcée le 2 mars 2006 par le Juge d'instruction de l'arrondissement de Lausanne pour contravention à la Loi fédérale sur les stupéfiants (LStup; RS 812.121). Le Tribunal correctionnel a, par ailleurs, ordonné que le condamné soit soumis à une mesure thérapeutique institutionnelle au sens de l'art. 59 CP. L'intéressé a exécuté sa mesure aux Etablissements de la plaine de l'Orbe avant d'être transféré au sein de l'EMS E._ à Z._ le 10 avril 2013. Depuis le 1er mai 2015, il a bénéficié du régime de travail externe. Dès le 1er mars 2016, le régime du travail et du logement externe lui a été accordé et il a été transféré dans un appartement protégé supervisé par la Direction de l'EMS. X._ a fait l'objet de plusieurs expertises psychiatriques en 2007, 2010 et, en dernier lieu, en 2014. Dans le dernier rapport d'expertise du 18 novembre 2014, le Dr A._ a diagnostiqué chez l'expertisé une schizophrénie paranoïde en rémission partielle ainsi qu'un retard mental léger. S'agissant de la schizophrénie, il a observé une bonne évolution avec une faible dose de traitement. Il a précisé que la comorbidité représentée par le retard mental léger et la pathologie psychotique avait représenté un facteur de risque certain s'agissant de la récidive. Le facteur de risque principal paraissait toutefois résider dans l'environnement social - alors favorable - du condamné, en raison de la présence d'une famille qui le soutenait et de l'accompagnement thérapeutique et socio-éducatif dont il bénéficiait. L'expert a estimé que l'intéressé avait bien intégré le caractère inacceptable des comportements violents ainsi que son besoin d'aide et d'encadrement, de telle sorte que le risque de récidive était faible dans l'immédiat et qu'il devait le rester moyennant la mise en place d'un « accompagnement psycho-éducatif soutenant ». B. Par ordonnance du 6 juin 2016, le Juge d'application des peines, donnant suite à une proposition de l'Office d'exécution des peines (OEP) du 14 avril 2016, a libéré conditionnellement X._ de la mesure thérapeutique institutionnelle ordonnée par jugement du Tribunal correctionnel de l'arrondissement de Lausanne du 28 mai 2008, a fixé le délai d'épreuve à deux ans et a ordonné, à titre de règle de conduite, que X._ poursuive une prise en charge thérapeutique comprenant une prise régulière de la médication prescrite, pendant la durée du délai d'épreuve, qu'il continue à résider en appartements protégés pour une durée de six mois - ensuite de quoi son placement pourrait avoir lieu sur un mode volontaire en concertation avec la Direction des appartements protégés où il aurait résidé - et qu'il respecte les directives de ses thérapeutes et de sa curatrice, également pendant le délai d'épreuve. Par décision d'application du 9 août 2016, l'OEP a confié les mandats médico-légaux liés à l'ordonnance du Juge d'application des peines du 6 juin 2016 à la Fondation E._, à Z._, concernant le maintien du lieu de vie de X._, ainsi qu'à la Dresse B._, médecin psychiatre, s'agissant du suivi ambulatoire. Dans leur rapport du 3 octobre 2016, la Dresse B._ et C._, Directeur de la Fondation E._, ont relevé que X._, même s'il avait montré sa volonté de progresser, n'avait que très peu conscience de sa maladie, avait des capacités d'élaboration très restreintes qui le freinaient dans sa possibilité d'apprentissage de mesures préventives et que ses capacités à prévenir la rechute existaient actuellement grâce au traitement intégré qui était ordonné, où médecin psychiatre, équipe éducative, infirmière et curatrice le soutenaient et l'encadraient. Ils ont estimé que ce suivi, pour donner une chance à l'intéressé de s'insérer sans rechute ni risque de récidive, devait être fait par paliers, en garantissant ainsi une certaine sécurité par une vérification régulière et une consolidation des acquis. Ainsi, compte tenu des capacités d'adaptation limitées de X._, les étapes nécessaires avant l'élargissement du cadre en milieu non-protégé devaient, selon les prénommés, se succéder progressivement et couvrir les deux ans de mise à l'épreuve. En conséquence, ils ont proposé d'étendre l'ordonnance de suivi en appartements protégés à l'EMS E._ jusqu'à la fin de la mesure. Le 17 octobre 2016, l'OEP a saisi le Juge d'application des peines d'une proposition tendant à la modification de la règle de conduite assortissant la libération conditionnelle accordée à X._, dans le sens d'une poursuite de l'obligation faite à ce dernier de résider en appartements protégés ou dans tout autre logement agréé par l'OEP jusqu'au terme du délai d'épreuve. L'OEP a relevé que l'ensemble des intervenants avaient souligné la nécessité pour le condamné de maintenir son lieu de vie à l'EMS E._ durant toute la durée du délai d'épreuve. Il s'est également référé au rapport établi le 3 octobre 2016 par la Dresse B._ et C._. C. Par ordonnance du 14 novembre 2016, le Juge d'application des peines a modifié la règle de conduite assortissant la libération conditionnelle accordée à X._ le 6 juin 2016, en ce sens qu'il a été ordonné que le condamné continue de résider en appartements protégés ou dans tout autre logement agréé par l'Office d'exécution des peines jusqu'au terme du délai d'épreuve. D. Par arrêt du 23 décembre 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre cette décision. E. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à la réforme de cette décision en ce sens que les règles de conduite assortissant sa libération conditionnelle accordée le 6 juin 2016 ne sont pas modifiées. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle instruction et décision. Il sollicite également l'assistance judiciaire.