Faits :
A.
Par ordonnance du 2 décembre 2016, la Juge d'application des peines a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle prononcée par jugement de la Cour d'appel pénale du Tribunal cantonal vaudois le 12 avril 2012 et a prolongé la mesure pour une durée de 30 mois à compter du 15 septembre 2016.
B.
Par arrêt du 23 décembre 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a partiellement admis le recours formé par X._ contre l'ordonnance de première instance et a réduit la durée de la prolongation de la mesure thérapeutique institutionnelle à 15 mois. Elle a confirmé l'ordonnance du 2 décembre 2016 pour le surplus.
En substance elle a retenu les faits suivants.
B.a. Par jugement du 12 avril 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a confirmé le jugement rendu le 25 janvier 2012 par le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois, constatant que X._ s'était rendu coupable de lésions corporelles simples qualifiées et de mise en danger de la vie d'autrui. Elle l'a notamment condamné à une peine d'ensemble de 27 mois de privation de liberté (sous déduction de la détention subie avant jugement et de l'exécution anticipée de la mesure institutionnelle). Elle a en outre ordonné la poursuite du traitement institutionnel déjà commencé par X._.
Ce dernier était condamné pour avoir, en juin 2010, sous l'influence de l'alcool, frappé avec un marteau enroulé dans un maillot quelqu'un qu'il accusait d'avoir dérobé un collier offert par ses enfants. La victime a subi une fracture de l'os malaire droit, ainsi que des parois latérales et antérieures du sinus. A la fin du même mois, sous l'influence de l'alcool, X._ s'est approché de trois mineurs dans une cour d'école et a saisi l'un d'eux (alors âgé de 14 ans) par les cheveux, tout en menaçant de le tuer en brandissant un couteau de cuisine dans sa direction. Il a ensuite tenté de poignarder sa victime laquelle est toutefois parvenue à retenir le coup, non sans avoir été blessée à la main droite. Après avoir proféré de nouvelles menaces de mort au préjudice des deux adolescents, l'auteur a crevé les pneus du vélomoteur du jeune homme qu'il avait agressé.
Trois inscriptions antérieures à la condamnation du 12 avril 2012 figurent au casier judiciaire de X._ et font état de condamnations notamment pour incendie intentionnel, ivresse au volant, menace et abus de confiance.
B.b. Placé à l'EMS " A._ ", X._ bénéficie d'une sortie quotidienne d'une durée d'une heure au plus dans un rayon ne dépassant pas le territoire de la commune de B._. Dès le 8 août 2014, une sortie hebdomadaire d'une durée maximale de trois heures (cumulée à la sortie quotidienne) lui a été accordée. Depuis le 5 mai 2015, il est autorisé à se rendre seul, en transports publics, à l'atelier protégé qui l'occupe à raison de deux, voire trois demi-journées par semaines. Il a également bénéficié de plusieurs sorties spéciales. Aucun incident n'a été rapporté.
B.c. Déposée le 9 novembre 2015, l'expertise psychiatrique réalisée par la Dresse C._ pose notamment les diagnostics de modification durable de la personnalité après une expérience de catastrophe, d'agoraphobie, de trouble dépressif récurrent et de syndrome de dépendance éthylique, actuellement abstinent. Parmi d'autres, ces troubles sont susceptibles d'être à l'origine de réactions violentes, encore accrues par l'alcool. Selon le rapport, le risque de récidive paraît bien contrôlé dans un cadre soutenant ou sous abstinence totale de l'alcool mais il n'est pas possible de l'évaluer, en l'état, dans un cadre plus autonome. Une ouverture progressive du cadre, avec accompagnement permettant un ajustement constant aux capacités de l'intéressé était dès lors préconisée afin de maintenir ce risque au plus bas. L'experte a considéré que l'intéressé tirait profit de la mesure qu'il exécutait, laquelle devait dès lors être maintenue afin d'accompagner son évolution, sous la forme d'une intégration en appartement protégé, avec accompagnement dans ses projets professionnels et poursuite de la psychothérapie et du traitement médicamenteux. L'experte considérait, en définitive, que l'évolution de l'intéressé était suffisamment positive pour justifier la mise en place d'un tel projet, pour autant que l'accompagnement fût rigoureux pour contrer les risques de déstabilisation.
D'après un rapport déposé le 30 juin 2016 par le service de neuropsychologie et de neuroréhabilitation du CHUV, X._ souffre d'un trouble mnésique antérétrograde verbal modéré à sévère, d'un dysfonctionnement exécutif et de troubles attentionnels modérés, le tableau cognitif étant relativement stable.
Dans un rapport du 23 juin 2016, confirmé le 29 septembre 2016, la direction de l'EMS " A._ " a relevé que le condamné avait accompli des efforts pour s'intégrer en institution et se conformer aux règles auxquelles il était soumis, malgré un déficit de compréhension. Il présentait une nette amélioration de la gestion de ses interactions avec autrui. L'intégration d'un logement protégé apparaissait opportune.
Dans un rapport du 18 août 2016, le Dr D._, psychiatre référent de l'EMS, a indiqué que l'intéressé présentait une évolution favorable quant à son intégration, à son comportement dans le cadre institutionnel, à la gestion de ses émotions et à ses relations à autrui. La compliance médicamenteuse était bonne, avec abstinence totale à l'alcool et aux stupéfiants. Il préconisait une orientation vers l'intégration d'un appartement protégé, avec poursuite d'un étayage institutionnel et d'un renforcement des capacités adaptatives; une libération conditionnelle apparaissait " encore prématurée ".
B.d. Le 31 août 2016, l'Office d'exécution des peines (OEP) a saisi le Collège des Juges d'application des peines de l'examen annuel de la libération conditionnelle du condamné. Émettant un préavis défavorable, l'autorité a proposé une prolongation de la mesure pour une durée de 30 mois à compter du 15 septembre 2016.
Entendu le 27 septembre 2016 par la Juge d'application des peines, X._ a implicitement conclu à sa libération conditionnelle, respectivement à son transfert en appartement protégé. Le 30 septembre 2016, le Ministère public, se référant à la saisine de l'OEP, a déposé un préavis tendant au refus de la libération conditionnelle de la mesure thérapeutique.
B.e. Le 11 novembre 2016, l'OEP a produit le compte rendu de la séance interdisciplinaire tenue le 30 août 2016 en présence, outre de l'intéressé et de son curateur, de l'infirmière référente de l'EMS, du Dr D._ et d'un représentant de l'OEP. Il en ressort en particulier que le comportement de l'intéressé est toujours bon (compliance au suivi thérapeutique et gestion autonome du traitement). Les intervenants étaient toutefois d'avis que c'était par une activité supplémentaire et un élargissement du quota d'heures de congé que l'intéressé pouvait être préparé à plus d'autonomie, ce qui permettait d'envisager un éventuel placement en appartement protégé. Le rapport suggère d'envisager un tel placement après six mois de régime institutionnel élargi.
B.f. Dans ses séances des 14 et 15 novembre 2016, la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC) a considéré que le processus de ritualisation du quotidien pratiqué par le condamné pour surmonter ses difficultés devait être poursuivi de manière progressive et assistée jusqu'à l'accession à un appartement protégé.
C.
X._ forme un recours en matière de droit pénal contre l'arrêt cantonal auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que sa libération conditionnelle est ordonnée. Subsidiairement, il conclut à son annulation et au renvoi de la cause à la cour cantonale. Il sollicite le bénéfice de l'assistance judiciaire.
Considérant en droit :
1.
Le recourant conteste le refus de la libération conditionnelle de la mesure institutionnelle ainsi que sa prolongation. Il fait notamment valoir une violation des art. 59 al. 4, 62 et 62d CP et qualifie la durée de la prolongation d'arbitraire (art. 9 Cst.). Le recourant ne critique d'aucune manière le contenu des expertise et différents avis.
1.1.
1.1.1. Conformément à l'art. 62 al. 1 CP, l'auteur doit être libéré conditionnellement de l'exécution institutionnelle de la mesure dès que son état justifie qu'on lui donne l'occasion de faire ses preuves en liberté. La loi ne définit pas cette notion. Elle n'exige pas la guérison de l'auteur, mais une évolution ayant pour effet d'éliminer ou de réduire dans une mesure suffisante le risque de nouvelles infractions. Il n'est donc pas nécessaire que l'auteur soit mentalement normal. Il suffit qu'il ait appris à vivre avec ses déficits, de manière que l'on puisse poser un pronostic favorable quant à son comportement futur, étant rappelé que s'agissant de la décision sur le pronostic, le principe " in dubio pro reo " est inapplicable (ATF 137 IV 201 consid. 1.2 p. 202 s.). Ce pronostic doit être posé en tenant compte du principe de la proportionnalité (art. 5 al. 2 Cst. et 56 al. 2 CP) selon lequel l'atteinte aux droits de la personnalité qui résulte pour l'auteur d'une mesure ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Cette disposition postule de la sorte la pesée à effectuer entre l'atteinte aux droits inhérente à la mesure ordonnée et la dangerosité de l'auteur (ATF 137 IV 201 consid. 1.2 p. 203). Présente un caractère de dangerosité le délinquant dont l'état mental est si gravement atteint qu'il est fortement à craindre qu'il commette de nouvelles infractions. Lors de l'examen du risque de récidive, il convient de tenir compte de l'imminence et de la gravité du danger, ainsi que de la nature et de l'importance du bien juridique menacé. Lorsque des biens juridiques importants, tels que la vie ou l'intégrité corporelle, sont mis en péril, il faut se montrer moins exigeant quant à l'imminence et à la gravité du danger que lorsque des biens de moindre valeur, tels que la propriété ou le patrimoine, sont menacés. Le pronostic doit également tenir compte de la durée de la privation de liberté déjà subie par l'auteur (ATF 137 IV 201 consid. 1.2 p. 203).
1.1.2. L'art. 59 al. 4 CP prévoit que la privation de liberté entraînée par le traitement institutionnel ne peut en règle générale excéder cinq ans. Si les conditions d'une libération conditionnelle ne sont pas réunies après cinq ans et qu'il est à prévoir que le maintien de la mesure détournera l'auteur de nouveaux crimes ou de nouveaux délits en relation avec son trouble mental, le juge peut, à la requête de l'autorité d'exécution, ordonner la prolongation de la mesure de cinq ans au plus à chaque fois.
Le traitement thérapeutique institutionnel peut se poursuivre au-delà du délai de cinq ans, mais non sans un examen. Après l'écoulement de ce délai, la mesure nécessite un examen judiciaire. Si elle se révèle toujours nécessaire et appropriée, notamment au vu de l'état psychique de l'intéressé et des risques de récidive, elle peut être prolongée de cinq ans au plus à chaque fois. Lors de cet examen, le juge doit donner une importance accrue au respect du principe de la proportionnalité, d'autant plus que la prolongation revêt un caractère exceptionnel et qu'elle doit être particulièrement motivée. Une expertise n'est toutefois pas exigée (cf. art. 56 al. 3 CP; ATF 135 IV 139 consid. 2.1 p. 141; arrêt 6B_377/2013 du 19 juillet 2013 consid. 1.1).
La possibilité de prolonger la mesure est subordonnée à deux conditions. Elle suppose d'abord que les conditions pour une libération conditionnelle ne soient pas données, à savoir qu'un pronostic favorable ne puisse pas être posé quant au comportement futur de l'auteur en liberté (cf. art. 62 al. 1 CP, ATF 135 IV 139 consid 2.2.1 p. 141; arrêt 6B_337/2013 du 19 juillet 2013 consid. 1.2.1). Par ailleurs, le maintien de la mesure doit permettre de détourner l'auteur de nouveaux crimes et délits en relation avec son trouble (art. 59 al. 4 CP; ATF 135 IV 139 consid. 2.3.1; arrêt 6B_517/2013 du 19 juillet 2013 consid. 1.2 et 1.3).
Si les conditions légales sont réalisées, le juge peut prolonger la mesure, selon l'énoncé légal, " de cinq ans au plus à chaque fois ". De cette formulation, il résulte d'abord qu'une prolongation de la mesure n'est pas impérative (" Kann-Vorschrift "). Le juge doit déterminer si le danger que représente l'intéressé peut justifier l'atteinte aux droits de la personnalité qu'entraîne la prolongation de la mesure. A cet égard, seul le danger de délits relativement graves peut justifier une prolongation. Le principe de la proportionnalité doit s'appliquer non seulement en ce qui concerne le prononcé ordonnant la prolongation de la mesure, mais également en ce qui concerne sa durée (art. 56 al. 2 CP). Selon l'énoncé légal, comme déjà mentionné, la mesure peut être prolongée au plus de cinq ans. Il en résulte clairement qu'une prolongation inférieure à cinq ans est également possible (ATF 135 IV 139 consid. 2.4 p. 143 s.).
Au contraire de l'internement, qui consiste principalement à neutraliser l'auteur, la mesure thérapeutique institutionnelle cherche à réduire le risque de récidive par une amélioration des facteurs inhérents à l'intéressé. Il s'ensuit que, pour qu'une mesure thérapeutique institutionnelle puisse être maintenue, c'est le traitement médical, non la privation de liberté qui lui est associée, qui doit conserver une chance de succès du point de vue de la prévention spéciale. La notion de traitement médical doit être entendue largement. Même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement, si elle a pour effet prévisible d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société (cf. ATF 137 IV 201 consid. 1.3 p. 204 s.; arrêt 6B_1160/2013 du 20 février 2014 consid. 3.1.2).
1.1.3. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. La notion d'arbitraire a été rappelée récemment dans l'arrêt publié aux ATF 142 II 369, auquel on peut se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (ATF 142 II 369 consid. 4.3 p. 380). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 140 III 264 consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF; ATF 142 III 364 consid. 2.4 p. 368).
1.2.
1.2.1. Le premier juge a refusé la libération conditionnelle de la mesure, motif pris de la fragilité et des difficultés de gestion présentées par le recourant, lesquelles témoigneraient encore de la nécessité de maintenir un cadre institutionnel, nonobstant les incontestables progrès de l'intéressé. Il ressort de la décision de première instance que, lors de son séjour dans un autre EMS, le recourant a menacé et insulté le personnel et, en août 2013, il a tenté de frapper un membre du personnel soignant. La Juge d'application des peines a tenu compte des conclusions de l'expertise selon lesquelles, les troubles dont souffre le recourant sont susceptibles d'engendrer des réactions comportementales explosives face à ce qui est perçu comme injuste, frustrant ou incompréhensible, surtout dans des contextes de perte d'étayage. Suivant l'expertise du 9 novembre 2015, le rapport de la CIC et l'avis du Dr D._, la magistrate a retenu qu'un passage en appartement protégé devait se faire dans le cadre d'un assouplissement du régime et non de la levée de la mesure, en tenant compte de la gravité des actes commis par le recourant et de son importante composante impulsive.
1.2.2. Constatant que l'évolution du recourant était bonne et que le traitement dispensé portait ses fruits, la cour cantonale a retenu que le recourant avait commis des infractions de nature à compromettre sérieusement la sécurité publique, à savoir de lésions corporelles simples et la mise en danger de la vie d'autrui. La cour cantonale a suivi les avis unanimes des expert et psychiatre traitant du recourant, suivis par l'OEP et le ministère public appuyant la nécessité de poursuivre la mesure thérapeutique institutionnelle. Selon les juges cantonaux, une libération conditionnelle était prématurée et susceptible de contribuer à la déstabilisation de l'équilibre du recourant, avec une augmentation du risque de décompensation psychique. L'évolution favorable constatée ne suffisait pas à infirmer ces facteurs de mauvais pronostic pour la période proche. La cour cantonale a considéré que le recourant devait préparer son autonomie en vue d'une libération, avec les étapes intermédiaires constituées par l'assouplissement du régime actuel, suivi d'un placement en appartement protégé, afin de maintenir le risque de récidive le plus bas possible. Les conditions permettant d'accorder la libération conditionnelle de la mesure thérapeutique n'étaient dès lors pas réunies.
Retenant que ces conditions ne pouvaient être réalisées que moyennant la poursuite de l'assouplissement du régime actuel, la cour cantonale a jugé que la mesure devait être prolongée conformément à l'art. 59 al. 4 CP. Qualifiant d'excessive la durée de la prolongation de 30 mois prononcée en première instance, la cour cantonale l'a ramenée à 15 mois dès le 15 septembre 2016 (ce dies a quo n'étant pas contesté). Ce délai suffisait à mettre en oeuvre la poursuite de l'élargissement et devait en principe suffire à ce que les conditions de la libération conditionnelle fussent remplies.
1.3. Le recourant sélectionne certains éléments retenus par la cour cantonale en sa faveur et en déduit que la libération conditionnelle devait lui être octroyée. Ce faisant, il ne formule pas de critique recevable au sens de l'art. 42 al. 2 LTF contre le raisonnement cantonal.
1.3.1. L'on comprend de l'arrêt entrepris que les juges cantonaux ont retenu un risque de récidive à court terme s'agissant d'infractions contre l'intégrité physique, voire contre la vie (infractions compromettant sérieusement la sécurité publique, facteurs de mauvais pronostic pour la période proche). Si les éléments sur lesquels le recourant se fonde pour prétendre qu'il ne présente aucun danger pour la sécurité publique (autorisations de déplacements non accompagné, le suivi du traitement, son autonomie et son abstinence à l'alcool; cf. mémoire de recours ch. 11; 37; 41 et 52) confirment sa bonne évolution, ils ne sont pas aptes à démontrer que le risque de récidive en liberté n'existerait pas.
En se bornant à affirmer que le risque de récidive n'est démontré par aucun élément au dossier le recourant échoue à démontrer l'arbitraire dans l'appréciation des preuves, en particulier de l'expertise et de ses conclusions sur le risque de récidive dans un cadre autonome. Selon l'OEP, le risque de récidive était important en cas de non-préparation à la transition entre foyer et autonomie complète. En outre, tant l'experte C._ que le psychiatre traitant D._ conditionnent l'évolution favorable du recourant à l'existence d'un cadre institutionnel et à l'abstinence à l'alcool. L'expertise, dont la probité et le contenu ne sont pas contestés, pose notamment le diagnostic de syndrome de dépendance éthylique, parle de risque de réactions explosives chez le recourant dans des contextes de perte d'étayage et indique que l'alcool accroît la violence de ces réactions avec une potentielle auto ou hétéro-agressivité (rapport du 9 novembre 2015, réponse 1 et 2, p. 14; art. 105 al. 1 LTF). Or la levée de la mesure impliquerait une perte d'étayage et le risque de consommation d'alcool avec les conséquences qui en découlent. La CIC retient que l'élargissement progressif de la mesure encouragerait le recourant à persévérer dans son abstinence à la consommation de toute substance psychoactive. Ces constatations médicales, associées au fait que les infractions de lésions corporelles simples qualifiées et de mise en danger de la vie d'autrui ont été commises sous l'influence de l'alcool, permettaient d'admettre un risque de récidive dirigé contre des biens juridiques importants, tels que la vie ou l'intégrité corporelle. Cette conclusion s'impose d'autant plus au vu des actes de violence commis contre le personnel soignant d'un EMS en 2013, alors que le recourant bénéficiait de la mesure de traitement institutionnel.
Au moment de l'arrêt cantonal, l'évolution, certes favorable du recourant, n'avait pas pour effet de réduire dans une mesure suffisante le risque de commettre de nouvelles infractions. Les juges cantonaux pouvaient dès lors considérer que le recourant n'avait pas appris à vivre avec ses déficits de manière à pouvoir poser un pronostic favorable. Puisque, seule une mesure institutionnelle (certes aménagée en vue d'une plus grande autonomie) permettait de réduire le risque de récidive, l'état du recourant ne justifiait pas de lui donner l'occasion de faire ses preuves en liberté.
Au vu des éléments du dossier, les juges cantonaux pouvaient retenir qu'une libération conditionnelle, même assortie de règles de conduite, respectivement d'une mesure ambulatoire constituait une transition précipitée. En tant qu'il dénonce une violation du principe de proportionnalité à cet égard, il est rappelé que l'atteinte à sa personnalité est atténuée puisqu'il bénéficie de nombreux allègements du cadre institutionnel.
En définitive, compte tenu de l'état psychique du recourant, de son autonomie insuffisante et de l'adéquation de la mesure pour réduire le risque de récidive, c'est sans violer le droit fédéral que les juges cantonaux ont considéré que les conditions de la libération conditionnelle de la mesure thérapeutique institutionnelle n'étaient pas réalisées (art. 62 al. 1 CP).
1.3.2. S'agissant de la prolongation de la mesure, l'experte C._ a expressément déclaré que le recourant en tirait un bénéfice, que celle-ci devait être maintenue afin de poursuivre son évolution et qu'elle était la meilleure solution pour maintenir le risque de récidive le plus bas possible, tout en proposant des aménagements. Sur cette base, les juges cantonaux pouvaient considérer que la prolongation du traitement institutionnel permettait de détourner le recourant de nouveaux crimes et délits en relation avec son trouble par une amélioration des facteurs inhérents à sa personne. La mesure conservait ses chances de succès du point de vue de la prévention spéciale (cf. avis des Dr C._, D._ et médecins du CIC). Cela étant et compte tenu de la gravité des délits pris en compte, le prononcé d'une prolongation de la mesure, assortie d'élargissements supplémentaires, respecte le principe de la proportionnalité, sous réserve du critère de la durée.
Dans la mesure où le maintien de la mesure est fondée notamment sur l'art. 59 al. 4 CP, les griefs tirés d'une violation de l'art. 10 al. 2 Cst. (liberté personnelle) tombent à faux (cf. art. 31 al. 1 et 36 Cst. sur la restriction des droits fondamentaux). En tant que le recourant prétend que l'EMS s'apparente à un milieu fermé au sens de l'art. 59 al. 3 CP, il ne s'en prend pas à la décision cantonale et ne se plaint pas d'un défaut de motivation à cet égard. En tout état, il ne formule pas de grief recevable sous l'angle de l'art. 42 al. 2 LTF.
En prétendant que la cour cantonale n'aurait pas relevé de circonstance exceptionnelle justifiant le maintien de la mesure, le recourant omet l'exposé des raisons du caractère nécessaire et approprié de la mesure à court ou moyen terme, tant du point de vue de son état psychique que des risques de récidive.
1.3.3. Le recourant estime que la cour cantonale a arbitrairement prolongé la mesure à quinze mois, pour l'unique raison d'octroyer du temps aux autorités afin qu'elles puissent organiser son placement en appartement protégé. Ce faisant, il déforme le raisonnement de la cour cantonale qui justifie la prolongation de la mesure tout en prévoyant une poursuite de l'élargissement, pour que, une fois libéré conditionnellement, il puisse intégrer un appartement protégé. Cela correspond d'ailleurs aux recommandations des différents intervenants. Le Dr D._ proposait de continuer l'étayage institutionnel en orientant le projet thérapeutique à court/moyen terme vers l'intégration d'un appartement protégé. L'experte psychiatre recommandait de maintenir un cadre institutionnel avec des ajustements et élargissements progressifs. Le rapport déposé le 11 novembre 2016 concernant la séance interdisciplinaire du 30 août 2016 suggérait d'envisager un placement en appartement protégé après six mois d'un régime institutionnel élargi. La CIC évoquait un processus d'élargissement progressif et assisté jusqu'à la prochaine étape d'accès à un appartement protégé. Lus en compléments, ces avis permettaient de considérer que la prolongation de la mesure sur une durée de 15 mois, constituait un projet à moyen terme, à même de réduire le risque de récidive. Compte tenu des nombreux avis concordants sur ce point et de la gravité des infractions en cause, la prolongation d'un quart de la durée maximale prévue par l'art. 59 al. 4 2ème phrase CP, assortie d'un élargissement progressif du cadre, ne paraît pas disproportionnée.
La cour cantonale a exposé les raisons du délai écoulé entre la dernière ordonnance de refus de libération conditionnelle et celle du 2 décembre 2016, s'agissant des délais annuel et quinquennal des art. 59 al. 4 et 62d al. 1 CP. Le recourant ne formule aucun grief à cet égard. Il échoue à démontrer l'arbitraire de la prolongation de 15 mois en raison du prétendu non-respect de ces délais, étant précisé que rien n'empêche l'autorité compétente d'examiner s'il peut être libéré conditionnellement dans l'intervalle (cf. art. 62d CP).
2.
Le recours doit être rejeté dans la mesure de sa recevabilité. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 16 novembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke