Faits :
A.
Par décision du 16 janvier 2018, le Collège des Juges d'application des peines a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle ordonnée à son endroit par le Tribunal criminel de l'arrondissement de Lausanne le 19 mai 2014.
B.
Par arrêt du 1er février 2018, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ et confirmé la décision du 16 janvier 2018.
En substance, elle a retenu les faits suivants.
B.a. Par jugement du 31 mars 2003, le Tribunal criminel de l'arrondissement de Lausanne a condamné X._ pour crime manqué d'assassinat, lésions corporelles graves, viol qualifié, contrainte sexuelle qualifiée, délit manqué de lésions corporelles simples qualifiées, lésions corporelles simples qualifiées, vol et tentative de vol, dommages à la propriété, injure, menaces, violence ou menace contre les autorités et les fonctionnaires, opposition aux actes de l'autorité, entrave par négligence aux services d'intérêt général et violation grave des règles de la circulation, à dix ans de réclusion, sous déduction de la détention préventive. Il a également ordonné un traitement ambulatoire psychothérapeutique.
Il était en particulier reproché à X._, outre de nombreux actes d'incivilité sur la voie publique et de violence envers des membres de sa famille, des proches ou la police commis entre septembre 1999 et avril 2001, d'avoir agressé une prostituée dans la nuit du 26 au 27 octobre 2000, la frappant violemment puis la violant alors qu'elle était inconsciente. A la suite de cette agression, la victime est demeurée tétraplégique. Dans le courant du mois d'avril 2001, X._ a aussi violemment frappé à la tête un client dans un établissement public au motif qu'il aurait manqué de respect à sa mère. L'homme a été victime d'une contusion hémorragique temporale qui aurait pu potentiellement mettre sa vie en danger.
X._ a été détenu depuis le 5 avril 2001 et a été placé à l'établissement A._ dès le 30 septembre 2002.
B.b. X._ a fait l'objet d'expertises psychiatriques, dont rapports ont été rendus les 29 janvier 2002 et 8 mars 2005. Par arrêt du 15 août 2005, confirmé le 13 mars 2006 par le Tribunal fédéral, la Cour de cassation pénale du Tribunal cantonal a admis un recours du Ministère public dirigé contre le jugement du Tribunal criminel de l'arrondissement de Lausanne du 31 mars 2003, et réformé celui-ci en ordonnant la suspension de l'exécution de la peine au profit d'un internement.
Par jugement du 12 novembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné la poursuite de l'internement de X._ en application du nouveau droit. Il a notamment pris acte des rapports établis par divers intervenants dans la prise en charge de ce dernier, qui relevaient que son état psychologique s'était progressivement amélioré et qu'il s'investissait dans sa thérapie, mais qu'il n'entrait pas encore pleinement dans un processus de confrontation, que son discours était plaqué et qu'il lui restait par conséquent un long chemin à parcourir pour prendre conscience de sa dangerosité.
B.c. Selon un nouveau rapport d'expertise psychiatrique du 5 avril 2011, X._ souffrait d'un trouble mixte de la personnalité à traits borderline et dyssociaux. Les experts ont notamment relevé les progrès indéniables accomplis par l'intéressé depuis mars 2005, dans un contexte très structuré. Ils ont estimé qu'une ouverture non progressive du cadre entraînerait un risque de récidive important, sans toutefois être imminent, en le confrontant soudainement à des facteurs de stress non présents en détention, à des interactions sociales élargies et à la possibilité matérielle de consommer à nouveau de l'alcool. Ils ont préconisé un élargissement progressif du cadre dans lequel il exécutait sa mesure, afin de mettre à l'épreuve ses acquis et d'observer l'éventuelle réapparition de troubles du comportement.
Cette expertise a été complétée par un rapport complémentaire du 21 août 2013 dans lequel les experts ont notamment exposé ne plus avoir de critère actif pour permettre de retenir le diagnostic de trouble mixte de la personnalité à traits dyssociaux retenu précédemment. X._ avait intégré l'établissement B._ après avoir obtenu un CFC de boulanger-pâtissier. Deux sorties accompagnées avaient eu lieu dès le 1er mars 2013, à l'occasion desquelles le condamné avait rencontré son amie et sa famille. Son comportement dans son nouveau cadre de vie confirmait qu'il n'y avait pas de risque majeur de dangerosité dans le présent, en milieu fermé. Les différentes évaluations effectuées par les sociothérapeutes reflétaient des progrès qui semblaient réels et non plus associés uniquement à la volonté de se présenter au mieux afin d'alléger les conditions de détention ou de la peine. Les experts souscrivaient ainsi à une ouverture progressive du cadre.
Par jugement du 19 mai 2014, le Tribunal criminel de l'arrondissement de Lausanne a levé la mesure d'internement et ordonné la mise en oeuvre d'une mesure thérapeutique institutionnelle, en se fondant sur les expertises précitées.
B.d. Le 12 mai 2015, le Collège des Juges d'application des peines a refusé d'accorder à X._ la libération conditionnelle de sa mesure, tout en admettant que sa poursuite avait un sens.
Par la suite, cette autorité a mandaté le Dr. C._, médecin adjoint du Centre de psychiatrie D._, afin qu'il procède à une nouvelle expertise psychiatrique de l'intéressé. Ce dernier a rendu un rapport du 17 novembre 2016, duquel il ressortait notamment que X._ souffrait d'un trouble mixte de la personnalité à composantes dyssociales et borderline, avec, en l'état, une atténuation des composantes dyssociales. Il a notamment exposé que le comportement de l'expertisé était stable et a mis en avant une évolution positive qu'il a qualifiée de marquante depuis 2007. L'expert a conclu à un risque de récidive moyen, sans qu'il ne soit imminent, le cadre actuel étant conteneur et mainteneur. L'intéressé avait néanmoins fait les choix de ne plus consommer malgré les possibilités qui s'offraient à lui, d'aboutir une formation et de s'investir dans sa thérapie. Les facteurs favorisant le risque de réitération étaient notamment une précarité financière, une rechute dans la consommation de stupéfiants et d'alcool et des difficultés relationnelles au sein de sa famille, étant précisé que X._ avait plus de stratégies d'adaptation qu'à l'époque et qu'il était désormais en bons termes avec les membres de sa famille. Un acte de violence extrême tel que celui qu'il avait perpétré semblait peu probable, bien que ne pouvant être totalement exclu. Des délits tels que des vols ou de légères atteintes contre l'intégrité physique de tiers semblaient plus envisageables s'il devait récidiver.
L'expert a ensuite indiqué qu'il était important que X._ continue son suivi thérapeutique sur le long terme et a préconisé une évolution vers une réinsertion par étapes successives et progressives. Selon lui, un passage en foyer pouvait être envisageable rapidement, associé à une activité professionnelle externe. Une libération conditionnelle était toutefois encore prématurée. Après une période à définir et en cas de succès du travail externe, il serait possible d'envisager un passage en appartement protégé, suivi d'une phase de travail et de logement externes, et de réactualiser l'expertise psychiatrique en vue d'une libération conditionnelle. Dans la mesure où l'intéressé s'était servi du cadre de la prison pour se structurer intérieurement, autrement dit pour stabiliser sa structure psychique, il était possible qu'en l'absence de ce soutien extérieur, il se déstabilise face à des situations stressantes. Observer les stratégies qu'il adopterait pour rester calme dans sa progression était primordial et permettrait de déterminer ce qu'il avait acquis, de percevoir les éventuelles difficultés qu'il rencontrerait et de l'aider dans sa démarche d'autonomisation.
Le 20 janvier 2017, se fondant sur l'expertise précitée, le Collège des juges d'application des peines a à nouveau refusé d'accorder à X._ la libération conditionnelle de sa mesure.
B.e. Dans un rapport du 1er mai 2017, l'Unité d'évaluation criminologique du Service pénitentiaire (ci-après: UEC) a indiqué que X._ présentait une certaine évolution, notamment concernant l'importance de son suivi psychothérapeutique et des étapes futures de sa mesure. Il semblait davantage conscientiser certaines de ses fragilités. Il avait su mobiliser les discours et les remarques qui lui avaient été faites, le degré auquel il les avait fait siens étant toutefois sujet à interrogations. Le risque de récidive a été qualifié de moyen et le risque de fuite de faible. Afin de prévenir une éventuelle régression due au découragement, les criminologues ont indiqué qu'ils étaient favorables à la poursuite des ouvertures de régime par étapes progressives. Dans un objectif de réinsertion tant professionnelle que privée, des congés, puis un passage en foyer pourraient être envisageables.
B.f. Dans un bilan de phase 7 et proposition de la suite du plan d'exécution de la sanction (ci-après: PES) élaboré en juin 2017 et avalisé par l'Office d'exécution des peines (ci-après: OEP) le 31 août suivant, la Direction de A._ a rapporté que tous les objectifs fixés à X._ avaient été atteints, à l'exception de la poursuite du paiement des frais de justice, et que celui-ci avait respecté toutes les conditions générales mises en place.
Effectuant une synthèse des éléments favorables à une progression de l'exécution de la sanction, la Direction de la prison a relevé que X._ avait su se conformer aux attentes et démontrer sa stabilité. Il maintenait son abstinence aux substances prohibées, s'investissait à l'atelier, adoptait un bon comportement au cellulaire et avait su gérer sa frustration malgré la lassitude omniprésente face à l'exécution de sa mesure. S'agissant d'éléments défavorables, la Direction de la prison a relevé l'impatience de l'intéressé quant à l'exécution de sa mesure, ainsi que sa propension, dans certains contextes, à être envahi par ses é motions, lesquelles ne s'opposaient pas à la progression envisagée. La nécessité d'élargir le cadre par étapes progressives, observées et observables, devait néanmoins être rappelée et maintenue.
La Direction de A._ avait également rapporté les conclusions issues d'une rencontre interdisciplinaire qui s'était tenue le 9 mai 2017. Il en ressortait notamment que X._ avait déjà bénéficié de plusieurs conduites et avait su faire preuve d'adaptation, qu'il n'avait fait l'objet d'aucune sanction disciplinaire, que l'alliance thérapeutique, qualifiée de bonne par le Service de médecine et psychiatrie pénitentiaires (ci-après: SMPP), avait tendance à se dégrader depuis quelques mois dans la mesure où l'intéressé remettait en cause la pertinence du suivi et qu'une évolution positive concernant la reconnaissance de ses émotions, la compréhension de son histoire personnelle et du passage à l'acte avait été mise en évidence par le psychothérapeute. Sur la base de ces éléments, la progression de l'exécution de la sanction pouvait être envisagée, d'une part par la poursuite du régime de conduites sociales et la mise en oeuvre d'un régime de conduites institutionnelles et, d'autre part, par l'instauration d'un régime de congés fractionnés et la poursuite du processus de placement en institution.
Le 14 août 2017, la Direction de A._ a préavisé défavorablement à l'octroi de la libération conditionnelle à X._. Bien que le suivi et l'alliance thérapeutiques étaient bons, celui-ci devait encore progresser dans sa démarche réflexive. Le risque de récidive demeurait moyen et le faible risque de fuite ne pouvait pas être exclu.
B.g. Dans un préavis du 12 septembre 2017, la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC) a retenu premièrement que, selon l'expertise réalisée en novembre 2016, les troubles de personnalité de X._ pouvaient désormais être considérés comme atténués, qu'il tirait parti de la mesure et que le risque qu'il récidive était considéré comme moyen, non imminent et conditionné par des facteurs de déstabilisation. La CIC a ensuite constaté que, dans ces conditions favorables, les experts préconisaient la poursuite d'un suivi thérapeutique accompagnant les étapes d'une confrontation au monde extérieur, ce programme passant par une admission de l'intéressé en foyer et la recherche d'une activité professionnelle. En outre, l'évaluation criminologique réalisée en mai 2017 notait un début d'évolution positive dans la prise de conscience de X._ de ses fragilités persistantes et qualifiait le risque de réitération de moyen. Enfin, relevant que devant ces constats favorables, le PES avalisé le 31 août 2017 préconisait le placement de X._ en foyer après les indispensables phases de préparation, la CIC a déclaré qu'elle souscrivait à cette orientation, en s'interrogeant cependant sur la pertinence de subordonner cette admission à la réussite d'un congé fractionné qui devrait plutôt intervenir ultérieurement dans le cadre du placement.
B.h. Le 19 octobre 2017, l'OEP a saisi le Collège des Juges d'application des peines d'une proposition tendant au refus de la libération conditionnelle à X._. Il a exposé que celui-ci avait poursuivi son évolution positive, tant au carcéral que dans le cadre de son suivi thérapeutique. Il continuait son régime de conduites et recherchait un foyer adéquat pouvant l'accueillir. Afin de privilégier sa réinsertion en douceur dans la société, tout en maintenant un risque acceptable pour celle-ci, il devait poursuivre l'exécution de sa mesure, avec des phases d'élargissement progressives et prudentes.
Postérieurement à la saisine de l'OEP, le dossier a été complété par différents rapports en lien avec les conduites dont a bénéficié X._, desquels il ressort un bilan globalement favorable. De même, un changement est intervenu au niveau du bilan de phase 7 du PES, après que l'OEP, puis la Chambre des recours du Tribunal cantonale, aient refusé un congé prévu par ledit plan ensuite de l'avis de la CIC, qui ne cautionnait pas ce type d'élargissement antérieurement à un placement.
B.i. Le 28 novembre 2017, le Ministère public central, division affaires spéciales, s'est rallié à l'avis de l'OEP du 19 octobre 2017 en préavisant défavorablement à la libération conditionnelle de la mesure thérapeutique institutionnelle de X._.
B.j. Par décision du 11 janvier 2018, l'OEP a autorisé X._ à poursuivre l'exécution de sa mesure thérapeutique institutionnelle auprès de l'établissement E._, à compter du 15 janvier 2018.
C.
X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à la réforme de l'arrêt de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud du 1er février 2018 en ce sens qu'il est constaté le caractère illicite de sa détention depuis novembre 2013, que la mesure institutionnelle thérapeutique est levée, que sa libération immédiate est ordonnée et que l'indemnité allouée à son conseil d'office pour la procédure de première instance devant le Collège des Juges d'application des peines est fixée à 7'315 fr. 92, dont 553 fr. 92 de TVA. Subsidiairement, il conclut à la réforme de l'arrêt attaqué en sens que la libération conditionnelle de la mesure thérapeutique institutionnelle lui est accordée. Plus subsidiairement encore, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la Chambre des recours pénale pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
Considérant en droit :
1.
Le recours en matière pénale est ouvert pour porter sur l'exécution d'une mesure (art. 78 al. 2 let. b LTF).
2.
Le recourant débute ses écritures par une présentation des faits. Dans la mesure où il s'écarte des faits retenus par la cour cantonale sans démontrer que ceux-ci auraient été établis de manière arbitraire, son exposé est appellatoire et, partant, irrecevable (cf. art. 106 al. 2 LTF).
3.
Le recourant se plaint d'un déni de justice formel. Il reproche à la cour cantonale de ne pas avoir statué sur le caractère licite de la mesure ainsi que sur la violation des art. 62c et 62 al. 1 CP.
3.1. Selon la jurisprudence, l'autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinent pour l'issue du litige, commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (ATF 142 II 154 consid. 4.2 p. 157; 135 I 6 consid. 2.1 p. 9).
3.2. En rapport avec la licéité de la mesure antérieurement à la décision du Collège des Juges d'application des peines du 16 janvier 2018, la cour cantonale a constaté que le caractère licite reposait sur des décisions exécutoires rendues à ce sujet. Au demeurant et pour ce qui concerne la décision du 16 janvier 2018, le recourant ne démontre pas en quoi son grief relatif à l'illicéité de la mesure se distinguerait de celui tiré de la violation des art. 59 et 56 al. 6 CP. L'autorité précédente a examiné, sous l'angle de ces dispositions, si les conditions de la mesure étaient toujours remplies ou si elle devait être levée. Elle a conclu que " la mesure institutionnelle ordonnée à l'endroit de X._ reste justifiée et licite et, compte tenu des élargissement intervenus, elle demeurait proportionnée. " (arrêt attaqué, p. 21).
La cour cantonale a également statué sur les violations alléguées des art. 62c et 62 al. 1 CP en retenant que dans la mesure où la motivation du recourant était similaire à celle présentée sous l'angle des art. 56 al. 6 et 59 CP, les motifs développés en lien avec ces dispositions valaient mutatis mutandisen ce qui concernait les art. 62 c et 62 al. 1 CP. En effet, dans ses considérants précédents, la cour cantonale avait déjà examiné non seulement si la mesure devait être levée (art. 56 al. 6, 59 et 62c CP), mais également si la libération conditionnelle pouvait être octroyée (art. 62 CP). Il s'ensuit que la cour cantonale n'a pas manqué de rendre une décision sur les différents griefs soulevés par le recourant.
La question de savoir si ces motifs sont fondés sera examinée ci-après.
4.
Invoquant la violation des art. 5 par. 1 CEDH, 56 al. 6 CP, 59 CP et 62c CP, le recourant réclame la levée de sa mesure et demande qu'il soit constaté le caractère illicite de sa détention depuis novembre 2013. Il conclut à titre subsidiaire à l'octroi de la libération conditionnelle conformément à l'art. 62 CP.
4.1.
4.1.1. Conformément à l'art. 5 par. 1 CEDH, toute personne a droit à la liberté et à la sûreté. Nul ne peut être privé de sa liberté sauf, notamment, s'il s'agit de la détention régulière d'une personne susceptible de propager une maladie contagieuse, d'un aliéné, d'un alcoolique, d'un toxicomane ou d'un vagabond (let. e).
Pour respecter l'art. 5 par. 1 CEDH, la détention doit avoir lieu "selon les voies légales" et "être régulière". En la matière, la CEDH renvoie pour l'essentiel à la législation nationale et consacre l'obligation d'en respecter les normes de fond comme de procédure, mais elle exige de surcroît la conformité de toute privation de liberté au but de l'article 5: protéger l'individu contre l'arbitraire (arrêts CourEDH Cervenka c. République tchèque du 13 octobre 2016 [requête no 62507/12] § 105; Bergmann c. Allemagne du 7 janvier 2016 [requête no 23279/14] § 101; Papillo c. Suisse du 27 janvier 2015 [requête no 43368/08] § 41). Selon la jurisprudence de la Cour européenne des droits de l'Homme, les questions du traitement ou du régime adéquats ne relèvent en principe pas de l'art. 5 par. 1 let. e CEDH, sous réserve de l'existence d'un certain lien entre, d'une part, le motif invoqué pour la privation de liberté autorisée et, d'autre part, le lieu et le régime de détention. Dans ce contexte, en principe, la "détention" d'une personne souffrant de troubles mentaux ne sera "régulière" au regard de l'art. 5 par. 1 let. e CEDH que si elle se déroule dans un hôpital, une clinique ou un autre établissement approprié à ce habilité (arrêts CourEDH Bergmann § 99; Papillo § 42; Claes c. Belgique du 10 janvier 2013 [requête no 43418/09] § 114; L.B. c. Belgique du 2 octobre 2012 [requête no 22831/08] § 93; Stanev c. Bulgarie du 17 janvier 2012 [requête no 36760/06] § 147).
4.1.2. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si l'auteur a commis un crime ou un délit en relation avec ce trouble et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (art. 59 al. 1 CP).
Conformément à l'art. 56 al. 6 CP, une mesure dont les conditions ne sont plus remplies doit être levée. Comme son prononcé suppose qu'elle soit propre à détourner l'auteur de la commission de nouvelles infractions en relation avec son grave trouble mental (cf. art. 59 al. 1 let. b CP), une mesure thérapeutique institutionnelle ne peut être maintenue que si elle conserve une chance de succès, ainsi que le prévoit du reste l'art. 62c al. 1 let. a CP. Au contraire de l'internement, qui consiste principalement à neutraliser l'auteur, la mesure thérapeutique institutionnelle cherche à réduire le risque de récidive par une amélioration des facteurs inhérents à l'intéressé. Il s'ensuit que, pour qu'une mesure thérapeutique institutionnelle puisse être maintenue, c'est le traitement médical, non la privation de liberté qui lui est associée, qui doit conserver une chance de succès du point de vue de la prévention spéciale. La notion de traitement médical doit être entendue largement. Même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement, si elle a pour effet prévisible d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société (cf. ATF 137 IV 201 consid. 1.3 p. 204 s.; arrêt 6B_1160/2013 du 20 février 2014 consid. 3.1.2). Selon l'art. 62c al. 1 let. c, la mesure est levée s'il n'y a pas ou plus d'établissement approprié.
4.1.3. Conformément à l'art. 62 al. 1 CP, l'auteur doit être libéré conditionnellement de l'exécution institutionnelle de la mesure dès que son état justifie qu'on lui donne l'occasion de faire ses preuves en liberté. La loi ne définit pas cette notion. Elle n'exige pas la guérison de l'auteur, mais une évolution ayant pour effet d'éliminer ou de réduire dans une mesure suffisante le risque de nouvelles infractions. Il n'est donc pas nécessaire que l'auteur soit mentalement normal. Il suffit qu'il ait appris à vivre avec ses déficits, de manière que l'on puisse poser un pronostic favorable quant à son comportement futur, étant rappelé que s'agissant de la décision sur le pronostic, le principe " in dubio pro reo " est inapplicable (ATF 137 IV 201 consid. 1.2 p. 202 s.). Ce pronostic doit être posé en tenant compte du principe de la proportionnalité (art. 5 al. 2 Cst. et 56 al. 2 CP) selon lequel l'atteinte aux droits de la personnalité qui résulte pour l'auteur d'une mesure ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Cette disposition postule de la sorte la pesée à effectuer entre l'atteinte aux droits inhérente à la mesure ordonnée et la dangerosité de l'auteur (ATF 137 IV 201 consid. 1.2 p. 203). Présente un caractère de dangerosité le délinquant dont l'état mental est si gravement atteint qu'il est fortement à craindre qu'il commette de nouvelles infractions. Lors de l'examen du risque de récidive, il convient de tenir compte de l'imminence et de la gravité du danger, ainsi que de la nature et de l'importance du bien juridique menacé. Lorsque des biens juridiques importants, tels que la vie ou l'intégrité corporelle, sont mis en péril, il faut se montrer moins exigeant quant à l'imminence et à la gravité du danger que lorsque des biens de moindre valeur, tels que la propriété ou le patrimoine, sont menacés. Le pronostic doit également tenir compte de la durée de la privation de liberté déjà subie par l'auteur (ATF 137 IV 201 consid. 1.2 p. 203).
4.1.4. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (ATF 143 IV 500 consid. 1.1 p. 503). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (ATF 143 IV 500 consid. 1.1 p. 503; 140 III 264 consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF), les critiques de nature appellatoire étant irrecevables (ATF 142 III 364 consid. 2.4 p. 368).
4.2. La cour cantonale a constaté que le trouble mixte de la personnalité dont souffrait le recourant avait été diagnostiqué dans le rapport d'expertise initial du 5 avril 2011 et que ce diagnostic demeurait inchangé dans la dernière expertise rendue le 17 novembre 2016, même s'il n'était pas contesté que ce trouble évoluait favorablement et qu'il existait actuellement sous une forme atténuée. Les juges cantonaux ont relevé en outre que le recourant se comportait bien en détention, qu'il n'avait pas commis de nouveaux actes de violence et que son séjour au Centre B._, tout comme ses sorties accompagnées, s'étaient bien déroulées. Cela n'empêchait pas que pour l'heure, il existait encore, à dire d'expert, un risque de récidive moyen en lien avec ledit trouble. Tous les intervenants et toutes les expertises concluaient qu'une ouverture progressive du cadre était nécessaire pour limiter le risque de récidive. S'il ressortait des deux derniers rapports d'expertise qu'il n'y avait pas de risque majeur de dangerosité, ni de risque de récidive imminent, il était précisé que c'était parce que l'intéressé se trouvait en milieu fermé, le cadre étant conteneur et mainteneur.
L'élargissement progressif de la mesure avait débuté par l'octroi de conduites et, tout récemment, par le placement en institution, l'objectif étant qu'en cas de succès, le recourant soit placé en appartement protégé, suivi d'une phase de travail et de logements externes. En définitive, l'évolution positive du condamné démontrait que le traitement institutionnel portait ses fruits et les élargissements dont il bénéficiait, tout comme ceux qui étaient prévus si cette évolution se poursuivait, tenait précisément compte du fait que le risque de récidive allait décroissant. Il demeurait cependant important, dans la perspective desdits élargissements, et ne serait pas réduit dans une mesure suffisante en cas de libération et en l'absence de tout traitement. La mesure institutionnelle restait donc justifiée et licite et, compte tenu des élargissements intervenus, demeurait proportionnée.
4.3.
4.3.1. Le recourant affirme que l'existence d'un grave trouble mental n'est démontré par aucun élément au dossier. Il se prévaut en particulier du rapport d'expertise complémentaire du 21 août 2013 dans lequel les experts ont exposé ne plus disposer de critères actifs pour retenir un trouble mixte de la personnalité.
Selon le rapport d'expertise psychiatrique du 5 avril 2011, le recourant souffre d'un trouble mixte de la personnalité à traits borderline et dyssociaux. Ce diagnostic a été confirmé par l'expertise la plus récente, le Dr. C._ précisant que les composantes dyssociales s'étaient atténuées (rapport du 17 novembre 2016, p. 22). Ainsi, comme on le comprend de cette expertise, l'atténuation des composantes du trouble en milieu fermé ne signifie pas que le recourant ne souffrirait plus d'un grave trouble mental, qui reste diagnostiqué. L'existence d'un tel trouble ressort donc bien des expertises versées à la procédure.
4.3.2. Si les éléments sur lesquels le recourant se fonde pour prétendre qu'il ne présente aucun danger pour la sécurité publique (absence d'actes de violence, abstinence à l'alcool et aux autres substances illicites, bilans de conduite sociale favorables) confirment sa bonne évolution, ils ne sont pas aptes à démontrer que le risque de récidive en liberté n'existerait pas.
A cet égard, l'expertise du 17 novembre 2016 a conclu à un risque de récidive moyen, sans qu'il ne soit imminent, le cadre actuel étant conteneur et mainteneur. Un acte d'une violence extrême tel que celui qu'il avait perpétré semblait peu probable, bien que ne pouvant pas être totalement exclu. L'expert a précisé que dans la mesure où l'intéressé s'était servi du cadre de la prison pour stabiliser sa structure psychique, il était possible qu'en l'absence de ce soutien extérieur, il se déstabilise face à des situations stressantes. C'est pourquoi, il était important que le recourant continue son suivi thérapeutique sur le long terme et qu'une évolution vers une réinsertion devrait se faire par étapes successives et progressives (p. 22-24). L'expertise complémentaire du 21 août 2013, dont se prévaut le recourant, retient que son comportement dans son nouveau cadre de vie confirmait qu'il n'y avait pas de risque majeur de dangerosité dans le présent, en milieu fermé, mais qu'en l'absence de cadre, en particulier si celui-ci devait être ouvert de manière abrupte, le risque de commettre des actes de violence serait alors toujours présent, toutefois sans être imminent (p. 10).
Ainsi, quoi qu'en dise le recourant, les experts n'ont pas retenu un risque théorique de récidive insuffisant pour justifier une mesure; il découle de leur appréciation que le risque de récidive paraît bien contrôlé dans un cadre soutenant et abstinent, mais qu'il est nécessaire, pour le réduire dans un cadre plus autonome, de procéder à des élargissements progressifs. Il persiste donc un risque de récidive qu'en l'état, seule une mesure institutionnelle permet de réduire.
4.3.3. Il ressort également de ce qui précède que la mesure continue de servir l'objectif consistant à prévenir la commission de nouvelles infractions en relation avec un trouble mental. L'expertise du 26 novembre 2016 relève en particulier que le recourant tire des bénéfices de la mesure thérapeutique institutionnelle et que la poursuite du suivi thérapeutique, ainsi qu'une confrontation au monde extérieur par étape est vraisemblablement nécessaire (rapport d'expertise, p. 23-24). En tant que le recourant soutient que la CIC n'a pas préconisé un placement en milieu pénitentiaire et que tous les membres de son réseau sont favorables à un placement en institution, il ne fait rien d'autre que de confirmer le bien-fondé de la poursuite de la mesure, actuellement exécutée au sein d'un établissement médico-social. Le rapport du SMPP indique certes que le suivi psychiatrique du recourant a pour objectif le soutien et l'accompagnement du recourant dans son parcours carcéral. On comprend cependant de l'ensemble des avis recueillis que non seulement le suivi psychiatrique, mais également le cadre conteneur du caractère institutionnel de la mesure demeurent nécessaires afin d'accompagner l'évolution du recourant et de préparer son autonomie en vue d'une libération, considérée comme prématurée à ce stade. On rappellera encore que selon la jurisprudence, même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement si elle a pour effet prévisible d'améliorer l'état de l'intéressé et de manière à permettre, à terme, sa réinsertion dans la société (consid. 3.1.1). En l'espèce, le recourant bénéficie bien d'un tel traitement.
C'est sans violer le droit fédéral que la cour cantonale a considéré que les conditions de la mesure de l'art. 59 CP étaient toujours remplies et que, partant, il n'y avait pas lieu de la lever selon les art. 56 al. 6 CP et 62c al. 1 let. a CP, ni de constater son illicéité.
4.3.4. En ce qui concerne le lieu d'exécution de la mesure, s'il invoque l'art. 62 al. 1 let. c CP, le recourant n'indique pas en quoi l'établissement au sein duquel il est actuellement placé ne serait pas adapté à l'exécution d'une mesure thérapeutique institutionnelle. Il ne fait donc pas valoir de grief recevable (art. 42 al. 2 LTF).
4.3.5. Il découle également de ce qui précède que l'art. 5 par. 1 CEDH n'a pas été violé. A cet égard, le recourant procède à une lecture erronée de l'arrêt Kadusic c. Suisse du 9 janvier 2018 lorsqu'il affirme que les motifs de cette décision seraient également applicables en l'espèce. En effet, une violation de l'art. 5 par. 1 CEDH a été constatée par la CourEDH aux motifs que la mesure thérapeutique institutionnelle litigieuse, qui avait été imposée seulement vers la fin de l'exécution de la peine initiale, ne se fondait pas sur des expertises suffisamment récentes et que le requérant se trouvait, depuis plus de quatre ans et demi après l'expiration de sa peine d'emprisonnement, dans une institution manifestement inadaptée aux troubles dont il souffrait, à savoir la prison F._ (arrêt CourEDH Kadusic c. Suisse du 9 janvier 2018 [requête no 43977/13] § 58). En l'espèce, le recourant ne se plaint, à raison, ni de l'ancienneté des expertises, ni du caractère inadapté de l'établissement (médico-social) au sein duquel il exécute actuellement sa mesure. En outre, à la différence de cette affaire, la mesure institutionnelle du recourant a été précédée par un internement (art. 64 CP); c'est en se fondant sur la bonne évolution du recourant que l'internement a été levé et qu'une mesure moins lourde, le traitement institutionnel de l'art. 59 CP, a été prononcée par le tribunal.
4.4. En rapport avec la libération conditionnelle (art. 62 CP), le recourant soutient qu'elle ne pouvait lui être refusée qu'à la condition que le risque de récidive soit élevé et imminent, ce qui ne ressortait pas du dossier. La cour cantonale s'était uniquement fondée sur les actes pour lesquels il avait été jugé, ce que proscrivait la jurisprudence constante. Il fallait également tenir compte du fait que la durée de la privation de liberté avait déjà dépassé de plus de 7 ans la peine à laquelle il avait été condamné.
4.4.1. Selon la jurisprudence, la libération conditionnelle est octroyée à condition que l'on puisse poser un pronostic favorable quant au comportement futur de l'auteur. Lors de l'examen du risque de récidive, il convient de tenir compte de l'imminence et de la gravité du danger, ainsi que de la nature et de l'importance du bien juridique menacé (consid. 3.1.3 supra). Il ne s'agit donc pas d'exiger un risque de récidive élevé et imminent in abstracto, mais bien plutôt de procéder à une pesée des intérêts entre l'atteinte aux droits inhérente à la mesure ordonnée et la dangerosité de l'auteur.
4.4.2. De l'avis de l'ensemble des intervenants, une libération conditionnelle constituerait une transition précipitée (En fait, B., et consid. 3.3.3 supra). Les juges cantonaux pouvaient en particulier déduire des expertises psychiatriques que l'évolution certes favorable du recourant ne permettait pas encore d'éliminer ou de réduire suffisamment la commission de nouvelles infractions, notamment des actes de violence (consid. 3.3.2 supra). Puisque seule une mesure institutionnelle, accompagnée d'élargissements progressifs du cadre, permettait de réduire le risque de récidive, l'état du recourant ne justifiait pas de lui donner l'occasion de faire ses preuves en liberté. Quoi qu'il en dise, le recourant ne saurait se prévaloir du principe in dubio pro reo, inapplicable s'agissant de la décision sur le pronostic (consid. 3.1.3 supra).
Enfin, le maintien de la mesure thérapeutique institutionnelle n'apparaît pas disproportionné compte tenu du risque de récidive et de la nécessité, soulignée de manière unanime par tous les intervenants, de procéder à une réinsertion par étapes successives et progressives. Bien que le recourant soit privé de sa liberté depuis 17 ans alors que la peine privative de liberté infligée était de 10 ans, il convient de relever qu'il ne séjourne plus dans un établissement carcéral, mais qu'il a été récemment placé dans un EMS, ce qui atténue l'atteinte portée à ses droits. En outre, la poursuite des allégements dont il bénéficie est prévue dans le plan d'exécution de sa mesure.
Partant, la cour cantonale n'a pas violé le droit fédéral en confirmant le rejet de la demande de libération conditionnelle du recourant.
5.
Selon ses conclusions, le recourant demande que l'indemnité allouée à son conseil d'office soit fixée pour la procédure de première instance devant le Collège des Juges d'application des peines à 7'315 fr. 92, dont 553 fr. 92 de TVA.
L'art. 135 al. 3 CPP prévoit que le défenseur d'office peut former un recours contre la décision fixant son indemnité d'office. Selon la jurisprudence constante, le prévenu n'a pas d'intérêt juridiquement protégé à obtenir l'augmentation de l'indemnisation fixée en faveur de son conseil d'office (arrêts 6B_1395/2017 du 30 mai 2018 consid. 4.1; 6B_178/2018 du 21 février 2018 consid. 3; 6B_451/2016 du 8 février 2017 consid. 2.4 in SJ 2017 I 340; 6B_511/2016 du 4 août 2016 consid. 5.3.1; 6B_1017/2014 du 3 novembre 2015 consid. 4).
Il s'ensuit que le recourant n'a pas la qualité pour recourir en rapport avec l'indemnisation de son conseil. Le grief est dès lors irrecevable.
6.
Sur le vu de ce qui précède, il y a lieu de rejeter le recours dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (art. 64 al. 1 LTF). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 28 juin 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy