Faits : A. Par décision du 16 janvier 2018, le Collège des Juges d'application des peines a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle ordonnée à son endroit par le Tribunal criminel de l'arrondissement de Lausanne le 19 mai 2014. B. Par arrêt du 1er février 2018, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ et confirmé la décision du 16 janvier 2018. En substance, elle a retenu les faits suivants. B.a. Par jugement du 31 mars 2003, le Tribunal criminel de l'arrondissement de Lausanne a condamné X._ pour crime manqué d'assassinat, lésions corporelles graves, viol qualifié, contrainte sexuelle qualifiée, délit manqué de lésions corporelles simples qualifiées, lésions corporelles simples qualifiées, vol et tentative de vol, dommages à la propriété, injure, menaces, violence ou menace contre les autorités et les fonctionnaires, opposition aux actes de l'autorité, entrave par négligence aux services d'intérêt général et violation grave des règles de la circulation, à dix ans de réclusion, sous déduction de la détention préventive. Il a également ordonné un traitement ambulatoire psychothérapeutique. Il était en particulier reproché à X._, outre de nombreux actes d'incivilité sur la voie publique et de violence envers des membres de sa famille, des proches ou la police commis entre septembre 1999 et avril 2001, d'avoir agressé une prostituée dans la nuit du 26 au 27 octobre 2000, la frappant violemment puis la violant alors qu'elle était inconsciente. A la suite de cette agression, la victime est demeurée tétraplégique. Dans le courant du mois d'avril 2001, X._ a aussi violemment frappé à la tête un client dans un établissement public au motif qu'il aurait manqué de respect à sa mère. L'homme a été victime d'une contusion hémorragique temporale qui aurait pu potentiellement mettre sa vie en danger. X._ a été détenu depuis le 5 avril 2001 et a été placé à l'établissement A._ dès le 30 septembre 2002. B.b. X._ a fait l'objet d'expertises psychiatriques, dont rapports ont été rendus les 29 janvier 2002 et 8 mars 2005. Par arrêt du 15 août 2005, confirmé le 13 mars 2006 par le Tribunal fédéral, la Cour de cassation pénale du Tribunal cantonal a admis un recours du Ministère public dirigé contre le jugement du Tribunal criminel de l'arrondissement de Lausanne du 31 mars 2003, et réformé celui-ci en ordonnant la suspension de l'exécution de la peine au profit d'un internement. Par jugement du 12 novembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné la poursuite de l'internement de X._ en application du nouveau droit. Il a notamment pris acte des rapports établis par divers intervenants dans la prise en charge de ce dernier, qui relevaient que son état psychologique s'était progressivement amélioré et qu'il s'investissait dans sa thérapie, mais qu'il n'entrait pas encore pleinement dans un processus de confrontation, que son discours était plaqué et qu'il lui restait par conséquent un long chemin à parcourir pour prendre conscience de sa dangerosité. B.c. Selon un nouveau rapport d'expertise psychiatrique du 5 avril 2011, X._ souffrait d'un trouble mixte de la personnalité à traits borderline et dyssociaux. Les experts ont notamment relevé les progrès indéniables accomplis par l'intéressé depuis mars 2005, dans un contexte très structuré. Ils ont estimé qu'une ouverture non progressive du cadre entraînerait un risque de récidive important, sans toutefois être imminent, en le confrontant soudainement à des facteurs de stress non présents en détention, à des interactions sociales élargies et à la possibilité matérielle de consommer à nouveau de l'alcool. Ils ont préconisé un élargissement progressif du cadre dans lequel il exécutait sa mesure, afin de mettre à l'épreuve ses acquis et d'observer l'éventuelle réapparition de troubles du comportement. Cette expertise a été complétée par un rapport complémentaire du 21 août 2013 dans lequel les experts ont notamment exposé ne plus avoir de critère actif pour permettre de retenir le diagnostic de trouble mixte de la personnalité à traits dyssociaux retenu précédemment. X._ avait intégré l'établissement B._ après avoir obtenu un CFC de boulanger-pâtissier. Deux sorties accompagnées avaient eu lieu dès le 1er mars 2013, à l'occasion desquelles le condamné avait rencontré son amie et sa famille. Son comportement dans son nouveau cadre de vie confirmait qu'il n'y avait pas de risque majeur de dangerosité dans le présent, en milieu fermé. Les différentes évaluations effectuées par les sociothérapeutes reflétaient des progrès qui semblaient réels et non plus associés uniquement à la volonté de se présenter au mieux afin d'alléger les conditions de détention ou de la peine. Les experts souscrivaient ainsi à une ouverture progressive du cadre. Par jugement du 19 mai 2014, le Tribunal criminel de l'arrondissement de Lausanne a levé la mesure d'internement et ordonné la mise en oeuvre d'une mesure thérapeutique institutionnelle, en se fondant sur les expertises précitées. B.d. Le 12 mai 2015, le Collège des Juges d'application des peines a refusé d'accorder à X._ la libération conditionnelle de sa mesure, tout en admettant que sa poursuite avait un sens. Par la suite, cette autorité a mandaté le Dr. C._, médecin adjoint du Centre de psychiatrie D._, afin qu'il procède à une nouvelle expertise psychiatrique de l'intéressé. Ce dernier a rendu un rapport du 17 novembre 2016, duquel il ressortait notamment que X._ souffrait d'un trouble mixte de la personnalité à composantes dyssociales et borderline, avec, en l'état, une atténuation des composantes dyssociales. Il a notamment exposé que le comportement de l'expertisé était stable et a mis en avant une évolution positive qu'il a qualifiée de marquante depuis 2007. L'expert a conclu à un risque de récidive moyen, sans qu'il ne soit imminent, le cadre actuel étant conteneur et mainteneur. L'intéressé avait néanmoins fait les choix de ne plus consommer malgré les possibilités qui s'offraient à lui, d'aboutir une formation et de s'investir dans sa thérapie. Les facteurs favorisant le risque de réitération étaient notamment une précarité financière, une rechute dans la consommation de stupéfiants et d'alcool et des difficultés relationnelles au sein de sa famille, étant précisé que X._ avait plus de stratégies d'adaptation qu'à l'époque et qu'il était désormais en bons termes avec les membres de sa famille. Un acte de violence extrême tel que celui qu'il avait perpétré semblait peu probable, bien que ne pouvant être totalement exclu. Des délits tels que des vols ou de légères atteintes contre l'intégrité physique de tiers semblaient plus envisageables s'il devait récidiver. L'expert a ensuite indiqué qu'il était important que X._ continue son suivi thérapeutique sur le long terme et a préconisé une évolution vers une réinsertion par étapes successives et progressives. Selon lui, un passage en foyer pouvait être envisageable rapidement, associé à une activité professionnelle externe. Une libération conditionnelle était toutefois encore prématurée. Après une période à définir et en cas de succès du travail externe, il serait possible d'envisager un passage en appartement protégé, suivi d'une phase de travail et de logement externes, et de réactualiser l'expertise psychiatrique en vue d'une libération conditionnelle. Dans la mesure où l'intéressé s'était servi du cadre de la prison pour se structurer intérieurement, autrement dit pour stabiliser sa structure psychique, il était possible qu'en l'absence de ce soutien extérieur, il se déstabilise face à des situations stressantes. Observer les stratégies qu'il adopterait pour rester calme dans sa progression était primordial et permettrait de déterminer ce qu'il avait acquis, de percevoir les éventuelles difficultés qu'il rencontrerait et de l'aider dans sa démarche d'autonomisation. Le 20 janvier 2017, se fondant sur l'expertise précitée, le Collège des juges d'application des peines a à nouveau refusé d'accorder à X._ la libération conditionnelle de sa mesure. B.e. Dans un rapport du 1er mai 2017, l'Unité d'évaluation criminologique du Service pénitentiaire (ci-après: UEC) a indiqué que X._ présentait une certaine évolution, notamment concernant l'importance de son suivi psychothérapeutique et des étapes futures de sa mesure. Il semblait davantage conscientiser certaines de ses fragilités. Il avait su mobiliser les discours et les remarques qui lui avaient été faites, le degré auquel il les avait fait siens étant toutefois sujet à interrogations. Le risque de récidive a été qualifié de moyen et le risque de fuite de faible. Afin de prévenir une éventuelle régression due au découragement, les criminologues ont indiqué qu'ils étaient favorables à la poursuite des ouvertures de régime par étapes progressives. Dans un objectif de réinsertion tant professionnelle que privée, des congés, puis un passage en foyer pourraient être envisageables. B.f. Dans un bilan de phase 7 et proposition de la suite du plan d'exécution de la sanction (ci-après: PES) élaboré en juin 2017 et avalisé par l'Office d'exécution des peines (ci-après: OEP) le 31 août suivant, la Direction de A._ a rapporté que tous les objectifs fixés à X._ avaient été atteints, à l'exception de la poursuite du paiement des frais de justice, et que celui-ci avait respecté toutes les conditions générales mises en place. Effectuant une synthèse des éléments favorables à une progression de l'exécution de la sanction, la Direction de la prison a relevé que X._ avait su se conformer aux attentes et démontrer sa stabilité. Il maintenait son abstinence aux substances prohibées, s'investissait à l'atelier, adoptait un bon comportement au cellulaire et avait su gérer sa frustration malgré la lassitude omniprésente face à l'exécution de sa mesure. S'agissant d'éléments défavorables, la Direction de la prison a relevé l'impatience de l'intéressé quant à l'exécution de sa mesure, ainsi que sa propension, dans certains contextes, à être envahi par ses é motions, lesquelles ne s'opposaient pas à la progression envisagée. La nécessité d'élargir le cadre par étapes progressives, observées et observables, devait néanmoins être rappelée et maintenue. La Direction de A._ avait également rapporté les conclusions issues d'une rencontre interdisciplinaire qui s'était tenue le 9 mai 2017. Il en ressortait notamment que X._ avait déjà bénéficié de plusieurs conduites et avait su faire preuve d'adaptation, qu'il n'avait fait l'objet d'aucune sanction disciplinaire, que l'alliance thérapeutique, qualifiée de bonne par le Service de médecine et psychiatrie pénitentiaires (ci-après: SMPP), avait tendance à se dégrader depuis quelques mois dans la mesure où l'intéressé remettait en cause la pertinence du suivi et qu'une évolution positive concernant la reconnaissance de ses émotions, la compréhension de son histoire personnelle et du passage à l'acte avait été mise en évidence par le psychothérapeute. Sur la base de ces éléments, la progression de l'exécution de la sanction pouvait être envisagée, d'une part par la poursuite du régime de conduites sociales et la mise en oeuvre d'un régime de conduites institutionnelles et, d'autre part, par l'instauration d'un régime de congés fractionnés et la poursuite du processus de placement en institution. Le 14 août 2017, la Direction de A._ a préavisé défavorablement à l'octroi de la libération conditionnelle à X._. Bien que le suivi et l'alliance thérapeutiques étaient bons, celui-ci devait encore progresser dans sa démarche réflexive. Le risque de récidive demeurait moyen et le faible risque de fuite ne pouvait pas être exclu. B.g. Dans un préavis du 12 septembre 2017, la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC) a retenu premièrement que, selon l'expertise réalisée en novembre 2016, les troubles de personnalité de X._ pouvaient désormais être considérés comme atténués, qu'il tirait parti de la mesure et que le risque qu'il récidive était considéré comme moyen, non imminent et conditionné par des facteurs de déstabilisation. La CIC a ensuite constaté que, dans ces conditions favorables, les experts préconisaient la poursuite d'un suivi thérapeutique accompagnant les étapes d'une confrontation au monde extérieur, ce programme passant par une admission de l'intéressé en foyer et la recherche d'une activité professionnelle. En outre, l'évaluation criminologique réalisée en mai 2017 notait un début d'évolution positive dans la prise de conscience de X._ de ses fragilités persistantes et qualifiait le risque de réitération de moyen. Enfin, relevant que devant ces constats favorables, le PES avalisé le 31 août 2017 préconisait le placement de X._ en foyer après les indispensables phases de préparation, la CIC a déclaré qu'elle souscrivait à cette orientation, en s'interrogeant cependant sur la pertinence de subordonner cette admission à la réussite d'un congé fractionné qui devrait plutôt intervenir ultérieurement dans le cadre du placement. B.h. Le 19 octobre 2017, l'OEP a saisi le Collège des Juges d'application des peines d'une proposition tendant au refus de la libération conditionnelle à X._. Il a exposé que celui-ci avait poursuivi son évolution positive, tant au carcéral que dans le cadre de son suivi thérapeutique. Il continuait son régime de conduites et recherchait un foyer adéquat pouvant l'accueillir. Afin de privilégier sa réinsertion en douceur dans la société, tout en maintenant un risque acceptable pour celle-ci, il devait poursuivre l'exécution de sa mesure, avec des phases d'élargissement progressives et prudentes. Postérieurement à la saisine de l'OEP, le dossier a été complété par différents rapports en lien avec les conduites dont a bénéficié X._, desquels il ressort un bilan globalement favorable. De même, un changement est intervenu au niveau du bilan de phase 7 du PES, après que l'OEP, puis la Chambre des recours du Tribunal cantonale, aient refusé un congé prévu par ledit plan ensuite de l'avis de la CIC, qui ne cautionnait pas ce type d'élargissement antérieurement à un placement. B.i. Le 28 novembre 2017, le Ministère public central, division affaires spéciales, s'est rallié à l'avis de l'OEP du 19 octobre 2017 en préavisant défavorablement à la libération conditionnelle de la mesure thérapeutique institutionnelle de X._. B.j. Par décision du 11 janvier 2018, l'OEP a autorisé X._ à poursuivre l'exécution de sa mesure thérapeutique institutionnelle auprès de l'établissement E._, à compter du 15 janvier 2018. C. X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à la réforme de l'arrêt de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud du 1er février 2018 en ce sens qu'il est constaté le caractère illicite de sa détention depuis novembre 2013, que la mesure institutionnelle thérapeutique est levée, que sa libération immédiate est ordonnée et que l'indemnité allouée à son conseil d'office pour la procédure de première instance devant le Collège des Juges d'application des peines est fixée à 7'315 fr. 92, dont 553 fr. 92 de TVA. Subsidiairement, il conclut à la réforme de l'arrêt attaqué en sens que la libération conditionnelle de la mesure thérapeutique institutionnelle lui est accordée. Plus subsidiairement encore, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la Chambre des recours pénale pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.