Faits :
A.
A.a. Par jugement du 14 août 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné X._ pour diverses infractions contre le patrimoine, menaces, et contravention à la loi fédérale sur les stupéfiants à quatorze mois d'emprisonnement ferme, révoqué les sursis dont étaient assorties diverses peines prononcées antérieurement contre le condamné pour des infractions de même nature et suspendu l'exécution de l'ensemble de ces peines au profit d'un internement au sens de l'art. 43 ch. 1 al. 2 aCP.
Les infractions commises sont toutes liées à la toxicomanie du condamné, les unes parce qu'il les a commises sous l'emprise de stupéfiants, les autres parce qu'il les a perpétrées dans le but de financer sa consommation. L'intéressé a fait l'objet de plusieurs expertises psychiatriques. Les experts psychiatres ont diagnostiqué une schizophrénie paranoïde continue ainsi qu'une dépendance à des substances psycho-actives multiples dont opiacés, avec abstinence en milieu protégé.
A.b. Par jugement du 26 novembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné le placement institutionnel de l'intéressé en application de l'<ref-law>, en lieu et place de l'internement ordonné précédemment. X._ a intégré dès le 20 novembre 2007 l'EMS Y._, où il réside toujours actuellement.
A.c. X._ s'est vu refuser la libération conditionnelle par décision rendue le 3 novembre 2011 par le Juge d'application des peines.
A.d. Dans un avis du 21 septembre 2012, la Commission interdisciplinaire concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC) a constaté que la situation de X._ devait appeler une évaluation contrastée. La commission a relevé que d'une part, l'intéressé avait bien réussi son insertion au sein de l'EMS, l'ensemble des intervenants estimant que son évolution était globalement positive, eu égard à la gravité de la pathologie psycho-relationnelle qu'il présentait, mais que, d'autre part, la fragilité persistante de ce dernier et sa vulnérabilité addictive s'étaient manifestées à plusieurs reprises à l'occasion de moments d'ouverture de cadre. D'après la commission, laissé seul à lui-même, l'intéressé courrait, à chaque fois, un grand risque de perdre, dans son comportement et ses conduites, les limites qu'il était capable de respecter lorsqu'il était soutenu et encadré par l'environnement sociothérapeutique institutionnel.
Le 29 octobre 2012, le Juge d'application des peines a été saisi par l'Office d'exécution des peines (ci-après: OEP) d'une proposition d'octroi de la libération de la mesure thérapeutique institutionnelle subordonnée à diverses conditions. Selon l'OEP, la libération conditionnelle de X._ devait être assortie au maintien d'un encadrement étroit, afin de garantir la pérennité d'une prise en charge thérapeutique et d'un environnement sociothérapeutique sécurisant, ces objectifs pouvant être atteints par le biais d'une combinaison entre une prise en charge ambulatoire et la mise en oeuvre d'une mesure civile de protection. Le suivi ambulatoire comprendrait une psychothérapie et des contrôles réguliers d'abstinence aux stupéfiants, tandis que le mandat civil aurait pour vocation de définir le lieu de vie du prénommé et de le seconder dans la gestion de ses finances et de ses affaires courantes, afin de réduire son exposition à des situations de stress. Une activité régulière dans un établissement spécialisé était également préconisée par l'OEP, ce dans le but de compléter l'encadrement de l'intéressé et de diminuer son temps d'oisiveté et, par voie de conséquence, la possibilité d'accéder aux substances prohibées.
A.e. Par décision du 13 décembre 2013, la Justice de paix du district du Jura-Nord vaudois (ci-après : la Justice de paix) a notamment institué, en faveur de X._, une curatelle de représentation au sens de l'<ref-law> (pour le représenter dans ses rapports avec les tiers, en particulier en matière de logement, affaires sociales, administration et affaires juridiques) ainsi qu'une curatelle de gestion au sens de l'<ref-law> (pour veiller à la gestion de ses revenus, de sa fortune et administrer ses biens).
B.
B.a. Par ordonnance du 18 mars 2014, le Juge d'application des peines a libéré conditionnellement X._ de la mesure thérapeutique institutionnelle ordonnée le 26 novembre 2007 par le Tribunal correctionnel de l'arrondissement de Lausanne (I), a fixé le délai d'épreuve à cinq ans à compter de la libération (II), a ordonné une assistance de probation pendant la durée du délai d'épreuve (III), a dit que l'intéressé devra, pendant toute la durée du délai d'épreuve, poursuivre son suivi psychiatrique et d'addiction aux stupéfiants ainsi qu'à l'alcool, au sein de l'EMS Y._ et du Département de psychiatrie du CHUV, ou auprès de tout (s) autre (s) institut (s) que l'OEP désignerait (IV), a dit qu'il devrait, pendant toute la durée du délai d'épreuve, continuer de résider à l'EMS Y._ ou dans tout autre lieu adapté à sa situation et agréé par l'OEP (V), a dit qu'il devrait pendant toute la durée du délai d'épreuve se conformer strictement aux règles de l'EMS Y._ ou de tout autre lieu de domicile (VI), a dit qu'il devrait pendant toute la durée du délai d'épreuve continuer à se soumettre à des contrôles réguliers d'abstinence à l'alcool et aux stupéfiants (VII), a chargé l'OEP de mettre en oeuvre l'exécution des conditions fixées sous chiffres III à VII ci-dessus et d'informer le Juge d'application des peines de tout manquement de X._ aux modalités de libération conditionnelle précitées (VIII) et a laissé les frais à la charge de l'Etat (IX).
B.b. Le 11 avril 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre cette décision.
C.
X._ dépose un recours au Tribunal fédéral. Il conclut à la réduction du délai d'épreuve assortissant la libération conditionnelle et conteste les points IV à VIII du dispositif de l'ordonnance du 18 mars 2014. Il sollicite en outre l'assistance judiciaire. Il n'a pas été requis de déterminations.

Considérant en droit :
1.
Le Tribunal fédéral examine librement et d'office les conditions de recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 369).
1.1. En tant que le recourant conclut à l'annulation de l'ordonnance du 18 mars 2014 rendue par le Juge d'application des peines, son recours est irrecevable, faute d'être dirigé contre une décision sujette à un recours auprès du Tribunal fédéral (cf. <ref-law>). On comprend toutefois qu'il conteste les règles de conduite qui lui ont été imposées ainsi que la durée du délai d'épreuve et qu'il souhaite dans cette mesure la réforme du jugement cantonal qui rejette son recours sur ces questions. Sous cet angle, ses conclusions sont recevables.
Dans la mesure où le recourant discute le bien-fondé de la mesure de curatelle de représentation et de gestion prononcée à son endroit par le juge de paix, cette décision ne fait pas l'objet de la présente procédure qui a trait aux seules modalités de sa libération conditionnelle. Le recours est irrecevable sur cette question, étant précisé que la deuxième Cour civile du Tribunal fédéral a rejeté le recours de l'intéressé formé contre le prononcé de cette mesure, confirmée en instance cantonale (arrêt 5A_347/2014 du 5 juin 2014).
1.2. Le recours en matière pénale peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2 p. 88 s.; <ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104 s.). L'<ref-law> exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 p. 89).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influencer le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (<ref-law>), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.1 p. 39; <ref-ruling> consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation (<ref-law>). Au surplus, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2.
2.1. Selon l'<ref-law>, la personne libérée conditionnellement peut être obligée de se soumettre à un traitement ambulatoire pendant le délai d'épreuve. L'autorité d'exécution peut ordonner, pour la durée du délai d'épreuve, une assistance de probation et lui imposer des règles de conduite. L'<ref-law> prévoit que les règles de conduite portent en particulier sur l'activité professionnelle du condamné, son lieu de séjour, la conduite de véhicules à moteur, la réparation du dommage ainsi que les soins médicaux et psychologiques.
Le traitement ambulatoire est appréhendé dans le cadre de la libération conditionnelle comme une règle de conduite particulière ( ROTH/THALMANN, Commentaire romand CP I, 2009, n° 38 ad <ref-law>). Il doit répondre aux mêmes conditions d'application que la mesure de traitement ambulatoire ordonnée en application de l'<ref-law> ( MARIANNE HEER, in Basler Kommentar, Strafrecht I, 3e éd. 2013, n° 41 ad <ref-law>). Les règles de conduite doivent servir à la prévention de crimes ou de délits ( ROTH/THALMANN, op. cit., n° 41 ad <ref-law>; MARIANNE HEER, op. cit., n° 41 ad <ref-law>) et respecter le principe de proportionnalité ( ANDREA BAECHTOLD, Exécution des peines, 2008, n° 19 p. 266).
L'autorité cantonale n'a ainsi pas enfreint le droit fédéral en constatant que les règles de conduite, critiquées par le recourant, ordonnées par le juge d'application des peines telles que figurant sous chiffres IV à VIII, sont toutes susceptibles d'assortir une décision de libération conditionnelle d'une mesure thérapeutique institutionnelle.
En outre, au vu des constatations qui lient le Tribunal fédéral (<ref-law>) et que le recourant ne discute pas, ou du moins pas conformément aux exigences de motivation accrues posées en matière d'appréciation de preuves (<ref-law>), il est établi que les infractions commises sont en lien avec l'état mental du recourant qui souffre d'une schizophrénie paranoïde ainsi que d'une dépendance aux substances psycho-actives multiples. La poursuite d'un traitement ambulatoire psychiatrique et addictologique pour prévenir le risque de récidive et favoriser la stabilisation du recourant s'avère justifiée, ce que l'autorité cantonale a constaté sans violation du droit fédéral. Il en va de même des autres règles de conduite, en particulier de la nécessité de résider à l'EMS Y._ ou dans tout autre lieu adapté à sa situation et agréé par l'OEP. L'obligation de résider en un lieu déterminé est une règle de conduite prévue par l'<ref-law> et elle est indispensable de l'avis de tous les intervenants (<ref-law>) pour assurer au recourant un cadre structurant et sécuritaire, compte tenu de la gravité de ses troubles psychiques et de sa longue addiction aux stupéfiants. Les contrôles réguliers d'abstinence à l'alcool et aux stupéfiants constituent également une règle de conduite adéquate pour prévenir le risque de rechute.
Le recourant ne discute nullement de manière conforme aux exigences de motivation une quelconque violation du droit fédéral de sorte que le recours se révèle irrecevable sur ces questions.
2.2. Le recourant conteste aussi la durée du délai d'épreuve de cinq ans assortissant sa libération conditionnelle. L'<ref-law> prévoit que le délai d'épreuve est de un an à cinq ans en cas de libération conditionnelle de la mesure prévue à l'<ref-law>.
Le recourant n'explique pas en quoi la motivation cantonale, qui expose que ce délai est justifié au motif que l'évolution du recourant, quoique positive, demeure lente et doit se faire progressivement afin de consolider les acquis et bénéficier d'une amélioration significative de ses troubles psychiques, violerait le droit fédéral; il ne prétend pas davantage qu'elle reposerait sur des constatations établies arbitrairement. Le recours se révèle irrecevable sur ce point également (art. 42 al. 2 et 106 al. 2 LTF). Au demeurant, l'appréciation de la durée du délai d'épreuve telle qu'elle est motivée ne procède pas d'un abus du pouvoir d'appréciation (<ref-ruling> consid. 2c aa p. 147), quand bien même l'autorité a retenu la durée maximum.
3.
Dans la mesure où le recourant se plaint de la violation du droit à une défense efficace, son grief est irrecevable, faute de satisfaire à toute exigence de motivation accrue posée en matière de violation de droits fondamentaux (<ref-law>). On ne discerne au surplus dans le recours aucune circonstance qui permettrait de considérer que le défenseur d'office du recourant qui l'a assisté durant la procédure cantonale ait négligé ses devoirs professionnels à son détriment (sur ces questions, voir <ref-ruling> consid. 3d p. 198 s.). Il ne peut donc être reproché à l'autorité cantonale de ne pas avoir procédé à un changement de défenseur d'office.
4.
Le recours se révèle irrecevable. Comme ses conclusions étaient dénuées de toute chance de succès, le recourant doit être débouté de sa demande d'assistance judiciaire (<ref-law>, a contrario ) et supporter les frais judiciaires, réduits pour tenir compte de sa situation financière qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 18 août 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge Présidant : La Greffière :
Denys Boëton