Faits:
A. A.a Par jugement du 14 août 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné X._ pour vol, tentative de vol, crime manqué de vol, dommages à la propriété, utilisation frauduleuse d'un ordinateur, menaces, violation de domicile et contravention à la loi fédérale sur les stupéfiants à quatorze mois d'emprisonnement ferme, sous déduction de 385 jours de détention préventive, révoqué les sursis dont étaient assorties diverses peines, d'un total de neuf mois et trois jours d'emprisonnement après déduction de vingt-sept jours de détention préventive, prononcées antérieurement contre X._ pour des infractions de même nature et suspendu l'exécution de l'ensemble de ces peines au profit d'un internement au sens de l'art. 43 ch. 1 al. 2 aCP.
Les infractions commises sont toutes liées à la toxicomanie du condamné, les unes parce qu'il les a commises sous l'emprise de stupéfiants, les autres parce qu'il les a perpétrées dans le but de financer sa consommation. À l'époque, les experts psychiatres ont diagnostiqué une schizophrénie paranoïde continue ainsi qu'une dépendance à des substances psycho-actives.
A.b Après avoir reçu dans un premier temps des soins psychiatriques en milieu pénitentiaire, l'Office d'exécution des peines (OEP) a ordonné le placement de X._ dès le 20 novembre 2007 à l'EMS Y._, où il réside toujours actuellement.
Dans le cadre du réexamen de la mesure (art. 2 al. 2 des dispositions finales de la modification de la partie générale du CP), par jugement du 26 novembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné le placement institutionnel de l'intéressé en application de l'art. 59 CP, en lieu et place de l'internement ordonné précédemment (supra, let. A.a).
B. B.a Par jugement du 12 juin 2009, le juge d'application des peines a refusé la libération conditionnelle à X._. Par arrêt du 3 juillet 2009, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a confirmé ce refus.
B.b Le 19 novembre 2009, le Tribunal fédéral a admis le recours formé par X._ et a renvoyé la cause à l'autorité cantonale pour nouveau jugement. En bref, la Cour de céans a considéré que, si l'intéressé présentait certes un risque de récidive relativement élevé s'agissant de sa consommation de stupéfiants, ni les rapports des médecins traitants, ni l'arrêt attaqué, ne donnaient de précisions sur la nature des actes qu'il pourrait commettre sous l'effet de la consommation de drogue. En particulier, ils ne permettaient pas de déterminer s'il était à prévoir que le recourant recommencerait rapidement à perpétrer des crimes et délits contre le patrimoine, voire des actes susceptibles de mettre en danger des personnes ou si, au contraire, il était à prévoir que la réintégration du recourant en milieu institutionnel pourrait au besoin être ordonnée avant que la situation n'évolue jusque-là. Or, s'il apparaissait que cette dernière hypothèse correspondait à ce qui était raisonnablement prévisible, il y aurait alors lieu, compte tenu de la durée de la privation de liberté que le recourant avait déjà subie, de donner à celui-ci la possibilité de faire ses preuves en liberté en lui accordant, éventuellement pour prendre effet après un temps de préparation adapté, une liberté conditionnelle assortie de l'obligation de suivre un traitement ambulatoire, de règles de conduite et d'assistance de probation (arrêt 6B_714/2009 du 19 novembre 2009 consid. 1.4).
B.c Par arrêt du 18 décembre 2009, la Cour de cassation pénale du Tribunal cantonal a admis le recours interjeté par X._, annulé le jugement du 12 juin 2009 et renvoyé la cause au premier juge pour nouveau jugement.
B.d A la suite de la décision précitée, le juge d'application des peines a ordonné une expertise psychiatrique de X._ à laquelle il a dû mettre fin par décision du 23 septembre 2010 en raison de l'obstruction de ce dernier. X._ a également refusé de délier les médecins de leur secret médical.
B.e Par jugement du 29 mars 2011, le juge a accordé à l'intéressé une sortie mensuelle non accompagnée d'une durée de 48 heures pour se rendre chez sa s?ur en Valais et a suspendu la procédure en cours afin de lui offrir l'occasion de faire ses preuves dans le cadre de déplacements non accompagnés avant d'envisager de le mettre éventuellement au bénéfice de la libération conditionnelle. Lors de sa première sortie, le 16 mai 2011, l'intéressé a consommé des stupéfiants. Il a récidivé le 17 août 2011 en prenant de la cocaïne. L'OEP a suspendu les sorties par décision confirmée du 26 septembre 2011. Une procédure de recours est pendante contre cette décision.
C. Par nouveau jugement du 3 novembre 2011, le juge d'application des peines a refusé d'accorder à X._ le bénéfice de la libération conditionnelle de la mesure thérapeutique institutionnelle ordonnée le 14 août 2003.
Le 14 novembre 2011, la Chambre des recours pénale a rejeté l'appel formé par X._ contre ce jugement.
D. X._ a déposé un recours au Tribunal fédéral contre cet arrêt par lettre du 22 novembre 2011, qu'il a complétée par un nouvel envoi le 5 décembre 2011. Il conclut à son annulation et à sa libération, subsidiairement à ce qu'on ordonne un traitement ambulatoire. Il n'a pas été requis de déterminations. Il sollicite en outre l'assistance judiciaire.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 136 II 436 consid. 1, 497 consid. 3).
1.1 Le recours en matière pénale peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Selon l'art. 42 LTF, l'acte de recours doit indiquer les motifs (al. 1), lesquels doivent exposer succinctement en quoi l'acte attaqué viole le droit (al. 2). Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit. Il n'est pas indispensable qu'il indique expressément les dispositions légales - le numéro des articles de loi - ou qu'il désigne expressément les principes non écrits de droit qui auraient été violés; il suffit que, à la lecture de son exposé, on comprenne clairement quelles règles de droit auraient été transgressées par l'autorité cantonale (ATF 134 V 53 consid. 3.3 et les arrêts cités; 134 II 244 consid. 2.1).
1.2 En dépit des formulations peu claires, voire confuses du recours, on comprend que le recourant se plaint d'une violation du droit fédéral en tant que la libération conditionnelle ne lui a pas été accordée, respectivement qu'un traitement ambulatoire a été ordonné. Le recours est recevable dans cette mesure.
1.3 Lorsqu'il statue sur un recours en matière pénale, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). En l'espèce, le recourant n'émet aucune critique relative aux constatations de fait qui ont conduit l'autorité à refuser son élargissement (art. 97 al. 1 LTF, en relation avec l'art. 106 al. 2 LTF). Partant, les griefs de violation du droit fédéral seront examinés sur la base des faits établis.
2. Le recourant conteste le refus de sa libération conditionnelle.
Les principes juridiques applicables en ce domaine ont été exposés dans l'ATF 137 IV 201. Il peut être renvoyé à l'arrêt cantonal qui a repris dans son intégralité les considérants de l'arrêt précité (arrêt cantonal consid. 1 et 2 p. 5 s.).
2.1 Pour évaluer le risque de récidive de la commission de nouvelles infractions et, partant sa dangerosité, le Tribunal cantonal a renvoyé aux considérants du jugement qu'il a estimés convaincants (arrêt cantonal consid. 3 a et b p. 8 s.). Le juge d'application des peines s'est fondé sur les rapports des différents intervenants, ainsi que sur le témoignage de la directrice de l'EMS Y._ où réside l'intéressé, à défaut d'expertise à laquelle le recourant s'est opposé et face à son refus de délier les médecins de leur secret médical ainsi que sur le comportement et les déclarations de celui-ci. Au regard de ces éléments, l'autorité cantonale a considéré fondée l'appréciation du premier juge qui, à l'instar de tous les intervenants au dossier, a estimé que, si le recourant était libéré conditionnellement, il retomberait vraisemblablement rapidement dans une consommation de stupéfiants particulièrement contre-indiquée dans le contexte de sa pathologie psychiatrique. La recherche d'argent pour se procurer des stupéfiants l'amènerait probablement à commettre une nouvelle fois des délits et à s'en prendre au patrimoine d'autrui, pour le moins avant qu'une réintégration ne puisse intervenir.
En examinant si le recourant était susceptible de commettre de nouvelles infractions et en motivant pour quelles raisons elle s'est déclarée convaincue que tel était le cas, puis en constatant que de nouveaux délits seraient commis avant une possible procédure de réintégration de l'intéressé, le Tribunal cantonal a répondu aux exigences de l'arrêt de renvoi par lequel il est lié (sur le principe de l'autorité d'un arrêt de renvoi, voir ATF 135 III 334 consid. 2 et les références).
Le recourant ne formule aucune critique sur le pronostic qui aboutit à la conclusion qu'il sera amené à commettre de nouvelles infractions, à tout le moins contre le patrimoine, pour assurer sa consommation de drogue. L'appréciation des autorités de jugement sur le risque de récidive est fondée sur des éléments pertinents et ne souffre aucune critique. Il est constant que la délinquance de l'intéressé est à mettre en lien avec sa toxicomanie, dans un contexte de schizophrénie paranoïde continue dont les effets sont renforcés par l'usage de substance psycho-actives comme cela avait été relevé dans l'expertise psychiatrique établie le 21 novembre 2007. Il ressort des faits que les sorties non accompagnées les 16 mai et 17 août 2011 se sont soldées par un échec, le recourant ayant consommé des drogues. La directrice du foyer Y._, qui a préavisé négativement à une libération conditionnelle, a clairement motivé son opinion. Il découle de ses constatations que l'intéressé, qui considère avoir payé sa dette à la société, a une vision de la libération conditionnelle affranchie de toute contrainte; en particulier, il s'oppose à une ouverture progressive sous la forme d'un appartement protégé, ou de congés élargis, ce qui l'autorise à faire tout ce qu'il veut. Or, une telle approche n'est pas envisageable vu la pathologie dont souffre le recourant, que des garde-fous tels une assistance de probation ou des règles de conduite, comme il le propose, ne sont en l'état pas suffisants pour justifier une libération conditionnelle (jugement p. 12). Lors de son audition du 23 septembre 2010, le recourant a lui-même fait un lien entre sa consommation de stupéfiants et les infractions qu'il a commises (jugement lettre O p. 7). Au regard de l'ensemble de ces éléments qui lient le Tribunal fédéral (art. 105 al. 1 LTF), le Tribunal cantonal n'a pas violé le droit fédéral en retenant un risque concret de récidive de la commission de nouvelles infractions contre le patrimoine par le recourant pour assurer sa consommation de drogue.
2.2 Le recourant se plaint de la durée de la mesure qu'il juge excessive et qu'il assimile à un internement. Il réitère par ailleurs dans son recours son refus de toute ouverture progressive sous la forme d'un appartement protégé et requiert une mesure ambulatoire. Ce faisant, il invoque une violation du principe de la proportionnalité.
Le temps écoulé depuis le prononcé de la mesure ne suffit pas à lui seul pour retenir qu'elle serait disproportionnée, étant rappelé qu'une mesure peut être reconduite aussi souvent et aussi longtemps que son maintien s'avère nécessaire, approprié et proportionnel (art. 59 al. 4 CP). Dans ce cadre, elle ne connaît pas de limite maximale. Cette possibilité existe parce que les mesures thérapeutiques appliquées à des malades mentaux chroniques n'agissent souvent que très lentement (ATF 137 IV 201 consid. 1.4 et réf. citées). En outre, une mesure ne saurait être maintenue que si elle conserve une chance de succès. Au contraire de l'internement, qui consiste principalement à neutraliser l'auteur, la mesure thérapeutique institutionnelle cherche à réduire le risque de récidive par une amélioration des facteurs inhérents à l'intéressé (e.o consid. 1.3).
Selon le Tribunal cantonal, qui se réfère au premier jugement, le traitement institutionnel ordonné en 2007, en remplacement de la mesure d'internement, conserve une chance de succès du point de vue de la prévention spéciale. Il y a encore lieu de s'attendre à une amélioration de l'état de l'auteur, de sorte que le traitement en cours peut apporter un bénéfice pour la réinsertion future du recourant. Par conséquent, la libération conditionnelle de la mesure thérapeutique institutionnelle, qui compromettrait tous les efforts effectués jusqu'à présent, apparaissait prématurée. Il convenait de se fier aux spécialistes qui recommandaient une ouverture progressive du cadre, notamment en vue d'un passage en appartement protégé (jugement p. 9).
Ces considérations, qui se fondent sur les avis convergents des spécialistes de la Commission interdisciplinaire concernant les délinquants nécessitant une prise en charge psychiatrique (CIC), de la Consultation de Chauderon, de Y._ et de l'OEP (jugement de première instance lettre D p. 13) ne souffrent aucune critique. Il en ressort que la mesure demeure adéquate en tant qu'elle conserve une chance de succès dans les perspectives d'amélioration de l'état du recourant. Elle reste nécessaire dès lors qu'une libération prématurée l'exposerait à retomber dans la délinquance pour assurer sa consommation de stupéfiants. Elle est enfin proportionnelle dans son intensité puisque des mesures moins incisives tel un traitement ambulatoire se révèlent insuffisantes à l'heure actuelle selon ces mêmes spécialistes. En outre, des perspectives d'élargissement progressif concrètes sont envisagées sous la forme d'un appartement en milieu protégé. Aussi l'évolution du recourant est prise en compte. Au regard de l'ensemble de ces facteurs, la poursuite du traitement institutionnel ne heurte pas le principe de la proportionnalité. Le refus de la libération conditionnelle n'est pas contraire au droit fédéral.
Néanmoins, eu égard à la durée de la privation de liberté subie, la proportionnalité de la mesure devra être réévaluée si l'état du recourant s'améliorait d'une manière telle que le prononcé d'une mesure ambulatoire, assortie le cas échéant de règles de conduite ou de toute autre mesure d'accompagnement, pourrait être envisagé. En l'absence d'une évolution suffisante, il s'agira, au moment du prochain examen de la libération conditionnelle, de déterminer si le traitement médical conserve véritablement des chances de succès.
3. Le recourant succombe. Ses conclusions n'étaient cependant pas d'emblée dénuées de chance de succès et sa situation économique justifie l'octroi de l'assistance judiciaire (art. 64 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est admise.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 12 mars 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben