Faits:
A. Par arrêt du 17 octobre 2002, le Tribunal d'accusation du canton de Vaud, après avoir constaté l'irresponsabilité totale de l'accusé X._ et prononcé un non-lieu à son égard des chefs d'accusation de violation de domicile, de menaces, de contraventions à la loi fédérale sur les stupéfiants, de contrainte, de voie de fait et de violence ou de menaces contre les autorités et les fonctionnaires, a ordonné son placement dans une institution pour toxicomanes au sens de l'art. 44 aCP, ainsi que l'application parallèle d'un traitement ambulatoire de sa schizophrénie comprenant la prescription d'un traitement neuroleptique.
Constatant l'échec du placement précité, le Tribunal d'accusation, par arrêt du 23 février 2005, a ordonné l'internement de l'intéressé au sens de l'art. 43 ch. 1 al. 2 aCP, l'application en parallèle d'un traitement de sa schizophrénie comprenant la prescription de traitement neuroleptique étant maintenue. Détenu depuis le 28 janvier 2004 à la prison de la Tuilière à Lonay, X._ a été transféré aux Etablissements de la Plaine de l'Orbe (EPO) le 2 mai 2005 en vue de l'exécution de son internement.
Dans le cadre du réexamen de la mesure (art. 2. al. 2 des dispositions finales de la modification de la partie générale du CP), par arrêt du 16 juillet 2007, le Tribunal d'accusation a ordonné que X._ soit soumis à un traitement institutionnel en application de l'art. 59 al. 3 CP.
B. Dans un rapport du 18 août 2009, la direction des EPO a préavisé défavorablement à la libération conditionnelle de X._. Le 16 septembre 2009, l'Office d'exécution des peines (OEP) a requis le Juge d'application des peines du canton de Vaud de statuer sur une éventuelle libération conditionnelle de X._ en recommandant un refus. Le Ministère public a préavisé dans le même sens. Par jugement du 12 août 2010, le Juge d'application des peines a refusé la libération conditionnelle de X._.
Par arrêt du 23 septembre 2010 la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a confirmé ce refus.
C. L'intéressé a fait l'objet de plusieurs expertises. Les diagnostics de schizophrénie paranoïde épisodique avec déficit progressif, puis stable, et d'un syndrome de dépendance à des substances psycho-actives multiples, abstinent en milieu protégé, ont été posés (expertise du Département universitaire de psychiatrie adulte [DUPA], du 20 décembre 2004; rapport du 22 janvier 2010 émanant du Centre universitaire romand de médecine légale). Le risque de récidive était jugé élevé en l'absence de traitement, exacerbé encore "en cas de rechute de consommation de substances psycho-actives". Selon les derniers experts qui tiennent la pathologie mentale pour grave, l'association des deux diagnostics représente une difficulté majeure dans l'évolution et la prise en charge de chacune des affections. Le succès thérapeutique, qualifié d'extrêmement aléatoire, impose à long terme d'envisager une thérapie multidimensionnelle avec une approche pharmacologique spécifique (neuroleptique), psychothérapeutique individuelle et un encadrement socio-thérapeutique. L'absence de progrès de l'expertisé sur le plan thérapeutique peut être attribué à la gravité du trouble qui l'affecte et au manque de continuité dans la prise en charge médicamenteuse du fait de son absence de collaboration ou de son adhésion partielle au traitement qui lui est proposé. Quant aux actes de violence commis en détention, ils peuvent être mis en lien avec le niveau de désorganisation psychique de l'expertisé du fait de ses troubles, ainsi qu'avec la situation difficile à laquelle il se trouve confronté, le maintien prolongé en régime d'isolement cellulaire exerçant un effet délétère sur sa santé physique et psychique et affectant également les possibilités d'évolution clinique. Une mesure d'élargissement du cadre carcéral est possible avec un transfert à l'unité de psychiatrie des EPO, le risque de récidive étant qualifié de faible dans le cadre d'un tel élargissement pour autant que X._ adhère à la médication; il est jugé faible à moyen en cas d'adhésion partielle. Pour les experts, il est prématuré d'envisager de mettre fin au placement carcéral, une telle décision ne pouvant intervenir qu'en cas de résultats positifs dans le cadre des premières mesures d'élargissement envisagées. Dans ce cas, un placement dans une institution médico-sociale cadrante à visée réhabilitative serait nécessaire pour une bonne évolution à long terme.
D. Depuis le prononcé de la mesure le 23 février 2005, X._ a été interné sous différents régimes. Il a fait l'objet de plusieurs sanctions sous la forme d'arrêts disciplinaires, en particulier pour avoir agressé physiquement des surveillants. Il a été également placé en régime d'isolement à de nombreuses reprises. Un recours formé par le condamné contre son maintien en isolement cellulaire à titre de sûreté a été rejeté par le Tribunal fédéral le 12 juin 2008 (arrêt 6B_241/2008). Le juge d'application des peines a confirmé par arrêt du 15 septembre 2009 une nouvelle décision similaire de l'OEP.
Au vu des conclusions de l'expertise du 22 janvier 2010, le recourant a intégré l'unité psychiatrique des EPO le 23 mars 2010. Dans un rapport du 20 avril suivant, la direction des EPO a qualifié son comportement de bon au sein de cette unité. Il a depuis lors mis le feu à son lit à deux reprises, le 24 mai, puis le 10 juin 2010. Le premier incident a été classé sans suite au motif que, selon le Service de médecine psychiatrique et pénitentiaire (SMPP), l'intéressé était pris d'hallucinations visuelles. Il a été sanctionné pour le second.
Selon un rapport du 5 juillet 2010 du SMPP, l'intéressé s'est montré respectueux et collaborant avec le personnel soignant depuis son arrivée à l'unité psychiatrique. Une bonne alliance thérapeutique a pu être établie, même si elle est mise à mal lorsque les idées délirantes du patient envahissent les relations interpersonnelles et que l'intéressé se sent persécuté par le personnel soignant.
E. X._ forme un recours en matière pénale contre cet arrêt. Il conclut à la réforme de la décision attaquée en ce sens que sa libération conditionnelle est ordonnée, ladite libération étant subordonnée, le cas échéant, à telles conditions que justice dira. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause aux autorités judiciaires cantonales. Il requiert en outre l'assistance judiciaire.
Il n'a pas été requis de déterminations.
Considérant en droit:
1. Le recourant invoque une violation des art. 59, 62, 62c et 62d CP.
1.1 Aux termes de l'art. 62d al. 1 CP, qui s'applique lorsque le juge a ordonné une mesure thérapeutique institutionnelle, l'autorité compétente examine, d'office ou sur demande, si l'auteur peut être libéré conditionnellement ou si la mesure doit être levée; elle prend une décision à ce sujet au moins une fois par année; au préalable, elle entend l'auteur et demande un rapport à la direction de l'établissement chargé de l'exécution de la mesure. Comme sous l'empire de l'art. 45 ch. 1 al. 3 aCP (ATF 128 IV 241 consid. 3.2 p. 247 s.), le rapport exigé par la disposition doit émaner du médecin traitant, dresser un bilan du traitement, comporter les éléments d'appréciation médicaux utiles à l'évaluation de la dangerosité actuelle de l'auteur et se prononcer sur l'évolution probable de ces éléments en cas de poursuite du traitement selon les modalités les plus indiquées (arrêt 6B_714/2009 du 19 novembre 2009 consid. 1.1 et les réf. citées).
1.2 Conformément à l'art. 62 al. 1 CP, l'auteur doit être libéré conditionnellement de l'exécution institutionnelle de la mesure dès que son état justifie qu'on lui donne l'occasion de faire ses preuves en liberté. La loi ne définit pas cette notion. Elle n'exige pas la guérison de l'auteur, mais une évolution ayant eu pour effet d'éliminer ou de réduire dans une mesure suffisante le risque de nouvelles infractions. Il n'est donc pas nécessaire que l'auteur soit mentalement normal. Il suffit qu'il ait appris à vivre avec ses déficits, de manière que l'on puisse poser un pronostic favorable quant à son comportement futur (arrêt 6B_714/2009 du 19 novembre 2009 consid. 1.2 et les réf. citées), étant rappelé que s'agissant de la décision sur le pronostic, le principe "in dubio pro reo" n'est pas applicable (ATF 127 IV 1 consid. 2a p. 4 s.).
Ce pronostic doit être posé en tenant compte du principe de la proportionnalité (art. 5 al. 2 Cst. et 56 al. 2 CP) selon lequel l'atteinte aux droits de la personnalité qui résulte pour l'auteur d'une mesure ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Cette disposition postule de la sorte la pesée à effectuer entre l'atteinte aux droits inhérente à la mesure ordonnée et la dangerosité de l'auteur (6B_457/2007 du 12 novembre 2007 consid. 5.2). Présente un caractère de dangerosité le délinquant dont l'état mental est si gravement atteint qu'il est fortement à craindre qu'il commette de nouvelles infractions. Lors de l'examen du risque de récidive, il convient de tenir compte de l'imminence et de la gravité du danger, ainsi que de la nature et de l'importance du bien juridique menacé. Lorsque des biens juridiques importants, tels que la vie ou l'intégrité corporelle, sont mis en péril, il faut se montrer moins exigeant quant à l'imminence et à la gravité du danger que lorsque des biens de moindre valeur, tels que la propriété ou le patrimoine, sont menacés (ATF 127 IV 1 consid. 2a p. 5 et les arrêts cités). Le pronostic doit également tenir compte de la durée de la privation de liberté déjà subie par l'auteur (en ce sens: ROBERT ROTH / VANESSA THALMANN, Commentaire romand, Code pénal I, 2009, n° 26 ad art. 62 CP). Cependant, cette circonstance est sans pertinence lorsque la dangerosité actuelle de l'auteur atteint le degré requis pour justifier l'internement chez un individu inaccessible à un traitement médical. En effet, la loi ne limite pas l'internement dans le temps et n'autorise la libération conditionnelle d'un interné que s'il est hautement vraisemblable que celui-ci se comportera correctement en liberté (cf. art. 64a al. 1 CP; MARIANNE HEER, Basler Kommentar, Strafrecht I, 2e éd. 2007, n° 13 ad art. 64a CP). Il est ainsi manifeste que, dans la pesée des intérêts opérée par le législateur, le droit à la liberté personnelle d'un auteur qui présente une dangerosité susceptible de justifier un internement ne l'emporte jamais sur l'intérêt public à la sécurité des personnes.
1.3 Conformément à l'art. 56 al. 6 CP, une mesure dont les conditions ne sont plus remplies doit être levée. Comme son prononcé suppose qu'elle soit propre à détourner l'auteur de la commission de nouvelles infractions en relation avec son grave trouble mental (cf. art. 59 al. 1 let. b CP), une mesure thérapeutique institutionnelle ne peut dès lors être maintenue que si elle conserve une chance de succès, ainsi que le prévoit du reste l'art. 62c al. 1 let. a CP. Au contraire de l'internement, qui consiste principalement à neutraliser l'auteur, la mesure thérapeutique institutionnelle cherche à réduire le risque de récidive par une amélioration des facteurs inhérents à l'intéressé (cf. ANDREA BAECHTOLD, Exécution des peines, 2008, p. 316). Il s'ensuit que, pour qu'une mesure thérapeutique institutionnelle puisse être maintenue, c'est le traitement médical, non la privation de liberté qui lui est associée, qui doit conserver une chance de succès du point de vue de la prévention spéciale. Une mesure thérapeutique institutionnelle ne saurait être maintenue au seul motif que la privation de liberté qu'elle comporte a pour effet d'empêcher l'auteur de commettre de nouvelles infractions. Sinon, ne cherchant plus à réduire le risque de récidive par le traitement de l'auteur, mais uniquement par la neutralisation de celui-ci, elle ne se différencierait plus de l'internement, mesure qui n'est admissible qu'aux conditions prévues à l'art. 64 CP. Certes, la notion de traitement médical doit être entendue largement. Même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement, si elle a pour effet prévisible d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société (cf. HEER, op. cit., n° 66 ad art. 59 CP). Mais, lorsqu'il n'y a plus lieu de s'attendre à une amélioration de l'état de l'auteur, l'autorité compétente doit lever la mesure, en prenant au besoin une ou plusieurs des dispositions prévues à l'art. 62c al. 3 à 6 CP.
1.4 L'art. 59 al. 4 CP prévoit que la mesure ne peut, en règle générale, excéder cinq ans. Cependant, si les conditions d'une libération conditionnelle ne sont pas réunies après cinq ans et qu'il soit à prévoir que le maintien de la mesure détournera l'auteur de nouveaux crimes ou délits en relation avec le trouble mental, le juge peut ordonner la prolongation de la mesure de cinq ans au plus à chaque fois. La mesure peut ainsi être reconduite aussi souvent et aussi longtemps que son maintien s'avère nécessaire, approprié et proportionnel (ATF 135 IV 139 consid. 2.1 p. 141). Dans ce cadre, elle ne connaît pas de limite maximale. Cette prolongation est indiquée lors de traitements selon l'art. 59 al. 3 CP. Cette possibilité existe parce que les mesures thérapeutiques appliquées à des malades mentaux chroniques n'agissent souvent que très lentement (ATF 134 IV 315 consid. 3.4.1 p. 321 s. et réf. citées).
2. Le recourant conteste l'appréciation du risque de récidive par la cour de cassation pénale au regard des infractions qu'il a commises qu'il qualifie de délits mineurs et fait valoir que le risque de passage à l'acte est faible. Il conteste mettre gravement en danger l'ordre ou la sécurité publics.
2.1 Pour la cour de cassation pénale, même si la gravité des infractions à l'origine de la mesure n'est pas particulièrement significative, le pronostic de la mesure selon l'art. 62 al. 1 CP doit être examiné de manière rigoureuse au regard de la dangerosité de l'intéressé relevée par les experts, dangerosité qui s'est manifestée en particulier quand le recourant a bouté le feu à deux reprises à son lit. Se fondant sur les avis médicaux unanimes, la cour cantonale retient que le recourant est atteint d'une pathologie psychiatrique majeure, ancienne, au traitement long et aléatoire, dont il ne parvient pas à surmonter les effets. En raison notamment de troubles délirants et de l'impulsivité occasionnée par cette double pathologie, il présente un danger pour la sécurité publique au vu du risque de réitération mis en évidence par les experts, ce danger excédant de beaucoup la gravité intrinsèque des infractions. En conséquence, aucun pronostic favorable quant au comportement futur de l'intéressé ne peut être posé en l'état.
2.2 Il est constant que le recourant souffre d'un grave trouble mental chronique qui peut le conduire à adopter des comportements dangereux, respectivement menaçants ou violents pour autrui. Cette dangerosité résulte de l'association, d'une part, d'une schizophrénie paranoïde (impliquant une vulnérabilité au stress considérable selon l'expertise du 20 décembre 2004) et, d'autre part, d'un syndrome de dépendance à des substances psychoactives multiples (réponse au stress selon la même expertise), soit une grave désorganisation psychique associée à une compulsion. La pathologie mentale est jugée grave. Le constat selon lequel l'intéressé présente un danger pour la sécurité publique qui va au-delà de la gravité des infractions qu'il a commises, est conforté par les nombreuses agressions qu'il a perpétrées sur des surveillants ainsi que par l'usage du feu à deux reprises depuis son arrivée à l'unité psychiatrique des EPO le 23 mars 2010. Les expertises des 20 décembre 2004 et 22 janvier 2010 mentionnent expressément un risque de réitération significatif à défaut de tout traitement institutionnel et en cas de consommation de substances psychoactives. L'appréciation par les experts de 2004 de ce risque d'hétéro-agressivité, majoré en cas de rechute toxicomaniaque, déjà retenu par le Tribunal fédéral dans l'arrêt précédent (6B_241/2008 consid. 3.1.1) n'a pas été évaluée différemment dans l'expertise du 22 janvier 2010. Il a été relativisé par les seconds experts, uniquement dans le contexte d'un élargissement dans le cadre carcéral et à la condition que l'adhésion du recourant au traitement perdure. Ces conclusions ont été suivies, puisque l'intéressé a pu sortir d'isolement cellulaire le 23 mars 2010 et être transféré à l'Unité de psychiatrie des EPO. Au vu de ces éléments, l'appréciation de la cour cantonale quant à la dangerosité et au risque de récidive qui fondent un pronostic défavorable à une libération conditionnelle ne souffre aucune critique.
3. Le recourant soutient que la mesure thérapeutique institutionnelle n'est pas susceptible d'améliorer son état. La prolongation du maintien en milieu carcéral après plusieurs années violerait le droit fédéral. Par son grief, il s'en prend à la proportionnalité de la mesure.
3.1 Pour la cour cantonale, seule une mesure thérapeutique institutionnelle en milieu carcéral permet d'assurer l'adhésion du condamné au traitement et de le soigner en le mettant, lui et autrui, à l'abri de la dangerosité découlant de sa pathologie, qui présente un caractère persistant, même si ses manifestations varient en intensité au fil du temps. Si quelques progrès ont pu être obtenus en matière d'alliance thérapeutique, c'est précisément du fait de la contrainte que seul un cadre institutionnel fermé peut apporter.
Les experts ont attribué l'absence de progrès de l'expertisé sur le plan thérapeutique non seulement à la gravité du trouble qui l'affecte, mais aussi au manque de continuité dans la prise en charge médicamenteuse du fait de son absence de collaboration et/ou de son adhésion partielle au traitement. Bien qu'ils évoquent le caractère extrêmement aléatoire d'un succès thérapeutique, ils ne l'excluent pas pour autant et préconisent à long terme une thérapie multidimensionnelle avec des mesures d'élargissement progressives. Le dernier rapport du SMPP du 5 juillet 2010 conclut, de manière générale, à une bonne alliance thérapeutique depuis que le recourant a rejoint l'unité de psychiatrie, même si elle peut être mise à mal lorsque les idées délirantes envahissent les relations interpersonnelles. Au vu de ces constatations, que le recourant ne discute pas (art. 105 al. 1 LTF), et compte tenu de la large portée qu'il faut attribuer à la notion de traitement médical (consid. 1.3) ainsi que des quelques progrès avérés accomplis par le recourant depuis le mois de mars 2010, le moyen tiré de l'absence de toute chance de succès de la mesure thérapeutique institutionnelle est infondé.
3.2 Au regard de la durée et de l'intensité de la mesure, la cour cantonale relève que le recourant a, depuis sa récente adhésion au traitement, bénéficié d'un allègement de régime, soit d'un passage de régime cellulaire à celui de l'unité de psychiatrie des EPO, en date du 23 mars 2010. Comme l'a relevé l'autorité cantonale, l'atteinte à la liberté personnelle imposée par la mesure a été modifiée en fonction de la situation et ne dépasse pas ce qui est strictement nécessaire à la thérapie.
Le temps écoulé depuis le prononcé de la mesure ordonnée en 2005 ne suffit pas à lui seul pour retenir qu'elle serait disproportionnée. Un traitement institutionnel dure en principe jusqu'à ce que son but soit atteint, si sa poursuite ne paraît pas vouée à l'échec. En l'espèce, il a été retenu que le recourant n'est pas inaccessible au traitement. Le succès thérapeutique impose, selon les experts, un encadrement médical adéquat. Selon eux, il serait prématuré d'envisager de mettre fin au placement carcéral, une telle décision ne pouvant intervenir qu'en cas de résultats positifs dans le cadre des premières mesures d'élargissement envisagées. Dans ce cas, un placement dans une institution médico-sociale cadrante à visée réhabilitative serait nécessaire pour une bonne évolution à long terme. Il en résulte que l'amélioration de l'état de santé du recourant, compte tenu de sa pathologie, ne peut être obtenu que par un traitement de longue haleine qui comporte des paliers progressifs d'élargissement. Les traitements sur une longue durée sont propres au type de pathologie dont souffre le recourant (consid. 1.4) et c'est au regard de ces considérations que la loi n'a pas fixé de limite maximale au renouvellement des traitements institutionnels. Compte tenu de la dangerosité que le recourant présente pour autrui (consid. 2.1), des perspectives de stabilisation et d'amélioration de son état de santé, la gravité de l'atteinte aux droits de sa personnalité qu'implique la poursuite du traitement institutionnel depuis près de huit ans n'apparaît pas disproportionnée par rapport à l'intérêt public à la prévention de futures infractions.
4. Au terme de son recours, le recourant fait valoir que sa détention est tout au moins contraire aux art. 3 et 5 CEDH. Il affirme être soumis à des traitements inhumains et dégradants. Une peine de huit ans de privation de liberté pour les actes qui lui sont reprochés serait contraire à l'art. 5 CEDH.
Ce faisant, il ne formule pas réellement d'autres griefs que ceux qui ont déjà été examinés aux considérants précédents. Il ne les motive en tout cas pas par une argumentation distincte. Dès lors, soit ces griefs se confondent en définitive avec ceux déjà examinés, de sorte qu'il n'y a pas lieu d'y revenir, soit ils ne sont aucunement motivés et, partant, irrecevables (art. 106 al. 2 LTF).
5. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Comme les conclusions de celui-ci étaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut pas être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais judiciaires, dont le montant sera toutefois arrêté au regard de sa situation économique (art. 65 al. 2 et 66 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 5 mai 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat