Faits: A. Par arrêt du 17 octobre 2002, le Tribunal d'accusation du canton de Vaud, après avoir constaté l'irresponsabilité totale de l'accusé X._ et prononcé un non-lieu à son égard des chefs d'accusation de violation de domicile, de menaces, de contraventions à la loi fédérale sur les stupéfiants, de contrainte, de voie de fait et de violence ou de menaces contre les autorités et les fonctionnaires, a ordonné son placement dans une institution pour toxicomanes au sens de l'art. 44 aCP, ainsi que l'application parallèle d'un traitement ambulatoire de sa schizophrénie comprenant la prescription d'un traitement neuroleptique. Constatant l'échec du placement précité, le Tribunal d'accusation, par arrêt du 23 février 2005, a ordonné l'internement de l'intéressé au sens de l'art. 43 ch. 1 al. 2 aCP, l'application en parallèle d'un traitement de sa schizophrénie comprenant la prescription de traitement neuroleptique étant maintenue. Détenu depuis le 28 janvier 2004 à la prison de la Tuilière à Lonay, X._ a été transféré aux Etablissements de la Plaine de l'Orbe (EPO) le 2 mai 2005 en vue de l'exécution de son internement. Dans le cadre du réexamen de la mesure (art. 2. al. 2 des dispositions finales de la modification de la partie générale du CP), par arrêt du 16 juillet 2007, le Tribunal d'accusation a ordonné que X._ soit soumis à un traitement institutionnel en application de l'art. 59 al. 3 CP. B. Dans un rapport du 18 août 2009, la direction des EPO a préavisé défavorablement à la libération conditionnelle de X._. Le 16 septembre 2009, l'Office d'exécution des peines (OEP) a requis le Juge d'application des peines du canton de Vaud de statuer sur une éventuelle libération conditionnelle de X._ en recommandant un refus. Le Ministère public a préavisé dans le même sens. Par jugement du 12 août 2010, le Juge d'application des peines a refusé la libération conditionnelle de X._. Par arrêt du 23 septembre 2010 la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a confirmé ce refus. C. L'intéressé a fait l'objet de plusieurs expertises. Les diagnostics de schizophrénie paranoïde épisodique avec déficit progressif, puis stable, et d'un syndrome de dépendance à des substances psycho-actives multiples, abstinent en milieu protégé, ont été posés (expertise du Département universitaire de psychiatrie adulte [DUPA], du 20 décembre 2004; rapport du 22 janvier 2010 émanant du Centre universitaire romand de médecine légale). Le risque de récidive était jugé élevé en l'absence de traitement, exacerbé encore "en cas de rechute de consommation de substances psycho-actives". Selon les derniers experts qui tiennent la pathologie mentale pour grave, l'association des deux diagnostics représente une difficulté majeure dans l'évolution et la prise en charge de chacune des affections. Le succès thérapeutique, qualifié d'extrêmement aléatoire, impose à long terme d'envisager une thérapie multidimensionnelle avec une approche pharmacologique spécifique (neuroleptique), psychothérapeutique individuelle et un encadrement socio-thérapeutique. L'absence de progrès de l'expertisé sur le plan thérapeutique peut être attribué à la gravité du trouble qui l'affecte et au manque de continuité dans la prise en charge médicamenteuse du fait de son absence de collaboration ou de son adhésion partielle au traitement qui lui est proposé. Quant aux actes de violence commis en détention, ils peuvent être mis en lien avec le niveau de désorganisation psychique de l'expertisé du fait de ses troubles, ainsi qu'avec la situation difficile à laquelle il se trouve confronté, le maintien prolongé en régime d'isolement cellulaire exerçant un effet délétère sur sa santé physique et psychique et affectant également les possibilités d'évolution clinique. Une mesure d'élargissement du cadre carcéral est possible avec un transfert à l'unité de psychiatrie des EPO, le risque de récidive étant qualifié de faible dans le cadre d'un tel élargissement pour autant que X._ adhère à la médication; il est jugé faible à moyen en cas d'adhésion partielle. Pour les experts, il est prématuré d'envisager de mettre fin au placement carcéral, une telle décision ne pouvant intervenir qu'en cas de résultats positifs dans le cadre des premières mesures d'élargissement envisagées. Dans ce cas, un placement dans une institution médico-sociale cadrante à visée réhabilitative serait nécessaire pour une bonne évolution à long terme. D. Depuis le prononcé de la mesure le 23 février 2005, X._ a été interné sous différents régimes. Il a fait l'objet de plusieurs sanctions sous la forme d'arrêts disciplinaires, en particulier pour avoir agressé physiquement des surveillants. Il a été également placé en régime d'isolement à de nombreuses reprises. Un recours formé par le condamné contre son maintien en isolement cellulaire à titre de sûreté a été rejeté par le Tribunal fédéral le 12 juin 2008 (arrêt 6B_241/2008). Le juge d'application des peines a confirmé par arrêt du 15 septembre 2009 une nouvelle décision similaire de l'OEP. Au vu des conclusions de l'expertise du 22 janvier 2010, le recourant a intégré l'unité psychiatrique des EPO le 23 mars 2010. Dans un rapport du 20 avril suivant, la direction des EPO a qualifié son comportement de bon au sein de cette unité. Il a depuis lors mis le feu à son lit à deux reprises, le 24 mai, puis le 10 juin 2010. Le premier incident a été classé sans suite au motif que, selon le Service de médecine psychiatrique et pénitentiaire (SMPP), l'intéressé était pris d'hallucinations visuelles. Il a été sanctionné pour le second. Selon un rapport du 5 juillet 2010 du SMPP, l'intéressé s'est montré respectueux et collaborant avec le personnel soignant depuis son arrivée à l'unité psychiatrique. Une bonne alliance thérapeutique a pu être établie, même si elle est mise à mal lorsque les idées délirantes du patient envahissent les relations interpersonnelles et que l'intéressé se sent persécuté par le personnel soignant. E. X._ forme un recours en matière pénale contre cet arrêt. Il conclut à la réforme de la décision attaquée en ce sens que sa libération conditionnelle est ordonnée, ladite libération étant subordonnée, le cas échéant, à telles conditions que justice dira. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause aux autorités judiciaires cantonales. Il requiert en outre l'assistance judiciaire. Il n'a pas été requis de déterminations.