Faits:
A. Entre 1978 et 1986, X._ a encouru six condamnations à des peines privatives de liberté et à un placement en maison d'éducation au travail en raison d'infractions contre l'intégrité sexuelle allant de l'exhibitionnisme et de l'attentat à la pudeur des enfants au viol qualifié.
B. Par jugement du 26 avril 1989, le Tribunal correctionnel du district de Lausanne a condamné X._, pour tentative de viol, lésions corporelles simples et dommages à la propriété, à deux ans et demi d'emprisonnement, peine suspendue au profit d'un internement au sens de l'art. 43 ch. 1 al. 2 aCP.
Dans le cadre de l'exécution de la mesure, le recourant a d'abord été placé aux Etablissements de la Plaine de l'Orbe (EPO). Le 8 mars 1998, il a été transféré en régime de semi-liberté à la Maison A._ à Genève. A la suite de nouveaux actes délictueux à caractère sexuel, il a été réintégré aux EPO le 11 août 1998. Le recourant a poursuivi l'exécution de sa mesure, dès octobre 2001, au centre de sociothérapie "B._", puis dès janvier 2007, aux Etablissements C._, à D._.
C. Lors du réexamen des internements imposé par le droit transitoire de la nouvelle partie générale du Code pénal, entrée en vigueur le 1er janvier 2007 (art. 2 al. 2 des Dispositions finales de la modification du 13 décembre 2002), le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné, par jugement du 6 novembre 2007, que X._ soit soumis à une mesure thérapeutique institutionnelle (art. 59 al. 3 CP) en lieu et place d'un internement.
D. Dans une évaluation de suivi du 19 septembre 2008, la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après : CIC) a relevé que les possibilités de changement et de maturation de X._ étaient inexistantes. Elle a constaté l'inaccessibilité, plusieurs fois vérifiée, à un travail de psychothérapie individuelle qui serait susceptible d'atténuer la dangerosité de l'intéressé. La CIC a encore observé que les conditions formulées dans l'expertise psychiatrique établie le 6 janvier 2004 sur une prise en charge psychothérapeutique destinée à réduire le risque de récidive, n'étaient pas atteintes. Elle en a conclu que la poursuite de la mesure thérapeutique institutionnelle paraissait vouée à l'échec.
Le 14 octobre 2008, l'Office d'exécution des peines (ci-après : OEP) a requis le juge d'application des peines du canton de Vaud de procéder à l'examen annuel de la libération conditionnelle de la mesure en préavisant un refus. Parallèlement, l'OEP a proposé la levée de la mesure thérapeutique institutionnelle au motif qu'elle serait vouée à l'échec, et le prononcé d'un internement.
Par jugement du 14 avril 2010, le juge d'application des peines a refusé la libération conditionnelle, levé la mesure thérapeutique institutionnelle et ordonné l'internement de X._.
E. Par arrêt du 17 mai 2010, la Cour de cassation pénale a confirmé ce jugement.
F. X._ dépose un recours en matière pénale au Tribunal fédéral. Il demande la réforme de l'arrêt attaqué en ce sens que l'internement soit annulé et que la mesure institutionnelle soit maintenue.
Des déterminations n'ont pas été requises.
Considérant en droit:
1. Le recourant dénonce une violation de l'art. 62c al. 1 let. a et al. 4 CP. Il conteste que la poursuite d'un traitement soit vouée à l'échec.
1.1 Selon l'art. 62c al. 1 let. a CP, qui s'applique lorsque le juge a ordonné une mesure thérapeutique institutionnelle, celle-ci doit être levée si son exécution paraît vouée à l'échec. Cette règle concrétise le principe général énoncé à l'art. 56 al. 6 CP qui prévoit qu'une mesure dont les conditions ne sont plus remplies doit être levée.
Une mesure thérapeutique institutionnelle présuppose, entre autres conditions, qu'il soit à prévoir que la mesure détourne l'auteur de commettre de nouvelles infractions et que celui-ci soit susceptible de profiter d'un traitement (art. 59 al. 1 let. b CP; ATF 134 IV 315 consid. 3.4.1 p. 321). Cela signifie que la mesure devra être levée si le traitement médical n'a plus de chances de succès (arrêt 6B_714/2009 du 19 novembre 2009 consid. 1.3), soit lorsque l'auteur n'est pas soignable ou que le traitement n'est plus apte à prévenir la commission de nouvelles infractions (ROTH/THALMANN, Commentaire romand, 2009, n. 1 ad art. 62c CP, GÜNTER STRATENWERTH, Schweizerisches Strafrecht, II, 2006, 2ème éd., § 9 n. 53; TRECHSEL/PAUEN BORER, Schweizerisches Strafgesetzbuch Praxiskommentar, 2008, n. 2-3 ad art. 62c CP). L'échec peut résulter de l'insuffisance de possibilités thérapeutiques, du manque de respect des avis ou recommandations des thérapeutes ou du refus d'un traitement (MARIANNE HEER, Commentaire bâlois, 2007, 2ème éd., n. 18-19 ad art. 62c CP). Pour être voué à l'échec, le traitement doit être définitivement inopérant; une simple crise de l'intéressé ne suffit pas. Ainsi, lorsqu'il n'y a pas lieu de s'attendre à une amélioration de l'état de l'auteur, l'autorité compétente doit lever la mesure, en prenant au besoin une ou plusieurs des dispositions prévues à l'art. 62c al. 3 à 6 CP.
En vertu de l'art. 62c al. 4 CP, si, lors de la levée d'une mesure ordonnée en raison d'une infraction prévue à l'art. 64 al. 1 CP, il est sérieusement à craindre que l'auteur ne commette d'autres infractions du même genre, le juge peut ordonner l'internement à la requête de l'autorité d'exécution. En d'autres termes, le prononcé d'un internement en lieu et place d'une autre mesure présuppose, outre une infraction énoncée à l'art. 64 al. 1 CP, un risque de récidive hautement vraisemblable (sur cette notion, cf. arrêt 6B_1062/2009 du 3 novembre 2010 consid. 6.3 destiné à publication). Enfin, il ne faut pas perdre de vue que l'internement doit rester une ultima ratio, conformément au principe de proportionnalité (ATF 134 IV 315 consid. 3.2 et 3.3 p. 320 ss; 134 IV 121 consid. 3.4.2 p. 130; arrêt 6B_1062/2009 précité consid. 6.2 destiné à publication; cf. aussi ROTH/THALMANN, op. cit., n. 12 ad art. 62c CP; TRECHSEL/PAUEN BORER, op. cit., n. 9 ad art. 62c CP ).
En vertu de l'art. 62c al. 4 CP, si, lors de la levée d'une mesure ordonnée en raison d'une infraction prévue à l'art. 64 al. 1 CP, il est sérieusement à craindre que l'auteur ne commette d'autres infractions du même genre, le juge peut ordonner l'internement à la requête de l'autorité d'exécution. En d'autres termes, le prononcé d'un internement en lieu et place d'une autre mesure présuppose, outre une infraction énoncée à l'art. 64 al. 1 CP, un risque de récidive hautement vraisemblable (sur cette notion, cf. arrêt 6B_1062/2009 du 3 novembre 2010 consid. 6.3 destiné à publication). Enfin, il ne faut pas perdre de vue que l'internement doit rester une ultima ratio, conformément au principe de proportionnalité (ATF 134 IV 315 consid. 3.2 et 3.3 p. 320 ss; 134 IV 121 consid. 3.4.2 p. 130; arrêt 6B_1062/2009 précité consid. 6.2 destiné à publication; cf. aussi ROTH/THALMANN, op. cit., n. 12 ad art. 62c CP; TRECHSEL/PAUEN BORER, op. cit., n. 9 ad art. 62c CP ).
1.2 1.2.1 En l'espèce, le recourant a été placé en janvier 2007 aux établissements C._ où l'accent a été mis sur une thérapie visant un travail d'introspection censé faire comprendre au patient l'origine de ses actes. Six mois après son arrivée dans cet établissement, les thérapeutes du recourant ont rapporté que la capacité d'introspection de celui-ci et sa motivation à bénéficier d'un traitement étaient limitées, de sorte que le travail psychothérapeutique qui visait son trouble de la personnalité le serait également. Ils doutaient que la possibilité du recourant de s'engager dans un traitement puisse s'améliorer à l'avenir. Dans un rapport du 28 août 2008, ils ont relevé que l'intéressé était superficiellement coopérant et que ses capacités d'introspection étaient minimes, ce qui le rendait incapable de se confronter de manière approfondie aux facteurs déclenchants de ses délits et de comprendre les mécanismes liés à leur commission. Selon leurs observations, les traitements psychothérapeutiques n'avaient pas produit de résultat malgré leur durée. Leur rapport du 9 mars 2009 va dans le même sens. Entendue comme témoin le 18 novembre 2009, la thérapeute du recourant a exposé avoir rencontré celui-ci une à deux fois par semaine, 59 fois au total, pour des entretiens psychothérapeutiques de 45 minutes. Elle considère que le patient est inaccessible au traitement, soit parce qu'il en est incapable soit parce qu'il ne souhaite pas s'y investir.
Dans leur rapport du 29 mai 2009, les experts E._ et F._ ont posé le diagnostic de trouble de la personnalité dyssociale, de déviances sexuelles avec exhibitionnisme, voyeurisme, recours à la violence, abus d'alcool et d'autres substances. Ils ont observé que ces divers troubles se caractérisaient essentiellement par une pulsionnalité pathologique, un manque d'empathie et de reconnaissance des valeurs et interdits ainsi qu'un manque de compréhension de l'être humain en tant que sujet. Ils notent que le recourant, depuis 1977, a suivi dans différents cadres thérapeutiques de nombreux traitements, comprenant notamment un suivi psychiatrique ambulatoire, des psychothérapies et des traitements sociothérapeutiques parfois combinés avec la prise de médicaments. Malgré ces diverses approches, la personnalité de l'intéressé n'a pu être modifiée que de manière minimale. Si la sociothérapie mise en place au centre "B._" lui a permis d'intégrer quelques règles élémentaires de la vie en société, il s'est révélé inaccessible, en raison de la structure de sa personnalité, à la psychothérapie qui serait seule susceptible de diminuer le risque élevé de récidive qui persiste. Vu l'évolution du recourant et sa résistance aux multiples approches psychiatriques et médicales, les experts jugent qu'il n'est pas approprié d'envisager d'autres modalités de traitement. Le Prof. E._ a confirmé ces conclusions en séance du 18 novembre 2009. Il a encore précisé que l'inaccessibilité à la psychothérapie pouvait être constatée après un ou deux ans et qu'elle n'était pas liée aux changements de cadre ou de thérapeute imposés au recourant durant ces dernières années.
Au vu de ces éléments concordants, il apparaît que le recourant est définitivement inaccessible à un traitement et que la mesure thérapeutique institutionnelle est par conséquent vouée à l'échec au sens de l'art. 62c al. 1 let. a CP. Le recourant ne conteste d'ailleurs pas que les rapports de ses thérapeutes et des experts judiciaires E._ et F._ conduisent à cette conclusion. Les juges précédents n'ont donc pas violé le droit fédéral en mettant un terme à la mesure thérapeutique institutionnelle.
1.2.2 Le recourant soutient que l'autorité cantonale disposait d'un pouvoir d'appréciation qui lui permettait de s'écarter des éléments décrits ci-dessus. Il lui reproche d'avoir abusé de ce pouvoir en aboutissant ainsi à un résultat manifestement inéquitable.
L'art. 62c al. 1 let. a CP ne confère pas au juge un pouvoir d'appréciation. En premier lieu, on ne distingue pas dans les termes de la norme - "la mesure est levée" - une réserve du pouvoir d'appréciation du juge. Par ailleurs, on ne se trouve pas non plus dans un cas où le législateur a renoncé à définir les critères à mettre en oeuvre et chargé le tribunal de les définir dans le cas concret à trancher (PAUL-HENRI STEINAUER, Le Titre préliminaire du code civil, II/1, 2009, n. 410, 427 et les exemples cités). La disposition contient le critère qui doit être utilisé ("vouée à l'échec"). Il n'y a donc pas lieu d'examiner si l'autorité cantonale a abusé de son pouvoir d'appréciation mais si elle a correctement interprété et appliqué au cas concret la norme invoquée. Cette question a été résolue au considérant précédent.
1.2.3 Le recourant se réfère à un rapport d'expertise psychiatrique du 6 janvier 2004 en prétendant que les experts consultés à l'époque, tout en posant le même diagnostic que le Prof. E._ et le Dr. F._, auraient recommandé la poursuite d'une psychothérapie. Cet avis serait en contradiction avec l'expertise de 2009 qui conclut qu'un tel traitement est voué à l'échec. Ce grief tombe à faux. Il est exact que, en 2004, les experts s'étaient exprimés en faveur du maintien d'un suivi médical introspectif. Depuis lors, le recourant a bénéficié d'un tel suivi aux Etablissements C._. De l'avis unanime des thérapeutes et des experts qui se sont prononcés après la mise en oeuvre de ce traitement, l'intéressé y est inaccessible. C'est dire que les rapports de 2004 et 2009 ne sont pas contradictoires mais complémentaires.
1.3 Il faut encore examiner si les conditions du prononcé d'un internement au sens de l'art. 62c al. 4 CP en lien avec l'art. 64 CP sont réunies, étant précisé que le recourant ne conteste pas sa dangerosité.
En premier lieu, la mesure a été initialement ordonnée pour une infraction permettant l'internement au sens de l'art. 64 CP, en l'occurrence une tentative de viol (Queloz/Brossard, Commentaire romand, 2009, n. 17 ad art. 64 CP; Trechsel/Pauen Borer, op. cit., n. 7 ad art. 64 CP).
Par ailleurs, les experts ont estimé que le recourant présentait un risque élevé de commettre de nouvelles infractions du même genre que celles qu'il avait déjà perpétrées et impliquant le recours à la violence contre des personnes non consentantes. Ils se sont fondés notamment sur le grand nombre de récidives commises dans le passé, la reconnaissance seulement partielle de la gravité des délits, une compréhension très incomplète des mécanismes qui ont conduit au passage à l'acte, l'absence d'identification des difficultés futures dans un cadre plus ouvert et de projets réalistes, le trouble de la personnalité antisociale qui n'a pu être modifié et une capacité à l'introspection très limitée. Selon les experts, le risque de récidive ne diminuera plus à l'avenir qu'avec l'âge ou par l'impact de l'incarcération . Compte tenu de ces éléments, il est sérieusement à craindre que l'auteur ne commette à nouveau des infractions du même genre que celles qu'il a déjà commises, en particulier des viols. La seconde condition prévue par l'art. 62c al. 4 CP est par conséquent réalisée.
Enfin, le principe de proportionnalité est respecté puisque le recourant est inaccessible à un traitement psychothérapeutique qui seul permettrait de diminuer le risque de récidive élevé (cf. consid. 1.2.1 supra) et qui concerne des infractions susceptibles de porter gravement atteinte à l'intégrité sexuelle, physique et psychique d'éventuelles futures victimes. Or, cette dangerosité ne peut être canalisée par une mesure moins contraignante que l'internement. En raison de cette dangerosité importante, la durée de la mesure est également compatible avec le principe de la proportionnalité.
En définitive, les juges précédents n'ont pas violé l'art. 62c al. 4 CP en transformant la mesure thérapeutique institutionnelle en internement.
2. Le recours doit ainsi être rejeté. Le recourant devra par conséquent supporter les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 18 avril 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Rey-Mermet