Faits:
A. Par jugement du 24 janvier 2012, le Collège des juges d'application des peines du canton de Vaud a refusé d'accorder à X._ la libération conditionnelle de l'internement ordonné le 11 janvier 1996 par le Tribunal correctionnel du district de Lavaux.
Dans ses considérants, il a déclaré qu'il n'y avait pas lieu de proposer de saisir le Tribunal correctionnel de l'arrondissement de l'Est vaudois en vue d'examiner si les conditions d'un traitement thérapeutique institutionnel étaient réunies. Il demandait à l'Office d'exécution des peines vaudois d'examiner les possibilités pratiques et légales de transfert de X._ dans une autre structure carcérale que celle des Établissements de la plaine de l'Orbe (ci-après : EPO), car l'intéressé refusait toute prise en charge thérapeutique au sein de ces établissements, mais déclarait qu'il accepterait de se soumettre à un traitement dans une autre structure.
B. Par arrêt du 21 février 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a admis partiellement le recours interjeté par X._ et constaté que le Collège des juges d'application des peines avait rendu sa décision avec un retard injustifié. Pour le surplus, elle a confirmé le jugement du 24 janvier 2012.
Cet arrêt retient en substance les faits suivants :
B.a X._, né le 18 février 1946, a été condamné le 11 janvier 1996 par le Tribunal correctionnel du district de Lavaux à une peine de réclusion de quatre ans, sous déduction de la détention préventive, pour lésions corporelles simples intentionnelles, abus de confiance, actes d'ordre sexuel avec des enfants et commis sur une personne incapable de discernement ou de résistance, au printemps 1990 et entre avril 1994 et février 1995. Cette peine a été suspendue au profit d'un internement au sens de l'art. 43 ch. 1 al. 2 aCP.
Dans le cadre du réexamen des internements imposé par l'entrée en vigueur de la nouvelle partie générale du Code pénal le 1er janvier 2007, le Tribunal correctionnel d'arrondissement de l'Est vaudois a ordonné, par jugement du 15 août 2007, la poursuite de l'internement conformément au nouveau droit (<ref-law>). La Cour de cassation pénale du Tribunal cantonal vaudois a confirmé ce jugement le 16 octobre 2007.
B.b Entre le 20 janvier 1965 et le 21 février 1996, X._ a été condamné à dix reprises à des peines allant de deux semaines d'emprisonnement à quatre ans de réclusion, notamment pour attentat à la pudeur des enfants ou débauche contre nature, selon les qualifications de l'ancien droit. En outre, le 31 mars 2008, le procureur du canton de Zoug l'a condamné à une peine de quinze jours-amende pour possession d'images pornographiques comprenant des scènes de violence découvertes sur son ordinateur.
B.c Au cours des diverses procédures, X._ a été soumis à sept expertises, à savoir en 1964, 1968, 1979, 1986, 1994, 2002 et 2009. Une nouvelle expertise a été ordonnée dans la présente procédure au Centre universitaire romand de médecine légale qui a rendu son rapport le 11 avril 2011. L'expert a préconisé le placement de l'expertisé dans une institution fermée, au sein de laquelle il pourrait bénéficier d'une prise en charge psychiatrique associant une psychothérapie, des mesures de réadaptation sociale et, si besoin, un traitement médicamenteux à type d'inhibiteur de la sexualité.
S'agissant de l'accessibilité de X._ à un traitement, il a déclaré ce qui suit :
« La prise en charge de l'expertisé lorsqu'il se trouvait au pénitencier de la Stampa permet de constater, comme cela avait déjà été le cas à propos de la prise en charge réalisée à la prison de Thorberg, que M. X._ n'est pas entièrement inaccessible à une thérapie. Son refus de toute prise en charge auprès du SMPP représente certes une expression particulière de son trouble de la personnalité. Cependant, le maintien du statu quo, conçu comme un bras de fer entre le SMPP et M. X._, n'est pas satisfaisante. En effet, d'une part, cette situation ne permet aucune évolution psychique de l'expertisé et aboutit à son maintien de durée indéterminée en mesure d'internement. D'autre part, cette confrontation indéfinie ne tiendrait pas compte du fait qu'elle est la résultante d'un trouble de la personnalité de l'expertisé et non de sa pleine volonté de ne pas évoluer et de rester indéfiniment en détention. » (expertise 2011, p. 8)
B.d La Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après : CIC) a constaté, dans son avis des 19 et 20 avril 2010, que le comportement de X._ était resté inchangé. Il avait confirmé sa dangerosité et ses capacités de manipulation et d'emprise nécessitant un nouveau transfert d'établissement. La Commission a dès lors préavisé négativement à toute ouverture de son régime de détention.
B.e Dans son rapport du 1er juin 2010, la Direction des EPO a souligné l'emprise néfaste de X._ sur ses codétenus à qui il disait de ne pas faire confiance au Service de médecine et psychiatrie pénitentiaires (ci-après : SMPP), les encourageant à ne pas suivre leur thérapie. Elle a également relevé que l'intéressé n'avait montré aucun signe d'introspection. Estimant qu'il devenait trop dangereux pour ses codétenus, elle a décidé de le transférer au Pénitencier de la Stampa. Elle a émis un préavis négatif quant à l'octroi de la libération conditionnelle.
C. Contre l'arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt attaqué en ce sens que la cause est renvoyée devant le Tribunal correctionnel de l'arrondissement de l'Est vaudois, afin que cette autorité examine si les conditions d'un traitement thérapeutique institutionnel sont réunies ; subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
Le Ministère public vaudois conclut au rejet du recours.

Considérant en droit:
1. Le recours en matière pénale est ouvert en vertu de l'<ref-law>. Le refus de saisir le juge pour qu'il se prononce sur le changement de l'internement en une mesure thérapeutique institutionnelle est une décision finale, dans la mesure où cette décision met fin à la procédure (<ref-law>).
2. Dans un premier moyen, le recourant reproche à la cour cantonale d'avoir établi les faits de manière manifestement inexacte, en retenant que le recourant n'avait entrepris aucune thérapie à ce jour (arrêt attaqué p. 10, consid. b, 3e §).
2.1 Le Tribunal fédéral est un juge du droit. Il ne peut revoir les faits établis par l'autorité précédente que s'ils l'ont été de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 5.1 p. 356). On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (voir par ex: <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560 ; <ref-ruling> consid. 1.3 p. 4/5; <ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153 et les arrêts cités). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat. En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 137 I 58 consid. 4.1.2 ; <ref-ruling> consid. 2.1 p. 9).
2.2 En l'espèce, il ressort de différentes pièces du dossier que le recourant a suivi auprès des Établissements pénitentiaires de Thorberg une thérapie de type comportementaliste (61 séances) du 7 avril 2003 au 12 avril 2005 (cf. notamment arrêt du 16 octobre 2007 de la Cour de cassation pénale vaudoise). De février 2007 à avril 2008, il a été placé au pénitencier de Bostadel, où il a commencé une thérapie individuelle, qui a été interrompue après trois séances par le départ à la retraite du thérapeute et qui n'a pas pu être continuée par son successeur germanophone pour des raisons de langue (cf. expertise 2009). Enfin, entre mars et novembre 2010, il a été placé au Pénitencier de La Stampa, où il a débuté un traitement stabilisateur de l'humeur (Carbamazépine), avec des entretiens réguliers de soutien (cf. lettre du 10 septembre 2010 du médecin Y._ du service psychiatrique de la structure pénitentiaire du Tessin, pièce 13 ; cf. aussi expertise du Dr Z._, pièce 28). Partant, la cour cantonale a versé dans l'arbitraire en retenant que le recourant n'avait suivi aucune thérapie à ce jour.
3. Le recourant demande que le Tribunal correctionnel de l'Est vaudois soit saisi en vue d'examiner si les conditions d'un traitement thérapeutique institutionnel sont réunies. En particulier, il soutient qu'un traitement serait souhaitable pour diminuer le risque de récidive et qu'il est prêt à s'y soumettre.
3.1 Selon l'<ref-law>, l'autorité compétente doit examiner, d'office ou sur demande, au moins une fois par an et pour la première fois après une période de deux ans, si l'auteur peut être libéré conditionnellement de l'internement et, si tel est le cas, quand il peut l'être (let. a). En outre, au moins une fois tous les deux ans et pour la première fois avant le début de l'internement, elle doit examiner si les conditions d'un traitement thérapeutique institutionnel sont réunies (<ref-law>). Si tel est le cas, elle dépose une demande en vue de la transformation de la sanction auprès du juge compétent (<ref-law>). En effet, seul le juge qui a prononcé la peine ou ordonné l'internement est compétent pour prononcer le changement ultérieur de la sanction, car celui-ci constitue une ingérence dans le jugement exécutoire.
Pour statuer sur la libération conditionnelle ou en vue du changement de sanction, l'autorité compétente s'entoure d'informations provenant de diverses sources : un rapport de la direction de l'établissement ; une expertise indépendante au sens de l'<ref-law> ; l'audition d'une commission au sens de l'<ref-law>, composée de représentants des autorités de poursuite pénale, des autorités d'exécution et des milieux de la psychiatrie, ainsi que l'audition de l'auteur (<ref-law>) .
L'expertise doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions, la nature de celles-ci et les possibilités de faire exécuter la mesure (<ref-law>). Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité ; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise (<ref-ruling> consid. 4.2.3 p. 391 ; <ref-ruling> consid. 4 p. 57 ; <ref-ruling> consid. 2 p. 86).
L'expertise doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions, la nature de celles-ci et les possibilités de faire exécuter la mesure (<ref-law>). Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité ; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise (<ref-ruling> consid. 4.2.3 p. 391 ; <ref-ruling> consid. 4 p. 57 ; <ref-ruling> consid. 2 p. 86).
3.2 3.2.1 Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement thérapeutique institutionnel selon l'<ref-law>, lorsque l'auteur a commis un crime ou un délit en relation avec ce trouble (let. a) et qu'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (let. b).
Outre l'existence d'un grave trouble mental en relation avec l'infraction commise, il faut examiner l'adéquation de la mesure. Comme l'énonce l'<ref-law>, il faut qu' « il [soit] à prévoir que cette mesure détournera [l'auteur] de nouvelles infractions ». Contrairement au traitement psychiatrique ordonné dans le cadre d'une mesure d'internement (art. 64 al. 4 in fine CP), la mesure thérapeutique au sens de l'<ref-law> vise avant tout « un impact thérapeutique dynamique », et donc avec une amélioration du pronostic légal, et non la « simple administration statique et conservatoire » des soins (<ref-ruling> consid. 1.3 p. 204 ; <ref-ruling> consid. 3.6). Selon la jurisprudence, il doit être suffisamment vraisemblable que le traitement entraînera, dans les cinq ans de sa durée normale, une réduction nette du risque que l'intéressé commette de nouvelles infractions. La seule possibilité vague d'une diminution du danger ne suffit pas (ATF <ref-ruling> ; arrêt 6B_784/2010 du 2 décembre 2010, consid. 2.1). Pour que la mesure puisse atteindre son but, il faut que l'auteur contribue un minimum au traitement. Il ne faut toutefois pas poser des exigences trop élevées à la disposition minimale de l'intéressé à coopérer à la mesure (cf. <ref-ruling> consid. 4c/dd concernant le placement en maison d'éducation au travail selon l'<ref-law> ; HEER, Strafrecht I, Basler Kommentar, 2007, 2e éd., n. 78 ad <ref-law>). Il suffit que l'intéressé puisse être motivé (« motivierbar » ; arrêt 6B_784/2010 du 2 décembre 2010, consid. 2.2.3).
3.2.2 En règle générale, le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (<ref-law>). L'<ref-law> prévoit que, tant qu'il existe un risque de fuite ou de récidive, le traitement doit être exécuté dans un établissement fermé ; il peut aussi être effectué dans un établissement pénitentiaire au sens de l'<ref-law>, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (art. 59 al. 3 2e phrase CP).
Pour qu'un risque de fuite soit avéré, il faut que l'intéressé ait la ferme et durable intention de s'évader, en ayant recours à la force si nécessaire, et qu'il dispose des facultés intellectuelles, physiques et psychiques nécessaires pour pouvoir établir un plan et le mener à bien. Le fait que l'intéressé puisse tenter de s'enfuir sur un coup de tête et sans aucune préparation préalable ne suffit pas. Il est clair que le risque de fuite devra être lié à la peur que le condamné puisse représenter une menace envers les tiers une fois en liberté. Il s'agit ici de la dangerosité externe du prévenu (arrêts 6B_384/2010 du 15 septembre 2010, consid. 2.1.2 ; 6B_629/2009 du 21 décembre 2009, consid. 1.2.2.2).
Le risque de récidive doit être concret et hautement probable, c'est-à-dire résulter de l'appréciation d'une série de circonstances. Il vise cette fois la dangerosité interne du prévenu. Au regard du principe de la proportionnalité, le placement dans un établissement fermé ne peut être ordonné que lorsque le comportement ou l'état du condamné représente une grave mise en danger pour la sécurité et l'ordre dans l'établissement. Ce sera, par exemple, le cas d'un condamné qui profère des menaces bien précises ou qui combat sciemment l'ordre de l'établissement ; en revanche, l'<ref-law> ne devrait pas s'appliquer à de simples difficultés de comportement ou à l'insoumission vis-à-vis des employés de l'établissement (arrêts 6B_384/2010 du 15 septembre 2010, consid. 2.1.2 ; 6B_629/2009 du 21 décembre 2009, consid. 1.2.2.2).
3.2.3 Face à un auteur dangereux souffrant d'un grave trouble mental, il convient d'examiner si une mesure au sens de l'<ref-law> paraît judicieuse pour le détourner de nouvelles infractions. Une mesure thérapeutique institutionnelle peut aussi contribuer à garantir la sécurité publique de la même façon que l'internement, dans la mesure où elle peut être exécutée dans un établissement fermé ou dans un établissement pénitentiaire (<ref-law> ; ATF <ref-ruling> consid. 3.2). Ainsi, même si l'auteur est dangereux au sens de l'<ref-law>, le juge doit ordonner une mesure thérapeutique institutionnelle au sens de l'<ref-law> si cette mesure promet un certain succès. Ce n'est que lorsqu'il apparaît qu'un traitement selon l'<ref-law> n'apportera pas le succès escompté que l'internement devra être ordonné (ATF <ref-ruling> consid. 3.5). Le fait que, s'il est interné, l'auteur sera soumis, si besoin est, à une prise en charge psychiatrique (<ref-law>) ne constitue pas un argument contre le prononcé d'une mesure thérapeutique institutionnelle, car le traitement psychiatrique prévu à l'<ref-law> se distingue du traitement thérapeutique au sens de l'<ref-law> (cf. ci-dessus consid. 3.2.1 ; ATF <ref-ruling> consid. 3.6).
3.2.4 L'<ref-law> prévoit que la mesure thérapeutique institutionnelle ne peut, en règle générale, excéder cinq ans. Cependant, si les conditions d'une libération conditionnelle ne sont pas réunies après cinq ans et qu'il est à prévoir que le maintien de la mesure détournera l'auteur de nouveaux crimes ou de nouveaux délits en relation avec son trouble mental, le juge peut ordonner la prolongation de la mesure de cinq ans au plus à chaque fois. La mesure peut ainsi être reconduite aussi souvent et aussi longtemps que son maintien s'avère nécessaire, approprié et proportionnel (<ref-ruling> consid. 1.4 p. 204 ; <ref-ruling> consid. 2.1 p. 141). Dans ce cadre, elle ne connaît pas de limite maximale. Cette prolongation est indiquée lors de traitement selon l'art. 59 al. 3. Cette possibilité existe parce que les mesures thérapeutiques appliquées à des malades mentaux chroniques n'agissent souvent que très lentement (<ref-ruling> consid. 1.4 p. 205 ; <ref-ruling> consid. 3.4.1 p. 321 s.).
3.2.5 Conformément à l'<ref-law>, une mesure dont les conditions ne sont plus remplies doit être levée. Comme son prononcé suppose qu'elle soit propre à détourner l'auteur de la commission de nouvelles infractions en relation avec son grave trouble mental (cf. <ref-law>), une mesure thérapeutique institutionnelle ne peut être maintenue que si elle conserve une chance de succès (cf. art. 62 c al. 1 let. a CP). Lorsqu'il n'y a plus lieu de s'attendre à une amélioration de l'état de l'auteur, l'autorité compétente doit lever la mesure, en prenant au besoin une ou plusieurs des dispositions prévues à l'art. 62c al. 3 à 6 CP (<ref-ruling> consid. 1.3 p. 204). Afin d'assurer la sécurité de la collectivité après la levée de la mesure, l'<ref-law> permet au juge de prononcer l'internement, à la double condition que la mesure de base ait été prononcée en raison d'une infraction prévue à l'<ref-law> et qu'il soit sérieusement à craindre que l'auteur ne commette une autre infraction mentionnée par cette dernière disposition.
3.2.5 Conformément à l'<ref-law>, une mesure dont les conditions ne sont plus remplies doit être levée. Comme son prononcé suppose qu'elle soit propre à détourner l'auteur de la commission de nouvelles infractions en relation avec son grave trouble mental (cf. <ref-law>), une mesure thérapeutique institutionnelle ne peut être maintenue que si elle conserve une chance de succès (cf. art. 62 c al. 1 let. a CP). Lorsqu'il n'y a plus lieu de s'attendre à une amélioration de l'état de l'auteur, l'autorité compétente doit lever la mesure, en prenant au besoin une ou plusieurs des dispositions prévues à l'art. 62c al. 3 à 6 CP (<ref-ruling> consid. 1.3 p. 204). Afin d'assurer la sécurité de la collectivité après la levée de la mesure, l'<ref-law> permet au juge de prononcer l'internement, à la double condition que la mesure de base ait été prononcée en raison d'une infraction prévue à l'<ref-law> et qu'il soit sérieusement à craindre que l'auteur ne commette une autre infraction mentionnée par cette dernière disposition.
3.3 3.3.1 L'expert a mis en évidence un trouble de la préférence sexuelle à type de pédophilie et un trouble grave de la personnalité de type mixte. Il a considéré que l'intéressé était susceptible de commettre de nouveaux actes du même genre que ceux pour lesquels il a été jugé. Il a qualifié ce risque de moyen à élevé.
S'agissant de l'opportunité du prononcé d'une mesure, il a estimé que le recourant pouvait accéder à une meilleure gestion de ses troubles en cas de prise en charge psychothérapeutique et socio-éducative, ce qui serait susceptible de diminuer le risque de récidive. Il a relevé que le recourant n'était pas entièrement inaccessible à un traitement puisqu'il avait accepté une prise en charge au pénitencier La Stampa et à la prison de Thorberg et que son opposition au SMPP était donc spécifique. Selon lui, le rejet du SMPP, compétent en matière de prise en charge thérapeutique, est l'expression de la maladie dont souffre le recourant, et ne dépend pas de sa pleine volonté.
En conclusion, l'expert a préconisé le placement du recourant dans une institution fermée, au sein de laquelle il pourrait bénéficier d'une prise en charge médico-psychiatrique associant une psychothérapie, des mesures de réadaptation sociale et, si besoin, un traitement médicamenteux à type d'inhibiteur de la sexualité.
3.3.2 S'écartant des conclusions de l'expertise, la cour cantonale a refusé de renvoyer la cause au tribunal pour examiner si les conditions d'un traitement thérapeutique institutionnel étaient réalisées. Elle a considéré que le recourant n'était pas accessible à la mesure, dès lors qu'il n'avait pas entrepris de thérapie jusqu'à ce jour et qu'il refusait toute relation avec le SMPP.
Le premier motif invoqué (absence de thérapie) est faux. En effet, il ressort du dossier que le recourant a suivi un traitement au pénitencier de Thorberg et de la Stampa et accepté de débuter un traitement à la prison de Bostadel (cf. consid. 2.2).
Le second motif avancé (refus de toute relation avec le SMPP) n'est pas non plus pertinent. En effet, le fait que le recourant refuse tout contact avec le SMPP ne permet pas de conclure à une inaccessibilité générale à toute mesure. L'expert a ainsi constaté que le recourant n'était pas inaccessible à un traitement et a invité les autorités d'exécution à chercher une solution pratique et légale afin de débloquer la situation. La cour cantonale admet du reste aussi dans sa conclusion, de manière quelque peu contradictoire, que le recourant " n'est pas a priori inaccessible à un traitement " (arrêt attaqué p. 11).
La cour cantonale s'est donc écartée de l'avis de l'expert sur la base de motifs non pertinents, sans établir que cet avis ne serait pas crédible ou reposerait sur des éléments erronés. En procédant de la sorte, elle est tombée dans l'arbitraire (cf. consid. 3.1).
3.4 Enfin, le recourant sollicite le droit de choisir son thérapeute, avec lequel il pourra établir une relation de confiance indispensable. Cette question est toutefois prématurée à ce jour. En effet, ce n'est que lorsqu'une mesure thérapeutique institutionnelle est ordonnée qu'il appartient aux autorités d'exécution de la mettre en oeuvre, en choisissant un établissement et un thérapeute adéquats.
4. Au vu de ce qui précède, le recours doit être admis. Il convient donc d'annuler l'arrêt attaqué et de renvoyer la cause à la cour cantonale pour nouveau jugement.
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud.
Conformément à l'<ref-law>, le Ministère public n'est pas condamné aux frais.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouveau jugement.
2. Il n'est pas perçu de frais judiciaires.
3. Le canton de Vaud versera au recourant la somme de 3'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 27 juillet 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Kistler Vianin