Faits: A. Entre 1978 et 1986, X._ a encouru six condamnations à des peines privatives de liberté et à un placement en maison d'éducation au travail en raison d'infractions contre l'intégrité sexuelle allant de l'exhibitionnisme et de l'attentat à la pudeur des enfants au viol qualifié. B. Par jugement du 26 avril 1989, le Tribunal correctionnel du district de Lausanne a condamné X._, pour tentative de viol, lésions corporelles simples et dommages à la propriété, à deux ans et demi d'emprisonnement, peine suspendue au profit d'un internement au sens de l'art. 43 ch. 1 al. 2 aCP. Dans le cadre de l'exécution de la mesure, le recourant a d'abord été placé aux Etablissements de la Plaine de l'Orbe (EPO). Le 8 mars 1998, il a été transféré en régime de semi-liberté à la Maison A._ à Genève. A la suite de nouveaux actes délictueux à caractère sexuel, il a été réintégré aux EPO le 11 août 1998. Le recourant a poursuivi l'exécution de sa mesure, dès octobre 2001, au centre de sociothérapie "B._", puis dès janvier 2007, aux Etablissements C._, à D._. C. Lors du réexamen des internements imposé par le droit transitoire de la nouvelle partie générale du Code pénal, entrée en vigueur le 1er janvier 2007 (art. 2 al. 2 des Dispositions finales de la modification du 13 décembre 2002), le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné, par jugement du 6 novembre 2007, que X._ soit soumis à une mesure thérapeutique institutionnelle (art. 59 al. 3 CP) en lieu et place d'un internement. D. Dans une évaluation de suivi du 19 septembre 2008, la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après : CIC) a relevé que les possibilités de changement et de maturation de X._ étaient inexistantes. Elle a constaté l'inaccessibilité, plusieurs fois vérifiée, à un travail de psychothérapie individuelle qui serait susceptible d'atténuer la dangerosité de l'intéressé. La CIC a encore observé que les conditions formulées dans l'expertise psychiatrique établie le 6 janvier 2004 sur une prise en charge psychothérapeutique destinée à réduire le risque de récidive, n'étaient pas atteintes. Elle en a conclu que la poursuite de la mesure thérapeutique institutionnelle paraissait vouée à l'échec. Le 14 octobre 2008, l'Office d'exécution des peines (ci-après : OEP) a requis le juge d'application des peines du canton de Vaud de procéder à l'examen annuel de la libération conditionnelle de la mesure en préavisant un refus. Parallèlement, l'OEP a proposé la levée de la mesure thérapeutique institutionnelle au motif qu'elle serait vouée à l'échec, et le prononcé d'un internement. Par jugement du 14 avril 2010, le juge d'application des peines a refusé la libération conditionnelle, levé la mesure thérapeutique institutionnelle et ordonné l'internement de X._. E. Par arrêt du 17 mai 2010, la Cour de cassation pénale a confirmé ce jugement. F. X._ dépose un recours en matière pénale au Tribunal fédéral. Il demande la réforme de l'arrêt attaqué en ce sens que l'internement soit annulé et que la mesure institutionnelle soit maintenue. Des déterminations n'ont pas été requises.