Faits:
A. Par jugement du 17 décembre 2010, le Tribunal pénal de l'arrondissement de la Sarine a refusé la levée de la mesure thérapeutique institutionnelle (art. 59 CP) prononcée le 26 septembre 2007 à l'encontre de X._.
B. Par arrêt du 8 mai 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté le recours formé par X._ et confirmé le jugement de première instance.
En résumé, elle a retenu les faits suivants:
B.a Par jugement du 16 avril 2007, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._ à une peine privative de liberté de douze mois ferme et à une amende pour voies de fait, vol, tentative de vol, vol d'importance mineure, tentative de recel, violation de domicile, dommages à la propriété, injure, menaces, violence ou menace contre les autorités et les fonctionnaires, dénonciation calomnieuse, délit et contravention contre la loi fédérale sur les stupéfiants, délit contre la loi fédérale sur les armes et contravention à la loi fédérale sur les transports publics. En outre, un traitement institutionnel a été ordonné en application des art. 56, 57 et 60 CP (traitement des addictions).
Le prononcé de cette mesure se fonde principalement sur l'expertise réalisée par le Dr A._ en date du 11 avril 2006.
Le 26 septembre 2007, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._, pour des infractions de la même nature, à une peine privative de liberté de dix mois ferme et à une amende, peine complémentaire à celle infligée le 16 avril 2007. En outre, il a ordonné un traitement thérapeutique institutionnel en application des art. 56, 57, 59 et 62c al. 6 CP, ce traitement remplaçant celui prononcé le 16 avril 2007. Ce jugement a été confirmé par la Cour d'appel pénal du Tribunal cantonal fribourgeois le 19 juin 2008.
La nouvelle mesure se fonde essentiellement sur les compléments d'expertise effectués par le Dr A._ en date des 13 juin et 17 août 2007.
B.b A la demande de X._, une nouvelle expertise psychiatrique a eu lieu lors de l'examen de la libération conditionnelle. Le Dr B._ a déposé son rapport d'expertise en date du 1er août 2009. Il a posé le diagnostic de troubles de la personnalité sociopathique et de toxicodépendance, actuellement abstinent, mais dans un environnement protégé. Il a noté que le risque de récidive avec usage de toxiques atteignait un niveau proche de la certitude, ce qui augmentait d'autant les risques de nouvelles conduites asociales, y compris la violence. Il a expliqué que les sciences médicales et psychologiques restaient démunies face à ce genre de trouble et qu'une aide psychiatrique n'entrait pas en question même sous la forme de la contrainte. Il a toutefois préconisé une approche socio-thérapeutique, à savoir la mise en place d'exercices pour un retour dans la vie sociale grâce à un entraînement progressif.
Par décision du 3 novembre 2009, le Service fribourgeois de l'application de sanctions pénales et des prisons (ci-après: SASPP) a refusé la libération conditionnelle de X._, en raison du risque élevé de récidive. Le 3 février 2010, la Direction de la sécurité et de la justice du canton de Fribourg a rejeté le recours de X._, estimant que son état actuel ne justifiait pas (encore) de lui donner l'occasion de faire ses preuves en liberté. Statuant sur recours le 29 juin 2010, la Ière Cour administrative du Tribunal cantonal fribourgeois a renvoyé l'affaire au SASPP pour déterminer les possibilités de mise en oeuvre des mesures préconisées par le Dr B._, le traitement médical ordonné s'avérant inefficace.
Le 17 août 2010, le SASPP a rejeté une nouvelle fois la demande de libération conditionnelle de X._ et ordonné la poursuite du traitement institutionnel aux Établissements de la plaine de l'Orbe (ci-après: EPO). Il a suspendu l'exécution des peines privatives de liberté et demandé aux EPO de lui envoyer régulièrement des rapports thérapeutiques. Il a soumis le dossier au Tribunal pénal de l'arrondissement de la Sarine pour examen quant à une éventuelle levée de la mesure thérapeutique institutionnelle ordonnée et à son remplacement par une autre mesure thérapeutique institutionnelle.
Par jugement du 17 décembre 2010, le tribunal précité a refusé la levée de la mesure thérapeutique institutionnelle et maintenu cette mesure en application de l'art. 59 CP. Il a estimé que seule une mesure institutionnelle au sens de l'art. 59 CP était apte à détourner le détenu de commettre de nouvelles infractions et que, vu le risque élevé de récidive, cette mesure devait se poursuivre en milieu fermé. Il a insisté sur le fait que X._ devait pouvoir entamer une formation professionnelle dans les meilleurs délais.
B.c Dans le cadre de l'appel dirigé contre cette dernière décision, la cour d'appel pénal du Tribunal cantonal fribourgeois a ordonné une nouvelle expertise. Le Dr C._ a déposé son rapport le 22 septembre 2011, qu'il a complété le 6 janvier 2012. Il a confirmé qu'aucun traitement spécifique médical ne pouvait être ordonné et que si des mesures devaient être prises, elles devraient être d'ordre socio-éducatif et réalisées dans un dispositif adéquat. Selon lui, le risque de nouvelles infractions serait diminué si un traitement était envisagé dans une institution spécialisée et principalement à vocation socio-éducative. La libération d'un cadre devrait se faire progressivement si l'on ne voulait pas être confronté à un risque de récidive maximal.
C. Contre cet arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à la levée de la mesure thérapeutique institutionnelle ordonnée en 2007 et au renvoi du dossier aux autorités cantonales fribourgeoises d'exécution des peines et des mesures pour mise en place de mesures d'élargissement, sur la base des constats faits par l'expert. En outre, il sollicite l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant s'en prend à l'établissement des faits, qui seraient manifestement inexacts (art. 97 al. 1 LTF). En particulier, il reproche à la cour cantonale de ne pas avoir tenu compte des constatations et des propositions de l'expert, qui aurait envisagé un élargissement de la mesure.
1.1 Le Tribunal fédéral est un juge du droit. Il ne peut revoir les faits établis par l'autorité précédente que si ceux-ci l'ont été de manière manifestement inexacte, c'est-à-dire arbitraire (art. 97 al. 1 LTF; <ref-ruling> consid. 5.1 p. 356). On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (voir par ex: <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560 ; <ref-ruling> consid. 1.3 p. 4/5; <ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153 et les arrêts cités). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat.
1.2 En ce qui concerne d'éventuels allègements d'exécution de la mesure, l'expert a déclaré que " malgré le risque de récidive élevé, on pourrait envisager un allègement d'exécution de la mesure avec un régime plus ouvert sous supervision stricte du service de probation " (rapport du 22.09.2011, p. 13). En page 9 de son arrêt, la cour cantonale n'a pas méconnu l'avis de l'expert, puisqu'elle a admis que les modalités de la mesure devaient être élargies ou affinées, en tenant compte du rapport d'expertise. Savoir si la cour cantonale a violé le droit fédéral en ordonnant un placement en milieu fermé, compte tenu des constatations de l'expert, est une autre question, qui sera examinée au considérant 2.4.
2. Le recourant dénonce une violation de l'art. 62c al. 1 let. a CP. Il explique que, selon l'expert, une mesure thérapeutique institutionnelle est vouée à l'échec. L'autorité d'exécution des peines devrait dès lors envisager une mesure de substitution, à savoir un placement au Foyer Y._, avec un élargissement provisoire et une mise en place de mesures de précaution telles qu'une prise de médicaments, un suivi thérapeutique et un contrôle d'urine.
2.1 Le prononcé d'une mesure thérapeutique institutionnelle selon l'art. 59 CP suppose un grave trouble mental au moment de l'infraction, lequel doit encore exister lors du jugement. Selon la jurisprudence, toute anomalie mentale du point de vue médical ne suffit pas. Seuls certains états psychopathologiques d'une certaine importance et seules certaines formes relativement lourdes de maladies mentales au sens médical peuvent être qualifiés d'anomalies mentales au sens juridique (arrêt 6B_784/2010 du 2 décembre 2010, consid. 2.1). En d'autres termes, il faut que la structure mentale de l'intéressé s'écarte manifestement de la moyenne par rapport aux autres sujets de droit, mais plus encore par rapport aux autres criminels (message du 21 septembre 1998 concernant la modification du code pénal suisse (dispositions générales, entrée en vigueur et application du code pénal), FF 1999 p. 1812).
En outre, comme l'énonce l'art. 59 al. 1er let. b CP, il faut qu' « il [soit] à prévoir que cette mesure détournera [l'auteur] de nouvelles infractions ». La mesure thérapeutique au sens de l'art. 59 CP vise avant tout « un impact thérapeutique dynamique », et donc avec une amélioration du pronostic légal, et non la « simple administration statique et conservatoire » des soins (<ref-ruling> consid. 1.3 p. 204 ; <ref-ruling> consid. 3.6). Il doit être suffisamment vraisemblable que le traitement entraînera, dans les cinq ans de sa durée normale, une réduction nette du risque que l'intéressé commette de nouvelles infractions. La seule possibilité vague d'une diminution du danger ne suffit pas (ATF <ref-ruling> ; arrêt 6B_784/2010 du 2 décembre 2010, consid. 2.1). L'objet du traitement n'est pas obligatoirement la maladie, mais peut avoir pour but la resocialisation du délinquant ou simplement la prise en charge de l'auteur dans un milieu structuré et surveillé, accompagnée d'un suivi psychothérapeutique relativement lointain, s'il a pour effet d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société (MARIANNE HEER, in: Basler Kommentar, Strafrecht I, 2e éd., 2007, n. 64 ad art. 59).
2.2 Selon l'art. 62c al. 1 let. a CP, la mesure thérapeutique institutionnelle doit être levée si son exécution paraît vouée à l'échec. Il en va ainsi lorsque l'auteur n'est pas (ou plus) soignable ou que le traitement n'est plus apte à prévenir la commission de nouvelles infractions (ROTH/THALMANN, in Commentaire romand, Code pénal I, 2009, n. 1 ad art. 62c CP; STRATENWERTH, Schweizerisches Strafrecht, allgemeiner Teil II: Strafen und Massnahmen, 2006, 2e éd., § 9 n. 53; TRECHSEL ET AL., Schweizerisches Strafgesetzbuch, Praxiskommentar, 2008, n. 2-3 ad art. 62c). L'échec de la mesure peut résulter de l'insuffisance de possibilités thérapeutiques, du manque de respect des avis ou recommandations des thérapeutes ou du refus d'un traitement. Le traitement n'est voué à l'échec que s'il est définitivement inopérant; une simple crise de l'intéressé ne suffit pas (MARIANNE HEER, op. cit., n. 18-19 ad art. 62c). De manière générale, la levée d'une mesure en raison de son échec doit être admise de manière restrictive (ROTH/THALMANN, op. cit., n. 2 ad art. 62c CP; MARIANNE HEER, op. cit., n. 18 ad art. 62c CP; ATF 123 IV 113 consid. 4a/dd p. 123 s. et 100 IV 205 consid. 4 p. 208 s. en relation avec le placement en maison d'éducation au travail prévu par l'ancien droit).
Lorsqu'il n'y a pas lieu de s'attendre à une amélioration de l'état de l'auteur, l'autorité compétente doit lever la mesure, en prenant au besoin une ou plusieurs des dispositions prévues à l'art. 62c al. 3 à 6 CP (<ref-ruling> consid. 1.3 p. 204). L'art. 62 c al. 6 CP prévoit la possibilité de prononcer une autre mesure thérapeutique institutionnelle pendant l'exécution si celle-ci paraît mieux à même de prévenir la récidive.
2.3 En règle générale, le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (art. 59 al. 2 CP). L'art. 59 al. 3 CP prévoit que, tant qu'il existe un risque de fuite ou de récidive, le traitement doit être exécuté dans un établissement fermé ; il peut aussi être effectué dans un établissement pénitentiaire au sens de l'art. 76 al. 2 CP, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (art. 59 al. 3 2e phrase CP).
Pour qu'un risque de fuite soit avéré, il faut que l'intéressé ait la ferme et durable intention de s'évader, en ayant recours à la force si nécessaire, et qu'il dispose des facultés intellectuelles, physiques et psychiques nécessaires pour pouvoir établir un plan et le mener à bien. Le fait que l'intéressé puisse tenter de s'enfuir sur un coup de tête et sans aucune préparation préalable ne suffit pas. Il est clair que le risque de fuite devra être lié à la peur que le condamné puisse représenter une menace envers les tiers une fois en liberté. Il s'agit ici de la dangerosité externe du prévenu (arrêts 6B_384/2010 du 15 septembre 2010, consid. 2.1.2 ; 6B_629/2009 du 21 décembre 2009, consid. 1.2.2.2)..
Le risque de récidive doit être concret et hautement probable, c'est-à-dire résulter de l'appréciation d'une série de circonstances. Il vise cette fois la dangerosité interne du prévenu. Au regard du principe de la proportionnalité, le placement dans un établissement fermé ne peut être ordonné que lorsque le comportement ou l'état du condamné représente une grave mise en danger pour la sécurité et l'ordre dans l'établissement. Ce sera, par exemple, le cas d'un condamné qui profère des menaces bien précises ou qui combat sciemment l'ordre de l'établissement ; en revanche, l'art. 59 al. 3 CP ne devrait pas s'appliquer à de simples difficultés de comportement ou à l'insoumission vis-à-vis des employés de l'établissement (arrêts 6B_384/2010 du 15 septembre 2010, consid. 2.1.2 ; 6B_629/2009 du 21 décembre 2009, consid. 1.2.2.2).
2.4 2.4.1 Selon l'expert, le recourant souffre d'un trouble de la personnalité sociopathique d'une " sévérité qui peut être considérée comme marquée " (rapport du 22.9.11., p. 8 et 11). L'expert a ajouté que le risque de récidive était très élevé pour ce genre de trouble (rapport cité p. 12). Il a précisé qu'il n'existait pas de traitement médical, mais qu'un traitement socio-éducatif était propre à diminuer les risques de récidive (rapport cité p. 12). Au vu de l'expertise, la cour cantonale n'a donc pas violé le droit fédéral en ordonnant la poursuite de la mesure institutionnelle sous la forme d'un traitement socio-éducatif, qui constitue un traitement au sens de l'art. 59 CP (cf. consid. 2.1 ci-dessus). Le recourant ne s'oppose du reste pas à un tel traitement, mais conteste que celui-ci doive s'exécuter en milieu fermé. Il convient donc d'examiner si les conditions de l'art. 59 al. 3 CP sont réalisées.
2.4.2 Pour l'expert, seul un cadre très structuré et contraignant pourrait assurer que le recourant ne présente plus de comportement délictuel ou addictif (rapport du 22.09.11, p. 10). Il a ajouté que le recourant était clairement à risque de rechute s'il était exposé à des tentations de consommation (rapport du 22.09.11, p. 9). Invité à préciser dans quel établissement le recourant pourrait être adressé, il a indiqué qu'un placement à Pensier comportait un risque de rupture de cadre important (rapport complémentaire du 06.01.12). Selon lui, la libération d'un cadre devrait se faire progressivement (rapport du 22.09.11, p. 13; rapport du 01.08.09 p. 17). L'expert ne s'oppose pas à un certain élargissement de la mesure, mais reconnaît que le risque de récidive serait élevé dans ce cas (rapport du 22.09.11, p. 13).
Dans un avis du 13 mars 2012, le Service de probation de l'Etat de Fribourg a considéré qu'un allègement d'exécution de la mesure avec un régime plus ouvert sous supervision stricte du Service de probation était prématuré. Il a proposé de placer, en premier lieu, le recourant dans un établissement fermé. Dans un deuxième temps, cet établissement devrait pouvoir offrir une structure semi-ouverte permettant de mettre la personne à l'épreuve, en condition réelle, avant de passer à une étape ultérieure en milieu ouvert avec un suivi du Service de probation. Selon le Service de probation, la Pâquerette, à Puplinges (GE), est la seule institution qui peut, en Suisse romande, offrir ce type de prise en charge en milieu fermé. Cet organisme bénéficie également d'une structure en milieu ouvert (lettre du 13 mars 2012 du Service de probation).
Les différents intervenants (y compris l'expert) considèrent qu'un risque de récidive est important en cas de placement dans un établissement ouvert, dès lors que le recourant ne bénéficiera plus d'un cadre très structuré. En effet, il risque alors de retomber dans la toxicomanie et de commettre de nouvelles infractions de violence, que ce soit dans l'établissement ou à l'extérieur. Pour cette raison, l'expert a préconisé la mise en place d'exercices pour un retour dans la vie sociale grâce à un entraînement progressif. En considérant que le risque de récidive (admis par l'expert) justifiait le placement du recourant en milieu fermé, la cour cantonale n'a donc pas violé le droit fédéral. Au demeurant, suivant les propositions de l'expert, elle a admis que les autorités d'exécution devront adapter et élargir la mesure, comme le préconise l'expert. A cet égard, il convient de rappeler que l'autorité d'exécution (et non nécessairement le juge) est compétente pour ordonner le placement du recourant dans un milieu ouvert (arrêt 6B_629/2009 du 21.12.2009, consid. 1.2.3).
3. Le recourant dénonce la violation du principe de la proportionnalité (art. 56 al. 2 CP). Il se plaint que la durée de la mesure est largement plus du double de la peine privative de liberté qui lui a été infligée.
3.1 L'art. 56 al. 2 CP concrétise l'exigence de la proportionnalité au sens étroit. Même si elle est adéquate et nécessaire, une mesure peut être disproportionnée lorsque l'atteinte qu'elle implique est d'une sévérité exagérée eu égard au but poursuivi (FF 1999 1787 1877). Le tribunal ne peut donc ordonner une mesure que si l'atteinte aux droits de la personnalité qui en résulte pour l'auteur n'est pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité.
La pesée des intérêts doit s'effectuer entre, d'une part, le danger que la mesure veut prévenir et, d'autre part, la gravité de l'atteinte aux droits de la personne concernée. L'importance de l'intérêt public à la prévention d'infractions futures doit se déterminer d'après la vraisemblance que l'auteur commette de nouvelles infractions et la gravité des infractions en question. Plus les infractions que l'auteur pourrait commettre sont graves, plus le risque qui justifie le prononcé d'une mesure peut être faible, et inversement. Quant à l'atteinte aux droits de la personnalité de l'auteur, elle dépend non seulement de la durée de la mesure, mais également des modalités de l'exécution (MICHEL DUPUIS ET AL., CP, Code pénal, 2e éd., 2012, n. 7 ss ad art. 56 CP).
En principe, la mesure dure jusqu'à ce que son but soit atteint ou que sa poursuite paraisse vouée à l'échec, sa durée ne dépendant pas de la culpabilité de l'auteur. Elle peut être reconduite aussi souvent et longtemps que son maintien s'avère nécessaire (cf. art. 59 al. 4 CP). Elle peut durer plus longtemps que la peine privative de liberté prononcée parallèlement. Le code pénal ne contient en effet aucune règle qui limiterait les possibilités d'imposer une mesure en fonction de la durée de la peine privative de liberté prononcée de concert (ROTH/THALMANN, op. cit., n. 30 ad art. 56 CP).
3.2 Le risque de récidive est très élevé selon les experts. Les infractions commises sont des infractions contre le patrimoine, des menaces, voies de fait et atteintes à l'honneur ainsi que des infractions à la LStup. Ces infractions ne sont pas à ce point insignifiantes qu'elles s'opposeraient au principe même d'une mesure. Les experts ont estimé qu'un traitement socio-éducatif était propre à diminuer le risque de récidive. La poursuite de la mesure sous la forme d'un traitement socio-éducatif - ce qu'au fond le recourant ne conteste pas - ne viole dès lors pas le principe de la proportionnalité. Compte tenu de la durée de la privation de liberté subie, il appartiendra toutefois aux autorités d'exécution de placer le recourant le plus rapidement possible en milieu ouvert.
4. Le recourant se plaint de la violation de l'art. 56 al. 5 CP.
4.1 Selon l'art. 56 al. 5 CP, en règle générale, le juge n'ordonne une mesure que si un établissement approprié est à disposition. Cette information sera fournie par l'expert, tenu de s'exprimer sur ce point dans son rapport, ainsi que par les autorités d'exécution. Il appartient toutefois aux autorités d'exécution cantonales, et non au juge, de désigner l'institution appropriée (FF 1999 1787 p. 1879).
4.2 Selon le Service de probation, le seul établissement en Suisse romande qui peut offrir une prise en charge socio-éducative tant en milieu fermé qu'avec structure en milieu ouvert est la Pâquerette, à Puplinges (GE). Or, cet établissement, contrairement à ce que soutient le recourant, est prêt à recevoir le recourant, pour autant qu'il renonce à sa demande de transfèrement au Portugal. Au vu de cette information, la cour cantonale n'a pas violé l'art. 56 al. 5 CP en ordonnant un traitement socio-éducatif en milieu fermé.
5. Le recours doit être rejeté.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 27 septembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
La Greffière: Kistler Vianin