Faits:
A. X._ a été condamné le 14 mai 2009 par l'ancien Tribunal d'arrondissement II Bienne-Nidau à une peine privative de liberté globale de trois ans et demi pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, pornographie et injures. Il a commencé à subir cette peine le 28 janvier 2009 en exécution anticipée.
Le 22 août 2009, il s'est enfui des Etablissements de St-Jean, où il était détenu, et a commis de nouvelles infractions graves, à savoir des actes d'ordre sexuel avec une enfant. Arrêté le 23 août 2009 aux Etablissements de St-Jean, où il était revenu le jour même de sa fuite, il a été placé en détention provisoire le 25 août 2009. Le 7 avril 2010, le juge d'instruction compétent à l'époque a autorisé l'exécution anticipée de la peine. Cette décision n'a cependant jamais pu être appliquée, étant donné notamment que les Etablissements de Thorberg ont exprimé des doutes en raison de leur offre de thérapie de groupe proposée uniquement en allemand et du fait que l'attente était de douze mois pour les Établissements de la plaine de l'Orbe. Le 9 décembre 2010, l'ancien Tribunal d'arrondissement judiciaire I Courtelary-Moutier-La Neuveville a condamné X._ à une peine privative de liberté de douze mois pour les actes commis le 22 août 2009, sous déduction de 360 jours sur les 474 jours de détention provisoire (à savoir du 23 août 2009 au 9 décembre 2010). L'exécution de la peine a été reportée au profit d'une mesure thérapeutique institutionnelle dans un établissement fermé. Le Ministère public et le condamné ont interjeté un appel contre ce jugement.
B. B.a Par décision du 5 janvier 2011, la Section de l'application des peines et mesures du canton de Berne (ci-après: SAPEM) a placé X._ aux EPO pour qu'il continue à y subir la peine privative de liberté prononcée par le jugement du 14 mai 2009. Elle a qualifié l'intéressé de dangereux pour la collectivité et susceptible de fuite, et souligné que l'exécution de cette peine privative de liberté prendrait fin le 30 mai 2013, étant donné qu'elle avait été interrompue du 23 août 2009 au 5 janvier 2011 (détention préventive). Le 7 mars 2011, elle a rendu une nouvelle décision remplaçant celle du 5 janvier 2011 et fixant la date de fin d'exécution de peine au 3 mai 2013, au motif que l'exécution de la peine avait été interrompue du 23 août 2009 au 9 décembre 2010 (date du dernier jugement prononcé à l'encontre de X._). X._ a recouru contre cette décision auprès de la Direction de la police et des affaires militaires du canton de Berne (ci-après: POM), concluant à l'octroi de l'assistance judiciaire et à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité intimée pour qu'elle statue à nouveau sur la question de la dangerosité et sur la date de la fin de l'exécution de la peine. Par décision du 3 août 2011, la POM a rejeté le recours ainsi que la requête d'assistance judiciaire.
B.b Le 5 septembre 2011, X._ a déposé un recours à la Cour suprême du canton de Berne contre cette dernière décision. Par ordonnance du 5 octobre 2011, la procédure a été suspendue jusqu'à droit connu dans la procédure d'appel contre le jugement du 9 décembre 2010, au motif que la question de l'imputation de la détention préventive sur la peine privative de liberté susceptible d'être infligée au prévenu sera examinée dans la procédure d'appel. Par décision du 12 octobre 2011, la 2e Chambre pénale de la Cour suprême du canton de Berne a condamné X._ à une peine privative de liberté de douze mois, en précisant que la détention préventive de 227 jours devait être imputée sur la peine prononcée. Cette décision a fait l'objet d'un recours au Tribunal fédéral, puis d'une nouvelle décision de la 2e Chambre pénale le 11 octobre 2012. Celle-ci a supprimé la mesure thérapeutique institutionnelle dans un établissement fermé; la peine privative de liberté de 12 mois et l'imputation de la détention préventive n'ont pas été modifiées. Au vu de cette nouvelle décision pénale, le SAPEM a fixé le 23 octobre 2012 la fin de l'exécution des peines privatives de liberté de X._ au 15 janvier 2013, décision qui n'est pas contestée.
B.c Par décision du 22 janvier 2013, la 2e Chambre pénale de la Cour suprême du canton de Berne a rejeté le recours du 5 septembre 2011 sur le fond. Elle a également rejeté le recours sur la question de la requête d'assistance judiciaire, ainsi que la demande d'assistance judiciaire gratuite pour la procédure de recours menée devant elle.
C. Contre cette dernière décision, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'annulation de la décision attaquée et à la mise à la charge de l'Etat de Berne des frais de défense par 7'841 fr. 90 et des frais judiciaires pour les deux procédures de recours cantonales; à titre subsidiaire, il conclut à l'annulation de la décision attaquée et au renvoi de la cause à la cour cantonale pour nouveau jugement sur le sort des frais et dépens des procédures de recours cantonales. En outre, il sollicite l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écriture.

Considérant en droit:
1. Le recours en matière pénale est ouvert contre les décisions sur l'exécution de peines et mesures (<ref-law>).
2. Le recourant conclut à ce que les frais de défense et les frais judiciaires pour les deux procédures de recours cantonales (à savoir devant la POM et devant la Cour suprême du canton de Berne) soient mis à la charge de l'Etat de Berne. A l'appui de ces conclusions, il soutient avoir eu gain de cause et conteste avoir succombé.
2.1 Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (<ref-law>). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit; il n'est pas indispensable qu'il indique expressément les dispositions légales - le numéro des articles de loi - ou qu'il désigne expressément les principes non écrits de droit qui auraient été violés; il suffit qu'à la lecture de son exposé, on comprenne clairement quelles règles de droit auraient été, selon lui, transgressées par l'autorité cantonale (cf. notamment arrêt 2C_612/2007 du 7 avril 2008 consid. 2.1).
Toutefois, si le recourant se plaint de la violation de droits fondamentaux ou de dispositions de droit cantonal ou intercantonal, il doit satisfaire au principe d'allégation: il doit indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. Le Tribunal fédéral n'examine en effet de tels griefs que s'ils ont été invoqués et motivés (<ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée. Ainsi, si le recourant se plaint d'arbitraire (art. 9 Cst.), il ne peut se contenter de critiquer la décision attaquée comme il le ferait en instance d'appel, où la juridiction supérieure jouit d'une libre cognition; en particulier, il ne saurait se limiter à opposer son opinion à celle de l'autorité cantonale, mais il doit démontrer par une argumentation précise que cette décision se fonde sur une application de la loi ou une appréciation des preuves manifestement insoutenables (arrêt 5A_129/2007 du 28 juin 2007 consid. 1.4).
2.2 En principe, la réglementation sur les frais et dépens en matière administrative relève du droit cantonal. Or, la violation du droit cantonal ne constitue pas un motif de recours en tant que tel. Le recourant pouvait uniquement se plaindre de l'application arbitraire de la réglementation cantonale (<ref-ruling> consid. 2.3; <ref-ruling> consid. 1.2.1) et, conformément à l'<ref-law>, le grief devait être invoqué et motivé de façon précise. En l'espèce, le recourant ne mentionne pas les dispositions cantonales applicables et n'expliquent pas en quoi celles-ci auraient été arbitrairement appliquées. Il se borne à reprendre les différentes décisions et actes de procédure, en affirmant qu'il était légitime de recourir contre la décision du 3 août 2011 de la POM et qu'il a même obtenu gain de cause. De la sorte, il ne satisfait pas aux exigences de motivation posées à l'<ref-law>, de sorte que le recours est irrecevable.
En tout état de cause, il convient de relever que, contrairement à ce que le recourant soutient, il n'a pas obtenu gain de cause. La cour cantonale a rejeté son recours. Elle a expliqué que les questions de la fin de l'exécution de la peine et de la qualification du recourant de personne dangereuse en tant que détenu - que le recourant avait soulevées dans son mémoire de recours - étaient devenues sans objet. Appelée néanmoins à examiner ces questions sous l'angle de l'assistance judiciaire, elle a exposé que la fin de l'exécution des peines privatives de liberté ne dépendait pas de la question de savoir si le recourant s'était retrouvé dès le 7 avril 2010 en exécution anticipée de peine (comme l'avait ordonné le juge d'instruction) ou en exécution de détention de sa peine antérieure (comme le recourant le soutenait), dès lors qu'un jour de privation de liberté est toujours pris en considération et déduit au final, que cela soit au titre de détention provisoire, d'exécution anticipée de peine ou d'exécution de peine antérieure. La question de la fin de la peine dépendait de l'issue de la procédure d'appel et ce n'est qu'avec le jugement du 11 octobre 2012 qui fixait définitivement la peine infligée au recourant pour les faits survenus le 22 août 2009 que le SAPEM a pu calculer la fin de l'exécution des peines. Le recours formé par le recourant sur ce point était donc inutile, car il lui suffisait d'attendre que la procédure au fond soit menée à terme pour être fixé sur la fin de sa détention. Quant à la question de la qualification du recourant comme personne dangereuse, le recours était aussi dénué de chance de succès, étant donné que cette constatation n'avait pas de caractère décisionnel et qu'au demeurant, elle n'était pas critiquable vu les multiples récidives.
3. Le recours est irrecevable.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, Section pénale, 2ème Chambre pénale.
Lausanne, le 18 avril 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Kistler Vianin