Faits: A. Par jugement du 4 octobre 2011, le Tribunal d'application des peines et des mesures du canton de Genève a ordonné la poursuite de la mesure de traitement institutionnel en milieu fermé prononcée le 26 mai 2009 par la Chambre d'accusation de Genève à l'encontre de X._ en application de l'art. 59 al. 3 CP. B. Par arrêt du 14 mars 2012, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel formé par X._ contre ce jugement. En substance, elle a retenu les faits suivants: Par ordonnance du 26 mai 2009, la Chambre d'accusation de Genève a prononcé un non-lieu à l'encontre de X._ du fait de son irresponsabilité sur le plan pénal et a ordonné qu'il soit soumis à un traitement institutionnel en milieu fermé au sens de l'art. 59 al. 3 CP. Le 24 septembre 2008, refusant de quitter les locaux du parquet du Procureur général, X._ avait dû être évacué de force par deux agents de sécurité. Il les avait menacés en mimant le tir d'une arme à feu, leur avait dit qu'il reviendrait les tuer et avait hurlé à l'un d'eux " fils de pute, connard, va te faire foutre ". Lors de ces événements, il dissimulait dans les poches de ses vêtements, qu'il avait adaptées à cet effet, un pistolet chargé, une cartouche se trouvant dans le canon de l'arme, un magasin de réserve plein et deux couteaux, l'un avec la lame ouverte et l'autre ouvrable à une main. Il a expliqué qu'il conservait ces armes en permanence sur lui, car la police le menaçait de mort. Dans son rapport du 6 mars 2009, établi sous la supervision du Dr A._, médecin psychiatre auprès de B._, l'expert a diagnostiqué que X._ souffrait d'un grave trouble mental sous la forme d'un trouble délirant persistant de type paranoïaque, dont la sévérité était élevée. De ce fait, l'expertisé ne possédait pas, lors des faits reprochés, la faculté d'apprécier le caractère illicite de ses actes et était par conséquent totalement irresponsable. Il existait un risque de commission de nouvelles infractions de même nature, ainsi que de nature différente et plus graves du fait du caractère persécutoire de son délire, sous la forme de possibles actes dangereux pour la société. C. Contre l'arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et à la levée du traitement institutionnel en milieu fermé. En outre, il sollicite l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.