Faits:
A. Le 18 mai 2011, A._ a été interpellé suite à un incendie ayant détruit la chambre qu'il occupait dans un foyer à Genève. Il a admis avoir provoqué cet incendie la veille en brûlant des papiers personnels et avoir quitté les lieux sans donner l'alerte, expliquant en substance qu'il avait agi sous le coup d'une pulsion. Par ordonnance du 19 mai 2011, le Tribunal des mesures de contrainte du canton de Genève (ci-après: le Tmc) a ordonné sa détention provisoire pour une durée de trois mois, en raison d'un risque concret de réitération. Cette détention a été prolongée par la suite.
Dans un rapport du 7 septembre 2011, l'expert-psychiatre mandaté par le Ministère public du canton de Genève (ci-après: le Ministère public) a estimé que le risque de récidive présenté par A._ pouvait être limité par un traitement psychiatrique, qui "devrait avoir lieu en milieu institutionnel ouvert". Il préconisait à titre transitoire un placement dans l'hôpital psychiatrique de Belle-Idée, solution préférable selon lui à un maintien en détention provisoire.
B. Par ordonnance du 17 octobre 2011, le Tmc a rejeté une requête de A._ tendant à sa mise en liberté assortie d'une hospitalisation à la clinique de Belle-Idée. Par arrêt du 4 novembre 2011, la Chambre pénale de recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a confirmé ce refus, considérant en substance qu'une assignation à résidence à la clinique de Belle-Idée assortie d'une obligation de suivre un traitement médical ne pouvaient pas tenir lieu de mesures de substitution au sens de l'<ref-law>. Statuant sur recours de A._, le Tribunal fédéral a annulé cet arrêt et renvoyé la cause au Tmc pour qu'il prenne les dispositions utiles afin d'ordonner la mise en liberté provisoire du recourant assortie d'un placement en institution ouverte - précédé le cas échéant d'un placement à la clinique de Belle-Idée ou dans une institution offrant des conditions similaires - et de l'obligation de poursuivre le traitement psychiatrique suivi actuellement (arrêt 1B_654/2011 du 7 décembre 2011).
Donnant suite à cet arrêt, les autorités cantonales ont pris les mesures nécessaires pour que le prévenu soit mis en liberté et admis à la clinique de Belle-Idée. Par ordonnance du 16 décembre 2011, le Tmc a ainsi ordonné la mise en liberté de l'intéressé moyennant la mise en oeuvre des mesures précitées. Le transfert vers la clinique de Belle-Idée a eu lieu le 9 janvier 2012. A._ a fugué le lendemain matin. Il a été retrouvé dans la journée et placé à l'Unité carcérale psychiatrique de la clinique, en raison d'un état de décompensation. Par ordonnance du 11 janvier 2012, le Tmc a révoqué les mesures de substitution et ordonné la mise en détention provisoire de A._ jusqu'au 11 avril 2012. Faisant application de l'<ref-law>, cette autorité a constaté que le prévenu avait clairement transgressé les mesures de substitution ordonnées le 16 décembre 2011 et qu'aucune autre mesure de substitution ne permettait de pallier le risque de réitération. Statuant sur recours de l'intéressé, la Cour de justice a confirmé cette appréciation par arrêt du 31 janvier 2012.
C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et de renvoyer la cause au Tmc pour qu'il ordonne sa mise en liberté provisoire moyennant un placement à la clinique de Belle-Idée ou dans une institution offrant des conditions similaires, assorti d'une obligation de poursuivre un traitement psychiatrique jusqu'à son placement dans une institution ouverte adaptée à son état psychique. Il requiert en outre l'octroi de l'assistance judiciaire. La Cour de justice a renoncé à se déterminer. Le Ministère public a présenté des observations, concluant au rejet du recours. Le recourant a renoncé à formuler des observations complémentaires.

Considérant en droit:
1. Selon l'<ref-law>, le recours en matière pénale est ouvert contre les décisions rendues en matière pénale, dont font partie les décisions rendues en matière de détention provisoire ou pour des motifs de sûreté au sens des <ref-law> (<ref-ruling> consid. 1 p. 23). L'accusé a qualité pour agir en vertu de l'art. 81 al. 1 let. a et let. b ch. 1 LTF. Pour le surplus, le recours est formé en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>.
2. Dans un premier grief, le recourant se plaint d'une appréciation arbitraire des preuves. Il se fonde sur un extrait de l'arrêt attaqué, dans lequel la Cour de justice relève qu'il y a lieu de déterminer le risque d'une nouvelle décompensation "si un transfert du recourant à la clinique de Belle-Idée était à nouveau tenté". Il en déduit que la cour cantonale a retenu arbitrairement qu'il avait été transféré à la prison de Champ-Dollon après sa fugue du 10 janvier 2012. Le recourant ne saurait cependant être suivi sur ce point. En effet, l'arrêt attaqué ne retient pas qu'un tel transfert ait eu lieu, l'état de fait mentionnant au contraire que le recourant a été placé dans l'Unité carcérale psychiatrique de la clinique de Belle-Idée. Il est donc manifeste qu'en mentionnant l'hypothèse d'un nouveau transfert à la clinique de Belle-Idée, la cour cantonale évoquait une éventuelle mise en liberté moyennant la reprise des mesures de substitution révoquées. Le fait que le recourant se trouve en détention dans l'Unité carcérale psychiatrique du même établissement ne change rien à cet égard. On ne voit donc pas en quoi l'arrêt attaqué reposerait sur une appréciation arbitraire des preuves, de sorte que ce grief doit être rejeté.
3. Pour le surplus, les conditions de la détention énumérées à l'<ref-law> ne sont pas litigieuses, l'existence d'un risque de récidive n'étant pas contestée. Le recourant s'en prend uniquement à la proportionnalité de la détention provisoire, en contestant le bien-fondé de la révocation des mesures de substitution.
3.1 Conformément au principe de la proportionnalité (art. 36 al. 3 Cst.), il convient d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention (règle de la nécessité). Cette exigence est concrétisée par l'<ref-law>, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention provisoire ou de la détention pour des motifs de sûreté si ces mesures permettent d'atteindre le même but que la détention. Conformément à l'<ref-law>, le tribunal peut en tout temps révoquer les mesures de substitution, en ordonner d'autres ou prononcer la détention provisoire ou la détention pour des motifs de sûreté si des faits nouveaux l'exigent ou si le prévenu ne respecte pas les obligations qui lui ont été imposées.
3.2 Confirmant l'appréciation du Tmc, la Cour de justice a estimé que les mesures de substitution ordonnées le 16 décembre 2011 devaient être révoquées en application de l'<ref-law>, dès lors que le prévenu s'était soustrait à la principale mesure visant à pallier le risque de réitération. Compte tenu de ce risque, la mise en détention du prévenu était une mesure proportionnée et adéquate.
Le recourant ne remet pas en cause cette appréciation de manière convaincante. Il se fonde en premier lieu sur l'arrêt 1B_654/2011 du 7 décembre 2011, qui relevait que les mesures de substitution en cause pouvaient être mises en oeuvre dans un milieu institutionnel ouvert, comme le préconisait l'expert-psychiatre. Or, le recourant perd précisément de vue que sa fugue du 10 janvier 2012 ne permet plus de suivre l'avis émis par cet expert. Celui-ci avait en effet estimé qu'un encadrement par une institution ouverte pouvait être envisagé dès lors qu'il était "peu à craindre que l'expertisé tente de se dérober à cet encadrement", ce qui a été clairement contredit par les événements du 10 janvier 2012. On ne saurait donc se fonder sur cet avis pour ordonner un nouveau placement en institution ouverte et c'est à juste titre que le Ministère public a requis un complément d'expertise prenant en compte la fugue en question.
Dans ces conditions, on ne voit pas sur quelle base un placement en milieu ouvert pourrait être ordonné actuellement. Les considérations du recourant sur les "outils juridiques" à disposition du corps médical pour prévenir une nouvelle fugue n'emportent pas la conviction, le risque présenté par l'intéressé étant trop élevé pour s'en remettre au personnel soignant, qui n'a au demeurant pas vocation à accomplir des tâches d'agents de détention. En l'état, les mesures de substitution ordonnées le 16 décembre 2011 n'apparaissent donc plus de nature à pallier le risque de récidive, si bien que leur révocation pouvait être ordonnée en application de l'<ref-law>. Pour le surplus, faute de mesure susceptible d'atteindre les mêmes buts que la détention provisoire, le maintien du recourant en détention apparaît conforme au principe de la proportionnalité, l'Unité carcérale psychiatrique de la clinique de Belle-Idée apparaissant au demeurant plus adaptée à sa pathologie que la prison de Champ-Dollon.
4. Il s'ensuit que le recours doit être rejeté. Dès lors que le recourant est dans le besoin et que ses conclusions n'étaient pas d'emblée vouées à l'échec, l'assistance judiciaire doit lui être accordée (<ref-law>). Il y a lieu de désigner Me Jacques Emery en qualité d'avocat d'office et de fixer ses honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Le recourant est en outre dispensé des frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est admise. Me Jacques Emery est désigné comme défenseur d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 1'500 francs.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué au mandataire du recourant, au Ministère public et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 5 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Rittener