Faits:
A. Le 18 mai 2011, A._ a été interpellé suite à un incendie ayant détruit la chambre qu'il occupait dans un foyer à Genève. Il a admis avoir provoqué cet incendie la veille en brûlant des papiers personnels et avoir quitté les lieux sans donner l'alerte, expliquant en substance qu'il avait agi sous le coup d'une pulsion. Par ordonnance du 19 mai 2011, le Tribunal des mesures de contrainte du canton de Genève (ci-après: le Tmc) a ordonné la détention provisoire de A._ pour une durée de trois mois, en raison d'un risque concret de réitération. Le 9 août 2011, le Tmc a prolongé cette détention jusqu'au 7 octobre 2011. Le recours formé contre cette ordonnance a été rejeté.
Le Ministère public du canton de Genève (ci-après: le Ministère public) a ordonné une expertise psychiatrique de A._. Dans son rapport rendu le 7 septembre 2011, l'expert mandaté conclut à l'existence, au moment des faits, d'un "grave trouble mental sous forme d'un trouble psychotique aigu, ainsi qu'un retard mental léger et un trouble grave de la personnalité". Il estime que l'expertisé présente un risque de commettre à nouveau des infractions, "surtout en cas d'interruption du traitement psychiatrique". Un tel traitement, qui "devrait avoir lieu en milieu institutionnel ouvert", est susceptible de limiter ce risque de récidive. Entendu le 4 octobre 2011, l'expert a déclaré avoir des doutes sur l'assiduité de l'expertisé à suivre le traitement hors d'une institution. Il préconise en outre à titre transitoire un placement dans l'hôpital psychiatrique de Belle-Idée, solution préférable selon lui à un maintien en détention provisoire.
B. Le 12 octobre 2011, A._ a demandé sa mise en liberté, assortie d'une hospitalisation à la clinique de Belle-Idée. Le 13 octobre 2011, le Ministère public a rendu une "ordonnance de refus de mise en liberté", consistant en réalité en une prise de position à l'attention du Tmc (<ref-law>). Il considérait la demande comme prématurée. Le Tmc a rejeté la requête par ordonnance du 17 octobre 2011, en relevant qu'il existait un risque de fugue de l'hôpital psychiatrique et que seul un jugement au fond permettrait de mettre en place de manière contraignante la structure et l'encadrement indispensables. Par ordonnance du 27 octobre 2011, le Tmc a prolongé à nouveau la détention provisoire, jusqu'au 27 janvier 2012.
A._ a recouru contre l'ordonnance du 17 octobre 2011 auprès de la Chambre pénale de recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice). Cette autorité a rejeté le recours par arrêt du 4 novembre 2011. Considérant qu'il existait un risque de récidive, elle a estimé en substance que les aménagements proposés par le recourant - à savoir une assignation à résidence à la clinique de Belle-Idée, l'obligation de se soumettre à un traitement médical et le port d'un bracelet électronique - ne pouvaient pas tenir lieu de mesures de substitution au sens de l'<ref-law>.
C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et d'ordonner sa mise en liberté provisoire moyennant une hospitalisation à la clinique de Belle-Idée, une obligation de se soumettre au traitement médical psychiatrique prescrit et le port d'un bracelet électronique. Il requiert en outre l'octroi de l'assistance judiciaire. Le Ministère public et la Cour de justice ont renoncé à se déterminer.

Considérant en droit:
1. Selon l'<ref-law>, le recours en matière pénale est ouvert contre les décisions rendues en matière pénale, dont font partie les décisions rendues en matière de détention provisoire ou pour des motifs de sûreté au sens des <ref-law> (<ref-ruling> consid. 1 p. 23). La détention du recourant ne se fonde plus sur l'ordonnance de refus de mise en liberté du 17 octobre 2011, mais sur l'ordonnance du 27 octobre 2011 prolongeant la détention provisoire jusqu'au 27 janvier 2012. Cette dernière ordonnance se réfère toutefois expressément à l'ordonnance du 17 octobre 2011, de sorte que le recourant conserve un intérêt actuel et pratique à l'annulation de celle-ci (<ref-law>). Pour le surplus, le recours est formé en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>.
2. Une mesure de détention préventive n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et art. 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.; <ref-ruling> consid. 2c p. 270). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (cf. art. 221 al. 1 let. a, b et c CPP). Préalablement à ces conditions, il doit exister à l'égard de l'intéressé des charges suffisantes, soit de sérieux soupçons de culpabilité (<ref-law>; art. 5 par. 1 let. c CEDH; arrêt 1B_63/2007 du 11 mai 2007 consid. 3 non publié in <ref-ruling>). Le Tribunal fédéral examine librement ces questions, sous réserve toutefois de l'appréciation des faits, revue sous l'angle restreint des art. 97 al. 1 et 105 al. 2 LTF (<ref-ruling> consid. 2.5 p. 73 s. et les références).
3. Le recourant ne remet pas en cause le caractère suffisant des charges, mais il conteste l'existence d'un risque de récidive.
3.1 Aux termes de l'art. 221 al. 1 let. c CPP, la détention provisoire peut être ordonnée lorsqu'il y a sérieusement lieu de craindre que le prévenu "compromette sérieusement la sécurité d'autrui par des crimes ou des délits graves après avoir déjà commis des infractions du même genre". Selon la jurisprudence, il convient de faire preuve de retenue dans l'appréciation du risque de récidive: le maintien en détention ne peut se justifier pour ce motif que si le pronostic est très défavorable et si les délits dont l'autorité redoute la réitération sont graves (<ref-ruling> consid. 4.5 p. 21; <ref-ruling> consid. 2.3 p. 73; <ref-ruling> consid. 2.2 p. 276 et les arrêts cités). Bien qu'une application littérale de l'art. 221 al. 1 let. c CPP suppose l'existence d'antécédents, le risque de réitération peut être également admis dans des cas particuliers alors qu'il n'existe qu'un antécédent, voire aucun dans les cas les plus graves. La prévention du risque de récidive doit en effet permettre de faire prévaloir l'intérêt à la sécurité publique sur la liberté personnelle du prévenu (<ref-ruling> consid. 3-4 p. 18 ss; cf. arrêt 1B_133/2011 du 12 avril 2011 consid. 4.7). Le risque de récidive peut également se fonder sur les infractions faisant l'objet de la procédure pénale en cours, si le prévenu est fortement soupçonné - avec une probabilité confinant à la certitude - de les avoir commises (<ref-ruling> consid. 3.2 p. 86 et les références citées). Enfin, l'<ref-law> permet d'ordonner la détention lorsqu'il y a lieu de craindre un passage à l'acte, même en l'absence de toute infraction préalable. La menace de commettre un crime grave au sens de cette disposition peut aussi résulter d'actes concluants (arrêt 1B_440/2011 du 23 septembre 2011 consid. 2.4 destiné à la publication).
3.2 En l'espèce, il est établi que le recourant a provoqué un incendie dans la chambre qu'il occupait dans un foyer et qu'il a quitté les lieux sans donner l'alerte. Ce comportement était de nature à mettre sérieusement en danger la sécurité publique, les dégâts provoqués par l'incendie laissant entrevoir les risques encourus par les autres occupants de l'immeuble. Il est également établi que le recourant présente un risque de commettre à nouveau des infractions, l'expertise psychiatrique à laquelle il s'est soumis concluant à l'existence d'un tel risque. Selon le diagnostic posé, le recourant présentait au moment des faits un "grave trouble mental sous forme d'un trouble psychotique aigu, ainsi qu'un retard mental léger et un trouble grave de la personnalité". Ce trouble est certes en rémission grâce aux soins prodigués en détention, mais des rechutes aiguës peuvent survenir et conduire à la commission de nouvelles infractions. Selon l'expert, si le prévenu ne présente pas de tendances particulièrement pyromaniaques, son comportement est relativement imprévisible de sorte que l'on peut s'attendre "à tout type d'infractions". Dans ces conditions, l'absence d'antécédents n'apparaît pas déterminante dans l'appréciation du risque de réitération. Compte tenu du trouble sévère diagnostiqué, du comportement clairement dangereux qu'il a engendré et du risque de récidive constaté par l'expert, il y a lieu de craindre que le recourant compromette à nouveau sérieusement la sécurité d'autrui. La situation est donc suffisamment grave en l'espèce pour retenir l'existence d'un risque de récidive malgré l'absence d'antécédents. Ce premier grief doit donc être rejeté.
4. Invoquant une violation du principe de la proportionnalité, le recourant fait grief aux autorités précédentes d'avoir refusé d'ordonner des mesures de substitution à la détention.
4.1 Conformément au principe de la proportionnalité (art. 36 al. 3 Cst.), il convient d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention (règle de la nécessité). Cette exigence est concrétisée par l'<ref-law>, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention provisoire ou de la détention pour des motifs de sûreté si ces mesures permettent d'atteindre le même but que la détention. Selon l'<ref-law>, font notamment partie des mesures de substitution: la fourniture de sûretés (let. a), la saisie des documents d'identité et autres documents officiels (let. b), l'assignation à résidence ou l'interdiction de se rendre dans un certain lieu ou un certain immeuble (let. c), l'obligation de se présenter régulièrement à un service administratif (let. d), l'obligation d'avoir un travail régulier (let. e), l'obligation de se soumettre à un traitement médical ou à des contrôles (let. f) et l'interdiction d'entretenir des relations avec certaines personnes (let. g). L'<ref-law> précise que, pour surveiller l'exécution de ces mesures, le tribunal peut ordonner l'utilisation d'appareils techniques qui peuvent être fixés à la personne sous surveillance.
4.2 En l'occurrence, le recourant avait proposé à titre de mesures de substitution une assignation à résidence à la clinique de Belle-Idée assortie d'une obligation de se soumettre à un traitement médical. Il précisait en outre qu'il ne s'opposait pas au port d'un bracelet électronique si nécessaire. La Cour de justice a rejeté ces propositions sur la base d'une argumentation que l'on peine à suivre. Elle relève que l'assignation à résidence avec une obligation de traitement ne doit pas être confondue avec un placement institutionnel ordonné par le juge du fond en application de l'<ref-law>. La combinaison des mesures proposées par le recourant se rapprocherait d'une obligation de traitement en milieu fermé, qui ne serait possible qu'au titre de l'exécution anticipée prévue à l'<ref-law>. De plus, l'expert préconisait certes un placement en milieu institutionnel ouvert, mais en l'assortissant de l'exigence d'une mesure tutélaire, la médication du recourant nécessitant par ailleurs un encadrement strict. La Cour de justice conclut en exposant que la question de savoir si "la solution élaborée par l'expert ne revient pas, matériellement, à un placement institutionnel en milieu fermé" relève du juge du fond.
Ces considérations de l'arrêt attaqué n'emportent pas la conviction. Il est clair que l'<ref-law> relatif aux mesures à l'égard des prévenus irresponsables ne trouve pas application à ce stade de la procédure et que la situation doit s'examiner à l'aune de l'<ref-law>. Cela ne signifie pas pour autant qu'un placement en institution est exclu avant un jugement au fond. En effet, la liste des mesures de substitution énoncée à l'<ref-law> n'est pas exhaustive et rien ne s'oppose à un tel placement - combiné le cas échéant à d'autres mesures - si cela permet d'atteindre le même but que la détention. En l'occurrence, l'expert-psychiatre estime que le risque de commission de nouvelles infractions existe "surtout en cas d'interruption du traitement psychiatrique", un tel traitement étant "susceptible de diminuer le risque de récidive". Il précise que le recourant doit être encadré par une structure institutionnelle et qu'une institution ouverte peut être envisagée dès lors qu'il est peu à craindre que l'intéressé tente de se dérober à cet encadrement. L'expert préconise le placement dans un foyer ouvert, voire dans un hôpital psychiatrique tel que la clinique de Belle-Idée en attendant de trouver un foyer adapté. L'hôpital psychiatrique ne pourrait toutefois constituer qu'une mesure transitoire et non une solution à long terme. L'expert relève enfin qu'une mesure tutélaire "semble nécessaire pour soutenir l'expertisé dans la gestion de ses affaires".
Il ressort donc de l'expertise psychiatrique que le recourant n'a pas sa place dans un établissement de détention provisoire et qu'il doit être transféré dans une institution plus adaptée à sa pathologie. Par conséquent, il y a lieu de mettre en oeuvre sans tarder les mesures préconisées par l'expert. Dès lors que ce dernier relève que ces mesures sont aptes à réduire le risque de récidive et que le recourant est prêt à s'y soumettre, on ne voit pas ce qui s'opposerait à un placement en institution ouverte, assorti de l'obligation de suivre un traitement comme le recourant lui-même le requiert. En revanche, la mise en place d'une surveillance électronique n'apparaît pas nécessaire, l'expert ayant estimé qu'il est "peu à craindre que l'expertisé tente de se dérober" à l'encadrement offert par une institution ouverte. La Cour de justice ne saurait être suivie lorsqu'elle affirme que le placement exige encore la mise en oeuvre préalable de la mesure tutélaire évoquée par l'expert. Il ressort en effet du rapport d'expertise que si une mesure tutélaire "semble nécessaire", c'est uniquement pour "soutenir l'expertisé dans la gestion de ses affaires" et non pour réduire le risque de récidive en assurant notamment le suivi du traitement. Ce suivi est en effet déjà en partie garanti par le placement en institution.
En définitive, il y a lieu d'ordonner le placement du recourant en institution ouverte - précédé le cas échéant d'un placement à la clinique de Belle-Idée ou dans une institution offrant des conditions similaires - assorti de l'obligation de poursuivre le traitement psychiatrique suivi actuellement. Ces mesures étant aptes à atteindre le même but que la détention au regard du risque de réitération, elles peuvent être ordonnées à titre de mesures de substitution au sens de l'<ref-law>.
4.3 Il n'appartient pas au Tribunal fédéral de s'assurer de la mise en oeuvre pratique des mesures de substitution susmentionnées, de sorte qu'il ne peut pas ordonner lui-même la libération provisoire du recourant. La conclusion prise en ce sens doit donc être rejetée. La cause doit être renvoyée au tribunal compétent - en l'espèce le Tribunal des mesures de contrainte - pour qu'il prenne les dispositions utiles afin d'ordonner, dans les plus brefs délais, la mise en liberté provisoire du recourant assortie des mesures de substitution précitées.
5. Il s'ensuit que le recours doit être admis partiellement et l'arrêt attaqué annulé. L'ordonnance de refus de mise en liberté rendue le 17 octobre 2011 par le Tribunal des mesures de contrainte du canton de Genève doit également être annulée, la cause étant renvoyée à cette autorité pour nouvelle décision dans le sens des considérants. Il n'y a pas lieu de percevoir de frais judiciaires (<ref-law>). L'Etat de Genève versera en revanche une indemnité de dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (<ref-law>). Vu l'issue du recours, la demande d'assistance judiciaire est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. L'arrêt attaqué est annulé, de même que l'ordonnance de refus de mise en liberté rendue le 17 octobre 2011 par le Tribunal des mesures de contrainte du canton de Genève. La cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
2. La demande de mise en liberté immédiate est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Une indemnité de 2'000 fr. est allouée au recourant à titre de dépens, à la charge de l'Etat de Genève.
5. Le présent arrêt est communiqué au mandataire du recourant, ainsi qu'au Ministère public et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 7 décembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Rittener