Faits:
A. A._ a été arrêté le 28 juillet 2011 pour s'être, deux jours plus tôt, introduit dans l'appartement de B._, son ex-compagne dont il est séparé depuis environ cinq ans, en possession d'un gourdin et d'un spray au poivre, et pour avoir frappé et aspergé les trois personnes présentes, à savoir B._, leur fils C._ et D._, l'ami de B._. Il les a également menacés de mort.
A._ a été mis en prévention pour ces faits le 29 juillet 2011 et s'est opposé en vain à sa mise en détention. Celle-ci a été prolongée la dernière fois le 11 avril 2012, pour une durée de deux mois, en raison du risque de récidive, qu'aucune mesure de substitution ne permettait de pallier.
B. Le 30 septembre 2011, la Procureure a décerné un mandat d'expertise psychiatrique afin d'actualiser la situation de l'intéressé, dont le dernier examen de cette nature remontait au 6 février 2007. L'experte a rendu des conclusions intermédiaires sur le risque de récidive le 21 décembre 2011. En résumé, elle retient que A._ présente, dans l'histoire qui le lie à son ex-femme, des symptômes paranoïaques qui n'existent pas dans d'autres secteurs de fonctionnement, ayant semble-t-il construit un vécu délirant dont il ne peut se défaire. Sa pathologie nécessite un traitement psychiatrique et un suivi rapproché. Dans de telles conditions, le risque de récidive d'acte hétéro-agressif est non négligeable. Dans son rapport final du 6 février 2012, l'experte reprend ces thèmes et relève, notamment, que l'expertisé présente des éléments pour une personnalité paranoïaque et dyssociale, et qu'il peut avoir des comportements violents et menaçants s'il est confronté à une frustration. L'experte conclut que le trouble que présente A._ est assimilable à un trouble grave, d'intensité moyenne. Le risque de récidive était décrit comme fortement probable, si les conditions actuelles demeuraient identiques. Toutefois, il existait un traitement médical susceptible de diminuer le risque de récidive, soit un traitement psychiatrique et psychothérapeutique intégré, institutionnel et en milieu psychiatrique ouvert, auquel l'expertisé était prêt à se soumettre. Un tel traitement pouvait se dérouler dans une unité de la clinique psychiatrique de Belle-Idée, l'unité Seran, sous la surveillance de la psychiatrie pénitentiaire.
L'experte a été entendue le 22 février 2012 et a confirmé les constats et les conclusions de son expertise. Elle a précisé que le traitement en milieu fermé pouvait être ressenti comme une punition par l'expertisé, alors que le milieu ouvert était plus approprié pour lui, qui était quelqu'un susceptible de collaborer.
C. Précédemment, A._ a été condamné, le 25 juin 2007, à 18 mois d'emprisonnement ferme, peine suspendue au profit d'une mesure d'hospitalisation en milieu psychiatrique fermé, pour lésions corporelles simples et menaces envers B._ ainsi que faux dans les titres, faits commis entre 2004 et 2006. Le recours interjeté par le prévenu contre ce jugement a été rejeté par un arrêt du Tribunal fédéral du 12 novembre 2007 (cause 6B_457/2007).
Après sa mise en liberté conditionnelle en janvier 2008, l'intéressé a suivi un traitement auprès de différents médecins du département de psychiatrie des HUG, plus ou moins régulièrement, de février 2008 à juillet 2011.
D. Le 21 mars 2012, A._ a sollicité sa mise en liberté immédiate, avec mesures de substitution. Le Tribunal des mesures de contrainte (ci-après: le Tmc) a rejeté sa demande par ordonnance du 29 mars 2012.
Par arrêt du 18 avril 2012, la Chambre pénale de recours de la Cour de justice du canton de Genève (ci-après: la Chambre pénale) a rejeté le recours de l'intéressé contre le refus de sa mise en liberté. Elle a considéré en substance que le risque de récidive était évident et que les mesures de substitution proposées apparaissaient en l'état insuffisantes au regard de l'intensité dudit risque.
E. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Chambre pénale du 18 avril 2012 et de renvoyer la cause à cette autorité, respectivement au Tmc, pour que sa mise en liberté soit ordonnée assortie des mesures de substitution proposées (obligation de se soumettre au traitement psychiatrique et psychothérapeutique intégré en milieu hospitalier ouvert, assignation à résidence à l'hôpital de Belle-Idée, port d'un bracelet électronique, interdiction d'entrer en contact avec les parties plaignantes). Il requiert en outre l'assistance judiciaire. Il se plaint pour l'essentiel d'une constatation incomplète des faits et d'une violation du principe de la proportionnalité.
La Chambre pénale se réfère aux considérants de son arrêt et n'a pas d'observations à formuler. Le Ministère public conclut au rejet du recours et à la confirmation de l'arrêt entrepris. Invité à répliquer, le recourant a fait savoir qu'il n'avait pas d'observations à formuler.

Considérant en droit:
1. Selon l'<ref-law>, le recours en matière pénale est ouvert contre les décisions rendues en matière pénale, dont font partie les décisions rendues en matière de détention provisoire ou pour des motifs de sûreté au sens des <ref-law> (<ref-ruling> consid. 1 p. 23). La détention du recourant ne se fonde plus sur l'ordonnance de refus de mise en liberté du 29 mars 2012, mais sur l'ordonnance du 11 avril 2012 prolongeant la détention provisoire pour une durée de deux mois. Le recourant n'en conserve pas moins un intérêt actuel et pratique à l'annulation de la décision querellée qui repose sur les mêmes motifs (cf. <ref-law>).
2. Dans un premier grief, le recourant considère que les faits retenus par la Chambre pénale doivent être complété de deux éléments.
2.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), ce qu'il lui appartient d'exposer et de démontrer de manière claire et circonstanciée. La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause (<ref-law>). Par ailleurs, aucun fait nouveau ni aucune preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). On ne saurait en effet reprocher à une autorité d'avoir mal constaté les faits lorsque ceux-ci ont changé après sa décision (<ref-ruling> consid. 2 p. 497 et les arrêts cités).
2.2 En l'espèce, le recourant expose que le Ministère public a ordonné une contre-expertise psychiatrique, en mettant en question les conclusions de l'expertise du 6 février 2012. Il a formé recours contre cette décision et obtenu gain de cause devant la Chambre pénale le 15 mai 2012; l'état de fait de l'arrêt attaqué devait dès lors être complété avec ce dernier point. Or, il s'agit d'un fait nouveau, intervenu après le prononcé de l'arrêt attaqué, et qui ne peut dès lors être pris en compte dans la présente procédure.
La Chambre pénale a relevé que le recourant avait été condamné à une peine privative de liberté de 18 mois ferme, suspendue au profit d'une mesure d'hospitalisation en milieu psychiatrique fermé. Le recourant fait toutefois valoir qu'il n'a fait l'objet d'aucune mesure d'hospitalisation en milieu psychiatrique et qu'il n'a bénéficié d'aucun traitement médical durant sa détention à la prison de Champ-Dollon, du 12 janvier 2006 au 21 janvier 2008. Ce fait lui paraît pertinent car l'autorité cantonale met en doute les chances de succès des mesures de substitution proposées, lorsqu'elle souligne qu'un traitement psychiatrique en milieu fermé n'aurait pas empêché la récidive. Il ressort toutefois du dossier que le recourant a bel et bien été condamné à 18 mois de peine privative de liberté par jugement du 25 juin 2007 et que la Chambre pénale a ordonné la suspension de cette peine au profit d'une mesure d'hospitalisation en milieu psychiatrique fermé; cet arrêt a été confirmé, sur recours, par le Tribunal fédéral. D'autre part, l'expertise du 6 février 2012 indique, dans l'anamnèse psychiatrique, que le recourant a bénéficié d'un traitement institutionnel dans un milieu fermé pendant 8 à 12 mois. Le recourant ne démontre pas que l'établissement des faits de l'arrêt attaqué sur ce point serait arbitraire, ce qui, au vu des éléments précités, n'apparaît pas être le cas. Au demeurant, une éventuelle modification de l'arrêt attaqué à cet égard ne serait pas susceptible d'influer sur le sort de la cause.
Il résulte de ce qui précède que le présent grief doit être rejeté. Il n'y a par conséquent pas lieu de compléter les faits établis dans l'arrêt attaqué, et ceux-ci lient le Tribunal fédéral conformément à l'<ref-law>.
3. Les conditions de la détention énumérées à l'<ref-law> ne sont pas litigieuses, l'existence de charges suffisantes et d'un risque de récidive n'étant pas contestée. Le recourant s'en prend uniquement à la proportionnalité de la détention provisoire, la Chambre pénale ayant, à son avis, refusé à tort les mesures de substitution proposées.
3.1 Conformément au principe de la proportionnalité (art. 36 al. 3 Cst.), il convient d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention (règle de la nécessité). Cette exigence est concrétisée par l'<ref-law>, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention provisoire ou de la détention pour des motifs de sûreté si ces mesures permettent d'atteindre le même but que la détention. Selon l'<ref-law>, font notamment partie des mesures de substitution: la fourniture de sûretés (let. a), la saisie des documents d'identité et autres documents officiels (let. b), l'assignation à résidence ou l'interdiction de se rendre dans un certain lieu ou un certain immeuble (let. c), l'obligation de se présenter régulièrement à un service administratif (let. d), l'obligation d'avoir un travail régulier (let. e), l'obligation de se soumettre à un traitement médical ou à des contrôles (let. f) et l'interdiction d'entretenir des relations avec certaines personnes (let. g). L'<ref-law> précise que, pour surveiller l'exécution de ces mesures, le tribunal peut ordonner l'utilisation d'appareils techniques qui peuvent être fixés à la personne sous surveillance.
3.2 En l'espèce, les mesures proposées par le recourant sont l'obligation de se soumettre au traitement psychiatrique et psychothérapeutique intégré en milieu hospitalier ouvert, l'assignation à résidence à l'hôpital de Belle-Idée, le port d'un bracelet électronique et l'interdiction d'entrer en contact avec les parties plaignantes. La Chambre pénale a considéré que ces mesures apparaissaient insuffisantes au regard de l'intensité du risque de récidive. En particulier, il était douteux, à ce stade de la procédure, qu'un placement à Belle-Idée soit suffisant, puisque le recourant n'apportait rien de plus que les mesures qui avaient échoué précédemment. Si le traitement institutionnel était de nature à réduire le risque de récidive, il n'était pas susceptible d'y pallier, de sorte qu'il ne permettait pas d'atteindre le même but que la détention.
Il ressort de l'expertise du 6 février 2012 que l'état psychiatrique du recourant nécessite un traitement psychothérapeutique et psychiatrique. L'experte préconise un milieu ouvert plutôt que fermé du fait que le prévenu semble avoir pris conscience de l'illégalité de sa visite chez son ex-compagne et qu'il regrette d'y être allé. Par ailleurs, l'expertise signale que, si les conditions restent les mêmes qu'actuellement, il semble fortement probable que le recourant risque d'avoir à nouveau des comportements hétéro-agressifs vis-à-vis de son ex-compagne et des instances tutélaires, qu'ils soit verbaux ou physiques.
Comme l'a relevé la Chambre pénale, le risque de récidive du recourant est particulièrement élevé, dans la mesure où celui-ci a déjà été condamné en 2007 pour des faits semblables, au préjudice notamment de la même personne, et où le traitement psychiatrique reçu ensuite de ces faits, en milieu fermé puis en ambulatoire, n'a manifestement pas rencontré le succès escompté. Ce risque est accru en raison de la pathologie du recourant, qui persiste à minimiser ses actions et se prévaut avant tout de ce qu'il prétend endurer lui-même. Dans ces conditions et à ce stade de la procédure, le suivi contrôlé d'une nouvelle psychothérapie, en milieu ouvert, ainsi que l'interdiction de prendre contact avec ses victimes, tels que proposés, ne permettent pas de garantir que le recourant s'y soumettra et renoncera à retourner auprès de son ex-compagne, afin de mettre ses menaces à exécution. Les mesures de substitution proposées n'étant pas aptes à prévenir le risque de récidive, la surveillance électronique ne saurait être mise en oeuvre (cf. arrêt 1B_447 du 21 septembre 2011 consid. 3.4). Il appartiendra au juge du fond d'examiner s'il y a lieu d'ordonner une mesure thérapeutique.
Au demeurant, il apparaît que le recourant est en détention provisoire depuis dix mois. Les faits n'étant pas contestés et l'expertise psychiatrique ayant été établie en février 2012, les autorités cantonales devront faire en sorte que l'instruction soit terminée et le recourant jugé dans les meilleurs délais, afin que le juge du fond puisse notamment déterminer s'il y a lieu d'imposer une mesure au recourant, et, cas échéant, en régler les modalités.
4. Il s'ensuit que le recours doit être rejeté. Dès lors que le recourant semble être dans le besoin et que ses conclusions ne paraissaient pas d'emblée vouées à l'échec, sa requête d'assistance judiciaire doit être admise (<ref-law>). Par conséquent, il y a lieu de le dispenser des frais pour la procédure devant le Tribunal fédéral et d'allouer une indemnité à son mandataire, désigné comme avocat d'office (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est admise. Me Manuel Bolivar est désigné comme avocat d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 1'500 francs.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué au mandataire du recourant, au Ministère public et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 4 juin 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard