Faits: A. A._ a été arrêté le 28 juillet 2011 pour s'être, deux jours plus tôt, introduit dans l'appartement de B._, son ex-compagne dont il est séparé depuis environ cinq ans, en possession d'un gourdin et d'un spray au poivre, et pour avoir frappé et aspergé les trois personnes présentes, à savoir B._, leur fils C._ et D._, l'ami de B._. Il les a également menacés de mort. A._ a été mis en prévention pour ces faits le 29 juillet 2011 et s'est opposé en vain à sa mise en détention. Celle-ci a été prolongée la dernière fois le 11 avril 2012, pour une durée de deux mois, en raison du risque de récidive, qu'aucune mesure de substitution ne permettait de pallier. B. Le 30 septembre 2011, la Procureure a décerné un mandat d'expertise psychiatrique afin d'actualiser la situation de l'intéressé, dont le dernier examen de cette nature remontait au 6 février 2007. L'experte a rendu des conclusions intermédiaires sur le risque de récidive le 21 décembre 2011. En résumé, elle retient que A._ présente, dans l'histoire qui le lie à son ex-femme, des symptômes paranoïaques qui n'existent pas dans d'autres secteurs de fonctionnement, ayant semble-t-il construit un vécu délirant dont il ne peut se défaire. Sa pathologie nécessite un traitement psychiatrique et un suivi rapproché. Dans de telles conditions, le risque de récidive d'acte hétéro-agressif est non négligeable. Dans son rapport final du 6 février 2012, l'experte reprend ces thèmes et relève, notamment, que l'expertisé présente des éléments pour une personnalité paranoïaque et dyssociale, et qu'il peut avoir des comportements violents et menaçants s'il est confronté à une frustration. L'experte conclut que le trouble que présente A._ est assimilable à un trouble grave, d'intensité moyenne. Le risque de récidive était décrit comme fortement probable, si les conditions actuelles demeuraient identiques. Toutefois, il existait un traitement médical susceptible de diminuer le risque de récidive, soit un traitement psychiatrique et psychothérapeutique intégré, institutionnel et en milieu psychiatrique ouvert, auquel l'expertisé était prêt à se soumettre. Un tel traitement pouvait se dérouler dans une unité de la clinique psychiatrique de Belle-Idée, l'unité Seran, sous la surveillance de la psychiatrie pénitentiaire. L'experte a été entendue le 22 février 2012 et a confirmé les constats et les conclusions de son expertise. Elle a précisé que le traitement en milieu fermé pouvait être ressenti comme une punition par l'expertisé, alors que le milieu ouvert était plus approprié pour lui, qui était quelqu'un susceptible de collaborer. C. Précédemment, A._ a été condamné, le 25 juin 2007, à 18 mois d'emprisonnement ferme, peine suspendue au profit d'une mesure d'hospitalisation en milieu psychiatrique fermé, pour lésions corporelles simples et menaces envers B._ ainsi que faux dans les titres, faits commis entre 2004 et 2006. Le recours interjeté par le prévenu contre ce jugement a été rejeté par un arrêt du Tribunal fédéral du 12 novembre 2007 (cause 6B_457/2007). Après sa mise en liberté conditionnelle en janvier 2008, l'intéressé a suivi un traitement auprès de différents médecins du département de psychiatrie des HUG, plus ou moins régulièrement, de février 2008 à juillet 2011. D. Le 21 mars 2012, A._ a sollicité sa mise en liberté immédiate, avec mesures de substitution. Le Tribunal des mesures de contrainte (ci-après: le Tmc) a rejeté sa demande par ordonnance du 29 mars 2012. Par arrêt du 18 avril 2012, la Chambre pénale de recours de la Cour de justice du canton de Genève (ci-après: la Chambre pénale) a rejeté le recours de l'intéressé contre le refus de sa mise en liberté. Elle a considéré en substance que le risque de récidive était évident et que les mesures de substitution proposées apparaissaient en l'état insuffisantes au regard de l'intensité dudit risque. E. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Chambre pénale du 18 avril 2012 et de renvoyer la cause à cette autorité, respectivement au Tmc, pour que sa mise en liberté soit ordonnée assortie des mesures de substitution proposées (obligation de se soumettre au traitement psychiatrique et psychothérapeutique intégré en milieu hospitalier ouvert, assignation à résidence à l'hôpital de Belle-Idée, port d'un bracelet électronique, interdiction d'entrer en contact avec les parties plaignantes). Il requiert en outre l'assistance judiciaire. Il se plaint pour l'essentiel d'une constatation incomplète des faits et d'une violation du principe de la proportionnalité. La Chambre pénale se réfère aux considérants de son arrêt et n'a pas d'observations à formuler. Le Ministère public conclut au rejet du recours et à la confirmation de l'arrêt entrepris. Invité à répliquer, le recourant a fait savoir qu'il n'avait pas d'observations à formuler.