Faits:
A. A._, né en 1972, est en détention préventive depuis le 26 janvier 2011, sous l'inculpation de lésions corporelles simples, voire graves, injures, menaces et séquestration. Il lui est reproché d'avoir, les 20 et 21 décembre 2010, à son domicile à Chêne-Bourg, donné des coups de poing au visage de sa concubine B._, de lui avoir asséné des coups de pied dans les côtes et le dos alors qu'elle était au sol, de l'avoir menacée ("tu vas voir ce que je vais faire"), de lui avoir jeté de l'eau bouillante au niveau de l'abdomen (en lui disant "j'espère que tu ne pourras pas avoir d'enfant") lui occasionnant des brûlures au deuxième degré et de l'avoir retenue dans l'appartement de 20h00 à 10h00. Il a également été mis en prévention pour avoir, le 24 décembre 2010 à son domicile, menacé, insulté et donné des coups de poings dans les côtes de sa partenaire.
B. Le 17 février 2011, le Ministère public du canton de Genève a informé A._ qu'il avait nommé un médecin pour réaliser une expertise psychiatrique en vue notamment de déterminer son degré de responsabilité et de décider d'une éventuelle mesure thérapeutique. L'experte chargée initialement de ce mandat - daté du 1er mars 2011 - s'est récusée en date du 4 avril 2011 en raison d'un conflit d'intérêts. Le nom d'un nouvel expert a pu être transmis au recourant le 15 avril 2011 et le mandat d'expertise psychiatrique formellement délivré le 3 mai 2011.
C. Par ordonnance du 25 février 2011, le Tribunal des mesures de contraintes (ci-après: le Tmc) a, à la demande du Ministère public du 16 février 2011, ordonné la prolongation de la détention provisoire de A._ en retenant l'existence de risques de récidive et de collusion. Par acte du 4 mars 2011, A._ a formé recours contre la prolongation de sa détention. Par arrêt du 27 avril 2011, la Chambre pénale de recours de la Cour de justice genevoise (ci-après: le Chambre pénale de recours) a admis le recours, annulé l'ordonnance entreprise et renvoyé la cause au Tmc pour nouvelle décision au motif que le prévenu n'avait pas pu s'exprimer avant la prolongation de sa détention (violation de son droit d'être entendu).
Le Tmc a, par ordonnance du 29 avril 2011, prolongé la détention provisoire du prévenu. Par arrêt du 11 mai 2011, la Chambre pénale de recours a confirmé cette décision. Elle constatait l'existence de charges suffisantes. Les risques de récidive et de collusion étaient évidents et aucune mesure de substitution n'était susceptible d'atteindre le même but que la détention. S'agissant du risque de réitération, la Chambre pénale de recours relevait que l'intéressé avait déjà été condamné pénalement pour des actes de violence, notamment des menaces et lésions corporelles simples (les 17 septembre 2003, 7 juin 2005, 18 août 2006 et 12 novembre 2009); en outre, le 6 juin 2008, il avait été condamné à une peine de trois ans d'emprisonnement, avec traitement ambulatoire, pour délit manqué de meurtre sur la personne de B._.
D. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et d'ordonner sa mise en liberté immédiate, éventuellement subordonnée à l'interdiction de se rendre chez B._ et d'entretenir des relations avec celle-ci (<ref-law>), et subsidiairement de renvoyer la cause à la Chambre pénale de recours pour nouvelle décision dans le sens des considérants. Il requiert en outre l'assistance judiciaire.
La Chambre pénale de recours se réfère à son arrêt. Le Ministère public conclut au rejet du recours. Le recourant a répliqué et maintenu ses conclusions.

Considérant en droit:
1. Selon l'<ref-law>, le recours en matière pénale est ouvert contre les décisions en matière pénale, notamment celles relatives à la détention provisoire ou pour des motifs de sûreté au sens des <ref-law>.
1.1 Selon l'art. 81 al. 1 let. a et let. b ch. 1 LTF, le prévenu a qualité pour agir. Le recours est formé en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>.
1.2 Le code de procédure pénale suisse (CPP; RS 312.0) est entré en vigueur le 1er janvier 2011. Il est applicable au cas d'espèce.
2. Invoquant les dispositions constitutionnelles et conventionnelles relatives à la liberté personnelle, le recourant conteste notamment l'existence de charges suffisantes et celle de risques de récidive et de collusion (<ref-law>).
2.1 Une mesure de détention préventive n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et art. 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. En particulier, l'art. 221 al. 1 let. c CPP prescrit que "la détention provisoire et la détention pour des motifs de sûreté ne peuvent être ordonnées que lorsque le prévenu est fortement soupçonné d'avoir commis un crime ou un délit et qu'il y a sérieusement lieu de craindre qu'il compromette sérieusement la sécurité d'autrui par des crimes ou des délits graves après avoir déjà commis des infractions du même genre".
2.2 Le recourant conteste la plupart des faits qui lui sont reprochés. Il reconnaît uniquement avoir donné deux coups de pied sur la cuisse de sa partenaire et avoir renversé involontairement sur celle-ci une tasse d'eau bouillante. Partant, les charges pouvant être retenues contre lui ne justifieraient pas son maintien en détention.
2.2.1 Pour qu'une personne soit placée en détention préventive, il doit exister à son égard des charges suffisantes ou des indices sérieux de culpabilité, c'est-à-dire des raisons plausibles de la soupçonner d'avoir commis une infraction. Il n'appartient cependant pas au juge de la détention de procéder à une pesée complète des éléments à charge et à décharge et d'apprécier la crédibilité des personnes qui mettent en cause le prévenu. Il doit uniquement examiner s'il existe des indices sérieux de culpabilité justifiant une telle mesure. L'intensité des charges propres à motiver un maintien en détention préventive n'est pas la même aux divers stades de l'instruction pénale; si des soupçons, même encore peu précis, peuvent être suffisants dans les premiers temps de l'enquête, la perspective d'une condamnation doit apparaître vraisemblable après l'accomplissement des actes d'instruction envisageables (<ref-ruling> consid. 3c p. 146; GÉRARD PIQUEREZ, Traité de procédure pénale suisse, 2e éd., 2006, p. 540 et les références).
2.2.2 En remettant en cause la version des faits de la victime, le recourant perd de vue qu'il n'appartient pas au juge de la détention de se livrer à une véritable appréciation de la crédibilité des témoignages à charge; il lui appartient uniquement de vérifier, sous l'angle de la vraisemblance, que le maintien en détention provisoire repose sur des indices de culpabilité suffisante. Or, les déclarations de la victime constituent des indices parmi d'autres et elles peuvent être prises en compte dans la mesure où elles n'apparaissent pas d'emblée invraisemblables, compte tenu notamment des antécédents et des déclarations du recourant (qui a reconnu une partie des faits, notamment les coups de pied donnés à l'intéressée) ainsi que du témoignage de C._ et des rapports médicaux des HUG (25 décembre 2010) et du CURML (14 avril 2011) concernant les lésions subies par la victime. Partant, il existe des charges suffisantes à l'encontre du recourant pour justifier un maintien en détention.
2.3 Le recourant nie également tout risque de réitération. A cet égard, il explique ne pas avoir commis de violence physique à l'encontre de sa compagne depuis plus de quatre ans, ni n'avoir jamais été violent envers une tierce personne. En outre, il suivrait un traitement médical afin de se sevrer de ses addictions liées à l'alcool et à la cocaïne, traitement qui porterait ses fruits. Il estime enfin qu'une mesure de substitution consistant à lui interdire d'entrer en contact avec sa partenaire serait suffisant pour pallier le risque de réitération. Il a enfin exprimé sa volonté de reprendre un suivi médical régulier auprès de la Fondation Phénix à sa sortie de prison.
2.3.1 En l'occurrence, les antécédents du recourant constituent un indice important au sujet du risque de réitération. Il a été condamné à plusieurs reprises pour des actes de violence entre 2003 et 2009, notamment pour des menaces et des lésions corporelles simples. En particulier, il a été condamné le 6 juin 2008, à une peine privative de liberté de trois ans, avec traitement ambulatoire au sens de l'<ref-law>, pour délit manqué de meurtre sur la personne de B._. Ces condamnations et un précédent séjour en prison de plusieurs mois n'ont pas empêché l'intéressé de commettre de nouvelles infractions de même nature. De plus, les faits qui lui sont actuellement reprochés se sont produits alors qu'il suivait un traitement pour ses problèmes de violence, traitement qui lui avait été imposé lors de sa condamnation en 2008. L'ensemble de ces éléments apparaît donc suffisant pour retenir un risque concret de réitération.
La mesure de substitution proposée par le recourant, à savoir de ne pas se rendre au domicile de sa partenaire ni de prendre contact avec celle-ci n'est pas suffisant pour prévenir un danger de récidive, compte tenu notamment du fonctionnement du couple (cf. procès verbal de l'audition du 30 mars 2011 de D._, médecin psychiatre suivant le recourant depuis plusieurs années). En outre, contrairement à ce que soutient le recourant, il a déjà commis des actes de violence à l'encontre d'autres personnes, comme en attestent notamment ses précédentes condamnations des 17 septembre 2003 et 18 août 2006 pour lésions corporelles simples notamment. Enfin, le suivi médical régulier auprès de la Fondation Phénix - que le recourant entend reprendre à sa sortie de prison - n'apparaît pas non plus suffisant, son précédent suivi thérapeutique ne l'ayant pas détourné de commettre les faits survenus fin décembre 2010.
Enfin, l'expertise psychiatrique mise en oeuvre par le Ministère public est précisément destinée à évaluer la dangerosité du prévenu et le risque de récidive qu'il présente ainsi que, le cas échéant, à déterminer les mesures adéquates pour prévenir ce risque. Aussi, une mise en liberté du recourant, compte tenu notamment de ses antécédents apparaît prématurée tant que les conclusions de l'expert ne sont pas connues. L'arrêt attaqué ne prête donc pas le flanc à la critique sur ce point.
2.4 L'affirmation d'un risque de réitération dispense d'examiner s'il existe aussi un risque de collusion, au sens de l'<ref-law>.
3. Le recourant reproche également aux autorités cantonales une violation du principe de célérité (art. 31 al. 3 Cst., art. 5 par. 3 et art. 6 par. 1 CEDH). Il se plaint en substance de manquements et de retards injustifiés, d'une part, dans l'examen de sa demande de libération immédiate (recours du 4 mars 2011) et, d'autre part, dans l'instruction de sa cause. Sur ce dernier point, il évoque la lenteur dans la réalisation de l'expertise psychiatrique qu'il impute au Ministère public; il relève que la volonté du Ministère public de réaliser cette expertise lui aurait été communiquée le 17 février 2011 mais n'aurait été mise en oeuvre que dans le courant du mois de mai 2011, soit trois mois plus tard.
La Chambre pénale des recours reconnaît que, pour une raison inconnue, le recours du 4 mars 2011 n'a pas été enregistré et n'a pu être traité que le 14 avril 2011 avec l'envoi d'un accusé de réception du recours et la demande de détermination adressée au Ministère public. Quant au retard dans l'expertise psychiatrique, elle relève que le Ministère public n'est pas responsable du désistement de l'experte laquelle n'a pas fait part immédiatement de son impossibilité de remplir le mandat. Elle admet que ces retards sont regrettables, mais ne sont cependant pas le résultat d'un manquement particulièrement grave des autorités de poursuite pénale faisant apparaître celles-ci comme inaptes à conduire la présente procédure à terme dans un délai raisonnable.
3.1 Concrétisant le principe de célérité, l'<ref-law> impose aux autorités pénales d'engager les procédures pénales sans délai et de les mener à terme sans retard injustifié (al. 1), la procédure devant être conduite en priorité lorsqu'un prévenu est placé en détention (al. 2).
3.1.1 Selon l'art. 5 par. 4 CEDH, "toute personne privée de sa liberté par arrestation ou détention a le droit d'introduire un recours devant un tribunal, afin qu'il statue à bref délai sur la légalité de sa détention et ordonne sa libération si la détention est illégale" (cf. également art. 31 al. 4 Cst.). La question de la durée admissible au regard du principe de célérité pour statuer sur une demande de mise en liberté s'apprécie à la lumière des circonstances particulières de chaque cas d'espèce. Le droit d'obtenir une décision dans les plus brefs délais n'est pas violé si, compte tenu des circonstances, une décision ne pouvait raisonnablement intervenir plus rapidement (<ref-ruling> consid. 3a p. 375).
La Cour européenne des droits de l'homme et le Tribunal fédéral ont déjà eu l'occasion de préciser qu'en principe des délais de 31, respectivement 46 jours (arrêt de la CourEDH dans la cause Sanchez-Reisse contre Suisse du 21 octobre 1986, in EuGRZ 1988 p. 523 ss) et de 41 jours (<ref-ruling> consid. 5c p. 92) pour statuer sur une demande de mise en liberté contrevenaient au principe de célérité, si l'examen de la demande ne soulevait pas de problèmes particuliers.
3.1.2 Les art. 31 al. 3 Cst. et 5 par. 3 CEDH prescrivent que toute personne qui est mise en détention préventive a le droit d'être jugée dans un délai raisonnable ou d'être libérée pendant la procédure pénale. En vertu du principe de célérité, une incarcération peut être considérée comme disproportionnée en cas de retard injustifié dans le cours de la procédure pénale (<ref-ruling> consid. 2.2.1 p. 151 s.; <ref-ruling> consid. 3a p. 273; <ref-ruling> consid. 5a; <ref-ruling> consid. 2 et 3). Il doit toutefois s'agir d'un manquement particulièrement grave, faisant au surplus apparaître que l'autorité de poursuite n'est plus en mesure de conduire la procédure à chef dans un délai raisonnable (<ref-ruling> consid. 2.2.1 p. 151 s.). Le caractère raisonnable de la durée d'une procédure pénale s'apprécie selon les circonstances particulières de la cause, eu égard en particulier à la complexité de l'affaire, au comportement du requérant et à celui des autorités compétentes, ainsi qu'à l'enjeu du litige pour l'intéressé (<ref-ruling> consid. 3.4.2 p. 281 et les arrêts cités).
3.2 Dans le cadre de la procédure relative à la prolongation de la détention préventive, le recourant a déposé une demande de libération le 4 mars 2011 auprès de la Chambre pénale de recours et ce n'est qu'en date du 14 avril 2011 qu'elle a finalement pu être traitée avec la remise d'un nouvel exemplaire de l'acte par le prévenu. En outre, compte tenu de la violation du droit d'être entendu du recourant (art. 29 al. 2 Cst.) qui a été constatée par la Chambre pénale de recours (arrêt du 27 avril 2011), le Tmc ainsi que la Chambre pénale de recours ne se sont prononcés sur la légalité de la détention qu'en date du 29 avril 2011, respectivement du 11 mai 2011. Aussi, il s'est écoulé plus de deux mois avant que la Chambre pénale de recours ne statue au fond sur la demande de mise en liberté qui ne suscitait aucune difficulté particulière. La responsabilité de cette lenteur incombe exclusivement au Tmc et à la Chambre pénale de recours qui n'a pas enregistré l'acte de recours dans lequel le recourant demandait sa mise en liberté. Un tel délai pour se prononcer sur une demande de libération contrevient clairement au principe de célérité ancré aux art. 5 par. 4 CEDH et 31 al. 4 Cst.
Le fait que l'autorité n'a pas statué à bref délai au sens des art. 5 par. 4 CEDH et 31 al. 4 Cst. n'entraîne pas à lui seul la libération immédiate du recourant. Celui-ci n'aurait le droit d'être relaxé que si sa détention n'apparaissait plus matériellement justifiée (<ref-ruling> consid. 5d p. 92 s.; arrêt 1P.495/2005 du 14 septembre 2005 consid. 2.3, in SJ 2006 I p. 57), ce qui n'est pas le cas en l'espèce (cf. consid. 3). Cela étant, une violation du principe de célérité peut être réparée d'emblée par la constatation de dite violation, une admission partielle du recours sur ce point et la mise à la charge de l'Etat des frais de justice (cf. <ref-ruling> consid. 2.3 p. 278 et les références; ATF 1B_153/2011 du 5 mai 2011 consid. 3.2.3 destiné à la publication; arrêt 1B_173/2011 du 17 mai 2011 consid. 2). Il y a donc lieu d'admettre partiellement le recours dans cette mesure et de réformer l'arrêt entrepris à cet égard.
3.3 Quant au caractère raisonnable de la durée de la procédure, force est de reconnaître qu'elle n'a pas non plus connu de période d'inactivité susceptible de contrevenir à l'art. 5 par. 3 CEDH. Les autorités de poursuite pénale ont en effet régulièrement fait progresser le dossier en entendant le recourant (à plusieurs reprises), la victime et divers témoins (auditions des 26 janvier 2011, 10 février 2011, 18 février 2011, 1er mars 2011, 30 mars 2011). Le CURML a également été mandaté pour établir un rapport médical sur l'état des lésions subies par la victime (rapport du 14 mars 2011). Deux experts du CURML ont encore été auditionnés le 19 mai 2011. S'agissant en particulier de la réalisation de l'expertise psychiatrique, il est certes fâcheux que l'experte initialement nommée n'ait constaté le motif de récusation qu'en date du 4 avril 2011 après avoir pris connaissance de l'entier du dossier, à savoir plus d'un mois après la notification du mandat d'expertise. Toutefois, au vu des éléments précités, il apparaît que l'instruction s'est régulièrement poursuivie durant cette période, de sorte que la procédure n'a globalement pas connu de période d'inactivité. De plus, le Ministère public a promptement réagi à la communication du conflit d'intérêt par l'experte mandatée. Le nom d'un nouvel expert a rapidement pu être communiqué au recourant pour qu'il s'exprime sur un éventuel motif de récusation (15 avril 2011). Ce médecin, formellement mandaté le 3 mai 2011, s'est vu impartir un délai de deux mois pour se déterminer sur le degré de dangerosité du recourant et d'éventuelles mesures thérapeutiques. La Chambre pénale de recours a d'ailleurs signalé que l'expert pourrait être amené à se prononcer oralement sur ces questions afin d'accélérer la procédure. Aussi, à ce stade et dans ces conditions, il peut être admis que le principe de célérité au sens de l'art. 5 par. 3 CEDH est respecté. Cela étant, pour échapper à toute critique, l'autorité devra veiller à ce que l'expert livre son rapport dans un délai approprié.
4. Le recours doit par conséquent être admis partiellement et le dispositif de l'arrêt attaqué modifié en ce sens que la violation du principe de célérité au sens des art. 5 par. 4 CEDH et 31 al. 4 Cst. est constatée, que le recours cantonal est partiellement admis sur ce point et que les frais d'arrêt sont mis à la charge de l'Etat de Genève. Le recourant, qui obtient partiellement gain de cause avec l'assistance d'un avocat, a droit à des dépens réduits pour la présente procédure, à la charge de l'Etat de Genève (art. 68 al. 1 et 2 LTF). Pour le reste, il peut être fait droit à la demande d'assistance judiciaire du recourant, celui-ci ne disposant pas de ressources suffisantes et les conclusions de son recours ne paraissant pas d'emblée vouées à l'échec (<ref-law>). L'intervention d'un avocat était nécessaire à la sauvegarde des droits du recourant, de sorte qu'il y a lieu de désigner Me Thomas Barth comme avocat d'office et de fixer d'office ses honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Il n'est perçu de frais judiciaires ni du recourant (<ref-law>) ni de l'Etat de Genève (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis et le dispositif de l'arrêt attaqué est modifié comme suit :
I. Admet partiellement le recours et constate que le principe de célérité a été violé (art. 5 par. 4 CEDH et 31 al. 4 Cst.).
II. Confirme l'ordonnance attaquée pour le surplus.
III. Dit que les frais d'arrêt s'élevant à 860 fr., y compris un émo- lument de 800 fr., sont mis à la charge de l'Etat de Genève.
2. Une indemnité de 1'000 fr. est allouée au recourant à titre de dépens, à la charge de l'Etat de Genève.
3. La demande d'assistance judiciaire est admise. Me Thomas Barth est désigné comme avocat d'office du recourant et une indemnité de 1'000 fr. lui est allouée à titre d'honoraires.
4. Il n'est pas perçu de frais judiciaires.
5. Le présent arrêt est communiqué au mandataire du recourant, au Ministère public et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 7 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Arn