Faits: A. A._, né en 1972, est en détention préventive depuis le 26 janvier 2011, sous l'inculpation de lésions corporelles simples, voire graves, injures, menaces et séquestration. Il lui est reproché d'avoir, les 20 et 21 décembre 2010, à son domicile à Chêne-Bourg, donné des coups de poing au visage de sa concubine B._, de lui avoir asséné des coups de pied dans les côtes et le dos alors qu'elle était au sol, de l'avoir menacée ("tu vas voir ce que je vais faire"), de lui avoir jeté de l'eau bouillante au niveau de l'abdomen (en lui disant "j'espère que tu ne pourras pas avoir d'enfant") lui occasionnant des brûlures au deuxième degré et de l'avoir retenue dans l'appartement de 20h00 à 10h00. Il a également été mis en prévention pour avoir, le 24 décembre 2010 à son domicile, menacé, insulté et donné des coups de poings dans les côtes de sa partenaire. B. Le 17 février 2011, le Ministère public du canton de Genève a informé A._ qu'il avait nommé un médecin pour réaliser une expertise psychiatrique en vue notamment de déterminer son degré de responsabilité et de décider d'une éventuelle mesure thérapeutique. L'experte chargée initialement de ce mandat - daté du 1er mars 2011 - s'est récusée en date du 4 avril 2011 en raison d'un conflit d'intérêts. Le nom d'un nouvel expert a pu être transmis au recourant le 15 avril 2011 et le mandat d'expertise psychiatrique formellement délivré le 3 mai 2011. C. Par ordonnance du 25 février 2011, le Tribunal des mesures de contraintes (ci-après: le Tmc) a, à la demande du Ministère public du 16 février 2011, ordonné la prolongation de la détention provisoire de A._ en retenant l'existence de risques de récidive et de collusion. Par acte du 4 mars 2011, A._ a formé recours contre la prolongation de sa détention. Par arrêt du 27 avril 2011, la Chambre pénale de recours de la Cour de justice genevoise (ci-après: le Chambre pénale de recours) a admis le recours, annulé l'ordonnance entreprise et renvoyé la cause au Tmc pour nouvelle décision au motif que le prévenu n'avait pas pu s'exprimer avant la prolongation de sa détention (violation de son droit d'être entendu). Le Tmc a, par ordonnance du 29 avril 2011, prolongé la détention provisoire du prévenu. Par arrêt du 11 mai 2011, la Chambre pénale de recours a confirmé cette décision. Elle constatait l'existence de charges suffisantes. Les risques de récidive et de collusion étaient évidents et aucune mesure de substitution n'était susceptible d'atteindre le même but que la détention. S'agissant du risque de réitération, la Chambre pénale de recours relevait que l'intéressé avait déjà été condamné pénalement pour des actes de violence, notamment des menaces et lésions corporelles simples (les 17 septembre 2003, 7 juin 2005, 18 août 2006 et 12 novembre 2009); en outre, le 6 juin 2008, il avait été condamné à une peine de trois ans d'emprisonnement, avec traitement ambulatoire, pour délit manqué de meurtre sur la personne de B._. D. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et d'ordonner sa mise en liberté immédiate, éventuellement subordonnée à l'interdiction de se rendre chez B._ et d'entretenir des relations avec celle-ci (art. 237 CPP), et subsidiairement de renvoyer la cause à la Chambre pénale de recours pour nouvelle décision dans le sens des considérants. Il requiert en outre l'assistance judiciaire. La Chambre pénale de recours se réfère à son arrêt. Le Ministère public conclut au rejet du recours. Le recourant a répliqué et maintenu ses conclusions.