Faits:
A. A._ a été arrêté le vendredi 29 avril 2011 à 16 h 30 dans le cadre d'une enquête portant sur divers cambriolages. Me Daniel Kinzer a été appelé le lendemain samedi 30 avril à 8 h 53 par la permanence de l'avocat de la première heure mise en place dans le canton de Genève. L'avocat en question a pu s'entretenir avec A._ une demi-heure avant de l'assister lors son audition par le Ministère public du canton de Genève, le même jour de 10 h 30 à 12 h 15. Au terme de cette audience, le Ministère public a annoncé son intention de proposer au Tribunal des mesures de contrainte du canton de Genève (ci-après: le Tmc) d'ordonner la mise en détention provisoire du prévenu. Une demande en ce sens a été transmise au Tmc à 12 h 45. Le lendemain dimanche 1er mai 2011 à 9 h 59, le Tmc a expédié un fax à l'Etude de Me Kinzer pour le convoquer à une audience devant se tenir le jour même à 11 h 00. A une heure indéterminée, un message a également été laissé sur le répondeur téléphonique de l'Etude de l'avocat prénommé.
Le conseil de A._ n'était pas présent lors de l'audience de mise en détention. Par ordonnance du 1er mai 2011, le Tmc a ordonné la mise en détention du prévenu jusqu'au 1er juillet 2011, au motif qu'il existait des risques de fuite, de collusion et de récidive.
B. A._ a contesté cette ordonnance auprès de la Chambre pénale des recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice), qui a rejeté ce recours par arrêt du 13 mai 2011. Cette autorité a considéré en substance que les charges étaient suffisantes et qu'il existait manifestement des risques de fuite, de collusion et de réitération. Elle a par ailleurs estimé que l'absence du défenseur de A._ à l'audience de mise en détention ne constituait pas un vice justifiant une annulation de l'ordonnance contestée.
C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt ainsi que l'ordonnance du Tmc du 1er mai 2011, de constater que son droit d'être entendu a été violé et d'ordonner sa mise en liberté immédiate. Il se plaint essentiellement d'une violation de son droit d'être entendu, notamment parce que les observations déposées par le Ministère public devant la Cour de justice ne lui ont pas été communiquées. Il requiert en outre l'octroi de l'assistance judiciaire. La Cour de justice se réfère aux considérants de son arrêt. Le Ministère public s'est déterminé, concluant au rejet du recours. Le recourant a présenté des observations complémentaires.
Considérant en droit:
1. La décision attaquée se rapporte à une mesure de contrainte au sens des art. 196 ss du code de procédure pénale suisse (CPP; RS 312.0). La voie du recours en matière pénal selon les art. 78 ss LTF est ouverte (ATF 137 IV 22 consid. 1 p. 23). Dès lors que l'acte de procédure litigieux ne met pas un terme à la procédure pénale (art. 90 s. LTF), il s'agit d'une décision incidente prise séparément au sens de l'art. 93 al. 1 LTF. La décision ordonnant la détention provisoire du prévenu étant susceptible de lui causer un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF (cf. arrêt 1B_126/2011 du 6 avril 2011 consid. 1.1), elle peut faire l'objet d'un recours au Tribunal fédéral. Selon l'art. 81 al. 1 let. a et let. b ch. 1 LTF, l'accusé a qualité pour agir. Pour le surplus, le recours est formé en temps utile (art. 100 al. 1 LTF) contre une décision rendue en dernière instance cantonale (art. 80 LTF) et les conclusions présentées sont recevables au regard de l'art. 107 al. 2 LTF.
2. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu, au motif que la Cour de justice ne lui a pas transmis les observations qu'elle a reçues du Ministère public.
2.1 Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 Cst. et 6 CEDH, le droit d'être entendu garantit notamment le droit pour une partie à un procès de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Il appartient en effet aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Ce droit à la réplique vaut pour toutes les procédures judiciaires. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF 133 I 100 consid. 4.3 ss p. 102 ss, 98 consid. 2.2 p. 99; 132 I 42 consid. 3.3.2 - 3.3.4 p. 46 s.; cf. en outre les arrêts de la Cour européenne des droits de l'homme dans les causes Schaller-Bossert c. Suisse du 28 octobre 2010 § 39 s. et Nideröst-Huber c. Suisse du 18 février 1997, Recueil CourEDH 1997-I p. 101 § 24 ss).
2.2 En l'espèce, le recourant se plaint du fait que les déterminations du Ministère public devant la Cour de justice ne lui ont pas été transmises, de sorte qu'il n'a pas eu la possibilité de se déterminer à leur sujet. Ni la Cour de justice ni le Ministère public ne contredisent cette affirmation et les éléments figurant au dossier cantonal ne permettent pas de l'infirmer. Il ressort en effet de ce dossier que, par courrier du 6 mai 2011, la Cour de justice a invité le Ministère public à présenter ses observations en quatre exemplaires dans les trois jours. Les quatre exemplaires en question - datés du 6 mai et reçus le 10 mai - figurent toujours au dossier, sans indication d'une éventuelle communication de copies au recourant. Il y a donc lieu de retenir que l'arrêt du 13 mai 2011 a été rendu sans que le prévenu n'ait eu l'occasion de se déterminer sur les observations du Ministère public, ce qui est contraire aux principes jurisprudentiels susmentionnés.
2.3 Cette violation du droit d'être entendu ne peut pas être guérie devant le Tribunal fédéral en l'occurrence, ne serait-ce que parce qu'il ne revoit pas librement les faits (art. 97 et 105 LTF; ATF 133 I 201 consid. 2.2 p. 204; 132 V 387 consid. 5.1 p. 390 et les références citées). Le recours doit donc être admis pour ce motif, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par le recourant (cf. ATF 132 V 387 consid. 5.1 p. 390).
3. Il s'ensuit que le recours doit être admis partiellement et l'arrêt attaqué annulé. La cause est renvoyée à la Cour de justice pour pour qu'elle rende, à brève échéance, une nouvelle décision prise dans le respect du droit à la réplique défini ci-dessus. L'admission du recours pour ce motif formel n'a évidemment pas pour conséquence la mise en liberté immédiate du recourant (cf. ATF 116 Ia 60 consid. 3b p. 64; 115 Ia 293 consid. 5g p. 308; 114 Ia 88 consid. 5d p. 93). La conclusion en ce sens doit donc être rejetée. Il n'y a pas lieu de percevoir de frais judiciaires (art. 66 al. 4 LTF). L'Etat de Genève versera en revanche une indemnité de dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 LTF). Vu l'issue du recours, la demande d'assistance judiciaire est sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. L'arrêt attaqué est annulé et la cause est renvoyée à la Cour de justice du canton de Genève, Chambre pénale de recours, pour nouvelle décision dans le sens des considérants.
2. La demande de mise en liberté immédiate est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Une indemnité de 2'000 fr. est allouée au recourant à titre de dépens, à la charge de l'Etat de Genève.
5. Le présent arrêt est communiqué au mandataire du recourant, ainsi qu'au Ministère public et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 20 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Rittener