Faits:
A. A._ est détenu depuis le 4 mai 2011, sous la prévention de viol aggravé. Par ordonnance du 5 mai 2011, le Tribunal des mesures de contrainte du canton de Genève (ci-après: le Tmc) a ordonné sa mise en détention provisoire pour deux mois. Par courrier du 25 mai 2011, A._ a requis sa mise en liberté immédiate. Le 3 juin 2011, le Ministère public du canton de Genève a répondu qu'il n'entendait pas donner une suite favorable à cette requête et il a transmis le dossier au Tmc, qui a refusé la mise en liberté du prénommé par ordonnance du 9 juin 2011.
B. A._ a contesté cette ordonnance auprès de la Chambre pénale des recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice). Invité à se déterminer, le Ministère public a déposé des observations, qui sont parvenues à la Cour de justice le 21 juin 2011. Ces observations ont été envoyées au mandataire de A._, qui ne les aurait reçues que le 27 juin 2011. La Cour de justice a rejeté le recours par arrêt du 24 juin 2011. Par ordonnance du 1er juillet 2011, le Tmc a prolongé la détention jusqu'au 2 août 2011.
C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice du 24 juin 2011, de constater que le principe de célérité a été violé et de retourner le dossier à l'autorité cantonale pour nouvelle décision. Il se plaint notamment d'une violation de son droit d'être entendu, au motif qu'il n'a pas eu l'occasion de se déterminer sur les observations déposées par le Ministère public devant la Cour de justice. Il requiert en outre l'octroi de l'assistance judiciaire. La Cour de justice s'est déterminée sommairement, reconnaissant que le recourant n'avait pas pu s'exprimer sur les observations du Ministère public. Au terme de ses observations, le Ministère public conclut au rejet du recours.
Considérant en droit:
1. La décision attaquée se rapporte à une mesure de contrainte au sens des art. 196 ss du code de procédure pénale suisse (CPP; RS 312.0). La voie du recours en matière pénale selon les art. 78 ss LTF est ouverte (ATF 137 IV 22 consid. 1 p. 23). Dès lors que l'acte de procédure litigieux ne met pas un terme à la procédure pénale (art. 90 s. LTF), il s'agit d'une décision incidente prise séparément au sens de l'art. 93 al. 1 LTF. La décision ordonnant la détention provisoire du prévenu étant susceptible de lui causer un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF (cf. arrêt 1B_126/2011 du 6 avril 2011 consid. 1.1), elle peut faire l'objet d'un recours au Tribunal fédéral. Selon l'art. 81 al. 1 let. a et let. b ch. 1 LTF, l'accusé a qualité pour agir. Pour le surplus, le recours est formé en temps utile (art. 100 al. 1 LTF) contre une décision rendue en dernière instance cantonale (art. 80 LTF) et les conclusions présentées sont recevables au regard de l'art. 107 al. 2 LTF.
2. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu, au motif que la Cour de justice ne lui a pas laissé l'occasion de se déterminer sur les observations qu'elle a reçues du Ministère public.
2.1 Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 Cst. et 6 CEDH, le droit d'être entendu garantit notamment le droit pour une partie à un procès de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Il appartient en effet aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Ce droit à la réplique vaut pour toutes les procédures judiciaires. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF 133 I 100 consid. 4.3 ss p. 102 ss, 98 consid. 2.2 p. 99; 132 I 42 consid. 3.3.2 - 3.3.4 p. 46 s.; cf. en outre les arrêts de la Cour européenne des droits de l'homme dans les causes Schaller-Bossert c. Suisse du 28 octobre 2010 § 39 s. et Nideröst-Huber c. Suisse du 18 février 1997, Recueil CourEDH 1997-I p. 101 § 24 ss).
2.2 En l'espèce, le recourant se plaint du fait que les déterminations du Ministère public devant la Cour de justice lui ont été transmises le 27 juin 2011 seulement, soit après que l'arrêt attaqué ait été rendu, de sorte qu'il n'a pas eu la possibilité de se déterminer à leur sujet. Cette affirmation n'est contredite ni par le Ministère public ni par la Cour de justice, cette autorité admettant du reste que le recourant n'a pas pu exprimer son opinion après l'envoi des observations en cause. Il y a donc lieu de constater que l'arrêt attaqué a été rendu sans que le prévenu n'ait eu l'occasion de se déterminer sur les observations du Ministère public, ce qui est contraire aux principes jurisprudentiels susmentionnés. Relevant que le présent cas s'apparente en tous points à celui qui a fait l'objet de l'arrêt 1B_269/2011 du 20 juin 2011, la Cour de justice affirme qu'elle a depuis lors modifié sa pratique. La Cour de céans prend acte de ce changement de pratique, qui devrait assurer le respect du droit de réplique à l'avenir. Cela n'enlève toutefois rien à la violation constatée dans la présente cause, de sorte que le recours doit être admis pour ce motif, la violation en question ne pouvant pas être guérie devant le Tribunal fédéral (cf. arrêt 1B_269/2011 précité, consid. 2.3 et les références citées).
3. Il s'ensuit que le recours doit être admis partiellement et l'arrêt attaqué annulé. La cause est renvoyée à la Cour de justice pour qu'elle rende, à brève échéance, une nouvelle décision prise dans le respect du droit à la réplique défini ci-dessus. Il n'y a pas lieu de percevoir de frais judiciaires (art. 66 al. 4 LTF). L'Etat de Genève versera en revanche une indemnité de dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 LTF). Vu l'issue du recours, la demande d'assistance judiciaire est sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. L'arrêt attaqué est annulé et la cause est renvoyée à la Cour de justice du canton de Genève, Chambre pénale de recours, pour nouvelle décision dans le sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 2'000 fr. est allouée au recourant à titre de dépens, à la charge de l'Etat de Genève.
4. Le présent arrêt est communiqué au mandataire du recourant, ainsi qu'au Ministère public et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 14 juillet 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Rittener