Faits:
A. A._ a été arrêté le 18 janvier 2011 dans le cadre d'une enquête instruite par le Ministère public de l'arrondissement de l'Est vaudois pour vol, dommages à la propriété, violation de domicile et infraction à la loi fédérale sur les étrangers. Le lendemain, le Ministère public a requis du Tribunal des mesures de contrainte du canton de Vaud (ci-après : le Tmc) la mise en détention provisoire du prénommé. Estimant que la présence d'un avocat d'office était nécessaire pour l'audience de mise en détention provisoire, le Tmc a fait appel à la permanence des avocats du canton de Vaud, qui a attribué le dossier à Me Christophe Piguet. Le 20 janvier 2011, le Tmc a entendu A._ en présence de l'avocat précité. Par ordonnance du même jour, il a ordonné la détention provisoire du prévenu pour une durée maximale de quarante-cinq jours.
Par ordonnance du 21 janvier 2011, le Tmc a désigné Me Christophe Piguet en qualité de défenseur d'office de A._, avec effet au 20 janvier 2011, au motif que la présence d'un avocat d'office était nécessaire pour l'audience de mise en détention provisoire.
B. Le Ministère public de l'arrondissement de l'Est vaudois a recouru contre cette ordonnance auprès de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), en soutenant que le Tmc ne pouvait pas statuer sur la défense d'office du prévenu, cette compétence appartenant exclusivement aux autorités de direction de la procédure énumérées à l'art. 61 du Code de procédure pénale suisse du 5 octobre 2007 (CPP; RS 312.0). Le Tribunal cantonal a rejeté le recours par arrêt du 23 mars 2011, considérant en substance que le Tmc était compétent pour désigner un avocat d'office au prévenu, le mandat de ce défenseur étant limité à la défense des intérêts de son client devant ce tribunal uniquement.
C. Agissant par la voie du recours en matière pénale, le Ministère public central du canton de Vaud, division affaires spéciales, contrôle et mineurs, demande au Tribunal fédéral d'annuler cet arrêt ainsi que l'ordonnance du Tmc du 21 janvier 2011. Le Tribunal cantonal et le Tmc ont renoncé à se déterminer. Au terme de ses observations, A._ conclut au rejet du recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 331 et les arrêts cités).
1.1 La contestation portant sur la défense d'office en matière pénale, le recours au Tribunal fédéral est régi par les <ref-law>. Conformément à l'art. 81 al. 1 let. b ch. 3 LTF, l'accusateur public a en principe la qualité pour recourir (<ref-ruling> consid. 1 p. 23; <ref-ruling> consid. 1.4.3 p. 40 s.). Le recours émane en l'espèce du Ministère public central du canton de Vaud, alors que c'est le Ministère public de l'arrondissement de l'Est vaudois qui a pris part à la procédure devant les instances précédentes. Cette solution est conforme à la jurisprudence antérieure à la LTF, qui reconnaissait la qualité pour agir au seul "accusateur public du canton" au sens de l'art. 270 let. c aPPF (<ref-ruling>). La question de savoir si cette restriction devait être maintenue sous l'empire de la LTF a été laissée indécise (cf. arrêt 1B_169/2009 du 6 juillet 2009 consid. 1), et il n'y a pas lieu de la trancher en l'espèce dès lors que le recours émane du Ministère public cantonal. Certes, celui-ci n'est pas intervenu directement devant les instances précédentes, mais on peut admettre qu'il prend part dans une certaine mesure à la procédure conduite par les offices d'arrondissement, de sorte que la condition de l'<ref-law> est réalisée (ATF <ref-ruling> consid. 1.3 p. 38 s.).
1.2 La décision attaquée constitue une décision incidente, qui ne met pas fin à la procédure. Dans la mesure où elle porte sur la compétence du Tmc, elle entre dans le champ d'application de l'<ref-law>. Elle ne se limite toutefois pas à la question de la compétence de ce tribunal, les juges cantonaux ayant confirmé la décision du Tmc désignant un défenseur d'office à l'intimé. On peut donc se demander si l'arrêt attaqué ne constitue pas une autre décision préjudicielle et incidente au sens de l'<ref-law>, auquel cas les conditions de l'<ref-law> - en particulier l'exigence du préjudice irréparable - devraient être réunies. Vu l'issue du recours, cette question peut cependant elle aussi demeurer indécise.
2. Le ministère public recourant soutient que le tribunal des mesures de contrainte n'est pas compétent pour désigner un défenseur d'office, cette compétence incombant exclusivement aux autorités de direction de la procédure énumérées à l'<ref-law>.
2.1 Selon les art. 132 al. 1 et 133 al. 1 CPP, c'est à la direction de la procédure qu'il incombe d'ordonner la défense d'office et de désigner le défenseur d'office. Aux termes de l'<ref-law>, l'autorité investie de la direction de la procédure est le ministère public jusqu'à la décision de classement ou la mise en accusation (let. a), l'autorité pénale compétente en matière de contraventions, s'agissant d'une procédure de répression des contraventions (let. b), le président du tribunal, s'agissant d'une procédure devant un tribunal collégial (let. c) et le juge, s'agissant d'une procédure devant un juge unique (let. d).
2.2 L'avant-projet du code de procédure pénale prévoyait que "la direction de la procédure du tribunal des mesures de contrainte", statuant sur requête du ministère public, était compétente pour désigner le défenseur d'office (art. 139 al. 1 AP-CPP). Or, la version du CPP adoptée le 5 octobre 2007 mentionne seulement "la direction de la procédure compétente au stade considéré" (<ref-law>). Il est possible que cette modification réponde aux inquiétudes exprimées par certains participants à la procédure de consultation, qui craignaient qu'une décision du Tmc sur proposition du ministère public aille à l'encontre du principe de célérité (DFJP, Synthèse des résultats de la procédure de consultation relative aux avant-projets de CPP et de loi fédérale régissant la procédure pénale applicable aux mineurs, 2003, p. 41). Rien n'indique cependant que le législateur ait voulu exclure toute compétence du Tmc en la matière, notamment pour les procédures qui se déroulent devant lui.
2.3 Il est vrai que le tribunal des mesures de contrainte ne figure pas expressément parmi les autorités de direction de la procédure énumérées à l'<ref-law>. Il s'agit néanmoins d'un tribunal, qui a des attributions judiciaires au même titre que le tribunal de première instance, l'autorité de recours ou la juridiction d'appel (<ref-law>). Il est ainsi compétent pour ordonner la détention provisoire et la détention pour motifs de sûreté, ainsi que d'autres mesures de contrainte lorsque le code le prévoit (<ref-law>). En matière de détention, il a des prérogatives étendues puisqu'il peut ordonner la détention provisoire (art. 220 al. 1 et 224 ss CPP) et la prolongation de celle-ci (<ref-law>), statuer sur les demandes de libération de la détention provisoire rejetées par le ministère public (<ref-law>), ordonner la détention pour des motifs de sûreté (art. 229 CPP) et statuer sur la libération de la détention pour des motifs de sûretés durant la procédure de première instance, en cas de refus de la direction de la procédure de première instance (<ref-law>) ou en cas de désaccord entre celle-ci et le ministère public (<ref-law>).
Dans ces conditions, le tribunal des mesures de contrainte apparaît comme un tribunal à part entière et rien ne justifie de le traiter différemment des tribunaux collégiaux et des juges uniques visés par l'art. 61 let. c et d CPP. Le Tmc doit par conséquent être investi de la direction de la procédure qui se déroule devant lui, en raison notamment des larges compétences que lui confère le code (cf. ADRIAN JENT, in Basler Kommentar StPO, 2011, n. 11 ad <ref-law>). De plus, dès lors que le code impose à la direction de la procédure de s'assurer du bon déroulement et de la légalité de la procédure (<ref-law>), il apparaît cohérent que le Tmc soit responsable de ces questions pour les procédures dont il a la charge. Devant le Tmc, le ministère public a en effet un statut largement assimilable à celui de partie, de sorte qu'il ne saurait être le garant du bon déroulement de cette procédure. C'est dès lors au Tmc qu'il incombe d'assumer cette responsabilité, en s'assurant en particulier du respect du droit d'être entendu garanti notamment par l'<ref-law>. Il appartient ainsi au Tmc de mettre en oeuvre la défense obligatoire, d'ordonner une défense d'office et de désigner un défenseur d'office pour les procédures dont il a la charge (cf. également DANIEL LOGOS, in Commentaire romand CPP, 2011, n. 17 ad <ref-law>; GOLDSCHMID/MAURER/SOLLBERGER, Kommentierte Textausgabe zur Schweizerischen Strafprozessordnung, 2008, p. 211).
2.4 En définitive, le Tmc est investi de la direction de la procédure au sens de l'art. 61 let. c et d pour les procédures qui sont de son ressort. La direction de la procédure incombe au président de ce tribunal si celui-ci est constitué en tribunal collégial (art. 61 let. c CPP) et au juge si, comme c'est le cas dans le canton de Vaud, le tribunal en question est formé d'un juge unique (art. 61 let. d CPP).
Le ministère public conserve en revanche la direction de la procédure pour ce qui concerne ses compétences propres, telles qu'elles sont définies à l'<ref-law>. Ainsi, les prérogatives du Tmc en qualité de la direction de la procédure se limitent à la procédure qui se déroule devant lui, de sorte que le risque de décisions contradictoires peut être écarté. Concernant en particulier la défense d'office, le Tmc se limitera à l'ordonner pour la procédure dont il a la charge.
3. Pour le surplus, le recourant conteste la réalisation des conditions de la défense d'office.
3.1 La défense d'office est réglée par l'<ref-law>, qui a la teneur suivante:
1 La direction de la procédure ordonne une défense d'office:
a. en cas de défense obligatoire:
1. si le prévenu, malgré l'invitation de la direction de la procédure, ne désigne pas de défenseur privé,
2. si le mandat est retiré au défenseur privé ou que celui-ci a décliné le mandat et que le prévenu n'a pas désigné un nouveau défenseur dans le délai imparti;
b. si le prévenu ne dispose pas des moyens nécessaires et que l'assistance d'un défenseur est justifiée pour sauvegarder ses intérêts.
2 La défense d'office aux fins de protéger les intérêts du prévenu se justifie notamment lorsque l'affaire n'est pas de peu de gravité et qu'elle présente, sur le plan des faits ou du droit, des difficultés que le prévenu seul ne pourrait pas surmonter.
3 En tout état de cause, une affaire n'est pas de peu de gravité lorsque le prévenu est passible d'une peine privative de liberté de plus de quatre mois, d'une peine pécuniaire de plus de 120 jours-amende ou d'un travail d'intérêt général de plus de 480 heures.
Selon la systématique de cette disposition, la défense d'office doit être ordonnée non seulement en cas de défense obligatoire au sens de l'<ref-law> si les conditions de l'<ref-law> sont réalisées, mais aussi hors des cas de défense obligatoire, aux conditions de l'<ref-law>. En d'autres termes, un défenseur d'office peut être désigné également dans les cas de défense facultative (cf. MAURICE HARARI/TATIANA ALIBERTI, in Commentaire romand CPP, op. cit., n. 53 ss ad <ref-law>; NIKLAUS RUCKSTUHL, in Basler Kommentar StPO, op. cit., n. 19 ss ad <ref-law>).
3.2 Pour qu'une défense d'office soit ordonnée dans un cas de défense facultative, il faut que les conditions posées par l'<ref-law> - et précisées par l'art. 132 al. 2 et 3 CPP - soient réunies. Ces conditions reprennent largement la jurisprudence rendue par le Tribunal fédéral en matière d'assistance judiciaire. Selon cette jurisprudence, le droit à l'assistance judiciaire se déduit notamment des art. 29 al. 3 Cst. et 6 par. 3 let. c CEDH (<ref-ruling> consid. 2.1 p. 133; <ref-ruling> consid. 2.3 p. 227; <ref-ruling> consid. 3b p. 205). A teneur de l'art. 29 al. 3 Cst., toute personne qui ne dispose pas des ressources suffisantes a droit à l'assistance judiciaire gratuite, à moins que sa cause ne paraisse dépourvue de toute chance de succès; elle a en outre le droit à l'assistance gratuite d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert. Quant à l'art. 6 par. 3 let. c CEDH, il prévoit que tout accusé a droit à se défendre lui-même ou à avoir l'assistance d'un défenseur de son choix et, s'il n'a pas les moyens de rémunérer un défenseur, à pouvoir être assisté gratuitement par un avocat d'office, lorsque les intérêts de la justice l'exigent.
L'assistance judiciaire n'est octroyée qu'à la partie indigente, à savoir à celle qui ne peut assumer les frais liés à la défense de ses intérêts sans porter atteinte au minimum nécessaire à son entretien et celui de sa famille (ATF <ref-ruling> consid. 3b p. 205; <ref-ruling> consid. 4a p. 164; <ref-ruling> consid. 3b p. 98). Le point décisif est toujours de savoir si la désignation d'un avocat d'office est objectivement nécessaire dans le cas d'espèce. La désignation d'un défenseur d'office dans une procédure pénale est nécessaire lorsque le prévenu est exposé à une longue peine privative de liberté ou qu'il est menacé d'une peine qui ne peut être assortie du sursis. Elle peut aussi l'être, selon les circonstances, lorsque le prévenu encourt une peine privative de liberté de quelques semaines à quelques mois si, à la gravité relative du cas, s'ajoutent des difficultés particulières du point de vue de l'établissement des faits ou des questions juridiques soulevées qu'il ne serait pas en mesure de résoudre seul (ATF <ref-ruling> consid. 2.5.2 p. 232 s.; <ref-ruling> consid. 2a p. 44 et les références citées).
3.3 En l'occurrence, l'indigence du prévenu n'est pas contestée, le Tribunal cantonal ayant retenu à cet égard que l'intéressé était au bénéfice d'un permis N et sans activité lucrative. S'agissant de la nécessité de l'assistance d'un défenseur d'office, il convient de relever que la procédure à prendre en compte est celle qui concerne la détention provisoire. Or, le prévenu qui est partie à ce type de procédure est dans une position particulière du fait de sa détention, ce qui restreint sa capacité à assurer seul sa défense. De plus, la procédure en cause revêt un enjeu important puisqu'elle concerne une restriction de la liberté personnelle. Il s'agit en outre pour l'intéressé de contester les conditions de la détention au sens de l'<ref-law> ou de proposer des mesures de substitution prévues aux <ref-law>. Bien que ces questions ne soulèvent pas forcément des difficultés particulières, elles nécessitent souvent une assistance pour que le prévenu se fasse entendre de manière efficace, ce d'autant plus le ministère public est également partie à la procédure. Tous ces éléments rendent en principe nécessaire l'intervention d'un défenseur d'office. Tel est le cas en l'espèce, la difficulté pour l'intimé d'assurer seul sa défense étant encore accrue par le fait qu'il ne parle pas le français, l'assistance d'un interprète ne palliant pas complètement ce handicap supplémentaire. Par conséquent, c'est à juste titre que le Tribunal cantonal a confirmé la décision du Tmc ordonnant la défense d'office et désignant un défenseur d'office à l'intimé, de sorte que ce grief doit également être rejeté.
4. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Il n'y a pas lieu de percevoir des frais judiciaires (<ref-law>). L'intimé, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens, à la charge de l'Etat de Vaud (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 2'000 fr. est allouée à l'intimé à titre de dépens, à la charge de l'Etat de Vaud.
4. Le présent arrêt est communiqué au Ministère public central du canton de Vaud, division affaires spéciales, contrôle et mineurs, au mandataire de l'intimé, ainsi qu'au Tribunal des mesures de contrainte et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 28 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Rittener