Faits:
A. A._ a été arrêté le 13 février 2011, dans le cadre d'une enquête pénale ouverte pour infraction grave à la loi fédérale sur les stupéfiants (LStup; RS 812.121). Il a été appréhendé à 11 h 00 par la police cantonale zurichoise, qui l'a entendu à 14 h 13. Il est arrivé dans le canton de Vaud le lendemain à 14 h 30 et le Procureur de l'arrondissement de l'Est vaudois (ci-après: le procureur) a procédé à l'audition d'arrestation le 15 février 2011 à 10 h 23. Le même jour à 16 h 41, le procureur a saisi le Tribunal des mesures de contrainte d'une demande de détention provisoire, en raison des risques de fuite et de collusion.
Par ordonnance du 17 février 2011, le Tribunal des mesures de contrainte a ordonné la détention provisoire en retenant les motifs invoqués par le procureur dans sa requête. A._ a recouru contre cette décision auprès de la Chambre des recours pénale du Tribunal cantonal (ci-après: le Tribunal cantonal), qui a rejeté le recours par arrêt du 4 mars 2011. Cette autorité a constaté que des délais prévus par les art. 219 al. 4 et 224 al. 2 du Code de procédure pénale suisse du 5 octobre 2007 (CPP; RS 312.0) n'avaient pas été respectés, mais que cela ne conduisait pas à la mise en liberté du prévenu. Elle a en outre estimé que la détention était matériellement justifiée, notamment en raison de l'existence de risques de fuite et de collusion, et que le principe de la proportionnalité était respecté.
B. Le 11 avril 2011, A._ a formé un recours en matière pénale, demandant au Tribunal fédéral de réformer cet arrêt en constatant qu'il aurait dû être libéré immédiatement. Il soutient en substance que la violation des art. 219 al. 4 et 224 al. 2 CPP aurait dû conduire à sa libération, que sa détention provisoire n'était pas régulière et que les principes de la proportionnalité et de la célérité ont été violés. Il requiert en outre l'octroi de l'assistance judiciaire. Le procureur s'est déterminé brièvement, concluant au rejet du recours. Le Tribunal cantonal se réfère aux considérants de son arrêt. Le recourant a présenté des observations complémentaires.

Considérant en droit:
1. La recevabilité du recours en matière pénale dépend notamment de l'existence d'un intérêt juridique actuel à l'annulation de la décision entreprise (<ref-law>). Un tel intérêt fait en principe défaut lorsque la mesure contestée a été rapportée (cf. <ref-ruling> consid. 5b p. 97). Il en va ainsi, dans le cas d'un recours dirigé contre un maintien en détention, lorsque le recourant est remis en liberté (<ref-ruling> consid. 1.3 p. 276; <ref-ruling> consid. 4a p. 397). En l'occurrence, conformément à ce que le recourant annonce dans son écriture, il ressort du dossier qu'il a été relaxé le 11 avril 2011. Il conserve toutefois un intérêt à ce que l'arrêt attaqué soit réformé, dans la mesure où l'intégralité des frais et l'indemnité du défenseur d'office ont été mis à sa charge, bien qu'il se soit plaint à juste titre d'une violation des art. 219 al. 4 et 224 al. 2 CPP. Pour le surplus, formé en temps utile (<ref-law>) contre une décision prise en dernière instance cantonale (<ref-law>) et qui touche le recourant dans ses intérêts juridiquement protégés (art. 81 al. 1 let. a et b ch. 1 LTF), le recours est en principe recevable.
2. Le recourant se plaint en premier lieu du non-respect des délais prévus aux art. 219 al. 4 et 224 al. 2 CPP, ce qui devait selon lui entraîner sa libération.
2.1 Aux termes de l'<ref-law>, la personne arrêtée provisoirement est libérée ou amenée devant le ministère public au plus tard après 24 heures; si l'arrestation provisoire a fait suite à une appréhension, la durée de celle-ci est déduite de ces 24 heures. Quant à l'<ref-law>, il prévoit que le ministère public doit saisir le tribunal des mesures de contraintes "sans retard mais au plus tard dans les 48 heures à compter de l'arrestation".
Ces délais, qui concrétisent les garanties procédurales des art. 31 Cst. et 5 par. 3 CEDH, ne sont pas de simples délais d'ordre, dont l'intéressé ne pourrait pas se prévaloir. La détention ne devient toutefois pas nécessairement illégale si l'un de ces délais n'est pas respecté. En effet, dans un arrêt récent destiné à être publié (arrêt 1B_153/2011 du 5 mai 2011 consid. 3.1 et 3.2), le Tribunal fédéral a relevé que seul le temps écoulé entre l'arrestation et la décision du tribunal des mesures de contraintes était déterminant pour le prévenu, les étapes de procédure précédant cette décision étant de moindre importance. Il en va notamment ainsi du délai de l'<ref-law>, qui est adressé en premier lieu au Ministère public et qui vise à donner suffisamment de temps au juge de la détention pour examiner la cause. Ce délai concerne donc en priorité l'organisation interne des autorités de poursuite pénale, même s'il intéresse aussi le prévenu. Le maintien en détention ne devient dès lors pas nécessairement illégal si le délai de 48 heures de l'<ref-law> n'est pas respecté, mais seulement si la décision du tribunal des mesures de contrainte n'intervient pas dans les 96 heures suivant l'arrestation (arrêt 1B_153/2011 précité consid. 3.2.1). Les considérations qui précèdent valent aussi pour le délai de 24 heures prévu à l'<ref-law>. Il est certes dans l'intérêt du prévenu que la police respecte ce délai, afin que l'audition par un magistrat intervienne le plus rapidement possible, mais le non-respect dudit délai ne constitue pas nécessairement une violation du principe de célérité susceptible de remettre en cause la légalité de la détention. Ce n'est en effet le cas que si la violation est particulièrement grave et qu'elle laisse craindre que l'autorité de poursuite ne soit plus en mesure de conduire la procédure à chef dans un délai raisonnable (<ref-ruling> consid. 2.2.1 p. 151 s.; cf. arrêt 1B_153/2011 précité consid. 3.1 et les références).
Il convient cependant d'insister sur le fait que le principe de célérité revêt une importance particulière en matière de détention provisoire, de sorte que les délais maximaux prévus par le CPP doivent en principe être respectés et qu'ils ne peuvent être épuisés que dans des cas exceptionnels et objectivement fondés (arrêt 1B_153/2011 précité consid. 3.2.1 in fine).
2.2 En l'occurrence, il s'est écoulé près de 48 heures entre l'arrestation du recourant le 13 février 2011 à 11 h 00 et son audition par le ministère public le 15 février 2011 à 10 h 23, de sorte que le délai de 24 heures prévu par l'<ref-law> n'a clairement pas été respecté. De plus, le ministère public a saisi le Tribunal des mesures de contrainte le 15 février 2011 à 16 h 41, soit 5 h 41 après l'échéance du délai de 48 heures prévu par l'<ref-law>. En revanche, le Tribunal des mesures de contraintes a statué dans les 48 heures, conformément à l'<ref-law>. L'audience de ce tribunal s'est en effet tenue le 16 février à 14 h 30 et la décision est datée du 17 février. Il apparaît en outre que cette décision a été rendue dans les 96 heures suivant l'arrestation du recourant, ce dernier ne prétendant au demeurant pas le contraire. Par ailleurs, il ressort du dossier que le dépassement du premier délai est notamment dû à des difficultés liées au transfert du prévenu du canton de Zurich au canton de Vaud. Dans ces conditions, une appréciation globale de la procédure durant les premières 96 heures de détention ne permet pas de conclure à une violation grave du principe de la célérité, la décision sur la détention étant intervenue à temps. C'est dès lors à juste titre que le Tribunal cantonal a considéré que le non-respect des délais susmentionnés ne justifiait pas l'élargissement du recourant.
Cela étant, le Tribunal cantonal ne pouvait pas se limiter à renvoyer le recourant à déposer une demande de réparation pour détention illicite en application de l'<ref-law>. En effet, il découle de la jurisprudence susmentionnée (cf. supra consid. 2.1) que le non-respect des délais prévus aux art. 219 al. 4 et 224 al. 2 CPP ne suffit pas nécessairement à rendre la détention illicite, de sorte qu'il n'est pas certain que la seule violation de ces dispositions donne lieu à une réparation sur la base de l'<ref-law>. La violation des dispositions procédurales en question peut cependant être réparée d'emblée par le biais de la pratique confirmée dans l'arrêt 1B_153/2011 précité (consid. 3.2.3 destiné à la publication), à savoir par la constatation d'une violation du principe de célérité, une admission partielle du recours sur ce point et la mise à la charge de l'Etat des frais de justice. Cette solution est au demeurant conforme à la jurisprudence fédérale (cf. <ref-ruling> consid. 2.3 p. 278 et les références). Il y a donc lieu d'admettre partiellement le recours dans cette mesure et de réformer l'arrêt entrepris à cet égard.
3. Dans une argumentation confuse, le recourant discute également les conditions de la détention provisoire, en particulier en ce qui concerne l'existence de charges suffisantes et celle d'un risque de collusion. Il se plaint encore d'une durée excessive de la détention, bien qu'il ait attendu trente jours pour déposer le présent recours. Il n'y a cependant pas lieu d'examiner ces questions plus avant, compte tenu notamment des motifs exposés au considérant 2 ci-dessus et dès lors que le recourant a été libéré. Pour le surplus, la Cour de céans n'a pas à se prononcer sur l'éventuelle demande d'indemnité pour détention injustifiée que le recourant déclare vouloir introduire.
4. Le recours doit par conséquent être admis partiellement et le dispositif de l'arrêt attaqué modifié en ce sens que la violation du principe de célérité est constatée, que le recours cantonal est partiellement admis sur ce point et que les frais d'arrêt, par 1'100 fr., ainsi que l'indemnité du défenseur d'office, par 388 fr. 80, sont mis à la charge de l'Etat de Vaud. Le recours est sans objet pour le surplus.
Le recourant, qui obtient partiellement gain de cause avec l'assistance d'un avocat, a droit à des dépens réduits pour la présente procédure, à la charge de l'Etat de Vaud (art. 68 al. 1 et 2 LTF). Il convient en outre de statuer sur les frais de la partie du recours devenue sans objet (<ref-law>, par renvoi de l'<ref-law>). A cet égard, il peut être fait droit à la demande d'assistance judiciaire du recourant, celui-ci ne disposant pas de ressources suffisantes et les conclusions de son recours ne paraissant pas d'emblée vouées à l'échec (<ref-law>). L'intervention d'un avocat était nécessaire à la sauvegarde des droits du recourant, de sorte qu'il y a lieu de désigner Me Nader Ghosn comme avocat d'office et de fixer d'office ses honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis et le dispositif de l'arrêt attaqué est modifié comme suit:
I. Admet partiellement le recours et constate que le principe de célérité a été violé.
II. Confirme l'ordonnance attaquée pour le surplus.
[...]
IV. Dit que les frais d'arrêt, par 1'100 fr. (mille cent francs) et l'indemnité du défenseur d'office, par 388 fr. 80 (trois cent huitante-huit francs et huitante centimes), sont mis à la charge de l'Etat de Vaud.
[...]
2. Le recours est sans objet pour le surplus.
3. Une indemnité de 1'000 fr. est allouée au recourant à titre de dépens, à la charge de l'Etat de Vaud.
4. La demande d'assistance judiciaire est admise. Me Nader Ghosn, avocat à Lausanne, est désigné comme défenseur d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 1'000 fr.
5. Il n'est pas perçu de frais judiciaires.
6. Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de l'arrondissement de l'Est vaudois et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 mai 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Rittener