Faits: A. A._ a été arrêté le 13 février 2011, dans le cadre d'une enquête pénale ouverte pour infraction grave à la loi fédérale sur les stupéfiants (LStup; RS 812.121). Il a été appréhendé à 11 h 00 par la police cantonale zurichoise, qui l'a entendu à 14 h 13. Il est arrivé dans le canton de Vaud le lendemain à 14 h 30 et le Procureur de l'arrondissement de l'Est vaudois (ci-après: le procureur) a procédé à l'audition d'arrestation le 15 février 2011 à 10 h 23. Le même jour à 16 h 41, le procureur a saisi le Tribunal des mesures de contrainte d'une demande de détention provisoire, en raison des risques de fuite et de collusion. Par ordonnance du 17 février 2011, le Tribunal des mesures de contrainte a ordonné la détention provisoire en retenant les motifs invoqués par le procureur dans sa requête. A._ a recouru contre cette décision auprès de la Chambre des recours pénale du Tribunal cantonal (ci-après: le Tribunal cantonal), qui a rejeté le recours par arrêt du 4 mars 2011. Cette autorité a constaté que des délais prévus par les art. 219 al. 4 et 224 al. 2 du Code de procédure pénale suisse du 5 octobre 2007 (CPP; RS 312.0) n'avaient pas été respectés, mais que cela ne conduisait pas à la mise en liberté du prévenu. Elle a en outre estimé que la détention était matériellement justifiée, notamment en raison de l'existence de risques de fuite et de collusion, et que le principe de la proportionnalité était respecté. B. Le 11 avril 2011, A._ a formé un recours en matière pénale, demandant au Tribunal fédéral de réformer cet arrêt en constatant qu'il aurait dû être libéré immédiatement. Il soutient en substance que la violation des art. 219 al. 4 et 224 al. 2 CPP aurait dû conduire à sa libération, que sa détention provisoire n'était pas régulière et que les principes de la proportionnalité et de la célérité ont été violés. Il requiert en outre l'octroi de l'assistance judiciaire. Le procureur s'est déterminé brièvement, concluant au rejet du recours. Le Tribunal cantonal se réfère aux considérants de son arrêt. Le recourant a présenté des observations complémentaires.