Faits: A.a Sur dénonciation de la présidente de la Commission de Police de Lausanne, une enquête a été ouverte au printemps 2006 par le juge d'instruction du canton de Vaud contre l'agent de police A._ pour des agissements commis le 1er janvier 2006 sur la personne de X._, né le 28 août 1989. A.b Celui-ci a, le 17 mai 2006, par l'intermédiaire de sa mère, porté plainte en alléguant les faits suivants. Le matin du 1er janvier 2006, vers 5h45, il a fait l'objet en ville de Lausanne d'un contrôle d'identité par des agents de police. Après qu'un de ses amis eut été plaqué au sol, X._ s'est mis à injurier les policiers et à cracher à terre. Il a alors été maîtrisé avant d'être placé dans un fourgon à destination de l'hôtel de police. Des injures ont été échangées pendant le trajet et il a été frappé. Parmi les agents présents lors de cette intervention se trouvaient D._ et C._. Après les contrôles d'usage, X._ a été relâché et a quitté l'hôtel de police. Le jeune homme a encore expliqué que, le même jour, vers 6h30, il avait croisé un fourgon de police à la place du Tunnel et lancé une série d'injures dans sa direction. Il avait alors été embarqué dans le véhicule qui était occupé par les agents identifiés par la suite comme étant B._, D._, C._, E._ et A._. Le fourgon s'est déplacé dans les hauts de Lausanne, à la lisière du bois de Sauvabelin. A cet endroit, A._ a fait sortir X._. Alors que celui-ci s'éloignait, A._ l'a hélé et, en lui disant "tiens, j'ai oublié ça", l'a aspergé de spray au poivre qui a atteint le jeune homme sur le visage et la nuque. X._ est retourné à l'hôtel de police pour se plaindre du traitement reçu. Des policiers l'ont alors conduit dans un local pour qu'il se nettoie les yeux avant de lui dire de partir. B.a Le 16 janvier 2009, le Tribunal de police de l'arrondissement de Lausanne a acquitté A._ des accusations de voies de fait et d'abus d'autorité et a rejeté les conclusions civiles de X._. Par arrêt du 8 juin 2009, la Cour de cassation pénale du Tribunal cantonal vaudois a admis les recours formés contre ce jugement par le Ministère public et X._. Elle a renvoyé la cause au Tribunal de l'arrondissement de la Côte pour nouvelle instruction et nouveau jugement. B.b Par ordonnance complémentaire du 11 mai 2010, le juge d'instruction du canton de Vaud a renvoyé devant le Tribunal d'arrondissement de la Côte D._ sous l'accusation d'entrave à l'action pénale, C._ et E._ pour répondre des infractions d'entrave à l'action pénale et de faux témoignage et B._ comme accusé d'entrave à l'action pénale, de faux témoignage et d'abus d'autorité. Le 13 décembre 2010, le Tribunal d'arrondissement a acquitté tous les accusés et a rejeté les conclusions civiles de X._. Lors de l'audience de jugement, l'accusation de A._ avait été aggravée en ce sens que le sprayage de X._ tombait sous le coup de l'art. 123 ch. 1 et 2 al. 3 CP. La Cour de cassation pénale a, le 14 janvier 2011, rejeté dans la mesure où il était recevable le recours interjeté par X._. Elle a en particulier déclaré irrecevable le recours en tant qu'il était dirigé contre l'acquittement des coaccusés des infractions d'abus d'autorité, de faux témoignage et d'entrave à l'action pénale. Elle a rejeté le recours en tant qu'il était formé contre l'acquittement de A._ de l'infraction de lésions corporelles simples qualifiées. C. X._ forme un recours en matière pénale devant le Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt cantonal en ce sens que A._ soit condamné pour abus d'autorité et lésions corporelles simples qualifiées et que B._ soit condamné pour abus d'autorité. A titre subsidiaire, il demande l'annulation de l'arrêt cantonal et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire. D. La Cour de cassation pénale s'est référée aux considérants de l'arrêt attaqué et le Ministère public a renoncé à se déterminer. E._ conclut au rejet du recours dans la mesure de sa recevabilité. C._ et D._ invitent le Tribunal fédéral à rejeter le recours. Quant à A._ et B._, ils ont conclu principalement à l'irrecevabilité du recours, subsidiairement à son rejet.