Faits:
A.a Sur dénonciation de la présidente de la Commission de Police de Lausanne, une enquête a été ouverte au printemps 2006 par le juge d'instruction du canton de Vaud contre l'agent de police A._ pour des agissements commis le 1er janvier 2006 sur la personne de X._, né le 28 août 1989.
A.b Celui-ci a, le 17 mai 2006, par l'intermédiaire de sa mère, porté plainte en alléguant les faits suivants.
Le matin du 1er janvier 2006, vers 5h45, il a fait l'objet en ville de Lausanne d'un contrôle d'identité par des agents de police. Après qu'un de ses amis eut été plaqué au sol, X._ s'est mis à injurier les policiers et à cracher à terre. Il a alors été maîtrisé avant d'être placé dans un fourgon à destination de l'hôtel de police. Des injures ont été échangées pendant le trajet et il a été frappé. Parmi les agents présents lors de cette intervention se trouvaient D._ et C._. Après les contrôles d'usage, X._ a été relâché et a quitté l'hôtel de police.
Le jeune homme a encore expliqué que, le même jour, vers 6h30, il avait croisé un fourgon de police à la place du Tunnel et lancé une série d'injures dans sa direction. Il avait alors été embarqué dans le véhicule qui était occupé par les agents identifiés par la suite comme étant B._, D._, C._, E._ et A._. Le fourgon s'est déplacé dans les hauts de Lausanne, à la lisière du bois de Sauvabelin. A cet endroit, A._ a fait sortir X._. Alors que celui-ci s'éloignait, A._ l'a hélé et, en lui disant "tiens, j'ai oublié ça", l'a aspergé de spray au poivre qui a atteint le jeune homme sur le visage et la nuque. X._ est retourné à l'hôtel de police pour se plaindre du traitement reçu. Des policiers l'ont alors conduit dans un local pour qu'il se nettoie les yeux avant de lui dire de partir.
B.a Le 16 janvier 2009, le Tribunal de police de l'arrondissement de Lausanne a acquitté A._ des accusations de voies de fait et d'abus d'autorité et a rejeté les conclusions civiles de X._.
Par arrêt du 8 juin 2009, la Cour de cassation pénale du Tribunal cantonal vaudois a admis les recours formés contre ce jugement par le Ministère public et X._. Elle a renvoyé la cause au Tribunal de l'arrondissement de la Côte pour nouvelle instruction et nouveau jugement.
B.b Par ordonnance complémentaire du 11 mai 2010, le juge d'instruction du canton de Vaud a renvoyé devant le Tribunal d'arrondissement de la Côte D._ sous l'accusation d'entrave à l'action pénale, C._ et E._ pour répondre des infractions d'entrave à l'action pénale et de faux témoignage et B._ comme accusé d'entrave à l'action pénale, de faux témoignage et d'abus d'autorité.
Le 13 décembre 2010, le Tribunal d'arrondissement a acquitté tous les accusés et a rejeté les conclusions civiles de X._. Lors de l'audience de jugement, l'accusation de A._ avait été aggravée en ce sens que le sprayage de X._ tombait sous le coup de l'art. 123 ch. 1 et 2 al. 3 CP.
La Cour de cassation pénale a, le 14 janvier 2011, rejeté dans la mesure où il était recevable le recours interjeté par X._. Elle a en particulier déclaré irrecevable le recours en tant qu'il était dirigé contre l'acquittement des coaccusés des infractions d'abus d'autorité, de faux témoignage et d'entrave à l'action pénale. Elle a rejeté le recours en tant qu'il était formé contre l'acquittement de A._ de l'infraction de lésions corporelles simples qualifiées.
C. X._ forme un recours en matière pénale devant le Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt cantonal en ce sens que A._ soit condamné pour abus d'autorité et lésions corporelles simples qualifiées et que B._ soit condamné pour abus d'autorité. A titre subsidiaire, il demande l'annulation de l'arrêt cantonal et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Il sollicite l'assistance judiciaire.
D. La Cour de cassation pénale s'est référée aux considérants de l'arrêt attaqué et le Ministère public a renoncé à se déterminer. E._ conclut au rejet du recours dans la mesure de sa recevabilité. C._ et D._ invitent le Tribunal fédéral à rejeter le recours. Quant à A._ et B._, ils ont conclu principalement à l'irrecevabilité du recours, subsidiairement à son rejet.

Considérant en droit:
1. 1.1 Les mémoires doivent indiquer les conclusions, les motifs et les moyens de preuve et les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (cf. art. 42 al. 1 et 2 LTF). Les conclusions doivent être interprétées à la lumière de la motivation contenue dans le mémoire (<ref-ruling> consid. 1 p. 103 s. et les références citées).
1.2 En l'occurrence, le recourant conclut principalement à la condamnation de A._ pour abus d'autorité et lésions corporelles simples qualifiées et à la condamnation de B._ pour abus d'autorité. Interprétées à la lumière de la motivation du recours, ses conclusions subsidiaires tendent à l'annulation de l'arrêt cantonal en tant qu'il acquitte ces deux agents, les acquittements de E._, D._ et C._ n'étant en revanche pas remis en question.
2. Il convient d'examiner la qualité pour recourir.
2.1 L'arrêt attaqué a été rendu le 14 janvier 2011. Conformément à l'<ref-law>, la qualité pour recourir s'examine au regard de l'<ref-law>, dans sa teneur en vigueur dès le 1er janvier 2011. Selon l'al. 1 de cette disposition, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente (let. a) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (let. b), soit en particulier la partie plaignante si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles (let. b ch. 5) et le plaignant, pour autant que la contestation porte sur le droit de porter plainte (let. b ch. 6).
En l'espèce, le recourant a indiscutablement participé à la procédure devant l'autorité précédente. En ce qui concerne son intérêt juridique, il faut relever que l'infraction d'abus d'autorité se poursuit d'office et qu'il n'invoque pas d'atteinte à son droit de plainte en relation avec l'infraction de lésions corporelles simples, de sorte que l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas en considération. Par ailleurs, il ne peut élever de prétentions civiles à l'encontre des intimés, dès lors que, dans le canton de Vaud, l'Etat assume une responsabilité exclusive pour le dommage que ses agents causent à des tiers de manière illicite (cf. art. 4 et 5 de la loi vaudoise sur la responsabilité de l'Etat, des communes et de leurs agents; LRECA; RSV 170.11). Par conséquent, le recourant ne peut pas non plus fonder sa qualité pour recourir sur l'art. 81 al. 1 let. b ch. 5 LTF (cf. arrêts 6B_274/2009 consid. 3.1.1, 6B_480/2007 consid. 1.2 et les références citées; <ref-ruling> consid. 2.2 p. 191).
2.2 La qualité pour recourir peut également découler d'un droit constitutionnel à l'application des peines prévues par le Code pénal. La jurisprudence a déduit des art. 10 al. 3 Cst., 7 Pacte ONU II, 3 CEDH et 13 par. 1 de la Convention des Nations unies contre la torture et autres peines ou traitements cruels, inhumains ou dégradants conclue à New York le 10 décembre 1984 (RS 0.105; ci-après : la Convention de New York) le droit pour la victime à l'application, aux responsables de ces traitements, des peines et mesures prévues par la loi pénale. Il en découle un droit pour la victime de tels traitements de recourir sur le fond contre une ordonnance de non-lieu ou de classement, ou contre le jugement d'acquittement, rendu en faveur des prétendus responsables (cf. arrêt 6B_274/2009 consid. 3.1.2 et les références citées).
Pour tomber sous le coup de la convention de New York et des art. 7 Pacte ONU II, 3 CEDH et 10 al. 3 Cst., un mauvais traitement doit en principe être intentionnel et atteindre un minimum de gravité. L'appréciation de ce minimum dépend de l'ensemble des données de la cause, notamment de la durée du traitement et de ses effets physiques ou mentaux, ainsi que, parfois, du sexe, de l'âge et de l'état de santé de la victime. Un traitement atteint le seuil requis et doit être qualifié de dégradant s'il est de nature à créer des sentiments de peur, d'angoisse et d'infériorité propres à humilier ou à avilir la victime, de façon à briser sa résistance physique ou morale ou à la conduire à agir contre sa volonté ou sa conscience. Il y a également traitement dégradant, au sens large, si l'humiliation ou l'avilissement a pour but, non d'amener la victime à agir d'une certaine manière, mais de la punir. Lorsqu'un individu se trouve privé de sa liberté, l'utilisation à son égard de la force physique alors qu'elle n'est pas rendue strictement nécessaire par son comportement porte atteinte à la dignité humaine et constitue, en principe, une violation de la convention de New York et des art. 7 Pacte ONU II, 3 CEDH et 10 al. 3 Cst. (arrêt 6B_274/2009 du 16 février 2010 consid. 3.1.2.2 et les réf. citées).
En l'occurrence, le recourant allègue que, pour l'humilier et le punir des insultes aux agents, il a, sur ordre du brigadier B._, été embarqué dans le fourgon et conduit hors du centre ville dans un endroit isolé, près d'une forêt où il a été abandonné. S'agissant d'un mineur au moment des faits, ces actes constituent déjà un traitement dégradant prohibé par les art. 7 Pacte ONU II, 3 CEDH et 10 al. 3 Cst. Sur le vu des faits allégués par le recourant, celui-ci doit se voir reconnaître la qualité pour contester l'acquittement prononcé en faveur de B._. Il l'a a fortiori en ce qui concerne l'acquittement de A._ qui l'aurait aspergé de spray au poivre au moment où le recourant s'éloignait du fourgon.
3. Selon le recourant, la cour cantonale a enfreint les art. 10 al. 3 Cst., 7 Pacte ONU II et 3 CEDH en lui déniant la qualité pour recourir contre l'acquittement de B._ et de A._ de l'infraction d'abus d'autorité.
Comme on l'a vu au considérant précédent, les actes reprochés aux deux policiers relativement à un abus d'autorité, s'ils étaient avérés, relèveraient du traitement dégradant prohibé par les art. 7 Pacte ONU II, 3 CEDH et 10 al. 3 Cst. Partant, le recourant avait qualité pour contester devant le Tribunal cantonal le bien-fondé de leur acquittement du chef d'infraction d'abus d'autorité. L'autorité précédente a violé les dispositions invoquées en déclarant le recours irrecevable sur ce point (cf. arrêt attaqué, p. 7). Le grief doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour qu'elle examine les critiques factuelles et les arguments de fond du recourant.
Par conséquent, pour ce qui concerne les critiques formées devant le Tribunal fédéral, celles factuelles relatives à l'endroit où le recourant a été déposé hors du centre-ville et à l'inexistence d'un appel en renfort prétendument reçu par le brigadier (p. 21 du recours) sont prématurées et ne seront pas traitées à ce stade. Il n'y a pas non plus lieu de se prononcer en l'état sur l'application de l'<ref-law>.
4. En ce qui concerne l'infraction de lésions corporelles, à l'égard de laquelle la cour cantonale a en revanche admis la qualité pour recourir du recourant et est entrée en matière sur ses griefs, celui-ci se plaint d'arbitraire dans la constatation des faits. Selon lui, la cour cantonale aurait dû retenir que A._ l'avait aspergé de spray au poivre, ce que confirment les témoins F._ et G._ (cf. infra consid. 4.3) ainsi que le coaccusé E._ (cf. infra consid. 4.4). Il reproche aux magistrats précédents de s'être écartés de ces moyens de preuve sans raison sérieuse.
4.1 L'appréciation des preuves n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis sans raison sérieuse de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 4.1.2 et les arrêts cités). Quand l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction.
4.2 Le Tribunal de police, pour écarter la version des faits du recourant, a d'abord relevé que celui-ci n'était pas crédible parce qu'il avait exagéré en mentionnant un mégaspray au lieu d'un spray ordinaire. Or, il n'était pas établi que le fourgon était équipé de mégaspray. On ignorait aussi comment, cas échéant, l'agent A._ se serait procuré ce type de bonbonnes sachant qu'elles sont habituellement logées soit dans l'habitacle du chauffeur soit dans le coffre du véhicule. On ne comprenait en outre pas pourquoi ce policier aurait pris le risque d'incommoder ses collègues qui se trouvaient à proximité ni d'ailleurs pourquoi il aurait commis un tel acte.
En outre, selon les premiers juges, aucun témoignage n'accréditait le récit du recourant. Ils ont en particulier analysé les déclarations de F._ et G._. A la différence de celui-ci, celle-là n'a pas été entendue aux débats et le tribunal s'est référé à ses déclarations lors de l'instruction. Ces témoins avaient déclaré que, à l'occasion d'un café pris à l'hôtel de police, leur collègue D._ leur avait fait le récit de l'intervention du 1er janvier 2006. Elle leur avait rapporté que le recourant avait été conduit à titre de punition près des bois de Sauvabelin, que l'un des policiers l'avait alors aspergé de spray au poivre et qu'elle entendait s'arranger avec C._ pour dire au juge d'instruction qu'ils n'avaient rien vu. Le Tribunal de police a estimé que les témoins ne pouvaient être suivis pour les motifs suivants. En premier lieu, tous deux avaient travaillé comme fonctionnaires de police à la brigade de la jeunesse dont les membres avaient souvent des divergences de vue avec leurs collègues en uniforme actifs sur le terrain, ce qui pouvait entraîner des sentiments d'injustice ou des ressentiments. Le tribunal s'est ensuite étonné que F._ ne se soit manifestée qu'au lendemain des premiers débats en prenant contact avec l'avocate du recourant et non avec les autorités judiciaires. Il a relevé que la déclaration de celle-ci contenait des exagérations. Il était aussi peu vraisemblable que D._ ait livré de telles confidences à la cafétéria de l'hôtel de police, en présence de G._ qu'elle ne connaissait presque pas. Ce policier avait en outre des relations avec le recourant "dépassant le cadre de cette affaire". Les magistrats de première instance ont enfin observé que les deux témoins, épris de justice, avaient pu confondre faits et rumeurs. La Cour de cassation a jugé que les premiers juges n'avaient pas versé dans l'arbitraire en écartant les témoignages de F._ et de G._.
S'agissant des déclarations de E._, le Tribunal de police a noté que ce policier, qui conduisait le fourgon au moment des faits litigieux, avait varié dans ses déclarations. Si, après avoir dans un premier temps nié les faits dénoncés, il avait pu donner l'impression d'admettre l'épisode du sprayage lors de son audition du 29 février 2009, il s'était ensuite expliqué lors de son audition du 24 juin 2009 en avouant uniquement avoir déplacé le recourant pour le ramener chez lui. Examinant ces tergiversations, le Tribunal de police s'en est tenu à cette dernière version. La Cour de cassation a jugé cette interprétation soutenable compte tenu de l'existence de rumeurs au sein de la police et des imprécisions de E._ au sujet de la source de son information lorsqu'il avait admis le sprayage. Elle a ajouté que, au moment où cet agent avait annoncé à A._ qu'il ne le dénoncerait pas, son interlocuteur n'avait ni admis ni démenti les faits.
4.3 Il convient d'examiner en premier lieu si le Tribunal de police et à sa suite la Cour de cassation pouvaient, sans arbitraire, écarter les témoignages de F._ et de G._ pour les motifs énoncés, qui seront traités successivement.
4.3.1 Ressentiment en raison de l'appartenance des témoins à la brigade de la jeunesse
En ce qui concerne F._, les juges se sont mis en contradiction évidente avec des pièces du dossier (dossier cantonal 09, p. 81; PV 23, 25, 26; dossier cantonal 06, p. 86/2) dont il ressort que celle-ci n'a jamais travaillé pour cette unité. Quant à G._, il a effectivement oeuvré au sein de cette brigade. Toutefois, en mentionnant l'existence possible de sentiments d'injustice ou de ressentiments entre les différentes brigades, la cour cantonale ne fait qu'énoncer une hypothèse très générale, sans constater qu'elle concerne précisément le témoin. Sa déduction n'est donc pas soutenable, ce d'autant plus que, selon les constatations des premiers juges, les deux témoins ont quitté la police lausannoise en bons termes et jouissent d'une bonne réputation professionnelle. Le supérieur hiérarchique de G._ l'a décrit comme intelligent, fiable, réfléchi, sensé et équilibré, ajoutant qu'il n'avait jamais constaté de tendance à l'affabulation. En l'absence de tout élément sérieux démontrant que les témoins nourrissaient véritablement un ressentiment à l'égard de la police en général voire de l'un des coaccusés, il était arbitraire d'écarter leurs déclarations pour le motif retenu.
4.3.2 Intervention tardive de F._
Il ressort du dossier et de l'arrêt attaqué que cette fonctionnaire de police, après avoir lu un article paru dans le journal 24 Heures, a pris contact avec l'avocate du recourant par deux courriels datés des 15 et 16 janvier 2009. Elle y indiquait qu'elle avait recueilli les confidences de son amie D._. Celle-ci lui avait expliqué que le transport à Sauvabelin et le sprayage avaient bel et bien eu lieu et que tous les policiers présents dans le fourgon s'étaient mis d'accord pour couvrir A._. Lors de son audition du 26 janvier 2009, F._ a justifié son intervention auprès de l'avocate en exposant qu'elle avait été choquée d'apprendre que la version de la victime était mise en doute. Elle n'en avait pas parlé plus tôt car elle était persuadée que l'un des agents se résoudrait à dire la vérité ou qu'ils seraient confondus d'une quelconque manière. Elle avait d'ailleurs fortement encouragé D._ à ne pas mentir au moment où elles en avaient parlé. Elle ne s'était ensuite plus préoccupée de cette affaire en raison de sa charge professionnelle et de ses ennuis de santé qui l'avaient éloignée de la police.
Les juges précédents ne pouvaient ignorer ces explications. Compte tenu du fait que F._ n'était pas directement concernée par l'affaire et de la difficulté de dénoncer des collègues - étant précisé qu'il ne ressort ni du dossier ni de l'arrêt attaqué qu'elle ait été en conflit avec l'un des agents impliqués - , les explications données par celle-ci quant au moment de son intervention sont hautement vraisemblables. Il n'y avait non plus rien d'anormal à ce qu'elle contacte directement l'avocate du recourant dont l'identité avait été relayée par la presse. En définitive, il était arbitraire de considérer que le mode et le moment de l'intervention du témoin réduisaient sa crédibilité.
4.3.3 Exagérations
Il était également insoutenable d'écarter le témoignage de F._ parce qu'elle avait prétendu que le policier "a[vait] aspergé longuement" le recourant et qu'elle ne se souvenait plus s'il avait agi à l'extérieur du fourgon ou depuis l'intérieur, portes ouvertes. Il ne faut pas perdre de vue que le témoin n'a pas assisté aux faits litigieux mais a rapporté les propos de l'agent D._ qui était présente dans le fourgon. Il est donc normal que le témoin n'ait pas pu faire état avec précision des positions respectives des protagonistes. La durée du sprayage évoquée dans le courriel du 16 janvier 2009 n'apparaît pas non plus déterminante quant à la crédibilité générale des déclarations de F._. Cela étant, on n'y décèle aucune exagération. A chaque fois, elle s'est exprimée avec mesure, sans contradiction interne et sans hésiter à dire qu'elle ne se rappelait pas certains détails.
4.3.4 Confidences faites à la cafétéria en présence d'un tiers
Il était également arbitraire de relativiser les déclarations des témoins au motif que les confidences obtenues avaient été faites dans la cafétéria de l'hôtel de police, alors que les juges précédents n'ont donné aucune précision quant à la configuration et à la fréquentation des lieux.
S'agissant de G._, sa présence n'exclut pas la tenue de ces confidences. Celui-ci a exposé qu'il avait pris plusieurs fois le café en compagnie de F._ et de D._, présence que celle-ci avait commencé par nier avant d'admettre, confrontée à G._, qu'elle avait partagé un café avec lui "deux ou trois fois". Surtout, la relation d'amitié qui le liait à F._ peut expliquer que D._ se soit trouvée en confiance. Comme le souligne le recourant, les contradictions de D._ en relation avec la tenue de cette conversation font sérieusement douter de sa sincérité. Outre son revirement au sujet de G._, elle a admis, après avoir dans un premier temps catégoriquement nié avoir parlé à F._ de ses interventions sur le terrain, qu'il était possible qu'elle lui ait révélé avoir été convoquée par le juge d'instruction tout en précisant qu'elle n'avait en tous les cas pas donné plus d'indications. Sur question du juge d'instruction, elle a ensuite reconnu qu'elle avait "peut-être" dit que c'était en raison de l'intervention litigieuse, ajoutant que son interlocutrice avait "peut-être" posé d'autres questions. La cour cantonale ne pouvait, sous peine d'arbitraire, ignorer ces incohérences.
4.3.5 Relations de G._ avec le recourant
Il ressort du dossier et du jugement de première instance que G._ a déclaré avoir collaboré avec le recourant dans le cadre de la Brigade Jeunesse, ce qui avait suscité des tensions avec certains membres de la brigade puisque tous étaient au courant de la présente affaire. S'il est exact que l'existence de liens familiaux, d'amitié ou d'inimitié ou de rapports de dépendance (relations entre travailleur et employeur, de voisinage, de client, d'appartenance à un groupe) constituent des facteurs déterminants dans l'appréciation de la crédibilité des témoins (PETER SCHUMACHER, Die Würdigung von Zeugen-und Parteiaussagen in : PJA 2000 p. 1451 ss, p. 1454), un simple rapport de collaboration, en l'absence d'autres liens plus proches ou de rapports de dépendance, ne permet pas de déduire la partialité du témoin. En revanche, on relèvera, en faveur de la crédibilité des déclarations de G._ et de F._ que ceux-ci, par leurs déclarations, mettent en cause les membres du groupe auquel ils appartenaient, étant précisé que la seconde n'avait pas encore quitté la police lorsqu'elle a fait ses premières déclarations. Or, il est difficile de charger les membres de son propre groupe, surtout s'il est notoirement connu pour son esprit de corps comme l'armée ou la police. Cela parle plutôt en faveur des déclarations de G._ et de F._.
S'agissant encore de l'éventuelle partialité de G._ qui l'aurait amené à présenter une version des faits favorable au recourant, il faut relever que ce témoin, bien que disposant d'informations décisives favorables au recourant, n'est pas intervenu spontanément dans l'affaire mais seulement après avoir été convoqué par le juge d'instruction. Cette circonstance permet d'écarter le soupçon de partialité dont a tenu compte l'autorité précédente de manière insoutenable.
4.3.6 Confusion entre faits et rumeurs
En dernier lieu, l'autorité cantonale a retenu que G._ et F._, dès lors qu'ils étaient décrits par leurs collègues et supérieurs comme épris de justice, avaient pu confondre faits et rumeurs. Cette déduction ne repose sur rien. On ne voit pas en quoi leur attachement à la justice les exposerait plus particulièrement à une telle confusion. Une rumeur se définit comme un bruit qui court, une nouvelle qui se répand dans le public, dont l'origine et la véracité sont incertains (cf. Petit Robert 2011). En l'espèce, les deux témoins ont indiqué clairement et de manière concordante la source de leur information, soit l'agent D._ en rapportant le récit que celle-ci leur aurait fait de l'intervention litigieuse. On ne saurait les soupçonner dans ces circonstances d'avoir fait état d'une rumeur qui se serait propagée au sein de la police.
4.3.7 Il résulte de ce qui précède que les différents motifs mis en avant par les autorités cantonales pour écarter les témoignages de F._ et G._ ne tiennent pas et apparaissent, globalement appréciés, comme arbitraires.
4.4 Le recourant se plaint d'une interprétation arbitraire des déclarations de E._.
4.4.1 L'appréciation des premiers juges et de la cour cantonale, qui ont privilégié la rétractation de E._, ne peut être suivie, même sous l'angle restreint de l'arbitraire, au regard des déclarations de celui-ci.
Interrogé pour la première fois le 7 septembre 2006 comme témoin, il explique que lui et ses collègues ont conduit le recourant à la route du Pavement pour l'éloigner du centre-ville. Il déclare ne pas avoir vu ce qui s'est passé ensuite. Entendu à nouveau par le juge d'instruction le 29 février 2009, il admet avoir appris dans la journée ou dans les jours qui ont suivi l'intervention que le recourant avait été sprayé par A._. Il ne l'a pas vu lui-même puisqu'il était au volant du fourgon dont le moteur tournait et ne se souvient plus de quel collègue il tient l'information et précise qu'il en a discuté occasionnellement avec les agents présents lors de l'intervention. Selon ses explications, il n'a rien avoué lors de sa première audition parce qu'il avait dit à A._ qu'il se tairait "afin de ne pas le mettre dans la gonfle" et parce qu'il ne voulait pas poser de problèmes à un collègue ni être poursuivi lui-même. Il ajoute qu'il regrette fortement de ne pas avoir spontanément dit la vérité lors de sa première audition, que cela le ronge depuis trois ans et qu'il est content de pouvoir "vider son sac". Selon lui, il n'a jamais été question d'emmener le jeune homme à son domicile mais de l'éloigner du centre afin d'éviter une récidive. Il confirme l'existence d'une "pratique rare (sic)" consistant à conduire des personnes interpellées à l'écart des points chauds, notamment à Sauvabelin.
Par les déclarations du 29 février 2009, E._ admet l'éloignement du recourant loin du centre-ville et l'épisode du sprayage par A._. La crédibilité de telles déclarations est élevée parce qu'elles émanent d'un policier (sur l'appréciation de la valeur probante des déclarations en fonction de l'appartenance à un groupe, cf. consid. 4.3.5 ci-dessus) qui, de surcroît, s'incrimine lui-même.
4.4.2 La "rétractation" intervenue lors de la confrontation ultérieure avec A._ tenue devant le juge d'instruction le 24 juin 2009 apparaît peu fiable.
D'abord, il faut relever que E._ nuance tout au plus le récit du 29 février 2009 en affirmant qu'il avait appris l'existence du sprayage par une rumeur. Ces nouvelles déclarations sont, pour le moins, sujettes à caution. En effet, la rumeur étant une information dont la véracité est douteuse, on ne comprend pas pourquoi il aurait abordé A._ en l'assurant de son silence. Une telle démarche n'était en effet cohérente que s'il était convaincu de la véracité de l'information.
Ensuite, il faut également tenir compte des circonstances de la rétractation. Celle-ci intervient alors que E._ paraît moins libre de s'exprimer puisqu'il est confronté à l'auteur présumé du sprayage qui maintient sa version des faits. Il déclare d'ailleurs souffrir de la situation en raison des critiques des médias mais aussi "des très nombreuses remarques des collègues". Apprécié au regard de la déclaration spontanée faite le 29 février 2009, ce nouveau récit doit donc être accueilli avec réserve.
Enfin, E._ ne convainc guère lorsqu'il explique qu'en déclarant qu'il n'était pas fier de ce qui s'était passé, il faisait uniquement référence au déplacement du recourant près de son domicile. Ces propos contredisent ceux tenus lors de l'audition du 29 février 2009 dans laquelle il exprime ses remords juste après avoir confessé n'avoir pas dit la vérité, en septembre 2006, sur l'épisode du sprayage. Cette explication est par ailleurs beaucoup plus plausible car il ne serait guère compréhensible que le seul transport du recourant ait pesé sur sa conscience pendant trois ans.
4.5 En définitive, aussi bien les témoignages de G._ et de F._ que les déclarations de E._ ont été écartés pour des motifs qui apparaissent dépourvus de justification.
Par ailleurs, l'état de fait retenu ne peut plus être déduit de manière soutenable du premier argument relevé par le Tribunal de police, soit les prétendues imprécisions et lacunes au sujet de l'utilisation d'un mégaspray. En effet, à supposer que le sprayage ait eu lieu, on ne pouvait exiger du recourant, qui avait nécessairement été surpris, qu'il donne une description très exacte de l'objet et qu'il explique d'où le policier avait tiré la bonbonne. Qu'il ait peut-être exagéré en parlant de l'utilisation d'un mégaspray au lieu d'un spray ordinaire ne saurait ôter toute crédibilité à ses dires. Par conséquent, il faut admettre que le résultat de l'appréciation des preuves par la cour cantonale apparaît arbitraire au regard des témoignages écartés pour des motifs non avérés. Dans ces conditions, le recours doit être admis, l'arrêt attaqué annulé en tant qu'il concerne l'acquittement de A._ et B._ et la cause renvoyée à l'autorité précédente pour nouvelle décision. Il lui appartiendra de procéder à une nouvelle appréciation d'ensemble des preuves avant de constater les faits et d'appliquer le droit relativement aux faits reprochés aux deux policiers.
5. Vu le sort du recours, les frais judiciaires sont mis à la charge des intimés A._ et B._, à hauteur de deux tiers, solidairement entre eux, le canton de Vaud n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF).
Il n'y a pas lieu de mettre de frais ou de dépens à la charge des intimés C._, D._ et E._, même s'ils ont conclu au rejet du recours, lequel ne les concernait cependant pas (supra, consid. 1.2). Au vu de leurs conclusions, il ne leur sera pas alloué de dépens.
Le recourant, assisté d'un avocat, a droit à des dépens, à la charge du canton de Vaud et des intimés B._ et A._ (<ref-law>). Les dépens sont répartis à parts égales entre eux. La requête d'assistance judiciaire du recourant devient ainsi sans objet. Pour le cas où les dépens ne pourraient pas être recouvrés auprès des intimés B._ et A._, ils seront pris en charge pas la Caisse du Tribunal fédéral (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé en tant qu'il acquitte B._ et A._ et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des intimés A._ et B._ à hauteur de 1340 fr., solidairement entre eux.
3. Le canton de Vaud ainsi que les intimés A._ et B._ verseront chacun au recourant une indemnité de 1000 fr. à payer à titre de dépens.
4. La demande d'assistance judiciaire est sans objet.
5. Pour le cas où les dépens dus par les intimés A._ et B._ ne pourraient pas être recouvrés, la Caisse du Tribunal fédéral versera à la mandataire du recourant une indemnité de 2'000 fr. à titre d'honoraires d'avocat d'office.
6. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 24 octobre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
La Greffière: Rey-Mermet