Faits : A. Dans le cadre d'une procédure pénale menée par le Ministère public de la Confédération pour blanchiment d'argent, trafic aggravé de stupéfiants et appartenance à une organisation criminelle, X._ a été détenu avant jugement du 23 juillet 2009 au 15 octobre 2009, dont jusqu'au 29 septembre 2009 à la prison du Bois-Mermet. Le 18 septembre 2009, en début de matinée, X._ a été amené par les gardiens D._ et B._ afin d'être placé en cellule d'attente pour être entendu par la directrice de l'établissement dans le cadre d'une enquête disciplinaire ouverte à son encontre. Lors du contrôle de sécurité par palpation, B._ a remarqué un objet dans la poche du short de X._. Ce dernier a déclaré qu'il s'agissait d'un tube de pommade. Il a ensuite rapidement sorti le tube pour se mettre de la crème sur sa jambe blessée, puis l'a ensuite remis dans sa poche, sans que les agents aient eu le temps de le voir. Il a refusé d'obtempérer à la demande, formulée à plusieurs reprises, des deux surveillants de leur montrer l'objet pour contrôle. Alertés par le bruit, C._, surveillant-chef, A._ et E._, surveillants, sont arrivés devant la cellule quelques minutes plus tard. C._ a sommé à plusieurs reprises X._ à travers la guignarde de donner le tube de pommade. En vain. Il l'a averti que s'il refusait de le remettre, lui et ses collègues seraient contraints de venir le chercher. X._ n'obtempérant pas, C._ a donné l'ordre d'intervenir pour récupérer l'objet. Trois surveillants ont tenu les bras de X._, C._ a plaqué le haut du corps sur une petite table, aidé par le cinquième gardien. X._ était difficile à maîtriser car il résistait avec force et se débattait violemment, tentant de donner des coups. A un moment, B._ a réussi à sortir le tube de la poche de X._. C._ a alors donné l'ordre de le lâcher et de quitter la cellule. X._ a encore tenté de leur asséner des coups avant d'attraper par le col A._, qui est tombé au sol, X._ se mettant sur lui. B._ a essayé de tirer A._ de la cellule, sans y parvenir. Finalement C._ a donné un coup de pied dans les parties intimes de X._, qui a lâché A._. B. Par jugement du 13 mars 2015, le Tribunal de police de l'arrondissement de Lausanne a libéré C._, A._, B._, D._ et E._ des chefs d'accusation de lésions corporelles simples qualifiées, lésions corporelles par négligence, agression et abus d'autorité à l'encontre de X._, partie plaignante. Il a prononcé des indemnités fondées sur l'art. 429 CPP en faveur des cinq prévenus et laissé les frais de la cause à la charge de l'Etat. C. Par jugement du 31 août 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._, confirmé le jugement du 13 mars 2015 et alloué aux cinq prévenus des indemnités fondées sur l'art. 429 CPP. Les frais d'appel, comprenant ces indemnités, étaient mis à la charge de X._. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 31 août 2015. Il conclut, avec suite de frais et dépens, à ce que les faits retenus par la Cour d'appel soient modifiés, le jugement réformé en ce sens que C._, A._, B._, D._ et E._ sont condamnés pour lésions corporelles simples qualifiées, agression et abus d'autorité à une peine fixée à dire de justice. Subsidiairement, il sollicite l'annulation du jugement du 31 août 2015 et le renvoi de la cause à l'autorité précédente pour nouvelle décision.