Faits :
A.
Dans le cadre d'une procédure pénale menée par le Ministère public de la Confédération pour blanchiment d'argent, trafic aggravé de stupéfiants et appartenance à une organisation criminelle, X._ a été détenu avant jugement du 23 juillet 2009 au 15 octobre 2009, dont jusqu'au 29 septembre 2009 à la prison du Bois-Mermet.
Le 18 septembre 2009, en début de matinée, X._ a été amené par les gardiens D._ et B._ afin d'être placé en cellule d'attente pour être entendu par la directrice de l'établissement dans le cadre d'une enquête disciplinaire ouverte à son encontre. Lors du contrôle de sécurité par palpation, B._ a remarqué un objet dans la poche du short de X._. Ce dernier a déclaré qu'il s'agissait d'un tube de pommade. Il a ensuite rapidement sorti le tube pour se mettre de la crème sur sa jambe blessée, puis l'a ensuite remis dans sa poche, sans que les agents aient eu le temps de le voir. Il a refusé d'obtempérer à la demande, formulée à plusieurs reprises, des deux surveillants de leur montrer l'objet pour contrôle. Alertés par le bruit, C._, surveillant-chef, A._ et E._, surveillants, sont arrivés devant la cellule quelques minutes plus tard. C._ a sommé à plusieurs reprises X._ à travers la guignarde de donner le tube de pommade. En vain. Il l'a averti que s'il refusait de le remettre, lui et ses collègues seraient contraints de venir le chercher. X._ n'obtempérant pas, C._ a donné l'ordre d'intervenir pour récupérer l'objet. Trois surveillants ont tenu les bras de X._, C._ a plaqué le haut du corps sur une petite table, aidé par le cinquième gardien. X._ était difficile à maîtriser car il résistait avec force et se débattait violemment, tentant de donner des coups. A un moment, B._ a réussi à sortir le tube de la poche de X._. C._ a alors donné l'ordre de le lâcher et de quitter la cellule. X._ a encore tenté de leur asséner des coups avant d'attraper par le col A._, qui est tombé au sol, X._ se mettant sur lui. B._ a essayé de tirer A._ de la cellule, sans y parvenir. Finalement C._ a donné un coup de pied dans les parties intimes de X._, qui a lâché A._.
B.
Par jugement du 13 mars 2015, le Tribunal de police de l'arrondissement de Lausanne a libéré C._, A._, B._, D._ et E._ des chefs d'accusation de lésions corporelles simples qualifiées, lésions corporelles par négligence, agression et abus d'autorité à l'encontre de X._, partie plaignante. Il a prononcé des indemnités fondées sur l'art. 429 CPP en faveur des cinq prévenus et laissé les frais de la cause à la charge de l'Etat.
C.
Par jugement du 31 août 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._, confirmé le jugement du 13 mars 2015 et alloué aux cinq prévenus des indemnités fondées sur l'art. 429 CPP. Les frais d'appel, comprenant ces indemnités, étaient mis à la charge de X._.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 31 août 2015. Il conclut, avec suite de frais et dépens, à ce que les faits retenus par la Cour d'appel soient modifiés, le jugement réformé en ce sens que C._, A._, B._, D._ et E._ sont condamnés pour lésions corporelles simples qualifiées, agression et abus d'autorité à une peine fixée à dire de justice. Subsidiairement, il sollicite l'annulation du jugement du 31 août 2015 et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Considérant en droit :
1.
A teneur de l'art. 81 al. 1 let. b LTF, la qualité pour former un recours en matière pénale appartient à toute personne qui, entre autres conditions, a un intérêt juridique à l'annulation ou à la modification de la décision attaquée. Selon la jurisprudence, cet intérêt juridique est notamment reconnu à la partie plaignante qui prétend avoir subi des traitements cruels, inhumains ou dégradants prohibés par les art. 3 CEDH et 10 al. 3 Cst., lorsque cette partie attaque une ordonnance de classement ou un jugement d'acquittement rendus en faveur des personnes censément coupables de ces traitements prohibés. La condition dont dépend la qualité de la partie plaignante pour recourir selon l'art. 81 al. 1 let. b ch. 5 LTF, relative aux effets de la décision attaquée sur ses prétentions civiles, n'est alors pas applicable (ATF 138 IV 86 consid. 3 p. 87).
En l'espèce, le recourant soutient avoir subi des lésions corporelles alors qu'il était incarcéré, lesquelles auraient été causées par les intimés. Invoquant à l'appui de sa qualité pour recourir l'art. 3 CEDH et la jurisprudence qui précède, il doit se voir reconnaître cette qualité.
2.
Eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés. Le recourant doit par conséquent critiquer les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (ATF 140 III 115 consid. 2 p. 116; également ATF 137 III 580 consid. 1.3 p. 584). De plus, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (ATF 141 IV 369 consid. 6.3 p. 375).
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Pour que la décision soit annulée, il faut qu'elle se révèle arbitraire non seulement dans ses motifs mais aussi dans son résultat (ATF 140 III 115 consid. 2 p. 117; 140 I 201 consid. 6.1 p. 205). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (ATF 141 IV 249 consid. 1.3.1 p. 253).
3.
Dans un grief de nature formelle qu'il convient d'examiner en premier lieu, le recourant invoque une violation de son droit d'être entendu fondé sur l'art. 29 al. 2 Cst. A l'appui de ce grief, il reproche à l'autorité précédente de n'avoir pas examiné le grief formulé dans son mémoire d'appel que la fouille n'était pas nécessaire dès lors que les intimés auraient parfaitement pu l'enfermer dans la cellule d'attente le temps qu'il se calme.
3.1. Le droit d'être entendu, garanti par l'art. 3 al. 2 let. c CPP et l'art. 29 al. 2 Cst., implique pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et afin que l'autorité de recours puisse exercer son contrôle. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (ATF 141 IV 249 consid. 1.3.1 p. 253; 139 IV 179 consid. 2.2 p. 183). Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (ATF 139 IV 179 consid. 2.2 p. 183).
3.2. Il ressort de la lecture de son appel que le recourant a allégué, en p. 22, au milieu d'autres affirmations non documentées, qu'" il ressort cependant du dossier que les prévenus auraient pu agir moins violemment qu'ils ne l'ont fait. En effet, ils auraient pu laisser l'appelant se calmer dans la cellule d'attente ". La possibilité de laisser le recourant seul en cellule d'attente et ce dans l'espoir qu'il se calme et donne volontairement l'objet jugé potentiellement dangereux, n'a pas été retenue par l'autorité précédente. Le recourant n'allègue ni ne démontre l'arbitraire de l'omission de ces faits (sur ce point cf. également infra consid. 6.2 3e paragraphe). Dans ces circonstances, on ne saurait reprocher à l'autorité précédente de n'avoir pas examiné le caractère proportionnel de l'intervention des intimés sur la base de tels faits. Le grief de violation du droit d'être entendu est infondé.
4.
Le recourant invoque une appréciation des preuves et une constatation des faits arbitraires.
4.1. Le recourant se plaint que l'autorité précédente se soit fondée pour reconstituer les évènements du 18 septembre 2009 sur le rapport de l'intimé C._, surveillant-chef, établi le lendemain de l'incident et sur les premières déclarations des intimés, mais non les déclarations du recourant et celles postérieures des intimés, à moins que ces dernières ne soient corroborées par d'autres éléments au dossier. Le recourant estime que cette appréciation des preuves, dûment motivée (cf. jugement attaqué p. 27 ss ch. 4.1.1 et 4.1.2), est arbitraire sans expliquer aucunement pour quel motif. Que certaines déclarations postérieures des intimés l'arrangent n'est à cet égard pas suffisant. Purement appellatoire, le grief est irrecevable.
4.2. Le recourant reproche à l'autorité précédente de n'avoir pas constaté que les intimés avaient pu voir le tube, bien que - de l'aveu même du recourant - ils n'aient pu le contrôler. L'autorité précédente a exposé en détail les éléments qui l'ont conduite à retenir que les intimés B._ et D._ n'avaient pu ni voir le tube de pommade, ni à plus forte raison le contrôler (cf. jugement attaqué, p. 29-30 consid. 4.2). Le recourant ignore totalement ce raisonnement, se contentant à nouveau d'invoquer en sa faveur les déclarations et éléments qui l'arrangent. Appellatoire, son argumentation est irrecevable. Au demeurant, la question était de savoir si l'objet était dangereux. La résoudre impliquait non pas seulement d'avoir entendu le recourant déclarer qu'il s'agissait d'un tube de pommade ou même de voir cas échéant l'objet à la dérobée, mais bien de pouvoir le contrôler correctement afin de s'assurer qu'il s'agissait d'un objet non dangereux, par exemple non d'un tube de pommade enroulé dans lequel aurait été cachée une lame de rasoir.
4.3. Le recourant reproche à l'autorité précédente de n'avoir pas constaté, outre le fait que l'intimé B._ a eu de la pommade " plein les mains " après avoir saisi le tube dans la poche du recourant, que ce fait a été corroboré par l'intimé E._. Il estime que l'autorité précédente aurait dû déduire de ces déclarations que l'intimé B._ n'avait pas mis de gants pour saisir le tube, élément important pour évaluer le risque sécuritaire dudit objet. Cette constatation serait essentielle pour apprécier tant la bonne foi des surveillants que l'opportunité de leur décision de recourir à la force. L'omission pour les surveillants de se protéger pour saisir par la force le tube démontrait qu'ils n'estimaient pas l'objet dangereux et donc que cette dangerosité invoquée n'était qu'un prétexte pour recourir à la force.
Il ressort des faits constatés par l'autorité précédente que le recourant a sorti l'objet avant de le remettre dans la poche de son short. Dès lors que le recourant avait lui-même placé tout contre son corps l'objet qu'il avait refusé de montrer aux intimés, ceux-ci pouvaient bien penser que même s'il s'agissait d'un objet potentiellement dangereux, il ne l'était pas dans l'état où le recourant l'avait mis dans sa poche (par exemple lame de rasoir " emballée " dans un tube de pommade). Que l'un des intimés ait osé, dans le feu de l'action, aller prendre l'objet à main nue, n'impliquait donc pas, sous peine de tomber dans l'arbitraire, de retenir que les intimés savaient que l'objet n'était pas dangereux. Le grief est infondé. On ne voit pour le surplus pas en quoi l'omission de déduire du fait que l'intimé B._ avait de la pommade plein les doigts qu'il n'avait pas mis de gants pour saisir le tube violerait le droit d'être entendu du recourant. Faute de motivation à cet égard, ce grief est irrecevable.
4.4. Le recourant invoque qu'il était insoutenable de retenir qu'il s'était auto-mutilé. Il n'expose toutefois pas en quoi cette prétendue constatation aurait conduit à un résultat arbitraire. Tel que motivé, le grief ne répond pas aux exigences déduites de l'art. 106 al. 2 LTF. Il est irrecevable.
5.
Le recourant estime qu'aucune base légale n'autorisait l'usage de la force par les surveillants de la prison dans le cadre d'une fouille. Il invoque à cet égard les art. 10 et 36 al. 1 Cst. Il conteste en particulier que la Recommandation Rec (2006) 2 sur les Règles pénitentiaires européennes adoptée par le Comité des Ministres du Conseil de l'Europe le 11 janvier 2006 (RPE) puisse constituer une base légale.
5.1. Aux termes de l'art. 10 al. 2 Cst., tout être humain a droit à la liberté personnelle, notamment à l'intégrité physique et psychique et à la liberté de mouvement.
A l'instar de tout autre droit fondamental, la liberté personnelle n'a pas une valeur absolue. Conformément à l'art. 36 Cst., une restriction de cette garantie est admissible, si elle repose sur une base légale, qui, en cas d'atteinte grave, doit être prévue dans une loi au sens formel (al. 1), si elle est justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui (al. 2) et si elle respecte le principe de la proportionnalité (al. 3), sans violer l'essence du droit en question (al. 4; ATF 137 I 167 consid. 3.6 p. 175; 136 I 197 consid. 4.4.4 p. 205; 134 I 214 consid. 5.4 p. 217).
5.2. S'agissant de la base légale nécessaire en cas de restriction de la liberté découlant de la détention, la jurisprudence considère que lorsque les causes et la durée de la privation de la liberté sont prévues dans une loi au sens formel, les restrictions à la liberté personnelle des détenus qui découlent des conditions de détention peuvent figurer dans une loi au sens matériel, à savoir un règlement de prison, car ces personnes sont liées à l'Etat par un rapport de droit spécial (ATF 124 I 203 consid. 2b p. 205 s.; 123 I 221 consid. I/4a p. 226; plus récemment arrêt 1B_425/2015 du 21 juin 2016 consid. 2.4.1). Le règlement de prison doit satisfaire à des exigences minimales de clarté et de précision, afin d'assurer aux détenus une protection suffisante contre l'arbitraire ou d'autres violations de leurs droits fondamentaux (ATF 123 I 221 consid. 4a p. 226; voir aussi ATF 124 I 203 consid. 2b p. 205).
5.3. En l'occurrence, la détention provisoire et la détention pour des motifs de sûreté sont réglées par les art. 220 ss CPP, qui déterminent les conditions où une telle privation de liberté peut être ordonnée ainsi que la procédure qui doit être suivie. L'art. 235 al. 1 CPP prévoit en particulier que la liberté des prévenus en détention ne peut être restreinte que dans la mesure requise par le but de la détention et par le respect de l'ordre et de la sécurité dans l'établissement. Cette clause autorise dans son principe la restriction des droits des détenus, dans la mesure requise par le but de la détention et pour assurer l'ordre et la sécurité dans l'établissement. Elle constitue une base légale suffisante pour ce faire (cf. arrêts 1B_425/2015 du 21 juin 2016 consid. 2.4.1; 1B_17/2015 du 18 mars 2015 consid. 3.1; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2e éd. 2013, n° 1 ad art. 235 CPP). Conformément à l'art. 235 al. 5 CPP, c'est au législateur cantonal qu'il appartient de régler les droits et les obligations des prévenus en détention, leurs droits de recours, les mesures disciplinaires ainsi que la surveillance des établissements de détention.
5.4. La prison où s'est déroulée la fouille, le 18 septembre 2009, est celle du Bois-Mermet, sise dans le canton de Vaud. La détention avant jugement y est réglée notamment par les textes suivants:
5.4.1. La loi vaudoise du 7 novembre 2006 sur l'exécution de la détention avant jugement (LEDJ; RS/VD 312.07), régissant les établissements de détention avant jugement, prévoit que les établissements pénitentiaires assurent la garde, l'hébergement et le traitement des détenus qui leur sont confiés (art. 7 al. 1 1e phrase LEDJ). Dans le cadre de leur mission, ils veillent au respect de la dignité des détenus (art. 7 al. 2 LEDJ). Un règlement précise le statut des détenus et le régime de détention qui leur est applicable (art. 7 al. 3 LEDJ). L'art. 10 LEDJ prévoit qu'à leur entrée dans l'établissement, les détenus sont fouillés par une personne de leur sexe. Cette fouille a lieu hors de toute autre présence, à moins que la sécurité ne l'exige.
5.4.2. Le règlement vaudois du 16 janvier 2008 sur le statut des détenus avant jugement et des condamnés placés dans un établissement de détention avant jugement et les régimes de détention applicables (RSDAJ, RS/VD 340.02.5) est notamment fondé sur la LEDJ. L'art. 9 RSDAJ reprend la prescription et les modalités de la fouille des détenus lors de leur entrée dans l'établissement, telles que prévues par l'art. 10 LEDJ. L'art. 78 RSDAJ permet également la fouille des détenus chaque fois qu'ils entrent dans l'établissement ou qu'ils en sortent, avant et après leurs rencontres avec des tiers et à l'occasion de leurs déplacements à l'intérieur de l'établissement. La fouille se déroule aux conditions prévues à l'article 9 RSDAJ.
5.4.3. A ces textes s'ajoute le règlement du 9 septembre 1977 de la prison du Bois-Mermet à Lausanne (R-BM; RS/VD 340.11.2). L'art. 46 R-BM prévoit que le directeur ordonne les mesures de sûreté nécessaires à la garde des détenus. Selon l'art. 123 R-BM, le surveillant-chef est responsable des mesures de sûreté nécessaires à la garde des détenus (al. 1). Il organise et surveille leurs déplacements à l'intérieur de l'établissement (al. 3). Les surveillants sont quant à eux placés sous l'autorité du surveillant-chef et du surveillant sous-chef (art. 139 R-BM). Ils exercent sur les détenus l'autorité nécessaire à l'accomplissement de leur mission (art. 140 R-BM) et ont pour mission d'assurer la garde des détenus et d'observer les dispositions du règlement relatives au régime qui leur est applicable (art. 141 R-BM). S'agissant de la garde des détenus, les surveillants appliquent les mesures de sûreté nécessaires à la garde des détenus, conformément aux instructions de la direction (art. 142 R-BM). Aux termes de l'art. 143 R-BM, les surveillants contrôlent régulièrement les détenus confiés à leur garde.
5.5. Dès lors que les causes et la durée de la détention avant jugement sont prévues dans une loi au sens formel, soit les art. 220 ss CPP, les restrictions à la liberté personnelle, comprenant l'intégrité physique, découlant des conditions de détention pouvaient figurer dans les règlements précités. En l'occurrence, l'art. 78 RSDAJ autorise expressément la fouille des détenus à l'occasion de leurs déplacements à l'intérieur de l'établissement, de même qu'avant leurs rencontres avec des tiers. Celle-ci peut être effectuée, lorsque cela est nécessaire pour la sûreté, soit sur ordre du surveillant-chef, soit directement par les surveillants (cf. respectivement art. 123 et 143 R-BM). Il résulte de ce qui précède que le recourant qui se déplaçait dans l'établissement pénitentiaire, afin d'y rencontrer la directrice, pouvait être fouillé si cela était nécessaire pour la sûreté. Il l'a par surabondance été sur ordre d'un surveillant-chef comme le prescrit l'art. 123 R-BM.
S'agissant de l'usage de la force à l'encontre d'un détenu, notamment afin d'effectuer une fouille que les circonstances imposent et permettent, les règlements précités ne mentionnent pas expressément un tel usage. L'obligation pour le surveillant-chef de prendre les " mesures de sûreté nécessaires " à la garde des détenus (art. 123 al. 1 R-BM) et pour les surveillants d'exercer sur les détenus " l'autorité nécessaire à l'accomplissement de leur mission " (art. 140 R-BM) et de contrôler régulièrement les détenus confiés à leur garde (art. 143 R-BM) doit toutefois être interprétée comme permettant au premier d'ordonner une fouille forcée, si les circonstances l'exigent, et aux seconds d'y procéder. La nécessité à laquelle se réfère à plusieurs reprises le R-BM inclut ainsi, dans le respect du principe de proportionnalité, l'usage de la force afin d'assurer que les mesures de sûreté nécessaires puissent être prises et notamment la mesure de sécurité qu'est la fouille.
Au vu de ce qui précède, la base légale permettant aux intimés d'exécuter une fouille au besoin par la force se trouve dans les dispositions fédérales et cantonales examinées. L'exigence de base légale au sens de l'art. 36 Cst. doit par conséquent être considérée comme respectée. L'argumentation du recourant concernant la RPE est sans portée.
5.6. Pour le surplus, que l'usage de la force soit prévu expressément par une loi, dans des configurations ne concernant pas le cas du recourant (mesures de contrainte, art. 200 CPP; fouille effectuée hors d'une situation de détention, art. 241 CPP; art. 24 de la loi vaudoise du 17 novembre 1975 sur la police cantonale (RS/VD 133.11) est impropre à remettre en question l'existence d'une base légale suffisante dans les dispositions fédérales et cantonales précitées.
6.
Le recourant ne conteste pas que la fouille d'un détenu, lors d'un déplacement et alors qu'il va rencontrer la directrice de l'établissement et est soupçonné d'être porteur d'un objet potentiellement dangereux, est justifiée par un intérêt public au sens de l'art. 36 al. 2 Cst. Il conteste toutefois le caractère proportionné de la fouille qui a eu lieu le 18 septembre 2009. Il invoque à cet égard les art. 5 al. 2 et 36 al. 3 Cst.
6.1. Pour être conforme au principe de la proportionnalité visée par ces dispositions, une restriction d'un droit fondamental doit être apte à atteindre le but visé (règle de l'aptitude), lequel ne peut pas être obtenu par une mesure moins incisive (règle de la nécessité). Il doit en outre exister un rapport raisonnable entre les effets de la mesure sur la situation de la personne visée et le résultat escompté du point de vue de l'intérêt public (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts; ATF 140 I 381 consid. 4.5 p. 389; 140 I 218 consid. 6.7.1 p. 235 s.; 137 I 167 consid. 3.6 p. 175).
6.2. A l'appui de son grief, le recourant affirme que l'autorité précédente n'a pas examiné la seconde condition qu'est la nécessité du recours à la force. C'est faire l'impasse sur les consid. 6.2.1 et 6.2.2 p. 42 s. du jugement entrepris qui exposent pour quels motifs la fouille, finalement contre le gré du recourant, s'est avérée nécessaire au vu des circonstances. Le recourant ne critique pas ce raisonnement, se bornant à contester la nécessité de la fouille opérée en se fondant sur des faits qui s'écartent de ceux retenus par l'autorité précédente (cf. notamment supra consid. 4.2 et 4.3), sans démontrer l'arbitraire de ces derniers faits. Tel que motivé, le grief de violation du principe de proportionnalité soulevé est irrecevable.
Au demeurant, le contrôle de l'objet litigieux, que le recourant avait refusé de montrer malgré les sommations des intimés, visait à assurer la sécurité de l'établissement dans lequel se déplaçait le recourant, la sécurité de ce dernier, qui avait notamment commencé une grève de la faim l'avant-veille, et celle du personnel et de la directrice qu'il allait rencontrer afin d'être entendu dans le cadre d'une enquête disciplinaire instruite à son encontre. L'obtention de l'objet litigieux pour contrôle était donc apte à s'assurer que l'objet n'était pas dangereux pour les intérêts et personnes précités. L'usage de la force était également apte à l'obtenir dès lors que le recourant refusait de le donner spontanément.
C'est sans arbitraire que la cour cantonale a omis de retenir que le recourant aurait pu être laissé seul, comme il le soutient, dans la cellule d'attente jusqu'à ce qu'il accepte, à un moment indéterminé, de donner l'objet qu'il savait devoir remettre. A l'encontre d'une telle possibilité, non constatée (cf. supra consid. 3.2), parlent déjà l'état du recourant qui était agité, très révolté et prêt à mettre sa propre santé en danger, ainsi que l'absence de relation de confiance et de dialogue entre le recourant et les intimés. Dès lors que l'objet était indéterminé, il n'apparaît pas que le recourant ait pu, dans un tel état, être laissé seul avec celui-ci. Dans la mesure où il refusait de donner suite aux diverses sommations de remettre l'objet pour contrôle, alors qu'il savait qu'il s'agissait de la procédure habituelle, une intervention afin de le lui prendre de force était inévitable. Le recourant ayant replacé, volontairement, l'objet dans son short après l'avoir sorti brièvement, cette reprise devait s'opérer par le biais d'une fouille.
Enfin, le respect du principe de proportionnalité implique l'existence d'un rapport raisonnable entre les effets de la mesure sur la situation du recourant et le résultat escompté du point de vue de l'intérêt public. En l'espèce, la fouille a été effectuée par l'un des intimés, consistant uniquement à mettre la main dans la poche du short du recourant pour en extraire l'objet, après l'avoir immobilisé. Cette immobilisation a été possible par l'intervention des cinq intimés, trois lui bloquant les bras, deux lui maintenant le torse plaqué contre une table. Le recourant a dû à cette occasion être maintenu fortement dès lors qu'il se débattait et tentait d'asséner des coups. Le recourant a invoqué avoir subi de nombreuses lésions lors de l'intervention du 18 septembre 2009. Il ne soutient toutefois pas avoir reçu des coups à l'occasion de la fouille. Il ne revient en outre pas sur les faits constatés par l'autorité précédente qu'à la suite de cette fouille, les intimés sont sortis un à un de la cellule, que le recourant a tenté de leur asséner des coups, qu'il a ensuite attrapé par le col l'intimé A._, qui est tombé avec lui au sol, que le recourant était fou de rage, que l'intimé B._ a essayé de tirer l'intimé A._ de la cellule, sans y parvenir et que finalement l'intimé C._ a donné un coup de pied dans les parties intimes du recourant pour qu'il relâche l'intimé A._. Au vu de cette deuxième partie de l'incident, entièrement imputable au recourant, on ne peut que retenir que les lésions constatées par les certificats médicaux n'ont pas toutes été causées par l'immobilisation et la fouille qu'il conteste. A cela s'ajoute qu'alors que le recourant prétendait être couvert de sang après l'intervention des intimés aucune des personnes présentes ou ayant vu le recourant juste après l'altercation n'a constaté de trace de sang sur lui, alors même qu'il était vêtu d'un t-shirt blanc et d'un short. Lors de l'entretien qui a suivi avec la directrice et son assistante, le recourant ne leur a ainsi montré qu'une bosse sur le front et elles n'ont vu ni blessures au visage, telles que constatées ensuite par certificats médicaux, ni trace de sang. L'autorité précédente estime que l'hypothèse d'une auto-mutilation, telle que constatée dans le rapport du 19 septembre 2009 de l'intimé C._ et attestée par l'intimé B._, afin de créer des blessures après l'incident, ne peut être exclue. Le recourant le conteste invoquant le témoignage de son ancien codétenu F._, témoin qu'il estime digne de foi (recours, p. 4 in fine). Selon celui-ci, quelques jours avant le départ du recourant de la prison du Bois-Mermet (le 29 septembre 2009), alors que le témoin était sous la douche, des surveillants sont venus chercher le recourant en cellule. Le recourant, qui ne s'est pas plaint d'une autre altercation avec des surveillants que celle objet de la présente cause, aurait dit au témoin, quand il est revenu de dite altercation, que les surveillants lui avaient fait du mal. Le témoin a indiqué à ce sujet que le recourant lui avait montré des traces, soit des bleus, sur la jambe. Il a en revanche indiqué que le recourant n'avait pas de blessure ailleurs (PV d'audition n° 10 du 8 août 2011, lignes 61 à 76; art. 105 al. 2 LTF). De telles déclarations ne font qu'appuyer l'appréciation de la cour cantonale que les blessures constatées par les certificats médicaux établis le 18 septembre 2009 à 17 h et le 22 septembre 2009 ne sont pas toutes liées à l'incident du 18 septembre 2009 au matin et en particulier à l'immobilisation et la fouille exécutées ce jour. Au vu de ce qui précède, la restriction de la liberté personnelle du recourant, notamment dans son intégrité physique - consistant dans le fait d'être immobilisé de force alors qu'il résistait, dans des marques sur les poignets, les bras et les jambes possiblement causées par les prises faites lors de dite immobilisation (cf. jugement entrepris, p. 43 consid. 6.2.2), et dans la fouille de la poche de son short - n'était pas déraisonnable par rapport au but d'intérêt public visé, soit s'assurer, au vu de l'état agité et très révolté du recourant, que l'objet qu'il refusait de remettre pour contrôle n'était pas dangereux, que ce soit pour lui-même ou le personnel de prison. Que les intimés aient dû intervenir à cinq ne peut leur être reproché, ni rendre disproportionnée leur intervention. En effet, lorsque l'ordre de fouille a été donné, le recourant s'est opposé et a résisté très vigoureusement, tentant de donner des coups. L'intervention de plusieurs personnes pour l'immobiliser de manière efficace, rapide et la moins dommageable possible tant pour le recourant que pour les intimés était censée.
Il résulte de ce qui précède que la fouille contestée, telle qu'elle a été exécutée, ne viole pas le principe de proportionnalité.
7.
Le recourant invoque une violation des art. 14, 123, 134 et 312 CP.
L'autorité a admis l'application de la première disposition et écarté celle des autres dans un raisonnement détaillé exposé dans le jugement attaqué en p. 41 à 46. Le recourant n'en dit mot. Après avoir exposé différents passages de jurisprudence ou de doctrine sur les dispositions invoquées ci-dessus, il se borne, pour toute motivation topique de son grief, à affirmer que le jugement entrepris viole les art. 14, 123, 134 et 312 CP, " en partant des prémisses erronées qu'il y avait une base légale et que le principe de proportionnalité avait été respecté " (recours, p. 12). Insuffisamment précis, ne détaillant même pas dans le cas d'espèce en quoi serait violée l'une ou l'autre des dispositions invoquées, son grief est irrecevable (art. 42 al. 2 LTF). Au demeurant, comme vu ci-dessus, les intimés ont agi autorisés par la loi au sens de l'art. 14 CP (loi qui doit s'entendre dans le sens matériel du terme, cf. ATF 94 IV 5 consid. 1 p. 7 et arrêt 6B_758/2011 du 24 septembre 2012 consid. 1.3.1) et de manière proportionnée.
8.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité, aux frais du recourant qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 août 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod