Faits:
A.
A._ a été détenu avant jugement à la prison du Bois-Mermet entre le 22 juillet et le 15 octobre 2009. Travaillaient alors dans cet établissement le surveillant-chef D._ et les agents de détention B._, C._, E._ et F._. Le 13 novembre 2009, A._ a déposé plainte pénale contre ces cinq personnes pour lésions corporelles simples qualifiées et abus d'autorité, infractions commises selon lui le 18 septembre 2009.
B.
B.a. Par ordonnance du 12 mars 2010, le Juge d'instruction de l'arrondissement de Lausanne a refusé de suivre à la plainte, estimant que les versions des parties étaient irrémédiablement contradictoires, que les agents étaient autorisés par la loi à agir comme ils l'ont fait et que leur intervention, visant à éviter tout risque à l'encontre des tiers que le détenu allait côtoyer, était justifiée et proportionnée.
Par arrêt du 29 avril 2010, le Tribunal d'accusation du canton de Vaud a annulé cette ordonnance. Cette autorité a jugé qu'il n'était pas possible sur la base du seul rapport du surveillant-chef de déterminer si l'usage de la force par les cinq agents, ayant causé à A._ des lésions corporelles simples, était justifié et proportionné. Il convenait également de déterminer si l'acte des agents avait son fondement dans l'ordre légal et de vérifier s'il existait un enregistrement vidéo de l'incident.
B.b. Après avoir entendu les six parties, le Procureur général du canton de Vaud a, par ordonnance du 15 septembre 2011, classé la procédure pénale. Il a en substance considéré qu'il n'y avait pas d'éléments suffisants au dossier pour affirmer que les faits se seraient déroulés de la manière décrite par A._, que les agents avaient usé de la force dans le respect du principe de proportionnalité, pour des raisons sécuritaires, afin de garantir que A._ ne cache pas sur lui un objet potentiellement dangereux. Il a ajouté que même si l'usage de la force avait été excessif, rien ne permettait d'attribuer tel geste ou tel coup à un ou plusieurs des agents de détention et qu'il n'existait dès lors aucune construction juridique conforme au droit qui permettrait d'envisager de retenir à l'encontre de tous une infraction qui n'aurait été commise que par l'un d'entre eux.
Par arrêt du 9 novembre 2011, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a partiellement admis le recours de A._ et annulé l'ordonnance du 15 septembre 2011. Elle a retenu qu'il existait des indices suffisants que le comportement des agents puisse être constitutif de lésions corporelles simples et/ou d'agression, ainsi que d'abus d'autorité, la disproportion entre le but à atteindre et les moyens employés par les cinq agents pouvant laisser penser que ces derniers avaient abusé des pouvoirs de leur charge, dans le dessein de nuire à A._. La cour cantonale a toutefois indiqué que le comportement des cinq agents pouvait être licite s'ils avaient agi comme la loi l'ordonnait, ce que l'instruction devait encore établir. Elle devait également être complétée sur la question de savoir si l'acte était proportionné à son but.
B.c. Après avoir procédé à ces investigations, le Procureur général a, par ordonnance du 22 janvier 2013, classé la procédure. En bref, il s'est fondé sur les déclarations des prévenus, qu'il a estimées cohérentes et crédibles, et a jugé que les lésions subies par A._, dont certaines pouvaient avoir été causées par lui-même, résultaient d'un emploi de la force autorisé par la loi et proportionné. L'opposition de A._ à montrer l'objet évoquait sérieusement le risque d'usage d'un instrument dangereux. De la sorte, il était exclu que l'un ou l'autre des surveillants puisse être condamné pour abus d'autorité ou lésions corporelles simples. Il a également estimé que l'état de nécessité, suivi par la légitime défense étaient également réalisés.
C.
Par arrêt du 22 mars 2013, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._ contre cette ordonnance. Elle a retenu qu'il était indubitable que le comportement des gardiens de détention était à l'origine des lésions ou d'une partie des lésions subies par A._. Un faisceau d'indices concordants permettait néanmoins de faire peser un doute sérieux sur le récit de A._, privilégiant de manière convaincante la version des faits des prévenus. Suivant le ministère public, la cour cantonale a considéré que les déclarations des geôliers quant au déroulement des évènements paraissent plus crédibles que celles du recourant.
D.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à ce que les faits soient complétés, le recours admis et l'arrêt réformé en ce sens que l'ordonnance de classement du 22 janvier 2013 est annulée et le dossier renvoyé au Procureur général pour qu'il procède à la mise en accusation devant le tribunal compétent des cinq employés visés par sa plainte. Subsidiairement, il sollicite l'annulation de l'arrêt et le renvoi de la cause à l'autorité précédente.
La Chambre des recours pénale, le ministère public et les intimés ont déclaré renoncer à se déterminer.

Considérant en droit:
1.
Le recourant, qui a participé à la procédure devant l'instance précédente, soutient que les intimés lui auraient causé des lésions corporelles durant sa détention avant jugement. Il invoque une violation de l'art. 3 CEDH, interdisant la torture, ainsi que les peines ou traitements inhumains ou dégradants. Conformément à la jurisprudence, il peut fonder son droit de recours sur cette disposition et a qualité pour recourir contre l'arrêt cantonal, en tant qu'il confirme le classement prononcé en première instance (cf. <ref-ruling> consid. 3.1 p. 88).
2.
Sur le fond, le recourant estime que les faits ont été établis de manière arbitraire et en violation de son droit d'être entendu. Il invoque également une violation des art. 3 CEDH et 319 CPP, 14, 15, 17, 123, 124 et 312 CP ainsi que du principe "in dubio pro duriore".
2.1. Le principe "in dubio pro duriore" découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91). Il signifie qu'en principe, un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid. 4.1 p. 190; <ref-ruling> consid. 2.3 p. 287 s.).
2.2. Le recourant d'une part, les intimés d'autre part ont fourni des versions des faits très différentes. Le recourant a prétendu avoir été agressé sans raison, les intimés ont argué d'une situation oppositionnelle de la part du recourant et d'un risque sécuritaire justifiant qu'il soit recouru à la force afin de lui extirper l'objet qu'il ne voulait pas montrer. Se fondant sur un ensemble d'éléments, l'autorité cantonale a estimé que les déclarations des geôliers étaient plus crédibles que celles du recourant et que ces éléments permettaient de douter de l'entière crédibilité du recourant.
2.3. Il ressort de l'arrêt cantonal que le recourant devait être entendu le 18 septembre 2009 par la directrice de la prison du Bois-Mermet dans le cadre d'une procédure disciplinaire menée à son encontre. A ces fins, il a été amené par les gardiens et intimés E._ et C._, afin d'être placé en cellule d'attente. L'arrêt attaqué ne retient pas que le recourant ait été dangereux, mais uniquement, en substance, pénible et oppositionnel. Une fois en cellule d'attente, le recourant a présenté aux deux gardiens l'escortant un tube de crème qu'il portait dans sa poche (arrêt attaqué, p. 3, également rapport du 19 septembre 2009, p. 1), indiquant qu'il contenait de la pommade (arrêt attaqué, p. 5 let. b). Il s'agissait d'un "tout petit tube", genre "Vitamerfen" (arrêt cantonal du 9 novembre 2011, p. 12 [cf. supra let. Bb], auquel se réfère l'arrêt attaqué). Le surveillant-chef et l'un des gardiens l'ayant escorté ont attesté de la taille et de la nature de cet objet lors de leur première audition (audition de D._ du 5 mai 2011, lignes 158-159; audition de C._ du 14 juillet 2011, ligne 116). L'arrêt attaqué laisse entendre que le recourant aurait eu droit de garder ce tube sur lui, même lors de son entretien avec la directrice de la prison (cf. arrêt attaqué, p. 15; également auditions de G._ du 25 octobre 2010, ligne 119, et du 24 avril 2012, ligne 80). Après l'avoir montré, le recourant a mis de la pommade sur son mollet gauche avant de remettre le tube dans sa poche. Il a par la suite refusé de montrer à nouveau ou de donner ce tube aux gardiens qui le lui demandaient. Les cinq gardiens, faute pour le recourant d'obtempérer à l'ordre, ont pris le tube par la force. Dans le cadre de cette intervention, le recourant a subi des lésions.
Le recourant a montré une fois le tube à deux des intimés. Il y a lieu de retenir en l'état qu'il s'agissait d'un tout petit tube. L'ensemble des intimés savaient avant l'intervention dommageable qu'il s'agissait d'un tube de pommade (arrêt attaqué p. 12). Il apparaît peu vraisemblable, notamment compte tenu du fait que le recourant n'était pas connu comme quelqu'un de dangereux et de la petite taille du tube, que celui-ci ait présenté un risque sécuritaire. Le recourant pouvait semble-t-il garder ce tube sur lui. Des lésions lui ont néanmoins été causées afin de lui prendre cet objet de force. Au vu de ces différents éléments, le principe " in dubio pro duriore " ne permettait pas d'exclure que ces lésions aient été commises sans que les intimés puissent se prévaloir d'un droit d'agir comme ils l'ont fait, notamment sous l'angle de la proportionnalité de leur action, ou d'un état de nécessité ou de légitime défense. Les autorités cantonales ne pouvaient retenir qu'il n'existait aucun soupçon justifiant une mise en accusation (<ref-law>). En classant, respectivement en confirmant le classement de la procédure, elles ont donc violé le principe " in dubio pro duriore ". L'arrêt cantonal doit par conséquent être annulé.
2.4. Au vu du sort de la cause, les autres moyens soulevés par le recourant deviennent sans objet.
3.
Sur le vu de ce qui précède, le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle instruction éventuelle et nouvelle décision.
Le recourant obtient gain de cause et a donc droit à l'allocation de dépens. Ceux-ci doivent être mis à la charge du canton de Vaud (<ref-law>). Les intimés, qui ont renoncé à se déterminer sur le fond du recours, ne peuvent être tenus à payer des dépens au recourant. Il n'est pas perçu de frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 27 mars 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod