Faits :
A.
Le 19 octobre 2011, X._, alors en exécution de peine à la prison de Champ-Dollon, a déposé plainte contre celle-ci, soit pour elle un certain "E._" et d'autres gardiens, dont l'identité lui était alors inconnue, pour injures, abus d'autorité, incitation au suicide ou toutes autres dispositions applicables.
Il se plaignait notamment des faits suivants:
- Le 19 août 2011, X._ avait été placé dans une cellule d'isolement aménagée en cellule forte. Il avait alors protesté et demandé de voir le directeur. Il s'était ensuite mis autour du cou le câble d'antenne de la télévision, cette dernière ayant été enlevée avant sa mise en cellule, en menaçant de se "laisser tomber" si on ne le mettait pas en présence du directeur. Le chef d'étage, lors de son passage, lui aurait dit "tu n'as qu'à te pendre, cela fera bien rigoler tes victimes". X._ s'était pendu. Il avait été ensuite amené aux urgences des HUG à moitié inconscient.
- Lors de son retour des urgences à la prison, dans la nuit du 19 au 20 août 2011, X._ avait cheminé sous les insultes de surveillants ("sale arabe, sale violeur, t'es qu'une merde connard").
- Il avait ensuite été conduit dans la même cellule. Un gardien prénommé E._ avait désigné le câble d'antenne en disant "regarde, on t'a laissé une surprise. Cette fois-ci, j'espère que tu mourras". Durant la nuit, le même gardien s'était posté régulièrement devant la porte pour lui dire "t'es toujours pas mort, pends-toi connard".
- Le 22 août 2011, X._ a été transféré dans une véritable cellule forte et a à nouveau attenté à ses jours. Il a ensuite été conduit aux urgences, passant la nuit en observation, avant d'être transféré à l'Unité de psychiatrie pénitentiaire.
B.
Par ordonnance du 17 septembre 2013, le Ministère public a classé la procédure, invoquant l'art. 319 al. 1 let. a et b CPP.
C.
Par arrêt du 6 janvier 2014, la Chambre pénale de recours de la Cour de justice du canton de Genève a rejeté le recours formé par X._ contre cette ordonnance.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause au Ministère public pour qu'il porte la cause en accusation. Il sollicite l'assistance judiciaire.
L'autorité précédente a renoncé à se déterminer et s'est référée à sa décision. Le Ministère public et B._ ont conclu à l'irrecevabilité du recours, subsidiairement à son rejet. E.A._ et C._ ont requis le rejet du recours dans la mesure de sa recevabilité. D._ a conclu au rejet. X._ s'est déterminé. Ces déterminations ont été communiquées aux intimés et à l'autorité précédente.

Considérant en droit :
1.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne saurait dès lors se référer, comme le demande le recourant aux faits exposés dans sa plainte pénale et son recours contre l'ordonnance de classement du 17 septembre 2013. Un tel procédé est irrecevable.
2.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 252).
2.1. Le recourant a participé à la procédure devant l'autorité précédente. Il admet que, s'agissant d'actes commis par des agents de l'Etat, il ne dispose pas de prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 LTF. Il fonde toutefois sa qualité pour recourir contre la confirmation du classement sur les art. 10 al. 3 Cst., art. 3 et 13 CEDH, 7 Pacte ONU II (RS 0.103.2) et 13 de la Convention des Nations Unies du 10 décembre 1984 contre la torture et autres peines ou traitements cruels, inhumains ou dégradants (RS 0.105).
2.2. Les art. 10 al. 3 Cst. et 3 CEDH interdisent la torture, ainsi que les peines ou traitements inhumains ou dégradants. La Convention des Nations Unies contre la torture et autres peines ou traitements cruels, inhumains ou dégradants oblige notamment les Etats parties à se doter d'une loi réprimant les traitements prohibés et à instituer des tribunaux compétents pour appliquer cette loi. La première phrase de l'art. 13 de la Convention oblige les Etats parties à reconnaître aux personnes qui se prétendent victimes de traitements prohibés, d'une part, le droit de porter plainte et, d'autre part, un droit propre à une enquête prompte et impartiale devant aboutir, s'il y a lieu, à la condamnation pénale des responsables.
En particulier, l'art. 3 CEDH, combiné avec l'art. 1 CEDH ou avec l'art. 13 CEDH, confère à tout individu prétendant de manière défendable avoir été traité de façon inhumaine ou dégradante un droit à une enquête officielle approfondie et effective, qui doit permettre d'élucider les circonstances ainsi que d'identifier et de sanctionner les responsables (<ref-ruling> consid. 3.1.1 p. 88; <ref-ruling> consid. 1.2.5 p. 462 et les références citées).
La victime de traitements prohibés peut fonder son droit de recours sur les dispositions précitées (<ref-ruling> consid. 3.1.1 p. 86 et arrêt 6B_362/2009 du 13 juillet 2009 consid. 1.2).
2.3. Pour constituer un acte prohibé par l'art. 3 CEDH, un mauvais traitement doit atteindre un minimum de gravité. En matière de détention, les conditions matérielles de celle-ci doivent atteindre un niveau d'humiliation ou d'avilissement supérieur à ce qu'emporte habituellement la privation de liberté. Cela impose à l'Etat de s'assurer que les modalités de détention ne soumettent pas la personne détenue à une détresse ou à une épreuve d'une intensité qui excède le niveau inévitable de souffrance inhérent à une telle mesure et que, eu égard aux exigences pratiques de l'emprisonnement, sa santé et son bien-être sont assurés de manière adéquate. Un simple inconfort ne suffit pas (<ref-ruling> consid. 2.4.1 p. 249).
L'allégation d'un traitement prohibé par l'art. 3 CEDH est défendable lorsqu'elle ne se révèle pas d'emblée dépourvue de crédibilité (cf. arrêt 6B_362/2009 du 13 juillet 2009 consid. 1.1 publié in PJA 2009p. 1479 s.).
2.4. L'arrêt attaqué retient que le recourant était suivi en psychiatrie et bénéficiait d'un traitement médicamenteux. Au moment des faits, il l'avait toutefois interrompu en raison du ramadan. Le 19 août 2011, vers 17 h 15, le recourant a été placé en cellule d'isolement, transformée pour l'occasion en cellule forte. Le réfrigérateur et la télévision avaient ainsi été retirés. Le câble de la télévision, sortant du mur, était resté en place. Selon le recourant, une table aurait aussi été laissée dans la cellule. A la suite de sa mise en cellule, le recourant a menacé de se pendre auprès du gardien et intimé D._, qui avait préparé la cellule, s'il ne voyait pas le directeur. Il n'a pas mis cette menace à exécution, mais l'a réitérée auprès du gardien et intimé B._. Celui-ci déclare lui avoir rétorqué que c'était sa décision. Le recourant affirme qu'il lui aurait dit "tu n'as qu'à te pendre, cela fera bien rigoler tes victimes". Vers 18 h 40, le recourant a été découvert pendu et inconscient dans sa cellule. Il a été emmené en ambulance aux HUG vers 20 h 00. Le recourant est revenu à la prison vers 23 heures, le même jour. L'intimé E.A._ a indiqué l'avoir ramené en cellule en compagnie de trois autres gardiens. Le recourant dit avoir cheminé sous les insultes de surveillants. Alors qu'il revenait de l'hôpital après une tentative de pendaison, aucune mesure n'a été prise pour éviter une récidive. Il a été replacé dans la même cellule où pendait le même câble d'alimentation, quelque peu raccourci après avoir été coupé pour le libérer à la suite de sa première tentative de pendaison. L'intimé E.A._ aurait alors dit au recourant "regarde, on t'a laissé une surprise. Cette fois-ci, j'espère que tu mourras". Durant la nuit, le même gardien se serait posté régulièrement devant la porte pour lui dire "t'es toujours pas mort, pends-toi connard". Le recourant a récidivé, dans une autre cellule, le 22 août 2011.
Les conditions de détention dénoncées par le recourant, à l'encontre d'un détenu qui revient des urgences de l'hôpital après avoir tenté de se pendre tant et si bien qu'il en a perdu conscience (arrêt entrepris, p. 3), que l'on remet dans la même cellule d'isolement, où a été laissé le câble avec lequel il avait tenté de se pendre, et que l'on incite à se suicider pendant toute la nuit, dépassent clairement le niveau d'humiliation ou d'avilissement propre à toute privation de liberté. De telles conditions, si elles étaient avérées, pourraient constituer un traitement prohibé par l'art. 3 CEDH. Les allégations du recourant ne se révèlent pas d'emblée contredites par des faits clairement établis. Le recourant a donc qualité pour recourir contre l'arrêt attaqué.
3.
Le recourant se plaint d'une violation de l'<ref-law>, du principe "in dubio pro duriore" et d'une appréciation anticipée arbitraire des faits. Il invoque également le droit à une enquête effective découlant de l'art. 13 CEDH.
3.1. Le droit à une enquête officielle approfondie et effective découlant des art. 3 et 13 CEDH fonde une obligation de moyens, non de résultat. Il impose aux autorités de prendre toutes les mesures raisonnables possibles pour obtenir les preuves relatives aux faits en question, telles que l'audition des personnes impliquées, les dépositions des témoins oculaires, les expertises, les certificats médicaux, etc. Toute défaillance dans les investigations qui compromet la capacité des autorités à établir les faits ou les responsabilités peut être constitutive d'une violation de l'art. 3 CEDH. Par ailleurs, les autorités doivent agir avec célérité et diligence (cf. arrêt de la CourEDH Abdu c. Bulgarie du 11 mars 2014, §43; arrêts 1B_771/2012 du 20 août 2013 consid. 2.1; 1B_10/2012 du 29 mars 2012 consid. 1.2.3).
En vertu de l'<ref-law>, les autorités pénales recherchent d'office tous les faits pertinents pour la qualification de l'acte et le jugement du prévenu (al. 1). Elles instruisent avec un soin égal les circonstances qui peuvent être à la charge et à la décharge du prévenu (al. 2).
3.2. Aux termes de l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure notamment lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a) ou lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b).
Ces conditions doivent être interprétées à la lumière de la maxime "in dubio pro duriore" qui s'impose tant à l'autorité de poursuite qu'à l'autorité de recours durant l'instruction (<ref-ruling> consid 4.1.1 p. 91). Le principe "in dubio pro reo" n'est pas applicable à ce stade. La maxime "in dubio pro duriore" exige qu'en cas de doute, quant aux faits pertinents ou au droit applicable, le prévenu soit mis en accusation (cf. <ref-ruling> consid. 4.1.1 p. 90 s.; <ref-ruling> consid. 4.2.1 p. 190 s.). En effet, en cas de doute, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 4.1.1 p. 90 s.). Pratiquement, une mise en accusation s'imposera lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement (<ref-ruling> consid. 4.1.1 p. 90 s.). Lorsque les probabilités d'un acquittement et d'une condamnation apparaissent équivalentes et pour autant qu'une ordonnance pénale n'entre pas en considération (<ref-law>), le ministère public est également tenu de mettre le prévenu en accusation, en application de l'<ref-law>, ce d'autant plus lorsque les infractions sont graves (cf. <ref-ruling> consid. 4.1.2 p. 91). L'absence de précédents dans l'application du droit pénal matériel peut également constituer un motif de mise en accusation (<ref-ruling> consid. 4.1.2 p. 91).
3.3. Dans son recours, le recourant met uniquement en cause le classement en tant qu'il concerne les infractions visées par les art. 115 et 127 CP. Il ne discute nullement de cette décision en tant qu'elle porte sur les infractions contre l'honneur, aspect sur lequel il n'y a donc pas lieu de revenir.
3.4. Celui qui, poussé par un mobile égoïste, aura incité une personne au suicide, ou lui aura prêté assistance en vue du suicide, sera, si le suicide a été consommé ou tenté, puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire (<ref-law>).
Celui qui, ayant la garde d'une personne hors d'état de se protéger elle-même ou le devoir de veiller sur elle, l'aura exposée à un danger de mort ou à un danger grave et imminent pour la santé, ou l'aura abandonnée en un tel danger, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire (<ref-law>).
3.5. S'agissant des accusations de mise en danger de la vie ou de la santé d'autrui (<ref-law>) et d'incitation au suicide (<ref-law>), l'autorité précédente a estimé que lorsque la personne était capable de discernement, l'<ref-law> était seul applicable. Elle a ensuite écarté l'application de l'<ref-law>, rien n'indiquant que le recourant était dans une situation où ses capacités mentales étaient diminuées. S'agissant de l'intimé B._, elle a estimé que même en retenant la version du recourant, les propos imputés à ce gardien n'avaient pas joué de rôle quant à la décision de tenter de se suicider: le recourant avait clairement indiqué qu'il se laisserait "tomber" si on ne le laissait pas voir le directeur, la seule voie laissée au gardien étant de donner suite aux exigences posées. De toute manière, l'autorité précédente a jugé qu'il était exclu de retenir qu'un comportement passif puisse être constitutif d'infraction à l'<ref-law>, même à l'égard d'un garant. Ainsi, elle a estimé que l'on ne pouvait reprocher au gardien B._ d'avoir fait preuve de passivité et de ne pas avoir empêché le recourant, en pleine possession de ses moyens, de se suicider. Elle a également nié que l'intimé B._ ait été mû par un mobile égoïste. Le classement à l'égard de cet intimé se justifiait (arrêt attaqué, p. 13-16 ch. 6 - 7.2).
Concernant l'intimé E.A._, l'autorité précédente a relevé que les propos, incitatifs au suicide selon le recourant, étaient contestés par l'intimé, partant que les chances d'acquittement étaient, faute de preuve supplémentaire disponible, nettement plus élevées que celles de condamnation, aucun acte d'instruction n'étant suggéré (arrêt attaqué, p. 16 ch. 7.3).
3.6. Le recourant prétend avoir été traité de façon inhumaine et dégradante. Comme ses accusations ne pouvaient pas d'emblée être considérées comme dépourvues de toute crédibilité, il avait droit à une enquête approfondie et effective. De plus, au stade de l'instruction, les autorités de poursuite devaient apprécier les preuves récoltées et la situation juridique conformément au principe "in dubio pro duriore".
3.6.1. L'autorité précédente a refusé d'appliquer l'<ref-law> aux intimés au motif que rien n'indiquait que le recourant était dans une situation où ses capacités mentales étaient diminuées (arrêt entrepris, ch. 6.1 et 6.2, p. 13 et 14).
Au moment des faits, le recourant était sous traitement médicamenteux, qu'il avait alors interrompu. Il a commis deux tentatives de pendaison en trois jours, nécessitant un passage aux urgences et finalement une hospitalisation à l'Unité psychiatrique pénitentiaire, proposée dès le 23 août 2011 (certificat médical du 19 septembre 2011 cité par l'arrêt entrepris, p. 3 et 14 ch. 6.2). Contrairement à ce que mentionne l'arrêt entrepris, p. 3 et 14, le certificat médical du 19 septembre 2011 ne démontre pas qu'il n'y avait pas de tendances suicidaires chez le recourant. Il atteste uniquement que le recourant a soutenu lors d'un entretien ne pas avoir d'intention suicidaire, avant de se pendre à nouveau, le jour même. Le respect du principe "in dubio pro duriore" interdisait, au vu de ces éléments, de retenir que "rien n'indique que le recourant était dans une situation où ses capacités mentales étaient diminuées" (idem, ch. 6.2 p. 14). Conformément au droit du recourant à une enquête approfondie et effective et à la maxime d'instruction, les autorité précédentes auraient dû ordonner les mesures d'instruction nécessaires afin de déterminer l'état mental du recourant au moment de chacun des faits reprochés aux intimés.
3.6.2. Le certificat médical du 19 septembre 2011 atteste que le recourant s'est plaint, le 23 août 2011, de subir ("encore"; <ref-law>) des provocations de la part des gardiens (arrêt entrepris, p. 3). Cette plainte est émise à peine quatre jours après la première tentative de suicide et le lendemain de la deuxième. Des précisions sur ce point, propre à apprécier la crédibilité des accusations portées par le recourant, auraient dû être requises auprès de ses médecins traitant. Des informations plus détaillées des médecins auraient également dû être demandées afin de déterminer les motifs précis avancés par le recourant pour expliquer chacune de ses deux tentatives de pendaison.
En omettant ces actes d'instruction, les autorités précédentes ont violé le droit du recourant à une enquête approfondie et effective consacré par l'art. 3 CEDH et l'obligation d'instruire d'office découlant de l'<ref-law>. Elles ne pouvaient en l'état du dossier considérer qu'il n'existait aucun soupçon justifiant une mise en accusation ou que les éléments constitutifs d'une infraction n'étaient pas réunis (cf. 319 al. 1 let. a et b CPP).
3.6.3. S'agissant des faits reprochés à l'intimé E.A._, l'autorité précédente a pris acte que trois gardiens l'accompagnaient lorsqu'il a ramené le recourant en cellule et donc, selon le recourant, lorsqu'il a été remis dans la même cellule toujours munie du câble avec lequel il avait tenté quelques heures plus tôt de se pendre et des propos l'incitant au suicide proférés par l'intimé E.A._. Les autorités précédentes n'ont pas identifié ces gardiens, ni ne les ont entendus afin qu'ils s'expriment notamment sur ce que les personnes présentes lors du transfert, en particulier l'intimé E.A._, savaient de la tentative de suicide qui avait eu lieu quelques heures auparavant, sur la manière dont la remise en cellule s'est passée et sur le comportement de l'intimé E.A._ à l'égard du recourant à cette occasion puis au cours de la nuit.
En omettant d'identifier puis d'entendre ces témoins, les autorités précédentes ont violé le droit du recourant à une enquête approfondie et effective consacré par l'art. 3 CEDH et l'obligation d'instruire d'office découlant de l'<ref-law>. L'instruction devra également être complétée à cet égard. Face à deux versions contradictoires, dont l'une émise par un intimé refusant de révéler l'identité des personnes présentes au moment des faits, les autorités précédentes ne pouvaient retenir, sans autre mesure d'instruction, qu'il n'existait aucun soupçon justifiant une mise en accusation au sens de l'<ref-law> ou que les éléments constitutifs d'une infraction n'étaient pas réunis (<ref-law>). Ce faisant, elles ont violé cette disposition.
4.
Il résulte de ce qui précède que le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
Vu le sort du recours, les frais judiciaires seront mis pour moitié à la charge des intimés qui ont conclu à l'irrecevabilité ou au rejet du recours, solidairement entre eux, le canton de Genève n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF). Le recourant peut prétendre à une indemnité de dépens, à la charge pour moitié chacun d'une part du canton de Genève, d'autre part des intimés, solidairement entre eux (art. 68 al. 1 et 2 LTF). Ce qui précède rend sans objet la requête d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des intimés B._, E.A._, C._ et D._, solidairement entre eux.
3.
Une indemnité de 3'000 fr., à payer au conseil du recourant à titre de dépens, est mise pour moitié à la charge du canton de Genève et pour moitié à la charge des intimés B._, E.A._, C._ et D._, solidairement entre eux.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 6 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod