Faits :
A.
Par jugement rendu le 29 novembre 2017 et rectifié le 5 décembre 2017, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a constaté que X._ avait commis des agissements constitutifs, du point de vue objectif, de tentative de meurtre, voies de fait qualifiées, mise en danger de la vie d'autrui, vol d'importance mineure, dommages à la propriété et violation de domicile, l'a déclaré pénalement irresponsable des actes qui lui étaient imputés selon le rapport d'irresponsabilité dressé le 5 décembre 2017 par le Ministère public central division affaires spéciales, a ordonné la mise en oeuvre d'un traitement institutionnel en faveur de X._ et a rejeté les conclusions civiles prises par A._, B._, C._, D._, F._, G._, H._, E._ et I._.
B.
Statuant le 31 mai 2018, la Cour d'appel pénale vaudoise a rejeté les appels de X._, F._, G._ et H._. Admettant partiellement ceux de A._, B._, C._, D._ et E._, elle a déclaré que X._ doit payer à A._ la somme de 5'000 fr. à titre de réparation morale et de 463 fr. 10 à titre de dépens; à B._, la somme de 2'500 fr. à titre de réparation morale et de 329 fr. à titre de dépens; à C._, la somme de 2'500 fr. à titre de réparation morale et de 329 fr. à titre de dépens; à D._, la somme de 2'500 fr. à titre de réparation morale et de 329 fr. à titre de dépens; à E._, la somme de 2'500 fr. à titre de réparation morale et de 1'750 fr. à titre de dépens.
B.a. En ce qui concerne les événements du 17 septembre 2016, la Cour d'appel pénale a retenu les faits suivants.
Le 17 septembre 2016 vers 2h00, à J._, une patrouille de police constituée du sergent K._ et de l'appointée A._ est intervenue au domicile de X._ à la suite d'un accident de la circulation. A leur arrivée, les agents ont sonné à la porte d'entrée de la maison et ont tenté d'entrer en contact avec X._ en s'annonçant et en lui indiquant la raison de leur venue. Ils se sont ensuite dirigés du côté sud de la villa, dans le jardin, où des bruits de volets et de portes ont retenti. X._ a crié « au secours, au secours ». Les policiers lui ont alors dit « Monsieur c'est la police, on aimerait vous parler », ce à quoi il a répliqué « bande d'assassins ».
Puis, les agents se sont déplacés du côté ouest de la villa et se sont positionnés derrière la voiture de marque L._ de couleur noire. K._ a contacté par radio le centre d'engagement et de transmissions (ci-après : CET) afin de savoir si X._ détenait une arme à feu et a demandé des renforts. Une deuxième patrouille est arrivée en soutien, composée des appointés M._ et N._. Les quatre intervenants sur place se sont munis de gilets lourds. M._ a pris contact avec le CET et leur a annoncé une prise d'otage. X._ a tiré plusieurs coups de feu au moyen de son arme SIG modèle P210 depuis le côté sud-ouest de la villa, sans que l'enquête ait pu déterminer dans quelle direction ces tirs ont eu lieu. M._ s'est déplacé derrière le véhicule de la première patrouille, stationnée parallèlement à la façade nord de la maison, tandis que A._ était positionnée le long de la haie côté ouest de la villa, munie d'un pistolet mitrailleur HK. Ils sont restés ainsi en position jusqu'à l'arrivée des gendarmes en renfort. Ensuite, M._ a demandé à A._ de prendre sa position derrière la voiture de la première patrouille, ce qu'elle a fait. Lorsqu'elle s'est positionnée derrière dit véhicule, la lumière automatique extérieure s'est enclenchée et X._ a crié : « c'est qui qui est là ? ». A._ s'est alors baissée derrière le véhicule, avant de se redresser une dizaine de secondes plus tard, en position de contre-tireur, avec son pistolet mitrailleur HK pointé en direction de la villa. Quelques instants plus tard, elle s'est relevée, a entendu une détonation et a vu la flamme d'un coup de feu se diriger à son encontre depuis le côté ouest de la villa. Elle s'est immédiatement accroupie derrière la voiture, en état de choc. En tout, X._ a visé et tiré dans sa direction à tout le moins à quatre reprises, selon les impacts de balle retrouvées au niveau du véhicule. Elle a pu être exfiltrée par ses collègues gendarmes, soit notamment E._, D._, B._ et C._, qui avaient formé une colonne d'assaut et s'étaient munis de boucliers de protection balistique.
Pendant ce laps de temps, plusieurs autres coups de feu ont retenti. X._ a tiré deux fois en direction de la colonne d'assaut et le gendarme B._ a riposté en tirant, à son tour, deux coups de feu. X._ a, à nouveau, fait feu à deux reprises, si bien que B._ a répliqué en tirant deux coups de feu en direction de la façade nord de la villa, appuyé par son collègue C._ qui, lui-même, a tiré à une reprise.
Finalement, le Détachement Action Rapide et de Dissuasion (ci-après : DARD) et le Groupe d'intervention de la police municipale de O._ sont intervenus et l'intéressé a été interpellé par les forces de l'ordre à 02h45.
B.b. Pour les besoins de la cause, X._ a été soumis à une expertise psychiatrique confiée à la Dresse P._ et la psychologue Q._. Dans un rapport du 6 avril 2017, les expertes ont posé le diagnostic de schizophrénie paranoïde continue. La pathologie de X._ était décompensée au moment des faits qui lui sont reprochés. Il avait perdu son ancrage dans la réalité et appréhendait son environnement en fonction de sa compréhension délirante. Son comportement était fortement irrationnel, il se sentait assiégé, persécuté par la police, essayait d'obtenir le secours des gendarmes contre la police. Les expertes ont conclu à une irresponsabilité pénale complète de X._ et préconisaient un traitement institutionnel au sens de l'<ref-law>, qui devrait débuter dans un établissement fermé adapté tel que R._.
En date du 26 mai 2017, les expertes ont complété leur rapport, confirmant leur conclusions en ce sens que X._ souffre d'une pathologie psychotique grave, décompensée, dont il est totalement anosognosique, qui se manifeste par des troubles du comportement avec hétéro-agressivité. Un second complément a été déposé en date du 14 juin 2017, sans modification des conclusions.
C.
X._, agissant par l'intermédiaire de son mandataire, forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais, à la réforme du jugement de la Cour d'appel pénale du Tribunal cantonal vaudois en ce sens qu'aucune réparation morale n'est allouée à A._, B._, C._, D._ et E._, qu'il est libéré de tous dépens mis à sa charge par le jugement précité, et que le séquestre prononcé sur les montants de 11'350 fr. et 6 fr. 50 est levé et les sommes précitées lui sont restituées. Il sollicite également le bénéfice de l'assistance judiciaire et l'octroi de l'effet suspensif au recours.
Par acte du 5 août 2018, X._, agissant en personne, a également fait parvenir des " commentaires " sur le recours, à l'issue desquels il conclut à sa libération ainsi qu'au versement d'une réparation financière.
D.
Par ordonnance du 10 août 2018, le Président de la Cour de droit pénal du Tribunal fédéral a rejeté la requête d'effet suspensif.
E.
Invités à se déterminer, le ministère public et la cour cantonale y ont renoncé, cette dernière se référant au jugement entrepris. A._, B._, C._, D._ et E._ ont présenté des observations sur le recours formé par le mandataire du recourant. X._ a répliqué en personne et par l'intermédiaire de son mandataire.

Considérant en droit :
1.
Conformément à l'<ref-law>, les motifs du recours doivent exposer succinctement en quoi la décision attaquée viole le droit (<ref-law>). Selon la jurisprudence, pour répondre à cette exigence, la partie recourante est tenue de discuter au moins sommairement les considérants de l'arrêt entrepris (<ref-ruling> consid. 2 p. 88 ss et 115 consid. 2 p. 116 s.; <ref-ruling> consid. 2.1 p. 245 s.); en particulier, la motivation doit être topique, c'est-à-dire se rapporter à la question juridique tranchée par l'autorité cantonale (<ref-ruling>; arrêt 6B_970/2017 du 17 octobre 2017 consid. 4). Par ailleurs, le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits. Il n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées).
Dans son acte du 5 août 2018 puis dans sa réplique du 2 novembre 2018, le recourant conteste avoir tiré sur les forces de l'ordre. Il ne discute pas les considérants de la cour cantonale. De surcroît, il se réfère à des éléments de fait qui ne ressortent pas du jugement cantonal sans démontrer l'arbitraire de leur omission. En définitive, il ne démontre aucunement en quoi les considérations cantonales violeraient le droit. Faute de satisfaire aux conditions de recevabilité applicables (art. 42 al. 1 et 2; 106 al. 2 LTF), ce grief est irrecevable.
2.
Le recourant soutient que c'est de manière arbitraire que la cour cantonale a retenu que les intimés souffraient de stress post-traumatique.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
2.2. En lien avec les conséquences qu'ont eues les événements sur la santé des intimés, la cour cantonale a constaté les faits suivants.
A._ a exposé être toujours affectée par les événements du 17 septembre 2016; lorsqu'elle se trouve derrière une porte, en intervention, elle se demande toujours comment elle va être accueillie. Les événements restent « toujours dans la tête ». Elle pense encore tous les jours à cette intervention. Le simple bruit d'un pétard provoque chez elle une crise d'angoisse, en ce sens qu'elle a envie de vomir et se met à pleurer.
B._ se plaint de troubles de l'endormissement et du sommeil. Il fait des cauchemars et est beaucoup plus sur le qui-vive. A ce jour - soit au jour du jugement de première instance - il est suivi en lien avec ces événements.
C._ a présenté des troubles du sommeil pendant plusieurs mois, souvent accompagnés de cauchemars. Il se réveillait ainsi souvent en sursaut. Durant les mois qui ont suivi, il s'est senti beaucoup plus en retrait, plus sensible par rapport à certaines choses et plus détaché par rapport à d'autres.
Nonobstant le " débriefing " avec les gendarmes, puis avec une psychologue, D._ n'est pas parvenu à dormir les nuits suivant les évènements du 17 septembre 2016. Les cauchemars et les troubles du sommeil persistent encore aujourd'hui et il présente en outre une hypervigilance, surtout en famille.
Enfin, s'agissant de E._, ces évènements ont eu un impact fort et durable sur sa personnalité, de jour comme de nuit. Il a eu des comportements peu communs pour une personne d'ordinaire calme et maîtresse de ses actes comme il l'était. Cela aurait pu lui coûter son travail (jugement attaqué, En Fait, consid. 3. p. 21-22).
La cour cantonale a retenu que les intimés souffraient de stress post-traumatique. Cet état de choc était cependant dû à une " simple " peur - bleue, certes -, aucun d'entre eux n'ayant été atteint dans son intégrité physique. Il fallait garder à l'esprit les montants alloués à des personnes blessées ou agressées sexuellement, à titre de comparaison. De plus, les parties plaignantes étaient des policiers; ils avaient choisi une profession à risque, et devaient compter sur la possibilité d'être confrontés à ce type de situation. Enfin, il fallait tenir compte du fait que l'indemnité à titre de réparation morale était censée adoucir leur souffrances; il n'était pas certain que cela fût le cas. S'écartant du jugement de première instance qui avait rejeté les conclusions civiles, la cour cantonale a jugé équitable, en examinant les situations financières du recourant et des intimés, d'allouer un montant de 5'000 fr. à A._ et de 2'500 fr. chacun pour E._, B._, C._ et D._ (jugement attaqué, consid. 4.3.3 p. 28).
2.3. Le trouble de stress post-traumatique (TSPT) est classé par l'Organisation mondiale de la santé parmi les troubles mentaux et du comportement (CIM-10 version: 2008: F43 1). Il constitue une réponse différée ou prolongée à une situation ou à un événement stressant (de courte ou de longue durée), exceptionnellement menaçant ou catastrophique et qui provoquerait des symptômes évidents de détresse chez la plupart des individus. Dans certains cas, le trouble peut présenter une évolution chronique, durer de nombreuses années, et entraîner une modification durable de la personnalité (voir: http:// apps.who.int/ classifications/icd10/browse/2008/fr#!/F43.1; également: <ref-ruling> consid. 5.1 p. 345 s. et les références citées).
En l'espèce, il ne ressort pas du dossier qu'un diagnostic de trouble de stress post-traumatique ait été posé par un médecin ou un psychologue s'agissant de l'un ou l'autre des intimés. La cour cantonale ne saurait conclure, sur la base des seules déclarations des parties plaignantes reproduites ci-dessus, non étayées par un certificat médical, que celles-ci sont toutes atteintes de ce trouble. C'est dès lors à raison que le recourant observe qu'en retenant que les intimés souffrent de stress post-traumatique, la cour cantonale constate l'existence d'un trouble qui n'a pourtant pas été démontré, ni même allégué par les intéressés. Sur ce point, l'état de fait cantonal est arbitraire. Il doit être corrigé en ce sens qu'un état de stress post-traumatique n'a pas été démontré (cf. <ref-law>).
3.
Le recourant soutient que les intimés n'ont pas démontré avoir subi un préjudice atteignant le degré de gravité requis pour prétendre à une réparation à titre de tort moral. Il invoque une violation de l'<ref-law>.
3.1.
3.1.1. Aux termes de l'<ref-law>, si l'équité l'exige, le juge peut condamner une personne même incapable de discernement à la réparation totale ou partielle du dommage qu'elle a causé (al. 1). Celui qui a été frappé d'une incapacité passagère de discernement est tenu de réparer le dommage qu'il a causé dans cet état, s'il ne prouve qu'il y a été mis sans sa faute (al. 2).
Une fois qu'il a été établi que les conditions d'application de l'<ref-law> - dommage, comportement illicite (respectivement rupture de contrat), lien de causalité et incapacité de discernement - sont remplies, le tribunal doit décider, au cas par cas, si et dans quelle mesure la personne incapable est tenue de réparer le dommage causé (arrêt 4C.195/2004 du 7septembre 2004 consid. 4.1 et la référence citée).
L'<ref-law> institue une responsabilité causale fondée sur les risques que présente pour autrui l'état de la personne incapable de discernement (<ref-ruling> consid. 4aa p. 335). Il s'agit d'une responsabilité exceptionnelle, pour les cas où, selon l'équité, la pesée des intérêts en présence justifie que le prévenu acquitté supporte tout ou partie des frais qu'il a provoqués (<ref-ruling> consid. 3 p. 113). Il faut prendre notamment en considération la situation financière des deux parties au moment du jugement (<ref-ruling> consid. 3b p. 231 et les références citées; plus récemment: arrêt 6B_505/2014 du 17 février 2015 consid. 2.1).
L'<ref-law> ne s'applique pas uniquement au dommage pécuniaire, mais également en lien avec les prétentions en réparation du tort moral (ATF 74 II 212 consid. 8 p. 210 s.).
3.1.2. En vertu de l'<ref-law>, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles une indemnité équitable à titre de réparation morale. Les circonstances particulières à prendre en compte se rapportent à l'importance de l'atteinte à la personnalité du lésé, l'<ref-law> étant un cas d'application de l'<ref-law>. Les lésions corporelles, qui englobent tant les atteintes physiques que psychiques, doivent donc en principe impliquer une importante douleur physique ou morale ou avoir causé une atteinte durable à la santé. S'il s'agit d'une atteinte passagère, elle doit être grave, s'être accompagnée d'un risque de mort, d'une longue hospitalisation, ou de douleurs particulièrement intenses ou durables (arrêts 4A_227/2007 du 26 septembre 2007 consid. 3.7.2 in SJ 2008 I 177; 4C.283/2005 du 18 janvier 2006 consid. 3.1.1 in JdT 2006 I 476 ss). Parmi les circonstances qui peuvent, selon les cas, justifier l'application de l'<ref-law>, figurent une longue période de souffrance ou d'incapacité de travail, de même que des préjudices psychiques importants, tel un état post-traumatique avec changement durable de la personnalité (arrêts 6B_1133/2013 du 12 avril 2014 consid. 3.2; 4A_307/2013 du 6 janvier 2014 consid. 3.2; 6B_213/2012 du 22 novembre 2012 consid. 3.1 in SJ 2013 I 169; cf. aussi <ref-ruling> consid. 11.2 p. 98).
3.1.3. La fixation de l'indemnité pour tort moral est une question d'application du droit fédéral, que le Tribunal fédéral examine donc librement. Dans la mesure où celle-ci relève pour une part importante de l'appréciation des circonstances, il fait toutefois preuve de retenue. Il n'intervient que si l'autorité cantonale s'est fondée sur des critères étrangers à la disposition applicable, a omis de tenir compte d'éléments pertinents ou a fixé une indemnité inéquitable parce que manifestement trop élevée ou trop faible. Comme il s'agit d'une question d'équité, et non d'une question d'appréciation au sens strict, qui limiterait sa cognition à l'abus ou à l'excès du pouvoir d'appréciation, le Tribunal fédéral examine toutefois librement si la somme allouée tient suffisamment compte de la gravité de l'atteinte ou si elle est disproportionnée par rapport à l'intensité des souffrances morales causées à la victime (<ref-ruling> consid. 6.3.1 p. 344 s. et les références citées).
3.2. Dans leurs déterminations, les intimés soutiennent que la comparaison que fait le recourant avec l'arrêt 1C_509/2014 du 1er mai 2015 est sans fondement, l'intéressé ne se plaignant, dans cette affaire, que d'une " petite cicatrice sur la lèvre ", raison pour laquelle le droit à une indemnité pour tort moral lui a été dénié. Or, dans l'arrêt en question, le Tribunal fédéral ne s'est pas limité à examiner les lésions physiques, mais a également considéré ce qui suit sous l'angle de l'atteinte à la santé psychique: " Par ailleurs, sous l'angle psychologique, l'intimé a certes présenté un syndrome de stress post-traumatique ayant engendré des mécanismes d'évitement, des comportements d'hypervigilance, des difficultés de concentration et des troubles du sommeil. Toutefois, après deux séances de deux heures, l'intimé a été en mesure de faire face à ses obligations professionnelles et familiales. Bien que le thérapeute consulté ait indiqué que certains éléments du traumatisme pourraient devoir être traités ultérieurement, on ne décèle pas que l'état de stress vécu par l'intimé ait durablement et significativement modifié sa personnalité; le fait que celui-ci fasse depuis les événements preuve d'une plus grande prudence lors de ses interventions ne témoigne pas à lui seul d'un tel changement. Il ne ressort en outre pas du dossier que l'état de stress post-traumatique diagnostiqué ait nécessité, ou nécessite encore des traitements médicaux particuliers. Sur le vu de ce qui précède, et sans nier le caractère déplorable des événements vécus par l'intimé, les éléments retenus par l'instance précédente apparaissent insuffisants à fonder le droit à une réparation morale. " (arrêt 1C_509/2014 du 1er mai 2015 consid. 2.4).
Quoi qu'en disent les intimés, il importe peu que cette affaire ait été jugée sous l'angle de la LAVI et non des <ref-law>, puisque l'<ref-law> prévoit expressément l'application par analogie des art. 47 et 49 CO. L'arrêt cité est pertinent en tant qu'il atteste du degré d'exigence requis pour démontrer l'existence d'un tort moral au sens de l'<ref-law> lorsqu'une atteinte à la santé psychique est alléguée. En particulier, il en ressort que même en présence d'un trouble de stress post-traumatique dûment constaté par un spécialiste, l'intéressé n'a pas encore droit à une réparation de son tort moral lorsqu'il n'est pas établi que ce trouble a entraîné une modification durable et significative de sa personnalité.
En l'espèce, compte tenu des explications fournies par les intimés (consid. 2.2 supra), il est indéniable que ceux-ci ont souffert d'une certaine atteinte à leur santé, en tous les cas durant les mois qui ont suivis (troubles du sommeil, angoisses, hypervigilance, etc.). Toutefois, comme le relève le recourant, mis à part B._, aucun des intimés n'a allégué faire l'objet d'un suivi psychiatrique ou psychologique, ou encore avoir subi une incapacité de travail. Aucun d'eux n'a produit un certificat médical. On ne dispose, dès lors, d'aucune précision sur la gravité de l'atteinte subie par chacun d'entre eux et sur son éventuel caractère durable.
3.3. Les intimés estiment que l'absence de diagnostic ou de preuve d'un suivi médical ne remet pas en cause la gravité de l'atteinte subie, qui ressort des faits imputés au recourant. Ils soulignent que le recourant a réalisé les conditions objectives des infractions de tentative de meurtre et de mise en danger de la vie d'autrui.
Si les faits survenus dans la nuit du 17 septembre 2016 sont indéniablement graves, ils ne permettent pas encore de conclure que les intimés ont éprouvé une douleur morale qui a atteint le degré d'intensité requise par la jurisprudence citée ci-avant. En lien avec les faits imputés au recourant, la cour cantonale a seulement constaté que les intimés avaient eu une " simple " peur bleue, sans aucune atteinte à leur intégrité physique.
Sur le vu de ce qui précède, il n'est pas établi que les intimés ont subi des préjudices psychiques importants au sens des art. 47 et 54 CO. Sans nier le caractère déplorable des événements qui ont touché les intimés, il y a lieu d'admettre le recours sur ce point. Partant, il n'est pas nécessaire d'examiner les autres griefs soulevés par le recourant à l'encontre des indemnités pour tort moral allouées aux intimés.
4.
Le recourant critique sa condamnation au paiement de dépens en faveur des intimés.
4.1. L'<ref-law> prévoit que la partie plaignante peut demander au prévenu une juste indemnité pour les dépenses obligatoires occasionnées par la procédure si elle obtient gain de cause (let. a), ou si le prévenu est astreint au paiement des frais conformément à l'<ref-law> (let. b). La partie plaignante obtient gain de cause si ses prétentions civiles sont admises et/ou lorsque le prévenu est condamné (<ref-ruling> consid. 4.1 et 4.3 p. 107 s.).
Lorsque le prévenu est condamné, la partie plaignante obtient gain de cause comme demandeur au pénal, de sorte qu'elle doit être indemnisée pour les frais de défense privée en relation avec la plainte pénale (<ref-ruling> consid. 4.3 p. 108). Si la partie plaignante est renvoyée à agir par la voie civile, elle ne peut pas être considérée comme ayant eu gain de cause en sa qualité de demandeur au civil ni comme ayant succombé, en tout cas lorsqu'une ordonnance pénale a été rendue. La partie plaignante doit faire valoir ses dépens avec la prétention civile (<ref-ruling> consid. 4.4 p. 109). Il y a donc lieu de distinguerentre les dépenses occasionnées par les conclusions civiles et celles qui sont occasionnées par la procédure pénale. La délimitation exacte peut certes se révéler difficile. Il convient toutefois de tenir compte que la notion de juste indemnité selon l'<ref-law> réserve l'appréciation du juge (<ref-ruling> consid. 4.5 p. 109; arrêt 6B_753/2013 du 17 février 2014 consid. 4.2).
Selon l'<ref-law>, si la procédure a fait l'objet d'une ordonnance de classement en raison de l'irresponsabilité du prévenu ou si celui-ci a été acquitté pour ce motif, les frais peuvent être mis à sa charge si l'équité l'exige au vu de l'ensemble des circonstances. La question de savoir si cette disposition légale s'applique également aux indemnités en faveur de la partie plaignante peut être laissée ouverte au regard de ce qui suit.
4.2. La cour cantonale a relevé que, bien que les intimés aient déposé plainte pénale, leurs conclusions aux débats de première instance n'avaient porté que sur l'aspect civil. Considérant ensuite que les intimés avaient obtenu la moitié du montant réclamé dans leurs conclusions civiles, elle a réduit les dépens de moitié. On comprend de cette décision que la cour cantonale a considéré que le volet pénal ne justifiait aucune indemnisation des parties plaignantes, dès lors qu'elles n'avaient pas soutenu l'action pénale. Les intimés n'ayant pas formé de recours, il n'y a pas lieu de revenir sur l'absence de dépens accordés en lien avec la procédure pénale. Sont ainsi seuls contestés, par le recourant, les dépens alloués aux intimés pour leurs démarches en rapport avec l'action civile. Or, dans la mesure où les prétentions civiles formées par les intimés sont rejetées faute de la réalisation de l'une des conditions de l'<ref-law> (consid. 3), les intimés n'ont pas droit à des dépens.
5.
Compte tenu de ce qui précède, le recours doit être partiellement admis (consid. 2, 3 et 4 supra), l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision. Le recours est irrecevable pour le surplus (consid. 1 supra).
Le recourant obtient gain de cause en lien avec les griefs soulevés dans le mémoire de son avocat. Il supportera une partie des frais judiciaires (<ref-law>) et il peut prétendre à une indemnité de dépens, à la charge pour moitié chacun, d'une part, du canton de Vaud et, d'autre part, des intimés, solidairement entre eux (art. 68 al. 1 et 2 LTF). Cela rend sans objet sa demande d'assistance judiciaire soumise en lien avec le mémoire de son avocat. Les intimés, qui succombent, supporteront solidairement une partie des frais judiciaires. Le canton de Vaud n'a pas à en supporter (art. 66 al. 1 et 4 LTF).
Les griefs formés par le recourant en personne sont manifestement irrecevables. Il sera renoncé à la mise à sa charge des frais (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Il est irrecevable pour le surplus.
2.
La demande d'assistance judiciaire est sans objet.
3.
Une partie des frais judiciaires, arrêtée à 1000 fr., est mise à la charge des intimés A._, B._, C._, D._ et E._, solidairement entre eux.
4.
Une indemnité de 3000 fr., à verser au recourant à titre de dépens, est mise pour moitié à la charge du canton de Vaud et pour moitié à la charge des intimés A._, B._, C._, D._ et E._, solidairement entre eux.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 février 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy