Faits :
A.
Par jugement du 12 janvier 2015, le Tribunal de police de Lausanne a notamment libéré Y._ et X._ des chefs de prévention de lésions corporelles graves par négligence et de violation des règles de l'art de construire par négligence, a rejeté les conclusions civiles de A._ et lui a donné acte de ses réserves civiles.
Ce jugement a été confirmé par jugement de la Cour d'appel pénale du Tribunal cantonal vaudois du 19 janvier 2016.
Le 20 mars 2018, A._ a déposé une demande de révision, laquelle contenait des passages que le Président de la Cour considérait comme inconvenants. Le 20 avril 2018, soit dans le délai imparti, A._ a déposé une nouvelle requête dans laquelle il concluait à l'annulation du jugement du 12 janvier 2015 et à ce que l'affaire soit renvoyée à un tribunal choisi par la cour cantonale.
B.
Par jugement du 7 mai 2018, la cour cantonale a déclaré la demande de révision de A._ irrecevable et a rejeté sa demande de récusation. Dans sa demande de révision, A._ invoquait notamment un motif de récusation au motif qu'il venait de découvrir que l'ex-épouse du magistrat ayant présidé l'autorité de première instance, B.B._, était fondé de pouvoir dans quatre entités " de l'empire de l'assurance C._ ", qui se trouvait être l'assureur RC du bureau D._, employeur de Y._ et X._.
C.
Par mémoire daté du 14 juillet 2018, A._ forme un recours en matière pénale contre le jugement du 7 mai 2018. Il conclut à son annulation et au renvoi du dossier " pour un arrangement à l'amiable ou devant un tribunal ". Il demande, par ailleurs, le bénéfice de l'assistance judiciaire.
Par courrier du 14 septembre 2018, son avocat a écrit au Tribunal fédéral l'informant que A._ lui avait confié la défense de ses intérêts et demandant à ce qu'un délai lui soit accordé pour compléter le recours. Par courrier du 19 septembre 2018, le Président de la Cour de droit pénal l'a renvoyé à l'<ref-law> ainsi qu'à la pratique du Tribunal fédéral selon laquelle il n'était - sous réserve de cas non réalisés en l'espèce - pas possible de compléter la motivation d'un recours après échéance du délai.

Considérant en droit :
1.
Vu le sort du recours, la qualité pour recourir (art. 81 al. 1 let. b ch. 5 LTF) du recourant peut rester indécise.
2.
Le recourant conteste le " rejet " de sa requête de révision et, en particulier, le fait que la cour cantonale a conclu à l'inexistence d'un conflit d'intérêts justifiant la récusation du magistrat ayant rendu le jugement de première instance du 12 janvier 2015.
2.1. Si un motif de récusation n'est découvert qu'après la clôture de la procédure, les dispositions sur la révision sont applicables (<ref-law>). L'<ref-law> consacre, dans le cadre des règles sur la récusation (<ref-law>), un motif de révision spécifique qui découle du droit, garanti par les art. 30 al. 1 Cst. et 6 § 1 CEDH, d'être jugé par un tribunal impartial. Quant aux faits et moyens de preuve nouveaux au sens de l'<ref-law>, ils ne sont pas censés se rapporter à d'éventuels vices de procédure (<ref-ruling> consid. 2.2 p. 40 s.; THOMAS FINGERHUTH, in Kommentar zur Schweizerischen Strafprozessordnung, 2e éd. 2014, n° 54 ad <ref-law>; GÉRARD PIQUEREZ, Traité de procédure pénale suisse, 2e éd. 2006, p. 785 s., n° 1275). Il sied encore de préciser que le vice en question - soit en l'occurrence l'existence d'un motif de récusation -, de par son caractère formel, doit être assimilé à une cause absolue de révision devant conduire en tous les cas à l'annulation du jugement querellé (<ref-ruling> consid. 2.2 p. 41; cf. SCHMID/JOSITSCH, Handbuch des schweizerischen Strafprozessrechts, 3e éd. 2017, p. 712, n° 1591). Enfin, conformément au principe de la bonne foi en procédure, il incombe aux parties de requérir une telle révision sans délai (<ref-ruling> consid. 2.2 p. 41).
2.2. La procédure du rescindant instituée par le CPP se déroule, en principe, en deux phases comprenant un examen préalable de la recevabilité (art. 412 al. 1 et 2 CPP) puis celui des motifs invoqués (art. 412 al. 3 et 4; 413 CPP). Il s'agit de deux étapes d'une seule et même procédure de la compétence de la juridiction d'appel (art. 412 al. 1 et 3 CPP). Aux termes de l'<ref-law>, la juridiction d'appel n'entre pas en matière sur la demande de révision si celle-ci est manifestement irrecevable ou non motivée ou si une demande de révision invoquant les mêmes motifs a déjà été rejetée par le passé. La procédure de non-entrée en matière selon cette disposition est en principe réservée à des vices de nature formelle. Il est néanmoins loisible à la juridiction d'appel de refuser d'entrer en matière si les motifs de révision invoqués apparaissent d'emblée non vraisemblables ou mal fondés (arrêts 6B_713/2017 du 8 octobre 2018 consid. 3.2; 6B_426/2018 du 5 juillet 2018 consid. 3.2 et les références citées).
2.3. En l'espèce, il découle de ce qui précède que c'est à tort que la cour cantonale a examiné le grief du recourant relatif à la récusation du magistrat E.B._ sous l'angle de l'<ref-law>, lequel constitue une cause relative de révision qui ne justifie une annulation de la décision que si ladite cause est en relation de causalité avec celle-ci (cf. GÉRARD PIQUEREZ, Traité de procédure pénale suisse, 2e éd. 2006, p. 784, n° 1273; THOMAS FINGERHUTH, in Kommentar zur Schweizerischen Strafprozessordnung, 2e éd. 2014, n° 53 ad <ref-law>). En effet, l'<ref-law> constitue non seulement un motif propre de révision, qui s'ajoute aux hypothèses visées par l'art. 410 al. 1 et 2 CPP (cf. JEANNERET/KUHN, Précis de procédure pénale, 2e éd., 2018, n° 19118; JO PITTELOUD, Code de procédure pénale suisse, 2012, n° 1236 ad art. 410 ss; THOMAS FINGERHUTH, in Kommentar zur Schweizerischen Strafprozessordnung, 2e éd. 2014, n° 73 ad <ref-law>; MARIANNE HEER, in Basler Kommentar, Schweizerische Strafprozessordnung/Jugendstrafprozessordnung, 2e éd. 2014, n° 14 ad <ref-law>) mais également une cause absolue de révision (cf. supra consid. 1.1).
Cela ne signifie cependant pas que le recours doive être admis, puisque le Tribunal fédéral peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 2.3 p. 23 s. et les arrêts cités; cf. arrêt 6B_70/2016 du 2 juin 2016 consid. 1 non publié in <ref-ruling>).
3.
Il convient donc de déterminer si, sur la base des faits retenus, il existait ou non un motif de récusation et si la cour cantonale pouvait, sans violer le droit fédéral, déclarer la demande de révision du recourant irrecevable.
3.1. La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH - qui ont, de ce point de vue, la même portée - permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat, mais seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles du plaideur ne sont pas décisives (<ref-ruling> consid. 3.2.1 p. 608; <ref-ruling> consid. 4.2 p. 21; <ref-ruling> consid. 2.1 p. 240 et les arrêts cités; <ref-ruling> consid. 1.1 p. 25; arrêt 6B_713/2017 précité consid. 1.1).
Les motifs de récusation mentionnés à l'<ref-law> concrétisent ces garanties. Conformément à cette disposition, hormis les autres cas qui n'apparaissent pas devoir entrer en considération en l'espèce (art. 56 let. b, d et e CPP), toute personne exerçant une fonction au sein d'une autorité pénale est tenue de se récuser, notamment, lorsqu'elle a un intérêt personnel dans l'affaire (let. a), lorsqu'elle est mariée, vit sous le régime du partenariat enregistré ou mène de fait une vie de couple avec une partie, avec son conseil juridique ou avec une personne qui a agi dans la même cause en tant que membre de l'autorité inférieure (let. c) ou lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à la rendre suspecte de prévention (let. f). Cette dernière lettre a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres susmentionnées (<ref-ruling> consid. 2.1 p. 144; arrêt 6B_761/2017 du 17 janvier 2018 consid. 1.1).
3.2. En l'espèce, dans son mémoire de recours, le recourant se contente de reprocher au magistrat E.B._ d'avoir statué alors qu'il aurait dû se récuser au motif que son ex-épouse, B.B._, était fondé de pouvoir dans quatre entités de l'assurance C._, qui se trouvait être l'assureur RC du bureau D._, employeur des intimés. Il y voit un conflit d'intérêts. Tout d'abord, dans la mesure où il s'agit de l'ex-épouse du magistrat en question, il s'agit d'un lien qui ne revêt pas le degré d'intensité exigé en principe pour justifier une récusation. Par ailleurs, la simple appartenance organique de l'ex-épouse du magistrat à une société qui n'était pas partie à la procédure pénale, même en supposant un intérêt indirect à l'issue du litige, n'est pas suffisante pour constituer un motif de récusation dudit magistrat. En outre, il ne ressort pas non plus du jugement attaqué que le magistrat ou son ex-épouse aurait un intérêt propre à l'issue du litige. Le recourant ne le soutient d'ailleurs pas. Enfin, il ne ressort pas des faits du jugement attaqué que ledit magistrat entretiendrait un rapport étroit avec l'assurance C._, ni que la situation ou le comportement de celui-ci seraient de nature à faire naître un doute sur son impartialité. Les circonstances dont le recourant se prévaut ne donnent aucunement l'apparence de prévention.
Il ressort dès lors des faits constatés par la cour cantonale que les éléments avancés par le recourant ne fondent pas un motif de récusation.
Dans ces circonstances, la cour cantonale n'a pas violé le droit fédéral en écartant d'emblée la demande de révision et en la déclarant irrecevable (cf. supra consid. 2.2 in fine).
4.
Pour le surplus, le recourant consacre l'essentiel de son mémoire de recours à la critique du jugement du Tribunal de police de Lausanne du 12 janvier 2015 et du premier jugement de la Cour d'appel pénale du 19 janvier 2016, en reprochant notamment aux autorités cantonales d'avoir acquitté les intimés, de ne pas avoir entendu des témoins et d'avoir " bâclé " l'instruction du dossier. Son argumentation est irrecevable à cet égard, dès lors que seul le jugement attaqué fait l'objet du recours au Tribunal fédéral (cf. <ref-law>).
5.
Enfin, dans son recours, le recourant ne conteste pas le rejet par la cour cantonale de sa demande de récusation de tous les membres de l'autorité cantonale saisie, de sorte qu'il n'y a pas lieu d'examiner cette question.
6.
Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions du recours étaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut pas être accordée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 octobre 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann