Faits :
A.
A.a. Le 13 septembre 2012, le Ministère public central du canton de Vaud, division criminalité économique et entraide judiciaire, a, sur la base des faits dénoncés par A._, B._ et C._ dans leur plainte du 26 avril 2012 et son complément du 7 juin 2012 ainsi que du rapport de police du 8 septembre 2012, ouvert une instruction pénale contre X._.
Dans le cadre de cette procédure, et à l'appui de son recours du 30 avril 2015 contre un refus, par le Tribunal des mesures de contrainte, d'ordonner sa libération de la détention provisoire, X._ a demandé la récusation du Procureur Anton Rüsch, requête qui a été rejetée le 5 mai 2015 par la Chambre des recours pénale du Tribunal cantonal vaudois.
A.b. Par acte d'accusation du 20 février 2017, le Ministère public central a mis X._ en accusation devant le Tribunal criminel de l'arrondissement de l'Est vaudois pour escroquerie par métier, faux dans les titres, gestion déloyale aggravée, gestion fautive et soustraction d'objets mis sous main de justice.
Après plusieurs renvois, l'ouverture des débats a été fixée au 28 janvier 2019.
Le 20 novembre 2017, le Ministère public a requis qu'un rétroprojecteur et un écran ad hoc pouvant être reliés à un ordinateur portable soient installés dans la salle d'audience où se tiendraient les débats.
A.c. Le 18 janvier 2019, X._ a à nouveau demandé la récusation du Procureur Anton Rüsch auprès du Tribunal criminel de l'arrondissement de l'Est vaudois, requête qui a été rejetée dans la mesure de sa recevabilité par la Présidente dudit tribunal le 21 janvier 2019.
Par décision du 24 janvier 2019, la Chambre des recours pénale a annulé le prononcé précité, dès lors que l'autorité de première instance n'était pas compétente pour statuer sur la demande de récusation. Statuant sur celle-ci, la cour cantonale l'a néanmoins rejetée, dans la mesure de sa recevabilité. X._ a contesté cette décision auprès du Tribunal fédéral; ce recours fait l'objet d'un arrêt distinct rendu également ce jour (arrêt 1B_46/2019).
A.d. A l'ouverture des débats, le 28 janvier 2019, X._ a, d'entrée de cause, demandé la récusation du Tribunal criminel de l'arrondissement de l'Est vaudois. Il a indiqué avoir constaté qu'à tout le moins durant treize minutes, les représentants du Parquet, à savoir le Procureur Anton Rüsch et l'analyste financier I._, avaient été laissés dans la salle d'audience fermée en présence d'au moins trois juges du tribunal ainsi que sa greffière, puis tout au moins trois minutes en présence de l'intégralité du tribunal.
Délibérant immédiatement à huis clos, le Tribunal criminel a décidé de poursuivre l'audience, nonobstant la demande de récusation qui a été transmise à 9h53 à la Chambre des recours pénale. Il a indiqué que les juges n'avaient eu aucun échange sur le fond de l'affaire en présence ou avec les représentants du Ministère public, que les seuls propos échangés entre ces derniers avaient été des salutations d'usage et qu'un témoin, en la personne de J._, huissier et délégué informatique, pourrait l'attester puisqu'il était présent dans la salle.
Par ordonnance du même jour, le Président de la Chambre des recours pénale a déclaré irrecevable la requête de mesures provisionnelle de X._ tendant à ce que les débats de première instance soient suspendus.
Par décision du 1 er février 2019, la Chambre des recours pénale a rejeté la demande de récusation du 28 janvier 2019.
B.
X._ forme un recours en matière pénale au Tribunal fédéral contre cette décision, concluant, avec suite de frais et dépens, à sa modification en ce sens que la Présidente Anne-Catherine Page, les juges Francine Baudois, Liza Vouillamoz, Patrick Rey et Roland Pfyffer, ainsi que la greffière Marika Bovey sont récusés, que le dossier de la cause est transmis à la Première Présidente du Tribunal de l'arrondissement de l'Est vaudois pour désignation de nouveaux magistrats et d'un nouveau greffier, que les actes accomplis devant le Tribunal criminel de l'arrondissement de l'Est vaudois depuis le 28 janvier 2019 sont annulés et seront répétés par les nouveaux magistrats et le nouveau greffier désignés et que les frais de justice sont intégralement laissés à la charge de l'Etat. Subsidiairement, il requiert l'annulation et le renvoi de la décision entreprise à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite également l'assistance judiciaire.
Invités à se prononcer, les intimés se sont référés à leurs déterminations du 29 janvier 2019 ainsi qu'à la décision de la Chambre des recours pénale du 1 er février 2019. Cette autorité a renoncé à se déterminer tout en se référant aux considérants de sa décision, à l'instar du Procureur Anton Rüsch, pour le Ministère public central, qui a néanmoins conclu au rejet du recours.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision incidente en matière pénale portant sur une demande de récusation peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir en vertu de l'<ref-law>. Formé en temps utile (<ref-law>) contre une décision rendue en instance cantonale unique (<ref-law>), le recours est recevable. Pour le surplus, les conclusions prises sont recevables (<ref-law>). Partant, il y a lieu d'entrer en matière.
2.
Le recourant reproche à la juridiction cantonale d'avoir violé les art. 6 CEDH, 29 al. 1 et 2 et 30 Cst. ainsi que les art. 56 et 58 à 60 CPP.
2.1. Un magistrat est récusable, aux termes de l'art. 56 let. f CPP, lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à le rendre suspect de prévention. Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2 p. 74 et les références citées).
Des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que le juge est prévenu ou justifient à tout le moins objectivement l'apparence de prévention. En effet, la fonction judiciaire oblige à se déterminer rapidement sur des éléments souvent contestés et délicats. Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a donc pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises notamment par la direction de la procédure (<ref-ruling> ibidem).
2.2. Le recourant soutient en premier lieu que le fait que l'accusation se soit retrouvée seule, peu avant l'ouverture des débats, en salle d'audience, porte close, pendant un quart d'heure avec les magistrats et la greffière chargés de le juger, serait un motif de récusation de ces derniers.
En l'occurrence, la cour cantonale a elle-même relevé qu'il était regrettable que la porte de la salle d'audience ait, à un moment donné, été fermée. Cela étant, selon la décision attaquée (p. 7), la Présidente du Tribunal criminel - sans doute consciente de cette méprise - a immédiatement ouvert la porte lorsqu'elle est arrivée. Cette prompte réaction - dont l'existence n'a pas été contestée par le recourant - était déjà de nature à dissiper toute impression de partialité de la magistrate à son égard. Il faut en outre relever que le 20 novembre 2017 déjà, le Ministère public avait requis qu'un rétroprojecteur et un écran ad hoc reliés à un ordinateur portable puissent être installés dans la salle d'audience où se tiendraient les débats. Il a d'ailleurs été fait suite à cette requête, dès lors que la Présidente du Tribunal criminel a expliqué avoir donné comme instruction aux huissiers de laisser les parties accéder à la salle d'audience avant les débats et avoir constaté, à son arrivée dans la salle avec le juge Patrick Rey, vers 8h50, que le Procureur et l'analyste financier étaient en train de brancher leur matériel informatique (cf. décision entreprise p. 7). A cet égard, le recourant affirme que la simple possibilité laissée aux parties d'accéder à la salle d'audience ne permettrait pas d'en déduire une possibilité effective, au moment de l'incident, d'y entrer librement en présence des membres de la cour; cette remarque n'est toutefois pas convaincante puisque, selon la décision entreprise (p. 7 s.), son conseil a pu accéder à la salle en question peu avant les débats pour y déposer sa sacoche et qu'il a demandé à l'huissier de déposer son ordinateur portable, ce que le recourant ne nie pas. Au demeurant, le recourant ne prétend pas que ledit conseil aurait été empêché d'accéder à la salle d'audience.
Pour le surplus, rien ne permet de soupçonner que la version des magistrats - à savoir, s'agissant de la Présidente du Tribunal criminel, qu'en sa présence, l'affaire n'avait pas été évoquée avec le Parquet, les juges assesseurs ayant de leur côté affirmé, en substance, qu'outre les salutations d'usage et des banalités échangées entre collègues, ils n'avaient pas discuté avec le Procureur ou l'analyste financier, ni évoqué l'affaire pénale en leur présence, précisant tous avoir vu le Procureur et l'analyste financier s'affairer à l'installation de matériel informatique, aidés, à tout le moins par moments, par l'huissier - et celle de la greffière - qui a pour l'essentiel rapporté les mêmes événements que les autres membres du tribunal - soit inexacte (cf. supra let. A.d ainsi que la décision entreprise, en particulier p. 3 et 7). Quant au temps employé pour l'installation du matériel informatique et le rétroprojecteur, on ne voit pas en quoi il serait de nature à fonder une prévention à l'encontre du recourant. Ainsi, le fait que les magistrats et la greffière en cause se soient retrouvés durant quelques minutes avant les débats en présence du procureur et de l'analyste financier - ce alors qu'il était prévu qu'ils installent du matériel informatique, et sachant que le défenseur du recourant est lui-même entré à un moment donné pour y déposer sa sacoche et son ordinateur et que l'accès de la salle ne lui était pas interdit - ne permet pas à lui seul de retenir une apparence objective de connivence entre les précités, dans la mesure où il ne s'accompagne pas d'autres éléments pertinents qui pourraient laisser penser le contraire. Les faits allégués par le recourant ne sauraient dès lors objectivement susciter un doute fondé sur l'impartialité des prénommés et justifier leur récusation pour ce motif.
2.3. Se référant aux art. 29 al. 2 et 30 al. 1 Cst. ainsi qu'à l'<ref-ruling>, le recourant reproche ensuite à la cour cantonale de n'avoir pas admis que le Tribunal criminel avait commis une erreur particulièrement lourde en modifiant sa composition sans en indiquer les motifs aux parties.
2.3.1. L'art. 29 al. 2 Cst. garantit aux parties le droit d'être entendues.
Quant à l'art. 30 al. 1 Cst., il garantit que toute personne dont la cause doit être jugée dans une procédure judiciaire le droit à ce que sa cause soit portée devant un tribunal établi par la loi, compétent, indépendant et impartial; il interdit les tribunaux d'exception.
C'est en premier lieu à la lumière des règles cantonales applicables d'organisation et de procédure qu'il convient d'examiner si une autorité judiciaire ou administrative a statué dans une composition conforme à la loi. Sur ce point, le pouvoir d'examen du Tribunal fédéral est limité à l'arbitraire (<ref-ruling> consid. 2.1.2.1 p. 34; arrêt 1B_311/2016 du 10 octobre 2016 consid. 2.2).
2.3.2. Selon la jurisprudence, l'art. 30 al. 1 Cst. n'exige pas que l'autorité judiciaire appelée à statuer soit composée des mêmes personnes tout au long de la procédure (cf. <ref-ruling> consid. 2.3 p. 500 s.; cf. également <ref-ruling> consid. 1e p. 135). La modification de la composition de l'autorité judiciaire en cours de procédure ne constitue donc pas en tant que telle une violation de l'art. 30 al. 1 Cst. Elle s'impose nécessairement lorsqu'un juge doit être remplacé par un autre ensuite de départ à la retraite, d'élection dans un autre tribunal, de décès ou en cas d'incapacité de travail de longue durée (arrêts 4A_1/2017 du 22 juin 2017 consid. 2.1.2; 1C_279/2016 du 27 février 2017 consid. 4.2).
2.3.3. En l'occurrence, le recourant ne se prévaut d'aucune disposition du droit judiciaire vaudois qui interdirait le remplacement d'un juge par un autre en cours de procès, respectivement ne se plaint pas de la violation de dispositions cantonales, ce qu'il n'appartient pas au Tribunal fédéral d'examiner d'office (<ref-law>).
Pour le reste, l'arrêt cité par le recourant relève certes qu'en cas de modifications dans la composition de l'autorité de jugement constituée initialement, le tribunal a le devoir d'attirer l'attention des parties sur le remplacement qui est envisagé au sein de la cour et les raisons qui le motivent (<ref-ruling> consid. 8.2 p. 94 s.). Or, le recourant n'expose pas en quoi la présente affaire devrait être assimilée à celle ayant donné lieu à l'<ref-ruling>, dans laquelle seul le Président du Tribunal cantonal - sur les cinq juges siégeant - n'avait pas été remplacé au moment de la décision, alors même que l'instruction avait notamment porté sur l'audition de huit témoins. En effet, il n'indique pas à quel moment, pièce à l'appui, la modification de la composition du Tribunal criminel est intervenue ni si un ou plusieurs juges ont été remplacés, respectivement ne soutient pas que dite modification serait intervenue après que des mesures d'instruction importantes ont été mises en oeuvre (cf. arrêt 1C_279/2016 précité, ibidem). Il n'évoque pas non plus d'éléments laissant supposer que le ou les nouveaux membres du tribunal auraient été empêchés de prendre connaissance du dossier (cf. <ref-ruling> ibidem; <ref-ruling> consid. 1e p. 134; arrêt 1C_84/2017 du 18 août 2017 consid. 4.2). Ce faisant, le recou-rant ne démontre pas, avec précision et de manière détaillée, conformément à l'exigence de motivation des griefs constitutionnels (<ref-law>), en quoi l'autorité précédente aurait violé les garanties de procédures qu'il invoque. Il n'appartient au demeurant pas au Tribunal fédéral de rechercher lui-même dans les pièces versées au dossier les éléments de fait pertinents à l'appui de sa thèse (arrêt 1C_3/2018 du 23 octobre 2018 consid. 5; cf. également arrêt 6B_1299/2017 du 10 avril 2018 consid. 1.1).
2.4. Le recourant invoque encore d'autres erreurs, selon lui, particulièrement lourdes, qui auraient été commises par le tribunal de première instance. Il se réfère à deux incidents, l'un concernant sa requête de retranchement des pièces 357 et 366, qu'il estime inexploitables au sens de l'<ref-law>, et l'autre s'agissant de la capacité de discernement de la plaignante H._, respectivement de son admission en qualité de demanderesse au pénal et au civil, sur lesquels le tribunal a décidé de surseoir à statuer. Son droit d'être entendu aurait été violé " dans sa composante au droit contradictoire avec H._ depuis que celle-ci a déposé plainte pénale ".
Au contraire de ce qu'allègue le recourant, les décisions du tribunal de surseoir à statuer sur ces requêtes ne sont pas propres à rendre même vraisemblable une apparence de partialité. Elles procèdent certes d'une vision différente de la conduite de la procédure, respectivement des éléments invoqués par le recourant; elles constitueraient tout au plus des erreurs de procédure ou d'appréciation, mais ne peuvent en aucun cas être considérées comme graves au point d'être assimilées à un parti-pris en défaveur du recourant. Ces décisions prises au cours des débats doivent, comme cela est rappelé ci-dessus, être contestées, cas échéant, par les voies de recours ordinaires.
Quant au reproche du recourant selon lequel l'autorité de première instance aurait tenté de le dissuader de faire valoir son droit au silence, il ne constitue qu'une impression purement individuelle qui n'est en l'occurrence pas décisive. Le procès-verbal de l'audience auquel il se réfère ne révèle aucune remarque de la Présidente du Tribunal de première instance qui pourrait être considérée comme déplacée, respectivement pourrait donner objectivement l'impression qu'elle avait pour but de le dissuader de faire usage de son droit de se taire (cf. <ref-ruling> consid. 3.4.2 p. 183).
2.5. En définitive, les éléments avancés par le recourant ne permettent pas de conclure à une apparence objective de partialité des membres du Tribunal criminel de l'arrondissement de l'Est vaudois dont il requiert la récusation. La juridiction cantonale n'a dès lors pas violé le droit fédéral en considérant qu'il n'existait aucun motif de récusation à leur encontre.
3.
Il s'ensuit que le recours est rejeté, dans la mesure où il est recevable.
Le recourant a demandé l'assistance judiciaire et les conditions en paraissent réunies (<ref-law>). Me Matthieu Genillod est désigné comme avocat d'office du recourant, rétribué par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires (<ref-law>), ni alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est admise; Me Matthieu Genillod est désigné comme avocat d'office du recourant et une indemnité de 1'500 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties, au Ministère public central du canton de Vaud, au Tribunal cantonal du canton de Vaud, Chambre des recours pénale, ainsi que, pour information, aux mandataires de B._, A._, C._ et H._.
Lausanne, le 24 avril 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Merkli
La Greffière : Nasel