Faits :
A.
Le 23 mai 2018, le Ministère public central, division affaires spéciales, a ouvert une instruction pénale contre A._ pour gestion déloyale des intérêts publics, subsidiairement gestion déloyale. Il lui reproche en substance d'avoir agi, dès 2016 au moins, alors qu'il était membre de la Municipalité de la Commune de Vevey (ci-après: municipalité), et membre et président du conseil de la fondation B._, disposant de la signature collective à deux, de manière à doter cette dernière de moyens humains et/ou matériels excessifs, tout en cherchant à favoriser les activités commerciales de sa société E._ au travers de sous-locations lucratives pour cette dernière, lui-même et/ou des proches.
La fondation B._, inscrite au registre du commerce depuis le 8 novembre 2010, a son siège à Vevey. Elle a pour but d'offrir des logements de transition à des personnes domiciliées dans la commune fondatrice ou dans les communes ayant adhéré au but de la fondation, et qui sont menacées de perdre ou qui ont effectivement perdu leur logement, de mettre ainsi en oeuvre toutes les mesures utiles nécessaires telles que définies dans le règlement de fondation. C'est une fondation d'intérêt public qui reçoit notamment des prestations et des subventions des collectivités publiques, ainsi que des dons.
La société E._, inscrite au registre du commerce depuis le 31 janvier 2003, a son siège à Aigle. A._ est associé gérant de cette société et dispose de la signature individuelle. Elle a pour but l'analyse, les conseils et la gestion, soit la vente de compétences nécessaires à l'analyse systémique des domaines et de l'environnement de l'entreprise, aux conseils sur la réalisation et l'expertise de faisabilité des projets de tous types, ainsi qu'à leur conduite, et à la gestion en délégation de personnes des divers secteurs de l'entreprise.
B.
Le 24 mai 2018, l'Etat de Vaud, par le Service juridique et législatif, a déposé une plainte pénale contre A._, ainsi que contre toute autre personne ayant prêté la main aux agissements de celui-ci, pour gestion déloyale, voire abus de confiance. Il fait notamment grief à A._ d'avoir à tout le moins lésé l'Etat de Vaud sous l'angle de la législation sur les subventions et sous celui des intérêts publics en gérant les deniers de la fondation B._ de manière déloyale et abusive pour en faire profiter la société E._.
Se référant au rapport établi le 16 mai 2018 par le Contrôle cantonal des finances, l'Etat de Vaud a exposé, en bref, que la fondation B._ était principalement subventionnée par l'Etat et par le Service de la prévoyance et de l'aide sociale, mais qu'elle recevait également des soutiens et des dons de certaines communes, que les subventions avaient passé de 150'000 fr. en 2011 à 923'000 fr. en 2018, que A._, qui disposait de la signature collective à deux pour engager la fondation B._, avait pris un grand nombre de décisions seul et qu'il possédait 75% des parts sociales de E._.
Le 1 er juin 2018, la fondation B._ a déclaré vouloir participer à la procédure pénale en qualité de demanderesse au pénal et au civil, faisant valoir qu'elle était lésée par les agissements de A._.
Par décision du 13 juin 2018, le Conseil d'Etat a suspendu A._ dans l'exercice de ses fonctions au sein de la municipalité. Une procédure de recours est actuellement pendante.
Par courrier du 6 juillet 2018, la Commune de Vevey a requis que la qualité de demanderesse au civil lui soit reconnue et a demandé à pouvoir consulter le dossier de la présente cause. Elle invoque l'existence possible d'un préjudice dans l'hypothèse où les fonds qu'elle a versés à la fondation B._ sous la forme d'une subvention annuelle de 155'000 fr. depuis la constitution de celle-ci auraient été utilisés contrairement à leur but par A._ en sa qualité de président du conseil de dite fondation.
Par courrier du 12 juillet 2018, le Procureur général a interdit à Me C._, mandataire de la fondation B._, et à D._, commissaire désigné de dite fondation après que A._ a été démis de ses fonctions de président et de membre de son conseil, de divulguer à des tiers le contenu de l'audition de ce dernier du 11 juillet 2018, à laquelle ils ont assisté, jusqu'aux auditions des membres du conseil de fondation appointées au 16 août 2018.
Par ordonnance du 6 août 2018, le Procureur général a reconnu le statut de demandeur au pénal et au civil de l'Etat de Vaud et de demanderesse au civil de la Commune de Vevey, a dit qu'il serait statué par décision séparée sur les questions relatives à l'accès au dossier et que les frais suivaient le sort de la cause.
Par ordonnance du même jour, le Ministère public central, division affaires spéciales, a indiqué que la fondation B._ et la Commune de Vevey n'avaient, en l'état, pas accès au dossier jusqu'au 4 septembre 2018, sous réserve de prolongation, les frais suivant le sort de la cause.
C.
Le 17 août 2018, A._ a recouru contre l'ordonnance du 6 août 2018, en concluant principalement à sa réforme en ce sens que le statut de demanderesse au civil soit refusé à la Commune de Vevey et, subsidiairement, à son annulation en tant qu'elle porte sur la qualité de partie plaignante de la Commune de Vevey et au renvoi de la cause au Ministère public pour nouvelle décision dans le sens des considérants.
Le recours a été rejeté par la Chambre des recours pénale du Tribunal cantonal du canton de Vaud dans un arrêt du 10 septembre 2018. Cette autorité a en substance considéré que c'était à bon droit que le Ministère public avait reconnu à la Commune de Vevey la qualité de demanderesse au civil, à tout le moins en relation avec les éventuelles infractions d'obtention frauduleuse de subventions (art. 35 de la loi [du canton de Vaud] du 22 février 2005 sur les subventions [LSubv; RSV 610.15]), voire d'escroquerie (art. 146 CP), comme de gestion déloyale des intérêts publics (art. 314 CP).
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à sa réforme en ce sens que le statut de demanderesse au civil de la Commune de Vevey est rejeté et qu'il sera statué par décision séparée sur les questions relatives à l'accès au dossier. A titre subsidiaire, il requiert son annulation et le retour du dossier de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. A._ sollicite encore l'effet suspensif au recours ainsi que des mesures provisionnelles, en ce sens qu'ordre est donné à la Commune de Vevey, respectivement à sa Municipalité, de déposer au greffe du Tribunal fédéral copie de l'intégralité des pièces et copies effectuées dans le cadre de la cause PE18.008347-ECO et à ce qu'interdiction lui soit faite d'exploiter lesdites pièces sous quelque forme que ce soit jusqu'à droit connu sur l'issue du recours.
Le Ministère public du canton de Vaud, par le Procureur général, a renoncé à se déterminer sur la requête d'effet suspensif ainsi que sur le recours, à l'instar du Tribunal cantonal, qui s'est référé aux considérants de sa décision. La Commune de Vevey a conclu au rejet de la requête d'effet suspensif et de mesures provisionnelles; elle a en outre conclu, principalement, à l'irrecevabilité du recours et, subsidiairement, à son rejet. Le 23 janvier 2019, A._ a réitéré les conclusions prises au pied de son recours. La Commune de Vevey a déposé des déterminations spontanées.
Par ordonnance du 19 novembre 2018, le Président de la I re Cour de droit public a rejeté la requête d'effet suspensif et a admis celle de mesures provisionnelles en ce sens qu'il a été fait interdiction à la Commune de Vevey d'utiliser les pièces du dossier pénal dans d'autres procédures l'opposant au recourant.

Considérant en droit :
1.
Le recourant et l'intimée ont produit en annexe de leurs écritures des courriers échangés entre les 10 et 11 octobre 2018. Ils n'exposent toutefois nullement en quoi les conditions de l'art. 99 al. 1 LTF seraient réunies. Ces éléments et les allégations qui s'y rapportent n'apparaissent quoi qu'il en soit pas déterminants, compte tenu de ce qui suit.
2.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 186).
2.1. L'arrêt attaqué ne met pas fin à la procédure pénale ouverte contre le recourant et revêt un caractère incident. Il ne s'agit pas d'une décision séparée portant sur la compétence ou sur une demande de récusation de sorte que l'art. 92 LTF n'est pas applicable. Le recours en matière pénale n'est donc recevable qu'aux conditions posées à l'art. 93 al. 1 LTF, soit si la décision attaquée peut causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
De jurisprudence constante, une décision qui reconnaît à un tiers la qualité de partie plaignante dans une procédure pénale ne cause en règle générale au prévenu aucun préjudice irréparable qu'une décision finale ne ferait pas disparaître entièrement; le simple fait d'avoir à affronter une partie de plus lors de la procédure ne constitue pas un tel préjudice. Par ailleurs, en cas de condamnation confirmée par les instances cantonales de recours, le prévenu aura la possibilité de se plaindre en dernier ressort, devant le Tribunal fédéral, d'une mauvaise application des dispositions de procédure pénale relatives à la qualité de partie plaignante (arrêts 1B_399/2018 du 23 janvier 2019 consid. 2.1; 1B_261/2017 du 17 octobre 2017 consid. 2; voir aussi <ref-ruling> consid. 2.1 p. 216).
2.2. Le recourant soutient que la participation de l'intimée en tant que partie plaignante permettrait à la seconde d'avoir accès au dossier pénal et d'utiliser les informations confidentielles qu'il contient, notamment dans le cadre de procédures actuellement pendantes divisant en particulier la municipalité et le recourant s'agissant de la suspension de ses fonctions de conseiller municipal d'une part et de la suspension de sa rémunération d'autre part. Il craint, compte tenu des tensions internes à l'exécutif de la Commune de Vevey, que certaines personnes se servent de faits confidentiels pour tenter de lui nuire ou les divulguent à la presse. La jurisprudence retient cependant que l'accès au dossier constitue un inconvénient potentiel inhérent à l'existence d'une procédure pénale, insuffisant pour admettre un préjudice irréparable (arrêts 1B_399/2018 précité consid. 2.1; 1B_261/2017 précité consid. 2). Selon GARBARSKI, que le recourant cite dans son recours, tel pourrait cependant être le cas si le prévenu est en mesure de démontrer, concrètement, que les éléments issus du dossier pénal pourraient être utilisés par la prétendue partie plaignante, à son avantage, que ce soit par exemple (i) dans le cadre d'une procédure judiciaire parallèle opposant les mêmes parties et portant sur le même complexe de faits, (ii) pour se livrer à une campagne médiatique contre le prévenu, (iii) ou encore à des fins commerciales, par l'exploitation indue de secrets d'affaires (ANDREW M. GARBARSKI, Le lésé et la partie plaignante en procédure pénale: état des lieux de la jurisprudence récente, in SJ 2013 II p. 123, ad F p. 139 s.; voir également du même auteur et sur ces mêmes questions, SJ 2017 II p. 125 spécialement p. 140 ss).
En l'espèce, rien ne permet de se distancer de la jurisprudence fédérale rappelée ci-dessus. Certes, il existe des procédures parallèles opposant le recourant à la municipalité. Cela étant, le recourant n'expose pas, même sous l'angle de la vraisemblance, quel (s) élément (s) du dossier pénal sont susceptibles d'être utilisés par l'intimée à son avantage dans les autres procédures en cours. Quant à la médiatisation de l'affaire, le recourant fait uniquement état d'une " fuite " dans la presse qui aurait eu lieu dans le courant du mois d'octobre 2018, soit après la levée des restrictions d'accès au dossier, concernant un montant de 241'000 fr. que le prénommé aurait facturé à la fondation B._ et qui aurait influencé la décision de suspension de son traitement. A cet égard, outre que le recourant ne rend pas vraisemblable que ladite " fuite " proviendrait de l'intimée - qui le conteste d'ailleurs fermement - et que l'on ne distingue pas l'avantage que cette dernière - comme elle l'allègue d'ailleurs - retirerait de la médiatisation de cette affaire, il convient de préciser qu'un préjudice purement de fait ou de nature économique tel que la suspension du traitement, n'est pas irréparable au sens de l'art. 93 al. 1 let. a LTF (cf. <ref-ruling> consid. 1.3.2 p. 336; <ref-ruling> consid. 2.2.1 p. 317; voir également arrêts 1B_582/2012 du 12 octobre 2012 consid. 1.2; 1B_347/2009 du 25 janvier 2010 consid. 2). Au demeurant, le recourant ne relève pas d'abus qui seraient survenus à la suite de la levée des restrictions d'accès au dossier. Il ne fait pas non plus état de secrets protégés par la loi, tels que le secret professionnel de l'avocat par exemple, ou de secrets d'affaires qui pourraient être recueillis dans le cadre de l'enquête. En l'état, aucun élément ne permet donc de considérer que les éventuelles mesures de protection qui pourraient être ordonnées, d'office ou sur requête, en application des art. 73 al. 2, 102 et/ou 108 CPP seraient d'emblée dénuées de portée, notamment en raison d'une éventuelle durée limitée. Au demeurant, la question du droit d'accès au dossier n'est pas l'objet du présent litige.
Quant à la jurisprudence du Tribunal pénal fédéral, elle n'est d'aucune utilité pour le recourant. En effet, la Cour des plaintes du Tribunal pénal fédéral statue en tant qu'autorité de recours au sens de l'art. 393 al. 1 let. a CPP. Dans ce cadre, sous réserve du cas particulier de l'art. 394 let. b CPP, la recevabilité du recours ne présuppose pas l'existence d'un préjudice irréparable, mais uniquement celle d'un intérêt juridiquement protégé (art. 382 al. 1 CPP; cf. <ref-ruling> consid. 2.3.1 p. 84 s.; <ref-ruling> consid. 2.4 p. 478 ss; voir aussi ANDREW M. GARBARSKI, in SJ 2017 II 125 p. 140 ss qui relève que la question du préjudice irréparable se pose en cas de confirmation de la qualité de partie plaignante par l'autorité de jugement [art. 393 al. 1 let. b CPP]). C'est d'ailleurs lors de l'examen de cette condition que le Tribunal pénal fédéral a considéré que l'existence d'une procédure civile parallèle opposant les parties d'une procédure pénale et le défaut de mesures au sens de l'art. 73 al. 2 CPP ordonné dans la seconde pouvaient justifier l'entrée en matière sur un recours contre une décision admettant la qualité de partie plaignante d'une des parties (arrêt BB.2011.132 du 27 juin 2012 consid. 1.4.4 et 1.4.5). Pour le reste, le Tribunal pénal fédéral a reconnu l'existence d'un intérêt juridiquement protégé, voire d'un préjudice irréparable, lorsque la partie plaignante admise à la procédure est un Etat, dans la mesure où, de par leur souveraineté, les Etats disposent, pour agir - au sens large - contre des individus et leur patrimoine, de moyens autrement supérieurs à ceux d'une partie plaignante ordinaire et qui excèdent le cadre prévisible de la procédure pénale (pour un exemple BB.2017.149 du 7 mars 2018 consid. 3.1). Or, en l'espèce, il ne ressort pas de la décision attaquée, et le recourant ne l'allègue pas, que l'intimée, qui est une commune, aurait mis en oeuvre, respectivement pourrait employer de tels moyens susceptibles de lui causer un préjudice irréparable.
Au regard de ces considérations, il n'apparaît pas que le recourant subisse, à ce stade de la procédure, un préjudice irréparable qui ne pourrait être réparé par une décision ultérieure, notamment par le prononcé de mesures de protection en application des art. 73 al. 2, 102 al. 1 et/ou 108 CPP, du fait de l'admission de l'intimée en tant que partie plaignante. Quant à la lettre b de l'art. 93 al. 1 LTF (motifs d'économie de la procédure), elle n'entre pas en ligne de compte. Le recourant ne fait du reste rien valoir à ce propos.
2.3. Au vu de ce qui précède, le recours doit être déclaré irrecevable et il n'y a donc pas lieu de traiter les griefs de fond développés par le recourant.
3.
Le recourant, qui succombe, prendra en charge les frais du présent arrêt (art. 65 et 66 al. 1 LTF). Il n'est pas alloué de dépens à l'intimée, quand bien même celle-ci a procédé par l'entremise d'un avocat (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires des parties, au Procureur général du canton de Vaud, au Tribunal cantonal du canton de Vaud, Chambre des recours pénale, et, pour information, à l'Etat de Vaud et à la fondation B._.
Lausanne, le 12 mars 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel