Faits :
A.
Le 23 mai 2018, le Ministère public central, division affaires spéciales, a ouvert une instruction pénale contre A._ pour gestion déloyale des intérêts publics, subsidiairement gestion déloyale. Il lui reproche en substance d'avoir agi, dès 2016 au moins, alors qu'il était membre de la Municipalité de la Commune de Vevey (ci-après: municipalité), et membre et président du conseil de la fondation B._, disposant de la signature collective à deux, de manière à doter cette dernière de moyens humains et/ou matériels excessifs, tout en cherchant à favoriser les activités commerciales de sa société E._ au travers de sous-locations lucratives pour cette dernière, lui-même et/ou des proches.
La fondation B._, inscrite au registre du commerce depuis le 8 novembre 2010, a son siège à Vevey. Il s'agit d'une fondation d'intérêt public qui a pour but d'offrir des logements de transition à des personnes domiciliées dans la commune fondatrice ou dans les communes ayant adhéré au but de la fondation, et qui sont menacées de perdre ou qui ont effectivement perdu leur logement, de mettre ainsi en oeuvre toutes les mesures utiles nécessaires telles que définies dans le règlement de fondation. Cette fondation reçoit notamment des prestations et des subventions des collectivités publiques, ainsi que des dons.
La société E._, inscrite au registre du commerce depuis le 31 janvier 2003, a son siège à Aigle. A._, qui est associé gérant de cette société, dispose de la signature individuelle. Elle a pour but l'analyse, les conseils et la gestion, soit la vente de compétences nécessaires à l'analyse systémique des domaines et de l'environnement de l'entreprise, aux conseils sur la réalisation et l'expertise de faisabilité des projets de tous types, ainsi qu'à leur conduite, et à la gestion en délégation de personnes des divers secteurs de l'entreprise.
B.
Le 24 mai 2018, l'Etat de Vaud, par le Service juridique et législatif, a déposé une plainte pénale contre A._, ainsi que contre toute autre personne ayant prêté la main aux agissements de celui-ci, pour gestion déloyale, voire abus de confiance. Il fait notamment grief à A._ d'avoir à tout le moins lésé l'Etat de Vaud sous l'angle de la législation sur les subventions et sous celui des intérêts publics en gérant les deniers de la fondation B._ de manière déloyale et abusive pour en faire profiter la société E._.
Se référant au rapport établi le 16 mai 2018 par le Contrôle cantonal des finances, l'Etat de Vaud a exposé, en bref, que la fondation B._ était principalement subventionnée par l'Etat et par le Service de la prévoyance et de l'aide sociale, mais qu'elle recevait également des soutiens et des dons de certaines communes, que les subventions avaient passé de 150'000 fr. en 2011 à 923'000 fr. en 2018, que A._, qui disposait de la signature collective à deux pour engager la fondation B._, avait pris un grand nombre de décisions seul et qu'il possédait 75% des parts sociales de E._.
Le 1 er juin 2018, la fondation B._ a déclaré vouloir participer à la procédure pénale en qualité de demanderesse au pénal et au civil, faisant valoir qu'elle était lésée par les agissements de A._.
Par décision du 13 juin 2018, le Conseil d'Etat a suspendu A._ dans l'exercice de ses fonctions au sein de la municipalité. Une procédure de recours est actuellement pendante.
Par courrier du 6 juillet 2018, la Commune de Vevey a requis que la qualité de demanderesse au civil lui soit reconnue et a demandé à pouvoir consulter le dossier de la présente cause. Elle invoque l'existence possible d'un préjudice dans l'hypothèse où les fonds qu'elle a versés à la fondation B._ sous la forme d'une subvention annuelle de 155'000 fr. depuis la constitution de celle-ci auraient été utilisés contrairement à leur but par A._ en sa qualité de président du conseil de dite fondation.
Par courrier du 12 juillet 2018, le Procureur général a interdit à Me C._, mandataire de la fondation B._, et à D._, commissaire désigné de dite fondation après que A._ a été démis de ses fonctions de président et de membre de son conseil, de divulguer à des tiers le contenu de l'audition de ce dernier du 11 juillet 2018, à laquelle ils ont assisté, jusqu'aux auditions des membres du conseil de fondation appointées au 16 août 2018.
Par ordonnance du 6 août 2018, le Procureur général a reconnu le statut de demandeur au pénal et au civil de l'Etat de Vaud et de demanderesse au civil de la Commune de Vevey, tout en précisant que celle de la fondation n'était pas contestée.
Par arrêt du 10 septembre 2018, la Chambre des recours pénale du Tribunal cantonal a rejeté le recours interjeté par A._ contre cette ordonnance. Ce dernier a contesté cette décision auprès du Tribunal fédéral; ce recours fait l'objet d'un arrêt distinct rendu également ce jour (arrêt 1B_492/2018).
Le 17 août 2018, la " Municipalité " d'Yverdon-les-Bains, par le syndic et le secrétaire communal de la commune, a déposé plainte pénale, se constituant demanderesse au civil et au pénal, contre A._, ainsi que contre toute autre personne ou institution dont les actes pourraient constituer des infractions pénales dans le cadre de l'instruction menée dans la présente cause. Elle a indiqué qu'elle avait passé un contrat de subventionnement pour un montant annuel maximal de 50'000 fr. avec la fondation B._, alors présidée par A._, et qu'il y avait ainsi tout lieu de craindre, compte tenu des événements relatifs à cette fondation et de la plainte pénale déposée par l'Etat de Vaud à l'encontre de A._, qu'elle ait également été lésée par le comportement du prénommé.
Par ordonnance du 4 octobre 2018, le Procureur général a reconnu le statut de demandeur au pénal et au civil de la " Municipalité " d'Yverdon-les-Bains et a dit que les frais suivaient le sort de la cause.
C.
Le 15 octobre 2018, A._ a recouru contre l'ordonnance précitée, en concluant, principalement à sa réforme en ce sens que le statut de demanderesse au civil soit refusé à la " Municipalité " d'Yverdon-les-Bains et, subsidiairement, à son annulation en tant qu'elle porte sur la qualité de partie plaignante de la " Municipalité " d'Yverdon-les-Bains et au renvoi de la cause au Ministère public pour nouvelle décision dans le sens des considérants.
Par arrêt du 2 novembre 2018, le recours interjeté par A._ contre l'ordonnance du 4 octobre 2018 a été rejeté par la Chambre des recours pénale du Tribunal cantonal du canton de Vaud qui l'a rectifiée d'office au chiffre I de son dispositif en ce sens que le Procureur général du canton de Vaud reconnaît le statut de demanderesse au pénal et au civil de la Commune d'Yverdon-les-Bains.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à sa réforme en ce sens que le statut de demanderesse au civil de la Commune d'Yverdon-les-Bains est rejeté et qu'il sera statué par décision séparée sur les questions relatives à l'accès au dossier. A titre subsidiaire, il requiert son annulation et le retour du dossier de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. A._ sollicite à titre préliminaire que l'effet suspensif soit accordé au recours et que l'interdiction à la Commune d'Yverdon-les-Bains de faire état des pièces du dossier pénal dans le cadre d'autres procédures ou de les divulguer publiquement, notamment dans les médias, soit prononcée, jusqu'à droit connu sur le recours.
Le Ministère public du canton de Vaud, par le Procureur général, a renoncé à déposer des déterminations sur la requête d'effet suspensif ainsi que sur le recours, à l'instar du Tribunal cantonal, qui s'est référé aux considérants de sa décision. La Municipalité d'Yverdon-les-Bains, par son syndic et son secrétaire, a également renoncé à déposer une réponse et s'en est remise à justice pour le surplus.
Par ordonnance du 8 janvier 2019, le Président de la I re Cour de droit public a admis la requête d'effet suspensif et de mesures provisionnelles.

Considérant en droit :
1.
Le recourant a produit, en annexe de son recours, deux courriers de son conseil adressés les 10 et 11 octobre 2018 au Ministère public central ainsi qu'un article paru dans le journal 24 Heures non daté, dont il n'apparaît pas qu'ils auraient été présentés devant l'instance inférieure, ainsi qu'une coupure de presse du quotidien 20 minutes du 4 décembre 2018. Il n'expose toutefois nullement en quoi les conditions de l'<ref-law> seraient réunies. Ces éléments et les allégations qui s'y rapportent n'apparaissent quoi qu'il en soit pas déterminants, compte tenu de ce qui suit.
2.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 186).
2.1. L'arrêt attaqué ne met pas fin à la procédure pénale ouverte contre le recourant et revêt un caractère incident. Il ne s'agit pas d'une décision séparée portant sur la compétence ou sur une demande de récusation de sorte que l'<ref-law> n'est pas applicable. Le recours en matière pénale n'est donc recevable qu'aux conditions posées à l'<ref-law>, soit si la décision attaquée peut causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
De jurisprudence constante, une décision qui reconnaît à un tiers la qualité de partie plaignante dans une procédure pénale ne cause en règle générale au prévenu aucun préjudice irréparable qu'une décision finale ne ferait pas disparaître entièrement; le simple fait d'avoir à affronter une partie de plus lors de la procédure ne constitue pas un tel préjudice. Par ailleurs, en cas de condamnation confirmée par les instances cantonales de recours, le prévenu aura la possibilité de se plaindre en dernier ressort, devant le Tribunal fédéral, d'une mauvaise application des dispositions de procédure pénale relatives à la qualité de partie plaignante (arrêts 1B_399/2018 du 23 janvier 2019 consid. 2.1; 1B_261/2017 du 17 octobre 2017 consid. 2; voir aussi <ref-ruling> consid. 2.1 p. 216).
2.2. Le recourant soutient que les faits qui lui sont reprochés ne seraient pas en lien avec sa fonction de conseiller municipal mais en sa qualité de président du conseil de la fondation B._, que cette affaire aurait déjà été fortement médiatisée, que des informations issues de la procédure pénale fuiteraient régulièrement dans les médias et que l'intimée n'hésiterait pas à communiquer avec la presse sur la présente procédure. Il craint que cette dernière puisse exploiter les pièces de la procédure à des fins qui ne seraient pas directement en lien avec l'affaire, respectivement que des éléments du dossier puissent être utilisés pour tenter de lui nuire et porter atteinte à sa personnalité. La jurisprudence retient cependant que l'accès au dossier constitue un inconvénient potentiel inhérent à l'existence d'une procédure pénale, insuffisant pour admettre un préjudice irréparable (arrêts 1B_399/2018 précité consid. 2.1; 1B_261/2017 précité consid. 2). Selon GARBARSKI, que le recourant cite dans son recours, tel pourrait cependant être le cas si le prévenu est en mesure de démontrer, concrètement, que les éléments issus du dossier pénal pourraient être utilisés par la prétendue partie plaignante, à son avantage, que ce soit par exemple (i) dans le cadre d'une procédure judiciaire parallèle opposant les mêmes parties et portant sur le même complexe de faits, (ii) pour se livrer à une campagne médiatique contre le prévenu, (iii) ou encore à des fins commerciales, par l'exploitation indue de secrets d'affaires (ANDREW M. GARBARSKI, Le lésé et la partie plaignante en procédure pénale: état des lieux de la jurisprudence récente, in SJ 2013 II p. 123, ad F p. 139 s.; voir également du même auteur et sur ces mêmes questions, SJ 2017 II p. 125 spécialement p. 140 ss).
En l'espèce, rien ne permet toutefois de se distancer de la jurisprudence fédérale rappelée ci-dessus. Certes, le recourant a produit deux articles de journaux dans lesquels le syndic d'Yverdon-les-bains s'est exprimé; ce dernier n'a toutefois pas commenté précisément l'affaire. On ne saurait dès lors y voir une campagne médiatique contre le recourant. Pour le surplus, s'agissant de la " fuite " dans la presse qui aurait eu lieu dans le courant du mois d'octobre 2018 concernant un montant de 241'000 fr. que le prénommé aurait facturé à la fondation B._ et qui aurait influencé la décision de suspension de son traitement de municipal par le Conseil communal de la ville de Vevey, outre que l'intéressé ne rend pas vraisemblable qu'elle proviendrait de l'intimée, il convient de préciser qu'un préjudice purement de fait ou de nature économique tel que la suspension du traitement, n'est pas irréparable au sens de l'<ref-law> (cf. <ref-ruling> consid. 1.3.2 p. 336; <ref-ruling> consid. 2.2.1 p. 317; voir également arrêts 1B_582/2012 du 12 octobre 2012 consid. 1.2; 1B_347/2009 du 25 janvier 2010 consid. 2). Pour le reste, on ne distingue pas - et le recourant ne l'allègue pas - quel intérêt l'intimée aurait d'exploiter les pièces de la procédure pénale à des fins qui ne seraient pas directement en lien avec cette procédure, respectivement quel intérêt elle aurait de nuire à ce dernier en portant atteinte à sa personnalité. Il ne relève d'ailleurs pas d'abus qui seraient survenus à la suite de la levée des restrictions d'accès au dossier pénal, qui aurait eu lieu, selon lui, durant le mois d'octobre 2018. Il ne signale pas non plus de secrets qui seraient protégés par la loi, tels que le secret professionnel de l'avocat par exemple, ou de secrets d'affaires qui pourraient être recueillis dans le cadre de l'enquête. En l'état, aucun élément ne permet donc de considérer que les éventuelles mesures de protection qui pourraient être ordonnées, d'office ou sur requête, en application des art. 73 al. 2, 102 et/ou 108 CPP seraient d'emblée dénuées de portée, notamment en raison d'une éventuelle durée limitée. Au demeurant, la question du droit d'accès au dossier n'est pas l'objet du présent litige.
Quant à la jurisprudence du Tribunal pénal fédéral, elle n'est d'aucune utilité pour le recourant. En effet, la Cour des plaintes du Tribunal pénal fédéral statue en tant qu'autorité de recours au sens de l'<ref-law>. Dans ce cadre, sous réserve du cas particulier de l'<ref-law>, la recevabilité du recours ne présuppose pas l'existence d'un préjudice irréparable, mais uniquement celle d'un intérêt juridiquement protégé (<ref-law>; cf. <ref-ruling> consid. 2.3.1 p. 84 s.; <ref-ruling> consid. 2.4 p. 478 ss; voir aussi ANDREW M. GARBARSKI, in SJ 2017 II 125 p. 140 ss qui relève que la question du préjudice irréparable se pose en cas de confirmation de la qualité de partie plaignante par l'autorité de jugement [<ref-law>]). C'est d'ailleurs lors de l'examen de cette condition que le Tribunal pénal fédéral a considéré que l'existence d'une procédure civile parallèle opposant les parties d'une procédure pénale et le défaut de mesures au sens de l'<ref-law> ordonné dans la seconde pouvaient justifier l'entrée en matière sur un recours contre une décision admettant la qualité de partie plaignante d'une des parties (arrêt BB.2011.132 du 27 juin 2012 consid. 1.4.4 et 1.4.5). Pour le reste, le Tribunal pénal fédéral a reconnu l'existence d'un intérêt juridiquement protégé, voire d'un préjudice irréparable, lorsque la partie plaignante admise à la procédure est un Etat, dans la mesure où, de par leur souveraineté, les Etats disposent, pour agir - au sens large - contre des individus et leur patrimoine, de moyens autrement supérieurs à ceux d'une partie plaignante ordinaire et qui excèdent le cadre prévisible de la procédure pénale (pour un exemple BB.2017.149 du 7 mars 2018 consid. 3.1). Or, en l'espèce, il ne ressort pas de la décision attaquée, et le recourant ne l'allègue pas, que l'intimée, qui est une commune, aurait mis en oeuvre, respectivement pourrait employer de tels moyens susceptibles de lui causer un préjudice irréparable.
Au regard de ces considérations, il n'apparaît pas que le recourant subisse, à ce stade de la procédure, un préjudice irréparable qui ne pourrait être réparé par une décision ultérieure, notamment par le prononcé de mesures de protection en application des art. 73 al. 2, 102 al. 1 et/ou 108 CPP, du fait de l'admission de l'intimée en tant que partie plaignante. Quant à la lettre b de l'<ref-law> (motifs d'économie de la procédure), elle n'entre pas en ligne de compte. Le recourant ne fait du reste rien valoir à ce propos.
2.3. Au vu de ce qui précède, le recours doit être déclaré irrecevable et il n'y a donc pas lieu de traiter les griefs de fond développés par le recourant.
3.
Le recourant, qui succombe, prendra en charge les frais du présent arrêt (art. 65 et 66 al. 1 LTF). Il n'est pas alloué de dépens à l'intimée, qui n'y a pas droit (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Procureur général du canton de Vaud, au Tribunal cantonal du canton de Vaud, Chambre des recours pénale, et, pour information, à l'Etat de Vaud, à la Commune de Vevey, et à la fondation B._.
Lausanne, le 12 mars 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel