Faits :
A.
A._ a exercé le mandat de Conseiller municipal à la Ville de Vevey pendant la législature courant du 1 er juillet 2006 au 30 juin 2011. L'intéressé était en charge de la Direction des affaires sociales.
Le 8 novembre 2010, la Commune de Vevey a créé la Fondation B._, notamment dans le but de trouver des logements de transition aux personnes expulsées de leur logement. A._ a présidé le Conseil de fondation depuis la constitution de celle-ci. Alors qu'il n'avait pas été réélu lors des élections communales de 2011, il a continué à exercer son mandat de Président du Conseil de fondation. La Fondation B._ est en partie financée par des subventions annuelles versées, d'une part, par l'Etat de Vaud - par l'intermédiaire du Service de prévoyance et d'aide sociales -, et, d'autre part, par la Commune de Vevey. Elle est par ailleurs au bénéfice d'une reconnaissance d'utilité publique de l'Administration cantonale des impôts lui permettant d'être exonérée de l'impôt.
Lors des élections communales du 27 février 2016, A._ a été à nouveau élu Conseiller municipal de la Ville de Vevey pour la législature courant du 1er juillet 2016 au 30 juin 2021. Il lui a été confié la Direction de la jeunesse, de l'éducation, de la famille et des sports. Parallèlement, l'intéressé a continué à présider le Conseil de la Fondation B._.
En avril 2018, il a été porté à la connaissance des autorités que la Fondation B._ aurait mandaté C._ Sàrl, une société dont A._ est associé-gérant conjointement avec son père, pour diverses opérations, notamment la sous-location de locaux loués par la Fondation et des prestations de ressources humaines. Sur proposition du Chef du Département cantonal de la santé et de l'action sociale - le Conseiller d'Etat Pierre-Yves Maillard -, le Conseil d'Etat du canton de Vaud a confié au Contrôle cantonal des finances (CCF) un mandat spécial pour contrôler les comptes et la gestion financière de la Fondation B._. Le 24 avril 2018, le Conseil de fondation a suspendu A._ de sa fonction de président.
Le CCF a remis au Service juridique et législatif du canton de Vaud, avec la mention "CONFIDENTIEL", un rapport daté du 16 mai 2018 et portant sur les comptes et la gestion financière de la Fondation B._.
Le 24 mai 2018, l'Etat de Vaud, agissant par l'intermédiaire du Chef du Service juridique et législatif, a déposé auprès du Procureur général du canton de Vaud une plainte pénale avec constitution de partie civile contre A._ et contre toute autre personne ayant prêté la main aux agissements décrits dans celle-ci pour abus de confiance (<ref-law>), gestion déloyale (<ref-law>) et violation de la loi vaudoise du 22 février 2005 sur les subventions (LSubv; RSV 610.15). Le Ministère public central du canton de Vaud a ouvert une instruction pénale à l'encontre de l'intéressé pour des faits de gestion déloyale (<ref-law>) et de gestion déloyale d'intérêts publics (<ref-law>), infractions pour lesquelles l'intéressé a été mis en prévention. L'instruction par le Ministère public est toujours en cours.
B.
Dans sa séance du 18 mai 2018, le Conseil communal de Vevey a statué sur une proposition de requérir la suspension de A._ en raison de la procédure pénale en cours. Cette proposition n'a toutefois pas été adoptée par une majorité des deux tiers du Conseil communal.
Le 28 mai 2018, la Municipalité de Vevey a requis du Conseil d'Etat la suspension préventive de A._ pour une durée de six mois. Le 1 er juin 2018, le Conseil d'Etat a interpellé l'intéressé en l'informant de cette demande et de l'ouverture d'une procédure de suspension et en lui impartissant un délai au 7 juin 2018 pour se déterminer. Le même jour, le Conseil d'Etat a informé la Municipalité qu'il avait ouvert une procédure de suspension à l'encontre de l'intéressé et qu'il envisageait de repourvoir le siège provisoirement vacant. Dans ses déterminations du 12 juin 2018, l'intéressé a contesté que les conditions pour prononcer une suspension soient remplies. Il a notamment fait valoir que le Conseil d'Etat devait se récuser in corporeen raison du fait que l'Etat de Vaud avait déposé une plainte pénale contre lui avec constitution de partie civile. Par décision du 13 juin 2018, le Conseil d'Etat a suspendu l'intéressé de sa fonction de Conseiller municipal à Vevey avec effet immédiat et jusqu'à droit connu dans le cadre de l'enquête pénale ouverte à son encontre, mais au plus tard jusqu'au 31 décembre 2018. Il a en outre retiré l'effet suspensif à un éventuel recours cantonal formé à l'encontre de cette décision. Le même jour, le Conseil d'Etat a informé la Municipalité de Vevey qu'il avait aussi décidé de désigner D._ comme membre provisoire de la Municipalité.
Par arrêt du 5 décembre 2018, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours déposé par l'intéressé contre la décision du 13 juin 2018.
Par décision du 19 décembre 2018, le Conseil d'Etat a prolongé la suspension "jusqu'à droit connu dans le cadre de l'enquête pénale ouverte à son encontre, mais au plus tard jusqu'au 30 juin 2019".
C.
Agissant par les voies du recours en matière de droit public et du recours constitutionnel subsidiaire, A._ demande principalement au Tribunal fédéral de contrôler à titre préjudiciel la constitutionnalité de l'art. 139b al. 1, 3 et 4 de la loi vaudoise sur les communes du 28 février 1956 (LC; RSV 175.11) et d'annuler l'arrêt du 5 décembre 2018. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
Le Tribunal cantonal a renoncé à formuler des conclusions sur le recours. La Municipalité de Vevey a conclu principalement à l'irrecevabilité du recours, subsidiairement à son rejet. Le Conseil d'Etat a conclu au rejet du recours. Le recourant a répliqué, par courrier du 30 avril 2019.
D.
Par ordonnance du 11 février 2019, le Président de la Ire Cour de droit public a rejeté dans la mesure où elle n'est pas sans objet la requête d'effet suspensif, présentée par le recourant.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis.
1.1. La voie du recours en matière de droit public, au sens des <ref-law>, est ouverte contre l'arrêt attaqué rendu par une autorité de dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>).
Le recourant a pris part à la procédure de recours devant l'instance précédente (<ref-law>). Il est particulièrement touché par l'arrêt attaqué, qui confirme la décision du Conseil d'Etat de le suspendre de sa fonction de Conseiller municipal; il a dès lors qualité pour agir au sens de l'<ref-law>.
La suspension du recourant ne repose plus sur la décision ayant fait l'objet de l'arrêt attaqué, mais sur la décision du 19 décembre 2018, par laquelle le Conseil d'Etat a prolongé la suspension "jusqu'à droit connu dans le cadre de l'enquête pénale ouverte à son encontre, mais au plus tard jusqu'au 30 juin 2019". Le recourant dispose cependant toujours d'un intérêt actuel et pratique à la vérification de sa suspension, laquelle a été renouvelée en vertu de l'art. 139b al. 1 LC. En effet, la nature de la décision de durée déterminée peut ne pas permettre de la soumettre à une autorité judiciaire avant qu'elle ne perde son actualité (<ref-ruling> consid. 1.1 p. 208).
1.2. La décision attaquée, qui suspend de ses fonctions le recourant pour une durée déterminée, est une décision de mesure provisionnelle au sens de l'<ref-law> dès lors qu'elle n'est qu'une décision à caractère temporaire, qui règle une situation juridique en attente d'une réglementation définitive au travers d'une décision principale ultérieure (voir Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale, p. 4133 ch. 4.1.4.2; arrêt 1C_470/2008 du 11 novembre 2008 consid. 2.2).
Aux termes de l'<ref-law>, dans le cas des recours formés contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée la violation des droits constitutionnels.
Les mesures provisionnelles sont tantôt des décisions finales au sens de l'<ref-law> lorsqu'elles sont prises dans une procédure autonome, tantôt des décisions incidentes lorsqu'elles sont prononcées au cours d'une procédure conduisant à une décision finale ultérieure (cf. <ref-ruling> consid. 3.1 p. 86 s. et les nombreuses références; arrêt 1C_315/2013 du 7 octobre 2013 consid. 1.1). En droit administratif, il est généralement admis que des mesures provisionnelles, qui doivent régler une situation de manière provisoire, soient ordonnées dans une procédure accessoire, indépendante de celle qui aboutira à la décision principale. Dans ces cas, elles ont un caractère final (<ref-ruling> consid. 1.3 p. 351).
En l'occurrence, la décision attaquée peut être qualifiée de décision finale (<ref-law>), dans la mesure où la suspension est indépendante de la décision de révocation. En effet, l'autorité compétente pour rendre une décision de suspension est le Conseil d'Etat (art. 139b al. 1 LC), alors que la décision de révocation est prise par le corps électoral (art. 139b al. 3 LC). De plus, si la décision de révocation peut succéder à celle de suspension, il peut aussi arriver que la période de législature arrive à son terme avant qu'une procédure de révocation n'ait pu être introduite ou qu'aucun motif ne justifie finalement l'ouverture d'une telle procédure, de sorte que la décision de suspension met fin à la procédure conformément à l'<ref-law>.
1.3. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, ce qui entraîne l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law>).
2.
Dans la partie de son écriture intitulée "Faits", le recourant présente son propre exposé des faits. Or, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Les recourants ne peuvent critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.1.2 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law>. En l'espèce, le recours ne comporte aucune démonstration du caractère arbitraire de l'état de fait de la décision attaquée, de sorte qu'il n'y a pas lieu de prendre en considération d'autres faits que ceux retenus dans ladite décision.
3.
Le recourant ne conteste plus les motifs matériels justifiant sa suspension. Il reproche en revanche à la juridiction cantonale de n'avoir pas donné suite à sa demande de contrôle préjudiciel de la constitutionnalité de l'art. 139b LC. Il se plaint à cet égard d'une violation de l'obligation de motiver (art. 29 al. 2 Cst.).
3.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique pour l'autorité l'obligation de motiver sa décision. Il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2 p. 70). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 565; arrêts 1C_167/2015 du 18 août 2015 consid. 3; 2C_23/2009 du 25 mai 2009 consid. 3.1, in RDAF 2009 II p. 434).
3.2. L'instance précédente a estimé que le dépôt d'une plainte pénale avec constitution de partie civile par l'Etat de Vaud contre le recourant n'était pas de nature à empêcher le Conseil d'Etat de statuer sur la requête de suspension formulée par la Municipalité en application de l'art. 139b LC (pour un exposé complet de la motivation du Tribunal cantonal, voir infra consid. 5.2).
En considérant que le dépôt d'une plainte pénale ne constituait pas un motif de récusation du Conseil d'Etat, le contrôle constitutionnel réclamé par le recourant ne revêtait plus aucune pertinence et était déjà implicitement traité. Cette motivation a d'ailleurs permis au recourant de comprendre pourquoi son grief était rejeté et de l'attaquer en toute connaissance de cause, même si l'instance précédente n'a pas statué formellement sur la constitutionnalité de l'art. 139b LC. Cela est suffisant, sous l'angle du droit d'être entendu. Mal fondé, le grief doit être écarté.
4.
Le recourant soutient ensuite que l'art. 139b LC n'est pas conforme aux art. 29 al. 1 et 30 al. 1 Cst., en ce sens que cette disposition permet au Conseil d'Etat de statuer sur la suspension d'un conseiller municipal alors qu'il a lui-même porté plainte à son encontre - et qu'il s'est constitué partie civile -. Il prétend que l'impartialité du Conseil d'Etat ne peut être garantie dans de telles circonstances et requiert un contrôle préjudiciel incident de la constitutionnalité de l'art. 139b LC.
4.1. L'art. 139b LC peut faire l'objet d'un contrôle préjudiciel de sa constitutionnalité, à l'occasion d'un recours dirigé contre une décision d'application; le grief soulevé dans ce cadre doit toutefois être propre à remettre en cause la décision attaquée, faute de quoi le recourant n'a pas d'intérêt concret à le faire valoir, l'admission du recours sur ce point entraînant uniquement l'annulation de la décision d'application, et non de la norme elle-même (<ref-ruling> consid. 2 p. 291 et les arrêts cités; arrêt 1C_461/2013 du 14 novembre 2013 consid. 5.1). Tel est le cas en l'espèce, l'admission du grief pouvant conduire à l'annulation de la décision de suspension.
4.2. La garantie minimale d'un tribunal indépendant et impartial, telle qu'elle résulte des art. 30 al. 1 Cst. et 6 par. 1 CEDH permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Cependant, seules les circonstances objectivement constatées doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 5.1 p. 125 s.; <ref-ruling> consid. 2.2 p. 3 et les arrêts cités).
Pour les autorités non judiciaires, l'art. 30 al. 1 Cst. et l'art. 6 par. 1 CEDH ne s'appliquent pas. En revanche, on déduit la garantie d'un traitement équitable et l'exigence d'impartialité de l'art. 29 al. 1 Cst., lequel dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Dans sa substance, la garantie d'impartialité impose tant au juge qu'à l'autorité administrative qu'ils ne soient pas déjà déterminés sur les faits à apprécier. Les exigences qui valent pour les tribunaux ne se transposent toutefois pas telles quelles dans la procédure administrative. Ce sont justement les impondérables liés au système de la procédure interne à l'administration qui ont conduit à la création d'instances judiciaires indépendantes (<ref-ruling> consid. 5.2 p. 329 et les références citées).
Pour les autorités exécutives, il y a lieu de tenir compte du fait que leur fonction s'accompagne d'un cumul de plusieurs tâches, dont certaines sont politiques. Contrairement à un tribunal, les autorités gouvernementales ne sont pas seules compétentes pour appliquer (de manière neutre) le droit ou prendre une décision sur le litige qui leur est soumis. Elles portent simultanément une responsabilité particulière dans l'accomplissement de certaines tâches publiques. Cette multiplication des interventions officielles est ainsi d'intérêt public et inhérente au système; elle ne constitue pas déjà une prévention illicite. Ce sont les circonstances concrètes du cas d'espèce qui sont décisives pour déterminer si un agent public paraît objectivement avoir une opinion préconçue en raison du fait que le système l'a amené à intervenir précédemment. A cet effet, il convient a priori de tenir compte du type de procédure, de la fonction et de l'objet du litige dans la procédure concernée (<ref-ruling> consid. 5.2 p. 329 s. et les références citées).
En d'autres termes, les dispositions sur la récusation sont, en principe, moins sévères pour les membres des autorités administratives et gouvernementales que pour les autorités judiciaires (<ref-ruling> consid. 5.2 p. 329; <ref-ruling> consid. 5.2 p. 452). Contrairement à l'art. 30 al. 1 Cst., qui ne concerne que les procédures judiciaires, l'art. 29 al. 1 Cst. n'impose en effet pas l'indépendance et l'impartialité comme maxime d'organisation d'autorités gouvernementales, administratives ou de gestion et n'offre pas, dans ce contexte, une garantie équivalente à celle applicable aux tribunaux (cf. <ref-ruling> consid. 8a; arrêts 2C_975/2014 du 27 mars 2015 consid. 3.2; 2C_127/2010 du 15 juillet 2011 consid. 5.2). Dans ce contexte, le cumul dans une même autorité de deux compétences, de telle manière que l'exercice de l'une peut influer de fait sur l'exercice de l'autre ne crée pas un motif de récusation (MOOR/POLTIER, Droit administratif, vol. II, 3ème éd. p. 275).
4.3. Une demande de récusation doit en principe être dirigée contre des personnes physiques déterminées - susceptibles de connaître une situation de conflit d'intérêts privés - et non contre une autorité dans son ensemble (cf. <ref-ruling> consid. 3b p. 477; BENJAMIN SCHINDLER, Die Befangenheit der Verwaltung, thèse Zurich 2002, p. 75 s.). La récusation d'une autorité in corpore doit ainsi rester l'exception si l'on ne veut pas vider la procédure et la réglementation de l'administration de son sens: tel est a fortiori le cas lorsque la récusation vise à relever une autorité entière des tâches qui lui sont attribuées par la loi et qu'aucune autre autorité ordinaire ne peut reprendre ses fonctions, à moins que la demande ne soit dirigée contre chacun des membres de cette autorité pris individuellement (arrêt 1C_555/2015 du 30 mars 2016 consid. 4.1 et les références).
4.4. En l'occurrence, le recourant critique la double compétence du Conseil d'Etat, soit le prononcé de la suspension d'un conseiller municipal suspecté d'avoir commis un crime ou un délit (art. 139b al. 1 LC) et le dépôt d'une plainte pénale au nom de l'Etat à l'encontre dudit conseiller d'Etat (art. 26 de la loi sur l'organisation du Conseil d'Etat du 11 février 1970 [LOCE; RSV 172.115]).
Il est inhérent au système politique et il est d'intérêt public que le Conseil d'Etat exerce diverses tâches dans plusieurs domaines, lesquelles peuvent avoir des conséquences de fait les unes sur les autres. Le dépôt d'une plainte pénale relève de la défense des intérêts de l'Etat et consiste à signaler au Ministère public des faits susceptibles de constituer une infraction pénale. Quant au prononcé de la suspension d'un conseiller municipal, il s'inscrit dans le cadre des tâches de surveillance des communes incombant en premier lieu au Conseil d'Etat (art. 139 LC). Le dépôt d'une plainte pénale à l'encontre d'un conseiller municipal n'a en soi pas d'incidence directe sur sa suspension puisque ce n'est pas la plainte pénale qui est déterminante mais le fait que le Ministère public ait décidé d'ouvrir une enquête pénale à l'encontre du précité, considérant qu'il existait des soupçons suffisants laissant présumer la commission d'une infraction pénale. La décision de suspension ne repose donc pas sur la plainte pénale déposée par le Conseil d'Etat mais sur l'ouverture, par une autre autorité indépendante, d'une procédure pénale à l'encontre d'un conseiller municipal concerné.
De plus, la décision de suspension repose sur d'autres motifs, en particulier l'examen des circonstances de nature à compromettre la confiance ou l'autorité qu'implique la fonction de conseiller municipal (art. 139b al. 2 LC).
S'ajoute à cela que selon l'art. 139b al. 1 LC, le Conseil d'Etat ne peut pas ouvrir d'office une procédure de suspension; il ne peut le faire que sur requête de la Municipalité ou de la majorité des deux tiers du conseil général ou communal. En d'autres termes, l'initiative d'une telle procédure n'appartient pas au Conseil d'Etat, ce qui relativise d'autant plus l'incidence qu'une intervention préalable pourrait avoir eu sur la décision de suspension.
Par conséquent, l'exercice par le Conseil d'Etat des deux compétences mises en évidence est compatible avec la garantie constitutionnelle d'impartialité de l'exécutif. L'art. 139b LC est ainsi conforme à la Constitution.
5.
Le recourant se plaint enfin in concreto d'une violation des règles sur la récusation et du droit d'être entendu (art. 29 al. 1 Cst.), en relation avec les interventions préalables du Conseil d'Etat.
5.1. L'art. 29 al. 1 Cst. permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une personne impliquée ne sont pas décisives (cf. <ref-ruling> consid. 4.2, et les réf. cit.; <ref-ruling> consid. 2b; <ref-ruling> consid. 3b; arrêt 2C_238/2018 du 28 mai 2018 consid. 4.2).
En règle générale, les prises de position qui s'inscrivent dans l'exercice normal des fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas, dès lors que l'autorité s'exprime avec la réserve nécessaire, de conclure à l'apparence de la partialité et ne sauraient justifier une récusation, au risque sinon de vider de son sens la procédure administrative (<ref-ruling> consid. 5.2 p. 330.; <ref-ruling> consid. 5.2 p. 452 et les références citées). Une autorité, ou l'un de ses membres, a en revanche le devoir de se récuser lorsqu'elle dispose d'un intérêt personnel dans l'affaire à traiter, qu'elle manifeste expressément son antipathie envers l'une des parties ou s'est forgé une opinion inébranlable avant même d'avoir pris connaissance de tous les faits pertinents de la cause (cf. arrêt 2C_931/2015 du 12 octobre 2016 consid. 5.1 et les références citées).
5.2. En l'espèce, comme l'a relevé le Tribunal cantonal, le recourant a soulevé la question de la récusation du Conseil d'Etat pour la première fois dans le cadre de la procédure judiciaire devant l'instance précédente, alors qu'il avait connaissance au plus tard le 2 juin 2018 de l'ouverture d'une procédure de suspension par le Conseil d'Etat. Or, la partie qui a connaissance d'un motif de récusation doit l'invoquer aussitôt, sous peine d'être déchue du droit de s'en prévaloir ultérieurement (ATF <ref-ruling> consid. 2.2 p. 4; <ref-ruling> consid. 3.4 p. 211; <ref-ruling> consid. 4.3.1 p. 21). La requête de récusation paraît ainsi tardive. Quoi qu'il en soit, le grief aurait de toute manière été rejeté pour les motifs qui suivent.
Le recourant demande d'abord la récusation du Conseil d'Etat in corpore au motif que les investigations du Contrôle cantonal des finances ont été menées à l'initiative du Chef du Département de la santé et de l'action sociale et que le Conseil d'Etat, qui représente l'Etat de Vaud dans le cadre de la procédure pénale et civile dirigée contre lui, a un intérêt manifeste à ce que celle-ci aboutisse. Le Tribunal cantonal a jugé que les investigations menées par le Contrôle cantonal des finances sur mandat du Conseil d'Etat concernaient la gestion de la Fondation B._, qui est subventionnée par l'Etat de Vaud au travers du Service de prévoyance et d'aide sociales; partant, il entrait dans les attributions du Conseil d'Etat de mandater ce service pour contrôler que la subvention versée n'avait pas été utilisée à d'autres fins que pour l'exécution de tâches publiques. L'instance précédente a ajouté que le dépôt d'une plainte pénale avec constitution de partie civile par l'Etat de Vaud contre le recourant n'était pas directement en lien avec son activité de conseiller municipal, mais visait à sauvegarder les intérêts patrimoniaux de l'Etat en lien avec la subvention versée à la Fondation B._ dont le recourant était le président; même si le dépôt de la plainte pénale était directement en lien avec l'activité de conseiller municipal, il n'apparaissait pas que cela était de nature à empêcher le Conseil d'Etat de statuer sur la requête de suspension formulée par la Municipalité en application de l'art. 139b LC.
Ce raisonnement ne prête pas le flanc à la critique et le recourant ne développe aucune argumentation propre à le remettre en cause. En effet, l'audit concernait la Fondation B._ et n'était pas dirigé contre le recourant. De plus, il ne s'agissait que d'un audit et non d'une décision sanctionnant A._ ou affectant d'une quelconque manière ses droits et obligations. Quant au dépôt de la plainte pénale, il ressort du considérant précédent (consid. 4.4) qu'il ne saurait constituer un motif de récusation. S'ajoute à cela que l'Etat de Vaud n'est pas le seul à s'être porté partie plaignante et civile dans la procédure, deux communes et la Fondation B._ en ayant fait de même.
Le recourant fait ensuite grief au Conseiller d'Etat Pierre-Yves Maillard de s'être prononcé dans la presse sur les faits qui lui sont reprochés avant que la décision de suspension soit rendue. Le recourant se contente cependant de citer deux déclarations faites dans les médias par le Conseiller d'Etat prénommé. Dans la première, qui date du 24 avril 2018, le Conseiller d'Etat Maillard a dit "il semble y avoir de potentiels conflits d'intérêts, dont au moins deux ont été reconnus". Le recourant soutient à cet égard qu'au moment de la publication de cette déclaration dans la presse, le rapport final du Contrôle cantonal des finances n'était pas rendu et n'avait pas encore été demandé formellement. Cet élément n'a pas, d'un point de vue objectif, pour effet de faire naître une apparence de prévention du Conseiller d'Etat en cause envers le recourant, dans la mesure où le Conseiller d'Etat prénommé ne s'est nullement prononcé préalablement sur la question de la suspension du recourant. Quant à la seconde déclaration, datée du 27 mai 2018, le recourant voit un motif de prévention dans le fait que le Conseiller d'Etat a rapporté dans la presse une partie des conclusions du CCF et a précisé immédiatement après que la procédure pénale était justifiée, alors que le Conseil d'Etat est autorité compétente pour prononcer la suspension. Cette déclaration ne suffit cependant pas à faire redouter l'impartialité du Conseiller d'Etat prénommé dans la mesure où celui-ci s'est référé aux résultats de l'audit du CCF et ne s'est pas prononcé sur la poursuite ou non du mandat de conseiller municipal du recourant.
5.3. En définitive, aucun des motifs avancés par le recourant, pris séparément ou dans leur ensemble, ne permet objectivement de retenir une apparence de prévention du Conseil d'Etat (et de l'un de ses membres), de sorte que c'est à bon droit que le Tribunal cantonal a rejeté le grief de violation de l'art. 29 al. 1 Cst.
6.
Il résulte de ce qui précède que le recours en matière de droit public doit être rejeté.
Le recourant, qui succombe, doit supporter les frais de la présente procédure (<ref-law>). La Municipalité n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux mandataires du recourant et de la Municipalité de Vevey, ainsi qu'au Conseil d'Etat du canton de Vaud et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 mai 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller