Faits :
A.
A la suite d'une dénonciation déposée le 15 juillet 2016 par le Département du territoire et de l'environnement du canton de Vaud (DTE), le Ministère public central, division affaires spéciales, représenté par le Procureur Christian Buffat, a ouvert, sous la référence PE16.014792-BUF, une instruction pénale portant sur des soupçons d'atteintes à l'environnement commises à X._, sur le site d'une ancienne gravière-décharge assainie entre 2003 et 2009. Cette parcelle, située au-dessus d'une importante nappe phréatique alimentant un grand nombre de ménages, était exploitée par des entreprises du groupe B._. Ces entreprises étaient en particulier soupçonnées d'avoir procédé au remblayage de matériaux non autorisés.
Le 8 février 2017, l'Etat de Vaud a adressé au Procureur général du canton de Vaud une seconde dénonciation, accompagnée d'une plainte de la Conseillère d'Etat Jacqueline de Quattro (ci-après: la Conseillère d'Etat), à la suite de la communication par une personne anonyme de plusieurs courriers à la presse et à des élus politiques, entre fin 2016 et début 2017, en relation avec les faits visés par la procédure PE16.014792-BUF.
Cette personne, identifiée comme étant A._, dénonçait, dans les écrits incriminés, l'attitude adoptée par les services de l'Etat au sujet des activités du groupe B._ à X._.
Le 13 mars 2017, le Procureur Christian Buffat a ouvert, sous la référence PE17.002740-BUF, une instruction pénale contre A._ en raison de la teneur du courrier que celui-ci avait adressé le 31 janvier 2017 à divers élus et journalistes. En substance, ce courrier mettait en cause la probité notamment de la Conseillère d'Etat, accusée de fermer les yeux sur les prétendus "agissements" du groupe B._, d'une part, et annonçait, d'autre part, que la nappe phréatique située au-dessous de la gravière exploitée par le groupe B._ était gravement polluée, au point de mettre en danger la santé de milliers de Vaudois.
B.
Une première demande de récusation déposée le 30 mai 2017 par A._ à l'encontre du Procureur Christian Buffat a été rejetée par décision de la Chambre des recours pénale du Tribunal cantonal vaudois du 20 juillet 2017, confirmée par le Tribunal fédéral dans un arrêt du 1 er mai 2018 (1B_398/2017).
Par arrêt du 8 janvier 2019, la Chambre des recours pénale a admis la demande de récusation présentée le 28 mars 2018 par le recourant contre le Procureur Christian Buffat, le dossier de la cause étant transmis au Procureur général du canton de Vaud pour nouvelle attribution.
Par courrier du 21 février 2019, le Procureur général Eric Cottier a informé les parties que, faisant application de l'art. 6 al. 2 LMPu (Loi sur le Ministère public du 19 mai 2009; BLV 173.21), il se saisissait personnellement de l'enquête PE17.002740. Ce courrier n'abordait pas la question de l'annulation des actes de procédure et des décisions rendues par le Procureur Christian Buffat. En revanche, le Procureur général a notamment exposé qu'aucun des arguments avancés par A._ et C._, directeur de D._, également prévenu dans la procédure PE17.002740, dans leurs écrits consécutifs à l'arrêt rendu par la Chambre des recours pénale du 8 janvier 2019 pour obtenir la nomination d'un procureur extraordinaire ne pouvait fonder une telle décision.
Par courrier du 26 février 2019 accompagné de deux annexes, C._ a requis la récusation du Procureur général Eric Cottier.
Par courrier du 28 février 2019 accompagné de cinq annexes, A._ a également requis la récusation du Procureur général Eric Cottier.
Le 6 mars 2019, le Procureur général Eric Cottier a transmis les demandes de récusation précitées à la Chambre des recours pénale du Tribunal cantonal vaudois comme objet de sa compétence.
C.
Par décision du 8 avril 2019, la Chambre des recours pénale a rejeté la demande de récusation présentée le 28 février 2019 par A._ à l'encontre du Procureur général Eric Cottier.
Elle a en particulier retenu que les circonstances invoquées par A._ tendant à nier la réalité de l'indépendance du Procureur général vis-à-vis du Conseil d'Etat ou de l'un de ses membres ne donnaient aucunement l'apparence de la prévention, ni ne faisaient redouter une activité partiale du magistrat. Les conférences de presse communes, les rencontres entre autorités, la participation commune aux séances plénières du Conseil de santé étaient la marque de rapports institutionnels encadrés par la loi, dont on ne pouvait inférer aucun rapport de subordination.
D.
Par acte du 27 mai 2019, A._ forme un recours en matière pénale auprès du Tribunal fédéral contre cette décision, concluant, principalement, à sa réforme en ce sens que la demande de récusation du Procureur général Eric Cottier est admise, le dossier de la cause étant renvoyé à l'autorité cantonale en vue de désigner un nouveau procureur chargé d'instruire l'enquête n° PE17.002740. Subsidiairement, il conclut à l'annulation de la décision du 8 avril 2019 et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
Invités à se déterminer, l'autorité précédente a renoncé à déposer des déterminations alors que le Procureur général a conclu au rejet du recours. Le recourant s'est déterminé sur les observations du Procureur général.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, qui a formulé la demande de récusation, a qualité pour recourir (<ref-law>). Pour le surplus, le recours a été interjeté en temps utile (<ref-law>) contre une décision rendue par une autorité cantonale statuant en tant qu'instance unique (art. 80 al. 2 in fine LTF) et les conclusions prises sont recevables (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
Dans un premier grief d'ordre formel, le recourant invoque une violation de l'interdiction de l'arbitraire et se plaint d'une violation de son droit d'être entendu, en tant que la cour cantonale ne se serait pas prononcée, dans la décision attaquée, sur un certain nombre de circonstances mises en avant par le recourant dans sa requête du 28 février 2019 et dans ses déterminations du 4 avril 2019, lesquelles seraient potentiellement décisives sur l'issue de la demande de récusation. Invoquant les art. 30 al. 1 Cst. et 6 § 1 CEDH, le recourant demande ensuite la récusation de l'intimé pour plusieurs motifs.
2.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique pour l'autorité l'obligation de motiver sa décision. Il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2 p. 70). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 565; arrêts 1C_44/2019 du 29 mai 2019 consid. 3.1; 1C_167/2015 du 18 août 2015 consid. 3; 2C_23/2009 du 25 mai 2009 consid. 3.1, in RDAF 2009 II p. 434).
2.2. Le recourant ne se prévaut pas de l'un ou l'autre des motifs de récusation visés à l'art. 56 let. a à e CPP, de sorte que les griefs doivent être examinés au regard de l'art. 56 let. f CPP. Aux termes de cette disposition, un magistrat est récusable, "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". L'art. 56 let. f CPP a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2 p. 74).
Selon l'<ref-law>, le ministère public est l'autorité investie de la direction de la procédure jusqu'à la mise en accusation. A ce titre, il doit veiller au bon déroulement et à la légalité de la procédure (<ref-law>). Durant l'instruction il doit établir, d'office et avec un soin égal, les faits à charge et à décharge (<ref-law>); il doit statuer sur les réquisitions de preuves et peut rendre des décisions quant à la suite de la procédure (classement ou mise en accusation), voire rendre une ordonnance pénale pour laquelle il assume une fonction juridictionnelle. Dans ce cadre, le ministère public est tenu à une certaine impartialité même s'il peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions à un moment donné de l'enquête. Tout en disposant, dans le cadre de ses investigations, d'une certaine liberté, le magistrat reste tenu à un devoir de réserve. Il doit s'abstenir de tout procédé déloyal, instruire tant à charge qu'à décharge et ne point avantager une partie au détriment d'une autre (<ref-ruling> consid. 3.2.2 p. 180; <ref-ruling> consid. 2.2.1 p. 145).
Des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que le juge est prévenu ou justifient à tout le moins objectivement l'apparence de prévention. En effet, la fonction judiciaire oblige à se déterminer rapidement sur des éléments souvent contestés et délicats. Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a donc pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises notamment par la direction de la procédure (<ref-ruling> consid. 3.2 p. 74 s. et les références citées).
2.3. Le recourant soutient que les griefs suivants n'ont pas fait l'objet d'un examen concret dans la décision attaquée. Premièrement, il invoque le fait que l'organisation actuelle du Ministère public vaudois, laquelle comprend une division "affaires spéciales", émane de la volonté expresse du Conseil d'Etat dans le cadre du Projet Codex 2010. Ensuite, il souligne le fait que l'attribution d'enquêtes dites sensibles à une division spéciale du Ministère public ne repose sur aucune base légale formelle ni sur aucun critère clair et prévisible imposant ce choix. Il se plaint du fait que ce soit le Procureur général qui décide de la transmission d'un dossier à la division "affaires spéciales", sur la base de sa propre appréciation. Il souligne le fait que, dans ce cadre, l'intimé a confié au Procureur Christian Buffat la tâche d'instruire la cause n° PE17.002740 impliquant l'Etat de Vaud et la Conseillère d'Etat Jacqueline de Quattro ainsi que tous les dossiers en lien étroit avec l'enquête initiale ouverte à la suite des soupçons de pollution dont le groupe B._ a fait l'objet et qui a été classée par ce magistrat. Le recourant soutient que l'instruction de l'ensemble de ces dossiers au sein même du Ministère public central - dont le Procureur intimé est le chef d'office - témoignerait d'une sensibilité particulière donnée à une affaire du fait que les intérêts de l'Etat de Vaud et de ses représentants sont en jeu. Enfin, le recourant soutient qu'en sa qualité de supérieur hiérarchique direct du Procureur Christian Buffat, l'intimé a eu la compétence de contrôler son travail et d'échanger avec lui sur l'orientation de l'affaire instruite contre le recourant en particulier. Il se prévaut de l'art. 23 al. 1 et 3 de la loi vaudoise sur le Ministère public qui prévoit que le Procureur général contrôle les enquêtes en cours et surveille l'activité des procureurs.
Contrairement à ce que soutient le recourant, la cour cantonale s'est bel et bien prononcée sur l'existence d'une division des affaires spéciales. Elle a jugé que l'on ne pouvait conclure de l'existence de celle-ci au sein du Ministère public un manque d'indépendance vis-à-vis des intérêts des représentants de l'Etat. Elle a considéré à juste titre qu'un tel argument était institutionnel et abstrait et n'emportait à lui seul aucunement apparence de prévention du Procureur général (décision attaquée, consid. 3.4.2). Elle s'est également prononcée sur le courrier dont se prévaut le recourant pour reprocher au Procureur général d'être intervenu dans la procédure en soulignant que, dans ce courrier, le Procureur général répondait expressément à un courrier que lui avait fait parvenir le recourant le 16 novembre 2017 au sujet des causes PE16.014792-BUF et PE17.002740-BUF dans lequel il indiquait notamment que, le Procureur Christian Buffat étant en charge des causes concernées, c'était à lui qu'il convenait de transmettre ce courrier comme objet de sa compétence. L'instance précédente souligne à juste titre que l'on ne saurait voir dans cette réponse formelle, sollicitée par le recourant lui-même, une intervention dans l'enquête de nature à créer une apparence de prévention de son auteur, qui plus est près de 15 mois avant que celui-ci se saisisse du dossier (décision attaquée, consid. 3.5.2). Pour le surplus, la cour cantonale a jugé que les assertions du recourant quant au risque de partage d'informations ou d'accès à des données d'enquêtes liées, confidentielles ou non, n'étaient étayées par aucun indice susceptible de leur conférer une apparence de fiabilité. Or, comme elle l'a relevé à juste titre, il ne suffit pas de postuler qu'un tel partage d'informations ou de données est possible pour rendre vraisemblable l'existence d'un motif de récusation. Il s'ensuit que le droit d'être entendu du recourant n'a pas été violé. Le recourant ne démontre pas davantage que l'appréciation de la cour cantonale serait arbitraire.
2.4. Le recourant soutient encore que le Procureur général intimé a déjà entretenu des liens avec plusieurs acteurs de la procédure, en plus du Procureur Christian Buffat, en sa qualité de membre de la "division spéciale" du Ministère public central. Le recourant expose qu'il entretient, depuis bientôt 15 ans, des contacts réguliers avec le Conseil d'Etat et ses membres, ce qui ne permettrait pas d'exclure tout doute légitime de partialité, au moins au stade des apparences. Il rappelle également que la surveillance du Ministère public, dont il est le chef, relève par ailleurs de la compétence du Conseil d'Etat, ce dernier étant habilité à donner au Ministère public des instructions de portée générale en matière d'administration ou de finances (art. 21 al. 2 et 3 LMPu).
Sur ce point, la cour cantonale a jugé que les circonstances invoquées par le recourant tendant à nier la réalité de l'indépendance du Procureur général vis-à-vis du Conseil d'Etat ou de l'un de ses membres étaient de nature purement institutionnelle. Elles ne suffisaient pas pour créer une apparence de la prévention, ni ne faisaient redouter une activité partiale du Procureur général. Elle a considéré qu'en définitive, les impressions subjectives du recourant, qui allait jusqu'à connaître la disposition intime, prétendument de subordination, du Procureur général à l'égard du pouvoir exécutif, étaient insuffisantes à fonder un motif de récusation. Une telle argumentation est conforme au droit fédéral, étant relevé que le recours ne comporte aucune démonstration que l'issue du litige est d'ores et déjà scellée.
Enfin, dans un dernier grief, le recourant invoque des soupçons de contacts téléphoniques non verbalisés entre le Ministère public et la Conseillère d'Etat Jacqueline de Quattro qui auraient été établis dans le cadre de cette affaire, sans que ces soupçons n'aient été dissipés à ce jour par le Parquet et la cour cantonale. Force est de constater que le recourant se fonde sur des faits qui n'ont pas été constatés ni allégués devant l'autorité précédente, sans invoquer et démontrer l'arbitraire de leur omission, conformément aux exigences posées par l'<ref-law>, de sorte que son grief est irrecevable. Au demeurant, aucun fait précis en relation avec cette affaire n'est établi ni même allégué.
3.
Il s'ensuit que le recours est rejeté dans la mesure où il est recevable.
Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 7 octobre 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Thalmann