Faits :
A.
A.a. Sur demande du conseil de B._, deux séances se sont déroulées en mai 2016 dans les locaux du Département C._ dans le but de communiquer aux membres de cette autorité des informations au sujet d'une problématique de pollution en relation avec les entreprises du Groupe D._. A._, directeur de E._ SA, a participé à la seconde séance qui s'est déroulée le 24 mai 2016 en présence notamment de F._, Secrétaire général du Département C._.
A la suite de ces séances, le Département C._ a, par dénonciation du 15 juillet 2016 complétée le 16 septembre 2016, porté à la connaissance du Ministère public central le fait que plusieurs acteurs du domaine de l'immobilier, de la construction et de la démolition/terrassement avaient découvert des indices d'atteintes à l'environnement systématiques et dans la durée, commises par des entreprises du Groupe D._. La procédure ouverte à cet égard par le Ministère public a fait l'objet d'un classement, désormais exécutoire (dossier PE16.014792; cf. arrêt 6B_1003/2017 du 20 août 2018).
A.b. Ensuite de la dénonciation du Département C._ précitée, une plainte pénale a été déposée le 28 juillet 2017 par des sociétés du Groupe D._ pour calomnie, diffamation, injure, dénonciation calomnieuse et induction de la justice en erreur.
Dans le cadre de la procédure ouverte sous référence PE17.014767 suite au dépôt de la plainte précitée, le Ministère public central a requis, par courrier du 12 septembre 2018, que G._, Conseillère d'Etat en charge du Département C._, lui fasse parvenir un rapport portant sur plusieurs points, en application de l'art. 195 al. 1 du Code de procédure pénale suisse.
Il ressort notamment du rapport rédigé par F._ sur instruction de G._ et adressé en date du 2 octobre 2018 au Ministère public central que "durant cette [seconde] séance, A._ a insisté sur les risques que représente le 'clan D._' pour l'intégrité corporelle, voire la vie des informateurs, utilisant notamment les termes suivants: 'ils savent manier la caisse en bois'".
A.c. Le 5 avril 2019, A._ a déposé plainte pénale contre F._ et G._ pour violation du secret de fonction. Il leur reprochait d'avoir divulgué, respectivement autorisé la divulgation d'informations contraires à son honneur et à sa personnalité dans un rapport adressé le 2 octobre 2018 au Ministère public central dans le cadre de la procédure PE17.014767.
B.
Par ordonnance du 15 mai 2019, le Ministère public central, division affaires spéciales, a refusé d'entrer en matière (I) et a laissé les frais à la charge de l'Etat (II).
Par arrêt du 18 novembre 2019, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._, a confirmé l'ordonnance du 15 mai 2019 et a mis les frais de la procédure de recours à sa charge.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt cantonal du 18 novembre 2019 et conclut, avec suite de frais et dépens, à sa réforme en ce sens que l'ordonnance de non-entrée en matière rendue par le Ministère public le 15 mai 2019 est annulée, la cause lui étant renvoyée pour qu'il procède à l'ouverture d'une instruction contre F._, G._ et H._ et contre toute autre personne qui pourrait avoir participé à leurs actes, notamment pour violation des <ref-law>, 73 CPP et 41 de la loi vaudoise du 11 septembre 2007 sur la protection des données personnelles (LPrD; RSV 172.65). Subsidiairement, il conclut à l'annulation de l'arrêt du 18 novembre 2019 et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
1.1. Le recourant a déposé en temps utile (art. 45 al. 1 et 100 al. 1 LTF) deux mémoires de recours. Le recourant indique que le second mémoire remplace le mémoire daté du 18 janvier 2020 (cf. courrier du recourant du 27 janvier 2020). Par conséquent, l'examen du Tribunal fédéral se fondera exclusivement sur cette seconde écriture.
1.2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4; arrêt 6B_1000/2019 du 19 février 2020 consid. 6.1).
1.3. En l'espèce, le recourant reproche à F._ et G._ d'avoir rédigé un rapport "apparemment en violation du secret de fonction" qui contenait des propos contraires à l'honneur du recourant et dont le contenu a été révélé dans un article de presse qui a connu une grande diffusion dans toute la Suisse romande (mémoire de recours, p. 3-4). Il fait valoir en particulier des prétentions en tort moral.
Les reproches formulés en l'espèce le sont à l'encontre de personnes qui, au moment des faits, étaient respectivement Conseillère d'Etat et secrétaire général d'un département cantonal, soit des agents de l'Etat. Or, selon la loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA/VD; RS/VD 170.11), qui s'applique notamment aux membres du Conseil d'Etat (art. 3 al. 1 ch. 2) et aux collaborateurs de l'Etat au sens de loi sur le personnel de l'Etat de Vaud (art. 3 al. 1 ch. 9), l'Etat et les communes répondent directement du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4). L'agent n'est pas personnellement tenu envers le lésé de réparer le dommage (art. 5). Le canton de Vaud ayant ainsi fait usage de la faculté réservée à l'<ref-law>, le recourant ne dispose que d'une prétention de droit public à faire valoir non pas contre les auteurs présumés, mais contre l'Etat (cf. <ref-ruling> consid. 2.2 p. 191; arrêts 6B_94/2020 du 10 février 2020 consid. 3; 6B_537/2018 du 27 juillet 2018 consid. 2.2; 6B_1085/2017 du 28 mai 2018 consid. 1.2). Selon la jurisprudence constante si, pour les actes reprochés au prévenu, une collectivité publique assume une responsabilité de droit public exclusive de toute action directe contre l'auteur, la partie plaignante n'a pas de prétention civile (arrêt 6B_307/2019 du 13 novembre 2019 consid. 3.1 destiné à la publication; <ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.3.3 p. 234; <ref-ruling> consid. 2 p. 190; arrêt 6B_1267/2019 du 13 mars 2020 consid. 1.2.1). Il n'en va pas différemment quand l'infraction, comme l'<ref-law>, protège, outre le bon fonctionnement des institutions, mais aussi la sphère privée des particuliers (voir arrêts 6B_1267/2019 du 13 mars 2020 consid. 1.3; 6B_962/2013 du 1er mai 2014 consid. 1.2). C'est dès lors en vain que le recourant se prévaut de l'arrêt 6B_28/2012.
Il s'ensuit que le recourant n'a en principe pas qualité pour recourir en application de l'<ref-law>, à défaut de pouvoir élever des prétentions civiles contre F._ et G._.
1.4. Dans son recours, le recourant soulève plusieurs arguments pour tenter de démontrer qu'il a la qualité pour recourir au sens de l'<ref-law>.
1.4.1. Premièrement, il soutient en substance que, selon la jurisprudence cantonale vaudoise, la LRECA/VD n'exclut pas (valablement) la responsabilité personnelle des agents de l'Etat pour leur conduite illicite. Il se prévaut d'un arrêt de la Cour d'appel civile vaudoise (arrêt de la Cour d'appel civile du Tribunal cantonal vaudois du 13 mars 2019, PT11.27618-180935 139, consid. 4.2.1; cf. arrêt 5A_348/2019 du 10 mai 2019 dans lequel le Tribunal fédéral déclare le recours contre l'arrêt cantonal irrecevable selon la procédure simplifiée). Le recourant soutient que, dans le cas d'espèce, dès lors que le délai de prescription d'un an prévu dans la LRECA/VD (art. 7) est moins favorable que le délai de prescription de trois ans prévu à l'<ref-law>, en application de la jurisprudence cantonale précitée, la LRECA/VD n'instituerait pas valablement une responsabilité de l'Etat pour les actes illicites commis par ses agents, de sorte que le recourant demeurerait en droit de prendre des conclusions civiles contre F._ et G._.
Ce raisonnement ne saurait être suivi. Contrairement à ce que le recourant prétend, il ne peut rien déduire en sa faveur de l'arrêt cantonal qu'il invoque. En effet, dans cette affaire qui concernait la responsabilité des organes de tutelle, le Tribunal cantonal vaudois a conclu à une responsabilité primaire et exclusive de l'Etat de Vaud en application des art. 4 et 5 LRECA/VD (cf. arrêt de la Cour d'appel civile du 13 mars 2019, consid. 4.3.1). S'agissant du délai de prescription, il a jugé que par le renvoi de l'art. 8 LRECA/VD au Code des obligations, la LRECA/VD accordait un délai de prescription qui n'était pas moins favorable qu'en cas d'application du droit fédéral (cf. arrêt de la Cour d'appel civile du 13 mars 2019, consid. 4.2.2).
1.4.2. Le recourant soutient ensuite que F._ n'a pas commis les actes qui lui sont reprochés dans l'exercice de la fonction publique cantonale ou communale (cf. art. 1 al. 1 LRECA/VD). Le document litigieux ne constituerait pas un rapport officiel mais serait "un récit rédigé à la demande d'une autorité pénale" qui ne se distinguerait ainsi pas d'un témoignage écrit (mémoire de recours, p. 8). Le raisonnement du recourant ne peut pas être suivi. En effet, il ressort de l'arrêt attaqué que le rapport rédigé par F._ faisait suite à un courrier du 12 septembre 2018 dans lequel le Ministère public central avait requis que G._, Conseillère d'Etat en charge du Département C._, lui fasse parvenir un rapport portant sur plusieurs points en application de l'<ref-law> (cf. arrêt attaqué, p. 2). Ledit rapport a été rédigé par F._ sur instruction de G._ (cf. arrêt attaqué, p. 2) et portait sur le contenu des séances qui s'étaient déroulées au sein du Département C._ en mai 2016 dont le but était de faire la lumière sur une prétendue atteinte à l'environnement qui aurait été causée par le Groupe D._ (arrêt attaqué, p. 8).
1.4.3. Par ailleurs, dans la mesure où le recourant soutient, d'une part, que par la "communication clandestine à la presse d'informations soumises au secret de fonction", F._ et G._ n'ont pas agi dans l'exercice d'une fonction publique et, d'autre part, que des tiers seraient complices ou instigateurs de cette communication (mémoire de recours, p. 9), il se fonde sur des éléments qui ne ressortent pas de l'arrêt attaqué, sans démontrer que l'autorité précédente aurait arbitrairement omis de les retenir (cf. <ref-law>). Faute de respecter ces exigences, ces faits sont irrecevables et avec eux les moyens que le recourant tente d'en tirer (cf. arrêt 6B_156/2019 du 27 juin 2019 consid. 2.4 non publié in <ref-ruling>).
1.4.4. Le recourant invoque ensuite la violation du principe de l'égalité de traitement avec les cas où les prévenus ne sont pas agents de l'Etat et soutient que la qualité pour recourir au Tribunal fédéral devrait lui être reconnue. Le recourant ne saurait être suivi sur ce point. Le Tribunal fédéral a déjà examiné et rejeté le grief tiré d'une inégalité de traitement dans l'application de l'art. 81 al. 1 let b ch. 5 LTF lorsqu'une collectivité publique assume une responsabilité de droit public exclusive de toute action directe contre l'auteur, estimant qu'une telle situation était suffisamment spécifique pour justifier un traitement particulier (cf. arrêt 6B_307/2019 du 13 novembre 2019 consid. 3.2.4 destiné à la publication et les références citées).
1.4.5. Enfin, le recourant fait valoir un droit de recours en vertu de l'art. 13 CEDH et invoque une violation de l'art. 8 CEDH (mémoire de recours, p. 12-13).
En l'occurrence, c'est en vain que le recourant se prévaut de l'<ref-ruling> dans la mesure où il ne fait nullement valoir qu'il aurait été victime de traitements inhumains ou dégradants et tel n'est manifestement pas le cas. Au demeurant, la jurisprudence ne reconnaît pas un droit de recours à celui qui se prétend victime d'une violation de l'art. 8 CEDH, qui protège le droit au respect de la vie privée et familiale (cf. arrêts 6B_493/2019 du 1er juillet 2019 consid. 2.4; 6B_96/2019 du 7 juin 2019 consid. 2.1; 6B_996/2018 du 31 octobre 2018 consid. 3.2; 6B_695/2017 du 26 avril 2018 consid. 1.3; 1B_729/2012 du 28 mai 2013 consid. 2).
Par ailleurs, on ne voit pas en quoi le recourant, qui a pleinement pu soumettre ses moyens devant la cour cantonale aurait été privé "du droit de bénéficier d'une voie de recours effective", au sens de l'art. 13 CEDH (cf. arrêt 1B_729/2012 du 28 mai 2013 consid. 2.3). A cet égard, le fait que, dans une affaire parallèle, il ait obtenu à deux reprises gain de cause comme prévenu devant le Tribunal fédéral (arrêts 1B_402/2018 du 5 novembre 2018 et 1B_243/2019 du 19 décembre 2019) n'est pas pertinent.
Pour le surplus, c'est également en vain que le recourant reproche à la cour cantonale de ne pas avoir examiné la question de savoir si sa sphère privée avait été atteinte au sens de l'art. 8 CEDH. En effet, le recourant ne prétend pas qu'il aurait soulevé un tel grief dans son recours cantonal contre l'ordonnance de non-entrée en matière et que la cour cantonale aurait commis un déni de justice en ne l'examinant pas. Le grief est donc irrecevable, faute d'épuisement des instances cantonales (cf. <ref-law>).
1.5. Au vu de ce qui précède, le recourant ne dispose pas de la qualité pour recourir sur le fond de la cause, faute de satisfaire aux conditions posées par l'art. 81 al. 1 let. b ch. 5 LTF.
1.6. L'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas, quant à elle, en considération, le recourant ne soulevant aucun grief recevable quant à son droit de porter plainte (cf. art 42 al. 2 et 106 al. 2 LTF).
2.
2.1. Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est également habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pourvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 1.1 p. 5 et les références citées). Le recourant ne peut ni critiquer l'appréciation des preuves ni faire valoir que la motivation n'est pas correcte d'un point de vue matériel (<ref-ruling> consid. 1.4 p. 44 et les références citées).
2.2. En l'espèce, invoquant une violation des art. 9 et 29 Cst., le recourant se plaint d'arbitraire dans l'appréciation des preuves et dans l'établissement des faits ainsi que d'une violation de son droit d'être entendu; il demande l'annulation de la décision attaquée en application de l'<ref-law> ou que le Tribunal fédéral complète l'état de fait conformément à l'<ref-law>. Le recourant reproche à la cour cantonale d'avoir omis de mentionner certains faits qu'il considère comme pertinents, allégués et prouvés, qui, selon lui, démontreraient en particulier le caractère secret des propos divulgués. Ce faisant, il ne fait pas valoir de moyens qui peuvent être séparés du fond.
Pour le surplus, invoquant encore les art. 9 et 29 Cst., le recourant reproche à la cour cantonale d'avoir omis de mentionner le fait que le rapport du 2 octobre 2018 avait été diffusé dans la presse et de n'avoir pas pris en considération les preuves correspondantes, alors qu'il avait mentionné ces éléments dans sa plainte pénale. On comprend qu'il reproche en substance aux autorités cantonales de ne pas avoir examiné la question de savoir si d'autres personnes avaient procédé à la communication des données litigieuses à la presse en violation du secret de fonction. Le recourant ne soutient cependant pas qu'il aurait valablement soulevé un tel grief devant la cour cantonale et que celle-ci aurait commis un déni de justice en ne l'examinant pas. Son grief est ainsi irrecevable, faute d'épuisement des instances cantonales (<ref-law>; cf. <ref-ruling> consid. 2.1 p. 93; arrêts 6B_353/2019 du 25 avril 2019 consid. 1.4 et 6B_603/2016 du 26 juin 2017 consid. 1.3)
3.
Le recours doit être déclaré irrecevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 4 mai 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann