Faits :
A.
A.a. Sur demande du conseil de C._, deux séances se sont tenues en mai 2016 dans les locaux du Département D._ dans le but de communiquer au Département D._ des informations au sujet d'une problématique de pollution en relation avec les entreprises du Groupe E._ SA. A._, directeur auprès de F._ SA, a participé à la seconde séance qui s'est déroulée le 24 mai 2016 en présence notamment de B._, Secrétaire général du Département D._, G._, Directeur général de H._, I._, Me J._ et K._, directeur de L._.
A la suite de ces séances, le Département D._ a, par dénonciation du 15 juillet 2016 complétée le 16 septembre 2016, porté à la connaissance du Ministère public central le fait que plusieurs acteurs du domaine de l'immobilier, de la construction et de la démolition/terrassement avaient découvert des indices d'atteintes à l'environnement systématiques et dans la durée, commises par des entreprises du Groupe E._ SA. La procédure ouverte à cet égard par le Ministère public a fait l'objet d'un classement, désormais exécutoire (dossier PE16.014792; cf. arrêt 6B_1003/2017 du 20 août 2018).
A.b. Ensuite de la dénonciation du Département D._ précitée, une plainte pénale a été déposée le 28 juillet 2017 par des sociétés du Groupe E._ pour calomnie, diffamation, injure, dénonciation calomnieuse et induction de la justice en erreur.
Dans le cadre de la procédure ouverte sous référence PE17.014767 suite au dépôt de la plainte précitée, le Ministère public central a requis, par courrier du 12 septembre 2018, que M._, Conseillère d'Etat en charge du Département D._, lui fasse parvenir un rapport portant sur plusieurs points, en application de l'art. 195 al. 1 du Code de procédure pénale suisse.
Il ressort notamment du rapport rédigé par B._ sur instruction de M._ et adressé en date du 2 octobre 2018 au Ministère public central que "durant cette [seconde] séance, A._ a insisté sur les risques que représente le 'clan E._' pour l'intégrité corporelle, voire la vie des informateurs, utilisant notamment les termes suivants: 'ils savent manier la caisse en bois'".
A.c. Le 27 novembre 2018, A._ a déposé plainte pénale auprès du Ministère public de l'arrondissement de Lausanne contre B._ pour diffamation en raison des propos rapportés par l'intéressé dans son rapport du 2 octobre 2018. Cette plainte a été transmise le 28 novembre 2018 au Procureur général du canton de Vaud.
Le 6 décembre 2018, le Ministère public central a ouvert une instruction pénale contre B._ pour diffamation, à raison des propos susmentionnés.
B.
Par ordonnance du 27 juin 2019, le Ministère public central a ordonné le classement de la procédure pénale dirigée contre B._.
Par arrêt du 3 octobre 2019, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._, a confirmé l'ordonnance du 27 juin 2019 et a mis les frais de la procédure de recours à sa charge.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 3 octobre 2019 et conclut, avec suite de frais et dépens, à sa réforme en ce sens que l'ordonnance de classement est annulée, la cause étant renvoyée au Ministère public pour qu'il ordonne d'abord la production et l'introduction au dossier du courrier du 12 septembre 2018 du Procureur N._ adressé à M._, puis qu'il dresse un acte d'accusation contre B._ après un éventuel complément d'instruction. Subsidiairement, il conclut à l'annulation de l'arrêt du 3 octobre 2019 et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
1.1. Aux termes de l'<ref-law>, le recours contre une décision doit être déposé devant le Tribunal fédéral dans les trente jours qui suivent la notification de l'expédition complète.
Les observations complémentaires du recourant du 13 février 2020 et la pièce annexée ont été déposées après le délai de recours, lequel est parvenu à échéance le 15 novembre 2019. L'écriture du 13 février 2020 est ainsi tardive et irrecevable, dans la mesure où elle contient une motivation complémentaire au mémoire de recours valablement déposé le 15 novembre 2019 (cf. arrêts 6B_189/2018 du 11 avril 2018 consid. 2 et 6B_1364/2017 du 16 janvier 2018 consid. 2). Il en va de même de la pièce annexée.
1.2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4; arrêt 6B_1000/2019 du 19 février 2020 consid. 6.1).
1.3. En l'espèce, le recourant reproche à l'intimé d'avoir tenu des propos contraires à son honneur dans un rapport dont le contenu a été révélé dans un article de presse qui a connu une grande diffusion dans toute la Suisse romande. Il fait valoir en particulier des prétentions en tort moral.
Force est de constater que l'intimé était, au moment des faits reprochés, secrétaire général d'un département cantonal, soit un agent de l'Etat, et que les propos litigieux ont été tenus par l'intéressé dans le cadre de l'exercice de sa fonction. En effet, il ressort de l'arrêt attaqué que le rapport rédigé par l'intimé faisait suite à un courrier du 12 septembre 2018 dans lequel le Ministère public central avait requis que M._, Conseillère d'Etat en charge du Département D._, lui fasse parvenir un rapport portant sur plusieurs points en application de l'<ref-law> (cf. arrêt attaqué, p. 2). Or, selon la loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA/VD; RS/VD 170.11), qui s'applique notamment aux collaborateurs de l'Etat au sens de loi sur le personnel de l'Etat de Vaud (art. 3 al. 1 ch. 9), l'Etat et les communes répondent directement du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4). L'agent n'est pas personnellement tenu envers le lésé de réparer le dommage (art. 5). Le canton de Vaud ayant ainsi fait usage de la faculté réservée à l'<ref-law>, le recourant ne dispose que d'une prétention de droit public à faire valoir non pas contre les auteurs présumés, mais contre l'Etat (cf. <ref-ruling> consid. 2.2 p. 191; arrêts 6B_94/2020 du 10 février 2020 consid. 3; 6B_537/2018 du 27 juillet 2018 consid. 2.2; 6B_1085/2017 du 28 mai 2018 consid. 1.2; 6B_695/2017 du 26 avril 2018 consid. 1.2; 6B_1183/2015 du 16 décembre 2015 consid. 3.2). Selon la jurisprudence constante si, pour les actes reprochés au prévenu, une collectivité publique assume une responsabilité de droit public exclusive de toute action directe contre l'auteur, la partie plaignante n'a pas de prétention civile (arrêt 6B_307/2019 du 13 novembre 2019 consid. 3.1 destiné à la publication; <ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.3.3 p. 234; <ref-ruling> consid. 2 p. 190; arrêt 6B_1267/2019 du 13 mars 2020 consid. 1.2.1).
Il s'ensuit que le recourant ne dispose pas de la qualité pour recourir sur le fond de la cause, faute de satisfaire aux conditions posées par l'art. 81 al. 1 let. b ch. 5 LTF.
L'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas, quant à elle, en considération, le recourant ne soulevant aucun grief relatif à son droit de porter plainte.
2.
Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est également habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pourvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 1.1 p. 5). Le recourant ne peut ni critiquer l'appréciation des preuves ni faire valoir que la motivation n'est pas correcte d'un point de vue matériel (<ref-ruling> consid. 1.4 p. 44 et les références citées).
2.1. Invoquant une violation des art. 9 et 29 Cst., le recourant se plaint d'une appréciation arbitraire des preuves et des faits ainsi que d'une violation de son droit d'être entendu; il conclut soit à l'annulation de la décision attaquée en application de l'<ref-law> soit à ce que l'état de fait soit complété en application de l'<ref-law>. En réalité, le recourant reproche à la cour cantonale d'avoir omis de prendre en compte certains faits pertinents allégués et prouvés, qui démontreraient en particulier, selon lui, l'absence de bonne foi de l'intimé au sens de l'<ref-law>. Ce faisant, il ne fait pas valoir de moyens qui peuvent être séparés du fond.
2.2. Le recourant reproche encore à la cour cantonale de ne pas avoir donné suite à sa réquisition de preuve tendant à la production par le Procureur en charge de l'affaire de son courrier du 12 septembre 2018 auquel répond l'intimé dans son rapport du 2 octobre 2018. Il soutient notamment que cette pièce était déterminante pour juger si les conditions pour autoriser l'intimé à rapporter la preuve de sa bonne foi au sens de l'<ref-law> étaient remplies en l'espèce (cf. mémoire de recours, p. 27-28). Ses développements ne visent qu'à démontrer en quoi cette mesure serait nécessaire afin d'établir ses accusations (cf. arrêt 6B_88/2020 du 11 février 2020 consid. 4). Il ne fait ainsi valoir aucun moyen qui peut être séparé du fond et ses griefs ne sauraient non plus fonder sa qualité pour recourir.
3.
Compte tenu de ce qui précède, le recours doit être déclaré irrecevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 4 mai 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann