Faits :
A.
Par acte du 9 mars 2020, A._, médecin spécialiste en chirurgie, a déposé plainte pénale contre la cheffe du Département de la santé et de l'action sociale du canton de Vaud (ci après: le DSAS), B._, pour "atteinte à l'honneur et refus du droit d'être entendu". Il lui reprochait d'avoir porté atteinte à son honneur dans une décision du DSAS du 16 décembre 2019 lui retirant définitivement son autorisation de pratique à titre indépendant, notamment en relayant le contenu d'une décision du 17 décembre 2018 du chef du Département des finances et de la santé de la République et canton de Neuchâtel (ci-après: le DFS), lui retirant l'autorisation de pratiquer la médecine sous sa propre responsabilité dans ce canton. En particulier, il incriminait les passages indiquant qu'il n'avait, pour pratiquer la médecine et plus particulièrement la chirurgie, "ni les compétences requises, ni les aptitudes personnelles" et qu'il rencontrait des "difficultés à collaborer avec les autres professionnels de la santé".
La décision du DSAS a été confirmée par arrêt du 4 mai 2020 de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: CDAP).
B.
Par ordonnance du 28 avril 2020, le Ministère public vaudois (Procureur général) a refusé d'entrer en matière sur la plainte pénale et a laissé les frais à la charge de l'État.
A._ a recouru contre cette ordonnance, exigeant que le Procureur général vaudois soit dessaisi de la cause.
C.
Par arrêt du 29 juin 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a déclaré la demande de récusation du Procureur général irrecevable et l'a rejetée car mal fondée. Elle a rejeté le recours dans la mesure de sa recevabilité et a confirmé l'ordonnance du 28 avril 2020.
D.
Le recourant forme un recours au Tribunal fédéral contre l'arrêt cantonal du 29 juin 2020 et conclut notamment à la confirmation de sa plainte pénale pour atteinte à l'honneur. Il demande la récusation du Procureur général dans la présente affaire ainsi que son exclusion du Conseil de santé du canton de Vaud et la publication de tous les appels téléphoniques entre le ministère public et le DSAS entre le 9 mars et le 28 avril 2020. Il conclut à ce qu'il soit auditionné publiquement ainsi que tous les témoins, y compris ceux venant de l'étranger. Il requiert en outre la constatation qu'aucun témoin n'a été auditionné publiquement, que la prescription n'a pas été prise en compte et que son droit d'être entendu à tous les niveaux a été refusé.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
2.
En tant que le recourant s'en prend, notamment sous couvert de violations de droits fondamentaux, à toutes sortes de décisions administratives et pénales (notamment: décision du DSAS du 16 décembre 2019, décision du DFS du 17 décembre 2018, arrêt de la CDAP, non-entrée en matière sur la plainte déposée contre le chef du DFS, etc.) qui ne font pas l'objet de la présente procédure, son recours est irrecevable (<ref-law>; cf. mémoire de recours, notamment ch. 1 à 68; 101, 108).
3.
Le recourant s'en prend à la confirmation du refus d'entrer en matière sur sa plainte dirigée contre la cheffe du DSAS.
3.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 3.1 p. 82; <ref-ruling> consid. 1.1 p. 4). En revanche, n'appartiennent pas à cette catégorie les prétentions fondées sur le droit public (<ref-ruling> consid. 3.1 p. 82 s.; <ref-ruling> consid. 2b p. 163). De jurisprudence constante en effet, la partie plaignante n'a pas de prétention civile si, pour les actes reprochés au prévenu, une collectivité publique assume une responsabilité de droit public exclusive de toute action directe contre l'auteur (<ref-ruling> consid. 3.1 p. 82 s.; <ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.3.3 p. 234).
3.2. En l'espèce, il ne ressort ni de la décision entreprise, ni du mémoire de recours, que B._ pourrait être mise en cause à un autre titre qu'en sa qualité de cheffe du DSAS. Or, la loi vaudoise du 16 mai 1961 sur la responsabilité de l'État, des communes et de leurs agents (LRECA; RS/VD 170.11), institue une responsabilité directe de l'État, exclusive de celle des agents (art. 5; cf. art. 3 al. 1). Le canton de Vaud ayant fait usage de la faculté réservée à l'<ref-law>, le recourant ne disposerait que d'une prétention de droit public à faire valoir non pas contre la personne qu'il dénonce, mais contre l'État. Selon la jurisprudence constante, une telle prétention ne constitue pas une prétention civile au sens des dispositions précitées.
Ainsi, le recourant n'est pas habilité à recourir contre le refus d'entrer en matière sur la plainte pénale dirigée contre B._ en sa qualité de cheffe du DSAS. Le recourant ne dispose pas de la qualité pour recourir sur le fond de la cause, au regard de l'art. 81 al. 1 let. b ch. 5 LTF.
4.
Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (ATF <ref-ruling> consid. 1.1 p. 5).
4.1. Conformément à l'<ref-law>, le mémoire de recours doit être motivé et contenir des conclusions. Celles-ci doivent exprimer sur quels points la décision entreprise doit être modifiée et comment. Les motifs doivent exposer succinctement en quoi la décision attaquée viole le droit (<ref-law>). Selon la jurisprudence, pour répondre à cette exigence, la partie recourante est tenue de discuter au moins sommairement les considérants de l'arrêt entrepris (<ref-ruling> consid. 2 p. 88 ss et 115 consid. 2 p. 116 s.; <ref-ruling> consid. 2.1 p. 245 s.); en particulier, la motivation doit être topique, c'est-à-dire se rapporter à la question juridique tranchée par l'autorité cantonale (<ref-ruling>; arrêt 6B_1337/2020 du 21 décembre 2020 consid. 3.2). Par ailleurs, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>; <ref-ruling> consid. 1.1 p. 503), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.4 p. 368).
4.2. Le recourant conteste le rejet de sa demande de récusation concernant le Procureur général et dénonce la violation des garanties en matière d'indépendance et d'impartialité des autorités pénales. Il a la qualité pour recourir sur ce point (cf. arrêts 1B_143/2020 du 29 avril 2020 consid. 2; 6B_1107/2016 du 26 septembre 2017 consid. 3; 6B_1238/2016 du 25 septembre 2017 consid. 1.4).
4.2.1. La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH, qui ont, de ce point de vue, la même portée, permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat, mais seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles du plaideur ne sont pas décisives (<ref-ruling> consid. 4.3 p. 162 et les arrêts cités; arrêt 6B_826/2019 du 21 janvier 2020 consid. 1.1).
Aux termes de l'<ref-law>, toute personne exerçant une fonction au sein d'une autorité pénale est tenue de se récuser, notamment lorsqu'elle a agi à un autre titre dans la même cause, en particulier comme membre d'une autorité, conseil juridique d'une partie, expert ou témoin (let. b) ou lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à la rendre suspecte de prévention (let. f).
La notion de "même cause" au sens de l'<ref-law> s'entend de manière formelle, c'est-à-dire comme la procédure ayant conduit à la décision attaquée ou devant conduire à celle attendue. Elle n'englobe en revanche pas une procédure distincte ou préalable se rapportant à la même affaire au sens large, soit au même ensemble de faits et de droits concernant les mêmes parties. Ainsi, une "même cause" au sens de l'<ref-law> implique une identité de parties, de procédure et de questions litigieuses. Le cas de récusation visé par cette disposition présuppose aussi que le magistrat en question ait agi à "un autre titre", soit dans des fonctions différentes (<ref-ruling> consid. 3.1 p. 73 s. et arrêts cités).
4.2.2. La cour cantonale a considéré que la demande de récusation déposée le 8 mai 2020 contre le Procureur général vaudois était manifestement tardive, dès lors que le recourant avait su, à tout le moins le 12 voire le 18 mars 2020, que ce dernier était en charge de l'examen de sa plainte. A titre subsidiaire, la cour cantonale a retenu que le Procureur général n'avait pas participé à la procédure ayant conduit à la décision du DSAS du 16 décembre 2019, de sorte que les conditions de l'<ref-law> n'étaient pas réunies. Sous l'angle de l'art. 56 let. f CPP, la cour cantonale a relevé que de simples rapports professionnels entre le Procureur général, membre du Conseil de santé, et le chef du DSAS, président de ce Conseil, ne tombaient pas sous le coup de cette disposition, relevant que le ministère public n'était pas rattaché au DSAS mais constituait une autorité propre, régie par une loi cantonale spéciale. Ainsi, la simple appartenance du Procureur général au Conseil de santé n'était pas de nature à rendre celui-ci suspect de prévention.
En définitive, la cour cantonale a jugé que la demande de récusation était irrecevable pour tardiveté et, de toute manière, mal fondée.
4.2.3. S'agissant de la tardiveté de la demande de récusation, le recourant se contente d'affirmer qu'il n'a eu connaissance de la "position anticonstitutionnelle" du Procureur général qu'en deuxième instance et qu'il est "en attente d'une réponse du Tribunal fédéral sur une demande d'avis de droit" qu'il lui a adressée sur ce point. Un tel procédé, purement appellatoire, est irrecevable, étant relevé qu'il n'appartient pas au Tribunal fédéral de rédiger des avis de droit sur demande d'un justiciable. Le motif de la tardiveté suffit à sceller le sort de la cause s'agissant de la récusation du Procureur général.
En tout état, il est établi que le Procureur général n'a pas participé, à quelque titre que ce soit, à la décision du DSAS du 16 décembre 2019, le droit cantonal vaudois prévoyant une procédure idoine de retrait de l'autorisation de pratique lorsque les conditions ne sont plus remplies. Le recourant échoue à démontrer l'arbitraire de cette constatation, respectivement, l'arbitraire dans l'application du droit cantonal sur ce point (cf. <ref-ruling> consid. 2.3 p. 387; <ref-ruling> consid. 2.2 p. 69), en affirmant simplement que le Procureur général aurait été un expert, sous l'autorité de la cheffe du DSAS, dans la cause le concernant. Il est malvenu de prétendre que le Procureur général aurait agi dans la même cause ou qu'il serait prévenu au motif qu'il "était au courant" de la décision du DSAS du 16 décembre 2019, en suggérant un contact secret entre les magistrats, relevant du "délit d'initié". Le Procureur général ne pouvait qu'être au courant de cette décision dans la mesure où la plainte pénale du recourant visait précisément le contenu de la première. Aussi, il n'y a pas lieu d'entrer en matière sur la demande du recourant tendant à la publication de toutes les conversations téléphoniques entre le ministère public et le DSAS entre le 9 mars et le 28 avril 2020. Pour le surplus, on ne voit pas quelle circonstance constatée objectivement aurait empêché le Procureur général de statuer en toute impartialité (cf. s'agissant de contacts dans un cadre professionnel, notamment arrêts 6F_2/2020 du 23 avril 2020 consid. 3.4.3; 1B_159/2015 du 27 mai 2015 consid. 2.2; 5A_109/2012 du 3 mai 2012 consid. 3.2.2), le recourant ne soulevant aucun grief recevable visant à démontrer une quelconque prévention (cf. <ref-law>).
Le recourant est irrecevable à requérir l'exclusion du Procureur général du Conseil de santé auprès de la Cour de céans, par le biais d'un recours en matière pénale (cf. notamment <ref-law>).
Il n'y a pas lieu d'entrer en matière sur l'appréciation personnelle que livre le recourant s'agissant des circonstances entourant l'élection de B._ au Conseil d'État vaudois, lesquelles ne sont d'aucune pertinence pour juger la présente cause.
4.3. En tant que le recourant invoque une violation de son droit d'être entendu au motif qu'il n'aurait pas été entendu publiquement, il ne développe d'aucune manière son grief, de sorte qu'il n'y a pas lieu d'entrer en matière (art. 42 al. 2 et 106 al. 2 LTF). En tout état, il ne prétend ni ne démontre qu'il aurait requis une telle audition qui lui aurait été refusée par la cour cantonale en violation du droit (cf. sur la procédure écrite prévue par le CPP en matière de recours contre une ordonnance de non-entrée en matière: arrêts 6B_520/2016 du 18 mai 2017 consid. 3.2 s.; 6B_803/2016 du 20 juillet 2017 consid. 1 et arrêts cités).
4.4. Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de témoignages et de différents moyens qui tendraient à démontrer la réalisation de l'infraction qu'il dénonce. Son grief est indissociablement lié à l'examen du fond de la cause, de sorte qu'il est irrecevable (supra consid. 3.2).
4.5. En guise de conclusion de nombre de ses critiques, le recourant affirme que la cour cantonale a mené un dossier à charge, qu'elle était partiale et que les règles de la bonne foi (art. 2 et 3 CC) et de l'équité (<ref-law>) ont été violées. Il prétend que les juges cantonaux "seraient bien plus à l'aise dans un rôle de conseil d'une honorable société napolitaine, calabraise ou palermitaine qu'au service d'un É tat de droit". Outre que ces propos sont inutilement provoquants et dénués de tout fondement, ils reposent en réalité sur le seul fait que le recourant s'est vu débouté par l'autorité précédente, laquelle a motivé de manière circonstanciée son arrêt, de sorte qu'il n'y a pas lieu d'entrer en matière sur ce point. Pour le surplus, en affirmant que la mise en évidence, par la cour cantonale, des critiques soulevées entre guillemets constituerait une "insulte" aux art. 16 Cst. et 10 CEDH et violerait sa liberté d'opinion et d'expression, le recourant ne satisfait pas aux exigences de motivation de l'<ref-law>.
Le recourant reproche à la cour cantonale de ne pas avoir commenté et d'être passée "comme chat sur braises" sur ses remarques et questions et compléments de documents sans préciser de quelles remarques il s'agit et en quoi elle auraient dû être traitées. Insuffisamment motivé, son grief est irrecevable, étant relevé que le juge n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 2.2 p. 183).
Il n'y a pas lieu d'entrer en matière sur l'énumération des dispositions constitutionnelles et conventionnelles que le recourant estime violées sans aucun rattachement à une motivation topique (cf. <ref-law>).
5.
L'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas en considération, le recourant ne soulevant aucun grief quant à son droit de porter plainte.
6.
Le recours doit être rejeté dans la faible mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 11 mars 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant : Denys
La Greffière : Klinke