Faits :
A.
X._, titulaire du diplôme de médecin-vétérinaire, exploite un cabinet vétérinaire situé à A._.
Suite à des plaintes de propriétaires d'animaux contre X._, des vétérinaires genevois ont dénoncé le cas au Conseil de santé du canton de Vaud (ci-après: le Conseil de santé). Par courrier du 9 juillet 2012, le Chef du Département de la santé et de l'action sociale du canton de Vaud (ci-après: le Département cantonal) a informé X._ qu'il avait décidé, sur préavis du Conseil de santé, d'ouvrir une enquête disciplinaire contre lui. Le 13 juillet 2012, X._ a été informé que l'enquête avait été confiée à une délégation du Conseil de santé, composée de Me B._, avocate, du Dr C._, médecin et du Dr D._, vétérinaire. Un délai de dix jours a été imparti à X._ pour faire valoir ses éventuelles demandes de récusation et observations. Le 3 septembre 2012, X._ a écrit au Conseil de santé qu'il n'avait pas de motif de récusation à formuler.
Le 21 août 2013, le médecin cantonal, le vétérinaire cantonal et le Dr D._ ont effectué une visite non annoncée au cabinet de X._. Suite à l'opposition de X._, ils ont quitté les lieux sans avoir consulté de dossier, ni visité les locaux. Le 12 septembre 2013, X._ a écrit au Conseil de santé pour se plaindre des graves violations de procédure survenues lors de la visite du 21 août 2013. Il a demandé que les trois personnes présentes lors de la visite se récusent "au vu des évènements et de leurs a priori." Ce courrier est resté sans réponse.
Dans le cadre de l'enquête disciplinaire contre X._, le Dr D._ a été chargé par la délégation du Conseil de santé de rédiger des rapports sur certains des cas dénoncés.
B.
Le 24 mars 2014, X._ a réitéré sa demande de récusation, laquelle a été rejetée par le Chef du Département cantonal par décision du 15 avril 2014.
Le 19 septembre 2014, le Tribunal cantonal a rejeté le recours interjeté par X._ contre la décision du 15 avril 2014. Le Tribunal cantonal a jugé en substance que le dossier ne permettait pas d'affirmer que le Dr D._ était prévenu envers X._. Sa récusation n'était dès lors pas justifiée.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, de modifier la décision du Tribunal cantonal du 19 septembre 2014 en ce sens que le Dr D._ est récusé et remplacé par une autre personne qui ne soit pas le médecin cantonal. Subsidiairement, il conclut à ce que la cause soit renvoyée au Tribunal cantonal pour nouvelle décision.
Par ordonnance présidentielle du 13 novembre 2014, le Tribunal fédéral a rejeté la requête de mesure provisionnelle formée par le recourant tendant à ce qu'ordre soit donné au Dr D._ de ne plus intervenir dans la procédure le concernant, en particulier de s'abstenir de toute mesure d'instruction jusqu'à droit connu sur le recours.
Le Tribunal cantonal a renoncé à se déterminer sur le recours. Le Département cantonal conclut, avec suite de frais et dépens, au rejet du recours. Le recourant a formulé des déterminations volontaires.

Considérant en droit :
1.
Le litige porte sur l'existence de motifs de récusation concernant un membre de la délégation du Conseil de santé chargée de l'enquête dirigée contre le recourant.
1.1. Nonobstant son caractère incident, l'arrêt attaqué peut faire l'objet d'un recours, puisqu'il a été notifié séparément du fond et qu'il porte sur une demande de récusation (cf. <ref-law>); il a été rendu par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) qui au fond ne tombe pas sous le coup des exceptions de l'<ref-law>.
1.2. Le recours ayant en outre été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), il est donc en principe recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral vérifie librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant.
2.2. Le Tribunal statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450). La partie recourante doit ainsi expliquer de manière circonstanciée en quoi les deux conditions de l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 5.1 p. 356).
3.
Le recourant considère que l'autorité précédente a violé l'art. 29 al. 1 Cst. en rejetant sa demande de récusation.
3.1. L'art. 29 al. 1 Cst. dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Selon la jurisprudence, ce droit permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une personne impliquée ne sont pas décisives (cf. <ref-ruling> consid. 4.2 p. 21 et les arrêts cités; <ref-ruling> consid. 2b p. 198; <ref-ruling> consid. 3b p. 123; arrêt 2C_643/2010 du 1er février 2011 consid. 5.5.1).
3.2. Contrairement à l'art. 30 al. 1 Cst., l'art. 29 al. 1 Cst. n'impose pas l'indépendance et l'impartialité comme maxime d'organisation. En règle générale, les prises de position qui s'inscrivent dans l'exercice normal de fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas de conclure à l'apparence de la partialité et ne justifient pas la récusation (cf. <ref-ruling> consid. 3f p. 124s., 209 consid. 8a p. 218; arrêts 1C_33/2013 du 19 mai 2014 consid. 3.3 et 2C_643/2010 du 1er février 2011 consid. 5.5.1). Une autorité, ou l'un de ses membres, a en revanche le devoir de se récuser lorsqu'elle dispose d'un intérêt personnel dans l'affaire à traiter, qu'elle manifeste expressément son antipathie envers l'une des parties à la procédure ou s'est forgé une opinion inébranlable avant même d'avoir pris connaissance de tous les faits pertinents de la cause (cf. arrêts 2D_25/2012 du 6 novembre 2012 consid. 2.3.1 et 1C_442/2011 du 6 mars 2012 consid. 2.1 et les arrêts cités).
3.3. D'après la jurisprudence, même des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention. Il n'en va autrement que si le membre d'une autorité administrative ou judiciaire a commis des erreurs grossières ou répétées constituant une grave violation des devoirs de sa charge (cf. <ref-ruling> consid. 2.3 p. 146 et les références citées; arrêts 9C_499/2013 du 20 février 2014 consid. 5.3 et 1B_71/2009 du 9 juin 2009 consid. 2.1). Une personne qui exerce la puissance publique est nécessairement amenée à devoir trancher des questions controversées ou des questions qui dépendent largement de son appréciation. Même si elle prend dans l'exercice normal de sa charge une décision qui se révèle erronée, cela ne suffit pas à présumer une attitude partiale de sa part à l'avenir. Par ailleurs, la procédure de récusation ne saurait être utilisée pour faire corriger des fautes - formelles ou matérielles - prétendument commises par une personne détentrice de la puissance publique; de tels griefs doivent être soulevés dans le cadre du recours portant sur le fond de l'affaire (<ref-ruling> consid. 3b p. 404 et les références; arrêt 9C_499/2013 du 20 février 2014 consid. 5.3).
3.4. Sur le plan cantonal, l'art. 9 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative (LPA/VD; RSVD 173.36) n'offre pas de garanties plus étendues que l'art. 29 al. 1 Cst. (cf. arrêt 8C_1058/2010 du 1er juin 2011 consid. 4.3). Le recourant ne le prétend d'ailleurs pas.
4.
En l'occurrence, le recourant invoque trois éléments qui, selon lui, démontrent la prévention du Dr D._. Premièrement, il invoque le fait que le Dr D._ a "participé" à la visite non annoncée du 21 août 2013. Il reproche ensuite à l'autorité précédente de ne pas s'être penchée sur le fait qu'un des collaborateurs du Dr D._ aurait tenu des propos qui, selon le recourant, confirmeraient la prévention de celui-ci. Enfin, il critique les termes utilisés par le Dr D._ dans trois rapports que celui-ci a rédigés.
4.1. Concernant la visite du 21 août 2013, le Tribunal cantonal considère que si celle-ci s'est effectivement déroulée telle que le rapporte le recourant - ce que l'autorité intimée ne semble apparemment pas contester - le comportement adopté à cette occasion "s'avère manifestement inadéquat et contraire aux règles de base applicables en la matière" (arrêt attaqué, p. 10). L'instance précédente s'étonne également que l'intéressé n'ait pas été averti au préalable de la visite et que celle-ci ait été effectuée par des personnes qui ne faisaient pas partie de la délégation de la Commission de la santé chargée de l'enquête.
Dans l'arrêt entrepris, l'instance précédente retient cependant que ces éventuelles erreurs de procédure ou d'appréciation ne suffisent pas à fonder objectivement un soupçon de prévention. Ce point de vue doit être approuvé. En effet, selon la jurisprudence, seules des erreurs particulièrement lourdes ou répétées commises par l'autorité, constituant des violations graves de ses devoirs, peuvent justifier le soupçon de parti pris. Il ne ressort pas du dossier que tel soit le cas en l'espèce. En outre, comme le relève à juste titre l'instance précédente, le comportement inapproprié dont le recourant se plaint n'était pas le fait du Dr D._. Il ressort en effet de l'arrêt attaqué que le recourant a uniquement critiqué l'attitude adoptée par le médecin cantonal lors de la visite du 21 août 2013 et non celle du Dr D._ (cf. arrêt attaqué, p. 2). Dans ces conditions, on ne voit pas en quoi la seule présence du Dr D._ lors de cette visite permettrait de le suspecter spécifiquement de partialité.
4.2. En ce qui concerne les propos "inadmissibles" qu'un des vétérinaires travaillant dans le cabinet du Dr D._ aurait tenus au sujet du recourant à un détective privé, le Tribunal cantonal considère à juste titre que dans la mesure où de tels propos émanaient d'un tiers, ils ne peuvent pas à eux seuls fonder un soupçon de prévention de la part du Dr D._.
4.3. S'agissant des rapports établis par le Dr D._, l'autorité précédente considère que les termes employés dans ceux-ci étaient effectivement peu mesurés et clairement dépréciatifs. Elle relève également le style inhabituel des rapports. Elle estime cependant que le travail du Dr D._ paraît à première vue sérieux et que les propos en question ne sont pas suffisamment graves pour justifier une récusation.
4.3.1. Le recourant invoque d'abord une violation de l'<ref-law> en relation avec l'affirmation du Tribunal cantonal selon laquelle le Dr D._ n'aurait pas fait de déclarations "au sujet du recourant avant la prise de connaissance des dossiers des animaux" (cf. arrêt attaqué, p. 11). Il considère que cette constatation est manifestement fausse dans la mesure où le Dr D._ n'était pas en possession du dossier du recourant au moment de la rédaction d'un de ses rapports, ce qui démontrerait la partialité de celui-ci. Cet argument ne saurait être suivi. En effet, le Dr D._ a lui-même souligné dans le rapport en question qu'il n'était pas en possession du dossier complet et qu'il se basait uniquement sur les dires de la plaignante. Ce grief doit par conséquent être rejeté.
4.3.2. Pour ce qui est des autres cas, le recourant reproche essentiellement au Dr D._ d'avoir qualifié son comportement d'"éthiquement incorrect", de "procédé frisant l'escroquerie" et d'avoir considéré que la lecture d'un des cas "révèle l'incapacité de poser un diagnostic".
S'il est vrai que le Dr D._ n'a pas fait preuve de retenue dans certains de ses propos, en utilisant parfois des termes exagérés ou inutiles, ceci semble plutôt être dû à un certain manque de professionnalisme dans la rédaction de ces rapports qu'à une prévention du Dr D._ à l'égard du recourant. Il ne ressort en effet pas de l'arrêt attaqué que le Dr D._ aurait un intérêt personnel dans l'affaire ou aurait émis des remarques négatives sur le recourant avant l'ouverture de l'enquête. Le recourant ne l'allègue d'ailleurs pas devant le Tribunal de céans.
Il convient également de souligner que la mission qui a été confiée au Dr D._ était précisément de donner à ses collègues son avis de praticien sur la base des documents qui lui avaient été fournis (cf. arrêt attaqué, p. 11). En outre, comme le relève l'autorité précédente, il faut garder à l'esprit que les rapports litigieux sont des documents de travail destinés à donner un premier avis au Conseil de santé; cet avis pourra ensuite être discuté et pondéré par le Conseil de santé dans son ensemble (cf. arrêt attaqué, p. 12).
Compte tenu de ces éléments, les propos litigieux, bien que parfois exagérés, ne permettent pas de conclure à eux seuls à la partialité du Dr D._.
4.3.3. Pour le surplus, le recourant ne peut être suivi lorsqu'il reproche au Dr D._ de ne pas avoir pris en considération deux expertises privées effectuées par des professeurs de médecine-vétérinaire, qui confirmeraient que l'approche médicale du recourant a été "irréprochable". En effet, l'on ne saurait conclure à la partialité d'un membre du Conseil de santé parce qu'il ne modifie pas son appréciation des aptitudes professionnelles d'une personne de sa profession qui fait l'objet d'une enquête disciplinaire après avoir lu des rapports écrits divergents émanant d'autres personnes de sa profession.
En tout état de cause, comme le relève l'autorité précédente, c'est à l'occasion d'un éventuel contrôle de fond par un tribunal que le recourant pourra, le cas échéant, contester les faits établis, demander une expertise supplémentaire ou se plaindre, le cas échéant, d'une motivation insuffisante de l'arrêt attaqué. Au demeurant, il convient de relever qu'il ressort de l'arrêt entrepris qu'une expertise devrait être mise en oeuvre par le Conseil de santé (arrêt attaqué, p. 10).
4.4. En résumé, les éléments avancés par le recourant ne permettent pas de conclure à une apparence objective de partialité. La juridiction cantonale n'a dès lors pas violé le droit fédéral en considérant qu'il n'existait aucun motif de récusation à l'encontre du Dr D._.
5.
Compte tenu de ce qui précède, le recours en matière de droit public est rejeté.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). L'intimé n'a pas droit à des dépens (<ref-law>; cf. <ref-ruling> consid. 7 p. 119).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et du Département de la santé et de l'action sociale et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 27 mars 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Thalmann