Faits : A. X._, titulaire du diplôme de médecin-vétérinaire, exploite un cabinet vétérinaire situé à A._. Suite à des plaintes de propriétaires d'animaux contre X._, des vétérinaires genevois ont dénoncé le cas au Conseil de santé du canton de Vaud (ci-après: le Conseil de santé). Par courrier du 9 juillet 2012, le Chef du Département de la santé et de l'action sociale du canton de Vaud (ci-après: le Département cantonal) a informé X._ qu'il avait décidé, sur préavis du Conseil de santé, d'ouvrir une enquête disciplinaire contre lui. Le 13 juillet 2012, X._ a été informé que l'enquête avait été confiée à une délégation du Conseil de santé, composée de Me B._, avocate, du Dr C._, médecin et du Dr D._, vétérinaire. Un délai de dix jours a été imparti à X._ pour faire valoir ses éventuelles demandes de récusation et observations. Le 3 septembre 2012, X._ a écrit au Conseil de santé qu'il n'avait pas de motif de récusation à formuler. Le 21 août 2013, le médecin cantonal, le vétérinaire cantonal et le Dr D._ ont effectué une visite non annoncée au cabinet de X._. Suite à l'opposition de X._, ils ont quitté les lieux sans avoir consulté de dossier, ni visité les locaux. Le 12 septembre 2013, X._ a écrit au Conseil de santé pour se plaindre des graves violations de procédure survenues lors de la visite du 21 août 2013. Il a demandé que les trois personnes présentes lors de la visite se récusent "au vu des évènements et de leurs a priori." Ce courrier est resté sans réponse. Dans le cadre de l'enquête disciplinaire contre X._, le Dr D._ a été chargé par la délégation du Conseil de santé de rédiger des rapports sur certains des cas dénoncés. B. Le 24 mars 2014, X._ a réitéré sa demande de récusation, laquelle a été rejetée par le Chef du Département cantonal par décision du 15 avril 2014. Le 19 septembre 2014, le Tribunal cantonal a rejeté le recours interjeté par X._ contre la décision du 15 avril 2014. Le Tribunal cantonal a jugé en substance que le dossier ne permettait pas d'affirmer que le Dr D._ était prévenu envers X._. Sa récusation n'était dès lors pas justifiée. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, de modifier la décision du Tribunal cantonal du 19 septembre 2014 en ce sens que le Dr D._ est récusé et remplacé par une autre personne qui ne soit pas le médecin cantonal. Subsidiairement, il conclut à ce que la cause soit renvoyée au Tribunal cantonal pour nouvelle décision. Par ordonnance présidentielle du 13 novembre 2014, le Tribunal fédéral a rejeté la requête de mesure provisionnelle formée par le recourant tendant à ce qu'ordre soit donné au Dr D._ de ne plus intervenir dans la procédure le concernant, en particulier de s'abstenir de toute mesure d'instruction jusqu'à droit connu sur le recours. Le Tribunal cantonal a renoncé à se déterminer sur le recours. Le Département cantonal conclut, avec suite de frais et dépens, au rejet du recours. Le recourant a formulé des déterminations volontaires.