Faits: Faits: A. Enseignant auprès du Centre scolaire intercommunal de Y._, X._ s'est vu accordé en 1986 un congé non payé de deux ans à la suite de sa désignation comme secrétaire de la Fédération des magistrats, enseignants et fonctionnaires de l'Etat du Valais. Ce congé a été reconduit tacitement, l'intéressé devant toutefois assurer quatre heures d'enseignement hebdomadaires auprès dudit centre scolaire. Le 27 février 2002, le Conseil d'Etat du canton du Valais a désigné X._ en qualité de membre du comité de la Caisse de prévoyance du personnel enseignant du canton du Valais (ci-après: la Caisse). L'intéressé a ensuite été nommé président par ledit comité. Le 5 avril 2003, l'Inspection cantonale des finances valaisanne a adressé un rapport sur la gestion de la Caisse aux autorités pénales compétentes qui, le 22 juillet 2003, ont ouvert une instruction pénale d'office contre X._ pour abus de confiance, voire pour gestion déloyale et blanchiment d'argent. Le 5 avril 2003, l'Inspection cantonale des finances valaisanne a adressé un rapport sur la gestion de la Caisse aux autorités pénales compétentes qui, le 22 juillet 2003, ont ouvert une instruction pénale d'office contre X._ pour abus de confiance, voire pour gestion déloyale et blanchiment d'argent. B. Le 28 avril 2004, le Conseil d'administration du Cycle d'orientation de Y._ a décidé de suspendre X._, qui n'était plus autorisé à continuer d'enseigner à temps partiel ni à reprendre son activité complète pour l'année scolaire 2004/2005, au motif que la procédure pénale engagée contre lui avait rompu le climat de confiance devant exister notamment entre les enseignants et les élèves. Le 30 juin 2004, le Département de l'éducation, de la culture et du sport a confirmé cette décision et suspendu le traitement de l'intéressé jusqu'à droit connu sur le sort de la procédure pénale, tout en retirant l'effet suspensif à un éventuel recours contre sa décision. B. Le 28 avril 2004, le Conseil d'administration du Cycle d'orientation de Y._ a décidé de suspendre X._, qui n'était plus autorisé à continuer d'enseigner à temps partiel ni à reprendre son activité complète pour l'année scolaire 2004/2005, au motif que la procédure pénale engagée contre lui avait rompu le climat de confiance devant exister notamment entre les enseignants et les élèves. Le 30 juin 2004, le Département de l'éducation, de la culture et du sport a confirmé cette décision et suspendu le traitement de l'intéressé jusqu'à droit connu sur le sort de la procédure pénale, tout en retirant l'effet suspensif à un éventuel recours contre sa décision. C. Le 7 juillet 2004, X._ a recouru contre cette décision devant le Conseil d'Etat, tout en requérant la récusation de tous les membres du Conseil d'Etat, en particulier celle du chef Département de l'éducation, de la culture et du sport, au motif que ceux-ci avaient organisé, le 30 mars 2004, une conférence de presse l'ayant mis gravement en cause. En outre, il a demandé, à titre de mesures provisionnelles, à être réintégré à plein temps dans le corps enseignant du Cycle d'orientation de Y._ pour l'année 2004/2005 et à ce que la restitution de l'effet suspensif soit ordonnée. Par décision du 16 août 2004 (à laquelle n'a pas participé le chef du Département de l'éducation, de la culture et du sport qui a dû se récuser ex lege), le Conseil d'Etat a rejeté la requête de récusation, ainsi que la requête de mesures provisionnelles. Le 27 août 2004, X._ a interjeté contre cette décision un recours que la Cour de droit public du Tribunal cantonal a rejeté par arrêt du 19 novembre 2004. Le 27 août 2004, X._ a interjeté contre cette décision un recours que la Cour de droit public du Tribunal cantonal a rejeté par arrêt du 19 novembre 2004. D. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral principalement d'annuler l'arrêt du 19 novembre 2004 du Tribunal cantonal en tant qu'il rejette sa demande de récusation en bloc. Pour le surplus, il semble requérir, à titre de mesures pré- ou provisionnelles, que ordre soit donné aux autorités cantonales de procéder à sa réintégration immédiate à plein temps pour la période scolaire 2004/2005 et que l'effet suspensif au recours formé devant le Conseil d'Etat soit restitué. E. Le Tribunal cantonal a renoncé à se déterminer. Le Conseil d'Etat conclut au rejet du recours dans la mesure où il est recevable.