Faits : A. A.a. A._, premier lieutenant et officier d'état-major de la police cantonale du canton du Valais, travaillait comme chef de la section E._ au sein de la police cantonale. Le 22 décembre 2016, le Conseil d'Etat valaisan a rendu une décision, par laquelle il déchargeait l'intéressé de ses fonctions pour la période du 24 décembre 2016 au 5 ou 17 mars 2017, en raison de la candidature de celui-ci à l'élection du Conseil d'Etat du 5 mars 2017. A._ n'a pas été élu au Conseil d'Etat. A.b. Dans une lettre du 14 mars 2017, transmise par voies postale et électronique, le procureur général du Ministère public du canton du Valais a fait savoir au commandant de la police cantonale que les récentes prises de position publiques de A._ avait créé un profond malaise au sein des autorités judiciaires en général et au sein de l'institution en particulier. Se référant à divers articles de journaux et une vidéo diffusée sur internet par le candidat malheureux, le procureur général concluait en ces termes: "Dans ces circonstances, nous vous savons gré de bien vouloir nous faire connaître les dispositions qui seront prises pour garantir une communication objective et sereine de la police cantonale sur les affaires pénales. Il en va de la confiance de l'institution dans cette communication et ceux qui la traitent. Nous vous remercions pour l'attention que vous porterez à nos craintes dans la collaboration future avec ce membre de votre état-major dont les propos défiants ont, pour le moins, ébranlé le rapport de confiance qui doit exister entre les procureurs et le responsable de la communication du premier maillon de la chaîne pénale". Une copie de la lettre était transmise par e-mail au Tribunal cantonal valaisan. A réception du courriel susmentionné, la commission administrative du Tribunal cantonal (ci-après: la commission administrative) a adressé à son tour au commandant de la police cantonale, également par voies postale et électronique, une lettre intitulée "Prise de position des autorités judiciaires" de la teneur suivante: "Nous tenons à relever que les autorités judiciaires partagent les mêmes préoccupations que le Ministère public à la suite des récentes prises de position publiques du chef de votre section communication et prévention. Celles-ci ont suscité une réaction d'indignation de la part des juges de première instance, en général, et du doyen du tribunal des districts de U._ et de V._, en particulier. Comme on nous l'a rapporté, le membre en question de votre état-major n'a en effet pas hésité à déclarer, en conférence de presse, qu'un juge du tribunal des districts de U._ et de V._ avait adopté un "comportement répugnant" en le dénonçant au Ministère public; il a par ailleurs publiquement mis en doute l'impartialité de la magistrate concernée en rappelant les fonctions politiques passées de cette dernière. Par la voix de son doyen, la conférence des juges de première instance nous a indiqué qu'elle avait été choquée par les propos tenus. La confiance de l'autorité judiciaire envers l'intéressé, dans son activité au service de la police cantonale, a été fortement ébranlée. Nous tenions à vous le faire savoir." (lettre de la commission administrative du Tribunal cantonal du 14 mars 2017). Le même jour, le commandant de la police cantonale s'est déterminé sur le contenu de ces deux écritures dans un courrier adressé au conseiller d'Etat, chef du département F._. Il concluait que A._ ne pouvait plus assurer la fonction de chef de la section E._ (lettre du commandant de la police cantonale du 14 mars 2017). A.c. Par décision du 12 avril 2017, le Conseil d'Etat a résilié les rapports de service de A._, motif pris de la violation de ses devoirs de fidélité, de réserve et de dignité. B. A._ a recouru contre la résiliation des rapports de service devant la Cour de droit public du Tribunal cantonal. Dans son mémoire de recours, il a requis la récusation de ce tribunal dans son ensemble. Il fondait sa demande de récusation sur la lettre de la commission administrative du 14 mars 2017, qu'il considérait comme étant, en partie du moins, à l'origine de son licenciement. Sur le fond, il demandait sa réintégration ou subsidiairement le versement d'une indemnité équivalent à une année de traitement. Par décision du 31 mai 2017, la Cour de droit public du Tribunal cantonal a rejeté la demande de récusation. C. A._ forme un recours contre la décision du 31 mai 2017 en concluant, sous suite de frais et dépens, à la récusation du Tribunal cantonal in corpore ainsi qu'à la nomination d'un tribunal extraordinaire pour connaître de son recours sur le fond. Le Conseil d'Etat conclut au rejet du recours, tout comme le Tribunal cantonal de manière implicite.