Faits :
A.
A.a. A._, premier lieutenant et officier d'état-major de la police cantonale du canton du Valais, travaillait comme chef de la section E._ au sein de la police cantonale.
Le 22 décembre 2016, le Conseil d'Etat valaisan a rendu une décision, par laquelle il déchargeait l'intéressé de ses fonctions pour la période du 24 décembre 2016 au 5 ou 17 mars 2017, en raison de la candidature de celui-ci à l'élection du Conseil d'Etat du 5 mars 2017.
A._ n'a pas été élu au Conseil d'Etat.
A.b. Dans une lettre du 14 mars 2017, transmise par voies postale et électronique, le procureur général du Ministère public du canton du Valais a fait savoir au commandant de la police cantonale que les récentes prises de position publiques de A._ avait créé un profond malaise au sein des autorités judiciaires en général et au sein de l'institution en particulier. Se référant à divers articles de journaux et une vidéo diffusée sur internet par le candidat malheureux, le procureur général concluait en ces termes: "Dans ces circonstances, nous vous savons gré de bien vouloir nous faire connaître les dispositions qui seront prises pour garantir une communication objective et sereine de la police cantonale sur les affaires pénales. Il en va de la confiance de l'institution dans cette communication et ceux qui la traitent. Nous vous remercions pour l'attention que vous porterez à nos craintes dans la collaboration future avec ce membre de votre état-major dont les propos défiants ont, pour le moins, ébranlé le rapport de confiance qui doit exister entre les procureurs et le responsable de la communication du premier maillon de la chaîne pénale". Une copie de la lettre était transmise par e-mail au Tribunal cantonal valaisan.
A réception du courriel susmentionné, la commission administrative du Tribunal cantonal (ci-après: la commission administrative) a adressé à son tour au commandant de la police cantonale, également par voies postale et électronique, une lettre intitulée "Prise de position des autorités judiciaires" de la teneur suivante:
"Nous tenons à relever que les autorités judiciaires partagent les mêmes préoccupations que le Ministère public à la suite des récentes prises de position publiques du chef de votre section communication et prévention. Celles-ci ont suscité une réaction d'indignation de la part des juges de première instance, en général, et du doyen du tribunal des districts de U._ et de V._, en particulier. Comme on nous l'a rapporté, le membre en question de votre état-major n'a en effet pas hésité à déclarer, en conférence de presse, qu'un juge du tribunal des districts de U._ et de V._ avait adopté un "comportement répugnant" en le dénonçant au Ministère public; il a par ailleurs publiquement mis en doute l'impartialité de la magistrate concernée en rappelant les fonctions politiques passées de cette dernière. Par la voix de son doyen, la conférence des juges de première instance nous a indiqué qu'elle avait été choquée par les propos tenus. La confiance de l'autorité judiciaire envers l'intéressé, dans son activité au service de la police cantonale, a été fortement ébranlée. Nous tenions à vous le faire savoir." (lettre de la commission administrative du Tribunal cantonal du 14 mars 2017).
Le même jour, le commandant de la police cantonale s'est déterminé sur le contenu de ces deux écritures dans un courrier adressé au conseiller d'Etat, chef du département F._. Il concluait que A._ ne pouvait plus assurer la fonction de chef de la section E._ (lettre du commandant de la police cantonale du 14 mars 2017).
A.c. Par décision du 12 avril 2017, le Conseil d'Etat a résilié les rapports de service de A._, motif pris de la violation de ses devoirs de fidélité, de réserve et de dignité.
B.
A._ a recouru contre la résiliation des rapports de service devant la Cour de droit public du Tribunal cantonal. Dans son mémoire de recours, il a requis la récusation de ce tribunal dans son ensemble. Il fondait sa demande de récusation sur la lettre de la commission administrative du 14 mars 2017, qu'il considérait comme étant, en partie du moins, à l'origine de son licenciement. Sur le fond, il demandait sa réintégration ou subsidiairement le versement d'une indemnité équivalent à une année de traitement.
Par décision du 31 mai 2017, la Cour de droit public du Tribunal cantonal a rejeté la demande de récusation.
C.
A._ forme un recours contre la décision du 31 mai 2017 en concluant, sous suite de frais et dépens, à la récusation du Tribunal cantonal in corpore ainsi qu'à la nomination d'un tribunal extraordinaire pour connaître de son recours sur le fond.
Le Conseil d'Etat conclut au rejet du recours, tout comme le Tribunal cantonal de manière implicite.

Considérant en droit :
1.
L'arrêt attaqué constitue une décision incidente notifiée séparément et portant sur une demande de récusation, de sorte qu'il peut faire l'objet d'un recours immédiat au Tribunal fédéral (<ref-law>). La détermination de la voie de droit ouverte à l'encontre d'une décision incidente dépend de la cause au fond (<ref-ruling> consid. 1.1 p. 382), qui a trait en l'occurrence à la résiliation des rapports de service d'un fonctionnaire de police. Il s'agit d'une contestation de nature pécuniaire en matière de rapports de travail de droit public, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (p. ex.: arrêt 8C_67/2016 du 15 février 2017 consid. 1 et les arrêts cités). En outre, la valeur litigieuse, déterminée par les conclusions restées litigieuses devant l'autorité compétente sur le fond (art. 51 al. 1 let. c LTF), dépasse le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
Au surplus, interjeté en temps utile et dans les formes requises contre une décision prise par un tribunal cantonal, le recours respecte les exigences des art. 42, 86 al. 1 let. d, et 100 al. 1 LTF. Il est par conséquent recevable.
2.
2.1. Dans un premier temps, le recourant se plaint de la violation de son droit d'être entendu, en particulier d'un défaut de motivation de la décision querellée. Il reproche à l'autorité précédente de n'avoir pas réellement examiné le motif invoqué à l'appui de sa demande de récusation, selon lequel c'est l'opinion de l'ensemble des autorités judiciaires du canton qui était exprimée dans le courrier de la commission administrative du 14 mars 2017.
Dans un second temps, il reprend cet argument, tout en se prévalant du droit à être jugé par un tribunal indépendant et impartial au sens des art. 30 Cst. et 6 CEDH, et en se référant notamment aux art. 23 ss du règlement du 21 décembre 2010 d'organisation des tribunaux valaisans (ROT; RS/VS 173.100).
2.2. De son côté, le Conseil d'Etat est d'avis que "la commission administrative ne lie pas les juges cantonaux". Cet organe n'aurait que des tâches administratives, telles qu'en matière de personnel, de budget, de relations publiques ou d'émission de directives générales de procédure (référence faite aux art. 23 et 46 ROT). Le Conseil d'Etat soutient par ailleurs que la lettre de la commission administrative du 14 mars 2017 se faisait l'écho du ressenti des juges de première instance uniquement.
3.
3.1. Le Tribunal fédéral a déduit du droit d'être entendu (consacré par l'art. 29 al. 2 Cst.) le devoir pour l'autorité de motiver sa décision, afin que le justiciable puisse en saisir la portée et, le cas échéant, l'attaquer en connaissance de cause. Pour satisfaire à cette exigence, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (<ref-ruling> consid. 4.3.2 p. 436; <ref-ruling> consid. 4.2 p. 157).
3.2. En l'espèce, la cour cantonale, composée de B._, C._ et D._, a motivé le rejet de la demande de récusation par le fait qu'aucun des prénommés n'avait été associé de près ou de loin à la rédaction de la lettre de la commission administrative du 14 mars 2017. Aussi a-t-elle retenu, implicitement du moins, que la prise de position des autorités judiciaires, telle que rapportée dans ce document, ne la concernait pas et, par voie de conséquence, ne pouvait être attribuée à l'ensemble du Tribunal cantonal. Une telle motivation, succincte, est néanmoins suffisante et répond à l'argument développé par le recourant à l'appui de sa demande. Elle a d'ailleurs permis à celui-ci de recourir en connaissance de cause. Si le recourant estime qu'en se distançant du courrier du 14 mars 2017, l'autorité précédente a méconnu le droit ou constaté les faits de manière arbitraire, il doit invoquer la violation des règles violées et non celle de la violation du droit d'être entendu (cf. arrêt 8C_779/2015 du 8 août 2016 consid. 7.3 et les arrêts cités). Le grief tiré de la violation du droit d'être entendu, tel que motivé par le recourant, est donc mal fondé.
4.
4.1. La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH - qui ont, de ce point de vue, la même portée - permet, indépendamment du droit de procédure cantonal, d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à susciter un doute quant à son impartialité. Elle vise, notamment, à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective est établie, car une telle disposition interne ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention, et fassent redouter une activité partiale du magistrat. Cependant, seules les circonstances objectivement constatées doivent être prises en compte; les impressions purement individuelles ne sont pas décisives (<ref-ruling> consid. 4.2.2 p. 736 s. et les arrêts cités). Le risque de prévention ne saurait être admis trop facilement, sous peine de compromettre le fonctionnement normal des tribunaux (<ref-ruling> consid. 6a p. 162 s.; pour une casuistique cf. GEROLD STEINMANN, in Die schweizerische Bundesverfassung, St. Galler Kommentar, 3 e éd. 2014, n° 17 ss ad art. 30 Cst.). En outre, la récusation d'un tribunal en corps ne peut être admise que pour des motifs graves, car le principe du juge naturel s'en trouve davantage touché que dans le cas de la récusation d'un seul magistrat (<ref-ruling> précité consid. 6b p. 164).
4.2. Le fait qu'un juge se soit exprimé, en dehors du tribunal, sur des questions de droit n'éveille pas encore, en principe, l'apparence d'une prévention pour le jugement d'un litige concret, même si l'opinion exprimée est pertinente pour la décision à prendre (<ref-ruling> consid. 3.3 p. 92 s. et les références). En revanche, l'émission d'une opinion sur l'issue de la procédure peut susciter des doutes relatifs à l'impartialité des personnes appelées à prendre la décision (<ref-ruling> consid. 2.6 p. 245 ss). Les fonctions légalement attribuées à l'autorité doivent être prises en considération, en particulier pour apprécier la portée de déclarations ou de prises de position antérieures dans l'affaire. En règle générale, les prises de position qui s'inscrivent dans l'exercice normal de fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas de conclure à l'apparence de la partialité et ne justifient pas la récusation (<ref-ruling> consid. 3f p. 125; 2C_831/2011 du 30 décembre 2011 consid. 3.2).
5.
5.1. En l'espèce, le motif de récusation invoqué par le recourant repose sur la prémisse que l'avis exprimé dans la lettre de la commission administrative - au sujet du rapport de confiance entre le recourant et les autorités judiciaires - est celui de la totalité des membres du Tribunal cantonal, voire de l'ensemble des acteurs du système judiciaire valaisan. Ce point de vue s'oppose aux explications des premiers juges, lesquelles se défendent d'avoir été associés d'une quelconque manière à dite communication. Si la référence à "l'autorité judiciaire"/"aux autorités judiciaires", utilisée à quelques reprises dans la lettre de la commission administrative, crée une certaine confusion quant aux autorités effectivement visées par ces termes, cela ne suffit pas pour mettre en doute les indications des premiers juges et admettre un risque de prévention du Tribunal cantonal in corpore. En outre, dans sa lettre du 14 mars 2017, la commission administrative se réfère de manière explicite au ressenti des juges de première instance ("réaction d'indignation de la part des juges de première instance, en général, et du doyen du tribunal des districts de U._ et de V._, en particulier"; "par la voix de son doyen, la conférence des juges de première instance nous a indiqué [...]"). A cela s'ajoute que selon les dispositions du ROT, en particulier l'art. 24 ROT cité par le recourant, la commission administrative est un organe consultatif du président, chargée de surveiller l'administration des tribunaux (art. 24 let. a ROT), et qui constitue en outre l'autorité disciplinaire conformément à l'art. 32 de la loi [du canton du Valais] du 11 février 2009 sur l'organisation de la Justice (LOJ; RS/VS 173.1) (art. 24 let. i ROT). On ne saurait déduire de ces attributions - et des autres tâches administratives qui incombent à la commission administrative - que celle-ci a la compétence et le pouvoir de représenter les membres du Tribunal cantonal. Le fait que les procès-verbaux des séances de la commission sont communiqués aux membres de la Cour plénière selon l'art. 25 ROT n'y change rien. En outre, il importe peu de savoir si les décisions de la commission administrative lient les membres du Tribunal cantonal, dès lors que l'écriture en cause ne constitue à l'évidence pas une décision. En effet, de simples déclarations, comme des opinions, des renseignements ou des recommandations n'entrent pas dans la catégorie des décisions (sur la notion de décision cf. <ref-ruling> consid. 4.4 p. 329 s. et les références; <ref-ruling> consid. 3 p. 33 s.; <ref-ruling> consid. 2b p. 478 s.). En conclusion, on ne saurait attribuer les propos contenus dans la lettre de la commission administrative à l'ensemble des juges cantonaux et leurs suppléants. Dans ces conditions, il n'existe pas de motifs suffisants pour admettre l'existence d'une prévention de la part du Tribunal cantonal in corpore.
5.2. Il n'en va pas de même en ce qui concerne la commission administrative elle-même. En effet, en indiquant au supérieur hiérarchique du recourant que "la confiance de l'autorité judiciaire envers l'intéressé, dans son activité au service de la police cantonale, [avait] été fortement ébranlée", la commission s'est d'ores-et-déjà exprimée sur un des motifs avancés pour justifier le licenciement du recourant. Il semble même que la lettre de la commission administrative ait joué un certain rôle dans la décision de résilier les rapports de service, dès lors que dans sa détermination du 14 mars 2017, le commandant de la police cantonale s'est prévalu de celle-ci pour préconiser le licenciement du recourant. Partant, en ce qui concerne les membres de la commission administrative, les circonstances donnent l'apparence de la prévention (supra consid. 4.1). Il est permis, par ailleurs, de s'interroger sur les motifs qui ont poussé la commission administrative à contacter le supérieur hiérarchique du recourant. Elle ne pouvait en effet ignorer que sa prise de position était susceptible d'avoir des répercussions négatives sur la situation professionnelle du recourant. Il est pour le moins surprenant, de la part d'un organe d'une autorité judiciaire cantonale de dernière instance, d'interférer de la sorte dans les relations de travail d'un employé de la police, en particulier pour des faits qui s'inscrivent dans le contexte d'une campagne électorale au Conseil d'Etat. Cela dit, l'apparence de prévention admise à l'égard de la commission administrative n'a pas d'influence sur l'issue de la présente procédure. En effet, il ressort de la décision attaquée que les juges amenés à statuer sur le fond de la cause n'ont pas été associés "de près ou de loin" à la rédaction de la lettre de la commission administrative. Le recourant ne démontre pas le caractère arbitraire de cette constatation, dans la mesure où il affirme ignorer la composition de la commission à cette époque (en dehors de l'ancien Président du Tribunal cantonal, signataire de la lettre). En outre, les conclusions prises par le recourant - qui lient le Tribunal fédéral (<ref-law>; cf. <ref-ruling> consid. 5 p. 133) - tendent uniquement à la récusation du Tribunal cantonal in corpore.
5.3. Vu ce qui précède, le recours est mal fondé et doit être rejeté (supra consid. 5.1).
6.
Le recourant, qui succombe, devra supporter les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Conseil d'Etat du canton du Valais.
Lucerne, le 14 novembre 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Castella