Faits :
A.
A.a. Par décision du 29 juin 2019, le Conseil d'État du canton du Valais (ci-après: le Conseil d'État) a accepté la démission de A._ de son poste de chef du Service B._, avec effet au 31 octobre 2019. En juillet 2019, le prénommé a adressé à un autre chef de service des rapports faisant état de dysfonctionnements au sein du Département C._. Par décision du 21 août 2019, le Conseil d'État a refusé d'accorder à l'employé l'assistance juridique au sens de l'art. 34 de l'ordonnance sur le personnel de l'État du Valais du 22 juin 2011 (OcPers; RS/VS 172.200) sollicitée le 21 août 2019 et l'a libéré avec effet immédiat de son obligation de travailler. Par décision du 23 octobre 2019, le Conseil d'État a refusé l'assistance juridique sollicitée une nouvelle fois par l'employé le 25 septembre 2019.
A.b. Le 30 juillet 2020, A._ a requis pour la troisième fois l'octroi de l'assistance juridique. Il a demandé la prise en charge d'une note d'honoraires d'un montant de 3946 fr. 90, établie le 3 mars 2020 par son avocat pour une période couvrant notamment une première audition de l'employé auprès de la police cantonale en qualité de personne appelée à donner des renseignements, qui s'était déroulée le 15 janvier 2020. L'employé a en outre demandé qu'on lui accorde un "support juridique" pour l'assister dans le cadre d'une seconde comparution devant la police cantonale prévue le 28 août 2020. Il a enfin requis la levée du secret de fonction en vue de cette seconde audition.
Par décision du 27 août 2020, le Conseil d'État a refusé de prendre en charge la note d'honoraires de l'avocat de l'employé, au motif que les conditions légales pour reconsidérer la décision du 23 octobre 2019 n'étaient pas réunies. En revanche, il a accordé à A._ une assistance juridique "limitée à son audition du 28 août 2020 [...]", précisant que cette assistance couvrait la prise en charge des honoraires et frais d'avocat pour ladite audition à concurrence d'un honoraire maximal de 300 fr. par heure. Le Conseil d'État a par ailleurs libéré l'intéressé du secret de fonction.
B.
L'employé a recouru contre la décision du 27 août 2020 auprès de la Cour de droit public du Tribunal cantonal du canton du Valais, en concluant à l'octroi du "support juridique et [à] la prise en charge des frais pour l'audition passée (15 janvier 2020) et les futures en relation avec cette affaire". Par arrêt du 5 mai 2021, la cour cantonale a rejeté ce recours dans la mesure de sa recevabilité.
C.
A._ interjette un recours contre cet arrêt, en concluant à sa réforme en ce sens que lui soient octroyés "le support juridique et la prise en charge des frais aussi bien pour la première audition que pour la seconde audition".
Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office (art. 29 al. 1 LTF) et librement la recevabilité des recours qui lui sont soumis (ATF 144 II 184 consid. 1; 144 V 280 consid. 1).
1.2. L'arrêt entrepris concerne des rapports de travail de droit public au sens des art. 83 let. g et 85 al. 1 let. b LTF. Il tranche une contestation pécuniaire (cf. art. 83 let. g LTF), de sorte que le recours en matière de droit public est irrecevable si la valeur litigieuse est inférieure à 15'000 fr. (cf. art. 85 al. 1 let. b LTF). L'objet du litige est limité à la prise en charge des frais d'assistance juridique en lien avec la première audition du 15 janvier 2020, pour lesquels le recourant a produit une note d'honoraires d'un montant de 3946 fr. 90. Cette somme est largement inférieure au seuil de 15'000 fr. prévu par la loi, de sorte que la voie du recours en matière de droit public n'est pas ouverte. Par conséquent, seule la voie du recours constitutionnel subsidiaire peut entrer en considération.
2.
2.1. Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (art. 116 LTF). Comme le recours en matière de droit public, il ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que l'application du droit cantonal est arbitraire au sens de l'art. 9 Cst. ou contraire à un droit fondamental (ATF 135 III 513 consid. 4.3; 133 III 462 consid. 2.3). En vertu de l'art. 106 al. 2 LTF, applicable par renvoi de l'art. 117 LTF, les griefs y relatifs doivent être invoqués et motivés par le recourant, à savoir expressément soulevés et exposés de manière claire et détaillée, en précisant en quoi consiste la violation (ATF 142 V 577 consid. 3.2 et la référence). Un recours qui ne satisfait pas à ces exigences est irrecevable (ATF 143 II 283 consid. 1.2.2 in fine).
2.2. En l'espèce, la juridiction cantonale a confirmé le refus de prise en charge de la note d'honoraires du 3 mars 2020 en application de l'art. 40 de la loi sur le personnel de l'État du Valais du 19 novembre 2010 (LcPers; RS/VS 172.2) et de l'art. 34 OcPers. Dans son écriture, le recourant revient sur les circonstances ayant conduit à sa démission et aux décisions de l'intimé et se plaint de ne pas s'être vu accorder l'assistance juridique en août 2019 déjà, en particulier pour la prise en charge de la note d'honoraires d'un montant de 3946 fr. 90. Il n'expose toutefois pas en quoi les juges cantonaux auraient versé dans l'arbitraire ou violé un droit fondamental en appliquant le droit cantonal, plus particulièrement les dispositions précitées de la LcPers et de l'OcPers. Partant, le recours constitutionnel subsidiaire ne répond pas aux exigences de l'art. 106 al. 2 LTF et doit être déclaré manifestement irrecevable selon la procédure simplifiée de l'art. 108 al. 1 let. a et 2 LTF.
3.
Au regard des circonstances, il sera exceptionnellement renoncé à percevoir des frais judiciaires (art. 66 al. 1, seconde phrase, LTF).
Par ces motifs, le Juge unique prononce :
1.
Le recours est irrecevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal du canton du Valais.
Lucerne, le 23 juin 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge unique : Abrecht
Le Greffier : Ourny