Faits :
A.
A.a. Le 20 décembre 2013, le Chef du Département des finances et des institutions du canton du Valais (actuellement: le Département des finances et de l'énergie; ci-après: DFE) a nommé A._ auprès de l'administration cantonale des finances (ci-après: ACF). Le prénommé a occupé cette fonction à plein temps à compter du 1 er janvier 2014.
Dès le mois suivant, A._ a adressé de multiples notes internes par courriel à son supérieur hiérarchique direct, le Chef de l'Office cantonal de statistique et de péréquation (ci-après: OCSP), ainsi qu'au Chef de l'ACF, au Conseiller d'Etat en charge du DFE et au Chef du Service des ressources humaines (ci-après: SRH). Il se plaignait pour l'essentiel de l'organisation et de la gestion de l'OCSP et de ses conditions de travail. A plusieurs reprises, le Chef de l'OCSP, le Chef du DFE et le Chef de l'ACF l'ont invité à respecter la voie hiérarchique et à cesser d'adresser des courriels à différents cadres de l'administration cantonale pour des affaires de la compétence exclusive de son supérieur direct. Durant les années 2014 à 2016, l'intéressé a persisté, d'abord épisodiquement puis à réitérées reprises, à adresser des plaintes à son supérieur direct et au Chef de l'ACF.
Le 7 février 2017, le Chef de l'ACF a informé A._ de l'ouverture d'une procédure disciplinaire en vue de prononcer un blâme écrit à son encontre. Le prénommé s'est opposé à l'ouverture de cette procédure en alléguant que son travail était exemplaire et qu'il était victime de mobbing. Par décision du 12 avril 2017, le Chef de l'ACF a prononcé un blâme écrit, en avertissant l'intéressé que le rapport de confiance était sérieusement atteint et en l'invitant à amender son comportement et à s'adapter à son environnement professionnel.
A.b. Le 23 mai 2017, le Chef de l'ACF a informé A._ de son intention de résilier les rapports de service avec effet immédiat au motif qu'il n'avait pas respecté les exigences clairement formulées dans la décision relative au blâme écrit du 12 avril 2017. Invité à s'exprimer, l'intéressé a fait part notamment de ses regrets. Par décision du 9 juin 2017, le Chef du DFE a résilié les rapports de service avec effet immédiat pour justes motifs et a retiré l'effet suspensif à un éventuel recours.
A.c. Saisi de recours contre la décision du Chef de l'ACF du 12 avril 2017 et la décision du Chef du DFE du 9 juin 2017, le Conseil d'Etat les a rejetés par décision du 20 décembre 2017.
B.
Par mémoire du 2 février 2018, A._ a recouru devant la Cour de droit public du Tribunal cantonal du canton du Valais, en concluant à l'annulation de la décision relative au blâme écrit et de la décision de licenciement. Il a été débouté de ses conclusions par jugement du 14 septembre 2018.
C.
A._ a formé un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement par écriture du 19 octobre 2018. Par ordonnance du 23 novembre 2018, le Président de la Ire Cour de droit social a renvoyé cette écriture à son auteur au motif qu'elle était prolixe, en l'invitant à remédier à cette irrégularité. Dans le délai imparti à cet effet, le recourant a déposé une nouvelle écriture le 21 décembre 2018. Il conclut à l'annulation des décisions de blâme écrit et de résiliation des rapports de service, à sa réintégration au sein du personnel de l'Etat et au paiement des arriérés de salaire (cause 8C_719/2018).
A._ a déposé ultérieurement de nombreux courriers accompagnés d'annexes les 14 et 28 janvier, les 26 et 28 février, le 19 mars, les 16 et 30 avril, le 6 mai, les 18 et 29 juillet, les 10 et 16 août, les 9, 10 et 30 octobre, les 7, 11, 13 et 14 novembre, 2 et 6 décembre 2019.
Le 17 octobre 2019, le recourant a déposé une requête de mesures provisionnelles tendant à ce que la Ire Cour de droit social traite "l'acte d'accusation de délit imaginaire" à la base de son renvoi en jugement devant le Tribunal B._ et qu'elle ordonne la suspension de la procédure pénale jusqu'à droit connu sur son recours. Le Juge instructeur a rejeté cette requête par ordonnance du 25 octobre 2019.
D.
Le 14 janvier 2019, A._ a saisi le Conseil d'Etat d'une demande de révocation ou de reconsidération de sa décision du 20 décembre 2017. Cette requête a été déclarée irrecevable par décision du 6 février 2019. Par jugement du 11 juillet 2019, la Cour de droit public du Tribunal cantonal a rejeté, dans la mesure où il était recevable, le recours formé par l'intéressé contre la décision du Conseil d'Etat.
Par arrêt de ce jour ( 8C_531/2019), le Tribunal fédéral a rejeté le recours en matière de droit public dans la mesure où il était recevable et a déclaré irrecevable le recours constitutionnel subsidiaire formé par A._ contre ce jugement cantonal.
Considérant en droit :
1.
Le jugement entrepris a été rendu dans une cause en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte notamment sur la résiliation des rapports de service, il s'agit d'une contestation de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF). Dans la mesure où le recourant entend également former un recours constitutionnel, celui-ci n'est pas recevable en raison de son caractère subsidiaire (art. 113 LTF).
Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise par un tribunal cantonal, le recours respecte les exigences des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF. Il convient, en conséquence, d'entrer en matière.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 143 IV 500 consid. 1.1 p. 503) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Il n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (ATF 141 IV 249 consid. 1.3.1 p. 253; 140 III 264 consid. 2.3 p. 266).
2.2. En outre, le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. ATF 142 V 577 consid. 3.2 p. 579). En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat. Si l'interprétation défendue par l'autorité précédente ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (ATF 142 II 369 consid. 4.3 p. 380 et les arrêts cités).
3.
3.1. Selon l'art. 20 de la loi sur le personnel de l'Etat du Valais (LcPers; RS/VS 172.2), l'employé est tenu de fournir des prestations de qualité; il accomplit ses tâches dans un souci d'efficacité, de conscience professionnelle, de réserve, de loyauté et de fidélité à son employeur; il travaille dans un esprit d'entraide et de collaboration (al. 1); l'employé doit agir, en toutes circonstances, de manière professionnelle et conformément aux intérêts de l'Etat et du service public, dans le respect des normes en vigueur, des missions, des objectifs et des instructions de ses supérieurs (al. 2). Aux termes de l'art. 29 LcPers, l'employé qui viole intentionnellement ou par négligence ses devoirs de service engage sa responsabilité. Il s'expose à des mesures disciplinaires qui sont énumérées à l'art. 30 al. 1 LcPers et qui comprennent notamment le blâme écrit (let. b) et le renvoi sans délai et sans indemnité (let. f). Si les circonstances l'exigent, plusieurs mesures disciplinaires peuvent être cumulées (art. 30 al. 3 LcPers).
L'art. 62 LcPers dispose que l'autorité compétente peut résilier immédiatement l'engagement en tout temps pour de justes motifs (al. 1); sont notamment considérées comme de justes motifs toutes les circonstances qui, selon les règles de la bonne foi, ne permettent pas d'exiger de l'employeur la continuation des rapports de service (al. 2); la procédure de résiliation pour justes motifs peut être utilisée en lieu et place de la procédure disciplinaire (al. 3).
3.2.
3.2.1. La cour cantonale a confirmé le blâme écrit prononcé par le Chef de l'ACF. Elle a constaté que le recourant, dès le mois suivant son engagement, avait contesté l'organisation et la gestion de l'OCSP en adressant de multiples notes internes à son supérieur direct, ainsi qu'au Chef de l'ACF, au Conseiller d'Etat en charge du DFE et au Chef du SRH. Bien qu'il eût été invité à réitérées reprises à respecter la voie hiérarchique, l'intéressé avait persisté dans son comportement, d'abord de manière certes plus épisodique, puis de plus en plus fréquemment à partir du mois de mars 2016. Par ailleurs, la juridiction précédente a écarté les accusations de harcèlement psychologique ( mobbing) portées par le recourant, en rappelant que des divergences de vues quant à la conduite de l'OCSP et quant au cahier des charges fixant les modalités de sa fonction n'étaient pas constitutives de mobbing, l'organisation et la gestion de l'office étant manifestement du ressort de son chef et de la hiérarchie. Selon les premiers juges, si l'intéressé estimait que des dysfonctionnements existaient au sein de l'OCSP, il lui appartenait de le faire savoir à ses supérieurs en respectant la voie hiérarchique et de s'abstenir de remettre continuellement en question les réponses qui ne correspondaient pas à ses vues. Cela étant, la cour cantonale a considéré que le comportement du recourant constituait un manquement aux devoirs de service définis à l'art. 20 LcPers et que, partant, le blâme écrit prononcé par le Chef de l'ACF était une mesure justifiée et respectueuse du principe de proportionnalité.
3.2.2. En ce qui concerne le licenciement immédiat pour justes motifs, la juridiction précédente a retenu qu'en dépit du blâme écrit qui l'avertissait que le rapport de confiance était sérieusement atteint et que cette mesure disciplinaire lui conférait une ultime chance de se conformer aux règles de comportement prévalant au sein de l'administration cantonale, le recourant avait persisté dans ses habitudes d'envoyer des courriels critiquant l'organisation de l'OCSP et déplorant ses conditions de travail. Selon les premiers juges, l'intéressé avait ainsi montré qu'il ne tenait aucun compte des instructions de ses supérieurs hiérarchiques et, plus généralement, qu'il lui était impossible de s'adapter à son environnement professionnel. En outre, la cour cantonale a nié l'existence de tout élément factuel, précis et pertinent, de nature à soutenir la thèse de l'intéressé, selon laquelle la résiliation des rapports de service serait une conséquence de son recours contre le prononcé du blâme écrit. Par ailleurs, elle a considéré que l'autorité d'engagement était en droit de donner le congé avec effet immédiat sans porter atteinte au droit de recours de l'employé dans le litige portant sur le blâme ni aux garanties de procédure qui lui étaient reconnues. En procédant ainsi, l'autorité s'était en effet conformée à la jurisprudence, selon laquelle l'employeur de droit public ne doit pas tarder à informer l'employé qu'une résiliation immédiate des rapports de service est envisagée, même si les spécificités de la procédure administrative permettent de lui accorder un délai de réaction plus long qu'en droit privé (ATF 138 I 113 consid. 6.4 et 6.5 p. 118 ss; arrêt 8C_141/2011 du 9 mars 2012 consid. 5.5). Au surplus, la juridiction précédente s'est référée à l'art. 25 de l'ordonnance sur le personnel de l'Etat du Valais (OcPers; RS/VS 172.200), aux termes duquel la procédure tendant à la résiliation des rapports de service pour justes motifs doit être introduite dès la connaissance des justes motifs, la décision devant intervenir dans un délai rapide compte tenu toutefois des nécessités de l'instruction.
Cela étant, la cour cantonale a considéré que le Conseil d'Etat était fondé à confirmer la décision de résiliation des rapports de service avec effet immédiat en raison de la rupture du rapport de confiance.
4.
4.1. Le mémoire de recours déposé le 21 décembre 2018 est une écriture redondante et difficilement intelligible, dont on peine à comprendre précisément ce que le recourant entend déduire en sa faveur. Des très nombreuses allégations et assertions qui y sont formulées, on peut néanmoins déduire que l'intéressé entend contester les faits constatés par la cour cantonale. A cet effet, il se contente pour l'essentiel de reproduire - de manière difficilement compréhensible - ses nombreuses critiques relatives à l'organisation et au fonctionnement de l'administration cantonale, en particulier de l'OCSP. De même, en ce qui concerne ses accusations de harcèlement, le recourant se borne, de manière appellatoire, à substituer sa version des faits aux constatations qui ont conduit la juridiction précédente à écarter ce grief. Ainsi, ses nombreuses critiques n'apparaissent pas de nature à démontrer l'arbitraire dans l'appréciation des preuves et dans l'établissement des faits par l'autorité précédente, dont les constatations de fait lient le Tribunal fédéral selon l'art. 105 al. 1 LTF (cf. consid. 2.1 supra).
4.2. Par ailleurs, le recourant dénonce le "caractère irrecevable" des considérants du jugement attaqué en tant que la cour cantonale aurait omis de retenir que la résiliation des rapports de service constituait un acte d'abus d'autorité ("un usage de la force") violant ses droits fondamentaux garantis par l'art. 9 Cst. et par les art. 6 et 13 CEDH. A l'appui de ce grief, il allègue que l'art. 30 al. 3 LcPers - qui concerne le cumul de plusieurs mesures disciplinaires - porte exclusivement sur les mesures énumérées à l'alinéa 1 de l'art. 30 LcPers, en conformité avec "les dispositions générales du droit". Aussi reproche-t-il aux premiers juges une application erronée de la LcPers en tant qu'ils ont appliqué l'art. 30 LcPers et l'art. 62 LcPers dans la même procédure. Dans la mesure où il semble se prévaloir d'une violation du droit cantonal, le recourant n'explique cependant pas en quoi la juridiction précédente aurait de façon insoutenable appliqué ce droit, en particulier l'art. 62 LcPers qui règle la question de la résiliation immédiate des rapports de service pour justes motifs. Son argumentation n'est dès lors pas conforme aux exigences de l'art. 106 al. 2 LTF. Le grief tiré d'une mauvaise application du droit cantonal, entraînant une violation des droits fondamentaux de l'intéressé, doit ainsi être écarté.
5.
Le recours en matière de droit public se révèle mal fondé, en tant que les griefs soulevés sont recevables. Le recourant supportera les frais judiciaires (art. 66 al. 1 LTF). L'intimé n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal du canton du Valais.
Lucerne, le 17 décembre 2019
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
Le Greffier : Beauverd