Faits :
A.
A._, né en 1960, a été nommé en qualité de préposé à l'Office des poursuites et faillites du district de B._ par le Conseil d'Etat du canton du Valais.
Le 11 octobre 2006, le Juge II pour les districts de B._ et de C._ a constaté la répudiation de la succession de feu D._ et a chargé l'Office des poursuites et des faillites du district de B._ de sa liquidation. Ce faisant, A._ a enregistré un seul actif, soit un yacht se trouvant à E._. Il a obtenu l'autorisation de liquider cette succession en la forme sommaire. En qualité de liquidateur, il s'est rendu à plusieurs reprises à E._ afin de pouvoir vendre le bateau. Celui-ci a été réalisé au mois de janvier 2008.
A la demande du Juge II pour les districts de B._ et de C._, l'Inspection cantonale des finances (ICF) a été chargée d'un contrôle de la liquidation de la succession par le préposé au vu notamment des coûts importants que ce dernier avait engagés dans le cadre de cette liquidation et du bilan financier des opérations. A réception du projet de rapport établi par l'ICF, le juge a estimé qu'il pouvait clore la procédure de liquidation. Les faits reprochés à A._ devaient toutefois être portés à la connaissance des autorités de poursuite pénale, ainsi que de l'autorité cantonale de surveillance pour les offices des poursuites et les offices des faillites.
B.
Après avoir entendu oralement et par écrit l'intéressé, le Conseil d'Etat du canton du Valais a décidé, dans sa séance du 30 mars 2011, d'ouvrir une procédure disciplinaire à son endroit. Il l'a suspendu avec effet immédiat dans l'attente des conclusions de ladite procédure. Le 20 juin 2012, le Conseil d'Etat a décidé, au titre de mesure disciplinaire, de diminuer de moitié le traitement de A._ pour une période de trois mois à compter du 1 er juillet 2012. Il lui était reproché divers manquements en relation avec la liquidation de la succession de feu D._.
C.
A._ a recouru contre cette décision en concluant à son annulation. Par arrêt du 24 mai 2013, la Cour de droit public du Tribunal cantonal du Valais a rejeté son recours.
D.
A._ exerce un recours constitutionnel subsidiaire. Il conclut principalement à l'annulation de l'arrêt du 24 mai 2013 et à la suppression de toute sanction disciplinaire. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente, le tout sous suite de frais et dépens.
Le Conseil d'Etat du canton du Valais a conclu au rejet du recours. La cour cantonale a renoncé à présenter des déterminations.
E.
Par ordonnance du 24 octobre 2013, le juge instructeur a accordé l'effet suspensif au recours.
F.
Par jugement du 29 janvier 2013, la Cour des affaires pénales du Tribunal pénal fédéral a acquitté A._ du chef de violation de la souveraineté étrangère (<ref-law>). Elle a estimé, en substance, que les agissements de l'intéressé sur sol italien n'étaient pas des actes officiels, que les voies de l'entraide ne devaient pas nécessairement être suivies et que l'Etat étranger avait consenti à ces actes. Saisi d'un recours du Ministère public de la Confédération contre ce jugement, le Tribunal fédéral l'a rejeté dans la mesure de sa recevabilité par arrêt 6B_235/2013 du 22 juillet 2013.

Considérant en droit :
1.
1.1. La décision du Conseil d'Etat a été rendue en application de la loi cantonale valaisanne fixant le statut des fonctionnaires et employés de l'Etat du Valais du 11 mai 1983 (loi sur le statut des fonctionnaires), applicable au moment des faits et abrogée depuis l'entrée en vigueur au 1 er juillet 2011 de la loi cantonale sur le personnel de l'Etat du Valais du 19 novembre 2010 (LcPers; RS/VS 172.2). La loi sur le statut des fonctionnaires régissait, sous réserve des dispositions spéciales, le statut des fonctionnaires et employés titulaires de l'une des fonctions énumérées dans l'organigramme de l'administration cantonale, des établissements de l'Etat et du personnel administratif des tribunaux (art. 1 er al. 1). A son art. 16, elle conférait au Conseil d'Etat le pouvoir de prononcer les mesures disciplinaires, notamment la diminution du traitement jusqu'à concurrence de la moitié, pour une durée maximale de trois mois (al. 1 let. d). Les premiers juges ont également appliqué ces dispositions. La sanction n'a donc pas été prononcée sur la base de l'<ref-law> et ni le Conseil d'Etat ni le Tribunal cantonal n'ont statué en qualité d'autorité de surveillance, respectivement d'autorité supérieure de surveillance, selon les art. 17 et 18 LP (cf. à propos des voies de droit en cas de mesures disciplinaires fondées sur l'<ref-law>: arrêt 5A_112/2009 du 7 mai 2009 consid. 1; BERNARD CORBOZ, in Commentaire de la LTF, 2 ème éd., n. 53 ad <ref-law>).
1.2. La présente cause est ainsi une contestation en matière de rapports de travail de droit public, qui porte sur une contestation pécuniaire (réduction du traitement) et qui, par conséquent, ne tombe pas sous le coup de l'exception de l'art. 83 let. g LTF. La valeur litigieuse est de 13'776 fr. 60 (3 x 9'184 fr. 40 : 2). Elle est inférieure au seuil requis de 15'000 fr. (<ref-law>). La décision attaquée a par ailleurs été rendue par une autorité cantonale (<ref-law>) de dernière instance (art. 86 al. 1 let. d LTF en corrélation avec l'<ref-law>). En conséquence, la voie du recours constitutionnel subsidiaire est ouverte, à l'exclusion de la voie du recours ordinaire en matière de droit public.
1.3. Le recourant, qui a succombé dans ses conclusions prises devant l'autorité précédente, a un intérêt juridique à la modification de la décision attaquée (<ref-law>). Il invoque la violation de ses droits constitutionnels (<ref-law>). Le présent recours constitutionnel, déposé en temps utile (art. 100 al. 1 et 117 LTF), est donc recevable.
2.
2.1. Dans un premier grief, d'ordre formel, le recourant se plaint d'une violation de son droit d'être entendu au motif que les premiers juges auraient rendu un jugement qui ne satisfait pas aux exigences de l'<ref-law>. La décision attaquée ne retiendrait pas des faits à proprement parler, mais se limiterait à des rappels procéduraux.
2.2. Le Tribunal fédéral a déduit du droit d'être entendu, consacré à l'art. 29 al. 2 Cst., le devoir pour l'autorité de motiver sa décision, afin que le justiciable puisse en saisir la portée et, le cas échéant, l'attaquer en connaissance de cause (<ref-ruling> consid. 2.2 p. 84). Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision. Il n'est cependant pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à ceux qu'il juge pertinents (<ref-ruling> consid. 5.1 p. 237). Quant à l'<ref-law>, il prévoit que les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit, notamment les dispositions légales appliquées.
2.3. En l'espèce, l'arrêt attaqué confirme la décision par laquelle le Conseil d'Etat a prononcé une réduction du traitement du recourant. Cet arrêt en expose suffisamment les raisons, si bien que les exigences de motivation susmentionnées sont respectées.
3.
3.1. Selon l'art. 3a al. 1 de la loi d'application [du canton du Valais] de la loi fédérale sur la poursuite pour dettes et la faillite du 20 juin 1996 (LALP; RS/VS 281.1), le Conseil d'Etat est l'autorité de surveillance au sens des art. 13 et 14 LP. Selon l'art. 3 LALP, chaque office est dirigé par un préposé; un substitut le remplace en cas d'empêchement ou de récusation (al. 1). Le préposé, le substitut et le personnel sont nommés par le Conseil d'Etat (al. 2). Le préposé est responsable de la gestion de son office (al. 4). S'appliquent, pour le surplus, la législation cantonale sur le statut des fonctionnaires et la législation d'application de la LP (al. 5).
3.2. Les premiers juges déduisent de cette réglementation que, pour ce qui a trait aux questions de personnel, la loi sur le statut des fonctionnaires l'emporte sur les dispositions d'application de la LP lorsque la surveillance vise une personne qui bénéficie d'un engagement comme fonctionnaire; les dispositions de surveillance administrative du droit de la poursuite et faillite n'ont de portée que pour les agents qui ne bénéficient pas de ce statut. Au demeurant, selon la juridiction cantonale, le fondement juridique des sanctions disciplinaires n'a guère d'importance dans la mesure où l'autorité dispose de sanctions identiques, "avec davantage de gradation dans le Statut". La loi sur le statut des fonctionnaires prévoit en effet, à son art. 16, les mesures disciplinaires suivantes:
a) la réprimande écrite;
b) l'amende jusqu'à 1'000 fr.;
c) la mise au provisoire pour une durée maximale d'un an;
d) la diminution du traitement jusqu'à concurrence de la moitié, pour une durée maximale de trois mois;
e) la suspension temporaire d'emploi jusqu'à six mois, le cas échéant avec diminution ou suspension du traitement;
f) le transfert dans une fonction inférieure avec traitement correspondant;
g) le renvoi sans délai et le cas échéant sans indemnité.
3.3. Le recourant invoque la force dérogatoire du droit fédéral (art. 49 al. 1 Cst.). Il fait valoir qu'en matière de surveillance des offices de poursuites et faillites, le droit fédéral règle de manière exhaustive le catalogue des mesures disciplinaires que l'autorité de surveillance peut prendre contre un agent public. La mesure disciplinaire prononcée par l'intimé aurait dû être fondée sur l'<ref-law> - qui ne prévoit pas une réduction de traitement comme mesure disciplinaire - et non sur l'art. 16 let. d de la loi sur le statut des fonctionnaires. En effet, les reproches formulés contre lui seraient, sans exception, en relation avec de prétendues violations du droit de la poursuite et donc sans rapport aucun avec la législation cantonale en matière d'engagement des fonctionnaires.
4.
4.1. Selon l'art. 49 al. 1 Cst., le droit fédéral prime le droit cantonal qui lui est contraire. Ce principe constitutionnel de la primauté du droit fédéral fait obstacle à l'adoption ou à l'application de règles cantonales qui éludent des prescriptions de droit fédéral ou qui en contredisent le sens ou l'esprit, notamment par leur but ou par les moyens qu'elles mettent en oeuvre, ou qui empiètent sur des matières que le législateur fédéral a réglementées de façon exhaustive (<ref-ruling> consid. 2.3.1 p. 470; <ref-ruling> consid. 4.1 p. 41 et les références).
4.2. En vertu de l'<ref-law>, chaque canton désigne une autorité de surveillance pour les offices des poursuites et les offices des faillites (al. 1); ils peuvent en outre instituer des autorités inférieures de surveillance pour un ou plusieurs arrondissements (al. 2). Sur le plan organisationnel, les compétences de l'autorité de surveillance peuvent être attribuées par le droit cantonal à des autorités de l'ordre judiciaire, à des autorités de l'ordre administratif ou à des autorités mixtes ( PIERRE-ROBERT GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, 1999, n. 21 ad <ref-law>; LOUIS DALLÈVES, in Commentaire romand LP, n. 2 ad <ref-law>; Pra 2012 n° 132 p. 952, 5A_25/2012 consid. 4.1). L'<ref-law> prévoit que l'autorité de surveillance inspecte chaque office au moins une fois par an (al. 1); les mesures disciplinaires suivantes peuvent être prises contre un préposé ou un employé (al. 2) :
1. la réprimande;
2. l'amende jusqu'à 1'000 fr.;
3. la suspension pour six mois au plus;
4. la destitution.
4.3. Ces sanctions disciplinaires sont spécialement applicables en cas de violation des devoirs particuliers qu'impose une saine administration de l'exécution forcée ( GILLIÉRON, op. cit., n. 32 ad <ref-law>). Elles supposent une faute commise dans l'exercice de ses fonctions par la personne responsable ( DALLÈVES, op. cit., n. 4 ad <ref-law>). Dans le cas particulier, il n'est pas contesté que les reproches formulés à l'encontre du recourant se rapportent exclusivement à la violation de ses devoirs découlant de sa fonction de préposé à l'Office des faillites. En effet, selon le jugement attaqué, il est reproché à l'intéressé d'avoir porté à l'inventaire de la succession répudiée, comme seul actif de la succession à liquider, un voilier avec la mention "sa réalisation s'annonce compliquée", cela en violation de l'art. 27 al. 1 de l'ordonnance sur l'administration des offices de faillite du 13 juillet 1911 (OAOF; RS 281.32). En outre, toujours selon le jugement attaqué, au vu des grandes incertitudes qui prévalaient à propos de la valeur du voilier, des frais de réalisation et de la durée de la procédure, le recourant aurait dû requérir la suspension de la faillite conformément à l'<ref-law>. Par ailleurs, en facturant ses frais de déplacement à 70 cts le kilomètre en lieu et place de 2 fr., l'intéressé - dont la volonté aurait été d'éviter que les frais dépassent le produit escompté de la vente du voilier - avait également méconnu l'art. 14 al. 1 de l'ordonnance sur les émoluments perçus en application de la LP (OELP; RS 281.35). Enfin, il aurait colloqué une créance de première classe qui n'existait pas à la date de l'ouverture de la faillite. De manière plus générale, plusieurs éléments auraient démontré un manque de rigueur du préposé dans la gestion de la liquidation en cause.
4.4. Il résulte de ce qui précède que l'autorité cantonale de surveillance au sens de l'<ref-law> a pour rôle de veiller à une application régulière de la loi par les organes de la poursuite. Les mesures disciplinaires qu'elle prend dans le cadre de cette activité sanctionnent la violation des devoirs de service des fonctionnaires de la poursuite dans l'exercice de leurs tâches en tant qu'organes de la poursuite. Les faits constitutifs d'une infraction disciplinaire ne sont cependant pas prévus dans la loi. Il n'y a donc pas de typicité de l'infraction disciplinaire, en raison du caractère très général des devoirs de fonction des agents publics cantonaux chargés de l'exécution forcée. En revanche, l'<ref-law> attribue clairement le pouvoir disciplinaire aux autorités cantonales de surveillance et dresse une liste précise et exhaustive des sanctions administratives. Lorsque l'autorité qui prend la décision disciplinaire n'est pas l'autorité cantonale de surveillance ou que la peine infligée n'est pas prévue par le droit fédéral, il y a méconnaissance grave de l'<ref-law> (<ref-ruling> consid. 1c p. 158; cf. aussi arrêts 5A_112/2009 du 7 mai 2009 consid. 2.1 et 7.B16/2002 [recte: 7B.16/2002] du 26 mars 2002 consid. 1c). D'ailleurs, la doctrine unanime souligne également le caractère exhaustif du catalogue des sanctions de l'<ref-law> ( GILLÉRON, op. cit., n. 32 ad <ref-law>; DALLÈVES, op. cit., n. 5 ad <ref-law>; FRANK EMMEL in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs I, 2 ème éd. 2012, n. 5aet n. 9 ad art. 14; MARCO LEVANTE, in: Daniel Hunkeler (éd.), Kurzkommentar zum SchKG, 2014, n. 9 ad <ref-law>). Le principe de la force dérogatoire du droit fédéral s'oppose donc au prononcé de sanctions autres que celles prévues à l'<ref-law> dans les cas relevant du pouvoir disciplinaire à l'encontre des personnes soumises à la surveillance selon le droit de la LP et pour des manquements liés à l'exercice de leurs fonctions.
4.5. Une exception à ces règles de compétence et au principe de l'exhaustivité des sanctions disciplinaires a été reconnue par la jurisprudence. Se fondant sur la doctrine (notamment GILLIÉRON, op. cit., n. 33 ad <ref-law>, et EMMEL, op. cit., n. 11b ad <ref-law>; cf. aussi JOLANTA KREN KOSKIEWICZ/HANS ULRICH WALDER, SchKG Kommentar, 18 e éd., 2012, n. 6 ad <ref-law>), le Tribunal fédéral a admis qu'à côté de la destitution comme sanction disciplinaire au sens de l'<ref-law>, prononcée par l'autorité cantonale de surveillance LP, l'autorité de nomination pouvait relever de leur fonction ou renvoyer pour justes motifs les agents publics nommés de façon permanente pour des motifs prévus par le droit cantonal (arrêt 8C_76/2011 du 25 octobre 2011 consid. 5; cf. aussi arrêt 5A_112/2009, précité, consid. 4.4). Dans un cas comme dans l'autre, la mesure produit les mêmes effets. En l'espèce il ne s'agit toutefois pas d'une sanction de ce type.
4.6. En conséquence, le Conseil d'Etat ne pouvait que statuer comme autorité de surveillance LP et prononcer l'une des sanctions prévues à l'<ref-law>. En infligeant au recourant une sanction qui n'est pas prévue dans cette disposition et en statuant de surcroît comme autorité de nomination des agents de la fonction publique en général, le Conseil d'Etat a violé le principe susmentionné de la force dérogatoire du droit fédéral. L'arrêt attaqué et la décision précédente doivent dès lors être annulés.
En sa qualité d'autorité de surveillance LP, le Conseil d'Etat conserve néanmoins la possibilité de prononcer l'une des mesures disciplinaires mentionnées à l'<ref-law>, si les conditions requises en sont réalisées.
5.
Bien qu'il succombe, le Conseil d'Etat ne peut se voir imposer des frais judiciaires (<ref-law>). Il convient donc de statuer sans frais. Le canton du Valais, en revanche, versera une indemnité de dépens au recourant qui obtient gain de cause (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et le jugement de la Cour de droit public du Tribunal cantonal du Valais du 24 mai 2013, ainsi que la décision du Conseil d'Etat du canton du Valais du 20 juin 2012, sont annulés.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton du Valais versera au recourant une indemnité de 2'800 fr. au titre de dépens pour la procédure fédérale.
4.
La cause est renvoyée au tribunal cantonal pour qu'il statue à nouveau sur la répartition des frais et dépens de la procédure cantonale.
5.
Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal du Valais.
Lucerne, le 22 juillet 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
Le Greffier : Beauverd