Faits : A. A._, né en 1960, a été nommé en qualité de préposé à l'Office des poursuites et faillites du district de B._ par le Conseil d'Etat du canton du Valais. Le 11 octobre 2006, le Juge II pour les districts de B._ et de C._ a constaté la répudiation de la succession de feu D._ et a chargé l'Office des poursuites et des faillites du district de B._ de sa liquidation. Ce faisant, A._ a enregistré un seul actif, soit un yacht se trouvant à E._. Il a obtenu l'autorisation de liquider cette succession en la forme sommaire. En qualité de liquidateur, il s'est rendu à plusieurs reprises à E._ afin de pouvoir vendre le bateau. Celui-ci a été réalisé au mois de janvier 2008. A la demande du Juge II pour les districts de B._ et de C._, l'Inspection cantonale des finances (ICF) a été chargée d'un contrôle de la liquidation de la succession par le préposé au vu notamment des coûts importants que ce dernier avait engagés dans le cadre de cette liquidation et du bilan financier des opérations. A réception du projet de rapport établi par l'ICF, le juge a estimé qu'il pouvait clore la procédure de liquidation. Les faits reprochés à A._ devaient toutefois être portés à la connaissance des autorités de poursuite pénale, ainsi que de l'autorité cantonale de surveillance pour les offices des poursuites et les offices des faillites. B. Après avoir entendu oralement et par écrit l'intéressé, le Conseil d'Etat du canton du Valais a décidé, dans sa séance du 30 mars 2011, d'ouvrir une procédure disciplinaire à son endroit. Il l'a suspendu avec effet immédiat dans l'attente des conclusions de ladite procédure. Le 20 juin 2012, le Conseil d'Etat a décidé, au titre de mesure disciplinaire, de diminuer de moitié le traitement de A._ pour une période de trois mois à compter du 1 er juillet 2012. Il lui était reproché divers manquements en relation avec la liquidation de la succession de feu D._. C. A._ a recouru contre cette décision en concluant à son annulation. Par arrêt du 24 mai 2013, la Cour de droit public du Tribunal cantonal du Valais a rejeté son recours. D. A._ exerce un recours constitutionnel subsidiaire. Il conclut principalement à l'annulation de l'arrêt du 24 mai 2013 et à la suppression de toute sanction disciplinaire. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente, le tout sous suite de frais et dépens. Le Conseil d'Etat du canton du Valais a conclu au rejet du recours. La cour cantonale a renoncé à présenter des déterminations. E. Par ordonnance du 24 octobre 2013, le juge instructeur a accordé l'effet suspensif au recours. F. Par jugement du 29 janvier 2013, la Cour des affaires pénales du Tribunal pénal fédéral a acquitté A._ du chef de violation de la souveraineté étrangère (art. 299 CP). Elle a estimé, en substance, que les agissements de l'intéressé sur sol italien n'étaient pas des actes officiels, que les voies de l'entraide ne devaient pas nécessairement être suivies et que l'Etat étranger avait consenti à ces actes. Saisi d'un recours du Ministère public de la Confédération contre ce jugement, le Tribunal fédéral l'a rejeté dans la mesure de sa recevabilité par arrêt 6B_235/2013 du 22 juillet 2013.