Faits: Faits: A. X._, né le 18 juillet 1949, a été engagé le 1er octobre 1978 au service de l'Etat du Valais en qualité de sous-chef de l'atelier mécanique de la maison d'éducation au travail de Z._. Il y a travaillé ensuite en qualité de veilleur de nuit du 24 septembre 1980 au 30 avril 1999. Cette période a été émaillée de plusieurs conflits avec ses supérieurs. Le 1er mai 1999, l'intéressé a été affecté à la centrale de contrôle de la prison de A._, à Sion. Par lettre du 28 septembre 1999, Y._, directeur-adjoint de l'établissement, a informé X._ de sa nomination, à partir du 1er octobre 1999, à un nouveau poste de gardien caractérisé par des horaires et des exigences de travail plus favorables (fonction T 13). L'intéressé présente une incapacité totale de travailler depuis le 1er octobre 1999 et n'a jamais occupé ce poste. Invité à examiner X._, le médecin-conseil de l'Etat du Valais a relevé, dans son attestation du 4 avril 2000, que l'arrêt de travail de l'intéressé résultait de difficultés d'ordre psychologique reposant sur une absence de communication entre employeur et employé. Après avoir pris connaissance du rapport du psychiatre, mandaté à sa demande pour examiner à son tour X._, le médecin-conseil a conclu le 29 mai 2000 que le patient ne pourrait pas reprendre son activité professionnelle dans son emploi mais que sa capacité de travail était intacte dans un autre contexte, soit dans un autre département. Cette conclusion a été confirmée le 23 octobre 2000. Malgré deux séances de conciliation, les tentatives d'améliorer les relations personnelles et professionnelles de X._ avec ses supérieurs n'ont pas abouti. Invité à rechercher une nouvelle place de travail dans un autre département de l'administration cantonale, X._ n'a procédé à aucune démarche avant le 20 décembre 2000. Il a qualifié de "méprisante et insultante" la suggestion qui lui a été présentée de se porter candidat à un poste de cantonnier. Par décision du 22 novembre 2000, le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a résilié les rapports de service de X._ avec effet au 15 novembre 2000 et l'a invité à s'adresser à la Caisse de prévoyance du personnel de l'Etat du Valais ainsi qu'à l'assurance-invalidité fédérale pour obtenir de ces institutions les prestations financières justifiées par son état de santé. Cette décision reposerait principalement sur l'art. 32 al. 2 (retraite pour raisons d'âge ou de santé) de la loi du 11 mai 1983 fixant le statut des fonctionnaires et employés de l'Etat du Valais (ci-après: LStF/VS), subsidiairement sur l'art. 36 de cette loi (résiliation pour justes motifs). Par décision du 22 novembre 2000, le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a résilié les rapports de service de X._ avec effet au 15 novembre 2000 et l'a invité à s'adresser à la Caisse de prévoyance du personnel de l'Etat du Valais ainsi qu'à l'assurance-invalidité fédérale pour obtenir de ces institutions les prestations financières justifiées par son état de santé. Cette décision reposerait principalement sur l'art. 32 al. 2 (retraite pour raisons d'âge ou de santé) de la loi du 11 mai 1983 fixant le statut des fonctionnaires et employés de l'Etat du Valais (ci-après: LStF/VS), subsidiairement sur l'art. 36 de cette loi (résiliation pour justes motifs). B. X._ a recouru contre cette décision auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal). Il a soutenu qu'il avait été victime d'actes répétés de harcèlement psychologique et que la résiliation de ses rapports de service n'était pas due à son état de santé mais constituait l'aboutissement des actes de "mobbing" dirigés contre lui. X._ a requis son audition, celle de deux médecins et de huit employés de l'Etat du Valais. Statuant le 13 juin 2001, le Tribunal cantonal a rejeté le recours. Il a retenu que X._ était objectivement inapte à exercer la fonction pour laquelle il avait été nommé, circonstance qui justifiait la cessation des rapports de service et qu'il n'existait aucune possibilité de transfert de l'intéressé à une autre fonction de l'administration cantonale, compte tenu de sa capacité de travail et des postes disponibles. Le Tribunal cantonal n'est pas entré en matière sur le grief de X._ relatif au harcèlement psychologique invoqué et n'a procédé à aucune audition. Par arrêt du 6 novembre 2001 (2P.199/2001), le Tribunal fédéral a annulé le jugement du Tribunal cantonal et l'a invité à se prononcer sur l'origine de l'incapacité de travail du recourant et à apprécier l'attitude de X._ au regard de l'existence éventuelle de justes motifs de résiliation des rapports de service. Il a retenu que l'autorité cantonale de recours ne pouvait pas, sans faire preuve d'arbitraire, retenir que les problèmes d'ordre psychologique rencontrés par X._ dans sa fonction de gardien de prison justifiaient sa mise à la retraite sans se prononcer sur l'origine de l'atteinte à la santé et sans déterminer si cette atteinte était consécutive à des actes de "mobbing". Par arrêt du 6 novembre 2001 (2P.199/2001), le Tribunal fédéral a annulé le jugement du Tribunal cantonal et l'a invité à se prononcer sur l'origine de l'incapacité de travail du recourant et à apprécier l'attitude de X._ au regard de l'existence éventuelle de justes motifs de résiliation des rapports de service. Il a retenu que l'autorité cantonale de recours ne pouvait pas, sans faire preuve d'arbitraire, retenir que les problèmes d'ordre psychologique rencontrés par X._ dans sa fonction de gardien de prison justifiaient sa mise à la retraite sans se prononcer sur l'origine de l'atteinte à la santé et sans déterminer si cette atteinte était consécutive à des actes de "mobbing". C. Le 15 février 2002, le Tribunal cantonal a admis le recours formé par X._ contre la décision du Conseil d'Etat du 4 décembre 2000 et lui a renvoyé la cause en l'invitant à procéder à toutes mesures d'instruction utiles pour rechercher si l'atteinte à la santé subie par X._ était consécutive à des actes de "mobbing". Par décision du 21 mai 2003, le Conseil d'Etat a confirmé la résiliation des rapports de service de X._, avec effet au 15 novembre 2000. Après avoir notamment fait procéder à l'audition de dix-huit témoins, il a considéré que la quasi totalité des éléments constitutifs du "mobbing" n'était pas réunie. Saisi d'un recours dirigé contre cette décision, le Tribunal cantonal l'a rejeté, par arrêt du 13 novembre 2003. Il a estimé que tous les griefs formulés à l'encontre de ses supérieurs hiérarchiques depuis son transfert à la prison de A._ en 1999 ne constituaient pas des actes de "mobbing" et que la dégradation de l'état de santé de X._ ne résultait pas d'un harcèlement psychologique exercé à son endroit. Saisi d'un recours dirigé contre cette décision, le Tribunal cantonal l'a rejeté, par arrêt du 13 novembre 2003. Il a estimé que tous les griefs formulés à l'encontre de ses supérieurs hiérarchiques depuis son transfert à la prison de A._ en 1999 ne constituaient pas des actes de "mobbing" et que la dégradation de l'état de santé de X._ ne résultait pas d'un harcèlement psychologique exercé à son endroit. D. Agissant le 4 février 2004 par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler le jugement du Tribunal cantonal du 13 novembre 2003 et de lui renvoyer le dossier pour nouveau jugement dans le sens des considérants. Il reproche au Tribunal cantonal d'avoir violé son droit d'être entendu (art. 29 al. 2 Cst.) en n'examinant pas tous les arguments, preuves et offres de preuves fournies, ainsi que d'avoir apprécié les preuves et constaté les faits de manière arbitraire (art. 9 Cst.). Le Tribunal cantonal a renoncé à se déterminer. Le Conseil d'Etat propose le rejet du recours.