Faits:
Faits:
A. X._ a été engagé le 1er juin 1991 par le Service du personnel de l'Etat de Neuchâtel en qualité d'assistant social au centre d'accueil pour réfugiés des Cernets, aux Verrières.
En décembre 2000, une instruction pénale a été ouverte contre le prénommé, à la suite du dépôt par une requérante d'asile, dame A._, d'une plainte pour abus sexuels au sens de l'art. 189 CP. Il a été entendu par la police le 21 mars 2001.
Durant l'enquête pénale, X._ a été en arrêt de travail pour cause de maladie jusqu'en septembre 2001. Le Conseil d'Etat du canton de Neuchâtel (ci-après: le Conseil d'Etat) l'a suspendu provisoirement de sa fonction avec effet au 1er janvier 2001, son traitement continuant cependant de lui être versé.
X._ a été renvoyé par-devant le Tribunal correctionnel du district du Val-de-Travers (ci-après: le Tribunal correctionnel) sous les préventions, d'une part, d'actes d'ordre sexuel avec une personne dépendante, en concours avec des contraintes sexuelles, et, d'autre part, de tentatives de tels actes, en concours avec des tentatives de telles contraintes, cela au préjudice de dame A._.
Par jugement du 10 septembre 2003, le Tribunal correctionnel a libéré X._ des fins de la poursuite pénale engagée à son encontre et laissé les frais de la cause à la charge de l'Etat. Il a estimé que les déclarations de la plaignante selon lesquelles X._ lui avait fait des avances à caractère sexuel étaient crédibles, du fait qu'elles concordaient avec celles de plusieurs collègues ou requérantes d'asile qui lui reprochaient également d'avoir eu un comportement incorrect à leur égard. En effet, deux collègues de travail du prévenu, une dame C._ et une dame D._, s'étaient plaintes d'avoir été l'objet d'avances insistantes de la part du prévenu. La seconde en avait parlé à une collègue, une dame F._, ainsi qu'au directeur du centre d'accueil des Cernets, qui lui avait dit que « quelque chose s'était aussi déroulé » avec une autre collègue, une dame E._. De plus, une dame H._, qui avait travaillé pour le bureau du délégué aux étrangers, avait recueilli les confidences de deux requérantes d'asile, dont une dame G._, qui lui avaient également décrit les avances du prévenu à leur égard. Par ailleurs, il était selon le Tribunal correctionnel vraisemblable que la plaignante ait accepté de donner suite aux avances du prévenu et il n'était pas exclu que celui-ci ait exercé sur elle des pressions d'ordre psychique, voire abusé de sa détresse ou d'un lien de dépendance pour parvenir à ses fins; toutefois, au vu des nombreuses contradictions, inexactitudes et incohérences que comportaient les déclarations de la plaignante, il n'était pas exclu non plus que celle-ci ait consenti librement aux actes d'ordre sexuel proposés par le prévenu. Le prévenu a ainsi été acquitté.
Le Service juridique du Département des finances et des affaires sociales du canton de Neuchâtel a été chargé d'instruire à l'intention du Conseil d'Etat une procédure de résiliation des rapports de service de X._.
Par décision du 17 mars 2004, le Conseil d'Etat a prononcé la résiliation des rapports de service de X._ avec effet au 30 juin 2004. Estimant qu'il n'y avait pas lieu de s'écarter du jugement pénal, il a considéré que X._ avait eu des attitudes à connotation sexuelle inadéquates à l'égard de membres du personnel et à tout le moins d'une requérante d'asile, de sorte qu'en vertu des règles de la bonne foi la continuation des rapports de service n'était pas possible.
Par décision du 17 mars 2004, le Conseil d'Etat a prononcé la résiliation des rapports de service de X._ avec effet au 30 juin 2004. Estimant qu'il n'y avait pas lieu de s'écarter du jugement pénal, il a considéré que X._ avait eu des attitudes à connotation sexuelle inadéquates à l'égard de membres du personnel et à tout le moins d'une requérante d'asile, de sorte qu'en vertu des règles de la bonne foi la continuation des rapports de service n'était pas possible.
B. X._ a déféré cette décision au Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif), qui a rejeté le recours par arrêt du 4 juin, notifié sous pli portant sceau postal du 7 juin 2004.
Le 4 juin 2004, X._ a adressé au Tribunal administratif un courrier où il alléguait des faits nouveaux. A réception de l'arrêt de la même date, il a précisé que son intervention devait être traitée comme une demande de révision dudit arrêt.
Par arrêt du 28 juin 2004, le Tribunal administratif a déclaré la demande de révision mal fondée. Il a considéré en substance que si les faits allégués étaient bien nouveaux, ils n'étaient pas de nature à modifier l'état de fait à la base de son premier arrêt et à conduire à une appréciation juridique différente.
Par arrêt du 28 juin 2004, le Tribunal administratif a déclaré la demande de révision mal fondée. Il a considéré en substance que si les faits allégués étaient bien nouveaux, ils n'étaient pas de nature à modifier l'état de fait à la base de son premier arrêt et à conduire à une appréciation juridique différente.
C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler les arrêts du Tribunal administratif des 4 et 28 juin 2004, sous suite de frais et dépens. Il requiert également que son recours ait effet suspensif. Il se plaint d'une violation de son droit d'être entendu.
Le Tribunal administratif conclut au rejet du recours en renvoyant à la motivation des arrêts attaqués. Le Conseil d'Etat a déposé une détermination où il se prononce dans le même sens.
Par ordonnance présidentielle du 19 août 2004, la demande d'effet suspensif a été rejetée.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Formé en temps utile contre deux décisions finales prises en dernière instance cantonale, qui ne peuvent être attaquées que par la voie du recours de droit public, le présent recours satisfait aux conditions de recevabilité des art. 84, 86 al. 1, 87 et 89 al. 1 OJ.
Tant la décision du 4 juin 2004, qui met un terme à ses rapports de service, que celle du 28 juin 2004, qui refuse de réviser la précédente, affectent le recourant dans ses intérêts juridiquement protégés au sens de l'art. 88 OJ; partant, celui-ci a qualité pour former le présent recours de droit public.
1.2 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (ATF 130 I 26 consid. 2.1 p. 31; 129 III 626 consid. 4 p. 629; 129 I 113 consid. 2.1 p. 120, 185 consid. 1.6 p. 189).
1.2 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (ATF 130 I 26 consid. 2.1 p. 31; 129 III 626 consid. 4 p. 629; 129 I 113 consid. 2.1 p. 120, 185 consid. 1.6 p. 189).
2. 2.1 Le recourant dénonce une violation de son droit d'être entendu découlant de l'art. 29 al. 2 Cst. Il fait grief à l'autorité intimée d'avoir statué sur la base d'un dossier incomplet « dans la mesure où contrairement à la toute première autorité, il n'a même pas eu en main le dossier pénal, se contentant des 'morceaux choisis' que le Conseil d'Etat a bien voulu lui transmettre [...] ». Or, la production du dossier complet « lui aurait permis d'apprécier avec toute la circonspection voulue » les témoignages du directeur du centre d'accueil pour réfugiés des Cernets, du directeur de l'Office d'accueil des requérants d'asile ainsi que d'une collègue du recourant (dame F._). De plus, la consultation du dossier dans son intégralité aurait permis de comparer les propos que dame G._ aurait tenus à dame H._ avec les déclarations que celle-là a faites dans le cadre de la procédure pénale en diffamation engagée contre elle par le recourant, où elle « nie de manière claire et limpide tout harcèlement » de la part de ce dernier.
Le recourant fait ensuite grief à l'autorité intimée d'avoir considéré que les faits nouveaux invoqués par lui devant le Conseil d'Etat puis devant l'autorité intimée ne justifiaient pas qu'elle s'écarte de l'état de fait établi par le juge pénal et procède à sa propre administration des preuves. Le recourant rappelle en quoi ceux-ci consistent. Devant le Conseil d'Etat, il a fait valoir que dame F._ s'était rétractée, en qualifiant dame E._ de personne manipulatrice et capable « d'affabulations hystériques ». Il a également déclaré avoir engagé une procédure pénale en diffamation contre dame G._, dans le cadre de laquelle celle-ci aurait nié avoir été l'objet d'un harcèlement de sa part. Or, les dires de dames F._ et G._ auraient servi de fondement au jugement pénal. Devant l'autorité intimée, le recourant a relevé que dame A._ avait disparu, qu'elle n'était pas de nationalité somalienne comme elle le prétendait, que sa prétendue soeur, B._, qui l'avait chargé durant le procès pénal, n'était en réalité pas sa soeur, que toutes deux étaient kenyanes et enfin que cette dernière était emprisonnée pour trafic de stupéfiants. Le recourant a de plus fait état d'une pétition signée par de nombreux requérants d'asile et collègues, tendant à ce que la décision de résilier ses rapports de service soit reconsidérée. Dans ces conditions, selon lui, l'autorité intimée aurait dû - comme déjà le Conseil d'Etat - diligenter une enquête administrative, ainsi qu'il l'avait demandé depuis le début, ou à tout le moins administrer les moyens de preuve qu'il avait offerts en relation avec ces faits nouveaux.
2.2 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst. (cf. aussi l'art. 4 aCst.), comprend notamment le droit pour l'intéressé de produire des preuves pertinentes et d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (ATF 129 II 497 consid. 2.2 p. 505; 127 III 576 consid. 2c p. 578 s. et la jurisprudence citée). Le droit de faire administrer des preuves suppose toutefois que le fait à prouver soit pertinent, que le moyen de preuve proposé soit nécessaire pour constater ce fait et que la demande soit présentée selon les formes et délais prescrits par le droit cantonal. Par ailleurs, cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (ATF 119 Ib 492 consid. 5b/bb p. 505/506).
2.3 Le recourant ne démontre pas à suffisance de droit en quoi les éléments du dossier pénal ignorés de l'autorité intimée - notamment les témoignages qu'il invoque - étaient de nature à susciter le doute quant à l'état de fait ressortant des pièces (les « morceaux choisis ») transmises par le Conseil d'Etat. En particulier, il ne prétend pas et ne démontre encore moins que ce dossier contiendrait des éléments, méconnus par l'autorité intimée, propres à remettre en cause la crédibilité des accusations portées contre lui, notamment par dames D._, C._ et E._. Dans la mesure où elles concernent seulement un des témoignages à charge, ses allégations relatives aux propos de dame G._ sont à cet égard insuffisantes. Dans ces conditions, le recourant ne saurait soutenir que l'autorité intimée aurait violé son droit d'être entendu en renonçant à ordonner la production du dossier pénal dans son intégralité. Partant, à supposer qu'il soit suffisamment motivé au regard de l'art. 90 OJ, le grief doit être rejeté.
Par ailleurs, l'autorité intimée pouvait sans arbitraire retenir sur la base d'une appréciation anticipée de leur résultat, que les mesures d'instruction, en particulier les auditions, sollicitées par le recourant ne seraient pas de nature à remettre en question l'existence d'un comportement, de la part du recourant, pouvant être qualifié de harcèlement sexuel à l'encontre de plusieurs de ses collègues de travail. Ainsi que l'a relevé cette autorité, le seul fait que dame F._ déclare désormais ne plus attacher aucun crédit aux accusations portées devant elle par dame E._ ne suffit pas encore à démontrer la fausseté de celles-ci et encore moins celle des déclarations de dame D._. A cela s'ajoute que cette dernière a été constante dans ses déclarations et que le recourant lui-même n'a à aucun moment fait état d'un élément propre à jeter le doute sur le bien-fondé des accusations portées contre lui par dame C._. Du reste, les reproches adressés au recourant sont corroborés par le fait que, lors d'une séance de « debriefing » organisée après que l'une des collègues de travail de celui-ci eut déclaré, après l'ouverture de l'enquête pénale, avoir été également victime de harcèlement sexuel, « plusieurs autres collègues femmes de M. X._ ont elles aussi affirmé avoir subi des avances, parfois appuyées » de la part de ce dernier (courrier électronique envoyé le 5 juin 2001 par la cheffe du Service de l'asile et des réfugiés du canton de Neuchâtel au chef du Service des ressources humaines du même canton).
Dans ces conditions, l'autorité intimée pouvait, sans violer le droit d'être entendu du recourant, écarter les réquisitions de preuve formulées par celui-ci et rejeter le grief de violation de ce droit soulevé devant elle, pour les mêmes raisons, à l'encontre du Conseil d'Etat.
Dans ces conditions, l'autorité intimée pouvait, sans violer le droit d'être entendu du recourant, écarter les réquisitions de preuve formulées par celui-ci et rejeter le grief de violation de ce droit soulevé devant elle, pour les mêmes raisons, à l'encontre du Conseil d'Etat.
3. A supposer que, lorsqu'il fait grief à l'autorité intimée de ne pas s'être écartée du jugement pénal, le recourant se plaigne d'arbitraire dans l'établissement des faits, ce grief doit également être rejeté. En effet, même si l'on devait admettre que les faits nouveaux invoqués par lui étaient de nature à ébranler quelque peu la concordance des déclarations sur laquelle l'autorité pénale a fondé son intime conviction, il n'en demeurerait pas moins que, même compte tenu de ces faits nouveaux, les éléments figurant au dossier étaient suffisants, ainsi qu'il a été dit (consid. 2.3 ci-dessus), pour que l'on puisse, sans arbitraire, tenir pour acquise l'existence de la part du recourant d'un comportement pouvant être qualifié de harcèlement sexuel à l'égard de plusieurs de ses collègues de travail.
Pour la même raison, le recourant ne saurait davantage soutenir que l'autorité intimée serait tombée dans l'arbitraire en se fondant exclusivement sur des considérants de fait de l'autorité pénale qu'il ne pouvait contester, puisqu'il avait été acquitté, et en renonçant ainsi à procéder à sa propre administration des preuves.
Pour la même raison, le recourant ne saurait davantage soutenir que l'autorité intimée serait tombée dans l'arbitraire en se fondant exclusivement sur des considérants de fait de l'autorité pénale qu'il ne pouvait contester, puisqu'il avait été acquitté, et en renonçant ainsi à procéder à sa propre administration des preuves.
4. Il résulte de ce qui précède que le recours est mal fondé et doit être rejeté. Succombant, le recourant doit supporter un émolument judiciaire (art. 153, 153a et 156 al. 1 OJ) et n'a pas droit à des dépens (art. 159 al. 1 OJ a contrario).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, au Conseil d'Etat et au Tribunal administratif du canton de Neuchâtel.
Lausanne, le 6 septembre 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: