Faits:
Faits:
A. Par décision du 18 octobre 1995, le Conseil d'Etat du canton de Neuchâtel a autorisé X._ à pratiquer la médecine dans ce canton. L'intéressé a ouvert à Y._ un cabinet médical comme spécialiste FMH en chirurgie orthopédique. A la suite de l'ouverture d'une procédure pénale à son encontre pour actes d'ordre sexuel, actes sexuels et abus de détresse sur plusieurs de ses patientes, X._ s'est vu retirer à titre provisoire son autorisation de pratiquer par le Département de la justice, de la santé et de la sécurité du canton de Neuchâtel (ci-après: le Département cantonal) le 7 juin 1997, mesure confirmée par arrêt du Tribunal administratif du canton de Neuchâtel du 14 juillet 1997. Par décision du 4 mai 1998, le Département cantonal a toutefois autorisé l'intéressé à pratiquer en qualité de chirurgien orthopédique auprès d'une clinique privée, à Z._. Cette autorisation, qui était provisoire et devait déployer ses effets jusqu'à droit connu sur le plan pénal, était subordonnée à la condition que X._ ne se trouve jamais seul avec ses patients et que la clinique veille, sous sa responsabilité, à l'application rigoureuse de cette condition.
Le 3 février 2000, le Tribunal correctionnel du district de Y._ a condamné X._ pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et abus de la détresse (art. 193 CP) à une peine de dix-huit mois d'emprisonnement avec sursis pendant cinq ans, ainsi qu'au paiement d'indemnités pour tort moral à deux de ses victimes. Ce jugement a été confirmé le 14 août 2001 par la Cour de cassation pénale du Tribunal cantonal neuchâtelois et le 31 octobre 2001 par la Cour de cassation pénale du Tribunal fédéral. Cette condamnation repose sur des faits survenus à fin 1992 ou début 1993 et, principalement, de décembre 1996 à février 1997. L'intéressé a notamment caressé les seins d'une patiente, massé les fesses, léché un sein et caressé le vagin d'une deuxième patiente et entretenu deux relations sexuelles complètes avec une troisième.
Le 3 février 2000, le Tribunal correctionnel du district de Y._ a condamné X._ pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et abus de la détresse (art. 193 CP) à une peine de dix-huit mois d'emprisonnement avec sursis pendant cinq ans, ainsi qu'au paiement d'indemnités pour tort moral à deux de ses victimes. Ce jugement a été confirmé le 14 août 2001 par la Cour de cassation pénale du Tribunal cantonal neuchâtelois et le 31 octobre 2001 par la Cour de cassation pénale du Tribunal fédéral. Cette condamnation repose sur des faits survenus à fin 1992 ou début 1993 et, principalement, de décembre 1996 à février 1997. L'intéressé a notamment caressé les seins d'une patiente, massé les fesses, léché un sein et caressé le vagin d'une deuxième patiente et entretenu deux relations sexuelles complètes avec une troisième.
B. Le 5 juillet 2002, le Département cantonal a retiré à X._ son autorisation de pratiquer comme médecin pour une durée de quatre ans, avec effet dès le 1er octobre 2002, sous déduction de onze mois déjà exécutés (soit de juin 1997 à mai 1998).
Saisi d'un recours contre cette décision, le Tribunal administratif, par arrêt du 16 juin 2004, l'a partiellement admis et a réduit la durée du retrait de l'autorisation de pratiquer la profession de médecin à deux ans, sous déduction de onze mois déjà exécutés. Il a retenu en substance que l'autorisation conditionnelle de pratiquer dont X._ bénéficiait depuis mai 1998 ne pouvait pas être rangée dans la liste des sanctions disciplinaires exhaustivement énumérées par la loi et que, n'étant pas assimilable à un retrait partiel de l'autorisation, ne pouvait être maintenue; cela étant, la durée de quatre ans du retrait de l'autorisation n'était pas conforme au principe de la proportionnalité, compte tenu principalement de l'écoulement du temps depuis les faits litigieux, et un retrait d'une durée de deux ans apparaissait approprié à l'ensemble des circonstances.
Saisi d'un recours contre cette décision, le Tribunal administratif, par arrêt du 16 juin 2004, l'a partiellement admis et a réduit la durée du retrait de l'autorisation de pratiquer la profession de médecin à deux ans, sous déduction de onze mois déjà exécutés. Il a retenu en substance que l'autorisation conditionnelle de pratiquer dont X._ bénéficiait depuis mai 1998 ne pouvait pas être rangée dans la liste des sanctions disciplinaires exhaustivement énumérées par la loi et que, n'étant pas assimilable à un retrait partiel de l'autorisation, ne pouvait être maintenue; cela étant, la durée de quatre ans du retrait de l'autorisation n'était pas conforme au principe de la proportionnalité, compte tenu principalement de l'écoulement du temps depuis les faits litigieux, et un retrait d'une durée de deux ans apparaissait approprié à l'ensemble des circonstances.
C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 16 juin 2004. Il se plaint de la violation des art. 27 et 36 Cst. ainsi que d'une application arbitraire du droit cantonal.
Le Tribunal administratif et le Département cantonal concluent tous deux au rejet du recours.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Formé en temps utile, dans les formes prescrites par la loi, contre une décision finale prise en dernière instance cantonale et touchant le recourant dans ses intérêts juridiquement protégés, le recours est recevable au regard des art. 84 ss OJ.
1.2 Le dossier complet de la cause ayant été produit, la réquisition y relative présentée par le recourant est devenue sans objet.
1.2 Le dossier complet de la cause ayant été produit, la réquisition y relative présentée par le recourant est devenue sans objet.
2. 2.1 Invoquant les art. 27 et 36 Cst., le recourant fait valoir que le retrait de son autorisation de pratiquer pour une durée de deux ans viole le principe de la proportionnalité, dès lors que l'autorité intimée n'a pas tenu compte du retrait partiel que constitue l'autorisation provisoire conditionnelle de pratiquer qui régit son activité professionnelle depuis le 4 mai 1998; en retenant que cette mesure était dépourvue de base légale et en faisant abstraction des restrictions apportées à l'exercice de sa profession pendant plusieurs années, le Tribunal administratif a en outre fait preuve d'arbitraire.
2.2 Selon l'art. 27 Cst., la liberté économique est garantie (al. 1); elle comprend notamment le libre choix de la profession, le libre accès à une activité économique lucrative privée et son libre exercice (al. 2). Cette liberté protège toute activité économique privée, exercée à titre professionnel et tendant à la production d'un gain ou d'un revenu (cf. Message du Conseil fédéral du 20 novembre 1996 relatif à une nouvelle Constitution fédérale, in FF 1997 I p. 1 ss, p. 176), telle celle de médecin (cf. dans ce sens ATF 118 Ia 175 consid. 1).
Aux termes de l'art. 36 Cst., toute restriction d'un droit fondamental doit être fondée sur une base légale; les restrictions graves doivent être prévues par une loi; les cas de danger sérieux, direct et imminent sont réservés (al. 1); toute restriction d'un droit fondamental doit être justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui (al. 2); toute restriction d'un droit fondamental doit être proportionnée au but visé (al. 3); l'essence des droits fondamentaux est inviolable (al. 4).
En interdisant au recourant d'exercer l'activité de médecin pendant deux ans, le retrait mis en cause constitue une restriction grave à sa liberté économique et doit reposer sur une loi au sens formel (cf. art. 36 al. 1 Cst.). En outre, le Tribunal fédéral examine librement et avec plein pouvoir d'examen si l'exigence de l'intérêt public (art. 36 al. 2 Cst.) et de la proportionnalité (cf. art. 36 al. 3 Cst.) sont respectés (cf. ATF 123 I 212 consid. 3a p. 217; 122 I 236 consid. 4a p. 244 et les références citées).
2.3 La mesure incriminée se fonde sur l'art. 57 de la loi de santé neuchâteloise du 6 février 1995 (ci-après: LS/NE). Selon cette disposition légale, l'autorisation d'exercer une profession médicale est retirée si les conditions de son octroi ne sont plus réunies ou s'il survient un motif de refus (al. 1 lettre a; en relation avec l'art. 56 LS/NE); il en va de même si son titulaire est incapable d'exercer sa profession ou s'il manque à ses devoirs professionnels (al. 1 lettre b); ce retrait peut porter sur une partie ou sur la totalité de l'autorisation, définitivement ou pour un temps déterminé (al. 2).
Il n'est pas contesté que la sanction querellée repose sur une base légale suffisante et qu'elle répond à un intérêt public. Reste à examiner si elle respecte le principe de la proportionnalité.
Il n'est pas contesté que la sanction querellée repose sur une base légale suffisante et qu'elle répond à un intérêt public. Reste à examiner si elle respecte le principe de la proportionnalité.
3. 3.1 Le principe de la proportionnalité (cf. art. 5 al. 2 Cst.) comprend la règle d'adéquation, qui exige que le moyen choisi soit propre à atteindre le but fixé, la règle de nécessité, qui impose qu'entre plusieurs moyens adaptés, soit choisi celui qui porte l'atteinte la moins grave aux intérêts privés, ainsi que la règle de proportionnalité au sens étroit, qui exige que la gravité des effets de la mesure sur la situation de l'administré soit mise en balance avec l'impact attendu en fonction de l'intérêt public (ATF 130 I 65 consid. 3.5.1 p. 69; 128 II 292 consid. 5.1 p. 297 et les arrêts cités).
3. 3.1 Le principe de la proportionnalité (cf. art. 5 al. 2 Cst.) comprend la règle d'adéquation, qui exige que le moyen choisi soit propre à atteindre le but fixé, la règle de nécessité, qui impose qu'entre plusieurs moyens adaptés, soit choisi celui qui porte l'atteinte la moins grave aux intérêts privés, ainsi que la règle de proportionnalité au sens étroit, qui exige que la gravité des effets de la mesure sur la situation de l'administré soit mise en balance avec l'impact attendu en fonction de l'intérêt public (ATF 130 I 65 consid. 3.5.1 p. 69; 128 II 292 consid. 5.1 p. 297 et les arrêts cités).
3.2 3.2.1 Dans son examen de la proportionnalité de la mesure infligée au recourant par le Département cantonal - qui l'a amené à réduire la durée du retrait de l'autorisation de pratiquer de quatre à deux ans - le Tribunal administratif s'est principalement fondé sur l'écoulement du temps depuis les faits incriminés (dont les plus récents remontent au mois de février 1997), tout en relevant que du printemps 1998 au début 2002 l'autorité cantonale de première instance n'avait procédé qu'à une seule opération dans le dossier. La cour cantonale a également tenu compte, entre autres éléments, du fait que le travail du recourant - qui n'était certes autorisé à recevoir des patients en milieu hospitalier depuis mai 1998 qu'en présence d'une tierce personne - n'avait pas donné lieu à des plaintes.
3.2.2 En revanche, le Tribunal administratif n'a examiné les restrictions qui avaient été imposées au recourant dans l'exercice de sa profession en mai 1998 que pour écarter sa conclusion tendant au maintien de son autorisation de travailler sous condition, au motif qu'une telle mesure n'était pas prévue par l'art. 57 al. 2 LS/NE. Autrement dit, il a considéré que les limitations apportées à l'exercice de la profession de médecin indépendant du recourant ne pouvaient pas être assimilées à une forme de retrait partiel de l'autorisation de pratiquer au sens de l'art. 57 al. 2 LS/NE.
Une telle interprétation de cette norme cantonale peut paraître discutable, voire critiquable, dans la mesure où, selon le principe de "qui peut le plus peut le moins", l'autorité qui est compétente pour octroyer une autorisation de pratiquer la profession de médecin et pour en ordonner le retrait total ou partiel devrait aussi l'être pour subordonner l'exercice de ladite profession à certaines conditions. D'autant que le texte de l'art. 57 al. 2 LS/NE prévoit expressément que le retrait peut porter "sur une partie" de l'autorisation. L'interprétation faite par la cour cantonale n'est pas pour autant arbitraire (cf. sur la notion d'arbitraire, ATF 129 I 8 consid. 2.1 p. 9, 173 consid. 3.1 p. 178 et les arrêts cités).
3.2.3 Même si le statut auquel le recourant est soumis depuis le 4 mai 1998 n'est pas expressément prévu par la loi, il convient de constater que le Département cantonal s'est efforcé d'aménager à l'égard de l'intéressé des modalités d'exercice de la profession qui réduisent le risque de récidive. C'est ainsi que le recourant n'a plus été autorisé à consulter dans son cabinet mais uniquement dans une salle d'auscultation d'une clinique privée. En outre, une assistante dépendant de l'établissement a été chargée, sous la surveillance de la clinique, de faire en sorte que le recourant ne se trouve jamais seul avec des patients. Pour les interventions chirurgicales, la clinique a également pris les dispositions utiles pour que le recourant soit toujours entouré de l'équipe du bloc opératoire ainsi que du médecin anesthésiste et de son assistant. Or ce régime, examiné à l'aune des buts visés par les mesures disciplinaires, a empêché tout écart de conduite de la part du recourant et a assurément contribué au maintien de l'ordre dans la profession, à la sauvegarde du bon renom du corps médical, ainsi qu'au rétablissement de la confiance des patients. Il a entraîné, pour le recourant, des conséquences financières non négligeables et l'a probablement amené à comprendre qu'il devait adopter un comportement conforme aux exigences de son métier. De telles mesures constituent indéniablement des restrictions importantes à l'exercice de cette activité et, de ce fait, peuvent être apparentées à une sanction disciplinaire, surtout si l'on considère que ces limitations sont en vigueur depuis plus de six ans et demi.
3.2.4 Tout bien considéré, il y a lieu de retenir que la mesure de retrait total de deux ans, sous déduction de onze mois déjà exécutés, s'avère disproportionnée à l'ensemble des circonstances du cas concret. Car l'autorité intimée a omis de tenir compte, sous l'angle de l'examen du principe de la proportionnalité, également des effets et de la longue durée des restrictions apportées le 4 mai 1998 à l'exercice de la profession du recourant. Il appartient ainsi aux autorités cantonales de prononcer à l'égard du recourant une mesure disciplinaire qui prend en considération également ces éléments.
3.2.4 Tout bien considéré, il y a lieu de retenir que la mesure de retrait total de deux ans, sous déduction de onze mois déjà exécutés, s'avère disproportionnée à l'ensemble des circonstances du cas concret. Car l'autorité intimée a omis de tenir compte, sous l'angle de l'examen du principe de la proportionnalité, également des effets et de la longue durée des restrictions apportées le 4 mai 1998 à l'exercice de la profession du recourant. Il appartient ainsi aux autorités cantonales de prononcer à l'égard du recourant une mesure disciplinaire qui prend en considération également ces éléments.
4. Vu ce qui précède, le recours doit être admis et l'arrêt attaqué annulé. Le canton de Neuchâtel, dont l'intérêt pécuniaire n'est pas en cause, n'a pas à supporter les frais judiciaires (art. 156 al. 2 OJ). En revanche, il doit verser au recourant une indemnité à titre de dépens (art. 159 al. 1 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé.
1. Le recours est admis et l'arrêt attaqué est annulé.
2. Il n'est pas perçu d'émolument judiciaire.
2. Il n'est pas perçu d'émolument judiciaire.
3. L'Etat de Neuchâtel versera au recourant une indemnité de 3'000 fr. à titre de dépens.
3. L'Etat de Neuchâtel versera au recourant une indemnité de 3'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie au mandataire du recourant, au Département de la justice, de la santé et de la sécurité ainsi qu'au Tribunal administratif du canton de Neuchâtel.
Lausanne, le 7 février 2005
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: