Faits:
A. Le 24 mars 2010, le Département de la Santé, des Affaires sociales et des ressources humaines du canton du Jura (ci-après le Département) a interdit avec effet immédiat et de manière définitive au Dr X._ de pratiquer la médecine à titre indépendant pour tout le champ d'activité et lui a retiré l'autorisation d'exercer la médecine à titre indépendant sur le territoire de la République et Canton du Jura. Cette décision a été confirmée sur opposition le 22 avril 2010, le Département ayant par ailleurs retiré l'effet suspensif à un éventuel recours.
Cette décision se fonde sur des faits relatés par Y._, une patiente de X._. Il en ressort que le médecin avait une attitude générale inadéquate envers ses patients (tutoiements, embrassades spontanées, entretiens téléphoniques relatifs à des patients et traitement de dossiers de ceux-ci en présence d'autres patients, commentaires désobligeants envers des patients et des confrères). X._ avait en outre commis des actes à connotation sexuelle à l'encontre de Y._ alors qu'elle était en proie à des difficultés psychiques (il l'avait déshabillée, caressée, tenté de l'embrasser sur la bouche, avait porté sa main sur son sexe, montré celui-ci et lui avait déclaré à réitérées reprises qu'elle l'excitait). Il a aussi été retenu que le médecin s'était déjà vu interdire la pratique de la médecine en France du 1er septembre 2007 au 31 août 2010 et qu'il avait fait l'objet d'un avertissement de la part du Département le 8 juillet 2008.
A l'encontre de la décision sur opposition du 22 avril 2010, X._ a déposé un recours auprès du Tribunal cantonal jurassien.
B. Par décision présidentielle du 9 juillet 2010, le Tribunal cantonal a rejeté la demande tendant à la restitution de l'effet suspensif formée par X._ et a suspendu la procédure contre la décision du 22 avril 2010 jusqu'à droit connu dans la procédure pénale dirigée contre le recourant. En sus des éléments ressortant de la décision sur opposition, il a retenu que X._ était au bénéfice d'une autorisation extraordinaire d'exercer la médecine dans le canton du Jura depuis le 20 mars 2008 et que le Département l'avait averti qu'au vu de son cas particulier, il serait vigilant, notamment sur le respect du secret professionnel, toute infraction pouvant être considérée comme une récidive et entraîner le retrait du droit de pratiquer. En outre, le 8 juillet 2008, le médecin s'était vu infliger un avertissement à la suite de plaintes de confrères concernant son comportement, ce qui ne l'avait pas empêché de donner ultérieurement à des confrères le nom de certains patients; d'autres patients s'étaient aussi plaints de son comportement considéré comme indigne à leur égard; enfin, il avait été exclu du service des gardes de la Société médicale du canton du Jura à la suite de divers problèmes déontologiques. Sur la base de ces éléments, le Tribunal cantonal a considéré que l'intérêt public à la suspension du recourant durant la procédure était manifeste et l'emportait sur l'intérêt privé du médecin à poursuivre ses activités, quand bien même cette mesure l'affectait de manière importante.
C. X._ forme un recours en matière de droit public auprès du Tribunal fédéral et conclut à l'annulation de la décision du 9 juillet 2010 et à la restitution de l'effet suspensif au recours de droit administratif déposé le 28 avril 2010 contre la décision sur opposition du Département du 22 avril 2010. Le recourant demande également que l'effet suspensif soit accordé à son recours devant le Tribunal fédéral.
Au terme de ses observations, le Tribunal cantonal conclut au rejet du recours et déclare ne pas s'opposer à l'octroi de l'effet suspensif au recours devant le Tribunal fédéral. Le Département propose de rejeter le recours, de confirmer la décision attaquée et, principalement de déclarer irrecevable la requête d'effet suspensif, subsidiairement de la rejeter.

Considérant en droit:
1. La décision attaquée, rendue par le Président de la Chambre administrative du Tribunal cantonal (ci-après: le Président), émane d'une autorité cantonale supérieure (cf. arrêt 1C_434/2009 du 1er mars 2010 consid. 4.2) statuant en dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) et concerne une matière qui ne tombe pas sous le coup d'une des exceptions de l'<ref-law>. Le recours en matière de droit public est donc a priori ouvert.
Comme elle porte sur l'effet suspensif et la suspension de la procédure, la décision attaquée n'est toutefois pas une décision finale (<ref-law>), mais une décision incidente, qui ne peut faire l'objet d'un recours qu'aux conditions de l'<ref-law>. S'agissant plus particulièrement de l'effet suspensif, il faut que l'acte attaqué puisse causer un préjudice irréparable au recourant (<ref-law>). Il appartient à ce dernier d'alléguer et d'établir que la décision préjudicielle ou incidente lui cause un tel préjudice (<ref-ruling> consid. 1.2 p. 429), à moins que celui-ci ne fasse d'emblée aucun doute (arrêt 8C_473/2009 du 3 août 2009 consid. 4.3.2, in SJ 2010 p. 37). Bien que le recourant ne présente aucune motivation à ce sujet, la recevabilité du recours doit être admise sous cet angle, dès lors que la décision entreprise, qui a pour effet d'interdire au recourant avec effet immédiat d'exercer sa profession pendant toute la durée de la procédure, lui cause à l'évidence un préjudice irréparable (sur cette notion, cf. <ref-ruling> consid. 1.2.1 p. 170). Partant, il y a lieu d'entrer en matière sur le recours.
2. Dès lors que la décision attaquée porte sur des mesures provisionnelles seule peut être invoquée la violation de droits constitutionnels (<ref-law>). En cette matière, le recours est soumis à des exigences de motivation accrues (cf. <ref-law>). Ainsi, le Tribunal fédéral n'examine pas le droit d'office, mais uniquement si le moyen tiré de la violation des droits constitutionnels est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 3.2 p. 88 et les arrêts cités).
3. Le recourant invoque la violation de son droit d'être entendu garanti par l'art. 29 al. 2 Cst. Il reproche en substance à l'autorité judiciaire d'avoir pris en compte des documents en vue d'illustrer les problèmes rencontrés avec d'autres patients et de s'être fondée sur des déclarations faites dans le cadre de la procédure pénale, alors qu'il n'avait pas été entendu à ce sujet. En outre, il soutient que le Président a arbitrairement refusé de donner suite à ses offres de preuves, consistant dans une expertise de crédibilité des déclarations de Y._.
3.1 En raison du caractère formel du droit d'être entendu, il convient d'examiner ce grief en premier lieu (cf. <ref-ruling> consid. 5.1 p. 390). Le recourant ne se plaignant pas de la violation de règles du droit cantonal de procédure régissant le droit d'être entendu, son grief sera examiné exclusivement à la lumière de l'art. 29 al. 2 Constitution (<ref-ruling> consid. 2a p. 16 et les arrêts cités).
3.2 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de prendre connaissance du dossier (<ref-ruling> consid. 2b p. 10), de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282; <ref-ruling> consid. 3.1 p. 277).
Il faut toutefois préciser que l'art. 29 al. 2 Cst. n'a, dans le cadre d'une procédure concernant des mesures provisoires, pas la même portée que s'agissant de la procédure au fond (arrêt 2P.103/2006 du 29 mai 2006 consid. 3.1). Ainsi, les décisions judiciaires concernant l'effet suspensif doivent par nature être rendues rapidement et sans de longues investigations complémentaires. L'autorité qui statue peut, sauf circonstances spécifiques, se dispenser d'entendre de manière détaillée les intéressés ou de procéder à un second échange d'écritures. Le droit d'être entendu du requérant est en principe déjà garanti par le dépôt de sa demande (cf. arrêt 2A.619/2002 du 10 mars 2003 consid. 3 non publié in <ref-ruling>; arrêt 2D_40/2008 du 19 mai 2008 consid. 2.3).
3.3 En l'espèce, le recourant, à l'appui de sa demande de restitution de l'effet suspensif sur le plan cantonal formée le 28 avril 2010, a pu expliquer en quoi il contestait les actes qui lui étaient reprochés par sa patiente. Dans sa réponse sur effet suspensif du 11 mai 2010, le Département a indiqué que les manquements retenus à la charge du recourant ne ressortaient pas seulement des déclarations de Y._, mais aussi d'autres plaintes; il a également mentionné l'ouverture d'une enquête pénale à l'encontre du médecin. Le recourant a pu se déterminer au sujet des observations du Département le 27 mai 2010 et a encore transmis au Tribunal cantonal une écriture supplémentaire le 11 juin 2010 dont il a été tenu compte. Il en découle que le recourant ne peut être suivi lorsqu'il soutient qu'il n'a pas pu se déterminer au sujet des plaintes formulées par d'autres patients et collègues concernant son comportement, citées par le Département le 27 mai 2010. Quant aux actes d'instruction accomplis sur le plan pénal, évoqués dans la décision attaquée et dont le recourant soutient qu'il en ignorait l'existence, il convient de relever que celui-ci savait qu'une procédure pénale avait été ouverte, puisqu'il a lui-même demandé la suspension de la procédure administrative jusqu'à droit jugé au pénal. En outre, le 18 mai 2010, le recourant a reçu copie de l'ordonnance présidentielle par laquelle l'édition du dossier pénal était requise, de sorte qu'il lui était loisible de demander à consulter ce dossier, ce qu'il n'a pas fait. Au demeurant, le Tribunal cantonal n'a pas tiré d'éléments nouveaux de la procédure pénale, mais n'a fait que l'utiliser pour confirmer la vraisemblance des actes reprochés au recourant par Y._, puisque le médecin les niait. Enfin, sous l'angle de l'art. 29 al. 2 Cst., on ne saurait reprocher à la juridiction cantonale, de ne pas avoir ordonné l'expertise de la patiente précitée et attendu son résultat avant de statuer sur la demande de restitution de l'effet suspensif, alors que les déclarations de celle-ci étaient corroborées par d'autres éléments. Partant, le grief de violation du droit d'être entendu n'est pas fondé et doit être rejeté.
4. Le recourant se plaint également d'une violation de sa liberté économique (art. 27 Cst.), qualifiant la mesure de restriction disproportionnée et injustifiée, car elle a pour effet de l'empêcher de travailler pendant de très nombreux mois, puisqu'aucune décision sur le fond ne sera rendue jusqu'à droit connu au pénal.
4.1 Il est indéniable que la décision attaquée porte atteinte à la liberté économique du recourant, puisqu'elle l'empêche d'exercer sa profession pendant toute la durée de la procédure administrative. Toutefois, comme tout droit fondamental, la liberté économique peut être restreinte, pour autant qu'une telle restriction soit fondée sur une base légale, repose sur un intérêt public ou sur la protection d'un droit fondamental d'autrui et soit proportionnée au but visé (cf. art. 36 Cst.; <ref-ruling> consid. 4.1 p. 230 et consid. 4.3 p. 232 et les arrêts cités).
4.2 Il ressort de l'art. 34 de la loi fédérale du 23 juin 2006 sur les professions médicales universitaires (LPMéd; RS 811.11) que l'exercice d'une profession médicale universitaire à titre indépendant requiert une autorisation du canton sur le territoire duquel la profession médicale est exercée. L'art. 43 al. 1 let. e LPMéd prévoit qu'en cas de violation des devoirs professionnels, des dispositions de la loi ou de ses dispositions d'exécution, l'autorité de surveillance peut notamment prononcer une interdiction définitive de pratiquer à titre indépendant pour tout ou partie du champ d'activité. Pendant la procédure disciplinaire, l'autorité de surveillance peut restreindre l'autorisation de pratiquer, l'assortir de charges ou la retirer (<ref-law>). La décision attaquée, par laquelle le Tribunal cantonal a refusé de restituer l'effet suspensif à la procédure de recours levée par le Département repose donc sur une base légale.
Compte tenu des actes reprochés au recourant, tant sur le plan sexuel que s'agissant de son comportement général avec les patients et du respect du secret professionnel, la mesure prise à titre provisionnel repose sur un intérêt public évident.
Reste la question de la proportionnalité, qui suppose d'examiner l'ensemble des circonstances. A cet égard, il faut retenir que les faits reprochés au recourant, confirmés par d'autres sources que les seules déclarations d'une patiente, sont particulièrement graves. En outre, les antécédents du médecin sont défavorables puisque ce dernier, lorsqu'il a obtenu l'autorisation de pratiquer la médecine dans le canton de Jura en mars 2008, était déjà sous le coup d'une interdiction de pratiquer la médecine en France qui arrivait à expiration le 31 août 2010. Il avait alors été averti que toute infraction pourrait être considérée comme une récidive et entraîner le retrait du droit de pratiquer. Malgré cela, il s'est vu infliger un avertissement en juillet 2008, ce qui ne l'a pas empêché de commettre de nouvelles violations du secret professionnel. Il a également été exclu du Service des gardes de nuits en raison de problèmes déontologiques. Dans un tel contexte, on ne voit pas que le Tribunal cantonal ait violé le principe de la proportionnalité en considérant que l'intérêt public à l'application immédiate de la décision de retrait de l'autorisation de pratiquer l'emportait sur l'intérêt privé du recourant à continuer à exercer la médecine. Certes, le refus de restituer l'effet suspensif a des conséquences très graves pour le recourant, mais cette décision ne paraît pas injustifiée, compte tenu des nombreux manquements révélés par le dossier survenus alors que le médecin était déjà sous le coup d'un avertissement et d'une interdiction d'exercer dans un autre pays.
Il faut d'ailleurs souligner que le recourant adopte une attitude ambigüe: d'une part, il se plaint du fait que le refus de restituer l'effet suspensif risque d'entraîner un empêchement de travailler pendant plusieurs années et, d'autre part, il ne fait rien pour accélérer la procédure, dès lors qu'il en a lui-même demandé la suspension jusqu'à droit jugé au pénal.
Le grief découlant d'une violation de la liberté économique est donc infondé.
5. Dans un dernier moyen, le recourant soulève une violation de sa présomption d'innocence garantie par l'art. 6 CEDH. Il soutient en substance que la décision en cause, de nature punitive, revient à le tenir pour coupable, alors qu'une procédure pénale est en cours, dans laquelle il est présumé innocent.
5.1 Selon la jurisprudence, l'art. 6 CEDH n'est pas applicable s'agissant de mesures provisionnelles (arrêt 2A.501/1995 du 27 novembre 1995 consid. 2b/bb), en particulier en matière d'octroi ou du refus de l'effet suspensif (arrêt 5P.461/2006 du 16 janvier 2007 consid. 3), à condition que la mesure garde un caractère purement conservatoire et qu'elle n'ait pas des effets irréversibles (cf. <ref-ruling> consid. 6.2 p. 239; <ref-ruling> consid. 2.3.3 p. 108; arrêt 1P.64/2007 du 29 mai 2007 consid. 3.3 et 3.4 in RDAF 2009 I p. 411, arrêts en relation avec l'art. 6 par. 1 CEDH). Le point de savoir si le recourant peut se prévaloir de l'art. 6 CEDH peut cependant demeurer indécis, dès lors que, de toute façon, le grief est infondé.
5.2 Le principe de la présomption d'innocence interdit notamment qu'une personne soit traitée comme coupable par un membre d'une autorité publique avant que sa culpabilité n'ait été légalement établie par un tribunal compétent (AUER/MALINVERNI/HOTTELIER, Droit constitutionnel suisse, vol. II 2e éd Berne 2006, n. 1358). Il se trouve que les décisions sur effet suspensif n'ont pas pour effet de trancher la cause au fond, mais uniquement de régler les effets de la décision attaquée durant la procédure. La restitution de l'effet suspensif suppose une balance entre l'intérêt public en jeu et l'intérêt privé du destinataire de l'acte attaqué. La décision sur effet suspensif ne préjuge en principe pas de l'issue du litige, celle-ci ne pouvant être prise en considération que si elle n'est pas douteuse (PIERRE MOOR, Droit administratif, vol. II 2e éd. Berne 2002, p. 680 ss; cf. aussi <ref-ruling> consid. 2b p. 191). En l'occurrence, on a vu que la décision attaquée était justifiée par un intérêt public prépondérant qui l'emportait sur celui du praticien à continuer à exercer son activité (cf. supra consid. 4.2). Contrairement à ce qu'affirme le recourant, le refus de restituer l'effet suspensif n'a pas de caractère punitif, mais préventif et limité à la durée de la procédure; il ne signifie nullement que le recourant est considéré comme coupable des actes d'ordre sexuel que lui reproche sa patiente et qui font l'objet de la procédure pénale pendante. Du reste, la décision attaquée ne se fonde pas uniquement sur son comportement à l'encontre de Y._, mais aussi sur son attitude inappropriée envers d'autres patients et collègues, ainsi que sur ses antécédents. La décision attaquée ne viole donc pas l'art. 6 par. 2 CEDH, à supposer que cette disposition soit applicable.
6. Dans ces circonstances, le recours doit être rejeté. Par conséquent, la demande d'effet suspensif présentée par le recourant pour la procédure devant le Tribunal fédéral devient sans objet.
7. Compte tenu de l'issue du litige, les frais seront mis à la charge du recourant, qui succombe (<ref-law>). Il ne sera pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de la Santé, des Affaires sociales et des Ressources humaines et à la Chambre administrative du Tribunal cantonal de la République et canton du Jura.
Lausanne, le 8 septembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat