Faits: A. Le 24 mars 2010, le Département de la Santé, des Affaires sociales et des ressources humaines du canton du Jura (ci-après le Département) a interdit avec effet immédiat et de manière définitive au Dr X._ de pratiquer la médecine à titre indépendant pour tout le champ d'activité et lui a retiré l'autorisation d'exercer la médecine à titre indépendant sur le territoire de la République et Canton du Jura. Cette décision a été confirmée sur opposition le 22 avril 2010, le Département ayant par ailleurs retiré l'effet suspensif à un éventuel recours. Cette décision se fonde sur des faits relatés par Y._, une patiente de X._. Il en ressort que le médecin avait une attitude générale inadéquate envers ses patients (tutoiements, embrassades spontanées, entretiens téléphoniques relatifs à des patients et traitement de dossiers de ceux-ci en présence d'autres patients, commentaires désobligeants envers des patients et des confrères). X._ avait en outre commis des actes à connotation sexuelle à l'encontre de Y._ alors qu'elle était en proie à des difficultés psychiques (il l'avait déshabillée, caressée, tenté de l'embrasser sur la bouche, avait porté sa main sur son sexe, montré celui-ci et lui avait déclaré à réitérées reprises qu'elle l'excitait). Il a aussi été retenu que le médecin s'était déjà vu interdire la pratique de la médecine en France du 1er septembre 2007 au 31 août 2010 et qu'il avait fait l'objet d'un avertissement de la part du Département le 8 juillet 2008. A l'encontre de la décision sur opposition du 22 avril 2010, X._ a déposé un recours auprès du Tribunal cantonal jurassien. B. Par décision présidentielle du 9 juillet 2010, le Tribunal cantonal a rejeté la demande tendant à la restitution de l'effet suspensif formée par X._ et a suspendu la procédure contre la décision du 22 avril 2010 jusqu'à droit connu dans la procédure pénale dirigée contre le recourant. En sus des éléments ressortant de la décision sur opposition, il a retenu que X._ était au bénéfice d'une autorisation extraordinaire d'exercer la médecine dans le canton du Jura depuis le 20 mars 2008 et que le Département l'avait averti qu'au vu de son cas particulier, il serait vigilant, notamment sur le respect du secret professionnel, toute infraction pouvant être considérée comme une récidive et entraîner le retrait du droit de pratiquer. En outre, le 8 juillet 2008, le médecin s'était vu infliger un avertissement à la suite de plaintes de confrères concernant son comportement, ce qui ne l'avait pas empêché de donner ultérieurement à des confrères le nom de certains patients; d'autres patients s'étaient aussi plaints de son comportement considéré comme indigne à leur égard; enfin, il avait été exclu du service des gardes de la Société médicale du canton du Jura à la suite de divers problèmes déontologiques. Sur la base de ces éléments, le Tribunal cantonal a considéré que l'intérêt public à la suspension du recourant durant la procédure était manifeste et l'emportait sur l'intérêt privé du médecin à poursuivre ses activités, quand bien même cette mesure l'affectait de manière importante. C. X._ forme un recours en matière de droit public auprès du Tribunal fédéral et conclut à l'annulation de la décision du 9 juillet 2010 et à la restitution de l'effet suspensif au recours de droit administratif déposé le 28 avril 2010 contre la décision sur opposition du Département du 22 avril 2010. Le recourant demande également que l'effet suspensif soit accordé à son recours devant le Tribunal fédéral. Au terme de ses observations, le Tribunal cantonal conclut au rejet du recours et déclare ne pas s'opposer à l'octroi de l'effet suspensif au recours devant le Tribunal fédéral. Le Département propose de rejeter le recours, de confirmer la décision attaquée et, principalement de déclarer irrecevable la requête d'effet suspensif, subsidiairement de la rejeter.