Faits :
A.
X._ est un citoyen français pratiquant la médecine en tant qu'indépendant dans la République et canton du Jura.
Fondé sur les antécédents de l'intéressé (notamment une interdiction de pratiquer la médecine en France) et les déclarations d'une patiente, selon laquelle X._ aurait commis à son égard et à réitérées reprises différents gestes à caractère sexuel alors même qu'elle était en proie à des difficultés psychiques, le Département de la santé, des affaires sociales et des ressources humaines de la République et canton du Jura (ci-après: le Département), par décision du 24 mars 2010, a interdit définitivement à l'intéressé de pratiquer la médecine à titre indépendant pour tout champ d'activité avec effet immédiat. Il lui a en outre retiré l'autorisation d'exercer la médecine à titre indépendant sur le territoire de la République et canton du Jura, à titre définitif et avec effet immédiat. Cette décision a été confirmée sur opposition le 22 avril 2010. Le Département a retiré l'effet suspensif à un éventuel recours. Le président de la Chambre administrative du Tribunal cantonal, par décision du 9 juillet 2010, a rejeté la demande tendant à la restitution de l'effet suspensif au recours formé par l'intéressé contre la décision sur opposition du 22 avril 2010 et suspendu la procédure consécutive à ce recours jusqu'à droit connu dans la procédure pénale ouverte contre le médecin. Par arrêt du 8 septembre 2010, le Tribunal fédéral a rejeté le recours formé par X._ contre la décision du 9 juillet 2010 (arrêt 2C_631/2010).
Par jugement du 3 juin 2013, X._ a été libéré de la prévention d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, éventuellement abus de détresse. Il a été déclaré coupable d'infractions à la loi sanitaire jurassienne du 14 décembre 1990 (RSJU 810.01) et à l'ordonnance jurassienne du 2 octobre 2007 concernant l'exercice des professions de médecin, de dentiste, de chiropraticien et de vétérinaire (RSJU 811.111), par le fait de n'avoir pas remis à certains de ses patients leur dossier médical à la fermeture de son cabinet et par le fait d'avoir émis des ordonnances à souche alors que le retrait de son autorisation d'exercer avait déjà été prononcé. Il a été condamné à une contravention de 500 fr.
Le 19 juin 2013, l'intéressé a présenté une nouvelle demande de restitution de l'effet suspensif qui a été admise par le président de la Cour administrative du Tribunal cantonal le 11 juillet 2013. Il a ouvert un nouveau cabinet médical le 1 er novembre 2013. Par arrêt du 16 janvier 2014, la Cour administrative du Tribunal cantonal (ci-après: le Tribunal cantonal) a admis le recours, annulé la décision sur opposition et renvoyé le dossier au Département pour complément d'instruction et nouvelle décision au sens des considérants.
B.
Le 9 septembre 2014, X._ a introduit action contre la République et canton du Jura tendant à ce que cette dernière soit condamnée à lui verser un montant de 685'472 fr., avec intérêts à 5% l'an dès le 1 er janvier 2012, à titre de réparation du dommage et un montant de 84'375 fr., avec intérêt à 5% l'an à partir du 22 avril 2010, à titre d'indemnité pour la réparation du tort moral.
Par arrêt du 23 septembre 2015, le Tribunal cantonal a rejeté la demande de X._, considérant en substance que, faute d'acte illicite, aucune réparation fondée sur le droit cantonal ne se justifiait. Il a en outre exclu un cas d'inégalité de traitement.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 23 septembre 2015 et de renvoyer la cause à celui-ci pour qu'il statue sur sa prétention. Il se plaint de violations du principe de la présomption d'innocence, de sa liberté économique et du droit cantonal.
Le Tribunal cantonal et la République et canton du Jura concluent tous deux au rejet du recours. X._ s'est encore déterminé dans des observations finales.

Considérant en droit :
1.
Le litige porte sur la responsabilité de la République et canton du Jura à l'égard du recourant en vertu de la législation jurassienne (l'autorité précédente a laissé la question ouverte de savoir s'il convenait d'appliquer l'ancienne loi jurassienne du 26 octobre 1978 sur le statut des magistrats, fonctionnaires et employés de la République et Canton du Jura [aLStMF/JU; abrogée au 31 décembre 2010] ou la loi du 22 septembre 2010 sur le personnel de l'Etat [LPer/JU; RSJU 173.11], les deux lois aboutissant selon elle au même résultat). Il relève donc du droit public et l'arrêt attaqué peut en principe faire l'objet d'un recours en matière de droit public au Tribunal fédéral (cf. <ref-law>). L'arrêt entrepris, qui déboute le demandeur de son action en responsabilité, est une décision finale rendue par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF et <ref-law>). Le recourant est légitimé à agir sur la base de l'<ref-law>. Déposé en temps utile (cf. <ref-law>) et dans les formes requises (cf. <ref-law>), le recours en matière de droit public est également recevable au regard de l'<ref-law>, dès lors que la valeur limite de 30'000 fr. exigée dans le domaine de la responsabilité étatique est largement dépassée.
2.
2.1. Le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Cependant, il ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant, selon le principe d'allégation (<ref-law>; <ref-ruling> consid. 3.3 p. 310 s.; <ref-ruling> consid. 3.2 p. 88). En revanche, sauf dans les cas cités expressément à l'<ref-law>, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal en tant que tel. Néanmoins, il est possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
En l'occurrence, et même si le recourant affirme que les faits tels qu'exposés dans la partie " En fait " de l'arrêt attaqué sont corrects, en tant que celui-ci avance des éléments de fait ne ressortant pas de l'arrêt attaqué, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, il n'en sera pas tenu compte.
3.
3.1. En droit jurassien, comme en droit fédéral d'ailleurs (cf. arrêt 2C_397/2012 du 19 novembre 2012 consid. 3.3 et les références citées), la responsabilité de l'Etat est engagée lorsque la preuve d'un dommage se trouvant dans un rapport de causalité adéquate avec un acte illicite commis par une autorité, un magistrat ou un fonctionnaire et apportée par le tiers lésé. Celui-ci n'a pas besoin d'établir l'existence d'une faute.
Le Tribunal cantonal a limité son examen à la question de l'illicéité. Appliquant les dispositions légales et la jurisprudence cantonales, il a tout d'abord rappelé que lorsque le dommage consiste en une atteinte au patrimoine, l'illicéité suppose que l'auteur ait violé une norme de comportement. Il a ajouté qu'en droit jurassien, l'art. 12 de la loi du 14 mars 1958 sur la responsabilité de la Confédération, des membres de ses autorités et de ses fonctionnaires (LRCF; RS 170.32) s'appliquait par analogie, c'est-à-dire que la légalité des décisions, d'arrêtés et de jugements ayant force de chose jugée ne peut pas être revue dans une procédure en responsabilité, relevant néanmoins que cette disposition de droit fédéral n'était pas applicable aux cas de responsabilité en cas de refus d'effet suspensif. L'art. 99 al. 3 de la loi jurassienne du 30 novembre 1978 de procédure et de juridiction administrative et constitutionnelle (Cpa/JU; RSJU 175.1) dispose que si l'effet suspensif est arbitrairement retiré ou la demande de restitution arbitrairement rejetée ou tardivement admise, la collectivité, l'établissement ou la personne au nom desquels l'autorité a statué répond du préjudice qui en résulte. En ce sens, la République et canton du Jura traite les cas de responsabilité de l'Etat fondés sur des décisions de retrait de l'effet suspensif de la même manière qu'en droit fédéral (cf. <ref-law> [RS 172.021]). Fondé sur ces considérations, le Tribunal cantonal a en particulier jugé que l'on ne saurait considérer que la décision de retrait de l'effet suspensif du 22 avril 2010 (en dernier lieu confirmée par le Tribunal fédéral le 8 septembre 2010), respectivement le refus de sa restitution soit arbitraire au point de constituer un acte illicite justifiant une réparation fondée sur l'art. 99 al. 3 Cpa/JU. L'autorité précédente a encore écarté un grief de violation de l'égalité de traitement.
3.2. En l'espèce, l'objet de la contestation est limité au rejet de l'action en dommages-intérêts déposée par le recourant auprès du Tribunal cantonal (cf. arrêts 2C_319/2009 du 26 janvier 2010 consid. 2.2, non publié in <ref-ruling>; 2D_144/2008 du 23 mars 2009 consid. 3 et 2C_669/2008 du 8 décembre 2008 consid. 4.1 et les références citées). Le litige, délimité par les conclusions des parties (cf. <ref-law>), porte sur le point de savoir si c'est à tort que l'action en dommages-intérêts a été rejetée par le Tribunal cantonal en raison de l'absence d'illicéité de la décision de retrait de l'effet suspensif du 22 avril 2010, confirmée en dernier lieu par le Tribunal fédéral. En tant que le recourant invoque une violation du principe de la présomption d'innocence au sens de l'art. 6 CEDH et 32 Cst. par "l'autorité disciplinaire", il faut comprendre qu'il cherche en réalité à faire constater le caractère arbitraire du retrait de l'effet suspensif au sens de l'art. 99 al. 3 Cpa/JU.
4.
4.1. En l'espèce, comme on l'a vu précédemment, le litige porte sur le caractère illicite d'une décision de retrait de l'effet suspensif prévu par les art. 27 ss aLStMF/JU (qui contiennent un renvoi aux <ref-law> en tant que droit cantonal supplétif) ou par les art. 63 ss LPer/JU (qui contiennent également un renvoi aux <ref-law> en tant que droit cantonal supplétif) et de l'art. 99 al. 3 Cpa/JU, trois lois cantonales. Partant, la cognition du Tribunal fédéral est limitée aux griefs constitutionnels du recourant qui répondent aux exigences de l'<ref-law> (cf. consid. 2.1 ci-dessus; <ref-ruling> consid. 1.2 p. 382 s.; arrêt 2C_449/2013 du 21 février 2014 consid. 1.2).
4.2. En citant l'art. 27 Cst., le recourant invoque une violation de sa liberté économique. Sa seule explication est que " dans la mesure où la décision de retrait de l'autorisation de pratiquer (a) été annulée, il a été privé de manière injustifiée de son activité professionnelle, soit l'obtention de revenus durant une longue période ".
Il est fort douteux que cette motivation remplisse les conditions de l'<ref-law>. Quand bien même il faudrait entrer en matière, force serait de constater que l'arrêt entrepris ne viole pas la liberté économique du recourant. Invocable tant par les personnes physiques que morales, la liberté économique (art. 27 Cst.) protège toute activité économique privée, exercée à titre professionnel et tendant à la production d'un gain ou d'un revenu (<ref-ruling> consid. 6.3 p. 229 s.; <ref-ruling> consid. 3.1 p. 172; <ref-ruling> consid. 4.2 p. 135). Elle comprend notamment le libre choix de la profession, le libre accès à une activité économique lucrative privée et son libre exercice (art. 27 al. 2 Cst.). En rejetant l'action du recourant tendant au paiement de dommages-intérêts, le Tribunal cantonal n'a nullement limité celui-ci dans son activité économique. Le recourant critique en réalité bien plus la limitation de son activité économique intervenue suite au prononcé du retrait de l'effet suspensif au recours contre la décision lui retirant son droit de pratiquer la mé decine. On lui signalera cependant que le Tribunal fédéral a déjà statué sur cette question dans la procédure relative à l'effet suspensif, jugeant que s'il y avait bien une restriction de la liberté économique, celle-ci était en l'occurrence proportionnée au vu de l'intérêt public prépondérant en cause (arrêt 2C_631/2010 précité consid. 4.2). Le recours, en tant qu'il porte sur une violation de l'art. 27 Cst., doit être rejeté, dans la mesure où il est recevable.
4.3. Au surplus, le recourant ne conteste pas directement l'application faite par l'autorité précédente du droit cantonal précité (cf. consid. 4.1 ci-dessus). Il n'invoque en particulier pas l'arbitraire. Pour cette raison, et pour autant qu'il ait souhaité contester l'application des dispositions cantonales, son recours doit être déclaré irrecevable. Quand bien même il conviendrait ici aussi d'entrer en matière et d'examiner le caractère arbitraire de l'arrêt entrepris, force serait de constater que celui-ci est pleinement soutenable. En effet, c'est sans arbitraire que l'autorité précédente a considéré qu'au vu de la situation du recourant en 2010, c'est-à-dire le fait qu'il ait été dénoncé par l'une de ses patientes, mais surtout qu'il ait déjà été sous le coup d'un avertissement et d'une interdiction d'exercer en France, il n'était pas arbitraire de retirer l'effet suspensif à la décision lui interdisant d'exercer la médecine. Le Tribunal fédéral a d'ailleurs lui-même déjà considéré que si le refus de restituer l'effet suspensif avait des conséquences très graves pour le recourant, cette décision ne paraissait pas injustifiée, compte tenu des nombreux manquements révélés par le dossier et survenus alors que le médecin était déjà sous le coup d'un avertissement et d'une interdiction d'exercer dans un autre pays.
Sur le vu de ce qui précède, c'est sans arbitraire que le Tribunal cantonal a appliqué les dispositions légales cantonales. Le recours doit par conséquent également être rejeté sur ce point, dans la mesure où il est recevable.
5.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 12'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la République et canton du Jura et au Tribunal cantonal de la République et canton du Jura, Cour administrative.
Lausanne, le 25 avril 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette