Faits : A. X._ est un citoyen français pratiquant la médecine en tant qu'indépendant dans la République et canton du Jura. Fondé sur les antécédents de l'intéressé (notamment une interdiction de pratiquer la médecine en France) et les déclarations d'une patiente, selon laquelle X._ aurait commis à son égard et à réitérées reprises différents gestes à caractère sexuel alors même qu'elle était en proie à des difficultés psychiques, le Département de la santé, des affaires sociales et des ressources humaines de la République et canton du Jura (ci-après: le Département), par décision du 24 mars 2010, a interdit définitivement à l'intéressé de pratiquer la médecine à titre indépendant pour tout champ d'activité avec effet immédiat. Il lui a en outre retiré l'autorisation d'exercer la médecine à titre indépendant sur le territoire de la République et canton du Jura, à titre définitif et avec effet immédiat. Cette décision a été confirmée sur opposition le 22 avril 2010. Le Département a retiré l'effet suspensif à un éventuel recours. Le président de la Chambre administrative du Tribunal cantonal, par décision du 9 juillet 2010, a rejeté la demande tendant à la restitution de l'effet suspensif au recours formé par l'intéressé contre la décision sur opposition du 22 avril 2010 et suspendu la procédure consécutive à ce recours jusqu'à droit connu dans la procédure pénale ouverte contre le médecin. Par arrêt du 8 septembre 2010, le Tribunal fédéral a rejeté le recours formé par X._ contre la décision du 9 juillet 2010 (arrêt 2C_631/2010). Par jugement du 3 juin 2013, X._ a été libéré de la prévention d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, éventuellement abus de détresse. Il a été déclaré coupable d'infractions à la loi sanitaire jurassienne du 14 décembre 1990 (RSJU 810.01) et à l'ordonnance jurassienne du 2 octobre 2007 concernant l'exercice des professions de médecin, de dentiste, de chiropraticien et de vétérinaire (RSJU 811.111), par le fait de n'avoir pas remis à certains de ses patients leur dossier médical à la fermeture de son cabinet et par le fait d'avoir émis des ordonnances à souche alors que le retrait de son autorisation d'exercer avait déjà été prononcé. Il a été condamné à une contravention de 500 fr. Le 19 juin 2013, l'intéressé a présenté une nouvelle demande de restitution de l'effet suspensif qui a été admise par le président de la Cour administrative du Tribunal cantonal le 11 juillet 2013. Il a ouvert un nouveau cabinet médical le 1 er novembre 2013. Par arrêt du 16 janvier 2014, la Cour administrative du Tribunal cantonal (ci-après: le Tribunal cantonal) a admis le recours, annulé la décision sur opposition et renvoyé le dossier au Département pour complément d'instruction et nouvelle décision au sens des considérants. B. Le 9 septembre 2014, X._ a introduit action contre la République et canton du Jura tendant à ce que cette dernière soit condamnée à lui verser un montant de 685'472 fr., avec intérêts à 5% l'an dès le 1 er janvier 2012, à titre de réparation du dommage et un montant de 84'375 fr., avec intérêt à 5% l'an à partir du 22 avril 2010, à titre d'indemnité pour la réparation du tort moral. Par arrêt du 23 septembre 2015, le Tribunal cantonal a rejeté la demande de X._, considérant en substance que, faute d'acte illicite, aucune réparation fondée sur le droit cantonal ne se justifiait. Il a en outre exclu un cas d'inégalité de traitement. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 23 septembre 2015 et de renvoyer la cause à celui-ci pour qu'il statue sur sa prétention. Il se plaint de violations du principe de la présomption d'innocence, de sa liberté économique et du droit cantonal. Le Tribunal cantonal et la République et canton du Jura concluent tous deux au rejet du recours. X._ s'est encore déterminé dans des observations finales.