Faits: A. X._ a commencé un stage de notaire dans le canton du Jura à partir du 1er novembre 2003. Après un premier échec, il a réussi la première partie des examens de notaire au printemps 2005. Il s'est ensuite présenté à la deuxième partie des examens à trois reprises, soit lors des sessions du printemps 2007, printemps 2008 et printemps 2009, où il a chaque fois échoué. Lors de cette dernière session, il a obtenu les notes 4 et 2.5 aux épreuves écrites. Par lettre du 14 mai 2009, la Commission des examens de notaire du canton du Jura lui a communiqué ces notes, en l'informant qu'en vertu de l'art. 14 al. 5 de l'ordonnance sur le stage et les examens de notaire du 22 décembre 1981 (ci-après: l'ordonnance; RSJU 189.211), il ne pouvait plus se présenter aux épreuves orales, puisqu'il n'avait pas obtenu la moyenne de 4. Cela entraînait son élimination définitive, conformément l'art. 15 al. 2 de l'ordonnance. X._ a contesté les deux notes qui lui avaient été attribuées par lettre du 28 mai 2009. La Commission des examens de notaire a transmis ce courrier au Gouvernement jurassien, qui l'a lui-même envoyé à la Chambre administrative du Tribunal cantonal du canton du Jura comme étant l'objet de sa compétence. Le 11 juillet 2009, l'intéressé a précisé que son courrier du 28 mai 2009 constituait un recours "à titre préventif". La Commission s'est déterminée le 26 août 2009 et a produit le procès-verbal de sa séance du 14 mai 2009. Un délai au 22 septembre 2009 a alors été imparti au recourant pour prendre position sur les déterminations de l'intimée. Par mémoire du 22 septembre 2009, X._ a déposé un "recours contre la décision du 14 mai 2009 et la prise de position du 26 août 2009 de la Commission des examens de notaire". Le 5 octobre 2009, il a encore adressé au Tribunal cantonal un "recours corrigé et complété au moyen des références légales et bibliographiques" puis, les 4 et 5 janvier 2010, des remarques finales et corrections. B. Par arrêt du 6 septembre 2010, le Tribunal cantonal a rejeté le recours de X._, avec suite de frais. Il a tout d'abord retenu que la cause relevait de sa compétence en vertu des 162 et 239a du code de procédure administrative du canton du Jura (Cpa), applicables depuis le 1er janvier 2009 en vertu de l'art. 86 al. 2 LTF, et que le litige ne pouvait porter que sur le résultat des épreuves d'examen, de sorte qu'il y avait lieu de déclarer irrecevables les conclusions et griefs du recourant sortant de ce cadre. Il a estimé en outre qu'il n'y avait pas lieu de prendre en compte le recours du 5 octobre 2009, déposé hors délai et ne contenant aucun moyen décisif. Sur le fond, la juridiction cantonale a limité son pouvoir d'examen à l'arbitraire, dès lors qu'elle n'avait pas à substituer son appréciation à celle des examinateurs. Elle a toutefois analysé en détail la façon dont l'intéressé avait traité les cas lors de ses examens et en a déduit que les notes qui lui avaient été attribuées (4 pour le cas no 1 et 2.5 pour le cas n° 2) étaient justifiées. C. X._ forme un recours constitutionnel subsidiaire et demande au Tribunal fédéral de: " 1. annuler l'arrêt du 6 septembre 2010 de la Chambre administrative du Tribunal cantonal (...) en raison de la violation du délai de l'art. 121 al. 1 Cpa, des art. 86 et 87 Cpa; 2. à titre subsidiaire, annuler la décision rendue et la renvoyer à l'intimé avec des instructions impératives; 3. statuer sur le fond, à savoir les motifs invoqués par le recourant à propos de la violation des droits constitutionnels dans l'application du droit fédéral et cantonal, en particulier de la légalité et de l'égalité, y compris l'excès et l'abus du pouvoir d'appréciation et la constatation inexacte ou incomplète de faits pertinents; 4. réformer l'arrêt et la décision du 14 mai 2009 en fonction des conclusions déposées auprès de la Chambre administrative dans le mémoire de recours du 5 octobre 2009, subsidiairement dans le mémoire du 22 septembre 2009; 5. à défaut, ordonner la réouverture de la procédure et le réexamen du recours sur la base du mémoire déposé le 5 octobre 2009, subsidiairement du mémoire déposé le 22 septembre 2009; 6. sous suite des frais." Le Tribunal cantonal conclut au rejet du recours dans la mesure où il est recevable et à la confirmation de son arrêt. Au terme de ses déterminations, la Commission des examens de notaire conclut, sous suite de frais et dépens, également au rejet du recours dans la mesure où il est recevable.