Faits:
A. X._ a commencé un stage de notaire dans le canton du Jura à partir du 1er novembre 2003. Après un premier échec, il a réussi la première partie des examens de notaire au printemps 2005. Il s'est ensuite présenté à la deuxième partie des examens à trois reprises, soit lors des sessions du printemps 2007, printemps 2008 et printemps 2009, où il a chaque fois échoué. Lors de cette dernière session, il a obtenu les notes 4 et 2.5 aux épreuves écrites.
Par lettre du 14 mai 2009, la Commission des examens de notaire du canton du Jura lui a communiqué ces notes, en l'informant qu'en vertu de l'art. 14 al. 5 de l'ordonnance sur le stage et les examens de notaire du 22 décembre 1981 (ci-après: l'ordonnance; RSJU 189.211), il ne pouvait plus se présenter aux épreuves orales, puisqu'il n'avait pas obtenu la moyenne de 4. Cela entraînait son élimination définitive, conformément l'art. 15 al. 2 de l'ordonnance.
X._ a contesté les deux notes qui lui avaient été attribuées par lettre du 28 mai 2009. La Commission des examens de notaire a transmis ce courrier au Gouvernement jurassien, qui l'a lui-même envoyé à la Chambre administrative du Tribunal cantonal du canton du Jura comme étant l'objet de sa compétence. Le 11 juillet 2009, l'intéressé a précisé que son courrier du 28 mai 2009 constituait un recours "à titre préventif". La Commission s'est déterminée le 26 août 2009 et a produit le procès-verbal de sa séance du 14 mai 2009. Un délai au 22 septembre 2009 a alors été imparti au recourant pour prendre position sur les déterminations de l'intimée.
Par mémoire du 22 septembre 2009, X._ a déposé un "recours contre la décision du 14 mai 2009 et la prise de position du 26 août 2009 de la Commission des examens de notaire". Le 5 octobre 2009, il a encore adressé au Tribunal cantonal un "recours corrigé et complété au moyen des références légales et bibliographiques" puis, les 4 et 5 janvier 2010, des remarques finales et corrections.
B. Par arrêt du 6 septembre 2010, le Tribunal cantonal a rejeté le recours de X._, avec suite de frais. Il a tout d'abord retenu que la cause relevait de sa compétence en vertu des 162 et 239a du code de procédure administrative du canton du Jura (Cpa), applicables depuis le 1er janvier 2009 en vertu de l'<ref-law>, et que le litige ne pouvait porter que sur le résultat des épreuves d'examen, de sorte qu'il y avait lieu de déclarer irrecevables les conclusions et griefs du recourant sortant de ce cadre. Il a estimé en outre qu'il n'y avait pas lieu de prendre en compte le recours du 5 octobre 2009, déposé hors délai et ne contenant aucun moyen décisif. Sur le fond, la juridiction cantonale a limité son pouvoir d'examen à l'arbitraire, dès lors qu'elle n'avait pas à substituer son appréciation à celle des examinateurs. Elle a toutefois analysé en détail la façon dont l'intéressé avait traité les cas lors de ses examens et en a déduit que les notes qui lui avaient été attribuées (4 pour le cas no 1 et 2.5 pour le cas n° 2) étaient justifiées.
C. X._ forme un recours constitutionnel subsidiaire et demande au Tribunal fédéral de:
" 1. annuler l'arrêt du 6 septembre 2010 de la Chambre administrative du Tribunal cantonal (...) en raison de la violation du délai de l'art. 121 al. 1 Cpa, des art. 86 et 87 Cpa;
2. à titre subsidiaire, annuler la décision rendue et la renvoyer à l'intimé avec des instructions impératives;
3. statuer sur le fond, à savoir les motifs invoqués par le recourant à propos de la violation des droits constitutionnels dans l'application du droit fédéral et cantonal, en particulier de la légalité et de l'égalité, y compris l'excès et l'abus du pouvoir d'appréciation et la constatation inexacte ou incomplète de faits pertinents;
4. réformer l'arrêt et la décision du 14 mai 2009 en fonction des conclusions déposées auprès de la Chambre administrative dans le mémoire de recours du 5 octobre 2009, subsidiairement dans le mémoire du 22 septembre 2009;
5. à défaut, ordonner la réouverture de la procédure et le réexamen du recours sur la base du mémoire déposé le 5 octobre 2009, subsidiairement du mémoire déposé le 22 septembre 2009;
6. sous suite des frais."
Le Tribunal cantonal conclut au rejet du recours dans la mesure où il est recevable et à la confirmation de son arrêt. Au terme de ses déterminations, la Commission des examens de notaire conclut, sous suite de frais et dépens, également au rejet du recours dans la mesure où il est recevable.

Considérant en droit:
1. Le recourant a déclaré déposer un recours constitutionnel subsidiaire. Cette voie de droit suppose qu'aucun recours selon les art. 72 à 83 LTF ne soit ouvert (cf. <ref-law>), question que le Tribunal fédéral examine d'office et librement (<ref-ruling> consid. 1 p. 3).
1.1 D'après l'art. 83 let. t LTF, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession. Le motif d'irrecevabilité contenu dans cette disposition dépend en principe de la matière et non du grief soulevé (arrêt 2C_762/2009 du 11 février 2010 consid 1.1 et les arrêt cités). L'art. 83 let. t LTF vise ainsi non seulement le résultat d'examens au sens étroit, mais encore toutes les évaluations de capacités qui reposent sur une appréciation des aptitudes intellectuelles ou physiques du candidat (arrêts 2C_438/2008 du 16 octobre 2008 consid. 2.1; 2C_187/2007 du 16 août 2007 consid. 2.1).
En l'espèce, le recours porte sur le résultat de la deuxième partie des examens de notaire et, de manière spécifique, sur les deux notes attribuées au recourant lors des épreuves écrites, entraînant l'élimination définitive du candidat. L'art. 83 let. t LTF est ainsi applicable, ce qui exclut la recevabilité du recours en matière de droit public. Le présent recours doit donc bien être traité comme recours de droit constitutionnel subsidiaire.
1.2 La voie du recours constitutionnel subsidiaire n'est ouverte que pour se plaindre de la violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law> (applicable par renvoi de l'<ref-law>), les griefs y relatifs doivent être invoqués et motivés de façon détaillée, sous peine d'irrecevabilité (<ref-ruling> consid. 2 p. 315, 83 consid 3.2 p. 88). Seuls les griefs du recourant répondant à ces exigences seront donc examinés.
1.3 Le Tribunal fédéral statue sur la base des constatations de fait de l'autorité précédente (<ref-law>). Il ne peut les rectifier ou les compléter que si les faits ont été établis en violation des droits constitutionnels (<ref-law>). Le recourant qui invoque que les faits ont été établis de manière manifestement inexacte (<ref-law>), c'est-à-dire, pour l'essentiel, que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.1 p. 39), doit démontrer par une argumentation précise en quoi consiste la violation (<ref-law>). Les faits sont constatés de manière arbitraire lorsqu'ils se trouvent clairement en contradiction avec la situation réelle, qu'ils reposent sur une erreur manifeste ou que rien ne peut les justifier objectivement (<ref-ruling> consid. 7.1 p. 398 et les références). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature purement appellatoire (<ref-ruling> consid. 3 p. 104; <ref-ruling> consid. 6 p. 397). Tel est en l'espèce le cas des violations dans l'établissement de faits dont le recourant se plaint par rapport aux données de deux cas qui faisaient l'objet de ses examens.
1.4 Le recours ne peut porter que sur l'arrêt attaqué, qui est une décision finale (art. 117 et 90 LTF) rendue en dernière instance par un tribunal supérieur (art. 114, 86 al. 1 let. d et al. 2 LTF). Le présent recours n'est ainsi pas recevable, dans la mesure où il contient des faits nouveaux ou des conclusions nouvelles qui s'écartent du jugement entrepris (art. 117 et 99 LTF).
1.5 Le Tribunal fédéral revoit l'application des dispositions cantonales régissant la procédure d'examen - pour autant que les griefs soulevés satisfassent aux exigences rappelées ci-dessus - sous l'angle restreint de l'arbitraire. Il examine en premier lieu si l'examen s'est déroulé conformément aux prescriptions et dans le respect des droits constitutionnels. Il fait en revanche preuve d'une retenue particulière lorsqu'il revoit les aspects matériels de l'examen et n'annule le prononcé attaqué que si l'autorité précédente s'est laissée guider par des motifs sans rapport avec l'examen, ou manifestement insoutenables, de telle sorte que celui-ci apparaît arbitraire. Pour des motifs d'égalité de traitement, il observe cette même retenue lorsqu'il revoit l'évaluation des résultats d'un examen portant sur l'aptitude à l'exercice d'une profession juridique (<ref-ruling> consid. 3.1 p. 473 et les références; arrêt précité 2C_769/2009 consid. 1.6 et arrêt 2D_86/2007 du 21 février 2008 consid. 4).
1.6 Sous ces réserves, il y a lieu d'entrer en matière sur le recours, déposé en temps utile (art. 117 et 100 al. 1 LTF), par le recourant qui a succombé dans ses conclusions a un intérêt juridique à l'annulation ou la modification de l'arrêt attaqué (<ref-law>). Il convient toutefois de souligner que le recours a un caractère prolixe et confus, de sorte qu'il aurait pu être renvoyé à son auteur en application de l'<ref-law>. Le Tribunal fédéral y a renoncé, tout en se limitant aux critiques compréhensibles et répondant aux exigences de recevabilité précitées.
2. 2.1 Le recourant conclut tout d'abord à l'annulation de l'arrêt attaqué pour violation des art. 121 al. 1, 86 et 87 Cpa. Il fait valoir que la décision de la Commission des examens de notaire du 14 mai 2009 ne contenait aucune motivation, ni voies de droit (art. 86 Cpa) et qu'elle ne lui a pas été notifiée sous forme de décision (art. 87 al. 3 Cpa). Il n'aurait donc pas bénéficié du délai de recours de trente jours prévu par l'art. 121 al. 1 Cpa pour recourir, puisqu'il n'a eu connaissance de la motivation de cette décision que le 4 septembre 2009, après transmission des déterminations de l'intimée par le Tribunal cantonal, et qu'un délai au 22 septembre 2009, soit de dix-huit jours seulement, lui a été imparti pour prendre position. Il en déduit notamment que la juridiction cantonale a considéré à tort son recours du 5 octobre 2009 comme tardif.
2.2 D'une manière générale, à moins qu'un règlement ne contienne des dispositions spécifiques concernant la notification des décisions sur les résultats d'examen, celles-ci sont communiquées aux candidats sans indication des motifs, ni des voies de recours. Aucune violation des art. 86 et 87 Cpa ne peut donc être reprochée à la Commission d'examen lors de l'envoi de sa décision du 14 mai 2009, car elle n'était pas tenue de procéder selon ces dispositions. En revanche, il est étonnant que la Commission n'ait pas donné suite aux lettres des 24 et 28 mai 2009 que lui avait adressées le recourant, dans lesquelles ce dernier contestait certes ses notes d'examen, mais sollicitait aussi un entretien de correction et de clarification des travaux qu'il avait rendus. Elle s'est contentée de transmettre la lettre du 28 mai 2009 au Gouvernement cantonal, qui l'a lui-même transmise à la Chambre administrative du Tribunal cantonal, autorité compétente depuis l'entrée en vigueur de l'<ref-law>, nonobstant l'adaptation tardive de la législation jurassienne (art. 162 Cpa) au 1er septembre 2009. S'agissant d'un candidat qui avait définitivement échoué, on comprend mal pourquoi la Commission a refusé de s'entretenir avec le recourant au sujet de l'appréciation qu'elle avait donnée à ses travaux d'examen, voire de l'informer par écrit, quand bien même aucune disposition légale ne l'obligeait à le faire. Ce n'est en effet que lorsqu'elle a été invitée à se déterminer devant le Tribunal cantonal qu'elle s'est prononcée, le 26 août 2009, sur les griefs formulés par le recourant et a produit le procès-verbal de sa séance du 14 mai 2009, ainsi que les rapports sur les deux examens soumis au recourant. Un tel comportement est contraire à l'obligation de motiver découlant du droit d'être entendu (<ref-ruling> consid. 4.1 p. 88).
Force est toutefois de constater qu'à supposer qu'une telle violation ait été invoquée de manière suffisante par le recourant (cf. <ref-law>), elle devrait de toute façon être considérée comme guérie devant l'instance de recours (cf. arrêt 2C_93/2007 du 3 septembre 2007 consid. 3), dès lors que le recourant a pu présenter tous ses arguments devant le Tribunal cantonal en connaissance de cause, dans le délai au 22 septembre 2009 qui lui avait été imparti. En outre, par lettre du 7 octobre 2009, le Président de la Chambre administrative a transmis à la Commission d'examen le nouveau recours du 5 octobre 2009, en l'informant qu'il devait être considéré comme tardif, mais qu'il serait pris en considération s'il contenait des moyens paraissant décisifs, conformément à l'art. 75 al. 2 Cpa. A cet égard, le recourant soutient seulement que ce recours aurait dû être pris en compte, puisque déposé dans le délai de trente jours dès qu'il a eu connaissance des motifs de la décision de la Commission d'examen. Ce faisant, il n'explique pas en quoi le recours du 5 octobre 2009 aurait contenu des moyens décisifs, différents de ceux déjà longuement développés dans son recours du 22 septembre 2009, si ce n'est qu'il contenait, selon lui, de nombreux avis de doctrine cités à l'appui de ses arguments. Pour autant qu'elle soit recevable (<ref-law>), l'argumentation du recourant ne saurait être suivie. Il appartenait certes au Président de la Chambre administrative d'autoriser le recourant à se déterminer sur la réponse de la Commission d'examen, puisque celle-ci contenait les motifs de la décision attaquée, ce qu'il a fait. S'agissant d'un échange d'écritures supplémentaire, rien ne l'obligeait toutefois à fixer un délai aussi long que le délai de recours de trente jours, du moment que, dans un tel cas, la partie qui s'aperçoit qu'elle n'arrivera pas à procéder dans le délai imparti, peut en demander la prolongation avant son expiration (cf. art. 47 al. 2 Cpa). Le recourant ne saurait dès lors se plaindre qu'il a eu un délai trop bref pour recourir. Dans ces conditions, il n'était pas arbitraire de considérer comme tardif le recours du 5 octobre 2009 et de ne le prendre en considération que sur ses points décisifs, comme le permet l'art. 75 al. 2 Cpa.
2.3 Les critiques concernant cette question formelle sont donc infondées.
3. 3.1 Au fond, le recourant reproche au Tribunal cantonal d'avoir limité son pouvoir d'examen à l'arbitraire, alors qu'il est la seule autorité judiciaire compétente pour revoir les décisions de la Commission des examens de notaire et que l'<ref-law> oblige les cantons à créer une instance judiciaire qui examine librement les faits et applique d'office le droit déterminant. Il estime aussi que les nouvelles dispositions de procédure, adoptées sur le plan cantonal à la suite de la LTF, ont restreint les possibilités de recourir pour inopportunité, comme c'était auparavant le cas dans le cadre du recours administratif adressé au Gouvernement, lequel était aussi plus indépendant par rapport à la Commission d'examen, dont les membres sont nommés par le Tribunal cantonal.
3.2 Dans un arrêt récent (<ref-ruling> ss), le Tribunal fédéral fédéral a estimé qu'il n'y avait pas violation du droit constitutionnel, lorsqu'en matière de contrôle des décisions portant sur des examens, l'autorité judiciaire observe une certaine retenue, du moins tant qu'il n'y a aucun indice d'une violation formelle de règles de procédure ou d'une évaluation du candidat manifestement fausse (arrêt précité, consid. 5.4.1, p. 237). Or, rien ne permet de retenir un tel indice en l'espèce. De toute façon, même si le Tribunal cantonal a déclaré qu'il y avait lieu d'examiner si l'évaluation des travaux fournis par le recourant était exempte d'arbitraire, il a décrit en détail les cas traités et a clairement exposé en quoi les solutions retenues par le recourant étaient inadéquates. S'agissant d'un examen écrit, son contrôle pouvait en effet être plus large que pour les examens oraux, de sorte que la limitation de son pouvoir d'examen est restée très relative.
3.3 Pour le reste, on ne voit pas que le grief d'inopportunité puisse être invoqué en matière d'examen, qui plus est dans un recours constitutionnel subsidiaire. Le recourant ne s'en prévaut d'ailleurs pas de manière conforme à l'<ref-law>, pas plus qu'il ne dit en quoi le Tribunal cantonal perdrait son indépendance du seul fait qu'il nomme les membres de la Commission des examens pour quatre ans (cf. art. 5 al. 2 de l'ordonnance).
4. Le recourant se prévaut également du fait que l'échelle effective des appréciations portées par la Commission des examens pour la fixation des notes demeure confidentielle, ce qui exclut tout moyen de contrôle sur le décompte des deux notes qui lui ont été attribuées et constituerait notamment une violation des principes d'égalité et de la légalité.
Appelé à se prononcer sur la procédure suivie par la Commission des examens de notaire dans son arrêt 2P.230/1997 du 3 décembre 1997, le Tribunal fédéral a constaté que la façon de procéder de l'autorité jurassienne correspondait à une pratique largement répandue en matière d'examens, où il était fréquent que les travaux soient corrigés par un seul examinateur qui soumet ensuite son appréciation écrite aux autres membres du collège (arrêt précité, consid. 2a). Ceux-ci se retrouvaient en séance plénière et fixaient ensemble la note après délibérations. Il ressort ainsi du procès-verbal de la séance de la Commission d'examen du 14 mai 2009 qu'après discussion, les rapports sur les cas nos 1 et 2 traités par le recourant ont été adoptés à l'unanimité, puis les notes 4 et 2.5 arrêtées. Il est également fréquent qu'il n'existe aucune grille de corrections ou corrigés-types en matière d'examens et que les candidats sont ainsi soumis à la seule appréciation des examinateurs (voir, par ex., arrêt 2D_77/2009 du 26 avril 2010, consid. 3.3). Cela ne signifie pas encore que leurs prestations soient appréciées arbitrairement, du seul fait que les notes qui leur sont attribuées ne reposent pas sur une échelle effective, mais sur une appréciation d'ensemble de leurs prestations. Dans le cas particulier, le fait que les notes d'examen du recourant aient été fixées selon l'appréciation globale que les membres de la Commission d'examen ont eu de ses travaux n'est donc pas critiquable. Au surplus, le recourant n'expose pas de manière conforme à l'<ref-law>, en quoi cette absence d'échelle aurait constitué, dans son cas, un violation des principes d'égalité et de la légalité.
5. 5.1 Invoquant principalement l'arbitraire, le recourant reprend en détail toutes les réponses qu'il a fournies dans le traitement des deux cas d'examen et formule de nombreuses critiques sur la façon dont elles ont été analysées par le Tribunal cantonal, estimant que les juges cantonaux auraient notamment violé le principe de la légalité dans l'interprétation de la donnée du cas n° 1 relatif au défaut de la loi sur les communes et abusé de leur pouvoir d'appréciation dans l'interprétation de la donnée du cas n° 2. Partant, il demande au Tribunal fédéral, d'une part, de constater que la donnée d'examen du cas n° 1 comporte une lacune quant à la mise à disposition de la loi sur les communes et, d'autre part, de reconnaître le caractère ambigu de la donnée du cas n° 2, soit la possibilité d'interprétation et la solution qu'il avait retenues.
5.2 Une décision est arbitraire lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. De plus, pour qu'une décision soit annulée, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.1 p. 266, 140 consid. 5.4 p. 148), ce qu'il appartient au recourant de démontrer, conformément à l'<ref-law> (<ref-ruling> consid. 3.1 p. 153). En outre, en matière de résultats d'examens, le Tribunal fédéral fait preuve, comme on l'a vu (supra consid. 1.5), d'une réserve toute particulière.
5.3 Il faut tout d'abord relever que, dans la mesure où le recourant ne fait qu'opposer ses thèses à celles de la juridiction cantonale, il formule, pour l'essentiel, des critiques de nature appellatoire, qui ne sont pas recevables (cf. supra consid. 1.3). Pour le reste, il est exclu que le Tribunal fédéral revoie lui-même l'appréciation effectuée par les juges cantonaux sur la façon dont le recourant a résolu ses cas d'examen comme le ferait une juridiction d'appel. Il se bornera donc à constater que l'appréciation des cas nos 1 et 2 effectuée par le Tribunal cantonal n'est nullement insoutenable. En effet, ce dernier s'est notamment fondé sur les rapports de corrections de la Commission des examens et sur les connaissances que l'on peut attendre d'un candidat au brevet de notaire qui se présente à la deuxième partie des examens, après avoir effectué son stage et suivi les cours dispensés par le Tribunal cantonal. Pour le cas n° 1, il a estimé la note 4 justifiée, compte tenu des erreurs et lacunes figurant dans le pacte successoral, ainsi que des manquements se rapportant au droit de superficie. Il a aussi considéré à juste titre que, même si la loi sur les communes n'avait pas été remise au recourant, il aurait pu la demander pendant l'examen et que l'intéressé ne pouvait de toute façon pas ignorer qui représente une bourgeoisie dans une commune mixte. S'agissant de la difficulté du cas n° 2, le Tribunal cantonal a certes reconnu qu'il présentait une certaine complexité, mais il a jugé qu'il restait à la portée des candidats au brevet, qui doivent pouvoir affronter les difficultés d'un cas qui reste courant, sans être obligés de recourir à des moyens qui sortent du cadre des données qui leur sont présentées. Il s'est ainsi rallié à l'avis de la Commission au sujet de la mauvaise logique du recourant et le caractère inutile des opérations dont son travail était émaillé.
5.4 Au vu de la réserve particulière dont fait preuve le Tribunal fédéral en matière d'examens le recours est infondé en tant qu'il conteste point par point, l'interprétation faite par le Tribunal cantonal des travaux du recourant.
6. Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité, avec suite de frais à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, à la Commission des examens de notaire du canton du Jura et au Tribunal cantonal de la République et canton du Jura, Chambre administrative.
Lausanne, le 1er mars 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat