Faits:
A. X._ a accompli son stage de notariat dans le canton de Vaud. Il s'est présenté pour la seconde fois aux examens écrits en 2010. Il a échoué avec une moyenne de 5,75 sur 10 en ayant obtenu les résultats suivants:
Consultation sur un cas pratique de droit civil ou
commercial: 6,5
Acte I, vente d'une entreprise agricole: 6
Acte II, vente LFAIE: 7,5
Acte III, droit commercial: 3
Acte IV, contrat de mariage et acte à cause de mort: 5
Problèmes d'ordre comptable et financier: 6,5
TOTAL: 34,5
Compte tenu de ces résultats, X._ n'a pas pu se présenter aux examens oraux.
Par lettre du 18 novembre 2010, le Service juridique et législatif, affaires notariales, du canton de Vaud (ci-après: le Service juridique et législatif), au nom de la Commission des examens notariaux (ci-après: la Commission des examens), a informé X._ qu'il avait échoué aux examens et lui a remis un exemplaire du rapport de ladite Commission concernant les épreuves de l'intéressé.
B. Le 9 juin 2011, le Tribunal cantonal a rejeté le recours de X._ qui avait produit un avis de droit établi par Me Y._, docteur en droit, notaire et professeur titulaire à l'Université de Fribourg. Après avoir indiqué qu'il faisait preuve d'une certaine retenue en matière d'appréciation de prestations fournies par un candidat lors d'examens, le Tribunal cantonal a estimé que rien, dans l'argumentation qui lui était soumise, n'était de nature à mettre en évidence une erreur grave et indiscutable dans les solutions attendues des candidats, ni une erreur flagrante dans l'appréciation des travaux du recourant. En outre, "les critiques présentées ne s'inscrivent pas dans le contrôle judiciaire d'un résultat d'examen, de sorte qu'il n'y a pas lieu de les discuter plus précisément".
C. X._ a formé un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal. Il demande, sous suite de frais et dépens, principalement, d'admettre le recours et de renvoyer la cause au Tribunal cantonal pour une nouvelle décision dans le sens des considérants, subsidiairement, de réformer l'arrêt du Tribunal cantonal en ce sens qu'il est réputé avoir obtenu la moyenne fixée pour les épreuves écrites et qu'il est donc admis aux épreuves orales des examens de notariat.
Se déterminant sur le recours, le Tribunal cantonal conclut à son rejet et souligne qu'il ne pouvait "s'ériger en commission supérieure d'examen" et "entrer en matière sur les critiques détaillées du recourant quant à l'appréciation de ses travaux". La Commission des examens notariaux requiert le rejet du recours.
Le 3 octobre 2011, le recourant a fait parvenir des déterminations au Tribunal fédéral sans qu'un deuxième échange d'écritures n'eut été ordonné.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle donc librement la recevabilité des recours qui sont déposés devant lui (<ref-ruling> consid. 1 p. 472, 436 consid. 1 p. 438).
1.1 En vertu de l'art. 83 let. t LTF, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession. Le motif d'irrecevabilité contenu dans cette disposition dépend en principe de la matière et non du grief soulevé. L'art. 83 let. t LTF vise ainsi non seulement le résultat d'examens au sens étroit, mais encore toutes les évaluations de capacités qui reposent sur une appréciation des aptitudes intellectuelles ou physiques du candidat (<ref-ruling> consid. 1 p. 231).
1.2 En l'espèce, le recours porte sur le résultat des examens de notaire. L'art. 83 let. t LTF est ainsi applicable, ce qui exclut la recevabilité du recours en matière de droit public. Seul le recours constitutionnel subsidiaire est par conséquent ouvert en l'espèce (<ref-law> a contrario).
1.3 Interjeté par une partie qui a succombé dans ses conclusions et qui a un intérêt juridique à l'annulation ou la modification de la décision (<ref-law>), le présent recours constitutionnel subsidiaire, déposé dans le délai (art. 117 et 100 al. 1 LTF) et dans la forme (<ref-law>) prévus par la loi, est en principe recevable, puisqu'il est dirigé contre un jugement final (art. 117 et 90 LTF) rendu par un tribunal supérieur statuant en dernière instance cantonale (art. 114 et 86 LTF).
1.4 Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law> (applicable par renvoi de l'<ref-law>), les griefs y relatifs doivent être invoqués et motivés de façon détaillée, sous peine d'irrecevabilité (<ref-ruling> consid. 4.1 p. 235; <ref-ruling> consid. 1.5 p. 674).
2. Aux termes de l'art. 18 de la loi vaudoise du 29 juin 2004 sur le notariat (LNo; RSV 178.11), l'acte de capacité, nécessaire pour l'obtention de la patente de notaire, est délivré au candidat qui a accompli un stage et a réussi les examens professionnels consécutifs au stage. L'examen professionnel porte sur les branches suivantes: épreuves écrites, rédaction de quatre actes; consultation sur un cas pratique de droit civil ou commercial; problèmes d'ordre comptable et financier se rapportant à la pratique du notariat (art. 9 al. 1 du règlement vaudois d'application de la loi 29 juin 2004 sur le notariat, RLNo; RSV 178.11.1). La commission d'examens arrête, préalablement à chaque session d'examens, la liste des candidats, la moyenne nécessaire pour la réussite des examens, ainsi que le matériel à disposition des candidats (art. 11 al. 1 RLNo). Les candidats ne sont admis aux épreuves orales que s'ils ont obtenu la moyenne fixée par la commission pour les épreuves écrites (art. 11 al. 3 RLNo). La commission délibère au complet à deux reprises au moins, soit à l'issue des épreuves écrites et à l'issue des épreuves orales. Elle apprécie chaque épreuve et lui donne une note. Elle détermine si la moyenne est atteinte (art. 12 RLNo).
3. Le recourant soulève d'abord le grief de la violation du droit d'être entendu, invoquant en ce sens le bénéfice des art. 29 al. 2 Cst et 6 § 1 CEDH.
3.1 Pour que le grief relatif à l'art. 6 CEDH soit recevable, il faut que la cause entre dans le champ d'application de cette disposition. Or, selon la jurisprudence, le contrôle des connaissances et de la pratique nécessaires à l'exercice d'une profession ou à l'obtention d'un titre s'écarte à tel point de la tâche usuelle du juge que les garanties de l'art. 6 CEDH ne sauraient s'appliquer dans ce contexte (<ref-ruling> consid. 2.9 p. 472 s.; RDAF 2008 I p. 596, 2P.55/2006 consid. 2.2). Le grief du recourant étant en relation avec ses prestations lors d'un examen, il doit être déclaré irrecevable.
3.2 Le recourant invoque une violation de l'obligation de motiver les jugements, telle que déduite de l'art. 29 al. 2 Cst.
3.2.1 Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. implique, notamment, pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.2 p. 236). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (RDAF 2009 II p. 434, 2C_23/2009 consid. 3.1).
3.2.2 En l'espèce, le Tribunal cantonal (arrêt attaqué consid. 1d) a tout d'abord fait état du rapport de la Commission des examens puis des critiques du recourant à cet égard. Il indique ensuite qu'il rejette le recours car il arrive à la conclusion que les griefs soulevés ne permettent nullement de mettre en évidence "une erreur grave et indiscutable dans les solutions attendues des candidats, ni une erreur flagrante dans l'appréciation des travaux du recourant" et qu'il ne voit pas "en quoi la Commission d'examen a pu se laisser guider, le cas échéant, par des considérations hors de propos ou manifestement insoutenables". Cette motivation répond aux exigences découlant de l'art. 29 al. 2 Cst. Tel est en particulier le cas compte tenu du pouvoir d'appréciation limité dont le Tribunal cantonal fait usage en la matière. Dans la mesure où le grief soulevé porte exclusivement sur l'obligation de motivation et non pas sur une restriction excessive du pouvoir de cognition de cette autorité, le recours ne peut qu'être rejeté.
4. Invoquant l'art. 9 Cst., le recourant se plaint de la violation de l'interdiction de l'arbitraire dans l'évaluation de ses examens.
4.1 Le Tribunal fédéral revoit l'application des dispositions cantonales régissant la procédure d'examen - pour autant que les griefs soulevés satisfassent aux exigences rappelées ci-dessus - sous l'angle restreint de l'arbitraire. Il fait preuve d'une retenue particulière lorsqu'il revoit les aspects matériels de l'examen et n'annule le prononcé attaqué que si l'autorité précédente s'est laissée guider par des motifs sans rapport avec l'examen ou d'une autre manière manifestement insoutenable, de telle sorte que celui-ci apparaît arbitraire. Pour des motifs d'égalité de traitement, il observe cette même retenue lorsqu'il revoit l'évaluation des résultats d'un examen portant sur l'aptitude à l'exercice d'une profession juridique (<ref-ruling> consid. 6.2 p. 238), dont celle de notaire (<ref-ruling> consid. 3.1 p. 473; <ref-ruling> consid. 4b p. 230).
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4 p. 560; <ref-ruling> consid. 5.4 p. 148).
4.2 En l'espèce, le recourant discute, comme devant une cour d'appel, de toutes les solutions possibles ou préférables aux cas qui lui ont été soumis lors de la session d'examens écrits. En définitive, il se contente de substituer l'appréciation de son expert - dont l'avis de droit versé en cause n'a que valeur d'allégué de partie - à celle de la Commission des examens. A la lecture de ce document, on constate que le Professeur Y._ diverge, sur certains points, de ladite Commission, se montrant même parfois plus sévère qu'elle (p. ex. pour l'Acte I, où il préconise une note de 5,5 au lieu de 6). Il aboutit à une appréciation globalement plus généreuse du résultat estimant que le total des points devrait être porté de 34,5 à 39 points. Mise à part cette différence, qui relève encore une fois de la seule appréciation, le Professeur Y._ conclut comme suit:
"1. Les données sont "honnêtes" et de bonne qualité. Elles se trouvent toutes dans les champs d'activité du notaire et relèvent de son domaine d'excellence. Les difficultés juridiques qu'elles comportent sont certes nombreuses, mais maîtrisables durant le temps imparti aux candidats.
2. Pour l'essentiel, je peux me rallier, s'agissant des points retenus, au rapport de la Commission. J'estime cependant que les notes accordées à la première, à la troisième et à la cinquième épreuve sont insuffisantes. En fin de compte, j'aurais proposé les notes suivantes:
Notes attribuées Appréciation par la commission Y._
- Consultation 6.5 8.5
- Acte I 6 5.5
- Acte II 7.5 8.5
- Acte III 3 3
- Acte IV 5 7
- Problèmes comptables 6.5 6.5
Total des points 34.5 39
3. La prise en compte d'une note supérieure, pour ces trois épreuves, permettrait de considérer que X._ a obtenu une note moyenne suffisante, qui l'autoriserait à se présenter aux examens oraux. Cela m'apparaît justifié, au regard des exigences que l'on peut imposer normalement aux candidats et du standard minimum que j'impose moi-même aux candidats fribourgeois dans le cadre de la solution des cas que je leur soumets".
Les conclusions de ce rapport permettent de mettre en évidence une absence totale d'arbitraire de la part de la Commission des examens, que ce soit au regard du niveau de l'examen, de son contenu et des notes obtenues. En outre, le recourant n'a nullement affirmé, et encore moins démontré, en respectant les exigences de motivation de l'<ref-law>, que le résultat final, à savoir son échec, serait arbitraire. Tel n'est de toute évidence pas le cas. Dans sa détermination du 2 février 2011 devant le Tribunal cantonal, la Commission des examens a en effet conclu comme suit: "Après une appréciation globale, la Commission a donc constaté l'échec du candidat à l'examen. Dans sa délibération sur le résultat de l'ensemble des épreuves, la Commission a estimé qu'un candidat qui ignore presque tout du droit de la société anonyme et qui propose un pacte successoral nul pour vice de forme n'était pas prêt à exercer le notariat sans faire courir à ses clients des risques qui engageraient sa responsabilité".
Le grief d'arbitraire doit donc être rejeté.
6. Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais de la procédure fédérale (<ref-law>). Il n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de l'intérieur, Service juridique et législatif, Affaires notariales et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 novembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon