Sachverhalt:
A. X._ trat im August 2010 im Kanton Zug zur schriftlichen Anwaltsprüfung in den Fächern Zivilrecht, Strafrecht und Beurkundungsrecht an. Am 14. September 2010 teilte ihm die Anwaltsprüfungskommission des Kantons Zug (nachfolgend: Prüfungskommission) mit, die Prüfungen im Strafrecht und im Beurkundungsrecht seien als ungenügend beurteilt worden und daher zu wiederholen.
B. Nach Absolvierung der schriftlichen Wiederholungsprüfungen Anfang März 2011 eröffnete die Prüfungskommission X._ am 28. März 2011, dass die Prüfung im Beurkundungsrecht erneut als ungenügend beurteilt worden sei, weshalb er abzuweisen sei und erst nach Ablauf von zwei Jahren ein erneutes Gesuch um Zulassung stellen könne. Die von X._ dagegen erhobene Beschwerde wies das Obergericht des Kantons Zug, II. Beschwerdeabteilung, mit Urteil vom 17. August 2011 ab, soweit es darauf eintrat.
C. Mit Verfassungsbeschwerde vom 23. September 2011 beantragt X._, das Ergebnis der schriftlichen Anwaltsprüfung im Beurkundungsrecht sei als genügend zu beurteilen und die Prüfungskommission sei anzuweisen, ihn zur mündlichen Prüfung zuzulassen; eventualiter sei das vorinstanzliche Urteil aufzuheben und die Sache zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Das Obergericht verzichtet auf eine Vernehmlassung und beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Prüfungskommission schliesst in ihrer Vernehmlassung vom 12. Januar 2012 auf Abweisung der Beschwerde, während X._ mit Replik vom 30. Januar 2012 an seinen Anträgen samt Begründung festhält.
Mit Verfügung vom 31. Oktober 2011 hat die II. öffentlich-rechtliche Abteilung das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege mangels prozessualer Bedürftigkeit abgewiesen.

Erwägungen:
1. Streitgegenstand des vorliegenden Verfahrens bildet das Nichtbestehen einer Anwaltsprüfung, wobei das Prüfungsergebnis mit ungenügenden Leistungen in der schriftlichen Prüfungsarbeit im Beurkundungsrecht begründet wird. In diesem Fall kommt der Ausschlussgrund von Art. 83 lit. t BGG zum Tragen, so dass einzig die subsidiäre Verfassungsbeschwerde gemäss <ref-law> offensteht (Urteil 2D_29/2009 vom 12. April 2011 E. 1.1). Gemäss <ref-law> ist der Beschwerdeführer zur Ergreifung dieses Rechtsmittels legitimiert.
2. 2.1 Verfassungsrechtlich nicht zu beanstanden ist das angefochtene Urteil insoweit, als es zum Ergebnis kommt, die vom Beschwerdeführer geltend gemachten Eröffnungsfehler hätten keine Nichtigkeit der Prüfungsentscheide zur Folge. Zwar ist unbestritten, dass die Schreiben der Beschwerdegegnerin vom 14. September 2010 sowie vom 28. März 2011, mit welchen der Beschwerdeführer über die Ergebnisse der jeweiligen Prüfungen orientiert wurde, weder mit einer Rechtsmittelbelehrung versehen waren noch eine Begründung betreffend die als ungenügend qualifizierten schriftlichen Prüfungsarbeiten enthielten. Die genannten Mängel sind indessen nicht derart gravierend, dass von der Nichtigkeit der betreffenden Verfügungen auszugehen wäre. Insoweit erscheint folgerichtig, dass das Ergebnis des ersten Versuchs (Prüfung vom 20. August 2010, Mitteilung vom 14. September 2010) im vorinstanzlichen Verfahren nicht mehr Streitgegenstand bildete, nachdem der Beschwerdeführer erst nach Bekanntgabe der zweiten Prüfung ein Rechtsmittel ergriffen hatte. Ungeachtet der Tatsache der fehlenden Rechtsmittelbelehrung musste dem Beschwerdeführer jedenfalls nach Zustellung des Aufgebots zur Wiederholungsprüfung bewusst sein, dass ein rechtsgültiger Entscheid über das Nichtbestehen einzelner Prüfungen anlässlich des ersten Versuchs vorlag. Nach Treu und Glauben hätte er sich spätestens zu diesem Zeitpunkt gegen dieses Erkenntnis zur Wehr setzen müssen. Die Vorgehensweise der Vorinstanz, welche wegen Verspätung nicht auf die Beschwerde gegen den Prüfungsentscheid vom 14. September 2010 eintrat, ist daher nicht zu beanstanden. Infolgedessen liegen die vom Beschwerdeführer vor Bundesgericht betreffend den ersten Prüfungsversuch vorgetragenen Rügen ausserhalb des Streitgegenstands, weshalb darauf nicht einzugehen ist.
2.2 Der Beschwerdeführer macht im Zusammenhang mit der Eröffnung des Prüfungsentscheids vom 28. März 2011 in verschiedener Hinsicht eine Verletzung des rechtlichen Gehörs geltend. Das Bundesgericht lässt in ständiger Praxis die Heilung einer Gehörsverletzung zu, wenn dem Kandidaten im kantonalen Rechtsmittelverfahren die begehrte Akteneinsicht mit der Möglichkeit zur Anfertigung von Kopien sowie anschliessend zur umfassenden Äusserung gewährt wird. Eine schriftliche Begründung der Bewertungen ist dabei nicht nachzuliefern, wenn der Kandidat vor Rechtsmitteleinlegung das Angebot mündlicher Gespräche zur Erläuterung der Bewertungen nicht wahrgenommen hat (Urteil 2D_11/2011 vom 2. November 2011 E. 2 mit Hinweisen).
Der Beschwerdeführer wurde auf entsprechende Anfrage hin von dem für die Prüfung im Beurkundungsrecht zuständigen Referenten per E-Mail umfassend über die Beurteilung seiner Prüfungsleistungen durch die Beschwerdegegnerin informiert. Diese weist in ihrer Vernehmlassung darauf hin, der Beschwerdeführer sei auf Angebote für eine zusätzliche mündliche Besprechung der Prüfung nicht eingegangen. Zudem wurde dem Beschwerdeführer im Rahmen des vorinstanzlichen Verfahrens u.a. Einblick in die Beurteilung des Referenten und das Beurteilungsschema gewährt, wozu er im Rahmen einer Vernehmlassung Stellung nehmen konnte. Es kann offenbleiben, ob im Beurteilungsschema eine Passage betreffend das Unterschriftserfordernis (dazu sogleich E. 2.3) durch die Prüfungskommission bewusst schwarz abgedeckt worden war oder es sich dabei lediglich um eine Folge des Umkopierens (von Farbe auf Schwarz-Weiss) dieses im Original rot unterlegten Textfeldes handelt. Der Beschwerdeführer tut jedenfalls nicht dar, dass ihm im vorinstanzlichen Verfahren die Einsicht in eine nicht abgedeckte Fassung dieses Dokuments auf Nachfrage hin verweigert worden wäre. Eine Verletzung des rechtlichen Gehörs liegt demnach nicht vor.
3. Der Beschwerdeführer macht geltend, die Vorinstanz habe den Sachverhalt willkürlich festgestellt. Dies habe dazu geführt, dass die Vorinstanz in der Bewertung seiner schriftlichen Prüfungsarbeit im Beurkundungsrecht keinen Ermessensmissbrauch habe erblicken können.
3.1 Das Bundesgericht auferlegt sich eine besondere Zurückhaltung bei der materiellen Beurteilung von Prüfungsentscheiden. Es schreitet erst ein, wenn sich die Behörde von sachfremden oder sonstwie ganz offensichtlich unhaltbaren Erwägungen hat leiten lassen, so dass deren Entscheid unter rechtsstaatlichen Gesichtspunkten als nicht mehr vertretbar und damit als willkürlich erscheint. Diese Zurückhaltung übt das Bundesgericht auch dann, wenn es, wie hier, aufgrund seiner Fachkenntnisse sachlich zu einer weitergehenden Überprüfung befähigt wäre (<ref-ruling> E. 6.2 S. 238; <ref-ruling> E. 3.1 S. 473 mit Hinweisen).
Ergänzend ist darauf hinzuweisen, dass die Vorinstanz den Entscheid der Beschwerdegegnerin nur eingeschränkt überprüfen konnte. Gemäss § 19 Abs. 2 des Einführungsgesetzes des Kantons Zug vom 25. April 2002 zum Bundesgesetz über die Freizügigkeit der Anwältinnen und Anwälte (EG BGFA; BGS 163.1) werden Entscheide über Prüfungsergebnisse vom Obergericht nur auf Ermessensmissbrauch und die Verletzung wesentlicher Form- oder Verfahrensvorschriften überprüft. Es ist folglich zu fragen, ob die Vorinstanz einen Ermessensmissbrauch der Beschwerdegegnerin in Bezug auf das Prüfungsergebnis in willkürlicher Weise verneint hat.
3.2 Nach den Feststellungen der Vorinstanz wurde den Kandidaten im Rahmen der schriftlichen Prüfungsarbeit im Beurkundungsrecht vom 4. März 2011 die Aufgabe gestellt, die Beurkundung einer letztwilligen Verfügung mit Ehegattenmeistbegünstigung durch einen Schreibunfähigen, einer Stiftungserrichtung von Todes wegen (inkl. Handelsregisteranmeldung und Belegen) sowie eine vollstreckbare öffentliche Urkunde nach der neuen schweizerischen Zivilprozessordnung zu entwerfen. Dabei habe der Beschwerdeführer von den möglichen 75 Punkten deren 57 erreicht. Der angefochtene Entscheid listet sieben Mängel auf, welche zu einem Punkteabzug geführt hätten und die Prüfungsarbeit insgesamt als ungenügend hätten erscheinen lassen. Unter den beanstandeten Punkten wird unter anderem das Fehlen von Datum und Unterschrift des Schuldners auf der vollstreckbaren öffentlichen Urkunde aufgeführt. Der Beurteilung des Referenten vom 22. März 2011 zufolge erwies sich die Arbeit des Beschwerdeführers als "durchwachsene aber wohl noch knapp genügende Lösung, wenn die fehlende Unterschrift des Schuldners in der vollstreckbaren öffentlichen Urkunde nicht wäre". Der Referent kam in seinem Bericht zu keinem eindeutigen Befund, sondern unterbreitete das Prüfungsergebnis der Beschwerdegegnerin zur Diskussion.
3.3 Die Beschwerdegegnerin gibt in der Vernehmlassung vor Bundesgericht an, die Arbeit des Beschwerdeführers hätte von der Punktezahl her noch als knapp genügend bewertet werden können. Das Lösungsschema nenne keine Mindestpunktzahl, die zu einer genügenden Note führe. Insbesondere bei einer Beurkundungsprüfung gebe es Elemente, deren Fehlen die ganze Prüfungsarbeit ungenügend machten, wie z.B. fehlende Unterschriften. Erstelle ein Prüfungskandidat mangels Unterschrift eine ungültige Urkunde, gelte die Beurkundungsprüfung nach konstanter Praxis der Anwaltsprüfungskommission als nicht bestanden, selbst wenn die Prüfungsarbeit im Übrigen als "gut" bewertet werden müsste. Im vorliegenden Fall habe der Beschwerdeführer den Schuldner die Schuldanerkennung nicht unterschreiben lassen. Selbst wenn der Hinweis "Unterschrift" als die Unterschrift des Schuldners qualifiziert würde, würden die Unterschrift der Urkundsperson und das Datum fehlen. Dies habe zur Folge, dass keine gültige Urkunde verfasst worden sei, was nach ständiger Praxis der Beschwerdegegnerin zu einer ungenügenden Note führe.
3.4 Es liegt im Ermessen der Beschwerdegegnerin als Prüfungskommission, das Fehlen von Datum und Unterschrift bei einer öffentlichen Beurkundung stark zu gewichten. Abgesehen davon, dass die Beschwerdegegnerin für diese Praxis einen sachlichen Grund (Formstrenge im Beurkundungsrecht) anführt, hat das Bundesgericht nicht zu untersuchen, wie zweckmässig es ist, für die Prüfung der notariellen Fähigkeiten das Anbringen von Unterschriften und Stempeln zu verlangen. Im diesbezüglichen Entscheid der Vorinstanz kann auch deshalb kein Ermessensmissbrauch erblickt werden, weil einerseits die Anforderung in der Prüfungsaufgabe klar genannt ist, andererseits die flexible Beurteilung der schriftlichen Arbeiten im Prüfungsschema vorgesehen ist. Das Bundesgericht hat nicht darüber zu entscheiden, ob es sinnvoller wäre, einzelne Aufgaben mit einer höheren Punktzahl zu dotieren und eine Mindestpunktzahl für das Bestehen der Prüfung festzulegen. Aus dem Bewertungsschema der Beschwerdegegnerin geht hervor, dass die Differenzierung der Beurteilung gerade nicht über die Punktzahl erfolgt, sondern über eine Würdigung der Arbeit als Ganzes: Für jede Aufgabe kann ein Punkt erzielt werden; die entsprechenden Lösungen werden von der Prüfperson jedoch zusätzlich kommentiert, bevor eine kurze Gesamtwürdigung der Arbeit zu der erteilten Note ("gut", "genügend" oder "ungenügend") überleitet.
Die Würdigung der Arbeit des Beschwerdeführers ist negativ ausgefallen. Die Gründe dafür werden im vorinstanzlichen Urteil detailliert dargelegt, wobei zu Recht erwogen wird, die Beschwerdegegnerin habe ihr Ermessen nicht missbraucht, indem sie die - ohnehin nur knapp genügende - Prüfungsarbeit des Beschwerdeführers infolge des Fehlens von Datum und Unterschrift des Schuldners (oder der Urkundsperson) insgesamt als ungenügend erachtete. Der vorinstanzliche Entscheid ist nicht willkürlich und daher zu bestätigen.
4. Nach den vorstehenden Erwägungen erweist sich die Beschwerde als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer zu auferlegen (<ref-law>). Es ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die subsidiäre Verfassungsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 9. Juli 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner