Sachverhalt:
A. X._ ist seit dem 1. April 1994 für die Sprachen Arabisch, Französisch, Englisch und Spanisch im Dolmetscherverzeichnis des Kantons Zürich eingetragen.
B. Im Dezember 2009 erhielt die für das kantonale Dolmetscherverzeichnis zuständige Fachgruppe Dolmetscher- und Übersetzungswesen des Kantons Zürich (nachfolgend: Fachgruppe Dolmetscherwesen) eine Beanstandung seitens der Stadtpolizei Zürich bzw. der Staatsanwaltschaft Zürich-Sihl betreffend die Französischkenntnisse von X._. Daraufhin holte die Fachgruppe Dolmetscherwesen bei X._ eine Stellungnahme ein und veranlasste einen fachlichen Eignungstest bei der Zürcher Hochschule für Angewandte Wissenschaften (nachfolgend: ZHAW), den X._ fristgerecht absolvierte. Zum anschliessenden Bericht der ZHAW vom 14. Juni 2010 äusserte sich X._ am 27. September 2010. Mit Entscheid vom 24. Mai 2011 beschloss die Fachgruppe Dolmetscherwesen, den Eintrag von X._ im Dolmetscherverzeichnis des Kantons Zürich für die Sprache "Französisch schriftlich" zu streichen und dem Eintrag "Französisch mündlich" die Einschränkung "nur bei Verwaltungs- und Untersuchungsbehörden" hinzuzufügen. Den dagegen erhobenen Rekurs wies die Verwaltungskommission des Obergerichts des Kantons Zürich am 7. Juni 2012 ab.
C. Vor Bundesgericht beantragt X._, den vorinstanzlichen Beschluss der Verwaltungskommission des Obergerichts des Kantons Zürich vom 7. Juni 2012 und damit auch den Beschluss der Fachgruppe Dolmetscherwesen vom 24. Mai 2011 aufzuheben und in Gutheissung der Beschwerde den Eintrag für die Sprache "Französisch schriftlich" im Dolmetscherverzeichnis des Kantons Zürich zu belassen sowie dem Eintrag für "Französisch mündlich" keine Einschränkung hinzuzufügen. Eventualiter seien weitere Sachabklärungen vorzunehmen oder vornehmen zu lassen, insbesondere sei volle Akteneinsicht in die Sprachüberprüfungsunterlagen vom 27. Mai 2010 zu gewähren. Subeventualiter sei dem Beschwerdeführer die Wiederholung der Sprachüberprüfung im Beisein seines Rechtsanwalts und eines unabhängigen Sachverständigen zu ermöglichen.
Die Verwaltungskommission des Obergerichts des Kantons Zürich und die Fachgruppe Dolmetscherwesen verzichteten auf eine Vernehmlassung zur Beschwerde, wobei die Fachgruppe Dolmetscherwesen die Abweisung des Gesuchs um aufschiebende Wirkung beantragte.
D. Mit Verfügung vom 10. September 2012 hat der Abteilungspräsident das Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen.
E. Mit Eingabe vom 8. Oktober 2012 brachte der Beschwerdeführer vor, er sei mittlerweile auch für Arabisch aus dem Dolmetscherverzeichnis des Kantons Zürich gestrichen worden, und beantragte, die Fachgruppe Dolmetscherwesen diesbezüglich zur Stellungnahme aufzufordern. Mit Mitteilung vom 10. Oktober 2012 wies der Instruktionsrichter den Beschwerdeführer darauf hin, dass Streitgegenstand des bundesgerichtlichen Verfahrens die Streichung bzw. Einschränkung im Dolmetscherregister betreffend Französisch darstelle.

Erwägungen:
1. 1.1 Der Beschwerdeführer erhebt mit seiner als "Einheitsbeschwerde gemäss <ref-law>" bezeichneten Eingabe Beschwerde in öffentlich-rechtlichen Angelegenheiten und zugleich subsidiäre Verfassungsbeschwerde. Das Bundesgericht prüft seine Zuständigkeit bzw. die Zulässigkeit eines Rechtsmittels von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 3 S. 499 mit Hinweisen).
1.2 Der Beschluss der Verwaltungskommission des Obergerichts des Kantons Zürich vom 7. Juni 2012 erging in Anwendung der Dolmetscherverordnung des Kantons Zürich vom 26./27. November 2003 (LS 211.17; nachfolgend: Dolmetscherverordnung). Dabei handelt es sich um öffentliches Recht. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist deshalb grundsätzlich das zutreffende Rechtsmittel (<ref-law>).
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist allerdings gemäss Art. 83 lit. t BBG unzulässig gegen Entscheide über das Ergebnis von Prüfungen und anderen Fähigkeitsbewertungen, namentlich auf den Gebieten der Schule, der Weiterbildung und der Berufsausübung (<ref-ruling> E. 1 S. 231; Urteile 2C_1016/2011 vom 3. Mai 2012 E. 1.1, nicht publ. in: <ref-ruling>; 2C_306/2012 vom 18. Juli 2012 E. 1.2). Der angefochtene Entscheid bildet eine unmittelbare Folge des negativen Prüfungsausgangs, weshalb vorliegend die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig ist (Urteile 2D_40/2012 vom 6. August 2012 E. 3.2 mit Hinweisen; 2C_560/2007 vom 23. Oktober 2007 E. 2.2).
1.3 Bei Ausschluss der Beschwerde in öffentlich-rechtlichen Angelegenheiten ist die Zulässigkeit der subsidiären Verfassungsbeschwerde zu prüfen (<ref-law>).
1.3.1 Anfechtungsobjekt des vorliegenden Verfahrens ist der Beschluss der Verwaltungskommission des Obergerichts des Kantons Zürich vom 7. Juni 2012. Es handelt sich dabei um einen Rechtsmittelentscheid eines oberen kantonalen Gerichts, der kantonal letztinstanzlich ist (vgl. § 21 Dolmetscherverordnung und § 42 lit. c des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 [LS 175.2; nachfolgend: VRG]; Urteil 1C_179/2010, 1C_177/2010 vom 25. Mai 2010 E. 3.2). Die subsidiäre Verfassungsbeschwerde ist insoweit zulässig (Art. 113 f. i.V.m. <ref-law>). Dagegen kann der Beschluss der Fachgruppe Dolmetscherwesen vom 24. Mai 2011 aufgrund des Devolutiveffekts nicht angefochten werden (Art. 114 i.V.m. <ref-law>; Urteil 2C_785/2011 vom 1. März 2012 E. 1.1).
1.3.2 Die Legitimation zur subsidiären Verfassungsbeschwerde setzt ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids voraus (<ref-law>). Die massgeblichen rechtlich geschützten Interessen können entweder durch kantonales oder eidgenössisches Gesetzesrecht oder aber unmittelbar durch ein angerufenes spezielles Grundrecht geschützt sein, sofern die Interessen auf dem Gebiet liegen, das die betreffende Verfassungsbestimmung beschlägt (<ref-ruling> E. 3.2 S. 235; <ref-ruling> E. 4 S. 191). Das Willkürverbot (<ref-law>) verschafft für sich allein kein rechtlich geschütztes Interesse; zur Willkürrüge ist eine Partei nur legitimiert, wenn sie sich auf eine gesetzliche Norm berufen kann, die ihr im Bereich der betroffenen und angeblich verletzten Interessen einen Rechtsanspruch einräumt oder zumindest den Schutz ihrer Interessen bezweckt (<ref-ruling> E. 2 S. 308; <ref-ruling> E. 3.2 S. 235; <ref-ruling> E. 6.3 S. 200; <ref-ruling> E. 5 S. 90 ff.; je mit Hinweisen). Entsprechendes gilt für das allgemeine Gleichbehandlungsgebot des <ref-law> (<ref-ruling> E. 1.3 S. 308 f.; Urteil 1D_19/2007 vom 16. Dezember 2008 E. 1, nicht publ. in: <ref-ruling>). Trotz fehlender Legitimation in der Sache kann der Betroffene hingegen die Verletzung verfahrensrechtlicher Vorschriften rügen, deren Missachtung zugleich in Verfahrensgrundrechte (<ref-law>) eingreift. Unzulässig sind dabei Vorbringen, die im Ergebnis wiederum auf eine materielle Überprüfung des angefochtenen Entscheids abzielen (sog. "Star-Praxis"; <ref-ruling> E. 2 S. 308; <ref-ruling> E. 3.2 S. 436 f.; <ref-ruling> E. 3c S. 312 f.).
1.3.3 Der Beschwerdeführer rügt eine Verletzung des Rechts auf Akteneinsicht als Teil des verfassungsmässigen Anspruchs auf rechtliches Gehör (<ref-law>), eine Verletzung allgemeiner bundesrechtlicher und verfassungsmässiger Verfahrensrechte durch die nicht eingeräumte Gelegenheit, allfällige Ablehnungs- oder Ausstandsgründe geltend zu machen (<ref-law> [SR 172.021] i.V.m. <ref-law> [SR 273]; Art. 29 Abs. 1 und 2 BV) sowie ein willkürliches Vorgehen der Vorinstanz, indem sie ihren Beschluss auf einen nicht schlüssigen und nicht überprüfbaren Prüfungsbericht gestützt und daraus gefolgert habe, der Beschwerdeführer genüge den Anforderungen an die Qualität der Dolmetscher- und Übersetzungsleistungen nicht (Verletzung von Art. 8, 9 und 29 Abs. 1 BV). Diesbezüglich sei der Sachverhalt offensichtlich falsch und willkürlich festgestellt worden (Art. 97 Abs. 1 bzw. <ref-law>).
1.3.4 Nach § 7 der Dolmetscherverordnung führt die Fachgruppe Dolmetscherwesen ein "Verzeichnis von Personen, denen die Gerichts- und Verwaltungsbehörden Dolmetscher- und Übersetzungsaufträge erteilen können" (Abs. 1). Steht im Einzelfall keine registrierte Person zur Verfügung, kann eine solche nicht innert nützlicher Frist aufgeboten werden oder liegen sonstige besondere Umstände vor, sind Aufträge zu den gleichen Bedingungen auch an nicht registrierte Personen möglich, sofern die auftraggebende Behörde die fachlichen und persönlichen Voraussetzungen des Betroffenen als gegeben erachtet (§ 7 Abs. 2 Dolmetscherverordnung). Die Aufnahme in das Dolmetscherverzeichnis begründet weder ein Vertragsverhältnis zwischen der betroffenen Person und den Behörden, noch verschafft sie einen Anspruch auf Erteilung von Aufträgen (§ 7 Abs. 3 Dolmetscherverordnung); selbst wer an sich für die Aufnahme in die Liste geeignet erscheint, hat keinen Anspruch hierauf (§ 9 Abs. 2 Dolmetscherverordnung).
1.3.5 Der Beschwerdeführer verfügt damit gestützt auf das einschlägige kantonale Recht über kein rechtlich geschütztes Interesse im Sinne von <ref-law>, weshalb er sich im vorliegenden Zusammenhang weder auf das Willkürverbot (<ref-law>) noch auf das allgemeine Gleichbehandlungsgebot (<ref-law>) berufen kann. Der Umstand, dass registrierte Personen, welche sich über ihre Fähigkeiten ausgewiesen haben, bei der Auftragserteilung von den Behörden bevorzugt behandelt werden (können), bildet ausschliesslich ein tatsächliches Interesse daran, nicht von der staatlichen Dolmetscherliste gestrichen zu werden (Urteil 2C_560/2007 vom 23. Oktober 2007 E. 3.3.2). Ob der Beschwerdeführer den Anforderungen an die Qualität der Dolmetscher- und Übersetzungsleistungen genügt oder nicht, ist mangels rechtlich geschützten Interesses im vorliegenden Verfahren nicht zu prüfen. Eine materielle Überprüfung ist auch nicht darüber zu erreichen, dass der Vorinstanz eine fehlerhafte Sachverhaltsermittlung oder ein willkürliches Vorgehen bei der (Beweis-)Würdigung des Prüfungsberichts vorgeworfen wird. Insoweit ist daher auf die Beschwerde nicht einzutreten.
1.3.6 Dagegen hat der Beschwerdeführer ein rechtlich geschütztes Interesse an der Beurteilung, ob im kantonalen Verfahren die verfassungsmässigen Ansprüche auf Akteneinsicht (<ref-law>) sowie auf Unparteilichkeit und Unbefangenheit der Prüfungsexperten (<ref-law>) verletzt worden sind. Anderes als die Verletzung verfassungsmässiger Rechte kann dabei jedoch nicht gerügt werden (<ref-law>).
1.3.7 Unter den vorgenannten Einschränkungen ist auf die im Übrigen form- und fristgereicht eingereichte Beschwerde einzutreten.
2. Der Beschwerdeführer rügt zunächst, ihm sei in Verletzung von Art. 29 Abs. 1 und 2 BV zu Unrecht nicht vor Abnahme der Sprachprüfung Gelegenheit gegeben worden, allfällige Ablehnungs- und Ausstandsgründe geltend zu machen. Die Prüferin Y._ und die Expertin Z._ seien für persönlich befangen zu erklären, zumal sie von einem (von den frankophonen Ländern Afrikas abweichenden) "Standardfranzösisch" ausgingen, welches es so gar nicht gebe. Gerade auch die verweigerte Einsichtnahme in die Prüfungsunterlagen lasse Zweifel an der Unbefangenheit der Prüfungsmethode der genannten Personen aufkommen.
2.1 Der Prüfungsbericht vom 14. Juni 2010 wurde dem Beschwerdeführer vor Erlass des erstinstanzlichen Entscheids zur Stellungnahme zugestellt. In seiner Eingabe vom 27. September 2010 berief sich der Beschwerdeführer jedoch nicht auf die (mögliche) Befangenheit der genannten Personen, obwohl sie im Prüfungsbericht vom 14. Juni 2010 ausdrücklich erwähnt werden. Vielmehr setzte sich der Beschwerdeführer inhaltlich mit dem Prüfungsbericht auseinander, machte geltend, es gebe keine einheitliche französische "Standardsprache", und beantragte eine Expertise bzw. Befragung durch einen unabhängigen Französisch-Sprachexperten. In der Rekursschrift vom 4. Juli 2011 wird dann erstmals eine Befangenheit behauptet.
2.2 Bei diesem Verfahrensablauf kann offenbleiben, ob es dem Beschwerdeführer nicht bereits vor seiner Stellungnahme am 27. September 2010 möglich und zumutbar gewesen wäre, die (behauptete) Befangenheit zu rügen. Spätestens mit dieser Eingabe hätte er den (behaupteten) Organmangel vorbringen können und müssen. Nach der bundesgerichtlichen Rechtsprechung wird gestützt auf den auch für die Privaten geltenden Grundsatz von Treu und Glauben und das Verbot des Rechtsmissbrauchs (<ref-law>) verlangt, dass ein echter oder vermeintlicher Organmangel so früh wie möglich, d.h. nach dessen Kenntnis bei erster Gelegenheit, geltend gemacht wird. Es verstösst gegen Treu und Glauben, Einwände dieser Art erst im Rechtsmittelverfahren vorzubringen, wenn der Mangel schon vorher hätte festgestellt und gerügt werden können (<ref-ruling> E. 4.3 S. 496; <ref-ruling> E. 3 S. 229 f.). Das erstmalige Erheben dieser Rüge in der Rekursschrift erfolgte damit eindeutig verspätet.
2.3 Im Übrigen macht der Beschwerdeführer mit seiner Rüge keinen Ausstandsgrund geltend. Wie er selbst ausführt, zweifelte er erst aufgrund des Prüfungsberichts vom 14. Juni 2010 und der dortigen Ausführung zum "Standardfranzösisch" an der Unbefangenheit der Prüferin und der Expertin. Diese Umstände waren aber nach objektiven Gesichtspunkten nicht geeignet, den Anschein der Befangenheit zu erwecken, handelt es sich doch um (behauptete) inhaltliche Mängel des Prüfungsberichts und nicht um Anzeichen für eine - über die Unbefangenheitsgarantie des <ref-law> erfasste - sachwidrige persönliche Beeinflussung durch die mit der Abklärung betrauten Personen (Urteile 1C_442/2011 vom 6. März 2012 E. 2.1; 2C_831/2011 vom 30. Dezember 2011 E. 3.1; MOOR/POLTIER, Droit administratif, Bd. II, 3. Aufl. 2011, S. 270). Bezeichnender- und sachgerechterweise erhebt der Beschwerdeführer in seiner Stellungnahme vom 27. September 2010 denn auch inhaltliche Kritik am Prüfungsbericht vom 14. Juni 2010.
3. Zudem rügt der Beschwerdeführer eine Verletzung seines verfassungsmässigen Anspruchs auf rechtliches Gehör (<ref-law>), da ihm die Einsicht in die Prüfungsunterlagen verweigert worden sei. Er habe lediglich den Prüfungsbericht vom 14. Juni 2010 einsehen können, was ihm aber nicht erlaube, sich detailliert mit diesem Bericht auseinanderzusetzen. Es sei nicht überprüfbar, welche Prüfungsaufgaben er wie gelöst habe bzw. nach welchen Kriterien die Sprachüberprüfung überhaupt vorgenommen und bewertet worden sei.
3.1 Die Vorinstanz hat eine unzulässige Verweigerung des Akteneinsichtsrechts mit der Begründung verneint, dass dem Beschwerdeführer vor Durchführung der Prüfung schriftlich mitgeteilt worden sei, worin die mündliche und schriftliche Prüfung bestehe. Auch sei detailliert aufgelistet worden, worüber die mit der Abnahme der Sprachprüfung beauftragte ZHAW Bericht zu erstatten habe. Dem Beschwerdeführer hätten die Kriterien der vorgenommenen Prüfung damit bekannt sein müssen. Es gebe keinen Hinweis darauf, dass die Prüfung nach anderen als den im Vorfeld mitgeteilten Kriterien vorgenommen worden sei.
3.2 Es ist unbestritten, dass die Fachgruppe Dolmetschwesen den Beschwerdeführer vor Durchführung der Prüfung über den Ablauf der mündlichen und schriftlichen Prüfung informiert und dabei auch die detaillierten Kriterien genannt hat, die dem Prüfungsbericht zugrunde zu legen sind. Hingegen wurde dem Beschwerdeführer entgegen seinem Antrag keine Möglichkeit gegeben, nach Absolvierung des Eignungstests in seine Prüfungsunterlagen Einsicht zu nehmen. Strittig ist, ob darin eine Verletzung des Anspruchs auf rechtliches Gehör liegt.
3.3 Der Anspruch auf rechtliches Gehör (<ref-law>) umfasst als Mitwirkungsrecht all jene Befugnisse, die einer Partei einzuräumen sind, damit sie in einem Verfahren ihren Standpunkt wirksam zur Geltung bringen kann (<ref-ruling> E. 2.3 S. 282; <ref-ruling> E. 5.1 S. 293; <ref-ruling> E. 3.2 S. 494; Urteil 2C_724/2008 vom 16. Februar 2009 E. 2.3; je mit Hinweisen). Bei Prüfungsentscheiden dient die Einsicht in die Akten dem Kandidaten namentlich dazu, nachträglich die Beurteilung seiner Prüfungsarbeit nachzuvollziehen und allenfalls ein Rechtsmittel gegen den Prüfungsentscheid einzulegen. Zu diesem Zweck ist dem Kandidaten Zugang zu all jenen Informationen zu gewähren, die erforderlich sind, um die Prüfungsbewertung nachvollziehen zu können (BGE <ref-ruling> E. 2 S. 227 ff.; Urteile 2P.83/2004 vom 9. August 2004 E. 2.3.2; 1P.593/1999 vom 1. Dezember 1999 E. 5a). Vom Einsichtsrecht erfasst sind namentlich die eigenen Prüfungsunterlagen, wozu unter anderem die schriftlich gestellten Prüfungsaufgaben sowie die schriftlichen Prüfungsarbeiten des Kandidaten zählen (BGE <ref-ruling> E. 2b S. 228 und E. 2d S. 229). Ausgenommen sind die sog. "(verwaltungs-)internen Akten", die wie etwa die persönlichen Notizen eines Prüfungsexperten bloss der Vorbereitung der Leistungsbewertung dienen und in dieser ihre endgültige Fassung finden (vgl. Urteil 2D_35/2010 vom 24. September 2010 E. 4.2 mit Hinweisen).
3.4 Anders als bei der Einsichtnahme in die Prüfungsunterlagen anderer Kandidaten (dazu Urteil 2C_638/2007, 2D_117/2007 vom 7. April 2008 E. 4.2 mit Hinweisen) kann der Zugang zu den eigenen Prüfungsunterlagen nicht davon abhängig gemacht werden, dass konkrete Anhalts- oder Verdachtspunkte vorgebracht werden, die auf eine falsche Prüfungsbewertung schliessen lassen (BGE <ref-ruling> E. 2b S. 227 f.). Vielmehr wird der Kandidat regelmässig überhaupt erst nach Konsultation seiner eigenen Prüfungsunterlagen in der Lage sein, entsprechende Anhalts- oder Verdachtspunkte substanziiert vorzubringen. Auch berühren die eigenen Prüfungsunterlagen keine schützenswerten Drittinteressen (vgl. Urteil 2C_638/2007, 2D_117/2007 vom 7. April 2008 E. 4.2).
3.5 Grundlage des vorinstanzlichen Entscheids war der Prüfungsbericht der ZHAW vom 14. Juni 2010. Weitere Prüfungsunterlagen befinden sich nicht bei den Akten. Alleine aufgrund des Prüfungsberichts und der vorgängigen Information über die Kriterien der Sprachüberprüfung war der Beschwerdeführer nicht in der Lage, die Prüfungsbewertung nachzuvollziehen: Wie er zu Recht ausführt, konnte er ohne Einsicht in die weiteren Prüfungsunterlagen (etwa die schriftlichen Übersetzungen Deutsch-Französisch bzw. Französisch-Deutsch) nicht beurteilen, welche Aufgaben er wie gelöst hat und ob die Beurteilung seiner Fähigkeiten im Prüfungsbericht zutreffend ist.
3.6 Ohne Einsicht in die eigenen Prüfungsunterlagen kann der Beschwerdeführer allfällige Einwände gegen die Sprachüberprüfung bzw. den Prüfungsbericht der ZHAW vom 14. Juni 2010 nicht substanziiert erheben. Gerade angesichts der richterlichen Zurückhaltung bei der Überprüfung von Fähigkeitsbewertungen ist der Beschwerdeführer zumindest in die Lage zu versetzen, seinen Standpunkt wirksam zur Geltung zu bringen (vgl. Urteil 2C_463/2012 vom 28. November 2012 E. 2.1). Da der Beschwerdeführer hierzu keine Gelegenheit erhielt, liegt eine Verletzung des Anspruchs auf rechtliches Gehör vor. Eine "Heilung" der festgestellten Gehörsverletzung im bundesgerichtlichen Verfahren kommt mit Blick auf die eingeschränkte Kognition des Bundesgerichts, die im Verfahren der subsidiären Verfassungsbeschwerde auf die Verletzung von verfassungsmässigen Rechten beschränkt ist (vgl. <ref-law>), nicht in Betracht (Urteil 2D_6/2008 vom 1. Juli 2008 E. 3 mit Hinweisen).
3.7 Aus den vorgenannten Gründen ist die Beschwerde gutzuheissen, der angefochtene Entscheid aufzuheben und die Sache an die Fachgruppe Dolmetscherwesen zurückzuweisen, damit sie nach Gewährung des rechtlichen Gehörs über die Sache neu entscheidet (<ref-law>).
4. Dem unterliegenden Kanton Zürich sind für das vorliegende Verfahren keine Kosten aufzuerlegen (<ref-law>). Er muss den obsiegenden Beschwerdeführer für dieses jedoch angemessen entschädigen (<ref-law>). Das Verwaltungsgericht hat dem Ausgang des vorliegenden Verfahrens entsprechend die kantonale Kosten- und Entschädigungsfrage neu zu regeln (vgl. Art. 107 Abs. 2 i.V.m. Art. 67 und 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird, soweit darauf einzutreten ist, gutgeheissen, der angefochtene Entscheid aufgehoben und die Sache zu neuem Entscheid an die Fachgruppe Dolmetscher- und Übersetzungswesen des Kantons Zürich zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Obergericht des Kantons Zürich, Verwaltungskommission, zurückgewiesen.
5. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
Lausanne, 21. Dezember 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Egli