Sachverhalt:
A. Mit Schreiben vom 28. März 2009 und 17. April 2009 erstattete X._ Strafanzeige gegen Mitglieder des Bezirksgerichts Meilen und gegen verschiedene Staatsanwaltschaften. Die Staatsanwaltschaft See/Oberland des Kantons Zürich forderte X._ mit Schreiben vom 30. April 2009 auf, ihr mitzuteilen, gegen welche Personen sich die Anzeige konkret richte. In der Folge erhielt sie weitere Strafanzeigen von X._. Am 24. Mai 2011 forderte sie ihn erneut auf, ihr mitzuteilen, gegen welche Personen sich seine Anzeige richte. Daraufhin reichte X._ eine Liste mit Behördenmitgliedern ein.
Die Strafanzeige gegen 87 namentlich genannte und gegen unbekannte Behördenmitglieder wurde zur Durchführung eines Ermächtigungsverfahren an das Obergericht des Kantons Zürich weitergeleitet. Das Obergericht setzte X._ mit Verfügung vom 21. November 2011 Frist zur Einreichung einer Stellungnahme an. Der Beschwerdeführer antwortete mit einer vom 29. November 2011 datierenden Eingabe. Darin erstattete er Strafanzeige gegen die Verfasser der Verfügung vom 21. November 2011 und gegen A._ von der Oberstaatsanwaltschaft. Er erklärte das Obergericht für befangen und schloss daraus auf dessen Unzuständigkeit. Mit Beschluss vom 27. Dezember 2011 trat das Obergericht auf das Ausstandsbegehren nicht ein und verweigerte die Erteilung der Ermächtigung zur Strafverfolgung.
B. Mit Beschwerde an das Bundesgericht vom 6. Februar 2012 beantragt X._, der Beschluss des Obergerichts sei aufzuheben und die Zürcher Staatsanwaltschaft sei anzuweisen, ein Strafverfahren einzuleiten. Zudem sei zu prüfen, ob eine ausserkantonale Untersuchungsbehörde mit der Durchführung des Strafverfahrens zu betrauen sei.
Die Oberstaatsanwaltschaft und das Obergericht des Kantons Zürich haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft See/Oberland hat sich nicht vernehmen lassen.
Mit Eingabe vom 27. Februar 2012 ersuchte der Beschwerdeführer das Bundesgericht um die Gewährung der unentgeltlichen Rechtspflege. Weiter beantragte er, über das Gesuch sei vorgängig in einem separaten Entscheid zu befinden. Mit Verfügung vom 11. Mai 2012 wies das Bundesgericht das Gesuch um unentgeltliche Rechtspflege wegen fehlender Bedürftigkeit ab (Art. 64 Abs. 1 BGG).

Erwägungen:
1. 1.1 Die Ermächtigung zur Strafverfolgung stellt eine Prozessvoraussetzung für das Strafverfahren dar, wird jedoch in einem davon getrennten Verwaltungsverfahren erteilt. Das zutreffende Rechtsmittel ist deshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-ruling> E. 1.3.1 S. 272 mit Hinweisen).
1.2 Angefochten ist ein Entscheid einer letzten kantonalen Instanz, der das Verfahren abschliesst (Art. 86 Abs. 1 lit. d und Art. 90 BGG). Eine Ausnahme von der Zulässigkeit der Beschwerde nach Art. 83 BGG besteht nicht. Lit. e dieser Bestimmung, wonach Entscheide über die Verweigerung der Ermächtigung zur Strafverfolgung von Behördenmitgliedern oder von Bundespersonal von der Beschwerdemöglichkeit ausgenommen sind, ist nur auf die obersten Vollziehungs- und Gerichtsbehörden anwendbar, denn nur bei diesen dürfen politische Gesichtspunkte in den Entscheid einfliessen (<ref-ruling> E. 1.3.2 S. 272 f. mit Hinweis).
1.3 Zur Beschwerde ist nach Art. 89 Abs. 1 BGG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), durch den angefochtenen Entscheid oder Erlass besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. c). Das schutzwürdige Interesse kann rechtlicher oder tatsächlicher Natur sein (<ref-ruling> E. 2.2 S. 290). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen. Er macht in plausibler Weise geltend, durch das das Verhalten, das Gegenstand des strafrechtlichen Vorwurfs bildet, einen Eingriff in sein Persönlichkeitsrecht erlitten zu haben. Die Beschwerdelegitimation ist deshalb zu bejahen.
1.4 Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist unter Vorbehalt der nachfolgenden Erwägungen einzutreten.
2. 2.1 Der Beschwerdeführer macht geltend, die Vorinstanz habe die Ausstandsvorschriften verletzt. Er habe mit Schreiben vom 29. November 2011 unter anderem die Befangenheit von Oberrichter B._ geltend gemacht. Art. 5a des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 (VRG; LS 175.2) sehe vor, dass die Aufsichtsbehörde entscheide, wenn der Ausstand streitig sei.
2.2 Das Obergericht führte aus, soweit die an die Geschäftsleitung des Zürcher Kantonsrats gerichtete Eingabe des Beschwerdeführers vom 3. Oktober 2011 überhaupt als Ausstandsbegehren zu verstehen sei, richte sich dieses pauschal gegen das Obergericht mit all seinen Richtern. Ausstandsgründe könnten sich jedoch nur auf einzelne Mitglieder der Strafbehörden beziehen und es sei unzulässig, ein Ausstandsgesuch gegen eine ganze Strafbehörde zu richten. Auf eine Weiterleitung an eine allenfalls zuständige Instanz könne verzichtet werden. Soweit der Beschwerdeführer einzelne Namen nenne, unterlasse er es, konkrete Gründe nach Art. 56 StPO zu nennen und diese einzelnen Personen zuzuordnen. Weil diese Personen nicht am Entscheid mitwirken würden, erübrige es sich, dem Beschwerdeführer Gelegenheit zur Ergänzung seines Gesuchs zu geben.
2.3 Gemäss Art. 7 Abs. 2 lit. b StPO können die Kantone vorsehen, dass die Strafverfolgung der Mitglieder ihrer Vollziehungs- und Gerichtsbehörden wegen im Amt begangener Verbrechen oder Vergehen von der Ermächtigung einer nicht richterlichen Behörde abhängt. Der Kanton Zürich hat von dieser Möglichkeit durch Erlass von § 148 des Gesetzes vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (GOG; LS 211.1) und von § 38 des Kantonsratsgesetzes vom 5. April 1981 (KRG; LS 171.1) Gebrauch gemacht. Das Ermächtigungsverfahren ist ein Verwaltungsverfahren (siehe E. 1.1 hiervor). Es ist in der StPO nicht geregelt; anwendbar sind die entsprechenden Vorschriften des kantonalen Rechts. Art. 5a Abs. 2 VRG sieht vor, dass bei einer Streitigkeit über den Ausstand die Aufsichtsbehörde oder, wenn es sich um den Ausstand eines Mitglieds einer Kollegialbehörde handelt, diese Behörde unter Ausschluss des betreffenden Mitglieds entscheidet. Das Obergericht geht sinngemäss davon aus, dass eine Streitigkeit über den Ausstand nur vorliegt, wenn tatsächlich ein Ausstandsgrund geltend gemacht werde. Diese Auffassung ist nicht zu beanstanden (vgl. <ref-ruling> E. 1 S. 278 f. mit Hinweis). Der Beschwerdeführer behauptet in den erwähnten Schreiben vom 3. Oktober 2011 und 29. November 2011 pauschal, das gesamte Obergericht bzw. seine Mitglieder seien befangen. Damit sagt er indessen nicht konkret, was seines Erachtens der Grund dieser Befangenheit sein soll. Unter diesen Umständen durfte die Vorinstanz in unveränderter Besetzung über das Ausstandsbegehren urteilen. Die sinngemässe Rüge der willkürlichen Anwendung von Art. 5a VRG ist unbegründet.
Zu berücksichtigen ist in dieser Hinsicht, dass der Beschwerdeführer an anderen Stellen seiner Beschwerdeschrift verschiedene Vorwürfe gegenüber dem Obergericht Zürich erhebt. Er bringt diese jedoch nicht mit einem Ausstandsgrund in Zusammenhang und ein derartiger Zusammenhang ist auch nicht ersichtlich. So bezichtigt der Beschwerdeführer das Obergericht der Unfähigkeit, da es in derselben Sache zwei separate Entscheide erlassen habe. Inwiefern dieser Vorwurf für das vorliegende Verfahren relevant sein soll, ist jedoch nicht ersichtlich und wird auch nicht dargetan. Die Kritik, das Obergericht habe damals durch die zweifache Erhebung einer Gerichtsgebühr gegen Art. 313 StGB verstossen, bleibt ebenfalls unbegründet. Dem Beschwerdeführer wäre es im Übrigen offen gestanden, gegen die beiden beanstandeten Entscheide ein Rechtsmittel zu ergreifen. Nicht weiter substanziiert ist sodann der Vorwurf des Beschwerdeführers, in einem Entscheid vom 26. August 2008 durch das Obergericht genötigt, bedroht und beschimpft worden zu sein (Art. 42 Abs. 2 BGG). Wenn sodann das Obergericht einen Entscheid zu Unrecht als rechtskräftig bezeichnet haben sollte, wie dies der Beschwerdeführer behauptet, so ist darin keine Falschbeurkundung zu erblicken (Art. 317 StGB). Nicht weiter begründet wird schliesslich der an anderer Stelle pauschal erhobene Vorwurf der Falschbeurkundung, des Amtsmissbrauchs und der Verletzung weiterer Normen des kantonalen und des Bundesrechts. Darauf ist nicht einzutreten (Art. 42 Abs. 2 BGG).
3. 3.1 Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf rechtliches Gehör. Das Obergericht habe beim Bezirksgericht Meilen Schriftstücke eingefordert, ohne ihn zu orientieren. An anderer Stelle kritisiert er, offenbar seien dem Obergericht diverse Aktenstücke zugesandt worden, welche ihm vorenthalten wurden.
3.2 Nach der bundesgerichtlichen Rechtsprechung folgt aus dem Anspruch auf ein faires Verfahren und dem rechtlichen Gehör das Recht der Parteien, Einsicht in die Akten eines hängigen Verfahrens zu nehmen und sich dazu zu äussern (Art. 29 Abs. 1 und 2 BV, Art. 6 Ziff. 1 EMRK). Damit die Beteiligten die Möglichkeit haben, ein Akteneinsichtsgesuch zu stellen, müssen sie über den Beizug neuer entscheidwesentlicher Akten informiert werden. Dies gilt jedenfalls für Akten, welche sie nicht kennen und auch nicht kennen können (<ref-ruling> E. 6.2 S. 391 mit Hinweisen; zum Ganzen: Urteil 1C_88/2011 vom 15. Juni 2011 E. 3.4 mit Hinweisen).
Der Beschwerdeführer erhob gegen das Bezirksgericht Meilen am 17. April 2009 wegen angeblicher Verfehlungen in der Verfahrensführung Strafanzeige. Er musste damit rechnen, dass die Staatsanwaltschaft daraufhin die betreffenden Verfahrensakten beiziehen würde. Indem das Obergericht im angefochtenen Entscheid auf diese Akten verwies, ohne dass der Beschwerdeführer zuvor über deren Beizug informiert worden ist, stellt keine Verletzung des rechtlichen Gehörs dar. Die betreffende Rüge ist unbegründet.
In Bezug auf die Kritik, es seien ihm weitere Aktenstücke vorenthalten worden, führt der Beschwerdeführer nicht aus, worauf er sich konkret bezieht. Darauf ist mangels hinreichender Begründung nicht einzutreten (Art. 42 Abs. 2 BGG).
4. Der Beschwerdeführer bringt vor, entgegen der Feststellung im angefochtenen Entscheid sei er am 24. Mai 2011 und nicht am 30. April 2011 zur Einreichung einer Liste mit den angezeigten Personen aufgefordert worden. Er habe auf diese Falschaussage bereits früher hingewiesen.
Diese Sachverhaltsrüge ist unbegründet. Aus den Akten ergibt sich, dass der Beschwerdeführer zweimal, zuerst mit Schreiben vom 30. April 2011 und dann mit Schreiben vom 24. Mai 2011 zur Einreichung einer Liste aufgefordert wurde. Darüber hinaus wäre eine diesbezüglich unzutreffende Feststellung für den Ausgang des Verfahrens auch nicht entscheidend (vgl. Art. 97 Abs. 1 BGG). In der falschen Bezeichnung eines Datums liegt nicht ohne Weiteres ein deliktisches Verhalten, wie des der Beschwerdeführer mit der Verwendung des Begriffs "Falschaussage" suggeriert.
5. Der Beschwerdeführer beanstandet, dass er im angefochtenen Entscheid als Gesuchsteller bezeichnet wird. Gesuchsteller muss seiner Ansicht nach der Staat sein, nicht der Anzeigeerstatter. Der angefochtene Entscheid sei deshalb nichtig.
Es trifft zu, dass Offizialdelikte von Amtes wegen zu verfolgen sind, sofern ein entsprechender Tatverdacht vorliegt. Wenn der Beschwerdeführer im Rubrum des angefochtenen Entscheids neben der Staatsanwaltschaft als Gesuchsteller aufgeführt wird, stellt dies nichtsdestotrotz keine Verletzung von Bundesrecht dar (Art. 95 BGG). Die Rüge ist unbegründet.
6. Der Beschwerdeführer ist der Ansicht, das Obergericht hätte seine Eingabe vom 29. November 2011 nicht als Stellungnahme bezeichnen dürfen. Es habe sich dabei vielmehr um eine Beschwerde gehandelt.
Das Obergericht setzte dem Beschwerdeführer mit Verfügung vom 21. November 2011 eine Frist an, um sich zur Frage der Ermächtigung zur Strafverfolgung zu äussern. Der Beschwerdeführer reichte daraufhin ein vom 29. November 2011 datiertes Schreiben ein. Dieses ist zwar mit "Rückweisung Beschwerde" überschrieben, doch ist nicht zu beanstanden, dass es von der Vorinstanz als Stellungnahme verstanden wurde. Es ist nicht ersichtlich und wird vom Beschwerdeführer auch nicht geltend gemacht, dass gegen die Fristansetzung ein Rechtsmittel zur Verfügung gestanden hätte. Eine Bundesrechtsverletzung wird in dieser Hinsicht vom Beschwerdeführer nicht dargetan (Art. 42 Abs. 2 BGG).
7. 7.1 Die Verweigerung der Ermächtigung begründet das Obergericht mit dem Fehlen eines relevanten Tatverdachts im Sinne von Art. 309 Abs. 1 lit. a StPO. In der Eingabe vom 28. März 2009 kritisiere der Beschwerdeführer eine Fristansetzung durch das Bezirksgericht Meilen und die vorübergehende Verweigerung der Akteneinsicht, ohne aber darzutun, wer sich damit eines Offizialdelikts schuldig gemacht bzw. inwiefern darin eine Falschbeurkundung liegen solle. Ebenso wenig zeige er auf, worin die behauptete aktenkundige Falschbeurkundung gemäss Art. 312 StGB von C._ und der Steuerkommission bestehe. Auch den vom Bezirksgericht Meilen angeforderten Akten lasse sich kein deliktisches Verhalten entnehmen. Allein der Umstand, dass sich ein Gericht oder eine Behörde nicht so verhalte, wie es sich der Beschwerdeführer vorstelle, begründe noch keinen Amtsmissbrauch im Sinne von Art. 312 StGB. Das Gleiche lasse sich zu den weiteren Eingaben des Beschwerdeführers sagen, insbesondere jenen vom 17. April 2009, 3. Oktober 2011 und 29. November 2011. Der Umstand, dass der Beschwerdeführer das Verhalten von Behördenmitgliedern als Korruption, Falschbeurkundung, Amtsmissbrauch etc. bezeichne, begründe noch keinen entsprechenden Tatverdacht. Die als rechtsmissbräuchlich bezeichneten Fristansetzungen erschienen korrekt, und auch wenn dies nicht zutreffen würde, läge deshalb noch kein Amtsmissbrauch vor. Wenn zudem ein Staatsanwalt die Eingaben des Beschwerdeführers als konfus, weitschweifig und substanzlos bezeichnet habe, so stelle das noch keine Ehrverletzung dar. Die der Eingabe vom 29. November 2011 beigefügte Liste mit dem Titel "Strafverfahren, Offizialdelikte" sei schliesslich lediglich eine Aufzählung von Gesetzesartikeln, gegen welche die angezeigten Personen verstossen haben sollen.
7.2 Der Beschwerdeführer bestreitet, die zur Anzeige gebrachten Delikte nicht detailliert beschrieben zu haben. Er verweist mehrmals pauschal auf seine Strafanzeigen und weiteren Rechtsschriften. Da er sich insofern nicht in substanziierter Weise mit dem angefochtenen Entscheid auseinandersetzt, ist darauf nicht einzutreten (Art. 42 Abs. 2 BGG).
7.3 Der Beschwerdeführer macht weiter geltend, das Obergericht habe lediglich geschrieben, es könne der Staatsanwaltschaft darin beigepflichtet werden, dass kein hinreichender Tatverdacht bestehe. Eine Begründung fehle.
Vor dem Hintergrund der soeben wiedergegebenen Ausführungen der Vorinstanz kann nicht gesagt werden, diese habe sich nicht selbst inhaltlich mit der Sache befasst. Der in Art. 29 Abs. 2 BV verankerte Anspruch auf rechtliches Gehör lässt im Übrigen zu, dass sich die Behörde auf die für den Entscheid wesentlichen Punkte beschränkt. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann (<ref-ruling> E. 5.2 S. 236 mit Hinweisen). Diesen Anforderungen genügt der angefochtene Entscheid.
Vor dem Hintergrund der soeben wiedergegebenen Ausführungen der Vorinstanz kann nicht gesagt werden, diese habe sich nicht selbst inhaltlich mit der Sache befasst. Der in Art. 29 Abs. 2 BV verankerte Anspruch auf rechtliches Gehör lässt im Übrigen zu, dass sich die Behörde auf die für den Entscheid wesentlichen Punkte beschränkt. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann (<ref-ruling> E. 5.2 S. 236 mit Hinweisen). Diesen Anforderungen genügt der angefochtene Entscheid.
7.4 7.4.1 Der Beschwerdeführer erhebt diverse Vorwürfe gegen Behördenmitglieder und rügt damit sinngemäss eine Verletzung von Art. 309 Abs. 1 lit. a StPO. Im Einzelnen ergibt sich dazu Folgendes:
7.4.2 Die Auffassung des Beschwerdeführers, wegen mehrfacher unbegründeter Betreibungen Opfer eines Ehrverletzungsdelikts geworden zu sein, ist unbegründet. Das unbegründete Einleiten von Betreibungen erfüllt keinen der Tatbestände von Art. 173 ff. StGB. Dasselbe gilt für die Kritik des Beschwerdeführers an der Amtsführung des Ombudsmanns D._. Aus dem nicht weiter ausgeführten Vorwurf, dieser habe "hinten herum Aktivitäten entwickelt" und seine Aufgaben nicht richtig wahrgenommen, ergibt sich weder ein hinreichender Verdacht auf Amtsmissbrauch (Art. 312 StGB) noch auf Verletzung des Amtsgeheimnisses (Art. 320 StGB). Auch der gegenüber der Staatsanwaltschaft erhobene Vorwurf der Verfahrensverzögerung ist strafrechtlich irrelevant. Formelle Rechtsverweigerung stellt keinen Straftatbestand dar. Im Übrigen liefert der Beschwerdeführer keine konkreten Anhaltspunkte dafür, dass er bereits im Jahr 2005 eine Strafanzeige erhoben habe, die jedoch unterdrückt worden sei (Art. 42 Abs. 2 i.V.m. Art. 97 Abs. 1 BGG). Schliesslich ist auch die angebliche Verweigerung der Akteneinsicht oder die falsche Ansetzung von Fristen durch das Bezirksgericht Meilen nicht tatbestandsmässig. Nicht weiter begründet wird der an die Zürcher Verwaltung und Justiz gerichtete Vorwurf des Amtsmissbrauchs, der gegenseitigen Begünstigung, der Korruption, der Verleumdung, Falschbeurkundung etc. Dem Beschwerdeführer ist auch nicht in seiner Auffassung zu folgen, die Aufforderung zur Einreichung einer Liste mit den angezeigten Personen unter der Androhung, auf die Strafanzeigen sonst nicht einzutreten, sei strafrechtlich als Nötigung (Art. 181 StGB) und Drohung (Art. 180 StGB) zu qualifizieren. Wenn der Beschwerdeführer sodann der Staatsanwaltschaft vorwirft, nicht gewillt zu sein, die Offizialdelikte zu untersuchen, so übersieht er, dass die Strafverfolgung im vorliegenden Fall von einer Ermächtigung abhängt. Ob die Voraussetzungen dafür gegeben sind, ist Gegenstand dieses Verfahrens.
7.4.3 Der Beschwerdeführer kritisiert die Feststellung der Vorinstanz, wonach es noch keine Ehrverletzung darstellt, wenn ein Staatsanwalt die Eingaben des Beschwerdeführers als konfus, weitschweifig und substanzlos bezeichnet. Er beschreibt zur Untermauerung seiner Kritik einen nächtlichen Einbruch bei ihm zu Hause. Dieser soll von einem Betreibungsbeamten organisiert worden sein. Später habe er von Staatsanwalt E._ ein Schreiben erhalten, worin ihn dieser wüst beschimpft und ihm unterstellt habe, an einer ernsthaften Krankheit zu leiden. Dieser Brief, datierend vom 3. Juni 2008, sei an weitere Kreise versandt worden.
Die Feststellung der Vorinstanz, dass die Bezeichnung von Eingaben als konfus, weitschweifig und substanzlos keine Ehrverletzung darstellt, ist nicht zu beanstanden. Soweit der Beschwerdeführer, abweichend von den Sachverhaltsfeststellungen der Vorinstanz, weitere Vorwürfe erhebt, legt er nicht dar, inwiefern sich diese aus den Akten ergeben. Darauf ist nicht einzutreten (Art. 42 Abs. 2 i.V.m. Art. 97 Abs. 1 und Art. 99 Abs. 1 BGG).
7.4.4 Zusammenfassend ergibt sich, dass das Obergericht Art. 309 Abs. 1 lit. a StPO nicht verletzte, indem es von der Ermächtigung zur Strafverfolgung absah.
8. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Er hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, der Oberstaatsanwaltschaft des Kantons Zürich, der Staatsanwaltschaft See/Oberland und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 16. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold