Sachverhalt:
A. X._ erstattete am 15. September 2011 eine Strafanzeige wegen verschiedener Vorfälle, die bis ins Jahr 2004 zurückreichen. Sie richtete sich gegen "sämtliche involvierten Beamten, auch diejenigen, welche mir eine unabhängige Untersuchung gem. Art. 13 & 16 FoK verweigern, gem. <ref-law> ... wegen Nötigung zu Suizid, aus selbstsüchtigen, niederen Motiven, sowie wegen vorsätzlicher Körperverletzung und Folter gem. <ref-law>, dazu wegen Amtsmissbrauch, Begünstigung ...". Die Staatsanwaltschaft Zürich-Sihl überwies die Sache der Oberstaatsanwaltschaft des Kantons Zürich. Diese überwies die Sache wiederum dem Obergericht des Kantons Zürich zum Entscheid über die Erteilung oder Nichterteilung der Ermächtigung zur Durchführung einer Untersuchung.
Mit Beschluss des Obergerichts, III. Strafkammer, vom 10. Januar 2012 wird der Staatsanwaltschaft die Ermächtigung zum Entscheid über die Untersuchungseröffnung bzw. die Nichtanhandnahme des Verfahrens gegen Unbekannt nicht erteilt. Das Obergericht weist auf eine seit Jahren andauernde Auseinandersetzung des Anzeigeerstatters mit Y._ und auf zwei Strafverfahren hin, in denen dieser jeweilen freigesprochen worden war. Es führt ferner aus, dass aus der Anzeige nicht hervorgehe, wer konkret durch welche Handlung welchen Straftatbestand erfüllt haben soll. Entsprechendes sei auch den beigezogenen Akten nicht zu entnehmen. Somit liege kein Anfangsverdacht vor, weshalb die Ermächtigung zu verweigern sei.
B. X._ hat am 26. Januar 2012 beim Bundesgerichtspräsidenten Beschwerde erhoben, mit dem Betreff "X._ c. Zürich; Moldovan-Beschluss vom OG am 10.01.12" und unter dem Titel "Verstoss gegen Art. 13 ff. FoK (SR 0.105) und wirksame Beschwerde". Der Beschwerdeführer führt im Wesentlichen das Folgende aus:
Seit dem 9. August 2004 befänden sich die Zürcher Beamten in einer Tretmühle von Amtsmissbräuchen und entsprechenden Vertuschungen. Er selber sei seither surrealem Staatsterror ausgesetzt. Er habe dadurch posttraumatische Belastungsstörungen erlitten, welche mittlerweile zu einer andauernden Persönlichkeitsveränderung geführt hätten. In rechtlicher Hinsicht weist der Beschwerdeführer auf die absolute Natur von Art. 3 EMRK hin. Dieselbe Natur wiesen Art. 13 und 16 der UN-Folterkonvention auf. Danach habe er Anspruch auf eine unabhängige Untersuchung. Er habe seit dem 26. Juni 2010 unzählige entsprechende Anträge gestellt. Wegen seiner Zivilforderungen sei der konspirative Ermächtigungsbeschluss des Obergerichts widerrechtlich. Er hält Verstösse gegen das Beschleunigungsverbot und das Recht auf eine wirksame Beschwerde fest und beklagt sich über unmenschliche Behandlung. Ebenso soll er keine einsprachefähige Verfügung erhalten haben. Es sei tatsachenwidrig, wenn ihm ein Antrag auf Nichterteilung der Ermächtigung unterstellt werde. Er verlangt erneut und mit Nachdruck eine unabhängige Untersuchung gemäss Art. 13 und 16 Folterkonvention. Ferner bezieht sich der Beschwerdeführer auf einen fürsorgerischen Freiheitsentzug. Eine Einweisungsverfügung habe er erst am dritten Tag erhalten. Diese habe übelste Verleumdungen enthalten. Als Folge einer von ihm erhobenen Beschwerde habe ihn die Klinik Burghölzli entlassen müssen. Das Ermächtigungsverfahren sei mit Art. 3 EMRK und Art. 13 und 16 UN-Folterkonvention nicht vereinbar. Er habe bereits am 30. April 2011 sämtliche Zürcher Beamten wegen Befangenheit abgelehnt, sodass zuerst über dieses Ausstandsbegehren hätte befunden werden müssen.
Zusammenfassend stellt der Beschwerdeführer sinngemäss die folgenden Anträge: Durchführung einer unabhängigen Untersuchung gemäss Folterkonvention, vollumfängliche Behebung des verursachten Schadens inkl. Lohnausfall seit dem 1. Juni 2009, Überweisung der Strafsache an das Bundesstrafgericht, Herausgabe der geheimen Akten bei der Oberstaatsanwaltschaft, aufschiebende Wirkung.
Die Staatsanwaltschaft Zürich-Sihl, die Oberstaatsanwaltschaft und das Obergericht haben auf Vernehmlassung verzichtet.
Der Beschwerdeführer liess dem Bundesgericht weitere Eingaben zukommen: vom 9. Februar 2012, vom 29. Februar 2012, vom 12. März 2012 (zwei Schreiben), vom 3. April 2012, vom 2. Mai 2012 und vom 3. Mai 2012 (zwei Eingaben). Er ersucht um einen zweiten Schriftenwechsel, aufschiebende Wirkung und Gewährung der unentgeltlichen Rechtspflege.

Erwägungen:
1. Gegen den Entscheid des Obergerichts steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten gemäss <ref-law> offen. Der Beschwerdeführer legt nicht in einer den Anforderungen von <ref-law> genügenden Weise dar, weshalb und inwiefern der angefochtene Beschluss gegen Bundesrecht verstossen sollte. Insoweit kann auf die Beschwerde nicht eingetreten werden.
Im Wesentlichen macht der Beschwerdeführer einzig geltend, aufgrund von Art. 12 f. und Art. 14 des UN-Übereinkommens gegen Folter und andere grausame, unmenschliche oder erniedrigende Behandlung oder Strafe vom 10. Dezember 1984 (Folterkonvention, FoK; SR 0.105) habe er Anspruch auf eine unparteiische Untersuchung, ohne darlegen zu müssen, dass er gefoltert oder anderswie grausam, unmenschlich oder erniedrigend behandelt worden zu sein. Das Ermächtigungsverfahren sei mit der Folterkonvention nicht vereinbar. Darauf ist nachfolgend einzugehen.
2. 2.1 Nach <ref-law> können die Kantone vorsehen, dass die Strafverfolgung von Beamten von einer Ermächtigung abhängig gemacht wird. Das Zürcher Gesetz über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (Gerichtsorganisationsgesetz, GOG; Gesetzessammlung 211.1) sieht in § 148 einen entsprechenden Ermächtigungsentscheid durch das Obergericht, somit durch eine unabhängige gerichtliche Instanz vor. Es sollen Staatsbedienstete vor mutwilliger Strafverfolgung geschützt werden. Im Ermächtigungsverfahren dürfen grundsätzlich nur strafrechtliche Gesichtspunkte berücksichtigt werden (zum Ganzen <ref-ruling> E. 2 S. 275 mit Hinweisen). Dabei hat der Betroffene die angebliche Straftat glaubhaft zu machen, damit der Ermächtigungsentscheid getroffen werden kann. Das gilt auch hinsichtlich von Straftaten im Sinne der Folterkonvention. Das ergibt sich aus Art. 12 und 13 FoK, wonach eine Untersuchung vorzunehmen ist, wenn ein hinreichender Grund für die Annahme einer Folterhandlung besteht bzw. wenn jemand behauptet, gefoltert worden zu sein. Es genügt nicht, mit blossem Verweis auf die Konvention eine Untersuchung zu verlangen.
Der Beschwerdeführer hat weder vor Obergericht noch im bundesgerichtlichen Verfahren konkret behauptet oder glaubhaft gemacht, inwiefern, bei welcher Gelegenheit und allenfalls durch welche Polizeibeamten er misshandelt worden sei und welche Straftatbestände dabei möglicherweise erfüllt seien. Daran ändert auch ein neu nachgereichtes und nach <ref-law> unzulässiges Bild mit "ausgerissenen Haaren" und einem "ausgeschlagenen Zahn" nichts. Bei dieser Sachlage durfte das Obergericht ohne Rechtsverletzung annehmen, es fehle an einem hinreichenden Anfangsverdacht, und die Ermächtigung verweigern.
2.2 Daran vermag auch die Berufung auf Art. 3 EMRK nichts zu ändern. Nach <ref-law> ist Folter und jede andere Art grausamer, unmenschlicher oder erniedrigender Behandlung verboten. Dieselbe Grundrechtsgarantie ist in Art. 3 EMRK enthalten. Die Rechtsprechung anerkennt gestützt auf <ref-law>, Art. 7 UNO-Pakt II, Art. 3 und 13 EMRK sowie Art. 13 des UN-Übereinkommens gegen Folter und andere grausame, unmenschliche oder erniedrigende Behandlung oder Strafe vom 10. Dezember 1984 (SR 0.105) einen Anspruch des von solcher Behandlung Betroffenen auf wirksamen Rechtsschutz (vgl. <ref-ruling> E. 1.2.5 S. 462 f.; Urteile des Bundesgerichts 1B_70/ 2011 vom 11. Mai 2011 E. 2.2.5, in: EuGRZ 2011 619; 1B_10/2012 vom 29. März 2012 E. 1.2.3). In diesem Sinne hat Anspruch auf eine wirksame und vertiefte amtliche Untersuchung, wer in vertretbarer Weise behauptet, von einem Polizeibeamten erniedrigend behandelt worden zu sein. Kann sich der Betroffene auf Art. 3 EMRK berufen, verschafft ihm der prozessuale Teilgehalt dieser Bestimmung ein rechtlich geschütztes Interesse an der Aufhebung eines Entscheids, mit dem die Eröffnung einer Strafuntersuchung gegen einen Polizeibeamten abgelehnt wird, die Untersuchung eingestellt wird oder ein Freispruch ergeht (Urteile 6B_364/2011 vom 24. Oktober 2011; 6B_274/2009 vom 16. Februar 2010). Dem Betroffenen steht somit ein umfassender Rechtsschutz zur Verfügung.
Die Berufung auf den prozessualen Teilgehalt von Art. 3 EMRK entbindet nicht davon, eine entsprechende Misshandlung in vertretbarer Weise zu behaupten und konkret darzutun. Dem ist der Beschwerdeführer, wie das Obergericht festgehalten hat, nicht nachgekommen.
3. Der Beschwerdeführer weist auf weitere Ereignisse und Bemühungen hin. Ein fürsorgerischer Freiheitsentzug und damit verbundene Verfahrensverletzungen sind im sachbezogenen Verfahren zu rügen. Ein angeblich gegen sämtliche Staatsbedienstete gerichtetes Ausstandsgesuch wird nicht substantiiert. Darauf ist nicht einzugehen.
4. Demnach ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Mit dem Entscheid in der Sache wird das Gesuch um Gewährung der aufschiebenden Wirkung gegenstandslos. Nachdem sich der Beschwerdeführer mit mehreren Eingaben unaufgefordert geäussert hat, erübrigt sich ein weiterer Schriftenwechsel. Es rechtfertigt sich, auf Kosten zu verzichten, sodass das Gesuch um Gewährung der unentgeltlichen Rechtspflege gegenstandslos wird.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Sihl sowie der Oberstaatsanwaltschaft und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 3. August 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Steinmann