Erwägungen:
1. Am 26. April 2011 erstattete X._ Strafanzeige gegen unbekannte Angehörige der Stadtpolizei Zürich wegen Amtsmissbrauchs, Körperverletzung usw. Am 17. Oktober 2011 überwies die Staatsanwaltschaft Zürich-Sihl die Strafanzeige an die III. Strafkammer des Obergerichts des Kantons Zürich, um über die Ermächtigung zur Durchführung einer Strafuntersuchung zu entscheiden. Die III. Strafkammer erteilte der Staatsanwaltschaft mit Beschluss vom 27. Januar 2012 die Ermächtigung zum Entscheid über die Untersuchungseröffnung bzw. die Nichtanhandnahme des Verfahrens gegen die Gesuchsgegner nicht. Sie führte aus, dass kein Anfangsverdacht hinsichtlich einer durch einen Beamten begangenen Straftat vorliege.
2. X._ führt mit Eingabe vom 29. Februar 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Beschluss der III. Strafkammer des Obergerichts des Kantons Zürich. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
3. Nach Art. 42 Abs. 2 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe.
Der Beschwerdeführer, der keinen zulässigen Beschwerdegrund nennt, setzt sich mit der Begründung des angefochtenen Beschlusses nicht auseinander. Aus seiner Eingabe ergibt sich nicht, inwiefern die Begründung, die zur Verweigerung der Ermächtigung zur Eröffnung einer Strafuntersuchung führte, bzw. der Beschluss selber im Ergebnis rechts- bzw. verfassungswidrig sein soll. Die Beschwerde genügt daher den gesetzlichen Formerfordernissen (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. in diesem Zusammenhang BGE 136 I 49 E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen) nicht, weshalb auf sie nicht einzutreten ist. Der Begründungsmangel ist offensichtlich, weshalb über die Beschwerde im vereinfachten Verfahren nach Art. 108 Abs. 1 lit. b BGG entschieden werden kann.
4. Auf eine Kostenauflage kann verzichtet werden (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Sihl sowie der Oberstaatsanwaltschaft und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 5. März 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Pfäffli