Erwägungen:
1. X._ reichte am 15. März 2012 eine Strafanzeige gegen Y._, Geschäftsleiter des Strassenverkehrsamt des Kantons Zürich, wegen übler Nachrede sowie Verleumdung ein. Die Staatsanwaltschaft Zürich-Sihl überwies die Akten am 17. April 2012 an die III. Strafkammer des Obergerichts des Kantons Zürich, um über die Erteilung bzw. Nichterteilung der Ermächtigung zur Durchführung einer Strafuntersuchung zu entscheiden. Die III. Strafkammer erteilte mit Beschluss vom 18. Mai 2012 der Staatsanwaltschaft die Ermächtigung zum Entscheid über die Untersuchungseröffnung bzw. die Nichtanhandnahme des Verfahrens nicht. Zur Begründung führte die III. Strafkammer zusammenfassend aus, dass der Anzeiger wegen einer nicht bestandenen Führerprüfung bzw. der Verweigerung der Ausstellung eines Lernfahrausweises mit Angestellten des Strassenverkehrsamtes in Kontakt getreten sei. Aufgrund der Art und Weise, wie der Anzeiger gegenüber diesen Personen aufgetreten sei, erfolgte durch den Generalsekretär der Sicherheitsdirektion eine entsprechende Meldung bei der Kantonspolizei. In der Folge habe der Angezeigte mehrere Aktenstücke der Polizei zur Verfügung gestellt. Inwiefern diese Akten allfällige Geheimnisse enthalten sollen, womit eine Amtsgeheimnisverletzung im Sinne von <ref-law> zu prüfen wäre, habe der Anzeiger weder dargetan noch sei dies ersichtlich. Die Herausgabe der Akten erscheine notwendig, um ein allfälliges Eskalationspotenzial des Anzeigers erkennen zu können. Ein strafrechtlich relevantes Verhalten könne darin nicht erblickt werden. Auch dass der Angezeigte davon ausgegangen sei, der Anzeiger könne auf Grund seines Verhalten eine mögliche Gefahr darstellen, sei ebenfalls strafrechtlich nicht relevant. Zusammenfassend sei somit nicht ersichtlich, inwiefern der angezeigte Sachverhalt strafrechtlich relevant sein soll.
2. X._ führt mit Eingabe vom 1. Juni 2012 (Postaufgabe 2. Juni 2012) Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Beschluss der III. Strafkammer des Obergerichts des Kantons Zürich. Mit Schreiben vom 16. Juni 2012 ersuchte X._ um Gewährung der unentgeltlichen Rechtspflege. Das Bundesgericht verzichtete auf die Einholung von Vernehmlassungen, liess sich jedoch die kantonalen Akten zustellen.
3. Nach <ref-law> ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von <ref-law> nennen die vor Bundesgericht zulässigen Beschwerdegründe. Hinsichtlich der Verletzung von Grundrechten gilt der in <ref-law> verankerte Grundsatz der Rechtsanwendung von Amtes wegen nicht; insofern besteht eine qualifizierte Rügepflicht (<ref-law>; <ref-ruling> E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen). Es obliegt dem Beschwerdeführer namentlich darzulegen, inwiefern der angefochtene Entscheid gegen die gerügten Grundrechte verstossen soll. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen.
Der Beschwerdeführer setzt sich mit der Begründung der III. Strafkammer nicht rechtsgenüglich auseinander. Aus seinen Ausführungen ergibt sich nicht, inwiefern der Schluss der Strafkammer, der angezeigte Sachverhalt sei strafrechtlich nicht relevant, rechts- bzw. verfassungswidrig sein soll. Die Beschwerde genügt daher den gesetzlichen Formerfordernissen nicht, weshalb auf sie nicht einzutreten ist. Der Begründungsmangel ist offensichtlich, weshalb über die Beschwerde im vereinfachten Verfahren nach <ref-law> entschieden werden kann.
4. Das vom Beschwerdeführer gestellte Gesuch um Gewährung der unentgeltlichen Rechtspflege ist abzuweisen, da sich die Beschwerde als aussichtslos erweist (<ref-law>). Auf eine Kostenauflage kann indessen verzichtet werden (<ref-law>).

Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Es werden keine Kosten erhoben.
4. Dieses Urteil wird den Parteien, der Staatsanwaltschaft Zürich-Sihl und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 31. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Pfäffli