Sachverhalt: A._ erhob am 11. Januar 2012 unter anderem gegen den Gemeindepräsidenten von X._, B._, sowie die Mitarbeiter des Kantonalen Steueramts C._ und D._ Strafanzeige wegen Amtsmissbrauchs und weiterer Straftatbestände. Die Staatsanwaltschaft Zürich-Sihl überwies die Sache ans Obergericht des Kantons Zürich zum Entscheid über die Erteilung bzw. Nichterteilung der Ermächtigung zur Durchführung einer Strafuntersuchung gegen die genannten Personen. Mit Beschluss vom 4. Juni 2012 erteilte die III. Strafkammer des Obergerichts der Staatsanwaltschaft die Ermächtigung zur Strafuntersuchung gegen B._, C._ und D._ nicht. Gegen den Beschluss des Obergerichts hat A._ Beschwerde ans Bundesgericht erhoben (Postaufgabe am 23. Juli 2012). Er beantragt die Aufhebung des angefochtenen Entscheids und sinngemäss, der Staatsanwaltschaft sei die Ermächtigung zur Durchführung einer Strafuntersuchung zu erteilen. Die Beschwerdegegner, die Vorinstanz, die Staatsanwaltschaft Zürich-Sihl und die Oberstaatsanwaltschaft des Kantons Zürich haben auf eine Vernehmlassung verzichtet.