Sachverhalt: A. Im März 2015 liess das "Überparteiliche Komitee Selbstbestimmung am Lebensende" anlässlich der Regierungsratswahlen im Kanton Zürich eine Broschüre verteilen, mit welcher die Stimmberechtigten überzeugt werden sollten, nicht die Regierungsratskandidatin B._ zu wählen. B._ erhob am 16. März 2015 wegen des Inhalts der Borschüre Strafanzeige gegen Unbekannt wegen Ehrverletzung. Durch Abklärungen bei der Post ermittelte die Kantonspolizei Zürich A._ als Inhaber der auf der Broschüre abgedruckten Zustelladresse. A._ wurde in der Folge von der Kantonspolizei zur Befragung als Auskunftsperson vorgeladen. Er teilte mit, er werde vollumfänglich von seinem Recht, die Aussage zu verweigern, Gebrauch machen, weshalb auf seine polizeiliche Befragung verzichtet wurde. Am 10. April 2015 reichte A._ beim Regierungsrat des Kantons Zürich Strafanzeige gegen Unbekannt wegen Amtsmissbrauchs und unbefugten Beschaffens von Personendaten ein. Er wirft den Behörden zusammengefasst vor, sie hätten trotz Fehlen eines Anfangsverdachts ein Strafverfahren gegen ihn eingeleitet, das Vorgehen der Behörden habe einzig der politischen Unterstützung von B._ gedient und die vorgenommenen Abklärungen bei der Post seien widerrechtlich gewesen. B. Die mit der Strafanzeige von A._ befasste Staatsanwaltschaft Zürich-Sihl überwies die Sache am 25. April 2016 via Oberstaatsanwaltschaft des Kantons Zürich ans Obergericht des Kantons Zürich zum Entscheid über die Erteilung bzw. Nichterteilung der Ermächtigung zur Durchführung einer Strafuntersuchung gegen Unbekannt. Die Staatsanwaltschaft beantragte, die Ermächtigung nicht zu erteilen, weil nach summarischer Prüfung kein deliktsrelevanter Verdacht vorliege. Mit Beschluss vom 13. Juni 2016 erteilte die III. Strafkammer des Obergerichts der Staatsanwaltschaft die Ermächtigung zur Strafverfolgung gegen Unbekannt nicht. C. Gegen den Beschluss des Obergerichts hat A._ am 5. August 2016 Beschwerde ans Bundesgericht erhoben. Er beantragt, der angefochtene Beschluss sei aufzuheben und die Sache an die Vorinstanz zurückzuweisen mit der Auflage, es sei die Ermächtigung zur Eröffnung einer Strafuntersuchung zu erteilen. Die Vorinstanz sowie die Staatsanwaltschaft Zürich-Sihl haben auf eine Vernehmlassung verzichtet.