Sachverhalt: A._ und eine weitere Person wurden am 9. März 2015 um circa 15.00 Uhr in Zürich von den Kantonspolizisten B._ sowie C._ einer Personenkontrolle unterzogen. In der Folge wurde A._ in Handfesseln auf den Polizeiposten gebracht, einer Leibesvisitation unterzogen und in einer Zelle festgehalten, bevor er um circa 17.00 Uhr wieder entlassen wurde. Am 27. August 2015 erstattete A._ gegen die beiden Kantonspolizisten Strafanzeige wegen Freiheitsberaubung und Amtsmissbrauchs. Die Staatsanwaltschaft I des Kantons Zürich überwies die Sache am 13. bzw. 15. Januar 2016 via Oberstaatsanwaltschaft des Kantons Zürich ans Obergericht des Kantons Zürich zum Entscheid über die Erteilung bzw. Nichterteilung der Ermächtigung zur Durchführung einer Strafuntersuchung gegen die angezeigten Personen. Die Staatsanwaltschaft I beantragte, die Ermächtigung nicht zu erteilen, weil nach summarischer Prüfung kein deliktsrelevanter Verdacht vorliege. Mit Beschluss vom 17. März 2016 erteilte die III. Strafkammer des Obergerichts der Staatsanwaltschaft die Ermächtigung zur Strafverfolgung gegen die angezeigten Personen nicht. Gegen den Beschluss des Obergerichts hat A._ am 3. Mai 2016 Beschwerde ans Bundesgericht erhoben. Er beantragt, der angefochtene Beschluss sei aufzuheben und die Ermächtigung zur Strafverfolgung zu erteilen. Die Vorinstanz, die Oberstaatsanwaltschaft, die Staatsanwaltschaft I sowie die Beschwerdegegner haben auf eine Vernehmlassung verzichtet.