Sachverhalt:
A._ und eine weitere Person wurden am 9. März 2015 um circa 15.00 Uhr in Zürich von den Kantonspolizisten B._ sowie C._ einer Personenkontrolle unterzogen. In der Folge wurde A._ in Handfesseln auf den Polizeiposten gebracht, einer Leibesvisitation unterzogen und in einer Zelle festgehalten, bevor er um circa 17.00 Uhr wieder entlassen wurde. Am 27. August 2015 erstattete A._ gegen die beiden Kantonspolizisten Strafanzeige wegen Freiheitsberaubung und Amtsmissbrauchs.
Die Staatsanwaltschaft I des Kantons Zürich überwies die Sache am 13. bzw. 15. Januar 2016 via Oberstaatsanwaltschaft des Kantons Zürich ans Obergericht des Kantons Zürich zum Entscheid über die Erteilung bzw. Nichterteilung der Ermächtigung zur Durchführung einer Strafuntersuchung gegen die angezeigten Personen. Die Staatsanwaltschaft I beantragte, die Ermächtigung nicht zu erteilen, weil nach summarischer Prüfung kein deliktsrelevanter Verdacht vorliege. Mit Beschluss vom 17. März 2016 erteilte die III. Strafkammer des Obergerichts der Staatsanwaltschaft die Ermächtigung zur Strafverfolgung gegen die angezeigten Personen nicht.
Gegen den Beschluss des Obergerichts hat A._ am 3. Mai 2016 Beschwerde ans Bundesgericht erhoben. Er beantragt, der angefochtene Beschluss sei aufzuheben und die Ermächtigung zur Strafverfolgung zu erteilen. Die Vorinstanz, die Oberstaatsanwaltschaft, die Staatsanwaltschaft I sowie die Beschwerdegegner haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
Beim angefochtenen Entscheid handelt es sich um einen letztinstanzlichen kantonalen Endentscheid in einer öffentlich-rechtlichen Angelegenheit (vgl. <ref-ruling> E. 1.3.1 S. 272), gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht nach Art. 82 lit. a, Art. 86 Abs. 1 lit. d sowie Art. 90 BGG grundsätzlich zulässig ist. Eine Ausnahme von der Zulässigkeit der Beschwerde nach <ref-law> besteht nicht, zumal <ref-law> nur auf die obersten Vollziehungs- und Gerichtsbehörden anwendbar ist (<ref-ruling> E. 1.3.2 S. 272 f. mit Hinweis) und die Beschwerdegegner nicht in diese Kategorie fallen. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und könnte sich in einem allfälligen Strafverfahren gegen die Beschwerdegegner voraussichtlich als Privatkläger beteiligen (vgl. Art. 118 Abs. 1 i.V.m. <ref-law>), sodass ihm im Falle des Obsiegens vor Bundesgericht ein praktischer Nutzen entstünde. Damit ist er nach <ref-law> beschwerdeberechtigt. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten.
2.
Der Beschwerdeführer rügt sinngemäss eine Verletzung von Art. 7 Abs. 2 lit. b i.V.m. <ref-law>.
2.1. Nach <ref-law> sind die Strafbehörden verpflichtet, im Rahmen ihrer Zuständigkeit ein Verfahren einzuleiten und durchzuführen, wenn ihnen Straftaten oder auf Straftaten hinweisende Verdachtsgründe bekannt werden. Gemäss <ref-law> können die Kantone allerdings vorsehen, dass die Strafverfolgung der Mitglieder ihrer Vollziehungs- und Gerichtsbehörden wegen im Amt begangener Verbrechen oder Vergehen von der Ermächtigung einer nicht richterlichen oder richterlichen Behörde abhängt.
Nach § 148 des Gesetzes vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess des Kantons Zürich (GOG; LS 211.1) setzt im Kanton Zürich die Eröffnung einer Strafuntersuchung gegen Beamte im Sinne von <ref-law> wegen im Amt begangener Verbrechen oder Vergehen eine Ermächtigung des Obergerichts voraus. Vorbehalten bleibt § 38 Abs. 1 des Kantonsratsgesetzes des Kantons Zürich vom 5. April 1981 (KRG; LS 171.1), wonach die Eröffnung einer Strafuntersuchung gegen ein Mitglied des Regierungsrats oder eines obersten kantonalen Gerichts wegen eines in Ausübung seines Amtes begangenen Verbrechens oder Vergehens eine Ermächtigung des Kantonsrats voraussetzt. Mit diesen kantonalen Bestimmungen, die gemäss bundesgerichtlicher Rechtsprechung den bundesrechtlichen Anforderungen (namentlich <ref-law>) Rechnung tragen, sollen Staatsbedienstete vor mutwilliger Strafverfolgung geschützt werden (<ref-ruling> E. 2.2 f. S. 276 f.).
In verfassungskonformer Auslegung von <ref-law> dürfen in solchen Ermächtigungsverfahren - ausser bei obersten Vollziehungs- und Gerichtsbehörden - nur strafrechtliche Gesichtspunkte berücksichtigt werden. Über die Ermächtigung zur Strafverfolgung darf insbesondere nicht nach Opportunität entschieden werden (<ref-ruling> E. 2.4 S. 277 f.). Das schliesst aber nicht aus, für die Erteilung der Ermächtigung genügende minimale Hinweise auf strafrechtliches Verhalten zu verlangen. Nicht jeder behördliche Fehler begründet eine Pflicht, die Ermächtigung zur Strafverfolgung zu erteilen. Vielmehr darf dafür vorausgesetzt werden, dass ein strafrechtlich relevantes Verhalten in minimaler Weise glaubhaft erscheint, mithin genügende Anhaltspunkte für eine strafbare Handlung vorliegen (Urteil 1C_587/2015 vom 10. März 2016 E. 2.4 mit Hinweisen).
2.2. Zu prüfen ist nachfolgend, ob - wie der Beschwerdeführer geltend macht - ein strafrechtlich relevantes Verhalten der Beschwerdegegner in minimaler Weise glaubhaft erscheint, mithin genügende Anhaltspunkte für eine strafbare Handlung vorliegen. Hingegen ist im vorliegenden Verfahren nicht darüber zu befinden, ob das Verhalten der Beschwerdegegner in jedem Punkt rechtmässig war, zumal nicht jedes rechtswidrige Handeln der Behörden strafrechtlich relevant ist (vgl. E. 2.1 hiervor).
2.2.1. Wer jemanden unrechtmässig festnimmt oder gefangen hält oder jemandem in anderer Weise unrechtmässig die Freiheit entzieht, wird mit Freiheitsstrafe bis zu fünf Jahren oder Geldstrafe bestraft (<ref-law>). Mitglieder einer Behörde oder Beamte, die ihre Amtsgewalt missbrauchen, um sich oder einem andern einen unrechtmässigen Vorteil zu verschaffen oder einem andern einen Nachteil zuzufügen, werden mit Freiheitsstrafe bis zu fünf Jahren oder Geldstrafe bestraft (<ref-law>). Nicht strafbar macht sich, wer handelt, wie es das Gesetz gebietet oder erlaubt, auch wenn die Tat nach dem StGB oder einem anderen Gesetz mit Strafe bedroht ist (<ref-law>). Ebenfalls nicht strafbar macht sich, wer bei Begehung der Tat nicht weiss und nicht wissen kann, dass er sich rechtswidrig verhält (<ref-law>).
Gemäss <ref-law> kann die Polizei im Interesse der Aufklärung einer Straftat eine Person anhalten und wenn nötig auf den Polizeiposten bringen, um ihre Identität festzustellen (lit. a) und weitere Abklärungen (lit. b-d) zu treffen (vgl. auch § 21 Abs. 1 und 3 des Polizeigesetzes des Kantons Zürich vom 23. April 2007 [PolG; LS 550.1]). Nach <ref-law> kann die Polizei eine Person, welche gestützt auf Ermittlungen oder andere zuverlässige Informationen eines Verbrechens oder Vergehens verdächtig ist, vorläufig festnehmen und auf den Polizeiposten bringen.
2.2.2. Strafrechtlich von vornherein nicht relevant ist die Anhaltung des Beschwerdeführers zwecks Durchführung einer Personenkontrolle, zumal mit Blick auf <ref-law> bzw. § 21 Abs. 1 PolG sowie den der Polizei zur Erfüllung ihrer Aufgaben zuzugestehenden Handlungsspielraum keine Anzeichen bestehen, wonach das entsprechende Vorgehen der Beschwerdegegner ungerechtfertigt gewesen wäre.
2.2.3. Näher zu prüfen ist, ob die Verbringung des Beschwerdeführers auf den Polizeiposten sowie die vorübergehende Festhaltung in einer Zelle nach dem Gesetz gerechtfertigt waren. Da der Beschwerdeführer nicht nur zwecks Abklärungen gemäss <ref-law> auf den Polizeiposten gebracht, sondern im Sinne von <ref-law> vorläufig festgenommen und vorübergehend in einer Zelle festgehalten wurde, setzt das entsprechende Vorgehen der Polizei voraus, dass ein hinreichender Tatverdacht im Sinne dieser Bestimmung vorlag.
Wie dem Rapport zur Verhaftung des Beschwerdeführers unter anderem zu entnehmen ist, erachteten die Beschwerdegegner die vorläufige Festnahme des Beschwerdeführers wegen des Verdachts auf eine Widerhandlung gegen die Strafbestimmungen des AuG (SR 142.20) als angezeigt. Die Vorinstanz hat in tatsächlicher Hinsicht für das Bundesgericht grundsätzlich verbindlich (vgl. Art. 105 Abs. 1 und 2 i.V.m. <ref-law>) festgestellt, dass sich der Beschwerdeführer nur mit einer Kopie seines Ausweises N (Ausweis für Asylsuchende) ausweisen konnte und er zunächst mit der Personenkontrolle sowie anschliessend mit der Verbringung auf den Polizeiposten überhaupt nicht einverstanden war. Ausserdem geht aus den Akten hervor, dass diejenige Person, welche zusammen mit dem Beschwerdeführer kontrolliert wurde, wegen Verdachts auf Widerhandlung gegen die Strafbestimmungen des AuG der Staatsanwaltschaft zugeführt und später wegen illegaler Einreise und illegalen Aufenthalts verurteilt wurde.
Zwar hat sich im Gegensatz zur anderen kontrollierten Person in Bezug auf den Beschwerdeführer der Verdacht auf eine Widerhandlung gegen die Strafbestimmungen des AuG nicht erhärtet. Namentlich hat sich herausgestellt, dass es sich beim Beschwerdeführer tatsächlich um diejenige Person handelte, welche auf der Kopie des Ausweises N eingetragen war und dass der Beschwerdeführer nicht zur Fahndung ausgeschrieben war. Indessen ist aufgrund der gesamten Umstände nicht zu beanstanden, dass die Beschwerdegegner im Zeitpunkt der Personenkontrolle und während der vorläufigen Festnahme einen entsprechenden Tatverdacht im Sinne von <ref-law> auch in Bezug auf den Beschwerdeführer als gegeben erachteten. Es bestehen keine genügenden Anhaltspunkte dafür, dass die vorläufige Festnahme des Beschwerdeführers nicht im Sinne von <ref-law> geboten oder erlaubt gewesen wäre.
2.2.4. Der Beschwerdeführer kritisiert weiter einzelne Modalitäten, die mit seiner vorläufigen Festnahme im Zusammenhang stehen. Namentlich erachtet er seine Fesselung während des Transports sowie die Durchführung einer Leibesvisitation als nicht gerechtfertigt und strafrechtlich relevant.
Die Vorinstanz hat in diesem Zusammenhang auf die rechtlichen Grundlagen gemäss dem PolG sowie entsprechende Dienstbefehle der Kantonspolizei hingewiesen. Gemäss diesen Dienstbefehlen sind arretierte Personen grundsätzlich gefesselt zu transportieren und ist eine Leibesvisitation zwingend durchzuführen, wenn eine festgenommene Person unbeaufsichtigt in eine Zelle oder einen zellenähnlichen Raum eingestellt wird. Nachdem sich die Beschwerdegegner entschieden haben, dass der Beschwerdeführer auf den Polizeiposten zu verbringen und vorläufig festzunehmen sei, waren sie somit dienstlich verpflichtet, den Beschwerdeführer während des Transports zu fesseln und vor der Einstellung in eine Zelle eine Leibesvisitation durchzuführen. Ob diese Massnahmen im konkreten Fall tatsächlich gerechtfertigt waren oder ob die erwähnten Dienstbefehle in jeder Hinsicht rechtskonform sind, ist im vorliegenden Verfahren nicht zu entscheiden. Jedenfalls kann den Beschwerdegegnern strafrechtlich mit Blick auf Art. 14 und 21 StGB auch insoweit kein Vorwurf gemacht werden.
3.
Nach dem Ausgeführten durfte die Vorinstanz die Ermächtigung zur Eröffnung einer Strafuntersuchung verweigern, ohne Art. 7 Abs. 2 lit. b i.V.m. <ref-law> oder sonst im Sinne von <ref-law> Recht zu verletzen. Damit ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer grundsätzlich kostenpflichtig (vgl. <ref-law>). Er ersucht indes um unentgeltliche Rechtspflege inklusive Verbeiständung. Da die Voraussetzungen von Art. 64 Abs. 1 und 2 BGG erfüllt sind, kann dem Gesuch entsprochen werden. Die Beschwerdegegner haben keinen Anspruch auf Parteientschädigung, zumal sie sich nicht vernehmen liessen (vgl. Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwältin Noëmi Erig wird aus der Gerichtskasse eine Entschädigung von Fr. 1'500.-- ausgerichtet.
3.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft I des Kantons Zürich, der Oberstaatsanwaltschaft des Kantons Zürich und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 3. August 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Mattle